【ITBEAR科技資訊】3月21日消息,斯坦福大學的科學家們表示,他們使用了OpenAI的GPT API來微調meta的LLaMA7B大型語言模型(LLM),并成功地創建了一個名為Alpaca的復制品。據ITBEAR科技資訊了解,他們在不到600美元的成本下,成功地復制了GPT-3模型,并發布了自己的代碼和模型,供其他人使用和改進。
這個Alpaca模型比GPT-3小很多,但在某些任務上表現出色,甚至超過了GPT-3。然而,它也有一些語言模型的常見缺陷,包括幻覺、毒性和刻板印象。
斯坦福大學的研究人員表示,他們在使用OpenAI的API上投入了不到500美元,而在LLaMA上的投入不到100美元,這得益于開放AI提供的預訓練數據集和一些開源代碼。他們利用這些資源,在兩個月的時間里,成功地復制了GPT-3模型,證明了這樣的軟件模型是可以容易地復制的。
GPT-3作為一個非常昂貴和復雜的模型,它是由大量的預訓練數據和算法組成的,因此它的復制并不是令人意外的。然而,斯坦福大學的研究人員通過創新的方式成功地復制了GPT-3,并為其他研究人員提供了參考和啟發。雖然Alpaca模型比GPT-3小,但這個成功的嘗試為人工智能領域的研究和應用提供了更多的可能性。