5月29日消息，開源語言模型的進步是無可爭議的。但它們真的能與來自 OpenAI、谷歌和其他公司的訓練有素的語言模型競爭嗎?
諸如之前所報道的，使用Alpaca Formula訓練的開源語言模型幾乎不需要怎么訓練以及很低的成本就能達到了類似于ChatGPT的水平。
Alpaca Formula指的是開發(fā)人員使用 ChatGPT 生成的訓練數(shù)據(jù)來微調(diào)Meta語言模型 LLaMA 。使用這些數(shù)據(jù)，LLaMA 模型可以在很短的時間內(nèi)學習生成類似于 ChatGPT 的輸出，并且只需要很少的計算量。
但伯克利大學的研究人員在最近的一項研究中得出了不同的結(jié)論:他們將Alpaca Formula應用于LLaMA和 GPT-2的一些基礎(chǔ)模型，然后讓這些結(jié)果由人工評估并由GPT-4自動評估。
最初，他們得出了與之前的開發(fā)人員相同的結(jié)論:使用指令改進的模型（研究人員稱之為“模仿模型”）的性能遠遠超過基礎(chǔ)模型，與 ChatGPT 相當。
然而，“更有針對性的自動評估”表明，模仿模型實際上只在他們看到模仿數(shù)據(jù)的任務中表現(xiàn)良好。在所有其他領(lǐng)域，與GPT-4仍然存在明顯的性能差距。因為這些基礎(chǔ)模型在廣泛的預訓練過程中獲得了大部分功能，而不是在微調(diào)過程中獲取的。
研究人員表示，這些所謂的評價的工作者經(jīng)常在沒有專業(yè)知識的情況下在短時間內(nèi)評估人工智能內(nèi)容，很容易被忽悠。
OpenAI 研究員約翰舒爾曼最近也批評使用 ChatGPT數(shù)據(jù)微調(diào)開源基礎(chǔ)語言模型，稱如果微調(diào)數(shù)據(jù)集包含原始模型中不存在的知識，它們可能會產(chǎn)生更多不正確的內(nèi)容。
來源：站長之家
