**大型語言模型越強(qiáng)大越愛“撒謊”？新研究揭示AI準(zhǔn)確性困境**
隨著大型語言模型（LLM）能力的不斷增強(qiáng)，一項新研究卻發(fā)現(xiàn)了令人擔(dān)憂的趨勢：這些智能聊天機(jī)器人在回答問題時，似乎越來越傾向于編造答案，而非謹(jǐn)慎地避免或拒絕回答它們不確定的問題。這種行為模式表明，盡管AI變得更加“聰明”，但其可靠性卻在實際應(yīng)用中受到了質(zhì)疑。
該研究由多個知名研究機(jī)構(gòu)聯(lián)合進(jìn)行，成果已發(fā)表在《自然》雜志上。研究團(tuán)隊對市面上領(lǐng)先的商業(yè)LLM進(jìn)行了深入分析，包括OpenAI的GPT系列、meta的LLaMA，以及開源模型BLOOM。在對比了這些模型在不同主題和問題類型上的表現(xiàn)后，研究人員發(fā)現(xiàn)，盡管新一代LLM在某些情況下的確給出了更準(zhǔn)確的回答，但從整體來看，它們提供錯誤答案的頻率卻比舊模型更高。
瓦倫西亞人工智能研究所的研究員José Hernández-Orallo指出：“現(xiàn)在的LLM幾乎能回答任何問題，這既是進(jìn)步也是隱患。雖然正確回答的數(shù)量增加了，但錯誤回答的數(shù)量也同樣在上升。”
在測試中，這些LLM被要求處理從數(shù)學(xué)到地理等多個領(lǐng)域的問題，并執(zhí)行一些特定的信息排序任務(wù)。結(jié)果顯示，規(guī)模更大、能力更強(qiáng)的模型在簡單問題上表現(xiàn)最佳，但在面對更復(fù)雜的問題時，其準(zhǔn)確率卻顯著下降。
值得注意的是，OpenAI的GPT-4和o1模型在測試中成為了最大的“撒謊者”，但這一趨勢并非孤例，其他被研究的LLM也呈現(xiàn)出了類似的傾向。特別是在LLaMA系列模型中，即便是最簡單的問題，也沒有任何一個模型能夠達(dá)到60%的準(zhǔn)確率。
當(dāng)被要求評估聊天機(jī)器人答案的準(zhǔn)確性時，參與測試的人類受試者也表現(xiàn)出了相當(dāng)程度的不確定性，他們在10%到40%的情況下做出了錯誤的判斷。
這項研究揭示了一個重要的問題：隨著AI模型的規(guī)模和能力的不斷提升，如何確保它們提供的答案是準(zhǔn)確且可靠的？研究人員建議，一個可能的解決方案是讓LLM在面對不確定的問題時學(xué)會保持沉默，而不是盲目地給出答案。Hernández-Orallo表示：“我們可以設(shè)定一個閾值，讓聊天機(jī)器人在遇到具有挑戰(zhàn)性的問題時能夠說‘不，我不知道’。”然而，這種做法也可能會暴露當(dāng)前技術(shù)的局限性，從而影響用戶對AI的信任和接受度。
