【ITBEAR】近日，蘋果公司AI研究團隊發(fā)表了一篇重要論文，題為“Understanding the Limitations of Large Language Models in Mathematical Reasoning”，揭示了大型語言模型（LLM）在數(shù)學(xué)推理方面的顯著局限性。
盡管LLM在生成類人文本方面表現(xiàn)出色，但在處理數(shù)學(xué)問題時，即便問題只是微小改動，如增添無關(guān)信息，其表現(xiàn)也會大幅下降。
研究人員通過一個簡單的數(shù)學(xué)問題證明了這一點。他們提出了一個關(guān)于采摘獼猴桃的問題，LLM能夠正確計算出答案。
然而，一旦在問題中加入無關(guān)細節(jié)，如“其中5個奇異果比平均小”，模型便給出了錯誤答案。研究人員進一步修改了數(shù)百個類似問題，發(fā)現(xiàn)幾乎所有修改都導(dǎo)致了LLM回答成功率的大幅降低。
這表明，LLM并未真正理解數(shù)學(xué)問題，而是更多地依賴于訓(xùn)練數(shù)據(jù)中的模式進行預(yù)測。當(dāng)需要進行真正的邏輯推理時，這些模型往往無法產(chǎn)生合理結(jié)果，這一發(fā)現(xiàn)對人工智能的發(fā)展提供了重要參考。
盡管LLM在許多領(lǐng)域表現(xiàn)優(yōu)異，但其在數(shù)學(xué)推理方面的局限性仍然明顯，推理能力有待提升。
