【ITBEAR科技資訊】6月7日消息，新加坡國立大學(xué)的研究者最近推出了一種名為Goat的模型，專門用于解決算術(shù)問題。該模型的推出被認為是針對當下GPT-4模型在算術(shù)能力方面存在的短板，因為GPT-4在邏輯推理能力方面尚待提升，無法正確解答許多人認為相對簡單的計算問題。
研究人員通過一種新的方法，將算術(shù)問題根據(jù)可學(xué)習性進行分類，并利用基本算術(shù)原理將不可學(xué)習的任務(wù)分解為一系列可以學(xué)習的任務(wù)。這種分解過程將復(fù)雜的計算過程拆解成簡單的步驟，讓模型能夠?qū)W習答題模式，并將過程泛化為看不見的數(shù)據(jù)，而非僅僅依靠權(quán)重記憶計算。這種新方法的應(yīng)用使得Goat模型能夠在算術(shù)性能方面取得顯著提高，尤其在零樣本學(xué)習中展現(xiàn)出近乎完美的精度，特別是在大數(shù)加法和減法生成答案的領(lǐng)域。
研究人員在24GB顯存的GPU上進行了Goat模型的訓(xùn)練，并使用BIG-bench算術(shù)子任務(wù)對其進行了測試。結(jié)果顯示，Goat模型在準確率方面表現(xiàn)出色，超過了業(yè)內(nèi)的Bloom、GPT-NeoX、OPT等模型。尤其是Goat-7B模型在零樣本學(xué)習中的準確率甚至一度超過了經(jīng)過少樣本學(xué)習后的PaLM-540模型，在大數(shù)計算方面更是遠遠超過了GPT-4。
新加坡國立大學(xué)研究者的這一成果對于改進自然語言處理模型在算術(shù)問題上的表現(xiàn)具有重要意義。通過將任務(wù)分解為可學(xué)習的部分，并利用基本算術(shù)原理來指導(dǎo)模型學(xué)習，Goat模型實現(xiàn)了較高的準確度和性能。未來，這一方法可能會被應(yīng)用于其他領(lǐng)域的問題求解，為人工智能技術(shù)的發(fā)展帶來更多可能性。
