11月8日消息,三名谷歌研究人員在最新提交給預(yù)印本文獻(xiàn)庫(kù)(ArXiv)的一篇論文中指出,人工智能領(lǐng)域的底層技術(shù)深度神經(jīng)網(wǎng)絡(luò)transformer并不擅長(zhǎng)歸納概括。
Transformer是ChatGPT等人工智能工具背后大語言模型的基礎(chǔ)。在11月1日提交給ArXiv的一篇新論文中,三名作者Steve Yadlowsky、Lyric Doshi和Nilesh Tripuraneni寫道:“當(dāng)任務(wù)或功能需要超出預(yù)訓(xùn)練數(shù)據(jù)的范圍時(shí),transformer出現(xiàn)了各種故障模式,發(fā)現(xiàn)即使是簡(jiǎn)單的任務(wù)外延也會(huì)降低它們的歸納能力。”
根據(jù)這篇論文的說法,深度神經(jīng)網(wǎng)絡(luò)transformer所擅長(zhǎng)的是執(zhí)行與訓(xùn)練數(shù)據(jù)相關(guān)的任務(wù),并不太擅長(zhǎng)處理超出這個(gè)范圍的任務(wù)。
對(duì)于那些希望實(shí)現(xiàn)通用人工智能(AGI)的人來說,這個(gè)問題不容忽視。通用人工智能是技術(shù)人員用來描述可以完成任何人類所做事情的假想人工智能。就目前而言,人工智能非常擅長(zhǎng)執(zhí)行特定任務(wù),但不像人類那樣能跨領(lǐng)域轉(zhuǎn)移技能。
華盛頓大學(xué)計(jì)算機(jī)科學(xué)與工程榮譽(yù)教授佩德羅·多明戈斯(Pedro Domingos)表示,新研究意味著“在這一點(diǎn)上,我們不應(yīng)該對(duì)即將到來的人工智能過于瘋狂。”
人們將AGI吹捧為人工智能領(lǐng)域的終極目標(biāo),從理論上講,其代表著人類創(chuàng)造出與自己一樣聰明或比自己更聰明的東西。許多投資者和技術(shù)人員都在為此投入大量時(shí)間和精力。
本周一,OpenAI首席執(zhí)行官薩姆·奧爾特曼(Sam Altman)就與微軟首席執(zhí)行官薩蒂亞·納德拉(Satya Nadella)共同登臺(tái),重申了他關(guān)于“合作打造AGI”的愿景。
實(shí)現(xiàn)這一目標(biāo)意味著讓人工智能完成許多人類大腦可以完成的歸納性任務(wù),包括適應(yīng)不熟悉的場(chǎng)景、創(chuàng)建類比、處理新信息以及抽象思維等等。
但是,正如研究人員指出的那樣,如果這項(xiàng)技術(shù)連“簡(jiǎn)單的任務(wù)外延”都難以實(shí)現(xiàn),那么顯然我們離目標(biāo)還很遠(yuǎn)。
普林斯頓大學(xué)計(jì)算機(jī)科學(xué)教授阿爾溫德·納拉亞南(Arvind Narayanan)在社交媒體平臺(tái)X上寫道:“這篇論文甚至與大語言模型無關(guān),但似乎是打破集體信念泡沫的最后一根稻草,讓許多人接受了大語言模型的局限性。”“該是清醒的時(shí)候了”。
英偉達(dá)高級(jí)人工智能科學(xué)家Jin Fan質(zhì)疑為什么這篇論文的發(fā)現(xiàn)會(huì)讓人們感到驚訝,因?yàn)?ldquo;transformer本來就不是靈丹妙藥”。
多明戈斯表示,這項(xiàng)研究凸顯出,對(duì)于一項(xiàng)被吹捧為通向AGI之路的技術(shù)潛力,“很多人都感到非常困惑”。
他補(bǔ)充說:“這是篇?jiǎng)倓偘l(fā)表的論文,有趣的是誰會(huì)感到驚訝,誰不會(huì)感到驚訝。”
雖然多明戈斯承認(rèn)transformer是一項(xiàng)先進(jìn)的技術(shù),但他相信很多人認(rèn)為這種深度神經(jīng)網(wǎng)絡(luò)比實(shí)際要強(qiáng)大得多。
他說:“問題是神經(jīng)網(wǎng)絡(luò)非常不透明,而且這些大語言模型都是在難以想象的大量數(shù)據(jù)上訓(xùn)練的,這讓很多人對(duì)它們能做什么和不能做什么感到非常困惑。”“他們開始總認(rèn)為自己可以創(chuàng)造奇跡。”
更高級(jí)的人工智能可能會(huì)在歸納概括方面做得更好。谷歌研究人員在研究中使用的是GPT-2比例模型,而不是更主流的GPT-4比例模型。
人工智能初創(chuàng)企業(yè)Lamini AI首席執(zhí)行官莎朗·周(Sharon Zhou)認(rèn)為,她自己并不覺得transformer很難歸納概括是個(gè)問題。
“這就是為什么我創(chuàng)辦了一家訓(xùn)練模型的公司,而不僅僅是向它們提問,這樣它們就能學(xué)到新東西,”她說。“它們?nèi)匀环浅S杏茫匀豢梢砸龑?dǎo)和調(diào)整。”
【來源:網(wǎng)易科技】