在人工智能領(lǐng)域的大模型技術(shù)浪潮中，一個(gè)長(zhǎng)期被奉為圭臬的法則——Scaling Law，近日受到了前所未有的挑戰(zhàn)。據(jù)科技媒體The Information獨(dú)家報(bào)道，OpenAI下一代旗艦?zāi)Ｐ蚈rion的訓(xùn)練效果似乎并未如預(yù)期般驚艷，與GPT-4相比，性能提升可能微乎其微。這一消息在業(yè)界掀起了軒然大波，迫使從業(yè)者重新審視大模型的發(fā)展路徑。
一直以來(lái)，基于Scaling Law的大模型發(fā)展路徑存在著顯著的瓶頸。為了提升模型的能力，廠(chǎng)商們不得不持續(xù)擴(kuò)大預(yù)訓(xùn)練數(shù)據(jù)的規(guī)模、增加訓(xùn)練算力，并不斷擴(kuò)大模型的參數(shù)。然而，這種做法不僅成本高昂，而且容易導(dǎo)致算法的同質(zhì)化，進(jìn)而造成數(shù)據(jù)規(guī)模和訓(xùn)練算力的同質(zhì)化，最終使得模型的輸出能力趨于一致。大模型能否有效學(xué)習(xí)并利用客戶(hù)數(shù)據(jù)，成為特定領(lǐng)域的專(zhuān)家，也是一個(gè)亟待解決的問(wèn)題。
面對(duì)這些挑戰(zhàn)，硬氪近日接觸到的傳神物聯(lián)網(wǎng)公司提出了一種全新的觀(guān)點(diǎn)：集中式預(yù)訓(xùn)練模式或許已經(jīng)走到了盡頭，實(shí)時(shí)學(xué)習(xí)和訓(xùn)練模式更值得探索。傳神物聯(lián)網(wǎng)的董事長(zhǎng)何恩培指出，在相同參數(shù)下，如果模型的算法和架構(gòu)更加先進(jìn)，那么所需的訓(xùn)練算力和訓(xùn)練數(shù)據(jù)就會(huì)更少，而且模型的性能甚至可能超越那些采用常規(guī)架構(gòu)和大參數(shù)的模型。
“這種采用高效算法和架構(gòu)的小參數(shù)模型，不僅更適合商業(yè)落地，而且能夠滿(mǎn)足通用場(chǎng)景的需求。”何恩培強(qiáng)調(diào)道。基于這一理念，傳神物聯(lián)網(wǎng)發(fā)布了其自主研發(fā)的任度大模型，該模型采用了雙網(wǎng)絡(luò)架構(gòu)，將推理網(wǎng)絡(luò)與數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)分離。
其中，數(shù)據(jù)學(xué)習(xí)網(wǎng)絡(luò)類(lèi)似于人類(lèi)的左腦，專(zhuān)注于數(shù)據(jù)的動(dòng)態(tài)管理和迭代訓(xùn)練，持續(xù)為模型提供知識(shí)。而推理網(wǎng)絡(luò)則類(lèi)似于人類(lèi)的右腦，作為經(jīng)過(guò)大量數(shù)據(jù)預(yù)訓(xùn)練的基礎(chǔ)網(wǎng)絡(luò)，具備出色的推理和泛化能力。這種雙網(wǎng)絡(luò)協(xié)同工作的設(shè)計(jì)，不僅降低了訓(xùn)練的算力成本，還避免了微調(diào)導(dǎo)致的模型能力退化和泛化能力減弱等問(wèn)題。
據(jù)傳神物聯(lián)網(wǎng)介紹，任度大模型采用了全技術(shù)棧自主研發(fā)的雙網(wǎng)絡(luò)架構(gòu)，未使用任何開(kāi)源代碼和框架。通過(guò)數(shù)推分離技術(shù)，該模型突破了常規(guī)大模型的技術(shù)架構(gòu)限制，上下文輸入長(zhǎng)度不再受限，能夠?qū)|量級(jí)用戶(hù)數(shù)據(jù)壓縮至神經(jīng)網(wǎng)絡(luò)中，并進(jìn)行深度知識(shí)理解。這種實(shí)時(shí)數(shù)據(jù)學(xué)習(xí)模式，即使面對(duì)極少量的數(shù)據(jù)更新，也能快速上傳并完成數(shù)據(jù)壓縮，迭代為企業(yè)自己的定制化大模型。
目前，傳神物聯(lián)網(wǎng)已將雙網(wǎng)絡(luò)架構(gòu)的數(shù)推分離大模型應(yīng)用至任度“雙腦”大模型一體機(jī)中，即將投放市場(chǎng)。該一體機(jī)基于數(shù)推分離的雙腦模式，解決了客戶(hù)數(shù)據(jù)離場(chǎng)訓(xùn)練、向量效果有限及人才投入高等痛點(diǎn)。通過(guò)本地部署及訓(xùn)練，無(wú)需上傳至公有云，保障了數(shù)據(jù)的隱私安全。
任度“雙腦”大模型一體機(jī)還具備根原創(chuàng)和高性參比的特點(diǎn)，能夠在一定程度上解決客戶(hù)在應(yīng)用大模型過(guò)程中的高硬件投入、高能耗以及技術(shù)安全和軟件漏洞等痛點(diǎn)。這一創(chuàng)新性的解決方案，無(wú)疑為業(yè)界提供了一種全新的思路，有望推動(dòng)大模型技術(shù)的發(fā)展進(jìn)入一個(gè)新的階段。
