近日，網(wǎng)易伏羲在中文語言理解權(quán)威評(píng)測(cè)基準(zhǔn)FewClue榜單登頂，在IFLYTEK(長(zhǎng)本文分類 )、 CLUEWSC(代詞消歧）、CSL(論文關(guān)鍵詞識(shí)別）、CSLDCP(學(xué)科文獻(xiàn)分類）等多項(xiàng)單任務(wù)中取得第一。這也是FewClue榜單上，第一次有人工智能模型與人類標(biāo)注水平的差距縮小到10分以內(nèi)，其中CSLDCP(學(xué)科文獻(xiàn)分類）任務(wù)首次超過人類水平。
據(jù)了解，F(xiàn)ewCLUE是CLUE推出的一項(xiàng)中文小樣本學(xué)習(xí)評(píng)測(cè)榜單，用來評(píng)估預(yù)訓(xùn)練模型是否能夠通過小樣本學(xué)習(xí)來掌握特定的自然語言處理任務(wù)。同時(shí)，研究人員也可通過相關(guān)測(cè)試評(píng)估AI模型再學(xué)習(xí)能力和快速應(yīng)用能力。而從結(jié)果來看，網(wǎng)易伏羲的模型玉言對(duì)中文的理解能力，已經(jīng)接近甚至在部分任務(wù)上超過一個(gè)受過相關(guān)訓(xùn)練的人類。
更值得一提是，玉言具備的自然語言處理能力可應(yīng)用于語音助手、智能客服、新聞傳媒、游戲創(chuàng)作、智能決策等領(lǐng)域。而在獲得這些能力背后的模型訓(xùn)練體系及應(yīng)用方法則驗(yàn)證了基于超級(jí)模型進(jìn)行二次訓(xùn)練和快速應(yīng)用的可能性。在目標(biāo)領(lǐng)域通過少量標(biāo)注樣本極大的提升應(yīng)用的效果，從而節(jié)省大量的人力成本。
人工智能研究的誕生到現(xiàn)在已經(jīng)有60多年的歷史，近些年的深度學(xué)習(xí)掀起了人工智能的新一波浪潮。OpenAI 發(fā)布的GPT系列模型將自然語言處理水平推向了新的高度，也證明了大規(guī)模預(yù)訓(xùn)練的潛力，為智能服務(wù)應(yīng)用場(chǎng)景提供最重要的基石。但是，這些如雨后春筍般涌現(xiàn)的大規(guī)模預(yù)訓(xùn)練模型都是以文本生成為導(dǎo)向，在語義理解方面受限于其技術(shù)局限，效果不佳。
因此，業(yè)界為語義理解任務(wù)重新訓(xùn)練模型，例如BERT、DEBERTA等。文本生成任務(wù)和語言理解任務(wù)分別訓(xùn)練，這不僅是對(duì)算力和成本的巨大消耗，也不符合當(dāng)下社會(huì)對(duì)低碳發(fā)展的要求。是否將預(yù)訓(xùn)練生成模型通過少量的二次訓(xùn)練轉(zhuǎn)換為理解模型？玉言模型正是基于這個(gè)出發(fā)點(diǎn)的一次成功嘗試，將生成模型通過少量的二次訓(xùn)練轉(zhuǎn)換為高準(zhǔn)確度的語義理解模型。更重要的是，這一方法的成功實(shí)踐，能有效幫助中小企業(yè)降本節(jié)能。
據(jù)該項(xiàng)目團(tuán)隊(duì)介紹，玉言模型的前身是網(wǎng)易伏羲自研的50億GPT2生成模型，通過二次訓(xùn)練變成語義理解能力較好的Prefix-LM，相比于原來的GPT2模型，只是attention mask形狀不同，Prefix-LM可以直接使用許多開源的GPT加速庫(kù)進(jìn)行推斷加速。
玉石二次訓(xùn)練的主要方法包括在Prefix部分增加MLM損失函數(shù)，同時(shí)使用增強(qiáng)Position Embebedding的方法去進(jìn)一步強(qiáng)化Prefix部分的編碼效果等。在任務(wù)數(shù)據(jù)集處理方面使用類似于T0的基于模板的方法，將FewClue的數(shù)據(jù)集在二次訓(xùn)練時(shí)混入訓(xùn)練語料中。
另外，F(xiàn)ewClue提供的無標(biāo)簽數(shù)據(jù)同樣被構(gòu)造模板，處理完成后加入訓(xùn)練語料中。使用模板的方法可以自然地實(shí)現(xiàn)多任務(wù)學(xué)習(xí)，大大降低語義理解大模型的訓(xùn)練成本，更加有利于工程落地。“同時(shí)也非常感謝浪潮共享了他們的部分預(yù)訓(xùn)練文本，為玉言模型訓(xùn)練提供了充分的數(shù)據(jù)。”項(xiàng)目團(tuán)隊(duì)相關(guān)負(fù)責(zé)人表示。
網(wǎng)易伏羲成立于2017年，是國(guó)內(nèi)專業(yè)從事游戲與泛娛樂AI研究和應(yīng)用的頂尖機(jī)構(gòu)。網(wǎng)易伏羲已經(jīng)發(fā)表100多篇AI頂會(huì)論文，擁有200多項(xiàng)發(fā)明專利，以及數(shù)字人、智能捏臉、AI創(chuàng)作、AI反外掛、AI推薦匹配、AI競(jìng)技機(jī)器人等多個(gè)領(lǐng)域的領(lǐng)先技術(shù)。目前，網(wǎng)易伏羲正在向游戲、文旅、文娛等產(chǎn)業(yè)開放AI技術(shù)及產(chǎn)品，目前已服務(wù)超100家客戶，應(yīng)用日均調(diào)用量超數(shù)億次。
