近日，百度ERNIE升級(jí)到3.0，重磅發(fā)布知識(shí)增強(qiáng)的百億參數(shù)大模型。該模型除了從海量文本數(shù)據(jù)中學(xué)習(xí)詞匯、結(jié)構(gòu)、語(yǔ)義等知識(shí)外，還從大規(guī)模知識(shí)圖譜中學(xué)習(xí)。
ERNIE 3.0一舉刷新54個(gè)中文 NLP任務(wù)基準(zhǔn)，其英文模型在國(guó)際權(quán)威的復(fù)雜語(yǔ)言理解任務(wù)評(píng)測(cè)SuperGLUE上，以超越人類水平0.8個(gè)百分點(diǎn)的成績(jī)登頂全球榜首。ERNIE 3.0同時(shí)具備超強(qiáng)語(yǔ)言理解能力以及寫小說(shuō)、歌詞、詩(shī)歌、對(duì)聯(lián)等文學(xué)創(chuàng)作能力。
目前ERNIE 3.0已在百度文心官網(wǎng)開(kāi)放，用戶可體驗(yàn)ERNIE 3.0創(chuàng)作的不同形式的內(nèi)容，實(shí)現(xiàn)更多有創(chuàng)意、有價(jià)值的應(yīng)用。
ERNIE 3.0知識(shí)增強(qiáng)大模型：百億級(jí)預(yù)訓(xùn)練中首次引入大規(guī)模知識(shí)
近一年來(lái)，以GPT-3、Switch-Transformer 為代表的大規(guī)模預(yù)訓(xùn)練模型，帶來(lái)了人工智能領(lǐng)域新的突破，由于其強(qiáng)大的通用性和卓越的遷移能力，掀起了預(yù)訓(xùn)練模型往大規(guī)模參數(shù)化發(fā)展的浪潮。然而，現(xiàn)有的大規(guī)模預(yù)訓(xùn)練模型，主要依賴純文本學(xué)習(xí)，缺乏大規(guī)模知識(shí)指導(dǎo)學(xué)習(xí)，模型能力存在局限。
ERNIE 3.0的研究者進(jìn)一步挖掘大規(guī)模預(yù)訓(xùn)練模型的潛力，基于深度學(xué)習(xí)平臺(tái)飛槳的分布式訓(xùn)練技術(shù)優(yōu)勢(shì)，首次在百億級(jí)預(yù)訓(xùn)練模型中引入大規(guī)模知識(shí)圖譜，提出了海量無(wú)監(jiān)督文本與大規(guī)模知識(shí)圖譜的平行預(yù)訓(xùn)練方法（Universal Knowledge-Text Prediction）。通過(guò)將大規(guī)模知識(shí)圖譜的實(shí)體關(guān)系與大規(guī)模文本數(shù)據(jù)同時(shí)輸入到預(yù)訓(xùn)練模型中進(jìn)行聯(lián)合掩碼訓(xùn)練，促進(jìn)了結(jié)構(gòu)化知識(shí)和無(wú)結(jié)構(gòu)文本之間的信息共享，大幅提升了模型對(duì)于知識(shí)的記憶和推理能力。
ERNIE 3.0 中的文本與知識(shí)平行預(yù)訓(xùn)練
ERNIE 3.0統(tǒng)一預(yù)訓(xùn)練框架：同時(shí)具備語(yǔ)言理解和語(yǔ)言生成能力
百度研究者提出了將通用語(yǔ)義表示與任務(wù)語(yǔ)義表示相結(jié)合的模型框架，該框架融合自編碼和自回歸等不同的任務(wù)語(yǔ)義表示網(wǎng)絡(luò)，既可同時(shí)處理語(yǔ)言理解和語(yǔ)言生成任務(wù)，還能做無(wú)標(biāo)注數(shù)據(jù)的零樣本學(xué)習(xí)（Zero-shot Learning）和有標(biāo)注數(shù)據(jù)的微調(diào)訓(xùn)練（Fine-tuning）。此外，ERNIE 3.0在持續(xù)學(xué)習(xí)框架的基礎(chǔ)上，增加了任務(wù)語(yǔ)義表示網(wǎng)絡(luò)，加速模型進(jìn)化。
ERNIE 3.0框架
ERNIE 3.0框架分為兩層。第一層是通用語(yǔ)義表示網(wǎng)絡(luò)，該網(wǎng)絡(luò)學(xué)習(xí)數(shù)據(jù)中的基礎(chǔ)和通用的知識(shí)。第二層是任務(wù)語(yǔ)義表示網(wǎng)絡(luò)，該網(wǎng)絡(luò)基于通用語(yǔ)義表示，學(xué)習(xí)任務(wù)相關(guān)的知識(shí)。不同任務(wù)語(yǔ)義表示網(wǎng)絡(luò)可通過(guò)自編碼結(jié)構(gòu)或者自回歸結(jié)構(gòu)實(shí)現(xiàn)，并通過(guò)底層共享實(shí)現(xiàn)交互和增強(qiáng)。在學(xué)習(xí)過(guò)程中，任務(wù)語(yǔ)義表示網(wǎng)絡(luò)只學(xué)習(xí)對(duì)應(yīng)類別的預(yù)訓(xùn)練任務(wù)，而通用語(yǔ)義表示網(wǎng)絡(luò)會(huì)學(xué)習(xí)所有的預(yù)訓(xùn)練任務(wù)。
ERNIE 3.0效果：一舉刷新54個(gè)中文NLP任務(wù)基準(zhǔn)
百度研究者在54個(gè)中文自然語(yǔ)言處理公開(kāi)數(shù)據(jù)集，包含情感分析、觀點(diǎn)抽取、閱讀理解、文本摘要、對(duì)話生成、數(shù)學(xué)運(yùn)算等任務(wù)上，全面驗(yàn)證評(píng)估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了當(dāng)前最好效果，其中，在20多個(gè)不同類型的自然語(yǔ)言處理任務(wù)上取得了3%以上的顯著提升。
ERNIE 3.0在 Fine-tuning 范式下的任務(wù)效果
在實(shí)際應(yīng)用中，往往缺乏標(biāo)注數(shù)據(jù)，因此，百度研究者也測(cè)試了ERNIE 3.0在Zero-shot Learning（零樣本學(xué)習(xí)）范式下的效果，ERNIE 3.0在大多數(shù)任務(wù)上相對(duì)已有的中文大模型也取得了顯著的效果提升。
ERNIE 3.0 在零樣本學(xué)習(xí)下的效果
ERNIE 3.0英文模型登頂 SuperGLUE：超越人類水平0.8個(gè)百分點(diǎn)
除了中文模型的驚艷效果，ERNIE 3.0英文模型在國(guó)際權(quán)威的復(fù)雜語(yǔ)言理解任務(wù)評(píng)測(cè) SuperGLUE 上超越谷歌的 T5、OpenAI 的 GPT-3 等大模型，以超越人類水平0.8個(gè)百分點(diǎn)的成績(jī)登頂全球榜首。
SuperGLUE是由谷歌DeepMind、Facebook研究院、紐約大學(xué)、華盛頓大學(xué)等多個(gè)權(quán)威機(jī)構(gòu)聯(lián)合發(fā)布的復(fù)雜語(yǔ)言理解任務(wù)評(píng)測(cè)，旨在提升常識(shí)推理、因果判斷、上下文消歧、指代消解等復(fù)雜任務(wù)的效果。
ERNIE 3.0 登頂 SuperGLUE 全球榜首
事實(shí)上，早在2019年12月，ERNIE就曾以9個(gè)任務(wù)平均得分首次突破90大關(guān)的成績(jī)登頂GLUE全球榜首。這次ERNIE 3.0在SuperGLUE評(píng)測(cè)上奪冠，再次證明了ERNIE的強(qiáng)大實(shí)力。
ERNIE登頂GLUE全球榜首
寫小說(shuō)、寫歌詞、寫古文:ERNIE 3.0文學(xué)創(chuàng)作與知識(shí)掌握能力顯著提升
ERNIE 3.0在文學(xué)創(chuàng)作能力方面也有了顯著提升，可以通過(guò)對(duì)海量文本與知識(shí)的學(xué)習(xí)，無(wú)需專門訓(xùn)練，即可進(jìn)行文學(xué)創(chuàng)作。
ERNIE 3.0對(duì)知識(shí)的掌握，同樣大幅提升，通過(guò)知識(shí)圖譜對(duì)模型進(jìn)行增強(qiáng)，讓模型具備更強(qiáng)的知識(shí)記憶和推理能力。
目前這些能力已經(jīng)開(kāi)放體驗(yàn)，大家可以搜索“百度文心”進(jìn)入官網(wǎng)后，點(diǎn)擊“ERNIE 3.0”，親身感受 ERNIE 3.0的技術(shù)魅力。
文心ERNIE自2019年誕生至今，在語(yǔ)言理解、文本生成、跨模態(tài)語(yǔ)義理解等領(lǐng)域取得一系列技術(shù)突破，在公開(kāi)權(quán)威語(yǔ)義評(píng)測(cè)中斬獲了十余項(xiàng)世界冠軍。2020 年，文心榮獲世界人工智能大會(huì)（WAIC）最高獎(jiǎng)項(xiàng)SAIL獎(jiǎng)。
目前，文心ERNIE已大規(guī)模應(yīng)用于搜索、信息流、智能音箱等互聯(lián)網(wǎng)產(chǎn)品，并通過(guò)百度智能云輸出到工業(yè)、能源、金融、通信、媒體、教育等各行各業(yè)，助力產(chǎn)業(yè)智能化升級(jí)。本次發(fā)布的ERNIE 3.0也將進(jìn)一步提升應(yīng)用效果，創(chuàng)造更大的經(jīng)濟(jì)與社會(huì)價(jià)值。
