2022年11月9日,OPPO語音語義研究部融智團隊提出的中文預訓練大模型CHAOS ,在中文自然語言理解測評基準CLUE上登頂,以30億參量同時刷新了CLUE總排行榜、CLUE分類任務排行榜和CLUE閱讀理解排行榜的最好成績。其中在“AFQMC,TNEWS,CSL,CHID1.1”4個賽道的成績超過了人類識別精確準確度,總成績距離超越人類表現僅差0.1。
同期,在業界首個大規模中文多模態評測基準MUGE上,該團隊自主訓練的中文多模態預訓練模型也在綜合“圖文檢索、看圖說話、文本到圖像生成”三個賽道的總成績上位列總榜第一名。
OPPO 中文預訓練大模型CHAOS登頂CLUE
OPPO中文多模態預訓練模型登頂MUGE
CLUE (Chinese Language Understanding Evaluation) 是中文自然語言理解最權威測評榜單之一,包含了文本分類、閱讀理解、句間關系等眾多語義分析和語義理解類子任務,旨在推動NLP(自然語言處理)訓練模型技術的不斷進步和突破,對學術界和工業界都產生了較大的影響。
MUGE(Multimodal Understanding and Generation Evaluation)是業界首個大規模中文多模態評測基準,由達摩院聯合浙江大學、阿里云天池平臺聯合發布,中國計算機學會計算機視覺專委會(CCF-CV專委)協助推出,旨在幫助中文多模態研究人員全方位評估算法模型。
NLP(自然語言處理)技術是人工智能領域的一個核心研究方向,其目的是使得計算機具備人類的聽、說、讀、寫等能力,并利用知識和常識進行推理和決策。而圖文融合的多模態能力的建設,目前工作主要集中在建立圖像模態和文本模態的聯系,相關能力的構建能夠廣泛落地到搜索、推薦、服飾設計、智能文案等真實場景中。
“融合多種智能,研發統一的基礎模型”是OPPO語音語義研究部融智團隊的目標,也是“融智”二字的含義。未來融智團隊將在推進感知認知融合,更可控/可編輯的視覺生成,及促進工業化落地轉化的模型小型化等方向上繼續突破。