近日，搜狗搜索技術(shù)團(tuán)隊(duì)在CLUE(中文語言理解測評基準(zhǔn))的任務(wù)比賽中，擊敗來自騰訊、華為、美團(tuán)、阿里、oppo、中科院等知名科技公司和高校，在CLUE總榜、分類總榜、閱讀理解榜單、小模型榜單均獲得第一名，刷新業(yè)界記錄。
搜狗 搜索 霸榜 C LUE 任務(wù)比賽第一名，彰顯強(qiáng)大技術(shù)創(chuàng)新實(shí)力
據(jù)了解，國際上常用GLUE作為評估通用 NLP 模型的基準(zhǔn)，其比賽排名已成為衡量自然語言理解技術(shù)水平的重要指標(biāo)。然而，GLUE基準(zhǔn)目前只能針對英文任務(wù)，無法評價(jià)NLP模型處理中文的能力。為填補(bǔ)這一空白，CLUE(ChineseGLUE)應(yīng)運(yùn)而生，可謂是“中文版GLUE”，已經(jīng)成為中文語言理解領(lǐng)域最具行業(yè)權(quán)威的測評基準(zhǔn)之一。
目前，CLUE基于原始的中文文本語料共開設(shè)了7個(gè)方向的比賽，由文本相似度、分類、上下文推理、閱讀理解等共11個(gè)子任務(wù)組成。CLUE希望集合各大科技企業(yè)和科研團(tuán)隊(duì)的技術(shù)力量，推動(dòng)NLP(自然語言處理)基準(zhǔn)預(yù)訓(xùn)練模型技術(shù)的不斷進(jìn)步和突破。
據(jù)了解，搜狗搜索技術(shù)團(tuán)隊(duì)此次在CLUE總榜、分類總榜、閱讀理解榜單、小模型榜單均獲得冠軍，得益于其在自然語義理解領(lǐng)域強(qiáng)大的技術(shù)能力，以及對學(xué)術(shù)界最新算法的持續(xù)跟蹤。搜狗搜索技術(shù)團(tuán)隊(duì)的預(yù)訓(xùn)練模型采用了多種自研預(yù)訓(xùn)練技術(shù)，基于自身海量優(yōu)質(zhì)語料構(gòu)建的訓(xùn)練數(shù)據(jù)，利用大規(guī)模分布式訓(xùn)練平臺(tái)，訓(xùn)練出了包括從千萬參數(shù)量級的小模型到數(shù)十億參數(shù)的大模型。此外，搜狗搜索技術(shù)團(tuán)隊(duì)還探索了一套適用語義匹配、分類、和閱讀理解等不同任務(wù)的算法，均表現(xiàn)出了優(yōu)異的效果。
搜狗 搜索 NLP 技術(shù)成果豐碩，加速人工智能持續(xù)向?qū)嶋H場景落地
那么，預(yù)訓(xùn)練模型的技術(shù)突破到底意味著什么?我們知道，NLP(自然語言處理)技術(shù)作為人工智能領(lǐng)域的一個(gè)重要發(fā)展方向，其目的是使得計(jì)算機(jī)具備人類的聽、說、讀、寫、譯、問、答、搜索、摘要、對話和聊天等能力，并可利用知識(shí)和常識(shí)進(jìn)行推理和決策，最終支持客服、診斷、法律、教學(xué)等場景，因此，被業(yè)界譽(yù)為 “人工智能皇冠上的明珠”。但同時(shí)它也具有很高的技術(shù)難度，而目前技術(shù)難點(diǎn)主要集中在對標(biāo)注數(shù)據(jù)依賴性較高，導(dǎo)致其難以在標(biāo)注數(shù)據(jù)稀缺的任務(wù)、語言或領(lǐng)域內(nèi)發(fā)揮作用。尤其是在中文自然語言模型領(lǐng)域，更是缺乏大規(guī)模高質(zhì)量的標(biāo)注數(shù)據(jù)，因此目前業(yè)界主流采用的一個(gè)方法就是采用基于大規(guī)模無監(jiān)督數(shù)據(jù)的預(yù)訓(xùn)練模型，來作為通用語言模型測評的有效補(bǔ)充，從而促進(jìn)中文自然語言處理模型的完善發(fā)展，最終來加速NLP技術(shù)在產(chǎn)業(yè)的應(yīng)用和落地。
搜狗搜索在NLP技術(shù)領(lǐng)域的優(yōu)勢由來已久。除了此次奪冠的預(yù)訓(xùn)練模型外，搜狗搜索技術(shù)團(tuán)隊(duì)還在多模態(tài)預(yù)訓(xùn)練模型也進(jìn)行了深入的研究，并在整個(gè)搜索場景中落地從而提升用戶體驗(yàn)。此外，搜狗搜索在語義理解、長文本和短文本分類、閱讀理解、問答等NLP技術(shù)領(lǐng)域更擁有長期領(lǐng)先業(yè)界的表現(xiàn)。在此次獲得CLUE榜單冠軍之前，搜狗搜索已先后在國際閱讀理競賽CoQA等競賽中取得了冠軍的成績。
預(yù)訓(xùn)練模型技術(shù)已被證實(shí)給多個(gè)下游任務(wù)如文本匹配、文本分類、文本抽取、閱讀理解、機(jī)器問答等任務(wù)帶來大幅的提升。因此，搜狗搜索在CLUE任務(wù)比賽中的“霸榜”成績，既展現(xiàn)了在預(yù)訓(xùn)練模型領(lǐng)域的豐碩成果和技術(shù)突破，也更全面彰顯了搜狗搜索處于行業(yè)領(lǐng)先水平的NLP技術(shù)實(shí)力。目前，搜狗搜索已經(jīng)將自研預(yù)訓(xùn)練模型運(yùn)用在搜索查詢理解、文本語義匹配，內(nèi)容理解等方面，有效提升了搜狗搜索的使用體驗(yàn)。相信在未來，搜狗搜索的相關(guān)技術(shù)將有能力在語言翻譯、聊天機(jī)器人、知識(shí)圖譜等領(lǐng)域進(jìn)行廣泛的落地，有助于推動(dòng)人工智能技術(shù)在國內(nèi)的發(fā)展和應(yīng)用。
