近日，搜狗搜索技術團隊在CLUE(中文語言理解測評基準)的任務比賽中，擊敗來自騰訊、華為、美團、阿里、oppo、中科院等知名科技公司和高校，在CLUE總榜、分類總榜、閱讀理解榜單、小模型榜單均獲得第一名，刷新業界記錄。
搜狗 搜索 霸榜 C LUE 任務比賽第一名，彰顯強大技術創新實力
據了解，國際上常用GLUE作為評估通用 NLP 模型的基準，其比賽排名已成為衡量自然語言理解技術水平的重要指標。然而，GLUE基準目前只能針對英文任務，無法評價NLP模型處理中文的能力。為填補這一空白，CLUE(ChineseGLUE)應運而生，可謂是“中文版GLUE”，已經成為中文語言理解領域最具行業權威的測評基準之一。
目前，CLUE基于原始的中文文本語料共開設了7個方向的比賽，由文本相似度、分類、上下文推理、閱讀理解等共11個子任務組成。CLUE希望集合各大科技企業和科研團隊的技術力量，推動NLP(自然語言處理)基準預訓練模型技術的不斷進步和突破。
據了解，搜狗搜索技術團隊此次在CLUE總榜、分類總榜、閱讀理解榜單、小模型榜單均獲得冠軍，得益于其在自然語義理解領域強大的技術能力，以及對學術界最新算法的持續跟蹤。搜狗搜索技術團隊的預訓練模型采用了多種自研預訓練技術，基于自身海量優質語料構建的訓練數據，利用大規模分布式訓練平臺，訓練出了包括從千萬參數量級的小模型到數十億參數的大模型。此外，搜狗搜索技術團隊還探索了一套適用語義匹配、分類、和閱讀理解等不同任務的算法，均表現出了優異的效果。
搜狗 搜索 NLP 技術成果豐碩，加速人工智能持續向實際場景落地
那么，預訓練模型的技術突破到底意味著什么?我們知道，NLP(自然語言處理)技術作為人工智能領域的一個重要發展方向，其目的是使得計算機具備人類的聽、說、讀、寫、譯、問、答、搜索、摘要、對話和聊天等能力，并可利用知識和常識進行推理和決策，最終支持客服、診斷、法律、教學等場景，因此，被業界譽為 “人工智能皇冠上的明珠”。但同時它也具有很高的技術難度，而目前技術難點主要集中在對標注數據依賴性較高，導致其難以在標注數據稀缺的任務、語言或領域內發揮作用。尤其是在中文自然語言模型領域，更是缺乏大規模高質量的標注數據，因此目前業界主流采用的一個方法就是采用基于大規模無監督數據的預訓練模型，來作為通用語言模型測評的有效補充，從而促進中文自然語言處理模型的完善發展，最終來加速NLP技術在產業的應用和落地。
搜狗搜索在NLP技術領域的優勢由來已久。除了此次奪冠的預訓練模型外，搜狗搜索技術團隊還在多模態預訓練模型也進行了深入的研究，并在整個搜索場景中落地從而提升用戶體驗。此外，搜狗搜索在語義理解、長文本和短文本分類、閱讀理解、問答等NLP技術領域更擁有長期領先業界的表現。在此次獲得CLUE榜單冠軍之前，搜狗搜索已先后在國際閱讀理競賽CoQA等競賽中取得了冠軍的成績。
預訓練模型技術已被證實給多個下游任務如文本匹配、文本分類、文本抽取、閱讀理解、機器問答等任務帶來大幅的提升。因此，搜狗搜索在CLUE任務比賽中的“霸榜”成績，既展現了在預訓練模型領域的豐碩成果和技術突破，也更全面彰顯了搜狗搜索處于行業領先水平的NLP技術實力。目前，搜狗搜索已經將自研預訓練模型運用在搜索查詢理解、文本語義匹配，內容理解等方面，有效提升了搜狗搜索的使用體驗。相信在未來，搜狗搜索的相關技術將有能力在語言翻譯、聊天機器人、知識圖譜等領域進行廣泛的落地，有助于推動人工智能技術在國內的發展和應用。
