隨著LLM"百模大戰"的逼近，行業用戶需要更加快速地基于現有LLM大模型，開發面向本行業、本企業的定制大模型及生成式AI應用。在2023年7月6日的2023世界人工智能大會（WAIC）上，與全球領先AI公司合作超過27年的澳鵬重磅推出智能LLM大模型開發平臺，同時宣布面向生成式AI戰略升級——從AI數據服務"破圈"進入全棧AI服務。
澳鵬智能LLM大模型開發平臺面向行業AI提供集大模型數據準備、模型訓練、模型推理、模型部署應用于一體，涵蓋從數據集管理、數據標注、計算資源調度、模型評估、模型微調等全棧能力，幫助企業輕松擁抱大模型，構建生成式AI應用，為最終用戶實現變革性體驗。此外，澳鵬LLM產品線還包括基礎數據、基線模型、模型評估&微調、應用開發等全鏈條產品、平臺與服務。
澳鵬全球高級副總裁、大中華區及北亞區總經理田小鵬博士
"2023年下半年，LLM大模型和生成式AI市場將呈現巨大的迸發與成長態勢。生成式AI的大時代，才剛剛開始"，澳鵬全球高級副總裁、大中華區及北亞區總經理田小鵬博士表示。"澳鵬聚焦于高效經濟量產行業大模型與生成式AI應用，為各行業智能化轉型全面賦能！"
戰略升級正當時
2023年上半年可謂是LLM基礎大模型的"春秋戰國"時期，從全球到中國紛紛誕生了眾多基礎大模型，還有更多的團隊在跑步入場基礎大模型的研發。截止2023年6月底，在Github上已經收錄了來自中國的85家大模型——主要為LLM基礎大模型，以及部分面向行業和特定領域的大模型，再加上全球頂級的基礎大模型，"百模大戰"已經不是夸張的表達。
"百模大戰"仍在鏖戰中，但也成功讓AI突破了科技圈，引發了更廣泛人群的關注與重視。在全球，根據IBM商業價值研究院在6月底發布的年度CEO調查，四分之三受訪CEO認為，擁有最先進的生成式人工智能的企業將擁有競爭優勢。在中國，Gartner中國企業人工智能趨勢浪潮3.0指出，中國企業正在將人工智能項目從原型轉向生產，大多數企業已不再糾結于為何需要AI能力，而更加關注AI工程化能力的建設。
在2023年下半年，LLM大模型工業化量產和工程化落地的趨勢，正從"百模大戰"中清晰地浮現出來，特別是眾多的行業和企業客戶更加關注如何選擇已有的LLM大模型并微調后適配本行業和企業的業務場景，真正將AI用于提高行業和企業生產力。簡單理解，就是高效經濟地量產行業LLM大模型以及將行業大模型端到端落地到企業中真正提升生產力，這將是2023年下半年的AI市場重點。
在2023年初，長期致力于為AI企業和企業AI提供高質量標注數據的澳鵬，審時度勢、大膽"押注"，全面展開了公司戰略升級——從AI數據服務擴展向全棧AI服務，致力于成為面向垂直行業的AI服務商。澳鵬新任全球CEO Armughan Ahmad在公司2022年報中表示，AI數據標注是基礎，而生成式AI所代表的全棧AI服務是增長S曲線，也是澳鵬接下來的戰略重點。澳鵬已經有強大的AI數據標注工具、平臺和服務，接下來就是在此基礎上，快速推動工業化量產行業大模型以及生成式AI應用，打開萬億新增經濟體量。
大模型開發一站打盡
想要快速工業化量產行業LLM大模型以及生成式AI應用，就需要面向行業的大模型開發平臺，這也是2023年下半年的AI市場熱點和重點。在2023年上半年，已經有部分科技企業推出了面向行業的大模型定制化開發或解決方案，而專業化的第三方大模型開發平臺及端到端AI大模型開發服務，還是市場空白點。
澳鵬智能LLM大模型開發平臺由澳鵬中國團隊研發，是面向LLM大模型微調（Fine-tune）的開發平臺，主要是對業界已有的開源基礎大模型進行選型的基礎上，再針對游戲、醫療、客服等行業和業務場景大模型進行微調。澳鵬中國產品負責人周波介紹，澳鵬智能LLM大模型開發平臺包括數據、模型和計算資源管理三大模塊。
澳鵬智能LLM大模型開發平臺架構圖
對于LLM大模型研發來說，高質量的標注數據十分關鍵。ChatGPT之所以能脫穎而出，就是引入了高質量的人工標注數據。而對UC伯克利的LLM排行榜分析發現，高質量的微調數據集比模型規模更重要，特別是在預訓練和微調階段管理高質量的數據集，是縮小模型規模同時保持模型高質量的關鍵方法。越來越多的研究發現，高質量的標注數據對于模型微調結果以及縮小模型規模同時保持模型質量來說，是十分重要甚至是關鍵方法。
澳鵬智能LLM大模型開發平臺的數據模塊來自于澳鵬中國的另一個拳頭產品：MatrixGo企業級高精度數據標注平臺，MatrixGo是面向深度學習和機器學習數據標注的企業級平臺，不僅有強大的標注工具集，還有AI輔助標注，靈活、可視的工作流，以及Open API與外部數據平臺的集成和數據閉環。澳鵬中國開發團隊針對LLM的開發需求，結合MatrixGo的技術，開發了LLM大模型開發平臺的數據模塊，可確保數據標注質量和效率，同時不斷降低標注成本。
澳鵬智能LLM大模型開發平臺的數據模塊包括數據集管理與數據采集標注，其中：數據集管理包括數據處理、數據檢索、數據可視化、數據切片等功能；數據采集標注包括人員管理、工作流引擎、標注工具引擎和自動標算法等功能。
澳鵬智能LLM大模型開發平臺的核心為模型模塊，包括模型評估、模型微調和模型部署三大部分，其中：模型評估提供了A/B測試、標準語料測試、自定義測試、測試結果可視化和模型分析等功能，模型微調提供了開源模型庫、模型管理、訓練任務管理等功能，模型部署提供了自動化部署、運行監控、標準API和自動封裝SDK等。
模型評估主要服務于開源大模型的選型，包括用標準語料包或是自定義語料包進行測試，針對不同的開源大模型或同一大模型的不同版本進行A/B測試后，對相關測試結果進行分析和可視化，再結合模型參數、占用資源等，選定要進行微調的大模型。
澳鵬智能LLM大模型開發平臺模型微調示例
模型微調則是在對選定的大模型，用高質量標注數據和RLHF人工反饋增強學習，針對不同的場景進行微調。模型微調的結果將返回到模型評估，兩者聯動完成模型迭代，直到達成預期效果。模型部署則是將微調成功后的大模型部署到客戶的計算資源環境中，并可以API或SDK方式對外服務。
澳鵬智能LLM大模型開發平臺的計算資源管理則是對客戶的計算資源進行任務管理和資源調度，包括CPU和GPU的資源，以及對上層應用的支持與調度等。
澳鵬智能LLM大模型開發平臺可以使用澳鵬中國自研的基礎大模型，也可以使用客戶自有或是第三方的開源基礎大模型。
在自研基礎大模型方面，澳鵬中國研發團隊主要基于開源社區的工作，也在橫向評估其它的選型方案。澳鵬中國自研大模型的特色，主要是在自有數據集上進行微調，包括通用話題對話以及具有專業性背景的語料等。澳鵬本身就對外提供了超過250個預標注的音頻、圖像、文字和視頻等數據集，這些高質量標注數據集對于大模型預訓練來說十分珍貴。此外，澳鵬中國研發團隊還在關注學界、工業界的進展，從模型結構、優化方式和部署效率等方面，不斷優化自研大模型。
在第三方大模型的合作方面，澳鵬全球與NVIDIA、AWS等深入合作，特別是與NVIDIA等大模型以及企業級AI開發平臺的深入合作，將澳鵬的數據工具鏈、標注眾包團隊以及數據服務等與大廠的大模型、AI平臺和工具等結合，為行業和企業提供端到端的一站式生成式AI解決方案。此外，澳鵬還與Cohere、Reka AI等企業級大模型初創公司合作，強強聯合提供高度安全的定制專有模型。在中國，澳鵬中國也與知名基礎大模型深入合作，了解這些大模型的特點及可適用場景，為客戶提供專業的選型方案和咨詢服務。
技術共創，與AI領軍者共同成長
作為交付數據經驗豐富的提供方，澳鵬智能LLM大模型開發平臺的最大差異化競爭優勢在于，從零樣本、半監督學習的角度，快速響應迭代模型和數據交付。
作為長期從事有監督學習數據標注服務商，澳鵬在項目交付方面擁有大量的實踐經驗，可為LLM訓練與微調任務以及生成式AI應用，持續挖掘數據價值。主要優勢包括：
第一，與客戶的算法應用共同成長。由于行業客戶在早期實踐生成式AI的時候，很難在一開始就明確項目需求，需要邊合作、邊探索、邊開發，通過不斷迭代而最終完成應用構建。
澳鵬善于管理和統籌交付周期，可以分批次向客戶交付數據采標、模型優化、應用測試等，模型優化可以與數據采標交替進行；可以用小樣本、增量學習的方式驅動模型在項目中快速迭代，數據采標更快地集成到應用測試中；甚至可以將標注工程視為客戶LLM性能測試之前的"預質檢"，這樣相當將客戶行業或業務場景的知識前置，也就是預訓練的預訓練。
第二，更好地把握"Human in the loop"。該開發平臺會分析人工在采集標注過程中的種種交互行為，而澳鵬在這方面有豐富的經驗，可以將其轉換為RLHF算法中的"獎勵功能"，并可挖掘更細粒度的標注信息等等，為制備大模型提供更多的數據養料，體現了對于數據挖掘維度的深刻理解。
第三，長期合作可帶來數據采標的規模效應。澳鵬的開發平臺具備大規模、安全、高質量的數據，以及完整的視覺、文本、語音類的行業基準模型，且在多個采標項目上實踐過。在每一個項目完結階段，都能產出一個性能不俗、與客戶需求完全鏡像的模型算法和高質量的數據benchmark。
新澳鵬：全鏈條AI服務商
自從LLM大模型在全球爆紅以來，就一度有大模型將統治AI界的論調。但經過2023年上半年的"百模大戰"，大家逐漸認識到深度學習與LLM大模型對于AI應用來說，都同等重要。所謂LLM大模型，即模型參數達到百億、千億以上，具有"智能涌現"的通用基礎AI大模型，但由于參數和占用計算資源龐大等特點，并不適用于企業和行業場景，深度學習和機器學習則在實際應用中有著不可取代的價值。
澳鵬全球高級副總裁、大中華區及北亞區總經理田小鵬博士表示，對于未來的AI市場和智能經濟，澳鵬的策略是深度學習與大模型，兩手抓、兩手硬。
首先，深度學習、機器學習等對于當下的數字化轉型來說正在發揮實效，特別是適用于實時計算和邊緣計算等企業級場景，在智能汽車、智能物聯網、智能制造等領域發揮著重要的作用，澳鵬仍將堅持面向深度學習和機器學習領域的AI數據服務，同時與頂尖AI企業的深度學習和機器學習平臺形成端到端解決方案，滿足企業當下的AI工程化落地需求。
2023年6月底，澳鵬Appen企業級高精度人工智能輔助數據標注平臺——MatrixGo正式上線SaaS版本。MatrixGo自發布以來，已經經歷了數千個AI數據標注項目的實戰打磨，累積了來自各行各業、各種類型項目豐富的實戰經驗。MatrixGo SaaS版本的上線，讓企業客戶能夠更快速地部署MatrixGo，最快一天開通使用、投入生產，同時可以獲得專業的使用培訓和客服支持，SaaS版本還將持續為客戶提供即時更新的MatrixGo最新版本，讓企業客戶使用最新和最先進的數據服務，打造高質量深度學習和機器學習應用。
此外，澳鵬也將LLM技術用于改善數據標注工具和平臺，不斷強化澳鵬在深度學習和機器學習數據服務方面的競爭優勢。新推出的文檔智能產品可以從非結構化文檔中自動提取信息，例如從掃描文檔或文檔照片中提取內容，準確率達到99%，這極大拓展了企業AI數據源。NLP自動標注則采用小樣本或零樣本學習和LLM模型，對數據進行自動化標注，從而加速數據供應。澳鵬在2022年還投資了全球頂尖的視覺AI合成數據供應商MindTech，可以提供一系列高質量多維度多角度的合成逼真圖片，應對小樣本甚至零樣本問題。
其次，澳鵬將對LLM大模型進行戰略投入，推出以澳鵬智能LLM大模型開發平臺為代表的LLM產品線。澳鵬LLM產品線包括基礎數據、基線模型、評估與微調以及上層生成式AI應用等四大部分。
LLM基礎數據提供成品數據集、數據爬取、數據清洗和開源數據等，為LLM基礎大模型訓練以及微調大模型提供高質量數據集。
基線模型則提供自研模型和第三方開源或商用模型，以及支持客戶自有模型，澳鵬自研模型可根據使用場景定制化、模型私有化體積可以根據運行資源要求進行限制，支持私有化部署、云平臺API調用等，第三方合作模型則包括Reka、Cohere等國內外優秀的商用和開源大模型。
評估和微調包括專家語料、RLHF、A/B測試和模型評價等LLM大模型訓練服務。澳鵬在全球有上百萬的眾包數據收集和標注員，支持235+種語言和方言，也有專門面向金融、零售、工業和醫療等行業的專家眾包資源。過去，這些資源服務于深度學習和機器學習的數據標注；未來，面向LLM大模型的訓練需求，這些資源還能夠提供提示詞-輸出語料包、專業領域語料包，以及將人工嵌入到LLM大模型訓練的人工反饋增強環節，實現RLHF算法，提升模型的專業領域能力。
模型評估包括A/B測試、模型評價、紅藍對抗和基準測試等方法，主要是由澳鵬的LLM專家和眾包資源一起，評估不同大模型以及同一大模型不同版本的輸出結果，對模型輸出進行評價以避免歧視和涉黃等風險，在多輪對話對抗中評估模型的能力，以及使用行業標準語料包對大模型進行基準測試。
第三，在更遠期，澳鵬將把深度學習和機器學習與LLM大模型結合起來，端到端為企業客戶開發生成式AI應用，從數據到模型再到應用開發，提供全鏈條的咨詢與應用開發服務，進而成為核心AI供應商。
相比于其它LLM和生成式AI賽道的參與者，澳鵬有非常扎實的數據"底盤"和全鏈條的數據工具鏈、平臺和人力資源，而數據能力才是LLM和生成式AI的王道。此外，澳鵬還與全球AI企業、AI生態有著長達27年的合作關系歷史，也參與了大量企業和行業AI落地的項目實踐，有著豐富的企業級項目實施經驗。這些都為澳鵬在LLM和生成式AI時代的自我顛覆，打下了堅實的基礎。
展望未來：LLM大模型和生成式AI是全球智能進化的"奇點"，而一個全新姿態的澳鵬正在LLM大模型和生成式AI中崛起。從頂級AI數據服務商，到快速切入行業LLM大模型和生成式AI賽道，再向生成式AI應用以及全鏈條AI咨詢開發發展，澳鵬正基于過去27年的積累，在全球智能進化"奇點"時刻，把握機會、迅速蝶變，并與全球AI生態一起，打開生成式AI的大未來。
