今年5月15日,火山引擎宣布字節跳動旗下“豆包大模型”正式對外開放。而根據QuestMobile報告提供的數據顯示,基于豆包大模型打造的豆包APP,月活用戶數上半年已達到2752萬,是第二名的2.43倍。
更來自多個行業的企業客戶,正在越來越多使用豆包大模型。
在8月21日舉行的2024火山引擎AI創新巡展(上海站)上,火山引擎智能算法負責人、火山方舟負責人吳迪表示,目前平均每天都有分布在約30個行業的企業客戶使用豆包大模型,日均調用量已達到5000多億tokens。
針對大模型在具體行業的落地過程,火山引擎副總裁張鑫重點分享了如何助力企業打造智能體(Agent),以及Agent為企業帶來的助力。
張鑫表示,火山引擎認為,“更易落地”,與“更強模型”、“更低價格”同等重要,都是推動企業AI轉型的關鍵要素。
在大模型具體的落地過程中,企業不僅需要大模型,還需要一系列的平臺工具和工程化操作,才能把好的模型變成好的應用。如提示詞工程、檢索增強生成(RAG),以及針對行業不同需要,對大模型本身進行的精調等,這需要企業反復權衡和取舍。
在克服所有工程化挑戰,并構建好模型之后,需要企業從單點的局部突破,逐漸向企業戰略層面演進。通過實際調研發現,除掌握好的模型和技術外,企業落地AI還需要應對來自業務層面的挑戰甚至誤區,如AI產品的價值如何衡量、數據如何轉化、如何選用合適的模型等。
張鑫表示,隨著AI應用的深入和跨領域,智能體正越來越多參與到企業的業務運轉中,甚至未來會同時出現多個Agent相互協同的狀況。
對此,企業可以率先從成熟技術入手,先將其應用到簡單的業務場景中,如通過提示詞調優調用豆包大模型,就可以構建出簡單易用的對話類Agent。而隨著對企業積累數據的梳理,企業則可以進一步通過知識庫RAG方式,增加回答的穩定性。
火山引擎副總裁張鑫
隨著業務場景越來越復雜,企業會用到更加復雜的技術和工程化手段,這就需要平臺能夠支持多Agent編排、多Agent注冊甚至多Agent自動發現等。并且在業務上線后,還要持續對模型效果進行測評,通過反饋不斷優化,最終構建出完整的大模型應用體系。
張鑫強調,5月15日火山引擎發布的HiAgent產品,就是希望幫助企業用“零代碼”或“低代碼”方式,一步步實現技術落地。
HiAgent定位為企業專屬的AI應用創新平臺,向下可兼容多種不同模型。原生整合進來的豆包大模型,還能兼容第三方閉源或開源模型。平臺為企業客戶提供更為便利的提示詞工程、知識庫、插件以及工作流的編排。
張鑫表示,通過HiAgent,希望讓企業客戶的創意和想法不再受到技能的限制,可以實現快速落地,讓人人都可以變成開發者。
他說,一個合格的智能體,需要具備對人和環境的感知交互能力,并能夠對任務進行意圖理解和識別,以及進一步進行規劃,推理,最終像人一樣使用工具,完成既定的任務。
從具體操作的角度來看,首先在寫提示詞方面,HiAgent提供一系列場景化模板,并提供一鍵優化功能。
在掛載知識庫方面,HiAgent則支持多種不同數據源文件格式上傳,用戶無須面對文檔解析的分片、語義改寫、多路召回混排等復雜操作。
面向不同的行業,HiAgent還預制了常用的企業級插件,并支持企業將內部系統以插件形式對接到平臺中。
通過以上三步構建起AI應用后,企業還可以通過工作流創建專家級應用。通過拖拉拽方式,企業可以構建起端對端的、復雜的多Agent編排。針對特定場景,還可以讓大模型自動生成一整套工作流,打造更完整的智能體。
張鑫總結到,HiAgent平臺將開發的“門檻”降到極低,而當HiAgent將所有的技術難題解決后,各行業“懂業務的人”,就可以用最短時間,打造最適合本行業的應用。
隨著AI場景越來越豐富,以及大模型越來越強的泛化能力,企業應盡早打造專屬的AI能力中心。智能體的落地,一定要與企業內部系統融合,調用企業內部API,并與內部的IM、CRM、ERP等系統打通,從而實現“飛輪效應”。平臺用得越多,就越“厚”,創新也就越快,平臺沉淀的知識庫、Agent插件模板等也就越多,真正為企業積淀自己專屬的知識資產。