作者:蛋醬
2023 上半年,海內外經歷了一場「百模大戰(zhàn)」。從科技巨頭、科研機構、創(chuàng)業(yè)公司到各傳統(tǒng)行業(yè),紛紛掀起了煉大模型的熱潮。
當大模型成為新的風口,我們卻發(fā)現(xiàn),相比于上一波 AI 爆發(fā)浪潮,AI 創(chuàng)業(yè)的門檻其實明顯被拉高了。
對于任何想要入局的創(chuàng)業(yè)者來說,大模型首先是「體量大」,需要頂尖的研發(fā)技術,且投入極高的前期訓練成本。以 1750 億參數(shù)的 GPT-3 為例,海外媒體曾做出估計,GPT-3 的存儲需求高達 350GB、訓練成本超過 1200 萬美元。至于今年的 GPT-4,參數(shù)量仍是秘密,訓練成本想必只增不減。
其次,自研大模型的成本不會止于訓練。從算力消費的角度來說,第一條增長曲線是模型訓練,第二條增長曲線則是模型的應用和調優(yōu),而且在不久的將來,第二條增長曲線必然會超過第一條。
說到底,大模型技術想要廣泛落地,最終還是要過成本關:對于大模型提供商來說,怎樣才能讓大模型以真正具有性價比的方式融入千行百業(yè)?對于每個行業(yè)來說,如何「多快好省」地用好大模型這一利器?
在這樣的背景下,AI 領域形成了一種全新的商業(yè)模式:Model as a Service(MaaS),模型即服務。「模型即服務」能夠將大模型、工具平臺、應用場景三者聯(lián)合起來。對于行業(yè)來說,這是一種無需巨額前期投入即可完成大模型訓練、推理的途徑;對于大模型提供商來說,這是一種探索商業(yè)化落地、獲得資金回報的可靠方法。
最近,這個賽道又迎來了一位重磅玩家。6 月 28 日,在北京舉行的火山引擎體驗創(chuàng)新科技峰會上,「火山方舟」MaaS 平臺正式啟航。
火山引擎總裁譚待。
「火山方舟」面向企業(yè)提供模型精調、評測、推理等全方位的 MaaS 平臺服務。基于其獨特的多模型架構,企業(yè)可通過「火山方舟」同步試用多個大模型,選用更適合自身業(yè)務需要的模型組合。此外,「火山方舟」實現(xiàn)了大模型安全互信計算,更加注重為企業(yè)客戶確保數(shù)據(jù)資產安全。
「火山方舟」到底怎么用?好不好用?僅通過發(fā)布會的 PPT 內容,還不足了解到產品全貌。為了全面、深入地了解「火山方舟」,機器之心對其進行了一次「摸底」。
體驗「火山方舟」
首先,登陸火山引擎機器學習平臺賬號,你會看到產品界面頂端上線了「大模型平臺」入口:
目前,火山方舟提供了「模型廣場」、「體驗中心」、「模型精調」、「模型測評」等版塊。
模型廣場:從選擇、體驗到真正落地
發(fā)布會上,火山方舟公布了模型廣場的首批入駐大模型,包括百川智能、出門問問、復旦大學 MOSS、IDEA 研究院、瀾舟科技、MiniMax、智譜 AI(以拼音首字母排序)等多家 AI 科技公司及科研院所的大模型,并已啟動邀測。
我們可以將「模型廣場」理解為一家「商店」,模型供應方可以在模型廣場進行模型創(chuàng)建、上傳、部署等,模型使用方可以在模型廣場查看模型、快捷體驗。
比如我們選擇「ChatGLM-130B」,任務就是幫我們寫這篇文章的提綱:
除了 AI 對話類的應用,火山方舟現(xiàn)在還提供 AI 繪畫類的應用體驗。這里我們以「文生圖」為例,讓它幫我們生成一張「符合前沿科技調性的文章插圖」:
通過火山方舟大模型服務平臺,企業(yè)可一站式接入各種大模型產品和服務,同時也可以在火山方舟平臺上訓練自己的大模型,進行對比之后再決定,為自己的業(yè)務場景找到最合適的解決方案。
在未來的規(guī)劃中,火山方舟平臺將為用戶提供跨越多個模態(tài)的大模型選擇,包括當下最火的大型語言模型、圖像生成類模型,以及語音識別類模型。
模型精調:百尺竿頭更進一步
當然,在選定大模型之后,企業(yè)客戶仍然可以根據(jù)自己的業(yè)務需求進行精調。
鑒于一些垂直場景對大模型的要求較高,客戶需要利用自有數(shù)據(jù)或領域非公開數(shù)據(jù)進行持續(xù)訓練,以及建設和積累自己的精調數(shù)據(jù)集。對精調手段的良好運用,能夠幫助企業(yè)客戶利用更小的模型尺寸,在特定任務上達到媲美通用大模型的水平,由此進一步降低推理成本。
對于這些有復雜需求的場景,企業(yè)客戶只需手動設置高級參數(shù)、驗證集、測試集等,更自由地使用模型精調功能。平臺也會給出總訓練費用預估作為參考:
在平臺中,企業(yè)客戶可以記錄下每一次的精調版本:
模型評估環(huán)節(jié)也是火山方舟重點關注的一環(huán),包括數(shù)據(jù)準備、指標定義以及人工評估和自動化評估等諸多全方位的工具。
在火山方舟平臺上,模型在發(fā)起精調任務的同時將進行自動化評估,精調的效果和運行指標也將在平臺實時跟蹤。
從下圖中能看到,各項評測指標在精調前后的變化:
同時,火山引擎提供安全互信的推理方案,保障模型提供商與模型使用者的模型與數(shù)據(jù)安全,客戶可直接使用模型供應方已部署的在線服務或便捷地將精調模型部署為在線服務。
做好大模型服務,還需要解決三個問題
大模型領域的百花齊放,不僅僅帶來了算力需求的大幅增長,還讓人們意識到:模型也可以成為一種資產。
在現(xiàn)場,譚待分享了自己眼中「做好大模型面臨的三個問題」,這也是火山方舟大模型服務平臺希望解決好的三個問題。
第一個問題是「安全和信任」。
相比于以往「自產自銷」的 AI 模型,今天的大語言模型突出了「模型作為資產」的重要性。模型提供商提供了模型參數(shù)和模型結構,自然希望保護知識資產,避免千辛萬苦研發(fā)出來的核心技術泄露;而模型使用方希望調用模型的輸入和輸出不被獲取和記錄,保護自己核心的業(yè)務數(shù)據(jù)、精調數(shù)據(jù)不會泄露。「資產」能否獲得合格的保護,將深刻影響大模型應用的市場格局。
針對這個問題,火山方舟面向不同的業(yè)務場景和需求, 將安全沙箱與三方審計、硬件支持、聯(lián)邦學習三種流派將融合為多套方案,為大模型服務商和應用企業(yè)提供了雙向的信任機制。
目前,平臺已經上線了基于安全沙箱的大模型安全互信計算方案,利用計算隔離、存儲隔離、網絡隔離、流量審計等方式,實現(xiàn)了模型的機密性、完整性和可用性保證,適用于對訓練和推理延時要求較低的客戶。同時還在探索基于 NVIDIA 新一代硬件支持的可信計算環(huán)境、基于聯(lián)邦學習的數(shù)據(jù)資產分離等多種方式的安全互信計算方案,更全面地滿足大模型在不同業(yè)務場景的數(shù)據(jù)安全要求。
第二個問題是「性價比」。
未來的大模型市場必然是百花齊放的生態(tài),在這樣一個生態(tài)系統(tǒng)中,可能同時存在少數(shù)的超級大模型、多個中等規(guī)模的大模型和無數(shù)面向具體行業(yè)的垂類模型。超大的基座模型未必能夠搞定一切,有時候,一個經過良好 f.NETune 的小模型,在垂直領域的一項特定任務上的表現(xiàn)可能不亞于一個通用的大基座模型,但推理成本能降低到原來的十分之一。
對于企業(yè)客戶來說,這意味著解決實際業(yè)務場景問題可能需要一套「組合拳」,對于大模型的應用會呈現(xiàn)出「1+N」的應用模式。
不過,挑戰(zhàn)也是一目了然的:首先,選擇和決策的過程會非常復雜,逐家試用反而會導致更高的成本;其次,如何做 prompt、如何組織 metric 和數(shù)據(jù)集、如何科學地 fine-tuning,也需要一些經驗和技術的積累才能完成。
在真實的應用場景里面,成本和收益的比例是無法繞過的問題,所以選擇大模型優(yōu)先要考慮性價比。只有把模型的推理成本做到足夠低,才能讓大模型真正地被廣泛使用起來。
火山方舟豐富的模型精調和評測支持可以讓這件復雜的事情簡單化,企業(yè)用統(tǒng)一的工作流對接多家大模型,可設置高級參數(shù)、驗證集、測試集等功能,再通過自動化和人工評估直觀對比模型精調效果,在不同業(yè)務場景里還可靈活切換不同的模型,實現(xiàn)最具性價比的模型組合。這些自定義指標和評估數(shù)據(jù)的積累,也將成為企業(yè)在大模型時代寶貴的數(shù)據(jù)資產。
第三個問題是「生態(tài)系統(tǒng)」。如果大語言模型被比喻為 CPU,那么火山方舟要做的事情就是制造出整塊主板,豐富下游服務,進一步提升大模型的落地表現(xiàn)。
后續(xù)計劃包括兩項:首先,工具鏈和下游應用插件需要持續(xù)完善。火山方舟團隊將基于大模型基座的理解能力和規(guī)劃能力打造工具鏈,提供大量的插件并為每個插件配套數(shù)據(jù)集;其次,打造垂直領域模型的微服務網絡,內置包括圖像分割、語音識別等眾多專業(yè)模型,便于企業(yè)客戶隨時調用、自由組合。
方舟,與其背后的「引擎」
從整個大模型應用市場來看,大模型服務平臺獲得企業(yè)客戶的前提之一,也包括持續(xù)獲得眾多大模型提供商的支持。
能夠迎來國內數(shù)家頂尖大模型提供商的積極入駐,火山方舟當然有自己的優(yōu)勢。
對于模型提供商來說,一方面,火山方舟是「大模型技術」與「火山引擎機器學習平臺」的有機整體,能夠提供可靠的算力供應、持續(xù)的性能優(yōu)化、有競爭力的性價比。
作為首批入駐的大模型提供商,據(jù)智譜 AI CEO 張鵬介紹,智譜 AI 在火山引擎平臺上解決了千億模型訓練的穩(wěn)定性、性能優(yōu)化等挑戰(zhàn);MiniMax 聯(lián)合創(chuàng)始人楊斌則表示,MiniMax 在火山引擎上實現(xiàn)了從月至周級別的大模型迭代速度,和指數(shù)級的用戶交互增長。
另一方面,借助火山方舟平臺,模型提供商不需要去管理非常底層、復雜的事項,就能夠向客戶提供穩(wěn)定服務,更低成本觸達廣泛客戶,快速獲得技術的回報。在技術之外,火山引擎的算法團隊、解決方案團隊和交付團隊也會共同協(xié)助企業(yè)客戶與大模型提供商之間對齊需求,促進大模型的落地加速。
此前,很多國內訓練大模型的廠商都使用火山引擎的云服務,而從今以后,它們不僅能在火山引擎平臺上花錢,還能夠在火山引擎平臺上賺錢。
每一次技術的大變革,都會帶來體驗創(chuàng)新的新機會。在大模型熱潮的推動下,包括火山引擎在內的云廠商同樣面臨著快速變化的行業(yè)格局。能否把握住變革中的機會,卻與此前的技術布局分不開。
如下圖所示,位于基礎設施層的火山引擎為大模型的推理提供高可靠的保障以及企業(yè)級的負載均衡和容錯能力。隨著平臺的不斷迭代,其對大模型的資源供應將更為彈性、動態(tài)和廉價。利用流量錯峰、訓推一體等手段,大模型推理的單位成本將進一步降低,這也是「大模型上云」帶來的重要優(yōu)勢。
除此之外,火山引擎還將與大模型提供商聯(lián)合進行深度的性能優(yōu)化。以 Lego 算子庫為例,在訓練場景下,使用該高性能算子庫可將 Stable Diffusion 模型在 128 張 A100 的訓練時間從 25 天減少到 15 天,訓練性能提升 40%。
在火山引擎的發(fā)展歷程中,與英偉達的緊密合作也是一大亮點。此前,雙方共同完成的 GPU 推理庫 ByteTransformer 在 IEEE 國際并行和分布式處理大會(IPDPS 2023)上獲得最佳論文獎。火山引擎和英偉達還聯(lián)合開源了高性能圖像處理加速庫 CV-CUDA,并在大規(guī)模穩(wěn)定訓練、多模型混合部署等方面的技術合作上取得成效。
NVIDIA 開發(fā)與技術部亞太區(qū)總經理李曦鵬表示,未來雙方將繼續(xù)深化合作,包含在 NVIDIA Hopper 架構進行適配與優(yōu)化、機密計算、重點模型合作優(yōu)化、共同為重點客戶提供支持,以及 NeMo Framework 適配等,攜手助力大模型產業(yè)繁榮。
據(jù)了解,在火山方舟推向市場之前,團隊已經利用眾多的內部場景打磨和改進了平臺。迄今,字節(jié)跳動有 10 余個業(yè)務線正在探索接入和試用火山方舟平臺,覆蓋文本和圖像生成、對話代碼輔助、信息檢索、營銷創(chuàng)意、電商辦公效率等應用。
在大模型落地的關鍵探索時期,火山方舟的誕生恰逢其時,也收獲了足夠的注視。但作為一個新生事物,它必然還要廣闊的成長空間,而接下來的路,就需要大模型領域中的每一位參與者共同攜手走下去了。