◎記者 劉怡鶴
近日，能“一口氣讀完20萬字小說”的AI大模型應用Kimi再次為國內AI產(chǎn)業(yè)添了一把火。業(yè)內認為，國產(chǎn)大模型能力提升或成今年國內AI領域最核心的主線。超長上下文是主要突破口嗎？大模型還將如何提升能力？
在3月24日舉行的2024全球開發(fā)者先鋒大會（2024 GDC）大模型前沿論壇上，阿里通義、騰訊混元、稀宇科技MiniMax ABAB、商湯商量、書生·浦語五個大模型的技術負責人罕見“同框”， 共同探討未來大模型的技術演進方向。
超長上下文成國產(chǎn)大模型新競逐焦點
3月18日，月之暗面公司宣布Kimi智能助手啟動200萬字無損上下文內測。2023年10月，Kimi初次亮相時其處理能力還只有20萬字。也就是說，Kimi只用了不到半年，就將上下文處理能力提升了一個數(shù)量級。
月之暗面介紹稱，大模型無損上下文長度的數(shù)量級提升，能進一步打開對AI應用場景的想象力，包括完整代碼庫的分析理解、可以自主幫人類完成多步驟復雜任務的智能體、不會遺忘關鍵信息的終身助理、真正統(tǒng)一架構的多模態(tài)模型等。
消息發(fā)布后，Kimi訪問量激增，一度無法正常使用。連日來，Kimi還帶“紅”一眾A股“Kimi概念股”。以超長上下文處理能力為突破口，Kimi成為國內出現(xiàn)“百模大戰(zhàn)”以來為數(shù)不多的“破圈者”。
Kimi迅速走紅后，阿里宣布“通義千問”將向所有人免費開放1000萬字的長文檔處理功能，可以幫助用戶快速讀研報、分析財報、讀科研論文、研判案情、讀醫(yī)療報告、解讀法律條文、分析考試成績、總結深度文章。360智腦也宣布正式內測500萬字長文本處理功能，該功能將入駐360AI瀏覽器。
事實上，從2023年下半年開始，大模型支持的上下文長度就快速增長，從早期GPT-3的2K（存儲容量單位），到今年3月提升到1M。
“更長的上下文意味著什么，是我們需要思考的。”上海人工智能實驗室首席科學家林達華介紹說，2K的上下文能力支持日常聊天、知識問答、短文理解；32K支持擬人對話、長文分析、代碼解釋及編寫；100K支持處理長報告及短篇小說、智能體長時間交互、簡單的軟件及網(wǎng)站構建；1M支持處理長篇小說、直接注入小型知識庫、項目級代碼分析與構建。
長文本能力仍存局限性
林達華認為，直接使用上下文面臨兩個基本問題：一是超長上下文的推理計算代價高昂；二是上下文本身對信息不會進行壓縮，不能直接捕捉其中的深層知識和規(guī)律。
上海人工智能實驗室青年科學家陳愷認為，目前業(yè)內對于長文本的評測方式是“大海撈針”，也就是從超長文本中找出一個信息，很多模型在這樣的測試中能做到接近100%的準確率。
陳愷說：“但如果把模型換到更接近真實的使用場景里，需要模型找一些碎片化信息并把它們聯(lián)系起來，模型的能力和準確率會大幅下降。這和其他模型的應用能力類似，業(yè)內要繼續(xù)關注模型的泛化性和實際應用能力。”
此外，業(yè)內也有聲音質疑超長上下文的技術水平和價值。月之暗面方面稱，公司為了實現(xiàn)更好的長窗口無損壓縮性能，研發(fā)和技術團隊從模型預訓練到對齊、推理環(huán)節(jié)均進行了原生的重新設計和開發(fā)，不走“滑動窗口”“降采樣”等技術捷徑，攻克了很多底層技術難點。
達觀數(shù)據(jù)副總裁王文廣接受上海證券報記者采訪表示：“從創(chuàng)新點來看，Kimi顯示出了其在無損閱讀方面的巨大潛力，超長文本上下文的輸入為內容創(chuàng)作和整理提供了技術基礎。但從技術本身來說，這只是個噱頭，既沒有對模型能力提升帶來什么幫助，本身也沒什么難度。”
達觀數(shù)據(jù)是專注智能文本處理的國家級專精特新“小巨人”企業(yè)。2023年7月，達觀數(shù)據(jù)對外發(fā)布“曹植”大語言模型應用公測版，“曹植”具有長文本、多語言、垂直化三大特點。
王文廣說：“從Kimi的走紅來看，接下來‘百模大戰(zhàn)’會更加喧囂，很快會有大模型廠商推出具有千萬字甚至上億字處理能力的模型。未來，大模型領域可能還會出現(xiàn)有噱頭、技術難度不高的宣傳點。但真正的產(chǎn)業(yè)應用，還是要靜下心來，一步一個腳印提升模型能力，一點一滴來解決產(chǎn)業(yè)上的問題。”
五大模型“主創(chuàng)”共論技術演進方向
除了上下文長度，國產(chǎn)大模型還有哪些能力提升路徑？下一步如何更大限度地發(fā)揮“模”力？
阿里通義算法負責人周暢認為，合成數(shù)據(jù)會在未來大模型訓練中扮演更重要的角色。合成數(shù)據(jù)是一種模仿真實世界數(shù)據(jù)的非人工創(chuàng)建的數(shù)據(jù)。
“通過使用合成數(shù)據(jù)，語言模型和多模態(tài)模型有望僅靠‘自己’便獲得能力提升。升級數(shù)據(jù)處理能力將是提升模型研發(fā)水平的重要方向之一。”周暢說。
對于如何讓模型本身深度參與迭代，陳愷表示，參照研究人員研發(fā)中需具備的能力，如果模型具備較強的數(shù)學能力、編程能力和頭腦風暴能力，并很好地將幾種能力結合起來，就能向“自我提升”的臨界點邁進。
騰訊混元大模型算法負責人康戰(zhàn)輝提到，目前，頭部廠商的模型架構都在轉向混合專家模型（Mixture of Experts，MoE）。混合專家模型即將大型模型拆分為多個較小的專家模型，每個專家模型負責處理特定的任務或數(shù)據(jù)子集。
在康戰(zhàn)輝看來，未來，參數(shù)量較小的模型可能在應用端表現(xiàn)出更高效率和“性價比”，全模態(tài)輸入輸出的大模型將是下一階段研究目標。
大模型的技術演進一方面旨在進一步提升能力，另一個重要方向是如何在現(xiàn)實場景中更好用。
稀宇科技技術副總裁安德森認為，人完成各種各樣的工作時，并不是僅靠自己的大腦，而是靠大腦加上各種外部的工具。所以，大模型在落地應用的時候也要考慮把大模型和其他工具，包括其他模型結合在一起，使其更加便利。
商湯科技大裝置執(zhí)行總監(jiān)成功表示，大模型的基礎能力已在很多場景落地，但在實踐中，模型的推理能力，包括規(guī)劃執(zhí)行能力等仍需重點突破。同時，他強調關注效率和成本，模型能以更低成本、更快觸達應用始終是技術發(fā)展的重要目標。
