引言
又幾個月過去了，大模型（LLM）行業有什么新進展、新趨勢？
（0）總結——太長不看
關鍵結論：
開源社區模型不具備真正智能，更好的小模型來自大模型的 Scale Down
GPT-4模型信息：采用MoE架構，16個experts，800b參數
如何減少幻覺 hallucination？scaling/retrieval/reward model
指令遵循的開源小模型被過度炒作，已經到達瓶頸，突破方向是更強的 Base Model 和更進一步的反饋數據
用不了多久，大家會把80%算力從 TrAIning 轉向 Serving
預計未來模型的迭代節奏會很像手機系統：1-2 年更新一次大版本，中間有無數次小版本迭代；
中期來看，RLHF 不應該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長期來看，小版本迭代的角度：隱私/權限的增強、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內存，向量數據庫是 LLM 的硬盤
Robot Learning 已成為學界主流研究路線
（1）上一期報告回顧
3個月前，文章（The Age of AI：拾象大模型及OpenAI投資思考）介紹了拾象投研機構對LLM的調研報告，內容涉及：
① 什么是大模型？LLM是新一代通用計算機，windows 95 級別的計算機平臺；
② 從基礎模型到 Killer Apps，價值鏈如何被分配？OpenAI、Anthropic 為代表的基礎模型能力邊界不斷拓寬，占據價值鏈中最主要的環節；
③ 什么是 AI Native 應用？AI Native 應用不是語言模型的嵌套，而是對現有軟件服務的重構；
④ LLM 浪潮下，科技巨頭們是如何和 LLM 做結合的？頂級CEO 們對于 LLM 尚未形成共識，未來 6 個月是重要的窗口期；
⑤ OpenAI 為什么能夠成為 LLM 最強王者？OpenAI 組織活力來自自上而下對 AGI 的堅定信仰、極高的人才密度，以及自下而上推動創新的實驗機制。
具體來說，對于LLM的幾個關鍵判斷：
① LLM是計算機，而OpenAI的GPT系列將成為Windows 95級別的計算機平臺
② LLM基礎模型拿走價值鏈的大頭（60%），其次是AI Infra基礎架構、Killer Apps，各占20%。所以，大家紛紛發力訓練大模型。
③ 從Mobile到LLM：大模型真正理解語言，數據組織效率和能力繼續加強。人機交互方式開始邁入新時代（CUI對話交互）
④ LLM的邊界：目前只是空有大腦，身體和感官還在逐步成長。
⑤ 下一步：給大腦裝上感官（多模態）以及手腳（插件/AutoGPT之類）
另外，LLM之上的應用會是什么樣？全方位的重構：交互、數據信息、服務以及反饋機制，一個可行的路子是AI Native軟件開發——把已有應用按照LLM的能力圖譜重新設計一遍，對話式交互（CUI）走到前臺。
相對于應用層，未來3-5年，AI-Infra的確定性機會更多，體現在模型層和工具層的各類應用。
（2）最新報告：State of LLM
6月29日，時隔3個月，拾象投研團隊再次發布LLM調研報告：State of LLM
精簡總結如下（原始報告獲取方式見尾部附錄）
繼續看好LLM，如火如荼、大動干戈的“千模大賽”到底在爭什么？下一代超級入口！
目前，OpenAI、Anthropic和google處于第一梯隊。
報告甚至將LLM訓練復雜度比作“造原子彈”，每次發布堪稱“登月”，有些夸張，但LLM訓練確實不容易。
過去的幾個月時間，已經很多家公司發布自己的大模型，各有特色，燦若繁星：
開源系列羊駝大家族最為耀眼，英文名已經“售罄”。
更多介紹見前文：ChatGPT復現: 三步走+大模型進化圖譜
其中不少LLM宣稱達到或趨近ChatGPT/GPT-4的80-90%，大家也都體驗過，可圈可點
上次的有偏評測（約120道題）中，初步探了探底：
詳見文章：千模大賽哪家強？大語言模型中文評測實踐。
報告里關于LLM訓練的事實和觀點：
預訓練：GPT系列的成功主要源自于小創新，訓練數據遠超過其他大模型。
微調：GPT并非采用預訓練一體的模型結構。
獎勵模型：OpenAI 數據飛輪效應有限，外部數據標注分散給多家公司。
至于穩坐神壇的GPT-4，這次報告明確指出：GPT-4采用MoE架構，16個experts，800b參數，“吃掉”30T數據，訓練消耗5萬張A100，推理用了3-4萬A100。而這只是開始，下一代模型重點是多模態，消耗的資源將更大更多，10萬張H100！
至于業界普遍看好的開源模型，這次報告波了盆冷水：開源社區模型不具備真正智能，更好的小模型來自大模型的 Scale Down
同時，報告還指出：指令遵循的開源小模型被過度炒作，已經到達瓶頸，突破方向是更強的Base Model 和更進一步的反饋數據。
LLaMA+指令微調≠GPT 3.5
怎么辦？開源社區開始“分工協作”，轉向 pre-train環節。
至于，盛傳的“開源大模型才是未來的贏家”，大家態度截然相反，客戶堅信，而研究者悲觀，算力、數據、時間差以及全棧產品鏈，不是一般開源組織玩得起的。
千模大賽還在繼續，熱潮還會持續多久？過于關注訓練會不會浪費資源？
跟風而上的浪潮終究會退下，到時候，少數人成為弄潮兒，而多數人被淹死，成為他人談資。
大模型訓練塵埃落定后，新的浪潮是什么？大模型應用，其中 Serving 是個難題。
報告里分析了什么時候80%算力從 Training 轉向 Serving？要看用戶群體，B/C/G 時間點各不相同。
B/G：私有化部署和小語種模型
C：終端推理解決隱私問題
產品上，目前主要簡單輔助，多模態、復雜推理問題解決后，才會帶來質的飛躍。
成熟期時間軸上的刻度依次是 長程窗口、多模態、小模型天花板、模型壓縮等，B/C/G側應用隨之逐步展開，Serving時刻到來。
預計未來模型的迭代節奏會很像手機系統：1-2 年更新一次大版本，中間有無數次小版本迭代；
中期來看，RLHF 不應該是 Alignment 的唯一手段， Direct Preference Optimization 和 Stable Alignment 是新路徑
長期來看，小版本迭代的角度：隱私/權限的增強、更多的圖片/文件/聲音格式的 Embedding
LLM 的 Context Window 就像電腦內存，向量數據庫是 LLM 的硬盤；因而，向量數據庫成為LLM領域應用的必備工具，大量vector store廠商成為投資熱門。
LLM應用新趨勢：LLM扮演system 1，負責快思考，而LLM的Agent助手扮演system 2，負責慢思考（理性推導）
報告還提到了經典的幻覺問題：
幻覺原因：模型學習了錯誤信息，模型只善于模仿語言風格，而不能良好地判斷正確的信息
如何減少幻覺（hallucination）？
方法有：scaling/retrieval/reward model
① scaling：大模型小型化，降低幻覺頻率
② retrieval：通過檢索融入事實信息，糾正幻覺
③ reward model：用獎勵模型來鑒別幻覺
有了大模型的加持，學術界已經把Robot Learning 做為主流研究路線
LLM+Robotics=？
軟件上，機器人大腦大幅升級；
硬件上，人形機器人熱度再起。
