8月12日，掘力計劃第21期在北京市海淀區方恒時尚中心舉行。本次技術分享的主題是《大模型的崛起：解析大語言模型的訓練和應用》，活動邀請了四位大模型領域的專家來為開發者作技術分享。
CodeGeeX：代碼生成模型到編程助手的進化
首先，智譜AI的薛宇飛博士做了題為《CodeGeeX：從代碼生成模型到AI編程助手》的技術分享。薛宇飛博士是智譜AI大模型事業部的副總裁，他擁有清華大學計算機系的博士學位和博士后經歷，在人工智能領域有多年的研究和產品經驗，曾任職于多家頂級科技公司。這次薛博士以自身團隊在代碼生成模型方面的研究為切入點，詳細介紹了從訓練一個大規模的通用代碼生成模型，到落地產品化并開發 IDE 插件，最終使廣大開發者能夠享受到 AI 編程助手帶來的便利。
薛博士分析了編程工作正在朝著更簡單、更符合人的思維邏輯的方向發展的背景。他指出，AI 輔助的代碼生成技術正在讓自動編程成為可能。之后他詳細介紹了 CodeGeeX 項目的模型訓練過程，團隊如何構建數據集，采用 GPT 結構訓練出百億參數的多語言模型，并在華為的支持下完成模型訓練。訓練完成后，對模型進行評測與優化，最終獲得當時最優秀的開源多語言代碼生成模型。在此基礎上，團隊開發出支持主流 IDE 的 CodeGeeX 插件，將模型應用于實際編程過程，為用戶提供代碼補全、注釋生成等功能。插件已經累積十多萬用戶。最后，團隊在今年推出了新版本模型 CodeGeeX2，效果顯著提升，代表了代碼生成模型發展的新方向。
Ray：構建 AI 系統的通用計算引擎
第二位分享嘉賓是螞蟻集團 Ray 團隊的宋顧楊，他的主題是《Ray： 大模型時代的AI計算基礎設施》。宋顧楊講師是 Ray 開源社區的核心貢獻者之一，他首先概述了 Ray 框架的發展歷程，從初期的強化學習框架逐步轉型為面向 AI 的通用分布式計算框架。當前 Ray 通過任務調度、資源管理等功能，可以高效支持AI模型的訓練與推理。許多知名企業如 OpenAI 都采用了 Ray。
宋顧楊講師還重點介紹了 Ray 的一些核心設計，如跨語言的計算單元，自動故障恢復等。這使得 Ray 可以抽象出通用的分布式系統問題，減輕研發人員的工作量。Ray 已支持絕大多數AI框架，構建起完整的 AI pipeline。最后，宋顧楊講師列舉了一些 Ray 在大模型方面的應用案例，包括 GPT-4 在內的多種知名模型和公司，說明 Ray 正在成為大模型基礎設施的重要選擇。
輕量級 LLM Agent：大模型應用的新方向
第三位分享嘉賓是 CNCF WasmEdge 項目的 Michael Yuan 博士，他的主題是《輕量級運行時在構建 LLM Agent 中的作用》。Yuan 博士指出 LLM Agent 是連接 LLM 模型與外界的關鍵組件，目前主流的 Python Agent 在多方面存在局限。他建議可以使用輕量級運行時如 WebAssembly 來構建 LLM Agent。WebAssembly 使用系統級編程語言如 Rust 開發，可以生成更輕量和性能更好的程序。
Yuan 博士還分析了如何設計模塊化、簡單的 Agent 架構，避免過于復雜的功能。總體而言，輕量級 LLM Agent 可以降低應用 LLM 的門檻，使更多組織從中受益。Yuan 博士的觀點為構建生產可用的 LLM 提供了新的思路。
有道子曰：專注教育場景的自研大模型
網易有道技術總監林輝進行了題為《有道子曰大模型及其在教育領域的應用》的分享，林輝講師十余年來深耕算法研發，在智慧教育領域具有豐富的實踐經驗。他從大模型發展的歷史切入，指出大模型的智能頂點決定了其發展的決定性因素。相較于10年前線性模型的有限效果，近年來卷積神經網絡、Transformer 模型的出現使大模型智能能力指數級增長，應用范圍也不斷擴展。林輝講師進一步解析了有道在大模型戰略方向的考量，即追求實際教育場景驅動，以技術創新助力教育創新。
林輝講師指出，與其他通用模型不同，有道子曰大模型專注于教育場景，以提高精準度。目前已在口語教練、作文與閱讀教練等多個方向落地，為用戶提供個性化的學習體驗。具體來說，口語教練具有精準的發音和逼真的對話能力;作文教練可以評價語言表達、邏輯結構等多個維度，給出針對性建議。在部署上，有道智云提供開放的API接口，已累積服務上百萬用戶。
本次掘力計劃第21期匯聚多位業內大模型專家，從模型訓練、基礎設施、應用落地等多個角度進行了技術分享，使與會開發者對大模型的發展現狀及應用場景有了更為全面的了解。大模型正在快速發展變化，相信未來其應用范圍還將不斷擴大，為更多行業帶來革命性的影響。掘力計劃也將繼續關注大模型等前沿技術，致力于推動技術交流。
關于掘力計劃
掘力計劃由稀土掘金技術社區發起，致力于打造一個高品質的技術分享和交流的系列品牌。聚集國內外頂尖的技術專家、開發者和實踐者，通過線下沙龍、閉門會、公開課等多種形式分享最前沿的技術動態。(作者：史博羽)
