當前，人工智能大模型已成為科技創新和數字經濟領域的熱點。科技部在2023中關村論壇上發布的《中國人工智能大模型地圖研究報告》顯示，中國人工智能大模型正呈現蓬勃發展態勢。據不完全統計，截至目前，參數在10億規模以上的大模型全國已發布了79個。
然而，大模型高速進程中面臨的諸多問題也引發了業內關注。FATE開源社區技術指導委員會主席、香港科技大學講席教授楊強指出：“即將消耗殆盡的公域數據，日趨高漲的隱私安全保護需求，以及眾多異構小模型的整合需求，已成為AI 大模型發展之路上亟待突破的瓶頸。而聯邦大模型正是解決這些問題的有效路徑。”在此背景下，隱私計算聯邦學習開源平臺——FATE (Federated AI Technology Enabler)發布了“FATE-LLM聯邦大模型”功能模塊，以“聯邦學習+大模型”的技術解決方案破局數據隱私保護與數據不足等問題，在各參與方的敏感數據不出本地域的前提下，根據各方實際數據量進行算力投入，聯合進行大模型訓練。
近期，聯邦大模型FATE-LLM最新版本發布，在橫向聯邦場景支持ChatGLM-6B中文語言大模型。集成GLM的FATE - LLM將會為國內用戶提供更好的中文大模型應用落地選擇。
GLM系列大模型由清華大學和智譜AI聯合研發，其中ChatGLM-6B是一個開源的、支持中英雙語問答的對話語言模型，并針對中文進行了優化。該模型基于 General Language Model (GLM) 架構，具有 62 億參數。結合模型量化技術，用戶可以在消費級的顯卡上進行本地部署(INT4 量化級別下最低只需 6GB 顯存)。開源兩個月以來，ChatGLM-6B在全球開源軟件平臺GitHub上獲得超過26萬星，超過斯坦福同期模型的關注度和好評度，全球下載量超過200萬，并連續兩周登上全球開源大模型平臺 Hugging Face大模型趨勢榜榜首。
此外，FATE-LLM 新版本在橫向聯邦場景支持Adapter、Prompt這類高效聚合方法，可以顯著提升聯邦大模型訓練效率，其中參數微調方法支持Lora以及P-Tuning V2。而在框架層，FATE實現對DeepSpeed的集成，使得FATE-LLM支持多機多卡訓練，支持分布式GPU集群資源調度和管理，支持數據、模型參數等不同并行化加速方法。用戶只需要任務提交階段直接增加配置即可享受到多機多卡的加速能力。
未來，支持中文大語言模型ChatGLM-6B聯邦化訓練的FATE-LLM將通過聯合多家公司和組織，充分利用分散數據，融合聯邦學習和人工智能生成內容(AIGC)相關技術，實現異構數據分布式安全訓練。其中針對中文方面的優化，將為金融、教育、醫療等領域的應用帶來更強大的支持，例如人工智能助手、智能問答、自然語言處理等場景將會得到進一步的效果提升。
清華大學教授唐杰表示：“作為科研人員，我們希望在開展大模型技術研究與應用落地的同時，也進一步降低人工智能的使用門檻，實現技術普惠，為行業良性發展做出一些貢獻。”
飲其流者懷其源。開源不僅是一種技術選擇，更是一種分享態度與溝通方式。開源平臺和開源生態將助推大模型的快速迭代與落地應用。聯邦大模型將大模型與隱私計算核心技術手段融合，使大模型的“野蠻生長”轉向更加安全可靠的發展賽道，在提升AI通用性的同時不違背監管與倫理的要求，推進AI技術高質量發展。
