11 月 6 日，李開復(fù)博士帶隊創(chuàng)辦的AI2.0公司零一萬物正式開源發(fā)布首款預(yù)訓(xùn)練大模型 Yi-34B，模型開放商用申請，已在阿里云魔搭社區(qū)ModelScope首發(fā)。魔搭第一時間推出了模型部署相關(guān)教程，供開發(fā)者參考并快速上手。
零一萬物此次開源的Yi系列模型包含34B和6B兩個版本。據(jù) Hugging Face英文開源社區(qū)平臺和C-eval中文評測的最新榜單，Yi-34B 預(yù)訓(xùn)練模型取得了多項 SOTA 國際最佳性能指標(biāo)認可，成為全球開源大模型“雙料冠軍”。
零一萬物創(chuàng)始人及 CEO 李開復(fù)博士表示:“零一萬物堅定進軍全球第一梯隊目標(biāo)，從招的第一個人，寫的第一行代碼，設(shè)計的第一個模型開始，就一直抱著成為‘World's No.1’的初衷和決心。”
魔搭社區(qū)開源地址：
https://www.modelscope.cn/models/01ai/Yi-34B/summary
https://www.modelscope.cn/models/01ai/Yi-6B/summary
魔搭社區(qū)最佳實踐：
https://mp.weixin.qq.com/s/hy-ovRIkXGfv39RiNEHddw
Yi-34B 登頂全球英文及中文權(quán)威榜單 No.1
在 Hugging Face英文測試公開榜單Pretrained預(yù)訓(xùn)練開源模型排名中，Yi-34B以70.72 分位列全球第一，碾壓 LLaMA2-70B 和 Falcon-180B 等眾多大尺寸模型。
Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜，Yi-34B高居榜首(2023 年 11 月 5 日)
在 C-eval中文權(quán)威榜單排行榜上, Yi-34B超越了全球所有開源模型。對比GPT-4，在 CMMLU、E-eval、Gaokao 三個主要的中文指標(biāo)上，Yi-34B 也具有絕對優(yōu)勢。
C-eval 排行榜:公開訪問的模型，Yi-34B 全球第一(2023 年 11 月 5 日)
在全球大模型各項評測中最關(guān)鍵的 MMLU(Massive Multitask Language Understanding 大規(guī)模多任務(wù)語言理解)、BBH 等反映模型綜合能力的評測集上，Yi-34B 同樣表現(xiàn)突出，在通用能力、知識推理、閱讀理解等多項指標(biāo)評比中全部勝出。
各評測集得分:Yi 模型 v.s. 其他開源模型
和 LLaMA2 一樣，Yi 系列模型在 GSM8k、MBPP 的數(shù)學(xué)和代碼評測表現(xiàn)略遜 GPT 模型。未來，零一萬物的系列開源計劃中將推出代碼能力和數(shù)學(xué)能力專項的繼續(xù)訓(xùn)練模型。
全球最長200K 上下文窗口
Yi-34B模型將發(fā)布全球最長、可支持200K超上下文窗口(context window)版本，可以處理約40萬漢字超文本輸入。上下文窗口是大模型綜合運算能力的金指標(biāo)之一，對于理解和生成與特定上下文相關(guān)的文本至關(guān)重要。
受限于計算復(fù)雜度、數(shù)據(jù)完備度等問題，上下文窗口規(guī)模擴充從計算、內(nèi)存和通信的角度存在各種挑戰(zhàn)。為此，零一萬物技術(shù)團隊實施了一系列優(yōu)化，包括計算通信重疊、序列并行、通信壓縮等，實現(xiàn)了在大規(guī)模模型訓(xùn)練中近100倍的能力提升，也為Yi系列模型上下文規(guī)模下一次躍升儲備了充足“電力”。
AI Infra實測實現(xiàn) 40%訓(xùn)練成本下降
李開復(fù)曾經(jīng)表示，“做過大模型 Infra 的人比做算法的人才更稀缺”。超強的 Infra 能力是大模型研發(fā)的核心護城河之一。
AI Infra(AI Infrastructure 人工智能基礎(chǔ)架構(gòu)技術(shù))涵蓋大模型訓(xùn)練和部署提供各種底層技術(shù)設(shè)施，包括處理器、操作系統(tǒng)、存儲系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施、云計算平臺等等。
零一萬物 Yi系列大模型基于阿里云平臺打造，阿里云強大的智能算力基礎(chǔ)設(shè)施為模型訓(xùn)練提供了穩(wěn)固的基石。零一萬物的Infra 技術(shù)通過“高精度”系統(tǒng)、彈性訓(xùn)和接力訓(xùn)等全棧式解決方案，確保訓(xùn)練高效、安全地進行。
憑借強大的 AI Infra，Yi-34B模型訓(xùn)練成本實測下降40%，實際訓(xùn)練完成達標(biāo)時間與預(yù)測的時間誤差不到一小時，進一步模擬上到千億規(guī)模訓(xùn)練成本可下降多達 50%。目前，零一萬物 Infra 能力實現(xiàn)故障預(yù)測準(zhǔn)確率超過 90%，故障提前發(fā)現(xiàn)率達到 99.9%，不需要人工參與的故障自愈率超95%。
零一萬物組建了由前 Google 大數(shù)據(jù)和知識圖譜專家領(lǐng)銜的數(shù)據(jù)團隊，建設(shè)了高效、自動、可評價、可擴展的智能數(shù)據(jù)處理管線;還自研出一套“規(guī)模化訓(xùn)練實驗平臺”，用來指導(dǎo)模型的設(shè)計和優(yōu)化。數(shù)據(jù)處理管線和加大規(guī)模預(yù)測的訓(xùn)練能力建設(shè)，把以往的大模型訓(xùn)練碰運氣的“煉丹”過程變得極度細致和科學(xué)化。
李開復(fù)宣布，零一萬物已啟動下一個千億參數(shù)模型的訓(xùn)練。
接下來，零一萬物將基于 Yi系列大模型，打造更多To C超級應(yīng)用。李開復(fù)強調(diào)，“AI 2.0 是有史以來最大的科技革命，它帶來的改變世界的最大機會一定是平臺和技術(shù)，正如 PC 時代的微軟 Office，移動互聯(lián)網(wǎng)時代的微信、抖音、美團一樣，商業(yè)化爆發(fā)式增長概率最高的一定是 ToC 應(yīng)用。零一萬物邀請開發(fā)者社群跟我們一起搭建 Yi 開源模型的應(yīng)用生態(tài)系，協(xié)力打造 AI 2.0 時代的超級應(yīng)用。”
