10月9日,北京月之暗面科技有限公司(Moonshot AI)宣布在“長文本”領(lǐng)域?qū)崿F(xiàn)了突破,推出了首個支持輸入20萬漢字的智能助手產(chǎn)品Kimi Chat。這是目前全球市場上能夠產(chǎn)品化使用的大模型服務(wù)中所能支持的最長上下文輸入長度,標(biāo)志著Moonshot AI在這一重要技術(shù)上取得了世界領(lǐng)先水平。
火山引擎與Moonshot AI深度合作,為其獨家提供高穩(wěn)定性和高性價比的AI訓(xùn)練和推理加速解決方案,雙方聯(lián)合進(jìn)行技術(shù)研發(fā),共同推進(jìn)大型語言模型在垂直領(lǐng)域和通用場景的應(yīng)用落地。同時,Kimi Chat即將入駐火山引擎大模型服務(wù)平臺——火山方舟,雙方將持續(xù)在大模型生態(tài)領(lǐng)域為企業(yè)和消費者提供更豐富的AI應(yīng)用。
相比當(dāng)前市面上以英文為基礎(chǔ)訓(xùn)練的大模型服務(wù),Kimi Chat具備較強(qiáng)的多語言能力,例如,Kimi Chat在中文上具備顯著優(yōu)勢,實際使用效果能夠支持約20萬漢字的上下文,2.5倍于Anthropic公司的Claude-100k(實測約8萬字),8倍于OpenAI公司的GPT-4-32k(實測約2.5萬字)。同時,Kimi Chat能夠通過創(chuàng)新的網(wǎng)絡(luò)結(jié)構(gòu)和工程優(yōu)化,在千億參數(shù)下實現(xiàn)了無損的長程注意力機(jī)制,不依賴于滑動窗口、降采樣、小模型等對性能損害較大的“捷徑”方案。
Moonshot AI創(chuàng)始人楊植麟此前在接受采訪時曾表示,無論是文字、語音還是視頻,對海量數(shù)據(jù)的無損壓縮可以實現(xiàn)高程度的智能。大模型的能力上限(即無損壓縮比)是由單步能力和執(zhí)行的步驟數(shù)共同決定的,前者與參數(shù)量相關(guān),后者即上下文長度。
應(yīng)對大語言模型落地挑戰(zhàn),推動行業(yè)應(yīng)用落地
Moonshot AI相信,更長的上下文長度可以為大模型應(yīng)用帶來全新的篇章,促使大模型從 LLM時代進(jìn)入Long LLM (LLLM)時代,與千行百業(yè)精準(zhǔn)適配。大模型應(yīng)用在尋找有效處理長文本場景的方法時,需要持續(xù)探索解決降低模型幻覺和提高生成內(nèi)容可控性的新手段,尋求大模型能力個性化的新路線。在大型語言模型研發(fā)過程中,還需要跨越算力資源需求膨脹、任務(wù)工程穩(wěn)定性差、項目成本高昂、安全與信任等諸多門檻,以提升模型的訓(xùn)練效率。
為了解決上述問題,Moonshot AI攜手火山引擎進(jìn)行AI技術(shù)創(chuàng)新,在火山引擎機(jī)器學(xué)習(xí)平臺veMLP上進(jìn)行AGI實踐。Moonshot AI充分利用GPU資源池,基于大規(guī)模預(yù)訓(xùn)練模型,實現(xiàn)每天數(shù)千卡規(guī)模的常態(tài)穩(wěn)定訓(xùn)練,六個月內(nèi)訓(xùn)練出千億參數(shù)規(guī)模語言大模型Kimi Chat,解鎖專業(yè)場景寫作、超長文本理解分析、超長記憶的個性化對話、基于大量文檔的知識問答等復(fù)雜場景,并成功在多家知名企業(yè)中應(yīng)用。
Moonshot AI聯(lián)合創(chuàng)始人周昕宇表示:“Moonshot AI聚焦于探索通用人工智能的邊界,致力于尋求將算力轉(zhuǎn)化為智能的最優(yōu)解。火山引擎擁有國內(nèi)領(lǐng)先的基礎(chǔ)設(shè)施能力和算力儲備,未來雙方將進(jìn)一步在AI算力基礎(chǔ)設(shè)施和應(yīng)用場景拓展等方面展開合作,共同推動人工智能技術(shù)的發(fā)展,為用戶帶來穩(wěn)定、高效、智能的服務(wù)體驗。”
基于火山引擎機(jī)器學(xué)習(xí)平臺,大模型訓(xùn)練更穩(wěn)、更快
火山引擎為大模型的構(gòu)建和訓(xùn)練提供高穩(wěn)定性和高性價比的AI訓(xùn)練和推理加速解決方案,其機(jī)器學(xué)習(xí)平臺veMLP經(jīng)過抖音等海量用戶業(yè)務(wù)長期打磨,沉淀形成了全棧AI開發(fā)工程優(yōu)化方案、任務(wù)故障自愈、實驗可觀測性等解決方案和最佳實踐,提供高效、穩(wěn)定、安全互信的一站式AI算法開發(fā)和迭代服務(wù),讓大模型訓(xùn)練更快、更穩(wěn)、更高性價比。Moonshot AI基于火山引擎提供的超大規(guī)模AI訓(xùn)練和推理加速解決方案,幫助團(tuán)隊快速、穩(wěn)定、低成本地實現(xiàn)大型語言模型的持續(xù)訓(xùn)練迭代、精調(diào)和推理。
1.IaaS算力和存儲資源的規(guī)模化調(diào)度
搭建高性能計算集群,實現(xiàn)萬卡級大模型訓(xùn)練、微秒級延遲網(wǎng)絡(luò),彈性計算可節(jié)省70%算力成本;利用vePFS+TOS冷熱分層加速方案,滿足訓(xùn)練數(shù)據(jù)高吞吐的同時整體存儲成本降低65%。針對大模型的文件系統(tǒng)讀寫 Pattern,共同研發(fā)專用文件緩存系統(tǒng),大幅提升顯卡利用率。
2.PaaS計算集群穩(wěn)定性保障
優(yōu)化超大訓(xùn)練集群的穩(wěn)定性,提供硬件故障自愈優(yōu)化和自主診斷能力,允許用戶任務(wù)迅速重試?yán)m(xù)訓(xùn),實現(xiàn)月級別的穩(wěn)定訓(xùn)練,通過多機(jī)訓(xùn)練任務(wù)通信親和性優(yōu)化,減少RingAllReduce的跨交換機(jī)通信。
3.實驗高可觀測性
對多個訓(xùn)練任務(wù)做實驗管理,通過可視化方式對比訓(xùn)練結(jié)果,以確定迭代上線的模型;利用完備監(jiān)控日志,助力業(yè)務(wù)調(diào)優(yōu)3D 并行參數(shù),輔助定位訓(xùn)練故障。
4.大模型服務(wù)安全互信方案
將可信隱私計算與LLM應(yīng)用相結(jié)合,提供安全沙箱功能,完善開發(fā)人員權(quán)限管控。火山引擎還與Moonshot AI一起設(shè)計適合大模型研發(fā)習(xí)慣的工作流,確保工作效率前提下,實現(xiàn)數(shù)據(jù)的分級訪問,保證數(shù)據(jù)安全。
火山引擎智能算法負(fù)責(zé)人吳迪表示:“火山引擎一直秉持著聚焦技術(shù)、賦能伙伴、價值共生的合作態(tài)度,Moonshot AI擁有國內(nèi)先進(jìn)的大模型研發(fā)團(tuán)隊,對AI技術(shù)有著深入的理解和應(yīng)用經(jīng)驗,雙方的合作將進(jìn)一步在多模型生態(tài)服務(wù)領(lǐng)域為企業(yè)和消費者提供更豐富的AI應(yīng)用。”
火山方舟功能全景圖
目前,火山引擎大模型服務(wù)平臺——火山方舟上已入駐智譜AI、 Minimax、字節(jié)跳動云雀等多家AI科技公司及科研院所的大模型,Moonshot AI的大模型服務(wù)Kimi Chat也將登陸火山方舟。火山引擎將持續(xù)聯(lián)合國內(nèi)優(yōu)秀的大模型服務(wù)商,提供模型訓(xùn)練、推理、評測、精調(diào)等全方位功能與服務(wù),助力千行百業(yè)加速AI進(jìn)程。歡迎各位企業(yè)在方舟中體驗大模型, 火山方舟愿與大家的業(yè)務(wù)共同成長!
