近日,浪潮信息成功入選北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴,“源”大模型將持續(xù)加速開放賦能,促進(jìn)通用人工智能產(chǎn)業(yè)發(fā)展,提升產(chǎn)業(yè)普惠價(jià)值。
【當(dāng)前,北京正在加快推進(jìn)國家新一代人工智能創(chuàng)新發(fā)展試驗(yàn)區(qū)和國家人工智能創(chuàng)新應(yīng)用先導(dǎo)區(qū)建設(shè),打造具有全球影響力的人工智能創(chuàng)新策源地。北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計(jì)劃,由北京市經(jīng)信局聯(lián)合市科委中關(guān)村管委會、市發(fā)改委等共同發(fā)布,旨在搭建人工智能大模型的開放合作平臺,建立協(xié)同合作機(jī)制,通過持續(xù)優(yōu)化產(chǎn)業(yè)鏈布局,大幅提升優(yōu)質(zhì)算力、高質(zhì)量數(shù)據(jù)供給支撐能力,培養(yǎng)一批應(yīng)用大模型技術(shù)實(shí)現(xiàn)突破性成長的標(biāo)桿企業(yè)。】
● 率先布局生產(chǎn)式AI,構(gòu)建全棧領(lǐng)先的大模型算力系統(tǒng)解決方案
作為最早布局大模型的企業(yè)之一,浪潮信息在業(yè)界率先推出了中文AI巨量模型“源1.0”,參數(shù)規(guī)模高達(dá)2457億。“源1.0”在語言智能方面表現(xiàn)優(yōu)異,獲得中文語言理解評測基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)(zero-shot)和小樣本學(xué)習(xí)(few-shot)兩類總榜冠軍。 浪潮信息通過千億參數(shù)規(guī)模的大模型創(chuàng)新實(shí)踐,已在算力集群構(gòu)建、算力調(diào)度部署、算法模型開發(fā)等方面,構(gòu)建起全棧領(lǐng)先的大模型算力系統(tǒng)解決方案,助力大模型訓(xùn)練開發(fā)。
在算力集群構(gòu)建上,基于大模型實(shí)測對比的集群規(guī)劃,提供包含數(shù)據(jù)中心、算力、網(wǎng)絡(luò)、存儲一體化產(chǎn)品陣列。其中最新一代融合架構(gòu)的AI訓(xùn)練服務(wù)器NF5688G7采用Hopper架構(gòu)的GPU,較上代平臺大模型實(shí)測性能提升近7倍,同時(shí)支持最新的液冷解決方案,可實(shí)現(xiàn)更低的集群能耗比與運(yùn)行成本,PUE小于1.15,以一個(gè)4000卡的智算中心為例,每年可節(jié)電620萬度、降碳1700噸。在集群高速互聯(lián)層面,基于原生RDMA實(shí)現(xiàn)整個(gè)集群的全線速組網(wǎng),并對網(wǎng)絡(luò)拓?fù)溥M(jìn)行優(yōu)化,可以有效消除混合計(jì)算的計(jì)算瓶頸,確保集群在大模型訓(xùn)練時(shí)始終處于最佳狀態(tài)。
在算力調(diào)度部署上,面對大模型系統(tǒng)級開發(fā)過程中所存在的調(diào)度難、部署慢、效率低、集群異常等問題,浪潮信息推出AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺,通過全生命周期的一體化監(jiān)控及調(diào)度系統(tǒng),構(gòu)建起完備的模型訓(xùn)練失效恢復(fù)持續(xù)方案,滿足大模型分布式訓(xùn)練中高穩(wěn)定、高穩(wěn)健性等特性要求,實(shí)現(xiàn)訓(xùn)練異常和故障診斷的自動(dòng)處理,縮短斷點(diǎn)續(xù)訓(xùn)時(shí)間90%。同時(shí),自研分布式任務(wù)自適應(yīng)系統(tǒng),有效分配底層計(jì)算、存儲、網(wǎng)絡(luò)等資源,提升集群利用率與模型訓(xùn)練效率。高效的集群優(yōu)化調(diào)度策略,大幅簡化大模型訓(xùn)練前大量的、環(huán)境配置、依賴庫適配和超參數(shù)調(diào)整工作。
在算法模型開發(fā)上,“源1.0”針對大模型的Attention層和前饋層的模型空間進(jìn)行結(jié)構(gòu)優(yōu)化,改進(jìn)注意力機(jī)制聚焦文章內(nèi)部聯(lián)系的學(xué)習(xí)。千億大模型的創(chuàng)新實(shí)踐,使得浪潮信息具備從數(shù)據(jù)、訓(xùn)練、部署到應(yīng)用落地的全棧開發(fā)能力。在訓(xùn)練數(shù)據(jù)處理上,通過自研海量數(shù)據(jù)過濾系統(tǒng)(MDFS),建立從數(shù)據(jù)采集、粗濾、質(zhì)量分類、精濾的全自動(dòng)化的端到端數(shù)據(jù)工作流程,通過清洗866TB海量數(shù)據(jù),獲得5TB高質(zhì)量中文數(shù)據(jù)集。
在助力大模型訓(xùn)練開發(fā)方面,浪潮信息推出AI算力服務(wù),提供經(jīng)“源”清洗驗(yàn)證過的語言或多模態(tài)的大模型數(shù)據(jù)、算法產(chǎn)品及模型訓(xùn)練資源管理平臺,為AI創(chuàng)新研究團(tuán)隊(duì)提供先進(jìn)、開放、高性能、高質(zhì)量的AI算力資源及配套服務(wù),賦能AIGC創(chuàng)新發(fā)展。目前,浪潮信息AI算力服務(wù)已成功助力網(wǎng)易伏羲中文預(yù)訓(xùn)練大模型“玉言”登頂中文語言理解權(quán)威測評基準(zhǔn)CLUE分類任務(wù)榜單,并在多項(xiàng)任務(wù)上超過人類水平。
浪潮信息AI團(tuán)隊(duì)將“源1.0”成功的系統(tǒng)工程經(jīng)驗(yàn)應(yīng)用于智算中心算力系統(tǒng),對集群架構(gòu)、高速互聯(lián)、算力調(diào)度等進(jìn)行全面優(yōu)化,對分布式訓(xùn)練策略進(jìn)行了針對性優(yōu)化,通過合理設(shè)計(jì)張量并行、流水并行和數(shù)據(jù)并行,精準(zhǔn)調(diào)整模型結(jié)構(gòu)和訓(xùn)練過程的超參數(shù),最終實(shí)現(xiàn)千億參數(shù)規(guī)模的大模型訓(xùn)練算力效率達(dá)至53.5%。
● 強(qiáng)大穩(wěn)健的基礎(chǔ)大模型,讓行業(yè)應(yīng)用“順勢而為”
目前,浪潮信息“源1.0”已在眾多行業(yè)領(lǐng)域?qū)崿F(xiàn)應(yīng)用的快速落地,真正實(shí)現(xiàn)AIGC的產(chǎn)業(yè)普惠:通過構(gòu)建強(qiáng)大穩(wěn)健的基礎(chǔ)大模型,讓千行百業(yè)擁有“順勢而為”的大模型能力。浪潮信息推出的“源1.0”開源開放計(jì)劃,開放模型API、工具鏈、數(shù)據(jù)集,構(gòu)建“開放、共贏”的開發(fā)者社區(qū)生態(tài),助力開發(fā)者快速創(chuàng)新,目前“源開發(fā)者社區(qū)”已匯聚了近萬名高水平開發(fā)者,孵化出眾多創(chuàng)新應(yīng)用。
在智能客服領(lǐng)域,通過將“源”大模型的智能力與復(fù)雜的服務(wù)場景進(jìn)行深度融合,打造專家級數(shù)據(jù)中心智能客服大腦,憑借強(qiáng)大的學(xué)習(xí)能力,“源曉服”能夠?qū)χR庫進(jìn)行自主化學(xué)習(xí),可覆蓋終端用戶92%的咨詢問題,將復(fù)雜技術(shù)咨詢的業(yè)務(wù)處理時(shí)長降低65%,整體服務(wù)效率達(dá)160%,榮獲評哈佛商業(yè)評論鼎革獎(jiǎng)。
在智慧政務(wù)領(lǐng)域,基于源大模型打造的AI社區(qū)助理“臨小助“,可為基層社區(qū)工作者提供沉浸式、針對性的一對一群眾工作能力培訓(xùn),社區(qū)工作者通過手機(jī)載體與“臨小助”進(jìn)行互動(dòng)對話形式,讓社區(qū)小白“秒變”服務(wù)群眾的能人。目前,“臨小助”已投入使用,在某高頻場景中,社區(qū)工作人員培訓(xùn)學(xué)習(xí)效率提升5倍,有效輔助問答建議達(dá)至75%。
在智慧文創(chuàng)領(lǐng)域,開發(fā)者開發(fā)出首個(gè)AI劇本殺;基于“源1.0”,開發(fā)并上線一個(gè)會“鬧情緒”的AI陪練,幫助心理咨詢師更專業(yè)及時(shí)地提供各種服務(wù)和治療方案。除此之外,“AI數(shù)字人魯迅”、數(shù)字演員、陪伴機(jī)器人、游戲NPC對話等極具創(chuàng)新的應(yīng)用也在不斷地孵化落地。
“源1.0”作為新型的大模型算法基礎(chǔ)設(shè)施,正通過強(qiáng)大的通用智能和全棧的工具鏈服務(wù)能力,助力千行百業(yè)開發(fā)運(yùn)行更多的智能應(yīng)用。
