深度學(xué)習(xí)發(fā)展至今，語(yǔ)言、視覺(jué)、推薦、代碼生成等多個(gè)領(lǐng)域相繼出現(xiàn)一些“大模型”成果，不斷刷新著人們對(duì) AI 的認(rèn)知與想象。深度學(xué)習(xí)依賴對(duì)大量數(shù)據(jù)的訓(xùn)練，而“大模型”的參數(shù)更多、函數(shù)更復(fù)雜，這樣的特征使得模型所演算出來(lái)的結(jié)果更精準(zhǔn)。隨著萬(wàn)物互聯(lián)世界的進(jìn)一步發(fā)展，數(shù)據(jù)量的擴(kuò)展與數(shù)據(jù)收集已不再是難題，隨之而來(lái)的新命題是如何處理海量數(shù)據(jù)，并且做出更好地訓(xùn)練。
早在 2017 年，Transformer 結(jié)構(gòu)被提出，使得深度學(xué)習(xí)模型參數(shù)突破了1億；2018 年，BERT 網(wǎng)絡(luò)模型的提出，使得參數(shù)量首次超過(guò) 3 億規(guī)模；2020 年，擁有 1750 億個(gè)參數(shù)的 GPT-3 橫空出世；2021 年推出的 ZionEX 系統(tǒng)，其所支持的推薦模型大小已超過(guò) 10 萬(wàn)億規(guī)模……
隨著數(shù)據(jù)規(guī)模的指數(shù)級(jí)增長(zhǎng)，大模型已經(jīng)逐漸被認(rèn)為是通過(guò)深度學(xué)習(xí)認(rèn)知智能的橋梁。
然而，數(shù)據(jù)量的暴增提出了新的命題——如何跨越通信等瓶頸，提升大模型的訓(xùn)練效率？為了支持大模型的訓(xùn)練，往往需要一套大規(guī)模分布式訓(xùn)練框架來(lái)訓(xùn)練大模型。
對(duì)此，華為交出的答卷便是昇思 MindSpore AI 框架，原生支持大模型訓(xùn)練。昇思 MindSpore 擁有業(yè)界領(lǐng)先的全自動(dòng)并行能力，提供 6 維混合并行算法，即數(shù)據(jù)并行、模型并行、流水并行、優(yōu)化器并行等能力；極致的全局內(nèi)存復(fù)用能力，在開發(fā)者無(wú)感知的情況下，自動(dòng)實(shí)現(xiàn) NPU 內(nèi)存 / CPU 內(nèi)存 / NVMe 硬盤存儲(chǔ)的多級(jí)存儲(chǔ)優(yōu)化，極大降低模型訓(xùn)練成本；極簡(jiǎn)的斷點(diǎn)續(xù)訓(xùn)能力，可解決大集群訓(xùn)練故障導(dǎo)致的任務(wù)中斷問(wèn)題……通過(guò)這些特性，可以很好地解決大模型開發(fā)時(shí)遇到的內(nèi)存占用、通信瓶頸、調(diào)試復(fù)雜、部署難等問(wèn)題。
專注底層能力，昇思 MindSpore 攜手伙伴打造四大創(chuàng)新模型
值得注意的是，昇思 MindSpore AI 框架專注底層能力建設(shè)，為業(yè)界提供大模型的搭建基礎(chǔ)。至今，昇思 MindSpore AI 已經(jīng)攜手業(yè)內(nèi)領(lǐng)先的研究機(jī)構(gòu)，推出覆蓋自然語(yǔ)言處理、遙感影像、生物醫(yī)藥、多模態(tài)的的四大模型，并廣泛應(yīng)用在金融、醫(yī)療、農(nóng)林業(yè)、制造等各個(gè)行業(yè)。
2021 年 5 月，在華為生態(tài)大會(huì) 2021「昇騰萬(wàn)里 共贏智能新時(shí)代」上，鵬城實(shí)驗(yàn)室基于昇思 MindSpore 推出了全球首個(gè) 2000 億參數(shù)中文 NLP 大模型鵬程.盤古，是最接近人類中文理解能力的 AI 大模型。鵬程.盤古大模型具備廣泛的運(yùn)用場(chǎng)景，在知識(shí)問(wèn)答、知識(shí)檢索、知識(shí)推理、閱讀理解等文本生成領(lǐng)域表現(xiàn)突出。
2 個(gè)月后，中科院自動(dòng)化所聯(lián)合華為基于昇騰AI和昇思MindSpore AI框架打造的全球首個(gè)三模態(tài)大模型——“紫東.太初”正式推出。紫東.太初能夠?qū)崿F(xiàn)視覺(jué)、文本、語(yǔ)音三個(gè)模態(tài)間的高效協(xié)同，性能全球領(lǐng)先，是探索通用人工智能道路上的重要成果，將在工業(yè)質(zhì)檢、影視創(chuàng)作、互聯(lián)網(wǎng)推薦、智能駕駛等領(lǐng)域廣泛應(yīng)用。同時(shí)，依托其技術(shù)創(chuàng)新性和行業(yè)影響力，紫東.太初獲得今年WAIC的最高獎(jiǎng)項(xiàng)——卓越人工智能引領(lǐng)者獎(jiǎng)（Super AI Leader，簡(jiǎn)稱SAIL獎(jiǎng)）
除了基礎(chǔ)大模型之外，昇思 MindSpore AI 框架還已支撐兩個(gè)行業(yè)大模型上線——鵬程.神農(nóng)和武漢.LuoJia。
鵬城實(shí)驗(yàn)室聯(lián)合華為基于昇騰 AI 和昇思 MindSpore AI 框架打造了面向生物醫(yī)學(xué)領(lǐng)域的人工智能平臺(tái) “鵬程.神農(nóng)”。制藥企業(yè)和醫(yī)學(xué)研究機(jī)構(gòu)使用“鵬程.神農(nóng)”提供的AI能力，將大大加速新型藥物的篩選與研制，讓人工智能為人類的健康保駕護(hù)航。
武漢大學(xué)與華為昇騰AI團(tuán)隊(duì)一起，共同打造了嵌入昇思MindSpore先進(jìn)技術(shù)特性的全球首個(gè)遙感影像智能解譯專用框架武漢.LuoJiaNet和業(yè)界最大遙感樣本庫(kù)武漢.LuoJiaSET，助力遙感智能解譯，為數(shù)字鄉(xiāng)村建設(shè)、糧食安全保護(hù)、城市規(guī)劃建設(shè)國(guó)計(jì)民生應(yīng)用賦能
構(gòu)筑體驗(yàn)平臺(tái)，開放大模型能力
通常，訓(xùn)練一個(gè)大模型的人力和資源成本都非常之高，這也就導(dǎo)致了普通開發(fā)者入門無(wú)道。為了讓更多開發(fā)者可以體驗(yàn)到大模型的魅力，昇思 MindSpore 社區(qū)打造了一站式大模型體驗(yàn)平臺(tái)，已在 7 月 30 日正式上線。
昇思大模型體驗(yàn)平臺(tái)不僅集模型選型、在線推理、在線訓(xùn)練為一體，還支持了 Gradio 項(xiàng)目可視化推理、在線進(jìn)行遷移學(xué)習(xí)。開發(fā)者可以在線查詢基于昇思 MindSpore 構(gòu)建的模型和數(shù)據(jù)集，并選擇自己感興趣的大模型及相關(guān)任務(wù)，如鵬城.盤古大模型的知識(shí)問(wèn)答、檢索和推理等、紫東.太初多模態(tài)大模型的以音搜圖、以圖生音和以音生圖等。
實(shí)戰(zhàn)造英雄，昇思 AI 挑戰(zhàn)賽現(xiàn)已開幕！
Get 一項(xiàng)新技能，最好的辦法就是立個(gè)小目標(biāo)，自己動(dòng)手實(shí)操。
在開發(fā)者領(lǐng)域，底層理論的掌握程度很難代表實(shí)際開發(fā)效果。為了能讓更多開發(fā)者有機(jī)會(huì)學(xué)習(xí)昇思 MindSpore，探索模型算法并提升算法能力，進(jìn)而為行業(yè)儲(chǔ)備人才，推動(dòng)人工智能軟硬件應(yīng)用生態(tài)繁榮發(fā)展，昇思 MindSpore 特舉辦昇思 AI 挑戰(zhàn)賽。
昇思 MindSpore 還為參賽者準(zhǔn)備了豐厚的獎(jiǎng)品：
●一等獎(jiǎng)1名，獎(jiǎng)金5K元并頒發(fā)官方榮譽(yù)證書
●二等獎(jiǎng)2名，獎(jiǎng)金3K元并頒發(fā)官方榮譽(yù)證書；
●三等獎(jiǎng)3名，獎(jiǎng)金 2 K元并頒發(fā)官方榮譽(yù)證書；
●入圍復(fù)賽且通過(guò)代碼審查且成功在線推理的隊(duì)伍可獲得證書、定制大禮包等獎(jiǎng)品；
●凡是提供推理模塊的隊(duì)伍，均可獲得參與獎(jiǎng)；
本次 AI 挑戰(zhàn)賽是面向全球 AI 開發(fā)者打造的賽事，開設(shè)多類別圖像分類、文本分類、藝術(shù)家風(fēng)格遷移三大賽道，涵蓋 AI 基礎(chǔ)領(lǐng)域。
其中圖像分類是計(jì)算機(jī)視覺(jué)中最基礎(chǔ)的任務(wù)，目前圖像分類的算法仍然在飛速發(fā)展。本賽題旨在讓參賽者熟悉昇思MindSpore并鍛煉參賽者使用MindSpore進(jìn)行圖像分類預(yù)處理、圖像分類的能力。同時(shí)為了考察參賽者應(yīng)對(duì)大量數(shù)據(jù)的處理能力，本賽題采用Celtech多類別圖像數(shù)據(jù)集。
文本分類研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。文本分類在AI領(lǐng)域承擔(dān)了重要角色。本賽題旨在讓參賽者熟悉昇思MindSpore并鍛煉參賽者使用MindSpore進(jìn)行NLP的文本處理、文本分類的能力。 本賽題采用Amazon Review數(shù)據(jù)集，參賽者需要根據(jù)用戶評(píng)論文本，對(duì)用戶的評(píng)分進(jìn)行預(yù)測(cè)（1-5分的整數(shù)）。
藝術(shù)家風(fēng)格遷移賽道 圖像風(fēng)格遷移技術(shù)的發(fā)展在圖像處理、計(jì)算機(jī)視覺(jué)、影視制作等領(lǐng)域均發(fā)揮著不可估量的作用。本賽題旨在讓參賽者熟悉昇思MindSpore并鍛煉參賽者使用MindSpore進(jìn)行圖像風(fēng)格遷移的能力。本賽題采用梵高畫作作為風(fēng)格遷移的目標(biāo)風(fēng)格。
通過(guò)三大賽道的設(shè)置，開發(fā)者可以自由挑選感興趣的賽道，實(shí)現(xiàn)從理論到實(shí)踐的跨越，了解行業(yè)最新的人才需求，提升自身技能。
6 萬(wàn)元獎(jiǎng)金及眾多周邊福利，還等什么？報(bào)名通道已經(jīng)開啟，快點(diǎn)擊鏈接選擇喜歡的賽道報(bào)名吧！
