5月20日，由深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程實(shí)驗(yàn)室與百度聯(lián)合主辦WAVE SUMMIT2021深度學(xué)習(xí)開發(fā)者峰會(huì)在北京盛大舉行。百度首次揭曉人工智能融合創(chuàng)新趨勢下的AI工業(yè)大生產(chǎn)實(shí)現(xiàn)路徑，飛槳深度學(xué)習(xí)平臺(tái)帶來全新發(fā)布，持續(xù)引領(lǐng)深度學(xué)習(xí)技術(shù)發(fā)展。
峰會(huì)上，百度深度學(xué)習(xí)技術(shù)平臺(tái)部高級(jí)總監(jiān)馬艷軍就飛槳全新發(fā)布與升級(jí)展開演講。他表示，年初飛槳正式發(fā)布了開源框架2.0版本，是飛槳發(fā)展歷程中的重要里程碑。2.0版本默認(rèn)的編程范式由靜態(tài)圖升級(jí)為動(dòng)態(tài)圖，而且實(shí)現(xiàn)了動(dòng)靜統(tǒng)一的設(shè)計(jì)，很好地兼顧了科研和產(chǎn)業(yè)的需求。目前，飛槳深度學(xué)習(xí)開源平臺(tái)從基礎(chǔ)模型庫、端到端開發(fā)套件到工具組件，都基于框架2.0版本進(jìn)行了升級(jí)，開發(fā)體驗(yàn)得到了全面提升。2.0版本的大規(guī)模訓(xùn)練能力持續(xù)突破，參數(shù)服務(wù)器技術(shù)迭代到第三代，是業(yè)內(nèi)首個(gè)通用異構(gòu)參數(shù)服務(wù)器架構(gòu)。最近又發(fā)布了4D混合并行技術(shù)，支持超大模型訓(xùn)練。
此次峰會(huì)飛槳框架又迎來了重磅發(fā)布，展示最新的技術(shù)成果和開源生態(tài)成就，其關(guān)注程度可想而知。接下來，我們來逐一揭秘飛槳開源深度學(xué)習(xí)平臺(tái)從開發(fā)、訓(xùn)練、部署全鏈路的最新成果。
飛槳開源框架V2.1，技術(shù)底座呈破圈之勢
基礎(chǔ)設(shè)施一小步，AI上線一大步。
峰會(huì)上，飛槳開源框架正式發(fā)布V2.1版本，自動(dòng)混合精度、動(dòng)態(tài)圖、高層API等進(jìn)行了優(yōu)化和增強(qiáng)。尤其是自定義算子功能全面升級(jí)，降低開發(fā)者自定義算子的學(xué)習(xí)與開發(fā)成本。“自定義OP功能優(yōu)化”等升級(jí)帶來極強(qiáng)的科研開發(fā)靈活性和擴(kuò)展能力，產(chǎn)業(yè)應(yīng)用已從成熟的AI行業(yè)延伸到生物、物理、化學(xué)等大科學(xué)跨界領(lǐng)域的開發(fā)集成，助力前沿基礎(chǔ)科學(xué)研究。
封裝更簡潔、訓(xùn)練和推理全打通、一鍵編譯、安裝并生成算子API，有效降低了開發(fā)者編寫和使用自定義算子的成本，讓開發(fā)者更加專注于算子計(jì)算的本質(zhì)。深度勢能的分子動(dòng)力學(xué)開源項(xiàng)目(DeePMD-kit)就是一個(gè)典型的案例。DeePMD-kit發(fā)布以來，在凝聚態(tài)物理、化學(xué)物理、材料理性設(shè)計(jì)、生物物理、藥物分子設(shè)計(jì)等領(lǐng)域均得到廣泛應(yīng)用。DeePMD-kit的社區(qū)開發(fā)者使用飛槳框架的自定義OP功能可以方便地進(jìn)行計(jì)算單元的自定義，加速功能開發(fā)。
開發(fā)上便捷靈活、應(yīng)用上普適多元。飛槳正在一步步創(chuàng)造領(lǐng)先同行的深度學(xué)習(xí)開源能力，產(chǎn)業(yè)滲透已呈“破圈”之勢。
大規(guī)模圖檢索引擎，特殊場景的“啟動(dòng)密碼”
隨著大規(guī)模圖學(xué)習(xí)在知識(shí)圖譜和搜索推薦領(lǐng)域的廣泛應(yīng)用，大規(guī)模圖模型訓(xùn)練愈加受到重視，已經(jīng)成為諸多特殊場景的“啟動(dòng)密碼”。
飛槳提供了從分布式數(shù)據(jù)處理、圖檢索、前向反向圖模型計(jì)算、多server參數(shù)更新的全流程通用分布式能力，形成了大規(guī)模圖模型訓(xùn)練架構(gòu)。對(duì)于其中圖檢索環(huán)節(jié)，此次發(fā)布的圖檢索引擎，可以高效支持萬億邊的圖存儲(chǔ)和檢索，將圖的鄰接表通過雙層哈希切分方式存放到不同graphserver上。worker端請求graphserver通過圖檢索引擎獲得子圖進(jìn)行訓(xùn)練。最后在Intel CPU環(huán)境上實(shí)測，可以支持萬億邊圖模型訓(xùn)練，也很好地支持線性擴(kuò)展。
這一技術(shù)在網(wǎng)易云音樂主播推薦業(yè)務(wù)進(jìn)行了應(yīng)用。基于大規(guī)模圖檢索引擎和飛槳分布式訓(xùn)練技術(shù)，成功支撐語音主播業(yè)務(wù)十億邊的圖模型訓(xùn)練，通過知識(shí)遷移有效解決冷啟動(dòng)問題，提高主播推薦場景有效播放率。
ERNIE四大預(yù)訓(xùn)練模型，開源家族又添生力軍
模型套件方面，文心ERNIE全新開源發(fā)布 4大預(yù)訓(xùn)練模型，分別是多粒度語言知識(shí)增強(qiáng)模型ERNIE-Gram、超長文本理解模型ERNIE-Doc、融合場景圖知識(shí)的跨模態(tài)理解模型ERNIE-ViL和語言與視覺一體的模型ERNIE-UNIMO。知識(shí)與深度學(xué)習(xí)相結(jié)合實(shí)現(xiàn)知識(shí)增強(qiáng)的語義理解，不僅僅能理解語言，還可以理解圖像，實(shí)現(xiàn)統(tǒng)一的跨模態(tài)語義理解。
ERNIE-Gram提出顯式的n-gram掩碼語言模型，通過引入多粒度語言知識(shí)增強(qiáng)預(yù)訓(xùn)練模型效果，5項(xiàng)典型中文文本任務(wù)效果顯著超越業(yè)界開源的預(yù)訓(xùn)練模型。
ERNIE-Doc針對(duì)篇章長文本建模不充分問題，提出回顧式建模技術(shù)和增強(qiáng)記憶模型機(jī)制，在13 項(xiàng)長文本理解任務(wù)上取得領(lǐng)先效果。
ERNIE-ViL針對(duì)跨模態(tài)理解難題，基于知識(shí)增強(qiáng)思想，實(shí)現(xiàn)了融合場景知識(shí)的跨模態(tài)預(yù)訓(xùn)練，在5項(xiàng)跨模態(tài)理解任務(wù)上取得效果領(lǐng)先。
ERNIE-UNIMO進(jìn)一步增強(qiáng)不同模態(tài)間的知識(shí)融合，通過跨模態(tài)對(duì)比學(xué)習(xí)，同時(shí)提升跨模態(tài)語義理解與生成、文本理解與生成的效果，在13項(xiàng)跨模態(tài)和文本任務(wù)上實(shí)現(xiàn)領(lǐng)先。
推理部署導(dǎo)航圖，打通AI應(yīng)用最后一公里
在產(chǎn)業(yè)數(shù)字化背景下，AI建設(shè)從互聯(lián)網(wǎng)市場向千行百業(yè)邁進(jìn)，落地成為必然要求。AI能否順利推理部署，已經(jīng)成為落地成敗的關(guān)鍵。飛槳提供全流程的深度學(xué)習(xí)開發(fā)工具。針對(duì)不同的軟硬件部署環(huán)境，飛槳都提供了完善的推理部署工具，并打通了完整的工具鏈。
峰會(huì)現(xiàn)場，飛槳多端多平臺(tái)推理部署工具鏈發(fā)布全面升級(jí)。飛槳模型壓縮工具PaddleSlim模型壓縮升級(jí)，優(yōu)化剪枝壓縮技術(shù)，新增非結(jié)構(gòu)化稀疏工具，擁有軟硬一體協(xié)同優(yōu)化的能力，結(jié)合多種壓縮策略優(yōu)勢，率先支持 OFA 壓縮模式，面向不同部署環(huán)境實(shí)現(xiàn)高精度壓縮。飛槳的輕量化推理引擎Paddle Lite也進(jìn)行了全面升級(jí)，兼具穩(wěn)定易用、性能優(yōu)異、多硬件支持諸多特性。針對(duì)服務(wù)化部署的實(shí)際需求，Paddle Serving 新增全異步設(shè)計(jì)的 Pipeline 模式，可以一個(gè)服務(wù)啟動(dòng)10+模型，打破串行設(shè)計(jì)的約束，提升吞吐量和 GPU 利用率。飛槳的前端推理引擎Paddle.js 新升級(jí)后保持高兼容性，完整支持了飛槳框架2.0及之后版本的模型格式，新增支持多種 Backend和主流圖像分割及分類模型，在高兼容性的同時(shí)兼顧了高性能。另外，Paddle.JS還推出了前端模型加密解決方案，有效提高業(yè)務(wù)的安全性。
推理部署工具鏈各個(gè)工具正加速升級(jí)，而整個(gè)鏈條是否通暢也非常重要，這一定程度上決定了AI應(yīng)用最后一公里的路能否走順。峰會(huì)現(xiàn)場，一張飛槳推理部署導(dǎo)航圖成功吸睛，300多條部署通路一目了然，深刻詮釋了飛槳在打通AI應(yīng)用最后一公里所做出的不懈努力。
硬件生態(tài)新成果，AI工業(yè)大生產(chǎn)“朋友圈”再擴(kuò)容
AI基礎(chǔ)軟硬件生態(tài)構(gòu)建意義非凡，芯片與深度學(xué)習(xí)框架的融合成為構(gòu)建全球領(lǐng)先的AI 應(yīng)用與推廣生態(tài)的關(guān)鍵。
飛槳的枝繁葉茂也離不開廣大硬件生態(tài)伙伴的支持。硬件生態(tài)方面，從去年WAVE SUMMIT2020峰會(huì)發(fā)布硬件生態(tài)伙伴圈到今天的一年時(shí)間里，飛槳已經(jīng)和包括百度昆侖、英特爾在內(nèi)的22家國內(nèi)外硬件廠商開展適配和聯(lián)合優(yōu)化，已完成和正在適配的芯片或IP達(dá)到了31款。
飛槳正與合作伙伴們攜手，加快軟硬一體適配，提供功能強(qiáng)大、高效、可擴(kuò)展和高性能的解決方案，助力實(shí)現(xiàn)AI創(chuàng)新，推動(dòng)AI工業(yè)大生產(chǎn)的實(shí)現(xiàn)進(jìn)程。峰會(huì)現(xiàn)場，英特爾、英偉達(dá)、海光、華為昇騰、瑞芯微多家合作伙伴進(jìn)行了企業(yè)硬件生態(tài)成果展示，飛槳生態(tài)的硬件朋友圈再次擴(kuò)容。
螺旋槳、量槳最新升級(jí)
當(dāng)天除了全新發(fā)布，還見證了螺旋槳、量槳的最新升級(jí)。
螺旋槳 (PaddleHelix)升級(jí)到了1.0正式版本，新增了化合物預(yù)訓(xùn)練模型ChemRL，并將ChemRL模型應(yīng)用到更多的下游任務(wù)。在今年3月，國際權(quán)威的圖神經(jīng)網(wǎng)絡(luò)OGB 上，在HIV和PCBA兩個(gè)藥物相關(guān)的數(shù)據(jù)集上，獲得雙冠軍。
量槳( Paddle Quantum)適配飛槳框架2.X，整體運(yùn)行大幅度提升;量槳的整體功能也得到了進(jìn)一步加強(qiáng)，適配了近期量子設(shè)備，新增量子核方法等特征提取方式等。對(duì)于難度很大的糾纏提純?nèi)蝿?wù)，量槳新增了最優(yōu)化量子糾纏處理框架，給出了目前業(yè)界最優(yōu)且可實(shí)施的提純方案，多個(gè)場景達(dá)到業(yè)界最優(yōu)。
AI大生產(chǎn)階段，作為百度大腦“AI大生產(chǎn)平臺(tái)”的基礎(chǔ)底座，飛槳始終保持著高頻更新迭代，是“技術(shù)使能者”也是“價(jià)值賦能者”。IDC數(shù)據(jù)顯示，飛槳是全球排名前三的深度學(xué)習(xí)框架。目前，飛槳平臺(tái)已經(jīng)凝聚了320萬開發(fā)者，相比一年前增幅70%，服務(wù)12萬家企事業(yè)單位。飛槳“AI賦能萬物”的磅礴力量再次凸顯，也用行動(dòng)踐行著百度“用科技讓復(fù)雜的世界更簡單”的使命。
