12月5日消息,近日,由深度學習技術及應用國家工程研究中心主辦、百度飛槳承辦的WAVE SUMMIT+2022深度學習開發者峰會如期舉行。峰會上,百度AI技術生態總經理馬艷軍發布了飛槳深度學習平臺的最新技術和生態進展,全新發布飛槳開源框架2.4版本,帶來業界首個端到端大模型開發套件PaddleFleetX,聯合12家硬件生態伙伴發布飛槳生態發行版,AI Studio學習與實訓社區升級推出企業實訓和生態異構算力中心等等。這一系列舉措標志著飛槳持續夯實AI技術基座,不斷深入產業融合創新。
圖:百度AI技術生態總經理馬艷軍分享飛槳平臺最新發布
飛槳開源框架2.4版發布,以底層技術創新持續優化性能表現
此次飛槳升級的2.4版本,框架開發更加靈活便捷,大規模模型分布式訓練持續領先,并實現了全場景高性能推理部署。
開發方面,飛槳開源框架2.4版本針對稀疏計算、圖學習等重要場景新增160多個API,并且API開發門檻和成本大幅降低,使此次新增的API中有1/3來自生態開發者的貢獻。針對AI for Science場景需求,2.4版實現了通用的高階自動微分功能,更好地支持科學計算相關應用。同時,飛槳全面提升了核心動轉靜技術的可擴展性和部署靈活性,新模型動轉靜成功率達92%,充分發揮動態圖和靜態圖各自優勢。
訓練方面,2.4版全新升級,推出了基于GPU的超大規模圖模型訓練引擎PGLBox,在業內率先實現了可同時支持復雜算法、超大圖、超大離散模型的一體化圖學習方案。另外,飛槳的集合通信分布式訓練性能也做到了極致優化,為大模型訓練提供了全面豐富的分布式訓練性能優化體系,基于此,飛槳今年連續兩次獲得國際權威的AI訓練基準測試MLPerf Training榜單第一。
作為AI實現產業落地的“最后一公里”,模型的推理部署過程十分關鍵。首先對于大模型的推理,飛槳開源框架2.4版支持自適應模型切分和分布式推理等功能,依托飛槳框架動轉靜能力,可實現自動深度融合及高性能優化,全面支撐大模型應用落地。同時為了從根本上解決AI應用落地面臨的場景碎片化、開發成本高、推理速度慢三大難題,飛槳全新推出的全場景高性能AI部署工具FastDeploy,一站式滿足端、邊、云多場景,多框架與多硬件的部署需求,不僅API設計統一,簡單易用,而且還支持自動化壓縮與高性能推理引擎深度聯動,可充分發揮軟硬一體融合優勢,擁有業內領先的推理性能,為AI產業應用落地提供最優解。
持續降低應用門檻,加速AI應用落地
大模型的應用可以降低AI應用的門檻,但大模型開發、訓練、推理部署過程仍具有很大的挑戰。為了更好地支撐大模型應用落地,飛槳全新發布端到端大模型開發套件PaddleFleetX。PaddleFleetX無縫對接飛槳并行策略并支持定制化組合,可以擴展支持更多類型的大模型,開發者可以根據模型結構的特點自行選擇并行策略組合,并且支持GPU/NPU/DCU等多硬件平臺的多云環境的訓練調試。同時,PaddleFleetX還支持自適應分布式推理技術,真正做到了分布式策略的訓推一體,大可支持超大模型的服務化部署,小可協同訓壓推結合的豐富小型化策略,實現端側輕量化部署。
此次峰會上,飛槳產業級開源模型庫開源算法新增至600個以上,覆蓋視覺、自然語言、時序建模等主流任務場景;經過產業實踐打磨的精度與性能平衡PP系列特色模型新增至42個;飛槳產業實踐范例增至68個,覆蓋金融、工業、交通、互聯網、安防、教育等十個重點行業場景;發布飛槳產業級模型庫一站式入口,聚合模型知識與工具集,打通模型選擇、快速體驗、模型開發與使用、模型部署全流程。飛槳從產業模型開源、范例參考等方面蓄力,為企業應用AI技術提供便利支持,共同解決產業痛點難點。
攜手各領域生態伙伴共創共享,共同打造繁榮飛槳AI生態
推動人工智能在產業中落地應用,離不開與硬件生態伙伴的攜手前行。今年5月,飛槳聯合硬件生態伙伴發布“硬件生態共創計劃”,在聯合研發、資源共享、聯合授權、培訓賦能等多個維度全面合作。截至11月,飛槳“硬件生態共創計劃”成員已經從13家增加至28家。同時,飛槳攜手英偉達、Arm、寒武紀、昆侖芯、天數智芯、Graphcore、燧原等12家廠商聯合發布了飛槳生態發行版,在為開發者提供更好的軟硬一體化體驗的同時,攜手共建繁榮硬件生態。
為進一步加速AI產業智能化升級,飛槳深入產業場景,聯合國家能源集團、中國工商銀行、中國聯通、中國石油、中國鐵道科學研究院、中國移動、中國一汽等行業龍頭企業,發布產業實踐范例征集計劃,鏈接企業與開發者,解決各行業實際產業場景中的關鍵問題,助力AI產業落地。
飛槳建設的AI Studio學習與實訓社區致力于讓AI學習和應用更簡單,目前也已成為國內最大的AI開發者社區。本次峰會上,AI Studio升級新增兩大板塊:企業實訓和生態異構算力中心。
企業實訓為企業應用深度學習提供了實訓陣地。截至目前,飛槳已與20余家知名企業聯合舉辦賽事,共同探索AI應用方案,培養AI人才。長期以來,AI Studio為廣大開發者提供了包括CPU和GPU的豐富算力資源,又接入了曙光DCU算力,為開發者提供線上體驗中心,為硬件基礎設施提供便捷的體驗環境,生態異構算力中心歡迎更多硬件廠商入駐。
源于產業實踐的百度飛槳深度學習開源開放平臺,是百度踐行融合創新、降低門檻的AI大生產平臺。未來,隨著深度學習核心技術的持續深耕,飛槳將更好地支撐AI與大模型落地應用,不斷建設更加繁榮的AI生態,推動產業加速實現智能化升級,讓AI惠及千行百業。
來源:TechWeb