隨著AI在產業中的普及應用,各類型場景對人工智能算力的需求不斷被釋放,提供訓練、推理能力的AI芯片產品百花齊放。而芯片算力的有效利用,需要與成熟的深度學習框架適配協同。
近日,人工智能計算領域的引領者NVIDIA召開了全球開發者大會GTC 2023,GPU芯片與百度飛槳深度學習平臺的合作持續深入,百度技術專家特別分享了飛槳如何支持大模型生產和應用、大規模圖學習訓練技術PGLBox、端到端大模型開發套件PaddleFleetX、全場景高性能AI部署工具FastDeploy等前沿內容。
深度學習框架是連接軟硬件的關鍵軟件平臺,框架與AI芯片、計算系統的聯合優化是充分釋放算力、實現AI基礎設施極致優化的重點。飛槳作為中國首個自主研發、開源開放的產業級深度學習平臺,已發展成為中國市場應用規模第一的深度學習框架和賦能平臺,技術和生態實力深受廣大硬件廠商認可,合作日趨緊密,由此也為開發者提供了軟硬一體的便捷體驗。
圖:百度AI技術生態總經理馬艷軍在GTC 2023演講
硬件廠商與飛槳的合作經歷了“共聚”“共研”“共創”三個階段,且逐年深入。基于AI基礎軟硬件協同發展趨勢的判斷,飛槳于2020年,率先與國內外領先的硬件廠商開展對接,獲得積極響應和支持。2021年,飛槳與硬件伙伴攜手共研解決適配技術方案復雜、成本高等問題,飛槳推出了多層次、低成本的硬件適配統一方案,包括自定義算子庫接入、自定義通信庫等多項基礎軟件改造,硬件伙伴可以根據硬件特性靈活選擇,極大降低適配成本。截至目前,超過40家硬件廠商與飛槳深度融合優化,基本全適配國產芯片。
2022年,飛槳與硬件伙伴從適配優化進一步發展到協同創新的“共創”階段。硬件伙伴希望通過定制版的飛槳框架、模型庫等來豐富其自身的AI軟件棧。飛槳也能通過硬件底層開發體驗的提升,幫助更多開發者低門檻實現AI應用創新。
NVIDIA與飛槳率先完成了聯創工作。以NVIDIA合作為范例,飛槳與國內外更多硬件伙伴聯合發布了基于飛槳開源版的廠商定制版飛槳框架和模型庫等。
據介紹,NVIDIA將飛槳列為全球前三的深度學習框架合作伙伴,在中國設立了專門的工程團隊支持,賦能飛槳。雙方聯合開發了三大主要產品:基于NVIDIA GPU定制優化的飛槳容器NGC,包含了最新的NVIDIA工具包(CUDA、DALI等)和優化的飛槳版本,為開發者提供最佳開發環境;NVIDIA Deep Learning Examples向用戶提供易于訓練和部署的飛槳模型示例;在NVIDIA深度學習培訓中心(DLI)打造系列免費課程及聯名認證證書,幫助開發者提高訓推性能并簡化代碼,并給予權威認可。
百度AI技術生態總經理馬艷軍在GTC演講中表示,人工智能應用的發展離不開硬件合作伙伴的共同努力。我們聯合NVIDIA、Intel和Arm等13家合作伙伴共同發布了飛槳生態發行版,實現軟硬件協同深度優化。飛槳“硬件生態共創計劃”伙伴數量已達29家,聚生態之力,共同打造軟硬一體的全棧式AI平臺,促進人工智能產業鏈高質量發展。
飛槳“硬件生態共創計劃”主要包含聯合研發、資源共享、聯合授權、培訓賦能四項重點工作,旨在協同戰略合作伙伴軟硬一體全面共創,以更好地服務開發者。
在聯合研發方面,飛槳與硬件伙伴成立技術研發虛擬聯合團隊,共建聯合研發基礎設施,并對模型進行性能優化,推出廠商定制版飛槳框架,大大提升飛槳模型在各類AI硬件上的訓練推理性能,為開發者提供更多更好選擇。
在資源共享方面,飛槳與硬件伙伴共享推廣宣傳資源,合作打磨飛槳+硬件廠商特色營銷工具包,并通過品牌活動、賽事、閉門會、數字化展廳等提供展示平臺,幫助業務拓展。
在聯合授權方面,飛槳會將與硬件伙伴聯合優化的方案和飛槳的特色能力優先推薦給生態伙伴。飛槳還基于硬件平臺聯合開發飛槳一體機,為企業提供功能全面、便捷高效、穩定可靠的一站式人工智能服務。
在培訓賦能方面,飛槳與硬件伙伴聯合開發飛槳+硬件使用開發教程,并在雙方的學習與實訓社區提供系列課程及聯名認證證書。其中,飛槳AI Studio已經是全國最大的人工智能學習與實訓社區,擁有超過300萬注冊用戶。飛槳AI Studio還開設了硬件廠商專區,為開發者提供體驗更多AI硬件的機會。
隨著人工智能技術在各行業的廣泛應用,業界已從各自獨立的硬件算力驅動和算法創新驅動進入到算法和硬件協同創新階段。飛槳將通過硬件生態共創計劃,結合伙伴自有軟硬件基礎開發棧特色,真正實現軟硬件互聯互通、創新發展。
飛槳秉持AI時代操作系統的產業鏈定位,開放擁抱所有硬件廠商。通過技術聯合研發和生態共享共創,飛槳將攜手硬件伙伴一起開拓更多軟硬件協同的產品和服務,加速人工智能的應用落地,推動AI工業大生產實現進程。
-End-