深度學習框架被稱為“智能時代的操作系統(tǒng)”，是推動人工智能應(yīng)用大規(guī)模落地的核心動力引擎。國家“十四五”規(guī)劃將深度學習框架列入“新一代人工智能”領(lǐng)域，作為前沿創(chuàng)新技術(shù)重點支持。近年來，國產(chǎn)深度學習開源框架迎來集中爆發(fā)，一眾優(yōu)秀項目在產(chǎn)業(yè)實踐中站穩(wěn)了腳跟。
百度飛槳（PaddlePaddle）是國內(nèi)首個自主研發(fā)、開源開放的產(chǎn)業(yè)級深度學習框架，并于去年全新發(fā)布了開源框架 2.2 版本。2022 年 4 月 29 日《極客有約》邀請到了百度 AI 技術(shù)生態(tài)總經(jīng)理馬艷軍博士，同時也是 OpenI 啟智社區(qū)技術(shù)委員會委員，和大家一起暢聊開源深度學習框架建設(shè)的話題。馬艷軍總體負責產(chǎn)業(yè)級深度學習開源開放平臺飛槳的產(chǎn)品和技術(shù)研發(fā)及生態(tài)建設(shè)，主要研究方向包括自然語言處理、深度學習等，相關(guān)成果在百度產(chǎn)品中廣泛應(yīng)用，并在 ACL 等權(quán)威會議、期刊發(fā)表論文 20 余篇，多次擔任頂級國際會議的 Area Chair。本期訪談中，馬艷軍主要圍繞飛槳平臺的技術(shù)和生態(tài)分享了自己在這一領(lǐng)域的經(jīng)驗和觀點。
如何看待深度學習框架
深度學習框架非常類似于操作系統(tǒng)，是底層芯片指令集與上層應(yīng)用之間的連接層，既要做好對底層 AI 芯片的適配、融合與優(yōu)化，也要對上層應(yīng)用提供數(shù)以千計的算法開發(fā)接口。它相當于人類身體的腰腹部位，是全身發(fā)力的核心支點。深度學習框架與操作系統(tǒng)的主要相似點還在于生態(tài)屬性。一系列軟硬件技術(shù)都要圍繞著框架緊密結(jié)合、共同發(fā)展，才能獲得良好的效果。
在 AI 研究的早期，學術(shù)界發(fā)現(xiàn)很多深度學習算法可以拆分成眾多可復(fù)用的固定模塊，為了提升算法開發(fā)的效率，便開始研發(fā)深度學習框架。2015 年之后的幾年，AI 技術(shù)積累雄厚的科技企業(yè)陸續(xù)推出了 TensorFlow、PaddlePaddle、PyTorch 等框架。這些框架在產(chǎn)業(yè)界和科研界得到了廣泛應(yīng)用，對很多應(yīng)用場景都有極大的提升和推動作用。
飛槳框架的創(chuàng)新
PaddlePaddle 于 2016 年開源，是國內(nèi)最早開源開放的深度學習框架，然后在 2019 年有了中文名“飛槳”。英文名稱 PaddlePaddle 來自于 PArallel Distributed Deep LEarning 的簡寫，而中文名飛槳則出自明朝朱熹的一首詩“聞?wù)f雙飛槳，翩然下廣津”，以飛槳命名也蘊含著快速發(fā)展的寓意。飛槳發(fā)源于百度公司內(nèi)部的研發(fā)和業(yè)務(wù)訴求，在產(chǎn)業(yè)實踐中經(jīng)過多年打磨，取得了突破性進展，并形成了比較成熟的開源生態(tài)。
馬艷軍提到，各大主流深度學習框架走過的發(fā)展路線都是類似的，并且各家產(chǎn)品在技術(shù)上會相互借鑒、共同創(chuàng)新，因此會有很多相同相似的特性。與其它框架相比，飛槳最大的不同之處在于這款框架與產(chǎn)業(yè)應(yīng)用有更緊密的結(jié)合，為生產(chǎn)環(huán)境做了很多細致的工作，不僅僅在算法層面開展優(yōu)化，而且會專門進行框架層面的升級。以動靜統(tǒng)一為例，為了滿足企業(yè)場景中靈活調(diào)試和快速部署的需求，飛槳在業(yè)內(nèi)最早提出動靜統(tǒng)一的設(shè)計并將之真正實現(xiàn)。所謂動靜統(tǒng)一，動的是靈活，靜的是高效率，既要有開發(fā)的靈活性，也要訓練部署的高效率。從本質(zhì)上講，這也是打通了科研與企業(yè)兩大領(lǐng)域之間的聯(lián)系。基于上述底層技術(shù)架構(gòu)的支撐，開發(fā)者可以很方便的將研發(fā)出來的學術(shù)算法直接應(yīng)用到產(chǎn)業(yè)實踐中。這一設(shè)計在產(chǎn)業(yè)界接受度頗高，吸引了很多企業(yè)使用飛槳。類似這樣的底層框架創(chuàng)新還有很多，而且往往來源于企業(yè)開發(fā)者的實際業(yè)務(wù)。在這樣的良性循環(huán)中，飛槳框架逐漸走出了自己獨特的發(fā)展路線，形成了一種平臺化的深度學習開源開放生態(tài)。
深度學習框架的應(yīng)用場景
作為更加貼近產(chǎn)業(yè)實踐的深度學習框架，飛槳在實際應(yīng)用中非常適合各類型企業(yè)的使用。
例如一些企業(yè)尚不具備一流的深度學習算法研發(fā)能力，在實踐中更偏向于采用業(yè)界成熟的算法，結(jié)合自己的數(shù)據(jù)和場景進行優(yōu)化。針對這樣的需求，飛槳提供了一整套開發(fā)套件和工具組件，打通了典型 AI 應(yīng)用開發(fā)的全流程。企業(yè)可以使用飛槳快速開發(fā)出適合自身場景的優(yōu)化算法，更早在實踐中部署 AI 能力。
還有一些企業(yè)雖然自身具備較好的研發(fā)能力，但在實踐中因為成本等因素，不愿意重復(fù)造輪子，也很適合使用飛槳獲得開箱即用的算法組合。
另一類企業(yè)對算法的性能有很高的要求，希望獲得盡可能高的訓練和部署效率。這些企業(yè)可以使用飛槳獲得很好的性能，同時節(jié)省可觀的資源。
除了企業(yè)用戶外，也有很多科研人員和學校師生在使用飛槳框架。過去兩年來，飛槳針對學術(shù)需求做了很多優(yōu)化，尤其是如前所述實現(xiàn)了動靜統(tǒng)一后，開發(fā)調(diào)試大大簡化，提升了科研人員的使用體驗，所以最近飛槳的科研用戶比例有了不小的提升。
在科研場景中，飛槳的用戶主要分為兩大類。其中一大類是做人工智能相關(guān)的研究，主要關(guān)注深度學習算法的開發(fā)和改進。這類需求對深度學習框架的靈活性與可擴展性有極高的要求，需要框架能夠非常靈活地定制算子，盡量通過 Python 層就實現(xiàn)高度定制化的功能特性。另一大類則是科學計算需求，需要深度學習框架為物理、化學、生物等科學領(lǐng)域的研究提供對應(yīng)的能力和優(yōu)化。這一類需求同樣對框架的靈活性和可擴展性有很高的挑戰(zhàn)。因此飛槳在過去兩年中不斷在這兩大指標上極致優(yōu)化，希望能同時充分滿足企業(yè)與科研用戶的多樣化需求。
馬艷軍提到，與操作系統(tǒng)相比，深度學習框架其實是更接近用戶的。因為人工智能算法本身就是和應(yīng)用非常貼近的，并且深度學習應(yīng)用的整個流程，包括數(shù)據(jù)準備、模型開發(fā)、訓練和部署都是業(yè)務(wù)場景中需要完成的。因此業(yè)務(wù)場景中的用戶同樣需要與深度學習框架進行大量交互，很多時候用戶本身也會參與到社區(qū)生態(tài)的開發(fā)工作中來，這種互動是在操作系統(tǒng)領(lǐng)域很難看到的。
如何做好生態(tài)建設(shè)
人工智能生態(tài)有一些獨有的特性，導致生態(tài)本身會有相當程度的復(fù)雜性。首先，人工智能有很強的賦能屬性，在賦能千行百業(yè)的時候，需要與行業(yè)場景深入融合才能發(fā)揮更大的作用。與眾多行業(yè)結(jié)合為產(chǎn)業(yè)賦能的過程中，人工智能生態(tài)自然就要與這些行業(yè)充分互動，復(fù)雜性也會大大提升。
例如很多中小企業(yè)需要充分借力開源開放平臺實現(xiàn)更多跟場景結(jié)合的方案，進而服務(wù)大型企業(yè)，一定程度上起到毛細血管的作用；使用 AI 技術(shù)的頭部企業(yè)會面臨很多本行業(yè)的復(fù)雜問題，需要上述中小企業(yè)從專業(yè)角度幫助提供 AI 解決方案。再如，很多高校學生在學習階段就會開始使用人工智能生態(tài)中的各種工具，從而生態(tài)也要適應(yīng)他們的很多需求。
從開源社區(qū)的角度來看，像 OpenI 啟智這樣的社區(qū)中會有很多人工智能相關(guān)的項目，這些項目環(huán)環(huán)相扣形成網(wǎng)絡(luò)效應(yīng)，互相協(xié)作，共同提升，最終形成繁榮的社區(qū)發(fā)展面貌。如果社區(qū)中的項目不能形成這樣的緊密聯(lián)系，那么就很難形成網(wǎng)絡(luò)效應(yīng)，在互相促進中加速發(fā)展。
如上所述，深度學習框架生態(tài)在發(fā)展的過程中就要同時考慮中小企業(yè)、頭部企業(yè)和高校學術(shù)界的方方面面需求，同時還要考慮到為不同的開源項目提供溝通融合的管道。飛槳在多年的發(fā)展過程中就針對這樣的需求做了很多工作，在這個過程中不斷起到“連接”各個角色的作用，例如與高校教師合作了很多項目，或者在開源社區(qū)中培育很多項目等等。這些項目為生態(tài)注入了源源不斷的創(chuàng)新活力，使社區(qū)能夠持續(xù)推陳出新。與此同時，包括媒體人、布道師等角色也在飛槳生態(tài)中發(fā)揮著各自的作用，大家共同努力，打造出了一個欣欣向榮的人工智能開源生態(tài)。
在運營這樣一個生態(tài)的過程中，成功的關(guān)鍵要素就是要做好“連接”的工作，與生態(tài)共創(chuàng)、共享，讓生態(tài)伙伴都能從中受益。例如飛槳會與芯片廠商合作開發(fā)面向特定場景的軟硬一體解決方案，基于硬件開發(fā)很多模型庫算法，從而打通了硬件廠商與算法開發(fā)人員之間的溝通渠道。通過這種以具體項目為依托的形式，飛槳生態(tài)中的交流效率得到了顯著提升，也讓更多生態(tài)參與者能夠長期留在社區(qū)中參與貢獻并共享成果。
這樣的生態(tài)體系就像一片生機勃勃的“熱帶雨林”，可以為許許多多的開發(fā)者提供豐富的資源。各種類型、各種背景、研究各種能力和模型的開發(fā)者都可以在這個生態(tài)中找到自己的用武之地，這也是飛槳生態(tài)最吸引人的魅力所在。
深度學習框架的未來展望
談到深度學習框架的未來發(fā)展這個話題，馬艷軍也有自己的一些看法。首先人工智能技術(shù)本身還有很大的發(fā)展空間，當下出現(xiàn)了很多不同類型的技術(shù)互相融合的趨勢，例如框架與芯片的融合、跨模態(tài)技術(shù)的融合、技術(shù)與行業(yè)場景的融合等等。這樣的融合過程中就會出現(xiàn)很多技術(shù)創(chuàng)新。
另一方面，隨著人工智能在各個行業(yè)中展現(xiàn)出可觀的應(yīng)用價值，相關(guān)技術(shù)需要進一步降低門檻，以便推動更多組織在實踐中有效利用人工智能。行業(yè)需要包括深度學習框架在內(nèi)的更多低門檻的工具來吸引更多用戶來發(fā)揮聰明才智，讓不同類型的開發(fā)者都能充分利用人工智能的能力。
飛槳平臺開源的幾年來，有很多開發(fā)者進入這個生態(tài)做出了自己的貢獻。就是這些貢獻幫助飛槳逐漸打磨出了很好的使用體驗。飛槳也非常珍惜和感謝他們的努力與支持。未來，人工智能框架還有很長的路要走，馬艷軍也希望更多開發(fā)者能夠與飛槳共同在開源社區(qū)成長，見證飛槳和社區(qū)共同發(fā)展邁向新的臺階。
在本期節(jié)目中，馬艷軍也向觀眾推薦了幾本好書。首先是飛槳官方出的《零基礎(chǔ)實踐深度學習》，其中有很多動手實操內(nèi)容，非常適合入門學習。飛槳也同包括北航的劉祥龍老師在內(nèi)的多位老師合作編寫了多本著作，都很適合開發(fā)人員動手實踐，快速上手深度學習，歡迎感興趣的讀者搜索查找。
最后也預(yù)告一下，大家可以關(guān)注即將于 5 月 20 日線上舉辦的WAVE SUMMIT 2022深度學習開發(fā)者峰會，飛槳最新的技術(shù)、產(chǎn)品、生態(tài)進展都會在這個峰會上發(fā)布。
