開源開放已經(jīng)成為驅(qū)動技術(shù)創(chuàng)新和加速產(chǎn)業(yè)發(fā)展的核心動能。開源開放對人類社會過去幾百年科學和技術(shù)的發(fā)展起到非常重要的作用，讓我們可以更快追蹤到最新的技術(shù)進展。
百度飛槳深度學習平臺作為百度“AI大生產(chǎn)平臺”的基礎(chǔ)底座，以大規(guī)模分布式訓練、全硬件平臺支持、端到端全流程工具，助力企業(yè)和開發(fā)者加速AI生產(chǎn)。無需從頭學習難度高、迭代快的前沿科技，避免重復“造輪子”，應(yīng)用AI的門檻更低、成本更低、效率更高。
近期飛槳(PaddlePaddle)開源深度學習框架和深度勢能開源社區(qū)的開發(fā)者們就深度勢能分子動力學開源項目(DeePMD-kit)進行了跨領(lǐng)域深度合作，依托飛槳框架成熟的底層功能和動靜統(tǒng)一的開發(fā)體驗實現(xiàn)深度勢能分子動力學模型的構(gòu)建和運行，促進了雙方在開發(fā)者生態(tài)上的雙向融合，拓展了DeePMD-kit原有能力邊界，增強在國產(chǎn)化硬件和大規(guī)模分布式訓練上的能力，也讓Paddle支持的科學計算開源項目中增加了重量級的一員。
技術(shù)解讀
1.技術(shù)背景
SeA指DeepPot smooth edition constructed from all information including angle and radial information of atomic configurations。從原子坐標信息(包括原子間的相對徑向坐標和角向坐標)出發(fā)，通過神經(jīng)網(wǎng)絡(luò)構(gòu)造復雜材料體系的勢能面。
SeA模型由兩部分構(gòu)成:
a. Embeding網(wǎng)絡(luò)，輸入中心原子i與其所有近鄰原子j的相對坐標信息，輸出Feature Matrix。
b. Fitting網(wǎng)絡(luò)，輸入Feature Matrix,輸出中心原子i的局域能量。
DeepPot已被用于準確描述包括分子結(jié)構(gòu)、各種周期性結(jié)構(gòu)，以及表面、高熵、電池等等多種復雜結(jié)構(gòu)。
2.使用PaddlePaddle來實現(xiàn)SeA網(wǎng)絡(luò)
1.構(gòu)建網(wǎng)絡(luò)
1.網(wǎng)絡(luò)結(jié)構(gòu)
a.Embedding網(wǎng)絡(luò)：要想讓隨機性的神經(jīng)網(wǎng)絡(luò)能準確描述物理體系，Embedding輸出的Feature Matrix應(yīng)該滿足體系的物理對稱性，包括平移、置換和旋轉(zhuǎn)對稱性。
b.Fitting網(wǎng)絡(luò)：將Embedding網(wǎng)絡(luò)輸出的Feature Matrix輸入Fitting網(wǎng)絡(luò)，輸出i原子的局域能量
。
2.使用PaddlePaddle動態(tài)圖來構(gòu)建SeA網(wǎng)絡(luò)
PaddlePaddle動態(tài)圖使用了相比tensorflow 1.x更加靈活的可以支持更加貼近Python語法和執(zhí)行邏輯的執(zhí)行機制，使得算法實現(xiàn)可以按照順序的執(zhí)行邏輯來進行。
構(gòu)建能量模型：
我們只需要簡單的繼承 paddle.nn.Layer就可以使用paddle內(nèi)部的各類操作網(wǎng)絡(luò)的方法具體可以參見：
在__init__方法中我們像使用python一樣設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)(包括層數(shù)和每層的維度)
在forward()方法中我們就可以實現(xiàn)加權(quán)求和+激活函數(shù)
邏輯
而深度學習中反向的計算邏輯paddle的動態(tài)圖此時已經(jīng)使用autograd技術(shù)自動為我們完成了。我們只需要在整個網(wǎng)絡(luò)完成后使用backward()方法即可執(zhí)行反向網(wǎng)絡(luò)。
飛槳框架2.0支持用戶使用動態(tài)圖完成深度學習相關(guān)領(lǐng)域全類別的模型算法開發(fā)。動態(tài)圖模式下可以讓開發(fā)者隨時查看變量的輸入、輸出，方便快捷的調(diào)試程序, 帶來最佳的開發(fā)體驗。為了解決動態(tài)圖的部署問題，飛槳提供了全面完備的動轉(zhuǎn)靜支持，在Python語法支持覆蓋度上達到領(lǐng)先水平。開發(fā)者在動態(tài)圖編程調(diào)試的過程中，僅需添加一個裝飾器paddle.jit.to_static，即可無縫平滑地自動實現(xiàn)靜態(tài)圖訓練或模型保存。同時飛槳框架2.0還做到了模型存儲和加載的接口統(tǒng)一，保證動轉(zhuǎn)靜之后保存的模型文件能夠被純動態(tài)圖加載和使用。
3.使用PaddlePaddle自定義算子
我們使用PaddlePaddle的自定義算子方案來實現(xiàn)這種和深度勢能領(lǐng)域強相關(guān)的計算單元。相比tensorflow 1.x當中需要實現(xiàn)一個內(nèi)部算子，PaddlePaddle的自定義算子方案可以讓我們更加專注于實現(xiàn)相關(guān)的計算邏輯 而盡量脫離了繁瑣的編譯算子和集成算子到框架的過程。
1.實現(xiàn)算子：PaddlePaddle的自定義算子方案中我們實現(xiàn)一個計算邏輯只需要像寫一個函數(shù)一樣將輸入和計算邏輯作為函數(shù)的參數(shù)和執(zhí)行邏輯加入即可。例如我們輸入體系中原子坐標，找出給定截斷距離cutoff內(nèi)中心原子i的所有近鄰j，并構(gòu)造神經(jīng)網(wǎng)絡(luò)的輸入矩陣descriptor：
2.編譯算子：PaddlePaddle甚至支持jit的方式來編譯算子使得我們可以使用簡單的幾行Python代碼就可以完成算子的編譯和集成
3.DoubleGrad的使用：
訓練模型所用的label包括力和維里應(yīng)力，兩者都要通過對能量關(guān)于坐標求導得出。加上back propagation，就對模型的輸出值能量進行了兩次求導。
在paddlepaddle的動態(tài)圖中可以簡單的使用paddle.grad 來實現(xiàn)
Paddle.grad可以自動實現(xiàn)對給定函數(shù)的求導。對于輸入多個自變量x，并輸出多個因變量y的函數(shù)，paddle.grad對每個x分別返回這個x對所有y的導數(shù)之和，也就是說返回值個數(shù)與x的個數(shù)相同。
使用PaddlePaddle我們可以很完美的重現(xiàn)C++算法實現(xiàn)的能量關(guān)于坐標求導的功能，并且我們可以看到相關(guān)的實現(xiàn)精度也可以達到以下的效果:
其中，訓練后模型計算能量和力的精度都與Tensorflow版本完全一致。
關(guān)于DeePMD-kit
以深度學習為代表的機器學習方法在力場開發(fā)中的應(yīng)用為發(fā)展高效精確的分子動力學方法帶來了新機遇和新思路。深度勢能【1】(Deep Potential)開源方法通過運用“機器學習+多尺度建模+高性能計算”的方式解決了傳統(tǒng)分子模擬過程中難以兼顧精度與速度的痛點，成功實現(xiàn)在第一性原理精度基礎(chǔ)上的上億原子的分子動力學模擬【2】。其中DeePMD-kit和DP-GEN是圍繞Deep Potential Molecular Dynamics(DeePMD，深度勢能分子動力學)開發(fā)的開源科學軟件包。發(fā)布以來，在凝聚態(tài)物理、化學物理、材料理性設(shè)計、生物物理、藥物分子設(shè)計等領(lǐng)域均得到廣泛應(yīng)用。
關(guān)于飛槳
飛槳(PaddlePaddle)以百度多年的深度學習技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國首個自主研發(fā)、功能完備、 開源開放的產(chǎn)業(yè)級深度學習平臺，集深度學習核心訓練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件和豐富的 工具組件于一體。目前，飛槳已凝聚超265萬開發(fā)者，服務(wù)企業(yè)10萬家，基于飛槳開源深度學習平臺產(chǎn)生了 34萬個模型。飛槳助力開發(fā)者快速實現(xiàn)AI想法，快速上線AI業(yè)務(wù)。幫助越來越多的行業(yè)完成AI賦能，實現(xiàn)產(chǎn)業(yè)智能化升級。
當前在科學計算領(lǐng)域，飛槳聯(lián)合各高校、科研機構(gòu)和企業(yè)已為開發(fā)者建設(shè)支持了量子機器學習開發(fā)工具PaddleQuantum、生物計算開源工具集PaddleHelix和貝葉斯深度學習ZhuSuan，本次又在分子動力學研究領(lǐng)域新增DeePMD-kit。
未來展望
本次百度飛槳深度學習平臺與DeePMD-kit的合作，將進一步提升雙方的產(chǎn)品競爭力，不斷完善產(chǎn)品能力矩陣。后續(xù)基于飛槳的DeePMD-kit軟件包將在算法優(yōu)化、高性能適配等方面持續(xù)迭代。歡迎飛槳社區(qū)與深度勢能開源社區(qū)的開發(fā)者關(guān)注該項目，并為之貢獻力量。
參考文獻
[1] L Zhang, J Han, H Wang, R Car, W E, Deep potential molecular dynamics: a scalable model with the accuracy of quantum mechanics, Physical review letters 120 (14), 143001
[2] W Jia, H Wang, M Chen, D Lu, J Liu, L Lin, R Car, L Zhang, Pushing the limit of molecular dynamics with ab initio accuracy to 100 million atoms with machine learning, Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis (SC '20), IEEE Press, Article 5, 1–14.
