(圖片來源:網絡)
近日,日本NTT的子公司NTT Research和康奈爾大學聯合宣布,雙方科學家在相干量子計算(CIM)的基礎上,聯合研發出了一種算法,該算法將深度神經網絡訓練應用于可控物理系統,并在三種非常規硬件上進行了展示。該團隊在期刊Nature(自然)上發表了一篇題為《Deep physical neural networks trained with backpropagation》(用反向傳播訓練的深度物理神經網絡)的論文,詳細闡釋了他們的研究發現。
該論文的主要作者有Logan Wright和Tatsuhiro Onodera。兩人都是NTT Research Physics and Informatics(PHI)實驗室的研究科學家以及在康奈爾大學應用與工程物理學院實驗室訪問的NTT Research科學家。該項目的負責人、康奈爾大學應用與工程物理學助理教授Peter McMahon(彼得·麥克馬洪)是本文的另外五位合著者之一,根據該論文描述,他們提供了一種不受現有能源控制和其他可擴展性條件限制的深度學習方法。
物理神經網絡算法是“捷徑”
我們知道,深度學習是一種具有多層互連節點的神經網絡,也是人工智能的一個子集,現已普遍存在于科學工程中。為了訓練深度學習執行一些數學功能,例如圖像識別,用戶們通常采用一種稱為反向傳播(“誤差反向傳播法”的縮寫)的訓練方法。截至目前,該訓練算法已通過數字電子設備實現。但隨著現有深度學習模型的計算需求激增以及摩爾定律的失效,科學家們正試圖提高深度神經網絡的計算效率和速度。
Logan Wright博士表示:“反向傳播算法是指一系列數學運算,它本質上沒有什么數字化組成部分,僅僅是碰巧在數字電子硬件上運行。我們所做的是找到一種方法來獲取這個數學訓練秘訣,并將其轉化為物理訓練。”
該團隊將經過訓練的系統命名為物理神經網絡(PNN),著重強調了該方法是直接訓練物理系統,而不是像傳統路線那樣,先訓練數學函數然后再設計物理過程來執行。Logan Wright博士講道,“這種直接訓練物理系統的‘捷徑’,有助于PNN通過學習物理算法(能夠自動使用物理計算的能力),能更容易地從非常規但具有強大潛力的物理基底(如非線性光子學)中提取計算性能。”
在該論文中,作者將這種新算法命名為物理感知訓練(PAT),并將新的算法應用到了幾個可控物理系統。其中一個實驗具體過程為:將簡單的聲音(如元音)和各種參數編碼到激光脈沖的頻譜中,以構建一個深度PNN,并通過將光學變換的輸出作為后續的輸入來“分層”進行PAT訓練。實驗結果表明,該光學系統以93%的準確率完成了對元音進行測試分類的任務。
物理感知訓練的三套系統驗證
為了證明該方法的普適性,研究人員們又訓練了三套物理應用系統用以執行更復雜的圖像分類任務。他們再次使用了光學系統,不過展示的是混合(數字物理類)PNN。此外,他們還設置了機械電子類PNN進行測試。基于光學、電子和機械技術訓練的PNN,執行任務的準確度分別達到了97%、93%和87%。考慮到這些系統的簡單性,作者認為這些結果有價值。
實驗內容(圖片來源:該論文)
該研究小組預測,通過使用與傳統數字電子產品截然不同的物理系統,機器學習能夠更快、更節能地執行訓練任務。或者,將這些PNN作為功能性機器學習用以處理普通數字之外的數據,助力其在機器人技術、智能傳感器、納米粒子等領域中發揮潛在用途。
NTT Research PHI實驗室主任Yoshihisa Yamamoto表示:“這篇文章給出了一個解決機器學習耗電問題的強大的解決方案。Wright、Onodera等同事的研究通過將物理系統和反向傳播相結合,從理論上證明了該方法的有效性,并且適用于一系列有趣場景。未來,進一步探索哪些物理系統最適合執行機器學習計算將是一項令人興奮的任務。”
該論文是兩個實驗室的目標研究成果之一。NTT Research PHI實驗室的使命是“從神經網絡中的關鍵現象原理重新思考計算機”,目前該實驗室的一大重點是制備相干伊辛機(Coherent Ising Machine,CIM),一種采用光量子的耗散式架構的量子計算機。與超導、離子阱等使用邏輯門計算架構的其他技術路線相比,CIM采用量子失諧而不是量子糾纏作為計算資源,更加類似于人腦神經突觸的工作模式,天然更適合于形成超大規模的量子神經網絡,對環境噪聲和錯誤有很強的抵抗力。
與此同時,康奈爾大學McMahon教授實驗室正與NTT Research PHI實驗室合作開展基于CIM的深度研究,研究“如何設計新式物理系統執行計算”的問題。
該論文的其他四位合著者中,Martin M. Stein博士、Mong博士后研究員王天宇,都是McMahon實驗室的成員,而Zoey Hu和Darren Schachter是作為康奈爾大學的本科生在2020-2021年參與該研究,Zoey Hu還曾于2021年夏天在NTT Research實習。
除康奈爾大學外,NTT Research PHI實驗室還與九所大學達成了聯合研究。其中包括加州理工大學、哈佛大學、麻省理工學院、圣母大學、斯坦福大學、斯威本科技大學、東京工業大學、密歇根大學和東京大學。位于硅谷的美國宇航局艾姆斯研究中心和私人量子計算軟件公司1QBit也與NTT Research PHI實驗室簽訂了聯合研究協議,目前中國的玻色量子公司也在進行CIM方向的研究,其創始人文凱也是Yamamoto教授在斯坦福大學的博士學生和CIM技術研究主要參與者。