現如今,談起人工智能我們都會想到的是“深度學習”(deep learning),無論是戰勝李世石的AlphaGo,還是能夠隨意寫出人類水平文章的GPT-3,它們的背后都依托的是這套算法。
它具有很好的數學解釋性,與現有的計算機架構完美匹配,但也存在需要大量數據訓練、耗能巨大以及隨之而來的產熱驚人等問題,為此最前沿的研究者提出了“類腦計算”的概念,想要通過進一步模仿人類大腦的運行方式,重構計算機的底層架構,好讓人工智能擺脫這種越好用成本越高的窘境。
目前,新興的“類腦計算”還沒有大規模應用,但各項研究已經取得了一定的突破,今天首席未來官特意為你梳理了“類腦計算”的底層原理,并通過與“深度學習”算法的對比,讓你提前了解這個可能會顛覆未來計算機產業的新技術。
1.“深度學習”的原理
“深度學習”算法本質是對人類大腦視覺系統的模仿,因為人的視覺系統由很多層神經網絡組成,層與層之間通過學習訓練生成連接的通路,所以被稱為“深度學習”。
深度學習算法雖然在層級上模擬了視覺系統,但受限于電腦結構中存儲與運算分開的模式,做不到像人類的神經元一樣將計算(神經元)和存儲(突觸)一體化,于是把神經元的運作方式抽象成了一個輸入與輸出結合的計算過程。
這就導致了原本一個神經元能夠完成的任務,在計算機上需要大量的計算單位才能完成。2021年8月10日,在Neuron上發布的一項研究顯示,人腦一個神經元的功能在深度算法中需要1000個以上的計算單元通過5到8層的深度網絡實現。
2.先天缺陷帶來的短板
由于需要大量計算單元才能實現單個人類神經元的功能,這就直接導致了深度學習要實現與人腦相似的功能復雜程度就會更高。
如今在語言模型上最強的GPT-3擁有1750億個參數,做個簡單推導也就相當于1.7億個人類的腦神經元,而人腦的神經元個數在100億左右,如果把人腦神經網絡的復雜連接再算上,要完全模擬一個人腦出來的耗能將難以想象。
更多的計算單元也就意味著更大的能量消耗,同樣拿GPT-3為例,它訓練一次消耗的能量可以讓一輛車在在地球與月球之間跑完一個來回,而只用來下圍棋的Alpha Go僅計算單元的功率也有2000W的水平,與之相對的是坐它對面的李世石的大腦耗能只需要20W左右,是它的百分之一。
3.模仿神經元的“類腦計算”
為了解決深度學習的問題,科學家提出了進一步模擬人腦“神經元—突觸”體系的“類腦計算”思路,分別從算法和硬件兩方面探索打造“人工大腦”的方法。
算法層面上,目前的研究重點是“脈沖神經網絡”(Spiking Neural Network,簡稱SNN),顧名思義就是模仿神經脈沖信號傳遞、運算的人工智能算法,SNN的最大優點在于,相較傳統算法中每個計算單元始終處于活躍狀態不同,其每個計算單元只有在接受或者發出信號時才被激活,同時它進行的只有加減運算,節省了運算資源也減小了求和量。
但脈沖本身的不連續性使得傳統的人工智能訓練模式并不能適用于它,所以其性能盡管理論上可以與深度學習算法相匹配,相應的訓練模式還處于研究階段。
硬件層面,類腦芯片也開始興起,不再像傳統計算機中的“馮·諾依曼架構”,把存儲與計算功能分離,使得每次計算都要在內存和CPU上頻繁調用數據,導致信息效率差、發熱高,而是基于微電子技術和新型神經形態器件的結合,實現存儲與計算的深度融合,使芯片能夠進行異步、并行、低速和分布式處理信息數據,并具備自主感知、識別和學習的能力。
4.4款類腦芯片
·IBM TrueNorth(SyNAPSE芯片)
2014年8月,IBM公司推出了第二代類腦芯片“True North”,工藝進化到了28納米,擁有了100萬個可編程神經元和2.56億個可編程數據傳輸通道。
這次最大的進步在于“神經突觸內核架構”,讓其中每個計算核心(神經元)都擁有了本地內存,工作方式已經非常類似人腦中的神經元,總功耗降低到了第一代的1%,體積是第一代的十五分之一。
·英特爾Loihi芯片
Loihi芯片是英特爾的首款自學習神經元芯片,歷時十年研究設計,可以像人類大腦一樣,通過脈沖或尖峰傳遞信息,并自動調節突觸強度,通過環境中的各種反饋信息,進行自主學習、下達指令。
據英特爾的數據,該芯片內部包含了128個計算核心,每個核心集成1024個人工神經元,總計13.1萬個神經元,彼此之間通過1.3億個突觸相互連接,運算規模和蝦腦相當。
·高通Zeroth芯片
Zeroth不需要預編程,通過正向強化的方式,提供了類似人類大腦多巴胺刺激的方式,讓芯片具備了從周圍環境獲取反饋的能力,高通用裝載該芯片的機器小車進行演示,使小車在自行啟發算法下完成尋路、躲避障礙等任務。
·西井科技DeepSouth芯片
西井科技是一家中國公司,已推出了兩款類腦芯片,其中DeepSouth擁有5000 萬類腦神經元,總計有 50 億的“神經突觸”,可以直接在芯片上完成計算,不需要通過網絡連接后臺服務器,可在“無網絡”情況下使用。