神經(jīng)網(wǎng)絡(luò)是一種通用機器學(xué)習(xí)模型，是一套特定的算法集，在機器學(xué)習(xí)領(lǐng)域掀起了一場變革，本身就是普通函數(shù)的逼近，可以應(yīng)用到任何機器學(xué)習(xí)輸入到輸出的復(fù)雜映射問題。一般來說，神經(jīng)網(wǎng)絡(luò)架構(gòu)可分為3類：
1、前饋神經(jīng)網(wǎng)絡(luò)：是最常見的類型，第一層為輸入，最后一層為輸出。如果有多個隱藏層，則稱為“深度”神經(jīng)網(wǎng)絡(luò)。它能夠計算出一系列事件間相似轉(zhuǎn)變的變化，每層神經(jīng)元的活動是下一層的非線性函數(shù)。
2、循環(huán)神經(jīng)網(wǎng)絡(luò)：各節(jié)點之間構(gòu)成循環(huán)圖，可以按照箭頭的方向回到初始點。循環(huán)神經(jīng)網(wǎng)絡(luò)具有復(fù)雜的動態(tài)，難以訓(xùn)練，它模擬連續(xù)數(shù)據(jù)，相當(dāng)于每個時間片段具有一個隱藏層的深度網(wǎng)絡(luò)，除了在每個時間片段上使用相同的權(quán)重，也有輸入。網(wǎng)絡(luò)可以記住隱藏狀態(tài)的信息，但是很難用這點來訓(xùn)練網(wǎng)絡(luò)。
3、對稱連接網(wǎng)絡(luò)：和循環(huán)神經(jīng)網(wǎng)絡(luò)一樣，但單元間的連接是對稱的（即在兩個方向的連接權(quán)重相同），它比循環(huán)神經(jīng)網(wǎng)絡(luò)更容易分析，但是功能受限。沒有隱藏單元的對稱連接的網(wǎng)絡(luò)被稱為“Hopfiels網(wǎng)絡(luò)”，有隱藏單元的對稱連接的網(wǎng)絡(luò)則被稱為“波茲曼機器”。
