一、AI應用領域

AI目前主要的應用領域有3個方向，包括：計算機視覺、語音交互、自然語言處理。

1.1 計算機視覺（CV）

計算機視覺是一門研究如何使機器“看”的科學，就是指用攝影機和計算機代替人眼對目標進行識別、跟蹤和測量等機器視覺的應用，是使用計算機及相關設備對生物視覺的一種模擬，對采集的圖片或視頻進行處理從而獲得相應場景的三維信息，讓計算機具有對周圍世界的空間物體進行傳感、抽象、判斷的能力。

計算機視覺在現實場景中應用價值主要體現在可以利用計算機對圖像和視頻的識別能力，替代部分人力工作，節省人力成本并提升工作效率。傳統的計算機視覺基本遵循圖像預處理、提取特征、建模、輸出的流程，不過利用深度學習，很多問題可以直接采用端到端，從輸入到輸出一氣呵成。

（1）研究內容

實際應用中采集到的圖像的質量通常都沒有實驗室數據那么理想，光照條件不理想，采集圖像模糊等都是實際應用中常見的問題。所以首先需要校正成像過程中，系統引進的光度學和幾何學的畸變，抑制和去除成像過程中引進的噪聲，這些統稱為圖像的恢復。
對輸入的原始圖像進行預處理，這一過程利用了大量的圖像處理技術和算法，如：圖像濾波、圖像增強、邊緣檢測等，以便從圖像中抽取諸如角點、邊緣、線條、邊界以及色彩等關于場景的基本特征；這一過程還包含了各種圖像變換（如：校正）、圖像紋理檢測、圖像運動檢測等。
根據抽取的特征信息把反映三維客體的各個圖象基元，如：輪廓、線條、紋理、邊緣、邊界、物體的各個面等從圖象中分離出來，并且建立起各個基元之間的拓樸學上的和幾何學上的關系——稱之基元的分割和關系的確定。
計算機根據事先存貯在數據庫中的預知識模型，識別出各個基元或某些基元組合所代表的客觀世界中的某些實體——稱之為模型匹配，以及根據圖象中各基元之間的關系，在預知識的指導下得出圖象所代表的實際景物的含義,得出圖象的解釋或描述。

（2）應用場景

計算機視覺的應用場景非常廣，例如：無人駕駛、無人安防、人臉識別、光學字符識別、物體追蹤、車輛車牌識別、以圖搜圖、醫學圖像分析等。最近B站新上線的彈幕防擋臉功能，即在播放視頻時彈幕經過人臉則自動隱藏，也是應用了CV，這個小功能對B站核心價值之一的彈幕進行了進一步優化，大大提升了用戶體驗。

（3）瓶頸

目前在實際應用中采集到的數據還是不夠理想，光照條件、物體表面光澤、攝像機和空間位置變化都會影響數據質量，雖然可以利用算法彌補，但是很多情況下信息缺失無法利用算法來解決。
在一幅或多幅平面圖像中提取深度信息或表面傾斜信息并不是件容易的事，尤其是在灰度失真、幾何失真還有干擾的情況下求取多幅圖像之間的對應特征更是一個難點。除了得到物體的三維信息外，在現實世界里，物體間相互遮擋，自身各部位間的遮擋使得圖像分拆更加復雜。
預知識設置的不同也使得同樣的圖像也會產生不同的識別結果，預知識在視覺系統中起著相當重要的作用。在預知識庫中存放著各種實際可能遇到的物體的知識模型，和實際景物中各種物體之間的約束關系。計算機的作用是根據被分析的圖象中的各基元及其關系，利用預知識作為指導，通過匹配、搜索和推理等手段，最終得到對圖象的描述。在整個過程中預知識時刻提供處理的樣板和證據，每一步的處理結果隨時同預知識進行對比，所以預知識設置會對圖像識別結果產生極大影響。

（4）提供相關方案的企業

曠視face++人工智能開放平臺（提供人臉識別、人體識別、文字識別等技術方案）：https://www.faceplusplus.com.cn/
商湯科技（提供人臉和人體分析、通用與專業圖像分析、視頻處理等技術以及提供智慧安防、智能終端、智能金融等解決方案）：https://www.sensetime.com/core
騰訊優圖AI開放平臺（提供人臉及人體識別、圖像識別、文字識別等技術及天眼安防、天眼交通等解決方案）：https://open.youtu.qq.com/#/open
百度AI開放平臺（提供人臉及人體識別、圖像識別、文字識別、圖像審核等）：http://ai.baidu.com/tech/imagerecognition
阿里云（提供人臉識別、圖像識別、圖像搜索、視頻識別等）：https://ai.aliyun.com/?spm=a2c4g.11174283.1146454.294.167d1039G3kvVD
圖普科技（提供圖像內容審核、人臉和人體識別、文字識別、圖像場景識別等技術方案）：https://www.tuputech.com/
格靈深瞳（人眼攝像機、視圖大數據分析平臺、人臉識別系統等）：http://www.deepglint.com/

2.2 語音交互

語音交互也是非常熱門的方向之一，其實語音交互整個流程里包含語音識別、自然語言處理和語音合成。自然語言處理很多時候是作為單獨的一個領域來研究的，本文也將單獨介紹自然語言處理，所以此處只介紹語音識別和語音合成。

語音交互的最佳應用場景便是眼睛不方便看，或者手不方便操作的時候。“不方便看”比較典型的場景便是智能車載，“不方便操作”比較典型的場景便是智能音箱，這也是目前比較火的兩個細分方向。

一個完整的語音交互基本遵循下圖的流程：

（1）語音識別（ASR）

1）研究內容

語音識別的輸入是聲音，屬于計算機無法直接處理的模擬信號，所以需要將聲音轉化成計算機能處理的文字信息。傳統的識別方式需要通過編碼將其轉變為數字信號，并提取其中的特征進行處理。

傳統方式的聲學模型一般采用隱馬爾可夫模型（HMM），處理流程是語音輸入——編碼（特征提取）——解碼——輸出。

還有一種“端到端”的識別方式，一般采用深度神經網絡（DNN），這種方式的聲學模型的輸入通常可以使用更原始的信號特征（減少了編碼階段的工作），輸出也不再必須經過音素等底層元素，可以直接是字母或者漢字。

在計算資源與模型的訓練數據充足的情況下，“端到端”方式往往能達到更好的效果。目前的語音識別技術主要是通過DNN實現的。語音識別的效果一般用“識別率”，即識別文字與標準文字相匹配的字數與標準文字總字數的比例來衡量。目前中文通用語音連續識別的識別率最高可以達到97%。

2）衍生研究內容

麥克風陣列：在家庭、會議室、戶外、商場等各種環境下，語音識別會有噪音、混響、人聲干擾、回聲等各種問題。在這種需求背景下可以采用麥克風陣列來解決。麥克風陣列由一定數目的聲學傳感器（一般是麥克風）組成，用來對聲場的空間特性進行采樣并處理的系統，可以實現語音增強、聲源定位、去混響、聲源信號提取/分離。麥克風陣列又分為：2麥克風陣列、4麥克風陣列、6麥克風陣列、6+1麥克風陣列。隨著麥克風數量的增多，拾音的距離，噪聲抑制，聲源定位的角度，以及價格都會不同，所以要貼合實際應用場景來找到最佳方案。
遠場語音識別：解決遠場語音識別需要結合前后端共同完成。前端使用麥克風陣列硬件，解決噪聲、混響、回聲等帶來的問題，后端則利用近場遠場的聲學規律不同構建適合遠場環境的聲學模型，前后端共同解決遠場識別的問題。
語音喚醒：通過關鍵詞喚醒語音設備，通常都是3個音節以上的關鍵詞。例如：嘿Siri、和亞馬遜echo的Alexa。語音喚醒基本是在本地進行的，必須在設備終端運行，不能切入云平臺。因為一個7×24小時監聽的設備要保護用戶隱私，只能做本地處理，而不能將音頻流聯網進行云端處理。語音喚醒對喚醒響應時間、功耗、喚醒效果都有要求。
語音激活檢測：判斷外界是否有有效語音，在低信噪比的遠場尤為重要。

（2）語音合成（TTS）

1）研究內容

是將文字轉化為語音（朗讀出來）的過程，目前有兩種實現方法，分別是：拼接法和參數法。

拼接法是把事先錄制的大量語音切碎成基本單元存儲起來，再根據需要選取拼接而成。這種方法輸出語音質量較高，但是數據庫要求過大。
參數法是通過語音提取參數再轉化為波形，從而輸出語音。這種方法的數據庫要求小，但是聲音不可避免會有機械感。

DeepMind早前發布了一個機器學習語音生成模型WaveNet，直接生成原始音頻波形，可以對任意聲音建模，不依賴任何發音理論模型，能夠在文本轉語音和常規的音頻生成上得到出色的結果。

2）瓶頸

個性化TTS數據需求量大，在用戶預期比較高的時候難滿足。需要AI產品經理選擇用戶預期不苛刻的場景，或者在設計時管理好用戶預期。

（3）提供相關方案的企業

訊飛開放平臺（提供語音識別、語音合成、語音擴展等技術方案及智能硬件以及多種行業解決方案）：https://www.xfyun.cn/
圖靈機器人（提供多場景的聊天機器人解決方案）：http://www.tuling123.com/
騰訊AI開放平臺（提供語音識別、語音合成等技術）：https://ai.qq.com/
百度AI開放平臺（提供語音識別、語音合成等技術）：http://ai.baidu.com/tech/speech
阿里云（提供語音識別、語音合成、錄音文件識別等）：https://ai.aliyun.com/?spm=a2c4g.11174283.1146454.294.167d1039G3kvVD
追一科技（提供智能外呼、及智能機器人在多行業的解決方案）：https://zhuiyi.ai/

2.3 自然語言理解（NLP）

（1）研究內容

自然語言處理是一門讓計算機理解、分析以及生成自然語言的學科，是理解和處理文字的過程，相當于人類的大腦。NLP是目前AI發展的核心瓶頸。

NLP大概的研究過程是：研制出可以表示語言能力的模型——提出各種方法來不斷提高語言模型的能力——根據語言模型來設計各種應用系統——不斷地完善語言模型。自然語言理解和自然語言生成都屬于自然語言理解的概念范疇。

自然語言理解（NLU）模塊，著重解決的問題是單句的語義理解，對用戶的問題在句子級別進行分類，明確意圖識別（Intent Classification）；同時在詞級別找出用戶問題中的關鍵實體，進行實體槽填充（Slot Filling）。

一個簡單的例子，用戶問“我想吃冰激凌”，NLU模塊就可以識別出用戶的意圖是“尋找甜品店或超市”，而關鍵實體是“冰激淋”。有了意圖和關鍵實體，就方便了后面對話管理模塊進行后端數據庫的查詢或是有缺失信息而來繼續多輪對話補全其它缺失的實體槽。

自然語言生成（NLG）模塊是機器與用戶交互的最后一公里路，目前自然語言生成大部分使用的方法仍然是基于規則的模板填充，有點像實體槽提取的反向操作，將最終查詢的結果嵌入到模板中生成回復。手動生成模板之余，也有用深度學習的生成模型通過數據自主學習生成帶有實體槽的模板。

（2）應用場景

自然語言處理作為CUI（Conversational User Interface，對話式交互）中非常重要的一部分，只要是CUI的應用場景都需要自然語言處理發揮作用。除此之外，機器翻譯、文本分類也都是自然語言處理的重要應用領域。

（3）瓶頸

1）詞語實體邊界界定

自然語言是多輪的，一個句子不能孤立的看，要么有上下文，要么有前后輪對話，而正確劃分、界定不同詞語實體是正確理解語言的基礎。目前的深度學習技術，在建模多輪和上下文的時候，難度遠遠超過了如語音識別、圖像識別的一輸入一輸出的問題。所以語音識別或圖像識別做的好的企業，不一定能做好自然語言處理。

2）詞義消歧

詞義消歧包括多義詞消歧和指代消歧。多義詞是自然語言中非常普遍的現象，指代消歧是指正確理解代詞所代表的?或事物。例如：在復雜交談環境中，“他”到底指代誰。詞義消歧還需要對文本上下文、交談環境和背景信息等有正確的理解，目前還無法對此進行清晰的建模。

3）個性化識別

自然語言處理要面對個性化問題，自然語言常常會出現模凌兩可的句子，而且同樣一句話，不同的人使用時可能會有不同的說法和不同的表達。這種個性化、多樣化的問題非常難以解決。

（4）提供相關方案的企業

訊飛開放平臺（提供自然語言處理）：https://www.xfyun.cn/
圖靈機器人（提供多場景的聊天機器人解決方案）：http://www.tuling123.com/
騰訊AI開放平臺（提供基礎文本解析、語義分析等技術）：https://open.youtu.qq.com/#/open
百度AI開放平臺（提供語言處理基礎技術、文本審核、機器翻譯等）：http://ai.baidu.com/tech/nlp
阿里云（提供情感分析、實體識別、機器翻譯等）：https://ai.aliyun.com/?spm=a2c4g.11174283.1146454.294.167d1039G3kvVD
追一科技（提供智能外呼、及智能機器人在多行業的解決方案）：https://zhuiyi.ai/

二、AI技術

業內通常將人工智能分類為機器學習、計算機視覺、語音交互和自然語言處理四大領域，機器學習可以理解為是其他三大領域的底層基礎，大致可以分為監督學習、非監督學習、強化學習、遷移學習。

本文在此基本不涉及公式，盡量以平直易懂的語言講述這幾種機器學習方法及相關算法。個人認為在實戰過程中根據工作需要再深入學習這些算法，會更有針對性而且效率會更高，事半功倍。

2.1 機器學習

概念：投喂給機器訓練數據，機器從這些數據中找出一個能夠良好擬合已有數據的函數，新數據來了后，就可以通過這個函數預測對應結果。

適合解決的問題：有規律可以學習、編程很難做到、有能夠學習到規律的數據。

工作方式：

根據任務目標確定算法；
在預處理階段把數據分成三組：訓練數據（用來訓練模型）、驗證數據（開發過程中用于調參）、測試數據（測試用）；
用訓練數據來構建使用相關特征的模型；
把驗證數據接入模型調參；
用測試數據檢查被驗證的模型的表現；
用完全訓練好的模型在新數據上做預測；
用更多數據或選取不同特征以及利用調整過的參數來提升優化算法的性能表現。

分類：按學習方式可以分為監督學習（包括半監督學習）、無監督學習、強化學習、遷移學習。

2.2 監督學習

概念：機器學習的一種，通過學習許多有標簽的樣本，得到特征值和標記值之間的對應規律，然后對新的數據做出預測。

分類：根據輸入數據x預測出輸出數據y，如果y是整數的類別編號，則稱為分類問題，算法包括：決策樹、隨機森林、貝葉斯、KNN、SVM、邏輯回歸。如果y是實數值，則為回歸問題，算法包括決策樹、隨機森林、KNN、SVM、線性回歸。

主流算法：

1）決策樹算法

基本原理：決策樹是一個樹結構，每個非葉節點表示一個特征屬性，每個分支代表這個特征屬性在某值域上的輸出，每個葉節點存放一個類別。使用決策樹進行決策的過程就是從根節點開始，測試待分類項中相應的特征屬性，并按照其值選擇輸出分支，直到到達某個葉節點，該葉節點存放的類別即為決策結果。

決策樹是一種判別模型，既支持分類問題，也支持回歸問題，是一種非線性模型（分段線性函數不是線性的），它天然的支持多分類問題。決策樹的構建由機器訓練得到，而不是人工制定。

決策樹的關鍵步驟是分裂屬性，即在某個節點處按照某一特征屬性的不同劃分構造不同的分支，盡量讓一個分裂子集中待分類項屬于同一類別。而根據判斷方法的不同所以產生了ID3算法，C4.5算法以及CART算法。

下圖以銀行判斷是否給客戶貸款為例大致說明決策樹的原理：

主要用途：基于規則的信用評估、賽馬結果預測。

優劣勢：擅長對人、地點、事物的一系列不同特征、品質、特性進行評估，非常容易解釋，但容易趨于過擬合。

2）隨機森林

基本原理：由決策樹與集成學習算法相結合生成，由多棵決策樹組成。用多棵決策樹聯合預測可以提高模型的精度，這些決策樹用對訓練樣本集隨機抽樣構造出的樣本集訓練得到。由于訓練樣本集由隨機抽樣構造，因此稱為隨機森林。

隨機森林不僅對訓練樣本進行抽樣，還對特征向量的分量隨機抽樣，在訓練決策樹時，每次分裂時只使用一部分抽樣的特征分量作為候選特征進行分裂。隨機森林是一種判別模型，既支持分類問題，也支持回歸問題，并且支持多分類問題，這是一種非線性模型。

主要用途：用戶流失分析、風險評估。

優劣勢：隨機森林對大規模數據集和存在大量且有時不相關特征的項來說很有用，且有很好的解釋性。它比使用單個模型預測出來的結果要精確的多，但同時也需要大量的維護工作。

3）樸素貝葉斯

基本原理：是在已知樣本的特征向量為x的條件下反推樣本所屬的類別y，即對于給出的待分類項，求解在此待分類項出現的條件下各個類別出現的概率，哪個概率最大，就認為此待分類項屬于哪個類別。

簡單的舉個例子：我們看到一個人高鼻深目金發碧眼，便可以推斷他屬于白種人，因為在這種外貌特征下他是白種人的概率最高。貝葉斯可以處理多分類問題，是一種非線性模型。

主要用途：文本處理里的垃圾郵件過濾、情感分析、消費者分類、拼寫糾正、文字廣告過濾、識別惡性評論等領域。

優劣勢：對于在小數據集上有顯著特征的相關對象，樸素貝葉斯方法可對其進行快速分類，且很統一被解釋。所需估計的參數不大，對缺失數據不太敏感，而且無需復雜的迭代求解框架，適用于規模巨大的數據集。但是對輸入數據的形式比較敏感、計算先驗概率時分類決策可能存在錯誤。如果輸入變量是相關的，則會出現問題。

4）k近鄰（KNN）

基本原理：把標注好類別的訓練樣本映射到選取的特征數維度的坐標系里，然后再把測試樣本映射到這個坐標系里，選取距離該測試樣本最近的k個訓練樣本，其中哪個訓練樣本類別占比最大，就可以認為該類別就是這個測試樣本的類別。

kNN算法是一種判別模型，即支持分類問題，也支持回歸問題，是一種非線性模型。它天然的支持多分類問題。kNN算法沒有訓練過程，是一種基于實例的算法。

主要用途：適用 kNN可以處理數值型（從無限的數值集合中取值，如：0.100，42.001等）和標稱型（只在有限目標集中取值，如：真與假）數據。一種特征對應一個維度，一種特征下的數據可以數值型的也可以是標稱型的。

優劣勢：這種算法思想簡單，理論成熟，準確度高。但是會占用大量內存，因為需要存儲所有的訓練樣本點，而且每個新測試樣本需要通過kNN算法分類，都要計算這個測試樣本與所有訓練樣本點的距離。

5）線性回歸

基本原理：主要用于擬合數據趨勢。簡而言之，就是盡量用一條線或平面或超平面來擬合已有的一組數據。確定自變量和因變量間的相互依賴的定量關系。簡單的線性回歸一般使用“最小二乘法”來求解，最小二乘的思想就是使得求解的這條線或平面或超平面使所有誤差的平方和最小。

主要用途：適用于數值型和標稱型數據。

優劣勢：結果易于理解，計算不復雜，但是只能用于擬合線性數據，非線性數據擬合效果很差。

6）邏輯回歸

基本原理：邏輯回歸只是對線性回歸的計算結果加了Sigmoid函數進行處理，將數值結果轉化為了0到1之間的概率，根據這個概率可以做預測。logistic回歸是一種判別模型，它是一種線性模型，用于二分類問題。

主要用途：路面交通流量分析、郵件過濾，

優劣勢：實現簡單，分類時計算量非常小，速度很快，存儲資源低，但是容易欠擬合。

7）支持向量機（SVM）

基本原理：支持向量機的目標是尋找一個分類超平面，它不僅能正確的分類每一個樣本，并且要使得每一類樣本中距離超平面最近的樣本到超平面的距離盡可能遠。SVM是一種判別模型，它既可以用于分類問題，也可以用于回歸問題。標準的SVM只能支持二分類問題，使用多個分類器的組合，可以解決多分類問題。

主要用途：新聞分類、手寫識別。

優劣勢：擅長在變量x和其他變量之間進行二元分類操作，無論其關系是否為線性的。可以捕獲數據之間更復雜的關系，而無需人為地進行困難的數據轉換。但同時它的訓練時間長得多，因為計算量更大，而且可解釋性也比較差。

2.3 非監督學習

概念：機器學習的一種，訓練樣本中所有樣本數據都不含標記值的學習方式，目的是將樣本集劃分成多個類，保證同一類的樣本之間盡量相似，不同類的樣本之間盡量不同。沒有訓練過程，直接對樣本進行劃分。

分類：聚類和降維。

主流算法：

1）k均值（k-means）

基本原理：將觀測值分為 k 個聚類，隨機初始化每個類的類中心，然后計算樣本與每個類的中心的距離，將其分配到最近的那個類，然后根據這種分配方案重新計算每個類的中心。這也是一種分階段優化的策略。

2）主成分分析（PCA）

基本原理：PCA是一種數據降維和去除相關性的方法，它通過線性變換將向量投影到低維空間，對向量進行投影就是讓向量左乘一個矩陣得到結果向量。降維要確保的是在低維空間中的投影能很好的近似表達原始向量，即重構誤差最小化。PCA是一種無監督的學習算法，它是線性模型，不能直接用于分類和回歸問題。

2.4 半監督學習

訓練樣本中只有部分樣本數據包含標記值的學習方式，當沒有足夠人力標記所有的樣本數據，并且稍稍降低對模型預測精度的要求時，便可以使用半監督學習。相比無監督學習會有較高的精度，相比有監督學習可以大幅降低人工標記成本。

例如：在擁有上百萬篇文章資訊類的網站中進行文章分類標記，便可以采用半監督學習，只需要對訓練樣本進行少量的人工標注處理，便可以得到較高精度的分類結果。

2.5 強化學習

強化學習是一種特殊的機器學習，根據輸入環境參數確定要執行的動作，通過與環境交互來優化目標函數。在訓練時，對于正確的動作做出獎勵，對錯誤的動作做出懲罰，訓練完成之后就用得到的模型進行預測。簡要來說，強化學習算法是一種根據當前的狀態確定要執行的動作的學習方式。

2.6 遷移學習

遷移學習簡要來說，就是把已經學到訓練好的模型參數遷移到新的模型來幫助并加快新模型訓練數據集，這種學習方式可以大幅縮短新模型的學習時間。

2.7 深度學習

深度學習是機器學習的子集，這個概念來源于對人工神經網絡的研究。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。

深度機器學習方法也有監督學習與無監督學習之分，不同的學習框架下建立的學習模型很是不同。例如：卷積神經網絡（Convolutional neural networks，簡稱CNNs）就是一種深度的監督學習下的機器學習模型，而深度置信網（Deep Belief Nets，簡稱DBNs）就是一種無監督學習下的機器學習模型。

深度學習相較其他機器學習最厲害的一點：可以對數據特征進行預處理（省去數據人工標注的麻煩，同時可以對更多維和復雜的特征進行向量提取和空間向量的轉換，方便后續處理），這也是它為什么很多層的原因，因為其中多出來的層數都是要用來進行數據特征提取預處理的。端到端的訓練，是深度學習的核心技術。目前深度學習框架有tensorflow、keras、caffe、theano、torch等。

1）卷積神經網絡（CNN）

基本原理：CNN是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，對于大型圖像處理有出色表現。

卷積神經網絡由輸入層、卷積層、激活函數、池化層、全連接層組成。卷積層的作用是指對圖片的矩陣進行卷積運算，得到一些數值，作為圖片的某些特征。因為采用了卷積來處理圖像，所以需要使用激活函數來加入非線性因素，來增加表達力。

池化層的作用是對上層的數據進行采樣和壓縮，一方面使特征圖變小，簡化網絡計算復雜度；一方面進行特征壓縮，提取主要特征。全連接層連接所有的特征，將輸出值分類。

前面卷積層和池化層進行處理后，得到了很多的特征，全連接層使用這些特征進行分類。比如：識別數字，那就是對0~9的十個類別進行分類。卷積神經網絡是一個判別模型，它既可以用于分類問題，也可以用于回歸問題，并且支持多分類問題。

主要用途：圖像處理，計算機視覺和圖像分類的主要算法。

2）遞歸神經網絡（RNN）

基本原理：又叫循環神經網絡，在任意神經網絡中，每個神經元都通過 1 個或多個隱藏層來將很多輸入轉換成單個輸出。遞歸神經網絡會將值進一步逐層傳遞，讓逐層學習成為可能。換句話說，RNN 存在某種形式的記憶，允許先前的輸出去影響后面的輸入。當輸入數據具有依賴性且是序列模式時，RNN 對之前發生在數據序列中的事是有一定記憶的，這有助于系統獲取上下文。

基于RNN還衍生出了LSTM（Long-Short-Term-Memerory）和GRU（Gated Recurrent Unit）等一系列算法，這些算法擁有記住過去的能力，所以可以用來處理一些有時間序列屬性的數據，在處理語言、文字等方面有獨到的優勢。

LSTM和GRU的優點是具備與其它遞歸神經網絡一樣的優點，但因為它們有更好的記憶能力，所以更常被使用。

遞歸神經網絡是一個判別模型，既支持分類問題，也支持回歸問題，并且支持多分類問題。

主要用途：語言建模、文本生成、機器翻譯、語音識別、生成圖像描述。