背景

工業推薦系統一般包含四個環節，分別是召回、粗排、精排和重排。召回階段根據用戶的興趣和歷史行為，從海量的物品庫里，快速找回一小部分用戶潛在感興趣的物品，然后交給排序環節，排序環節可以融入較多特征，使用復雜模型，來精準地做個性化推薦。有時候因為每個用戶召回環節返回的物品數量還是太多，怕排序環節速度跟不上，所以可以在召回和精排之間加入一個粗排環節，通過少量用戶和物品特征，簡單模型，來對召回的結果進行粗略的排序，在保證一定精準的前提下，進一步減少往后傳送的物品數量，粗排往往是可選的，可用可不同，跟場景有關。之后，是精排環節，使用你能想到的任何特征，可以上你能承受速度極限的復雜模型，盡量精準地對物品進行個性化排序。排序完成后，傳給重排環節，重排環節往往會上各種技術及業務策略，比如去已讀、去重、打散、多樣性保證、固定類型物品插入等等，主要是技術產品策略主導或者為了改進用戶體驗的。

排序環節是推薦系統最關鍵，也是最具有技術含量的部分, 工業界應用的排序模型，大致經歷三個階段，如下圖所示。

當前業界主流的推薦排序模型是深度學習模型，基于深度學習模型的多目標優化、ListWise以及強化學習是當前最常見的技術演進方向，本文主要介紹工業界經典的推薦排序模型。

LR算法

LR 模型是 CTR 預估領域早期最成功的模型，大多早期的工業推薦排序系統采取 LR 這種 “線性模型 + 人工特征組合引入非線性” 的模式。LR 模型具有訓練快、上線快、可解釋性強、容易上規模等優點，目前仍然有不少實際系統采取這種模式。

FTRL算法

普通邏輯回歸不適應大規模稀疏特征的點擊率預估。一是傳統的邏輯回歸參數訓練過程都依賴牛頓法或L-BFGS等算法，這些算法并不容易在大規模數據集上得以處理，二是不容易得到稀疏解，而實際上對于大規模稀疏的數據來說，通常僅有少量特征是被激活的。FTRL梯度優化算法改進了傳統的LR算法，其核心就是模型的參數會在每一個數據點進行更新，是一種在線學習算法，其參數更新偽代碼如下：

FM算法

FM算法在 LR 的基礎上加入二階特征組合，即任意兩個特征進行組合，將組合出的特征看作新特征，加到 LR 模型中。組合特征的權重在訓練階段學習獲得。但這樣對組合特征建模，泛化能力比較弱，尤其是在大規模稀疏特征存在的場景下。FM 模型也直接引入任意兩個特征的二階特征組合，但對于每個特征，學習一個大小為 k 的一維向量，兩個特征 Xi和 Xj 的特征組合的權重值，通過特征對應的向量 Vi 和 Vj 的內積 <Vi , Vj> 來表示。這本質上是對特征進行 Embedding化表征，和目前常見的各種實體 Embedding 本質思想是一樣的。

FM 可以模擬二階多項式核SVM，但是FM的訓練和預估復雜度是線性的，而二階多項式核SVM需要計算核矩陣，復雜度為N平方。MF算法相當于只有User和Item兩類特征的FM模型，而 FM模型可以加入任意特征，比如Context特征。

Wide&Deep

Wide&Deep 是推薦領域取得較大成功的最早期深度模型，由 google 于 2016 年提出。Wide&Deep模型包括 Wide 部分和 Deep 部分，Wide 部分為 LR，輸入為one-hot 后的離散型特征和等頻分桶后的連續性特征，這部分可以對樣本中特征與目標較為明顯的關聯進行記憶學習；Deep 部分為 MLP，輸入為Embedding 后的離散型特征和歸一化后的連續型特征，可以泛化學習到樣本中多個特征之間與目標看不到的潛在關聯。使用 Wide&Deep 的另一個優勢在于 Wide 部分的存在，可以沿用之前淺層學習的成果，尤其是特征工程部分。

Wide部分是廣義線性模型，可以包括原始特征及轉換后的特征，Deep部分是神經網絡。

DeepFM

DeepFM 將 Wide&Deep 的Wide 部分 LR 替換成 FM 來避免人工特征工程。DeepFM 相比 Wide&Deep 模型更能捕捉低階特征信息。同時，Wide&Deep 部分的 Embedding 層需要針對 Deep 部分單獨設計，而在 DeepFM 中，FM 和 Deep 部分共享Embedding 層，FM 訓練得到的參數及作為 wide 部分的輸出，也作為 MLP 部分的輸入。DeepFM 支持end-end 訓練，Embedding 和網絡權重聯合訓練，無需預訓練和單獨訓練。從個人實踐效果來看，DeepFM算法如果在人工交叉特征已經比較豐富的情況下，效果相對于Wide&Deep算法提升有限。