作者 | 汪昊
審校 | 重樓
推薦系統最早的算法是1992 年發明的協同過濾。自協同過濾算法誕生之日起，人們便與推薦系統中的各種不公平現象作斗爭。雖然推薦系統中的不公平現象廣泛存在，并且嚴重影響了推薦系統的生態健康發展，這些現象真正引起人們關注卻要等到2017年之后。2017 年，在人類的人工智能發展歷程中有個里程碑事件，就是國際學術會議 FacCT 的創建。這個會議專門針對人工智能倫理，可以說把人工智能中的道德問題，包括推薦系統中的不公平性問題，暴露給了全世界的研究者。
那么問題來了，什么是推薦系統的不公平性？推薦系統作為一種算法，主要為用戶推薦它可能感興趣的物品。該算法會出現過度推銷熱門產品、在推薦列表頂部推薦的物品過熱等等一系列不公平問題。其中在推薦列表頂部推薦的物品過熱的問題，被稱為位置偏差問題（Position Bias Problem），引起了學者的廣泛關注。
我們利用正則化的方式來處理位置偏差問題。首先，我們把矩陣分解算法作為原生算法。矩陣分解算法的損失函數定義如下：
矩陣分解的本質就是利用降維手段修復原始矩陣中的缺失值。在損失函數的定義里，R 就是原始矩陣中已知的評分數據，U 是用戶特征向量，而 V 是物品特征向量。在實際的使用過程中，損失函數需要進行處理才能使用。處理之后的損失函數如下：
經過處理之后，算法可以避免數據出現異常值。我們可以從另外一個角度去看這個問題，我們可以認為其實矩陣分解是保角降維運算（Angle-preserving Dimensionality Reduction）。而 U 和 V 就是從高維空間降維處理過之后的向量空間。
我們假設在推薦系統中，系統給每個用戶都推薦了一個物品列表。這個物品列表中所有的物品都被排列上了。因此，最差的曝光情況就是一個物品被排在了列表最低端。所以，我們可以利用這一點，設計出一個正則化項，用來懲罰損失函數 L ：
其中position 是物品在推薦列表中的位置，而 m 是所有物品的數量。因為推薦列表中存在冪律效應，也就是越熱門的物品越容易出現在列表的上方，而這類物品用戶評分往往很高。因此我們把損失函數 L 修正成如下的形式：
下面我們用隨機梯度下降方法來對損失函數 L 進行求解，得到了如下公式：
以及：
以上就是整個算法的流程。該算法由Ratidar Technologies LLC (北京達評奇智網絡科技有限責任公司) 發表于國際學術會議CE.NET 2023。論文標題為Mitigating Position Bias with
Regularization for Recommender Systems。論文可以在arXiv.org 上進行下載：https://arxiv.org/ftp/arxiv/papers/2401/2401.16427.pdf 。
下面我們討論一下該算法在不同的數據集合上的表現：作者采用了兩個不同的數據集合進行算法測評：MovieLens 1 Million Dataset (6040 名用戶，3706 部電影) 和LDOS-CoMoDa Dataset (121 名用戶，1232 部電影)。算法測試結果如下面6張圖所示：
圖1 至圖 3 分別是該算法和另外幾種算法在MovieLens 數據集上的測評效果，可以看到，不管是在準確率（測評指標為 Mean Absolute Error），熱度偏差指標還是位置偏差指標的測評上，該算法均表現優異。
圖4 到圖6 展示的是算法在 LDOS-CoMoDal 數據集合上的表現。與上一組數據相似，該算法的性能表現出眾，能夠很好的解決位置偏差問題。
推薦系統中的不公平現象由來已久，隨著近些年來人們對于推薦系統的關注度不斷地提升。推薦系統公平性問題也引起了越來越多人的關注。推薦系統中關注最多的不公平性問題其實是流行度偏差（Popularity Bias）。早在2017 年，Alex Beutel 等人就提出了 Focused Learning, 用于解決該問題。
后期大多數跟進工作主要采用正則化項的方式進行。2020 年，國際學術會議 ICBDT 2020 的最佳論文報告獎MatRec 另辟蹊徑，利用了類似SVDFeature 的方式將用戶和物品排名作為變量，嵌入到矩陣分解算法中，取得了不俗的成績。本文所介紹的算法，沿用了傳統的正則化項的思路，利用了推薦系統中的冪律現象，成功對推薦系統中的位置偏差進行建模，較為令人滿意的解決了該問題。
隨著商品化大潮愈演愈烈，以及最近幾年的全球經濟不景氣。越來越多的企業主開始關注自己的短期利益，而忽略所謂人工智能倫理等短期收益似乎不如傳統方法，但是長期收益卻能使公司建立起完善的生態體系和卓越的品牌效應的技術方向。如果我們不解決推薦系統的馬太效應，我們會發現推薦系統的生態會變差：比如在游戲中，我們給用戶推薦玩家聯盟。最有效的方式其實可能是推薦人數最多的前3 個聯盟，但如果我們為了追求點擊率就這么做，毫無疑問會把剩下的聯盟全部搞死，整個產品的生態也就完了。所以有的時候，我們就算是犧牲了由點擊率提升帶來的經濟效益，也應該把產品的口碑和生態搞好。而本文介紹的算法，就提供了這樣一種思路。
作者簡介
汪昊，前 Funplus 人工智能實驗室負責人。曾在 ThoughtWorks、豆瓣、百度、新浪等公司擔任技術和技術高管職務。擔任過創業公司CTO 和技術VP。在互聯網公司和金融科技、游戲等公司任職 13 年，對于人工智能、計算機圖形學和區塊鏈等領域有著深刻的見解和豐富的經驗。在國際學術會議和期刊發表論文 42 篇，獲得IEEE SMI 2008 最佳論文獎、ICBDT 2020 / IEEE ICISCAE 2021 / AIBT 2023 / ICSIM 2024最佳論文報告獎。
