9月9日，掘力計劃第23期線上活動舉行，本期活動的主題為《AIGC的應用和創新》。來自華為諾亞方舟實驗室的劉衛文博士做了題為《利用大語言模型開放知識的通用推薦框架》的分享。
劉衛文博士2020年畢業于香港中文大學，現任華為諾亞方舟實驗室高級研究員，主要研究領域為推薦系統、大語言模型和個性化偏好學習。她在本次分享中提出，可以利用大語言模型提供的通用世界知識和邏輯推理能力，設計開放的推薦系統框架，以更深入理解用戶行為背后的動機和關聯關系。
直播回放地址：https://juejin.cn/live/jpowermeetup23
一、背景介紹
傳統的推薦系統往往是相對封閉的系統，僅使用給定推薦場景內部的數據進行訓練，對于用戶偏好和上下文理解不夠全面。本次分享的主題是利用大語言模型的通用世界知識和邏輯推理能力，設計開放的推薦系統框架，以更深層次理解用戶行為背后的動機和關聯關系。
二、大語言模型與推薦系統基礎知識介紹
1、推薦系統基礎知識
推薦系統已經成為人工智能領域商業價值最大的應用之一。谷歌的廣告推薦系統每年帶來上百億美元營收，占其整體收入90%以上。我們每天也都在使用各類推薦系統，如音樂、新聞、短視頻等 APP都依賴推薦系統根據我們的興趣給出個性化推薦。
從技術角度來看，一個推薦系統的輸入主要包括：用戶歷史交互、物品特征、用戶特征。輸出是一個針對給定用戶U和物品I的匹配概率或評分。推薦系統的目標是預測用戶最可能喜歡的內容。
2、大語言模型基礎知識
大語言模型指通過在大規模互聯網語料上預訓練得到的具有數十億到千億參數的神經網絡模型。隨著模型參數量的增大，這類模型會出現“涌現能力”，包括強大的邏輯推理能力。
大語言模型具有豐富的通用世界知識和推理能力，可以為相對封閉的推薦系統提供開放的外部信息。將兩者結合，可以讓推薦系統更深入理解用戶興趣動機和關聯關系。
三、將大語言模型引入推薦系統的方案
將大語言模型引入推薦系統可以分為“在哪引入”和“如何引入”兩個問題。
1、在推薦系統的哪個階段引入
將推薦系統流程分為四個階段：數據采集、特征工程、特征編碼、打分排序。
在特征工程階段，大語言模型可以通過用戶歷史行為推斷用戶興趣;通過理解物品內容信息進行擴充;直接生成樣本數據。
在特征編碼階段，大語言模型可以利用文本特征，通過預訓練的語義表示對推薦中的用戶評論、物品名稱等文本信息進行編碼。
在打分排序階段，大語言模型可以直接對物品進行評分;直接生成下一個推薦物品;或同時進行打分和生成兩個任務。
此外，還可以構建以大語言模型為核心的推薦系統流程控制器，調度各個階段的運行。
2、如何更好地應用大語言模型
在訓練階段，大語言模型是否需要微調以及推理階段是否需要引入傳統推薦模型，是當前的兩大發展趨勢：
1、模型：通過引入傳統推薦模型為語言模型注入協同信號;
2、數據：通過引入推薦場景的數據，結合微調技術，為語言模型注入協同信號。
理想狀態是語言模型獲得用戶偏好、領域知識后自主推理生成推薦，但目前完全依賴大語言模型的效果并不理想。當前較優策略是與傳統推薦模型協同，進行知識遷移和微調。
四、挑戰與展望
在工業場景大規模應用大語言模型進行推薦還面臨挑戰：
1、如何更好地融合語言模型與推薦系統中編碼的協同信息
2、輸入文本的窗口長度限制
3、ID 編碼引入的困難
4、多模態輸入的利用
此外，大語言模型推理效率需要進一步優化。
展望未來，大語言模型將從三個層面改變推薦系統：
1、數據：利用開放世界知識
2、模型：向生成式推薦轉變
3、流程：由語言模型統一調度
大語言模型將成為推薦系統發展的新方向。
綜上，劉博士的報告系統地介紹了大語言模型在推薦系統中的應用點和運用方法，并提出了一種知識增強框架，為工業場景中的大規模應用提供了有價值的指導意見。大語言模型與推薦系統的結合充分利用了兩者的優勢，必將推動推薦系統向開放世界的方向發展。
掘力計劃
掘力計劃由稀土掘金技術社區發起，致力于打造一個高品質的技術分享和交流的系列品牌。聚集國內外頂尖的技術專家、開發者和實踐者，通過線下沙龍、閉門會、公開課等多種形式分享最前沿的技術動態。
