日前，在NVIDIA GTC 2023大會上，多位來自快手的技術專家，展示了一系列前沿技術及解決方案：涵蓋了從視頻畫質提升、數字人直播及互動解決方案，到定制性能優化新框架、針對大型推薦模型的性能優化，以及多模態超大模型在短視頻場景落地等多個話題。
畫質提升秘籍 視頻畫質評估算法和畫質修復增強方案
快手App每天都要產生數千萬條新增UGC短視頻內容。用戶發布一條視頻，只需要幾秒鐘，增加一些特效，也只需要簡單幾個步驟。但鮮為人知的是，為了提供更加清晰的畫質，每條短視頻在觸達用戶前都經歷了重重“關卡”，這背后是快手技術團隊持續的工程、算法技術積累。
快手音視頻圖像算法負責人孫明在《快手視頻質量評價和畫質增強解決方案》演講中提到，在一條短視頻從生產到消費的整體鏈路上，與畫質相關的主要有拍攝、編輯和服務端處理這三個階段。同時在下發到移動端的過程中，視頻畫質仍受制于網絡環境、帶寬成本、用戶端機型等因素影響。
為解決這個問題，快手針對UGC視頻特性提出了視頻畫質評估算法體系（KVQ）和畫質修復增強方案（KRP/KEP）。兩者相輔相成，大幅提升了消費側畫質清晰度。
如何在有限的算力下盡可能把算法效果發揮到極致，實現降本增效？快手視頻質量評價框架使用了AI方法來驅動算法開發。“早期我們建立了大量的內部測試集，發現哪怕在數據較小的情況下，AI算法仍然比市面上的工具好用，所以后面的迭代主要圍繞在內容多樣性、處理多樣性、codec多樣性三個問題來解決。”孫明表示。
快手畫質修復“秘籍”
現如今KVQ已廣泛應用于快手內部多個業務場景中，如全鏈路質量監控、基于內容的自適應處理和編碼、搜索推薦等。同時，在StreamLake業務中，KVQ已經實現商業化，并為業內數家知名公司提供服務。
數字人直播及互動解決方案 助力游戲營銷
最近幾年，前沿技術的革新也逐漸帶動了虛擬技術的升級。快手視覺互動技術負責人簡偉華分享的《快手 3D 數字人直播及互動解決方案》，介紹了快手圍繞3D數字人，基于快手虛擬世界互動平臺KMIP和快手虛擬演播助手KVS，在直播、社交等領域進行的系列實踐。
以游戲場景為例，數字人主播使用快手虛擬演播助手（KVS），以3D形象參與到游戲中，除了自己體驗并講解游戲玩法外，用戶也可以在主播的引導下與之進行互動，從而參與游戲進程與結果，甚至可通過打賞等方式入場，以沉浸式第一人稱視角操控角色。
在技術的加持下，快手站內參與主題游戲虛擬世界互動的中小主播營收增加了50%以上，直播間付費率提升了2倍以上；帶貨方面，情人節期間，快手官方聯合多位快手虛擬主播進行的直播帶貨共計4245萬人觀看，最高同時在線達到3萬多人，300萬人互動。
快手稱，希望以3D數字人的技術棧支持主播和游戲宣發生態，實現多端打通，游戲營銷的同時助力直播間個性化互動內容的生產，與平臺進行深度聯動。用戶也可直接參與互動，這樣一來，快手既承接了獲取流量的部分，也賦予了游戲平臺新的互動形式。
快手定制性能優化新框架
在針對更深層次的算法與模型優化方面，快手算法引擎專家門春雷在《基于TensorRT的端到端子圖優化框架》的演講中進行詳細闡述，詳細介紹了為用戶提供更便捷服務的迭代技術。
據了解，NVIDIA TensorRT是一個高性能的SDK，用于優化通用模型的推理性能。快手AI預估系統廣泛采用 TensorRT 進行加速計算，然而，工業模型中有一些非通用子圖，仍存在優化空間。
門春雷介紹，為了優化這些非通用子圖，快手技術團隊專門設計了一種利用AI編譯器優化子圖的端到端框架。具體來說，該框架會自動分析和裁剪ONNX-Graph中存在性能瓶頸的子圖，利用AI編譯器對其進行優化，并生成代碼以填充到TensorRT插件中。這樣，基于TensorRT的二次開發，能夠進一步提升服務吞吐，節省計算資源。
針對大型推薦模型的性能優化
作為頭部短視頻平臺，快手日活用戶達3.6億，日均時長超129分鐘。推薦服務在短視頻、廣告、電商等多項業務中都發揮著重要作用。
軟件架構師梁瀟在《針對大型推薦模型的性能優化》的演講中表示，面對推薦時效性強和模型過于龐大的問題，快手通過平衡 CPU和GPU的工作負載來優化整個系統，所有的工作都在同一臺服務器上完成。這樣做既非常易于部署，也能同時充分利用CPU和GPU資源。
方案的實現關鍵是將部分負載轉移到GPU上。為了做到這一點，首先要深度優化CPU算法，并且提升模型在GPU上推理的效率，推理所需的時間越少,就意味著有更多的GPU算力可以用來承載從CPU上遷移的算法。此外，技術團隊還嘗試在GPU端緩存數據，從而減少對DRAM的訪問量。
這些優化的動作使GPU利用率從20%左右大幅提高到近90%，吞吐量提高了十倍以上，能夠幫助平臺在成本可控的情況下，把效果發揮到極致，更好地為用戶提供優質服務。
ChatGPT熱潮下 加速多模態超大模型在短視頻場景落地應用
今年以來，ChatGPT持續火爆，讓其背后的多模態大模型技術受到更多關注，也為行業帶來了諸多AI大模型技術研究熱潮。超大模型和超級算力結合加速了技術的應用，大模型已經從自然語言處理擴展到計算機視覺、多模態領域等。
在《多模態超大模型短視頻場景落地應用》這一演講中，張勝卓、韓青長、李杰三位技術專家介紹，為了解決大模型應用中共性問題，快手開展技術攻關，沉淀了通用的混合并行訓練、推理優化和模型部署整套解決方案。該方案已在快手的多個場景落地，以較低的資源成本取得了顯著的業務收益。
快手技術團隊稱，通過研究發現，訓練時間漫長、推理效率過低、部署相對復雜是多模態超大模型工程應用的三大攔路虎。為全鏈路解決上述問題，快手圍繞提高模型計算效率和可部署開展技術攻關，沉淀了通用的混合并行訓練、推理優化和模型部署整套解決方案。
據悉，目前多模態超大模型已在快手的多個場景落地，以較低的資源成本推動業務開展，探索出了大模型從訓練到落地的技術路徑。同時，結合快手海量的視頻資源和多媒體場景，多模態超大模型可以利用多模態特征構建通用理解能力，應用于推薦、廣告、搜索、電商等核心業務。
在ChatGPT和GPT-4帶動下，AIGC大火。隨著AI技術的進一步發展，大模型以及多模態模型的商業化應用將進一步加速。十年磨一劍，諸如快手等科技巨頭，將憑借多年提煉的技術“秘籍”，持續賦能億萬用戶。快手內部文檔請勿外傳
