今日，快手在2020年中國國際數碼互動娛樂展覽會（簡稱ChinaJoy）上，率先發布了基于5G網絡的云端渲染技術。該技術以短視頻業務場景為依托，為用戶提供了趣味性的體驗。本次快手提供了馴龍高手、二次元變身兩項展示。這兩項展示具備沉浸感強、體驗效果逼真的特點，受到了廣大參會者的追捧。
本次快手展示的云端渲染技術，充分發揮5G高帶寬、低延遲的優勢，釋放云端強大的計算能力，克服本地算力不足的缺點，達到云端實時渲染、5G低延遲傳輸、本地即時展示的目的。
圖為馴龍高手應用效果示意
為了給用戶提供好萊塢級別的視覺體驗，馴龍高手綜合應用多項自研技術，包含基于物理的實時渲染（Physically Based Rendering）、對真實世界的仿真物理模擬、基于體素的流體建模與渲染系統、大規模GPU粒子系統、YCNN推理引擎。多項先進技術和大量次時代資源的使用，導致本地設備無法提供足夠的算力與存儲空間。而5G技術的到來，使云端模擬成為可能，解決了上述問題。百萬面同屏、真實光影效果、華麗的粒子特效、纖毫畢現的毛發模擬、逼真的交互體驗、高精度的AI推理，畫面流暢細膩、特效精致震撼，為短視頻特效行業樹立了標桿。
圖為二次元效果對比圖
二次元變身是基于CycleGAN、UGATIT等框架而實現的，快手在實踐中對于算法魯棒性、模型效果、數據準備效率、時序穩定性等進行了優化和升級。服務端的全圖二次元技術，支持人像、背景、多人效果。通過端云協同的技術方案，服務端運算的結果以直播下發的方式展示，為用戶提供更清晰、質感的二次元轉換。
為了更好的適配5G網絡，快手音視頻部門自研了網絡傳輸協議和實時編解碼技術，采用快手自建的SDN網絡，通過基于UDP協議的高清視頻低延時通信技術，實現本地采集視頻云端處理的實時回顯。把用戶在手機上采集到的視頻實時發送到云端，利用服務器強勁的硬件資源進行渲染，再把渲染結果實時發送到用戶手機進行顯示。
快手云端渲染系列技術，充分將移動終端與服務器的硬件能力相結合，實現較為復雜的運算，未來將充分挖掘5G網絡的應用價值，在視頻內容生產、直播、小游戲等應用場景中將發揮重要作用。
