近日,在騰訊全球數字生態大會“Techo前沿技術論壇”上,騰訊杰出科學家、騰訊云副總裁、騰訊多媒體實驗室總經理、騰訊視頻智能創作與內容平臺部副總經理劉杉博士,與清華大學電子工程系教授、2021年"科學探索獎"信息電子領域獲獎者陶曉明教授聚首,深入探討了語義通信和視頻編解碼領域的交叉合作。
劉杉博士一直致力于多媒體及相關領域的技術研究,包括信號與信息處理、音視頻與空間媒體數據壓縮、傳輸交互和智能化應用等。她所帶領的騰訊多媒體實驗室,主要工作涉及兩大方面:前沿技術的探索和標準制定,和面向產品的技術研發和應用落地。而陶曉明教授專注于廣域特定場景下的語義通信,通過將人腦視覺感知、認知機理融入網絡傳輸通信過程,解決大容量多媒體業務對無線網絡帶寬需求的壓力。
兩位專家結合各自領域的專業知識,圍繞腦啟發的視頻質量評價、語義賦能視頻編解碼以及語義通信與視頻編解碼跨領域合作這三大方面展開了深入的討論。
多媒體質量評價新思路,可引入人腦感知、認知、先驗知識等特征
劉杉博士提及騰訊多媒體實驗室面向產品的技術研發和應用落地,從技術細分領域來看主要分為三大方向:媒體的壓縮傳輸,智慧融合媒體,以及互動沉浸式媒體。這些方向與當前熱門的概念如AIGC、XR和元宇宙密切相關。她強調多媒體是一個系統,包括信號處理、壓縮、傳輸、互動、渲染和建模等多個環節,需要聯合優化以實現最佳性能和用戶體驗。性能和用戶體驗需要高效的質量評價體系量化評價,在傳統質量評價體系之上發掘借鑒大腦的特征,來完成多媒體的質量評價,是非常有意義的創新和探索。
陶曉明教授認為,大腦有三個特征能夠與多媒體通信相關。第一是在感知,人腦對于QoE能夠有主觀和定性的判斷,能夠直接感知到好還是不好;第二是在認知,人腦全局搜索和推理的能力,如果能引入通信的編解碼里面,一方面可以降低視頻編碼的復雜度,還能在傳輸過程中更好地保護上下文重要的語義信息;第三是在先驗知識方面,大腦能夠自動匹配之前接觸過的認知,如果應用到通信中,能夠降低一些特殊場景下對帶寬的需求。
深度學習、機器視覺等方法,能夠解決更多通用和特殊場景下的編解碼需求
視頻編解碼,在如今5G甚至6G蓬勃發展的現在尤為重要,特別是在多媒體數據壓縮中。音頻、視頻、圖像以及新興的VR、高維度數據等,其數據量通常很大,需要大量存儲空間和傳輸帶寬。為了解決這個問題,視頻編解碼技術應運而生,經過幾代標準的發展,如H.264/AVC、H.265/HEVC、H.266/VVC等。深度學習在音頻信號壓縮方面已經取得了一些進展,但在視頻信號壓縮方面仍然具有挑戰性。
劉杉博士指出,在機器視覺、信息(如語音和圖像)處理等方面,深度學習和人工智能已經在不少實際應用中發揮作用,進而推動在視頻編解碼中的使用探索。目前在視頻編解碼標準制定中,騰訊多媒體實驗室也發現了許多技術提案和趨勢,以適應不同應用和環境的需求。
陶曉明教授也表示,在鄉村、留守老人和兒童等特殊情境,可以通過引入腦科學的思想,使用腦電圖分析來提取人的主觀感知,以改善用戶體驗。此外,陶曉明教授還介紹了一種基于時空素描圖的編解碼方法,通過提取視頻的輪廓、語義和關系等特征,以減小數據量。因此在接收端,需要使用生成式機器學習和強化學習方法,能夠實現在特殊長江下降低數據傳輸量,以滿足用戶的需求,生成最優用戶體驗的視頻。
語義通信與視頻編解碼,或能達成跨領域合作
劉杉博士認為,質量評價是無所不在的,包括目前騰訊多媒體工作室正在研究的3D空間視頻壓縮傳輸。她認為這些領域尚未成熟,有很大的探索空間,從人腦反饋出發的研究方法十分具有潛力,未來也許會對多媒體編解碼標準的改進起到推動作用。陶曉明補充說,在AR、VR和游戲等領域,腦電信號可以提供有關用戶體驗的寶貴信息,如交互性、感覺和延時等,這對語義通信的研究也是一個新的維度,期待未來能夠與騰訊多媒體實驗室一道,了解更多用戶需求。
騰訊多媒體實驗室自2018年初開始代表騰訊公司參與國際標準制定,迄今為止已有超過800項技術提案被多項國際標準采納并積累超過1500項已授權專利,數十人次在國際標準制定過程中擔任重要職務,技術貢獻贏得國際標準組織和業界廣泛認可。實驗室榮獲ISO/IEC 杰出貢獻獎、AVS產業技術創新單位獎、技術與工程艾美獎(Technical Emmy Award)、技術盧米埃獎(Technology Lumiere Award)、數博會領先科技成果獎、世界人工智能大會“鎮館之寶”。同時研發多媒體核心技術應用于騰訊旗下多款產品,為億級用戶提供優質服務。從2018年開始投入包括VR在內的沉浸式媒體XR技術研發和系統建設以及AIGC能力智能內容生產,在2019年首次將VR應用于騰訊產品,之后又陸續為新華社、故宮、敦煌等合作項目以及騰訊WE大會、騰訊全球數字生態大會、東北虎國家公園提供技術支持,以多媒體實驗室技術為核心的“VR全景”、“自由視角”、“點云建模”、“點云壓縮”等通用解決方案已上架騰訊云官網。2019年,騰訊杰出科學家劉杉博士,向其所領導的多媒體實驗室團隊提出展開面向“智能化內容生產”技術研發的要求,并在此后的時間里帶領團隊打造多項核心技術并逐步完善能力矩陣,應用于多個內容生產和創作的業務場景。2023年團隊產品XMusic榮獲2023年世界人工智能大會“鎮館之寶”。未來多媒體實驗室將持續投入相關技術建設,持續為教育、工業、醫療、文旅、地產家居、金融等to B產業場景的建設做底層技術投入。
