引言
2020年7月17日，“全真互聯(lián)網(wǎng)中的聲與影” 騰訊云TVP音視頻技術(shù)閉門會完美收官。TVP技術(shù)閉門會，是為騰訊云TVP打造的專屬技術(shù)閉門研討會，旨在提供一個開放、平等、知無不言的交流環(huán)境，便于TVP針對熱門技術(shù)話題、前沿科技、技術(shù)管理等話題進(jìn)行深入探討，促進(jìn)TVP之間，TVP與騰訊內(nèi)部團(tuán)隊之間的相互交流與學(xué)習(xí)。
25位騰訊云TVP專家及騰訊專家齊聚上海騰云大廈，開啟騰云之旅，在精彩紛呈的技術(shù)分享與觀點(diǎn)交鋒的熱點(diǎn)話題探討中，共話音視頻領(lǐng)域前沿趨勢，描繪全真互聯(lián)網(wǎng)時代的發(fā)展藍(lán)圖。
參會TVP專家與騰訊專家合影
視頻生成與合成技術(shù)的新進(jìn)展
線上會議、在線教育、電商直播等多個場景的興起，使得視頻實時生成技術(shù)從幕后走到臺前，受到了更多的關(guān)注。上海交通大學(xué)圖像所副所長、騰訊云TVP宋利，從學(xué)術(shù)界的視角，帶來了《視頻生成與合成技術(shù)的新進(jìn)展》。
上海交通大學(xué)圖像所副所長、騰訊云TVP 宋利
在分享中，宋利首先對音視頻技術(shù)發(fā)展的整體趨勢做出了高屋建瓴的解讀——技術(shù)飛速發(fā)展，已從傳統(tǒng)的視頻編解碼處理，向合成、生成、創(chuàng)造進(jìn)化。圖形學(xué)+計算視覺+深度學(xué)習(xí)的綜合開啟了新思路。
隨后，宋利分享了基于生成模型的視頻編解碼、圖像和諧化、自由視角、視頻的深度特征表達(dá)等四項前沿技術(shù)的最新研究成果。
基于生成模型的視頻編解碼：針對視頻會議等背景和姿態(tài)較為固定的場景，在編碼端只傳輸人臉關(guān)鍵點(diǎn)信息；在云端建立關(guān)鍵幀池，根據(jù)視覺敏感性將人臉分為敏感區(qū)域和非敏感區(qū)域，分別進(jìn)行特征提??；在解碼端利用生成對抗網(wǎng)絡(luò)生成目標(biāo)視頻幀，可實現(xiàn)高質(zhì)量，低帶寬的編解碼方案。
圖像和諧化：其核心思想是從背景中深度學(xué)習(xí)特征，將它應(yīng)用到前景特征上，同時也讓背景從前景中學(xué)習(xí)，從而生成在色調(diào)、亮度、飽和度等視覺特征上更和諧的組合圖像。
自由視角：是指在場景周圍架設(shè)多臺攝像機(jī)采集視頻流，使得用戶可以平滑無縫地選擇觀看視角，獲得仿佛在現(xiàn)場自由穿梭的新體驗。目前常用于體育賽事、綜藝表演等，比如在今年的東京奧運(yùn)會轉(zhuǎn)播中就有應(yīng)用。隨后，宋利詳盡地解析了自由視角的三種技術(shù)實現(xiàn)路線：DIBR、3D模型以及NeRF。
視頻的深度特征表達(dá)：最后，宋利還介紹了特征域處理如何為傳統(tǒng)視頻帶來無限表達(dá)自由，包括從壓縮圖像中學(xué)習(xí)的視頻生成、視頻下一步行動預(yù)測、基于關(guān)鍵幀的視頻風(fēng)格化以及視頻任意倍率超分。
全真將至，5G先發(fā)
全真互聯(lián)的實現(xiàn)，涉及到多層面的因素，云、終端、應(yīng)用等等，網(wǎng)絡(luò)是其中重要的一層。那么5G時代的到來，將為全真互聯(lián)網(wǎng)帶來怎樣的機(jī)遇？騰訊云通信副總經(jīng)理王軍帶來了《全真將至，5G先發(fā)——從5G看全真互聯(lián)網(wǎng)時代》主題分享。
騰訊云通信副總經(jīng)理 王軍
在演講伊始，王軍首先分享了從5G視角對全真互聯(lián)網(wǎng)的深刻理解：
1.全真互動。以遠(yuǎn)程操控為例，全真互動希望達(dá)到的目標(biāo)是操作流暢，從視聽和觸覺上都能獲得如同現(xiàn)場操作般的真實體驗。
2.沉浸感知。以VR為代表的沉浸式體驗。
3.數(shù)字孿生。
要實現(xiàn)全真互聯(lián)網(wǎng)的極致體驗，在網(wǎng)絡(luò)層面有著兩大核心訴求——低時延、高帶寬。而5G浪潮的爆發(fā)正在為全真互聯(lián)創(chuàng)造廣闊可能。王軍指出，到2023年底，國內(nèi)5G可基本覆蓋所有鄉(xiāng)鎮(zhèn)和重點(diǎn)鄉(xiāng)村；今年上半年，國內(nèi)5G手機(jī)出貨量超億部，由此預(yù)估2023年在C端，國內(nèi)5G手機(jī)普及量有望達(dá)到5-8億，B端的企業(yè)級服務(wù)也將不斷拓展。
那么，快速發(fā)展的5G技術(shù)與音視頻技術(shù)的結(jié)合將帶來哪些應(yīng)用機(jī)遇？王軍提出了以下落地場景：
1.遠(yuǎn)程實時操控?；隍v訊云音視頻多年積累的成熟技術(shù)TRTC及遠(yuǎn)程實時操控產(chǎn)品TRRO，提供5G網(wǎng)絡(luò)下低時延的遠(yuǎn)程實時操控能力，可廣泛應(yīng)用于無人礦車、港口集卡、鋼鐵天車、乘用車無人駕駛等場景。
2.VR云游戲。將計算放到云端，個人邊緣云主機(jī)，按時計費(fèi)。
3.全球端到端加速體系。在網(wǎng)絡(luò)負(fù)載重或網(wǎng)絡(luò)質(zhì)量差的環(huán)境中，騰訊云加速產(chǎn)品可提供低時延與大帶寬的保障。
4.規(guī)?；⒍鄻踊倪吘壔A(chǔ)設(shè)施。包括面向廣域的邊緣公有云與面向本地的邊緣私有云。
在QA環(huán)節(jié)，王軍和現(xiàn)場的TVP專家還就5G在遠(yuǎn)程醫(yī)療及自動駕駛領(lǐng)域的應(yīng)用、移動網(wǎng)絡(luò)與WIFI的穩(wěn)定性、5G CPE等問題展開了熱烈的探討。
全真互聯(lián)時代下的多媒體技術(shù)
多媒體技術(shù)是全真互聯(lián)網(wǎng)最為大眾廣泛而深刻感知的技術(shù)。騰訊多媒體實驗室產(chǎn)品副總監(jiān)、專家工程師葉聰，以《全真互聯(lián)時代下的多媒體技術(shù)》主題分享，帶現(xiàn)場嘉賓深入走進(jìn)全真互聯(lián)背后的多媒體技術(shù)。
騰訊多媒體實驗室產(chǎn)品副總監(jiān)、專家工程師 葉聰
在葉聰看來，全真互聯(lián)網(wǎng)的實現(xiàn)有兩個維度，一是在連接層面變得更全面，二是在呈現(xiàn)與交互層面變得更真實。
1.在連接層面，從消費(fèi)互聯(lián)網(wǎng)時代的人與人，人與信息/服務(wù)連接，到產(chǎn)業(yè)互聯(lián)網(wǎng)時代的萬物互聯(lián)，再進(jìn)化為全真互聯(lián)網(wǎng)時代，虛擬世界出現(xiàn)。人、信息/服務(wù)、物在虛擬世界的副本與真實世界可以任意相連。
2.在呈現(xiàn)層面，視覺上發(fā)展到與沉浸式相關(guān)的體驗如AR、VR。聽覺上發(fā)展到全景音。在交互層面，目前行業(yè)努力推進(jìn)的是語音、肢體動作的識別交互，下一代會往腦機(jī)接口探索。
而隨著全真互聯(lián)體驗要求的不斷提高，其背后的視頻編解碼、視頻處理與沉浸式技術(shù)也在快速發(fā)展。
編解碼技術(shù)上，葉聰將編解碼技術(shù)與標(biāo)準(zhǔn)的進(jìn)化史娓娓道來，從早年的MPEG-2到如今最新的VVC，演進(jìn)的過程也是中國企業(yè)技術(shù)話語權(quán)不斷增強(qiáng)的過程——目前騰訊有數(shù)百項提案得到VVC標(biāo)準(zhǔn)的采納，位列世界第三。目前騰訊云音視頻旗下轉(zhuǎn)碼及相關(guān)媒體處理應(yīng)用已支持最新的編解碼標(biāo)準(zhǔn)H.266/VVC。
視頻處理技術(shù)上，展示設(shè)備會向著8K高清、10bit色彩、高幀率發(fā)展。相應(yīng)的素材也需要進(jìn)行去壓縮失真、色彩修正、去抖動等優(yōu)化處理。葉聰以一個效果視頻展示了騰訊云多媒體實驗室在視頻處理上的能力。
沉浸式技術(shù)上，目前有兩大方向：
1.3DoF，如VR360度視頻，難點(diǎn)主要在于高維采集數(shù)據(jù)的傳輸，可用切片的方案解決。實驗室打造的VR技術(shù)，在騰訊云臨境沉浸式媒體解決方案上也得到了出色的運(yùn)用。
2.6DoF，如步入式VR360視頻，數(shù)字孿生方案等等。
在分享的最后，葉聰介紹了3D點(diǎn)云的概念，其優(yōu)點(diǎn)在于高度精細(xì)化地描述3D對象。騰訊的點(diǎn)云平臺結(jié)合SFM、深度學(xué)習(xí)等技術(shù)，可將現(xiàn)實場景虛擬化重建，應(yīng)用于線上看房、文物原貌重現(xiàn)、自動駕駛等領(lǐng)域。
技術(shù)論道
在干貨滿滿的技術(shù)分享過后，迎來了思想火花迸發(fā)的技術(shù)論道環(huán)節(jié)。主持人，騰訊專家研發(fā)工程師劉連響提出了三個頗具深度的熱點(diǎn)話題，現(xiàn)場嘉賓以小組討論的形式，對各個話題展開了充分的討論，在熱烈的交流中碰撞出眾多精彩的觀點(diǎn)。
騰訊專家研發(fā)工程師 劉連響
開源與商業(yè)之間的關(guān)系？
開源與商業(yè)間的關(guān)系，是現(xiàn)場討論最為激烈的話題。專家們結(jié)合自身經(jīng)歷，從多個角度探討了開源的驅(qū)動力、價值、與商業(yè)間的平衡點(diǎn)等等，帶來了充滿啟發(fā)性的多元觀點(diǎn)。
熱烈的小組討論
1.從系統(tǒng)層次看開源：峰暢科技聯(lián)合創(chuàng)始人及CTO、騰訊云TVP段先德認(rèn)為，在不同層次的系統(tǒng)中，開源與商業(yè)的關(guān)系有所不同。在基礎(chǔ)系統(tǒng)層次，如數(shù)據(jù)庫框架、基礎(chǔ)應(yīng)用部件等，主要由開源的技術(shù)動機(jī)驅(qū)動；而在業(yè)務(wù)場景層次，商業(yè)力量則比開源的驅(qū)動力更強(qiáng)，業(yè)內(nèi)不乏成功的商業(yè)變現(xiàn)案例。
2.從主導(dǎo)動力看開源：福強(qiáng)科技CTO、騰訊云TVP王福強(qiáng)提出了辯證性的新視角——當(dāng)前，開源也成為了技術(shù)營銷的一種手段。騰訊云多媒體平臺公共技術(shù)負(fù)責(zé)人趙軍則進(jìn)一步對這一觀點(diǎn)展開了探討，即可以根據(jù)主導(dǎo)動力，將開源劃分為社區(qū)/個人主導(dǎo)的開源，與商業(yè)公司主導(dǎo)的開源。對于商業(yè)公司主導(dǎo)的開源，趙軍認(rèn)為，把握好開源初心與商業(yè)訴求之間的平衡點(diǎn)非常關(guān)鍵。
3.從動機(jī)與價值看開源：FFmpeg官方源代碼維護(hù)者、騰訊云TVP劉歧發(fā)表了獨(dú)到的見解，根據(jù)動機(jī)，他將從事開源的開發(fā)者劃分為三類：（1）出于愛好從事開源，將開源作為個人發(fā)揮社會價值的方式。（2）為了資本追趕開源風(fēng)口，在投資的風(fēng)潮過后，開源項目就無法持續(xù)。（3）通過開源提升個人影響力，以獲得更好的職業(yè)發(fā)展。其價值可總結(jié)為個人在社會的價值、在資本方的價值以及在公司的價值。
4.從商業(yè)和公益看開源：盛派網(wǎng)絡(luò)CEO兼首席架構(gòu)師、騰訊云TVP蘇震巍指出，開源是在商業(yè)中成立的向善循環(huán)——通過將產(chǎn)品與技術(shù)開源，企業(yè)可以吸收社會的資源，讓其他企業(yè)用戶幫助發(fā)現(xiàn)問題，解決問題，從而推動自身商業(yè)模式的不斷完善。
全真互聯(lián)網(wǎng)的第一個落地應(yīng)用會在哪里？
對于全真互聯(lián)網(wǎng)的未來落地應(yīng)用，遠(yuǎn)程教學(xué)是專家們普遍看好的場景，包括醫(yī)療領(lǐng)域的手術(shù)教學(xué)，以及開飛機(jī)的駕駛教學(xué)。其價值在于能夠避免操作失誤而造成的災(zāi)難性后果，同時又能降低培養(yǎng)人才的成本。
技術(shù)的發(fā)展將為全真互聯(lián)網(wǎng)帶來哪些機(jī)會？
伴隨著超高清和XR等技術(shù)的發(fā)展，以及5G大帶寬、低時延和邊緣分流等能力的成熟，B端和C端的全真互聯(lián)網(wǎng)應(yīng)用將涌現(xiàn)出哪些機(jī)會？專家們認(rèn)為，無人化是蘊(yùn)含著商業(yè)機(jī)遇的方向。低時延將進(jìn)一步促進(jìn)遠(yuǎn)程操控的發(fā)展，如汽車、機(jī)器、廠房的遠(yuǎn)程操控。
結(jié)語
本次“全真互聯(lián)網(wǎng)中的聲與影”騰訊云TVP技術(shù)閉門會在開源與商業(yè)的激辯中落下了帷幕，嘉賓們對于技術(shù)的探討卻一直延續(xù)到晚宴環(huán)節(jié)也未曾停歇。聲音需要碰撞方能激發(fā)嶄新的思考；視角需要交換才會拓寬認(rèn)識的邊界，這是這場音視頻盛宴在前沿技術(shù)之外，給予我們的更深刻的啟迪。
TVP，即騰訊云最具價值專家（Tencent Cloud Valuable Professional），是騰訊云授予云計算領(lǐng)域技術(shù)專家的一個獎項。TVP計劃致力打造與行業(yè)技術(shù)專家的交流平臺，構(gòu)建云計算技術(shù)生態(tài)，實現(xiàn)“用科技影響世界”的美好愿景。
