12月19至20日，由騰訊主辦的2020 TECHO PARK開發者大會在北京時尚設計廣場舉辦。在大會主論壇上，騰訊杰出科學家、多媒體實驗室負責人劉杉帶來了主題為《從視頻編解碼到互動沉浸式媒體》的演講，重點分析了視頻編解碼技術的演進迭代以及騰訊在新媒體及互動沉浸式媒體方向所進行的探索和嘗試。
劉杉表示，世界性的疫情讓很多領域的活動從線下轉為線上，而如何在保持高質量服務的同時降低網絡數據帶寬的壓力，向多媒體技術提出更高要求。騰訊作為一家互聯網科技公司，旗下的很多業務和多媒體技術密切相關，因此視頻編解碼技術是騰訊所必備的重要核心能力。
騰訊杰出科學家、多媒體實驗室負責人 劉杉
在多媒體技術革新方面，騰訊在不斷尋求突破。自2018年參與H.266/VVC標準制定以來，騰訊多媒體實驗室約有100項技術被標準采納，數量位居全球領先；為積極推動AV1商業化，騰訊云于2019年11月率先成為中國第一家支持AV1轉碼的云服務商；今年10月，騰訊在標準截稿3個月內在國內率先發布了H.266高清/超高清實時播放器。
在新媒體和沉浸式互動媒體方面，劉杉認為，隨著5G時代的來臨，深度沉浸式媒體廣闊的應用場景和商業空間將被全面激活，而沉浸式媒體技術與實時媒體傳輸技術結合，可以生成更多沉浸式應用。目前騰訊已上線多個沉浸式媒體解決方案，以滿足不同業務的開發需求。
在演講最后，劉杉表示，未來騰訊將繼續積極投入多媒體技術的研發，擁抱開源生態建設，為開發者和合作伙伴提供有效的服務和支持。
在展區，騰訊多媒體實驗室沉浸式媒體解決方案亮相，吸引眾多觀眾體驗VR360、點云等3DoF到6DoF沉浸式媒體技術與產品。場外觀眾更可登陸Techo官方小程序，通過5G+VR360技術體驗會場實時動態，360度任意自由角度感受會展現場。
以下為劉杉演講實錄：
各位領導，各位同事，各位嘉賓，大家好。我是劉杉，來自騰訊多媒體實驗室。非常遺憾今天不能夠到現場，那么我就通過視頻這個形式和大家做一個分享。今天分享的題目是“從視頻編解碼到互動沉浸媒體”。
去年的techo我做了一個“視頻編解碼技術與應用”的分享。那么今天分享的第一個主要內容，我會和大家簡單介紹一下在這一年當中視頻編解碼技術的一些演進和迭代。在這之后，我會介紹騰訊多媒體實驗室和騰訊云，在新媒體及互動沉浸式媒體方向的一些探索和嘗試。
今年是特殊和具有挑戰性的一年。世界性的疫情為我們的生活帶來了巨大的改變，教育、辦公、娛樂、銷售等領域的很多活動都因為疫情的關系從線下變為線上，多媒體技術則為這些云服務提供了必不可少的支持。自三月以來全球視頻流量激增，網絡帶寬面臨巨大壓力，世界各地屢次出現因網絡壓力過大而導致的區域性斷網。歐盟委員會不得不約談netflix 等網絡影音服務商，要求在高峰期降低畫質，將寶貴的數據帶寬留給居家辦公和學習。有調查結果顯示，流媒體軟件市場加速增長19%，如何在保持高質量服務的同時降低網絡數據帶寬的壓力也為各項多媒體技術提出更高要求。
而與此同時，人們對視頻觀感質量的要求也在持續攀升。更高的分辨率，更高的亮度和色度動態范圍，和更高的幀率等技術指標，配合VR360, Freeview等新媒體方式，在提升視頻觀感質量的同時，也對數據帶寬提出更高的要求。互聯網流量數據顯示，在2017年標清和高清視頻內容大約各占一半，到了2019年標清內容占比下降到大約1/3, 高清內容成為主流，超高清內容占比開始攀升；預計到2022年超高清內容占比會進一步提升到約總流量的1/4。同時，根據中國產業信息網，中國VR內容市場自2016年以來持續以每年2-3倍的速度增長。這些都使得視頻編解碼（即視頻壓縮）這一個已經存在了很多年的技術領域，即使在今天也依然具有其重要性和必要性。
而騰訊作為一家互聯網科技公司，旗下的很多業務都和視頻這一媒體形式密切相關，例如：騰訊視頻，微視，微信，QQ，教育，泛娛樂等等，還有在這次疫情中為在線教育和遠程辦公作出巨大貢獻的騰訊會議和騰訊課堂等產品。因此領先高效的視頻編解碼技術也是騰訊公司所需要和必備的一項重要核心能力。
簡單回顧一下，在過去三十多年里，全球很多企業和研究機構投入巨大資源，研發了許多視頻編解碼技術，并形成了幾代視頻編解碼標準。其中主流的標準有: ISO/IEC和ITU 制定的國際標準，像我們熟知的 MPEG-2, H.264/AVC, H.265/HEVC 和今年七月結稿的H.266/VVC. 騰訊于2018年初開始參與H.266/VVC標準制定，在歷時兩年多時間里，向標準組織提交幾百個技術提案，其中約有100項技術被標準采納，數量位居全球領先。
與此同時，自去年正式加入AOMdia，成為進入AOMedia 董事會的第一家中國公司以來，騰訊和其他AOMedia成員公司一起積極拓展開源生態，推動AV1商業化，騰訊云已于去年十一月率先成為中國第一家支持AV1轉碼的云服務商。在下一代開源視頻編解碼標準AV2制定方面，騰訊貢獻了大量重要提案，包括通用測試條件，AV2需求文檔等，并貢獻了大量技術，涵蓋了塊劃分，幀內預測，變換，量化，環路濾波等多項核心技術領域，累計貢獻壓縮比提升居世界前列。騰訊專家在AOMedia組織中和Google專家一起共同擔任技術孵化組主席，并和Facebook專家一起共同擔任軟件實現工作組主席。
我們也大力投入國標AVS的建設，推廣，和應用落地。目前騰訊云支持AVS2和AVS3高清/超高清實時轉碼，我們也為電視臺等單位做了AVS私有化部署。
今年十月，在H.266/VVC標準第一版截稿僅三個月后，騰訊在國內率先發布了H.266高清/超高清實時播放器。這個播放器內置騰訊自研H.266軟件解碼器，可以支持高清、超高清以及屏幕內容分享等場景的實時解碼，各項性能指標國際領先。
大家現在看到的就是用我們發布的H.266播放器在播放標準測試序列。
每套視頻編解碼標準制定，都需要有一套標準測試序列，用來檢驗各項提案技術的性能，來幫助決定該項技術是否應當被采納進入標準。
騰訊的標志性序列，同時也是對我們業務具有代表性的內容，王者榮耀，也被VVC標準納入測試序列集。
這個播放器目前已面向開發者開源。
騰訊云積極投入開源社區的建設，同時也將騰訊先進的技術能力通過騰訊云為各個行業開發者提供服務。在產品設計上，不僅針對國內市場，騰訊對海外業務也有充分的布局與考量，針對海外OTT市場，騰訊云打造了媒體服務系列產品，為國內產品國際化以及海外開發者和服務商提供充分的技術產品支持，媒體服務系列產品可提供RTP/HLS/DASH等8種海外常見流媒體協議，7天24小時全天候穩定直播服務，支持60多個國家和地區的本地化部署。
在科學技術迅速發展的今天，人們已經不滿足于只是觀看傳統二維視頻，而是渴望更真實更具沉浸感的體驗。而沉浸式媒體，通過實現物理世界和虛擬世界的融合共生，被認為是改變未來生活和工作方式的顛覆性趨勢之一。以VR為代表的沉浸式媒體內容市場在近幾年顯著增長，應用產業鏈迅速擴展，應用領域也越來越廣泛，滲透到例如文旅，教育，娛樂，醫療和制造等行業。預計到2025年沉浸式媒體市場規模發展可達到161B usd（1611億美元）因此更多的公司和廠家也正在加大沉浸式媒體技術研發和生產的投入。
更深度的沉浸式體驗，主要體現在真實場景的6DOF、更清晰和流暢的內容顯示、多通道交互等方面，依賴VR、AR、點云、Freeview等核心技術，配合圖片、視頻、文字、聲音等傳統媒體格式，結合壓縮、傳輸、顯示、交互等環節，通過手機、電腦、頭戴式、大屏等不同設備進行最終呈現。從沉浸式應用場景來看，正在從面向個人娛樂的消費類市場深化發展到企業級市場的垂直行業應用場景。未來隨著5G的大規模普及，沉浸式媒體硬件及技術的進一步突破、制作成本的下降以及更多優質內容的開發，將推動沉浸式媒體產品和服務被主流群體采納，深度沉浸式媒體廣闊的應用場景和商業空間將被全面激活。
一個高質量高效率的互動沉浸式系統包含了從采集，處理，壓縮，傳輸，到解壓縮，后處理，渲染和交互等多個技術模塊。里面包含的技術有例如投影，采集拼接，FOV，自適應傳輸等技術，涉及的傳輸協議有HLS, DASH, RTC等。因為沉浸式媒體內容的數據量比傳統高清/超高清視頻更龐大，比如這里展示的VR360演唱會，和freeview 籃球比賽，那么如何將所有這些技術模塊有效結合，綜合優化，對提供優質的端到端體驗就更為重要和關鍵。
將沉浸式媒體技術與實時媒體傳輸技術結合，可以生成更多沉浸式應用。比如，傳統的視頻會議只能采用單一固定鏡頭，視野和互動性都具有一定局限性。通過融入沉浸式技術，可以創造出三自由度和六自由度的視聽效果，結合虛擬會議室設置，為與會者提供更加全面的會議信息和更加豐富的會議體驗。
點云是沉浸式媒體領域又一項具有代表性的技術，近兩年也正在得到更多的關注。點云端到端系統包括點云數據的處理、壓縮、模型重建和渲染、互動等技術模塊。騰訊自研點云系統可以通過視頻、圖片、深度等信息進行三維物體和空間重建，可用于如會展和房地產等業務場景。由于點云采用三維空間點陣的方式來表達真實物體和場景，可想而知構建一個高精度點云模型所需要的數據量是非常巨大的。因而點云數據壓縮也是點云系統中不可缺少的一個環節。騰訊多媒體專家積極參與點云壓縮國際標準制定并有技術提案被國際標準采納，同時擔任AVS點云專題組聯合組長。
騰訊云現已上線多個沉浸式媒體解決方案，包括VR視頻解決方案，騰訊臨境沉浸式解決方案等，以滿足不同業務的開發需求。騰訊臨境沉浸式解決方案可以提供完整空間建模能力，并支持H5頁面、安卓、IOS手機端、小程序端全平臺展示和分享。
我們已經逐步進入5G時代。5G網絡提供給我們超強的帶寬，超低的延遲，使得更多的應用觸手可及，也使得萬物互聯成為可能。在5G的影響下，媒體內容的生產，獲取和傳播方式都在發生變化。無論是4K/8K，還是VR/AR/MR/點云，這些在過去因為受限于網絡帶寬的應用，在5G的推動下可能會迎來突破。騰訊將繼續積極投入多媒體技術的研發，擁抱開源生態建設，為開發者和合作伙伴提供有效的服務和支持。
謝謝大家。
