2016年被業(yè)界稱為VR元年，從Facebook的Oculus到HTC的Vive，層出不窮的VR設(shè)備和VR內(nèi)容讓用戶逐漸體驗(yàn)到了VR的魅力。隨著5G、云、AI等技術(shù)的不斷突破，VR視頻、VR直播已從賽事、展會(huì)延伸到電商、教育、影視等行業(yè)，VR產(chǎn)業(yè)迎來前所未有的發(fā)展。IDC最新發(fā)布的《IDC全球增強(qiáng)與虛擬現(xiàn)實(shí)支出指南》預(yù)測，到2023年，中國AR/VR市場支出規(guī)模將達(dá)到652.1億美元，較2019年的預(yù)測(65.3億美元)有顯著增長。然而，在視頻向高清、超高清發(fā)展的趨勢下，VR視頻行業(yè)仍面對碼率大、帶寬成本高，視頻卡頓，延遲大，內(nèi)容匱乏等痛點(diǎn)。
近日，在第二十屆虛擬現(xiàn)實(shí)大會(huì)上(ChinaVR 2020)，金山云高級(jí)研發(fā)總監(jiān)樊鴻飛針對以上難點(diǎn)，重點(diǎn)介紹了金山云在VR直播和超高清方面的整體解決方案和技術(shù)實(shí)力。
沉浸式VR直播 金山云提供完整解決方案
“沉浸式技術(shù)要實(shí)現(xiàn)大規(guī)模商用，需解決三大難題：VR內(nèi)容、硬件設(shè)備、變現(xiàn)與生態(tài)，其中VR內(nèi)容對技術(shù)要求很高。”樊鴻飛介紹道，通過集智高清、FOV編碼、金山云魔鏡平臺(tái)、低延遲直播等技術(shù)和服務(wù)，金山云在VR內(nèi)容層面可提供高品質(zhì)、低成本的整體解決方案。
基于自身CDN分發(fā)平臺(tái)，金山云提供VR視頻從采集到播放的完整端到端一體化解決方案，支持VR視頻拼接、云端實(shí)時(shí)轉(zhuǎn)碼，為用戶提供超高清、低延時(shí)、不眩暈的VR新體驗(yàn)。目前，金山云VR直播解決方案已在某秀場直播平臺(tái)實(shí)現(xiàn)落地。
金山云集智高清、KSC265、VR分塊傳輸方案保證在畫質(zhì)前提不變的情況下，相比普通VR視頻可降低75%碼率，大幅降低帶寬成本。在VR直播方案中，通過精巧的算法設(shè)計(jì)以及強(qiáng)大的邊緣計(jì)算能力，保證視角切換時(shí)用戶能及時(shí)無感知地切換到高清Tile。金山云VR分塊傳輸方案穩(wěn)定的云端編碼技術(shù)，還能有效控制新舊視角切換數(shù)據(jù)延時(shí)維持在30ms-60ms以內(nèi)，有效消除暈動(dòng)現(xiàn)象。
“此外，金山云VR直播解決方案支持iOS/Android手機(jī)、平板、頭盔等多種頭顯播放設(shè)備。同時(shí)，金山云VR SDK支持一鍵接入、HLS形式直播/點(diǎn)播業(yè)務(wù)以及多種開放接口定制開發(fā)，方便用戶多終端實(shí)時(shí)享受。”樊鴻飛表示。
AI集智高清 提升VR視頻畫質(zhì)的利器
在視頻行業(yè)高速發(fā)展的過程中，用戶的痛點(diǎn)也在發(fā)生變化：首先是用戶終端的變化，從電視、PC、Pad到手機(jī)，再回旋發(fā)展到大屏、超大屏，且終端的應(yīng)用也有了極大的豐富;其次，視頻的高清體驗(yàn)不斷提升，分辨率從1k、4k到8k超高清，在帶寬、網(wǎng)絡(luò)得到極大豐富的5G時(shí)代，VR直播中用戶對高清畫質(zhì)的需求將更加強(qiáng)烈。
針對這些痛點(diǎn)，金山云推出基于AI技術(shù)與傳統(tǒng)圖像處理技術(shù)的解決方案，集合多種視覺AI與編碼技術(shù)，通過深度神經(jīng)網(wǎng)絡(luò)對視頻畫面內(nèi)容進(jìn)行感知，并通過智能調(diào)節(jié)編碼，優(yōu)化主觀體驗(yàn)，追求更佳的人眼視覺感受。
集智高清擁有四大核心優(yōu)勢：1.集智高清處理后視頻傳輸可節(jié)省30%-60%帶寬;2.相較普通轉(zhuǎn)碼，集智高清可明顯提升主觀效果;3.通過預(yù)分析的場景分類和質(zhì)量評(píng)測，匹配更適合的碼控，為編碼尋找“最優(yōu)解”;4.集智高清將視頻進(jìn)行分層處理，對視覺顯著部分做畫質(zhì)增強(qiáng)。
樊鴻飛表示，金山云集智高清具有的優(yōu)勢離不開其背后的四大核心技術(shù)支持。利用超分辨率技術(shù)進(jìn)行畫質(zhì)修復(fù)，包括采集端由于編碼、采集噪聲、投影等帶來的噪聲;感知編碼技術(shù)可檢測出人眼真正敏感的區(qū)域，對邊緣部分進(jìn)行保護(hù)的同時(shí)，分配碼率到更重要的地方;通過關(guān)注區(qū)域，讓VR視頻中人眼關(guān)注區(qū)域的視場角有跡可循，針對不同的Tile進(jìn)行Multiplexing。根據(jù)視頻本身的內(nèi)容特征，以及第一次編碼的信息，集智高清能自動(dòng)決策更匹配的編碼參數(shù)，用戶完全不需要感知編碼器設(shè)置內(nèi)容，就已解決調(diào)參難題。
金山云魔鏡平臺(tái) 高清技術(shù)的幕后英雄
視頻的高清發(fā)展使得用戶對視頻/圖像質(zhì)量的要求不斷提升，其真實(shí)體驗(yàn)感受評(píng)測難度也相應(yīng)增加，如何全面客觀評(píng)價(jià)視頻畫質(zhì)的質(zhì)量是否得到提升?“就此而言，金山云魔鏡平臺(tái)可以稱得上是高清技術(shù)的幕后英雄。因?yàn)橥ㄟ^模擬實(shí)際的觀看體驗(yàn)，金山云魔鏡平臺(tái)真正對‘感知愉悅度’進(jìn)行評(píng)測，并深度解析算法對主觀畫質(zhì)的影響，克服AB-test的局限性，不僅能得到‘好不好’，而且能知道‘好在哪’、‘為何好’。”樊鴻飛表示。
金山云魔鏡平臺(tái)能兼容H.264、H.265、AV1編碼標(biāo)準(zhǔn)的視頻播放，以在線平臺(tái)的方式提供圖像/視頻評(píng)測服務(wù)，無需下載，且根據(jù)具體場景提供三種評(píng)測模式：專家模式(全參考模式)、用戶模式(無參考模式)和細(xì)粒度模式(OAA模式)。
除了平臺(tái)本身提供完整的畫質(zhì)評(píng)測流程，金山云魔鏡平臺(tái)還能幫助企業(yè)提供全流程畫質(zhì)評(píng)測解決方案，包括根據(jù)企業(yè)使用場景及樣本類型篩選評(píng)測數(shù)據(jù)，定制評(píng)測維度，提供評(píng)測人數(shù)建議以及評(píng)測報(bào)告分析，并提供客觀評(píng)價(jià)指標(biāo)的自動(dòng)計(jì)算。
通過高效的主觀畫質(zhì)驗(yàn)證，金山云魔鏡平臺(tái)能夠幫助企業(yè)：實(shí)現(xiàn)算法原型短期快速驗(yàn)證;算法長期迭代并提供可度量的畫質(zhì)指標(biāo);幫助AI保障泛化性，以滿足商業(yè)化落地需求。
5G、4K/8K、VR等新技術(shù)、新應(yīng)用與云計(jì)算和AI正不斷深度融合，用戶在未來的直播中將可以獲得和現(xiàn)場近乎相同的沉浸式體驗(yàn)，這也是金山云視頻云前進(jìn)的方向和終極目標(biāo)。
