在短視頻、直播、社交等并進(jìn)的互動時代,ZEGO即構(gòu)科技認(rèn)為:“得畫質(zhì)者得人心”,超高清已然成為越來越多用戶希望可以享受到的畫質(zhì)核心體驗之一。
不管是音視頻內(nèi)容的生產(chǎn)商還是服務(wù)商,極致的畫質(zhì)體驗已經(jīng)成為獲得用戶注意力資源的武器,畫質(zhì)越好整體的業(yè)務(wù)時長就會增加已經(jīng)毋庸置疑。
因此,打造畫質(zhì)能力也已成為兵家必爭之地,那么極致的畫質(zhì)體驗如何突破?
客戶端實時超分
畫質(zhì)/碼率增益明顯提升
目前一個熱門的解法就是客戶端實時超分——在手機(jī)、平板電腦等移動設(shè)備上,通過 AI 算法來放大原有圖像的分辨率以達(dá)到提升畫質(zhì)的效果,彌補(bǔ)設(shè)備硬件、網(wǎng)絡(luò)帶寬、原始素材等客觀條件限制,進(jìn)而獲得高畫質(zhì)的圖像和視頻。
那么何種場景適合使用超分?可以簡單理解為用于想提升畫質(zhì),卻又受到某些限制的環(huán)境。具體分為以下幾類:
網(wǎng)絡(luò)環(huán)境受到限制。對于網(wǎng)絡(luò)環(huán)境壓力大的地區(qū),選擇超分提升畫質(zhì)檔次,避開網(wǎng)絡(luò)的限制;
硬件條件受到限制。攝像頭無法提供高分辨率、推流端的性能不夠編碼更高分辨率的視頻;
購買成本受到限制。期望提升畫質(zhì),但是對應(yīng)的分辨率/帶寬/流量檔位價格太高。
盡管端上實時超分對畫質(zhì)及碼率的增益明顯提升,但受限于移動端算力、算法功耗、多機(jī)型兼容性等問題,在移動端上部署實時超分技術(shù)面臨挑戰(zhàn)。
即構(gòu)客戶端實時超分能力
更快、更低、更好、更廣
在資源受限的移動端,基于深度學(xué)習(xí)的自研超分、自研去編碼效應(yīng),對比業(yè)界 SOTA 及友商,模型大小相當(dāng)時,ZEGO即構(gòu)科技自研的客戶端實時超分,在本地邊播邊超分,實現(xiàn)畫質(zhì)清晰度從540P 到1080P的華麗轉(zhuǎn)身。
以下展示數(shù)據(jù)均為即構(gòu)客戶端實時超分的實測運(yùn)行能力:
更快——極低功耗,極低耗時
即構(gòu)客戶端實時超分,模型大小僅為12KB,不占空間;整體功耗低至～60mA/h。
極小超低輕量級模型,僅0.69G FLOPs,我們在 Set5 中的PSNR/SSIM 可以達(dá)到36.898/0.9554,在此運(yùn)算量下,幾無對手。
更低——低延遲,高幀率
低至20ms以內(nèi)的處理延遲,以及高達(dá)30fps的幀率。(高通驍龍845)
更好——超高畫質(zhì)體驗
在本地將實時畫質(zhì)的分辨率放大兩倍(x2),比如將 540P 超分成 1080P,在移動端可將視頻分辨率增強(qiáng)至最高1440P,同時進(jìn)行去編碼塊效應(yīng)、智能銳化、抗鋸齒、基礎(chǔ)降噪等提升,極大改善觀看體驗。
更廣——多平臺多機(jī)型兼容
支持跨平臺使用,機(jī)型覆蓋更廣,支持 3500+ 種機(jī)型,在iOS系統(tǒng)和安卓系統(tǒng)環(huán)境下均無縫連接,國內(nèi) Android 設(shè)備覆蓋率為 70%,iOS 設(shè)備覆蓋率為 90%。
終端客戶體驗升級
助力業(yè)務(wù)時長增長
減少CDN流量消耗,降本增效。首先,使用客戶端實時超分可以減少數(shù)據(jù)下發(fā)過程中CDN的消耗,實現(xiàn)降本提效。
畫質(zhì)增益顯著,終端客戶體驗升級。當(dāng)客戶端網(wǎng)絡(luò)不穩(wěn)定或者帶寬受限,導(dǎo)致視頻播放卡頓時,端側(cè)超分技術(shù)可以讓終端用戶的瀏覽體驗更順滑。超分后的畫質(zhì)更清晰、紋理細(xì)節(jié)更細(xì)膩、文字更清楚,不會出現(xiàn)畫面臟及過度曝光的現(xiàn)象,主觀視覺舒適。
場景適用豐富,助力業(yè)務(wù)時長增長。目前,即構(gòu)科技已可以在 1v1視頻通話,秀場直播、電商直播等單主播場景,低分辨率場景,智能硬件,跨端通信等場景接入超分,在用戶活躍、留存、使用時長等指標(biāo)上帶來明顯助力。
當(dāng)前的互動時代,遠(yuǎn)不止畫質(zhì)等信息的“通信”傳輸,更強(qiáng)調(diào)的是:共享時空,實時互動。除了客戶端實時超分,主體分割與傳輸、場景化降噪、范圍語音、萬人狀態(tài)實時同步……即構(gòu)正不斷打磨極致音畫質(zhì),助力客戶搭建無限玩法/場景,共建實時互動的世界。
