什么是沉浸式觀影體驗(yàn)？
我們希望畫面中每一處細(xì)節(jié)都能清晰細(xì)膩地呈現(xiàn)；那些疾馳而過的動(dòng)態(tài)影像，都擁有高清流暢的觀感；飽和豐富的色彩，帶來強(qiáng)烈的視覺沖擊；聲音環(huán)繞在身邊，打造全方位的震撼音效......來「快手放映廳」，只需點(diǎn)擊“質(zhì)臻影音”，就可以親歷一場極致的視聽之旅。
1月25日小年夜，快手App「放映廳」頻道正式營業(yè)，為全面提升用戶在畫質(zhì)、音質(zhì)上的消費(fèi)體驗(yàn)，音視頻技術(shù)團(tuán)隊(duì)推出了質(zhì)臻影音檔位。春節(jié)期間，「放映廳」最高單日有超過5000w用戶點(diǎn)擊進(jìn)入，極大激發(fā)了用戶觀影熱情。其背后的“質(zhì)臻影音”擁有著怎樣的魔力，是如何定義出極致音畫體驗(yàn)的呢？
質(zhì)臻影音融合多種視頻智能修復(fù)及增強(qiáng)技術(shù)，打造沉浸式觀影體驗(yàn)。音視頻技術(shù)團(tuán)隊(duì)希望不僅請“全國人民免費(fèi)看”，更要在設(shè)備能力范圍內(nèi)，提供給用戶最好的視聽體驗(yàn)。隨著手機(jī)等終端設(shè)備的技術(shù)迭代和發(fā)展，終端的解碼和顯示能力不斷提升，如支持高分辨率顯示，支持高刷新率以及支持HDR顯示效果。越來越多的用戶可以在手機(jī)上流暢播放1080P甚至4K分辨率的高清視頻，60fps或120fps的高刷新率視頻，以及色彩細(xì)膩的HDR視頻；揚(yáng)聲器的升級(jí)也帶來了更具空間感的全景立體聲。針對這些方向，質(zhì)臻影音實(shí)現(xiàn)高分辨率，高幀率，HDR，3D環(huán)繞聲場四大效果，顯著提升用戶消費(fèi)體驗(yàn)。
在放映廳，質(zhì)臻影音擁有1080P和4K兩個(gè)檔位，可以根據(jù)用戶的手機(jī)型號(hào)和網(wǎng)絡(luò)情況智能化選擇合適的分辨率版本；對于支持HDR解碼和顯示的機(jī)型，提供HDR版本以展現(xiàn)最佳色彩表現(xiàn)，而對于不支持HDR的機(jī)型，也相應(yīng)提供了SDR+版本，模擬HDR效果。根據(jù)用戶手機(jī)設(shè)備分布情況，團(tuán)隊(duì)定制了增強(qiáng)檔位版本，力爭讓每位用戶在不卡頓、低功耗的情況下獲得最佳播放體驗(yàn)。
在質(zhì)臻影音，哪些影片被修復(fù)？
快手放映廳的視頻種類繁多，集合了海量影、劇、綜內(nèi)容，但影像質(zhì)量有所差異。“無論視頻源質(zhì)量如何，能否都讓用戶在這里收獲更清晰、更流暢的觀看體驗(yàn)？”面對這一問題，團(tuán)隊(duì)將此次重點(diǎn)修復(fù)和增強(qiáng)的視頻源進(jìn)行了分類，力爭全方位提升視頻質(zhì)量。
經(jīng)典重現(xiàn)，煥發(fā)光彩
年代久遠(yuǎn)的經(jīng)典老電影是此次修復(fù)的重點(diǎn)對象，例如《唐伯虎點(diǎn)秋香》《英雄本色》等。這些影片拍攝時(shí)間較為久遠(yuǎn)，其拍攝設(shè)備、拍攝方式以及影片處理和剪輯技術(shù)等不夠先進(jìn)，都會(huì)不同程度地影響視頻質(zhì)量，產(chǎn)生如毛刺、噪聲、劃痕以及視頻塊效應(yīng)等問題。
如何修復(fù)這些經(jīng)典影片，使其“舊貌換新顏”，是一項(xiàng)棘手的工作。音視頻技術(shù)團(tuán)隊(duì)開發(fā)和優(yōu)化了多個(gè)維度的修復(fù)處理算法，有效消除視頻中的低質(zhì)現(xiàn)象，改善視頻源畫質(zhì)，提升用戶在視頻畫質(zhì)和視頻內(nèi)容雙維度的消費(fèi)體驗(yàn)。
身臨其境，讓清晰更進(jìn)一步
對于近幾年的影視作品，視頻在清晰度和畫質(zhì)上相對較好，例如《你的名字》《少年的你》等，是否有辦法讓畫質(zhì)清晰度進(jìn)一步提升呢？這成為了此次工作中另一攻堅(jiān)方向。通過不斷嘗試，團(tuán)隊(duì)融合了增強(qiáng)類算法，提升了失焦模糊、紋理邊緣較弱等場景的清晰度。
而一些存在獨(dú)特風(fēng)格的影片，例如電影《一代宗師》，其包含大量暗光場景，頻繁出現(xiàn)的暗光噪聲會(huì)影響觀影體驗(yàn)。針對這種個(gè)性化問題，技術(shù)團(tuán)隊(duì)采用修復(fù)算法去除視頻中暗光噪聲，優(yōu)化視頻畫質(zhì)。
在放映廳中，此次質(zhì)臻影音共修復(fù)和增強(qiáng)了數(shù)百部影片，對新老影片都進(jìn)行了不同程度的優(yōu)化，無論是何種電影風(fēng)格，都能得到全方位提升。
“質(zhì)臻影音”背后的神秘算法
質(zhì)臻影音這個(gè)產(chǎn)品，都會(huì)用到哪些神秘算法呢？畫質(zhì)、音質(zhì)又經(jīng)歷了怎樣的技術(shù)加持？
針對視頻中普遍存在的畫質(zhì)問題，技術(shù)團(tuán)隊(duì)開發(fā)了多維度的修復(fù)和增強(qiáng)算法，改善視頻畫質(zhì)。為了讓用戶消費(fèi)更加細(xì)膩清晰的視頻，團(tuán)隊(duì)為修復(fù)后的視頻使用了4K超分辨率算法，讓分辨率和清晰度都“更上一層樓”。在音質(zhì)層面，采用了對白增強(qiáng)，低音增強(qiáng)，聲場拓寬等音頻增強(qiáng)手段，讓聲音更高級(jí)，更通透，立體環(huán)繞感更強(qiáng)。
對于《槍王》《英雄本色》等經(jīng)典老影片，由于拍攝方法、膠片處理、暗光環(huán)境等諸多因素，易產(chǎn)生噪聲、劃痕以及塊效應(yīng)等問題，技術(shù)團(tuán)隊(duì)針對性地設(shè)計(jì)了不同修復(fù)算法，實(shí)現(xiàn)“點(diǎn)對點(diǎn)”精準(zhǔn)解決方案。通過調(diào)用不同修復(fù)算法能力，修復(fù)后的視頻可以明顯抑制原素材中噪聲、視頻塊效應(yīng)等問題，觀影體驗(yàn)大幅提升，讓老電影也能像經(jīng)歷了數(shù)字電影拍攝方法一樣呈現(xiàn)高質(zhì)量畫質(zhì)。
電影《英雄本色2》
（左：高清檔位；右：質(zhì)臻影音檔位）
針對畫質(zhì)較好的影片，為了進(jìn)一步提升消費(fèi)體驗(yàn)，技術(shù)團(tuán)隊(duì)開發(fā)了去模糊算法。該算法主要針對視頻中失焦模糊、編碼模糊、運(yùn)動(dòng)模糊以及降采樣模糊等多種類型問題進(jìn)行清晰度增強(qiáng)處理。去模糊能力的通用化是經(jīng)典的ill-pose問題（不適定問題），針對這個(gè)問題，團(tuán)隊(duì)從數(shù)據(jù)構(gòu)建和模型結(jié)構(gòu)優(yōu)化兩個(gè)方向上進(jìn)行解決。為了有效模擬視頻模糊，對于線上海量模糊視頻預(yù)測求解模糊核，在得到模糊核后對于高清視頻進(jìn)行模糊退化；同時(shí)，針對采樣模糊和編碼模糊，在模糊核退化的基礎(chǔ)上增加了上下采樣模糊和不同視頻碼率的模糊退化，從而構(gòu)建貼合真實(shí)場景的模糊數(shù)據(jù)集。
針對視頻任務(wù)場景，團(tuán)隊(duì)采樣時(shí)序性多幀融合視頻處理框架，有效利用幀間信息，提升模型在視頻任務(wù)上處理精度。在采用視頻去模糊增強(qiáng)技術(shù)后，視頻中邊緣和紋理清晰度明顯提升，這項(xiàng)技術(shù)對字幕場景、動(dòng)畫類影視內(nèi)容尤為重要。
電影《開國大典》
（左：高清檔位；右：質(zhì)臻影音檔位）
電影《你的名字》
（左：高清檔位；右：質(zhì)臻影音檔位）
針對修復(fù)后的1080P視頻，團(tuán)隊(duì)研發(fā)了4K視頻超分辨率算法，對高分辨率視頻提供多倍超分辨率能力。為避免超分辨率算法產(chǎn)生的過平滑問題，團(tuán)隊(duì)還對高分辨率場景SR算法進(jìn)行針對性優(yōu)化，其中最為主要的是在模型結(jié)構(gòu)設(shè)計(jì)和模型優(yōu)化求解中，著重視頻邊緣保護(hù)和紋理生成，保證視頻超分辨率后清晰度進(jìn)一步提升，讓視頻畫質(zhì)更加細(xì)膩、清晰和自然。
電影《唐伯虎點(diǎn)秋香》
（左：高清檔位；右：質(zhì)臻影音檔位）
電影《天下無賊》
（左：高清檔位；右：質(zhì)臻影音檔位）
智能觸發(fā)：為畫面提供定制化處理策略
由于每部影片存在的畫質(zhì)問題差異化很大，如何對放映廳中的海量視頻進(jìn)行定制化處理策略呢？面對這一挑戰(zhàn)，團(tuán)隊(duì)設(shè)計(jì)了智能觸發(fā)對應(yīng)修復(fù)增強(qiáng)能力算子的機(jī)制，可實(shí)現(xiàn)自適應(yīng)處理，從而改善每個(gè)視頻中存在的特定畫質(zhì)問題。
具體來看，在有了Deart、Deblur、SR等這些增強(qiáng)處理的原子算法之后，具體到每個(gè)視頻，需要對算法進(jìn)行排列組合以達(dá)到最優(yōu)畫質(zhì)。同時(shí)，為了盡可能保留增強(qiáng)的細(xì)節(jié)，前處理參數(shù)和編碼參數(shù)也需要做一些針對性適配和調(diào)整。因此，通過選取合適的增強(qiáng)算法、前處理參數(shù)和編碼參數(shù)，以達(dá)到轉(zhuǎn)碼后的碼率和質(zhì)量最佳的trade-off是需要深入研究的技術(shù)問題。
在快速讓每條視頻智能化找到最優(yōu)解的方向上，算法同學(xué)的方案是先構(gòu)建一個(gè)搜索空間，包含所有原子算法的排列組合方式，每種方式下都可以獲得轉(zhuǎn)碼后的視頻，團(tuán)隊(duì)使用快手自研的視頻質(zhì)量檢測算法的分?jǐn)?shù)對視頻畫質(zhì)進(jìn)行衡量，得到Rate分?jǐn)?shù)曲線，從中選擇一個(gè)最優(yōu)的組合方式作為目標(biāo)GT。
考慮到機(jī)器成本，在實(shí)際應(yīng)用中不能遍歷所有的解空間，團(tuán)隊(duì)基于對視頻內(nèi)容的感知，提取視頻特征，包括復(fù)雜度特征和多種深度特征，以上述GT為訓(xùn)練目標(biāo)，訓(xùn)練機(jī)器學(xué)習(xí)模型。
實(shí)際的轉(zhuǎn)碼流程如下圖所示：首先對視頻進(jìn)行內(nèi)容分析，提取特征，使用上述訓(xùn)練的機(jī)器學(xué)習(xí)模型預(yù)測使用的增強(qiáng)算法，前處理和編碼參數(shù)，然后按照預(yù)測的結(jié)果進(jìn)行增強(qiáng)、前處理和編碼操作。
質(zhì)臻影音是快手音視頻技術(shù)團(tuán)隊(duì)結(jié)合多年實(shí)踐經(jīng)驗(yàn)及技術(shù)積淀，在“視”“聽”極致追求上的一次大力實(shí)踐，后續(xù)將在低質(zhì)視頻修復(fù)、視頻極致增強(qiáng)等領(lǐng)域不斷探索，期待在更多豐富的應(yīng)用場景中落地。
如何體驗(yàn)質(zhì)臻影音？
第一步：
打開快手 App，點(diǎn)擊「放映廳」頻道
第二步：
切換清晰度檔位，選擇「質(zhì)臻影音」。
