“幀彩視界”是微幀科技以高清視覺體驗為核心打造的一款視頻AI智能化產品。利用機器學習技術，在畫質增強、HDR、超高清處理等方向，打造了一系列解決方案。“幀彩視界”可應用于超高清視頻內容從生產-加工-觀看的全鏈條過程，為用戶提供卓越的觀感體驗。
本文將向大家分享在“幀彩視界”核心技術之一Pseudo HDR的背后，微幀是如何提高畫質的。
HDR，這個概念在近幾年被炒的非常火熱，從2015年開始，HDR作為一種顯示標準，在電視行業開始迅速蔓延，并逐漸在中高端手機、平板電腦等移動終端上應用。
不是所有設備都支持HDR視頻解碼和顯示，因此，對于普通SDR設備用戶而言，要想獲得類似HDR的視覺效果，Pseudo HDR這項技術變得尤為重要。
大家所熟知的幾大TOP視頻平臺中的VIP尊享畫質，便采用了類似技術。此類尊享畫質視頻能夠呈現出令人驚艷的亮度、對比度和色彩，無論是高光還是黑暗處的細節都一覽無余，給人栩栩如生的感覺。
01、微幀Pseudo HDR
微幀Pseudo HDR技術的主要目的是，為那些不支持HDR播放的SDR設備，提供接近HDR效果的視覺體驗。（下圖：左為源視頻截圖；右為微幀Pseudo HDR處理后的視頻截圖）
隨著視頻拍攝/播放設備的不斷更新迭代，以及社交媒體平臺的極大普及，人們對追求更高清畫質視頻的欲望日益強烈，各媒體平臺為了提升用戶體驗質量（QoE）也是大費周章，除了通過高效編解碼等技術來保障畫質清晰度及播放流暢度以外，畫面色彩的增強也成了重點關注的對象。
其中一項通過增強畫質來提高QoE的方法是，在將視頻送入編碼器/轉碼器以進一步分發之前，實行Pseudo HDR預處理，它能夠讓輸入的視頻保持相同的比特深度（比如8 bit），旨在優化視頻中超暗或者超亮區域的細節，以生產更具視覺沖擊力的內容，最終呈現在用戶端，而無需特殊渲染工具，例如支持HDR的設備。
Pseudo HDR技術背后的算法主要是基于限制對比度自適應直方圖均衡（CL-AHE），對一個視頻幀中的不同區域推導出不同的直方圖均衡化轉換函數，以增強那些更亮和更暗區域的對比度，有了對比度的限制，可以防止噪音被放大。
現有的CL-AHE方法主要研究并應用于靜止圖像，而微幀的目標是開發一種適用于視頻的Pseudo HDR技術，以增強視頻用戶體驗質量。
目前，微幀采用了CL-AHE作為視頻轉碼前預處理的一部分，既充分利用轉碼服務端豐富的計算資源，又無需依賴最終渲染設備，達到用戶一致的視頻增強效果。
02、Pseudo HDR的潛在挑戰
對視頻進行Pseudo HDR預處理的潛在挑戰如下：
（1）超亮或超暗區域呈現的噪聲，如壓縮偽影噪聲，很容易被AHE轉換放大，從而影響視覺效果。
（2）保持視頻的時間一致性是非常關鍵的，因為視頻不是簡單的靜態圖像，如果在對比度增強的像素變換中不考慮時域特征，跨幀閃爍等偽影，尤其是黑暗區域中的偽影就會變得非常明顯，從而降低整體視覺體驗。對視頻來說，時域的平滑度和流動性甚至比空間域的每幀視覺質量更為重要。
（3）轉換后的視頻可能會大很多，比如，源視頻黑暗區域的邊緣和精細紋理可以在原始SDR內容中被壓縮，視頻質量不會降低太多。但經過Pseudo HDR處理后，會暴露出更多更精細的紋理，因此需要分配更多的bits才能獲得足夠好的視覺體驗。
03、微幀Pseudo HDR的技術優勢
Pseudo HDR始終是微幀致力推動的一個創新方向，為了解決上述問題，讓視頻用戶享受最佳的視覺體驗，微幀實施了以下方法：
（1）對于對比度變換后，超亮區域可能產生的更亮畫面結果，微幀開發了基于亮度級別的自適應方法來抑制這種現象，同時保持其他區域的正常轉換。
（2）AHE經常導致皮膚區域的顏色失真，針對此現象，微幀研發了幾種方式進行抑制，如快速人臉檢測、皮膚檢測和基于顏色的區域分割，從而促使Pseudo HDR將皮膚區域與其他區域區分開，并應用特定的對比度變換來保持準確的膚色。
（3）相鄰幀間對比度變換后，更精細的紋理會被過度放大，因變換不一致導致的閃爍或閃爍偽影，在超暗區域中出現的頻率會更高。微幀針對這些區域進行了精細化檢測，并應用自適應聯合空間和時間濾波來約束時域中的差異，提高了變換后相鄰幀之間的一致性。
（4）應用Pseudo HDR處理，很可能會導致碼率增加20%以上。除了更精細的紋理會被過度放大，還可能會出現條帶偽影，源視頻的現有壓縮偽影也可能會被夸大，這些都會讓編碼效率大打折扣。微幀在ROI檢測、去噪和去色帶（debanding）等方法的應用下，不僅能改善Pseudo HDR處理后的視覺偽影，還可以衰減視頻中的高頻分量，從而大大降低碼率。
（5）Pseudo HDR處理過程可能會增大計算復雜度、造成更多的延遲，因此，微幀在Pseudo HDR處理中開發了一系列的方法，以服務不同的用戶場景，其中每個預設對應了一組算法參數，便于生成計算復雜度(延遲)、視覺質量和碼率等多種聯合性能。當然，Pseudo HDR的預處理模塊也可以與編碼器相融合，結合微幀的編碼優勢，可以讓視頻畫質更好，碼率更低。
不可否認的是，視頻播放設備的迭代速度非常之快，但要實現HDR全民化的愿景，依然還有很長的路要走。因此，Pseudo HDR仍然是目前非常值得關注與推崇的一項技術。微幀科技將繼續專注于超高清解決方案“幀彩視界”的探索與研發，不斷增強處理效率，不斷擴大可享用超高清視頻的用戶覆蓋面，讓更多用戶獲得更真實更極致的視覺體驗！
