“至臻畫質”是聲網“實時高清·超級畫質”解決方案中的一項核心能力，不僅支持移動端1080P、PC端4K高清畫質，還通過端側實時超分、暗光增強、色彩增強等算法對畫質進行增強與提升，相比技術門檻較高的超分、暗光增強等技術，想要在實時互動中支持1080P、4K高清畫質也并不簡單，其背后也面臨著一系列技術挑戰。
總體來說，在實時互動中支持超高清視頻的技術挑戰可分為“大數據量的網絡傳輸和弱網對抗能力”、“全鏈路各環節的處理性能和幀率要求”、“綜合設備可用性和QoE體驗問題”三方面的挑戰，接下來我們將逐一解析每一項技術挑戰背后的聲網最佳實踐。
音視頻數據量龐大 考驗網絡傳輸和弱網對抗能力
在日常生活中，我們下載或者觀看更高清的視頻，一般都需要更快的網絡帶寬，在實時互動中亦是如此，想要實現4K等超高清視頻的傳輸，一般需要10M、20M甚至更高的帶寬，才能實現視頻的穩定傳輸，普通網絡條件下很容易因為帶寬不足或者抖動造成大量的網絡丟包，引起視頻卡頓。
視頻越高清也就意味著視頻的數據量越龐大，所以一般在傳輸前都會先用到音視頻編碼技術，壓縮音視頻數據的大小，讓音視頻更容易存儲和傳輸。但壓縮后的視頻數據量依然很考驗網絡的傳輸能力，想要解決實時互動場景下的網絡質量問題，需要依賴于傳輸協議、弱網對抗算法以及媒體傳輸策略。
在超高清視頻的傳輸場景中，聲網除了采用PVC、H265和B幀等高效編碼壓縮技術之外，在4K畫質場景，聲網可以做到70% 丟包下視頻通話流暢，這其中得益于聲網自研的傳輸協議AUT、抗丟包FEC算法和自適應媒體傳輸策略。
一方面，聲網自研的 AUT 傳輸協議采用更合理的傳輸架構和更好的算法，帶來更大的傳輸能力和更高的丟包對抗邊界，同時還支持多人視頻的 Scalability（可伸縮性）。很多問題在超高清視頻場景下會放大，包括弱網對抗，原本還不錯的網絡帶寬能接受 720P 畫質，但在1080P、4K畫質下是不夠的，這時候就會根據每個接收端的網絡質量分發最合適的碼流，例如從原來的4K 60FPS 降到4K 30FPS，甚至是1080P，讓每個接收端都可以得到和自己的網絡狀態相匹配的流暢體驗。
另一方面，聲網自研的 FEC 算法能提高丟包恢復率，降低解碼端的延遲，最終改善弱網下的卡頓率指標和解碼延遲時間。同時聲網的弱網對抗算法結合混合 ARQ（自動重傳請求)媒體傳輸策略，可以根據多維度的輸入參數信息、網絡環境以及用戶場景和結果反饋，實現自適應的弱網對抗系統，確保高分辨率場景下抗弱網能力的同時提升視頻質量（清晰度、流暢度、延時）。
全鏈路各環節的處理性能和幀率要求
高分辨高幀率的視頻場景，除了編碼傳輸和弱網對抗能力之外，視頻采集和渲染的幀率表現以及上下行鏈路處理的 CPU 性能開銷也經常是瓶頸所在。因為每1秒處理的內存數據量最高可達幾百MB 甚至1GB 以上，因此針對2K/4K 60FPS 場景聲網做了采集、渲染、硬件編解碼等全鏈路的深度優化，全平臺支持零拷貝鏈路，充分利用 GPU 的硬件加速處理能力，以及盡可能的減少視頻數據的搬運操作，以降低大量的視頻數據處理和流轉對于 CPU 的消耗。
這就好比利用集裝箱取代傳統的散貨裝卸，可以極大提升貨物流轉的效率。另外通過將整個視頻處理鏈路拆分成多個子任務，類似于現代工廠的多級流水線，可以提高視頻處理的并行度，最終提升整個視頻鏈路的吞吐量。
同時，針對4K 60FPS 超高清屏幕共享采集，聲網通過精準的時序控制實現60FPS 滿幀率采集，同時采用系統原生的數據格式以避免額外的數據拷貝和轉換，比如在 Mac 平臺上屏幕采集直接輸出 BGRA 格式的 CVPixelBuffer 并且不需要進行額外的格式轉換。
（注：CVPixelBuffer：核心視頻像素緩沖區，是指在主存儲器中保存像素的圖像緩沖區。生成幀、壓縮或解壓縮視頻或使用 Core Image 的應用程序都可以使用 CVPixelBuffer。 ）
在4K 60FPS 高幀率視頻的渲染方面，聲網利用各平臺顯示的VSync機制設計高幀率渲染系統，避免高幀率視頻流在渲染模塊內丟幀，同時讓高幀率場景下的渲染更加均勻，并在中高端設備上實現了端到端2K/4K 60FPS 穩定不掉幀的效果。（注：VSync 是垂直同步的簡稱，基本原理是將視頻的 FPS 幀率和顯示器的刷新率同期起來，其目的是避免出現畫面“撕裂”的現象）。
綜合設備可用性和QoE體驗問題
超高清視頻在實際應用場景中，不可避免的要面對很多設備兼容和體驗問題，相對于普通標清和高清的視頻，超高清視頻更容易碰到設備不支持，或者設備支持但是明顯卡頓或發熱的問題，尤其在多人視頻互動場景下，設備和網絡條件復雜，發送端能做到4K 60FPS，但接收端觀眾的設備質量參差不齊，例如有些設備解碼無法支持4K 60FPS的視頻，有些解碼只能解20幾幀，視頻幀不均勻，導致視頻不流暢，這些都是設備可用性問題，也成為了阻礙業務應用落地的絆腳石。
解決以上問題，聲網的解決方案本質上可以歸納為基于設備能力和網絡條件的Scalability（可可伸縮性），綜合利用多種工具并自適應調整引擎的參數配置和策略，比如發送端可以自適應選擇最合適的分辨率、幀率和碼率等等，提供多級的服務能力和靈活性，結合一些場景化API，給出不同場景下的參考實踐，最大程度滿足業務的綜合可用性和QoE體驗要求。
例如，聲網采用的AutoAdjust（自動調整）自適應策略，能綜合業務類型、設備的性能、網絡條件和鏈路各處理模塊的狀態等，自適應選擇最合適的分辨率、幀率和碼率，以及視頻處理模塊的檔位、軟硬編和網絡策略參數配置等等，在避免設備發熱和卡死的前提下盡可能保證視頻質量體驗。
聲網的解決方案還具備設備分級和設備能力查詢，用歸一化的方式，定義設備有多大的能力，能支撐多少內容。同時支持查詢設備是否具備比如4K 60FPS 的解碼能力等，方便根據業務場景定制最佳方案。
正是有了以上技術的不斷實踐，聲網才能在實時互動中更完美的支撐1080P、4K超高清畫質，從而進一步實現視頻畫質增強、畫面視覺效果提升等“至臻畫質”能力，此外，聲網“實時高清·超級畫質”還包含美顏悅色、絲滑流暢、低碼高清、PC 開播、玩法升級、數據監測、使用無憂八大禮包，助力開發者與企業實現視頻畫質、用戶體驗和互動玩法的全面升級，拓展更為廣闊的營收增長空間。
