2021年4月16日，多媒體技術領域盛會LiveVideoStackCon音視頻技術大會在上海舉行。本屆會議以“新技術，新機會”為主題，聚焦在音頻、視頻、圖像等技術的最新探索與應用實踐。數(shù)十位業(yè)內(nèi)知名講師與來自全國各地的音視頻工程師、多媒體工程師、圖像算法工程師、運維與物聯(lián)網(wǎng)工程師等分享了技術創(chuàng)新與最佳實踐。
網(wǎng)易云信資深音視頻引擎開發(fā)工程師王興鶴受邀參會，在“網(wǎng)絡傳輸與RTC”專題會場中進行了題為《網(wǎng)易云信QoS優(yōu)化實踐》的主題演講，分享了在弱網(wǎng)環(huán)境下，提供良好音視頻傳輸服務的思路和優(yōu)化經(jīng)驗，以及云信在QoS優(yōu)化方面具體的實踐和思考，精彩的分享獲得參會者的一致好評。
如何應對爆發(fā)式的音視頻數(shù)據(jù)增長？
隨著AI和5G的到來，以及疫情的變化，音視頻數(shù)據(jù)呈現(xiàn)爆發(fā)式增長，音視頻應用變得更加廣泛，人們對音視頻的品質(zhì)需求也越來越高，視頻分辨率從高清發(fā)展為超高清、VR，視頻幀率也已出現(xiàn)60fps、120fps等應用，交互式的應用對端到端延時也提出了更高的要求。與此同時，設備的硬件性能也突飛猛進。
可以預見，隨著5G的應用更為普遍，網(wǎng)絡中傳輸?shù)臄?shù)據(jù)將會呈現(xiàn)爆發(fā)式增長，大量數(shù)據(jù)將會給網(wǎng)絡傳輸帶來巨大的挑戰(zhàn)——網(wǎng)絡服務提供商需要在技術層面做到對瞬息萬變的網(wǎng)絡環(huán)境有很強的適應能力，需要合理利用抗丟包、抗抖動，擁塞控制等手段應對變化的網(wǎng)絡，需要在不同的網(wǎng)絡特征和用戶場景下充分發(fā)揮各項技術的優(yōu)勢，揚長避短，在有限的網(wǎng)絡資源中，找到延時、畫質(zhì)、流暢三者之間的最佳平衡點，提供良好的音視頻傳輸服務。
王興鶴在演講中認為：“雖然網(wǎng)絡中常見的問題有丟包、抖動、擁塞、延時等不同的分類，但這些弱網(wǎng)的分類并不獨立存在，而是會相互轉化，相互影響；另外從接收端QoE的角度來看，網(wǎng)絡問題固然會是我們分析弱網(wǎng)影響的重要部分，但音視頻鏈路中其它環(huán)節(jié)帶來的體驗上的影響也不容小覷。為了給用戶帶來良好的音視頻體驗，QoS優(yōu)化是整體的綜合性的優(yōu)化。”
用技術組合拳實現(xiàn)效果最大化
針對上述的一系列弱網(wǎng)問題，網(wǎng)易云信的QoS引擎采用了大量的技術手段進行抵抗，比如重傳、FEC、GCC、Jitter Buffer等，具體闡述如下：
• FEC（前向糾錯碼）是在發(fā)送端額外發(fā)送一些冗余數(shù)據(jù)，用于抵抗網(wǎng)絡丟包。當接收端檢測到媒體數(shù)據(jù)發(fā)生丟包時，就可以利用接收到的冗余數(shù)據(jù)進行丟包恢復。
• 重傳是當接收端檢測到丟包時通過反饋給發(fā)送端丟包信息（NACK）進行相應數(shù)據(jù)的重傳，最大的好處是碼率利用率高，缺點是會引入額外的丟包恢復抖動，從而拉大延時。
• Jitter Buffer的作用是以最低的緩沖延時代價消除數(shù)據(jù)抖動，提供流暢的播放幀率，也就是說，在解碼之前的任何環(huán)節(jié)引入的數(shù)據(jù)抖動，都會匯總到Jitter Buffer模塊處理抖動消除。
除了重傳、FEC等常規(guī)手段之外，長期參考幀技術打破了傳統(tǒng)的向前一幀的參考規(guī)則，可以更加靈活地選擇參考幀；在有丟包的場景下，接收端不需要等待丟包恢復也能繼續(xù)顯示畫面，其最大的好處是低延時，不需要等待重傳恢復，但是帶來了壓縮率的犧牲，在相同碼率下表現(xiàn)為圖像質(zhì)量的犧牲；但長期參考幀比較適合1V1的場景，而多人場景時，需要大小流和SVC發(fā)揮作用，在帶寬不足時，不同用戶對清晰優(yōu)先和流暢優(yōu)先的需求不一樣，SVC和大小流提供了靈活的機制滿足不同應用的需求。
而具體到應用場景時，王興鶴說：“我們要注意到不同應用場景的需求，比如通信場景更多的是用FEC，重傳作為輔助，提升實時性。直播場景更多是用重傳，F(xiàn)EC作為輔助，提升清晰度。”
這意味著，每一種技術都有各自的優(yōu)點和不足，在解決主要問題的同時，可能會帶來不同的收益降低；在不同的應用場景下，對于技術的選擇也有不同要求。因此，僅僅支持了這些功能并不是很困難，困難的是如何調(diào)試優(yōu)化各個模塊的相關參數(shù)，讓各個功能相互配合。
經(jīng)過一系列綜合優(yōu)化后，網(wǎng)易云信的音視頻通話可以做到端到端延時小于 200 ms，最高可抗 1000 ms 網(wǎng)絡抖動，在網(wǎng)絡丟包 70% 時仍能正常通話。
制定差異性策略 持續(xù)優(yōu)化
在王興鶴看來，QoS的優(yōu)化是個長期持續(xù)的過程，主要體現(xiàn)在三個方面：
首先，是各類算法還需要不斷的升級，F(xiàn)EC、重傳、Jitter Buffer、Neteq、GCC等都需要進一步地精細化，并結合AI技術和反饋機制，適應不同網(wǎng)絡的情況。
其次，要理解不同場景、不同用戶的個性化需求，細分服務的顆粒度，提供更加差異化的產(chǎn)品和服務。例如1v1場景大多是交互性的應用，因此對延時和流暢要求較高；而多人場景中又可以細分1vN、NvN等，多人會議中，網(wǎng)絡中傳輸流的數(shù)量將呈指數(shù)型上升，對算法和整體穩(wěn)定性提出了更高的挑戰(zhàn)。不同的場景的需求有明顯的特征，我們需要將這些特征跟我們的算法和架構深度關聯(lián)，將一些損失和收益的平衡做到極致，提供最高性價比的服務。
最后，要注意數(shù)據(jù)結果對產(chǎn)品迭代和優(yōu)化的驅動，不能只是在理論層面做得很完善，還要結合實際執(zhí)行效果的觀測來建立閉環(huán)的反饋和優(yōu)化機制。
這也是網(wǎng)易云信QoS引擎迭代升級的思路：對大部分場景，或者大部分指標都有優(yōu)化技術的項目，那就相對簡單，可以全面鋪開落地；而對于有得有失的技術優(yōu)化，首先需要做大量的對比測試、驗證，盡可能得出各種情況下的實驗室理論結果；其次要求所有已發(fā)版的相關功能參數(shù)可控，結合線上實際的觀測數(shù)據(jù)，做數(shù)據(jù)挖掘和綜合分析，形成數(shù)據(jù)驅動下的閉環(huán)效應，線上數(shù)據(jù)一方面可以驗證實驗室的測試結果，另一方面可進一步指導后續(xù)優(yōu)化工作。
“QoS優(yōu)化最大的困難是如何把握各項資源的平衡，并尋找到最佳平衡點“，王興鶴總結說，這也是網(wǎng)易云信Qos引擎在進行的深層次的QoS優(yōu)化工作——基于場景的優(yōu)化，制定差異化的策略適應不同的場景，并不斷迭代優(yōu)化。
