從云通信到融合通信，新一輪技術(shù)革命正在加速興起。
新場景的應(yīng)用，尤其是疫情推動下，各行各業(yè)對于線上化的積極探索使得通信技術(shù)的需求量大幅增加，同時對于實時互動體驗也提出更高的要求；另一方面，新技術(shù)的推動，例如 AI/AR/VR 等技術(shù)的發(fā)展和 5G 時代的正式來臨，使得即時通信、直播、實時音視頻等應(yīng)用場景有了新的想象空間，場景的復(fù)雜性和對于效率的高要求也讓云通信技術(shù)呈現(xiàn)出更廣范圍、更深程度的融合趨勢。
（網(wǎng)易智企技術(shù)VP 陳功）
基于此背景，在「QCon 全球軟件開發(fā)大會」2021·上海站，網(wǎng)易智企技術(shù) VP 陳功作為出品人發(fā)起了「AI 時代下的融合通信技術(shù)」專場，邀請到網(wǎng)易云信、網(wǎng)易音視頻實驗室、網(wǎng)易云音樂的技術(shù)專家與大家一起分享融合通信技術(shù)趨勢和演進方向、視頻通信關(guān)鍵技術(shù)探索及實踐、音頻 AI 算法在 RTC 中的實踐、網(wǎng)易云音樂網(wǎng)絡(luò)庫跨平臺化實踐等話題。現(xiàn)場座無虛席，干貨滿滿的分享更是獲得參會者一致好評。
1
融合通信技術(shù)趨勢和演進方向
曹佳俊 網(wǎng)易云信資深服務(wù)器開發(fā)工程師
隨著 5G 等基礎(chǔ)設(shè)施的完善以及"萬物皆可線上化"的趨勢，互聯(lián)網(wǎng)用戶對于實時互動體驗提出了越來越高的要求。融合通信技術(shù)已成為產(chǎn)品創(chuàng)新、業(yè)務(wù)增長的重要基石。在本場專題論壇，網(wǎng)易云信資深服務(wù)器開發(fā)工程師曹佳俊首先帶來了關(guān)于《融合通信技術(shù)趨勢和演進方向》的分享。
曹佳俊認為，融合通信的關(guān)鍵在于融合，這其中，多種通信技術(shù)的融合帶來了業(yè)務(wù)層面的革新，而業(yè)務(wù)場景的豐富多變又對通信技術(shù)的融合帶來了更高的要求，業(yè)務(wù)與技術(shù)相互推動發(fā)展。
談及融合通信的未來趨勢，他認為，5G、AI、物聯(lián)網(wǎng)、全球化、單元化……都是融合通信技術(shù)未來的演進方向。在本場論壇中，他以全球化與單元化為例，重點分享了網(wǎng)易云信在相關(guān)方面的實踐。
網(wǎng)易云信之所以做全球化和單元化，主要是出于三方面的考慮：容量劇增（系統(tǒng)規(guī)模不斷增長）、風(fēng)險控制（雞蛋不能放在一個籃子里）、質(zhì)量保證（物理距離無法克服）。
實現(xiàn)全球化和單元化則有兩個關(guān)鍵的前置條件：一是傳輸通信網(wǎng)的建設(shè)，例如網(wǎng)易云信 WE-CAN 全球智能路由網(wǎng)絡(luò)就可以很好的解決遍布全球的邊緣節(jié)點和數(shù)據(jù)中心節(jié)點之間的網(wǎng)絡(luò)傳輸問題；二是服務(wù)質(zhì)量監(jiān)控，利用來自海量終端和服務(wù)節(jié)點的數(shù)據(jù)監(jiān)控和改進服務(wù)質(zhì)量。
在 WE-CAN 全球智能路由網(wǎng)絡(luò)和服務(wù)質(zhì)量監(jiān)控系統(tǒng)的基礎(chǔ)上，進一步介紹了網(wǎng)易云信在 IM 和 RTC 的服務(wù)器單元化/全球化上做的技術(shù)探索。
通過單元化和全球化的架構(gòu)升級，提升了網(wǎng)易云信全球通信系統(tǒng)的鏈路穩(wěn)定性、增強了機房抗風(fēng)險能力，以及通過異地單元有效的隔離了全局的故障風(fēng)險。
分享最后，曹佳俊總結(jié)道，隨著融合通信市場的不斷發(fā)展，全球化和單元化是必經(jīng)之路。作為融合通信云服務(wù)商，網(wǎng)易云信將持續(xù)打磨技術(shù)，提供業(yè)界一流的融合通信服務(wù)，伴隨客戶一起成長。
2
視頻通信關(guān)鍵技術(shù)探索及實踐
韓慶瑞 網(wǎng)易音視頻實驗室高級技術(shù)專家
無論在娛樂社交、線上學(xué)習(xí)，還是遠程銀行等生活場景中，視頻都已成為最重要的互動方式之一，用戶對于視頻效果也提出越來越高的要求。延時低，弱網(wǎng)對抗能力強，視頻畫質(zhì)清晰......這也讓企業(yè)面臨了很高的技術(shù)挑戰(zhàn)。
作為融合通信云服務(wù)專家，網(wǎng)易云信的業(yè)務(wù)覆蓋了主要的視頻場景，包括了甚低延時的實時音視頻場景，允許部分延時的直播場景和不強調(diào)延時的點播場景，本次分享中，網(wǎng)易音視頻實驗室高級技術(shù)專家韓慶瑞介紹了網(wǎng)易云信視頻在各個場景下的關(guān)鍵技術(shù)和應(yīng)用嘗試。
優(yōu)秀的視頻引擎是好的視頻體驗的基石，韓慶瑞指出，網(wǎng)易云信可以在各個場景中均獲得優(yōu)異視頻表現(xiàn)，主要是得益于網(wǎng)易云信視頻 RTC 引擎擁有很多關(guān)鍵技術(shù)。
1. 針對場景移動端性能參差不齊、功耗敏感、小模型學(xué)習(xí)能力差、增強圖像壓縮效果難以保證以及視頻降噪等難點，RTC 引擎在前期就能進行視頻 AI 增強、視頻降噪，提升視頻效果；
2. 在視頻編解碼方面，網(wǎng)易云信通過多個自研算法，進行快速模式?jīng)Q策，高效亞像素搜索，自適應(yīng)參考幀，編碼質(zhì)量和速度領(lǐng)先業(yè)界知名編碼器；
3. 網(wǎng)易云信視頻引擎 QoE 可根據(jù)不同性能設(shè)備、不同區(qū)域設(shè)置、配置不同的算法種類，參數(shù)，在任何網(wǎng)絡(luò)狀況下保證用戶有最佳的視頻體驗，減少因數(shù)據(jù)丟失而引起的視頻卡頓；
4. 網(wǎng)易云信視頻引擎解碼支持幾乎所有主流視頻格式，通過自研輕量級網(wǎng)絡(luò)加異構(gòu)加速，功耗超低。自研 AI 推理引擎，進行數(shù)據(jù)集處理，超分效果明顯。根據(jù)高精度文字識別以及針對文字的 AI 優(yōu)化，配合“輕量級”網(wǎng)絡(luò)、自研推理框架 NENN 實現(xiàn)桌面共享優(yōu)化。
值得一提的是，網(wǎng)易云信的智碼超清技術(shù)提前對轉(zhuǎn)碼前視頻進行修復(fù)或增強，基于人眼感知的編碼技術(shù)在保證主觀質(zhì)量的同時節(jié)省碼率。不同于傳統(tǒng)的 JND 編碼，網(wǎng)易云信的 JND 編碼能識別圖像中的文字，人臉，前景及其他顯著性區(qū)域，針對不同特征進行調(diào)整，保證主觀體驗。
目前，網(wǎng)易云信視頻通信技術(shù)已經(jīng)在 LOOK 直播、網(wǎng)易云音樂在線 K 歌等場景中廣泛應(yīng)用。
3
音頻 AI 算法在 RTC 中的實踐
郝一亞 網(wǎng)易云信音頻算法專家
隨著人工智能技術(shù)、計算機技術(shù)、神經(jīng)網(wǎng)絡(luò)等領(lǐng)域的不斷發(fā)展，AI 音頻算法也在學(xué)術(shù)界和其他行業(yè)不斷涌現(xiàn)，包括了線上實時通信 Real-Time Communication（RTC）領(lǐng)域。本次分享，網(wǎng)易云信音頻算法專家郝一亞從“RTC 應(yīng)用 AI 音頻算法的難點”、“AI 音頻算法落地的解決方案”、“網(wǎng)易云信 AI 音頻算法落地案例”三個維度，和大家分享 AI 音頻算法和 RTC 的實戰(zhàn)經(jīng)驗。
郝一亞表示，盡管 AI 的優(yōu)勢在很多領(lǐng)域已經(jīng)被證實了，但由于算力和數(shù)據(jù)等各方面的問題以及 AI 模型本身的一些問題，其在 RTC 中還處于達不到完全替換傳統(tǒng)信號處理方法的階段。
這其中的挑戰(zhàn)主要集中在三個方面：
1. AI 計算復(fù)雜度太高，終端設(shè)備難以滿足；
2. 泛化能力，RTC 覆蓋場景眾多，AI 音頻算法難以全部覆蓋；
3. 魯棒性，遇到突發(fā)情況，AI 算法是否有能力應(yīng)對？
面對這些挑戰(zhàn)，網(wǎng)易云信如何落地 AI 算法？談及 AI 音頻算法具體實現(xiàn)過程，郝一亞在技術(shù)層面給出三條建議：
4. 采用更合適的輸入特征：減小特征量從而減小開銷；彌補小模型帶來的性能損失；
5. 采用輕量級網(wǎng)絡(luò)模型：壓縮模型大小從而減小開銷；有針對性的選擇模型類型；
6. 定向優(yōu)化：大量收集/積累訓(xùn)練數(shù)據(jù)集；模型壓縮、數(shù)據(jù)增強、推理框架；配合傳統(tǒng)語音算法框架。
活動現(xiàn)場，郝一亞展示了網(wǎng)易云信落地 AI 算法的實例，效果非常明顯。
值得一提的是，基于 AI 算法，網(wǎng)易云信從 0 到 1 研發(fā)落地了實時語音 3D 音效，這在 RTC 行業(yè)內(nèi)屬于首創(chuàng)，不僅實現(xiàn)了實時的 3D 空間音效，還加入了距離衰減以及房間建模特性，實現(xiàn) 6Dof。目前網(wǎng)易云信 3D 音效已經(jīng)成功應(yīng)用于多款 FPS（第一人稱射擊游戲）以及網(wǎng)易瑤臺沉浸式活動平臺中，可以預(yù)想在元宇宙時代，3D 音效將會迸發(fā)的無限價值。
4
網(wǎng)易云音樂網(wǎng)絡(luò)庫跨平臺化實踐
陳松茂 網(wǎng)易云音樂資深音視頻開發(fā)工程師
網(wǎng)絡(luò)庫作為音樂 APP 的核心，很大程度上決定著用戶的"體感"和"快感"，但在優(yōu)化過程中，挑戰(zhàn)可以說非常多。比如，系統(tǒng)網(wǎng)絡(luò)庫由于暴露的能力或接口有限，無法進行深層次定制或改造；各端系統(tǒng)網(wǎng)絡(luò)庫差異大，導(dǎo)致優(yōu)化工作需要在各端進行定制或適配，工作量成倍增加……怎么辦？
網(wǎng)易云音樂資深音視頻開發(fā)工程師陳松茂本次以《網(wǎng)易云音樂網(wǎng)絡(luò)庫跨平臺化實踐》為主題，帶來了網(wǎng)易云音樂的實踐分享。
面對各端網(wǎng)絡(luò)優(yōu)化過程中重復(fù)造輪子、缺乏一致性、資源不充足、深度優(yōu)化難等問題，陳松茂認為，跨平臺化改造是解決上述問題的關(guān)鍵，在分享中陳松茂列舉了多種跨平臺化設(shè)計思路，并結(jié)合各自的優(yōu)缺點，最終選擇了最徹底的跨平臺化方案，即整體鏈路跨平臺化。
要達成整體鏈路跨平臺化的構(gòu)想，選擇一個合適的跨平臺網(wǎng)絡(luò)庫是關(guān)鍵。陳松茂分享了網(wǎng)易云音樂的選型經(jīng)驗，經(jīng)過各方對比，網(wǎng)易云音樂最終選擇的是 Cronet，它是 Chromium 的網(wǎng)絡(luò)堆棧，在開源協(xié)議、跨平臺性、協(xié)議支持、網(wǎng)絡(luò)優(yōu)化、活躍程度等方面都具備優(yōu)勢，并且已經(jīng)在 Google 系、百度、微博、網(wǎng)易傳媒、頭條系、蘑菇街廣泛應(yīng)用。
網(wǎng)易云音樂在 Cronet 的基礎(chǔ)上，進行了二次開發(fā)定制，構(gòu)建了自己的統(tǒng)一網(wǎng)絡(luò)庫。為了達成后續(xù)能力復(fù)用和業(yè)務(wù)定制的述求，陳松茂提出了“可復(fù)用網(wǎng)絡(luò)框架+可擴展組件能力集”的概念，并逐步將上層的網(wǎng)絡(luò)策略和基礎(chǔ)網(wǎng)絡(luò)服務(wù)以組件的形式下沉到統(tǒng)一網(wǎng)絡(luò)庫。
而面對后續(xù) Cronet 升級過程中"代碼沖突、合并沖突、功能衰退"這三大無法避免的問題，陳松茂在分享中也給出一些方法建議，他認為做好必要的升級鋪墊，可以減少 Cronet 升級過程中的風(fēng)險，具體體現(xiàn)在三個方面：減少入侵、做好隔離、單側(cè)覆蓋。
當(dāng)前，基于 Cronet 的統(tǒng)一網(wǎng)絡(luò)庫在網(wǎng)易云音樂已經(jīng)實現(xiàn)了部分落地，比如 Android 端已經(jīng)完整落地并在灰度放量中，iOS 端則還在接入中。據(jù)云音樂給出的線上數(shù)據(jù)，Cronet 在 HTTP/2 上有不錯的性能優(yōu)勢，開啟 QUIC 后優(yōu)勢進一步放大。后續(xù)，陳松茂和他們的團隊，將繼續(xù)挖掘 Cronet 的性能，并進行定制優(yōu)化。另外，統(tǒng)一網(wǎng)絡(luò)庫也將逐步在網(wǎng)易云音樂，乃至整個網(wǎng)易內(nèi)部實現(xiàn)更廣泛的應(yīng)用。
為了將「AI時代下的融合通信技術(shù)」專場干貨更全面的分享給大家，后續(xù)我們會對本次專場的內(nèi)容進行更為詳細的整理與解讀，歡迎持續(xù)關(guān)注。
