7 月 22 日，2022 GIAC 全球互聯(lián)網(wǎng)架構(gòu)大會(huì)在深圳隆重召開。GIAC 是中國(guó)地區(qū)規(guī)模最大的技術(shù)會(huì)議之一，專門面向架構(gòu)師、技術(shù)負(fù)責(zé)人及高端技術(shù)從業(yè)人員等人群。作為互聯(lián)網(wǎng)技術(shù)的年度盛會(huì)，大會(huì)匯聚了 100 多位來(lái)自一線互聯(lián)網(wǎng)企業(yè)的資深技術(shù)專家，圍繞元宇宙、人工智能、Web3 等熱門技術(shù)話題展開分享，為所有參會(huì)者帶來(lái)了一場(chǎng)技術(shù)升級(jí)與收獲之旅。
網(wǎng)易云信音視頻架構(gòu)師饒世鋮受邀出席了本次大會(huì)，并帶來(lái)了主題為《新一代音視頻架構(gòu)在元宇宙場(chǎng)景的實(shí)踐》的分享，全面介紹了元宇宙場(chǎng)景對(duì)音視頻架構(gòu)帶來(lái)的挑戰(zhàn)以及網(wǎng)易云信新一代音視頻架構(gòu)的破局之策和實(shí)踐落地。
掘金「元宇宙」，網(wǎng)易的技術(shù)儲(chǔ)備
作為元宇宙主題專場(chǎng)的首位分享嘉賓，饒世鋮首先介紹了元宇宙的發(fā)展歷程。“元宇宙”這一概念最早誕生于 1992 年美國(guó)科幻作家尼爾·斯蒂芬森的作品《雪崩》，書中以天馬行空的想象力構(gòu)建了一個(gè)現(xiàn)實(shí)世界與虛擬空間并存的系統(tǒng)；2018 年《頭號(hào)玩家》的上映使大眾對(duì)元宇宙產(chǎn)生了具象化的認(rèn)識(shí)；到了 2020 年，Roblox 成功上市徹底將元宇宙引爆出圈，帶動(dòng)了全球科技大廠紛紛入局，基于自身的先發(fā)技術(shù)優(yōu)勢(shì)掘金元宇宙產(chǎn)業(yè)。
如此宏大的元宇宙世界，需要哪些底層技術(shù)支撐？饒世鋮總結(jié)，元宇宙的實(shí)現(xiàn)需要區(qū)塊鏈、物聯(lián)網(wǎng)、網(wǎng)絡(luò)及運(yùn)算、人工智能、電子游戲、交互設(shè)計(jì)六大技術(shù)支撐。而網(wǎng)易自 2011 年起，就開展了 AR、VR、虛擬人、超低延時(shí)音視頻、區(qū)塊鏈、云游戲等元宇宙相關(guān)技術(shù)儲(chǔ)備和規(guī)劃，是國(guó)內(nèi)最早涉足元宇宙領(lǐng)域的科技公司之一。
在基礎(chǔ)設(shè)施層，網(wǎng)易擁有了以 WE-CAN 全球智能路由網(wǎng)絡(luò)、AI 計(jì)算平臺(tái)、AR/VR、區(qū)塊鏈、智能硬件等為代表的核心技術(shù)。基于這些核心技術(shù)，沉淀出了網(wǎng)易智企、網(wǎng)易伏羲、網(wǎng)易星球、易現(xiàn)先進(jìn)科技等服務(wù)平臺(tái)，并在平臺(tái)之上形成了一系列可靠的元宇宙解決方案，在游戲、社交、電商、金融、教育、醫(yī)療等各個(gè)領(lǐng)域進(jìn)行了最佳實(shí)踐。
「元宇宙」對(duì)傳統(tǒng)音視頻架構(gòu)的兩大挑戰(zhàn)
“元宇宙強(qiáng)調(diào)沉浸感、高還原的交互體驗(yàn)，同時(shí)場(chǎng)景更綜合、復(fù)雜度更高，這對(duì)傳統(tǒng)的音視頻架構(gòu)提出了挑戰(zhàn)。”饒世鋮表示。
首先，簡(jiǎn)單的視頻通話、語(yǔ)音聊天以及實(shí)時(shí)互動(dòng)等交互方式已經(jīng)遠(yuǎn)遠(yuǎn)無(wú)法滿足元宇宙場(chǎng)景需求，超低延時(shí)的音視頻、業(yè)務(wù)數(shù)據(jù)傳輸、人臉數(shù)據(jù)的實(shí)時(shí)提取、表情和動(dòng)作遷移、實(shí)時(shí)語(yǔ)音 3D 音效等關(guān)鍵技術(shù)成為元宇宙的重要組成元素。驅(qū)動(dòng)關(guān)鍵技術(shù)的創(chuàng)新優(yōu)化，突破原有音視頻相關(guān)技術(shù)的邊界，為用戶提供極致的沉浸式體驗(yàn)成為了音視頻架構(gòu)面臨的強(qiáng)有力挑戰(zhàn)。
其次，元宇宙中的音視頻業(yè)務(wù)復(fù)雜多樣。很多業(yè)務(wù)同時(shí)具有 RTC、超低延時(shí)數(shù)據(jù)傳輸、低延時(shí)直播拉流等需求，不同需求的 SDK 需要獨(dú)立集成，接入方式也不盡相同，造成了接入難度大、效率低的難題。如何設(shè)計(jì)一種好的 SDK 架構(gòu)，在提供高可用和高穩(wěn)定功能的同時(shí)，通過(guò)技術(shù)組合的方式將所有業(yè)務(wù)融合在一起，為用戶提供整體的一站式解決方案？這是對(duì)音視頻架構(gòu)的第二大挑戰(zhàn)。
破局之策，網(wǎng)易云信音視頻架構(gòu)的優(yōu)化與實(shí)踐
饒世鋮介紹，面對(duì)上述的兩大挑戰(zhàn)，網(wǎng)易云信構(gòu)建了新一代音視頻引擎 NERtcEngine 和新一代音視頻融合 SDK NERtcSDK。
新一代音視頻引擎：NERtcEngine
NERtcEngine 基于元宇宙實(shí)際業(yè)務(wù)場(chǎng)景專門設(shè)計(jì)和實(shí)現(xiàn)了超低延時(shí)數(shù)據(jù)傳輸?shù)臄?shù)據(jù)引擎，同時(shí)面對(duì)元宇宙越來(lái)越多的智能算法和 AI 算法，專門對(duì)算法集成方式進(jìn)行了重構(gòu)，設(shè)計(jì)和實(shí)現(xiàn)了基礎(chǔ)算法組件引擎。
在超低延時(shí)數(shù)據(jù)傳輸架構(gòu)的設(shè)計(jì)上，網(wǎng)易云信設(shè)計(jì)了獨(dú)立的數(shù)據(jù)傳輸通道，在保證原有音視頻數(shù)據(jù)傳輸通道穩(wěn)定高效的同時(shí)，為其單獨(dú)制定傳輸協(xié)議、發(fā)送/接收控制單元和 QoS 調(diào)節(jié)策略。此外，網(wǎng)易云信還擁有大規(guī)模分布式實(shí)時(shí)傳輸網(wǎng) WE-CAN，是業(yè)內(nèi)首個(gè)獨(dú)立于業(yè)務(wù)邏輯的傳輸層基座，并在全球數(shù)百個(gè)主要國(guó)家和地區(qū)進(jìn)行節(jié)點(diǎn)部署，符合各個(gè)地區(qū)的數(shù)據(jù)安全政策，全面覆蓋 IM 消息、實(shí)時(shí)音視頻、直播、點(diǎn)播、白板等產(chǎn)品場(chǎng)景。雙管齊下，確保了超低延時(shí)的數(shù)據(jù)傳輸。
在算法組件引擎架構(gòu)設(shè)計(jì)上，網(wǎng)易云信將所有算法集成于統(tǒng)一的接口，集成方式非常友好。同時(shí)支持插件化集成，每個(gè)算法可作為獨(dú)立單元以插件化方式，靈活實(shí)現(xiàn)算法的定制化集成，且擴(kuò)展性更強(qiáng)，后續(xù)新增算法只需實(shí)現(xiàn)對(duì)應(yīng)的集成 API 就可快速便捷地集成到框架中。
新一代音視頻業(yè)務(wù)融合 SDK ：NERtcSDK
NERtcSDK 是網(wǎng)易云信新一代音視頻業(yè)務(wù)融合 SDK。在元宇宙業(yè)務(wù)場(chǎng)景中，更廣范圍、更深程度的融合能為用戶帶來(lái)更大價(jià)值。
以往的業(yè)務(wù)中，不同需求必須接入不同的 SDK 才能實(shí)現(xiàn)對(duì)應(yīng)功能。而在 NERtcSDK 的融合架構(gòu)設(shè)計(jì)中，用戶只需對(duì)接 1 個(gè) SDK 就可同時(shí)實(shí)現(xiàn) RTC、虛擬人、低延時(shí)直播、超低延時(shí)數(shù)據(jù)傳輸?shù)葮I(yè)務(wù)，這對(duì) 3D 虛擬人社交、虛擬實(shí)時(shí)展會(huì)等這類復(fù)雜的集成場(chǎng)景來(lái)說(shuō)，極大地提高了用戶接入的速度和效率，大幅降低了接入成本。
饒世鋮還為大家介紹了網(wǎng)易云信融合 SDK 中一個(gè)代表性的融合方案——高接通方案的設(shè)計(jì)，通過(guò)應(yīng)用保活、融合呼叫、通話輔助的“三板斧”，覆蓋呼叫場(chǎng)景中的絕大部分被叫到達(dá)的場(chǎng)景，增加呼叫到達(dá)率，從而保證應(yīng)用的接通率。
加速助推「元宇宙」的技術(shù)落地
“所有的技術(shù)積累都需要在真實(shí)的場(chǎng)景落地，才能看到價(jià)值。”在介紹了網(wǎng)易云信在元宇宙的技術(shù)布局后，饒世鋮展示了網(wǎng)易推動(dòng)元宇宙“由虛入實(shí)”的幾大案例。
饒世鋮認(rèn)為，元宇宙應(yīng)用不僅僅是將現(xiàn)實(shí)世界搬進(jìn)虛擬世界，也不只是從線下轉(zhuǎn)移到線上，而是在助力生產(chǎn)效率提升、社會(huì)民生改善等方面具有真實(shí)價(jià)值，并推動(dòng)相關(guān)產(chǎn)業(yè)加速發(fā)展。
遙感機(jī)械助力傳統(tǒng)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，在網(wǎng)絡(luò)環(huán)境較差、惡劣的戶外作業(yè)環(huán)境也能通過(guò)手機(jī)遠(yuǎn)程操控挖掘機(jī)進(jìn)行生產(chǎn)工作而不必深入現(xiàn)場(chǎng)，不僅降低了勞動(dòng)強(qiáng)度，也從根本上杜絕了人身傷亡的安全隱患，幫助生產(chǎn)效率的提升。
AI 虛擬客服越來(lái)越常見(jiàn)于金融智能虛擬客服、互聯(lián)網(wǎng)醫(yī)療遠(yuǎn)程問(wèn)診、新聞虛擬主播、社交娛樂(lè)虛擬偶像、電商虛擬直播等場(chǎng)景。相比于市場(chǎng)上常見(jiàn)的虛擬人方案，網(wǎng)易云信提供了一站式的 SDK，用戶僅需對(duì)接一個(gè) SDK 即可同時(shí)擁有虛擬人、RTC、直播等多項(xiàng)能力。同時(shí)，首創(chuàng)客戶端和云端雙渲染技術(shù)，以滿足不同客戶和場(chǎng)景的實(shí)際需求。
網(wǎng)易瑤臺(tái)是國(guó)內(nèi)首個(gè)元宇宙落地產(chǎn)品，區(qū)別于傳統(tǒng)視頻會(huì)議的單一呈現(xiàn)方式，瑤臺(tái)更具虛擬的沉浸感，也更能滿足現(xiàn)實(shí)世界的切實(shí)需求。網(wǎng)易曾將全球投資者大會(huì)的舉辦地搬到了瑤臺(tái)虛擬世界，來(lái)自全球多個(gè)國(guó)家的 200 多位投資者，通過(guò)自己的虛擬形象，交流網(wǎng)易業(yè)務(wù)的最新動(dòng)態(tài)。整個(gè)互動(dòng)場(chǎng)景便是基于網(wǎng)易云信的 WE-CAN 全球智能路由網(wǎng)絡(luò)和融合通信能力打造。
除了在元宇宙主題專場(chǎng)的干貨分享，網(wǎng)易云信在全球互聯(lián)網(wǎng)架構(gòu)大會(huì)設(shè)置了專門的展位，吸引了大量的現(xiàn)場(chǎng)觀眾咨詢討論。
