Metaverse 元宇宙概念、真人偶像塌房等一系列熱點爆發，讓虛擬偶像再次進入大眾視野。虛擬偶像不僅是元宇宙概念最具體驗感和最接近沉浸式虛擬世界的人物，同時作為全民偶像，還能做到“顏值不倒”、“人設不塌”，深受00后人群追捧。這期【捕光之旅】聊聊實時音視頻技術如何助力虛擬偶像養成。
去年8月，在上海Vapollo Theater，國內首場虛擬偶像神樂七奈實時跨國演唱會成功落地，現場上座率超95%。神樂七奈全息投影在現場現身，不管是畫面還是聲音都以自然的姿態與現場觀眾進行實時互動。
這次演出現場的火爆，不僅讓人感受到虛擬偶像的受歡迎程度，更讓人看到虛擬偶像實時渲染技術的突破和跨進。支持這場演出的技術公司正是創幻科技，其背后虛擬偶像演出音頻的實時遠程傳輸技術則是由聲網提供，并給予了高質量、高可靠、低延時的解決方案。
技術變革推動虛擬偶像爆發
近年來，這種虛擬偶像的演出待遇和受追捧程度早已不亞于真人偶像。所謂虛擬偶像，是指通過繪畫、音樂、動畫、CG等形式制作，在網絡等虛擬場景或現實場景進行演藝活動的人物形象。
全息投影塑造了它們在舞臺上的動作和外形，聲音來自合成軟件，舞臺上是齊刷刷一片的應援燈海和粉絲吶喊。今年春晚，國內最具影響力的虛擬偶像洛天依登上央視舞臺，在11億觀眾的見證下突破次元壁，走進了主流視野，讓虛擬偶像表演更加受到關注和追捧，成為新經濟中炙手可熱的風口。
虛擬偶像的快速發展和熱捧，除外界因素影響之外，更核心的是技術的進步和推動。在演變上，最初的虛擬偶像大多是以語音合成軟件支撐的“紙片人”，后來演變為可實時互動的3D形象，再到現在，虛擬偶像的應用場景已經從從離線、完成時，走向在線、進行時，可以在舞臺上實時進行唱跳表演，有望打破二次元和三次元的界限。
在本質上，虛擬偶像是類似于影視動畫和游戲里的各種虛擬 IP 形象。不同的是，得益于 VR 虛擬現實、AR 增強現實、計算機圖形技術、AI 技術、實時渲染等應用技術的不斷成熟，虛擬偶像融合了現實場景，讓 2D" 紙片人 "與真實世界產生了鏈接。同時，在具體的生產流程上，虛擬偶像至少都要經過原畫、建模和動作捕捉三個環節。
提到虛擬偶像，在國內繞不開的就是B站，憑借現有的虛擬藝人 UP 主、所聚集的粉絲，以及粉絲圍繞虛擬藝人進行創作和傳播的視頻內容，顯然已成為國內最大的虛擬偶像社區。B站每年的BML-VR演唱會，以及每月推出的虛擬主播演出活動—冰火歌合戰3D，每期活動超過10名嘉賓，直播觀眾人氣高達200萬。
而在這些虛擬偶像線上live的技術制作背后都有創幻科技的身影，創幻科技是國內虛擬偶像全鏈路運營商，在B站冰火歌合戰3D、BML-VR演唱會以及線下Vapollo全息劇場演出中都有全程技術參與，從動捕場地到內容錄制及后期制作，再到演出中的實時互動環節技術支持。
實時傳輸提升虛擬偶像互動體驗
以往，虛擬偶像表演的難點在于實時渲染的效果比不上離線渲染，使得超寫實虛擬數字人的行動不夠逼真，現場互動性也差。但在去年Vapollo全息劇場完成的神樂七奈中日跨國演唱會中，神樂七奈是在劇場進行實時渲染，輸出畫面，全程毫秒級時延，讓現場觀眾在真正意義上實現了與虛擬偶像實時互動。
一場虛擬偶像的演出，現場畫面和聲音同等重要。在畫面上，創幻采用了自研的數據結構化技術，在保證動作和表情精度不產生損失的同時，將數據壓縮到原來5%的大小，從而實現數據的實時遠程傳輸。而聲音上，聲網助力了創幻在所支持的多場虛擬偶像演出中，都做到了現場聲音高品質、低延時的傳輸。“創幻落地的虛擬偶像演出活動中大都涉及到歌唱類的演出，所以對現場音頻的質量要求很高，而聲網的音頻方案完美地解決了我們對聲音方面的高標準需求，在音頻數據傳輸抗網絡波動能力、音質還原度、效果穩定性、方案經濟性等多個維度的表現都十分出色，最終的演出呈現效果也給了我們很大的驚喜。”創幻科技CEO陳堅表示。
在創幻舉辦的虛擬偶像神樂七奈跨國演唱中，音頻是從日本傳回國內，傳輸過程中對穩定性、流暢性有著很高的要求，一旦出現有延時就會造成現場觀眾體驗感差，而聲網的音頻解決方案為虛擬偶像跨國演出場景提供了有力支撐，并具備了以下優勢：
· 軟件定義實時網SD-RTN™保障跨國傳輸穩定性
在虛擬偶像演出的場景中，會涉及到音頻的跨國傳輸，Vapollo 神樂七奈線下演出，是演員在東京動捕棚進行動作表演，再將動作數據傳輸到創幻的VT服務器進行實時渲染，輸出畫面和聲音。
針對這種需要音頻跨國的傳輸，聲網Agora 自建的軟件定義實時網SD-RTN™覆蓋了 200+ 國家與地區，可做到全球端到端優質傳輸率>99%，全球端到端網絡延時小于400ms，延時中位數76ms，有效保障虛擬偶像演出聲音的超低延時體驗。同時針對弱網情況下的音視頻互動，聲網擁有一套抗弱網傳輸與抗丟包算法，結合網絡探測（如延時估計、帶寬估計、丟包估計等）、抗丟包技術（如ARQ、FEC等）、自適應jitter buffer、網絡擁塞控制策略等技術，保障80%丟包下語音通話流暢，為演出現場觀眾提供更高品質的實時音視頻通話服務。
· SOLO™、NOVA™ 兩大語音引擎提供卓越音質
不僅如此，對于虛擬偶像演出現場傳輸的音質問題，聲網也有自研的Agora SOLO™、NOVA™ 兩大語音引擎，支持 48kHz 采樣率的全頻帶采樣，還原聲音高保真度，音頻 MoS 分高達 4.7，可以提供高清流暢音質體驗。
在神樂七奈跨國演唱會中，是將遠在東京動捕棚的動作及音頻數據實時傳送到國內，同步在廣州及上海完成渲染，并推流到B站及日本的線上直播間。相當于通過遠程技術，進行4路數據流推送，同時在4個地方完成實時演出，技術上有很大的挑戰。“但在聲音部分，我們與聲網團隊持續溝通，在專業指導下對音頻數據傳輸方案進行了優化，最終通過創幻的數據結構化技術加聲網音視頻傳輸方案完美落地了此次活動。”陳堅介紹。
在聲網的技術保障下，創幻已經連續4年服務于國內最大的二次元盛會-Bilibili的BML-VR演唱會及BW漫展，并持續制作、推出包含Bilibili冰火歌回（3D）在內的線上Live。
虛擬偶像正成為下一代全民偶像
正因為實時音視頻技術的進步和升級，賦予了虛擬數字人真實的人物性格，擁有與觀眾和用戶互動的情感，也讓在“真人偶像”人設不斷塌房的情況下受到網友喜愛，獨特的外形、完美的人設，經過精心打造的虛擬偶像正逐漸走進現實世界。
從頂流洛天依到品牌自身的虛擬人，再到社交媒體上的各類虛擬主播，虛擬偶像們塑造人設、分享日常生活，也拓展出品牌代言、明星同臺、直播、授權、線上線下演唱會、帶貨等方式，變現的想象空間巨大。相較于真人偶像的不確定性，虛擬偶像擁有顏值不倒、人設永遠完美的優點，也正因此，虛擬人物受到粉絲和資本的偏愛，正在成為下一代的全民偶像。
“另外，虛擬偶像技術的成熟，也將推動元宇宙的快速發展，每個人都可以在虛擬世界有一個自己的avatar，而實時音視頻技術的低延時、穩定性可以打破虛擬和現實的邊界，幫助用戶在虛擬世界中得到更好的體驗，助力市場養成下一代全民偶像。”聲網 IoT 產品負責人侯云憶表示。
