最近單曲循環了一首新歌——《川的世界》。
一氣呵成的音調、充滿感情的音質和聲線,自然的氣息運用和演唱技巧,正要問到底是哪位新星橫空出世,才被提醒是超寫實虛擬人川CHUAN的歌。
一時間有點失望,覺得不過又是老套的真人換臉、換聲演唱。然而又被給了個驚喜,這首歌居然完全是超寫實數字人川CHUAN進行的AI演唱,也是全球首支由超寫實虛擬數字人演繹的AI單曲。
圖:虛擬人川CHUAN的AI單曲《川的世界》
以往,虛擬人“唱歌”并不稀奇。有真人用二次元虛擬形象唱歌的,也有用逼近真人的超寫實數字形象通過人工換聲來唱歌的。
但未來的虛擬人可不應該是這樣,川CHUAN不僅臉完全是根據自動算法生成,且演唱也是根據輸入的信號作出發聲反應,即通過機器學習進行演唱演繹。
像川CHUAN這樣都是從外型到聲音都是通過算法驅動,且無限接近真人的(外形、聲線、演唱技巧等),目前還是第一個。
圖:《川的世界》已上線QQ音樂、酷狗音樂、酷我音樂
這不僅讓人好奇,川CHUAN的團隊到底是怎么做到的?超寫實虛擬人的未來是如何實現的呢?
超寫實虛擬人AI算法驅動的實現路徑——從川CHUAN的誕生說起
早在2021年12月,川CHUAN就以首位男性超寫實虛擬數字人的形象活躍在社交網站上。逼真的質感,還有出色的外型,網友非常喜愛。
然而這對于川CHUAN的團隊來說,還不夠。按照其團隊亦真亦幻對于超寫實虛擬人未來的設想,川CHUAN不應僅僅停留在接近真人的完美外型顏值上,還應該有新的突破,實現更有趣的互動體驗。
“讓超寫實虛擬人AI唱歌會是什么樣?”一個大膽的想法就此誕生。
此前,早已有虛擬人通過人工換聲、或者調音軟件調制等方式實現“唱歌”,洛天依、初音未來這類虛擬歌姬的演唱已經很多人聽過了。人工換聲的方式固然簡單,但是不真實且關鍵不夠未來,并不是川CHUAN團隊想要的效果。
川CHUAN的團隊亦真亦幻創始人張豈熙表示:“超寫實虛擬人在外形上做到了超越真人的完美,那么超寫實虛擬人通過唱歌是應該是AI完成的,不依賴中之人,音樂作品一樣需要超寫實。也就是聲線貼臉、演唱逼真、獨一無二。”
經過多次嘗試和實驗,川CHUAN團隊最終選擇了和兩大頂尖團隊合作,為川捏制“貼臉”而“專屬”聲線,“專業”而“獨特”的唱功,共創完成這支AI單曲。
在聲線和唱功訓練上,川CHUAN的合作團隊是時域科技(ACE)。時域科技是目前中文AI歌聲合成領域中全球最頂尖水平的團隊。演唱自然度、演唱情感度、技術先進與使用便利性上都遠超其他歌聲合成引擎。這也是這首單曲川CHUAN演唱聲線如此自然的原因。
在音樂制作上也頗費功夫。《川的世界》歌曲制作團隊合作伙伴抱樸文化工作室介紹,《川的世界》在創作之初就考慮到了虛擬人川CHUAN的誕生理念和個人氣質要緊密結合,突出“集成”與“創新”,以川CHUAN的視角認識世界、介紹自我,在曲調上采用輕快有電子感的編曲風格,強調未來感和科技感,希望也能借此激發眾多網友對虛擬世界的無限遐想。
現在,川CHUAN團隊對未來的構想已經初步實現。通過這首AI單曲,不少網友認識了川CHUAN,接觸到一個全新的超寫實虛擬人的未來:“虛擬數字人,不應該依賴任何中之人、而應該是能夠融合人類智慧、機器智慧、群體創作的一個集成人。”
未來的未來:超寫實虛擬人AI化前景展望?
在川CHUAN發布了這首AI單曲之前,很多人對于超寫實虛擬人的印象還停留在靜態,只有不能開口的視覺圖像。
如AYAYI、翎_LING等,他們擁有超越真人的完美外表,在社交網絡上成為網紅博主。但是僅限于能看,日常互動不能開口,全靠后期P圖和運營維護人設。這種靜態不應是超寫實虛擬人的未來。而國外的超寫實數字人代表Miquela雖然已經向音樂領域破圈,但還只停留在中之人演唱的形式。
川CHUAN發布的這首AI單曲打破網友的傳統認知。超寫實虛擬人不再僅僅有靜態顏值,也可以進行動態AI智能驅動,從而擁有接近真人的聲線和演唱技巧,進行AI演唱并發布了單曲,川CHUAN也因此成為全球第一個完成AI演唱的超寫實數字人。
對超寫實虛擬人未來的想象力已經打開,在擁有接近真人的完美外表、永不塌房之外,虛擬人將有更多更有趣的智能互動體驗,進一步跨越真實和虛擬邊界,提供更真實的陪伴體驗,帶來更有沖擊的視聽感受,或許這一切已經不再是夢了。
創始人張啟熙介紹,這次AI單曲還只是一個試水。接下來亦真亦幻還將整合各類最前沿的虛擬人技術、運用各類AI生成工具包括MIT虛擬人生成器、英偉達omniverse等進行各類虛擬人AI能力的應用和嘗試。例如語音對話表達、面部表情、動作由AI深度學習模型的算法進行驅動等等,未來可以實現更多自然、真實的互動效果。
圖:運行在MIT虛擬人生成器上的川CHUAN
未來,一場超寫實虛擬人川CHUAN的演唱會是否是你的期待?
