6月3日晚，數字人谷小雨聯手藝人張韶涵登上浙江衛視音樂節目《天賜的聲音》的舞臺，共同演繹了由宋詞改編的經典歌曲《但愿人長久》。二“人”以歌會友，在虛實結合的AR舞臺上，再現蘇軾筆下關于山水、花鳥的想象和詩家情懷。
谷小雨和張韶涵聯手獻唱《但愿人長久》
谷小雨由騰訊互娛知幾（以下簡稱“知幾團隊”）與浙江衛視聯合打造，是國內首個使用虛幻引擎在廣電AR實時舞臺實現實時渲染的超過200萬面數的高精度寫實數字人。她由南宋臨安“穿越”而來，作為宋韻文化的數字推廣者，將引領觀眾沉浸式感受宋韻文化。
擔任浙江衛視宋韻文化推廣人
此次與張韶涵的聯袂演出，是谷小雨作為浙江衛視宋韻文化推廣人，首度出現在公眾面前。
在節目現場婉轉的歌聲中，谷小雨輕挪舞步，她時而化身宋詞的歌者，以歌會友，為世人再現詩詞的想象和詩家情懷；時而又變成江南千百湖泊的守護者，在浙派古琴傳人徐君躍的宋樂伴奏下，還原那些關于古典夢境的想象，傳頌千百年前關于水的傳說。
谷小雨作為宋韻文化推廣人首度出現在公眾面前
二人表演的AR舞臺也如夢如幻。只見舞臺上的光影自然流轉，一副山水畫卷徐徐展開，雙燕環繞，螢火紛飛，月光瀑布傾泄而下。在兩位歌手的帶領下，觀眾“夢回宋朝”的月圓之夜，感懷人世間的悲歡離合。
谷小雨的“人設”是煙雨江南的“女兒”，為最大程度還原宋韻時期的人物風貌，知幾團隊參考了大量宋代歷史文獻資料，對谷小雨的外形進行了精心設計，上身以改良褙子、宋抹疊穿，袖口造型以西湖荷葉為靈感。下身則大膽搭配鐳射材質短裙，外搭不對稱垂感的水墨印花長裙，而印花的靈感則來源于南宋李嵩的《西湖圖》。
據悉，此次谷小雨造型設計獲得了中國絲綢博物館以及北京服裝學院教授的指導，在服飾的紋樣、面料及制作工藝還原上做到了精益求精。
此次獻唱是谷小雨“演藝生涯”的開端，未來她將活躍在浙江衛視的各大節目中，為全國觀眾獻上更多兼具文化底蘊及科技感的舞臺表演，傳播宋韻文化。
30萬根毛發，精度達200萬面數，舞臺表演實時渲染
作為宋韻文化數字推廣者，谷小雨從平面的2D形象轉化為3D的數字人，再到“站”上AR舞臺與真人實時互動，期間經歷了多次推敲和打磨,并承載著深厚的文化底蘊與強大的技術力量。此次谷小雨的模型精度高達200萬面，同時還要保證五層布料在AR舞臺上實時解算，可以說，這一次表演實現了算力和技術的雙重突破。
谷小雨是模型精度高達200萬面的高精度寫實數字人
谷小雨相貌柔美，服飾考究，對于數字人呈現來說，從原畫設定到舞臺呈現每個環節都很具挑戰。為此，知幾團隊使用面部掃描輔助完成角色建模，后續經過綁定、動作捕捉、毛發與布料實時模擬、引擎渲染等環節,落地并優化了數字人相關的前沿技術。
其中，谷小雨的兩根麻花辮最為搶眼，尤其是她在舞臺上的表演大部分均在虛幻引擎中實時模擬完成，脫離了傳統的CG渲染管線。知幾團隊采用XGEN制作的方法，面對多達30萬根數量的發絲，克服引擎算法限制、擴展算力，完成了包括麻花辮及五層高面數布料疊加交互運算的重資產實時動態模擬。
此外，谷小雨一身“環佩叮當”的宋韻服飾也是一大看點，薄紗、絲綢、麂皮、珍珠、金屬等多種材質融為一體，如何讓谷小雨的皮膚質感、服飾質感在實時渲染時高度寫實，也是此次數字人呈現的一大困難。
知幾團隊在研究現實中不同物料的特質之后，利用SD貼圖工具進行不同的紋理Tilling制作，最終在引擎內通過開發不同的光照Shader，模擬出不同的面料質感。同時，由于Ar端對實時呈現要求較高，團隊突破性的在材質選擇上設置了高低配的功能選項，當性能消耗大時，可以手動切換成低配方案來滿足不同的性能需求。
通過實時渲染材質最大程度還原雙面復雜的寫實服裝細節，谷小雨的皮膚質感和服飾特點得以完美呈現。這些都讓傳統文化在數字化創新形式下，有了極致和細膩的表達。
AI智能驅動，可以跟你一起合唱的數字人
節目上，谷小雨表情生動自然，為實現寫實風格的面部效果和實時動作捕捉要求，知幾團隊采用了寫實級別的面部綁定系統,模擬面部真實肌肉的效果,并通過游戲引擎中的驅動貼圖,來達到寫實級別細節效果。同時，知幾團隊也把影視級實時預演流程轉移到數字人制作上，讓拍攝現場及時得到畫面反饋, 使真人和數字人表演更完美地結合。
和市面上的其他虛擬歌手相比，谷小雨的最大不同在于擁有強大的AI交互功能。此次登上舞臺的谷小雨雖然只表現了唱歌跳舞技能，但知幾團隊在制作數字人數字資產的同時，也在搭建AI技術智能驅動系統，以此實現全棧式數字人制作、驅動、內容生成，使谷小雨具備更加擬人的感知、表達和交互能力，為數字人注入“靈魂”，讓“她”聽得懂、會交流、能說會唱。
谷小雨未來將具備AI驅動的感知、表達、交互能力
為了讓數字人能聽得懂人類的語言，知幾團隊目前已經儲備了語音理解通路上的全鏈路技術，包括降噪增強、喚醒（keyword spotting）、語音識別（ASR）、自然語言理解（NLU）、語音文本跨模態語義匹配等關鍵能力。
為了讓數字人能更進一步地與人類對話交流，知幾團隊使用超過200GB的高質量文本數據，訓練了一個30億參數量的超大規模對話預訓練語言模型，并基于此實現了能理解上下文和全局內容的端到端可控對話生成技術。未來，谷小雨可以帶領觀眾進入各種虛擬場景，例如作為導游帶你領略宋代河山，或者作為現實中的博物館導覽員與觀眾互動。
為了讓數字人能說會唱，知幾團隊構建了支持多情感、多風格、多音色、多語種、多口音的語音合成系統方案，并在持續擴充語音數據，同時研發了歌聲合成技術，合成的歌聲真假難辨，基于這個能力，觀眾甚至可以和谷小雨一起組成樂隊合唱自己喜歡的曲目。
谷小雨進一步拓寬數字人想象空間
此次谷小雨的首次公開亮相，是數字人技術助力文化影響構建的又一次有益嘗試。作為宋韻文化的數字推廣者，谷小雨參演音樂真人秀，以創新形式弘揚傳統文化，進一步拓寬了數字人技術的應用和想象空間。據悉，騰訊互娛知幾和浙江衛視未來還將聯合成立技術實驗室，共同探索數字人更多元化的應用場景。
浙江省政府參事、宋韻文化研究傳承中心專家委員會召集人胡堅認為，通過技術打造一個數字人來傳播宋韻文化，這本身就很有創意，而且也非常符合當下傳播的新方式，“谷小雨的定位是十八歲，也是希望她能吸引更多的年輕人，助力宋韻文化更好地走向年輕人。”
游戲技術正在文化領域創造多元價值
除了這一次表演之外，接下來谷小雨的“排期”非常忙碌，她的身影還會在浙江衛視及其新媒體的屏幕上反復出現，并將出現在與浙江博物館合作等各個推廣宋韻文化的場景之中，生動而廣泛地傳播宋韻文化。
谷小雨的亮相，再一次展示了以數字人技術為代表的游戲技術在文化創新化傳播維度的有效應用。未來，游戲技術還將與更多領域產生廣泛連接，在文化弘揚、公共服務、公益等領域釋放更多可能性，進一步實現多元價值創造。
