10月8日，第19屆亞洲運動會在浙江杭州正式落幕。在這場亞洲規模最大的綜合性運動會閉幕式上，騰訊游戲知幾團隊與浙江衛視創新合作打造的數字人“谷小雨”在短片《最憶是杭州》中驚艷亮相，在呈現亞運之美的同時，向觀眾與選手表達歡慶與惜別。
亞運會期間，基于游戲科技打造的數字人“谷小雨”，出現在亞運會宣傳的各個環節，以新聞播報、點評、訪談等方式頻頻登場，相關話題閱讀量累計達600萬，全網累計曝光量突破1200萬，登上同城熱搜，并被杭州亞組委官方點贊轉發，探索出了數字人參與新聞報道的更多可能性。
見證體育精神：“谷小雨”的亞運會全景式宣傳與報道
“谷小雨”是浙江省委宣傳部指導、浙江廣播電視集團部署，浙江衛視與騰訊游戲知幾聯合打造的數字人。“谷小雨”身著的改良宋韻服飾，結合了當下潮流元素進行了創新設計，水墨長裙的印花靈感則來源于南宋西湖圖。其形象設計融合了古典文化與流行元素，寓意著雨生百谷，欣欣向榮。
在亞運會期間，“谷小雨”參與了亞運會系列宣傳報道。浙江衛視的新聞欄目《亞運時間》以新聞播報、專家點評、嘉賓訪談等形式，聚焦運動之美、發展之美、人心之美，全景式展示杭州亞運會盛況。其中，“谷小雨”主持的@亞運板塊，聚焦網絡最新最潮的亞運熱點，以具有感染力的內容形式，帶領大眾以全新視角感受亞運氛圍，感受運動之美。
除了在大屏端通過《亞運時間》天天與觀眾見面外，“谷小雨”也在“Z視介”上也推出《谷小雨看視介》和亞運會吉祥物“三小只”一起主持，帶用戶一起看亞運精彩奪冠時刻。宋韻文化推廣人與亞運吉祥物同屏，奇妙互動、妙趣橫生，首期節目就獲得獲亞組委官方微博的點贊轉發。
在中秋和國慶節期間，“谷小雨”還與亞運“三小只”推出了節慶表情包，以極具辨識度的形象火遍全網。由亞組委、中國藍新聞及“谷小雨”共創的《當谷小雨遇上亞運“三小只”》短視頻也在短視頻平臺迅速破圈，讓國潮宋韻和亞運吉祥物碰撞出不一樣的火花，為杭州第19屆亞運會加油！收獲眾多網友關注：“沒想到國風里的三小只和小雨這么美！”
這并不是“谷小雨”首次亮相重大活動。今年9月，2023宋韻文化節啟動暨“意造大觀——宋代書法及影響”特展在杭州舉行，作為宋韻文化推廣人“谷小雨”，又一次擔任了宋韻文化節的主持人，展示了虛擬人物在文化傳承和藝術表達方面的潛力。
作為國內首個使用虛幻引擎在廣電AR實時舞臺實現實時渲染的超過200萬面數的高精度寫實虛擬人，在全球體育和文化的盛大舞臺上，“谷小雨”成為了無處不在的焦點之一。依托于AI智能驅動系統，谷小雨具備更加擬人的感知、表達和交互能力。亞運會后，谷小雨計劃參與新一季的浙江衛視《王牌對王牌》等綜藝節目，和神秘嘉賓進行互動，還將登上浙江衛視跨年夜晚會的舞臺，為大家帶來新奇妙的視聽新感受。
“谷小雨”背后：高寫實語音驅動3D面部生成與高表現低資源語音合成的探索
由南宋臨安“穿越”而來的谷小雨，兼具技術之“形”與文化內涵所賦予的“神”，不僅僅是一段簡單的代碼，更是技術與文化、現實與虛擬的融合，是科技與傳統藝術的交匯。這得益于背后“高寫實語音驅動3D面部”和“高表現低資源語音合成”等技術的驅動，騰訊知幾團隊基于此推出了“AI驅動3D數字人口播內容平臺”。據悉，谷小雨亞運期間的視頻內容，都由該平臺產出，只需輸入文本即可快速轉換成語音與自定義“谷小雨”的視頻場景、動作。
語音驅動3D面部動畫任務的目標是將輸入的語音信號轉換成生動逼真的3D面部動畫。“谷小雨”采用了由騰訊游戲知幾團隊和Aivatar團隊共同研發的業界首個使用非平行數據實現高寫實語音驅動3D面部的算法，以及首個能使用開放文本控制生成面部動畫的算法，不需要動畫師或者技術美術的參與，只需要輸入文字內容，就能通過合成后的語音實時驅動對應的面部表情。“谷小雨”也由此成為業內首個不依賴平行語音—動畫訓練數據實現高寫實語音驅動3D面部算法的數字人，實現了通過語音到面部動畫的全自動生成，支持各語種、歌唱、特殊語氣等任意語音驅動，并支持多種情緒控制。
“谷小雨”還實現了語音驅動多種情緒面部表情，填補了語音預訓練模型在中文領域的空白。研發團隊完成了高質量情緒3D面部動畫數據集的收集，共積累超百萬幀高質量動畫數據，擁有數萬小時的中英文語音庫。針對數據采集難的問題，提出了業內首個基于跨模態編碼的半監督語音驅動3D面部動畫框架，成為首個使用自然語言作為提示來實現靈活可控的情感語音驅動3D面部動畫生成的團隊。在語音表現方面，傳統語音合成方案依賴高質量語音合成數據集，數據集的制作成本高、制作周期長、風格種類少，無法覆蓋多種場景需求。騰訊游戲知幾團隊構建的多風格高表現力語音合成系統，實現了將文本轉換成目標音色語音的音頻，可以支持不同情感，不同風格，不同音色以及不同口音的語音生成。
此外，騰訊游戲知幾團隊在語音數據上有大量積累，包括中低質量的對話語音數據，以及高質量的游戲相關，閱讀相關的語音合成數據數萬小時。結合團隊在文本語言模型領域相關的積累，騰訊游戲知幾團隊自研了基于大數據、大模型的語言合成方案，30秒就可以復刻語音的音色和風格，降低了語音合成落地成本。
為了快速高效地獲得數字人的動作視頻素材，研發團隊還自研了數字人可控視頻生成渲染系統，能夠在較低算力支持的平臺上也能快速部署，實現谷小雨視頻素材的快速產出。
游戲科技與藝術的交融，探索數字人的更多可能
“谷小雨”以其高度寫實的面部動畫和多樣性的語音合成能力，展示了以數字人技術為代表的游戲科技在文化創新化傳播維度的有效應用，開啟了數字人在多領域的新篇章。借助前沿的技術，這一全新形態的虛擬存在將賦予數字化時代新的可能性。
高寫實語音驅動3D面部技術賦予了谷小雨近乎真人的面部表情與微妙的情感變化。而高表現低資源語音合成技術，則使其在各種場景中都能清晰自然地傳遞信息，無論是新聞報道還是藝術表演。
在文化、藝術和教育領域，谷小雨的出現為傳統內容賦予了聲音和生命，并使得中國文化以一種更為新穎的方式呈現。通過游戲技術的驅動，讓中國傳統文化有了新穎且潮流的呈現方式，能讓外界更為直觀的感受到中國文化的魅力。
在內容領域，結合基于大數據、大模型的語言合成方案以及高寫實語音驅動3D面部等技術的驅動，數字人擁有了更加豐富的情感表達與互動能力。可以大幅降低制作成本，同時提高制作效率與質量。制作高質量的虛擬人視頻不再需要高昂的成本和長時間的制作周期。這意味著，無論是大型的商業宣傳，還是個人的內容創作，都可以快速、高效地生成高品質的數字視頻。
“谷小雨”打開了一扇通往數字世界的窗戶。在線上活動、虛擬會議等眾多場景中，數字人能為用戶提供更多的交互方式，讓溝通更為真實、有趣，幫助真實世界與數字世界之間建立橋梁。
