置身于充滿科技魅力的“艦隊(duì)指揮室”，騰訊集團(tuán)市場(chǎng)與公關(guān)副總裁、騰訊青年發(fā)展委員會(huì)副主席李航的數(shù)字人分身揭秘即將開始的活動(dòng)亮點(diǎn)；作為中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員、電視劇《三體》、電影《流浪地球2》的科學(xué)顧問，王元卓與數(shù)字人“王元卓”展開一場(chǎng)關(guān)于“數(shù)字生命體”的探討，將科幻夢(mèng)想帶入現(xiàn)實(shí)，和大家共同探尋那個(gè)充滿奇妙的科學(xué)世界。
這些精彩場(chǎng)景均來(lái)自第五屆騰訊青少年科學(xué)小會(huì)，該活動(dòng)由清華大學(xué)、中國(guó)宋慶齡基金會(huì)、騰訊公司共同舉辦。在AI浪潮席卷全球的當(dāng)下，本屆活動(dòng)以“用AI改編世界”為主題，薈集科研機(jī)構(gòu)、高等院校、AI業(yè)界的科學(xué)家，為全國(guó)青少年量身定制了“AI探索一日之旅”，上述這些充滿科技氛圍的數(shù)字人現(xiàn)場(chǎng)展示是由AI智能創(chuàng)作助手騰訊智影提供的技術(shù)支持。
騰訊自研AI 推動(dòng)數(shù)字人技術(shù)普及
據(jù)了解，數(shù)字人“李航”和“王元卓”是騰訊智影基于他們真人為原型打造的。依托騰訊自研AI能力，騰訊智影僅采集了李航和王元卓本人錄制的3分鐘視頻，即快速生成他們的數(shù)字人分身。在現(xiàn)場(chǎng)可以看到，他們的數(shù)字人分身不僅外形高度逼真，其說(shuō)話時(shí)的語(yǔ)音、語(yǔ)調(diào)、唇動(dòng)，還有招牌性的表情和習(xí)慣性動(dòng)作，也都與真人如出一轍，相似度高達(dá)98%。
數(shù)字人可以通過文本和語(yǔ)音輸入兩種方式進(jìn)行驅(qū)動(dòng)，快速生成播報(bào)視頻，操作高效便捷。王元卓表示，數(shù)字人可以作為他的分身去表達(dá)觀點(diǎn)、答疑解惑，幫助他高效完成課件制作、科普內(nèi)容創(chuàng)作和參會(huì)視頻錄制等繁復(fù)的工作，并在活動(dòng)現(xiàn)場(chǎng)演示了“數(shù)字人”王元卓在不同場(chǎng)景下的“分身有術(shù)”，比如在直播時(shí)與觀眾互動(dòng)，去鄉(xiāng)村地區(qū)給孩子們進(jìn)行科普講座等。這些節(jié)省出來(lái)的時(shí)間和精力可以讓他有更多時(shí)間思考，去做更有創(chuàng)造性的事情。
“為了實(shí)現(xiàn)高質(zhì)量且高效的數(shù)字人定制，智影數(shù)字人需要同時(shí)進(jìn)行形象克隆和音色復(fù)刻。通過端到端的StyleTTV（Text to Video）合成框架系統(tǒng)，結(jié)合騰訊智影云端視頻創(chuàng)作平臺(tái)的各種輔助功能，實(shí)現(xiàn)一鍵式‘輸入即所得’的數(shù)字人多模態(tài)合成和視頻生成。”騰訊智影技術(shù)負(fù)責(zé)人介紹。
為實(shí)現(xiàn)逼真的真人形象，智影數(shù)字人通過人臉檢測(cè)算法對(duì)用戶視頻中的面部關(guān)鍵點(diǎn)（如眼睛、嘴巴、鼻子等）進(jìn)行分析，進(jìn)而進(jìn)行3D建模以生成面部訓(xùn)練模型。同時(shí)，通過建立面部關(guān)鍵點(diǎn)與視頻中語(yǔ)音的對(duì)應(yīng)關(guān)系，智影能夠創(chuàng)建個(gè)人唇形庫(kù)。基于智影自有的大規(guī)模唇形預(yù)訓(xùn)練模型，通過語(yǔ)音識(shí)別（ASR）模型提取個(gè)人聲學(xué)參數(shù)，將其與唇形庫(kù)進(jìn)行匹配，從而訓(xùn)練出能夠從聲音預(yù)測(cè)匹配唇形的定制化唇形模型，實(shí)現(xiàn)對(duì)說(shuō)話人口型的預(yù)測(cè)，再將唇部模型與面部模型相結(jié)合，便能成功“克隆”出一個(gè)與真人極為相似的形象。
接下來(lái)是音色復(fù)刻，主要包括音色定制和語(yǔ)音合成兩個(gè)部分。智影AI將人聲拆解為三個(gè)元素：口音、音色和韻律。在數(shù)字人的生成過程中，智影基于自研聲學(xué)模型，按照人類講話時(shí)的聲音逐幀記錄聲學(xué)參數(shù)和對(duì)應(yīng)波形，實(shí)現(xiàn)音色和韻律的數(shù)字化建模。結(jié)合編碼器進(jìn)行口音控制，智影能夠準(zhǔn)確識(shí)別用戶讀某個(gè)字的聲音特點(diǎn)。這樣不僅確保音色的高保真度，還能實(shí)現(xiàn)不同發(fā)音人的韻律模型和音色模型的自由組合搭配，同時(shí)支持口音和特色方言的選擇與控制。
除此之外，為了讓數(shù)字人在說(shuō)話時(shí)具備與真人相似的情感表達(dá)，還需要借助NLP（自然語(yǔ)言處理）模型。當(dāng)用戶輸入文本后，智影能夠通過NLP模型分析文本內(nèi)容，預(yù)測(cè)真人在說(shuō)話時(shí)相應(yīng)的韻律、節(jié)奏、語(yǔ)氣和情緒。這使得數(shù)字人也能擁有豐富的韻律節(jié)奏和情感表達(dá)，使其語(yǔ)言表達(dá)風(fēng)格更加接近真人，并能滿足不同場(chǎng)景和情境的需求。
智影數(shù)字人在多行業(yè)實(shí)現(xiàn)開創(chuàng)性應(yīng)用
智影數(shù)字人憑借多年行業(yè)深耕的技術(shù)積累，不僅在騰訊科學(xué)小會(huì)上展示了在科普領(lǐng)域的應(yīng)用價(jià)值，還在多個(gè)行業(yè)都有開創(chuàng)性的應(yīng)用，例如推出首個(gè)AI新聞主播、AI氣象主持人、AI營(yíng)養(yǎng)師、AI數(shù)字人法官、AI手語(yǔ)合成主播等等。騰訊智影通過不斷降低數(shù)字人使用門檻，推進(jìn)實(shí)現(xiàn)數(shù)字人內(nèi)容創(chuàng)作的大眾化、智能化及規(guī)模化應(yīng)用。
在傳媒領(lǐng)域，騰訊智影與人民日?qǐng)?bào)新媒體合作推出了數(shù)字人主播“任小融”，為大家?guī)?lái)充滿互動(dòng)感的兩會(huì)新聞播報(bào)；與上海人民廣播電臺(tái)長(zhǎng)三角之聲共同打造了“長(zhǎng)小姣”和“黃大帥”兩位虛擬主播。這些虛擬數(shù)字人主播不僅突破了時(shí)空限制，推動(dòng)了媒體內(nèi)容生產(chǎn)流程的重塑和革新，還以專業(yè)且不輸真人的表現(xiàn)，為觀眾帶來(lái)個(gè)性化定制的新聞播報(bào)體驗(yàn)。
智影數(shù)字人技術(shù)在醫(yī)療領(lǐng)域同樣發(fā)揮著重要作用。騰訊智影為首都醫(yī)科大學(xué)附屬?gòu)?fù)興醫(yī)院月壇社區(qū)衛(wèi)生服務(wù)中心的孫艷格醫(yī)生制作了數(shù)字人分身，幫助老年患者看得清用藥說(shuō)明書。這一創(chuàng)新解決方案提高了老年患者的用藥安全，同時(shí)為藥品說(shuō)明書適老化的低成本改造提供了一種新思路。
此外，騰訊智影數(shù)字人還能實(shí)現(xiàn)7*24小時(shí)的無(wú)人干預(yù)內(nèi)容直播，大大節(jié)省了人工開播的成本和精力。在直播過程中，還可以進(jìn)行互動(dòng)問答，隨時(shí)切換至真人或由真人語(yǔ)音接管。另外，依托自研手語(yǔ)翻譯系統(tǒng)，騰訊智影打造了全球首個(gè)AI手語(yǔ)數(shù)字人主播。秉承騰訊公司的科技向善理念，為冬奧會(huì)和王者榮耀KPL比賽提供手語(yǔ)數(shù)字人支持，為聽障人士進(jìn)行賽事報(bào)道和解說(shuō)。
本次科學(xué)小會(huì)通過利用騰訊AI技術(shù)和產(chǎn)品能力，為青少年打造可沉浸式感知AI魅力的現(xiàn)場(chǎng)舞臺(tái)、提供AI實(shí)踐產(chǎn)品和平臺(tái)。除了感受智影數(shù)字人跨越虛擬與現(xiàn)實(shí)邊界的體驗(yàn)，青少年們還能用“了不起的甲骨文”小程序，了解甲骨文及漢字的演變歷史；在“AI編程第一課”小程序上體驗(yàn)“AI作曲”等等。這些充滿想象的技術(shù)，不僅充分展示了AI在改變世界的無(wú)限可能，也將引導(dǎo)青少年在日常生活中善用AI解決問題、創(chuàng)新創(chuàng)造，培養(yǎng)科技能力，追夢(mèng)未來(lái)。
