雖然是新技術(shù),但是已經(jīng)有人在用了。
5月29日,在中國臺北舉辦的2023年臺北國際電腦展(Computex)上,英偉達首席執(zhí)行官黃仁勛開始了他長達兩小時的主題演講。
作為演講前半部分用于吸引觀眾眼球的重頭戲,黃仁勛公布并介紹了英偉達和合作伙伴ConvAI共同構(gòu)建的新AI技術(shù):Omniverse Avatar Cloud Engine(以下簡稱ACE)。
ACE是一套基于生成式AI技術(shù)的模型代工服務(wù),能夠為游戲中的語音、對話和角色動畫提供AI模型,或者說,給NPC添加實時交互的功能。“……我們用AI來渲染場景,還能用它讓場景變得栩栩如生。”
黃仁勛還播放了一段代號“Kairos”的演示視頻。這段視頻運用虛幻5引擎和光線追蹤技術(shù),渲染了一間賽博風格的拉面店,由玩家操控的Kai來到店里,和AI驅(qū)動的NPC老板Jin實時交流。他們的對話翻譯如下:
Kai:嗨,Jin,你還好嗎?
Jin:不幸的是,不太好。
Kai:怎么了?
Jin:我擔心這附近的犯罪活動。最近情況變得很糟。我的拉面店也陷入了交火之中。
Kai:我能幫忙嗎?
Jin:如果你想為此做些什么,我聽說了這樣的傳言。Kumon Aoki,那個強大的犯罪頭目,正在城市里制造各種各樣的混亂。他可能是這些暴力行為的根源。
Kai:我會跟他談?wù)劇N以谀睦锬苷业剿?/p>
Jin:我聽說他常去城東邊的地下搏擊俱樂部。試試去那里吧。
Kai:OK,我會過去的。
Jin:小心點,Kai。
搞這一大段對話的目的,就是讓玩家接了個支線任務(wù),找到這個Kumon Aoki,還拉面店一片清凈。
Jin的對話都是AI“即興創(chuàng)作”的產(chǎn)物,只是視頻中的對話流程乏善可陳,和之前的游戲中NPC照本宣科般的對話似乎沒啥區(qū)別。Jin的確在結(jié)合世界觀作出發(fā)言,但玩家的問題問得太過簡單,我們無從得知英偉達AI的實際性能及應變能力。
不過,Jin對自然語言實時做出的面部反應,或者說口型,完全對得上他的發(fā)言,光這一點就足以技驚四座。
在ACE支持下的Jin“栩栩如生”,是英偉達的三種技術(shù)相輔相成的結(jié)果。
首先是NeMo,根據(jù)預先輸入的知識和角色背景故事,構(gòu)建、定制并部署語言模型,是NPC的大腦。
然后是Riva,用于識別玩家的語音、實現(xiàn)文本和語音互轉(zhuǎn),讓NPC給出實時語音對話,是NPC的耳朵和嘴。
最后是Audio2Face,即時創(chuàng)建匹配語音的NPC面部動畫,并直接添加到Epic的虛幻5引擎或其他工具中,可謂是NPC的面部神經(jīng)。
圖源英偉達官網(wǎng)
Nvidia GeForce平臺副總裁杰森·保羅(Jason Paul)在展前簡報中表示,ACE可以一次用于多名AI角色,理論上甚至可以讓NPC之間相互交談。但他承認,他還沒有看到過關(guān)于這方面的實際測試。
ACE是個代工服務(wù),是英偉達向游戲開發(fā)人員出售的技術(shù),旨在“讓幾乎所有開發(fā)人員都能以經(jīng)濟高效的方式設(shè)計由AI控制的NPC”。
當然,構(gòu)成ACE的三項技術(shù)并非缺一不可,單買也沒問題。據(jù)英偉達的新聞稿,一批游戲開發(fā)商和初創(chuàng)公司,已經(jīng)在其工作流程中使用且僅使用了英偉達的Audio2Face技術(shù)。
例如,烏克蘭游戲開發(fā)商GSC Game World,就準備在由虛幻5引擎打造的《潛行者2:切爾諾貝利之心》中試用Audio2Face,讓NPC的口型對得上配音演員的聲音。
《潛行者2》開發(fā)中畫面
老黃的演講能夠吸引多少游戲開發(fā)者買下ACE、又有多少開發(fā)者會因為這項技術(shù)革新受益或失業(yè),暫且都是未知數(shù)。不過有一點可以確定:用于實現(xiàn)ACE效果的計算和渲染,需要更強大的顯卡性能支撐。但愿英偉達在將來推出的新顯卡,價格不會漲得太狠。