7月27日,由中國互聯網協會指導,微博、新浪新聞主辦的人工智能領域行業峰會“融合生態 價值共創”2022新智者大會召開。NVIDIA英偉達中國區Omniverse負責人何展在大會的“元宇宙,智能時代的下一站”議題中,向來自業界、學界的嘉賓們介紹了NVIDIA Omniverse在創建數字世界方面的一些探索和成果。
2022新智者大會-英偉達中國區Omniverse負責人何展做主題演講
以下為何展演講實錄,內容經編輯略有刪減:
何展:大家好,歡迎參加2022心智者大會,接下來的時間由我來和大家分享,NVIDIA Omniverse和您一起創建數字世界的演講,我來自NVIDIA英偉達,我叫何展。
首先和大家去分享一下,我們今天的第一頁,來跟大家去展示一下英偉達公司是一家什么樣的公司,這里給大家展示的是我們硅谷總部的大樓,非常漂亮,非常充滿科技感的兩棟建筑。
這兩棟建筑在設計的時間里面,我們做的渲染的效果圖,都是來自今天我們重點和大家分享的NVIDIA Omniverse這樣的一個技術平臺,我們也非常歡迎大家有機會到硅谷一起去參觀我們這棟非常有科技感的大樓。
那今天也給大家去分享一下,我們NVIDIA英偉達公司實際上是解決世界上很多難以解決的科研問題,甚至是一系列的計算,一系列應用難題的一家公司,非常的技術。我們今天,首先給大家帶來兩個案例和大家做一個開頭的分享。
第一個案例,是我和我們的科研人員一起去分析我們人類最大的天敵,其實就是癌癥,大家可以看到這張圖非常清晰的這些數字化,模擬的很多的一些高危險系數的圖像,大家可以看到,這是我們科研人員通過我們的實驗室的這種高精度的顯微鏡去觀測到的一個非常罕見的現象。
這個現象是什么,大家可以看到,我們的癌細胞實際上是分裂是一個,由一個分裂成兩個,那我們再通過這樣的技術,可以觀測到一個罕見現象是一個變成了三個,那這類的,我們需要數字化的這些技術來去觀測到,去模擬和仿真的到,那這樣的話,就會可以幫助我們科研人員更好地輔助我們的一些算法,來去幫助到大家去處理,或者是去提前找到方法,去解決這樣的一些罕見的這種疑難雜癥,這是第一個,這也是給大家分享,我們通過數字化給我們人類帶來和身體健康有關的這樣的一個項目。
那么再看第二個項目,大家可能沒有特別關注的天體力學,包括我們大家看到很多科幻的小說,可能會很多人關注和喜歡這類方向的技術。
那這里給大家分享,這是我們在2016年的一個項目,這是人類我們的科學家有史以來,第一次發現了引力波,大家都知道黑洞形成的概念,也有很多科技迷,愛好者,科幻迷愛好者喜歡這類的東西,我們是第一次在實驗中,我們發現了引力波的存在,這里也應用到了我們很多的技術,所以這里邊有三位物理學家在2017年,因此獲得了諾貝爾物理學獎,這里邊也是有我們的NVIDIA GPU,包括在這里邊做到的一系列的貢獻。那分享完了這些案例,大家可能看到我們現在不僅僅是一家硬件的公司,不僅僅是一家GPU公司,我們解決得非常非常多的(問題),通過好的技術,來去解決很多新的業務應用,新的科學難題的,這樣一家全軟件堆棧的AI計算平臺公司。
我介紹完我們公司的定位,還有做的一些事情之后,跟大家進入今天的主要的內容。
首先和大家分享一下,我們這個時代是一個全新的數字化時代,我們即將進入一個帶有現在非常多因素和科技含量內容的這樣的一個時代,大家看到這里邊有我們可以關注到3D,沉浸式的體驗,我們還有新社交,我們還有很多很多的交互性的技術,包括我們自主意識的機器人,還有我們下一代的AI,那這些關鍵詞都代表了下一代我們看到的即將到來的,我們需要關注的技術方向。
我們繼續看,介紹一系列今天給大家帶來的很好玩,很新鮮,很有科技感的應用之前,跟大家再分享一下我們今天有什么樣的一個技術平臺來實現,我們需要有一個開放,我們需要有一個標準,需要讓每一個人都可以去使用的這樣的一個平臺,那就是NVIDIA Omniverse,大家看到我們的定位就是創建,模擬以及體驗。
那這里邊有個定語,我們叫物理準確的數字世界的技術平臺,這是我們的一個定位。
大家看這張圖,其實有非常多的內容,我們以數字工廠這樣一個數字化孿生世界作為一個示范,大家可以看到,我們如何去把它創建出來。同時利用一些(技術),比如說AI,比如說我們的圖形學渲染,比如我們各類的實時光線追蹤等等一些記錄技術的集合,才能夠真正實現物理準確。
那這里面可以看到,我們以前大家看到,過去一些年都是互聯網,是2D的互聯網,那么現在即將到來的,給我們帶來更大意義的是3D的互聯網,那所以這些技術是非常能夠幫助到我們的工廠,幫助到我們的設計師,能夠符合剛剛我上一頁介紹的,下一代我們的AI,下一代數字時代的這些技術,所以這是我們的定位。
我們的下面給大家帶來了一些很好玩的應用,首先關注的是我們的新的創作方式,大家可能經常會聽到UGC,PGC,現在的AIGC,這些都是我們的創作者們給大家帶來的一些系列新的概念,我們看看今天給大家帶來的一個新的創作形式。
這是我們2019年我們的同事展示的這么一個創作的過程,大家看到其實我們做的實際上是2019年,當時是紀念阿波羅登月的一個紀錄片,這里展示的技術,大家可以看到,我們的同事用自己這樣的一個動作,那它是怎么樣去把它動作傳導到這樣的一個數字環境中的,傳統的其實就是用很精密的Mocap的設備來去把它給記錄下來,現在大家可以看到就用ipad,用算法,這個算法叫AI post的算法,它可以把我們同事肢體的動作可以識別出來,映射和傳遞到我們想要的數字的虛擬環境中。
大家可以看到,這個里面都是同步的,同時,還可以實現實時的,下面的這一個鏡頭可以看到我們很多的這些內容,所以這些技術都是我們看到的,大家可以看一下,做的這些動作,這些肢體的抓取是非常精確,這個實現了很多很多我們過去非常非常長的,生產設計的周期,用這種算法的方式來去實現,所以這個是我給大家介紹新的創作方式。
那么再看一下,剛剛提到了PGC和AIGC,我們也帶來了最新的內容,我先把視頻放完,大家先去欣賞一下,大概兩分鐘。
大家看到了這一段視頻,我給大家展示一下這里邊非常復雜的幾個技術環節,大家看到鵝,這個鵝做的翅膀的一個動畫,這個動畫是非常難以做的,我們這里邊就有一個非常自動的動畫系統,還有一個就是大家看到機甲戰士,機甲戰士他在航母艦上,整個奔跑的動作,肢體語言,就是我剛剛介紹的AI post的一些算法,不需要特別復雜的設備,你可以去識別,去抓取,通過算法來去生成他這些所有的跑動的動作。
第三個,大家可以看到片頭的時候,有一段航母非常顫抖的鏡頭,這個鏡頭都是我們的平臺內置的算法做到的,而不是你模擬,很難模擬出來的,那我剛剛也提到了,有一個技術詞匯就是物理準確,這也是一個非常有意思的技術點。
還有一個鏡頭就是大家看到,我們的戰斗機,那個戰斗機應該是F14戰斗機在翻滾的時候,我們的藝術家和設計師里面放了一些小的彩蛋,大家看到,有很多什么蔥,什么洋蔥,他在那翻滾,實際上我們想去給大家展示一個技術實踐可能,就是以前這些都是一套動畫來去模擬它,那我們現在技術平臺里有一個重力感應鍵,你可以把它打開,就可以去實現在計算在戰斗機翻滾的過程中的那種失重的狀態,所以這些一系列的這些技術可以都給大家去展示出來。我可以告訴大家,這個其實是很快的時間就可以做出來的,這些技術難度,如果用傳統的流程來去做,會非常的長和復雜。我們現在基本上可以縮短到1/10的時間,那是給大家提供這樣的一個分享。
那第三塊應用,大家可以看到,現在非常火的就是數字人,包括數字形象。我們現在這部分的內容,其實也給大家去展示了,我們如何用技術更快,更好地去制作,同時我們如何引入AI的能力,讓大家從這種非常非常重復的工作中解脫出來,大家可以看到,這個大家可能都知道,我們在GTC上,我們大會上,我們創始人做Digital Jensen到Toy Jensen的過程,大家看到所有的過程,我們已經展示了我們如何更快,更好地來去把超寫實數字人的工作,整個的流程縮短到最極致,大家看到其實我們在Digital Jensen上放了14秒,但實際上我們整個在后面做了整個五分鐘的視頻。
其實五分鐘基本上是一個好萊塢大片制作特效的這么一個標準的時長,大家知道五分鐘的特效基本上可能會用上百人的團隊可能需要至少六個月,甚至八個月的時間完成,那我們做的這一段引入的這些技術,大家猜一猜,其實我可以告訴大家,我們用了七天就做完了,怎么做到的,就是這張圖,大家看一下黃顏色的三個算法,叫Audio 2 face,Audio 2 gesture,包括Face Video 2 video,大家看其實前面兩個,Audio 2 face,Audio 2 gesture,就像我今天演講一樣,其實未來有可能用這種算法,用語音的輸入,來去驅動我面部的動作,語音的輸入驅動我的肢體語言,這樣的算法,包括后面的FaceVideo 2 video就相當于大家看到我們掃描的模型其實沒有那么真實。
那我們通過一個算法可以把我們創始人演講的“照片”去映射到3D的模型上,這樣用算法實現的這種超寫實的數字形象,數字人會制作得非常快,所以過程是想告訴大家,我們可以通過新的技術把傳統的流程縮短到極致。
這里我們也給大家展示數字人制作的這種非常精致的這種狀態。這里邊有毛發系統,包括很多的這些皮膚材質,所有的光照的一些模擬,大家都可以看到,通過軟件來去做到。
其實我們已經進入了技術的成型期,都可以幫助大家實現到這個級別。我們再看,如果有了數字人的非常精致和超寫實的形象這種狀態,如何去幫助大家走到下一步,讓人動起來,這里給大家帶來剛剛我提到的一些例子,這個視頻里面很有趣,其實就是一段生日歌來去驅動犀牛的表情。
大家聽到這歌就知道這是一個女孩兒唱的,我給大家分享視頻幕后的故事,她是一個六歲的女孩兒,通過很短的時間,把自己錄的生日歌通過我們的算法來去驅動他最喜歡的這些動畫犀牛的角色,制成的視頻,這段視頻在她父親的生日當天送給他。
所以這個例子,給大家分享的就是我們期待,會讓更多的普通人去做,能夠有能力去設計屬于你自己的數字化作品,這是AI的算法來完成的,也是我們的理念,讓我們的技術門檻降低。
我們再看,在最后結束之前,我再給大家分享兩個我個人認為比較顛覆性的技術。
首先看第一個技術,大家看工具叫GauGAN 2,我們看視頻就能知道他能夠做到什么,這里面看到用輸入一些文字,那這個算法就可以去理解這段文字,并且去生成對應文字語義的,真實的照片,就是我們已經實現的,這叫GauGAN。
大家看到畫筆,算法都可以結合起來,我們很多開發者管這個算法叫“神筆馬良”,這個工具是免費使用的,大家可以上我們的官方網站來去體驗它。
第二個顛覆性的小技術,我們叫3DMoMa的算法,大家看這段視頻,可以知道,剛剛我們說有了算法生成圖片,那我們有了圖片,我們是不是可以生成三維,大家可以看到這里邊我們生成的3D模型,120多張圖片,用算法生成的,不是CAD軟件做的,那我們生成的3D模型還可以編輯它的材質,還有它的光照的信息,還有物理屬性信息,這個就是一個非常顛覆性的,2D轉3D的這樣的一個算法生成的應用,希望給大家帶來非常多的新的啟發,讓大家的制作更加快速、更加的便捷、更加的真實、更好、更落地。
我最后跟大家總結一下,今天和大家分享的內容,那我們的NVDIA Omniverse有三件事情可以跟大家分享。
第一,我們期待著通過一系列的技術,降低門檻,讓每一個普通人成為數字內容的創建者。
第二,我們非常關注工程化的技術,所以剛剛我們在幾個應用案例里跟大家都分享了物理準確,基于物理,物理準確。
第三,我們非常全面的去擁抱AI。
最后這段話也分享給大家,人工智能從根本上改變了軟件可以制作什么,以及你如何去制作軟件。
好的,今天我分享的內容就是這些,希望有更多的時間和朋友們一起交流,我們的新技術如何去在數字化世界創建的過程中顛覆未來,顛覆以前傳統的技術。那今天,我的演講內容就到此結束了,謝謝大家。