近日，人工智能領(lǐng)域的競爭再度升溫，Google DeepMind在OpenAI即將發(fā)布新成果的前夕，搶先推出了其最新研發(fā)的大型基礎(chǔ)世界模型——Genie 2。這款模型不僅能夠生成各種可控動作和可玩的3D環(huán)境，還可用于訓(xùn)練和評估具身智能代理。
Genie 2的強大之處在于，只需一張?zhí)崾緢D像，它便能根據(jù)用戶輸入的文本提示，生成一個對應(yīng)的交互式虛擬世界。無論是人類還是AI代理，都能在這個由AI生成的3D游戲世界中探索和互動，使用鍵盤和鼠標(biāo)進行操作。
作為一個自回歸潛在擴散模型，Genie 2在大型視頻數(shù)據(jù)集上進行訓(xùn)練。視頻中的潛在幀經(jīng)過自動編碼器處理后，被傳遞到大型Transformer動力學(xué)模型中。該模型使用類似于大語言模型的因果掩碼進行訓(xùn)練。在推理時，Genie 2能以自回歸方式逐幀采樣，獲取單個動作和過去的潛在幀，Google DeepMind使用無分類器指導(dǎo)（CFG）來提高動作的可控性。
Genie 2在多個方面展示了其卓越的效果與優(yōu)勢，包括行動控制、生成反設(shè)事實、長視界記憶、長視頻生成、多樣環(huán)境、3D結(jié)構(gòu)、物體交互、復(fù)雜角色動畫、NPC、物理、煙霧、光影以及快速原型設(shè)計等。其博客文章中發(fā)布了大量由未蒸餾的基礎(chǔ)模型生成的視頻示例，展示了這些功能。雖然蒸餾版本支持實時交互，但視覺質(zhì)量會有所降低。
Genie 2具有超強的空間記憶能力，能夠模擬真實世界環(huán)境。與之前的世界模型相比，Genie 2在通用性上取得了顯著進步，能夠生成種類繁多的豐富3D世界。用戶可以通過文生圖模型Imagen 3生成的單個圖像，按照提示詞生成一個可交互的3D世界，并與之互動。
Genie 2還能快速創(chuàng)建各種交互體驗的原型，將概念藝術(shù)和繪圖轉(zhuǎn)化為完全交互式環(huán)境。這對于藝術(shù)家和設(shè)計師來說，是一個快速制作研究環(huán)境概念原型的利器。同時，Genie 2還可為AI代理創(chuàng)建豐富多樣的環(huán)境，生成在訓(xùn)練期間未見過的評估任務(wù)，為具身智能提供了絕佳的訓(xùn)練場。
盡管這項研究仍處于早期階段，但Google DeepMind相信Genie 2是解決安全訓(xùn)練具體AI代理的結(jié)構(gòu)性問題的途徑，同時實現(xiàn)邁向通用人工智能（AGI）所需的廣度和通用性。他們計劃在通用性和一致性方面繼續(xù)改進Genie的世界生成能力，以構(gòu)建更通用的AI系統(tǒng)和代理，使其能夠理解和安全地執(zhí)行各種任務(wù)。
