作者 | 李冬梅、核子可樂
近日，斯坦福大學與 Meta/Facebook AI 研究（FAIR）實驗室的工作人員共同開發出一套突破性的 AI 系統，能夠僅根據文本描述在虛擬人和物體之間生成自然、協調的運動關系。
這套新系統被稱為 CHOIS（Controllable Human-Object Interaction Synthesis，即可控人機交互合成），使用最新的條件擴散模型技術生成無縫且精確的交互，例如“將桌子舉過頭頂、行走，然后放下桌子。”
簡而言之，這是一套先進的人工智能系統，用于合成逼真的 3D 人機交互。
這項工作被公布在 arXiv 論文預發表網站的一篇文章中，也讓我們得以一睹虛擬人如人類般順暢理解并響應語言命令的未來景觀。例如，把椅子拉近桌子來創造一個工作空間，調整落地燈以投射出完美的光芒，或者整齊地存放手提箱。每一項任務都需要人、物體和周圍環境之間的精確協調。語言是表達和傳達這些意圖的有力工具，在語言和場景背景的指導下，合成逼真的人類和物體運動是構建先進的人工智能系統的基石，該系統可以在不同的 3D 環境中模擬連續的人類行為。
論文地址：https://arxiv.org/pdf/2312.03913.pdf
研究人員們在文章中指出，“根據語言描述在 3D 場景中生成連續的人 - 物交互一直存在不少挑戰。”
他們必須確保生成的運動真實且協調同步，保持人手與物體之間的適當接觸，且物體的運行應當與人類行為具有因果關系。
如何實現
CHOIS 系統之所以效果拔群，依靠的就是其在 3D 環境中摸索出一套獨特的人 - 物交互合成方法。CHOIS 的核心為條件擴散模型，這是一種能夠模擬詳盡運動序列的生成模型。
當給定人 / 物位置的初始狀態以及所需操作的語言描述之后，CHOIS 就會據此生成一系列動作，最終完成任務要求的交互效果。
例如，假設指令是將燈具移到沙發旁邊，CHOIS 會理解指令內容并創建一段逼真的動畫，顯示人類形象拿起燈具并將其放置在沙發附近。
利用 AMASS 等大規模、高質量的運動捕捉數據集，人們對生成人體運動建模的興趣有所上升，包括動作條件合成和文本條件合成。雖然之前的工作使用 VAE 公式從文本生成不同的人體運動，但 CHOIS 專注于人與物體的交互。與通常以手部運動合成為中心的現有方法不同，CHOIS 在物體抓取之前考慮全身運動，并根據人體運動預測物體運動，為交互式 3D 場景模擬提供全面的解決方案。
給定初始對象和人類狀態、語言描述和 3D 場景中的稀疏對象路徑點，CHOIS 生成的物體運動與人體運動同步。
CHOIS 的獨特之處，就在于它使用稀疏對象路徑點和語言描述來指導動畫生成。各個路徑點充當對象移動軌跡中的關鍵標記點，確保運動不僅符合物理規律，而且與語言輸入中描述的高級目標保持一致。
CHOIS 的另一大優勢，在于能夠將語言理解能力與物理模擬功能加以結合。傳統模型往往難以將語言同空間和身體動作聯系起來，特別對于較大的交互范圍，必須考慮諸多因素才能始終保持交互的真實性。
CHOIS 首先解釋語言描述所承載的意圖和風格，而后將其轉化為一系列既符合人體構造、又不違背物體特性的肢體動作，從而解決了大范圍交互過程中的這一現實難題。
該系統尤其具有開創性的一點，就是它能準確表現接觸點（例如手與物體之間的接觸位置），且物體的運行與人類化身施加的力保持一致。此外，該模型在訓練和生成階段還引入了專門的損失函數和指導性術語，旨在強制遵循這些物理約束，這也是讓 AI 成功實現以人類方式理解物理世界、并與物理世界正確交互的重要一步。
對計算機圖形學、
AI 與機器人技術的影響
CHOIS 系統對計算機圖形學產生了深遠影響，特別是在動畫和虛擬現實領域。通過讓 AI 獲得解釋自然語言指令并據此生成逼真人機交互過程的能力，CHOIS 能夠大大減少制作復雜場景動畫所需要的時間和精力。
動畫師們可以使用這項技術來創建出以往極為費時費力的關鍵幀動畫序列，顯著提升設計效率與成果產出。此外，在虛擬現實環境當中，CHOIS 還能帶來更加身臨其境且高度交互的體驗，由用戶通過自然語言指揮虛擬角色，并觀察其以逼真精度執行任務的全過程。這種更高水平的交互能夠將 VR 體驗從僵化、腳本化的事件轉化為更加順暢自然的動態環境用戶輸入響應效果。
在 AI 和機器人領域，CHOIS 則代表我們朝著更加自主的情境感知系統邁出的一大步。傳統機器人往往受到預編程例程的限制，而 CHOIS 這類系統的出現能夠幫助其更好地理解現實世界、并順利按照自然語言給出的描述完成任務。
這對于醫療保健、酒店或家庭環境下的服務型機器人來說尤其有著變革性的影響。在這類環境下，理解物理空間并在其中執行各類任務的能力往往至關重要。
對于 AI 來說，這種同時處理語言和視覺信息以引導任務執行的能力，也使其距離充分理解情境和環境上下文又更進了一步。而且在此之前，這種能力一直是人類的優勢和專利。在 CHOIS 的支持下，未來的 AI 系統有望在更多復雜任務中發揮更大的作用，不僅能夠消化人類指令的“內容”、更能理解人類指令的操作“方式”，以前所未有的靈活性適應新的挑戰。
成果令人驚艷，
前景值得期待
CHOIS 代表了人工智能領域的重大飛躍，特別是在計算機視覺和人機交互領域。通過綜合 3D 人與物體交互，CHOIS 可以生成逼真的動畫和場景，這對于創建沉浸式虛擬體驗至關重要。
該系統使用組合分層方法來理解人類與物體之間交互的復雜本質。這涉及將交互分解為更小的、可管理的部分，并理解這些部分之間的關系。模型的層次結構使其能夠考慮交互的上下文，例如環境和所涉及對象的屬性。
CHOIS 由深度學習算法提供支持，深度學習算法是機器學習的子集。這些算法使系統能夠從人與物體交互的大型數據集中學習，隨著時間的推移提高其準確性和預測能力。
總體而言，斯坦福大學和 Meta 的研究人員在計算機視覺、自然語言處理（NLP）和機器人技術交叉領域的這一極具挑戰的問題上，成功取得了關鍵進展。
研究團隊認為，他們的工作是建立先進 AI 系統的重要一步，該系統能夠在不同的 3D 環境中模擬連續的人類行為。CHOIS 也為進一步研究如何利用 3D 場景加語言輸入來合成人機交互過程打開了大門，有望在未來孕育出更加復雜的 AI 系統。
參考鏈接：
https://venturebeat.com/ai/stanford-and-meta-inch-towards-ai-that-acts-human-with-new-chois-interaction-model/
https://isp.page/news/chois-stanford-and-fair-metas-revolutionary-ai-for-realistic-3d-human-object-interactions/#gsc.tab=0
https://www.marktechpost.com/2023/12/10/researchers-from-stanford-university-and-fair-meta-unveil-chois-a-groundbreaking-ai-method-for-synthesizing-realistic-3d-human-object-interactions-guided-by-language/
