在 Quest的手部追蹤中，Meta 表明 AI 是 VR 和 AR 的一項(xiàng)基礎(chǔ)技術(shù)：經(jīng)過數(shù)小時(shí)手部運(yùn)動(dòng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即使使用 Quest 頭顯的低分辨率攝像頭也能實(shí)現(xiàn)強(qiáng)大的手部追蹤，專門針對(duì)手部跟蹤進(jìn)行了優(yōu)化。
AI 的預(yù)測(cè)能力使這成為可能：由于在培訓(xùn)中獲得的先驗(yàn)知識(shí)，來自現(xiàn)實(shí)世界的少量輸入足以將手準(zhǔn)確地翻譯到虛擬世界，包括 VR 渲染在內(nèi)的完整實(shí)時(shí)捕捉將需要更多功率。
近日，Meta 旗下 Reality Labs 研究人員展示了一項(xiàng)新研究，即通過使用先前收集的跟蹤數(shù)據(jù)訓(xùn)練 AI ，以盡可能合理和物理正確的方式模擬虛擬身體運(yùn)動(dòng)。QuestSim 只能使用來自頭顯和兩個(gè)手柄的傳感器數(shù)據(jù)，對(duì)可能進(jìn)行的全身運(yùn)動(dòng)進(jìn)行模擬。
Meta 團(tuán)隊(duì)使用人工生成的傳感器數(shù)據(jù)訓(xùn)練 QuestSim AI。為此，研究人員在 172 人的 8 小時(shí)動(dòng)作捕捉剪輯中模擬了頭顯和控制器。這樣一來，他們就不必從頭開始重新捕獲頭顯和控制器數(shù)據(jù)以及身體動(dòng)作。
動(dòng)作捕捉片段包括 130 分鐘的步行、110 分鐘的慢跑、80 分鐘的手勢(shì)隨意交談、90 分鐘的白板討論和 70 分鐘的平衡。使用強(qiáng)化學(xué)習(xí)對(duì)虛擬化身進(jìn)行的模擬訓(xùn)練持續(xù)了大約兩天。
訓(xùn)練后，QuestSim 可以使用真實(shí)世界的頭顯和控制器數(shù)據(jù)來識(shí)別一個(gè)人正在做的動(dòng)作。使用 AI 預(yù)測(cè)，QuestSim 甚至可以模擬腿部等身體部位的運(yùn)動(dòng)，這些部位沒有實(shí)時(shí)傳感器數(shù)據(jù)，但其模擬運(yùn)動(dòng)是合成動(dòng)作捕捉數(shù)據(jù)集的一部分，即由 AI 學(xué)習(xí)。
不過，這項(xiàng)技術(shù)目前尚未完美，化身的動(dòng)作模擬依然存在著一些不足。因?yàn)榛淼膭?dòng)作是在沒有額外的非物理基力下模擬而出的，在試圖移動(dòng)角色基點(diǎn)時(shí)需要一系列特殊的關(guān)節(jié)力矩。
QuestSim 適用于不同體型的人，當(dāng)角色不斷偏離用戶之后，會(huì)變得很難跟上動(dòng)作。因此，模擬角色在試圖模仿一些高活躍度動(dòng)作（跳舞、跳躍）時(shí)會(huì)摔倒，因?yàn)樗鼈冞€沒有接受相關(guān)扭矩控制的強(qiáng)化學(xué)習(xí)訓(xùn)練。
Meta 的研究團(tuán)隊(duì)還表明，僅來自頭顯的傳感器數(shù)據(jù)與 AI 預(yù)測(cè)相結(jié)合就足以制作出可信且物理上正確的虛擬化身。在進(jìn)一步的工作中，Meta 研究人員希望將更詳細(xì)的骨骼和身體形狀信息整合到訓(xùn)練中，從而改善化身的運(yùn)動(dòng)多樣性。
