Apple Vision Pro開發者發布的一段視頻似乎展示了Vision Pro當前的手部追蹤和遮擋性能水平。
Vision Pro預計將在未來幾個月內推出,手部操控將是主要輸入方式。系統級交互將手部追蹤與眼部追蹤相結合,形成“查看和點擊”模式,不僅如此開發者還可以構建支持用戶直接使用雙手與應用交互的應用程序。
Vision Pro手部追蹤分為兩種不同的功能:“手部追蹤”和“手部遮擋”。
手部追蹤是手、手關節和指尖位置的預估3D模型,該模型應用于物體觸摸、抓握和交互。
手部遮擋涉及系統如何將真實手部覆蓋到虛擬內容。Vision Pro不是將虛擬手部3D模型繪制到場景中,而是剪切真實手部圖像以將其顯示在場景中。這樣做為虛擬內容增添了另一層真實感,使用戶可以看到自己雙手。
為此,基于Unity構建Vision Pro的開發者發布了一段視頻,清晰展示了手部追蹤和遮擋。
我們可以看到,手部遮擋非常好,但并不完美;當完全被虛擬內容包裹并快速移動時,可以看到手部邊緣出現一些剪裁。
同時,實際的手部追蹤位置比手部遮擋更加滯后,大約慢100-200毫秒。然而,我們無法完全確定Vision Pro手部追蹤的真實延遲,因為我們只能看到遮擋追蹤手部的視圖來進行比較(手部追蹤本身相對于真實的手部會有一些延遲)。
在這種情況下,Unity開發者稱與最新Quest手部追蹤功能相比,Vision Pro的早期實驗顯示出非常高的手部追蹤延遲,其他Unity開發者一致認為,也在Vision Pro上也看到了類似的延遲。
然而,該視頻反饋的是Unity應用內部手部追蹤集成,這意味著手部追蹤性能和延遲可能存在與Unity相關的其他因素,而在使用蘋果第一方Vision Pro開發工具時,這些因素并不存在。考慮到Vision Pro尚未推出,并且這些工具仍在開發中,當頭顯實際上架時,我們可能會看到更多手部追蹤改進。