關于人類用戶姿勢的信息可以映射到虛擬鉸接表示。例如，當參與虛擬現實環境時，人類用戶在虛擬環境中的表現會呈現出與現實世界姿勢相似的姿勢。用戶的真實世界姿態可以通過先前訓練的模型轉換為虛擬鉸接表示的姿態，模型可以訓練為輸出用于最終渲染的相同虛擬鉸接表示姿態。
但有時候，系統可能需要顯示遠非真實的表示。例如，用戶可以選擇具有不同身體比例、骨骼和/或其他方面的不同卡通角色。
圖1顯示了真實世界環境102中的人類用戶100。如圖所示，將人類用戶的姿勢應用于鉸接表示104。換句話說，當人類用戶在真實世界環境中活動，相關活動將轉換為虛擬環境106中鉸接表示104的相應運動。
然而，有時候虛擬鉸接表示可能需要與用于訓練模型的表示不同。為了解決這個問題，名為“Concurrent human pose estimates for virtual representation”的微軟專利介紹了用于同時估計模型鉸接表示和目標鉸接表示的姿態的技術。
具體地說，計算系統至少部分地基于來自一個或多個傳感器的輸入接收人類用戶的一個或多個身體部位的詳細參數的定位數據。這可以包括頭顯慣性測量單元輸出，以及來自合適攝像頭(例的輸出。
系統同時維護一個或多個將模型關節表示與目標關節表示相關聯的映射約束，例如關節映射約束。至少部分基于定位數據和映射約束，姿態優化機同時估計模型關節表示的模型姿態和目標關節表示的目標姿態。一旦進行了估計，就可以將目標關節表示與目標姿勢一起顯示為人類用戶的虛擬表示。
姿態優化機可以使用具有用于模型鉸接表示的ground truth標簽的訓練定位數據進行訓練。然而，訓練定位數據可能缺乏目標鉸接表示的ground truth標簽。
以這種方式，發明描述的技術可以有益地允許人類用戶真實世界姿態的準確再現，而不需要為每個不同的可能目標鉸接表示進行計算昂貴的訓練。
例如當參與虛擬環境時，用戶能夠從虛擬環境中用于代表他們的各種不同的Avatar中進行選擇，并且用戶可以在會話期間動態改變外觀。可以將新的目標鉸接表示添加到用戶可用的表示菜單中，而無需為特定表示重新訓練模型的計算費用。
發明描述的技術可以提供減少計算資源消耗的技術優勢，同時準確地重新創建人類用戶的真實世界姿勢，并允許將準確的姿勢應用于多個不同目標鉸接表示中的任何一個。具體方法是通過同時估計目標和模型的姿勢。
圖2示出用于虛擬表示人體姿勢的示例方法200。
在202，基于來自一個或多個傳感器的輸入，接收人類用戶的一個或多個身體部位的詳細參數的定位數據。
在204，維護一個或多個將模型鉸接表示與目標鉸接表示相關的映射約束。圖4顯示了示例模型鉸接表示400。
如上所述，目標鉸接表示呈現用于在虛擬環境中顯示，并且可以通過姿態優化機輸出目標姿態來顯示。例如，目標鉸接表示可以具有任何合適的外觀和比例，并且可以具有任何合適數量的肢體、關節和/或其他可移動的身體部位。
目標鉸接表示可以類似于非人類動物、虛構角色或任何合適的Avatar。模型鉸接表示和目標鉸接表示通過一個或多個映射約束402相關聯。
一個或多個映射約束可以包括聯合映射約束404。對于目標鉸接表示的關節，關節映射約束指定模型鉸接表示中的一組一個或多個關節。例如，模型鉸接表示400包括多個關節，其中兩個標記為403A和403B，其對應于肩關節和肘關節。
目標鉸接表示104包括類似的關節405A和405B。因此，多個映射約束可以包括目標表示的關節405A和405B的不同的關節映射約束，表明關節映射到模型表示的關節403A和403B。
關節映射約束可以進一步指定映射到目標關節表示的關節的模型關節表示中的每個關節的權重。例如，當模型鉸接表示中只有一個關節映射到目標鉸接表示的特定關節時，模型關節的權重可能為100%。當兩個模型關節映射到目標關節時，兩個模型關節的權重可以是50%和50%、30%和70%、10%和90%等。
回到圖2，在206，方法200包括通過先前訓練的位姿優化機器同時估計模型鉸接表示的模型位姿和目標鉸接表示的目標位姿。模型位姿和目標位姿至少部分基于定位數據進行估計。
圖5A示意性地示出了位姿優化機500的示例，其可以作為計算機邏輯組件的任何合適組合來實現。作為一個非限制性示例，位姿優化機500可以實現為如圖6所述的邏輯子系統602。
如圖5A所示，姿態優化機同時估計模型鉸接表示的模型姿態502A和目標鉸接表示的目標姿態502B。這至少部分地基于定位數據504和一個或多個映射約束506來完成。
姿態估計可以至少部分地基于在一個或多個先前時間框架估計的一個或多個先前模型姿態和先前目標姿態來完成。因此，位姿優化機器500存儲多個先前的位姿506，其可以表示為每個模型關節的多個局部旋轉。
一個或多個映射約束可以包括位姿連續性約束，它施加幀對幀的限制，限制給定關節的局部旋轉可以從一個幀改變到另一個幀的程度。
圖5B示意性地說明了將估計的模型和目標姿態應用于模型和目標鉸接表示。具體而言，圖5B再次描繪了模型鉸接表示400和目標鉸接表示104對應的默認姿態407A和407B。然后改變鉸接定向的姿態，使得模型鉸接表示400假設模型姿態502A，目標鉸接表示104假設目標姿態502B。
應當理解，模型位姿和目標位姿是同時估計。換句話說，與替代方法相比，姿態優化機不首先為模型鉸接表示輸出模型姿態，然后將姿態轉移到目標鉸接表示。相反，姿態估計可以描述為同時為滿足一組約束的兩種不同表示找到兩種不同的姿態。
例如，模型鉸接表示的姿態可以受到姿態優化機器的先前訓練的約束，以輸出給定一組定位數據的可能的人類姿態，并且目標鉸接表示的姿態可以受到將目標鉸接表示與模型鉸接表示相關聯的一個或多個映射約束的約束。
另外，姿態估計可以由姿態優化機實現的先前訓練的機器學習模型508執行。在一個實施例中，姿態優化機可配置為基于稀疏輸入定位數據輸出姿態。換句話說，姿態優化機可以訓練成基于比姿態優化機在運行時通常接收到的更多的輸入參數輸出姿態估計。
換句話說，提供給姿態優化機的定位數據可能包含人類用戶n個關節的旋轉參數，而姿態優化機之前訓練的是接收n+m個關節的旋轉參數作為輸入，其中m>1。然后，估計模型姿態可包括估計模型鉸接表示的n+m模型關節的旋轉參數，至少基于n個關節的旋轉參數，而不基于m個關節的旋轉參數。
另外，姿態優化機的訓練定位數據可以不包括目標鉸接表示的ground truth標簽。相反，標鉸接表示通過一個或多個映射約束與模型鉸接表示相關，而映射約束通常將目標姿態約束為與模型姿態基本相似。
微軟指出，采用上述技術，過程的速度可以有益地提高兩個數量級。這可以實現模型和目標姿態的實時并發估計，而無需使用專門的硬件加速。
回到圖2，在208，方法200包括將具有目標姿態的目標鉸接表示作為人類用戶的虛擬表示輸出以供顯示。例如在圖1中，目標鉸接表示104通過電子顯示設備108呈現。表示目標鉸接表示的顯示裝置可以采用任何合適的形式并且可以使用任何合適的底層顯示技術。
相關專利：Microsoft Patent | Concurrent human pose estimates for virtual representation
名為“Concurrent human pose estimates for virtual representation”的微軟專利申請最初在2022年4月提交，并在日前由美國專利商標局公布。
