一種定位物體的定位方法、系統和頭戴顯示設備與流程

2023-06-04 22:17:51 2

本發明涉及定位技術領域，特別涉及一種定位物體的定位方法、系統和頭戴顯示設備。

背景技術：

定位技術被廣泛應用於虛擬實境、增強現實、動作捕捉等領域，是人機互動的重要組成部分。其中，光學定位以其高精度、低成本、高刷新率等優點成為室內定位領域中被最廣泛應用的技術。

現有技術中的光學定位一般是通過外置於物體的定位設備進行物體的定位。但是，這種方案的定位範圍依賴定位設備的視角和可識別距離，定位範圍有限，特別是在頭戴顯示設備和手柄的定位應用中，一旦頭戴顯示設備或手柄不在定位範圍內，無法實現頭戴顯示設備或手柄的準確定位；且需要預先設置外置定位設備，應用不便利，影響用戶體驗。

技術實現要素：

鑑於現有技術中的光學定位方案的定位範圍有限，應用不便利，影響用戶體驗的問題，提出了本發明的一種定位物體的定位方法和系統，以便解決或至少部分地解決上述問題。

根據本發明的一個方面，提供了一種定位物體的定位方法，所述方法包括：

通過頭戴顯示設備上設置的攝像頭獲取所述頭戴顯示設備所處空間的空間圖像；

通過所述頭戴顯示設備的第一慣性測量單元(inertialmeasurementunit，簡稱imu)採集所述頭戴顯示設備的第一姿態信息，依據所述空間圖像和所述第一姿態信息，獲取所述頭戴顯示設備的六個自由度信息；

所述頭戴顯示設備獲取發光體的歷史軌跡和第二imu的歷史軌跡；其中，所述發光體和所述第二imu均設置在與所述頭戴顯示設備對應的手柄上；

所述頭戴顯示設備接收所述第二imu採集的所述手柄的姿態信息；

依據所述歷史軌跡和所述空間圖像中發光點的位置信息，確定所述發光體的三維坐標，其中，所述發光點與所述發光體相對應；

根據所述三維坐標和所述手柄的姿態信息，確定所述手柄的六個自由度信息。

根據本發明的另一個方面，提供了一種頭戴顯示設備，所述頭戴顯示設備包括攝像頭、第一慣性測量單元imu；所述頭戴顯示設備還包括：

圖像採集單元，用於通過所述攝像頭獲取所述頭戴顯示設備所處空間的空間圖像；

定位單元，通過所述第一慣性測量單元imu採集所述頭戴顯示設備的第一姿態信息，依據所述空間圖像和所述第一姿態信息，獲取所述頭戴顯示設備的六個自由度信息；

獲取單元，用於獲取發光體的歷史軌跡和第二imu的歷史軌跡；其中，所述發光體和所述第二imu均設置在與所述頭戴顯示設備對應的手柄上；

接收單元，用於接收所述第二imu採集的所述手柄的姿態信息；

三維坐標確定單元，用於依據所述歷史軌跡和所述空間圖像中發光點的位置信息，確定所述發光體的三維坐標，其中，所述發光點與所述發光體相對應；

所述定位單元，還用於根據所述三維坐標和所述手柄的姿態信息，確定所述手柄的六個自由度信息。

根據本發明的又一個方面，提供了一種定位物體的定位系統，所述系統包括：如前所述的頭戴顯示設備和與所述頭戴顯示設備對應的手柄；

所述手柄有線或無線連接所述頭戴顯示設備。

綜上所述，本發明通過頭戴顯示設備上設置的攝像頭獲取頭戴顯示設備所處空間的空間圖像；通過頭戴顯示設備的第一慣性測量單元imu採集頭戴顯示設備的第一姿態信息，依據空間圖像和第一姿態信息，獲取頭戴顯示設備的六個自由度信息，實現頭戴顯示設備的定位；並且，頭戴顯示設備獲取發光體的歷史軌跡和第二imu的歷史軌跡；其中，發光體和第二imu均設置在與頭戴顯示設備對應的手柄上；接收第二imu採集的手柄的姿態信息；依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標，其中，發光點與發光體相對應；根據三維坐標和手柄的姿態信息，確定手柄的六個自由度信息，實現手柄的定位。可見，本發明的技術方案區別於現有技術中外置的攝像頭，是通過頭戴顯示設備上的攝像頭實現頭戴顯示設備和與頭戴顯示設備對應的手柄的定位，攝像頭隨著頭戴顯示設備的移動而移動，定位範圍廣。也就是說，本發明的技術方案中的定位設備是設置在定位物體上，不需要預先設置外置的定位設備，應用便利，定位範圍廣，可提高用戶體驗。

附圖說明

圖1為本發明一個實施例提供的一種定位物體的定位方法的流程示意圖；

圖2為本發明一個實施例提供的一種頭戴顯示設備的結構示意圖；

圖3為本發明一個實施例提供的一種定位物體的定位系統的結構示意圖。

具體實施方式

本發明的設計思路是：通過設置在頭戴顯示設備上的攝像頭採集的空間圖像，結合設置在頭戴顯示設備上的第一imu採集的頭戴顯示設備的第一姿態信息，實現頭戴顯示設備的定位；以及，通過確定設置在與頭戴顯示設備對應的手柄上的發光體的歷史軌跡，以及第二imu採集的手柄的姿態信息，實現手柄的定位。為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明實施方式作進一步地詳細描述。

圖1為本發明一個實施例提供的一種定位物體的定位方法的流程示意圖。如圖1所示，該方法包括：

步驟s110，通過頭戴顯示設備上設置的攝像頭獲取頭戴顯示設備所處空間的空間圖像。

本實施例中，設置在頭戴顯示設備上的攝像頭可以是廣角攝像頭，使得本實施例中適用的定位範圍更廣。並且，為了在手柄定位中可以通過空間圖像獲得與圖像中的發光點對應的發光體的三維坐標，頭戴顯示設備上的攝像頭的個數至少是2個，當採集頭戴顯示設備所處的空間圖像時，該至少2個攝像頭同時採集空間圖像，每個攝像頭均獲取一個空間圖像。因為本實施例中是至少2個廣角攝像頭，所以，空間圖像也是至少2個。

步驟s120，通過頭戴顯示設備的第一慣性測量單元imu採集頭戴顯示設備的第一姿態信息，依據空間圖像和第一姿態信息，獲取頭戴顯示設備的六個自由度信息。

這裡的慣性測量單元為inertialmeasurementunit，以下簡稱imu。

本實施例中，依據空間圖像中的空間結構信息，採用即時定位與地圖構建(simultaneouslocalizationandmapping，簡稱slam)方法進行計算，可以獲得頭戴顯示設備的移動自由度(即三維坐標)；依據第一慣性測量單元imu採集的頭戴顯示設備的第一姿態信息(例如，四元數信息)，可以獲得頭戴顯示設備的轉動自由度(即偏航角、俯仰角和翻滾角)；利用上述的移動自由度和轉動自由度就可以確定頭戴顯示設備的六個自由度信息，實現頭戴顯示設備的定位。

步驟s130，頭戴顯示設備獲取發光體的歷史軌跡和第二imu的歷史軌跡；其中，發光體和第二imu均設置在與頭戴顯示設備對應的手柄上。

在本實施例中，頭戴顯示設備不僅要實現自身的定位，還要實現與頭戴顯示設備對應的手柄的定位。為實現手柄的定位，需要獲取手柄上的發光體的歷史軌跡和第二imu的歷史軌跡。

本實施例中，在手柄上設置一個發光體，也可以設置多個發光體。設置多個發光體的目的是，在進行手柄的定位時，防止空間圖像中出現其他幹擾發光點，或者，在沒有手柄的歷史軌跡的情況下，可以利用空間圖像中的與多個發光體對應的發光點的分布規律進行手柄的定位。

步驟s140，頭戴顯示設備接收第二imu採集的手柄的姿態信息。

例如，第二imu採集的手柄的四元數信息。

步驟s150，依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標，其中，發光點與發光體相對應，所以，根據圖像中發光點的位置信息，可以確定與發光點對應的發光體的三維坐標。

例如，在上述說明中，指出本實施例中的攝像頭的個數是至少2個，那麼獲得的對應同一個發光體的圖像就有至少2個，就可以利用雙目成像原理，依據至少2個圖像中對應同一個發光體的發光點的位置信息，獲得該發光體的三維坐標。這裡的雙目成像原理，是基於視差原理並利用雙目攝像頭從不同的位置獲取物體的兩幅圖像，通過計算圖像中對應點間的位置偏差，來獲取物體三維集合信息的方法。該方法的優點是效率高、精度高、結構簡單、成本低等優點。

步驟s160，根據三維坐標和手柄的姿態信息，確定手柄的六個自由度信息。

這裡的三維坐標可以確定手柄的移動自由度信息；姿態信息(四元數)可以確定手柄的轉動自由度信息，依據移動自由度和轉動自由度即可確定手柄的六個自由度信息。

可見，本發明的技術方案區別於現有技術中外置的攝像頭，是通過頭戴顯示設備上的攝像頭實現頭戴顯示設備和與頭戴顯示設備對應的手柄的定位，攝像頭隨著頭戴顯示設備的移動而移動，定位範圍廣。也就是說，本發明的技術方案中的定位設備是設置在定位物體上，不需要預先設置外置的定位設備，應用便利，定位範圍廣，可提高用戶體驗。

在本發明的一個實施例中，上述的頭戴顯示設備為虛擬實境(virtualreality，簡稱vr)設備，上述的手柄為與vr設備對應的手柄。

在本方的技術方案中，確定手柄上的發光體的三維坐標時，可能會有不同的情況，如，手柄上的發光體沒有被遮擋，且有發光體的歷史軌跡；手柄上的發光體沒有被遮擋，但是沒有發光體的歷史軌跡；手柄上的發光體被遮擋，且有發光體的歷史軌跡。那麼，在確定發光體的三維坐標時，採用的方法應該是不同的。下面針對上述情況具體說明。

(1)手柄上的發光體沒有被遮擋，且有發光體的歷史軌跡。

在本發明的一個實施例中，步驟s150的依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標包括：

①根據發光體的歷史軌跡獲取發光體的線速度和線加速度；②依據線速度和線加速度確定發光體的三維坐標，這裡的發光體的三維坐標時根據歷史軌跡估算的，是一個估算值；③將發光體的三維坐標反投影到空間圖像上，獲得空間圖像中發光體的二維坐標，因為發光體的三維坐標是一個估算值，這裡獲得的發光體的二維坐標也是估算值；④計算空間圖像中的發光點的二維坐標；其中，空間圖像中的發光點與發光體相對應，也就是說，發光點對應的是發光體的真實位置，所以本步驟中計算的發光點的二維坐標應該是發光體的真實二維坐標，但是，此時發光點與發光體之間的對應關係還未確定，即圖像中的發光點具體對應哪一個發光體還未確定；⑤將發光體的二維坐標值和發光點的二維坐標值進行比較，也就是將計算的發光點的二維坐標和計算的發光體的二維坐標估算值進行比較；將發光點的二維坐標值和發光體的二維坐標值的差異值在預設閾值範圍的發光點，確定為與發光體具有對應關係的發光點；⑥依據與發光體具有對應關係的發光點的二維坐標，確定發光體的三維坐標。

例如，在上述說明中，指出本實施例中的攝像頭的個數是至少2個，那麼依據與同一個發光體具有對應關係的發光點的二維坐標，就可以利用雙目成像原理，確定發光體的三維坐標，確定的三維坐標就是發光體的三維坐標的真實值。

上述說明中，在手柄上可以設置一個發光體，也可以設置多個發光體。上述方法尤其適用於多個發光體的情況。當存在多個發光體，並且頭戴顯示設備包括有至少2個攝像頭時，對於手柄上的一個發光體，根據該發光體的歷史軌跡獲取該發光體的線速度和線加速度；依據線速度和線加速度確定該發光體的三維坐標；將該發光體的三維坐標分別反投影到每個空間圖像上，分別獲得每個空間圖像中該發光體的二維坐標；分別計算每個空間圖像中的每個發光點的二維坐標；對於一個空間圖像，將空間圖像中該發光體的二維坐標和每個發光點的二維坐標比較，將發光點的二維坐標和該發光體的二維坐標差異值在預設閾值範圍的發光點，確定為與該發光體具有對應關係的發光點，以此類推，確定每個空間圖像中的與該發光體具有對應關係的發光點；使用對應該發光體的至少2個發光點的二維坐標，確定與該發光體的三維坐標。通過該方法就可以確定手柄上的每個發光體的三維坐標。

在將發光體的三維坐標分別反投影到每個空間圖像上之前，需要保證空間圖像中的發光點在至少2個空間圖像中均出現，排除沒有同時出現在至少2個空間圖像中的發光點。例如，有3個攝像頭，採集了3個空間圖像，分別是空間圖像1、空間圖像2、空間圖像3，對於空間圖像1中的發光點1，在空間圖像2和空間圖像3中均未出現，那麼就排除該發光點1。

當確定每個發光體的三維坐標後，採用rpnp算法或其他現有技術中的相關算法，結合第二imu採集的手柄的姿態信息，確定手柄的六個自由度信息，實現手柄的定位。

(2)手柄上的發光體沒有被遮擋，但是無發光體的歷史軌跡或歷史軌跡不完整。本實施例適用於手柄上設置有多個發光體的情況。

在本發明的一個實施例中，步驟s150的依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標包括：

①計算空間圖像中的每個發光點的二維坐標；②根據空間圖像中的發光點的分布規律，確定空間圖像中的發光點和手柄上的發光體的對應關係；③使用對應手柄上的發光體的發光點的二維坐標，確定與其對應的手柄上的發光體的三維坐標。因為本方法在現有技術中有相關方案，在此不再詳細說明。

例如，手柄上設置有四個發光體，排列為四面體形，在空間圖像中的分布規律為四邊形，那麼，在空間圖像中，有排列成相似四邊形的四個發光點就對應為手柄，且可根據四邊形中的發光點之間的相對位置信息，確定發光點與手柄上的發光體之間的對應關係。

本實施例，適用於手柄上設置有多個發光體的情況，且為了保證定位的準確性，本實施例中的一個或多個發光體不能處於同一平面。

(3)在手柄上的發光體被遮擋，且有發光體的歷史軌跡。

當手柄因噪聲幹擾，或者遮擋等原因無法被定位時，會造成定位的暫時中斷，為了防止上述情況的出現影響到用戶的使用體驗，在本發明的一個實施例中，步驟s150的依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標包括：

①根據發光體的歷史軌跡確定發光體的第一時刻的三維位置、第二imu的第一時刻的速度、以及第二imu第一時刻的單位方向向量，這裡的第一時刻可以認為是在發光體被遮擋前最後的時刻；②根據第二imu採集的姿態信息獲取第二imu第二時刻的單位方向向量；③根據第二時刻的單位方向向量和第一時刻的單位方向向量，計算第二imu的方向變化單位向量；④根據三維坐標公式計算發光體第二時刻的三維坐標。

具體地，本實施例中的第一時刻可以認為是第二時刻的前一時刻。上述的三維坐標公式為：pt＝pt-1+vt×l；其中，pt為發光體第二時刻的三維坐標；pt-1為發光體的第一時刻的三維坐標；vt為第二imu的方向變化單位向量；l為第二imu的第一時刻的速度。

本實施例中，在手柄無法被定位時，可以利用手柄中每個發光體的歷史三維軌跡以及第二imu相結合的方法實現手柄的定位。

因為每個發光體的第二時刻的三維坐標是三維的，則上述公式中的l具體應為第二imu的第一時刻的在三維方向上的分速度。

為了使頭戴顯示設備和手柄的定位更加精確，在本發明的一個實施例中，在步驟s120中的獲取頭戴顯示設備的六個自由度信息之後，圖1所示的方法進一步包括：結合第一imu採集的第一姿態信息，將頭戴顯示設備的六個自由度進行平滑插值濾波，將濾波後的頭戴顯示設備的六個自由度作為頭戴顯示設備最終的六個自由度。

在步驟s160的確定手柄的六個自由度信息之後，圖1所示的方法進一步包括：結合第二imu採集的手柄的姿態信息，將手柄的六個自由度進行平滑插值濾波，將濾波後的手柄的六個自由度作為手柄最終的六個自由度。

本實施例中，將頭戴顯示設備的六個自由度信息以及手柄的六個自由度信息進行平滑插值濾波可以採用卡爾曼濾波方法。其中，卡爾曼濾波是一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行最優估計的算法，由於觀測數據中包括系統中的噪聲和幹擾的影響，所以最優估計也可看作是濾波過程。在本實施例中，卡爾曼濾波可以將過去測量估計去查合併得到新的測量誤差，將定位物體的六個自由度濾波後，可以獲得更加準確的數據，有效提高刷新頻率。

另外，在本實施例中，結合imu採集的姿態信息進行平滑插值濾波，也是為了進一步獲得更加準確的定位物體的六個自由度。

還需要說明的是，在進行平滑插值濾波時，利用的不僅是imu採集的姿態信息，還需要利用imu採集的加速度信息。因為imu採集的數據不僅包括上述的姿態信息，同時還會輸出加速度信息，所以當進行平滑插值濾波時，只要從imu採集的數據中提取加速度信息即可。

本發明中，在確定手柄上的發光體的三維坐標需要利用發光體和第二imu的歷史軌跡。在本發明的一個實施例中，在步驟s160中的確定手柄的六個自由度信息之後，圖1所示的方法還包括：保存手柄的六個自由度信息，六個自由度信息用以記錄發光體和第二imu的歷史軌跡。

圖2為本發明一個實施例提供的一種頭戴顯示設備的結構示意圖。如圖2所示，該頭戴顯示設備200包括攝像頭210、第一慣性測量單元imu220；頭戴顯示設備200還包括：

圖像採集單元230，用於通過攝像頭獲取頭戴顯示設備所處空間的空間圖像；

定位單元240，通過第一慣性測量單元imu採集頭戴顯示設備的第一姿態信息，依據空間圖像和第一姿態信息，獲取頭戴顯示設備的六個自由度信息；

獲取單元250，用於獲取發光體的歷史軌跡和第二imu的歷史軌跡；其中，發光體和第二imu均設置在與頭戴顯示設備對應的手柄上；

接收單元260，用於接收第二imu採集的手柄的姿態信息；

三維坐標確定單元270，用於依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標，其中，發光點與發光體相對應；

定位單元240，還用於根據三維坐標和手柄的姿態信息，確定手柄的六個自由度信息。

在本發明的一個實施例中，三維坐標確定單元270，具體用於根據發光體的歷史軌跡獲取發光體的線速度和線加速度；依據線速度和線加速度確定發光體的三維坐標；將發光體的三維坐標反投影到空間圖像上，獲得空間圖像中發光體的二維坐標，其中，空間圖像中的發光點與發光體相對應；計算空間圖像中的發光點的二維坐標；其中，空間圖像中的發光點與發光體相對應；將發光體的二維坐標值和發光點的二維坐標值進行比較，將發光點的二維坐標值和發光體的二維坐標值的差異值在預設閾值範圍的發光點，確定為與發光體具有對應關係的發光點；依據與發光體具有對應關係的發光點的二維坐標，確定發光體的三維坐標。

在本發明的一個實施例中，三維坐標確定單元270，具體用於根據歷史軌跡確定發光體的第一時刻的三維位置、第二imu的第一時刻的速度、以及第二imu第一時刻的單位方向向量；根據第二imu採集的姿態信息獲取第二imu第二時刻的單位方向向量；根據第二時刻的單位方向向量和第一時刻的單位方向向量，計算第二imu的方向變化單位向量；根據三維坐標公式計算發光體第二時刻的三維坐標。

在本發明的一個實施例中，頭戴顯示設備200進一步包括：濾波單元，用於結合第一imu採集的第一姿態信息，將頭戴顯示設備的六個自由度進行平滑插值濾波，將濾波後的頭戴顯示設備的六個自由度作為頭戴顯示設備最終的六個自由度；以及，結合第二imu採集的手柄的姿態信息，將手柄的六個自由度進行平滑插值濾波，將濾波後的手柄的六個自由度作為手柄最終的六個自由度。

歷史軌跡記錄單元，用於保存手柄的六個自由度信息，六個自由度信息記錄發光體和第二imu的歷史軌跡。

圖3為本發明一個實施例提供的一種定位物體的定位系統的結構示意圖。如圖3所示，該定位物體的定位系統300包括：如圖2所示的頭戴顯示設備200和與頭戴顯示設備200對應的手柄320。

手柄320有線或無線連接頭戴顯示設備200，以保證頭戴顯示設備200可以獲取到相應數據。

需要說明的是，圖2所示的頭戴顯示設備和圖3所示的系統的各實施例與圖1所示的方法的各實施例對應相同，上文已有詳細說明，在此不再贅述。

綜上所述，本發明通過頭戴顯示設備上設置的攝像頭獲取頭戴顯示設備所處空間的空間圖像；通過頭戴顯示設備的第一imu採集頭戴顯示設備的第一姿態信息，依據空間圖像和第一姿態信息，獲取頭戴顯示設備的六個自由度信息，實現頭戴顯示設備的定位；並且，頭戴顯示設備獲取發光體的歷史軌跡和第二imu的歷史軌跡；其中，發光體和第二imu均設置在與頭戴顯示設備對應的手柄上；接收第二imu採集的手柄的姿態信息；依據歷史軌跡和空間圖像中發光點的位置信息，確定發光體的三維坐標，其中，發光點與發光體相對應；根據三維坐標和手柄的姿態信息，確定手柄的六個自由度信息，實現手柄的定位。可見，本發明的技術方案區別於現有技術中外置的攝像頭，是通過頭戴顯示設備上的攝像頭實現頭戴顯示設備和與頭戴顯示設備對應的手柄的定位，攝像頭隨著頭戴顯示設備的移動而移動，定位範圍廣。也就是說，本發明的技術方案中的定位設備是設置在定位物體上，不需要預先設置外置的定位設備，應用便利，定位範圍廣，可提高用戶體驗。

以上所述，僅為本發明的具體實施方式，在本發明的上述教導下，本領域技術人員可以在上述實施例的基礎上進行其他的改進或變形。本領域技術人員應該明白，上述的具體描述只是更好的解釋本發明的目的，本發明的保護範圍應以權利要求的保護範圍為準。