運動檢測裝置的製作方法
2023-05-09 23:21:56 2
專利名稱：運動檢測裝置的製作方法
技術領域：
本發明涉及一種對物體的位置、姿態、和移動進行檢測的運動檢測裝置。
背景技術：
將傳感器安裝在操作者的手上、檢測手的形狀和移動、並根據其檢測結果來產生信號的技術是常規公知的。
例如，美國專利No.509252提出了一種技術，其中，將多個通過用光引導路徑連接光源和光學傳感器而形成的傳感器安裝在手的關節上，檢測關節的彎曲。
此外，日本專利公報特開平No.9-62437提出了一種替代滑鼠的計算機輸入裝置，其通過在帶手套的手背上設置兩個加速度傳感器來檢測手在二維方向的移動，並且通過在手的食指的關節部分上設置一個應變計來檢測食指的彎曲運動。
此外，在本申請人的日本專利公報特開No.2000-132305中提出了一種操作輸入裝置，其中，通過在手背上設置對位置和姿態進行檢測的三軸角速度傳感器和三軸加速度傳感器，並通過在食指的端部、中指的端部、以及拇指的端部和中部設置對手指的彎曲進行檢測的單軸角速度傳感器，從而根據手背的位置/姿態和手指的姿態來估計手的形狀，並且根據諸如手的形狀和運動的手勢來產生命令信號。
與如前述美國專利No.509252和前述日本專利公報特開平No.9-62437所述的將傳感器設置於關節部分的技術相比，前述日本專利公報特開No.2000-132305中提出的技術(即，其中通過包括三軸角速度傳感器和三軸加速度傳感器的慣性傳感器來檢測操作者的手背的位置和姿態、通過位於手指端部的無約束角速度傳感器來檢測手指的姿態、並且根據手的形狀來產生命令信號的技術)具有靈活性，並且可以容易地利用，因為不需要考慮個體的手的大小來確定傳感器的位置。
然而，在試圖通過利用用於對諸如操作者的手背的速度和位置的平移運動進行檢測的加速度傳感器的時間積分來正確地確定手背的位置/姿態的技術中，難以在手停止的情況與手以恆定速度移動的情況之間進行區分。即，在上述技術中，難以在手停止狀態下的手勢與諸如使手以基本恆定的速度移動的手勢之間進行區分。於是，考慮了這樣一種系統其中，試圖通過與用於檢測由圖像傳感器形成的圖像的自然特徵點在二軸方向的移動的圖像IC傳感器進行組合來比較周邊自然圖像與慣性傳感器的移動，從而正確地確定手背姿態。
然而，在還使用圖像IC傳感器的情況下，當對圖像IC傳感器的數目有限制時，預先確定在哪個方向獲取圖像是一個重要問題。此外，當試圖在多個方向輸入圖像時，必須增加圖像IC傳感器的數目。因此，增加了部件，使得處理繁重。
發明內容
考慮到這些問題提出了本發明，本發明的目的是提供一種可以精確地識別被安裝對象的空間位置、姿態和移動的運動檢測裝置，以及一種可以通過直接或間接地將該運動檢測裝置安裝在身體上來識別身體的移動、手勢等的運動檢測裝置。此外，本發明的目的是提供一種運動檢測裝置，該運動檢測裝置對通過在安裝了該運動檢測裝置的對象被抓住或握住的同時對其進行操作而被操作的裝置的位置和姿態等的移動進行檢測。
為實現此目的，根據第一發明，提供了一種用於檢測待測量對象的位置和姿態的運動檢測裝置，其特徵在於包含慣性運動檢測裝置，用於通過使用加速度傳感器和角速度傳感器中的至少一個來檢測待測量對象的慣性運動；圖像拾取裝置，其固定於慣性運動檢測裝置，用於拾取待測量對象的周邊圖像；
圖像比較裝置，用於對圖像拾取裝置在不同時間點拾取的圖像進行比較；攝像機位置和姿態獲取裝置，用於通過使用圖像比較裝置對圖像進行比較的結果，檢測待測量對象的位置和姿態；以及空間位置和姿態獲取裝置，用於根據慣性運動檢測裝置以及攝像機位置和姿態獲取裝置獲取的信息，檢測待測量對象的空間位置和姿態。
在根據第一發明的該運動檢測裝置中，由慣性運動檢測裝置獲取角速度傳感器或加速度傳感器的信號，並且，對這些傳感器的姿態信息進行確定。此外，由圖像拾取裝置拍攝周邊圖像，並且，從連續獲取的圖像中提取特徵點。圖像比較裝置通過對不同時間點的特徵點的位置進行比較來確定特徵點的移動。此外，根據慣性運動檢測裝置獲取的測量對象的慣性運動以及攝像機位置和姿態檢測裝置檢測到的關於測量對象的空間位置/姿態的信息，確定測量對象的空間位置和姿態。
此外，為實現此目的，根據第二發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且該光學裝置包括至少四個平面鏡，並且包含通過所述至少四個平面鏡將待測量對象的周邊圖像投影到圖像拾取裝置的光學系統。
在根據第二發明的運動檢測裝置中，通過使用具有至少四面的鏡將周邊圖像投影到圖像拾取裝置，由此使得周邊圖像成為被分割為四個垂直於透鏡光軸的圖像和一個沿透鏡光軸方向的圖像的總共五個區域的中心投影像。
此外，為實現此目的，根據第三發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且該光學裝置包含通過曲面鏡將待測量對象的周邊圖像投影到圖像拾取裝置的光學系統。
在根據第三發明的運動檢測裝置中，對垂直於成像透鏡系統的光軸的所有方向的圖像和光軸方向的圖像、以及與通過中心透射的圖像的方向相同的方向的圖像進行投影。
此外，為實現此目的，根據第四發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且該光學裝置具有通過魚眼透鏡將待測量對象的周邊圖像投影到圖像拾取裝置的光學系統。
在根據第四發明的運動檢測裝置中，通過魚眼透鏡將全天周的圖像投影到圖像拾取裝置。
此外，為實現此目的，根據第五發明，提供了根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於，所述運動檢測裝置被安裝到身體的一個部位上，並對安裝部位的位置和姿態進行檢測。
此外，為實現此目的，根據第六發明，提供了根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於，所述運動檢測裝置被安裝到手背上，並對手的位置和姿態進行檢測。
此外，為實現此目的，根據第七發明，提供了根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於，所述運動檢測裝置被安裝到頭部，並對頭部的位置和姿態進行檢測。
在根據第五至第七發明的運動檢測裝置中，對其上安裝有運動檢測裝置的身體的位置和姿態進行檢測。
此外，為實現此目的，根據第八發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於圖像比較裝置具有特徵點移動估計裝置，所述特徵點移動估計裝置用於根據由慣性運動檢測裝置檢測到的當前位置和姿態以及圖像拾取裝置的投影變換相對於註冊時的姿態信息的關係，對特徵點的移動位置和搜索範圍進行估計，並且特徵點移動估計裝置執行用於從當前框(frame)搜索追蹤的特徵點的圖像匹配處理。
在根據第八發明的運動檢測裝置中，通過包括在圖像處理裝置中的特徵點移動估計裝置從當前框搜索追蹤的特徵點。
此外，為實現此目的，根據第九發明，提供了根據權利要求8所述的運動檢測裝置，其特徵在於特徵點移動估計裝置根據註冊時的特徵點的位置坐標、特徵點的周邊圖像中的各像素的信息、用於追蹤各像素信息的各像素的移動估計像素位置信息、慣性運動檢測裝置檢測到的當前位置和姿態信息、以及圖像拾取裝置的投影變換間的關係，對各像素的移動位置進行估計；並且通過在搜索範圍內對圖像點移動後的圖像進行掃描來執行圖像匹配處理。
在根據第九發明的運動檢測裝置中，針對各個像素來確定移動估計圖像位置信息，並且追蹤特徵點周邊的各個像素的信息。此外，在圖像匹配處理中，使得其中對包括光學系統/圖像輸入系統的投影變換進行了估計的圖像位置的坐標與基準圖像的各個像素對應。
此外，為實現此目的，根據第十發明，提供了根據權利要求8所述的運動檢測裝置，其特徵在於特徵點移動估計裝置根據包括註冊時的特徵點的特徵點圖像點中的各像素的信息、各像素的位置坐標、用於追蹤位置坐標的各像素的移動估計像素位置信息、慣性運動檢測裝置檢測到的當前位置和姿態信息、以及圖像拾取裝置的投影變換間的關係，對各像素的移動位置進行估計；並且通過在搜索範圍內對圖像點移動後的圖像進行掃描來執行圖像匹配處理。
在根據第十發明的運動檢測裝置中，對位置坐標進行追蹤，以對像素相對於註冊時的特徵點圖像的各像素的位置進行估計。根據基於追蹤的位置坐標、來自慣性運動檢測裝置的當前位置/姿態信息、以及來自圖像拾取裝置的信息而估計的各像素的移動位置，確定搜索範圍，並且通過在所述範圍內執行掃描來執行匹配處理。
此外，為實現此目的，根據第十一發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於攝像機位置和姿態獲取裝置進一步具有無效特徵點確定裝置，該無效特徵點確定裝置用於根據基於各特徵點的運動參數和對於特徵點估計的深度信息而獲得的攝像機位置和姿態信息，確定從包括各特徵點的圖像測量到的運動參數與根據攝像機位置和姿態信息獲得的運動向量之間的誤差，並且將誤差超過特定閾值的特徵點確定為無效特徵點。
在根據第十一發明的運動檢測裝置中，攝像機位置和姿態獲取裝置根據各特徵點的運動參數以及基於特徵點而估計的深度信息，對攝像機位置和姿態信息進行估計。此外，從各個特徵點的圖像來測量運動參數，將從各個特徵點的圖像測量的運動參數與根據攝像機位置和姿態信息而估計的運動參數比較。然後，確定比較出的誤差超過特定閾值的特徵點是無效特徵點。
此外，為實現此目的，根據第十二發明，提供了根據權利要求11所述的運動檢測裝置，其特徵在於無效特徵點確定裝置進一步具有無效特徵點追蹤裝置，該無效特徵點追蹤裝置用於追蹤無效特徵點的位置信息，直到與被確定為無效特徵點的特徵點有關的信息消失。
在根據第十二發明的運動檢測裝置中，無效特徵點確定裝置總是通過對無效特徵點的位置信息進行追蹤直到無效特徵點消失來把握無效特徵點的位置。
此外，為實現此目的，根據第十三發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於攝像機位置和姿態獲取裝置執行以下步驟在特徵點的新註冊期間，對作為特徵點信息的從框圖像看到的三維信息和當前攝像機框進行註冊，在從特徵點出現時到特徵點消失時的期間追蹤特徵點，據此對從框圖像看到的三維信息進行更新，此外，當出現另一特徵點時，對從當前攝像機框獲得的另一特徵點的三維信息進行註冊，並且由此，對在連續圖像中出現和消失的多個特徵點圖像的位置進行追蹤，並根據該多個特徵的移動，獲取相對於世界坐標空間的當前攝像機框。
在根據第十三發明的運動檢測裝置中，在從特徵點出現到消失的期間對特徵點的三維信息進行追蹤和更新。此外，當新出現特徵點時，接管當前特徵點信息的三維信息。
此外，為實現此目的，根據第十四發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且圖像比較裝置進一步具有用於對所述光學裝置的入射光軸進行識別和分塊(partition)的圖像投影分塊掩模裝置。
在根據第十四發明的運動檢測裝置中，提供了對用於將圖像投影到圖像拾取裝置的光學系統的入射光軸進行識別和分塊的掩模。
此外，為實現此目的，根據第十五發明，提供了根據權利要求1所述的運動檢測裝置，其特徵在於圖像比較裝置進一步具有自適應特徵點圖像設置裝置，該自適應特徵點圖像設置裝置用於分析特徵點圖像的深度信息，並且根據分析的深度信息在註冊時切換特徵點圖像的大小和特徵點搜索範圍或者特徵點註冊數量。
在根據第十五發明的運動檢測裝置中，由自適應特徵點設置裝置分析特徵點圖像的深度信息，並且，根據分析值，對註冊時的特徵點圖像的大小和特徵點搜索範圍或者註冊特徵點的數量進行切換。
此外，為實現此目的，根據第十六發明，提供了根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時獲取已知大小或間隔的用於標識特徵點的標識標記的圖像，並且根據用於標識特徵點的標識標記的圖像的大小或間隔來確定並註冊深度信息。
在根據第十六發明的運動檢測裝置中，在初始化時獲取已知大小或間隔的特徵點標識標記的圖像，並且，根據這些獲得的特徵點的大小或間隔信息來確定深度信息並對該深度信息進行註冊。
此外，為實現此目的，根據第十七發明，提供了根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於從離開設置於預先確定的位置的用於標識特徵點的標識標記已知距離的位置獲取該用於標識特徵點的標識標記的圖像，並且在此時對特徵點的深度信息進行初始註冊。
在根據第十七發明的運動檢測裝置中，從離開設置於預定位置的特徵點標識標記已知距離的距離獲取該特徵點標識標記的圖像，並根據獲取的圖像註冊深度信息。
此外，為實現此目的，根據第十八發明，提供了根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時獲取身體的部分或全部的圖像，並且對根據獲取的圖像和預先註冊的身體的部分或全部的形狀和大小而獲得的特徵點的深度信息進行初始註冊。
在根據第十八發明的運動檢測裝置中，在初始化時根據身體的部分或全部的形狀和大小來確定特徵點的深度信息以對其進行註冊。
此外，為實現此目的，根據第十九發明，提供了根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時從已知距離獲取身體的特徵部位的圖像，並且根據獲取的圖像對特徵點的深度信息進行初始註冊。
在根據第十九發明的運動檢測裝置中，在第五發明中，在初始化時，將已知距離的身體的特徵圖像取到來自安裝有運動檢測裝置的部位的輸入圖像，並且根據獲取的圖像來註冊特徵點的深度信息。
此外，為實現此目的，根據第二十發明，提供了根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時獲取與安裝部位為預先確定的方向和距離的圖像，並且對獲得的圖像中的特徵點的深度信息進行初始註冊。
在根據第二十發明的運動檢測裝置中，在初始化時獲取預先確定的方向和距離的圖像，並根據獲得的圖像來註冊特徵點的深度信息。
此外，為實現此目的，根據第二十一發明，提供了根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時執行使安裝部位移動規定距離的動作，並且通過當時獲得的圖像對圖像中的特徵點的深度信息進行初始註冊。
在根據第二十一發明的運動檢測裝置中，在初始化時執行用於使安裝有運動檢測裝置的部位移動規定距離的操作，並根據獲得的圖像來註冊特徵點的深度信息。
此外，為實現此目的，根據第二十二發明，提供了根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於該運動檢測裝置通過被固定或安裝到通過被握或持於手中而被操作的物體上來檢測該物體的位置和姿態。
在根據第二十二發明的運動檢測裝置中，根據通過將運動檢測裝置安裝在物體上而從物體的慣性運動信息和周邊圖像的信息得到的攝像機位置和姿態信息，對物體的空間位置和姿態進行檢測。
圖1是用於說明根據本發明實施例的運動檢測裝置的功能操作的概況的框圖。
圖2是包括圖像拾取單元等的操作輸入裝置的外觀圖。
圖3是在世界坐標空間中的空間傳感器框與攝像機傳感器框的關係圖。
圖4A是表示入射到等立體角投影透鏡的光線與其投影圖像之間的關係的圖。
圖4B是表示特徵點搜索開始位置與圖像投影分塊掩模數據之間的關係的圖。
圖5A是運動檢測裝置中的光學系統的框圖。
圖5B是表示圖5A的光學系統捕獲的圖像的圖。
圖6A是四面鏡系統的光學系統的框圖。
圖6B是表示所述鏡系統光學系統捕獲的圖像的圖。
圖7A是使用拋物面鏡的光學系統的框圖。
圖7B是表示使用拋物面鏡的光學系統捕獲的圖像的圖。
圖8是用於說明關於根據本發明實施例的運動檢測裝置中的圖像處理的功能操作的框圖。
圖9A是表示通過光學系統獲取的框圖像和提取的特徵點圖像的狀態的圖。
圖9B是表示使空間傳感器旋轉移動後獲得的框圖像上的搜索特徵點圖像的狀態的圖。
圖10A是將註冊特徵點圖像信息註冊在存儲器中時的數據的概念圖。
圖10B是表示移動後的特徵點圖像數據的狀態的圖。
圖11A和圖11B是本發明實施例中的註冊特徵點圖像的示例。
圖12A和圖12B是本發明另一實施例中的註冊特徵點圖像的示例。
圖13是關於連續框圖像上的特徵點的行為的映像圖(imagediagram)。
圖14是關於圖像傳感器獲得的特徵點圖像的攝像機框的圖像位置、深度信息、和不確定性的映像圖。
圖15是表示通過重複對特徵點的匹配處理使得與特徵點信息相關聯的姿態信息與深度信息之間的誤差逐漸減小的狀態的映像圖。
圖16是使得運動向量的不確定性逐漸變小的狀態的映像圖。
圖17是特定特徵點在註冊時的空間姿態信息k、一個先前姿態信息(n-1)、以及試圖獲得的姿態信息n間的關係圖。
圖18是表示運動向量的不確定性之間的關係的圖。
具體實施例方式
以下，參照附圖詳細說明本發明的實施例。
首先，在圖1中示出了應用了根據本實施例的運動檢測裝置的空間傳感器系統的示意性配置。
慣性運動檢測單元30獲取來自分別設置在空間傳感器框{H}上的xyz軸方向的角速度傳感器10和加速度傳感器20的輸出信號，作為慣性位置/姿態信息。此外，由圖像拾取單元40連續獲取的周邊圖像信息輸入到圖像比較單元50。圖像比較單元50從輸入的周邊圖像信息提取特徵點，確定提取的特徵點的移動。攝像機位置和姿態獲取單元60根據來自圖像比較單元50的比較信息和來自慣性運動檢測單元30的信息，獲得攝像機傳感器框{C}。然後，空間位置和姿態獲取單元70根據來自慣性運動檢測單元30以及攝像機位置和姿態獲取單元60的各姿態信息，確定世界坐標空間{W}上的空間傳感器框。注意，在圖像比較單元50，利用來自慣性運動檢測單元30的信息以減少計算處理的代價。
隨後，對本實施例的運動檢測裝置的應用示例的概況進行說明。
圖2表示空間傳感器1設置在手上的狀態，所述空間傳感器1包括現有技術中的用於檢測手形狀、姿態和位置的慣性傳感器組2以及上述圖像拾取單元40等。
注意，所述慣性傳感器組2是包括上述的三軸角速度傳感器10X、10Y、10Z(以下稱作角速度傳感器10)和三軸加速度傳感器20X、20Y、20Z(以下稱作加速度傳感器20)的傳感器組，以檢測操作者的手的位置和姿態及其移動。
由此，可以根據從加速度傳感器20和角速度傳感器10獲得的信息來確定手背的旋轉運動和平移運動。然而，因為在加速度傳感器20中合成了由於重力而產生的重力加速度和由於慣性運動而產生的慣性加速度，所以通過濾去作為重力加速度的傾斜分量、由對角度傳感器10的角速度的時間積分而獲得的角度信息等，分離慣性加速度信息和重力加速度信息。
因為當物體以恆定速度移動或靜止時從加速度傳感器20輸出的如此確定的由於慣性運動而產生的慣性加速度信息為0，所以不能在其運動狀態之間進行區分。
此外，在角速度傳感器10的空間旋轉姿態信息中由於偏移等而引起誤差。因此，以加速度傳感器20的重力加速度為基準對角速度傳感器10的旋轉姿態信息執行校正處理。然而，在該校正中，不能對重力軸周圍的旋轉進行校正。
於是，在本實施例中，除了上述用於檢測手背位置和姿態的慣性傳感器組2，還設置有光學系統，用於投影周邊圖像；以及圖像傳感器40a，用作圖像拾取單元40，用於根據圖像來檢測空間六軸方向的運動信息。圖像傳感器40a被設置得光軸方向與手背的Z坐標軸方向(即，垂直於手背平面的方向)一致。此外，圖像傳感器40a的透鏡是具有180°視角的魚眼透鏡。然而，光軸方向和視角並不限於此。
從而，同時拾取被安裝者的手背側的全天周的圖像，可以通過這些圖像的移動得知圖像傳感器40a與周邊物體之間的相對運動。此外，圖像傳感器40a與慣性傳感器組2融合在一起，由此可以非常精確地測量手背的空間姿態和位置。
這裡，從運動檢測裝置的角度，考慮由慣性傳感器組2(由加速度傳感器20和角速度傳感器10組成)和圖像傳感器40a(用於根據周邊圖像獲取姿態)形成的配置，不需要考慮指尖的傳感器組7。
圖3中示出了世界坐標空間中的各個傳感器的姿態框之間的關係。假定用於檢測相對於世界坐標空間{W}的位置和姿態(姿勢)的傳感器是空間(姿態)傳感器1，表示希望確定的位置和姿態的框是空間傳感器框{H}。在空間傳感器1上配置有慣性傳感器組2。這裡，為了簡化處理，假定用於檢測慣性傳感器組2的姿態的軸(慣性傳感器框)與空間傳感器1的框一致。此外，由圖像傳感器40a獲得的攝像機位置和姿態信息是攝像機傳感器框{C}相對於世界坐標空間{W}的位置和姿態(姿勢)信息。然而，因為其構建在空間傳感器框上，所以始終可以通過常數框變換矩陣{CRH}對其進行匹配。
在圖4A的上部示出了本實施例的光學系統的入射光線和出射光線的概況。
此光學系統被構成為等立體角投影透鏡的示例，通過該等立體角投影透鏡，使得成像面上的圖像高度(y』)相對於入射角(θ)為y』＝2f·sin(θ/2)，並且是與物體的表觀面積(即物體的立體角)成比例的圖像。然而，像的形狀隨著入射角增大而變得扁平。該光學系統可以由等距離投影透鏡或其他系統構成，只要它是超廣角魚眼透鏡等。該光學系統被構成為場角(angle of field)是180°，並且，當光軸被定向為天頂方向時，全天周的圖像投影到圖像傳感器40a。
入射光線根據光學系統的投影關係式，按相對於天頂的角度(即相對於光軸中心的角度(θ))投影到圖4A下部所示的投影圖像的同心圓的圓周上，並且，投影位置隨著角度增大(沿水平方向傾斜)而改變到使同心圓的半徑變大的位置。入射角為90°的光線是來自水平線的光線，將投影到圓周的邊緣。此外，來自方位角方向的光線投影到與投影圖像的圓的中心線的方位角一致的線上。
由此，因為投影圖像上的圓的中心位置和直徑是已知的，所以，如果提供圖像傳感器40a上的二維坐標位置，就可以確定入射光線的入射角和方位角。
圖4A的下部是在投影圖像上示出圖像高度相對於入射光線角度的關係以及方位角相對於入射光線角度的關係的圖。此外，圖5A示出了其中內置有由光學系統形成的圖像拾取系統和慣性傳感器組2的運動檢測裝置的另一安裝形式的示例。柱形外殼46的上部安裝有超廣角光學系統透鏡410，其下設置有圖像拾取裝置420，從而實現上述投影條件。此外，該光學系統被形成為諸如針孔攝像機的成像系統，並且，形成從近點到遠點聚焦的圖像。此外，在其下部設置有包括角速度傳感器和加速度傳感器的慣性傳感器組2，以檢測彼此垂直的空間三維方向。此外，內置有對這些信號進行處理的處理系統，該處理系統被構成為使得該裝置可以獨立地檢測空間姿態和位置。注意，圖5B中示出了這種光學系統捕獲的圖像。此外，在圖6A，6B，7A和7B中示出了其他光學系統的變型例以及所述光學系統捕獲的圖像。
圖6A是其中四個平面鏡6a、6b、6c和6d貼附於四稜錐411的側面的構造的示例。該四稜錐411是切掉頂點側的形狀，並被倒置，反射到平面鏡6a、6b、6c和6d的像通過成像透鏡系統47投影到圖像拾取裝置420。此外，四稜錐411的底面6f和頂面6e分別都是透明的或者可透射的，成像透鏡系統47光軸方向上的周邊像被透射以使其投影到圖像拾取裝置420。由此，垂直於透鏡光軸的四個方向的圖像6A、6B、6C和6D以及光軸方向6E的總共五個軸方向上的圖像被同時拾取。當鏡數目進一步增加時，可以在更多方向拍攝圖像。因為光學系統的該投影像是分成五個區域的中心投影，所以可以通過對圖像信息的線性變換式來容易地確定特徵點的空間位置的方向。
隨後，圖7A是使用拋物面鏡的變型例。設置有外側被製成鏡的拋物面形狀412。反射到拋物面鏡7a的周邊圖像通過成像透鏡系統47投影到圖像拾取裝置420。圖7A的該拋物面形狀412也被製成為其頂點以如上所述的方式切掉。頂面7c和底表面7b都是透明的或可透射的，成像透鏡系統47的光軸方向上的周邊像被透射以使其投影到圖像拾取裝置420。由此，如圖7B所示，垂直於光軸的所有方向上的圖像7A和光軸方向上的圖像7B被同時拾取。此外，使得拋物面鏡7a上的反射像的圖像為圓形。然而，與中央的透射圖像相同方向的圖像7D投影在其外側。因此，可以同時拾取比上述平面鏡類型更多的圖像。
圖8功能性地示出了在上述圖1的圖像比較單元50以及攝像機位置和姿態獲取單元60的內部執行的處理。根據該圖，對本實施例中的圖像處理的流程進行說明。
在圖像拾取單元40，通過投影光學系統410將光學像轉換為電信號，並將其進一步存儲為圖像數據。隨後，此圖像數據輸入到圖像比較單元50。然而，因為投影到圖像拾取單元40的周邊像為圓形，所以在該圓形之外的部分沒有圖像數據。因此，為了試圖加速以下的圖像處理等，預先準備使得能夠區分無效區域的掩模數據。圖4B表示掩模數據。這裡，使其與200×200像素的圖像傳感器的數據的大小相同。此時，向沒有數據的部分寫入「0」數據並省略下面的圖像處理，並且，將非「0」的數據寫入其它部分。這裡，具有有效入射半徑且以光軸中心投影到的坐標位置為中心的圓的外部是「0」數據。
首先，在圖像比較單元50根據該數據執行掩模數據處理51。在執行了掩模數據處理51之後，執行被獲取為連續框圖像的周邊圖像與一個先前框500的圖像之間的處理，此外，對經處理的圖像執行邊緣提取處理。在該邊緣提取處理52中，為了確定輸入圖像的邊緣部分，在x方向和y方向執行利用微分算子(例如Sobel算子)的邊緣提取，並且在x和y方向上對存在邊緣的地方進行搜索。這樣的原因是為了減少後述的特徵點圖像匹配處理53中的誤差。
在邊緣提取處理52中提取了邊緣之後，為了確定周邊圖像與圖像數據的相對移動，執行特徵點圖像提取處理54。這裡，為了對是特徵點的圖像進行搜索，由通過對預先確定的坐標位置周圍的輸入圖像的邊緣進行檢測並對所述點進行評價來對特徵點進行搜索，從而實現特徵點提取。注意在圖4A中，假定搜索開始坐標位置是黑點、它們周圍的矩形區域是搜索範圍，則限定了特徵點初始搜索位置信息。這是因為試圖使得能夠用許多方向的數據來註冊特徵點信息。這是因為試圖使得能夠通過對周邊的前、後、左、右、及上方向的特徵點的相對移動進行比較來更正確地估計手背的空間移動。注意，用於特徵點提取的信息(例如特徵點初始搜索位置信息)存儲在新特徵點搜索表59中。
當提取了特徵點時，在稍後要詳細說明的無效特徵點追蹤處理55之後，執行特徵點註冊處理56。在特徵點註冊處理56中，對註冊的特徵點坐標(Uk，Vk)、以該特徵點為中心位置的給定矩形區域的特徵點圖像、作為相對於該註冊時已確定的世界坐標空間{W}的姿態信息的到空間傳感器框的變換{0Hk}，及其逆變換{kH0}進行註冊，作為新的特徵點信息，此外，對已註冊標記進行置位。
此外，在特徵點註冊處理56中，對在圖4A中的初始搜索位置周圍提取的所有特徵點執行註冊操作。這些註冊的特徵點信息用於接下來輸入的框圖像的匹配處理53等。
注意在第一框處理(即初始化步驟)中，不執行接下來的匹配處理53，圖像比較單元50中的處理結束。此外，在攝像機位置和姿態獲取單元60執行初始化處理64，並執行對位置/姿態信息的初始化處理。然後，對於接下來輸入的框圖像，以與上述的相同方式執行掩模數據處理51、框間處理及邊緣提取處理52。
因此，在對第二框的處理之後，檢查特徵點信息的已註冊標記。這裡，當特徵點已註冊(即，對已註冊標記進行了置位)時，在當前框的註冊特徵點坐標(Uk，Vk)的附近搜索與註冊圖像的相關度最高的部分。這裡，當發現正確位置時，將該位置存為當前特徵點坐標，並對特徵點搜索標記進行置位。當沒有發現正確位置時，將註冊信息的註冊標記和特徵點搜索標記復位。
在這裡的搜索特徵點圖像的處理中，當針對註冊特徵點位置在給定範圍內掃描特徵點圖像時執行匹配處理，作為通常的匹配處理53。然後，作為匹配處理53的結果，假定相關值最高的地方是匹配位置，該點是特徵點匹配坐標(U』，V』)。此外，當存在確定的相關值超過特定基準值時，確定可以正確地搜索特徵點。
圖9A表示根據本實施例的通過投影光學系統410獲取的框圖像及其提取特徵點圖像的狀態，圖9B表示在空間傳感器1旋轉移動後在獲取的框圖像上搜索特徵點圖像的狀態。此外，圖10A是當將其註冊特徵點圖像信息註冊在存儲器中時的概念圖。這裡，註冊特徵點圖像是15×15像素的8位級(gradation)數據。此圖像數據的中央像素(7，7)坐標值是在特徵點坐標(Uk，Vk)位置的數據。在存儲器上，通常以左上的像素作為起始地址來將數據作為連續數據序列進行管理。
然後，在匹配處理53中使用相對於輸入的框圖像如圖10B所示地移動的特徵點圖像數據。將作為圖像信息的集合的註冊特徵點圖像的圖像數據重疊在一起，並對各個像素間的有限差的絕對值的積分值最小的位置進行搜索。因此，在相關度處理中，必須將搜索區域的大小的平行移動量的地址和仿射變換的旋轉操作加到作為起始地址的特徵點坐標(Uk，Vk)。必須進行組合了平行移動和旋轉移動的掃描，以搜索一個特徵點圖像，需要極多的計算處理。此外，必須對於所有待註冊特徵點執行該處理，並需要極高的計算處理代價。
於是，在本實施例中，為了計算在該時間點已更新的當前空間傳感器框n的位置和姿態(這表示從世界坐標系角度的到當前傳感器框n的坐標變換){0Hn}，通過使用作為當註冊各個特徵點時的時間點的傳感器框k的{0Hk}的逆變換{kH0}、以及表示從各個特徵點註冊時起直到當前空間傳感器框n的坐標變換的相對運動參數{kHn}或其逆變換矩陣{nHk}，從而對其進行估計。數學上，例如，如果在框k的坐標值(Xk，Yk，Zk)對應於在傳感器框n的坐標值(Xn，Yn，Zn)，此參數用如下表示的坐標變換來表示
xnynzn1=Hknxkykzk1=RknTkn01xkykzk1]]>或xnynzn=Rknxkykzk+Tkn=r11r12r13r21r22r23r31r32r33xkykzk+txtytz]]>這裡，nRk是旋轉矩陣，表示以rij(i＝1，2，3；j＝1，2，3)作為元素的3×3的矩陣。此矩陣可以用三個獨立的參數(φx，φy，φz)表示。另一方面，nTk表示平移向量，可以用三個獨立參數(tx，ty，tz)表示。即，各個框之間的位置和姿態關係可以用總共六個參數表示，即(φx，φy，φz，tx，ty，tz)。
此時，使用關係式0Hn＝0HkkHn或nH0＝nHkkH0，對當前時間點的傳感器框n的世界坐標系的位置和姿態關係進行估計。
隨後，根據運動參數和投影光學系統的關係式來估計註冊特徵點坐標(Uk，Vk)在當前框圖像中的坐標值。通過在特徵點移動估計處理57獲得的特徵點移動估計坐標(Uprd，Vprd)的周圍進行搜索，可以縮小搜索區域，並且可以減少計算處理的代價。
在實際特徵點圖像數據的管理中，如果是僅僅對如圖10A中的像素信息的管理，則每當在匹配處理53時的圖像數據掃描時必須針對每個像素通過投影變換來對平行移動位置或由於旋轉等的移動位置進行估計，使得處理很複雜。
由此，實際上，如圖11A，在註冊時對於每個像素數據確保對應的X坐標和Y坐標的XY移動估計像素坐標區域。隨後，在用於搜索特徵點的匹配處理53之前，通過相對運動參數{nHk}計算各特徵點圖像的各像素的移動估計位置，並將計算出的移動估計位置的數據記錄在對應像素的XY移動估計像素坐標區域。預先針對已註冊的所有特徵點圖像中的所有像素數據執行該處理。
於是，在此後的匹配處理53中，僅僅通過將用於掃描圖像數據的平行移動量加到特徵點圖像數據的XY坐標數據的操作就可以進行處理，簡化了整個處理。
圖11B是表示註冊時的特徵點圖像的位置和區域移至預先估計的XY移動估計像素坐標的位置的狀態的圖。如此進行了坐標變換的特徵點圖像不是最初的矩型圖像形狀，並存在投影變換使得特徵點圖像變形的情況。然而，對於還具有這種形狀的圖像數據，在匹配處理53中，僅僅執行只用於加和減操作的處理(例如地址移動和相關值的計算)就足夠了。
隨後，將對關於匹配處理53的另一個變型例進行說明。
在對特徵點進行追蹤的過程中，存在試圖對作為對象的事物的原始形狀進行追蹤的情況。例如，可以設想在背景移動劇烈的物體前的對象，以及在物體中存在變化區域的情況等。在從特徵點獲得的特徵點圖像中存在這種變化圖像成分的情況下，存在如果由常規方法執行則不能實現匹配的情況。
然後，如圖12A所示，除上述XY移動估計像素坐標區域以外，還設置有註冊XY像素坐標區域。在上述示例中，為了根據註冊特徵點坐標(Uk，Vk)確定各像素在註冊時的坐標值，假定註冊特徵點圖像的像素數據是以特徵點周圍為中心的垂直和水平固定的矩形區域的數據。
由此，根據矩形區域的垂直和水平值確定每個像素的坐標值，此後，根據對於坐標值的投影變換的變換式確定用於搜索的估計坐標值。然而，在該變型例中，即使在地址變換中也可以直接對註冊像素坐標數據執行投影變換，並僅將其結果註冊在移動估計像素坐標中。
此外，因為可以對註冊像素位置的坐標值進行註冊，所以不需要將形狀限制為矩形，可以對具有任何形狀的特徵點圖像進行註冊。甚至可以通過重複簡單的處理來執行具有第一眼看來很複雜的複雜形狀的處理。
由此，例如，對於顯示投影圖像的監視器，只能將監視器的框註冊為特徵點圖像區域，可以與投影圖像的內容無關地實現匹配處理53。
圖12B表示對以上變型例中的註冊時的特徵點圖像以及用於搜索的特徵點圖像的移動位置和旋轉進行估計的狀態。這樣，註冊特徵點圖像也不必是矩形，此外，即使要估計的搜索特徵點圖像的最初形狀發生了變化，也可以只通過匹配處理的簡單計算來執行。用於估計到現在的移動位置的當前空間傳感器框{nH0}信息是通過對直到該時間點在空間位置和姿態獲取單元70處理的慣性傳感器組2的框信息的更新的{0Hn}的逆變換{nH0}來計算的。然而，圖像拾取裝置420的更新是一個先前處理確定的結果所反映的信息。由此，有可能積累由於慣性傳感器的偏移等而產生的誤差。在圖像拾取裝置420的更新率之間產生的誤差是極小的值。
攝像機位置和姿態獲取單元60根據當時和之後的處理得到的特徵點信息來確定當前攝像機位置和姿態信息{nC0}。這裡，在攝像機位置和姿態獲取單元60中，制定假設對以攝像機坐標系周圍為中心的世界坐標系的移動(相對運動)進行追蹤。只要一旦計算出世界坐標系相對於攝像機坐標系的位置和姿態{nH0}，就可以容易地確定作為其逆矩陣(逆變換)的攝像機坐標系(即空間傳感器系)相對於世界坐標系的位置和姿態{0Hn}。
這裡，如圖3所示，因為攝像機框構建於作為空間傳感器框的空間傳感器1上，所以總是可以通過將給定變換矩陣{cRH}加到空間傳感器框{H}來將其變換為攝像機框{C}。由此，這裡，為了簡化說明，假設攝像機框{C}和空間傳感器框{H}彼此一致來進行說明。這裡，n是要確定的框的號，0是第一框，k是註冊特徵點時的框號。如上所述，在第一框0執行初始化處理64。此外，使得此時的空間傳感器框為n＝0。即，處於{0H0}和{0Hw}彼此一致的狀態，也就是空間傳感器框{H}和世界坐標空間{W}彼此一致。在此初始化期間，對於從圖像拾取裝置420獲得的特徵點，對其中深度信息z已知的特徵點位置進行註冊。注意，這裡，該深度信息z表示相對於傳感器框系的深度信息。此外，稍後進一步說明初始化處理64。與之一致地，假設{nC0}和{nH0}彼此相等來進行以下說明。
在圖13中示出了在許多圖像的流中從特徵點出現直到它們消失的狀態。
特徵點i第一次出現在框圖像k中，此外，特徵點j在框圖像(n-2)中消失。對這些框圖像的每一個執行上述的匹配處理53和特徵點註冊處理56。從特徵點第一次註冊的時間點起，將特徵點坐標(u，v)和深度信息z用作與此特徵點相關聯的參數。此時，將最大值分配給關於深度信息z的不確定度σz。在圖14中示出了特徵點坐標(u，v)和深度信息z。
當在新框圖像中正確取得了對於特徵點的匹配時，通過使用對從特徵點第一次註冊時的攝像機框{kC0}(即，等價於{kH0})的旋轉和平移信息的估計值，對當前空間傳感器框{nH0}進行更新。對從框k到框n的變換，即{Hkn}:p=(xkn,ykn,zkn,txkn,tykn,tzkn)]]>以及與其相關聯的不確定度σz進行第一次更新，此後，通過使用框0，框k和框n之間的關係式nH0＝nHkkH0來更新從框0到框n的變換，以及與其相關聯的不確定度σz。這裡，p代表運動向量。圖15和16中示出了這些狀態的映像圖。注意，因為在到現在為止的處理中已經對{kH0}進行變換和更新，所以{kH0}是已知值。
隨後，由於連續更新了與{nH0}相關聯的不確定度σz，所以可以對特徵點圖像的深度信息z進行更新。由於通過計算{nHk}＝nH00Hk獲得的特徵點i的圖像的最初的{nHk}的重運行，並且由於作為框k與框n之間的對應關係的(U，V)和基於更新的(u』，v』)的深度信息z，從而執行該處理。此新確定的z還用於對接下來的框變換進行估計。注意各個特徵點信息的內容如下所示1)在特徵點第一次出現並註冊時的框號k。
2)框k中的標準化特徵點坐標(u，v)。
3)框k中限定的深度信息z(與(u，v)相關聯的形狀向量分量){kH0}≡kH0(kR0，kT0)≡kH0(kφx0，kφy0，kφz0，ktx0，kty0，ktz0)(運動參數)(已在註冊時的框中進行了計算)
5)一個先前空間傳感器框{n-1H0}(已在先前框中進行了計算)6)一個先前框(n-1)中的標準化特徵點坐標(uprev，vprev)7)一個先前框(n-1)中的協方差矩陣cov((uprev，vprev)在新的框圖像中，以各特徵點作為標記，使得上述參數與各個特徵點相關聯。
這裡，為了確定上述深度信息z、{nHk}以及其它值，執行以下處理。此外，在圖17中示出了各個框的關係。
注意，假定在該時間點已對直到先前框的運動參數進行了估計。此外，假定已用平均值和協方差矩陣對{kH0}和{n-1Hk}進行了估計。此外，考慮不確定度對Hn-1n(xn-1n,yn-1n,zn-1n,txn-1n,tyn-1n,tzn-1n)]]>進行估計。據此，因為提供了估計值{nHn-1}，所以也可以對{nH0}進行估計。
隨後，執行對已在框(n-1)中的特徵點列表中註冊的特徵點的匹配。注意，在圖17中，k是特徵點第一次出現的框號，(u』，v』)是框n中的特徵點的坐標值。然後，cov(u』，v』)是框n的協方差矩陣。
1)如下預測Hkn(xkn,ykn,zkn,txkn,tykn,tzkn).]]>{nHk}＝nHn-1 n-1Hk，rij∈{nHk} (公式1)2)為了更新{nHk}，設置以下限制。
u=z(r11u+r12v+r13)+txknz(r31u+r32v+r33)+tzkn]]>v=z(r21u+r22v+r23)+tyknz(r31u+r32v+r33)+tzkn]]>(公式2)這裡，(u』，v』)是框n中的測量值，以及相對於平均值和協方差矩陣具有小不確定度。
此外，獲取運動向量p=(xkn,ykn,zkn,txkn,tykn,tzkn)]]>的初始計算值、特徵點坐標(u』，v』)、以及深度信息z。
然後，通過使用Kalman濾波器，可以對運動向量p=(xkn,ykn,zkn,txkn,tykn,tzkn)]]>和深度信息z進行更新。這裡，假定p=(xkn,ykn,zkn,txkn,tykn,tzkn)]]>和z是經更新的平均值和經更新的協方差。
這樣，更新了{nHk}。
隨後，執行對{nH0}的更新。如果可以在這些處理中獲取對{nHk}的更新，那麼可以通過再次使用Kalman濾波器來更新{nH0}。
此外，根據對{nHk}和{nH0}的測量，以及Kalman濾波器計算的參數{nH0}，考慮nH0＝nHkkH0。因此，可以得到a=(xkn,ykn,zkn,txkn,tykn,tzkn)]]>b=(x0k,y0k,z0k,tx0k,ty0k,tz0k)]]>p=(x0n,y0n,z0n,tx0n,ty0n,tz0n)]]>此時，cov(a)和cov(b)是極小的值。此外，作為三維公式，提供了以下(公式3)。
f(a，b，p)＝0 (公式3)這裡，(公式3)中的a、b、p、和0是向量的量。為了更新p，使用Kalman濾波器。在圖18中示出了p更新後的狀態。
由此，通過各個特徵點圖像和Kalman濾波器，可以對p=(x0n,y0n,z0n,tx0n,ty0n,tz0n){H0n}]]>進行更新。此外，如果可以對p連續地應用Kalman濾波器，就可以在極大程度上降低p的不確定度。
隨後，對框k中限定的深度信息z進行估計。從此，僅對運動向量p連續應用Kalman濾波器。然後，通過在更新p後再次應用Kalman濾波器，可以降低z的不確定度σz。這通過下面的方法實現。在計算p=(x0n,y0n,z0n,tx0n,ty0n,tz0n){H0n}]]>之後，使用以下(公式4)再次公式化{nHk}{nHk}＝nH00Hk＝nH0(kH0)-1(公式4)首先通過使用下面的公式傳播不確定度。
(x0n,y0n,z0n,tx0n,ty0n,tz0n){H0n}]]>測量(x0k,y0k,z0k,tx0k,ty0k,tz0k){H0k}]]>在這兩個公式中，必須根據單個特徵點地傳遞對應於{nHk}的極小的不確定度。然後，考慮上述(公式4)。
於是，獲得c=(xkn,ykn,zkn,txkn,tykn,tzkn){Hkn}]]>以及對協方差的評價值。這裡，通過上述(公式2)定義具有與框n的深度信息z匹配的框k的(u』，v』)。
使得(u』，v』)和c=(xkn,ykn,zkn,txkn,tykn,tzkn){Hkn}]]>與所有測量值(或者已評價的值)不相關。注意，毫無疑問地對深度信息z進行計算。
在計算了框n的所有值之後，對c=(xkn,ykn,zkn,txkn,tykn,tzkn){Hkn},]]>深度信息z、以及其它值進行更新。
如上所述，當對以表示當前狀態的框n為基準的初始框0的位置和姿態關係{nH0}進行了估計(更新)時，作為其逆矩陣(逆變換)，計算以世界坐標係為基準的當前框的位置和姿態{0Hn}。
即，0Hn＝(nH0)-1如果世界坐標系相對於攝像機坐標系的位置和姿態{nH0}(即{nC0})是如此計算的，則可以容易地確定作為其逆矩陣(逆變換)的攝像機坐標系(即，空間傳感器系)相對於世界坐標系的位置和姿態{0Hn}。
這裡，在上述攝像機位置和姿態獲取單元60中，對初始框0的初始化處理64進行說明。
攝像機位置和姿態獲取單元60在特徵點出現和消失期間繼續追蹤特徵點信息，並繼續更新特徵點的三維信息。此外，當出現另一個特徵點時，可以通過接管當前特徵點信息的三維信息來繼續對攝像機框信息進行更新。然而，在空間傳感器第一次啟動的時間點，沒有特徵點具有三維信息，因此，各個特徵點只能獲取相對深度信息。由此，在該初始化處理64中，執行向一個或更多個已知特徵點提供深度信息的處理。首先，對初始化處理的第一系統進行說明。
注意，在使用本實施例的運動檢測裝置作為用於檢測身體運動的裝置的情況下，將已知大小的標識標記附於被安裝者他/她自己身體的可以從附於手、頭等的運動檢測裝置看到至少一部分的部位。標識標記例如可以是以特定的已知間隔分開的特徵點標記，或者可以是具有特定的已知大小形狀的標識標記。
例如，在接入電源後的加電重啟、通過重啟開關的強制重啟處理等的狀態中，執行初始化處理64。被安裝者在標識標記輸入到圖像傳感器40a的位置執行初始化處理64。
此外，在如圖2所示地利用可以對手的形狀等進行識別的手勢操作輸入裝置情況下，可以通過重啟手勢動作(例如，將當手的形狀從石頭變為布的動作定義為重啟操作)執行該處理。在初始化處理64時，圖像傳感器40a首先檢測這些標識標記，並對從已知大小的標識標記提取的特徵點的深度信息z進行初始註冊。在初始化處理64時和之後，在攝像機位置和姿態獲取單元60，可以在使得註冊的深度信息z對應於其它特徵點信息的同時繼續對攝像機框進行更新。
由此，不需要在初始化時在具有特定標記的特定位置執行該處理，可以在任何時間任何地點執行初始化處理。
此外，作為初始化處理的第二系統，標識標記以與上述初始化處理的第一系統相同的方式附在被安裝者他/她自己身體的一個部位上。然而，存在不一定需要諸如大小、間隔等信息的系統。該系統用於執行初始化處理以預先確定身體姿勢(例如，手的位置/姿態、頭的位置/姿態等)。例如，用作標識標記的垂懸物(pendant)或類似物附在胸部。隨後，通過利用上述的手勢操作輸入裝置在垂懸物的位置執行重啟手勢動作。在該初始化處理中，手背上的圖像傳感器40a對預先確定的圖像輸入區域的特徵點進行識別，並對其深度信息z進行註冊作為已知值。由此，被安裝者他/她自己必須預先測量用於初始化的手勢和此時從圖像傳感器40a到已知特徵點的距離，並將該值輸入作為初始值。按照這種系統，因為可以充分地識別特徵點的位置，所以不需要識別特徵點的大小、距離、形狀等，並且標識標記可以被製得很小。
此外，識別處理的第三系統是使用身體本身的測量值和位置關係作為已知特徵點而無需在身體上安裝特別的標識標記的系統。以與上述系統相同的方式，存在兩種這樣的系統。
一種系統是對作為被安裝者他/她自身身體的初始特徵點的部分的度量預先進行測量並將其初始化註冊的系統。例如，當設置臉上的眼睛作為特徵點時，使用眼睛寬度的距離作為已知距離。此外，臉的寬度、肩的長度等也可以用作已知距離。
此外，另一系統是以預先確定的身體的姿勢執行初始化處理、總是從恆定距離對身體一部分的特徵點位置進行提取，並將特徵點位置輸入到圖像傳感器40a的系統。例如，在手在身體前伸出時的初始化動作中對頭的距離註冊作為已知距離，或者，在兩隻手以給定間隔張開時，將用於測量從一隻手到另一隻手的距離的手勢設為初始化手勢，由此可以註冊已知距離。
在通過上述手勢操作輸入裝置執行此處理的情況下，在身體前面的確定的位置執行重啟手勢運動。據此，手背上的圖像傳感器40a可以提取總在給定範圍內的方位和入射角的區域中的臉的圖像，並可以對其特徵點進行註冊作為已知特徵點信息。在此系統中，可以限制初始化處理時的已知特徵點的搜索範圍。
此外，兩個系統可以自然地統一到一個方法中，並且可以通過對特徵點的已知間隔和已知距離信息進行初始註冊來提高精確性。
根據第三系統，無需在身體上安裝用作特徵點的特殊標記即可執行初始化處理，此外，可以提高其可操作性。
初始化處理的第四系統是利用初始化時的周邊環境與姿態之間的關係的系統。當通過上述手勢操作輸入裝置執行此處理時，預先決定重啟手勢動作時的手勢以執行，例如，在站立的狀態和手背朝下的狀態、或者手的姿態使得可以從圖像傳感器40a看到腳信息。此外，對該姿態中從手背到地的距離進行預先測量和初始註冊。此時，可以對從到腳的方向上的圖像提取的特徵點進行註冊，作為大致的已知距離信息的特徵點。
在運動檢測裝置附於頭部等的情況中，例如，可以利用站立狀態下的身高數據作為距離信息。然而，對於由於脖子的彎曲等而產生的周邊圖像的變化，也可以根據空間傳感器中的加速度傳感器20的信息對在到腳的方向上的圖像進行檢測，因此，總是可以識別腳處的作為圖像信息的特徵點。因此，可以根據相對於重力軸從頭到腳的特徵點的角度信息以及從空間傳感器到腳的距離，對到特徵點的距離進行估計。由此，可以不僅僅在初始化處理時將其用作由此始終可以知道深度信息的特徵點。注意，在這種情況下，條件是其用在腳張到某種程度的限定環境。
接著，初始化處理的第五系統是通過執行作為初始化動作的動作(例如執行預先已知的移動的手勢)來執行初始化處理的系統。
例如，在通過上述手勢操作輸入裝置來執行該操作的情況下，作為初始化處理，首先，以初始化開始手勢動作(例如，假定石頭和布動作是開始動作)來開始初始化處理，然後，手從預先設置的初始位置移動到結束位置，這裡，通過執行初始化結束手勢動作(例如，假定布和石頭動作是結束動作)來結束初始化信息的輸入。作為該動作，重要的是連接第一和最末動作的直線距離是始終恆定並且已知的距離。例如，通過一系列動作從手向前伸出到最大的狀態到手接觸身體時移動的距離可以用作基本恆定的距離信息。
可以通過將已知的移動距離信息加到來自在上述一系列初始化手勢動作的開始與結束之間處理的周邊圖像的特徵點信息的運動參數和深度估計信息，從而對各個特徵點的深度信息進行註冊。此系統不是直接使用身體的測量值和位置關係信息的系統，而是使用身體的操作部分的動作範圍的信息的系統。
如上所述，在初始化處理64中，可以在多種系統中對關於初始特徵點的深度信息z進行初始註冊。這些系統可以單獨使用，也可以以各自組合的方式同時執行。此外，在初始化的時間點可以通過手勢動作來改變要使用的初始化系統。
隨後，對用於搜索特徵點的新開始位置的搜索方法進行說明。當在匹配處理53中未能搜索到註冊特徵點圖像時，丟棄該信息。然而，當特徵點的數目變小時，減少了用於確定攝像機姿態參數的信息量，算術精度劣化。此外，如上所述，對於特徵點的輸入圖像的方向，試圖從所有可能的方向輸入圖像，這提高姿態信息的精度。由此，當在確定不能獲得對特徵點的匹配的情況下將其丟棄時，必須新搜索特徵點並將其註冊。此外，特徵點圖像的輸入方向必須是與當前註冊並追蹤的特徵點圖像的輸入方向不同的方向。
接著，此後參照圖4B對用於搜索特徵點的表組織技術進行說明。圖4B是其中對用於上述掩模數據處理51的掩模數據進行了擴展的圖像投影分塊掩模數據。略去圖像處理等的周邊位置是「0」數據，非「0」的數值信息嵌入投影圖像的圓的內部。數值信息進一步嵌入每個特定分塊區域，以及根據該數據對當前搜索的特徵點的輸入圖像的方向進行識別。
這裡，在圓的內部有兩個同心圓，各個同心圓分為在方位方向上劃分的若干區域。用作用於標識各個區域的編號的分塊數據嵌入這些區域。此外，作為新搜索特徵點的開始位置的搜索開始坐標值與標識號相連。搜索開始坐標值是繪於圖4B中各個圖像投影分塊掩模數據區域的大致中心的黑點的位置。注意，分塊數據對應於圖8的圖像投影分塊掩模數據58。
即，當在匹配處理53中正確搜索到對當前特徵點位置的匹配時，可以通過讀取對應於追蹤坐標值的圖像投影分塊掩模數據58的分塊數據而得知大致入射方向。然而，不需要具體知道入射方向的角度等。可以對所有已註冊特徵點的搜索坐標值執行此處理，可以確定不存在當前搜索的特徵點的分塊號，可以向用於搜索的新特徵點搜索表註冊分塊號的搜索開始坐標值。從而，可以分散作為新搜索特徵點坐標值的圖像的入射方向。
可以通過計算來實際確定這些處理。此時，然而，根據當前特徵點圖像坐標通過投影變換的變換式來確定各個特徵點的入射光線的角度(θ)和方位角，分析所有特徵點的入射方向，此後，必須確定下一個搜索方向。變換處理和對入射方向的分析等需要較多的複雜處理。與其相比，在本實施例中，僅僅通過改變圖像投影分塊掩模數據58的內容就可以容易地改變搜索區域的數量和方向。
在本實施例中的對特徵點信息的管理中，可以利用對作為特徵點的對象的有效性進行確定/管理的函數。在上述的攝像機位置和姿態獲取單元60中的位置/姿態算術處理62中，基於根據所有特徵點的相對移動而獲得的攝像機框{nH0}及其一個先前姿態信息{n-1H0}，確定圖像處理周期內相對姿態的移動{nHn-1}。此後，當通過將相對運動參數{nHn-1}用於各個特徵點的前一個匹配坐標值從而對各個特徵點的當前移動進行了估計時，對估計的坐標值與實際匹配坐標值之間的差進行評價。當評價值大於某閾值時，確定該特徵點是無效特徵點。在這種無效特徵點確定處理63中確定為無效的特徵點將特徵點註冊標記復位同時保持特徵點搜索標記被置位。
由此，通過比較自然特徵點的圖像移動向量與來自空間傳感器1的姿態信息，可以確定用作周邊圖像的特徵點的對象是可以作為待測量物體的基準的有用物體還是無效移動物體。從而，由於僅將空間傳感器周圍的世界坐標空間中的固定物體或靜止物體作為用於確定姿態的基準信息，所以可以更精確地確定姿態。
注意，對確定為無效的特徵點進行處理以使得在圖像比較單元50的無效特徵點追蹤處理55中不對存在確定為無效的特徵點的區域進行註冊。即，將它們作為無效特徵點信息來管理從而不再次加到新特徵點搜索信息。
因此，無效特徵點處於特徵點註冊標記被復位的狀態，且處於特徵點搜索標記被置位的狀態。這裡，對於特徵點註冊標記或特徵點搜索標記被置位的特徵點，在匹配處理53中執行正常的搜索處理。因此，對於在此再次正確執行了匹配的特徵點，再次對追蹤標記置位。此外，當沒有正確執行匹配時，對特徵點註冊標記和特徵點搜索標記二者進行復位，並無論該特徵點信息有效或無效都丟棄該特徵點信息。隨後，特徵點註冊標記未被置位的無效特徵點不用於以下的用於確定攝像機位置和姿態獲取單元60的姿態信息的計算。
如上所述，無效特徵點成為攝像機位置和姿態獲取單元60中的誤差因素。因此，如果簡單地丟棄無效特徵點，則很有可能在下一個圖像處理周期中再次提取該無效特徵點作為特徵點，並再次將其用於姿態計算處理等。結果，可以通過追蹤其位置並對無效特徵點進行管理來減少計算處理，此外，可以精確確定姿態。
當在如上所述的圖像比較單元50中用於標識特徵點的註冊圖像的大小和搜索範圍如圖4A所示地固定時，通常，對於待測量對象的平移移動，遠處對象的各特徵點的移動小，但近點的對象的各特徵點的移動大於遠點的對象。即，根據近點的特徵點估計的深度信息顯著地影響測量的精度。
由此，當在上述攝像機位置和姿態獲取單元60中的特徵點z估計處理61中對特徵點的深度信息z進行了估計時，在特徵點是遠處特徵點的情況下，再次構建註冊圖像的大小以使其變大，並使搜索範圍變得較小。另一方面，在近點的特徵點的情況下，與其相比，註冊圖像的大小變得較小，搜索範圍變大。注意，此處理對應於根據權利要求書的「自適應特徵圖像設置裝置」的處理。
這裡，投影光學系統410的立體角根據要作為主體的對象的大小和到該對象的距離而變化。因此，除非根據距離信息改變註冊圖像的最佳大小和搜索範圍，否則註冊圖像的變形和移動範圍向較近點的特徵點的圖像那樣相對於姿態變化發生較大的偏離，並且在搜索特徵點過程中不能正確執行匹配。
然後，通過根據註冊特徵點信息的深度信息z將匹配處理53的圖像大小和搜索範圍改變到最佳值，可以設法提高檢測姿態的精度並優化處理速度。
本實施例的空間傳感器不僅可以通過被安裝在手或頭而且可以通過被安裝在身體的待測量部位，從而用作可以對該部位的自由度的空間姿態進行測量的身體運動檢測裝置。此外，不需要像使用光、磁等的傳感器那樣在附近或者周圍安裝信號源用作基準，它可以在任何地方使用。此外，當同時附有許多空間傳感器時，可以使用這些空間傳感器而不會有任何相互幹擾、數據更新率減小等。此外，通過將如本實施例中的圖5A所示的空間傳感器附於虛擬或實際書寫工具的末端部分，可以對處於書寫狀態的筆尖的移動進行測量，該空間傳感器可以用於筆輸入類型操作輸入裝置等。
此外，如果本實施例的空間傳感器附於數字攝像機等上，則可以在連續拍攝圖像時同時記錄空間姿態信息。可以將這些拍攝信息和空間姿態信息用作用於對被拍攝對象的三維信息進行重構的信息，該空間傳感器可以用作三維圖像數據構建攝像機。
如上所述，不僅通過將空間傳感器直接安裝在身體上來使用空間傳感器，而且該空間傳感器可以通過被附在附於身體等並通過被握持在手裡來使用的工具上來測量工具自身的運動。
以上根據實施例說明了本發明，本發明不限於上述實施例，毫無疑問，在不脫離本發明主旨的範圍內可以進行各種修改和應用。
工業應用如上所詳述，根據本發明，可以提供一種可以精確地識別被安裝對象的空間位置、姿態、以及移動的運動檢測裝置，以及一種通過直接或間接將這種運動檢測裝置安裝到身體從而可以識別身體部位的移動、手勢等的運動檢測裝置。此外，一種對通過在安裝了該運動檢測裝置的物體被抓住或握住的同時對其進行操作而被操作的裝置的位置、姿態等的移動進行檢測的運動檢測裝置。
特別地，在第一發明中，通過使用來自圖像拾取裝置的周邊圖像的信息以及根據來自加速度傳感器或角速度傳感器的信號而確定的慣性運動的信息來確定空間位置和姿態，從而可以更精確地測量待測量對象的位置和姿態。
在第二發明中，因為投影圖像是分為五個區域的中心投影，所以可以通過圖像信息的線性變換式容易地確定特徵點的空間位置和方向。
在第三發明中，可以同時獲取比平面鏡類型所獲取的圖像數量更多的圖像。
在第四發明中，可以同時獲取來自全天周的圖像。
在第五到第七發明中，不需要像使用光、磁等的傳感器那樣在附近或者周圍安裝作為基準的信號源，可以在任何地方使用空間傳感器。此外，即使同時附有多個空間傳感器，也不存在相互幹擾、數據更新率減小等。
在第八發明中，通過根據來自慣性傳感器的姿態信息來估計對當前特徵點的位置、對其周邊圖像的旋轉處理等的估計，可以以極高的速度進行處理。此外，通過當慣性傳感器的移動量小時使搜索範圍變窄，或者通過當移動量大時使搜索範圍變寬，可以對提高處理速度和提高分析精度這兩個目的進行切換。
在第九發明中，因為使得像素和坐標值是彼此對應的信息，所以即使它們被轉換為不連續或重疊的圖像信息也可以容易地實現比較處理。由此，可能在像素分散的狀態執行匹配處理，並且可以更精確地高速執行處理。
在第十發明中，因為將註冊圖像的各個像素作為分散圖像信息來管理，所以可以將它們看成與框圖像中的各個局部點對應，或將它們看作分散在整個圖像中的特徵像素之間的對應。即，可以使特徵區域變寬或變窄以對應於要拾取圖像的複雜度，結果，可以控制處理精度和處理速度。
在第十一發明中，由於通過將超過閾值的特徵點確定為無效特徵點從而僅將固定或靜止於周邊圖像的物體作為基準信息，因此可以更精確地確定姿態。
在第十二發明中，通過追蹤無效特徵點的位置並對其圖像位置進行管理，可以以較少的計算處理來精確確定姿態。
在第十三發明中，即使不使得諸如具有已知深度信息的特徵點等的參考標記始終處於視野內，也可以通過繼續進行對特徵點的檢測處理從而繼續以較少的誤差確定姿態信息。
在第十四發明中，可以根據當前特徵點位置簡單地知道投影圖像的方向和分類，並且可以高速執行計算處理。
在第十五發明中，試圖通過根據註冊特徵點信息的深度信息來將匹配的圖像大小和搜索範圍改變到最佳值，從而提高檢測姿態過程的精度並優化處理速度。
在第十六發明中，如果存在標識標記，就可以在任何時間任何地點簡單地執行初始化處理。
在第十七發明中，如果存在標識標記，就可以在任何時間任何地點簡單地執行初始化處理。此外，即使標識標記的形狀發生變化，也可以與其對應。
在第十八、第十九、以及第二十一發明中，在初始化時不需要安裝特別的標識標記。
在第二十發明中，在初始化時不需要安裝特別的標識標記，此外，在初始化之後的測量期間可以對特徵點數據進行校正。
在第二十二發明中，通過將運動檢測裝置安裝到通過被抓或握在手中而被操作的物體上，可以對待操作裝置的位置、姿態等的移動進行檢測。
權利要求
1.一種用於檢測待測量對象的位置和姿態的運動檢測裝置，其特徵在於包括慣性運動檢測裝置，用於通過使用加速度傳感器和角速度傳感器中的至少一個來檢測待測量對象的慣性運動；圖像拾取裝置，其固定於慣性運動檢測裝置，用於拾取待測量對象的周邊圖像；圖像比較裝置，用於對圖像拾取裝置在不同時間點拾取的圖像進行比較；攝像機位置和姿態獲取裝置，用於通過使用圖像比較裝置對圖像進行比較的結果，檢測待測量對象的位置和姿態；以及空間位置和姿態獲取裝置，用於根據慣性運動檢測裝置以及攝像機位置和姿態獲取裝置獲取的信息，檢測待測量對象的空間位置和姿態。
2.根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且該光學裝置包括至少四個平面鏡，並且包含通過所述至少四個平面鏡將待測量對象的周邊圖像投影到圖像拾取裝置上的光學系統。
3.根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且該光學裝置包含通過曲面鏡將待測量對象的周邊圖像投影到圖像拾取裝置上的光學系統。
4.根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，並且該光學裝置具有通過魚眼透鏡將待測量對象的周邊圖像投影到圖像拾取裝置上的光學系統。
5.根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於所述運動檢測裝置被安裝到身體的一個部位上，並對安裝部位的位置和姿態進行檢測。
6.根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於所述運動檢測裝置被安裝到手背上，並對手的位置和姿態進行檢測。
7.根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於所述運動檢測裝置被安裝到頭部上，並對頭部的位置和姿態進行檢測。
8.根據權利要求1所述的運動檢測裝置，其特徵在於圖像比較裝置具有特徵點移動估計裝置，所述特徵點移動估計裝置用於根據由慣性運動檢測裝置檢測的當前位置和姿態以及圖像拾取裝置的投影變換相對於註冊時的姿態信息的關係，對特徵點的移動位置和搜索範圍進行估計，並且特徵點移動估計裝置執行用於從當前框搜索追蹤的特徵點的圖像匹配處理。
9.根據權利要求8所述的運動檢測裝置，其特徵在於特徵點移動估計裝置根據註冊時的特徵點的位置坐標、特徵點的周邊圖像中的各像素的信息、用於追蹤各像素信息的各像素的移動估計像素位置信息、慣性運動檢測裝置檢測到的當前位置和姿態信息、以及圖像拾取裝置的投影變換間的關係，對各像素的移動位置進行估計；並且通過在搜索範圍內對圖像點移動後的圖像進行掃描來執行圖像匹配處理。
10.根據權利要求8所述的運動檢測裝置，其特徵在於特徵點移動估計裝置根據包括註冊時的特徵點的特徵點圖像點中的各像素的信息、各像素的位置坐標、用於追蹤位置坐標的各像素的移動估計像素位置信息、慣性運動檢測裝置檢測到的當前位置和姿態信息、以及圖像拾取裝置的投影變換間的關係，對各像素的移動位置進行估計；並且通過在搜索範圍內對圖像點移動後的圖像進行掃描來執行圖像匹配處理。
11.根據權利要求1所述的運動檢測裝置，其特徵在於攝像機位置和姿態獲取裝置進一步具有無效特徵點確定裝置，該無效特徵點確定裝置用於根據基於各特徵點的運動參數和對於特徵點估計的深度信息而獲得的攝像機位置和姿態信息，確定從包括各特徵點的圖像測量到的運動參數與根據攝像機位置和姿態信息獲得的運動向量之間的誤差，並且將誤差超過特定閾值的特徵點確定為無效特徵點。
12.根據權利要求11所述的運動檢測裝置，其特徵在於無效特徵點確定裝置進一步具有無效特徵點追蹤裝置，該無效特徵點追蹤裝置用於追蹤無效特徵點的位置信息，直到與被確定為無效特徵點的特徵點相關的信息消失。
13.根據權利要求1所述的運動檢測裝置，其特徵在於攝像機位置和姿態獲取裝置執行以下步驟在特徵點的新註冊期間，對作為特徵點信息的從框圖像看到的三維信息和當前攝像機框進行註冊，在從特徵點出現時到特徵點消失時的期間對特徵點進行追蹤，據此對從框圖像看到的三維信息進行更新，並且，當出現另一特徵點時，對從當前攝像機框獲得的所述另一特徵點的三維信息進行註冊，由此，對在連續圖像中出現和消失的多個特徵點圖像的位置進行追蹤，並根據所述多個特徵的移動，獲取相對於世界坐標空間的當前攝像機框。
14.根據權利要求1所述的運動檢測裝置，其特徵在於圖像拾取裝置進一步包含用於投影圖像的光學裝置，以及圖像比較裝置進一步具有用於對所述光學裝置的入射光軸進行識別和分塊的圖像投影分塊掩模裝置。
15.根據權利要求1所述的運動檢測裝置，其特徵在於圖像比較裝置進一步具有自適應特徵點圖像設置裝置，該自適應特徵點圖像設置裝置用於分析特徵點圖像的深度信息，並且根據分析的深度信息在註冊時切換特徵點圖像的大小和特徵點搜索範圍或者切換特徵點註冊數量。
16.根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時獲取已知大小或間隔的用於識別特徵點的標識標記的圖像，並且根據用於識別特徵點的標識標記的圖像的大小或間隔來確定並註冊深度信息。
17.根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於從離開設置於預先確定的位置的用於識別特徵點的標識標記已知距離的位置獲取該用於識別特徵點的標識標記的圖像，並且在此時對特徵點的深度信息進行初始註冊。
18.根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時獲取身體的部分或全部的圖像，並且對根據獲取的圖像和預先註冊的身體的部分或全部的形狀和大小而獲得的特徵點的深度信息進行初始註冊。
19.根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時從已知距離獲取身體的特徵部位的圖像，並且根據獲取的圖像對特徵點的深度信息進行初始註冊。
20.根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時獲取與安裝部位呈預先確定的方向和距離的圖像，並且對獲得的圖像中的特徵點的深度信息進行初始註冊。
21.根據權利要求5所述的運動檢測裝置，其特徵在於進一步包含初始化裝置，該初始化裝置用於在初始化時執行使安裝部位移動規定距離的動作，並且通過當時獲得的圖像對圖像中的特徵點的深度信息進行初始註冊。
22.根據權利要求2至4中的一項所述的運動檢測裝置，其特徵在於該運動檢測裝置通過被固定或安裝到通過被握或持於手中而被操作的物體上來檢測該物體的位置和姿態。
全文摘要
本發明由以下部件構成慣性運動檢測單元(30)，通過使用加速度傳感器(20)或角速度傳感器(10)中的至少一個來檢測待測量對象的慣性運動；圖像拾取單元(60)，拾取待測量對象的周邊圖像；圖像比較單元(50)，對圖像拾取單元(40)在不同時間點拾取的圖像進行比較；攝像機位置和姿態獲取單元(60)，通過使用圖像比較單元(50)對圖像進行比較的結果，檢測待測量對象的位置和姿態；以及空間位置和姿態獲取單元(70)，根據由慣性運動檢測單元(30)以及攝像機位置和姿態獲取單元(60)獲得的信息，檢測待測量對象的空間位置和姿態。
文檔編號A61B5/11GK1711516SQ20038010274
公開日2005年12月21日 申請日期2003年11月4日 優先權日2002年11月7日
發明者毛利工, 小坂明生 申請人:奧林巴斯株式會社