標識識別方法和裝置的製作方法

2023-05-20 07:19:01 2

專利名稱：標識識別方法和裝置的製作方法
技術領域：
本發明涉及從用攝像裝置拍攝到的圖像中抽取、識別配置在現實空間或者現實物體上的標識的標識識別技術，特別涉及使用標識的幾何學信息的標識識別技術。
背景技術：
拍攝現實空間的攝像機等的攝像部(以下為方便起見，簡單地稱為攝像機)的位置姿勢測量，在例如融合顯示現實空間和虛擬空間的複合現實感系統中是必需的。作為這樣的現有技術，有在日本特開平11-084307號公報、日本特開2000-041173號公報以及A.State，G.Hirota，D.T.Chen，B.Garrett，and M.LivingstonSuperior augmentedreality registration by integrating landmark tracking and magnetictracking，Proc.SIGGRAPH，』96，pp.429-438，July 1996.(文獻1)中所公開的那樣，使用配置於現實空間中的位置已知的標誌、或者現實空間中的位置已知的特徵點(以下，將標誌和特徵點合在一起稱為標識)，來修正測量攝像機的位置姿勢的位置姿勢傳感器的測量誤差的方法。
換言之，這些方法，是利用測量攝像機的位置姿勢的位置姿勢傳感器和通過攝像機拍攝到的標識，來推測攝像機的位置姿勢的方法。作為在這樣的方法中所使用的標識，有顏色區域的重心、同心圓等。另外，多數情況下會同時使用多個標識，作為求取從攝像機拍攝到的圖像中檢測出的標識，對應於配置在現實空間的多個標識中的哪一個的裝置之一，已知有使用從圖像中檢測出的標識的坐標，和根據位置姿勢傳感器的測量值對標識的絕對位置進行投影而獲得的、圖像面上的標識的坐標之間的關係的。
另一方面，如在加藤，Billinghurst，淺野，橘基於標誌追蹤的擴展現實感系統及其校準，日本虛擬實境學會論文雜誌，Vol.4，no.4，pp.607-616，Dec 1999.(文獻2)、X.Zhang，S.Fronz，N.NavabVisualmarker detection and decoding in AR systemA comparative study，Proc.of International Symposium on Mixed and Augment Reality(ISMAR』02)，2002.(文獻3)中所公開的那樣，不使用位置姿勢傳感器，只使用通過攝像機拍攝到的標識來推測攝像機的位置姿勢的方法也已經為人所知。並且，在這些非專利文獻中，都是使用正方形的標識，根據正方形的4個頂點的坐標，來推測攝像機的位置姿勢的。但是，由於正方形是以通過其中心點(對角線的交點)、與面垂直的軸作為旋轉軸的，每90度旋轉對稱形，所以僅從頂點的坐標無法進行上下左右的判定。為此，在正方形的標識內部，設置有用於判定上下左右的進一步的圖像特徵。並且，在使用多個標識時，由於需要只根據通過攝像機拍攝到的圖像，來識別捕捉到的是多個標識中的哪一個，因此在標識的內部進一步嵌入了每一個標識各不相同的固有的圖案、符號等的圖形信息。
在現有技術1的推測攝像機的位置姿勢的方法中，在使用點標誌或同心圓標誌作為標識時，1個標識所具有的信息只有1個坐標值。為此，幾何性信息較少，為了推測準確的位置姿勢、或者為了擴大觀測視野，採用了同時使用數量較多的多個標識這樣的方法。
如上述這樣，在同時使用多個標識時，需要研究鑑定在圖像中捕捉到的標識相當於配置在現實空間的標識中的哪一個的方法。尤其是在標識的圖像特徵(顏色、形狀等，可以通過圖像處理識別的特徵)相同、或者差異很小，並且配置了數量較多的標識時，可能出現誤識別。
對於該誤識別的可能性，使用圖5進行具體的說明。在圖5中，500表示攝像機的拍攝範圍(圖像區域)，501和502分別表示從拍攝圖像中檢測出的配置在現實空間的點標誌。另外，503和504表示使用安裝在攝像機上的位置姿勢傳感器的測量值，將攝像機拍攝到的2個點標誌的絕對位置投影到攝像機的拍攝面上所獲得的點。
只要位置姿勢傳感器不存在誤差，501同503，以及502同504分別應該在圖像面上相一致，但是實際上受位置姿勢傳感器存在誤差的影響，造成503和504的在圖像面上的坐標，作為與501和502偏移了的坐標而被計算。在該例子的情況下，504的坐標被投影在超出了圖像區域的位置。比較投影在圖像面上的標識的位置和從攝像圖像中檢測出的標識的位置，將其距離較小的作為是相同的標識，來進行標識的識別(鑑定)。在這種情況下，由於503比501更接近502，因此就判斷為503和502是相互對應的，識別為從圖像中檢測出的502這個標識，就是配置在現實空間中的503這個標識。如該例所示，在使用了多個如現有技術1所使用的那樣的圖像特徵相同或差別很小的標識時，有可能會造成誤識別。
另外，在現有技術1的推測攝像機的位置姿勢的方法中，可以將某個特定顏色的小的圓形的片(sheet)狀的物體作為標識。在這種情況下，標識所具有的信息為3維位置(坐標)和顏色。使用位置姿勢傳感器的測量值，將標識的3維位置投影到攝像機的圖像面上，另一方面，進行從圖像中檢測該標識的顏色的顏色區域檢測處理，並計算在圖像中的重心位置。然後，將投影到圖像面上的3維位置，和從圖像中計算出的重心位置進行比較，通過例如將最接近的判定為是相同的標識，能夠鑑定圖像中的標識。
如此，在通過顏色區域檢測從圖像中檢測標識時，前提是在攝像機將要拍攝的現實空間中，除標識之外不得存在與標識相同的顏色。
例如，如圖13所示，以在作為背景的空間中存在各種各樣的物體的情況為例進行說明。在圖中，所使用的標識1203配置在現實物體上，在這裡假定為例如具有紅色的圓形區域。另外，具有紅色筆帽的原子筆1204同標識一起存在於攝像機101將要拍攝的現實空間中。在這種狀態下，攝像機101所拍攝到的圖像，為如圖14所示那樣的圖像。另外，在圖14中，一併顯示了根據位置姿勢傳感器102的測量值，將標識1203的3維坐標投影到攝像機101的攝像面上的點1302。
此時，如果如上述那樣使用顏色區域檢測來從圖像中檢測標識1301，則不僅僅是標識1203的圓形區域，連原子筆1204的紅色區域1303也可能作為紅色區域被檢測出來。如果區域1303作為紅色區域被檢測出來，則由於原子筆1204的紅色區域1303的重心，比標識1301的重心更接近投影位置1302，因此會將區域1303作為對應於投影位置1302的標識而識別。如此，就存在如果在將要拍攝的空間內，存在具有與標識相同或者近似的顏色的物體，則可能會將此錯當成標識進行識別的問題點。
為了防止這樣的問題，也有使用由配置成同心圓狀的不同顏色的組合構成的標識，在進行完顏色區域檢測後檢查顏色的組合，只將組合正確的區域作為標識檢測的方法。由於在這種情況下，與使用了單色的標識的情況相比，將背景的一部分誤當成標識檢測出來的可能性降低，所以不會在如圖13那樣的情況下造成誤識別。
然而，為了使用顏色區域檢測進行穩定的標識檢測，多數情況下都將標識的顏色設定成醒目的顏色，進而在同心圓上組合不同的顏色，此時為了能夠穩定地檢測出同心圓，在圖像中必須拍攝得足夠大。即，需要在現實空間中配置大且損害視覺效果的標識。但是，在現實空間不允許配置這樣的標識的情況下、或者在影響現實空間的美觀這一點上依然存在問題。
另一方面，有使用如現有技術2所使用的正方形標識這樣的、具有圖形性展開(spread)的標識的方法。然而，由於現有技術2需要完全地只從圖像來識別每一個標誌，因此為了識別上下左右，需要嵌入標誌固有的符號信息、能夠成為模板(templet)的記號信息等。圖7A～7C，是文獻2以及文獻3中所公開的現有技術2所使用的具體的正方形標識的例子。
由於必須從圖像中檢測出具有如此複雜的結構的標識，因此存在如果不在攝像圖像面中捕捉佔據足夠大的面積的標識，就無法進行標識的識別的問題。換言之，這就意味著為了配置標識必須確保現實空間的寬廣的區域，或者攝像機必須足夠接近標識。或者，可以說存在標識的配置條件較苛刻這樣的問題。

發明內容
本發明以解決這樣的現有技術的問題點為主要目的。
上述目的，通過一種標識識別方法來實現，該標識識別方法使用預先保存著的、標識的位置信息和標識的幾何學信息，從已取得的圖像中檢測、識別標識，其特徵在於，包括圖像取得步驟，取得用攝像裝置拍攝到的包括具有預定形狀的標識的現實空間的圖像；位置姿勢信息取得步驟，取得上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢的測量結果；標識識別步驟，根據上述3維位置姿勢測量結果、上述標識的預先被保存著的位置信息、以及該標識的預先被保存著的幾何學信息，從上述已取得的圖像中檢測、識別標識。
另外，上述目的也可以通過一種被配置在現實空間中，作為預定的坐標系中的絕對位置基準而使用的標識來實現，其特徵在於具有由不帶有方向性的基本形狀和賦予該基本形狀方向性的1個方向性賦予形狀的組合而構成的外觀。
另外，上述目的也可以通過一種標識識別裝置來實現，該標識識別裝置使用預先保存著的、標識的位置信息和標識的幾何學信息，從已取得的圖像中檢測、識別標識，其特徵在於，包括圖像取得單元，取得用攝像裝置拍攝到的包括具有預定形狀的標識的現實空間的圖像；位置姿勢信息取得單元，取得上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢的測量結果；標識識別單元，根據上述3維位置姿勢測量結果、上述標識的預先被保存著的位置信息、以及該標識的預先被保存著的上述幾何學信息，從上述已取得的圖像中檢測、識別標識。
本領域的技術人員根據以下對本發明的具體實施方式
的描述將明確除以上所討論的以外的其它目的和優點。在參照附圖進行描述中，附圖為本發明的一部分，用於表示本發明各種實施方式的例子。這些例子未窮盡本發明的各種實施例，僅作為確定本發明範圍的權利要求的參考。


附圖構成本說明書的一部分，用於說明本發明的實施例，並與該說明一起用於闡明本發明的原理。
圖1是表示本發明的第1實施方式中的標識識別裝置的功能結構的框圖。
圖2是示意地表示本發明的第1實施方式的使用場景的示意圖。
圖3是表示帶方向性的正方形標識在圖像中被捕捉到的樣子、以及被投影到圖像上的樣子的示意圖。
圖4是本發明的第1實施方式中的標識識別裝置所進行的處理的流程圖。
圖5是用於表示現有技術1中的標識的誤識別的可能性的補充圖，是表示點標誌在圖像中被捕捉到的樣子、以及被投影到圖像上的樣子的示意圖。
圖6是示意地表示本發明的第2實施方式的使用場景的示意圖。
圖7A～7C是現有技術中所使用的標識的例子。
圖8是表示在本發明的第1至第3實施方式中使用的、具有方向性的標識的例子的圖。
圖9A～9E是表示可以用於本發明的第1至第3實施方式的標識的其他例子的圖。
圖10以及圖11A、11B，是說明標識的方向性檢測方法的圖。
圖12是表示本發明的第4實施方式中的標識識別裝置的功能結構的框圖。
圖13是示意地表示現有技術1和本發明的第4實施方式的使用場景的示意圖。
圖14是用於說明現有技術1中所進行的處理的、表示標識在圖像中被捕捉到的樣子的示意圖。
圖15是本發明的第4實施方式中的標識識別裝置所進行的處理的流程圖。
圖16是用於說明第4實施方式所進行的處理的、表示標識在圖像中被捕捉到的樣子的示意圖。
圖17A、17B是表示在第4實施方式中使用的圓形標識、以及用於計算該標識的面積的長軸短軸的圖。
圖18是示意地表示本發明的第5實施方式的使用場景的示意圖。
圖19A～19C是用於說明在本發明的第4至第6實施方式的變形例中使用的正方形標識、以及該標識的面積計算方法的圖。
圖20是用於補充說明本發明的第4至第6實施方式的變形例中的處理的、表示標識在圖像中被捕捉到的樣子的示意圖。
圖21是在本發明的第4至第6實施方式的變形例中、標識識別裝置所進行的處理的流程圖。
具體實施例方式
下面將結合附圖詳細說明本發明的優選實施例。
圖1是表示本實施方式的標識識別裝置的結構例的框圖。首先，在本實施方式中，以使用具有方向性的標識為特徵，在這裡，作為適宜的標識的例子，使用在如圖8所示那樣的正方形形狀(基本形狀)120的內部的、偏向一個頂點的位置上，配置有明度差異大的正方形(賦予方向性的形狀)121的這樣的標識。即，本實施方式中的標識由基本形狀和帶方向形狀構成，通過將其位置關係連同配置位置一起事先登錄，可識別標識的方向。如此，在本實施方式中，作為標識的幾何學信息，使用標識的方向性的信息。
而且，在本實施方式的標識中，方向性賦予形狀121被配置成以一個頂點作為基本形狀120的中心點，在到頂點的距離的2/3的位置上具有對角頂點。通過這樣配置，即使標識整體變小，也能夠維持基本形狀120的外周和方向性賦予形狀121的外周的間隔，能夠在取得作為方向性賦予形狀121的內部的正方形的明度時儘量觀察其中心。同樣地，圖11A、11B表示使外部形狀為正三角形時的標識的例子。
該標識的特徵在於，同圖7A～7C所示現有技術2中所使用的那樣的標識不同，由於在外形正方形的內部嵌入的信息少，因此在從圖像中檢測時，即使所拍攝的尺寸比較小，也能夠穩定地檢測出來。而另一方面，由於該標識只有表示方向性的信息被嵌入在內部，而沒有嵌入用於區分每一個標識的信息，因此也一併具有僅從圖像中檢測標識，無法區分並識別每一個標識這樣的特徵。以後將該標識稱為帶方向性正方形標識。
101是能夠拍攝現實空間的攝像機、是具有例如CCD、CMOS傳感器作為攝像元件的攝像機。在攝像機101上固定有使用了例如磁傳感器等的3維位置姿勢傳感器102。位置姿勢測量部103驅動、控制3維位置姿勢傳感器102，測量攝像機101的位置姿勢。
在標識信息數據保存部104中，預先存儲有針對配置在現實空間中的帶方向標識、在本實施方式中是針對各個帶方向正方形標識，用於特定配置位置(例如中心點的3維絕對坐標)、頂點的3維絕對坐標、大小、姿勢、標識的方向的信息(例如表示帶方向形狀和基本形狀的位置關係的信息，在圖10的標識時，例如是離帶方向形狀最近的頂點的坐標等)；關於帶方向形狀的信息(關於形狀、顏色的信息等)這樣的為了進行標識的鑑定以及方向的識別所必需的信息。另外，在這裡所舉出的登錄項目僅為例示，根據使用的標識、標識的識別方法，既有登錄除此之外的信息的情況，也有以更少的項目完成的情況。
然後，位置姿勢測量部103，將由3維位置姿勢傳感器102獲得的攝像機101的位置姿勢值提供給標識投影計算部105。標識投影計算部105，由攝像機101的位置姿勢值、和記錄在標識信息數據部104中的帶方向性正方形標識的3維坐標信息，計算出被認為是攝像機101正在拍攝的標識在攝像機101的圖像面上的投影位置。以下，將投影到圖像面(也稱為攝像面)上的標識稱為投影標識。
標識檢測部106，捕捉攝像機101的攝像圖像，根據顏色、形狀等預先確定的關於標識的信息，從圖像中檢測被認為是標識的區域(以下，也稱為檢測標識)。標識識別部107，由通過標識投影計算部105獲得的投影位置、和通過標識檢測部106獲得的圖像中的標識位置，進行標識的鑑定。關於詳細的標識的鑑定方法將在後面敘述。
圖2是示意地表示圖1的結構的假想的使用狀態的圖。帶方向性正方形標識203，如圖那樣被配置在現實空間中，該標識的大小、配置等的信息被記錄在標識信息數據保存部104中。
接著，參照圖4所示的流程圖，對具有上述結構的標識識別裝置進行的處理進行說明。
在步驟S401中，由3維位置姿勢傳感器102測量位置姿勢，並向位置姿勢測量部103發送。在步驟S402中，根據在步驟S401中獲得的結果，以變換矩陣的形式計算觀察變換(viewing transformation)。所謂觀察變換，是指在將以攝像機的視點位置為原點、以攝像面為xy平面、以視軸為朝z軸負方向的矢量的3維坐標系作為攝像機坐標系，以固定設定在現實空間中的坐標系作為世界坐標系時，這2個坐標系之間的坐標變換，將在世界坐標系上的點變換到攝像機坐標系的變換。即，通過事先求取該觀察變換，能夠將在世界坐標系上的坐標值，容易地計算成攝像機坐標系的坐標值。
接著，在步驟S403中，通過使用在步驟S402中獲得的觀察變換，將記錄在標識信息數據保存部104中的帶方向性正方形標識的中心點和頂點的位置(坐標)，變換到攝像機坐標系，進行攝像機101的透視投影變換計算，計算各自在攝像面上的推測位置(投影坐標)。在這裡，顯然各個頂點都是分別區分地記錄的，因此在將該各個頂點投影到攝像面上所獲得的投影坐標中，各自是投影哪一個頂點的，在處理步驟上是顯而易見的。而且，表示帶方向性正方形標識的方向的頂點是哪一個(在圖8中所示的標識內部偏靠靠配置的正方形121是對哪一個頂點偏靠靠的)也是明確的。另外，攝像機101的透視投影變換由攝像機101的鏡頭焦點距離、主點(投影中心)位置唯一地確定，可在實施本實施方式前預先求取。
另外，一方面進行步驟S401、S402、S403的步驟，另一方面，在步驟S404中，由攝像機101拍攝現實空間，在步驟S405中，作為用於從獲得的攝像圖像中檢測帶方向性正方形標識的一個步驟，檢測外周正方形並算出頂點和中心點。這可以使用任何方法，例如有以下這樣的方法。
首先，使標識的明度和背景不同，在進行完基於明度的二值化後通過加標記(labeling)處理來求取連續區域。通過使該連續區域的標記外周以折線近似而檢測出外周的四邊形(基本形狀)120。通過求取所獲得的四邊形的頂點，再求取對角線的交點，來求取中心點。
接著，作為檢測帶方向性正方形標識的檢測的一個步驟，在步驟S406中，使用檢測出的外周四邊形的內部的信息，檢測帶方向性正方形標識的方向。方向的檢測，例如如圖10所示那樣，針對各個連接外周四邊形的4個頂點(a、b、c、d)和中心點O的線段，計算該線段從中心點朝頂點按1∶2分割的點(a′、b′、c′、d′)。進而，比較該4個點在圖像中的像素的明度，求取明度差異最大的點。由於4個點中明度與其他3個點的差異最大的點(在圖10中為c′)，來自於圖8所示的偏靠配置於標識內部的正方形121，因此就可以確定從圖像中檢測出的帶方向性正方形標識的方向。例如，在作為用於特定方向的信息，使用了離帶方向形狀最近的頂點的坐標時，特定離明度差異最大的點最近的頂點的坐標。
在以上的步驟中，根據3維位置姿勢傳感器102的測量值，可以獲得將帶方向性正方形標識的頂點和中心點投影到圖像面上的投影坐標及其方向性、從圖像中檢測出的正方形標識(另外，在圖像中是作為四邊形而不是正方形出現的)的頂點和中心點的檢測標識及其方向性。
在本實施方式中最終想要進行的是，如圖8所示那樣，當在現實空間內配置了多個僅憑從圖像中檢測無法各自進行區分的帶方向性正方形標識時，識別每一個標識。例如，如圖3所示，在2個標識相鄰地配置著這樣的情況下，識別這些標識。圖3的301和302，分別表示從圖像中檢測出的配置在現實空間的帶方向性正方形標識。如圖所示那樣，該兩個標識301、302被相鄰配置著，並且，其方向性被配置成互相不同。
此時，假定在步驟S403中獲得的、可能包含在攝像機101的視野中的標識的、被投影到攝像機101的圖像面上的投影坐標的1個，被計算為303那樣的位置。而且，假定該標識303是在圖像中被檢測出的標識301。在這樣的情況下，假如，比較投影到圖像面上的標識的位置和從圖像中檢測出的標識的位置，將其距離小的作為同一個，來進行標識的識別(鑑定)，就會象在發明想要解決的課題中所論述的那樣，將303和302作為相對應的而誤識別。解決該課題、正確地進行標識的識別的步驟，是以下敘述的步驟S407和S408。
在步驟S407中，根據在步驟S403獲得的投影到圖像面上的中心點與在圖像面中檢測出的標識的中心點的距離，對於在步驟S403中獲得的各投影標識，生成可能對應的在圖像中的檢測標識的候選列表。該列表，例如是按離中心點距離近的順序排列的線形列表。接著，在步驟S408中，針對在步驟S403中獲得的各投影標識，從最開頭按順序搜索可能對應的候選列表，找到方向性吻合的。例如，在作為用於特定方向的信息而使用了離帶方向形狀最近的頂點的坐標時，評價在步驟S406中特定的頂點的坐標與在步驟S405中求得的中心點坐標的關係，和針對候選列表的各標識預先保存的離帶方向形狀最近的頂點的坐標與預先保存的中心點的坐標的關係，找到方向性吻合的。
以圖3的情況為例，對該步驟S407以及S408的步驟進行說明。通過步驟S407，相對於投影標識303，距離最近的檢測標識302和301作為對應的候選被列舉在列表上。由於檢測標識302比301更接近投影標識303，因此在列表中檢測標識302成為比301更高位。使用該列表，在步驟S408中，首先檢查投影標識303與檢測標識302的方向性的同一性，接著檢查投影標識303與檢測標識301的方向性的同一性。
然後，由於檢測標識302同投影標識303的方向性的差異很大，因此不會被作為是對應的，被認為方向性一致的檢測標識301和投影標識303被建立對應關係。
另外，在本實施方式中，步驟S407和步驟S408這2個步驟，是以各投影標識為基準，將成為對應候選的檢測標識做成列表，並使之建立對應關係的方法。但是，另一方面，也可以是以各檢測標識為基準，將成為對應候選的投影標識做成列表的方法。而且，不限於簡單根據標識的距離生成候選列表的方法，既可以是以根據圖像面上的標識的坐標的方法生成候選列表，也可以是其他的方法。並且，也可以不是先根據在圖像面上的距離生成候選列表，由該列表基於標識的方向性使之建立對應關係這樣的處理順序，而是首先將標識的方向性吻合的列成列表，從中根據在圖像面上的距離而使之建立對應關係。
根據以上說明的本實施方式，通過使用標識的方向性進行標識的識別，即使在配置有多個相同標識的情況下，也能夠識別每一個標識。因此，能夠使用更為簡單的標識，其結果是由於檢測出標識自身變得容易，因此與按每一個標識設定其固有的圖案的現有技術相比，標識的大小、配置、以及攝像機與標識的位置的限制變得非常寬鬆。
即，在本實施方式中使用的帶方向性正方形標識，是簡單的2個正方形的組合(在正方形內部具有偏靠的正方形)，由於不需要每一個標識的固有圖案等，作為用於區分個體的追加信息的圖形、圖案，因此便於簡單而又穩定地從圖像中檢測出來。其結果，不僅是在圖像中捕捉到足夠大的標識的情況，即使在攝像圖像中的標識很小的情況下，也能夠穩定地檢測出標識。而且，使用的標識也具有這樣的效果比圖7A～7C所示那樣的、在現有技術2中使用的標識變得更小，外觀也可以是比較不醒目的。
在第1實施方式中，是假設在攝像機上配置3維位置姿勢傳感器，通過攝像機動態的運動狀況，拍攝固定在現實空間中的標識的情況，但是，固定攝像機、移動3維位置姿勢傳感器以及配置了標識的現實物體的情況，也能夠很好地適用本發明。
圖6是示意地表示本實施方式中的攝像機101、現實物體803以及3維位置姿勢傳感器802的關係的圖。另外，除了3維位置姿勢傳感器802的安裝位置從攝像機101變換到了現實物體803上之外，圖1所示標識識別裝置的結構無需變更就可以在本實施方式中使用。
在本實施方式中，用說明第1實施方式中的識別處理的圖4的步驟S402，代替求取用於將世界坐標系變換成攝像機坐標系的觀察變換，根據物體803的位置姿勢測量值，以變換矩陣的形式計算造型變換(modeling transformation)。所謂造型變換，是指以固定並設定在現實空間的坐標系作為世界坐標系、固定在對象物體上的坐標系作為物體坐標系時，這2個坐標系之間的坐標變換，將在物體坐標系上的點變換到世界坐標系上的變換。即，通過事先求取該造型變換，能夠將具有固定在物體上的坐標值的位置，容易地計算成在世界坐標系的坐標值。
然後，在步驟S403中，標識坐標投影計算部105，代替觀察變換而使用造型變換將標識203投影到攝像機101的攝像面上。圖4中的其他的步驟通過與第1實施方式同樣地處理，能夠進行帶方向性正方形標識的識別。
在第1實施方式中，是攝像機移動，標識固定；在第2實施方式中，是攝像機固定，配置有標識的現實物體移動這樣的狀況，但是，在攝像機和配置有標識的現實物體兩者都移動的環境中，也能夠適用本發明。
在這種情況下，將3維位置傳感器安裝在攝像機和移動現實物體這兩者上，由各自的測量結果，通過步驟S402求取用於算出投影標識的變換。即，以固定在移動物體上的坐標系作為物體坐標系，以固定在攝像機上的坐標系作為攝像機坐標系，以固定並設定在現實空間的坐標系作為世界坐標系時，求取將在物體坐標系的點變換到攝像機坐標系上的變換(多級變換)。
由於該變換，是一併進行將在物體坐標系上的點變換到世界坐標系上的造型變換，和將在世界坐標系上的點變換到攝像機坐標系上的觀察變換，因此能夠通過使用各自的變換矩陣容易地求取。
然後，在步驟S403中，使用該多級變換求取投影標識。其他的步驟只需與第1實施方式同樣地實施即可。
在上述第1至第3實施例中，作為標識使用了圖8所示的正方形形狀的標識，但只要標識具有方向性，並且能夠從標識的圖像中檢測出該方向性，使用什麼樣的標識都可以。
例如，上述實施方式中使用過的那樣的、由不具有方向性的基本形狀，同與基本形狀組合併賦予方向性的賦予了方向性的形狀構成的標識的其他例子，如圖9A～9E所示。另外，這裡所謂的「不具有方向性」形狀不僅指象圓形那樣在圍繞中心點旋轉時完全沒有外觀上的變化的情況，還指能夠具有至少2個無法進行區分的旋轉狀態的形狀。例如基本形狀為正方形的情況下，在圍繞中心點旋轉時，由於90°、180°、270°、360°的狀態無法進行區分，因此作為不具有方向性的形狀對待。
圖9A表示基本形狀120是正三角形，方向性賦予形狀121是偏靠地配置在基本形狀內部的正三角形的標識。在使用圖9A所示標識時，步驟S403的投影計算成為對中心點和3個頂點的投影計算，步驟S405成為進行三角形的檢測，算出該頂點和中心點。此處，步驟S405的中心點的計算，在為四邊形時通過求取對角線的交點進行，在為三角形時，如圖11A所示那樣，只需通過計算從頂點朝對角邊的中點的直線的交點算出即可。圖11B是將圖11A的方向性賦予形狀121變形，提高在標識變小時的方向性賦予形狀121的識別性。
象這樣，作為在基本形狀的內部，偏靠地配置了具有可以與基本形狀進行圖像識別的特徵(明度、彩度等)的方向性賦予形狀的標識，例如在星形(★)的基本形狀的內部偏靠地配置有圓(o)的方向性賦予形狀等，可以使用各種各樣的標識。但是，由於隨著基本形狀的頂點的增加或者處理的負荷變大，或者增加存儲關於標識的信息的104的容量，因此最好不將過於複雜的形狀作為基本形狀使用。
並且，方向性賦予形狀也可以不存在於基本形狀的內部。例如也可以是如圖9B所示那樣的，在作為基本形狀的正方形120的一側，配置作為方向性賦予形狀的長方形121的標識。在這樣的情況下，方向性賦予形狀的圖像識別上的特性(明度、彩度等)，既可以是同基本形狀差異小的，也可以是相同的。另外，既可以是如圖9C所示那樣的，排列了2個直角三角形那樣的標識(此時，基本形狀為2個直角三角形的組合形，可以將三角形的間隔部分121視作為方向性賦予形狀)，也可以是如圖9D所示那樣的，在作為基本形狀的正三角形120的一邊上具有作為方向性賦予形狀的突起121的那樣的標識、如圖9E所示那樣的，組合了三角形的基本形狀同作為方向性賦予形狀的圓的組合。除此之外還存在很多可以使用的標識，在此省略更多的例示。
在上述實施方式中，使用了方向性的信息作為標識的幾何學信息。在以下的第4至第6實施方式中，以使用面積的信息作為標識的幾何學信息為特徵。
圖12是表示本實施方式的標識識別裝置的結構例的框圖。首先，在本實施方式中，作為適宜的標識，使用如圖17A所示那樣的圓形的標識601。
本實施方式的標識識別裝置的結構，除了標識坐標投影計算部105變成為標識投影計算·面積計算部105′，標識檢測部106變成為標識檢測·面積計算部106′，另外標識識別部107′的處理不同之外，與通過圖1說明了的結構基本是共通的，因此省略重複的說明。
另外，在本實施方式中，在標識信息保存部104中，對於各個配置在現實空間中的標識、在本實施方式中是對於各圓形標識，預先存儲有配置位置(例如中心點的3維絕對坐標)、外周形狀信息(半徑或直徑的長度等)這樣的、為了進行標識的鑑定以及方向的識別所必需的信息。另外，在這裡所列舉的登錄項目僅為例示，根據使用的標識、標識的識別方法，既有登錄除此之外的信息的情況，也有以更少的項目完成的情況。
然後，位置姿勢測量部103，將由3維位置姿勢傳感器102獲得的攝像機101的位置姿勢值提供給標識投影計算·面積計算部105′。標識投影計算·面積計算部105′，使用由攝像機101的位置姿勢值和記錄在標識信息數據保存部104中的正方形標識的3維坐標信息，計算出被認為是攝像機101正在拍攝的標識在攝像機101的圖像面上的投影位置和在圖像面上的面積。以下，將投影到圖像面(也稱為攝像面)上的標識稱為投影標識。
標識檢測·面積計算部106′，捕捉攝像機101的攝像圖像，根據顏色、形狀等預先確定的關於標識的信息，從圖像中檢測被認為是標識的區域(以下，也稱為檢測標識)。進而，連同檢測出的標識在圖像面上的位置(例如重心位置)一起，計算在圖像面上的面積。標識識別部107′，由通過標識投影計算·面積計算部105′獲得的投影位置及面積、和通過標識檢測·面積計算部106′獲得的標識的檢測位置及面積，進行標識的識別。關於詳細的標識的識別方法將在後面敘述。
接著，參照圖15所示的流程圖，對具有上述結構的標識識別裝置進行的處理進行說明。另外，在圖15中，對於進行與圖4相同處理的步驟標註相同的參照符號，並省略重複的說明。
在步驟S401中，由3維位置姿勢傳感器102測量位置姿勢，並向位置姿勢測量部103發送。在步驟S402中，根據在步驟S401中獲得的結果，以變換矩陣的形式計算觀察變換。
接著，在步驟S1403中，通過使用在步驟S402中獲得的觀察變換，將記錄在標識信息數據保存部104中的圓形標識的中心點和頂點的位置(坐標)變換到攝像機坐標系，進行攝像機101的透視投影變換計算，計算各自在攝像面上的推測位置(投影坐標)。另外，攝像機101的透視投影變換，是根據攝像機101的鏡頭焦點距離和主點(投影中心)位置唯一地確定的，可在實施本實施方式前預先求取。
接著，在步驟S1404中，通過與步驟S1403同樣地使用觀察變換，計算圓形標識的外周形狀被投影到圖像面上時所形成的橢圓的長軸和短軸的長度(圖17B所示長軸a和短軸b)，計算橢圓的面積。
另外，一方面進行步驟S401、S402、S1403、S1404的步驟，另一方面，在步驟S404中，由攝像機101拍攝現實空間，從獲得的攝像圖像中檢測圓形標識。圓形標識的檢測方法，可以使用任何一種方法，例如有事先將圓形標識設定為紅色等的特定的顏色，通過顏色檢測處理採用連續區域求取的方法。中心點可以採用該連續區域的重心位置計算。進而在該步驟中，作為外周形狀事先取得構成所獲得的區域的外周的像素。
接著，在步驟S1407中，對通過構成所獲得的外周形狀的像素的橢圓進行近似計算，計算長軸和短軸的長度，算出在圖像面上的面積。在該步驟中，也可以代替由外周的橢圓算出面積，而計數構成圓形標識的像素數(構成外周形狀的像素和其內部的像素數)，根據像素數算出面積。
在以上的步驟中，可以根據3維位置姿勢傳感器的測量值，獲得將圓形標識的中心點投影到圖像面上的投影坐標、以及圓形標識投影到圖像面上時的面積，從圖像中檢測出的圓形標識(另外，在圖像中是作為橢圓而不是圓映現)的中心點的檢測標識和在圖像面上的面積。
在本實施方式中最終想要進行的是，判別配置在現實空間的圓形標識，對應於從圖像中檢測出的標識中的哪一個。作為為此而進行的處理，首先，在步驟S1408中，根據通過步驟S1403獲得的投影標識的中心點，與通過步驟S1406獲得的圖像中檢測出的標識的中心點的距離，針對在步驟S1403中獲得的各投影標識，從在步驟S1406中獲得的圖像中的檢測標識，生成被認為是對應的標識的候選列表。該列表，例如是按離中心點距離近的順序排列的線形列表。接著，在步驟S1409中，針對在步驟S1403中獲得的各投影標識，從最開頭按順序搜索可能對應的候選列表，找到面積差最小的。
由此，例如即使在從上述圖14那樣的圖像中識別標識的情況下，由於原子筆1204的紅色區域1303的面積與標識1203的面積不同，因此能夠防止誤識別。即，雖然紅色區域1303被包含在候選列表中，但如圖16所示那樣，由於標識601的投影標識1502的面積與區域1303的面積差異很大，因此區域1303不被識別為是對應的標識。於是，接下來距離近、面積差異小的區域1203作為對應的標識被正確識別。
更具體地說，將面積的比在預定範圍內(例如大於等於0.5小於等於2)的最近的檢測標識作為對應的標識進行識別。另外，也可以代替面積比而使用面積的差異。由於候選列表是按距離近的順序排列的，因此從列表最前開始按順序檢查，到發現面積比在預定範圍的時刻停止，將該候選識別為是對應的標識。當然，也可以是從所有的候選、或者在一定距離內的候選中，選擇面積比最接近1這樣的方法。另外，也可以選擇滿足由距離和面積比預先確定了的條件式等，通過各種各樣的條件識別標識。
例如，作為其一個例子，在設距離為r、面積比為s時，考慮t為在s不足1的情況下為t＝l/s，在超過1的情況下為t＝s，此時評價值E為E＝ar+bt(0＜a＜1，0＜b＜1)可以列舉出選擇該E成為最小值的方法。另外，該評價式E中的a和b是預先賦予的加權係數，在重視距離的情況下只需將a變大，將b變小即可，在重視面積的情況下只需將b變大，將a變小即可。
另外，在本實施方式中，步驟S1408和步驟S1409這2個步驟，是以各投影標識為基準，將成為對應候選的檢測標識做成列表，並使之建立對應關係的方法。但是，另一方面，也可以是以各檢測標識為基準，將成為對應候選的投影標識做成列表的方法。而且，不限於簡單地根據標識的距離生成候選列表的方法，既可以是以根據圖像面上的標識的坐標的方法生成候選列表，也可以是其他的方法。並且，也可以不是先根據在圖像面上的距離生成候選列表，由該列表基於面積使之建立對應關係這樣的處理順序，而是首先將標識的面積接近的列成列表，從中根據在圖像面上的距離而使之建立對應關係。
根據以上說明的本實施方式，不僅使用投影標識和檢測標識在圖像面上的距離，還使用作為標識的幾何學信息的關於面積的信息進行標識的識別，即使在現實空間存在與標識近似的顏色的區域，該區域被作為標識檢測出的情況下，也能夠正確識別標識。因此，變成能夠使用單一色的標識。其結果是能夠使標識比在現有技術2中所使用的標識、即比將不同的顏色配置在同心圓上的標識變得更小，外觀也可以是比較不醒目的。進而，由於可以不用在圖像中捕捉過大的標識，因此攝像機和標識的位置的限制變得非常寬鬆。
在第4實施方式中，是假設在攝像機上配置3維位置姿勢傳感器，通過攝像機動態的運動狀況，拍攝固定在現實空間中的標識的情況，但是，在固定攝像機，移動3維位置姿勢傳感器和配置了標識的現實物體的情況下，也能夠很好地適用本發明。
圖18是示意地表示本實施方式中的攝像機101、現實物體703以及3維位置姿勢傳感器702的關係的圖。另外，除了3維位置姿勢傳感器702的安裝位置從攝像機101變換到了現實物體703上之外，圖12所示標識識別裝置的結構無需變更就可以在本實施方式中使用。
在本實施方式中，用說明第4實施方式中的識別處理的圖15的步驟S402，代替求取用於將世界坐標系變換成攝像機坐標系的觀察變換，根據物體703的位置姿勢測量值，以變換矩陣的形式計算造型變換。所謂造型變換，是指以固定設定在現實空間中的坐標系作為世界坐標系、固定在對象物體上的坐標系作為物體坐標系時，這2個坐標系之間的坐標變換，將在物體坐標系上的點變換到世界坐標系上的變換。即，通過事先求取該造型變換，能夠將具有固定在物體上的坐標值的位置，容易地計算成在世界坐標系的坐標值。
然後，在步驟S1403中，標識坐標投影計算·面積計算部105′，取代觀察變換而使用造型變換將標識1203投影到攝像機101的攝像面上，求取在步驟S1404中投影標識在圖像面上形成的橢圓的面積。對於圖15中的其他的步驟，通過與第4實施方式同樣地處理，能夠進行圓形標識的識別。
在第4實施方式中，是攝像機移動，標識固定的；在第5實施方式中，是攝像機固定，配置有標識的現實物體移動這樣的狀況，但是，在第5實施方式中進而使攝像機運動的環境，即攝像機和配置有標識的現實物體兩者都移動的環境中，也能夠適用本發明。
在這種情況下，將3維位置傳感器安裝在攝像機101和移動現實物體703這兩者上，由各自的測量結果，通過步驟S402求取用於算出投影標識的變換。即，以固定在移動物體上的坐標系作為物體坐標系，以固定在攝像機上的坐標系作為攝像機坐標系，以固定設定在現實世界中的坐標系作為世界坐標系時，求取將在物體坐標系的點變換到攝像機坐標系上的變換(多級變換)。
由於該變換是一併進行將在物體坐標系上的點變換到世界坐標系上的造型變換，和將在世界坐標系上的點變換到攝像機坐標系上的觀察變換，因此能夠通過使用各自的變換矩陣容易地求取。
然後，在步驟S1403中，使用該多級變換求取投影標識。其他的步驟只需與第4實施方式同樣地實施即可。
另外，在上述第4至第6實施方式中，算出投影標識和檢測標識的面積，對面積進行了比較，但顯然也可以比較例如在圖像中佔據的像素數等，相當於面積的其他信息。
在上述第4至第6實施例中，作為標識使用了圖17A所示的圓形形狀的標識，但只要標識具有作為圖形的擴展性，並且能夠計算面積，也可以是其他的形狀的標識。例如也可以是多邊形形狀的標識，更具體的如圖19A所示那樣的正方形標識。
使用圖21的流程圖，對使用這樣的正方形標識時的實施方式進行詳細說明。另外，在圖21中對於進行與圖15相同處理的步驟標註相同的參照符號，並省略重複的說明。
在步驟S1003中，通過使用在步驟S402中獲得的觀察變換，將記錄在標識信息數據保存部104中的正方形標識的中心點的3維坐標變換到攝像機坐標系，進行攝像機101的透視投影變換計算，計算各自在攝像面上的推測位置(投影坐標)。另外，攝像機101的透視投影變換由攝像機101的鏡頭焦點距離、主點(投影中心)位置唯一地確定，可在實施本實施方式前預先求取。
接著，在步驟S1404中，通過使用觀察變換和記錄在標識信息數據保存部104中的正方形標識的外周形狀信息(例如各頂點的3維坐標)，計算正方形標識的外周形狀在投影到圖像面上時形成的四邊形的頂點(圖19B所示P0、P1、P2、P3)，計算投影標識的面積。這可以通過如圖19C所示那樣，將正方形標識投影到圖像面上而形成的四邊形分割成2個三角形(P0-P3-P2以及P1-P2-P3)，分別計算三角形的面積來實施。具體地說，由從頂點P3向邊P0-P1引垂線的垂線長度c、和邊P0-P1的長度a，計算一個三角形的面積，由從頂點P1向邊P2-P3引垂線的垂線長度d、和邊P2-P3的長度b，計算另一個三角形的面積，將這些加起來計算即可。而且，以上為正方形標識時的計算式，在標識為長方形時也同樣地能夠適用。進而，所有四邊形都能夠通過同樣的方法計算面積。即，在這裡作為標識雖然是以正方形形狀為例進行說明的，但並不限於正方形的方法，只要是四邊形，任何形狀都可以。並且，即使是三角形、五邊形以上的所有多邊形，基於所有的多邊形都必定能被三角形所分割，因此能夠通過同樣的方法計算面積。在這種情況下，僅是將多邊形分割成三角形的方法不同而已。
另外，一方面進行步驟S401、S402、S1003、S1004的步驟，另一方面，在步驟S404中，由攝像機101拍攝現實空間，在步驟S1006中，由獲得的攝像圖像進行正方形標識的檢測。正方形標識的檢測可以使用任意的方法，例如有以下這樣的方法。
首先，使標識的明度和背景不同，在進行完基於明度的二值化後，通過加標記處理來求取連續區域。通過使該連續區域的標記外周成為近似折線而檢測出外周的四邊形(外周形狀)。通過求取所獲得的四邊形的頂點，再求取對角線的交點而求取中心點。接著，在步驟S1007中，由所獲得的四邊形頂點算出在圖像面上的面積。在該步驟中，也可以取代由頂點算出面積，而是計數構成正方形標識的像素數，根據像素數算出面積。另外，由於對連續區域的外周進行折線近似，由該折線求取多邊形的頂點、邊的方法適用於所有多邊形，因此能夠通過同樣的方法求取所有多邊形的面積。
接著，在步驟S1408中，根據在步驟S1003中獲得的正方形的中心點的投影坐標，和在步驟S1006中獲得的正方形的中心點的檢測坐標的距離，針對在步驟S1003中獲得的各投影標識，生成可能對應的在圖像中的檢測標識的候選列表。該列表，例如是按距離近的順序排列的線形列表。接下來，在步驟S1409中，針對在步驟S1003中獲得的各投影標識，從最開頭按順序搜索可能對應的候選列表，例如在面積比在預定範圍內，找到距離最近的。
對於通過攝像機101拍攝到的將在圖13所示的環境中的圓形標識203替換成正方形標識901的空間的圖像，如圖20所示。然後，針對該空間實施圖21的步驟，通過從步驟S401到S1004的步驟，投影到圖像面上的正方形標識為902。在該圖像中，作為除標識以外原本存在於現實空間的物體，有鍵盤903，該按鍵表面(keytop)作為四邊形被檢測出來。在這樣的情況下，在不考慮標識的面積的現有技術1的方法中，會造成不將本應該建立對應關係的檢測標識901，而將離投影標識902最近的按鍵表面區域作為對應的檢測標識進行誤識別。但是，即使在這樣的情況下，在本實施方式中，在步驟S1409中，根據按鍵表面區域的面積和投影標識902的面積的差異，投影標識902不會和按鍵表面(keytop)區域建立對應關係，而是和檢測標識901正確地建立對應關係。
另外，在上述實施方式中，為了便於理解，對包含攝像機以及3維位置計測傳感器的標識檢測裝置進行了說明，但這些並非都是必需的。即，也可以是通過其他的裝置進行攝像機(第1/第3/第4/第6實施方式)或者現實物體(第2/第3/第5/第6實施方式)的3維位置姿勢測量和拍攝，由其他的裝置取得3維位置姿勢測量結果和攝像圖像的結構。而且，不僅是實時地進行處理的情況，顯然也可以使用記錄了3維位置測量結果和攝像圖像來進行識別處理。
另外，在上述實施方式中，針對使用了作為標識的幾何學信息的關於方向性的信息、關於面積的信息的情況進行了說明，但顯然也可以使用其他的幾何學信息。作為這樣的幾何學信息，例如有標識的圓形度、長短比(橢圓率)、矩(moment)、長寬比等。例如，在長方形標識中使用長寬比，在橢圓標誌中使用橢圓率(ellipticity)和矩特徵量(moment feature)。
另外，也可以通過由多臺設備構成的系統實現與在上述實施方式中說明的標識識別裝置同等的功能。
另外，將實現上述實施方式功能的軟體的程序，從記錄媒體中直接提供、或者用有線/無線通信，將該程序提供給具有可執行該程序的計算機的系統或者裝置，通過該系統或者裝置的計算機執行該被提供的程序，實現同等的功能的情況也包括在本發明中。
因此，為了用計算機實現本發明的功能處理，提供給該計算機並安裝的程序代碼本身也是實現本發明的部分。也就是說，用於實現本發明的功能處理的電腦程式本身也包括在本發明中。
在這種情況下，只要具有程序的功能，不論程序的形式如何，目標代碼、由解釋程序執行的程序、提供給OS的腳本程序等都可以。
作為用於提供程序的記錄媒體，有例如軟盤、硬碟、磁帶等磁記錄媒體、MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等光/光磁記錄媒體、非易失性的半導體存儲器等。
作為使用了有線/無線通信的程序供給方法，可以列舉出如下這樣方法等在計算機網絡上的伺服器中存儲形成本發明的電腦程式本身、或者包括經過壓縮並自動安裝的功能的文件等，在客戶計算機上存儲能夠成為形成本發明的電腦程式的數據文件(程序數據文件)，將程序數據文件下載到連接著的客戶計算機上。在這種情況下，也可以將程序數據文件分割成多個片段文件，將片段文件配置在不同的伺服器上。
即，使多個用戶下載用於由計算機實現本發明的功能處理的程序數據文件的伺服器裝置也包含在本發明中。
另外，也可以將本發明的程序加密之後存儲在CD-ROM等存儲媒體中分發給用戶，使滿足預定條件的用戶例如經由網際網路從主頁下載解密的密鑰信息，通過使用該密鑰信息，執行該加密後的程序，使其安裝到計算機中來實現。
另外，除了通過計算機執行所讀出的程序，實現上述實施方式的功能之外，也可以由計算機上運行著的OS等根據該程序的指示，進行實際處理的一部分或者全部，通過該處理實現上述實施方式的功能。
並且，也可以是，在從記錄媒體中讀出的程序被寫入到插在計算機中的功能擴展板或者連接在計算機上的功能擴展單元所具有的存儲器中之後，根據該程序的指示，該功能擴展板或功能擴展單元所具有的CPU等執行實際處理的一部分或者全部，通過該處理實現上述如以上說明的那樣，根據本發明，即使是僅通過從圖像中檢測，無法對多個標識進行區分那樣的標識，也能夠通過使用標識的幾何學信息，個別地進行標識的識別。
而且，作為幾何學信息而具有方向性的標識，不需要作為用於區分個體的追加信息的圖像、圖案，因此便於簡單而又穩定地從圖像中檢測出來。即，達到如下效果不僅是在圖像中捕捉到足夠大的標識的情況，即使在標識變小的情況下，也能夠穩定地檢測出標識。而且，使用的標識也具有這樣的效果與在現有技術2中使用的標識相比較，尺寸能夠變小，外觀也可以比較不醒目。
另外，通過使用作為幾何學信息的面積，即使是在現實空間存在和標識近似顏色的區域，該區域作為標識被檢測出來的情況下，也能夠正確地識別標識。
在不脫離本發明的精神和範圍的前提下，本發明可以有各種不同的實施方式，並且應該理解為，本發明不受特定的實施方式的限定，其範圍由所附的權利要求限定。
權利要求
1.一種標識識別方法，使用預先保存著的、標識的位置信息和標識的幾何學信息，從已取得的圖像中檢測、識別標識，其特徵在於，包括圖像取得步驟，取得用攝像裝置拍攝到的包括具有預定形狀的標識的現實空間的圖像；位置姿勢信息取得步驟，取得上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢的測量結果；標識識別步驟，根據上述3維位置姿勢測量結果、上述標識的預先被保存著的位置信息、以及該標識的預先被保存著的幾何學信息，從上述已取得的圖像中檢測、識別標識。
2.根據權利要求1所述的標識識別方法，其特徵在於上述幾何學信息是關於上述標識的方向性的信息，上述標識識別步驟具有推測位置計算步驟，根據由上述位置姿勢信息取得步驟得到的上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢測量結果、和上述標識的位置信息，求取上述標識在上述攝像裝置的攝像面上的推測位置，並且根據上述圖像中的上述標識的位置、由上述推測位置計算步驟求得的標識的推測位置、和上述關於標識的方向性的信息，識別在上述圖像中檢測出的標識與上述標識的對應關係。
3.根據權利要求2所述的標識識別方法，其特徵在於上述標識識別步驟，根據在上述圖像中檢測出的上述標識的方向性，和針對具有與該標識距離最近的上述推測位置的標識而預先記錄的關於方向性的信息，進行上述識別。
4.根據權利要求2所述的標識識別方法，其特徵在於上述標識，由不具有方向性的基本形狀、和對該基本形狀賦予方向性的方向性賦予形狀的組合構成，上述標識識別步驟使用在上述圖像中識別出的上述標識的上述基本形狀與上述方向性賦予形狀的位置關係，識別該標識的方向。
5.根據權利要求2所述的標識識別方法，其特徵在於上述標識識別步驟，包括求取上述圖像中的標識在圖像中的重心位置的步驟；使用上述重心位置，確定上述標識中的多個代表點位置的步驟；使用上述重心位置的圖像信息和上述多個代表點位置的圖像信息，判定上述標識的方向的判定步驟。
6.根據權利要求2所述的標識識別方法，其特徵在於上述關於標識的方向性的信息，是該標識中的特定的頂點的3維位置信息。
7.一種被配置在現實空間中，作為預定的坐標系中的絕對位置基準而使用的標識，其特徵在於具有由不帶有方向性的基本形狀和賦予該基本形狀方向性的1個方向性賦予形狀的組合而構成的外觀。
8.根據權利要求7所述的標識，其特徵在於上述方向性賦予形狀具有與上述基本形狀不同的圖像識別方面的特徵，偏靠配置在上述基本形狀的內部。
9.根據權利要求7所述的標識，其特徵在於上述方向性賦予形狀，或者與上述基本形狀相接，或者與上述基本形狀保持間隔地配置。
10.根據權利要求1所述的標識識別方法，其特徵在於上述幾何學信息是關於上述標識的面積的信息，上述標識識別步驟具有投影標識計算步驟，根據在上述位置姿勢信息取得步驟中得到的上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢測量結果、和上述關於標識的位置和面積的信息，求取將上述標識投影到上述攝像裝置的攝像面上後的投影標識的關於位置和面積的信息，並且根據在上述圖像中檢測出的上述區域的關於位置和面積的信息，和上述投影標識的關於位置和面積的信息，識別在上述圖像中檢測出的標識與上述標識的對應關係。
11.根據權利要求10所述的標識識別方法，其特徵在於上述標識識別步驟，將在上述圖像中檢測出的標識中的、與上述投影標識距離短且面積差小的區域，識別為是與上述投影標識對應的標識。
12.根據權利要求10所述的標識識別方法，其特徵在於上述區域檢測步驟，檢測具有某種特定的顏色或者與周圍的明度差的連續區域，作為上述標識。
13.根據權利要求10所述的標識識別方法，其特徵在於上述關於標識的信息，是上述標識的中心點的3維坐標以及上述關於標識的外周形狀的信息。
14.根據權利要求13所述的標識識別方法，其特徵在於上述標識是圓形，關於上述外周形狀的信息是半徑或者直徑的大小。
15.根據權利要求13所述的標識識別方法，其特徵在於上述標識是正多邊形，關於上述外周形狀的信息是表示頂點的三維坐標的信息。
16.一種標識識別裝置，使用預先保存著的、標識的位置信息和標識的幾何學信息，從已取得的圖像中檢測、識別標識，其特徵在於，包括圖像取得單元，取得用攝像裝置拍攝到的包括具有預定形狀的標識的現實空間的圖像；位置姿勢信息取得單元，取得上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢的測量結果；標識識別單元，根據上述3維位置姿勢測量結果、上述標識的預先被保存著的位置信息、以及該標識的預先被保存著的上述幾何學信息，從上述已取得的圖像中檢測、識別標識。
17.根據權利要求16所述的標識識別裝置，其特徵在於還具有上述攝像裝置，以及上述攝像裝置或者上述現實物體的至少一方的3維位置姿勢測量裝置。
全文摘要
本發明提供一種標識識別方法和裝置。在用攝像機拍攝到的圖像中檢測配置在現實空間中的標識，並求取圖像中的位置(S405)。另一方面，根據攝像機的位置姿勢信息和標識的位置姿勢信息等，將標識投影到攝像機的攝像面上(S403)。然後，根據兩者在圖像面上的距離和標識的幾何學信息、例如方向性，來鑑定對應的標識(S408)。通過這樣的方法，能夠以簡便的方法準確地鑑定標識。
文檔編號G06T7/00GK1604122SQ20041008106
公開日2005年4月6日 申請日期2004年9月30日 優先權日2003年9月30日
發明者內山晉二, 佐藤清秀 申請人:佳能株式會社