用於製作三維物體識別用圖像資料庫的方法和裝置的製作方法

2023-10-06 12:49:29 2

專利名稱：用於製作三維物體識別用圖像資料庫的方法和裝置的製作方法
技術領域：
本發明涉及用於製作三維物體識別用圖像資料庫的方法和裝置。
背景技術：
近年來，隨著數位相機和帶有攝像頭的蜂窩電話愈加常用且日益成熟，用戶可輕易地形成並使用圖像數據。對此，積極進行了關於使用圖像數據的研究。研究之一是識別圖像中包括的三維物體。作為用計算機處理識別三維物體的方法，一種識別三維物體的方法利用了物體的幾何形狀(例如參見非專利文獻I和2)。還有一種識別三維物體的方法利用了通過拍攝物體形成的二維圖像(例如參見非專利文獻3和4)。本發明著重於上述方法中的後一種，即使用二維圖像識別三維物體的方法。該方法包括使用局部特徵的方法。局部特徵用向量描述圖像中局部區域的特徵。一般而言，會從一幅圖像的各個區域獲得成百上千個局部特徵。因而，即便查詢圖像中僅顯示物體的一部分，或者甚至在遮擋了物體的一部分時，也可根據該方法使用查詢圖像中顯示的部分識別相應的三維物體。使用局部特徵的方法對於拍攝條件不同的情況或者對於諸如相似轉換和旋轉等的轉換具有魯棒性。使用局部特 徵識別三維物體的最簡單方法是如下方法:預先拍攝各個物體，並且把從這些圖像中提取的局部特徵存儲在資料庫中。通過比較從查詢圖像提取的每個局部特徵和資料庫中存儲的局部特徵來識別物體。為了實現高精度三維物體識別，需要根據從任何角度拍攝的查詢圖像識別三維物體。因而，最好從許多個角度拍攝物體，並且從這些圖像提取局部特徵並存儲在資料庫中。然而，如果意圖存儲所有這些局部特徵，需要大的存儲器，這會成為問題。迄今為止，已提出解決該問題的各種方法。這些方法之一選擇必需的局部特徵，以減少要存儲在資料庫中的局部特徵的數量來實現存儲量減少(例如參見非專利文獻5)。引f列表非專利文獻非專利文獻1:P.J.Besl 和 R.C.Jain: 「Three-Dimensional ObjectRecognition」，ACM Computing Surveys, 17, I, pp.75-145(1985).
非專利文獻2:F.Rothganger, S.Lazebnik, C.Schmid and J.Ponce: 「3D ObjectModeling and Recognition Using Local Affine-1nvariant Image Descriptorsand Mult1-View Spatial Constraints，，，International Journal of ComputerVision, 66, 3(2006).
非專利文獻3:村瀬、S.K.Nayar:「2次元照合(二 J:石三次元物體認識-卜'J y 々固有空間法-」、信學論(D-1I)、vol.J 77-D-1I，n0.11，p p.2179-2187 (1994)。非專利文獻4:井上、三宅、黃瀬:「三次元物體認識(二用P 3局所特徴量^取捨選択^ J: 6隻V使用量削減手法O実験的検討」、電子情報通信學會論文誌D，J 92-D，9，pp.1686-1689(2009)。非專利文獻5:本道、黃瀬:「特定物體認識r 一夕 '一 7容量削減法Q検討 局所特徴量O量子化i取捨選択 」、電子情報通信學會技術研究報告(2009)。

發明內容
本發明要解決的問題然而，如果隨機選擇局部特徵以節省存儲局部特徵所需存儲量，可能會降低物體識別率。為了有效地實現存儲量減少而不降低識別率，需要僅存儲對識別有用的局部特徵。鑑於此，發明人關注某種程度上一致地從連續改變的圖像集合中提取的局部區域，並且有了新發現，即僅使用從上述區域提取的局部特徵。如果只在資料庫中存儲上述局部特徵，期望可減小存儲量而不會使物體識別精度降低。為了增強減少存儲量的效果，發明人還考慮將從物體的同一部分提取的局部特徵聚類為一組存儲在資料庫中。具體而言，通過使用稱為CLAFIC方法的技術，上述每個局部特徵集合張成子空間(參看例如石井健一郎、前田英作、上田修功、村瀬洋著、「打分>9々t ^ A夕一 >認識」、才一 A社、1998年8 月、p.147-151、或者 E.0j a:〃Subspace methods of pattern recognition", ResearchStudies Press(1983)。下文的實施例將對此進行描述)。利用該方法，可將多個局部特徵聚類表示為用一組。考慮到上述情況提出本發明，其目的在於提供一種選擇要存儲在用於三維物體識別的圖像資料庫中的局部特徵的方法，以實現存儲量減少，並且可以將由局部特徵選擇引起的識別率降低抑制到與存儲所有局部特徵的情況幾乎等同的程度。解決問題的方案
本發明提供一種用於製作三維物體識別用圖像資料庫的方法，包括如下步驟:在輸入分別從不同視點顯示三維物體的多個圖像的情況下，從所述多個圖像中的每一個圖像提取局部特徵並用相應的特徵向量表示所述局部特徵；形成特徵向量集合，每個集合表示物體的同一部分的取自彼此相鄰的一系列視點的局部特徵，並使用子空間方法生成各自表示每個集合的特性的多個子空間；以及把每個子空間與所述物體的標識符相關聯地存儲在圖像資料庫中，其中計算機訪問所述圖像資料庫以執行三維物體的識別處理，而且用如下步驟實現所述識別處理:當用某個物體的取自某個視點的一個圖像作為查詢時，提取表示該查詢的局部特徵的多個特徵向量作為查詢特徵向量；確定與每個查詢特徵向量最相似的子空間；並且對與每個子空間相關聯的每個標識符執行計數處理，以檢索與該查詢最相似的三維物體。另一方面，本發明提供一種用於製作三維物體識別用圖像資料庫的裝置，包括:提取部件，用於在輸入了分別從不同視點顯示三維物體的多個圖像的情況下，從所述多個圖像中的每一個圖像提取局部特徵並用相應的特徵向量表示所述局部特徵；子空間生成部件，用於形成特徵向量集合，每個集合表示物體的同一部分的取自彼此相鄰的一系列視點的局部特徵，並使用子空間方法生成各自表示每個集合的特性的多個子空間；以及存儲部件，用於把每個子空間與所述物體的標識符相關聯地存儲在圖像資料庫中，其中三維物體的識別裝置訪問所述圖像資料庫，而且所述識別裝置能夠:當用某個物體的取自某個視點的一個圖像作為查詢時，提取表示該查詢的局部特徵的多個特徵向量作為查詢特徵向量；確定與每個查詢特徵向量最相似的子空間；並且對與每個子空間相關聯的每個標識符執行計數處理，以檢索與該查詢最相似的三維物體。本發明的效果用於製作三維物體識別用圖像資料庫的方法包括如下步驟:形成特徵向量集合，每個集合表示三維物體的同一部分的取自彼此相鄰的一系列視點的局部特徵，並使用子空間方法生成各自表示每個集合的特性的多個子空間；以及把每個子空間與物體的標識符相關聯地存儲在圖像資料庫中。因而，表示物體的同一部分的特徵向量可被聚類並變換成針對視點連續改變的相似子空間，把子空間而不是每個特徵向量存儲在資料庫中，由此可實現存儲量減少，而且由於局部特徵選擇造成的識別率下降可被抑制到基本與存儲所有局部特徵的情況等同的程度。根據驗證效果用的實驗，本發明成功地將存儲量減少到存儲所有局部特徵的存儲量的約1/18，同時識別率可保持為存儲所有局部特徵時的識別率的98.3%。與上述方法對應的用於製作三維物體識別用圖像資料庫的裝置提供同樣的操作和效果。在用於製作三維物體識別用圖像資料庫的方法中，製作資料庫的每個步驟可用計算機實現。該計算機和執行識別處理的計算機可以是同一個，或者彼此不同。這裡的計算機可以是單個計算機，或者包括多個設備以物理方式實現一個計算機功能的形式，如所謂
雲計算。和二維(平面)物體不同的是，三維物體是物體的一部分根據視點改變(拍攝角度)會存在於人的視野中或不在人的視野中的物體。可應用公知的子空間方法生成子空間。本發明特徵的一方面是利用子空間方法將物體的同一部分的取自一系列視點的特徵向量聚類表示一組，以減少資料庫存儲量。本發明特徵的另一方面是表示一系列視點的數據被加入到作為聚類後的特徵向量集合的子空間。視點數據的具體實施例是拍攝角度。下述實施例中，當通過360度旋轉從不同方向拍攝轉臺上的物體時，拍攝角度和擺放三維物體的轉臺的旋轉角對應。


圖1是用於描述從物體的取自兩個不同視點的圖像中的每一幅圖像分別提取作為傳統局部特徵的SIFT特徵的狀態的示意圖。圖2是用於描述從與圖1不同的物體的取自與圖1不同的視點的圖像中的每一幅圖像分別提取作為傳統局部特徵的SIFT特徵的狀態的示意圖。圖3是簡要示出根據本發明的軌跡處理的示意圖。圖4是示出根據本發明的投票處理的示意圖。圖5是示出根據本發明的實驗I中使用的一些物體的示意圖。圖6是示出識別率受考慮操作角度的投票處理影響有多大的曲線圖。圖7是示出用作根據本發明的實驗I中的查詢的物體A的示意圖。圖8是示出僅針對圖7中的物體A的物體ID進行投票的結果的圖。圖9是示出針對圖7的物體A的物體ID和拍攝角度的組合進行投票的結果的示意圖。
圖10是示出本發明實驗I中使用的物體A的取自68度和69度的拍攝角度的圖像的不意圖。圖11是示出本發明的實驗I中使用的物體D的示意圖。圖12是示出圖11中的物體D被用作查詢圖像時物體D和物體E的各個拍攝角度的得分的曲線圖。圖13是示出根據本發明的三維圖像識別處理的流程的示意圖。圖14是示出根據本發明的實驗2中的資料庫中存儲的物體的一個示例的示意圖。圖15是根據本發明的實驗2中拍攝作為查詢的物體的一個示例的示意圖。
具體實施例方式下面描述本發明的優選實施例。在用於三維物體識別的圖像資料庫的製作方法中，存儲步驟可以把物體的標識符和表示一系列視點的視點數據的組合與每個子空間相關聯地存儲，識別處理可對與各個子空間相關聯的組合進行計數處理，以檢索與查詢最相似的物體以及最相似的視點。利用該處理，對每個查詢特徵向量的物體ID和視點數據組合執行計數處理，由此由於減少存儲量而引起的識別率下降可以被抑制到與存儲了所有特徵向量的情況基本等同的程度。根據下述用於驗證效果的實驗，本發明成功地將存儲量減少到存儲所有特徵向量的存儲量的1/18，同時可以保持98.9%的識別率。利用該處理，不僅可以識別查詢圖像的物體的類型，還可以大致估計查詢圖像的視點。子空間生成步驟可計算每個集合中與相鄰視點對應的各對特徵向量之間的距離，在某對的距離和從其他對得到的距離之間的差大於預定標準時將該對作為噪聲排除，並將其餘的特徵向量視為表示三維物體的同一部分的特徵向量集合。利用該處理，可以通過計算與相鄰的視點對應的每對特徵向量之間的距離得到表示同一部分的特徵向量集合，而且可以在排除噪聲的情況下穩定地得到特徵向量集合。子空間生成步驟可以在每個集合中的特徵向量覆蓋等於或大於預定量的視點改變時生成子空間，而在每個集合中的特徵向量覆蓋小於預定量的視點改變時不生成子空間。利用該處理，可把覆蓋大範圍視點改變的表示同一部分的特徵向量存儲在資料庫中。因而，從要存儲的對象中排除了由於拍攝角度改變而生成的噪聲，這樣可以實現穩定的高精度識別。子空間生成步驟可在對應於最近鄰對的距離和對應於次近鄰對的距離之間的差超過預定標準時，把所述對作為噪聲排除。識別處理可把每個查詢特徵向量投影到用於確定之前存儲在圖像資料庫中的每個子空間的坐標系的基上，以基於投影分量的大小來計算每個查詢特徵向量與每個子空間之間的相似度，並可把相似度最高的子空間確定為與查詢特徵向量最相似的子空間。利用該處理，可以基於投影到每個子空間的基的投影分量的大小來計算相似度。識別處理中，可在由每個子空間表示特性的特徵向量集合中確定與每個子空間的最大特徵值相關的第一主分量的基，可在第一主分量的每個基上與原點相距歸一化的同等距離的位置處繪製點，可通過應用近似最近鄰搜索方法得到每個點與每個查詢特徵向量之間的距離，並且可將距離最短的子空間確定為與查詢特徵向量最相似的子空間。利用該處理，通過應用距離計算來計算相似度，並且將近似最近鄰搜索方法用於該距離計算，這樣，計算相似度所需的處理時間比將特徵向量投影到每個基上的方法減少得更多。識別處理中，還可以用上述方法選擇與每個查詢特徵向量相似的一些子空間作為備選，之後，把查詢特徵向量投影到被確定為備選的每個子空間的每個基上，以基於投影分量的大小來計算每個查詢特徵向量與每個子空間之間的相似度，並將相似度最高的子空間確定為與查詢特徵向量最相似的子空間。利用該處理，期望可得到與僅使用每個子空間的第一主分量的情況相比較高的識別率。另一方面，與把每個特徵向量投影到每個子空間的基來獲得相似度的情況相比，可以減少處理時間，這是由於要進行相似度計算的目標(備選)有所減少。作為確定與每個查詢特徵向量最相似的子空間的處理的替代，識別處理可用以下步驟實現:(I)當將某一物體的取自一系列視點的多個圖像作為查詢時，生成各自包括與該查詢相關的查詢特徵向量的多個集合，每個集合表示該物體的同一部分的從彼此相鄰的視點所觀察到的局部特徵，並利用子空間方法生成各自表示每個集合的特性的多個查詢子空間；(2)在用於確定每個查詢子空間的坐標系的每個基上與原點相距預定歸一化距離的位置處繪製查詢參考點，並且在資料庫中存儲的每個子空間的每個基上與原點相距預定歸一化距離的位置處繪製參考點；以及(3)通過使用近似最近鄰搜索方法確定具有與每個查詢參考點距離最近的參考點的子空間，以確定與每個查詢子空間最相似的子空間。利用該處理，可以通過採用近似最近鄰搜索方法的距離計算確定與每個查詢子空間最相似的子空間。因而，與不使用近似最近鄰搜索方法的情況相比，處理時間減少得更多，而且，預計能夠獲得比確定與每個查詢特徵向量最相似的子空間的情況更高的識別率，這是由於將每個子空間與每個查詢子空間進行了比較。視點數據可以是指示物體的拍攝角度的數據。據此，將拍攝角度用作視點數據，而且，可以通過考慮將針對拍攝角度變化量而連續包括的同一部分的向量的情況作為消除噪聲的條件來生成子空間。子空間生成步驟可通過使用CLAFIC方法根據特徵向量形成集合來生成子空間。子空間的維數可以是I到3。實施例中使用的SIFT特徵具有128維向量。然而，可通過將向量轉換成子空間降低維數。然而，這會在維數減少和識別率降低之間的造成折衷，因而，必須通過考慮兩者之間的平衡確定可以減少多少維數。另一方面，根據下文驗證效果的實驗，即便增加了視點數據的實施例中子空間維數為三，識別率仍可保持為存儲所有向量的識別率的98.9%，這是發明人沒有料想到的。即便維數進一步增加，也不能得到98.9%或更高的識別率。即便將維數減少到最低的一維，識別率仍可保持為存儲所有向量的識別率的98.0%(參見圖6和表I)。即便在不增加視點數據的實施例中，在子空間維數為三時，可以得到最大為98.3%的識別率，即便維數減少為一，還可保持95.8%的識別率。此處所述各個優選實施例可彼此組合。下面參考附圖詳細描述本發明。注意，下文描述的各方面均為示例，不應視為對本發明的限制。相關工作
詳細描述本發明之前，為了便於理解本發明的技術意義，對作為本發明基礎的相關工作進行一些詳細描述。1.使用局部特徵的三維物體識別將從圖像提取的特徵粗略分類為全局特徵和局部特徵。全局特徵使用圖像的像素值表示一個完整圖像，並且可以相對容易地提取全局特徵。然而，當資料庫中的圖像和查詢圖像的像素值完全不同時，如圖像中僅顯示物體的一部分、或者物體的一部分被遮擋的情況，特徵變化很大，因而難以識別物體。另一方面，以從圖像提取特性局部區域並用向量描述該局部區域的方式提取局部特徵。如上所述，由於局部特徵用向量描述，也將局部特徵稱為特徵向量。眾所周知，局部特徵對解決與全局特徵有關的問題是有效的，這是由於，可從圖像各部分提取總計成百上千的局部特徵。下面簡要描述作為一種代表性局部特徵的SIFT特徵(例如，參見 D.Lowe: 「Dist inctive image features from scale-1nvariantkeypoints，，，International Journal of Computer Vision，60，2，pp.91-110 (2004))以及用局部特徵識別三維物體的基礎方法(參見非專利文獻4)。1-1.SIFT (尺度不變特徵變換)特徵由Lowe等提出的SIFT特徵用特徵向量來表示局部區域的坐標、方位以及大小,局部區域是利用圖像的亮度梯度提取的。SIFT特徵由128維的向量表示，並且對諸如線性變換和旋轉等變換是具有魯棒性的。圖1的示意圖用於描述分別從物體的取自兩個不同視點的每個圖像數據提取作為傳統局部特徵的SIFT特徵的狀態。圖1的(a)和(b)示出從不同拍攝角度拍攝的同一物體。圖中的白色箭頭指示SIFT特徵。圖2的示意圖用於描述分別從與圖1不同的物體的取自與圖1不同的視點的圖像數據提取作為傳統局部特徵的SIFT特徵的狀態。1-2.三維物體識別方法下面簡要描述三維物體識別方法。首先描述資料庫的存儲。假定用戶準備了從各個視點(拍攝角度)拍攝要存儲在資料庫中的物體所形成的圖像。作為存儲處理，計算機從通過拍攝要存儲的物體所形成的每幅圖像提取SIFT特徵。提取的SIFT特徵連同物體特有的標識符(物體ID) —起存儲在資料庫中。物體ID用於識別資料庫中存儲的每個物體。下面描述識別處理。假定從某個視點拍攝用作查詢的物體，並準備了通過拍攝該物體所形成的圖像。在識別處理中，計算機檢索與查詢相同的物體是否存儲在資料庫中，如果資料庫中存儲了相同的物體，確定該物體的物體ID。識別處理的過程如下。在上述存儲處理中，還從查詢圖像提取SIFT特徵。計算每個提取的SIFT特徵和每個資料庫中存儲的SIFT特徵之間的距離。找到和查詢圖像的SIFT特徵距離最短的SIFT特徵，即找到最近SIFT特徵。投票給最近SIFT特徵所屬物體的物體ID。至於查詢圖像的其他SIFT特徵，對任一物體ID進行一次投票。投票處理得到的票數最高的物體ID被定義為查詢圖像的識別結果。2.CLAFIC方法-局部特徵分類CLAFIC 方法(分類特徵信息壓縮 CLAss-Featuring Information Compression)是Watanabe於1969提出的一種子空間方法,是針對每個類使用通過KL擴展形成的子空間的一種分類方法(KL擴展是Karhunen-Loeve擴展的簡稱，是獲得近似於最佳向量分布的子空間的一種方法)。本發明中，考慮使用CLAFIC方法把從某個物體的取自不同拍攝角度的多個圖像提取出的同一部分的局部特徵聚類為同一類。這是局部特徵聚類。為了根據CLAFIC方法生成子空間，為每個類準備許多個採樣向量X，根據下述公式計算每個向量的自相關矩陣Q。[公式I]Q=E {xxT}那麼，將\ ,定義成Q的特徵值，Ui定義成Q的特徵向量，通過求解特徵值問題得到特徵向量。[公式2]Qui=入！Ui有n個原始採樣向量X時，通常確定n個特徵向量。在n個特徵向量中，某些特徵向量所佔據的空間稱為子空間。如果將要得到的子空間維數定義為k，則要得到的子空間是以如下所示的特徵向量作為基(坐標系)的空間:[公式3]{u」 U2, , uk}這些特徵向量對應於高階k個大特徵值。與某個採樣向量X的基Ui相關的特徵值與該採樣向量X被垂直投影到基Ui時的長度(投影分量)對應。基Ui是與整個類中的最大特徵值對應的基，本 說明書中稱之為第一主分量。為每個類形成子空間，並計算與未知模式的向量X』的相似度D，由此可以識別未知模式的類。未知模式的向量X』被識別為屬於具有最大投影分量的子空間的類中。可根據公式4得到相似度D。[公式4]|網2 =Z(XrMi)2
/=1對本發明的描述如三維物體識別方法中所述，從通過從各個視點(拍攝角度)拍攝物體所形成的圖像提取的所有局部特徵(特徵向量)都存儲在資料庫中，以根據使用SIFT特徵的傳統物體識別方法獲得高精度識別結果。因而，需要大的存儲量。鑑於此，在本發明中，利用子空間，將從取自一系列視點的圖像數據中提取的同一部分的局部特徵聚類表示成一組，並將聚類後的特徵存儲在資料庫中以實現存儲量減少。由於拍攝角度信息和子空間關聯，所以在物體識別的同時大致得到查詢的拍攝角度。1.詵擇局部特徵作為對存儲局部特徵所需的巨大存儲量這一問題的對策，考慮減少資料庫中存儲的局部特徵的數量。然而，隨機減少局部特徵可能會大大降低識別率。因而，本發明關注某種局部區域，該局部區域是從指示同一物體並具有連續變化的拍攝角度的多個圖像數據提取的並在某種程度上具有一致性，而且本發明旨在僅使用從該局部區域提取的局部特徵進行物體識別。這是由於，如果針對某個局部特徵不能提取到拍攝角度的變化在某種程度上具有一致性的局部特徵，那麼該局部特徵很有可能是由拍攝角度改變產生的噪聲。在通過連續改變拍攝角度形成的多個圖像數據中，從物體的同一部分提取的局部特徵會稍有變化。生成能精確並近似描述局部特徵變化的子空間，從而將多個局部特徵表示為一個組。下文描述找到從通過連續改變拍攝角度形成的多個圖像數據提取的物體的同一部分的局部特徵的處理。在從稍有不同的角度拍攝物體形成的兩個圖像數據中，首先計算第一幀的圖像數據的每個局部特徵和第二幀的圖像資料庫的每個局部特徵之間的距離。分別找到最近鄰局部特徵，由此第一幀圖像中的局部特徵和第二幀圖像中的局部特徵彼此關聯。在這種情況下，由於噪聲造成的影響，有可能使得最近鄰局部特徵是從不甚相關的部分提取的。因而，如果將最近鄰局部特徵的距離定義為dl，將次近鄰局部特徵的距離定義為d2，將閾值定義為a，只有滿足公式5的局部特徵集合被視為是從物體同一部分提取的。[公式5]d1/d2<a不滿足該公式的局部特徵被視為噪聲。對所有連續圖像數據執行該處理以得到局部特徵軌跡。以下將該處理稱為軌跡處理。可認為軌跡是特徵向量集合。以上描述了將最近鄰局部特徵的距離和次近鄰局部特徵的距離之間的差異與閾值進行比較以消除噪聲的方法。然而，作為上述方法的變化形式，考慮如下方法，其中，將從圖像的較接近部分提取的局部特徵的距離之間的差和閾值進行比較，以消除噪聲。圖3的示意圖簡要示出根據本發明的軌跡處理。諸如「第一幀」或「第二幀」的矩形幀指示從不同視點拍攝物體所形成的各個圖像。a、b和c指示軌跡，其中該軌跡上的特徵向量表示連續出現在取自不同拍攝角度(視點)的圖像中的物體的同一部分。例如，特徵向量集合a表不屬於第一巾貞的特徵向量a I與屬於第二巾貞的特徵向量a 2關聯,但是屬於第二幀的特徵向量a2不與第三幀中的任何特徵向量關聯。特徵向量集合b指示特徵向量連續地與從第一幀到第五幀的每個視點關聯。特徵向量集合c指示特徵向量連續地與從第三幀到第五幀的各個視點關聯。2.牛成子宇間、存儲處理在根據本發明的存儲處理中，計算機通過生成由軌跡處理得到的每個局部特徵集合的子空間而聚類所述集合。計算機將子空間和物體ID—起存儲。在這種情況下，如果根據具有如圖3的軌跡a這樣的短軌跡的局部特徵集合生成子空間並存儲，則要存儲的子空間數增加，這對存儲量減少沒有貢獻。鑑於此，對軌跡長度應用閾值，只根據在某個長度內連續關聯的局部特徵集合生成子空間並存儲在資料庫中。這是由於具有短軌跡的局部特徵集合與具有長軌跡的集合相比可識別的拍攝範圍更小。本發明生成的子空間具體由用於確定k維基(坐標系)的k個方位向量構成。每個軌跡與CLAFIC方法中描述的類對應。每個類中的採樣向量X與屬於每個軌跡的局部特徵對應。根據CLAFIC方法得到局部特徵的自相關矩陣，並且張成包含作為基的特徵向量的子空間。只把形成子空間的k個特徵向量存儲在資料庫中。存儲的特徵向量近似表示屬於子空間的每個局部特徵。子空間維數k越小，可實現的存儲量減少越大。由於SIFT特徵用128維的向量表示，子空間的維數k是I到128。在下述實驗中，統一地確定每個子空間的維數k。具體而言，如圖6所示，設定k為I到8的8種情況，對每種情況進行實驗。然而，可以為每個子空間適應性地確定維數k。
如上所述，存儲處理中，連同物體ID—起存儲在資料庫中的不僅有局部特徵，還有局部特徵集合聚類成的子空間。這種情況下，還一同存儲該子空間的拍攝角度範圍，具體來說即還一同存儲由存儲的子空間表示的局部特徵變化所在的視點範圍。由於在識別處理中使用了拍攝角度信息，可以增強識別率，並且可大致檢測類似查詢圖像是從哪個視點拍攝的參數。因而，存儲處理中，子空間被存儲成與物體ID和拍攝角度範圍關聯。3.識別處理根據本發明的識別處理中，應用查詢圖像時，計算機從查詢圖像提取局部特徵，並將每個局部特徵投影到資料庫中的每個子空間，以計算局部特徵和子空間之間的相似度。計算機得到相似度最高的子空間，並投票給具有該子空間的物體ID。對所有局部特徵執行該處理。最終，計算機把投票數最高的物體ID輸出為物體識別結果。這種情況下，子空間數因物體而異，因此用子空間數對投票數進行歸一化。如果不進行歸一化，具有大量子空間的物體ID集中了大量投票數，這會造成錯誤識別。如果將可識別物體的某個拍攝角度《的子空間數定義做No，拍攝角度《的投票數定義為Gco，根據公式6歸一化投票數。[公式6]
_5]広=褒圖4是用於描述根據本發明的投票處理的示意圖。例如，假定得到與從查詢圖像提取的五個局部特徵的相似度最高的子空間時，所得到的五個子空間中的每個子空間具有如圖4左側所示的物體ID和拍攝角度。這種情況下，如果根據本發明的一個實施例僅對每個物體ID執行投票處理，則得到如圖4 (a)所示的結果。然而，如果視點範圍完全不同，儘管兩個局部特徵與具有同一物體ID的子空間關聯，也可認為它們表示不同的物體。鑑於此，在本發明的另一方面，如圖4(b)所示考慮物體的拍攝角度而執行投票過程。具體而言，得到相似度最高的子空間，針對用於生成子空間的物體ID和物體的從中提取形成子空間的局部特徵的拍攝角度的組合進行投票。圖4示出從查詢提取5個子空間的情況。圖4(a)示出僅針對物體ID進行投票的結果。根據圖4(a)所示投票結果，物體I和物體2得到同樣的最高票數，這樣，不能決定將哪個物體定義為識別結果。另一方面，圖4(b)示出針對物體ID和拍攝角度的組合進行投票的結果。根據圖4(b)所示投票結果，物體I的拍攝角度20度到40度得到最高票數，這樣可以確定物體I為識別結果。可以有益地估計20度到40度的拍攝角度為查詢圖像的大致拍攝角度。處理流稈圖13是用於描述根據本發明的三維物體識別處理的流程的示意圖。如圖13所示，三維物體的識別處理大致分為存儲處理和識別處理。存儲處理是製作用於識別的三維物體的圖像資料庫的處理。將三維物體圖像作為查詢時，從資料庫檢索圖像中所顯示物體的圖像以指定識別處理中的物體。圖13(a)示出存儲處理的流程，圖13(b)示出識別處理流程。存儲處理中，用通過從不同視點拍攝同一物體形成的多個圖像作為輸入。給定上述輸入時，執行存儲處理的計算機從每個圖像提取局部特徵(步驟SI)。計算機通過距離計算得到連續包括在取自不同視點的圖像中的同一部分的局部特徵，並且生成局部特徵被聚類表示為一組的子空間(步驟S3)。然後，計算機將物體ID和視點的拍攝角度範圍加入所生成的子空間，並把結果存儲到資料庫(步驟S5)。執行識別處理的前提是假定多個數據存儲在資料庫中。識別處理中，給定查詢圖像作為輸入。查詢是通過從某個視點拍攝某個物體形成的圖像。輸入查詢時，執行識別處理的計算機從查詢提取局部特徵(步驟Sll)。計算機從資料庫檢索與從查詢提取的每個局部特徵最相似的子空間。計算機通過針對增加到所檢索到的子空間中的物體ID的多數決投票確定一個物體ID (步驟S13)。然後，計算機輸出由物體ID識別的物體，以便操作人員可識別物體(步驟S15)。根據本發明的資料庫製作裝置是從裝置的角度執行與存儲相關的處理的計算機。計算機代表的公用硬體實現各個處理。如果每個處理的程序不同，計算機實現的功能也不同。這對應於各自具有不同功能的多個部件被組合而實現一個整體裝置的情況，這樣，本發明可理解成通過組合實現各個處理功能的部件形成的裝置。具體而言，將本發明理解為裝置時，本發明可以是製作資料庫的裝置，包括:提取單元，其具有局部特徵提取處理的功能；子空間生成部件，其具有生成子空間的功能；以及存儲部件，其具有存儲到 資料庫的功能。至於識別處理，本發明可是包括如下部件的裝置:具有從查詢提取局部特徵的功能的部件；具有檢索與提取的每個局部特徵最相似的子空間的功能的部件；以及具有通過針對增加到該子空間中的物體ID進行多數決投票確定一個物體ID功能的部件；以及具有輸出所確定的物體ID的功能的部件。減小處理時間上述方法中，用KL擴展根據從多個幀的同一局部區域提取的特徵集合來生成子空間，由此將多個局部特徵聚類表示為一組。由此，大大減少了待存儲在資料庫中的特徵，從而實現存儲量減少。然而，雖然可實現存儲量減少，但處理時間減少是另一問題。換句話說，在上述方法中，識別期間將從查詢提取的局部特徵投影到資料庫中所有子空間的基上以得到相似度。因而，隨著要存儲在資料庫中的物體數量增加，需要很多時間來檢索正確的子空間。如果可用距離計算來得到正確子空間，而不是通過由投影得到相似度而得到與查詢的每個局部特徵對應的子空間的處理，期望可減少處理時間。這是由於，可通過使用ANN(近似最近鄰的縮寫，具體參看 R.S.S.Arya, D.M.Mount and A.Y.Wu: 「An optimal algorithm forapproximate nearest neighbor searching，，，Journal of the ACM, pp.891-923 (1988))的近似最近鄰搜索方法來減少距離計算所需的處理時間。實驗條件惡劣時，即要存儲在資料庫中的物體數量巨大時、或者查詢中增加了遮擋或者照明條件變化時，僅通過比較局部特徵和子空間難以識別物體。本發明中，將ANN用於互子空間方法(具體參見前田、渡邊:「局所構造&導入夕一 > I 'y千法」、信學論(D)、pp.345-352 (1985))，以實現識別率提高和高速處理。1.減少處理時間的具體方法上述用對應每個類的k維子空間計算相似度的方法中，用作局部特徵的每個查詢特徵向量必須被投影到與資料庫中的每個類對應的子空間的每個基上，以得到相似度。因而,處理時間隨要存儲在資料庫中的物體數量的增加而增加。本實施例中,用近似地檢索相似度最高的子空間的方法來減少處理時間。1-1.用ANN代替距離計算投影到k維子空間的識別處理帶來了處理時間增加的問題，這是由於將每個查詢特徵向量投影到資料庫中的每個子空間的每個基上以檢索相似度最高的子空間。鑑於此，本實施例提出根據從查詢提取的局部特徵與子空間的第一主分量上的點之間的距離計算來得到相似度最高的子空間的方法。如果可用距離計算得到相似度最高的子空間，則可用已提出的各種近似最近鄰搜索方法高速執行處理。下面描述用距離計算得到相似度最高的子空間的方法。首先，將距原點同樣距離的點繪製在資料庫中每個子空間的坐標軸上。計算這些點中的每一個與從查詢提取的每個局部特徵之間的距離。距離越短，將局部特徵投影到相應子空間時投影長度越長。即，可以得到相似度最高的子空間。上面是通過利用ANN的距離計算來減少處理時間的方法的概覽。下面對此進行詳細描述。稱為ANN的方法是作為近似最近鄰搜索方法之一提出的。該方法基於樹結構(kd樹)，可用處理軟體實現，這樣，可以容易地嘗試ANN處理。下面概述ANN處理。首先，將作為存儲在資料庫中的局部特徵(特徵向量)集合的特徵空間分為兩部分，重複該處理直到劃分的區域中僅存在一個特徵向量。將通過劃分空間最終得到的區域稱為單元(cell)。接下來，通過跟蹤樹結構確定哪個單元包括應用的查詢特徵向量。然後，計算與該單元關聯的特徵向量與查詢特徵向量之間的距離r。這種情況下，真正的最近點存在於半徑為r的超球面上。因而，可通過利用與超球面重疊的所有單元上的特徵向量的距離計算得到最近點。ANN中，超球面的半徑減少到1/(1+ e )，以減少要進行距離計算的單元數。因而，可大大縮短處理時間，實現高速處理，雖然存在不能找到正確最近點的風險。然而，A NN是近似得到與某個點最近的點的方法，該方法不能得到局部特徵和子空間之間的相似度。因而，為了在子空間方法中利用ANN，要用距離計算得到與局部特徵最相似的子空間。該實施例描述實現該處理的方法。作為本實施例的先決條件，必須僅由只以特徵值最大的特徵向量作為基的一維子空間(即，僅由第一主分量)就能夠滿意地表達形成子空間的原始局部特徵集合。在上文所述的使用k維子空間的方法中，用軌跡處理得到連續改變的局部特徵的集合，根據每個集合生成子空間。因而，存在很少的異常值，而且，局部特徵集合可用一維子空間近似滿意地表達。這種情況下，可認為局部特徵和子空間之間的相似度與局部特徵和子空間的基之間的距離成反比。換句話說，可通過得到與局部特徵最近的子空間得到相似度最高的子空間。通常，將局部特徵和子空間的基之間的距離確定為從局部特徵到每個子空間的基的垂線的長度。然而，該方法得到點和線之間的距離，因而，不能用ANN執行近似最近鄰搜索。因而，把距離原點的距離被歸一化的點Si(| |Si||=l)繪製在每個子空間的基上，得到點Si和局部特徵之間的距離dSi。不能根據該距離dSi正確地確定局部特徵和子空間之間的距離。然而，可以得到局部特徵和每個子空間之間距離的幅度關係。具體而言，具有最小的距離dSi的子空間是最近子空間，因而，該子空間是相似度最高的子空間。1-2.近似最近鄰搜索帶來的備選範圍縮小
如上所述，與得到針對k維子空間的相似度的方法相比，可通過僅用子空間中的第一主分量來計算距離的方法來進一步減少識別所需處理時間。然而，利用子空間的多個軸可進一步增強識別率。因而，可將採用兩步處理的識別方法作為另一實施例。該實施例中，第一步，用近似最近鄰搜索、通過僅使用子空間中的第一主分量高速地縮小被認為相似度最高的子空間的備選範圍。第二步，利用作為備選的每個子空間的多個軸高維地投影每個特徵向量，以得到相似度真正最高的子空間。通過增加第二步，與僅使用每個子空間的第一主分量的情況相比，可以期望實現識別率增強。另一方面，與僅使用第二步的情況相比，即，與每個特徵向量被投影到每個子空間的基的情況相比，可以減少處理時間，這是由於相似度計算的目標(備選)減少了。1-3.在互子宇間方法中俥用ANN該實施例對把運動圖像或連續形成的多個圖像作為查詢的情況有效。根據本實施例，如製作資料庫的實施例那樣，對與查詢相關的多個圖像執行軌跡處理。根據由軌跡處理提取的局部特徵的集合形成子空間。這樣，可比較資料庫中的子空間和從查詢圖像得到的子空間。本說明書中，將從查詢得到的子空間稱為查詢子空間。為了通過比較子空間得到最優子空間，通常使用每個子空間的範角(正準角)。然而，不能指望用該方法實現高速處理。因而，即便在該處理中也是通過距離計算得到最優子空間。如上述ANN中的距離計算一樣，將距離原點同樣距離的點繪製在每個子空間的軸上，計算這些點中每個點之間的距離。本實施例中，由於查詢也是子空間，要注意，點也繪製在查詢子空間的坐標軸上。下面具體描述。互子空間方法用於可用運動圖像或取自多個視點的圖像作為查詢的情況。還根據從查詢提取的局部特徵集合生成查詢子空間，通過比較查詢子空間和資料庫中的子空間來識別查詢。由於子空間的變化比局部特徵少，期望用子空間作為查詢可實現高的識別率。可通過計算根據查詢形成的查詢子空間和資料庫中的子空間形成的範角來計算這兩個子空間之間的相似度。然而，範角的計算需要大量處理時間。因而，為了實現處理時間減少，考慮也把ANN用在該實施例中來減少處理時間。首先，距離原點距離為I的點Si被繪製在要存儲在資料庫中的每個子空間的每個基上。適當的點Q也繪製在從查詢得到的查詢子空間的基上。這種情況下，基上的點Si和點Q距離最小的子空間是目標子空間。可使用ANN近似得到和點Q距離最小的點Si。因而，可用短的處理時間實現互子空間方法中查詢子空間和子空間的比較。實駘I做實驗來比較使用局部特徵的基本傳統物體識別方法和根據本發明的用子空間表示多個局部特徵的方法。比較指標是存儲量和識別率。1-1.實駘描沭下面描述本實驗中使用的數據集合。本實驗中，把55個三維物體放在轉臺上，隨著轉臺轉一周拍攝運動圖像。圖5是說明根據本發明的本實驗中使用的一些物體實例的示意圖。得到形成運動圖像的每個幀圖像，根據得到的幀圖像形成要存儲在資料庫中的圖像和查詢圖像。通過把拍攝角度改變約I度為每個物體形成360個圖像作為待存儲圖像。通過把拍攝角度改變約36度為每個物體形成10個圖像作為查詢圖像。待存儲圖像和查詢圖像彼此不同。具體而言，不存在與查詢圖像完全相同的待存儲圖像。從待存儲圖像提取SIFT特徵以製作資料庫。從一幅待存儲圖像提取約100到400個局部特徵。如果從一幅待存儲圖像提取300個局部特徵，一個物體的局部特徵為300 X 360=108，000個，這樣55個物體的局部特徵總數為55與上面數字的乘積，即5，940，000個。總共有550個查詢圖像(10X 55)。由於對每個查詢圖像執行物體識別，最多執行550次物體識別。圖6的縱軸顯示這些物體識別的平均識別率。用上述軌跡處理從這些局部特徵中選擇在20個或更大數量上連續關聯的局部特徵。具體而言，將在20度以上的拍攝角度範圍上關聯的局部特徵作為待存儲局部特徵。這種情況下，軌跡處理中用於確定局部特徵是否是從物體同一部分提取的閾值a (參考上述[公式5])被設為0.6。得到根據每個局部特徵集合形成的子空間。將物體ID和相應拍攝角度範圍增加到得到的子空間中，將所得結果存儲在資料庫中。從一個物體得到子空間數為大約100-400個。1-2.實駘結果及討論執行第一實驗，以檢查在如圖4(b)所示根據本發明的識別過程中，在不僅考慮物體還考慮物體的拍攝角度的情況下進行投票給識別率帶來多大影響。圖6的曲線圖示出根據本發明的第一實驗結果。橫軸指示所用子空間的維數，縱軸指示識別率。根據實驗結果，即便針對每個物體ID進行投票，得到的識別率為95%或更高，子空間維數為3時，識別率為98.3%。針對物體的每個拍攝角度進行投票時，錯誤投票被分散，因而，無論空間維數是多少，識別率都進一步提高。當不僅針對物體ID進行投票而且針對物體ID和拍攝角度的組合進行投票時，子空間維數為3時識別率變為98.9%。出人意料的是，即便維數進一步增加，也不能得到98.9%或更高的識別率。認為這是由於子空間維數增加時，會產生子空間之間的重疊部分從而使子空間之間的區別度下降。具體而言，不僅增加了與目標子空間的相似度，與其他子空間的相似度也可能增加。圖7是說明用作本發明實驗中的查詢的物體A的示意圖。圖8的曲線圖示出僅針對圖7的物體A的物體ID進行投票的結果。圖9的示意圖說明可通過針對物體ID和拍攝角度的組合進行投票來正確識別物體A的示例。圖7的查詢圖像是通過從某個拍攝角度拍攝物體A形成的。圖8示出通過針對每個物體ID進行投票並歸一化投票數得到的得分。本來，物體A的得分應該最高。但是，另外的物體B或物體C的得分變得更高。因而，針對每個物體進行投票時，查詢圖像被識別成物體C。另一方面，圖9示出針對物體ID和拍攝角度的組合進行投票時物體A、物體B和物體C的每個拍攝角度的得分。在僅針對物體ID進行投票時得分最高的物體C中，由於針對物體ID和拍攝角度的組合進行投票，投票數分散開，因而得分降低。對於物體A，某個範圍內的拍攝角度得到投票。因而，雖然僅針對物體ID投票時物體C為識別結果，但是，針對物體ID和拍攝角度的組合進行投票時可以正確地識別出物體A。這種情況下，不僅進行了識另Ij，而且得分最高的物體A的68度和69度可被估計為查詢圖像的大致拍攝角度。圖10的示意圖說明本發明的實驗使用的物體A的取自68度和69度的角度處的圖像。圖10(a)是取自68度的圖像，圖10(b)是取自69度的圖像。根據圖10可理解，可以正確估計物體A的拍攝角度。另一方面，下面描述根據本發明不能識別物體的情況。圖11是示出本發明實驗使用的物體D的示意圖。圖12示出將圖11所示物體D用作查詢圖像時物體D和物體E的拍攝角度的得分。本來，希望獲得物體D的得分最高的132度到144度的範圍作為識別結果。但是，在儘管投票數某種程度上分散仍然得分高(如物體E的得分那樣)的情況下，會造成錯誤識別。接下來，進行驗證本發明存儲量的實驗，本發明提供了針對物體ID和拍攝角度的組合進行投票的方法。根據實驗結果可知，子空間維數為I時，存儲量為19.98MB，隨著維數增加，存儲量增加大約8.26MB。表I示出使用存儲量最小的一維子空間時的識別率和存儲量(參見表I中資料庫(I))，以及使用識別率最高的三維子空間時的識別率和存儲量(參見表I中資料庫(2))。此外，進行使用下述根據局部特徵之間的最近鄰搜索方法的資料庫的實驗，以驗證本發明對存儲量減少以及保持高識別率有效。用於比較的資料庫包括:(3)存儲了用於製作資料庫的所有局部特徵的資料庫；(4)存儲了用軌跡處理得到的局部特徵的資料庫；以及(5)僅存儲了位於軌跡處理之後的局部特徵集合的中心作為該局部特徵集合的代表向量的局部特徵的資料庫。表I示出使用這些資料庫的實驗得到的識別率和存儲量。表I
權利要求
1.一種用於製作三維物體識別用圖像資料庫的方法，包括如下步驟: 在輸入了從不同視點顯示三維物體的多個圖像的情況下，從所述多個圖像中的每一個圖像提取局部特徵並用相應的特徵向量表示所述局部特徵； 子空間生成步驟，形成多個特徵向量集合，每個集合表示物體的同一部分的取自相鄰的一系列視點的局部特徵，並使用子空間方法生成各自表示每個集合的特性的多個子空間；以及 存儲步驟，把每個子空間與所述物體的標識符相關聯地存儲在圖像資料庫中， 其中，利用計算機訪問所述圖像資料庫以執行三維物體的識別處理， 而且，經由如下步驟來實現所述識別處理: 在給出某一物體的取自某個視點的一個圖像或該物體的取自一系列視點的多個圖像作為查詢的情況下，提取表示該查詢的局部特徵的多個特徵向量作為查詢特徵向量；確定與每個查詢特徵向量最相似的子空間；以及 對與每個子空間相關聯的每個標識符執行計數處理，以檢索與該查詢最相似的三維物體。
2.如權利要求1所述的方法，其中 在所述存儲步驟中，把所述物體的標識符以及表示所述一系列視點的視點數據的組合與每個子空間相關聯地存儲；而且 在所述識別處理中，對與各個子空間相關聯的組合執行計數處理，以檢索與查詢最相似的物體和最相似的 視點。
3.如權利要求1或2所述的方法，其中，在所述子空間生成步驟中: 計算每個集合中與相鄰的視點對應的各對特徵向量之間的距離， 當某對的距離與從其他對得到的距離之間的差超過預定標準時，把該對作為噪聲排除，以及 將剩餘的特徵向量視為表示三維物體的同一部分的特徵向量集合。
4.如權利要求1至3中任意一項所述的方法，其中，在所述子空間生成步驟中: 在各個集合中的特徵向量覆蓋等於或大於預定量的視點變化時，生成所述子空間；以及 在各個集合中的特徵向量覆蓋小於預定量的視點變化時，不生成所述子空間。
5.如權利要求4所述的方法，其中，在所述子空間生成步驟中: 在對應於最近鄰對的距離與對應於次近鄰對的距離之間的差超過預定標準時，把所述對作為噪聲排除。
6.如權利要求1至5中任意一項所述的方法，其中，在所述識別處理中: 把每個查詢特徵向量投影到用於確定之前存儲在所述圖像資料庫中的每個子空間的坐標系的基上，以基於投影分量的大小來計算每個查詢特徵向量與每個子空間之間的相似度，以及 將相似度最高的子空間確定為與查詢特徵向量最相似的子空間。
7.如權利要求1至5中任意一項所述的方法，其中，在所述識別處理中: 在由每個子空間表示特性的特徵向量集合中，確定與每個子空間的最大特徵值相關的第一主分量的基，在第一主分量的每個基上與原點相距歸一化的同等距離的位置處繪製點， 通過使用近似最近鄰搜索方法，得到每個點與每個查詢特徵向量之間的距離，以及 將距離最短的子空間確定為與查詢特徵向量最相似的子空間。
8.如權利要求7所述的方法，其中，在所述識別處理中: 用如權利要求7所述的方法選擇與每個查詢特徵向量相似的若干子空間作為備選，之後，把查詢特徵向量投影到被確定為備選的每個子空間的每個基上，以基於投影分量的大小來計算每個查詢特徵向量與每個子空間之間的相似度，以及將相似度最高的子空間確定為與查詢特徵向量最相似的子空間。
9.如權利要求1至5中任意一項所述的方法，其中，替代確定與每個查詢特徵向量最相似的子空間的處理，經由以下步驟來實現所述識別處理: (1)在將某一物體的取自一系列視點的多個圖像作為查詢時，生成各自包括與該查詢相關的查詢特徵向量的多個集合，每個集合表示該物體的同一部分從彼此相鄰的視點所觀察到的局部特徵，並利用子空間方法生成各自表示每個集合的特性的多個查詢子空間； (2)在用於確定每個查詢子空間的坐標系的每個基上與原點相距預定歸一化距離的位置處繪製查詢參考點，並且在資料庫中存儲的每個子空間的每個基上與原點相距預定歸一化距離的位置處繪製參考點；以及 (3)通過使用近似最近鄰搜索方法確定具有與每個查詢參考點距離最近的參考點的子空間，以確定與每個查詢子空間最相似的子空間。
10.如權利要求1至9中任意一項所述的方法，其中 所述視點數據是指示物體的拍攝角度的數據。
11.如權利要求1至10中任意一項所述的方法，其中，在所述子空間生成步驟中: 通過利用CLAFIC方法根據特徵向量形成集合，來生成所述子空間。
12.如權利要求1至6中任意一項所述的方法，其中 所述子空間的維數為一至三。
13.一種用於製作三維物體識別用圖像資料庫的裝置，包括: 提取部件，用於在輸入了從不同視點顯示三維物體的多個圖像的情況下，從所述多個圖像中的每一個圖像提取局部特徵並用相應的特徵向量表示所述局部特徵； 子空間生成部件，用於形成多個特徵向量集合，每個集合表示物體的同一部分的取自彼此相鄰的一系列視點的局部特徵，並使用子空間方法生成各自表示每個集合的特性的多個子空間；以及 存儲部件，用於把每個子空間與所述物體的標識符相關聯地存儲在圖像資料庫中， 其中，三維物體的識別裝置訪問所述圖像資料庫， 而且，所述識別裝置具有如下功能: 在給出某一物體的取自某個視點的一個圖像或該物體的取自一系列視點的多個圖像作為查詢的情況下，提取表示該查詢的局部特徵的多個特徵向量作為查詢特徵向量；確定與每個查詢特徵向量最相似的子空間；以及 對與每個子空間相關聯的每個標識符執行計數處理，以檢索與該查詢最相似的三維物體。
全文摘要
本發明涉及選擇要存儲在用於三維物體識別的圖像資料庫中的局部特徵，以降低存儲量並抑制識別率降低。本發明提供一種用於三維物體識別的圖像資料庫的製作方法，包括如下步驟當輸入從不同視點觀察三維物體的多個圖像時，從每一個圖像提取局部特徵並將每個局部特徵表示為特徵向量；形成包括特徵向量的多個集合，每個集合表示物體的同一部分在相鄰的一系列視點處觀察到的局部特徵，並生成分別表示每個集合的特性的多個子空間；以及將物體的ID加入每個子空間，並將其存儲在資料庫中，當用在某視點觀察某物體的圖像作為搜索查詢時，提取表示該搜索查詢的局部特徵的多個特徵向量；確定與每個特徵向量最相似的每個子空間；並且對加入每個子空間的每個ID執行聚合處理，以獲取與搜索查詢最相似的物體。
文檔編號G06T1/00GK103109307SQ20118002129
公開日2013年5月15日 申請日期2011年4月27日 優先權日2010年4月28日
發明者柏木隆宏, 外山託海, 黃瀨浩一, 古橋幸人, 峰泰治 申請人:公立大學法人大阪府立大學, 奧林巴斯株式會社