動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序的製作方法

2023-05-08 14:32:46

動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序的製作方法
【專利摘要】提供用戶能夠容易地指定在動態圖像內應出現的物體的位置和朝向等而進行動態圖像檢索的動態圖像檢索裝置等。在動態圖像檢索裝置（501）中，受理部（502）受理靜止圖像、靜止圖像內的兩個參照位置以及動態圖像幀內的兩個目標位置的輸入。提取部（503）從靜止圖像提取包含兩個參照位置的參照圖像。檢索部（504）從動態圖像中包含的幀圖像檢索描繪有與參照圖像相似的局部圖像的相似幀圖像，在局部圖像內，跟蹤在與兩個參照位置對應的開始位置上描繪的兩個關注像素的、在動態圖像中從相似幀圖像起使時間前進或者後退時的兩個移動軌跡，檢索兩個移動軌跡到達兩個目標位置附近的目標幀圖像，將包含相似幀圖像和目標幀圖像的動態圖像作為檢索結果。
【專利說明】動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序
【技術領域】
[0001]本發明涉及動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序，對於在動態圖像內應出現的物體，用戶能夠容易地指定其位置、朝向以及其運動，從而進行動態圖像檢索。
【背景技術】
[0002]以往，作為識別在靜止圖像中描繪的物體和其特徵點的技術，提出了在非專利文獻 I 中公開的 SIFT (Scale Invariant Feature Transformation:尺度不變特徵變換法)和在非專利文獻2中公開的HOG (Histograms of Oriented Gradients:梯度方向直方圖)等。如果應用這些技術，則即便在物體進行了旋轉或者放大率不同或者亮度不同的情況下，也能夠容易地判定在兩個靜止圖像中描繪的物體的外觀是否相似。此外，通過在使表示所描繪的物體的物體圖像翻轉後應用上述技術，即便在描繪了物體的鏡像的情況下，也能夠判斷為圖像相似。
[0003]另一方面，作為跟蹤動態圖像內的物體的運動的技術，在非專利文獻3、4中提出了 Particle Video (粒子視頻)。如果應用該技術，則能夠取得現實世界中的物體的表面的某個部位在動態圖像中包含的各幀圖像中被描繪於哪個位置，能夠得到該描繪位置的移動軌跡。即，根據本技術，能夠得到表示某幀圖像中的某像素由於時間的前進或者後退而如何移動的軌跡。
[0004]此外，在專利文獻I中提出了檢索與用戶指定的動態圖像相似的其他的動態圖像的技術。
[0005]現有技術文獻
[0006]專利文獻
[0007]專利文獻1:日本特開2001-134589號公報
[0008]非專利文獻
[0009]非專利文獻1:D.G.Lowe, 0bject Recognition from LocalScale-1nvariant Features, Proceedings of IEEE International Conference onComputerVisionj pp.1150-1157，1999 年
[0010]非專利文獻2:Ν.Dalai and B.Triggsj Histograms of Oriented Gradients forHuman Detection, Proceedings of IEEE Computer Society Conferenceon ComputerVision and Pattern Recognition，pp.886-893，2005 年
[0011]非專利文獻3:Peter Sand and Seth Teller, Particle Video:Long-RangeMotion Estimation using Point Trajectories, International Journal of ComputerVision, vol.80，n0.1，pp.72-91，Springer, 2008 年
[0012]非專利文獻4:Dan B.Goldman，Chris Gonterman, Brian Curlessj DavidSalesin and Steven M.Seitz, Video Object Annotation，Navigation, andComposition,UIST2008, Proc.ACM symposium on User Interface Software and Technology, pp.3-12, ACM978-1-59593-975-3/08/10, http://www.danbgoldman.com/uw/papers/ivoa.uist08.pdf, 2008 年

【發明內容】

[0013]發明要解決的問題
[0014]然而，用戶想要在進行動態圖像檢索時能夠容易地指定在動態圖像內描繪的物體的外觀、位置、朝向等的信息這樣的的需求依然很大。
[0015]特別存在如下需求:在已經準備了描繪有期望的物體的靜止圖像的情況下，想要能夠使用該靜止圖像來容易地指定該物體在動態圖像內出現時的位置和朝向。
[0016]此時，如下需要也很迫切:即便是出現了與描繪於靜止圖像的物體的朝向不同的位置、朝向且在不同的攝影方向攝影的物體的動態圖像，也想要得到該動態圖像作為檢索結果。
[0017]本發明解決上述那樣的課題，其目的在於，提供一種對於在動態圖像內應出現的物體，用戶能夠容易地指定其位置、朝向以及其運動，從而進行動態圖像檢索的動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序。
[0018]用於解決問題的手段
[0019]本發明的第I觀點的動態圖像檢索裝置構成為具有:
[0020]受理部，其受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內所包含的第I參照位置和第2參照位置以及動態圖像所包含的幀圖像內的第I目標位置和第2目標位置的輸入；
[0021]提取部，其根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及
[0022]檢索部，其從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像中所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
[0023]此外，在本發明的動態圖像檢索裝置中能夠構成為，
[0024]所述受理部還受理在所述動態圖像中包含的幀圖像內的目標軌跡的輸入，
[0025]所述檢索部針對所述檢索到的各個動態圖像，從該動態圖像中包含的目標幀圖像起，在時間的前進方向上對該檢索到的動態圖像中包含的幀圖像進行掃描，由此跟蹤在該檢索到的目標幀圖像中描繪的局部圖像的代表像素移動的代表軌跡，將所述目標軌跡和所述代表軌跡相似的動態圖像作為所述檢索結果。
[0026]此外，在本發明的動態圖像檢索裝置中能夠構成為，[0027]所述檢索部針對所述檢索到的各個動態圖像，從該動態圖像中包含的目標幀圖像起，在時間的前進方向上對該檢索到的動態圖像中包含的幀圖像進行掃描，由此跟蹤在該檢索到的目標幀圖像中描繪的局部圖像的代表像素移動的代表軌跡，將該動態圖像的代表軌跡與該動態圖像一起作為所述檢索結果。
[0028]此外，本發明的動態圖像檢索裝置中能夠構成為，
[0029]所述提取部取得所述參照圖像的圖像特徵量，
[0030]所述檢索部檢索具有與所述參照圖像的所述圖像特徵量相似的圖像特徵量的幀圖像，由此檢索所述相似幀圖像。
[0031 ] 此外，在本發明的動態圖像檢索裝置中能夠構成為，
[0032]所述提取部還取得將所述參照圖像翻轉後得到的鏡圖像的圖像特徵量，
[0033]所述檢索部檢索與所述參照圖像的所述圖像特徵量或者所述鏡圖像的所述圖像特徵量相似的幀圖像，由此檢索所述相似幀圖像。
[0034]本發明的第2觀點的動態圖像檢索方法構成為具有:
[0035]受理步驟，受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內包含的第I參照位置和第2參照位置以及動態圖像中應包含的幀圖像內的第I目標位置和第2目標位置的輸入；
[0036]提取步驟，根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及
[0037]檢索步驟，從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像中所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
[0038]本發明的第3的觀點的計算機可讀取的記錄介質，其構成為記錄有使計算機作為以下單元進行工作的程序:
[0039]受理部，其受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內包含的第I參照位置和第2參照位置以及動態圖像中應包含的幀圖像內的第I目標位置和第2目標位置的輸入；
[0040]提取部，其根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及
[0041]檢索部，其從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像中所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
[0042]本發明的第4的觀點的程序，其使計算機作為以下單元進行工作:
[0043]受理部，其受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內包含的第I參照位置和第2參照位置以及動態圖像中應包含的幀圖像內的第I目標位置和第2目標位置的輸入；
[0044]提取部，其根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及
[0045]檢索部，其從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像中所包含的幀圖像進行掃描，由此跟蹤在該檢索到的相似幀圖像中描繪於所述第I開始位置的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
[0046]本發明的程序能夠記錄在光碟、軟盤、硬碟、磁光碟、數位化視頻光碟、磁帶、半導體存儲器等計算機可讀取的非暫時性的(non-transitory)記錄介質中。此外,這些記錄介質能夠獨立於計算機進行發布/銷售。
[0047]此外，本發明的程序能夠構成為，從上述那樣的記錄介質下載到RAM (RandomAccess Memory:隨機訪問存儲器)等計算機可以讀寫的記錄介質，被暫時性地(temporary)記錄，在此基礎上CPU (Central Processing Unit:中央處理單元)讀出在該RAM等中記錄的程序並進行解釋、執行。
[0048]此外，本發明的程序能夠獨立於執行程序的計算機，經由計算機通信網等暫時的(transitory)傳輸介質進行發布/銷售。
[0049]發明的效果
[0050]根據本發明，能夠提供一種對於在動態圖像內應出現的物體，用戶能夠容易地指定其位置、朝向以及其運動，從而進行動態圖像檢索的動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序。
【專利附圖】

【附圖說明】
[0051]圖1A是示出描繪了參照物體的靜止圖像的例子的說明圖。
[0052]圖1B是示出靜止圖像內的參照區域的樣子的說明圖。[0053]圖1C是示出參照圖像的樣子的說明圖。
[0054]圖2A是示出在包含於動態圖像的幀圖像內目標物體應被配置的位置和朝向的例子的說明圖。
[0055]圖2B是示出幀圖像內的局部區域的樣子的說明圖。
[0056]圖2C是示出局部圖像的樣子的說明圖。
[0057]圖3是表示用戶指定參照圖像與目標圖像之間的對應關係的樣子的說明圖。
[0058]圖4是表示用戶指定參照圖像與目標圖像之間的對應關係的樣子的說明圖。
[0059]圖5是示出本發明的實施例的動態圖像檢索裝置的概要結構的說明圖。
[0060]圖6是示出本發明的實施例的動態圖像檢索裝置執行的動態圖像檢索處理的控制的流程的流程圖。
[0061]圖7是示出通過用戶的指定得到的參照圖像的樣子的說明圖。
[0062]圖8是示出包含具有與參照圖像相似的局部圖像的幀圖像的動態圖像的例的說明圖。
[0063]圖9是示出參照圖像與相似幀圖像之間的對應關係的說明圖。
[0064]圖10是示出動態圖像中的像素的移動的樣子的說明圖。
[0065]圖11是表示動態圖像中的像素的移動軌跡的說明圖。
[0066]圖12是示出參照位置的相對位置關係和目標位置的相對位置關係的說明的說明圖。
[0067]圖13是示出參照位置的相對位置關係和目標位置的相對位置關係的說明的說明圖。
[0068]圖14A是表示代表軌跡的樣子的說明圖。
[0069]圖14B是表示概要圖像的樣子的說明圖。
[0070]圖15是示出用戶指定目標軌跡的樣子的說明圖。
[0071]圖16是示出在動態圖像檢索處理中追加的處理的內容的流程圖。
【具體實施方式】
[0072]以下說明本發明的實施方式。另外，本實施方式用於進行說明，不限制本申請發明的範圍。因此，如果是本領域技術人員，可以採用將這些各個要素或者全部要素置換成等價的要素後的實施方式，這些實施方式也包含於本發明的範圍。
[0073]實施例1
[0074]本發明的動態圖像檢索裝置能夠通過在伺服器用計算機或個人計算機等各種計算機中執行預定的程序而實現。
[0075]在此，計算機是硬體，其通過CPU執行程序而將RAM作為暫時的存儲區域或處理結果的輸出目的地進行利用，通過鍵盤或滑鼠等輸入裝置受理來自用戶的指示，或者向顯示器等輸出裝置輸出處理結果，或者通過經由NIC (Network Interface Card)與其他設備進行通信來進行上述的輸入輸出，輸入輸出用的設備也可以適當省略。
[0076]在計算機的硬碟等中除了 CPU執行的程序以外，還記錄蓄積了表現作為CPU的處理對象的各種信息的記錄的資料庫。CPU進行從資料庫檢索與檢索查詢一致的記錄，或者向資料庫追加新記錄等處理。[0077]在本實施方式中，在資料庫中除了登記有大量的動態圖像以外，還登記有將包含於動態圖像中的各個幀圖像作為靜止圖像考慮的情況下的局部信息量。
[0078]此外，經由專用的連接線或通信線路、網際網路等計算機通信網連接的多個計算機通過並行地、分布式地、並發地執行上述的處理，也可以實現本發明的動態圖像檢索裝置的處理的高速化。
[0079]此外，通過應用FPGA (Field Programmable Gate Array:現場可編程門陣列)等技術根據程序生成電子電路的設計，根據該設計構成專用的電子電路，由此也可以實現本發明的動態圖像檢索裝置。
[0080](動態圖像檢索的方法)
[0081]在本實施方式中，用戶與靜止圖像一起指定各種信息，由此指定想要得到怎樣的動態圖像。以下，首先概述這些信息的指定方法。
[0082]在本實施方式中，用戶指定期望的物體的畫面框內的期望位置以及期望朝向。然後，動態圖像檢索裝置檢索在期望位置出現與期望朝向的物體(以下稱作「參照物體」。)相似的物體(以下稱作「目標物體」。)的動態圖像。
[0083]如果與文件檢索對比進行考慮，則參照物體相當於作為檢索關鍵字的字符串，目標物體相當於進行了檢索的結果得到的在文件中出現的字符串。
[0084]在文件檢索中，除了能夠檢索出現與檢索關鍵字完全一致的字符串的文件以外，還有能夠檢索出現與檢索關鍵字相似(存在措辭差異或同義詞等各種方式。)的字符串的文件。即，檢索關鍵字與檢索結果的字符串中出現的字符串未必一致。
[0085]同樣地，在本實施方式中，用戶指定描繪於靜止圖像中的參照物體、期望位置以及期望朝向作為檢索關鍵字。
[0086]於是，動態圖像檢索裝置檢索與參照物體相似的目標物體以期望位置和期望朝向出現的動態圖像。
[0087]為了容易理解，下面採用汽車作為物體的例進行說明。
[0088]首先，用戶例如利用圖像檢索引擎等，得到描繪有相當於檢索關鍵字的參照物體的一張靜止圖像。
[0089]圖1A是示出描繪了參照物體的靜止圖像的例子的說明圖。以下，參照本圖進行說明。
[0090]如本圖所示，在靜止圖像101內描繪有作為參照物體的汽車102。在本圖中，汽車102在畫面中央橫向朝左地描繪。即，靜止圖像101是通過從汽車102的駕駛員看來配置在正左方的照相機對汽車102進行攝影而得到的。
[0091]以下，為了容易理解，將在靜止圖像中描繪有參照物體的區域稱作參照區域，將在該參照區域中描繪的圖像稱作參照圖像。
[0092]圖1B是示出靜止圖像101內的參照區域的樣子的說明圖，圖1C是示出參照圖像的樣子的說明圖。以下，參照這些圖進行說明。
[0093]在圖1B中，在靜止圖像101的全區域121內圖示有由虛線圍住的參照區域122。全區域121相當於靜止圖像101整體，參照區域122相當於在靜止圖像101內描繪了汽車102 (參照物體)的區域。
[0094]在圖1C中，圖示了從靜止圖像101內僅切出了汽車102 (參照物體)的外觀而得到的參照圖像123。在本實施方式中，是檢索出現與由參照圖像123表現的參照物體相似的目標物體的動態圖像。
[0095]接下來，如上所述，用戶指定期望位置和期望朝向作為檢索關鍵字。以下，說明用戶指定畫面框右上作為期望位置、左斜下朝向作為期望朝向的例子。
[0096]在該例中，考慮用戶想要得到與參照物體相似的目標物體在畫面框右上以左斜下朝向出現的動態圖像作為檢索結果。
[0097]圖2A是示出在動態圖像中包含的幀圖像內目標物體應配置的位置和朝向的例子的說明圖。以下，參照本圖進行說明。
[0098]在本圖所示的例中，在用戶要想檢索的幀圖像201內描繪有與該汽車102相似的汽車202 (也可以與汽車102相同。)作為目標物體。
[0099]即，在本實施方式中，包含出現與描繪於靜止圖像101的參照物體(汽車102)相似的目標物體(汽車202)的幀圖像201的動態圖像被作為檢索結果的候選。
[0100]在此，在幀圖像201內，汽車202在畫面框右上以左斜下朝向出現。即，期望的動態圖像是包含用在從汽車202的駕駛員看來配置在左斜前方的照相機對汽車202攝影的瞬間的動態圖像。
[0101]以下，為了容易理解，將在幀圖像中描繪有目標物體的區域稱作局部區域，將在該局部區域中描繪的圖像稱作局部圖像。
[0102]圖2B是示出幀圖像201內的局部區域的樣子的說明圖，圖2C是示出局部圖像的樣子的說明圖。以下，參照這些圖進行說明。
[0103]在圖2B中，在幀圖像201的全區域221內圖示了由虛線圍住的目標區域222。全區域221相當於幀圖像201整體，目標區域222相當於在幀圖像201內描繪有汽車202 (目標物體)的區域。
[0104]在圖2C中，圖示了從幀圖像201內僅將汽車202 (目標物體)的外觀切出而得到的目標圖像223。
[0105]在本實施方式中，檢索由參照圖像123表現的參照物體與由目標圖像223表現的目標物體相似的動態圖像。
[0106]然而，由於靜止圖像101是從汽車102橫向左側攝影的圖像，因此即便對參照圖像123實施包含旋轉、翻轉、平行移動、放大縮小、錯切等的仿射變換，也無法得到與目標圖像223相似的構圖。
[0107]這是因為，在本例中，在靜止圖像101中基本看不到汽車102的正面，與此相對，在幀圖像201中能夠清楚地看到汽車202的正面。
[0108]一般而言，如果利用圖像檢索技術，得到出現用戶希望的參照物體的靜止圖像並非不可能。
[0109]然而，基本不會出現在該靜止圖像中參照物體被描繪的位置和朝向、參照物體的攝影方向和角度直接與在動態圖像中包含的幀圖像中目標物體被描繪的位置和朝向、目標物體的攝影方向和角度一致的情況。
[0110]因此，在本實施方式中，由用戶指定靜止圖像101中的參照圖像與幀圖像201中的目標圖像之間的對應關係。
[0111]圖3、圖4是表示用戶指定參照圖像與目標圖像之間的對應關係的樣子的說明圖。以下參照這些圖進行說明。
[0112]在這些圖所示的例中，在畫面301內顯示有靜止圖像101和動態圖像幀331，該動態圖像幀331表示應重現包含幀圖像201的動態圖像的區域。
[0113]另外，在圖3所示的例中，對靜止圖像101進行縮放並配置成能夠收納於動態圖像幀331的中央，在圖4所示的例中，靜止圖像101配置成與動態圖像幀331隔開距離。
[0114]這是因為，一般而言，在靜止圖像101和動態圖像幀331中，縱橫比不同。
[0115]在此，用戶進行了如下指示:
[0116](a)從靜止圖像101內描繪汽車102的前端的參照位置311向動態圖像幀331內應描繪汽車202的前端的目標位置351引箭頭371，以及
[0117](b)從靜止圖像101內描繪汽車102的後端的參照位置312向動態圖像幀331內應描繪汽車202的後端的目標位置352引箭頭372。
[0118]這樣的指示例如通過使用滑鼠的拖放操作或者對觸控螢幕或觸摸面板的滑動操作(用手指接觸表面，保持觸摸狀態使手指移動後，移開手指的操作)來進行。
[0119]在本實施方式中，用戶通過在靜止圖像中指定描繪了作為參照物體(汽車102)的記號的部位(前端和後端)的參照位置311、312，來選擇該部位(前端和後端)。
[0120]此外，用戶指定目標物體(汽車202)的對應的部位(前端和後端)在動態圖像幀331內應被描繪的目標位置351、352。
[0121]另外，在這些圖所示的例中，動態圖像幀331的縱橫比為9比16，大小與作為檢索對象的動態圖像的大小一致。因此，利用用戶在動態圖像幀331內指定的目標位置351、352作為直接表示作為目標物體202的汽車202應出現的位置和朝向的位置。
[0122]另一方面，對於具有不同的縱橫比的動態圖像或縱橫的像素數不同的動態圖像，將9比16的動態圖像幀331在縱橫上拉伸或收縮而使得與該動態圖像的縱橫一致。即，作為縱橫比或縱橫像素數不同的動態圖像中的目標位置，不使用在動態圖像幀331內用戶直接指定的目標位置351、352，而使用這些目標位置在上述的伸縮中移動後的目的地作為目標位置即可。
[0123]在本實施方式中，通過這樣簡單的操作指定在動態圖像中包含的幀圖像中目標物體應以怎樣的位置和朝向出現，由此可以進行動態圖像的檢索。以下，對動態圖像的檢索技術詳細地進行說明。
[0124](動態圖像檢索裝置)
[0125]圖5是示出本發明的實施例的動態圖像檢索裝置的概要結構的說明圖。圖6是示出本發明的實施例的動態圖像檢索裝置執行的動態圖像檢索處理的控制流程的流程圖。以下，參照這些圖進行說明。
[0126]本實施方式的動態圖像檢索裝置501具有受理部502、提取部503以及檢索部504，該動態圖像檢索裝置501是通過在計算機中執行預定的程序而實現的。
[0127]在此，受理部502將以下的信息作為檢索條件，受理輸入(步驟S601)。
[0128](a)靜止圖像 101。
[0129](b)靜止圖像101內的參照位置311、312(在本實施方式中，箭頭371、372的始點)。
[0130](c)動態圖像幀331內的目標位置351、352 (在本實施方式中，箭頭371、372的終點)。[0131]如上所述，在CPU的控制下，顯示器、滑鼠、觸控螢幕或觸摸面板共同協作，由此實現受理部502的功能。
[0132]接著，提取部503根據參照位置311、312，提取在參照區域內描繪的參照圖像(步驟 S602)。
[0133]如上所述，在本實施方式中，用戶指定描繪有參照物體的靜止圖像101。此外，用戶在靜止圖像101內指定參照位置311、312，該參照位置311、312是描繪有用戶考慮作為參照物體的記號的部位的位置。
[0134]提取部503根據靜止圖像101、參照位置311、312的信息，利用圖像處理技術來提取參照圖像。
[0135]圖7是示出通過圖3、4所示的用戶的指定而得到的參照圖像的樣子的說明圖。以下，參照本圖進行說明。
[0136]如本圖所示，參照圖像701是示出從某個攝影方向攝影的參照物體的外觀的圖像。在本例中，是在汽車101左側橫向對其進行攝影並從攝影圖像中除去背景後得到的圖像。即，參照區域的外緣相當於在靜止圖像101中劃分參照物體與背景的邊界線。
[0137]在參照圖像701的提取中能夠使用各種圖像識別技術。例如，在進行了靜止圖像101的輪廓提取、區域分割後，選出包含參照位置311、312的區域。然後，重複結合被所選擇的區域夾住的區域和與所選擇的區域相鄰且平均色的差異小的區域等，得到參照區域。此外，也可以使用專利文獻I等中公開的技術。
[0138]參照圖像701是從靜止圖像101切出包含參照位置311、312的參照區域而得到的圖像，因此參照位置311、312均包含於參照區域內，並在參照圖像701內，被配置於作為參照物體的記號的部 位。
[0139]CPU與存儲了靜止圖像101的像素信息的RAM等共同協作，由此實現提取部503。
[0140]然後，檢索部504針對多個動態圖像中的各個重複以下的處理(步驟S603)。
[0141]首先，檢索描繪有與參照圖像701相似的局部圖像的幀圖像(以下稱作「相似幀圖像」。)，該幀圖像是包含於該動態圖像中的幀圖像，檢查在動態圖像中是否包含相似幀圖像(步驟 S604)。
[0142]在此，動態圖像由多個幀圖像的時間經過順序的列構成。在畫面301內準備的動態圖像幀331內每隔預定的時間間隔(大多設為30分之I秒，或者60分之I秒。)按順序顯示幀動態圖像，由此可以重現動態圖像。即，可以認為幀圖像是靜止圖像的一種。
[0143]在本實施方式中，預先在動態圖像資料庫等中記錄多個動態圖像。在各動態圖像中包含多個幀圖像。在此，應用各種圖像相似判定技術、圖像識別技術，判定在各幀圖像中是否描繪有與參照圖像701相似的局部圖像。
[0144]圖8是示出包含具有與參照圖像701相似的局部圖像的幀圖像的動態圖像的例子的說明圖。以下，參照本圖進行說明。
[0145]如本圖所示，動態圖像801作為多個幀圖像802a、802b、…、802f、…、8021、802j\…的列而構成(在本圖中，為了容易理解，將幀圖像之間的時間間隔設得長。即，從一般的動態圖像中間疏幀圖像而示出)。在以下的說明中，在對這些多個幀圖像進行總稱的情況下，省略標號末尾的英文，稱作「幀圖像802」。
[0146]在幀圖像802中描繪有與作為參照物體的汽車102相似的汽車202。[0147]然而，由於在幀圖像802a、802b或8021、802j中攝影方向不同，因此在幀圖像802a、802b或802i，802j中未描繪與參照圖像701相似的圖像。
[0148]另一方面，在幀圖像802f中描繪有攝影方向基本相同的汽車202，這相當於局部圖像803。即，局部圖像803與參照圖像701具有彼此對應的特徵點，通過進行使參照圖像701放大縮小、平行移動、旋轉、翻轉的變換，能夠使局部圖像803和參照圖像701重合。
[0149]為了從幀圖像802內檢測與參照圖像701相似的圖像，應用各種圖像識別、圖像檢測、模式識別的技術。
[0150]例如，預先分別針對各動態圖像中包含的幀圖像802，計算SIFT或HOG等的局部特徵量，並記錄在資料庫中。然後，還針對參照圖像701計算局部特徵量，並從資料庫中檢索具有與該局部特徵量相似的局部特徵量的幀圖像802。
[0151]另外，當將包含於某個動態圖像的幀圖像的局部特徵量在資料庫中登記時，如果彼此相鄰的幀圖像802的局部特徵量相似，則適當地間疏而進行登記，由此能夠抑制數據量並且實現檢索的高速化。
[0152]這樣，當發現了描繪有與參照圖像701相似的局部圖像803的相似幀圖像(在圖示的例中，幀圖像802f相當於相似幀圖像)時(步驟S604 ;是)，當使參照圖像701與局部圖像803重合時，檢索部504檢查參照位置311、312位於局部圖像803內的哪個位置(以下，將該位置稱作「開始位置」。)。即，檢索部504求出在所檢索到的相似幀圖像802f中，在描繪有局部圖像803的局部區域內與參照區域內的參照位置311、312對應的開始位置(步驟S605)。
[0153]圖9是示出參照圖像701與相似幀圖像802f之間的對應關係的說明圖。以下，參照本圖進行說明。
[0154]在本圖中，在參照圖像701內，`在汽車102的前端和後端圖示了黑圓點作為參照位置311、312的記號。
[0155]另一方面，在相當於相似幀圖像802f的局部圖像803的汽車202內，在汽車202的前端和後端圖示了黑圓點作為開始位置811、812的記號。
[0156]參照位置311、312是用戶在參照物體(汽車102)中作為記號選擇的部位在參照圖像701內被描繪的位置。
[0157]另一方面，在目標物體(與汽車102相似的汽車202)中，與參照物體(汽車102)中的記號對應的部位在局部圖像803內的開始位置811、812被描繪。
[0158]當進行與參照圖像701相似的局部圖像803的檢測時，實施放大縮小、旋轉、翻轉等變換以使得參照圖像701與局部圖像803重合，對參照位置311、312也同樣地實施這些變換，由此可以得到開始位置811、812。
[0159]然後，檢索部504跟蹤配置於相似幀圖像802f內的開始位置811、812的像素(以下稱作「關注像素」。)在動態圖像801中如何移動，得到其移動軌跡。即，檢索部504從該檢索到的相似幀圖像起，在時間的前進方向(幀圖像802g、802h、8021、802j、…的順序)或者後退方向(幀圖像802e、802d、802c、802b、…的順序)上掃描包含所檢索到的相似幀圖像802f的動態圖像801中包含的幀圖像802a、802b、…、8021、802j、…，由此，跟蹤在該檢索到的相似幀圖像802f中在開始位置811、812描繪的關注像素由於在其他幀圖像802中被描繪而移動的移動軌跡(步驟S606)。[0160]圖10是示出動態圖像801中的像素的移動的樣子的說明圖。以下，參照本圖進行說明。
[0161]如本圖所示，在相似幀圖像802f的開始位置811、812中描繪有關注像素901、902，它們分別描繪汽車202的前端和後端。
[0162]在本圖中，在包含於動態圖像801中的幀圖像802a、802b、…、802f、…、8021、802j\…中示出了描繪汽車202的前端和後端的關注像素901、902的位置。在各幀圖像802a、802b、…、802f、…、8021、802j、…中，在關注像素901、902的標號的末尾附加有對應於該幀圖像802的英文的附標。
[0163]此外，在本圖中還圖示有在後面的處理中參照的目標位置351、352。目標位置351,352由用戶在動態圖像幀331內指定，各幀圖像802以正好放入動態圖像幀331內的方式進行縮放等，由此可以得到各幀圖像802內的目標位置351、352。
[0164]這樣的關注像素901、902的跟蹤例如通過如下方式實現:利用SIFT或HOG等技術求出相鄰的幀圖像802之間的特徵點的對應關係，在此基礎上，通過對對應的特徵點的位置的變化進行插值，計算一方的幀圖像802中的關注像素901、902的位置在另一方的幀圖像802中向哪裡移動。除此之外，通過應用Particle Video的技術也可以實現關注像素901、902的跟蹤。
[0165]另外，關注像素901、902的跟蹤並不是一定意味著跟蹤相同顏色的像素移動的軌跡。即，意味著跟蹤由關注像素901、902在幀圖像802中描繪的目標物體的部位在其他的幀圖像802中被描繪在哪裡。因此，根據目標物體的攝影狀況等的不同，關注像素901、902的顏色可能會逐漸變化。
[0166]這樣，從動態圖像801中包含的相似幀圖像802起，在時間的前進方向和後退方向上掃描幀圖像802，跟蹤關注像素901、902在各幀圖像802中位於哪個位置。於是，可以得到關注像素901、902各自的移動軌跡。
[0167]圖11是表示動態圖像801中的關注像素901、902的移動軌跡的說明圖。以下，參照本圖進行說明。
[0168]如本圖所示，在動態圖像801中，關注像素901、902伴隨時間的經過，描繪從畫面右上(幀圖像802a)向畫面左下(幀圖像802j以後)平穩地移動的移動軌跡951、952。移動軌跡951、952分別通過相似幀圖像802f中的開始位置811、812。
[0169]檢索部504沿著時間的經過跟蹤這些移動軌跡951、952，檢索這些移動軌跡951、952同時到達目標位置351、352的附近這樣的幀圖像(以下稱作「目標幀圖像」。)802，檢查動態圖像801是否包含目標幀圖像(步驟S607)。
[0170]返回圖10，當對各幀圖像802中的關注像素901、902的位置和目標位置351、352進行對比時，可知在幀圖像802b中這些關注像素的位置與目標位置接近。因此，在本例中，檢索的結果，發現幀圖像802b作為目標幀圖像。
[0171]這樣，當發現目標幀圖像時(步驟S607;是)，輸出該動態圖像801作為檢索結果(步驟 S608)。
[0172]然後，針對在資料庫中登記的全部動態圖像801，重複步驟S603以後的處理(步驟S609)，當針對全部動態圖像的處理執行後，結束本處理。
[0173]另外，也可以是，將作為步驟S608中的檢索結果的輸出直接輸出到顯示器等的畫面進行顯示，在每次發現期望的動態圖像時依次在畫面上追加顯示檢索結果。此外也可以是，在步驟S608中，將檢索結果暫時地輸出到RAM等中進行蓄積，在步驟S603?步驟S609的重複處理結束後，一起在顯示器等的畫面中進行顯示。
[0174]另一方面，在沒有發現相似幀圖像的情況下(步驟S604;否)，或者沒有發現目標幀圖像的情況下(步驟S607 ;否)，直接進入步驟S609。因此，該動態圖像801不作為檢索結果。
[0175]這樣，在本實施方式中，即便在靜止圖像101中描繪參照物體時的構圖與在動態圖像801中目標物體出現時的構圖完全不同的情況下，用戶僅通過簡單地輸入靜止圖像101中的作為記號的參照位置311、312與這些參照位置在動態圖像幀331中的目標位置351、352之間的對應關係，就能夠容易地進行動態圖像的檢索。
[0176]特別是在本實施方式中通過二維的圖像處理執行檢索，因此能夠簡單且高速地進行動態圖像檢索。
[0177]實施例2
[0178]當前，在SIFT等圖像識別技術中，即便局部圖像803相對於參照圖像701旋轉了30度左右也能夠判定為相似。然而，在旋轉角度超過30度的情況下，在翻轉而彼此成為鏡像的關係的情況下，有時無法進行檢測。
[0179]在這樣的情況下，除了參照圖像701的局部特徵量之外，還準備翻轉參照圖像701後得到的鏡圖像，求出該鏡圖像的局部特徵量，從資料庫中檢索具有與這兩個局部特徵量中的任意一個相似的局部特徵量的幀圖像802即可。
[0180]在相似幀圖像的檢索中，可以總是使用參照圖像701和其鏡圖像的雙方，也可以選擇性地利用參照圖像701和鏡圖像中的任意一方。
[0181]例如，能夠使用參照位置311、312的相對位置關係和目標位置351、352的相對位
置關係。
[0182]圖12、13是示出參照位置311、312的相對位置關係和目標位置351、352的相對位置關係的說明的說明圖。以下，參照這些圖進行說明。
[0183]在這些圖中，圖示了從參照位置311朝向參照位置312的方向向量971，以及從目標位置351朝向目標位置352的方向向量972。
[0184]圖12所示的例子參照在圖3 (和圖4)中記載的例子，方向向量971、972成銳角。在這樣的情況下，在相似幀圖像的檢索中使用參照圖像701。
[0185]另一方面，在圖13所示的例中，要以交換靜止圖像101中橫向朝左的汽車102的參照位置311、312的前端和後端的方式指定目標位置351、352，檢索出現右向稍稍朝上的汽車202的動態圖像。
[0186]因此，方向向量971、972成鈍角。在這樣的情況下，在相似幀圖像的檢索中使用鏡圖像。
[0187]此外，存在如以下等那樣確定作為適當邊界的角度的方法:如果方向向量971、972成的角在60度以下，則利用參照圖像701，如果方向向量971、972成的角在120度以上，則利用鏡圖像，如果方向向量971、972成的角超過60度且低於120度，則使用參照圖像701與鏡圖像的雙方。
[0188]關於這些方法，相比於垂直方向的翻轉，水平方向的翻轉在動態圖像攝影的情況下更為普遍，此外，是基於考慮用戶想要檢索這樣的啟發式的方法，能夠實現動態圖像檢索的高速化。
[0189]實施例3
[0190]根據由上述的實施例得到的信息，當重現所檢索到的動態圖像801時，可以求出目標物體202本身移動的軌跡(以下稱作「代表軌跡」。)。
[0191]例如，在各幀圖像802中，求出描繪有目標物體202的區域，將其中心點(區域的重心)的像素作為代表像素。然後，通過跟蹤代表像素，能夠作為目標物體202在動態圖像801中移動的代表軌跡。
[0192]此外，作為更簡單的計算的方法，存在如下方法:在各幀圖像802中，將關注像素901、902的中點的位置的像素作為代表像素。
[0193]圖14A是對圖11所示的例子示出代表軌跡的樣子的說明圖。以下，參照本圖進行說明。
[0194]如本圖所示，代表軌跡981通過各幀圖像802中的關注像素901、902的中點980。因此，代表軌跡981是將關注像素901、902的移動的移動軌跡951、952平均化後的軌跡。
[0195]在本實施方式的動態圖像檢索裝置501中，由用戶檢索與參照物體102相似的目標物體202以用戶期望位置、姿勢出現的動態圖像801。
[0196]因此，在本實施方式中，與檢索到的動態圖像801 —起，輸出代表軌跡981作為檢
索結果。
[0197]圖14B是示出用於說明輸出動態圖像801和代表軌跡981作為檢索結果的情況下的該動態圖像801的概要的概要圖像的樣子的說明圖。以下，參照本圖進行說明。
[0198]如本圖所示，概要圖像991是，以箭頭的形狀將代表軌跡981在幀圖像802b上重疊地描繪而得到的圖像，其中，幀圖像802b是檢索結果的動態圖像801中，與參照物體102相似的目標物體202以用戶期望位置、姿勢出現的幀圖像。
[0199]概要圖像991可以用作對檢索結果的動態圖像進行一覽顯示時的縮略圖圖像等，通過顯示代表軌跡981作為檢索結果，向用戶提供關於得到的動態圖像801的更詳細的信
肩、O
[0200]實施例4
[0201]在上述實施例中，輸出目標物體202移動的代表軌跡981作為檢索結果，但在本實施方式中，使用戶輸入目標物體202應移動的軌跡(以下稱作「目標軌跡」。)，將代表軌跡981與目標軌跡相似的動態圖像作為檢索結果。
[0202]S卩，在本實施方式中，受理部502除了上述的信息以外，還受理在動態圖像中包含的幀圖像內的目標軌跡的輸入。
[0203]圖15是示出在圖3所示的輸入例中，用戶還指定目標軌跡的樣子的說明圖。以下，參照本圖進行說明。
[0204]如本圖所示，用戶除了箭頭371、372以外，還在動態圖像幀331內輸入從目標位置351,352附近開始的箭頭982。該箭頭982是由用戶輸入的目標軌跡。
[0205]在本實施方式中，在動態圖像801中，在發現了目標幀圖像802b之後(步驟S607 ；是)，執行以下的處理。
[0206]圖16是示出在圖6所示的流程圖中，在動態圖像檢索處理中追加的處理的內容的部分流程圖。以下，參照本圖進行說明。[0207]如本圖所示，在發現目標幀圖像802b之後(步驟S607 ;是)，檢索部504從目標幀圖像802b起按照時間經過順序跟蹤幀圖像802，取得代表軌跡981 (步驟S621)。
[0208]然後，判定得到的代表軌跡981與由用戶通過箭頭982指定的目標軌跡是否相似(步驟 S622)。
[0209]在此，代表軌跡981與目標軌跡之間的相似判定的最簡單的方法如下。S卩，在從代表軌跡981的開始點向結束點的朝向與從目標軌跡的開始點向結束點的朝向成角的差在預定的閾值以下的情況下，判定為兩者相似，在超過了預定的閾值的情況下，判定為兩者不相似。此外，能夠應用各種曲線的相似判定技術。
[0210]在代表軌跡981與目標軌跡相似的情況下(步驟S622 ;是)，進入步驟S608，輸出該動態圖像作為檢索結果。
[0211]另一方面，在代表軌跡981與目標軌跡不相似的情況下(步驟S622 ;否)，進入步驟S609，將其他的動態圖像作為處理對象重複進行處理。
[0212]根據本發明，用戶能夠容易地指定目標物體在動態圖像幀331內被配置在哪個位置和哪個朝向，並且從該位置向哪個方向移動，能夠簡單且高速地執行動態圖像檢索。
[0213]另外，在上述的實施例中，作為動態圖像801，舉出通過用照相機對現實世界進行攝影而得到的圖像的例子，但是，對於通過計算機圖像生成從虛擬視點觀察虛擬世界的樣子的動態圖像、或者通過手工作業逐張地生成幀圖像並進行排列而得到的動畫的動態圖像等任意的動態圖像都可以應用相同的方法。
[0214]實施例5
[0215]在上述實施方式中，通過箭頭371、372的輸入來指定參照位置311、312以及目標位置351、352，但是，也可以利用能夠在用戶描繪箭頭371、372時利用的其他的參數。
[0216]例如，在利用可以檢測用戶的按壓強度的觸摸面板或滑鼠、控制器等的情況下，可以根據描繪箭頭371、372時的用戶的按壓強度，使目標位置351、352附近的大小變化。
[0217]在該方式中，在圖3、圖4所示的輸入例中，預先進行畫面301的顯示設定，使得當用戶的按壓力強時，箭頭371、372被描繪得較粗，當用戶的按壓力較弱時，箭頭371、372被描繪得較細。
[0218]而且，根據用戶的按壓強度，即箭頭371、372的粗細度，確定是否是目標位置的附近的閾值的大小。
[0219]根據本實施方式，可以通過簡單的操作實現動態圖像的檢索條件的詳細的指定。
[0220]此外，如圖3所示，在動態圖像幀331在與靜止圖像101不同的位置被顯示的情況下，可以在動態圖像幀331內提示各種信息。
[0221]是如下方法:針對動態圖像幀331內的各位置，分別對在資料庫中登記的全部的動態圖像801的幀圖像802的局部信息量進行累計，將累計結果的各位置中的分布在動態圖像幀331內進行畫面顯示。
[0222]一般而言，在局部信息量是標量值的情況下，可以預想到，其值越大，該部位越是容易被人看到的特徵部位。
[0223]此外，在局部信息量是向量值的情況下，可以預想到，其長度越長，該部位越是特徵部位。
[0224]因此，通過將局部信息量的總和標量化，能夠得知動態圖像幀331內的各位置在全部動態圖像的平均中是何種程度特徵。
[0225]因此，根據該方法，用戶可以容易地預測將哪個位置設為目標位置可以得到更適當的檢索結果等。
[0226]另外，在本申請中，主張基於在2012年I月20日在日本申請的特願2012-010492的優先權，只要指定國的法令允許，將該基礎申請的內容全部引用到本申請。
[0227]產生上的可利用性
[0228]根據本發明，提供一種對於在動態圖像內應出現的物體，用戶能夠容易地指定其位置、朝向以及其運動，從而進行動態圖像檢索的動態圖像檢索裝置、動態圖像檢索方法、記錄介質以及程序。
[0229]標號說明
[0230]101:靜止圖像
[0231]102:作為參照物體的汽車
[0232]121:靜止圖像的全區域
[0233]122:參照區域
[0234]123:參照圖像
[0235]201:幀圖像
[0236]202:作為目標物體的汽車
[0237]221:幀圖像的全區域
[0238]222:目標區域
[0239]223:目標圖像
[0240]301:畫面
[0241]311:參照位置
[0242]312:參照位置
[0243]331:動態圖像幀
[0244]351:目標位置
[0245]352:目標位置
[0246]371:箭頭
[0247]372:箭頭
[0248]501:動態圖像檢索裝置
[0249]502:受理部
[0250]503:提取部
[0251]504:檢索部
[0252]701:參照圖像
[0253]801:動態圖像
[0254]802:幀圖像
[0255]803:局部圖像
[0256]811:開始位置
[0257]812:開始位置
[0258]901:關注像素[0259]902:關注像素
[0260]951:移動軌跡
[0261]952:移動軌跡
[0262]971:參照位置的方向向量
[0263]972:目標位置的方向向量
[0264]981:代表軌跡
[0265]982:目標軌跡的箭頭
[0266]991:概要圖像
【權利要求】
1.一種動態圖像檢索裝置，其特徵在於具有: 受理部，其受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內所包含的第I參照位置和第2參照位置以及動態圖像所包含的幀圖像內的第I目標位置和第2目標位置的輸入； 提取部，其根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及 檢索部，其從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置處的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置處的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
2.根據權利要求1所述的動態圖像檢索裝置，其特徵在於， 所述受理部還受理所述動態圖像所包含的幀圖像內的目標軌跡的輸入， 所述檢索部針對所述檢索到的各個動態圖像，從該檢索到的動態圖像所包含的目標中貞圖像起，在時間的前進方向上對相應動態圖像所包含的幀圖像進行掃描，由此跟蹤該檢索到的目標幀圖像中描繪的局部圖像的代表像素移動的代表軌跡，將所述目標軌跡和所述代表軌跡相似的動態圖像作為所述檢索結果。
3.根據權利要求1所述的 動態圖像檢索裝置，其特徵在於， 所述檢索部針對所述檢索到的各個動態圖像，從該檢索到的動態圖像所包含的目標中貞圖像起，在時間的前進方向上對相應動態圖像所包含的幀圖像進行掃描，由此跟蹤該檢索到的目標幀圖像中描繪的局部圖像的代表像素移動的代表軌跡，將相應動態圖像的代表軌跡與相應動態圖像一起作為所述檢索結果。
4.根據權利要求1至3中的任意一項所述的動態圖像檢索裝置，其特徵在於， 所述提取部取得所述參照圖像的圖像特徵量， 所述檢索部檢索具有與所述參照圖像的所述圖像特徵量相似的圖像特徵量的幀圖像，由此檢索所述相似幀圖像。
5.根據權利要求4所述的動態圖像檢索裝置，其特徵在於， 所述提取部還取得將所述參照圖像翻轉得到的鏡圖像的圖像特徵量， 所述檢索部檢索與所述參照圖像的所述圖像特徵量或者所述鏡圖像的所述圖像特徵量相似的幀圖像，由此檢索所述相似幀圖像。
6.一種動態圖像檢索方法，其特徵在於具有: 受理步驟，受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內所包含的第I參照位置和第2參照位置以及動態圖像中應包含的幀圖像內的第I目標位置和第2目標位置的輸入；提取步驟，根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及 檢索步驟，從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置處的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置處的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
7.一種計算機可讀取的記錄介質，其記錄有使計算機作為以下單元進行工作的程序: 受理部，其受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內所包含的第I參照位置和第2參照位置以及動態圖像中應包含的幀圖像內的第I目標位置和第2目標位置的輸入； 提取部，其根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及 檢索部，其從多個動態 圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置處的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置處的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
8.一種程序，其使計算機作為以下單元進行工作: 受理部，其受理描繪了參照物體的靜止圖像、該靜止圖像內的描繪了該參照物體的參照區域內所包含的第I參照位置和第2參照位置以及動態圖像中應包含的幀圖像內的第I目標位置和第2目標位置的輸入； 提取部，其根據所述第I參照位置和所述第2參照位置，提取在所述參照區域內描繪的參照圖像；以及 檢索部，其從多個動態圖像中，檢索描繪有與所述參照圖像相似的局部圖像的相似幀圖像，該相似幀圖像是包含於該動態圖像中的幀圖像，在所述檢索到的相似幀圖像中描繪有所述局部圖像的局部區域內，求出與所述參照區域內的所述第I參照位置和所述第2參照位置對應的第I開始位置和第2開始位置，從該檢索到的相似幀圖像起，在時間的前進方向或者後退方向上對包含該檢索到的相似幀圖像的動態圖像所包含的幀圖像進行掃描，由此跟蹤該檢索到的相似幀圖像中描繪於所述第I開始位置處的第I關注像素移動的第I移動軌跡和描繪於所述第2開始位置處的第2關注像素移動的第2移動軌跡，檢索該第I移動軌跡到達所述第I目標位置的附近、且該第2移動軌跡到達所述第2目標位置的附近的目標幀圖像，將包含該檢索到的相似幀圖像和該檢索到的目標幀圖像的動態圖像作為檢索結果。
【文檔編號】H04N5/76GK103748870SQ201280040285
【公開日】2014年4月23日 申請日期:2012年10月12日 優先權日:2012年1月20日
【發明者】平野廣美, 三條正裕, 川手裕太, 岡部誠, 尾內理紀夫 申請人:樂天株式會社