對象檢測裝置和對象檢測方法

2023-07-26 20:34:46 1

專利名稱：對象檢測裝置和對象檢測方法
技術領域：
本發明涉及使拍攝圖像內檢測出的人物等的移動物體和無線終端的識別符對應 關聯的對象檢測裝置和對象檢測方法。
背景技術：
以往，作為在入口不明確而不存在出入口的開放空間等的空間中，使拍攝到的人 物等的移動物體和該移動物體保持的無線終端的識別符對應關聯的方法，已知有專利文獻 1中公開的技術。在以往的移動物體檢測系統中，在移動物體的位置的檢測開始時刻和無線終端的 識別符的接收開始時刻之差在規定時間內時，使移動物體的位置歷史(以下，適當地稱為 「位置歷史」)和無線終端的識別符(以下，適當地稱為「識別符」)對應關聯。位置歷史是 指，由攝像機等拍攝到的移動物體的位置和其檢測開始時刻的歷史。另外，在從識別符的接收開始時刻起規定時間內存在多個開始檢測了的位置歷史 時，以往的移動物體檢測系統使檢測開始時刻最接近於識別符的接收開始時刻的位置歷史 與識別符對應關聯。例如，如圖1所示，假設以往的移動物體檢測系統獲取兩個位置歷史Pl和P2、以及 一個識別符IDl。此時，以往的移動物體檢測系統計算各個位置歷史的檢測開始時刻Tpi和 Tp2與識別符的接收開始時刻Tidi之差|TP1-TID1|和|TP2-TID1|。在圖1的例子中，為ITpi-Tidi > ITp2-TidiI，所以以往的移動物體檢測系統使位置歷史P2與識別符τι對應關聯。現有技術文獻專利文獻專利文獻1 特開2006-98214號公報

發明內容
發明需要解決的問題然而，以往的移動物體檢測系統，僅以時間差為基準進行對應關聯，所以在以下的 (1)和( 時，無法準確地進行對應關聯。(1)在短時間內開始接收了多個識別符時在多個移動物體保持近距離而移動時，各個移動物體的檢測開始時刻和各個移動 物體所保持的無線終端的識別符的接收開始時刻，分別幾乎為同時(誤差的範圍內)。例如，為兩個移動物體A和B保持近距離而移動的情況。如圖2所示，兩個位置歷 史Pl和P2的檢測開始時刻Tpl和Tp2、與兩個識別符IDl和ID2的接收開始時刻Tidi和Tid2， 分別幾乎為同時。這樣，在存在接收開始時刻為同時的多個識別符時，以往的移動物體檢測 系統無法使位置歷史與識別符對應關聯。(2)接收到的識別符的數多於檢測出的位置歷史的數時例如，存在移動物體的位置的檢測範圍和識別符的接收範圍不同的情況。因此，例如，存在以下情況，即在兩個移動物體A和B中，移動物體A在位置檢測範圍外但在識別符 接收範圍內的區域移動，移動物體B在位置檢測範圍和識別符接收範圍的雙方的範圍內的 區域移動。此時，如圖3所示，獲取一個位置歷史P1、以及兩個識別符IDl和ID2。以往的移 動物體檢測系統在兩個識別符IDl和ID2的接收開始時刻Tidi和Tid2的兩個時刻中都無法 進行對應關聯。其理由為，因為位置歷史Pl的檢測開始時刻Tpl最近，所以無法判別應使位 置歷史Pl與哪一個識別符對應關聯。這樣，在以往技術中，存在以下問題，S卩在短時間內開始接收了多個識別符時，或 者在接收到的識別符的數多於檢測出的位置歷史的數時，無法進行拍攝圖像內的移動物體 和識別符的對應關聯。本發明的目的在於，提供即使在短時間內開始接收了多個識別符時，或者在接收 到的識別符的數多於檢測出的位置歷史的數時，也能夠進行拍攝圖像內的移動物體和識別 符的對應關聯的對象檢測裝置和對象檢測方法。解決問題的方案本發明的對象檢測裝置所採用的結構包括特徵信息提取單元，提取拍攝圖像中 拍攝到的至少一個移動物體的特徵信息；讀取單元，讀取所述移動物體保持的無線終端的 識別符；歷史管理單元，使所述特徵信息和所述識別符每個時刻關聯對應保存；以及對應 關聯單元，基於所述特徵信息間的相似度、以及所述特徵信息和所述識別符之間的所述關 聯對應，使所述歷史管理單元中保存的所述特徵信息和所述識別符對應關聯。本發明的對象檢測方法包括以下步驟特徵信息提取步驟，提取拍攝圖像中拍攝 到的至少一個移動物體的特徵信息；讀取步驟，讀取所述移動物體保持的無線終端的識別 符；歷史管理步驟，使所述特徵信息和所述識別符每個時刻關聯對應保存在存儲器中；以 及對應關聯步驟，基於所述存儲器中保存的特徵信息間的相似度、以及所述特徵信息和所 述識別符之間的所述關聯對應，使所述存儲器中保存的所述特徵信息和所述識別符對應關 聯。發明的效果根據本發明，通過基於特徵信息間的相似度，求與特徵信息對應的識別符，從而即 使在短時間內開始接收了多個識別符時，或者在接收到的識別符的數多於檢測出的位置歷 史的數時，也能夠容易進行拍攝圖像內的移動物體和識別符的對應關聯。


圖1是用於說明以往技術的位置歷史和識別符的對應關聯的圖。圖2是用於說明以往技術中的問題的圖。圖3是用於說明以往技術中的問題的圖。圖4是表示本發明實施方式1的對象檢測裝置的結構的方框圖。圖5是表示包含本發明實施方式1的對象檢測裝置的系統結構的圖。圖6是表示一例本發明實施方式1的歷史管理單元所管理的歷史信息的圖。圖7是表示本發明實施方式1的對應關聯單元的動作步驟的流程圖。圖8是用於說明本發明實施方式1的歸類的圖。CN 102119343 A
說明書
3/11 頁圖9是表示一例本發明實施方式1的歷史管理單元所管理的歷史信息的圖。圖10是表示一例本發明實施方式1的顯示圖像的圖。圖11是表示本發明實施方式1的對象檢測裝置的結構的方框圖。圖12是表示本發明實施方式1的對象檢測裝置的結構的方框圖。圖13是表示一例本發明實施方式1的歷史管理單元所管理的歷史信息的圖。圖14是表示本發明實施方式2的對象檢測裝置的結構的方框圖。圖15是表示本發明實施方式2的對應關聯單元的動作步驟的流程圖。圖16是表示一例本發明實施方式2的顯示圖像的圖。圖17是表示本發明實施方式3的對象檢測裝置的結構的方框圖。圖18是表示本發明實施方式3的對象檢測裝置的結構的方框圖。圖19是表示包含本發明實施方式3的對象檢測裝置的系統結構的圖。圖20是表示一例本發明實施方式3的歷史管理單元所管理的歷史信息的圖。標號說明100、300、400、500 對象檢測裝置101、1001、1003 拍攝單元102人物截出單元103特徵信息提取單元104、1011、1013 讀取單元105歷史管理單元106、306對應關聯單元107異常輸出單元108圖像存儲單元109顯示單元151、351對應關聯判定單元152歸類單元153相似度計算單元154類對應關聯單元155類數決定單元156相似度加權單元352相近特徵信息追加單元
具體實施例方式以下，參照附圖詳細地說明本發明的各個實施方式。另外，在各個實施方式中，說 明移動物體是人物的情況。另外，各個人物保持能夠通過無線發送固有的識別符的無線終 端。無線終端是RFID (Radio FrequencyIdentification，射頻識別)、非接觸IC卡、無線標 籤、藍牙(Bluetooth)(註冊商標)、無線LAN(local area network，區域網)和毫米波標籤寸。(實施方式1)圖4是表示本發明實施方式1的對象檢測裝置的結構的方框圖。圖5是表示包含本發明實施方式1的對象檢測裝置的系統結構的圖。對象檢測裝置100主要包括拍攝單元101、人物截出單元102、特徵信息提取單元 103、讀取單元104、歷史管理單元105、對應關聯單元106、異常輸出單元107、圖像存儲單元
108、以及顯示單元109。另外，對應關聯單元106具有對應關聯判定單元151、歸類單元 152、相似度計算單元153、以及類對應關聯單元154。拍攝單元101使用攝像機拍攝規定的區域，並將拍攝圖像輸出到人物截出單元 102、特徵信息提取單元103和圖像存儲單元108。人物截出單元102以規定的定時，在從拍攝單元101輸出的拍攝圖像中檢測拍攝 到人物201的區域(以下，稱為「人物區域」)。然後，在拍攝圖像中拍攝到的人物201的數 增加或減少了時，人物截出單元102將表示該增加或減少的信息通知給讀取單元104。另 外，人物截出單元102將表示人物區域的位置的信息輸出到特徵信息提取單元103。另外， 通過使用現有的方法，實現人物區域的檢測。例如，人物截出單元102使用輸入的拍攝圖 像，基於先前幀的圖像信息(背景信息)和當前幀的圖像信息之間的差分，檢測人物區域。特徵信息提取單元103參照從人物截出單元102輸出的信息，提取從拍攝單元101 輸出的拍攝圖像中拍攝到的人物201的所有特徵信息，並將提取出的特徵信息輸出到歷史 管理單元105。作為特徵信息的表示方法，例如有使用了顏色特徵量或亮度梯度特徵量等的 N維數據。在圖像識別的領域中，一般而言，將對有數百維構成的特徵矢量進行主成分分析 而縮減到百維左右的矢量用作特徵信息。但是，在本實施方式中，假設特徵矢量為二維(例 如，對N維矢量進行主成分分析所得的第1主成分和第2主成分)進行說明。特徵信息是 例如表示人物的臉部的特徵的特徵信息，或者表示人物的形狀的特徵的特徵信息。讀取單元104具有接收天線，並以來自人物截出單元102的通知的定時，接收從人 物201保持的無線終端202發送的電波。來自人物截出單元102的通知是指，如上所述，表 示拍攝圖像中拍攝到的人物201的數增加或減少的信息的通知。此時，讀取單元104也可 以接收來自人物截出單元102的通知後，對無線終端202查詢識別符。具體而言，讀取單元 104對無線終端202發送查詢信號，接收由無線終端202發送的電波作為對於該查詢信號的 響應，並讀取被重疊在接收到的電波上的識別符即可。讀取單元104將獲取的所有識別符 輸出到歷史管理單元105。另外，如圖5所示，例如，讀取單元104的接收範圍203被設定為 等於或大於拍攝單元101的拍攝範圍204。歷史管理單元105輸入由特徵信息提取單元103提取的特徵信息、以及由讀取單 元104讀取的識別符，使特徵信息和識別符每個時刻對應關聯，並將其作為歷史信息進行管理。對應關聯單元106進行歷史管理單元105中作為歷史信息被管理的特徵信息和識 別符的對應關聯。然後，對應關聯單元106將表示對應關聯的結果的信息輸出到顯示單元
109。在對應關聯單元106判斷為異常時，異常輸出單元107將表示該結果的信息輸出 到顯示單元109。圖像存儲單元108對從拍攝單元101輸出的拍攝圖像賦予時刻信息而存儲。顯示 單元109以重疊了與拍攝圖像內拍攝到的人物的特徵信息對應的識別符的狀態，顯示圖像 存儲單元108中存儲的拍攝圖像。另外，在從異常輸出單元107輸入了表示異常的信息時，
7顯示單元109也可以將該表示異常的信息重疊顯示在拍攝圖像上。對應關聯判定單元151判定是否能夠使歷史信息的特徵信息和識別符一對一地 對應關聯。具體而言，在規定的時刻中歷史信息的特徵信息的數和識別符的數分別為一個 時，對應關聯判定單元151使特徵信息和識別符一對一地對應關聯。另一方面，在規定的時 刻中歷史信息的特徵信息的數或識別符的數的至少一方為多個時，對應關聯判定單元151 判定為無法使特徵信息和識別符一對一地對應關聯。另外，對應關聯判定單元151對歸類 單元152發出觸發，以使其進行歸類處理。另外，在先前的歸類處理(分類為部分集合的處 理)中，獲得了對象的特徵信息的對應關聯時，對應關聯判定單元151也可以利用該結果， 使特徵信息和識別符一對一地對應關聯。另外，在類對應關聯單元154中，使類和識別符一對一地對應關聯時，對應關聯判 定單元151基於該結果，使特徵信息和識別符對應關聯。然後，對應關聯判定單元151將表示對應關聯的結果的信息輸出到顯示單元109。歸類單元152在從對應關聯判定單元151接受觸發後，輸入由歷史管理單元105 管理的歷史信息的特徵信息，並基於特徵信息的相似度進行歸類。另外，在後面敘述歸類單 元152的具體的處理。相似度計算單元153在歸類單元152進行歸類時，計算特徵信息之間的相似度。在 本實施方式中，使用矢量間距離作為相似度。另外，在本發明中，對相似度的計算方法並無 特別限定。類對應關聯單元IM進行由歸類單元152生成的類和識別符的對應關聯。然後， 在使類和識別符一對一地對應關聯時，類對應關聯單元1 將表示該結果的信息輸出到判 定單元151。另一方面，在沒有使類和識別符一對一地對應關聯時，類對應關聯單元IM將 表示該結果的信息輸出到異常輸出單元107。接著，使用圖6的例子，具體說明對應關聯單元106進行歷史管理單元105中管理 的特徵信息和識別符的對應關聯的處理。圖6是表示一例歷史管理單元105中管理的歷史 信息的圖。在本例子中，假設在時刻tl中，檢測出兩位人物，各個人物的特徵信息為(100、 10)和(15、150)，此時探測出的無線終端的識別符為IDll和ID22。另外，假設在時刻t2中， 檢測出兩位人物，各個人物的特徵信息為(95、1幻和(80、90)，此時探測出的無線終端的識 別符為ID22和ID33。在同一時刻探測出多個人物的特徵信息和識別符時，對應關聯單元106無法僅通 過該時刻中的歷史信息，使特徵信息和識別符對應關聯。因此，在圖6的情況下，對應關聯 單元106使用時刻tl和時刻t2的雙方的歷史信息，根據圖7所示的動作步驟，進行特徵信 息和識別符的對應關聯。圖7是表示本實施方式的對應關聯單元106的動作步驟的流程圖。步驟11 將特徵信息進行歸類。歸類單元152將由相似度計算單元153計算出的矢量間距離短於規定的閾值的特 徵信息進行歸類，以使其分類為同一類。另外，在本實施方式中，使用將在一定的閾值以下 的距離的特徵信息分類為一個類的方法，但在本發明中，歸類的方法並不限於該方法。作 為其他的歸類的方法，已知最短距離法等的分層方法或聚類(k-means)法等的劃分優化方法。在本例子中，如圖8所示，時刻tl中的特徵信息(100、10)和時刻t2中的特徵信 息(95、15)的矢量間距離短於規定的閾值。因此，歸類單元152將這些特徵信息分類為類 1。另外，歸類單元152將時刻tl中的特徵信息(15、150)分類為類2，將時刻t2中的特徵 信息(80,90)分類為類3。步驟12 生成邏輯式。類對應關聯單元IM將類作為變量，生成表示各個類和各個時刻中的識別符的分 配狀況的邏輯式。在本例子中，類對應關聯單元巧4從下式(1)生成式(4)。時刻tl中的特徵信息(100、10)屬於類1，有可能是IDll和ID22。能夠將其表示 為下式(1)。類1 = {ID11、ID22}· · · (1)另外，時刻tl中的特徵信息(15、150)屬於類2，有可能是IDll和ID22。能夠將 其表示為下式(2)。類2 = {ID11、ID22}· · 「2)同樣地，時刻t2中的特徵信息(95、15)屬於類1，有可能是ID22和ID33，特徵信 息(80、90)屬於類3，有可能是ID22和ID33。能夠將其表示為下式(3)和式(4)。類1 = {ID22、ID33}. . · (3)類3 = {ID22、ID33}. . . (4)步驟13 解邏輯式。類對應關聯單元IM利用邏輯式的變換，解在步驟12中生成的邏輯式。另外，本發 明對解邏輯式的方法並無特別限制。作為解邏輯式的方法，已知約束滿足問題(constraint satisfaction problem)的解法(反向跟蹤法等)、該邏輯式的近似算法、以及全搜索(full search)等。在本例子中，類對應關聯單元巧4解上述式(1)至式(4)而求與各個類對應的識
別符。首先，基於式(1)和式(3)，類1可獲取的識別符限定於ID22。能夠將其表示為下式 ⑶。類1 = {ID22}· · · (5)接著，從式⑵和式(5)，類2可獲取的識別符限定於ID11。另外，從式⑷和式 (5)，類3可獲取的識別符限定於ID33。步驟14 使類和識別符對應關聯。類對應關聯單元IM基於解出邏輯式的結果，進行類和識別符的對應關聯。在本例子中，如步驟13中說明那樣，各個類可獲取的識別符限定於一個，所以能 夠使類和識別符一對一地對應關聯(步驟14 ；「是」)。另一方面，在不攜帶無線終端的人物進入拍攝範圍時，或者交換了無線終端時，從 歷史信息生成的邏輯式存在矛盾。此時，在解出邏輯式時，無法使識別符與類對應關聯(步 驟 14; 「否」))。步驟15 使特徵信息和識別符對應關聯。在步驟14中，在使類和識別符一對一地對應關聯時(步驟14 ；「是」)，對應關聯判
9定單元151從類和識別符的對應關係，使識別符和特徵信息對應關聯。另外，對應關聯判定 單元151將表示對應關聯的結果的信息輸出到顯示單元109。在本例子中，根據步驟13的結果，類對應關聯單元IM使ID22與屬於類1的特徵 信息(100、10)和特徵信息(95、15)對應關聯。另外，類對應關聯單元154使IDll和屬於 類2的特徵信息(15、150)對應關聯，使ID33和屬於類3的特徵信息(80、90)對應關聯。步驟16 進行異常發生時的處理。在步驟14中，在無法使識別符和類對應關聯時(步驟14 ； 「否」)，異常輸出單元 107判斷為異常，並將判斷結果輸出到顯示單元109。由此，能夠探測未攜帶無線終端或交 換的異常。接著，說明用於進行特定的特徵信息的顯示的方法。在從拍攝圖像中提取人物對象的特徵信息時，特徵信息提取單元103除了提取特 徵矢量以外，還提取圖像內的對象的位置。然後，特徵信息提取單元103將特徵矢量和對象 的位置註冊到歷史管理單元105。圖9是表示一例包含圖像內的對象位置信息的特徵信息 的圖。在圖9的例子中，表示從時刻tl中的拍攝圖像，探測出特徵信息((100，10)，(300， 400))和特徵信息((15，150)，(600,450))的兩個對象。另外，特徵信息((100，10)，(300， 400))意味著，(100,10)為對象的特徵矢量，(300,400)為圖像內的對象位置。顯示單元109在進行特定的特徵信息的顯示時進行以下的處理。(1)顯示單元109 從圖像存儲單元108獲取與特徵信息對應的時刻的圖像。( 顯示單元109將從圖像存儲 單元108獲取的圖像重疊顯示在從特徵信息獲取的對象的位置坐標信息上。圖10是表示一例將識別符重疊顯示在圖6的時刻tl的拍攝圖像上的顯示圖像的 圖。顯示單元109使用由對應關聯單元106求得的結果，在拍攝圖像內拍攝到的人物區域 的周圍，進行能夠識別該人物所保持的無線終端的識別符的顯示。在圖10的例子中，顯示 單元109在與特徵信息(15、150)對應的人物區域的周圍顯示「ID11」和箭頭，在與特徵信 息(100、10)對應的人物區域的周圍顯示「ID22」和箭頭。如上所述，在本實施方式中，將特徵信息進行歸類，求與各個類對應的識別符。由 此，即使在同一時刻開始接收了多個識別符時，或者在接收到的識別符的數多於檢測出的 位置歷史的數時，也能夠容易進行移動物體和識別符的對應關聯。另外，在以往技術中，存在以下的問題，S卩為了掌握位置歷史，無線終端必須不斷 地發送電波，導致功耗的增大。但是，在本實施方式中，只要在人物截出單元102檢測出拍 攝圖像內拍攝到的人數的增減時，讀取單元104與無線終端202進行通信即可，所以無線 終端202不需要不斷地發送電波。因此，無線終端202通常不與讀取單元104進行通信， 而在接收來自讀取單元104的電波後起動。因此，就無線終端202來說，能夠使用在起動 後使用自身的電力，將識別符重疊在電波上發送的半無源型無線終端(半無源電子標籤， Semi-Passive Tag)。或者，作為無線終端202，能夠使用將識別符重疊在使來自讀取單元 104的電波的一部分反射所得的電波上的、無源型無線終端(無源標籤，Passive Tag)。由 此，與以往技術相比，能夠抑制無線終端的功耗。另外，如圖11所示，在本實施方式中，對應關聯單元106也可以採用在對應關聯單 元106的內部具有類數決定單元155的結構。類數決定單元155求由歷史管理單元105管理的歷史信息的識別符的總數，並將其結果輸出到歸類單元152作為最大類數。在圖6的例 子中，識別符為ID11、ID22和ID33的三個，所以最大類數被設定為「3」。另外，也可以在僅 將由歷史管理單元105管理的歷史信息的部分期間作為歸類的對象時，類數決定單元155 求該期間內檢測出的識別符的總數，並將求得的總數輸出到歸類單元152作為最大類數。此時，在圖7的步驟11中的歸類時，歸類單元152將類數的上限設定為最大類數。 由此，能夠削減歸類處理時的搜索範圍，削減歸類的計算量，能夠提高歸類的精度。另外，如圖12所示，對於人物截出單元102，也可以使用識別符變化探測單元111， 代替人物截出單元102。識別符變化探測單元111監視讀取單元104的讀取結果，在識別 符的數增加或減少了時，對特徵信息提取單元103和讀取單元104發出指示，以將特徵信息 和識別符註冊到歷史管理單元105。此時，在拍攝單元101不一直進行拍攝時，識別符變化 探測單元111對拍攝單元101也發出拍攝開始的指示。但是，在發出對特徵信息提取單元 103的指示前，識別符變化探測單元111發出拍攝開始的指示。另外，在本實施方式中，對應關聯單元106也可以將對應關聯的結果輸出到歷史 管理單元105作為對應關聯信息，並管理對應關聯信息。由此，在進行第二次以後的對應關 聯時，對應關聯單元106能夠通過利用對應關聯信息，減少歸類或對應關聯的計算量。以 下，說明該情況。圖13是表示一例歷史管理單元105中管理的歷史數據的圖。在本例子中，歷史數 據是反映了由對應關聯單元106進行對應關聯的結果的數據。數據表的第一行表示使特徵 信息(100，10)和ID22對應關聯。同樣地，表示使特徵信息(15、150)和IDll對應關聯，使 特徵信息(95、15)和ID22對應關聯，使特徵信息(80，90)和ID33對應關聯。由此，例如，在請求了求與時刻tl中的特徵信息(100，10)對應的識別符時，對應 關聯判定單元151已經知道時刻tl中的特徵信息(100，10)與ID22對應關聯。因此，能夠 導出識別符是ID22的對應關聯結果，而不進行歸類單元152以後的處理。另外，即使在歸類單元152以後的處理中，由於邏輯式被簡化，所以計算量很少即 可完成。另外，在本實施方式中，說明了對應關聯判定單元151首先判定是否能夠在單一 的時間使特徵信息和識別符對應關聯的情況。但是，本發明並不限於此，也可以從圖4中刪 除對應關聯判定單元151，在所有情況下進行歸類。(實施方式2)圖14是表示本發明實施方式2的對象檢測裝置的結構的方框圖。另外，在圖14 所示的對象檢測裝置300中，對與圖4所示的對象檢測裝置100共用的結構部分附加與圖 4相同的標號，並省略詳細的說明。實施方式2與實施方式1的不同之處在於，特定信息和識別符的對應關聯的步驟。 圖14所示的對象檢測裝置300與圖4所示的對象檢測裝置100相比，對應關聯單元306的 內部結構與對應關聯單元106不同。對應關聯單元306具有對應關聯判定單元351、相近特徵信息追加單元352和相似 度計算單元153，求與指定的特徵信息對應關聯的識別符。對應關聯判定單元351判定使作為判定的對象的一個以上的特徵信息有可能共 同地對應關聯的識別符是否能夠限定為一個識別符，並輸出其結果。
相近特徵信息追加單元352對於指定的特徵信息，求相似度相近的特徵信息，並 將其輸出到對應關聯判定單元351。接著，具體地說明對應關聯單元306從歷史管理單元105管理的特徵信息中求與 指定的特徵信息對應關聯的識別符的情況。這裡，假設歷史管理單元105中管理的歷史信息與實施方式1中舉例的圖6相同， 請求了對應關聯單元306求特徵信息(100、10)的識別符。此時，對應關聯單元306根據圖15所示的動作步驟，進行被指定的特徵信息(100、 10)和識別符的對應關聯。圖15是表示本實施方式的對應關聯單元306的動作步驟的流程 圖。步驟21 判定可否進行對應關聯。對應關聯判定單元351判斷使特徵信息有可能對應關聯的識別符的數是否能夠 限定為一個。在本例子中，有可能與特徵信息(100、10)對應的識別符是IDll和ID22的兩個， 對應關聯判定單元351無法將識別符限定為一個(步驟21 ；「否」)。步驟22 選擇相近特徵信息。在步驟21中，在無法將識別符限定為一個時(步驟21 ； 「否」)，相近特徵信息追加 單元352選擇基於由相似度計算單元153計算出的相似度的相近的特徵信息。在本例子中，相近特徵信息追加單元352選擇特徵信息(100、10)的最相近的特徵 信息(95、15)。步驟23 判定可否進行對應關聯。對應關聯判定單元351追加相近特徵信息追加單元352選擇出的特徵信息作為判 定的對象，判斷作為判定的對象的所有特徵信息共用的識別符是否能夠限定為一個。在本例子中，有可能與特徵信息(95、1 對應的識別符是ID22和ID33。因此，有 可能與特徵信息(100、10)和特徵信息(95、1幻都對應的識別符僅是ID22，所以對應關聯判 定單元351能夠將識別符限定為一個(步驟23 ；「是」)。步驟M 使特徵信息和識別符對應關聯。在步驟21或步驟23中，在能夠將識別符限定為一個時(步驟21 ；「是」，步驟23 ； 「是」)，對應關聯判定單元351使求得的識別符和指定的特徵信息對應關聯。另外，對應關 聯判定單元351將表示對應關聯的結果的信息輸出到顯示單元109。在本例子中，對應關聯判定單元351使ID22分別與特徵信息(100、10)和特徵信 息(95、15)對應關聯。步驟25 進行異常判定。在步驟23中，在無法將識別符限定為一個時(步驟23 ；「否」)，對應關聯判定單元 351在步驟5中判斷一個以上的特徵信息共用的識別符是否為0個。然後，在共用的識別符不是0個時，相近特徵信息追加單元352和對應關聯判定單 元351反覆步驟22和步驟23的處理(步驟25 ；「否」)。步驟沈進行異常發生時的處理。在不攜帶無線終端的人物進入拍攝範圍時，或者在交換了無線終端時，有時不存 在共用的識別符(步驟25; 「是」)。此時，異常輸出單元107判斷為異常，並將判斷結果輸出到顯示單元109。由此，能夠探測未攜帶無線終端或交換的異常。圖16是表示一例將指定的特徵信息的識別符重疊顯示在圖6的時刻tl的拍攝圖 像上的顯示圖像的圖。顯示單元109使用由對應關聯單元306求得的結果，在拍攝圖像內 拍攝到的、指定的特徵信息的人物區域的周圍，進行能夠識別該人物保持的無線終端的識 別符的顯示。在圖16的例子中，顯示單元109在與特徵信息(100、10)對應的人物區域的 周圍，顯示「ID22」和箭頭。如上所述，根據本實施方式，能夠求僅與特定的特徵信息對應的識別符。由此，與 實施方式1中表示的、一併使特徵信息和識別符對應關聯的方法相比，能夠減低計算量。另 外，能夠根據狀況，區分使用實施方式1和實施方式2的方法。另外，在本發明中，也可以適當地切換而使用實施方式1或實施方式2中舉出的、 特徵信息和識別符的對應關聯的方法。(實施方式3)圖17和圖18是表示本發明實施方式3的對象檢測裝置的結構的方框圖。圖19 是表示包含本發明實施方式3的對象檢測裝置的系統結構的圖。另外，在圖17所示的對象 檢測裝置400中，對與圖4所示的對象檢測裝置100共用的結構部分附加與圖4相同的標 號，並省略詳細的說明。另外，在圖18所示的對象檢測裝置500中，對與圖14所示的對象 檢測裝置300共用的結構部分附加與圖14相同的標號，並省略詳細的說明。在圖19中，表 示一個對象檢測裝置400具有多個拍攝單元1001 1003、多個讀取單元1011 1013、以 及對象檢測裝置100的結構。對象檢測裝置100進行來自多個拍攝單元1001 1003和多 個讀取單元1011 1013的特徵信息與識別符的對應關聯。圖17所示的對象檢測裝置400與圖4所示的對象檢測裝置100相比，採用在對應 關聯單元106的內部追加了相似度加權單元156的結構。圖18所示的對象檢測裝置500 與圖14所示的對象檢測裝置300相比，採用在對應關聯單元306的內部追加了相似度加權 單元156的結構。相似度加權單元156計算加權係數，並將其輸出到相似度計算單元153。相似度計算單元153通過將從相似度加權單元156輸出的加權係數與計算出的特 徵信息的矢量間距離相乘，校正矢量間距離。以下，舉出一例說明相似度加權單元156中的加權係數的計算方法。在不同的時間段拍攝出的圖像中，光的照射狀況或服裝、髮型的變化等拍攝條件 不同。因此，即使是同一人物的特徵信息，但其是從不同的時間段的拍攝圖像中提取出的特 徵信息時，有時矢量間距離增大。因此，相似度加權單元156計算加權係數，以使拍攝出作為矢量間距離的計算的 對象的特徵信息的時間段越拉大，矢量間距離越小。由此，能夠更準確地判定從在不同的時間段拍攝出的圖像中提取出的同一人物的 特徵信息的相似度。另外，對於以不同的攝像機拍攝出的拍攝圖像，光的照射狀況的變化等拍攝條件 不同。因此，即使是同一人物的特徵信息，但其是從不同的攝像機的拍攝圖像中提取出的特 徵信息時，有時矢量間距離增大。因此，相似度加權單元156基於拍攝條件，計算加權係數。拍攝條件例如有攝像機
13ID或拍攝時的白平衡信息等。此時，特徵信息提取單元103從拍攝單元101獲取攝像機ID 或白平衡信息，並將其與特徵信息一起註冊到歷史管理單元105。圖20表示包含攝像機ID 或白平衡信息而由歷史管理單元105管理的數據形式的例子。由此，能夠更準確地判定從以不同的攝像機拍攝出的圖像中提取出的同一人物的 特徵信息的相似度。另外，在經過了幾天時，有時人物的外表大幅變化，特徵信息的矢量間距離增大。因此，假設相似度加權單元156能夠僅使用人物的外表未大幅變化的一定的時間 段的歷史信息，進行推測。為此，在拍攝出作為矢量間距離的計算的對象的特徵信息的時間 之差大於規定的閾值時，相似度加權單元156將加權係數設定為最大。由此，能夠防止起因於同一人物的外表大幅變化而使相似度的精度下降。另外，在上述各個實施方式中，也可以使用多組拍攝單元101和讀取單元104，該 讀取單元104在包含該拍攝單元101的拍攝範圍的範圍內接收電波。此時，歷史管理單元 105附加基於拍攝相同範圍並接收的拍攝單元101和讀取單元104的數據作為附加信息後， 管理一個以上的特徵信息和一個以上的識別符作為歷史信息。另外，在上述各個實施方式中，說明了移動物體是人物的情況，但本發明並不限於 此，也能夠適用於人物以外的移動物體。另外，本發明能夠適用於數位相機。此時，通過使數位相機兼具上述各個實施方式 中使用的對象檢測裝置的功能，能夠確定拍攝照片時拍攝到的人物的ID。由此，本發明通過 與將拍攝到的照片自動地發送到與所拍攝的人物的ID對應的地址的應用組合，能夠提高 數位相機的附加值。另外，本發明也能夠適用於超市或百貨公司等的營銷活動中利用的營銷應用。作 為營銷應用的適用例，例如，在店內配置使用戶的ID和其行動歷史對應關聯而進行檢測的 對象檢測裝置。另外，通過個人電腦等的通用計算機，能夠實施上述各個實施方式中使用的對象 檢測裝置。此時，例如，通過CPU讀出計算機的存儲器中存儲的對應的軟體程序而進行執行 處理，實現包含對應關聯單元的處理的各個處理。另外，也可以通過搭載了對應的LSI晶片 的專用設備，實現包含對應關聯單元的處理的各個處理。2008年8月8日提交的第2008-206111號的日本專利申請所包含的說明書、附圖 以及說明書摘要的公開內容，全部引用於本申請。工業實用性本發明適合用於使攝影圖像內檢測出的人物等的移動物體和無線終端的識別符 對應關聯的對象檢測裝置。
權利要求
1.對象檢測裝置，包括特徵信息提取單元，提取拍攝圖像中拍攝到的至少一個移動物體的特徵信息；讀取單元，讀取所述移動物體保持的無線終端的識別符；歷史管理單元，使所述特徵信息和所述識別符每個時刻關聯對應保存；以及對應關聯單元，基於所述特徵信息間的相似度、以及所述特徵信息和所述識別符之間 的所述關聯對應，使所述歷史管理單元中保存的所述特徵信息和所述識別符對應關聯。
2.如權利要求1所述的對象檢測裝置，所述對應關聯單元基於所述特徵信息間的相似度，將所述歷史管理單元中保存的多個所述特徵信息分類 為部分集合，基於所述特徵信息和所述識別符之間的所述關聯對應，使所述部分集合和所述識別符 對應關聯。
3.如權利要求2所述的對象檢測裝置，在與所述部分集合對應關聯的識別符是一個時，所述對應關聯單元使作為所述部分集 合的元素的所有特徵信息和所述識別符對應關聯。
4.如權利要求2所述的對象檢測裝置，存在與多個識別符對應關聯的部分集合時，或者存在不與任一個識別符對應關聯的部 分集合時，所述對應關聯單元判定為異常。
5.如權利要求2所述的對象檢測裝置，還包括部分集合數決定單元，將所述歷史管理單元中保存的不同的識別符的數設定為所述部 分集合的數的上限。
6.如權利要求1所述的對象檢測裝置，所述對應關聯單元在與指定的特徵信息所屬的所述部分集合對應關聯的識別符是一個時，使所述指定的 特徵信息和所述識別符對應關聯，在與所述指定的特徵信息所屬的所述部分集合對應關聯的識別符存在多個時，從所述 歷史管理單元中保存的其他的特徵信息中，提取與所述指定的特徵信息的相似度最高的特 徵信息，通過求所述指定的特徵信息和所述提取出的特徵信息之間共用的識別符，確定與所述 指定的特徵信息對應的識別符。
7.如權利要求6所述的對象檢測裝置，所述對應關聯單元在求得了與所述提取出的特徵信息包含的一個以上的識別符共用 的識別符時，在所述共用的識別符不存在的情況下，判定為異常。
8.如權利要求1所述的對象檢測裝置，在計算特徵信息間的相似度時，所述對應關聯單元對相似度進行加權，以使拍攝到與 特徵信息對應的移動物體的時刻之差越大，相似度越小。
9.如權利要求1所述的對象檢測裝置，在計算特徵信息之間的相似度時，所述對應關聯單元根據表示拍攝到與特徵信息對應 的移動物體的拍攝單元的拍攝狀況或拍攝環境的拍攝參數之差，對相似度進行加權。
10.如權利要求1所述的對象檢測裝置，所述對應關聯單元僅使用所述歷史管理單元中保存的所有所述特徵信息和所述識別 符中的、特定的時間段的所述特徵信息和所述識別符，進行對應關聯。
11.如權利要求1所述的對象檢測裝置，還包括圖像狀況探測單元，探測所述拍攝圖像中拍攝到的移動物體的數， 在所述圖像狀況探測單元探測出所述拍攝圖像中拍攝到的移動物體的增加或減少時， 所述讀取單元進行讀取。
12.如權利要求1所述的對象檢測裝置，還包括識別符狀況探測單元，探測由所述讀取單元讀取的識別符的數， 在所述識別符狀況探測單元探測出識別符的增加或減少時，所述特徵信息提取單元進 行特徵信息的提取。
13.如權利要求1所述的對象檢測裝置，還包括顯示單元，將與所述拍攝單元拍攝在拍攝圖像內的移動物體的特徵信息對應的識別 符，重疊顯示在所述拍攝圖像內。
14.如權利要求1所述的對象檢測裝置，所述特徵信息通過由表示圖像中的移動物體的特徵的η個分量值構成的η維矢量表示，所述對應關聯單元計算所述特徵信息間的相似度作為表示為η維矢量的特徵信息的 矢量間距離。
15.對象檢測方法，包括以下步驟特徵信息提取步驟，提取拍攝圖像中拍攝到的至少一個移動物體的特徵信息； 讀取步驟，讀取所述移動物體保持的無線終端的識別符；歷史管理步驟，使所述特徵信息和所述識別符每個時刻關聯對應保存在存儲器中；以及對應關聯步驟，基於所述存儲器中保存的特徵信息間的相似度、以及所述特徵信息和 所述識別符之間的所述關聯對應，使所述存儲器中保存的所述特徵信息和所述識別符對應關聯。
全文摘要
公開了即使在短時間內開始接收了多個識別符時，或者在接收到的識別符的數多於檢測出的位置歷史的數時，也能夠進行拍攝圖像內的移動物體和識別符的對應關聯的對象檢測裝置。該裝置(100)包括特徵信息提取單元(103)，提取拍攝圖像中拍攝到的至少一個移動物體的特徵信息；讀取單元(104)，讀取移動物體保持的無線終端的識別符；歷史管理單元(105)，使特徵信息和識別符每個時刻關聯對應保存；以及對應關聯單元(106)，基於歷史管理單元(105)中保存的特徵信息間的相似度、以及特徵信息和識別符之間的關聯對應，使歷史管理單元(105)中保存的特徵信息和識別符對應關聯。
文檔編號G01V11/00GK102119343SQ20098013050
公開日2011年7月6日 申請日期2009年5月26日 優先權日2008年8月8日
發明者杉浦雅貴, 森岡幹夫 申請人:松下電器產業株式會社