圖像處理設備、圖像處理方法、程序以及電子器件的製作方法

2023-05-11 13:03:06

專利名稱：圖像處理設備、圖像處理方法、程序以及電子器件的製作方法
技術領域：
本發明涉及圖像處理設備、圖像處理方法、程序以及電子器件。更特別地，例如，本 發明涉及當從拍攝圖像中檢測對象時，適合使用的圖像處理設備、圖像處理方法、程序以及 電子器件。
背景技術：
一段時間以來，例如，存在從捕獲一個或多個人臉的拍攝圖像中檢測臉部的檢測 設備(例如，見日本未審查的專利申請公布第2005-157679和2005-284487號)。在這樣的 檢測設備中，例如，以多個比例(即，放大係數)縮小或放大拍攝圖像。然後，從得到的多個 縮放圖像中的每個圖像中剪裁預定尺寸的窗口圖像。隨後，檢測設備確定在剪裁窗口圖像中是否顯示了臉部。如果確定在特定窗口圖 像中顯示了臉部，那麼把在該窗口圖像中顯示的臉部檢測作為在拍攝圖像中存在的臉部。

發明內容
同時，在現有技術的檢測設備中，縮放圖像的整個圖像區域被設置作為將用於臉 部檢測的檢測區域，並且隨後從這些檢測區域中剪裁窗口圖像。為此，從拍攝圖像中檢測一 個或多個臉部佔用了大量時間。根據這樣的情況而設計的本發明的實施例使得實現了從拍攝圖像中對諸如人臉 的特徵的更快檢測。根據本發明的第一實施例的圖像處理設備被配置成從通過成像獲取的拍攝圖像 中檢測被設置作為檢測目標的一個或多個對象。該圖像處理設備包括生成裝置，其用於生 成用來檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小或放大拍攝圖像以 生成圖像金字塔，該比例是根據從進行成像的成像單元到要檢測的一個或多個對象的距離 來預先設置的；確定裝置，其用於從圖像金字塔中的整個圖像區域當中確定用於檢測一個 或多個對象的一個或多個檢測區域；以及對象檢測裝置，其用於從一個或多個檢測區域中 檢測一個或多個對象。可替選地，以上圖像處理設備可被實現為使得計算機起圖像處理設 備和它所包括的部件作用的程序。圖像處理設備還可配備有估計裝置，其用於估計成像單元的方位。在這種情況下， 確定裝置可基於所估計的成像單元的方位，確定一個或多個檢測區域。圖像處理設備還可配備有獲取裝置，其用於基於對象檢測結果，獲取關於一個或 多個對象的詳細信息。在估計出成像單元的方位被固定在特定方向上的情況下，確定裝置 可基於所獲取的詳細信息，確定一個或多個檢測區域。由獲取裝置獲取的詳細信息可至少包括表示拍攝圖像中一個或多個對象的位置 的位置信息。基於這樣的位置信息，確定裝置可確定一個或多個檢測區域是拍攝圖像中的、 其中存在對象的概率等於或大於預定門限值的區域。圖像處理設備還可配備有運動體檢測裝置，其用於檢測表示拍攝圖像中運動體的運動體區域。在這種情況下，確定裝置可確定一個或多個檢測區域是所檢測到的運動體區 域。運動體檢測裝置可設置運動體門限值，其用來從構成拍攝圖像的區域當中檢測運 動體區域。對於包含由對象檢測裝置檢測到的一個或多個對象的對象鄰近區域和對於除了 對象鄰近區域之外的所有區域，可設置不同的運動體門限值。在運動體檢測裝置基於相鄰幀中拍攝圖像之間的絕對差是否等於或大於用於檢 測運動體區域的運動體門限值來檢測運動體區域的情況下，運動體檢測裝置可根據拍攝圖 像之間的成像時刻的差來修改運動體門限值。圖像處理設備還可配備有背景更新裝置，其用於針對構成拍攝圖像的區域進行背 景更新處理。在運動體檢測裝置基於拍攝圖像與僅有背景的、其中未捕獲一個或多個對象 的背景圖像之間的絕對差來檢測運動體區域的情況下，對於與拍攝圖像中背景部分對應的 區域和對於與除了拍攝圖像中背景之外的所有部分對應的區域，背景更新處理可以是不同 的。圖像處理設備還可配備有輸出裝置，其用於輸出表示由運動體檢測裝置檢測到的 運動體區域的運動體區域信息，其中，輸出裝置在由對象檢測裝置檢測到一個或多個對象 之前輸出運動體區域信息。圖像處理設備還可配備有距離計算裝置，其用於計算到由成像單元成像的成像 目標的距離；以及映射生成裝置，其用於基於所計算出的距離來生成深度映射，其中，深度 映射表示到拍攝圖像中各成像目標的距離。在這種情況下，確定裝置可基於深度映射，確定 一個或多個檢測區域。確定裝置可根據比例來將圖像金字塔細分成多個區域，並且確定一個或多個檢測 區域是來自多個區域當中的一個區域。對象檢測裝置可在來自一個或多個檢測區域當中的部分區域中檢測一個或多個 對象。可基於在位置上相差η個像素(其中η> 1)的各部分區域中是否存在對象來做出 檢測。生成裝置可通過以各自不同的比例來縮小或放大拍攝圖像以生成包含多個金字 塔圖像的圖像金字塔。對象檢測裝置可從用於圖像金字塔中各金字塔圖像的一個或多個檢 測區域中檢測一個或多個對象，其中，按從最接近成像單元的對象開始的順序來檢測一個 或多個對象。在已經檢測到了預定數目的對象的情況下，對象檢測裝置可終止對一個或多個對 象的檢測。對象檢測裝置可從一個或多個檢測區域中檢測一個或多個對象，其中，已經從一 個或多個檢測區域中移除了包含已經檢測到的對象的區域。在檢測到在拍攝圖像中存在的、還沒有由對象檢測裝置檢測到的對象的情況下， 對象檢測裝置可基於表示從特定方向觀看到的對象的第一模板圖像，從一個或多個檢測區 域中檢測對象。考慮在第一拍攝圖像中存在的、並且已經由對象檢測裝置檢測到的對象。如果將 在與第一拍攝圖像不同的另一個拍攝圖像中檢測該對象，那麼基於在第一拍攝圖像中已經 檢測到的對象所存在的位置，確定裝置可另外確定用來對另一個拍攝圖像中的對象進行檢測的另一個圖像金字塔中的一個或多個檢測區域。對象檢測裝置可基於分別表示從多個方 向觀看到的對象的多個第二模板圖像，從另一個圖像金字塔中的一個或多個檢測區域中檢 測對象。在圖像處理設備中執行根據本發明的另一實施例的圖像處理方法，該圖像處理設 備被配置成從通過成像獲取的拍攝圖像中檢測被設置作為檢測目標的一個或多個對象。圖 像處理設備包括生成裝置；確定裝置；以及對象檢測裝置。該方法包括如下步驟使得生 成裝置生成用於檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小或放大拍 攝圖像以生成圖像金字塔，該比例是根據從進行成像的成像單元到要檢測的一個或多個對 象的距離來預先設置的；使得確定裝置從圖像金字塔中的整個圖像區域當中確定用於檢測 一個或多個對象的一個或多個檢測區域；以及使得對象檢測裝置從一個或多個檢測區域中 檢測一個或多個對象。根據類似於上述實施例的本發明的實施例，生成用來檢測一個或多個對象的圖像 金字塔。通過使用比例來縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據從進行成 像的成像單元到要檢測的一個或多個對象的距離來預先設置的。從圖像金字塔中的整個圖 像區域當中，確定用於檢測一個或多個對象的一個或多個檢測區域。然後，從一個或多個檢 測區域中檢測一個或多個對象。根據本發明的另一實施例的電子器件被配置成從通過成像獲取的拍攝圖像中檢 測被設置作為檢測目標的一個或多個對象，並且進行基於檢測結果的處理。電子器件包括 生成裝置，其用於生成用來檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小 或放大拍攝圖像以生成圖像金字塔，該比例是根據從進行成像的成像單元到要檢測的一個 或多個對象的距離來預先設置的；確定裝置，其用於從圖像金字塔中的整個圖像區域當中 確定用於檢測一個或多個對象的一個或多個檢測區域；以及對象檢測裝置，其用於從一個 或多個檢測區域中檢測一個或多個對象。根據類似於上述實施例的本發明的實施例，生成用來檢測一個或多個對象的圖像 金字塔。通過使用比例來縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據從進行成 像的成像單元到要檢測的一個或多個對象的距離來預先設置的。從圖像金字塔中的整個圖 像區域當中，確定用於檢測一個或多個對象的一個或多個檢測區域。然後，從一個或多個檢 測區域中檢測一個或多個對象，並且進行基於檢測結果的處理。因此，根據本發明的實施例，有可能更快地並且利用更少計算來從拍攝圖像中檢 測人臉或其它對象。


圖IA和IB是用於說明本發明的實施例的概述的圖；圖2是示出了根據第一實施例的圖像處理設備的示例性配置的框圖；圖3是用於說明用於生成圖像金字塔的生成處理的第一個圖；圖4是用於說明用於生成圖像金字塔的生成處理的第二個圖；圖5A和5B是用於說明用於確定檢測區域的第一確定處理的一個示例的圖；圖6A和6B示出了臉部檢測模板的示例；圖7A和7B是用於說明臉部檢測處理的圖8是用於說明第一對象檢測處理的流程圖；圖9是用於說明用於確定檢測區域的第二確定處理的一個示例的圖；圖10是示出了根據第二實施例的圖像處理設備的示例性配置的框圖；圖IlA到IlC是用於說明背景差分處理的圖；圖12是用於說明背景更新處理的圖；圖13是用於說明用於確定檢測區域的第三確定處理的一個示例的圖；圖14是用於說明第二對象檢測處理的流程圖；圖15示出了如何根據幀速率來改變在幀間差分處理中使用的運動體門限值的一 個示例；圖16是示出了根據第三實施例的圖像處理設備的示例性配置的框圖；圖17是用於說明用於確定檢測區域的第四確定處理的一個示例的圖；圖18是用於說明第三對象檢測處理的流程圖；圖19是用於說明如何一旦檢測到了預定數目的對象則結束處理的圖；圖20是用於說明如何在排除其中存在先前檢測到的對象的檢測區域的同時進行 對象檢測的圖；圖21A到21D是用於說明如何從檢測區域提取要與模板比較的比較區域的圖；圖22是示出了根據第四實施例的顯示控制設備的示例性配置的框圖；圖23示出了如何在針對對象的狀態的分析結果之前輸出運動體區域信息的一個 示例；並且圖24是示出了計算機的示例性配置的框圖。
具體實施例方式在下文中，將描述用於執行本發明的實施例(在下文中，被稱為實施例)。將如下 進行描述。1.實施例的概述2.第一實施例(根據攝影機方位確定檢測區域的示例)3.第二實施例(根據拍攝圖像中的運動體確定檢測區域的示例)4.第三實施例(根據到對象的距離確定檢測區域的示例)5.修改6.第四實施例(包括檢測對象的圖像處理器的顯示控制設備的示例)1.實施例的概述現在將參照圖IA和IB描述實施例的概述。在這裡描述的實施例中，進行對象檢測處理，其中，從由多個拍攝圖像構成的運動 圖像中檢測被設置作為檢測目標的一個或多個對象，諸如人臉。換句話說，在這裡描述的實施例中，進行全掃描以檢測在拍攝圖像中出現的所有 對象。以構成運動圖像的拍攝圖像的每若干幀(或者場)一幀的頻率進行全掃描。另外，在這裡描述的實施例中，在全掃描之後進行部分掃描。部分掃描檢測由全掃 描檢測到的一個或多個對象。此外，部分掃描從與進行全掃描的拍攝圖像不同的其它拍攝 圖像中檢測一個或多個對象。
9
更具體地，圖IA示出了例如從構成先前記錄的運動圖像的拍攝圖像中檢測一個 或多個對象的情況。如圖IA中所示，每五幀進行一次用於在拍攝圖像中檢測所有對象的全 掃描。另外，還進行用於檢測由全掃描檢測到的一個或多個對象的部分掃描。部分掃描從 與全掃描幀前面的兩幀和隨後的兩幀對應的拍攝圖像中檢測一個或多個對象。圖IB示出了例如從從攝影機順次輸入而未被記錄的拍攝圖像中檢測一個或多個 對象的另一情況。如圖IB中所示，每五幀進行一次用於在拍攝圖像中檢測所有對象的全掃 描。另外，還進行用於檢測由全掃描檢測到的一個或多個對象的部分掃描。部分掃描從與 全掃描幀隨後的四幀對應的每個拍攝圖像中檢測一個或多個對象。在下文中，針對從通過攝影機成像獲取的拍攝圖像中相繼地檢測對象的情況，描 述第一到第三實施例。然而，應該明白的是，針對從先前記錄的運動圖像中檢測對象的情 況，第一到第三實施例也可藉助於類似處理來檢測對象。然而，由於這樣的處理與用於從通 過攝影機成像獲取的拍攝圖像中檢測對象的情況的處理類似，因此在下文中省略對這樣的 處理的進一步描述。2.第一實施例圖像處理設備1的示例性配置圖2示出了根據第一實施例的圖像處理設備1的示例性配置。圖像處理設備1配備有攝影機21、圖像金字塔生成器22、加速度傳感器23、攝影 機位置估計器24、檢測區域確定單元25、對象檢測器26、字典存儲單元27、詳細信息獲取器 28、狀態分析器29以及控制器30。攝影機21進行成像，並且將作為結果獲得的拍攝圖像提供到圖像金字塔生成器 22。在此，根據來自控制器30的指示來改變攝影機21的方位。基於來自攝影機21的拍攝圖像，圖像金字塔生成器22生成圖像金字塔。例如，圖 像金字塔由用來檢測諸如人臉的對象的多個金字塔圖像構成。應該明白的是，要檢測的目 標對象不限於人臉，並且還有可能檢測諸如人手或腳的特徵，以及諸如汽車的車輛。然而， 這裡針對檢測人臉的情況來描述第一到第三實施例。用於生成圖像金字塔的示例性生成處理現在將參照圖3和4描述圖像金字塔生成器22藉以生成多個金字塔圖像的生成處理。圖3示出了多個金字塔圖像43-1到43-4的一個示例，這多個金字塔圖像43_1到 43-4是通過以各自不同的比例縮小(或者放大)來自攝影機21的拍攝圖像41獲得的。如圖3所示，在拍攝圖像41中顯示要檢測的多個目標臉部。在拍攝圖像41中，更 接近攝影機21的臉部顯得更大。為了檢測在離攝影機21預定距離處的臉部，要檢測的目標臉部在尺寸上應該與 模板42的模板尺寸相似。模板42表示與目標臉部比較的、用於臉部檢測的圖像。因此，為了使得目標臉部的尺寸與模板尺寸相似，圖像金字塔生成器22通過分別 縮小或放大拍攝圖像41來生成金字塔圖像43-1到43-4。根據從攝影機21到目標臉部的 各個距離來預設縮小或放大拍攝圖像41的比例(在圖3中，例如，以1. 0倍、0. 841倍以及 0. 841 * 0. 841倍的比例縮小拍攝圖像41)。圖4示出了如何以根據到目標臉部的各個距離預設的比例來縮小拍攝圖像41的一個示例。如圖4中所示，在第一種情況下，檢測目標之一是在最接近攝影機21的空間範圍 Dl中存在的臉部。在這種情況下，圖像金字塔生成器22以根據從攝影機21到該目標臉部 的距離的比例來縮小拍攝圖像41，並且因此生成金字塔圖像43-1。在第二種情況下，檢測目標之一是在空間圖像範圍D2(其比空間範圍Dl更遠離攝 影機21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據從攝影機21到該目 標臉部的距離的比例(在這種情況下，0. 841 ★ 0. 841倍)來縮小拍攝圖像41，並且因此生 成金字塔圖像43-2。在第三種情況下，檢測目標之一是在空間圖像範圍D3 (其比空間範圍D2更遠離攝 影機21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據從攝影機21到該目 標臉部的距離的比例(在這種情況下，0. 841倍)來縮小拍攝圖像41，並且因此生成金字塔 圖像43-3。在第四種情況下，檢測目標之一是在空間圖像範圍D4 (其比空間範圍D3更遠離攝 影機21)中存在的臉部。在這種情況下，圖像金字塔生成器22以根據從攝影機21到目標 臉部的距離的比例(在這種情況下，1.0倍)縮小拍攝圖像41，並且因此生成金字塔圖像 43-4。在下文的描述中，當在金字塔圖像43-1到43-4當中沒有進行特定區分時，金字塔 圖像43-1到43-4將簡單地被稱為圖像金字塔43。圖像金字塔生成器22將生成的圖像金字塔43 (例如，由多個金字塔圖像43_1到 43-4構成)提供到對象檢測器26。返回到圖2，在攝影機21中配備了加速度傳感器23。加速度傳感器23檢測在攝 影機21中產生的加速度(或者表示這樣加速度的信息)，並且將加速度提供到攝影機位置 估計器24。基於來自加速度傳感器23的加速度，攝影機位置估計器24估計攝影機21的方 位，並且將估計結果提供到檢測區域確定單元25。在這裡的圖像處理設備1中，還可實現角速度傳感器或類似部件以替代加速度傳 感器23。在這種情況下，攝影機位置估計器24基於來自角速度傳感器的角速度，估計攝影 機21的方位。當進行全掃描時，檢測區域確定單元25使用來自攝影機位置估計器24的估計結 果作為基礎，用於在圖像金字塔43內確定用來檢測臉部的檢測區域。考慮如下示例基於來自攝影機位置估計器24的估計結果，檢測區域確定單元25 確定攝影機21的方位隨時間改變(例如，攝影機21可移動鏡頭)。在這種情況下，如下確 定全掃描檢測區域。對於圖像金字塔43的用來檢測遠離攝影機21的目標臉部的部分(例如，諸如金 字塔圖像43-4)，檢測區域確定單元25確定檢測區域是圖像金字塔43內的中心區域。對於 圖像金字塔43的所有其它部分(例如，諸如金字塔圖像43-1到43-3)，檢測區域確定單元 25確定檢測區域是圖像金字塔43內的整個區域。考慮如下另一個示例基於來自攝影機位置估計器24的估計結果，檢測區域確定 單元25確定攝影機21的方位被固定在特定方向上。此外，假設攝影機21的特定方向是不
11確定的。在這種情況下，如下確定全掃描檢測區域。對於設定的時間量，檢測區域確定單元25確定全掃描檢測區域是圖像金字塔43 中的所有區域。另外，檢測區域確定單元25計算在圖像金字塔43內各個區域中出現人臉 的概率。然後，檢測區域確定單元25通過逐漸變窄圖像金字塔43中的區域的範圍以便排 除其計算出的概率未能滿足給定門限值的區域，來確定最終檢測區域。這裡，由檢測區域確定單元25基於拍攝圖像中臉部的位置(或者表示這樣位置的 信息)來計算在給定區域中出現人臉的概率。在通過在下文中要描述的詳細信息獲取器28 獲取的詳細信息中包括這樣的臉部位置。作為另一個示例，檢測區域確定單元25還通過利用包括在詳細信息中的對象信 息來確定檢測區域。這樣的對象信息可表示人的姿勢、年齡、高度或其它信息。換句話說， 基於包括在對象信息中的姿勢或高度，檢測區域確定單元25可預測其中很可能出現要檢 測的人臉的拍攝圖像41的區域(例如，如果人的高度很高，那麼檢測區域確定單元25可預 測人臉很可能在拍攝圖像41的上部區域出現)。然後，檢測區域確定單元25可確定檢測區 域是預測的區域。考慮如下另一個示例基於來自攝影機位置估計器24的估計結果，檢測區域確定 單元25確定攝影機21的方位被固定在特定方向上。此外，假設已經確定了攝影機21的特 定方向。在這種情況下，根據攝影機21的方位來確定全掃描檢測區域。稍後，圖5A和5B將用於詳細描述用於在如下情況下根據攝影機21的方位來確定 檢測區域的方法已經確定了攝影機21的方位被固定在特定方向上，並且其中也已經確定 了攝影機21的特定方向。當進行部分掃描時，檢測區域確定單元25使用從對象檢測器26提供的臉部區域 信息作為基礎，用於確定用來在圖像金字塔43中檢測臉部的檢測區域。臉部區域信息表示 在過去拍攝圖像(在要經受部分掃描的拍攝圖像之前一幀)中的臉部區域(即，存在臉部 的區域)。換句話說，當進行部分掃描時，例如，檢測區域確定單元25可確定部分掃描檢測 區域是包含由從對象檢測器26提供的臉部區域信息表示的臉部區域的區域。另外，當進行部分掃描時，檢測區域確定單元25還可確定部分掃描檢測區域是包 含由緊接在前的部分掃描檢測到的臉部區域的區域。全掃描檢測區域的示例性確定圖5A和5B示出了檢測區域確定單元25基於來自攝影機位置估計器24的估計結 果來確定全掃描檢測區域的一個示例。考慮如下示例基於來自攝影機位置估計器24的估計結果，檢測區域確定單元25 確定出攝影機21的方位被固定在特定方向上。此外，假設已經確定了攝影機21的特定方 向。在這種情況下，根據攝影機21的方位來確定全掃描檢測區域。在該示例中，檢測區域確定單元25已經確定了攝影機21的方位是在圖5A中示出 的狀態。在攝影機21的成像範圍61 (S卩，由從攝影機21延展的兩條線定界的範圍)內，幾 乎所有人臉將存在於中心範圍62中。利用該參數，檢測區域確定單元25確定圖像金字塔 43內的檢測區域是中心範圍62 ( S卩，與中心範圍62對應的區域)。更具體地，考慮如下示例在空間區域Dl中存在的人臉被設置作為要檢測的目標臉部。在這種情況下，如圖5A和5B中所示，確定用於空間範圍Dl中的中心範圍62 ( S卩，與 中心範圍62對應的區域)的檢測區域是金字塔圖像43-1內的區域62-1。考慮如下另一個示例在空間區域D2中存在的人臉被設置作為要檢測的目標臉 部。在這種情況下，如圖5A和5B中所示，確定用於空間範圍D2中的中心範圍62的檢測區 域是金字塔圖像43-2內的區域62-2。考慮如下另一個示例在空間區域D3中存在的人臉被設置作為要檢測的目標臉 部。在這種情況下，如圖5A和5B中所示，確定用於空間範圍D3中的中心範圍62的檢測區 域是金字塔圖像43-3內的區域62-3。同時，類似地確定用於空間範圍D4的檢測區域是金 字塔圖像43-4內的區域。然後，檢測區域確定單元25向對象檢測器26提供檢測區域信息，其表示針對圖像 金字塔43已經被確定了的檢測區域(例如，諸如檢測區域62-1到62-3)。返回到圖2，對象檢測器26從字典存儲單元27讀取臉部檢測模板。隨後，對象檢 測器26進行處理以使用讀取的模板來檢測臉部。針對來自圖像金字塔生成器22的圖像金 字塔43內的檢測區域進行臉部檢測處理。基於來自檢測區域確定單元25的檢測區域信息， 確定檢測區域。稍後將參照圖7詳細描述由對象檢測器26進行的臉部檢測處理。字典存儲單元27以全掃描模板和部分掃描模板的形式預先存儲臉部檢測模板。示例性模板圖6A和6B示出了全掃描模板和部分掃描模板的一個示例。如圖6A中所示，字典存儲單元27可預先存儲簡單的字典。在簡單的字典中，各個 模板與性別和年齡的多個組合中的每個相關聯，其中每個模板表示與相應的參數組合匹配 的人的平均臉的正面圖像。如圖6B中所示，字典存儲單元27還可預先存儲豐富的樹字典。在樹中，各自不同 的面部表情每個與多個模板相關聯，其中所述多個模板利用從多個角度觀看到的相應面部 表情來表示平均臉的圖像。同時，當進行全掃描時，使用簡單的字典。除臉部檢測之外，簡單的字典還用於檢 測在拍攝圖像與拍攝圖像之間不變化的臉部屬性。例如，這樣的屬性可包括人的性別和年 齡。當進行部分掃描時，使用豐富的樹字典。除臉部檢測之外，豐富的樹字典還用於檢測在 拍攝圖像與拍攝圖像之間(可很容易地)變化的屬性。例如，這樣的屬性可包括面部表情。示例性臉部檢測處理現在，圖7A和7B將用來詳細描述由對象檢測器26使用存儲在字典存儲單元27 中的模板來進行的臉部檢測處理。考慮如下情況對象檢測器26進行全掃描，以在與拍攝圖像41對應的圖像金字塔 43中檢測所有臉部。在這種情況下，如圖7A中所示，對象檢測器26使用模板42 (例如，在 圖6A中示出的簡單的字典模板)，以在圖像金字塔43內的目標檢測區域中檢測臉部。現在考慮如下情況對象檢測器26進行部分掃描，以從與另一個拍攝圖像41對應 的圖像金字塔43中檢測由全掃描檢測到的臉部。在這種情況下，如圖7B中所示，對象檢測 器26使用模板42 (諸如在圖6B中示出的豐富的樹字典中的模板)，以在圖像金字塔43內 的目標檢測區域中檢測臉部。
13
在任一示例中，如果對象檢測器26藉助於全掃描或部分掃描臉部檢測處理檢測 到一個或多個臉部，那麼對象檢測器26向檢測區域確定單元25和詳細信息獲取器28提供 臉部區域信息，其表示圖像金字塔43內的一個或多個臉部區域。另外，對象檢測器26還向詳細信息獲取器28提供用來檢測一個或多個臉部的模 板。返回到圖2，詳細信息獲取器28基於從對象檢測器26接收的臉部區域信息和模 板，獲取關於拍攝圖像41內存在的一個或多個臉部的詳細信息。換句話說，例如，詳細信息 獲取器28可基於來自對象檢測器26的臉部區域信息，確定拍攝圖像41中一個或多個臉部 的位置，並且隨後將該位置信息作為詳細信息提供到狀態分析器29。作為另一個示例，詳細信息獲取器28還可讀取來自字典存儲單元27的、與從對象 檢測器26接收的模板相關聯的信息。例如，這樣的信息可包括性別、年齡以及面部表情信 息。然後，詳細信息獲取器28將該信息作為詳細信息提供到狀態分析器29。基於來自詳細信息獲取器28的詳細信息，狀態分析器29分析對象的狀態(即，外 形)，並且隨後輸出分析結果。控制器30對從攝影機21到狀態分析器29的部件進行控制。從由攝影機21獲取 的拍攝圖像當中，控制器30使得以每若干幀一幀的頻率進行全掃描，同時還使得針對剩餘 幀進行部分掃描。第一對象檢測處理的操作現在，圖8中的流程圖將用來詳細描述由圖像處理設備1進行的第一對象檢測處理。在步驟Sl中，攝影機拍攝(即，獲取圖像)，並且向圖像金字塔生成器22提供作為 結果獲取的拍攝圖像41。在步驟S2中，圖像金字塔生成器22基於來自攝影機21的拍攝圖像41，生成圖像 金字塔43 (即，多個金字塔圖像)。例如，圖像金字塔43可用於檢測人臉，並且可按參照圖 3和4描述的方式生成。將生成的圖像金字塔43提供到對象檢測器26。在步驟S3中，控制器30確定是否進行全掃描。基於通過攝影機21的成像獲取的 拍攝圖像的數目，做出該確定。在步驟S3中，如果控制器30基於通過攝影機21的成像獲取的拍攝圖像的數目， 確定進行全掃描，那麼處理前進到步驟S4。在步驟S4到步驟S8中，從加速度傳感器23到詳細信息獲取器28的部件遵循來 自控制器30的指示來藉助於全掃描檢測一個或多個臉部。還獲取了從檢測結果獲得的詳
細信息。換句話說，在步驟S4中，加速度傳感器23檢測在攝影機21中產生的加速度(或 者表示這樣的加速度的信息)，並且將加速度提供到攝影機位置估計器24。在步驟S5中，檢測區域確定單元25基於來自加速度傳感器23的加速度，估計攝 影機21的方位，並且將估計結果提供到檢測區域確定單元25。在步驟S6中，檢測區域確定單元25基於來自攝影機位置估計器24的估計結果， 確定一個或多個全掃描檢測區域。在步驟S7中，對象檢測器26在由步驟S6中的處理確定的一個或多個檢測區域中檢測臉部。對象檢測器26通過使用用於多個因素(諸如性別和年齡)的組合中每個組合 的相應模板(即，圖7A中的簡單的字典)來檢測臉部。如果對象檢測器26藉助於臉部檢測處理檢測到一個或多個臉部，那麼對象檢測 器26向檢測區域確定單元25和詳細信息獲取器28提供表示圖像金字塔43內一個或多個 臉部區域的臉部區域信息。另外，對象檢測器26向詳細信息獲取器28提供用來檢測一個或多個臉部的模板。在步驟S8中，詳細信息獲取器28訪問字典存儲單元27，並且讀取與從對象檢測 器26接收的模板相關聯的信息。例如，這樣的信息可包括性別和年齡信息。另外，基於來 自對象檢測器26的臉部區域信息，詳細信息獲取器28確定拍攝圖像41中的一個或多個人 臉的位置。然後，詳細信息獲取器28將詳細信息提供到狀態分析器29。例如，詳細信息可包 括讀取的性別和年齡信息，以及所確定的一個或多個人臉的位置。然後，處理前進到步驟 S12。在首先描述步驟S9到步驟Sll中的處理之後將描述步驟S12中的處理。在步驟S3中，如果控制器30基於通過攝影機21的成像獲取的拍攝圖像的數目而 確定不進行全掃描，那麼處理前進到步驟S9。換句話說，當控制器30確定進行部分掃描時， 處理前進到步驟S9。在步驟S9到步驟Sll中，從檢測區域確定單元25到詳細信息獲取器28的部件遵 循來自控制器30的指示，以藉助於部分掃描檢測由全掃描檢測到的一個或多個臉部。還獲 取了從檢測結果獲得的詳細信息。換句話說，在步驟S9中，檢測區域確定單元25基於在先前步驟S7或Sll的處理 中從對象檢測器26提供的臉部區域信息，確定部分掃描檢測區域。更具體地，例如，檢測區域確定單元25可確定部分掃描檢測區域是圖像金字塔43 內的、包含由從對象檢測器26提供的臉部區域信息表示的一個或多個臉部區域的區域。在步驟SlO中，對象檢測器26在由步驟S9中的處理確定的檢測區域中檢測臉部。 對象檢測器26通過使用用於多個各自不同面部表情中每個面部表情的相應模板(S卩，圖7B 中的豐富的樹字典)來檢測臉部。如果對象檢測器26藉助於臉部檢測處理檢測到一個或多個臉部，那麼對象檢測 器26向檢測區域確定單元25和詳細信息獲取器28提供臉部區域信息，其表示圖像金字塔 43內存在臉部的一個或多個區域。另外，對象檢測器26向詳細信息獲取器28提供用來檢測一個或多個臉部的模板。在步驟Sll中，詳細信息獲取器28訪問字典存儲單元27，並且讀取與從對象檢測 器26接收的模板相關聯的信息。例如，這樣的信息可包括面部表情(或者表示這樣的表情 的信息)。另外，基於來自對象檢測器26的臉部區域信息，詳細信息獲取器28確定拍攝圖 像41中的一個或多個人臉的位置。然後，詳細信息獲取器28將詳細信息提供到狀態分析器29。例如，詳細信息可包 括讀取的面部表情，以及所確定的一個或多個人臉的位置。然後，處理前進到步驟S12。在步驟S12中，狀態分析器29確定對於預定的多個拍攝圖像中的每個拍攝圖像， 是否已經從詳細信息獲取器28獲取了所有詳細信息。(例如，如圖IB中所示，預定的多個拍攝圖像可包括經受全掃描的一個拍攝圖像以及經受部分掃描的四個拍攝圖像。)換句話 說，狀態分析器29確定是否獲取了足夠用於分析對象的狀態的詳細信息。在步驟S12中，如果狀態分析器29確定對於預定的多個拍攝圖像，尚未從詳細信 息獲取器28獲取所有詳細信息，那麼處理返回到步驟Si，並且此後進行與以上類似的處理。相反，在步驟S12中，如果狀態分析器29確定對於預定的多個拍攝圖像，已經從詳 細信息獲取器28獲取了所有詳細信息，那麼處理前進到步驟S13。在步驟S13中，狀態分析器29基於來自詳細信息獲取器28的多個詳細信息，分析 對象的狀態(例如，外形)，並且輸出分析結果。隨後，處理返回到步驟Si，並且此後進行與 以上類似的處理。這裡，例如，當圖像處理設備1通過用戶操作斷電時，可終止第一對象檢測處理。 可類似地終止在下文中將描述的第二和第三對象檢測處理(見圖14和18)。如上所述，當根據第一對象檢測處理來進行全掃描時，檢測區域確定單元25使用 攝影機21的方位作為用於確定檢測區域的基礎。確定檢測區域是來自圖像金字塔43中的 區域當中的預先規定的區域。另外，當進行部分掃描時，檢測區域確定單元25確定檢測區域是包含有在先前掃 描中檢測到的臉部區域的區域。全掃描比部分掃描更多地依賴處理器，並且因此，在第一對象檢測處理的步驟S7 中，使用簡單的字典。例如，與使用豐富的樹字典相比，使用簡單的字典更少地依賴處理器。 此外，以每若干幀一次的頻率進行全掃描。同時，當進行部分掃描時，在步驟SlO中使用豐富的樹字典。例如，雖然與使用簡 單的字典相比，使用豐富的樹字典更多地依賴處理器，但是對豐富的樹字典的使用使得實 現了從多個角度對臉部的自由跟蹤。因此，與對於每幀都將檢測區域設置為圖像金字塔43中所有區域的情況相比，根 據第一對象檢測處理，有可能更快且更準確、並且利用更少的計算來檢測對象。在這裡的第一實施例中，攝影機21被描述為根據來自控制器30的指示在方位上 變化。然而，應該明白的是，被實現為攝影機21的攝影機還可以是靜止攝影機，其方位被固 定在給定方向上。在這種情況下，可從配置中省略加速度傳感器23和攝影機位置估計器24。然後， 檢測區域確定單元25可通過如下兩種方法之一來確定全掃描檢測區域用於攝影機21的 方位被固定在特定但是未被確定的方向上的情況的檢測區域確定方法；以及用於攝影機 21的方位被固定在已經確定了的特定方向上的情況的檢測區域確定方法(見圖5A和5B)。另外，當進行全掃描時，檢測區域確定單元25這裡被配置成基於來自攝影機位置 估計器24的估計結果，確定全掃描檢測區域。然而，例如，檢測區域確定單元25還可確定 檢測區域是其它區域，諸如由用戶預設的區域。當進行全掃描時，檢測區域確定單元25還有可能不管攝影機21的方位而確定全 掃描檢測區域。檢測區域的示例性確定圖9示出了不管攝影機21的方位而確定全掃描檢測區域的一個示例。
如圖9中所示，檢測區域確定單元25首先從圖像金字塔43中取得使用在0. 8倍 與ι. O倍之間(包括0. 8倍和1. 0倍在內)的縮小係數來縮放過的一個或多個金字塔圖像。 然後，檢測區域確定單元25將那些金字塔圖像細分成多個區域(例如，四個)，並且每次進 行全掃描時，相繼地將那些區域設置作為檢測區域。更具體地，例如，檢測區域確定單元25可將金字塔圖像43-3和43_4細分成四個 區域81a到81d。隨後，每次進行全掃描時，檢測區域確定單元25按如下順序設置檢測區 域區域81a、區域81b、區域81c、區域81d、區域81a等。另外，如圖9中所示，檢測區域確定單元25還從圖像金字塔43中取得使用等於或 大於0. 51倍但小於0. 8倍的係數來縮放過的一個或多個金字塔圖像。然後，檢測區域確定 單元25將那些金字塔圖像細分成多個區域(例如，兩個)，並且每次進行全掃描時，相繼地 將那些區域設置作為檢測區域。更具體地，例如，檢測區域確定單元25可將金字塔圖像43-2細分成兩個區域82a 和82b。隨後，每次進行全掃描時，檢測區域確定單元25按如下順序設置檢測區域區域 82a、區域82b、區域82a等。另外，如圖9所示，檢測區域確定單元25還從圖像金字塔43中取得使用等於或大 於0倍但小於0.51倍的係數來縮放的一個或多個金字塔圖像。然後，檢測區域確定單元25 將那些金字塔圖像的全部區域設置作為檢測區域。更具體地，每次進行全掃描時，檢測區域確定單元25可將金字塔圖像43-1內的整 個區域設置作為檢測區域。根據參照圖9描述的檢測區域確定方法，可以不管攝影機21的方位而確定檢測區 域。在這種情況下，可以省略第一對象檢測處理的步驟S4(檢測在攝影機21中產生的加速 度)和步驟S5(估計攝影機21的方位)中的處理。為此，變得有可能更快地執行對象檢測處理。這裡，例如，作為用戶在攝影機21前執行經識別的手勢或類似操作的結果，也可 啟用從拍攝圖像41中檢測一個或多個對象的圖像處理設備1。在這樣的情況下，用戶通常在離攝影機21較近距離處執行手勢操作。因此，在多 數情況下，更接近攝影機21的對象是用於檢測的更重要對象。因此，根據參照圖9描述的檢測區域確定方法，根據要檢測的對象的重要性(即， 根據對象靠近攝影機21的程度)來增大圖像金字塔43內檢測區域的尺寸。為此，變得有 可能更快地執行對象檢測處理，同時還減少對重要對象的錯誤檢測或未檢測。在參照圖9描述的檢測區域確定方法中，圖像金字塔43中的金字塔圖像被細分成 多個區域(諸如區域81a到81d)，然後這些區域按預定順序被設置作為全掃描檢測區域。 然而，應該明白的是，本發明不限於以上描述。換句話說，例如，圖像金字塔43中的金字塔圖像可被細分成多個區域，並且可根 據在該區域中存在對象的概率來改變這些區域中每個區域被設置作為檢測區域的頻率。在 這種情況下，與將圖像金字塔43中的金字塔圖像細分成多個區域並且隨後按預定順序將 那些區域中的每個區域設置作為檢測區域的情況相比，變得有可能提高檢測到對象的概率。這裡，可基於包括在由詳細信息獲取器28獲取的詳細信息中的、拍攝圖像中臉部
17的位置(或者表示這樣的位置的信息)，計算在給定區域中存在對象的概率。在第一實施例中，基於攝影機21的方位，確定檢測區域。然而，還可按其它方式確 定檢測區域。例如，可在拍攝圖像41內檢測運動體(即，運動的人或物體)，並且隨後可基 於拍攝圖像41中運動體的位置，確定檢測區域。3.第二實施例圖像處理設備101的示例性配置圖10示出了根據第二實施例的圖像處理設備101的示例性配置。圖像處理設備 101被配置成在拍攝圖像41內檢測運動體(即，運動的人或物體)，並且隨後基於該運動 體在拍攝圖像41中的位置，確定檢測區域。這裡，圖10中與圖2中示出的第一實施例對應的部分被給予相同附圖標記，並且 可在下文中省略對這樣的部分的進一步描述。因此，圖像處理設備101新配備有運動體檢測器121和背景更新單元122。另外， 由檢測區域確定單元123、狀態分析器124以及控制器125分別替換了檢測區域確定單元 25、狀態分析器29以及控制器30。在其它方面，第二實施例被配置成與第一實施例類似。運動體檢測器121被分別提供了如下圖像和信息從攝影機21提供的拍攝圖像 41 ；從對象檢測器26提供的、用於緊接在前的幀中的拍攝圖像的臉部區域信息；以及從背 景更新單元122提供的、僅示出背景並且其中沒有出現對象的背景圖像。基於來自攝影機21的拍攝圖像41、來自對象檢測器26的臉部區域信息以及來自 背景更新單元122的背景圖像，運動體檢測器121在來自攝影機21的拍攝圖像41中檢測 運動體。換句話說，例如，運動體檢測器121可進行背景差分處理。在背景差分處理中，運 動體檢測器121在參考來自對象檢測器26的臉部區域信息的同時，基於來自攝影機21的 拍攝圖像41與來自背景更新單元122的背景圖像之間的絕對差，檢測運動體。稍後將參照 圖IlA到IlC描述該背景差分處理。除了上述背景差分處理之外，幀間差分或類似處理還可被實現為用於檢測運動體 的方法。在幀間差分處理中，基於來自相鄰幀的兩個不同拍攝圖像41之間的絕對差，檢測 運動體。示例性背景差分處理現在將參照圖IlA到IlC描述由運動體檢測器121進行的背景差分處理。圖IlA中示出的拍攝圖像41表示在給定時間獲取的拍攝圖像。圖IlB中示出的 拍攝圖像41表示在圖IlA中示出的拍攝圖像41之前一幀的拍攝圖像。圖IlC中示出的拍 攝圖像41表示在圖IlB中示出的拍攝圖像41之前一幀的拍攝圖像。運動體檢測器121計算拍攝圖像41和背景圖像中的相應像素的像素值中的絕對 差值。如果計算的絕對差值等於或超過用於檢測運動體出現的運動體門限值，那麼運動體 檢測器121檢測滿足門限值的相應區域作為運動體區域。更具體地，如在圖IlA中作為示例所示，針對對象鄰近區域141，運動體檢測器121 可使用相對小的運動體門限值來進行背景差分處理。對象鄰近區域141是拍攝圖像41內 的區域，其包含由從對象檢測器26提供的臉部區域信息表示的臉部區域。因為在對象鄰近區域141中將很可能存在運動體，因此在此使用小的運動體門限值。例如，如同在圖IlA到IlC中示出的運動，使用小的運動體門限值使得有可能檢測到運 動體的微小運動。另外，對象鄰近區域141中的運動體門限值隨時間逐漸增大。這是因為在對象鄰 近區域141中存在運動體的概率隨時間降低。此外，如在圖IlA到IlC中作為示例所示，針對拍攝圖像41內除了對象鄰近區域 141之外的所有區域，運動體檢測器121還可使用相對大的運動體門限值來進行背景差分 處理。為了避免由於噪聲或其它因素而對運動體的錯誤檢測，可進行這樣的背景差分處理。運動體檢測器121向背景更新單元122、檢測區域確定單元123以及狀態分析器 124提供運動體區域信息，其表示在拍攝圖像41的圖像區域內其中存在檢測到的運動體的 運動體區域。現在返回到圖10，背景更新單元122被提供了來自運動體檢測器121的運動體區 域信息。另外，背景更新單元122被提供了來自攝影機21的拍攝圖像41，以及來自對象檢 測器26的臉部區域信息。基於來自對象檢測器26的臉部區域信息和來自運動體檢測器121的運動體區域 信息，背景更新單元122確定來自攝影機21的拍攝圖像41中的哪些區域是關於圖像的背 景部分的區域(即，背景區域)，以及哪些區域是關於除了背景部分之外的部分的區域(例 如，諸如捕獲臉部或運動體的區域)。然後，背景更新單元122進行背景更新處理。在背景更新處理中，背景更新單元 122通過使用各自不同的比率執行背景區域和非背景區域的加權相加來更新背景圖像。背景更新處理的說明現在將參照圖12描述由背景更新單元122進行的、更新背景圖像的背景更新處理。如同在圖12中作為示例示出的那樣，背景更新單元122可被提供來自攝影機21 的拍攝圖像41。在該示例中，拍攝圖像41由其中顯示桌子161a和遙控器161b的背景區域 161以及其中顯示人的區域162構成。如在圖12中作為示例所示，背景更新單元122可將顯示桌子161a的背景圖像181 相加到來自攝影機的拍攝圖像41。通過這樣做，背景更新單元122獲取了更新的背景圖像 182，其中，除桌子161a之外，還顯示遙控器161b。換句話說，基於來自對象檢測器26的臉部區域信息和來自運動體檢測器121的運 動體區域信息，背景更新單元122可確定拍攝圖像41內的哪個區域是背景區域161，以及哪 個區域是非背景區域162 (即，人或運動體被作為對象顯示的區域)。背景更新單元122將比較大的權重施加到構成來自攝影機21的拍攝圖像41中背 景區域161的像素的像素值，同時將比較小的權重施加到構成背景圖像181中與背景區域 161對應的區域部分的像素的像素值。另外，背景更新單元122將比較小的權重施加到構成來自攝影機21的拍攝圖像41 中非背景區域162的像素的像素值，同時將比較大的權重施加到構成背景圖像181中與區 域162對應的區域部分的像素的像素值。隨後，背景更新單元122將通過加權新獲得的相應像素值一起相加，並且將作為 結果獲得的像素值設置作為新背景圖像181的像素值。
背景更新單元122還可被配置成不將來自攝影機21的拍攝圖像41中的非背景區 域162和背景圖像181中與區域162對應的區域部分相加。在此，將比較大的加權施加到拍攝圖像41上的背景區域161，使得在新背景圖像 182中更多地反映構成新背景的背景區域161。另外，為了防止在新背景圖像181中顯著地反映非背景區域162(其不應該成為背 景的部分)，將比較小的加權施加到非背景區域162，並且和在背景圖像181中與區域162 對應的區域部分一起相加。這類似於不將非背景區域162和在背景圖像181中與區域162對應的區域部分一 起相加的情況。此外，背景更新單元122使用來自攝影機21的新拍攝圖像41和由當前背景更新 處理獲得的新背景圖像181再一次進行背景更新處理。以該方式，通過重複背景更新處 理，背景更新單元122最終獲得更新的背景圖像182，其中，除桌子161a之外還顯示遙控器 161b。現在返回到圖10，當進行全掃描時，檢測區域確定單元123基於至少以下之一來 確定全掃描檢測區域來自攝影機位置估計器24的估計結果；或者來自運動體檢測器121 的運動體區域信息。換句話說，檢測區域確定單元123可使用來自運動體檢測器121的運動體區域信 息來確定圖像金字塔43內的檢測區域。稍後將參照圖13詳細描述用於將運動體區域設置 作為檢測區域的處理。作為另一個示例，與第一實施例類似，檢測區域確定單元123還可被配置成基於 從攝影機位置估計器24提供的關於攝影機21的方位的估計結果來確定檢測區域。作為另一個示例，檢測區域確定單元123還有可能首先基於來自攝影機位置估計 器24的估計結果來確定檢測區域，並且還基於來自運動體檢測器121的運動體區域信息來 確定檢測區域。然後，檢測區域確定單元123可確定最終檢測區域是來自以上確定的區域 的組合區域部分。當進行部分掃描時，與第一實施例類似，檢測區域確定單元123可基於從對象檢 測器26提供的如下臉部區域信息來確定部分掃描檢測區域該臉部區域信息是用於在經 受部分掃描的拍攝圖像之前一幀的拍攝圖像的。基於運動體區域的檢測區域的示例性確定圖13示出了如下處理的細節憑藉該處理，檢測區域確定單元123基於來自運動 體檢測器121的運動體區域信息，確定部分掃描檢測區域。如在圖13的左側上所示，檢測區域確定單元123確定檢測區域是由來自運動體檢 測器121的運動體區域信息表示的運動體區域201。然後，檢測區域確定單元123向對象檢 測器26提供表示所確定的檢測區域的檢測區域信息。如在圖13的右側上所示，作為以上的結果，對象檢測器26使用從檢測區域確定單 元123提供的檢測區域信息作為用於進行臉部檢測處理的基礎，其中，金字塔圖像43-1到 43-4中的各個運動體區域201被設置作為檢測區域。現在返回到圖10，狀態分析器124基於來自詳細信息獲取器28的詳細信息，分析 對象的狀態，並且隨後輸出分析結果。另外，在分析對象的狀態的處理佔用大量時間的情況下，狀態分析器124還在輸出分析結果之前，輸出來自運動體檢測器121的運動體區域信
肩、ο通過這樣做，可以更快地識別對象已經運動了的可能性。例如，考慮狀態識別設備 (諸如稍後將描述的圖22中的顯示控制設備321)連接到圖像處理設備101的情況。狀態 識別設備基於來自狀態分析器124的結果，識別對象的狀態。在這種情況下，狀態識別設備 能使用在分析結果之前從狀態分析器124提供的運動體區域信息，來更快地識別對象已經 運動了的可能性。控制器125對從攝影機21到攝影機位置估計器24的部件、從對象檢測器26到詳 細信息獲取器28的部件、以及從運動體檢測器121到狀態分析器124的部件進行控制。從 由攝影機21獲取的拍攝圖像當中，控制器125使得以每若干幀一幀的頻率進行全掃描，同 時還使得針對剩餘幀進行部分掃描。第二對象檢查處理的操作現在，圖14中的流程圖將用來詳細描述由圖像處理設備101進行的第二對象檢測處理。在步驟S31和S32中，進行與圖8中的步驟Sl和S2的處理類似的處理。在步驟S33中，控制器125確定是否進行全掃描。基於通過攝影機21的成像已經 獲取的拍攝圖像的數目，做出該確定。如果控制器125基於通過攝影機21的成像獲取的拍 攝圖像的數目，確定不進行全掃描，那麼處理前進到步驟S41。換句話說，當控制器125確定 進行部分掃描時，處理前進到步驟S41。在步驟S41到S43中，進行與圖8中的步驟S9到Sll的處理類似的處理。同時，如果控制器125基於通過攝影機21的成像獲取的拍攝圖像的數目，確定進 行全掃描，那麼處理前進到步驟S34。在步驟S34和S35中，進行與圖8中的步驟S4和S5的處理類似的處理。在步驟S36中，如圖11中所示，運動體檢測器121基於來自對象檢測器26的臉部 區域信息、來自攝影機21的拍攝圖像41以及來自背景更新單元122的背景圖像，檢測來自 攝影機21的拍攝圖像41中的運動體。在步驟S37中，背景更新單元122如圖12中所示，使用來自對象檢測器26的臉部 區域信息以及來自運動體檢測器121的運動體區域信息作為基礎，用於確定來自攝影機21 的拍攝圖像41中哪些區域與用於背景部分的背景區域161對應，以及哪些區域與用於除了 背景部分之外的所有部分的區域162對應。隨後，背景更新單元122進行背景更新處理。換句話說，背景更新單元122通過使 用各自不同的比率執行背景區域161和非背景區域162的加權相加，來根據背景圖像181 獲取更新的背景圖像182。在步驟S38中，檢測區域確定單元123如圖13中所示可例如確定全掃描檢測區域 是由從運動體檢測器121提供的運動體區域信息表示的運動體區域201。作為另一個示例，檢測區域確定單元123還可被配置成首先基於來自攝影機位置 估計器24的估計結果來確定檢測區域，並且還基於來自運動體檢測器121的運動體區域信 息來確定檢測區域。然後，檢測區域確定單元123可確定最終的檢測區域是來自以上確定 的區域的組合區域部分。
21
在步驟S39、S40以及S44中，分別進行與圖8中的步驟S7、S8以及S12的處理類 似的處理。在步驟S45中，狀態分析器124基於來自詳細信息獲取器28的詳細信息，分析對 象的狀態，並且隨後輸出分析結果。另外，在分析對象的狀態的處理佔用大量時間的情況 下，狀態分析器124還在輸出分析結果之前，輸出來自運動體檢測器121的運動體區域信 肩、ο一旦已經完成了步驟S45中的處理，處理返回到步驟S31，並且此後進行與以上類 似的處理。如上所述，根據第二對象檢測處理，例如，當進行全掃描時，檢測區域確定單元123 可確定檢測區域是拍攝圖像41內的運動體區域。因此，根據第二對象檢測處理，與對於每幀將圖像金字塔43內的整個圖像區域設 置作為檢測區域的情況相比，有可能更快地並且利用更少計算來檢測對象。在幀間差分處理中改變運動體門限值的示例同時，如前面所述，幀間差分處理可替代背景差分處理被實現為運動體檢測器121 藉以檢測運動體的方法。由於控制器125上的負載或者其它因素，從攝影機21提供到運動體檢測器121的 拍攝圖像的幀速率可能變化。在這樣的情況下，如果在幀間差分處理中使用固定運動體門 限值而不考慮幀速率變化，則可能出現錯誤檢測運動體的某些運動的情況。換句話說，在由於幀速率的變化而幀速率增大的情況下(即，在相鄰幀之間的成 像間隔變得更短的情況下)，在相鄰幀之間產生的運動體的運動變得比較小。為此，如果使 用固定運動體門限值，那麼可能檢測不到運動體的微小運動。作為另一個示例，在由於幀速率的變化而幀速率降低的情況下(即，在相鄰幀之 間的成像間隔變得更長的情況下)，沒有被視為運動體的靜止體的運動變得比較大。為此， 如果使用固定運動體門限值，那麼靜止體的較大運動可能被錯誤檢測為運動體的運動。因此，在從攝影機21提供到運動體檢測器121的拍攝圖像的幀速率中存在變化 時，優選地是，根據幀速率中的變化來適當地改變運動體門限值。圖15示出了如何根據幀速率來改變運動體門限值的一個示例。在圖15中，水平軸表示相鄰幀之間的時間At，同時垂直軸表示運動體門限值。在時間At短的情況下(即，在幀速率高的情況下)，相鄰幀之間顯示的運動體的 運動變得小。相反，在時間At長的情況下(S卩，在幀速率低的情況下)，相鄰幀之間顯示的 運動體的運動變得大。因此，如圖15中所示，由於在時間At短的情況下幀之間的運動體的運動變得更 小，因此運動體檢測器121降低運動體門限值。隨著時間At變得更長，幀之間的運動體的 運動變得更大，並且因此運動體檢測器121增大運動體門限值。通過這樣做，即使當幀速率變化時，也有可能檢測到運動體的某些運動而不錯誤 檢測靜止體。這裡，第二實施例被配置為使得基於至少以下之一來確定全掃描檢測區域來自 攝影機位置估計器24的估計結果(S卩，攝影機21的方位)，或者拍攝圖像41內的運動體區 域。然而，應該明白的是，有可能以除了以上之外的方式配置第二實施例以確定檢測區域。例如，可通過查閱表示從攝影機21到成像目標(除要檢測的對象之外，深度映射還可包括 關於不作為檢測目標的物體的信息)的距離的深度映射(見下文中將描述的圖17)，來確定 檢測區域。4.第三實施例圖16示出了根據第三實施例的圖像處理設備221的示例性配置。圖像處理設備 221被配置成通過查閱表示從攝影機21到成像目標的距離的深度映射來確定全掃描檢測 區域。這裡，與圖10中示出的第二實施例對應的圖16中的部分被給予相同附圖標記，並 且可在下文中省略對這樣的部分的進一步描述。因此，根據第三實施例的圖像處理設備221新配備有距離檢測器241。另外，由檢 測區域確定單元242和控制器243分別替換了檢測區域確定單元123和控制器125。在其 它方面，第三實施例被配置成與第二實施例類似。例如，距離檢測器241包括諸如雷射測距儀的部件。藉助於雷射測距儀，距離檢測 器241朝成像目標照射雷射，並且檢測作為雷射照明成像目標並被反射回來的結果而獲得 的反射光。隨後，距離檢測器241測量當朝成像目標照射雷射時與當檢測到反射光時之間 的時間量。基於所測量的時間量和雷射的速度，計算從距離檢測器241 ( S卩，圖像處理設備 221)到成像目標的距離。然後，距離檢測器241向檢測區域確定單元242提供距離信息，其將所計算的距離 與成像目標中的位置相關聯。應該明白的是，距離檢測器241可被配置成以除了以上之外的方式計算到成像目 標的距離。例如，可使用涉及多個攝影機的立體聲方法，其中，多個攝影機當中的視差用於 計算到成像目標的距離。基於來自距離檢測器241的距離信息，檢測區域確定單元242生成深度映射，其表 示到在拍攝圖像41中顯示的成像目標的距離。隨後，例如，檢測區域確定單元242基於所生成的深度映射，確定用於金字塔圖像 43-1到43-4的各個檢測區域。稍後將參照圖17詳細描述用於基於深度映射來確定檢測區 域的方法。這裡，檢測區域確定單元242生成深度映射，並且隨後基於所生成的深度映射，確 定檢測區域。除以上之外，然而，檢測區域確定單元242有可能基於至少以下之一來確定檢 測區域來自攝影機位置估計器24的估計結果，來自運動體檢測器121的運動體區域信息， 或者所生成的深度映射。作為更具體的示例，檢測區域確定單元242有可能首先基於來自攝影機位置估計 器24的估計結果來確定檢測區域，並且基於來自運動體檢測器121的運動體區域信息來確 定檢測區域。然後，檢測區域確定單元242可確定最終檢測區域是來自至少一個以上檢測 區域以及基於生成的深度映射來確定的檢測區域的組合區域部分。基於深度映射的檢測區域的示例性確定圖17示出了如下處理的細節憑藉該處理，檢測區域確定單元242基於使用來自 距離檢測器241的距離信息生成的深度映射，確定全掃描檢測區域。如在圖17的左側所示，檢測區域確定單元242基於來自距離檢測器241的距離信息，生成深度映射。在圖17的左側上示出了深度映射中的若干區域。區域261-1表示從攝影機21到 在空間範圍Dl內存在的成像目標的部分的距離(即，區域261-1是其中顯示在空間範圍Dl 內存在的成像目標的部分的區域)。區域261-2表示從攝影機21到在空間範圍D2內存在 的成像目標的部分的距離(即，區域261-2是其中顯示在空間範圍D2內存在的成像目標的 部分的區域)。區域261-3表示從攝影機21到在空間範圍D3內存在的成像目標的部分的距離 (即，區域261-3是其中顯示在空間範圍D3內存在的成像目標的部分的區域)。區域261-4 表示從攝影機21到在空間範圍D4內存在的成像目標的部分的距離(即，區域261-4是其 中顯示在空間範圍D4內存在的成像目標的部分的區域)。如在圖17的右側所示，檢測區域確定單元242確定所生成的深度映射中的區域 261-1是用於金字塔圖像43-1的檢測區域。該檢測區域將用於檢測在空間範圍Dl內存在 的一個或多個人的臉部。另外，檢測區域確定單元242確定所生成的深度映射中的區域261-2是用於金字 塔圖像43-2的檢測區域。該檢測區域將用於檢測在空間範圍D2內存在的一個或多個人的 臉部。檢測區域確定單元242確定所生成的深度映射中的區域261-3是用於金字塔圖像 43-3的檢測區域。該檢測區域將用於檢測在空間範圍D3內存在的一個或多個人的臉部。檢測區域確定單元242確定所生成的深度映射中的區域261-4是用於金字塔圖像 43-4的檢測區域。該檢測區域將用於檢測在空間範圍D4內存在的一個或多個人的臉部。然後，檢測區域確定單元242向對象檢測器26提供檢測區域信息，其表示確定的 檢測區域。控制器243對從攝影機21到攝影機位置估計器24的部件、從對象檢測器26到詳 細信息獲取器28的部件、以及運動體檢測器121、背景更新單元122、狀態分析器124、距離 檢測器241以及檢測區域確定單元242進行控制。從由攝影機21獲取的拍攝圖像當中，控 制器243使得以每若干幀一幀的頻率進行全掃描，同時還使得針對剩餘幀進行部分掃描。第三對象檢測處理的操作現在將參照圖18中的流程圖描述由圖像處理設備221進行的第三對象檢測處理。在步驟S61和S62中，進行與圖14中的步驟S31和S32的處理類似的處理。在步驟S63中，控制器243確定是否進行全掃描。基於通過攝影機21的成像已經 獲取的拍攝圖像的數目，做出該確定。如果控制器243基於通過攝影機21的成像獲取的拍 攝圖像的數目，確定不進行全掃描，那麼處理前進到步驟S72。換句話說，當控制器243確定 進行部分掃描時，處理前進到步驟S72。在步驟S72到S74中，進行與圖14中的步驟S41到S43的處理類似的處理。同時，如果在步驟S63中控制器243基於通過攝影機21的成像已經獲取的拍攝圖 像的數目，確定進行全掃描，那麼處理前進到步驟S64。在步驟S64到S67中，進行與圖14中的步驟S34到S37的處理類似的處理。在步驟S68中，距離檢測器241朝圖像目標照射雷射，並且檢測作為雷射照明成像 目標並被反射回來的結果獲得的反射光。隨後，距離檢測器241測量當朝成像目標照射雷射時與當檢測到反射光時之間的時間量。基於所測量的時間量和雷射的速度，計算從距離 檢測器241 ( S卩，圖像處理設備221)到成像目標的距離。然後，距離檢測器241向檢測區域確定單元242提供距離信息，距離信息將所計算 的距離與成像目標中的位置相關聯。在步驟S69中，檢測區域確定單元242基於來自距離檢測器241的距離信息，生成 深度映射。深度映射表示到在拍攝圖像41中顯示的一個或多個對象的距離。隨後，檢測區域確定單元242使用生成的深度映射作為用於確定用於金字塔圖像 43-1到43-4的各個檢測區域的基礎。然後，檢測區域確定單元242向對象檢測器26提供 檢測區域信息，檢測區域信息表示所確定的檢測區域。如前面所述，應該明白的是，除深度映射之外，檢測區域確定單元242還有可能基 於諸如來自運動體檢測器121的運動體區域信息和來自攝影機位置估計器24的估計結果 的信息，確定檢測區域。在步驟S70、S71、S75以及S76中，分別進行與圖14中的步驟S39、S40、S44以及 S45的處理類似的處理。如上所述，根據第三對象檢測處理，當進行全掃描時，檢測區域確定單元242可確 定檢測區域是來自圖像金字塔43中的區域當中的特定區域。基於表示到成像目標的距離 的深度映射，做出該確定。因此，根據第三對象檢測處理，與對於每幀將圖像金字塔43內的整個圖像區域設 置作為檢測區域的情況相比，變得有可能更快並且利用更少計算來檢測對象。5.修改第一到第三實施例被配置為使得當進行全掃描時，對象檢測器26檢測在用於所 有金字塔圖像43-1到43-4的各個檢測區域中存在的臉部。然而，在第一到第三實施例中，更接近圖像處理設備1(或101或221)的對象是更 重要的用於檢測的對象。通過考慮該因素，實施例還可被配置成按43-1、43-2、43-3、43-4 的順序從各金字塔圖像中檢測一個或多個人臉(即，按D1、D2、D3、D4的順序從各空間範圍 中檢測一個或多個人臉)。一旦檢測到的臉部的數目符合或超過預定數目，則可終止處理。在這種情況下，變得有可能縮短處理時間，同時依然使得實現對用於檢測的重要 的人臉的檢測。另外，在第一到第三實施例中，對象檢測器26被配置成在被設置作為檢測區域的 全部一個或多個區域中檢測一個或多個臉部。然而，如果存在已經檢測到一個或多個臉部 的區域，那麼可從檢測區域中移除那些區域，並且可確定最終檢測區域是在這樣的移除之 後剩餘的區域。作為示例，考慮在圖20中示出的情況，其中，在用於金字塔圖像43-1的檢測區域 中已經檢測到了臉部區域281 (在這種情況下，檢測區域是整個金字塔圖像43-1)。在這種 情況下，從用於金字塔圖像43-2的檢測區域中移除臉部區域281 (在這種情況下，移除之前 的檢測區域是整個金字塔圖像43-2)。有可能配置實施例使得，如果在金字塔圖像43-2中隨後檢測到另一個臉部區域 282，那麼從用於金字塔圖像43-3的檢測區域中移除臉部區域281和臉部區域282 (在這種 情況下，移除之前的檢測區域是整個金字塔圖像43-3)。同樣，從用於金字塔圖像43-4的檢測區域中移除臉部區域281和臉部區域282 (在這種情況下，移除之前的檢測區域是整個金 字塔圖像43-4)。另外，在第一到第三實施例中，對象檢測器26被配置為使得對於每個拍攝圖像， 對象檢測器26相繼地聚焦於構成與當前拍攝圖像對應的圖像金字塔43內的檢測區域的多 個像素。然後，對象檢測器26通過取得總共包含四個像素的正方形區域(其中，當前聚焦 像素被設置作為左上角像素)來提取比較區域。然後，對象檢測器26對提取的比較區域和 模板進行比較，並且基於比較結果，進行臉部檢測。然而，例如，對象檢測器26還可針對圖像金字塔43僅聚焦於1/4的像素，並且因 此將所提取的比較區域的數目減少到1/4。這樣做，有可能縮短在臉部檢測中佔用的處理時 間。現在，圖21A到21D將用於描述用於從圖像金字塔43提取正方形比較區域(用於 與模板比較)的方法的一個示例。在圖21A中示出的檢測區域301示出了用於在給定時間進行的第一全掃描的檢測 區域。在圖21B中示出的檢測區域302示出了用於在第一全掃描之後緊接著進行的第二全 掃描的檢測區域。在圖21C中示出的檢測區域303示出了用於在第二全掃描之後緊接著進行的第三 全掃描的檢測區域。在圖21D中示出的檢測區域304示出了用於在第三全掃描之後緊接著 進行的第四全掃描的檢測區域。作為示例，在第一全掃描期間，對象檢測器26可相繼地將聚焦像素設置為構成圖 像金字塔43中檢測區域301(見圖21A)的多個像素當中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區域，其中，每個相繼的聚 焦像素分別被設置作為左上角像素。然後，對象檢測器26對所提取的比較區域和模板進行 比較，並且基於比較結果，進行臉部檢測。作為另一個示例，在第二全掃描期間，對象檢測器26可相繼地將聚焦像素設置為 構成圖像金字塔43中檢測區域302(見圖21B)的多個像素當中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區域，其中，每個相繼的聚 焦像素分別被設置作為左上角像素。對象檢測器26對所提取的比較區域和模板進行比較， 並且基於比較結果，進行臉部檢測。作為另一個示例，在第三全掃描期間，對象檢測器26可相繼地將聚焦像素設置為 構成圖像金字塔43中檢測區域303 (見圖21C)的多個像素當中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區域，其中，每個相繼的聚 焦像素分別被設置作為左上角像素。對象檢測器26對所提取的比較區域和模板進行比較， 並且基於比較結果，進行臉部檢測。作為另一個示例，在第四全掃描期間，對象檢測器26可相繼地將聚焦像素設置為 構成圖像金字塔43中檢測區域304(見圖21D)的多個像素當中以白色示出的像素之一。對象檢測器26還提取總共包含四個像素的正方形比較區域，其中，每個相繼的聚 焦像素分別被設置作為左上角像素。然後，對象檢測器26對提取的比較區域和模板進行比 較，並且基於比較結果，進行臉部檢測。通過這樣做，與當構成檢測區域的所有像素被設置作為聚焦像素時的情況相比，被設置作為聚焦像素的像素的數目可以被設置為1/4。為此，所提取的比較區域的數目也變 成1/4，因此使得有可能縮短處理時間。另外，根據在圖21中示出的比較區域提取方法，雖然分別從檢測區域301到304 提取的比較區域的數目變成1/4，但是檢測區域自身的尺寸沒有減少到1/4，反而保持相 同。為此，有可能防止作為比較區域的數目降低到1/4的結果，臉部檢測率也下降到1/4。應該明白的是，在圖21中示出的比較區域提取方法還可以被應用到部分掃描檢 測區域。另外，用於確定檢測區域的方法不限於在第一到第三實施例中描述的檢測區域確 定方法。任一在前描述的多個確定方法可用於確定檢測區域。替選地，多個確定方法中的 至少兩個或多個可用來分別確定檢測區域。然後，可確定最終檢測區域是來自以上所確定 的區域的組合區域。在第一實施例中，圖像處理設備1被描述為內置攝影機21和加速度傳感器23。然 而，除此配置之外，攝影機21和加速度傳感器23可與圖像處理設備1分離配置，並且不被 內置在圖像處理設備1中。類似推理也可被應用到第二和第三實施例。在第三實施例中，圖像處理設備221被描述為內置距離檢測器241。然而，除此配 置之外，距離檢測器241可與圖像處理設備221分離配置，並且不被內置在圖像處理設備 221 中。雖然第一對象檢測處理被配置為使得當進行全掃描時不進行部分掃描，但是第一 對象檢測處理不限於此。換句話說，例如，第一對象檢測處理還可被配置為使得當進行全掃 描時還進行部分掃描。在這種情況下，在第一對象檢測處理中將進行更多的部分掃描。結果，詳細信息獲 取器28將能獲取更多數量的詳細信息，同時狀態分析器29將能基於所獲取的詳細信息，更 詳細地分析對象的狀態。類似推理也可被應用到第二和第三對象檢測處理。6.第四實施例圖22示出了顯示控制設備321的示例性配置。顯示控制設備321包括圖像處理 器342，圖像處理器342進行與圖像處理設備1、101或221的處理類似的處理。顯示控制設備321連接到如下器件由多個攝影機構成的攝影機組322 ；輸出音 頻的一個或多個揚聲器323 ；由諸如加速度傳感器、角速度傳感器、雷射測距儀的多個傳感 器構成的傳感器組324 ；顯示電視節目或其它內容的顯示器325 ；以及存儲由顯示控制設備 321收集的信息的信息收集伺服器326。顯示控制設備321設置有圖像輸入單元341、圖像處理器342、觀眾狀態分析器 343、觀眾狀態存儲單元344、系統最優化處理器345以及系統控制器346。圖像輸入單元341將拍攝圖像從攝影機組322提供(輸入)到圖像處理器342。圖像處理器342被提供來自圖像輸入單元341的拍攝圖像，同時還被提供來自傳 感器組324的各種信息。例如，圖像處理設備342還接收由加速度傳感器檢測到的加速度、 由角速度傳感器檢測到的角速度以及由雷射測距儀檢測到的到成像目標的距離。基於從傳感器組324提供的加速度、角速度或者到成像目標的距離、以及從圖像 輸入單元341提供的拍攝圖像，圖像處理器342進行與前面描述的第一到第三對象檢測處 理的處理類似的處理。然後，圖像處理器342向觀眾狀態分析器343提供關於一個或多個對象的狀態得到的分析結果。基於來自圖像處理器342的分析結果，觀眾狀態分析器343分析觀看在顯示器325 上顯示的圖像(即，電視節目)的一個或多個用戶(即，對象)的注意力。然後，觀眾狀態 分析器343將分析結果作為識別數據信息提供到觀眾狀態存儲單元344和系統最優化處理 器 345。經由諸如網際網路或區域網(LAN)的網絡，觀眾狀態存儲單元344在信息收集服務 器326中將從觀眾狀態分析器343提供的識別數據信息發送並存儲(即，記錄)。另外，觀 眾狀態存儲單元344經由諸如網際網路或LAN的網絡接收從信息收集伺服器326提供的識別 數據信息，並且將接收到的信息提供到系統最優化處理器345。基於從觀眾狀態分析器343或觀眾狀態存儲單元344提供的識別數據信息，系統 最優化處理器345使得系統控制器346針對一個或多個用戶的注意力進行優化控制。遵循系統最優化處理器345的指示，系統控制器346調整各種設置，諸如顯示器 325的顯示亮度；在顯示器325上顯示的節目內容；以及從一個或多個揚聲器323輸出的音
頻的音量。同時，在顯示控制設備321中，觀眾狀態分析器343被配置成基於關於從圖像處理 器342提供的一個或多個對象的狀態的分析結果，分析一個或多個用戶的注意力。因此，觀眾狀態分析器343在如下情況下將不能分析用戶注意力，直到完成了對 象狀態分析處理為止在圖像處理器342中用於分析一個或多個對象的狀態的對象狀態分 析處理佔用大量時間。在這樣的情況下，作為在對象狀態分析處理中佔用過長時間的結果，觀眾狀態分 析器343可能不能很快分析用戶注意力。因此，圖像處理器342可被配置成使得在對象狀態分析處理佔用大量時間的情況 下，如圖23中所示，在作為對象狀態分析處理的結果獲得的分析結果之前，將運動體區域 信息提供到觀眾狀態分析器343。示例性圖像處理器342圖23示出了圖像處理器342的一個示例，其在作為對象狀態分析處理的結果獲得 的分析結果之前輸出運動體區域信息。圖像處理器342與第二或第三實施例中的圖像處理設備101或221類似地配置。在圖23中，「應用」指與顯示控制設備321中的圖像輸入單元341和觀眾狀態分析 器343對應的應用。如在圖23中作為示例所示，在時刻tl處，圖像處理器342可在從圖像輸入單元 341提供的拍攝圖像中檢測運動體區域，並且確定全掃描檢測區域是檢測到的運動體區域。 隨後，圖像處理器342可在所確定的檢測區域中檢測一個或多個對象，並且基於檢測結果， 分析一個或多個對象的狀態。在時刻t3處，圖像處理器342正在將分析結果輸出到觀眾狀 態分析器343應用。在這種情況下，觀眾狀態分析器343不能分析用戶注意力，直到在時刻t3處從圖 像處理器342輸出分析結果為止。因此，圖像處理器342被配置成使得在時刻tl處從圖像輸入單元341應用提供的 拍攝圖像中檢測到了運動體區域之後，圖像處理器342在時刻t2處將表示檢測到的運動體區域的運動體區域信息輸出到觀眾狀態分析器343，其中時刻t2比時刻t3更早。通過這樣做，觀眾狀態分析器343應用變得有可能使用從圖像處理器342提供的 運動體區域信息作為用於確定用戶運動的可能性的基礎。通過利用這樣的信息作為用戶注 意力的狀態，觀眾狀態分析器343能夠更快地分析對象狀態。如果圖像處理器342包括與根據第一實施例的圖像處理設備1類似的功能，那麼 還可像在第二和第三實施例中那樣配備運動體檢測器121。此外，例如，藉助於並行處理，可加速在配備在圖像處理器342中的運動體檢測器 121中執行的檢測運動體區域的處理。通過這樣做，可以在由對象狀態分析處理輸出的分析 結果之前輸出運動體區域信息，其中，所述對象狀態分析處理在從攝影機21到狀態分析器 29 (見圖2)的部件中進行。可以在專用硬體或者在軟體中執行上述系列處理。在以軟體執行系列處理的情況 下，構成這樣軟體的程序可從記錄介質安裝到被稱為內置或嵌入式計算機上。替選地，這樣 的程序可從記錄介質安裝到作為在其上安裝各種程序的結果而能夠執行各種功能的通用 個人計算機或類似設備上。計算機的示例性配置圖24示出了藉助於程序執行上述系列處理的計算機的示例性配置。中央處理單元(CPU) 401通過遵循存儲在只讀存儲器(ROM) 402或存儲單元408中 的程序來執行各種處理。將由CPU 401執行的程序和其它數據適當地存儲在隨機存取存儲 器(RAM)403中。CPU 40UR0M402以及RAM 403經由總線404相互連接。CPU 401還通過總線404連接到輸入/輸出(I/O)接口 405。以下單元連接到I/ 0接口 405 輸入單元406，其可包括諸如鍵盤、滑鼠以及麥克風的器件；以及輸出單元407， 其可包括諸如顯示器和一個或多個揚聲器的器件。CPU 401根據從輸入單元406輸入的命 令來執行各種處理。然後，CPU 401將處理結果輸出到輸出單元407。例如，連接到I/O接口 405的存儲單元408可包括硬碟。存儲單元408存儲諸如 由CPU 401執行的程序的信息和各種數據。通信單元409經由諸如網際網路或區域網的網絡 與外部設備通信。另外，可經由通信單元409獲取並且在存儲單元408中存儲程序。驅動器410連接到I/O接口 405。諸如磁碟、光碟、磁光碟、或者半導體存儲器的可 移除介質411可被加載到驅動器410。驅動器410驅動可移動介質411，並且獲取記錄在可 移動介質411上的程序、數據、或其它信息。所獲取的程序和數據可被傳送到存儲單元408， 並且被適當地存儲。如圖24中所示，存儲被安裝在計算機上並且被計算機變成可執行狀態的程序的 記錄介質可以是封裝式介質，其以如下形式被配備作為可移動介質411 一個或多個磁碟 (包括軟盤)、光碟(包括緻密盤只讀存儲器(⑶-ROM)盤和數字多功能盤(DVD))、磁光碟 (包括小型盤(MD))或者半導體存儲器。替選地，可由暫時或永久存儲這樣程序的ROM 402、 或者由諸如構成存儲單元408的硬碟的器件實現這樣的記錄介質。視情況，可通過利用諸 如區域網、網際網路或者數字衛星廣播的有線或無線通信介質來進行將程序記錄到記錄介質 上，並且可經由構成通信單元的一個或多個路由器、數據機或者接口進行在這樣通信 介質上的任何通信。
29
表明了被記錄在記錄介質上的程序的步驟顯然可包括按遵循在本說明書中給定 的順序的時間序列進行的處理。然而，還應該明白的是，這樣的步驟還可包括並行或單獨執 行的、而沒有按嚴格時間序列被處理的處理。還應該明白的是，本發明的實施例不限於在前描述的第一到第四實施例，並且在 不脫離本發明的範圍和精神的情況下，各種修改是可能的。本申請包含與2009年9月2日向日本專利局提交的日本優先權專利申請JP 2009-202266中公開的主題內容相關的主題內容，在此通過引用將其全文合併於此。本領域的技術人員應該理解，可以在所附權利要求或其等同物的範圍內根據設計 需要或其它因素進行各種修改、組合、子組合和變更。
權利要求
1.一種圖像處理設備，其被配置成從通過成像獲取的拍攝圖像中檢測被設置作為檢測 目標的一個或多個對象，所述圖像處理設備包括生成裝置，其用於生成用來檢測所述一個或多個對象的圖像金字塔，其中，通過使用比 例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據從進行所述成像的 成像單元到要檢測的所述一個或多個對象的距離來預先設置的；確定裝置，其用於從所述圖像金字塔中的整個圖像區域當中確定用於檢測所述一個或 多個對象的一個或多個檢測區域；以及對象檢測裝置，其用於從所述一個或多個檢測區域中檢測所述一個或多個對象。
2.根據權利要求1所述的圖像處理設備，其還包括 估計裝置，其用於估計所述成像單元的方位；其中，所述確定裝置基於所估計的所述成像單元的方位，確定所述一個或多個檢測區域。
3.根據權利要求2所述的圖像處理設備，其還包括獲取裝置，其用於基於所述對象檢測結果，獲取關於所述一個或多個對象的詳細信息；其中，在估計出所述成像單元的方位被固定在特定方向上的情況下，所述確定裝置基 於所獲取的所述詳細信息，確定所述一個或多個檢測區域。
4.根據權利要求3所述的圖像處理設備，其中由所述獲取裝置獲取的所述詳細信息至少包括表示所述拍攝圖像中所述一個或多個 對象的位置的位置信息，並且基於所述位置信息，所述確定裝置確定所述一個或多個檢測區域是所述拍攝圖像中 的、其中存在對象的概率等於或大於預定門限值的區域。
5.根據權利要求1所述的圖像處理設備，其還包括運動體檢測裝置，其用於檢測表示所述拍攝圖像中運動體的運動體區域； 其中，所述確定裝置確定所述一個或多個檢測區域是所檢測到的所述運動體區域。
6.根據權利要求5所述的圖像處理設備，其中所述運動體檢測裝置設置運動體門限值，其用來從構成所述拍攝圖像的區域當中檢測 所述運動體區域，並且對於包含由所述對象檢測裝置檢測到的所述一個或多個對象的對象鄰近區域和對於 除了所述對象鄰近區域之外的所有區域設置不同的運動體門限值。
7.根據權利要求5所述的圖像處理設備，其中在所述運動體檢測裝置基於相鄰幀中拍攝圖像之間的絕對差是否等於或大於用於檢 測所述運動體區域的運動體門限值來檢測所述運動體區域的情況下，所述運動體檢測裝置根據所述拍攝圖像之間的成像時刻的差來修改所述運動體門限值。
8.根據權利要求5所述的圖像處理設備，其還包括背景更新裝置，其用於針對構成所述拍攝圖像的區域進行背景更新處理； 其中，在所述運動體檢測裝置基於所述拍攝圖像與僅有背景的、其中未捕獲所述一個 或多個對象的背景圖像之間的絕對差來檢測所述運動體區域的情況下，對於與所述拍攝圖像中背景部分對應的區域和對於與除了所述拍攝圖像中背景之外 的所有部分對應的區域，所述背景更新處理是不同的。
9.根據權利要求5所述的圖像處理設備，其還包括輸出裝置，其用於輸出表示由所述運動體檢測裝置檢測到的所述運動體區域的運動體 區域信息，其中，所述輸出裝置在由所述對象檢測裝置檢測到所述一個或多個對象之前輸 出所述運動體區域信息。
10.根據權利要求1所述的圖像處理設備，其還包括距離計算裝置，其用於計算到由所述成像單元成像的成像目標的距離；以及映射生成裝置，其用於基於所計算出的所述距離來生成深度映射，其中，所述深度映射 表示到所述拍攝圖像中各成像目標的所述距離；其中，所述確定裝置基於所述深度映射，確定所述一個或多個檢測區域。
11.根據權利要求1所述的圖像處理設備，其中所述確定裝置根據所述比例來將所述圖像金字塔細分成多個區域，並且確定所述一個 或多個檢測區域是來自所述多個區域當中的一個區域。
12.根據權利要求1所述的圖像處理設備，其中所述對象檢測裝置在來自所述一個或多個檢測區域當中的部分區域中檢測所述一個 或多個對象，並且基於在位置上相差η個像素的各部分區域中是否存在所述對象做出檢測，其中η > 1。
13.根據權利要求1所述的圖像處理設備，其中所述生成裝置通過以各自不同的比例來縮小或放大所述拍攝圖像以生成包含多個金 字塔圖像的圖像金字塔，並且所述對象檢測裝置從用於所述圖像金字塔中各金字塔圖像的所述一個或多個檢測區 域中檢測所述一個或多個對象，其中，按從最接近所述成像單元的對象開始的順序來檢測 所述一個或多個對象。
14.根據權利要求13所述的圖像處理設備，其中在已經檢測到了預定數目的對象的情況下，所述對象檢測裝置終止對所述一個或多個 對象的檢測。
15.根據權利要求13所述的圖像處理設備，其中所述對象檢測裝置從所述一個或多個檢測區域中檢測所述一個或多個對象，其中，已 經從所述一個或多個檢測區域中移除了包含已經檢測到的對象的區域。
16.根據權利要求1所述的圖像處理設備，其中在檢測到在所述拍攝圖像中存在的、還沒有由所述對象檢測裝置檢測到的對象的情況下，所述對象檢測裝置基於表示從特定方向觀看到的所述對象的第一模板圖像，從所述一 個或多個檢測區域中檢測所述對象。
17.根據權利要求16所述的圖像處理設備，其中當給定在第一拍攝圖像中存在的、並且已經由所述對象檢測裝置檢測到的對象時，在 將在與所述第一拍攝圖像不同的另一個拍攝圖像中檢測該對象的情況下，基於所述第一拍攝圖像中已經檢測到的所述對象所存在的位置，所述確定裝置另外確定用來對所述另一個拍攝圖像中的所述對象進行檢測的另一個圖像金字塔中的一個或多 個檢測區域，並且所述對象檢測裝置基於分別表示從多個方向觀看到的所述對象的多個第二模板圖像， 從所述另一個圖像金字塔中的所述一個或多個檢測區域中檢測所述對象。
18.—種在圖像處理設備中執行的圖像處理方法，所述圖像處理設備被配置成從通過 成像獲取的拍攝圖像中檢測被設置作為檢測目標的一個或多個對象，所述圖像處理設備包 括生成裝置， 確定裝置，以及 對象檢測裝置，並且，所述方法包括如下步驟使得所述生成裝置生成用於檢測所述一個或多個對象的圖像金字塔，其中，通過使用 比例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據從進行所述成像 的成像單元到要檢測的所述一個或多個對象的距離來預先設置的；使得所述確定裝置從所述圖像金字塔中的整個圖像區域當中確定用於檢測所述一個 或多個對象的一個或多個檢測區域；以及使得所述對象檢測裝置從所述一個或多個檢測區域中檢測所述一個或多個對象。
19.一種由圖像處理設備的計算機執行的程序，其中，所述圖像處理設備被配置成從通 過成像獲取的拍攝圖像中檢測被設置作為檢測目標的一個或多個對象，所述程序使得所述 計算機起如下作用生成裝置，其用於生成用於檢測所述一個或多個對象的圖像金字塔，其中，通過使用比 例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據從進行所述成像的 成像單元到要檢測的所述一個或多個對象的距離來預先設置的；確定裝置，其用於從所述圖像金字塔中的整個圖像區域當中確定用於檢測所述一個或 多個對象的一個或多個檢測區域；以及對象檢測裝置，其用於從所述一個或多個檢測區域中檢測所述一個或多個對象。
20.一種電子器件，其被配置成從通過成像獲取的拍攝圖像中檢測被設置作為檢測目 標的一個或多個對象，並且基於所述檢測結果而進行處理，所述電子器件包括生成裝置，其用於生成用於檢測所述一個或多個對象的圖像金字塔，其中，通過使用比 例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據從進行所述成像的 成像單元到要檢測的所述一個或多個對象的距離來預先設置的；確定裝置，其用於從所述圖像金字塔中的整個圖像區域當中確定用於檢測所述一個或 多個對象的一個或多個檢測區域；以及對象檢測裝置，其用於從所述一個或多個檢測區域中檢測所述一個或多個對象。
21.—種圖像處理設備，其被配置成從通過成像獲取的拍攝圖像中檢測被設置作為檢 測目標的一個或多個對象，所述圖像處理設備包括圖像金字塔生成器，其被配置成生成用於檢測所述一個或多個對象的圖像金字塔，其 中，通過使用比例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據從 進行所述成像的成像單元到要檢測的所述一個或多個對象的距離來預先設置的；檢測區域確定單元，其被配置成從所述圖像金字塔中的整個圖像區域當中確定用於檢 測所述一個或多個對象的一個或多個檢測區域；以及對象檢測器，其被配置成從所述一個或多個檢測區域中檢測所述一個或多個對象。
22. 一種電子器件，其被配置成從通過成像獲取的拍攝圖像中檢測被設置作為檢測目 標的一個或多個對象，並且基於所述檢測結果而進行處理，所述電子器件包括圖像金字塔生成器，其被配置成生成用於檢測所述一個或多個對象的圖像金字塔，其 中，通過使用比例來縮小或放大所述拍攝圖像以生成所述圖像金字塔，所述比例是根據從 進行所述成像的成像單元到要檢測的所述一個或多個對象的距離來預先設置的；檢測區域確定單元，其被配置成從所述圖像金字塔中的整個圖像區域當中確定用於檢 測所述一個或多個對象的一個或多個檢測區域；以及對象檢測器，其被配置成從所述一個或多個檢測區域中檢測所述一個或多個對象。
全文摘要
本發明涉及圖像處理設備、圖像處理方法、程序以及電子器件。該圖像處理設備從通過成像獲取的拍攝圖像中檢測被設置作為檢測目標的一個或多個對象。圖像金字塔生成器生成用於檢測一個或多個對象的圖像金字塔，其中，通過使用比例來縮小或放大拍攝圖像以生成圖像金字塔，該比例是根據從進行成像的成像單元到要檢測的一個或多個對象的距離來預先設置的。檢測區域確定單元從圖像金字塔中的整個圖像區域當中確定用於檢測一個或多個對象的一個或多個檢測區域。對象檢測器從一個或多個檢測區域中檢測一個或多個對象。
文檔編號G06K9/62GK102004918SQ201010270169
公開日2011年4月6日 申請日期2010年8月26日 優先權日2009年9月2日
發明者後藤智彥, 孫贇, 阪井祐介, 鶴見辰吾 申請人:索尼公司