圖像處理設備、方法和程序的製作方法

2023-05-28 10:36:21 2

專利名稱：圖像處理設備、方法和程序的製作方法
技術領域：
本發明涉及圖像處理設備、方法和程序，更具體地涉及使得能夠更加準確地指定 圖像中被攝對象的區域的圖像處理設備、方法和程序。
背景技術：
至今為止，作為用於指定圖像中被攝對象的區域的技術，已知有稱作視覺注意 (visual attention)的技術(例如，參見非專利文獻1)。在視覺注意技術中，從已經輸入的輸入圖像中提取亮度信息、顏色信息和邊緣信 息，並且把基於這些提取的信息項獲得的信息圖相加以產生一個顯著圖(Saliency Map) (以下稱為被攝對象圖)。這個被攝對象圖是指示輸入圖像的每個區域是被攝對象的區域的可能性的信息。 也就是說，被攝對象圖的像素的像素值指示輸入圖像的與該像素位置相同的像素(區域) 是被攝對象的區域的可能性。因此，能夠利用被攝對象圖來指定輸入圖像的包含被攝對象 的區域。引用列表非專利文獻NPL 1 Laurent Itti， Christof Koch, and Ernst Niebur, 『『 A Model ofSaliency-Based Visual Attention for Rapid Scene Analysis"

發明內容
技術問題然而，上述技術難以更加準確地指定輸入圖像中被攝對象的區域。具體地，在要利 用被攝對象圖指定輸入圖像中被攝對象的區域的情況下，包含被攝對象圖的像素中均具有 大於或等於預定閾值的像素值的像素的區域被認為是被攝對象的區域。因此，取決於閾值，非被攝對象的區域可能由於例如噪聲的因素而被錯誤地檢測 為被攝對象的區域，或者應當作為被攝對象的區域的區域可能未被檢測為被攝對象的區 域。也就是說，為了更加準確地指定被攝對象的區域，有必要針對每個輸入圖像確定適當的 閾值。然而，確定適當的閾值並不是容易做到的。鑑於這些情況做出了本發明，並且本發明使得能夠更加準確地指定圖像中的被攝 對象的區域。問題解決方案根據本發明的一個方面的圖像處理設備包含被攝對象圖生成裝置，用於從輸入 圖像中提取所述輸入圖像中被攝對象的區域中包含的特徵的特徵量，並且產生被攝對象 圖，所述被攝對象圖指示所述輸入圖像的每個區域是被攝對象的區域的可能性；第一閾值 處理裝置，用於通過利用第一閾值執行閾值處理來二值化所述被攝對象圖，並且產生用於 指定包含被攝對象的連接區域的第一閾值圖；第二閾值處理裝置，用於通過利用第二閾值執行閾值處理來二值化所述被攝對象圖，並且產生第二閾值圖，所述第二閾值圖用於指定 在基於所述第一閾值圖指定的連接區域中並且可能是被攝對象的區域；和複合圖生成裝 置，用於通過在基於所述第一閾值圖指定的一個或多個連接區域中，把包含基於所述第二 閾值圖而指定為可能是被攝對象的區域的區域的連接區域當作被攝對象的區域，來產生用 於指定所述輸入圖像中被攝對象的區域的複合圖。複合圖生成裝置可以通過在包含基於所述第二閾值圖而指定為可能是被攝對象 的區域的區域的連接區域中，把具有預定面積或更大面積的連接區域當作被攝對象的區 域，來產生所述複合圖。複合圖是這樣的信息在所述信息中，與輸入圖像的每個區域相對應地布置指示 輸入圖像的每個區域是否被攝對象的區域的二值信息，並且圖像處理設備還可以包含被攝 對象指定信息生成裝置，用於通過獲得複合圖和被攝對象圖的邏輯"與"並且利用第三閾 值執行閾值處理以二值化所述邏輯"與"的運算結果，產生指定輸入圖像中被攝對象的區 域的被攝對象指定信息。被攝對象指定信息生成裝置可以針對與基於複合圖而指定為被攝對象的區域的 被攝對象區域相同的每個區域，基於被攝對象圖獲得所述邏輯"與"的運算結果中的第三 閾值。圖像處理設備還可以包含梯度圖生成裝置，用於基於被攝對象圖產生梯度圖，所 述梯度圖指示由被攝對象圖指示的輸入圖像的每個區域是被攝對象的區域的可能性的變 化度，並且第一閾值處理裝置和第二閾值處理裝置可以執行梯度圖的閾值處理，並且產生 第一閾值圖和第二閾值圖。第一閾值處理裝置和第二閾值處理裝置可以基於梯度圖計算第一閾值和第二閾 值。根據本發明的一個方面的信息處理方法或程序包含步驟從輸入圖像中提取所述 輸入圖像中被攝對象的區域中包含的特徵的特徵量，並且產生被攝對象圖，所述被攝對象 圖指示所述輸入圖像的每個區域是被攝對象的區域的可能性；通過利用第一閾值執行閾 值處理來二值化所述被攝對象圖，並且產生用於指定包含被攝對象的連接區域的第一閾值 圖；通過利用第二閾值執行閾值處理來二值化所述被攝對象圖，並且產生第二閾值圖，所述 第二閾值圖用於指定在基於所述第一閾值圖指定的連接區域中並且可能是被攝對象的區 域；和通過在基於所述第一閾值圖指定的一個或多個連接區域中，把包含基於所述第二閾 值圖而指定為可能是被攝對象的區域的區域的連接區域當作被攝對象的區域，來產生用於 指定所述輸入圖像中被攝對象的區域的複合圖。根據本發明的一個方面，從輸入圖像中提取所述輸入圖像中被攝對象的區域中包 含的特徵的特徵量，並且產生被攝對象圖，所述被攝對象圖指示所述輸入圖像的每個區域 是被攝對象的區域的可能性。通過利用第一閾值執行閾值處理來二值化被攝對象圖，並且 產生用於指定包含被攝對象的連接區域的第一閾值圖。通過利用第二閾值執行閾值處理來 二值化被攝對象圖，並且產生第二閾值圖，所述第二閾值圖用於指定在基於第一閾值圖指 定的連接區域中並且可能是被攝對象的區域。通過在基於第一閾值圖指定的一個或多個連 接區域中，把包含基於第二閾值圖而指定為可能是被攝對象的區域的區域的連接區域當作 被攝對象的區域，來產生用於指定輸入圖像中被攝對象的區域的複合圖。
發明的有利效果根據本發明的一個方面，能夠更加準確地指定圖像中被攝對象的區域。


圖1是圖解根據本發明的圖像處理設備的實施例的配置示例的模塊圖。圖2是圖解被攝對象圖生成單元的配置示例的圖。圖3是圖解亮度信息提取單元的配置示例的圖。圖4是圖解顏色信息提取單元的配置示例的圖。圖5是圖解邊緣信息提取單元的配置示例的圖。圖6是圖解面部信息提取單元的配置示例的圖。圖7是圖解運動信息提取單元的配置示例的圖。圖8是描述被攝對象框顯示處理的流程圖。圖9是描述被攝對象圖產生處理的流程圖。圖10是描述亮度信息提取處理的流程圖。圖11是描述顏色信息提取處理的流程圖。圖12是描述邊緣信息提取處理的流程圖。圖13是描述面部信息提取處理的流程圖。圖14是描述運動信息提取處理的流程圖。圖15是描述被攝對象區域專提取處理的流程圖。圖16是描述梯度圖的生成的圖。圖17是描述閾值的計算的圖。圖18是描述複合圖的生成的圖。圖19是描述二值化圖的生成的圖。圖20是描述被攝對象區域信息的生成的圖。圖21是圖解計算機的配置示例的圖。
具體實施例方式下面參考附圖詳細描述根據本發明的實施例。[圖像處理設備的配置]圖1是圖解根據本發明的圖像處理設備的實施例的配置示例的模塊圖。圖像處理設備11被安裝在例如攝像機的圖像捕獲設備上，在已經捕獲的輸入圖 像中指定被攝對象的區域，並且和輸入圖像一起顯示圍繞被攝對象的區域的框。注意，在下 文中輸入圖像中被攝對象的區域也可以被稱作被攝對象區域，並且輸入圖像上顯示的圍繞 被攝對象區域的框也可以被稱作被攝對象框。圖像處理設備11包括被攝對象圖生成單元21、梯度圖生成單元22、閾值處理單元 23、閾值處理單元24、複合圖生成單元25、二值化圖生成單元26、矩形整形單元27和顯示控 制單元28。在圖像處理設備11中，已經捕獲的輸入圖像被提供給被攝對象圖生成單元21 和顯示控制單元28。被攝對象圖生成單元21基於所提供的輸入圖像產生被攝對象圖並且提供被攝對象圖給梯度圖生成單元22，被攝對象圖是指示輸入圖像的每個區域是包含被攝對象的區域 的可能性的信息。這裡，被攝對象是在用戶粗略看過輸入圖像的情況下估計會吸引用戶注 意力的輸入圖像中的對象，即估計會捕獲用戶視線的對象。因此，被攝對象不一定限於人。梯度圖生成單元22從提供自被攝對象圖生成單元21的被攝對象圖中提取是被攝 對象的可能性的邊緣部分，並且產生指示邊緣的大小(邊緣強度)的梯度圖。這裡，是被攝 對象的可能性的邊緣部分是這樣的區域在該區域中，指示被攝對象圖是被攝對象，即被攝 對象的像素的像素值的可能性的值突然變化。因此，梯度圖的每個像素的像素值指示被攝 對象圖中像素值(指示是被攝對象的可能性的值)的變化度。梯度圖生成單元22把所產生的梯度圖提供給閾值處理單元23、閾值處理單元24 和二值化圖生成單元26。閾值處理單元23和閾值處理單元24利用從梯度圖生成單元22提供的梯度圖獲 得閾值，所述閾值用於從梯度圖中提取可能是輸入圖像中的被攝對象的區域。注意，閾值處 理單元23和閾值處理單元24獲得不同的閾值。閾值處理單元23和閾值處理單元24也通過利用所獲得的閾值執行閾值處理來二 值化梯度圖，產生均指示輸入圖像中包含被攝對象的區域的閾值圖，並且提供所產生的閾 值圖給複合圖生成單元25。這裡，在閾值圖中，被當作輸入圖像中包含被攝對象的區域的區 域是這樣的區域在所述區域中，梯度圖的像素的像素值大於或等於閾值。複合圖生成單元25通過利用從閾值處理單元23和閾值處理單元24提供的閾值 圖來產生複合圖，並且提供複合圖給二值化圖生成單元26。例如，在兩個閾值圖中的任意一個中，複合圖生成單元25把通過連接被當作包含 被攝對象的區域的鄰接區域(像素)而獲得的一個區域當作連接區域。複合圖生成單元25 把兩個閾值圖中指示連接區域中的下述連接區域的信息當作複合圖該連接區域指示被當 作包含被攝對象的區域的區域。二值化圖生成單元26通過利用從梯度圖生成單元22提供的梯度圖和從複合圖生 成單元25提供的複合圖來產生二值化圖，並且把二值化圖提供給矩形整形單元27。這裡， 二值化圖是指示這樣的區域的信息在該區域中，在複合圖所指示的連接區域中的區域中， 梯度圖的對應該區域的像素的像素值大於或等於某個閾值。矩形整形單元27把包含由提供自二值化圖生成單元26的二值化圖指示的區域的 矩形區域當作包含被攝對象的被攝對象區域，並且提供指示被攝對象區域的被攝對象區域 信息給顯示控制單元28。顯示控制單元28基於所提供的輸入圖像和來自矩形整形單元27 的被攝對象區域信息控制未示出的顯示單元，並且在顯示單元上顯示輸入圖像，其中在輸 入圖像上顯示有被攝對象框。此外，更具體地，圖1中的被攝對象圖生成單元21的構造如圖2所示。也就是說，被攝對象圖生成單元21包括亮度信息提取單元51、顏色信息提取單元 52、邊緣信息提取單元53、面部信息提取單元54、運動信息提取單元55和圖生成單元56。亮度信息提取單元51基於所提供的輸入圖像產生指示有關輸入圖像的每個區域 中的亮度的信息的亮度信息圖，並且提供亮度信息圖給圖生成單元56。顏色信息提取單元 52基於所提供的輸入圖像產生指示有關輸入圖像的每個區域中的顏色的信息的顏色信息 圖，並且提供顏色信息圖給圖生成單元56。
邊緣信息提取單元53基於所提供的輸入圖像產生指示有關輸入圖像的每個區域 中的邊緣的信息的邊緣信息圖，並且提供邊緣信息圖給圖生成單元56。面部信息提取單元 54基於所提供的輸入圖像產生指示有關輸入圖像的每個區域中作為被攝對象的人的面部 的信息的面部信息圖，並且提供面部信息圖給圖生成單元56。運動信息提取單元55基於所 提供的輸入圖像產生指示有關輸入圖像的每個區域中的運動的信息的運動信息圖，並且提 供運動信息圖給圖生成單元56。注意，在下文中，在不必區分從亮度信息提取單元51到運動信息提取單元55輸出 的亮度信息圖到運動信息圖的情況下，它們也被簡稱為信息圖。這些信息圖中包含的信息 被作為指示特徵的特徵量的信息，這些特徵多數被包含在含有被攝對象的區域中，並且其 中與輸入圖像的每個區域相對應地布置該信息的東西被作為信息圖。也就是說，亮度信息提取單元51到運動信息提取單元55從輸入圖像中提取多數 被包含在被攝對象的區域中的特徵的特徵量，並且產生作為指示輸入圖像的每個區域中的 特徵量的信息項的信息圖。因此，每個信息圖中具有較大量信息的區域，即對應於具有大量 信息的區域的輸入圖像的區域，是更加可能包含被攝對象的區域，並且能夠基於每個信息 圖指定輸入圖像中的包含被攝對象的區域。圖生成單元56線性組合自亮度信息提取單元51到運動信息提取單元55提供的 亮度信息圖、顏色信息圖、邊緣信息圖、面部信息圖和運動信息圖，並且產生被攝對象圖。也 就是說，亮度信息圖到運動信息圖的每個區域中的信息項(特徵量)被根據相同位置的每 個區域加權相加，從而產生被攝對象圖。圖生成單元56把所產生的被攝對象圖提供給梯度 圖生成單元22。下面參考圖3到圖7描述圖2中的亮度信息提取單元51到運動信息提取單元55 的更詳細配置。圖3是圖解亮度信息提取單元51的更詳細配置的示例的圖。亮度信息提取單元51包括亮度圖像生成單元81、金字塔圖像生成單元82、差計算 單元83和亮度信息圖生成單元84。亮度圖像生成單元81利用所提供的輸入圖像產生亮度圖像並且提供亮度圖像給 金字塔圖像生成單元82，在亮度圖像中，輸入圖像的像素的亮度值作為像素的像素值。這 裡，亮度圖像的任意像素的像素值指示與該任意像素位置相同的輸入圖像的像素的亮度 值。金字塔圖像生成單元82利用從亮度圖像生成單元81提供的亮度圖像產生具有 不同解析度的多個亮度圖像，並且把這些亮度圖像作為亮度金字塔圖像提供給差計算單元 83。例如，產生具有從水平Ll到水平L8的8個解析度的層中的金字塔圖像。假定水 平Ll的金字塔圖像具有最高解析度，金字塔圖像的解析度按從水平Ll到水平L8的順序降 低。在這樣的情況下，亮度圖像生成單元81產生的亮度圖像作為水平Ll的金字塔圖 像。此外，水平Li(注意，1 < i ^ 7)的金字塔圖像的四個鄰接像素的像素值的平均值作為 與這些像素對應的水平L(i+1)的金字塔圖像的一個像素的像素值。因此，水平L(i+1)的 金字塔圖像是這樣的圖像相對於水平Li的金字塔圖像，該圖像在垂直和水平方向降低到一半(當不可分時捨去)。差計算單元83從提供自金字塔圖像生成單元82的多個金字塔圖像中選擇不同層 的兩個金字塔圖像，獲得所選擇的金字塔圖像之間的差，並且產生亮度差圖像。注意，由於 各個層的金字塔圖像具有不同尺寸(像素數)，在生成差圖像時，根據較大金字塔圖像對較 小金字塔圖像進行上轉換。當差計算單元83產生預定數量的亮度差圖像時，差計算單元83規格化這些所產 生的差圖像，並且提供規格化的差圖像給亮度信息圖生成單元84。亮度信息圖生成單元84 基於從差計算單元83提供的差圖像產生亮度信息圖，並且提供亮度信息圖給圖生成單元 56。圖4是圖解圖2中的顏色信息提取單元52的更詳細配置的示例的圖。顏色信息提取單元52包括RG差圖像生成單元111、BY差圖像生成單元112、金字 塔圖像生成單元113、金字塔圖像生成單元114、差計算單元115、差計算單元116、顏色信息 圖生成單元117和顏色信息圖生成單元118。RG差圖像生成單元111利用所提供的輸入圖像產生RG差圖像並且提供RG差圖像 給金字塔圖像生成單元113，在RG差圖像中，輸入圖像的像素的R(紅)分量和G(綠)分量 之間的差作為像素的像素值。RG差圖像的任意像素的像素值指示與該任意像素位置相同的 輸入圖像的像素的R分量和G分量之間的差的值。BY差圖像生成單元112利用所提供的輸入圖像產生BY差圖像並且提供BY差圖像 給金字塔圖像生成單元114，在BY差圖像中，輸入圖像的像素的B(藍)分量和Y(黃)分量 之間的差作為像素的像素值。BY差圖像的任意像素的像素值指示與該任意像素位置相同的 輸入圖像的像素的B(藍)分量和Y(黃)分量之間的差的值。金字塔圖像生成單元113和金字塔圖像生成單元114利用從RG差圖像生成單元 111和BY差圖像生成單元112提供的RG差圖像和BY差圖像產生具有不同解析度的多個 RG差圖像和BY差圖像。金字塔圖像生成單元113和金字塔圖像生成單元114把這些所產 生的RG差圖像和BY差圖像當作RG差金字塔圖像和BY差金字塔圖像，並且提供BY差金字 塔圖像和BY差金字塔圖像給差計算單元115和差計算單元116。例如，像在亮度金字塔圖像的情形中那樣，分別產生具有從水平Ll到水平L8的8 個解析度的層中的金字塔圖像，以作為RG差金字塔圖像和BY差金字塔圖像。差計算單元115和差計算單元116從提供自金字塔圖像生成單元113和金字塔圖 像生成單元114的多個金字塔圖像中選擇不同層的兩個金字塔圖像，獲得所選擇的金字塔 圖像之間的差，並且產生RG差差圖像和BY差差圖像。注意，由於各個層的金字塔圖像具有 不同尺寸，在生成差圖像時，把較小金字塔圖像上轉換為與較大金字塔圖像尺寸相同。當差計算單元115和差計算單元116產生預定數量的RG差差圖像和BY差差圖像 時，差計算單元115和差計算單元116規格化這些所產生的差圖像，並且提供規格化的差圖 像給顏色信息圖生成單元117和顏色信息圖生成單元118。顏色信息圖生成單元117和顏 色信息圖生成單元118基於從差計算單元115和差計算單元116提供的差圖像產生顏色信 息圖，並且提供顏色信息圖給圖生成單元56。在顏色信息圖生成單元117中，產生RG差顏 色信息圖。在顏色信息圖生成單元118中，產生BY差顏色信息圖。圖5是圖解圖2中的邊緣信息提取單元53的更詳細配置的示例的圖。
邊緣信息提取單元53包括邊緣圖像生成單元141到邊緣圖像生成單元144、金字 塔圖像生成單元145到金字塔圖像生成單元148、差計算單元149到差計算單元152、和邊 緣信息圖生成單元153到邊緣信息圖生成單元156。邊緣圖像生成單元141到邊緣圖像生成單元144利用Gabor濾波器對所提供的輸 入圖像應用濾波處理，產生邊緣圖像並且提供邊緣圖像給金字塔圖像生成單元145到金字 塔圖像生成單元148，在邊緣圖像中，例如，沿O度、45度、90度和135度取向的邊緣強度作 為像素的像素值。例如，邊緣圖像生成單元141產生的邊緣圖像的任意像素的像素值指示與該任意 像素位置相同的輸入圖像的像素的0度取向上的邊緣強度。注意，每個邊緣的取向是指由 構成Gabor濾波器的Gabor函數的角分量指示的取向。金字塔圖像生成單元145到金字塔圖像生成單元148利用從邊緣圖像生成單元 141到邊緣圖像生成單元144提供的各個取向的邊緣圖像產生具有不同解析度的多個邊緣 圖像。金字塔圖像生成單元145到金字塔圖像生成單元148把所產生的各個取向的邊緣圖 像當作邊緣的各個取向的金字塔圖像，並且提供邊緣的各個取向的金字塔圖像給差計算單 元149到差計算單元152。例如，像在亮度金字塔圖像的情形中那樣，分別產生從水平Ll到水平L8的8個層 中的金字塔圖像，以作為邊緣的各個取向的金字塔圖像。差計算單元149到差計算單元152分別從提供自金字塔圖像生成單元145和金字 塔圖像生成單元148的多個金字塔圖像中選擇不同層的兩個金字塔圖像，獲得所選擇的金 字塔圖像之間的差，並且產生邊緣的各個取向的差圖像。注意，由於各個層的金字塔圖像具 有不同尺寸，在生成差圖像時，把較小金字塔圖像上轉換。當差計算單元149到差計算單元152產生預定數量的邊緣的各個取向的差圖像 時，差計算單元149到差計算單元152規格化這些所產生的差圖像，並且提供規格化的差圖 像給邊緣信息圖生成單元153到邊緣信息圖生成單元156。邊緣信息圖生成單元153到邊 緣信息圖生成單元156基於從差計算單元149到差計算單元152提供的差圖像產生各個取 向的邊緣信息圖，並且提供各個取向的邊緣信息圖給圖生成單元56。圖6是圖解圖2中的面部信息提取單元M的更詳細配置的示例的圖。面部信息提取單元M包括面部檢測單元181和面部信息圖生成單元182。面部檢測單元181在所提供的輸入圖像中檢測作為被攝對象的人的面部的區域， 並且提供檢測結果給面部信息圖生成單元182。面部信息圖生成單元182基於來自面部檢 測單元181的檢測結果產生面部信息圖，並且提供面部信息圖給圖生成單元56。圖7是圖解圖2中的運動信息提取單元55的更詳細配置的示例的圖。運動信息提取單元55包括局部運動向量提取單元211、全局運動向量提取單元 212、差計算單元213和運動信息圖生成單元214。局部運動向量提取單元211利用所提供的輸入圖像和圖像捕獲時間不同於該輸 入圖像的另一輸入圖像檢測輸入圖像的每個像素的運動向量以作為局部運動向量，並且提 供局部運動向量給差計算單元213。全局運動向量提取單元212利用所提供的輸入圖像和 圖像捕獲時間不同於該輸入圖像的另一輸入圖像檢測輸入圖像的每個像素的運動向量，進 一步獲得各個像素的運動向量的平均值以作為全局運動向量，並且提供全局運動向量給差計算單元213。全局運動向量指示整個輸入圖像的運動方向。差計算單元213獲得來自局部運動向量提取單元211的局部運動向量和來自全局 運動向量提取單元212的全局運動向量之間的差的絕對值以產生運動差圖像，並且提供運 動差圖像給運動信息圖生成單元214。這裡，運動差圖像的任意像素的像素值指示與該任 意像素位置相同的輸入圖像的像素的局部運動向量和整個輸入圖像的全局運動向量之間 的差的絕對值。因此，運動差圖像的像素的像素值指示在輸入圖像的該像素處顯示的對象 (或背景)相對於整個輸入圖像的相對運動量，即相對於背景的相對運動量。運動信息圖生成單元214基於來自差計算單元213的運動差圖像產生運動信息 圖，並且提供運動信息圖給圖生成單元56。注意，更具體地，在時間上連續地捕獲的項目被 提供為輸入圖像的情況下，例如在持續捕獲輸入圖像或輸入圖像是運動圖像的情況下，執 行運動信息圖的生成。[圖像處理設備的操作]另外，當輸入圖像被提供給圖像處理設備11時，圖像處理設備11指定輸入圖像中 的被攝對象區域，並且啟動在輸入圖像上顯示被攝對象框的被攝對象框顯示處理。下文中 參考圖8中的流程圖描述由圖像處理設備11執行的被攝對象框顯示處理。在步驟S11，被攝對象圖生成單元21基於所提供的輸入圖像執行被攝對象圖產生 處理以產生被攝對象圖。在步驟S12，圖像處理設備11基於所產生的被攝對象圖執行被攝 對象區域提取處理以指定被攝對象區域。當指定被攝對象區域時，矩形整形單元27向顯示 控制單元觀提供指示該被攝對象區域的被攝對象區域信息。注意，後面會描述被攝對象圖產生處理和被攝對象區域提取處理的細節。在步驟S13，顯示控制單元28基於所提供的輸入圖像和來自矩形整形單元27的 被攝對象區域信息在輸入圖像上顯示被攝對象框，並且被攝對象框顯示處理結束。也就是 說，顯示控制單元觀向未示出的顯示單元提供輸入圖像以顯示輸入圖像，並且基於被攝對 象區域信息在輸入圖像上顯示被攝對象框。以這種方式，圖像處理設備11基於輸入圖像產生被攝對象圖，進一步基於被攝對 象圖指定被攝對象區域，並且在輸入圖像上顯示被攝對象框。下面參考圖9中的流程圖描述與圖8的步驟Sll中的處理相對應的被攝對象圖產 生處理。在步驟S41，亮度信息提取單元51基於所提供的輸入圖像執行亮度信息提取處理 以產生亮度信息圖，並且提供亮度信息圖給圖生成單元56。在步驟S42，顏色信息提取單元 52基於所提供的輸入圖像執行顏色信息提取處理以產生顏色信息圖，並且提供顏色信息圖 給圖生成單元56。在步驟S43，邊緣信息提取單元53基於所提供的輸入圖像執行邊緣信息提取處理 以產生邊緣信息圖，並且提供邊緣信息圖給圖生成單元56。在步驟S44，面部信息提取單元 54基於所提供的輸入圖像執行面部信息提取處理以產生面部信息圖，並且提供面部信息圖 給圖生成單元56。此外，在步驟S45，運動信息提取單元55基於所提供的輸入圖像執行運 動信息提取處理以產生運動信息圖，進一步提供運動信息圖給圖生成單元56。注意，後面會描述這些亮度信息提取處理、顏色信息提取處理、邊緣信息提取處 理、面部信息提取處理和運動信息提取處理的細節。更具體地，在未有在時間上連續地捕獲的輸入圖像被提供給被攝對象圖生成單元21的情況下，不執行運動信息提取處理。在步驟S46，圖生成單元56利用自亮度信息提取單元51到運動信息提取單元55 提供的亮度信息圖到運動信息圖產生被攝對象圖，並且提供被攝對象圖給梯度圖生成單元 22。例如，圖生成單元56利用作為針對各個信息圖預先獲得的權重的信息權重Wb線 性組合各個信息圖，通過把作為線性組合的結果而獲得的圖的像素值乘以作為預先獲得的 權重的被攝對象權重Wc來執行規格化，從而產生被攝對象圖。也就是說，當假定要獲得的被攝對象圖上被付予注意力的像素作為被注意像素 時，各個信息圖的與被注意像素位置相同的像素的像素值被乘以各個信息圖的信息權重 Wb，並且像素值乘以信息權重Wb的積的和作為被注意像素的像素值。此外，通過把以這種 方式獲得的被攝對象圖的每個像素的像素值乘以針對被攝對象圖預先獲得的被攝對象權 重Wc來執行規格化，從而產生最終的被攝對象圖。注意，更具體地，利用RG差顏色信息圖和BY差顏色信息圖作為顏色信息圖，以及 利用0度、45度、90度和135度的各個取向的邊緣信息圖作為邊緣信息圖，來產生被攝對象 圖。通過學習預先獲得被攝對象權重Wc，並且執行規格化，使得被攝對象圖的每個像素的像 素值取0和1之間的值。當以這種方式產生被攝對象圖時，被攝對象圖產生處理結束，之後處理前進到圖8 的步驟S12。如上所述，被攝對象圖生成單元21從所提供的輸入圖像提取各個特徵的特徵量， 並且產生信息圖。被攝對象圖生成單元21基於所產生的各個信息圖產生被攝對象圖。下面參考圖10到圖14的流程圖描述分別與圖9的步驟S45到步驟S45中的處理 相對應的處理。首先參考圖10中的流程圖描述與圖9的步驟S41中的處理相對應的亮度信息提 取處理。在步驟S71，亮度圖像生成單元81利用所提供的輸入圖像產生亮度圖像，並且提 供亮度圖像給金字塔圖像生成單元82。例如，亮度圖像生成單元81把輸入圖像的像素的每 個分量R、G和B的值乘以針對每個分量預先獲得的係數，並且獲得各個分量的值乘以係數 的積的和，以作為與輸入圖像的像素位置相同的亮度圖像的像素的像素值。也就是說，在包 含亮度分量(Y)和色差分量(Cb，Cr)的分量信號中，獲得亮度分量。注意，可選地，像素的 各個分量R、G和B的值的平均值可以作為亮度圖像的像素的像素值。在步驟S72，金字塔圖像生成單元82基於從亮度圖像生成單元81提供的亮度圖像 產生從水平Ll到水平L8的各個層的金字塔圖像，並且提供金字塔圖像給差計算單元83。在步驟S73，差計算單元83利用從金字塔圖像生成單元82提供的金字塔圖像產生 差圖像，規格化差圖像，並且提供規格化的差圖像給亮度信息圖生成單元84。執行規格化以 使得差圖像的像素的像素值取例如0和255之間的值。具體地，差計算單元83獲得水平L6和水平L3、水平L7和水平L3、水平L7和水平 L4、水平L8和水平L4、以及水平L8和水平L5的各個層的組合中包含的金字塔圖像之間的 差。相應地，獲得總共5個亮度差圖像。例如，在要產生水平L6和水平L3的組合的差圖像的情況下，根據水平L3的金字塔圖像的尺寸上轉換水平L6的金字塔圖像。也就是說，上轉換之前水平L6的金字塔圖像 中像素的像素值作為上轉換之後的水平L6的金字塔圖像中對應於該像素的若干鄰接像素 的像素值。獲得水平L6的金字塔圖像的像素的像素值和與該像素位置相同的水平L3的金 字塔圖像的像素的像素值之間的差，並且該差作為差圖像的像素的像素值。產生這些差圖像的處理相當於利用帶通濾波器對亮度圖像應用濾波處理和從亮 度圖像提取某個頻率分量。以這種方式獲得的差圖像的像素的像素值指示各個水平的金字 塔圖像的亮度值之間的差，即輸入圖像的某個像素的亮度和該像素周圍的平均亮度之間的 差。通常，圖像中相對環境的亮度差大的區域是吸引觀察該圖像的人的注意力的顯眼 區域。因而該區域很可能是被攝對象的區域。因此，可以認為，在每個差圖像中，具有更大 像素值的像素指示很可能是被攝對象的區域的區域。在步驟S74，亮度信息圖生成單元84基於從差計算單元83提供的差圖像產生亮度 信息圖，並且提供亮度信息圖給圖生成單元56。當從亮度信息圖生成單元84向圖生成單元 56提供亮度信息圖時，亮度信息提取處理結束，並且處理前進到圖9的步驟S42。例如，亮度信息圖生成單元84利用作為針對各個差圖像預先獲得的權重的差權 重Wa執行所提供的5個差圖像的加權加法，並且獲得單個圖像。也就是說，各個差圖像的 位置相同的像素的像素值被乘以相應差權重Wa，並且獲得像素值乘以差權重Wa的積的和。注意，在生成亮度信息圖時，執行差圖像的上轉換，使得各個差圖像具有相同尺 寸。以這種方式，亮度信息提取單元51基於輸入圖像獲得亮度圖像，並且基於亮度圖 像產生亮度信息圖。根據以這種方式獲得的亮度信息圖，在輸入圖像中，能夠容易地檢測亮 度差大的區域，即可能吸引粗略看過輸入圖像的觀察者的注意力的區域。下面參考圖11中的流程圖描述與圖9的步驟S42中的處理相對應的顏色信息提 取處理。在步驟S101，RG差圖像生成單元111利用所提供的輸入圖像產生RG差圖像，並且 提供RG差圖像給金字塔圖像生成單元113。在步驟S102，BY差圖像生成單元112利用所提供的輸入圖像產生BY差圖像，並且 提供BY差圖像給金字塔圖像生成單元114。在步驟S103，金字塔圖像生成單元113和金字塔圖像生成單元114利用來自RG差 圖像生成單元111的RG差圖像和來自BY差圖像生成單元112的BY差圖像產生金字塔圖像。例如，金字塔圖像生成單元113通過產生具有不同解析度的多個RG差圖像而在從 水平Ll到水平L8的各個層產生金字塔圖像，並且提供金字塔圖像給差計算單元115。類似 地，金字塔圖像生成單元114通過產生具有不同解析度的多個BY差圖像而在從水平Ll到 水平L8的各個層產生金字塔圖像，並且提供金字塔圖像給差計算單元116。在步驟S104，差計算單元115和差計算單元116基於從金字塔圖像生成單元113 和金字塔圖像生成單元114提供的金字塔圖像產生差圖像，規格化差圖像，並且提供規格 化的差圖像給顏色信息圖生成單元117和顏色信息圖生成單元118。在差圖像的規格化中， 例如，使像素的像素值取0和255之間的值。
例如，差計算單元115獲得各個層的RG差金字塔圖像中水平L6和水平L3、水平 L7和水平L3、水平L7和水平L4、水平L8和水平L4、以及水平L8和水平L5的各個層的組 合中包含的金字塔圖像之間的差。相應地，獲得總共5個RG差差圖像。類似地，差計算單元116獲得各個層的BY差金字塔圖像中水平L6和水平L3、水平 L7和水平L3、水平L7和水平L4、水平L8和水平L4、以及水平L8和水平L5的各個層的組 合中包含的金字塔圖像之間的差。相應地，獲得總共5個BY差差圖像。產生這些差圖像的處理相當於利用帶通濾波器對RG差圖像或BY差圖像應用濾波 處理和從RG差圖像或BY差圖像提取某個頻率分量。以這種方式獲得的差圖像的像素的像 素值指示各個水平的金字塔圖像的特定顏色分量之間的差，即輸入圖像的像素的特定顏色 分量和該像素周圍的平均顏色分量之間的差。通常，圖像的具有與環境相比更顯眼的顏色的區域，即對於特定顏色分量與環境 的差大的區域，是吸引觀看圖像的人的注意力的顯眼區域。因而該區域很可能是被攝對象 的區域。因此，可以認為，在每個差圖像中，具有較大像素值的像素指示很可能是被攝對象 的區域的區域。在步驟S105，顏色信息圖生成單元117和顏色信息圖生成單元118利用來自差計 算單元115的差圖像和來自差計算單元116的差圖像產生顏色信息圖，並且提供顏色信息 圖給圖生成單元56。例如，顏色信息圖生成單元117利用針對各個差圖像預先獲得的差權重Wa執行從 差計算單元115提供的RG差差圖像的加權加法，並且獲得RG差顏色信息圖。類似地，顏色信息圖生成單元118利用預先獲得的差權重Wa執行從差計算單元 116提供的BY差差圖像的加權加法，並且獲得BY差顏色信息圖。注意，在生成顏色信息圖 時，執行差圖像的上轉換，使得各個差圖像具有相同尺寸。當顏色信息圖生成單元117和顏色信息圖生成單元118向圖生成單元56提供以 這種方式獲得的RG差顏色信息圖和BY差顏色信息圖時，顏色信息提取處理結束，並且處理 前進到圖9的步驟S43。以這種方式，顏色信息提取單元52基於輸入圖像獲得特定顏色分量的差圖像，並 且基於那些圖像產生顏色信息圖。根據以這種方式獲得的顏色信息圖，在輸入圖像中，能夠 容易地檢測特定顏色分量的差大的區域，即可能吸引粗略看過輸入圖像的觀察者的注意力 的區域。注意，已經說明了在顏色信息提取單元52提取R(紅)分量和綠(G)分量之間的差 和B(藍)分量和Y(黃)分量之間的差，以作為從輸入圖像提取的顏色信息。然而，例如， 可以提取色差分量Cr和色差分量Cb。這裡，色差分量Cr是R分量和亮度分量之間的差，色 差分量Cb是B分量和亮度分量之間的差。圖12是描述與圖9的步驟S43中的處理相對應的邊緣信息提取處理的流程圖。下 面描述邊緣信息提取處理。在步驟S131，邊緣圖像生成單元141到邊緣圖像生成單元144分別利用Gabor濾 波器對所提供的輸入圖像應用濾波處理，產生邊緣圖像，在邊緣圖像中，例如，沿0度、45 度、90度和135度取向的邊緣強度作為像素的像素值。邊緣圖像生成單元141到邊緣圖像 生成單元144把所產生的邊緣圖像提供給金字塔圖像生成單元145到金字塔圖像生成單元148。在步驟S132，金字塔圖像生成單元145到金字塔圖像生成單元148利用來自邊緣 圖像生成單元141到邊緣圖像生成單元144的邊緣圖像產生金字塔圖像，並且提供金字塔 圖像給差計算單元149到差計算單元152。例如，金字塔圖像生成單元145通過產生具有不同解析度的0度取向的多個RG差 圖像而在從水平Ll到水平L8的各個層產生金字塔圖像，並且提供金字塔圖像給差計算單 元149。類似地，金字塔圖像生成單元146到金字塔圖像生成單元148產生從水平Ll到水 平L8的各個層的金字塔圖像，並且提供金字塔圖像給差計算單元150到差計算單元152。在步驟S133，差計算單元149到差計算單元152利用自金字塔圖像生成單元145 到金字塔圖像生成單元148提供的金字塔圖像產生差圖像，規格化差圖像，並且提供規格 化的差圖像給邊緣信息圖生成單元153到邊緣信息圖生成單元156。在差圖像的規格化中， 例如，使像素的像素值取0和255之間的值。例如，差計算單元149獲得從金字塔圖像生成單元145提供的各個層的0度取向 邊緣金字塔圖像中，水平L6和水平L3、水平L7和水平L3、水平L7和水平L4、水平L8和水 平L4、以及水平L8和水平L5的各個層的組合中包含的金字塔圖像之間的差。相應地，獲得 總共5個邊緣差圖像。類似地，差計算單元150到差計算單元152獲得各個層的金字塔圖像中水平L6和 水平L3、水平L7和水平L3、水平L7和水平L4、水平L8和水平L4、以及水平L8和水平L5 的各個層的組合中包含的金字塔圖像之間的差。相應地，對於每個取向的邊緣，獲得總共5 個邊緣差圖像。產生這些差邊緣圖像的處理相當於利用帶通濾波器對邊緣圖像應用濾波處理和 從邊緣圖像提取某個頻率分量。以這種方式獲得的差圖像的像素的像素值指示各個水平的 金字塔圖像的邊緣強度之間的差，即輸入圖像的某個位置的邊緣強度和該位置周圍的平均 邊緣強度之間的差。通常，圖像中邊緣強度相比於環境更大的區域是吸引觀察該圖像的人的注意力的 顯眼區域。因而該區域很可能是被攝對象的區域。因此，可以認為，在每個差圖像中，具有 較大像素值的像素指示很可能是被攝對象的區域的區域。在步驟S134，邊緣信息圖生成單元153到邊緣信息圖生成單元156利用來自差計 算單元149到差計算單元152的差圖像產生相應取向的邊緣信息圖，並且提供邊緣信息圖 給圖生成單元56。例如，邊緣信息圖生成單元153利用預先獲得的差權重Wa執行從差計算單元149 提供的差圖像的加權加法，並且獲得0度取向的邊緣信息圖。類似地，邊緣信息圖生成單元 154到邊緣信息圖生成單元156利用差權重Wa執行自差計算單元150到差計算單元152提 供的差圖像的加權加法，並且獲得45度、90度和135度的相應取向的邊緣信息圖。注意，在 生成邊緣信息圖時，執行差圖像的上轉換，使得各個差圖像具有相同尺寸。當邊緣信息圖生 成單元153到邊緣信息圖生成單元156把以這種方式獲得的各個取向的總共四個邊緣信息 圖提供給圖生成單元56時，邊緣信息提取處理結束，並且處理前進到圖9的步驟S44。以這種方式，邊緣信息提取單元53基於輸入圖像獲得特定取向的邊緣差圖像，並 且基於那些差圖像產生邊緣信息圖。根據以這種方式獲得的各個取向的邊緣信息圖，在輸入圖像中，能夠容易地檢測與環境相比特定取向的邊緣強度大的區域，即可能吸引粗略看 過輸入圖像的觀察者的注意力的區域。注意，已經描述了在邊緣信息提取處理中Gabor濾波器被用於提取邊緣。然而，可 以使用邊緣提取濾波器，例如Sobel濾波器或Roberts濾波器。下面參考圖13中的流程圖描述與圖9的步驟S44中的處理相對應的面部信息提 取處理。在步驟S161，面部檢測單元181在所提供的輸入圖像中檢測人的面部的區域，並 且提供檢測結果給面部信息圖生成單元182。例如，面部檢測單元181利用Gabor濾波器對 輸入圖像應用濾波處理，並且從輸入圖像提取例如人的眼睛、嘴和鼻子的特性區域，從而在 輸入圖像中檢測面部的區域。在步驟S162，面部信息圖生成單元182利用來自面部檢測單元181的檢測結果產 生面部信息圖，並且提供面部信息圖給圖生成單元56。例如，假定作為輸入圖像中面部的檢測結果，已經檢測出輸入圖像中被估計為包 含面部的多個矩形區域(下文稱作候選區域)。這裡，假定在輸入圖像中某個位置附近可 以檢測到多個候選區域，並且這些候選區域的部分可以交疊。也就是說，例如，在針對輸入 圖像中面部的單獨區域獲得包含該面部的多個候選區域的情況下，這些候選區域的部分交疊。針對作為面孔檢測的結果而獲得的候選區域中的每個，面部信息圖生成單元182 產生與輸入圖像尺寸相同的檢測圖像。這個檢測圖像是這樣的檢測圖像的在與所處理的 候選區域相同的區域中的像素的像素值所取的值大於在與該候選區域不同的區域中的像 素的像素值。由於檢測圖像的像素與被估計為很可能包含人的面部的候選區域中的像素位置 相同，該檢測圖像的像素的像素值變大。面部信息圖生成單元182把以這種方式獲得的檢 測圖像相加以產生單個圖像，規格化該單個圖像，並且獲得面部信息圖。因此，在面部信息 圖中，在與輸入圖像中多個候選區域的部分交疊的區域相同的區域中的像素的像素值變 大，這意味著該像素更加可能包含面部。注意，執行規格化以使得面部信息圖的像素的像素 值取例如O和255之間的值。當產生面部信息圖時，面部信息提取處理結束，並且處理前進到圖9的步驟S45。以這種方式，面部信息提取單元M檢測輸入圖像中的面部，並且基於檢測結果產 生面部信息圖。根據以這種方式獲得的面部信息圖，能夠容易地檢測輸入圖像中作為被攝 對象的人的面部的區域。此外，參考圖14中的流程圖描述與圖9的步驟S45中的處理相對應的運動信息提 取處理。在步驟S191，局部運動向量提取單元211利用所提供的輸入圖像，通過梯度法等 等檢測輸入圖像的每個像素的局部運動向量，並且提供局部運動向量給差計算單元213。在步驟S192，全局運動向量提取單元212利用所提供的輸入圖像檢測全局運動向 量，並且提供全局運動向量給差計算單元213。在步驟S193，差計算單元213獲得來自局部運動向量提取單元211的局部運動向 量和來自全局運動向量提取單元212的全局運動向量之間的差的絕對值，並且產生運動差圖像。差計算單元213提供所產生的運動差圖像給運動信息圖生成單元214。在步驟S194，運動信息圖生成單元214規格化從差計算單元213提供的差圖像以 獲得運動信息圖，並且提供運動信息圖給圖生成單元56。這裡，執行差圖像的規格化，使得 每個像素的像素值取例如0和255之間的值。當產生運動信息圖時，運動信息提取處理結 束，並且處理前進到圖9的步驟S46。以這種方式，運動信息提取單元55基於輸入圖像檢測運動，並且基於檢測結果產 生運動信息圖。根據以這種方式獲得的運動信息圖，能夠容易地檢測輸入圖像中運動對象 的區域。在輸入圖像中，運動對象的區域是可能吸引粗略看過輸入圖像的觀察者的注意力， 即很可能是被攝對象的區域。根據前面描述的亮度信息提取處理到運動信息提取處理，獲得各個信息圖，並且 由這些信息圖產生被攝對象圖。下面參考圖15中的流程圖描述與圖8的步驟S12中的處理相對應的被攝對象區 域提取處理。在步驟S221，梯度圖生成單元22利用從被攝對象圖生成單元21中的圖生成單元 56提供的被攝對象圖產生梯度圖，並且提供梯度圖給閾值處理單元23、閾值處理單元M和 二值化圖生成單元26。例如，當被攝對象圖上彼此正交的兩個方向作為χ方向和y方向時，梯度圖生成單 元22產生指示被攝對象圖的χ方向上像素值的變化的χ方向梯度圖，以及指示被攝對象圖 的y方向上像素值的變化的1方向梯度圖。梯度圖生成單元22把所產生的χ方向梯度圖 和y方向梯度圖的和當作梯度圖。具體地，如圖16的左上部分所示，注意在被攝對象圖SM的圖例中垂直排列的線Ll 和線L2。線Ll上像素的像素值和線L2上像素的像素值之間的差的絕對值作為y方向梯度 圖的與線Ll上像素位置相同的像素的像素值。注意，在圖16中，假定圖例中的垂直方向作為y方向，並且圖例中的水平方向作為 χ方向。線Ll和線L2是沿χ方向排列的被攝對象圖SM的像素的線。在圖16中，在圖例中 比線Ll僅低兩個像素的像素的線作為線L2。例如，被攝對象圖SM的線Ll左端處的像素的像素值與線L2左端處的像素的像素 值之間的差的絕對值，作為y方向梯度圖的與線Ll左端處的像素位置相同的像素的像素 值。以這種方式獲得的y方向梯度圖指示像素的像素值在被攝對象圖SM的y方向上的變 化度，即是被攝對象的可能性的邊緣的強度。這裡，線Ll和線L2不是兩個鄰接的線，以防止輸入圖像的每個位置和該位置處是 被攝對象的可能性的變化度，即所獲得的差的絕對值之間發生偏移。注意，線L2不限於圖 例中比線Ll僅低兩個像素的線，線L2可以是任何線，只要線L2是比線Ll低兩個或更多像 素的線。類似地，如圖16的左下部分所示，注意在被攝對象圖SM的圖例中水平排列的線L3 和線L4。線L3上像素的像素值和線L4上像素的像素值之間的差的絕對值作為χ方向梯度 圖的與線L3上像素位置相同的像素的像素值。注意，線L3和線L4是沿y方向排列的被攝對象圖SM的像素的線。在圖16中，在 圖例中比線L3僅靠右兩個像素的像素的線作為線L4。
例如，被攝對象圖SM的線L3頂端處的像素的像素值與線L4頂端處的像素的像素 值之間的差的絕對值，作為X方向梯度圖的與線L3頂端處的像素位置相同的像素的像素 值。以這種方式獲得的χ方向梯度圖指示像素的像素值在被攝對象圖SM的χ方向上的變 化度，即是被攝對象的可能性的邊緣的強度。注意，線L4不限於圖例中比線L3僅靠右兩個像素的線，線L4可以是任何線，只要 線L4是比線L3靠右兩個或更多像素的線。梯度圖生成單元22把以這種方式獲得的χ方向梯度圖和y方向梯度圖相加以產 生梯度圖GM。也就是說，當假定被攝對象圖GM上被付予注意力的像素作為被注意像素時， χ方向梯度圖的與被注意像素位置相同的像素的像素值與y方向梯度圖的與該被注意像素 位置相同的像素的像素值的和作為該被注意像素的像素值。注意，梯度圖的像素的像素值 越大，則與該像素位置相同的輸入圖像的像素更加可能是被攝對象區域中包含的像素。當使用以這種方式獲得的梯度圖時，與被攝對象圖相比，能夠更加確定地指定圖 像中被攝對象的位置。例如，被攝對象圖中被攝對象的區域內像素的像素值隨著像素接近該被攝對象的 中央區域而變大，並且隨著像素遠離被攝對象的中心而變小。現在，假定被攝對象圖中被攝 對象的區域內的像素值從輪廓部分到被攝對象的中央部分沿相同梯度變化。在這樣的情況下，在被攝對象圖中，當包含像素值大於或等於預定閾值的像素的 區域被當作被攝對象的區域時，被當作被攝對象的區域的尺寸根據閾值的值而變化。因而， 變得難以從輸入圖像中準確地提取被攝對象的區域。具體地，閾值越大，則被當作被攝對象 的區域越小。當閾值過小時，由於噪聲的影響，不是被攝對象的區域也被當作被攝對象的區 域。相對比地，梯度圖的每個像素的像素值指示是被攝對象的可能性的變化度，即被 攝對象的像素值的梯度。因此，在被攝對象圖上被攝對象的區域中的像素值從輪廓部分到 被攝對象的中央部分沿相同梯度變化的情況下，被攝對象的區域內所有像素的像素值在梯 度圖上取基本相同的值。因此，利用梯度圖從輸入圖像提取的被攝對象的區域的尺寸未根 據閾值變化太多，並且能夠更加準確地提取被攝對象的區域。回來參照圖15中的流程圖的描述，在步驟S222，閾值處理單元23利用從梯度圖生 成單元22提供的梯度圖計算用於提取被攝對象的高閾值THh。例如，如圖17所示，閾值處理單元23基於梯度圖GM產生直方圖HS，其中以梯度圖 的像素值的範圍作為區間(bin)。具體地，在梯度圖GM的像素的像素值可以取的值的範圍為0到1的情況下，產生 具有100個區間的直方圖，其中水平軸是區間的值，垂直軸是梯度圖GM的屬於每個區間的 像素的數目，即像素的頻率值。例如，像素值在0到0. 01的範圍內的梯度圖GM的像素屬於 一個區間，該區間的中值為0. 005。接著，閾值處理單元23對所產生的直方圖HS的每個區間的頻率值進行二值化，並 且產生通過把區間的二值化值按照區間的中值的升序排列而獲得的信息，作為直方圖區間 信息HBI。這裡，通過在區間的頻率值為0的情況下把二值化值取為0並且在區間的頻率值 為不同於0的正數值的情況下把二值化值取為1，來進行區間的頻率值的二值化。因此，例 如，在具有最小中值的區間的頻率值為5的情況下，直方圖區間信息HBI的頭的值為1。
此外，閾值處理單元23把從直方圖區間信息HBI的尾部開始、二值化值為1的預 定第a個(例如，第18個)區間的中值作為高閾值THh。例如，假定從尾部開始，直方圖區間 信息HBI的值按照所列順序為〃 1〃、『『 0〃、『『 1〃和〃 1〃，並且上述a的值為〃 3"。 在這樣的情況下，由於從直方圖區間信息HBI的尾部開始二值化值為1的第三個區間是與 從直方圖區間信息HBI的尾部開始的第四個值相對應的區間，該區間的中值被當作高閾值 THh。回來參照圖15中的流程圖，在步驟S223，閾值處理單元對利用從梯度圖生成單元 22提供的梯度圖計算用於提取被攝對象的低閾值THl。例如，閾值處理單元M產生與閾值處理單元23所產生的直方圖相同的直方圖，並 且獲得與整個梯度圖的像素數目的預定百分比b(例如，百分之1 相對應的像素數目B。 閾值處理單元M把梯度圖的像素中具有第B最大像素值的像素所屬於的直方圖的區間的 中值作為低閾值TH1。也就是說，在整個梯度圖中，在具有較大像素值的前百分之b個像素中，選擇具有 最小像素值的像素，並且該像素所屬的區間的中值被當作低閾值TH1。如上所述獲得的低閾值THl和高閾值THh被用於利用梯度圖從輸入圖像中提取被 攝對象區域。低閾值THl是用於從輸入圖像中提取被認為可能包含被攝對象的區域的閾值。也 就是說，在梯度圖中，在輸入圖像的與包含像素值大於或等於低閾值THl的像素的區域位 置相同的區域中，存在肯定包含被攝對象的區域，但是也存在不包含被攝對象但包含噪聲 的區域。高閾值THh是用於提取被認為很可能肯定包含被攝對象的區域，即可能是被攝對 象的區域的閾值。也就是說，在梯度圖中，輸入圖像的與包含像素值大於或等於高閾值THh 的像素的區域位置相同的區域很可能肯定包含被攝對象，但是該區域可能窄於實際被攝對 象的區域。因此，除被當作被攝對象區域的區域之外，輸入圖像可包含實際包含被攝對象的 區域。這裡，關於高閾值THh和低閾值TH1，預先統計獲得用於得到這些閾值的常數a和 b，使得高閾值THh成為大於低閾值THl的值。因此，基於低閾值THl被指定為被攝對象的區域的輸入圖像的區域始終包含基於 高閾值THh被指定為被攝對象的區域的輸入圖像的區域。也就是說，可以認為，與利用低閾 值THl檢測可能是被攝對象的區域相比，高閾值THh是用於更加肯定地檢測可能是被攝對 象的區域的閾值。注意，在低閾值THl變得大於高閾值THh的情況下，所獲得的低閾值THl可以被用 作高閾值THh，並且所獲得的高閾值THh可以被用作低閾值TH1。常數a和b可以改變為預 先獲得的其它值，並且可以再次獲得高閾值THh和低閾值TH1。此外，雖然已經描述了基於梯度圖獲得高閾值THh和低閾值TH1，然而可以預先確 定高閾值THh和低閾值THl。在步驟S2M，閾值處理單元23和閾值處理單元M利用所獲得的高閾值THh和低 閾值THl進行梯度圖的閾值處理，並且產生閾值圖。也就是說，閾值處理單元23把要產生的閾值圖上被付予注意力的像素當作被注意像素。在與被注意像素位置相同的梯度圖的像素的像素值大於或等於高閾值THh的情況 下，閾值處理單元23把被注意像素的像素值取為1。在與被注意像素位置相同的梯度圖的 像素的像素值小於高閾值THh的情況下，閾值處理單元23把被注意像素的像素值取為0。 閾值處理單元23把以這種方式獲得閾值圖提供給複合圖生成單元25。類似地，閾值處理單元M把要產生的閾值圖上被付予注意力的像素當作被注意 像素。在與被注意像素位置相同的梯度圖的像素的像素值大於或等於低閾值THl的情況 下，閾值處理單元M把被注意像素的像素值取為1。在與被注意像素位置相同的梯度圖的 像素的像素值小於低閾值THl的情況下，閾值處理單元M把被注意像素的像素值取為0。 閾值處理單元M把以這種方式獲得閾值圖提供給複合圖生成單元25。在步驟S225，複合圖生成單元25基於從閾值處理單元23和閾值處理單元M提供 的閾值圖產生複合圖。具體地，複合圖生成單元25把從閾值處理單元23提供的閾值圖和從閾值處理單 元對提供的閾值圖相加以產生單個新圖。也就是說，當假定要新產生的圖上被付予注意力 的像素作為被注意像素時，兩個閾值圖的與被注意像素位置相同的像素的像素值的和作為 被注意像素。因此，要新產生的圖的像素的像素值取值0、1和2中的任何值。相應地，例如，獲得在圖18的圖的左側圖示的圖M。注意，在圖18中，一個矩形指 示圖上的一個像素，並且矩形內的數字指示該矩形表示的像素的像素值。沒有數字的矩形 表示像素值為0的像素。在圖的左側的圖M上，存在多個區域，其中像素值為1或2的像素彼此鄰接，這些 區域被當作可能包含被攝對象的區域。接著，如圖的中心處所示，複合圖生成單元25把包含像素值為1或2的像素並且 包含鄰接像素的區域作為連接區域。例如，在圖例的中心的示例中，四個區域CRl到CR4被 當作連接區域。此外，從圖M上的連接區域中，複合圖生成單元25選擇包含像素值為2的像素並 且具有三個或更多像素的面積的連接區域。複合圖生成單元25把所選擇的連接區域內的 像素的像素值取為1，把其它像素的像素值取為0，並且把作為此結果而獲得的圖作為複合 圖。例如，在圖18的示例中，在區域CRl到區域CR4中，面積小於三個像素的連接區 域CR3和不包含像素值為2的像素的連接區域CR4被排除，並且如圖的右側所示，選擇區域 CRl和區域CR2。這些區域CRl和區域CR2是包含像素值為2的像素並且具有三個或更多 像素的面積的區域。所選擇的區域CRl和區域CR2內的像素的像素值取為1，其它像素的像素值取為 0，從而產生複合圖。在複合圖中，像素值為1的像素是被認為包含在被攝對象區域中的像 素，像素值為0的像素是被認為未包含在被攝對象區域中的像素。這裡，在產生複合圖之前的圖M中，被當作連接區域的區域是這樣的區域在梯度 圖中，該區域包含像素值大於或等於高閾值THh和低閾值THl中至少一個閾值的的像素。因 此，可以認為圖M的連接區域指示被攝對象區域的候選。在產生複合圖時，由於以下原因從圖M的連接區域中排除不包含像素值為2的像 素和具有小於三個像素的面積的連接區域。
也就是說，像素值為2的圖M的像素指示與該圖M的像素位置相同的梯度圖的像 素的像素值大於高閾值THh和低閾值TH1。也就是說，指示出與該像素位置相同的輸入圖像 的區域很可能是被攝對象區域。相對比地，像素值為1的圖M的像素指示與該圖M的像素位置相同的梯度圖的像 素的像素值大於低閾值TH1，但是小於高閾值THh。也就是說，指示出與該像素位置相同的 輸入圖像的區域可能是被攝對象區域，儘管不肯定。因此，在圖M中，包含更多像素值為2的像素的連接區域更加可能是被攝對象區 域，並且只包含像素值為1的像素的連接區域可能是被攝對象區域，但是概率不太高。因 而，從被攝對象區域的候選中排除只包含像素值為1的像素的連接區域允許更多準確地從 輸入圖像中提取被攝對象區域。通常，具有小面積的區域非常可能是噪聲區域，而不是被攝對象區域。因而，面積 小於某個預定面積的連接區域，例如面積小於三個像素的連接區域被從被攝對象區域的候 選中排除。相應地，能夠更多準確地從輸入圖像中提取被攝對象區域。當複合圖生成單元25如上所述產生複合圖時，複合圖生成單元25提供所產生的 複合圖給二值化圖生成單元26。回來參照圖15中的流程圖的描述，在步驟，二值化圖生成單元沈利用來自梯 度圖生成單元22的梯度圖獲得針對來自複合圖生成單元25的複合圖的每個連接區域的閾值。在步驟S227，二值化圖生成單元沈利用所獲得的閾值進行每個連接區域的閾值 處理，並且產生二值化圖。例如，如圖19所示，二值化圖生成單元沈獲得梯度圖GM和複合圖CM的邏輯〃 與"。注意，在圖19中，一個矩形指示圖上的一個像素，並且矩形內的數字指示該矩形表示 的像素的像素值。假定基於邏輯〃與〃獲得的圖作為圖AM，並且圖AM上被付予注意力的像素作為 被注意像素。在這樣的情況下，二值化圖生成單元26獲得梯度圖GM的與被注意像素位置 相同的像素的像素值與複合圖CM的與被注意像素位置相同的像素的像素值的乘積，並且 把作為其結果獲得的值當作被注意像素的像素值。由於在複合圖CM中只有被當作連接區域的區域CRl和區域CR2的像素的像素值 為1，圖AM的區域CRl'和區域CR2'中的像素的像素值是梯度圖GM的與那些像素位置相 同的像素的像素值。圖AM的未包含在區域CRl'和區域CR2'中的像素的像素值全部為0。注意，圖AM的區域CRl'和區域CR2'是與複合圖CM的區域CRl和區域CR2位置 相同的區域。下文中這些區域CRl'和區域CR2'也被稱作連接區域。接著，二值化圖生成單元沈獲得針對所獲得的圖AM的每個連接區域的閾值。例 如，二值化圖生成單元26獲得圖AM的連接區域內像素的像素值中的最大值，並且把針對該 值預先獲得的值作為該連接區域的閾值。例如，假定在連接區域內的像素值的最大值為4或更大的情況下該連接區域的閾 值為4。在連接區域內的像素值的最大值小於4的情況下，該連接區域的閾值為1。在這樣的情況下，由於圖AM的區域CRl'內的像素的像素值的最大值為9，二值化 圖生成單元沈把區域CRl'的閾值取為4。類似地，由於圖AM的區域CR2'內的像素的像素值的最大值為3，二值化圖生成單元沈把區域CR2'的閾值取為1。注意，預先統計獲得連接區域的閾值。更具體地，由於梯度圖的像素的像素值取0 和1之間的值，例如，如果連接區域內的像素值的最大值為0. 4或越大，則閾值為0. 33，如果 連接區域內的像素值的最大值小於0. 4，則閾值為0. 08。此外，設置連接區域的閾值，使得例如隨著連接區域內的像素值的最大值變大，閾 值也變大。這是由於當具有較大像素值的像素被包含在連接區域中時，能夠估計出真正是 被攝對象區域的某個部分中包含的像素的像素值，即與該像素位置相同的梯度圖GM的像 素值也變大。因此，從作為被攝對象區域的候選的連接區域中提取僅包含像素值大於或等於針 對該連接區域確定的閾值的像素的區域應當允許提取被真正估計為被攝對象區域的區域。因此，二值化圖生成單元沈基於分別針對區域CRl 『和區域CR2 『獲得的閾值二 值化圖AM，並且獲得二值化圖TM。具體地，在圖AM的區域CRl'內的像素中，二值化圖生成單元沈把像素值大於或 等於區域CRl'的閾值4的像素的像素值取為1，並且把像素值小於區域CRl'的閾值4的 像素的像素值取為0。此外，在圖AM的區域CR2'內的像素中，二值化圖生成單元沈把像 素值大於或等於區域CR2'的閾值1的像素的像素值取為1，並且把像素值小於區域CR2' 的閾值1的像素的像素值取為0。例如，在圖19的圖的右側的示例中，假定所獲得的二值化圖TM的兩個區域SRl和 區域SR2內的像素的像素值為1，並且其它像素的像素值為0。[210]也就是說，假定在被當作連接區域的區域CRl'中只有區域SRl內的像素的 像素值為1，並且CRl'的其它區域內的像素的像素值為0。假定在被當作連接區域的區域 CR2'中，區域CR2'內的像素的像素值全部為1。在以這種方式獲得的二值化圖TM中，包含像素值為1的像素的區域是真正估計為 被攝對象區域的區域。因此，例如，在輸入圖像中，與二值化圖TM的區域SRl和區域SR2位 置相同的區域被當作被攝對象區域。當二值化圖生成單元沈產生二值化圖時，二值化圖生成單元沈提供所產生的二 值化圖給矩形整形單元27。回來參照圖15中的流程圖的描述，在步驟，矩形整形單元27基於從二值化圖 生成單元沈提供的二值化圖指定被攝對象區域，並且提供指示被攝對象區域的被攝對象 區域信息給顯示控制單元觀。例如，在圖20的左側圖示的二值化圖TM被提供給矩形整形單元27的情況下，矩 形整形單元27在二值化圖TM中把包含像素值為1的像素並且包含鄰接像素的區域作為連 接區域。例如，在處於附圖的中心的示例中，兩個區域SRl和區域SR2被當作連接區域。如附圖的右側所示，矩形整形單元27把圍繞作為連接區域的區域SRl和區域SR2 的矩形框Wl和矩形框W2作為圍繞被攝對象區域的被攝對象框的位置，並且產生指示框Wl 和框W2的位置的信息作為被攝對象區域信息。矩形整形單元27提供所產生的被攝對象區 域信息給顯示控制單元觀。像在圖20的示例中那樣，形成指示被攝對象區域矩形的區域，把這些矩形作為框 Wl和框W2，以及產生指示這些框區域的被攝對象區域信息允許在後續階段利用應用程式容易地顯示被攝對象框。也就是說，基於所指定的被攝對象的區域確定圍繞被攝對象的框 的處理變得不必要。當以這種方式從矩形整形單元27給顯示控制單元觀提供被攝對象區域信息時， 被攝對象區域提取處理結束，並且處理前進到圖8的步驟S13。在上述方式中，圖像處理設備11基於被攝對象圖產生梯度圖，並且基於通過利用 兩個閾值進行梯度圖的閾值處理而獲得的圖來指定被攝對象區域。以這種方式基於被攝對象圖產生梯度圖和基於通過利用兩個閾值進行梯度圖的 閾值處理而獲得的圖來指定被攝對象區域允許更多準確地規定圖像中的被攝對象的區域。也就是說，由於如上所述梯度圖的像素的像素值被當作這樣的值該值表示指示 是被攝對象的可能性的值的變化度，與被攝對象圖相比，能夠更加肯定地從圖像中提取被 攝對象區域。把通過下述處理獲得的閾值圖相加允許排除噪聲區域並且更加準確地提取應當 作為被攝對象的區域利用值不同的兩個閾值進行梯度圖的閾值處理，以及根據是否滿足 特定條件對作為閾值處理的結果而獲得的圖的像素進行二值化。上述系列處理可通過硬體或軟體執行。在用軟體執行所述系列處理的情況下，從 程序記錄介質把構成軟體的程序安裝到內置於專用硬體中的計算機中，或者安裝到通過在 其中安裝各種程序而能夠執行各種功能的通用個人計算機中。圖21是圖示了按照程序執行上述系列處理的計算機的硬體配置示例的模塊圖。在該計算機中，CPU (中央處理器)301、ROM (只讀存儲器)302和RAM(隨機存取存 儲器)303通過總線304相互連接。此外，輸入/輸出接口 305與總線304連接。包括鍵盤、滑鼠、麥克風等的輸入單元 306，包括顯示器、揚聲器等的輸出單元307，包括硬碟、非易失性存儲器等的記錄單元308， 包括網絡接口等的通信單元309，驅驅動可移除介質，比如磁碟、光碟、磁光碟或半導體存儲 器的驅動器310與輸入/輸出接口 305連接。在如上所述構成的計算機中，CPU 301通過輸入/輸出接口 305和總線304，把記 錄在記錄單元308中的程序載入RAM 303中，並執行該程序，從而執行上述系列處理。由計算機(CPU 301)執行的程序被記錄在用作封裝介質的可移除介質311，比如 磁碟(包括軟盤)，光碟(包括⑶至R0M(壓縮磁碟只讀存儲器)、DVD(數字通用磁碟) 等)，磁光碟，半導體存儲器等中，或藉助有線或無線傳輸介質，比如區域網、網際網路或數字 衛星廣播來提供。通過把可移除介質311裝入驅動器310中，可經輸入/輸出接口 305把程序安裝 到記錄單元308中。也可經有線或無線傳輸介質在通信單元309接收程序，並將其安裝到 記錄單元308中。或者，程序可被預先安裝在ROM 302或記錄單元308中。由計算機執行的程序可以是藉助其按照在說明書中描述的次序，順序地執行各個 處理的程序，或者可以是藉助其並行地，或者在需要時(例如，當被調用時)執行各個處理 的程序。本發明的實施例並不局限於上述實施例，可以做出各種修改，而不脫離本發明的 範圍和精神。附圖標記列表
11圖像處理設備，21被攝對象圖生成單元，22梯度圖生成單元，23閾值處理單元， 24閾值處理單元，25複合圖生成單元，26 二值化圖生成單元，27矩形整形單元，28顯示控制單元。
權利要求
1.一種圖像處理設備，包括被攝對象圖生成裝置，用於從輸入圖像中提取所述輸入圖像中被攝對象的區域中包含 的特徵的特徵量，並且產生被攝對象圖，所述被攝對象圖指示所述輸入圖像的每個區域是 被攝對象的區域的可能性；第一閾值處理裝置，用於通過利用第一閾值執行閾值處理來二值化所述被攝對象圖， 並且產生用於指定包含被攝對象的連接區域的第一閾值圖；第二閾值處理裝置，用於通過利用第二閾值執行閾值處理來二值化所述被攝對象圖， 並且產生第二閾值圖，所述第二閾值圖用於指定在基於所述第一閾值圖指定的連接區域中 並且可能是被攝對象的區域；和複合圖生成裝置，用於通過在基於所述第一閾值圖指定的一個或多個連接區域中，把 包含基於所述第二閾值圖而指定為可能是被攝對象的區域的區域的連接區域當作被攝對 象的區域，來產生用於指定所述輸入圖像中被攝對象的區域的複合圖。
2.如權利要求1所述的圖像處理設備，其中，所述複合圖生成裝置通過在包含基於所述第二閾值圖而指定為可能是被攝對 象的區域的區域的連接區域中，把具有預定面積或更大面積的連接區域當作被攝對象的區 域，來產生所述複合圖。
3.如權利要求1所述的圖像處理設備，其中，所述複合圖是這樣的信息在所述信息中，與所述輸入圖像的每個區域相對應地 布置指示所述輸入圖像的每個區域是否被攝對象的區域的二值信息，並且其中，所述圖像處理設備還包括被攝對象指定信息生成裝置，用於通過獲得所述複合 圖和所述被攝對象圖的邏輯"與"並且利用第三閾值執行閾值處理以二值化所述邏輯" 與"的運算結果，產生指定所述輸入圖像中被攝對象的區域的被攝對象指定信息。
4.如權利要求3所述的圖像處理設備，其中，所述被攝對象指定信息生成裝置針對與基於所述複合圖而指定為被攝對象的區 域的被攝對象區域相同的每個區域，基於所述被攝對象圖獲得所述邏輯"與"的運算結果 中的第三閾值。
5.如權利要求1所述的圖像處理設備，還包括梯度圖生成裝置，用於基於所述被攝對象圖產生梯度圖，所述梯度圖指示由被攝對象 圖指示的所述輸入圖像的每個區域是被攝對象的區域的可能性的變化度，其中，所述第一閾值處理裝置和所述第二閾值處理裝置執行所述梯度圖的閾值處理， 並且產生第一閾值圖和第二閾值圖。
6.如權利要求5所述的圖像處理設備，其中，所述第一閾值處理裝置和所述第二閾值 處理裝置基於所述梯度圖計算所述第一閾值和所述第二閾值。
7.一種用於圖像處理設備的圖像處理方法，所述圖像處理設備包含被攝對象圖生成裝置，用於從輸入圖像中提取所述輸入圖像中被攝對象的區域中包含 的特徵的特徵量，並且產生被攝對象圖，所述被攝對象圖指示所述輸入圖像的每個區域是 被攝對象的區域的可能性；第一閾值處理裝置，用於通過利用第一閾值執行閾值處理來二值化所述被攝對象圖， 並且產生用於指定包含被攝對象的連接區域的第一閾值圖；第二閾值處理裝置，用於通過利用第二閾值執行閾值處理來二值化所述被攝對象圖， 並且產生第二閾值圖，所述第二閾值圖用於指定在基於所述第一閾值圖指定的連接區域中 並且可能是被攝對象的區域；和複合圖生成裝置，用於通過在基於所述第一閾值圖指定的一個或多個連接區域中，把 包含基於所述第二閾值圖而指定為可能是被攝對象的區域的區域的連接區域當作被攝對 象的區域，來產生用於指定所述輸入圖像中被攝對象的區域的複合圖， 所述圖像信號處理方法包括步驟由所述被攝對象圖生成裝置基於所述輸入圖像產生所述被攝對象圖，由所述第一閾值處理裝置通過利用所述第一閾值執行閾值處理來產生所述第一閾值圖；由所述第二閾值處理裝置通過利用所述第二閾值執行閾值處理來產生所述第二閾值 圖；和由所述複合圖生成裝置基於所述第一閾值圖和所述第二閾值圖產生所述複合圖。
8. 一種程序，其使計算機執行包括下述步驟的處理從輸入圖像中提取所述輸入圖像中被攝對象的區域中包含的特徵的特徵量，並且產生 被攝對象圖，所述被攝對象圖指示所述輸入圖像的每個區域是被攝對象的區域的可能性；通過利用第一閾值執行閾值處理來二值化所述被攝對象圖，並且產生用於指定包含被 攝對象的連接區域的第一閾值圖；通過利用第二閾值執行閾值處理來二值化所述被攝對象圖，並且產生第二閾值圖，所 述第二閾值圖用於指定在基於所述第一閾值圖指定的連接區域中並且可能是被攝對象的 區域；和通過在基於所述第一閾值圖指定的一個或多個連接區域中，把包含基於所述第二閾值 圖而指定為可能是所述被攝對象的區域的區域的連接區域當作所述被攝對象的區域，來產 生用於指定所述輸入圖像中所述被攝對象的區域的複合圖。
全文摘要
公開了使得能夠更加準確地識別圖像中的被攝對象的圖像處理設備、方法和程序。被攝對象圖生成單元(21)由輸入圖像產生被攝對象圖，被攝對象圖指示輸入圖像的每個區域中被攝對象的區域相似性。梯度圖生成單元(22)產生梯度圖，梯度圖指示被攝對象圖中被攝對象相似性的變化度。閾值處理單元(23)和閾值處理單元(24)利用高閾值(THh)和低閾值(THl)二值化梯度圖以獲得閾值圖。假設包含通過具有低閾值(THl)的閾值圖被識別為有被攝對象相似性的區域中的通過具有高閾值(THh)的閾值圖被識別為有被攝對象相似性的區域的區域是被攝對象的區域，複合圖生成單元(25)產生複合圖，複合圖指示輸入圖像的每個區域中的被攝對象相似性。本發明適用於圖像處理設備。
文檔編號H04N5/232GK102084397SQ201080002046
公開日2011年6月1日 申請日期2010年5月6日 優先權日2009年5月13日
發明者亀谷敬, 木下雅也, 村山淳, 橫川昌俊, 相坂一樹 申請人:索尼公司