檢測裝置、檢測方法及檢測用集成電路的製作方法
2023-11-03 23:43:02 2
專利名稱:檢測裝置、檢測方法及檢測用集成電路的製作方法
技術領域:
本發明涉及一種圖像處理技術,特別是涉及一種從輸入圖像檢測出規 定圖像的技術。
背景技術:
作為從輸入圖像檢測出比輸入圖像小的特定圖像(例如臉部圖像)的 方法,已知有通過對照作為特定圖像檢測用模板的對照用圖像與輸入圖像 而檢測出特定圖像的方法。在該方法中,從矩形輸入圖像的左上的像素至 右下的像素, 一邊挪動比輸入圖像小的一定尺寸的對照用圖像, 一邊與輸 入圖像進行對照,因此,如果想在短時間內檢測出特定圖像,就存在需要 處理能力比較高的處理器和存儲容量比較大的存儲器等的問題。
作為解決該問題的方法,考慮有如下方法,g卩,僅將輸入圖像中的一 部分區域作為用於檢測特定圖像的區域(以下稱為"檢測對象區域"),並 僅在該檢測對象區域內與對照用圖像進行對照。作為使用該方法的技術, 例如有專利文獻l。
圖14是專利文獻1的圖像處理裝置的功能框圖。
該圖像處理裝置能夠利用於一般道路的車輛檢測等,切出單元從由高 析像度照相機輸出的高析像度圖像中的檢測對象區域的圖像生成低析像度 圖像,檢測單元使用該低析像度圖像檢測車輛等。
並且,圖15是表示專利文獻1的圖像處理裝置的檢測對象區域的圖。
該圖表示高析像度照相機的圖像(高析像度圖像)的檢測對象區域, 該高析像度照相機以拍攝縱方向上相同行進方向的2個車線的方式設置, 該圖像處理裝置中,對於由高析像度照相機依次輸出的各高析像度圖像, 交替地選擇檢測對象區域二等分後的各範圍(以下,將該範圍稱作"對照 對象區域"),使用所選擇的對照對象區域的圖像(部分圖像)進行車輛的 檢測等。據此,即使在輸入圖像(高析像度圖像)的尺寸比較大的情況下,
5由於僅在檢測對象區域內進行車輛的檢測等,因此能夠抑制用於檢測的處 理量,而由處理能力比較低的處理器等進行處理。
並且,作為對照輸入圖像和對照用圖像來檢測特定圖像時的一般技術,
例如有專利文獻2。
圖16是專利文獻2的臉部檢測裝置的功能框圖。
該臉部檢測裝置具有模板尺寸輸入圖像標度變換確定部,在將輸入圖 像變換(擴大或縮小)為縮小率不同的多個圖像之後進行各圖像與對照用 圖像的對照。據此,即使在包含於輸入圖像的特定圖像的大小和包含於對 照用圖像的特定圖像的大小不同的情況下,也能夠從輸入圖像檢測出特定 圖像。
專利文獻l:日本特開2005-173787號公報 專利文獻2:日本特開2004-30629號公報
但是, 一般的移動物體不僅限於如一般道路上的車輛等那樣移動路徑 固定的物體,還存在在橫跨圖15表示的檢測對象區域中的各對照對象區域 的位置移動的情況。在該情況下,存在以下問題即使組合專利文獻1和 專利文獻2的技術,由於對照對象區域的圖像(部分圖像)中不包含移動 物體整體,所以不能夠通過與對照用圖像對照來檢測出該移動物體。
為了解決該問題,雖然也可以考慮使對照對象區域的尺寸可變,但是 與使對照對象區域的尺寸恆定的情況相比較,造成硬體資源的浪費,因此 不能說是優選方法。對照對象區域的尺寸恆定的情況下,在檢測對象區域 的尺寸比對照對象區域的尺寸大時,需要將檢測對象區域劃分為對照對象 區域的尺寸來進行處理。
發明內容
因此,本發明是鑑於以上問題而做出的,目的是提供一種即使在對照 對象區域的尺寸恆定的情況下,也能夠可靠地檢測出撿測對象區域所包含 的特定圖像的檢測裝置。
為了解決上述課題,本發明的檢測裝置是從輸入圖像檢測出特定圖像 的檢測裝置,其特徵在於,具有區域確定單元,在上述輸入圖像中,確
定上述特定圖像能夠存在的檢測對象區域;設定單元,以用分別為一定尺寸的多個對照對象範圍覆蓋上述區域確定單元所確定的檢測對象區域的方 式,並且以各個對照對象範圍與其他對照對象範圍重疊規定寬度量的方式,
來設定各對照對象範圍的位置;以及對照單元,對於每個上述設定單元所 設定的對照對象範圍,對照該對照對象範圍的圖像和對照用圖像,由此檢 測出上述特定圖像。
為了解決上述課題,本發明的檢測方法是使用從輸入圖像檢測出特定 圖像的檢測裝置的檢測方法,其特徵在於,具有區域確定步驟,在上述 輸入圖像中,確定上述特定圖像能夠存在的檢測對象區域;設定步驟,以 用分別為一定尺寸的多個對照對象範圍覆蓋上述區域確定單元所確定的檢 測對象區域的方式,並且以各個對照對象範圍與其他對照對象範圍重疊規 定寬度量的方式,來設定各對照對象範圍的位置;以及對照步驟,對於每 個上述設定單元所設定的對照對象範圍,對照該對照對象範圍的圖像與對 照用圖像,由此檢測出上述特定圖像。
並且,為了解決上述課題,本發明的檢測用集成電路是使用從輸入圖 像檢測出特定圖像的檢測裝置的檢測用集成電路,其特徵在於,具有區 域確定單元,在上述輸入圖像中,確定上述特定圖像能夠存在的檢測對象 區域;設定單元,以用分別為一定尺寸的多個對照對象範圍覆蓋上述區域 確定單元所確定的檢測對象區域的方式,並且以各個對照對象範圍與其他 對照對象範圍重疊規定寬度量的方式,來設定各對照對象範圍的位置;以 及對照單元,對於每個上述設定單元所設定的對照對象範圍,對照該對照 對象範圍的圖像與對照用圖像,由此檢測出上述特定圖像。
這裡,所謂以用分別為一定尺寸的多個對照對象範圍覆蓋檢測對象區 域的方式,是指檢測對象區域的整個區域包含於任意一個對照對象範圍。 並且,所謂對照用圖像是指用於檢測特定圖像的模板圖像。
發明效果
具有上述結構的本發明的檢測裝置,由於以各個對照對象範圍與其他 對照對象範圍重疊規定寬度量的方式來設定各對照對象範圍的位置,所以, 能夠提高對假設在如下情況下不能被檢測出的分散包含於多個對照對象範 圍的特定圖像得以檢測的可能性,所述情況是指以各個對照對象範圍與其 他對照對象範圍不重疊的方式來設定各對照對象範圍的位置的情況。並且,上述檢測裝置也可以為,還具有倍率確定單元,該倍率確定單 元確定關於各對照對象範圍的圖像的倍率,由上述設定單元進行的各對照 對象範圍的位置的設定,以與其它對照對象範圍重疊如下寬度量的方式進 行,該寬度量與上述倍率確定單元所確定的倍率對應,由上述對照單元進 行的各對照對象範圍的圖像與對照用圖像的對照,對以如下倍率改變了各 對照對象範圍的圖像的尺寸的各圖像進行,該倍率是上述倍率確定單元所 確定的倍率。
據此,本發明的檢測裝置由於各對照對象範圍與其它對照對象範圍重 疊與倍率確定單元所確定的倍率相對應的寬度,因此,與重疊寬度為任意 寬度的情況比較,能夠更高效地檢測出特定圖像。
並且,也可以為,上述檢測對象區域是上述輸入圖像的一部分的矩形 區域,上述對照對象範圍是上述檢測對象區域的一部分的矩形區域,上述 倍率是多個縮小率,上述檢測裝置還具有存儲單元,該存儲單元對於每個 縮小率存儲各對照對象範圍的與其它對照對象範圍重疊的寬度,由上述倍 率確定單元進行的倍率確定以及由上述設定單元進行的各對照對象範圍的 設定,基於上述存儲單元存儲的信息而進行,上述對照單元包含縮小單元, 該縮小單元對於每個上述倍率確定單元所確定的縮小率,以該縮小率縮小 各對照對象範圍的圖像。
據此,本發明的檢測裝置,對於每個縮小率,存儲各對照對象範圍的 與其它的對照對象範圍的重疊寬度,基於此設定對照對象範圍的位置,所 以,與每次都算出對照對象範圍的位置的情況相比,能夠高速地進行處理。
並且,本發明的檢測裝置,對於每個倍率確定單元所確定的縮小率, 對以該縮小率縮小後的各圖像與對照用圖像進行對照,所以,能夠不使用 多個對照用圖像而檢測出與對照用圖像的尺寸不同尺寸的特定圖像。
並且,上述檢測裝置也可以為,還具有第2縮小單元,將輸入圖像縮 小到與上述對照對象範圍的尺寸相同的尺寸;以及第2對照單元,通過對 照由上述第2縮小單元縮小的輸入圖像與上述對照用圖像而檢測出上述特 定圖像
據此,本發明的檢測裝置由於能夠通過對照將輸入圖像縮小至與對照 對象範圍的尺寸相同的尺寸的圖像與對照用圖像而檢測出特定圖像,所以,即使對於完全佔據並包含於輸入圖像的特定圖像也能夠進行檢測。
並且,上述檢測裝置也可以為,還具有檢測單元,該檢測單元從上述 輸入圖像檢測出表示移動物體的區域,由上述區域確定單元進行的檢測對 象區域的確定,基於上述檢測單元所檢測出的區域而進行。
據此,本發明的檢測裝置由於將檢測出輸入圖像中的移動物體的區域, 即,將包含特定圖像的可能性高的區域確定為檢測對象區域,所以,能夠 更高效地檢測出特定圖像。
並且,上述檢測裝置也可以為,還具有圖像輸入單元,該圖像輸入單 元按照拍攝順序取得外部照相機裝置依次拍攝的多個輸入圖像,上述區域 確定單元,以上述圖像輸入單元所取得的規定數量的輸入圖像作為一個單 位,在每個單位中,對於取得順序為最先的輸入圖像,將整個區域確定為 上述檢測對象區域,在上述對照單元對該輸入圖像檢測出上述特定圖像的 情況下,以包含與含有該特定圖像的區域位置相同的區域的方式確定後續 於該輸入圖像的輸入圖像的檢測對象區域。
據此,在將輸入圖像的整個區域確定為檢測對象區域並檢測出特定圖 像的情況下,將與包含該特定圖像的輸入圖像上的位置相同位置的區域確 定為後續輸入圖像的檢測對象區域,所以,能夠由包含特定圖像的可能性 高的區域更高效地檢測出特定圖像。
圖l是圖像處理裝置ioo的功能框圖。
圖2是用於說明通過臉部檢測裝置160進行的臉部檢測方法的附圖。
圖3是表示縮小ID與縮小率等之對應的一個例子的附圖。
圖4是用於說明檢測對象區域的確定方法的附圖。
圖5是用於說明對照對象區域的設定方法的附圖。
圖6是表示各對照對象區域的重疊量與移動量的一個例子的附圖。
圖7是用於說明高析像度圖像數據1000在圖像存儲器130上的配置的附圖。
圖8是表示圖像處理裝置IOO的動作的流程圖。
圖9是表示通過處理器150進行的對照對象區域的設定處理得流程
9圖。
圖IO是圖像處理裝置200的功能框圖。
圖ll是表示圖像處理裝置200的動作的流程圖。
圖12是用於說明臉部檢測裝置210能夠檢測的臉部圖像的大小的附圖。
圖13是表示包含實施方式1說明的臉部檢測裝置160的半導體集成電 路300的結構例的附圖。
圖14是專利文獻1的圖像處理裝置的功能框圖。
圖15是表示專利文獻1的圖像處理裝置的檢測對象區域的附圖。
圖16是專利文獻2的臉部檢測裝置的功能框圖。
符號說明100、> 200圖像處理裝置
101處理器總線
102存儲器總線
110照相機
120照相機輸入電路
130圖像存儲器
140移動物體檢測電路
150傳感器
160、.210臉部檢測裝置
161,> 211析像度變換電路
162臉部檢測電路
300半導體集成電路
具體實施例方式
下面,對作為本發明的檢測裝置的實施方式的臉部檢測裝置進行說明。
《實施方式1》
實施方式1的臉部檢測裝置是以預定尺寸(例如,QVGA (320X240像素)尺寸)單位對作為輸入圖像中的一部分區域的檢測對象區域進行處 理,並檢測出預定尺寸以下的大小的臉部圖像的裝置。該檢測對象區域是 假想存在臉部圖像的區域。
以預定尺寸單位通過該臉部檢測裝置進行的處理如下述進行。即,以 用各自為預定尺寸的多個範圍(對照對象區域)覆蓋檢測對象區域的方式, 即,以用多個對照對象區域填滿的方式,使各對照對象區域的位置與其它
的對照對象區域重疊(overlap)規定寬度量來進行設定,每當設定對照對 象區域時,通過對照該對照對象區域的圖像縮小後的圖像(以下稱作"縮 小圖像")與臉部圖像的模板(以下稱為"對照用圖像"),從而檢測出臉部 圖像。
假如將對於每個預訂尺寸單純地分割檢測對象區域後得到的區域設定 為各對照對象區域,則無法檢測出分開包含於多個對照對象區域的臉部圖 像。這是由於各對照對象區域中僅包含臉部圖像的一部分,不能與對照用 圖像取得一致。
但是,由於這裡說明的該臉部檢測裝置以在對照對象區域間產生重疊 的區域(以下稱為"重疊區域")的方式設定各對照對象區域,所以也能夠 檢測出這樣的臉部圖像。另外,關於重疊的程度,即,關於重疊多少寬度, 之後進行詳細說明。
並且,由於該臉部檢測裝置階段性改變縮小率而生成上述縮小圖像, 所以不用分別準備不同尺寸的對照用圖像,就能夠檢測出包含於對照對象 區域的、與對照用圖像中的臉部圖像不同尺寸的臉部圖像。
首先,對包含本實施方式的臉部檢測裝置160的圖像處理裝置100的 結構進行說明。
圖1是圖像處理裝置100的功能框圖。
如該圖所示,圖像處理裝置100具有照相機110、照相機輸入電路120、 圖像存儲器130、移動物體檢測電路140、處理器150、以及臉部檢測裝置 160。處理器150與其它構成要素之間的數據收發經由處理器總線101進行, 並且,從除去照相機110的其它構成要素向圖像存儲器130的訪問,經由
ii存儲器總線102進行。
移動物體檢測電路140相當於本發明的檢測單元,處理器150相當於 本發明的區域確定單元、設定單元、以及倍率確定單元,臉部檢測裝置160 相當於本發明的對照單元。
這裡,照相機110以一定的幀滯後進行拍攝,並具有將依次生成的 4VGA (1280X 960像素)尺寸的圖像數據(以下稱為"高析像度圖像數據") 送出到照相機輸入電路120的功能。
照相機輸入電路120具有對從照相機110取得(取"9込tf)的高析像 度圖像數據實施高畫質化的各種濾波處理,並使其存儲於圖像存儲器130 的功能。當向圖像存儲器130存儲濾波處理後的高析像度圖像數據時,照 相機輸入電路120將存儲高析像度圖像數據的情況通知給處理器150。
圖像存儲器130是用於存儲高析像度圖像數據的連續的存儲區域。
移動物體檢測電路140具有以下功能,即,根據來自處理器150的指 示而讀出存儲於圖像存儲器130的高析像度圖像數據,並進行移動物體的 檢測處理,將檢測結果送出到處理器150的功能。在檢測出移動物體的情 況下,該檢測結果中包含表示檢測出的移動物體的區域的坐標值。並且, 移動物體的檢測,例如通過以下方式進行,S卩,比較未拍攝移動物體狀態 的高析像度圖像數據與存儲於圖像存儲器130的高析像度圖像數據的邊緣 檢測結果。
處理器150具有如下功能,g卩,通過執行存儲於未圖示的內部存儲器 的控制程序,來進行圖像處理裝置100整體的控制和對裝置內各區塊 (block)的指示(例如,向移動物體檢測電路140指示開始檢測移動物體)。
並且,處理器150具有如下功能,即,基於從移動物體檢測電路140 接收的檢測結果所包含的坐標值而確定檢測對象區域,並且,設定檢測對 象區域內的對照對象區域的功能。當設定對照對象區域時,處理器150將 所設定的對照對象區域指定給臉部檢測裝置160。關於檢測對象區域的確定 方法以及對照對象區域的設定方法,在後面進行說明。並且,處理器150 還具有將縮小所設定的對照對象區域時的縮小率指定給臉部檢測裝置160 的功能。
臉部檢測裝置160具有以下功能,BP,將縮小圖像與對照用圖像進行對照而檢測出臉部圖像的功能,該縮小圖像是將由處理器150所指定的對 照對象區域的圖像以所指定的縮小率縮小後的圖像,並且,該臉部檢測裝 置160具有析像度變換電路161和臉部檢測電路162。之所以將縮小圖像用 於對照,是為了能夠檢測出與對照用圖像中的臉部圖像不同大小的臉部圖 像。另外,對由處理器150指定的縮小率將在後面進行說明,但也存在指 定的縮小率為1倍的情況,以下將包含縮小率為1倍(即,縮小圖像就是 對照對象區域的圖像本身)的情況也稱為縮小圖像。並且,析像度變換電 路161相當於本發明的縮小單元。
這裡,析像度變換電路161具有如下功能,即,從圖像存儲器130讀 出由處理器指定的對照對象區域的圖像,以所指定的縮小率縮小,並將縮 小後的縮小圖像發送至臉部檢測電路162的功能。
臉部檢測電路162是將與對照對象區域相同尺寸(例如QVGA尺寸) 以下的圖像與對照用圖像進行對照,而檢測出臉部圖像的電路。
更詳細來說,在從析像度變換電路161接收的縮小圖像中,從左上的 像素到右下的像素, 一邊每次以規定像素逐漸移動對照用圖像, 一邊與對 照用圖像進行對照,並將對照結果發送至處理器150。以下,將該規定像素 的量稱為"間拔量"。如果使該間拔量(thinning amount)為1,則能夠無 間隙地將對照對象區域與對照用圖像進行對照,如果使間拔量大於1,則由 於僅隔開間隔量這部分的間隙進行對照,所以能夠減少處理量。以下,作 為一個例子,對水平方向以及垂直方向的間拔量分別為"2"的情況進行說 明。
接下來,對臉部檢測裝置160的臉部檢測方法進行說明。 圖2是用於說明臉部檢測裝置160的臉部檢測方法的附圖。 在該圖中,對照對象區域1021和對照對象區域1022分別包含臉部圖
像,包含於對照對象區域1021的臉部圖像比包含於對照對象區域1022的
臉部圖像大。
為了對照對照對象區域1021和一定尺寸(例如24X24像素)的對照 用圖像並檢測出臉部圖像,需要將包含於該區域的臉部圖像的大小縮小至與對照用圖像的臉部圖像的大小相同的程度。縮小圖像1031表示該縮小後 的圖像。
臉部檢測電路162,在縮小圖像1031中,從左上的像素到右下的像素, 一邊每次以2像素(間拔量)逐漸移動對照用圖像一邊進行對照,由此來 檢測出臉部圖像。
從對照對象區域1022檢測出臉部圖像的情況也相同,臉部檢測電路 162對將對照對象區域1022縮小後的縮小圖像1032和對照用圖像進行對 照。
這裡,可知縮小圖像1032的尺寸比縮小圖像1031的尺寸大,SP,縮 小圖像1032與縮小圖像1031相比縮小的程度低。由於包含於對照對象區 域1022的臉部圖像的大小比包含於對照對象區域1021的臉部圖像小,所 以,能夠以更低縮小程度縮小至與對照用圖像的臉部圖像的大小相同的程 度。
這樣,為了從對照對象區域檢測出臉部圖像,需要對照如下縮小圖像 與對照用圖像,該縮小圖像是以對應於對照對象區域所包含的臉部圖像的 大小的縮小率縮小後的圖像。但是,在實際進行檢測時,由於包含於對照 對象區域的臉部圖像的大小不明,所以,臉部檢測電路162通過對照階段 性改變縮小率後的各縮小圖像與對照用圖像而檢測出臉部圖像。
各縮小圖像的縮小率,例如如圖3所示,可以確定為以1/1.22倍階段 性改變。
圖3是表示縮小ID與縮小率等之對應的一個例子的附圖。 這裡,所謂縮小ID,是指處理器150對臉部檢測裝置160指定對照對 象區域的縮小率時使用的數據。另外,該圖中的縮小率表示擴大的倍率, 即,縮小率的值越小,表示縮小的程度越高。並且,在該圖中,"(1/1.22) 、"的記載表示(1/1.22)的n次方。
該圖表示,例如,縮小ID為"0"的情況的縮小率為"(1/1.22) 1, 即1倍",以對應的縮小率縮小對照對象區域的圖像後的情況的縮小圖像的 水平方向尺寸為"320像素",垂直方向尺寸為"240像素"的情況。此外, 表示縮小ID為"11"的情況的縮小率為"(1/1.22) ^11倍",縮小圖像的 水平尺寸為"33像素",垂直方向尺寸為"25像素"的情況。
14另外,當縮小圖像的尺寸比對照用圖像的尺寸(上述例子中的24X24 像素)小時,不能夠對照,所以,在本例中,縮小ID為"11"的情況的縮 小率最小,即,該情況的縮小程度最高。
接下來,對處理器150的檢測對象區域的確定方法進行說明。
圖4是用於說明檢測對象區域的確定方法的附圖。
在某時點高析像度圖像數據1000是存儲於圖像存儲器130的高清晰度 圖像數據,區域1010是移動物體檢測電路140檢測到移動物體的區域。
在該圖中,表示將高析像度圖像數據1000在水平方向以及垂直方向上 邏輯地4分割而成的16區間,區間內的數字表示用於識別各區間的信息(以 下稱為"Searchlndex"(查找指數))。並且,由於各區間是對4VGA尺寸的 高析像度圖像數據1000進行16分割後的區間,所以其尺寸為QVGA尺寸。
處理器150將包含區域1010的區間(Searchlndex為7、 8、 11、 12的 區間)確定為檢測對象區域1020。
當處理器150確定檢測對象區域時,為了指定所確定的檢測對象區域, 將對應於檢測對象區域的Searchlndex發送至臉部檢測裝置160。
接下來,對處理器150的對照對象區域的設定方法進行說明。
圖5是用於說明對照對象區域的設定方法的附圖。
在該圖中,區域1023 1025表示檢測對象區域1020中的各對照對象 區域,各對照對象區域的尺寸是與上述各區間的尺寸相同的QVGA尺寸。
並且,在該圖中,區域1026表示對照對象區域1023與1024之間的重 疊區域,區域1027表示對照對象區域1023與1025之間的重疊區域。
處理器150, —邊在所確定的檢測對象區域1020中從左上到右下設置 重疊區域, 一邊設定各對照對象區域。即,在該圖中,以對照對象區域1023、 1024、 1025的順序設定各對照對象區域。
之所以設定重疊區域,是為了能夠檢測出分開包含於多個區間的臉部 圖像。為此,需要根據作為檢測對象的臉部圖像的大小而確定重疊區域的尺寸,即重疊的像素數(以下稱為"重疊量"),並以下面的公式計算。式1
水平重疊量=對照用圖像的水平方向尺寸X 1.22"—k X 1.22n式2
垂直重疊量=對照用圖像的垂直方向尺寸X 1.22n—mX 1.22n
這裡,n表示圖3所示的縮小ID的值,k和m分別表示水平方向、垂
直方向的間拔量。並且,在本實施方式的例子中,對照用圖像的水平方向
尺寸以及垂直方向尺寸分別為24像素。
並且,圖5所示的各對照對象區域的水平方向移動量(像素數)以及
垂直方向移動量(像素數)由以下公式分別計算。式3
水平方向移動量=對照對象區域的水平方向尺寸一水平重疊量式4
垂直方向移動量=對照對象區域的垂直方向尺寸一垂直重疊量
這裡,在本實施方式的例子中,對照對象區域的水平方向尺寸為320
像素,對照對象區域的垂直方向尺寸為240像素。
在K-m-2的情況下,對照對象區域的重疊量以及移動量的計算結果如
圖6所示。
圖6是表示各對照對象區域的重疊量與移動量的一個例子的附圖。 例如,該圖表示縮小ID為"0"的情況的各對照對象區域的重疊量為 "22像素",水平方向移動量為"298像素",水平方向移動量為"218像素" 的情況。並且,表示縮小ID為"11"的情況的各對照對象區域的重疊量為 "218像素",水平方向移動量為"102像素",水平方向移動量為"22像素" 的情況。
在臉部檢測電路162通過對照縮小圖像與對照用圖像而能夠檢測出臉 部圖像的情況下,該縮小圖像的縮小程度越高(縮小率越小),包含於對照 對象區域的臉部圖像越大,所以,可知縮小的程度越高,即,縮小ID越大, 重疊量變得越大。
並且,由於重疊量成為與臉部檢測電路162通過對照縮小圖像和對照 用圖像而能夠檢測出的臉部圖像的大小相對應的尺寸,所以,能夠不進行
16無用的重疊而高效地進行對照。
接下來,對高析像度圖像數據1000的圖像存儲器130上的配置進行說明。
圖7是用於說明高析像度圖像數據1000的圖像存儲器130上的配置的 附圖。
高析像度圖像數據1000是上述4VGA (1280X960像素)尺寸的圖像 數據,構成高析像度圖像數據1000的各像素的像素值數據連續存儲於圖像 存儲器130上的連續區域。即,以該圖中所示的像素1002、、 1003、 1004、、 1005、 1006、…、1007的順序存儲於連續區域。
這裡,當存儲像素1002的圖像存儲器130上的區域的地址值顯示為 BASE時,存儲各像素數據的區域的地址值由以下公式算出。另外,公式 中的水平方向尺寸是指高析像度圖像數據1000的水平方向尺寸,即1280, 所謂基準像素是指檢測對象區域的左上的像素。並且,在這裡,將1個地 址作為表示如下區域的地址而進行說明,該區域是存儲1像素量的像素數 據的圖像存儲器130上的區域。式5
地址值二BASE+水平方向尺寸X (基準像素的Y坐標+自基準像素起的 相對Y坐標)+ (基準像素的X坐標+自基準像素起的相對X坐標)。
例如,當將像素1005作為基準像素時,存儲作為其右側相鄰的像素的 像素1006的圖像存儲器130上的區域的地址值為"BASE+1280X (240+0) + (640+1)"。這樣,通過自基準像素起的相對坐標,能夠計算出存儲該像 素的圖像存儲器130上的區域的地址值。
處理器150通過將關於所設定的對照對象區域的左上的像素(以下稱 為"起點")的、自基準像素起的相對坐標值發送至臉部檢測裝置160而指 定對照對象區域,臉部檢測裝置160的析像度變換電路161使用由接收到 的坐標值算出的地址值,能夠從圖像存儲器130讀出對照對象區域的圖像。
接下來,對具有上述結構,處理上述數據的圖像處理裝置100的動作
進行說明。
圖8是表示圖像處理裝置100的動作的流程圖。
當從移動物體檢測電路140接收到的檢測結果中包含有表示檢測出的 移動物體的區域的坐標值時,處理器150基於該座標值,將包含移動物體 的各區間確定為檢測對象區域,將對應於所確定的檢測對象區域的區間的 Searchlndex指定給臉部檢測裝置160 (步驟S1)。
並且,處理器150設定縮小ID,並將設定的縮小ID發送至臉部檢測 裝置160 (步驟S2)。更詳細來說,在步驟Sl的處理後最初的步驟S2的處 理中,將縮小ID設定為初始值(以下設為"ll"),之後,每當進行步驟 S2的處理時,縮小ID的值設定為逐次減小l直至變為0。
並且,處理器150,在步驟S1確定的檢測對象區域中,設定l個對照 對象區域,將設定的對照對象區域的起點的坐標值(自基準像素起的相對 坐標值)指定給臉部檢測裝置160 (步驟S3)。對照對象區域的設定處理的 詳細內容,使用圖9所示的流程圖而在下面進行說明。
臉部檢測裝置160的析像度變換電路161,基於步驟Sl中指定的 Searchlndex以及步驟S3中指定的起點的坐標值,根據式5所示的公式計 算出存儲有對照對象區域的圖像的圖像存儲器130上的地址值,並從圖像 存儲器130讀出對照對象區域的圖像(步驟S4)。
並且,析像度變換電路161生成縮小圖像,該縮小圖像是以與步驟S2 中指定的縮小ID相對應的縮小率將所讀出的對照對象區域的圖像縮小後 的縮小圖像,並且發送至臉部檢測電路162 (步驟S5)。
臉部檢測電路162,在從析像度變換電路161接收到的縮小圖像中,從 左上的像素到右下的像素, 一邊每次以2像素(間拔量)逐漸移動對照用 圖像一邊進行對照,並將對照結果發送至處理器150 (步驟S6)。另外,在 檢測出臉部圖像的情況下,對照結果中包含檢測出縮小圖像中的臉部圖像 的區域的坐標值而發送。
處理器150,對步驟Sl中確定的檢測對象區域整體,判定步驟S6的 對照是否結束(步驟S7)。
在步驟S7中,在對照沒有結束的情況下(步驟S7:否),返回步驟S3
18的處理,在對照結束的情況下(步驟S7:是),對全部的縮小ID判定步驟 S6的對照是否結束(步驟S8)。
在步驟S8中,在對照沒有結束的情況下(步驟S8:否),為了改變縮 小ID並進行對照處理而返回到步驟S2的處理,在對照結束的情況下(步 驟S8:是),處理器150綜合步驟S6中從臉部檢測電路162送出的各對照 結果並在高析像度圖像中特別指定存在臉部圖像的區域(步驟S9),並且 結束臉部檢測處理。作為存在臉部圖像的區域的特別指定方法,例如,通 過以下方式特別指定,即,將包含於各對照結果的各坐標值變換為高析像 度圖像數據上的坐標值後取平均值。
處理器150,將該特定結果利用於以下情況,例如,為了對焦於存在臉 部圖像的區域而在照相機110上進行自動調焦控制的情況,或者將照相機 IIO拍攝的高析像度圖像數據顯示在顯示器上(未圖示),在存在臉部圖像 的區域顯示邊框的情況等。
接下來,對上述步驟S3的處理進行詳細說明。
圖9是表示處理器150的對照對象區域的設定處理的流程圖。
處理器150,在步驟S2確定縮小ID後,判定是否是最初的對照對象 區域的設定(步驟Sll),在是最初的設定的情況下(步驟S11:是),將關 於對照對象區域的起點的、自臉部對象區域的基準像素起的相對坐標值 (Ox, Oy)設定為(0, 0)(步驟S12)。
處理器150根據式3、式4所示的公式計算出與步驟S2中設定的縮小 ID相對應的移動量(OFFSETX, OFFSETY)(步驟S13)。
並且,處理器150計算出檢測對象區域的尺寸(AREAW, AREAH) (步驟S14),並進入步驟S18的處理。
並且,在步驟S11中,在不是最初的設定的情況下(步驟S11:否), 處理器150使對照對象區域的起點的x坐標(Ox)移動步驟S13中算出的 OFFSETX的量(步驟S15),並判定對照對象區域的起點的x坐標(Ox) 是否大於步驟S13中算出的檢測對象區域的水平方向尺寸(AREAW)(步 驟S16)。
在步驟S16中,在對照對象區域的起點的x坐標(Ox)為檢測對象區 域的水平方向尺寸(AREAW)以下的情況下(步驟S16:否),進入步驟S18的處理,在比檢測對象區域的水平方向尺寸(AREAW)大的情況下(步 驟S16:是),使作為對照對象區域的起點的x坐標(Ox)為"0",並使y 坐標(Oy)移動步驟S13算出的OFFSETY的量(步驟S17),並進入步驟 S18的處理。
在步驟S18中,處理器150將步驟S12、步驟S15、步驟S17的任意一 個的處理中設定的對照對象區域的起點的相對坐標值(Ox, Oy)發送至臉 部檢測裝置160 (步驟S18),並結束對照對象區域的設定處理。
關於上述圖像處理裝置100的動作,結合圖8與圖9所示的流程圖進 行具體說明。
下面,以圖4所示的高析像度圖像1000存儲於圖像存儲器130的情況 為例進行說明。
在本例中,由於從移動物體檢測電路140接收到的檢測結果中包含表 示檢測出的移動物體的區域(區域1010)的坐標值,所以,處理器150基 於該坐標值,將包含移動物體的各區間(Searchlndex為7、 8、 11、 12的區 間)並將確定為檢測對象區域,並將與所確定的檢測對象區域相對應的區 間的Searchlndex (7、 8、 11、 12)指定給臉部檢測裝置160 (圖8的步驟 Sl)。
並且,處理器150設定縮小ID (11),並將所設定的縮小ID發送至臉 部檢測裝置160 (步驟S2),並進入步驟S3的處理。
下面,結合圖9所示的流程圖說明步驟S3的處理。
在步驟S2確定縮小ID之後,處理器150判定是否是最初的對照對象 區域的設定(步驟Sll),在本例中,由於是最初的設定(步驟S11:是), 將關於對照對象區域的起點的、自臉部對象區域的基準像素起的相對坐標 值(Ox, Oy)設定為(0, 0)(步驟S12)。
處理器150根據式3、式4所示的公式計算出與步驟S2中設定的縮小 ID (11)相對應的移動量(OFFSETX-102像素,OFFSETY-22像素)(步 驟S13)。
並且,處理器150計算出檢測對象區域(Searchlndex為7、 8、 11、 12
20的各區間的區域)的尺寸(AREAW=320X2=640, AREAH=240X2=480) (步驟S14),並將步驟S12的處理中設定的對照對象區域的起點的坐標值 (Ox=0, Oy=0)發送至臉部檢測裝置160 (步驟S18),並結束圖8的步驟
S3的處理。
臉部檢測裝置160的析像度變換電路161,基於步驟SI中指定的 Searchlndex (7、 8、 11、 12)以及步驟S3中指定的起點坐標值(Ox=0, Oy=0),根據式5所示的公式計算出存儲對照對象區域的圖像的圖像存儲 器130上的地址值,並從圖像存儲器130讀出對照對象區域(對應於 Searchlndex為7的區間)的圖像(步驟S4)。
並且,析像度變換電路161生成縮小圖像並發送至臉部檢測電路162 (步驟S5),該縮小圖像是將讀出的對照對象區域的圖像以與步驟S2中指 定的縮小ID (11)相對應的縮小率((1/1.22) a U)縮小後的縮小圖像。
臉部檢測電路162,在從析像度變換電路161接收到的縮小圖像中,從 左上的像素到右下的像素, 一邊每次以2像素(間拔量)逐漸移動對照用 圖像一邊進行對照,並將對照結果發送至處理器150 (步驟S6)。
處理器150,對步驟SI中確定的檢測對象區域整體,判定步驟S6的 對照是否結束(步驟S7)。在本例中,由於對照沒有結束(步驟S7:否), 所以返回步驟S3的處理。
下面,對步驟S3的處理進行說明。
處理器150,在步驟S2確定縮小ID後,判定是否是最初的對照對象 區域的設定(圖9的步驟S11),由於不是最初的設定(步驟S11:否),處 理器150使對照對象區域的起點的x坐標(Ox)移動步驟S13中算出的 OFFSETX (102像素)的量(步驟S15),並判定對照對象區域的起點的x 坐標(Ox)是否大於步驟S13中算出的檢測對象區域的水平方向尺寸
(AREAW=640)(步驟S16)。
在步驟S16中,由於在本例中對照對象區域的起點的x坐標(Ox)為 檢測對象區域的水平方向尺寸(AREAW)以下(步驟S16:否),所以處 理器150將步驟S15的處理中設定的對照對象區域的起點的相對坐標值
(Ox=102, Oy=0)發送至臉部檢測裝置160 (步驟S18),並結束圖8的步 驟S3的處理。之後,對於對照對象區域進行與上述步驟S4 S7的處理相同的處理, 該對照對象區域將從檢測對象區域的基準像素在水平方向上偏離102像素 的位置作為起點,在步驟S7中,由於在本例中對照沒有結束(步驟S7: 否),所以返回到步驟S3的處理。
之後,反覆步驟S3 (對應於步驟Sll、 S15、 S16、 S18的各處理) S7的處理,在步驟S16中,當對照對象區域的起點的x坐標(Ox=714) 大於檢測對象區域的水平方向尺寸(AREAW=640)時(步驟S16:是), 將對照對象區域的起點的x坐標(Ox)設為"0",並使y坐標(Oy)移動 在步驟S13中算出的OFFSETY的量(OFFSETY=22像素)(步驟S17), 處理器150將由步驟S17的處理所設定的對照對象區域的起點的坐標值 (Ox=0, Oy=22)發送到臉部檢測裝置160 (步驟S18),並結束圖8的 步驟S3的處理。
之後,對於將從檢測對象區域的基準像素在垂直方向上偏移22像素後 的位置作為起點的對照對象區域,進行與上述步驟S4 S7的處理相同的處 理,在本例中由於對照未結束(步驟S7:否),所以返回到步驟S3的處理。
之後,反覆步驟S3 S7的處理,在步驟S7中,當判定對照結束時(步 驟S7:是),對全部的縮小ID判定步驟S6的對照是否結束(步驟S8),在 本例中,由於判定對全部的縮小ID的對照結束(步驟S8:否),所以返回 步驟S2的處理。
步驟S2中,處理器150設定縮小ID (11)減l後的值(10),並將設 定的縮小ID發送至臉部檢測裝置160 (步驟S2),並進入步驟S3的處理。 下面,對步驟S3的處理進行說明。
處理器150,在步驟S2確定縮小ID後,判定是否是最初的對照對象 區域的設定(步驟Sll),在本例中,由於是最初的設定(步驟S11:是), 所以將關於對照對象區域的起點的、自檢測對象區域的基準像素起的相對 坐標值(Ox, Oy)設定為(0, 0)(步驟S12)。
處理器150根據式3、式4表示的公式計算出與步驟S2中設定的縮小 ID (10)相對應的移動量(OFFSETX-142像素,OFFSETY-62像素)(步 驟S13)。
並且,處理器150計算出檢測對象區域(Searchlndex為7、 8、 11、 12的各區間的區域)的尺寸(AREAW=640, AREAH=480)(步驟S14),並 將步驟S12的處理中設定的檢測對象區域的起點的坐標值(Ox-O, Oy=0) 發送至臉部檢測裝置160 (步驟S18),並結束圖8的步驟S3的處理。
之後,進行與上述相同的處理,在步驟S8中,當判定為對全部的縮小 ID的對照結束時(步驟S8:是),處理器150綜合步驟S6中從臉部檢測電 路162送出的各對照結果並在高析像度圖像中特別指定存在臉部圖像的區 域(步驟S9),並且結束臉部檢測處理。
《實施方式2》
在實施方式1中,對移動物體檢測電路140作為進行移動物體的檢測 處理的裝置進行了說明,下面,對臉部檢測裝置進行移動物體的檢測處理 的例子進行說明。
本實施方式的臉部檢測裝置是在實施方式1的臉部檢測裝置160的功 能的基礎上,對於依次存儲於圖像存儲器130的各高析像度圖像數據,以 規定數間隔,將該高析像度圖像數據整體作為檢測對象區域而檢測臉部圖 像的裝置。
下面,將高析像度圖像數據整體作為檢測對象區域而檢測臉部圖像的 情況稱為"整體檢測",而將如實施方式l說明的那樣,將高析像度圖像數 據中的一部分區域作為檢測對象區域而檢測臉部圖像的情況稱為"部分檢
、、當通過全體檢測而檢測臉部圖像時,該臉部檢測裝置將包含該檢測出 的臉部圖像的區域作為檢測對象區域,到接下來進行全體檢測時為止的期 間,進行部分檢測。據此,即使不設置移動物體檢測電路140,也能夠不大 量增加處理量而通過部分檢測進行檢測。
並且,在全體檢測時,該臉部檢測裝置另外還進行如下處理,即,將 縮小4VGA尺寸的高析像度圖像數據至QVGA尺寸的圖像整體作為對照對 象區域而與對照用圖像進行對照的處理。據此,能夠檢測出臉部圖像完全 佔據並包含於高析像度圖像數據的、比QVGA尺寸更大的臉部圖像。
首先,對包含本實施方式的臉部檢測裝置210的圖像處理裝置200的 結構進行說明。
圖10是圖像處理裝置200的功能框圖。
如該圖中所示,圖像處理裝置200從實施方式1中說明的圖像處理裝 置100的結構中除去移動物體檢測電路140,另外替代臉部檢測裝置160 而具有臉部檢測裝置210。臉部檢測裝置210相當於本發明的對照單元以及 第2對照單元。
下面,以與實施方式l不同的部分為中心進行說明。
臉部檢測裝置210改變實施方式1的析像度變換電路161而具有析像 度變換電路211,析像度變換電路211,除了析像度變換電路161的功能之 外,另外具有根據來自處理器的指示而縮小高析像度圖像數據整體,並生 成QVGA尺寸圖像的功能。並且,析像度變換電路211相當於本發明的縮 小單元以及第2縮小單元。
關於臉部檢測電路162,由於與實施方式l相同,所以省略其說明
對圖像處理裝置200的動作進行說明。
圖11是表示圖像處理裝置200的動作的流程圖。
另外,以下,將進行整體檢測的高析像度圖像數據數(幀數)的間隔 表示為"NthFrame" (N幀),對該圖中的i的初始值以及NthFrame分別為 15的裝置進行說明。
當從照相機輸入電路120接收到將高析像度圖像數據存儲於圖像存儲 器130的內容通知時,處理器150為了判斷是進行整體檢測還是進行部分 檢測,而判定i的值與NthFrame (本例中為15)是否相等(步驟S30),在 相等的情況下(步驟S30:是),作為進行整體檢測的數值而將i的值設定 為1 (步驟S31)。
處理器150,對析像度變換電路211進行QVGA尺寸的圖像的生成指 示,析像度變換電路211根據該指示,讀出存儲於圖像存儲器130的高析 像度圖像數據,並縮小至QVGA尺寸(步驟S32)。
24處理器150將步驟S32中生成的QVGA尺寸的圖像數據整體確定為檢 測對象區域(步驟S33)。另外,作為該檢測對象區域的指定方法,例如, 通過指定與實施方式1中說明的Searchlndex (1 16)不同的值(例如0), 從而將QVGA尺寸的圖像數據整體指定為檢測對象區域。
處理器150以及臉部檢測裝置210進行實施方式1中說明的圖8、圖9 所示的流程圖的步驟S2、 S3、 S5、 S6 S8的處理(圖11的步驟S34)。該 處理相當於對照各縮小圖像和對照用圖像並檢測臉部圖像的處理,其中, 上述各縮小圖像是以各縮小ID將步驟S32中生成的QVGA尺寸的圖像縮 小後的縮小圖像。
接下來,處理器150將高析像度圖像數據整體確定為檢測對象區域, 將對應於所確定的檢測對象區域的區間的Searchlndex (l 16)指定給臉部 檢測裝置210 (步驟S35)。
處理器150以及臉部檢測裝置210進行如實施方式1中說明的圖8、圖 9所示的流程圖的步驟S2 S8的處理(圖11的步驟S36)。該處理將高析 像度圖像數據整體作為檢測對象區域,相當於與實施方式1中的說明相同 地進行部分檢測的處理。
處理器150綜合步驟S34以及步驟S36的處理結果並在高析像度圖像 數據中特別指定存在臉部圖像的區域(步驟S37),並且結束處理。另外, 作為存在臉部圖像的區域的特別指定方法,例如,通過以下方式特別指定, 即,在將包含於各對照結果的各坐標值變換為高析像度圖像數據上的坐標 值之後取平均值。
並且,在步驟S30中,在i的值與NthFrame (本例中為15)不相等的 情況下(步驟S30:否),作為進行部分檢測的數值而使i的值增加1 (步 驟S38)。
當處理器150通過最近執行的步驟S37的處理而特別指定存在臉部圖 像的區域時,將包含特別指定的該區域的各區間確定為檢測對象區域,並 且將對應於所確定的檢測對象區域的區間的Searchlndex指定給臉部檢測裝 置210 (步驟S39)。
處理器150以及臉部檢測裝置210進行實施方式1中說明的圖8、圖9 所示的流程圖的步驟S2 S8的處理(圖11的步驟S40)。該處理將最近進行的整體檢測中包含與檢測出臉部圖像的區域相同位置的區域的各區間作 為檢測對象區域,相當於與實施方式1中的說明相同地進行部分檢測的處 理。
處理器150與圖8所示的流程圖的步驟S9的處理相同,綜合圖11的 步驟S40的處理結果並在高析像度圖像數據中特別指定存在臉部圖像的區 域(步驟S41),並且結束臉部檢測處理。
結合圖11所示的流程圖,對上述圖像處理裝置200的動作進行具體說明。
下面,以圖4所示的高析像度圖像數據1000存儲於圖像存儲器130的 情況為例進行說明。另外,對以下裝置進行說明,即,以該圖中的區域IOIO 的圖像作為臉部圖像,以下說明的開始時點的i為15 (初始值),並且,如 上所述,NthFrame為15。
當從照相機輸入電路120接收到將高析像度圖像數據存儲於圖像存儲 器130的內容通知時,處理器150為了判斷是進行整體檢測還是進行部分 檢測,而判定i的值與NthFrame (本例中為15)是否相等(步驟S30),由 於在本例中相等(步驟S30:是),所以作為進行整體檢測的數值而將i的 值設定為1 (步驟S31)。
處理器150,對析像度變換電路211進行QVGA尺寸的圖像的生成指 示,析像度變換電路211根據該指示,讀出存儲於圖像存儲器130的高析 像度圖像數據IOOO,並縮小至QVGA尺寸(步驟S32)。
處理器150將步驟S32中生成的QVGA尺寸的圖像數據整體確定為檢 測對象區域(步驟S33),並為了確定該檢測對象區域而指定Searchlndex-O。
處理器150以及臉部檢測裝置210進行實施方式1中說明的圖8、圖9 所示的流程圖的步驟S2、 S3、 S5、 S6 S8的處理(圖11的步驟S34)。
具體為,處理器150設定縮小ID (11),將設定的縮小ID發送至臉部 檢測裝置210 (圖8的步驟S2)、並前進到步驟S3的處理。下面,說明步驟S3的處理。
處理器150,在步驟S2確定縮小ID後,判定是否是最初的對照對象 區域的設定(圖9的步驟S11),由於在本例中為最初的設定(步驟Sll-是),所以,將關於對照對象區域的起點的、自臉部對象區域的基準像素起 的相對坐標值(Ox, Oy)設定為(0, 0)(步驟S12)。
處理器150根據式3、式4所示的公式計算出與步驟S2中設定的縮小 ID (11)相對應的移動量(OFFSETX-102像素,OFFSETY-22像素)(步 驟S13)。
並且,處理器150計算出檢測對象區域(Searchlndex為0, g卩,步驟 S32中生成的QVGA尺寸的圖像數據整體)的尺寸(AREAW-320, AREAH-240)(步驟S14),並將步驟S12的處理中設定的對照對象區域的 起點的坐標值(Ox=0, Oy=0)發送至臉部檢測裝置210 (步驟S18),並結 束圖8的步驟S3的處理。
並且,析像度變換電路211生成縮小圖像,該縮小圖像是以與步驟S2 中指定的縮小ID (11)相對應的縮小率((1/1.22) a 11)將對照對象區域 (對應於Searchlndex為7的區間)的圖像縮小後的縮小圖像,並且發送至 臉部檢測電路162 (步驟S5)。
臉部檢測電路162,在從析像度變換電路211接收到的縮小圖像中,從 左上的像素到右下的像素, 一邊每次以2像素(間拔量)逐漸移動對照用 圖像一邊進行對照,並將對照結果發送至處理器150 (步驟S6)。另外,在 檢測出臉部圖像的情況下,對照結果中包含檢測出縮小圖像中的臉部圖像 的區域的坐標值並發送。
處理器150,對步驟Sl中確定的檢測對象區域整體,判定步驟S6的 對照是否結束(步驟S7)。在本例中,由於對照結束(步驟S7:是),所以, 判定對於全部的縮小ID步驟S6的對照是否結束(步驟S8),在本例中, 由於對全部的縮小ID的對照沒有結束(步驟S8:否),所以返回步驟S2 的處理,使縮小ID為IO。進行與上述相同的處理。
一邊使縮小ID逐次減1 一邊重複上述處理,當對全部的縮小ID的對 照結束時(步驟S8:是),結束圖11的步驟S34的處理,並進入步驟S35。
處理器150將高析像度圖像數據整體確定為檢測對象區域,將對應於確定的檢測對象區域的區間的Searchlndex (1 16)指定給臉部檢測裝置 210 (步驟S35)。
處理器150以及臉部檢測裝置210進行如實施方式1中說明的圖8、圖 9所示的流程圖的步驟S2 S8的處理(圖11的步驟S36)。由於該處理與 實施方式1中說明的相同,所以省略其說明。
處理器150綜合步驟S34以及步驟S36的處理結果並在高析像度圖像 數據1000中特別指定存在臉部圖像的區域(區域1010)(步驟S37),並且 結束處理。
接下來,當從照相機輸入電路120接收到將高析像度圖像數據存儲於 圖像存儲器130的內容通知時,並且,由於處理器150在步驟S30中,在 i的值(1)與NthFmme (15)不相等(步驟S30:否),所以作為進行部分 撿測的數值而使i的值增加1 (步驟S38)。
由於處理器150通過最近執行的步驟S37的處理而特別指定存在臉部 圖像的區域(區域IOIO),將包含特別指定的該區域的各區間(Searchlndex 為7、 8、 11、 12的區間)確定為檢測對象區域,並且將對應於確定的檢測 對象區域的區間的Searchlndex (7、 8、 11、 12)指定給臉部檢測裝置210 (步驟S39)。
處理器150以及臉部檢測裝置210進行實施方式1中說明的圖8、圖9 所示的流程圖的步驟S2 S8的處理(圖11的步驟S40)。該處理與實施方 式1中的說明相同,所以省略說明。
處理器150與圖8所示的流程圖的步驟S9的處理相同,綜合圖11的 步驟S40的處理結果並在高析像度圖像數據中特別指定存在臉部圖像的區 域(步驟S41),並且結束臉部檢測處理。
圖12是用於說明臉部檢測裝置210能夠檢測出的臉部圖像的大小的附圖。
在該圖中,(A)表示,在以縮小高析像度圖像數據(4VGA尺寸)至QVGA尺寸的圖像整體作為對照對象區域的情況下,能夠檢測的臉部圖像 的大小,(B)表示,在將高析像度圖像數據中的QVGA尺寸的區域作為對 照對象區域的情況下,能夠檢測的臉部圖像的大小。並且,該圖中ID0 11的記載表示圖3中說明的各縮小ID。
在以高析像度圖像數據中的QVGA尺寸(320X240像素)的區域作為 對照對象區域的情況下,由於不能夠檢測出QVGA尺寸以上的臉部圖像, 所以,如圖(B)所示,能夠檢測出的臉部圖像的尺寸為240X240像素以 下。
另一方面,在以縮小高析像度圖像數據(4VGA尺寸(1280X960像素)) 至QVGA尺寸的圖像整體作為對照對象區域的情況下,如該圖(A)所示, 能夠檢測出的臉部圖像的尺寸為960X960像素以下。
艮口,通過實施方式1的臉部檢測裝置160,由於僅以該圖(B)的方法 檢測臉部圖像,所以不能夠檢測出比240X240像素大的臉部圖像,但是通 過實施方式2的臉部檢測裝置210,能夠檢 出比其大的臉薪 #。
並且,如上所述,在以縮小高析像度圖像數據(4VGA尺寸)至QVGA 尺寸的圖像作為對照對象區域的情況下,為了進一步對照根據各縮小ID而 縮小的各縮小圖像與對照用圖像,能夠檢測出該對照對象區域的尺寸至IOO 像素X100像素左右的臉部圖像。即,如該圖中所示,為了通過(A)的方 法或通過(B)的方法都能夠檢測出約100X100 240X240像素的臉部圖 像,所以,在以縮小高析像度圖像數據(4VGA尺寸)至QVGA尺寸的圖 像作為對照對象區域的情況下(對應於圖11的步驟S34的處理),在縮小 ID為5 11的範圍內檢測即可。據此,能夠進一步抑制用於臉部圖像檢測 的處理量。
(1)各實施方式中說明的各組成要素中,可以通過電腦程式實現其全 部或一部分,也可以通過1個晶片或多個晶片的集成電路實現。
圖13是表示半導體集成電路300的結構例的附圖,該半導體集成電路 300包含與實施方式1中說明的臉部檢測裝置160對應的半導體集成電路。
如該圖所示,半導體集成電路300包含與臉部檢測裝置160對應的半
29導體集成電路,根據使用半導體集成電路300的裝置的用途,另外,還包 含圖像符號化電路、聲音處理部、以及ROM等。
半導體集成電路300 —般由CMOS等MOS電晶體構成,根據MOS 電晶體的連接結構,實現特定的邏輯電路。近年來,由於半導體集成電路 的集成度提高,能夠通過一個至多個半導體集成電路實現非常複雜的邏輯 電路,所以,能夠使臉部檢測裝置160小型化,並且,能夠降低電力消耗。
另外,雖然對半導體集成電路300包含與實施方式1的臉部檢測裝置 160相對應的半導體集成電路的裝置進行了說明,但是也可以包含與實施方 式2的臉部檢測裝置210相對應的半導體集成電路。
(2) 在各實施方式中,雖然對高析像度圖像數據中包含1個臉部圖像 數據的情況,即,對檢測對象區域為1的情況舉例進行了說明,但是也可 以對多個檢測對象區域進行檢測臉部圖像的處理。
(3) 在各實施方式中,雖然說明了使對照對象區域的尺寸為QVGA 尺寸,並且使對照用圖像的尺寸為24X24像素,但是不僅限定於此,也可 以分別為任意的尺寸。並且,在對照對象區域的尺寸為任意尺寸的情況下, 1區間的尺寸也可以為與對照對象區域的尺寸相匹配的任意尺寸。
並且,雖然對高析像度圖像數據的尺寸為4VGA尺寸的裝置進行了說 明,但是並不僅限定於此,可以為任意尺寸。
(4) 雖然對各實施方式中對照用圖像為l個種類的裝置進行了說明, 但是也可以在應檢測的臉部圖像的臉部的每個方向上準備多個對照用圖 像,通過與各個對照用圖像對照而檢測出臉部圖像。
(5) 在各實施方式中,雖然對縮小對照對象區域的圖像的裝置進行了 說明,但是在使對照用圖像的尺寸比對照對象區域的圖像的尺寸大的情況 下,也可以放大對照對象區域的圖像。
並且,在各實施方式中,雖然對使對照用圖像的尺寸一定並縮小對照 對象區域的圖像的裝置進行了說明,但是也可以使對照對象區域的圖像的 尺寸為一定,並擴大或縮小對照用圖像的尺寸。
(6) 在各個實施方式中,雖然對無論是否檢測出臉部圖像,都對照檢 測對象區域的全部對照對象區域的裝置進行了說明,但是,在一定的基準
(例如,與對照用圖像的一致度為預定的閾值以上)下,在判斷為檢測出臉部圖像的情況下,也可以結束對該高析像度圖像數據的檢測處理。
(7) 在各實施方式中,雖然對檢測出臉部圖像的裝置進行了說明,但 是也可以檢測臉部圖像以外的特定圖像。作為特定圖像,例如,可以是賦 予人或物的識別標籤,在該情況下,也可以考慮用於由檢測出的識別標籤 的信息識別個人或物的種類。
(8) 在各個實施方式中,雖然對臉部檢測電路162,在檢測出臉部的 情況下,將檢測出縮小圖像中的臉部圖像的區域的坐標值包含於檢測結果 中並發送至處理器150的裝置進行了說明,但是,也可以另外含有縮小ID。 並且,處理器150基於坐標值和縮小ID而計算出臉部圖像的大小也可,其 中,上述坐標值包含於由臉部檢測電路162送出的各對照結果。
(9) 在實施方式1中,雖然對移動物體檢測電路140通過比較沒有拍 攝移動物體的狀態的高析像度圖像數據和存儲於圖像存儲器130的高析像 度圖像數據的邊緣檢測結果,從而檢測出移動物體的裝置迸行了說明。但 是這是一個例子,例如,也可以通過取連續生成的高析像度圖像數據的像 素值的差分而進行檢測。
(10) 在實施方式1中,雖然如圖3所示,對縮小率逐次變化(1/1.22) 、倍的例子進行了說明,但是這是一個例子,也可以以如下方式設定,即, 以最小縮小率縮小時的圖像(g卩,縮小程度最高的圖像)的尺寸比對照用 圖像的尺寸大,例如,也可以每次變化(1/1.25) ^n倍。
(11) 在實施方式1中,雖然說明了以下例子,即,作為圖像處理裝 置100的動作,如圖8所示,設定縮小ID的處理(步驟S2)循環中,存 在設定對照對象區域的處理(步驟S3)循環,但是反過來也可以。g卩,更 換步驟S2和步驟S3的處理,並且,也可以更換步驟S7和步驟S8的處理。
(12) 在實施方式1中,雖然對如下裝置進行了說明,即,如圖8所 示的步驟S2的處理中,使縮小ID的初始值為"11",每當執行步驟S2的 處理時,縮小ID的值減1直至為0的裝置,但是,以下方式也可以,艮卩, 如果進行對於全部縮小ID的處理,與處理的順序無關,例如,使縮小ID 的初始值為"0",每當執行步驟S2的處理時,縮小ID的值增加1直至11。
(13) 雖然對實施方式1的臉部檢測裝置160由析像度變換電路161 和臉部檢測電路162構成的裝置進行了說明,但是,移動物體檢測電路140以及處理器150的全部或一部分包含於臉部檢測裝置160也可。在實施方 式2中,也可以將處理器150包含於臉部檢測裝置210。
(14) 在實施方式l中,雖然對以下裝置進行了說明,S卩,在圖9所 示的步驟S13的處理中,處理器150計算出與縮小ID相對應的移動量
(OFFSETX, OFFSETY)的裝置,但是也可以預先將對應於縮小ID的移 動量存儲於內部存儲器(未圖示),使用對應於所存儲的縮小ID的移動量。
(15) 在實施方式1中,雖然對處理器150進行如圖9所示的對照對 象區域的設定處理的裝置進行了說明,但是臉部檢測電路160進行也可。
(16) 在實施方式2中,雖然對以下裝置進行了說明,即,作為圖像 處理裝置200的動作,如圖11所示,作為檢測對象區域而設定高析像度圖 像數據整體(步驟S35)的裝置,但是,也可以在每當整體檢測時,順序 地將Searchlndex為1 16的區間中的1個區間作為檢測對象區域而選擇。 即,也可以在第一次整體檢測中,將Searchlndex為1的區間確定為檢測對 象區域,而在第2次整體檢測中,將Searchlndex為2的區間確定為檢測對 象區域。據此,能夠進一步抑制處理量。
並且,為了提高檢測精度,也可以在第一次整體檢測中,將Searchlndex 為1和2的區間確定為檢測對象區域等,將多個區間確定為檢測對象區域。
(17) 雖然對如下裝置進行了說明,g卩,實施方式2中說明的圖ll所 示的步驟S39的處理,以通過最近執行的步驟S37的處理而特別指定存在 臉部圖像的區域的情況為前提,基於特別指定的區域,而確定進行部分檢 測時的檢測對象區域的裝置,但是,在步驟S37的處理中不特別指定臉部 圖像的情況下,即,在步驟S34、 S36的處理中沒有檢測出臉部圖像的情況 下,不進行步驟S39 S41的部分檢測也可。
(18) 在實施方式2中,雖然對如下裝置進行了說明,即,如圖ll的 流程圖所示,在i為15的情況下進行整體檢測,在i為1 14的情況下進 行部分檢測的裝置,但是,也可以連續進行整體檢測直至通過整體檢測檢 測出臉部圖像,在通過整體檢測檢測出臉部圖像的情況下,切換為部分檢 測,在通過部分檢測沒有檢測出臉部圖像的情況下,再次切換為整體檢測。
工業實用性
本發明的臉部檢測裝置能夠用於監視照相機等臉部圖像的檢測。
3權利要求
1、一種檢測裝置,從輸入圖像檢測出特定圖像,其特徵在於,具有區域確定單元,在上述輸入圖像中,確定上述特定圖像能夠存在的檢測對象區域;設定單元,以用分別為一定尺寸的多個對照對象範圍覆蓋上述區域確定單元所確定的檢測對象區域的方式,並且以各個對照對象範圍與其他對照對象範圍重疊規定寬度量的方式,來設定各對照對象範圍的位置;以及對照單元,對於每個上述設定單元所設定的對照對象範圍,對照該對照對象範圍的圖像和對照用圖像,由此檢測出上述特定圖像。
2、 如權利要求1所述的檢測裝置,其特徵在於,還具有倍率確定單元, 該倍率確定單元確定關於各對照對象範圍的圖像的倍率,由上述設定單元進行的各對照對象範圍的位置的設定,以與其它對照 對象範圍重疊如下寬度量的方式進行,該寬度量與上述倍率確定單元所確 定的倍率對應,由上述對照單元進行的各對照對象範圍的圖像與對照用圖像的對照, 對以如下倍率改變了各對照對象範圍的圖像的尺寸的各圖像進行,該倍率 是上述倍率確定單元所確定的倍率。
3、 如權利要求2所述的檢測裝置,其特徵在於, 上述檢測對象區域是上述輸入圖像的一部分的矩形區域, 上述對照對象範圍是上述檢測對象區域的一部分的矩形區域, 上述倍率是多個縮小率,上述檢測裝置還具有存儲單元,該存儲單元對於每個縮小率存儲各對 照對象範圍的與其它對照對象範圍重疊的寬度,由上述倍率確定單元進行的倍率確定以及由上述設定單元進行的各對 照對象範圍的設定,基於上述存儲單元存儲的信息而進行,上述對照單元包含縮小單元,該縮小單元對於每個上述倍率確定單元 所確定的縮小率,以該縮小率縮小各對照對象範圍的圖像。
4、 如權利要求3所述的檢測裝置,其特徵在於,上述檢測裝置還具有: 第2縮小單元,將輸入圖像縮小到與上述對照對象範圍的尺寸相同的尺寸;以及第2對照單元,通過對照由上述第2縮小單元縮小的輸入圖像與上述 對照用圖像而檢測出上述特定圖像。
5、 如權利要求1所述的檢測裝置,其特徵在於,上述檢測裝置還具有 檢測單元,該檢測單元從上述輸入圖像檢測出表示移動物體的區域,由上述區域確定單元進行的檢測對象區域的確定,基於上述檢測單元 所檢測出的區域而進行。
6、 如權利要求1所述的檢測裝置,其特徵在於,上述檢測裝置還具有 圖像輸入單元,該圖像輸入單元按照拍攝順序取得外部照相機裝置依次拍 攝的多個輸入圖像,上述區域確定單元,以上述圖像輸入單元所取得的規定數量的輸入圖 像作為一個單位,在每個單位中,對於取得順序為最先的輸入圖像,將整 個區域確定為上述檢測對象區域,在上述對照單元對該輸入圖像檢測出上 述特定圖像的情況下,以包含與含有該特定圖像的區域位置相同的區域的 方式確定後續於該輸入圖像的輸入圖像的檢測對象區域。
7、 一種檢測方法,用於從輸入圖像檢測出特定圖像的檢測裝置,其特 徵在於,具有區域確定步驟,在上述輸入圖像中,確定上述特定圖像能夠存在的檢 測對象區域;設定步驟,以用分別為一定尺寸的多個對照對象範圍覆蓋上述區域確 定單元所確定的檢測對象區域的方式,並且以各個對照對象範圍與其他對 照對象範圍重疊規定寬度量的方式,來設定各對照對象範圍的位置;以及對照步驟,對於每個上述設定單元所設定的對照對象範圍,對照該對 照對象範圍的圖像與對照用圖像,由此檢測出上述特定圖像。
8、 一種檢測用集成電路,用於從輸入圖像檢測出特定圖像的檢測裝置, 其特徵在於,具有區域確定單元,在上述輸入圖像中,確定上述特定圖像能夠存在的檢 測對象區域;設定單元,以用分別為一定尺寸的多個對照對象範圍覆蓋上述區域確 定單元所確定的檢測對象區域的方式,並且以各個對照對象範圍與其他對照對象範圍重疊規定寬度量的方式,來設定各對照對象範圍的位置;以及對照單元,對於每個上述設定單元所設定的對照對象範圍,對照該對 照對象範圍的圖像與對照用圖像,由此檢測出上述特定圖像。
全文摘要
從輸入圖像檢測出特定圖像的檢測裝置,具有區域確定單元,在上述輸入圖像中,確定上述特定圖像能夠存在的檢測對象區域;設定單元,以用分別為一定尺寸的多個對照對象範圍覆蓋上述區域確定單元所確定的檢測對象區域的方式,並且以各個對照對象範圍與其他對照對象範圍重疊規定寬度量的方式,來設定各對照對象範圍的位置;以及對照單元,對於每個上述設定單元所設定的對照對象範圍,對照該對照對象範圍的圖像和對照用圖像,由此檢測出上述特定圖像。
文檔編號G06T1/00GK101542523SQ20088000053
公開日2009年9月23日 申請日期2008年4月11日 優先權日2007年4月13日
發明者富田裕人, 淵上鬱雄 申請人:松下電器產業株式會社