電子攝像機及圖像處理裝置的製作方法

2023-09-18 13:29:35

專利名稱：電子攝像機及圖像處理裝置的製作方法
技術領域：
本發明涉及具有人物臉部識別功能的電子攝像機及圖像處理裝置。
背景技術：
以往公開有如下技術，即從拍攝人物臉部的攝影圖像中提取人物臉部 的特徵點，根據關於要識別的人物的臉部識別數據與上述特徵點之間的一 致度，進行臉部識別(參照專利文件l)。在所述臉部識別技術中，需要預 先在電子攝像機等中登記臉部識別數據。特別是為了提高臉部識別的精度， 需要很多的臉部識別數據，所以需要從多個幀的攝影圖像中生成臉部識別 數據。
此外，在用於生成臉部識別數據的登記攝影中，需要拍攝被攝體的臉 部以便更加容易提取臉部的特徵點。因此，具有能夠容易地進行上述登記 攝影的攝影模式的電子攝像機被期望。
此外，期望在登記臉部識別數據時能夠從更多的攝影圖像數據中生成 臉部識別數據。例如，如果能夠從由其他電子攝像機拍攝的圖像數據以及 過去拍攝的圖像數據中生成臉部識別數據，則會大幅提高用戶的便利性。 進而，在臉部登記作業中，期望不用進行繁瑣的作業就能夠更加簡單地進 行臉部登記的裝置。
進而，由於在上述電子攝像機中將多個臉部識別數據登記在存儲器中， 所以登記的臉部識別數據的管理和編輯對用戶來說變得繁瑣的可能性很 高。例如在攝影時選擇臉部識別數據並使電子攝像機識別特定的登記人物 的情況下，或者在編輯時刪除特定的登記人物的臉部識別數據的情況下， 期望能夠使用戶簡單並速度地識別臉部識別數據的概要或者臉部識別數據 與登記人物之間的對應關係。
此外，在具有臉部識別功能的電子攝像機中可以根據臉部識別結果定 制攝影條件或圖像處理等，但是期望即使在一次拍攝了多個識別對象的狀 況下也能夠進行控制而適當地反映用戶意圖的電子攝像機。此外，在多個攝影畫面內檢測出多個臉部的情況下或者用於臉部識別 判斷中的臉部識別數據的總數較多的情況下，臉部識別處理的運算量變得 非常大。在上述情況下，由於臉部識別處理的運算時間變長，所以妨礙了 用戶的舒適攝影，並且錯過按快門的機會的可能性變高，在以上幾個方面 還存在改善的餘地。
專利文件1:日本特開平6—259534號公報

發明內容
本發明是為了解決上述現有技術的技術問題中的至少一個而完成的。 本發明的目的之一在於提供一種能夠容易地進行生成臉部識別數據時的登 記攝影的電子攝像機。
此外，本發明的目的之一在於提供一種能夠讀取預先拍攝人物而成的 圖像數據並容易地生成作為目標的人物的臉部識別數據的圖像處理裝置。
此外，本發明的目的之一在於提供一種能夠使用戶容易且速度地識別 臉部識別數據的概要或者臉部識別數據與登記人物之間的對應關係的電子 攝像機。
此外，本發明的目的之一在於提供一種即使在一次拍攝了多個識別對 象的狀況下也能夠進行控制而根據臉部識別結果來適當地反映用戶意圖的 電子攝像機。
此外，本發明的目的之一在於提供一種能夠根據狀況來適當地調整臉 部識別處理的運算量的電子攝像機。
第一發明涉及的電子攝像機包括攝像元件、圖像處理部、臉部檢測部、 控制部、臉部圖像生成部或者臉部識別數據生成部、以及記錄部。攝像元 件對攝影光學系統的被攝體像進行光電轉換，生成圖像信號。圖像處理部 基於來自攝像元件的圖像信號，生成臉部登記圖像數據，並且基於圖像信 號，生成透視圖像數據。臉部檢測部基於透視圖像數據，檢測攝影畫面內 的臉部區域。控制部對應臉部區域的檢測位置，調整攝影光學系統的攝影 參數。臉部圖像生成部切出臉部區域的圖像，生成臉部圖像數據。臉部識 別數據生成部從臉部登記圖像數據的臉部區域的部分提取攝影人物臉部的 特徵點，基於特徵點，生成臉部識別數據。記錄部記錄臉部圖像數據或者臉部識別數據。
第二發明涉及的電子攝像機包括攝像元件、圖像處理部、控制部、臉 部檢測部、臉部圖像生成部或者臉部識別數據生成部、以及記錄部。攝像 元件對攝影光學系統的被攝體像進行光電轉換，生成圖像信號。圖像處理 部基於來自攝像元件的圖像信號，生成臉部登記圖像數據，並且基於圖像 信號，生成透視圖像數據。控制部以攝影畫面的中央部分為基準，調整攝 影光學系統的攝影參數。臉部檢測部基於透視圖像數據或者臉部登記圖像 數據，檢測位於攝影畫面中央部分的臉部區域。臉部圖像生成部切出臉部 區域的圖像，生成臉部圖像數據。臉部識別數據生成部從臉部登記圖像數 據的臉部區域的部分提取攝影人物臉部的特徵點，基於特徵點，生成臉部 識別數據。記錄部記錄臉部圖像數據或者臉部識別數據。
第三發明是，在第一或者第二發明中，控制部在基於透視圖像數據的 臉部檢測時執行攝像元件的釋放動作。
第四發明是，在第一至第三發明中的任一項發明中，還具有顯示透視 圖像數據的圖像的顯示部。控制部在生成臉部登記圖像數據的攝影模式下， 使顯示部的電源接通。
第五發明是，在第一至第三發明中的任一項發明中，還具有顯示透視 圖像數據的圖像的顯示部。圖像處理部在透視圖像數據的中央部分合成用 於輔助攝影畫面中的臉部的定位的構圖輔助顯示並輸出。
第六發明是，在第五發明中，圖像處理部還在透視圖像數據中合成被 攝體的攝影狀態的樣本顯示並輸出。
第七發明是，在第一至第六發明中的任一項發明中，控制部在生成臉 部登記圖像數據時限制對臉部登記圖像數據的電子變焦處理。
第八發明是，在第一至第七發明中的任一項發明中，攝影光學系統還 具有變焦透鏡。控制部在攝影參數的調整時以及釋放時使變焦透鏡的倍率 調整範圍與通常攝影時相比受到限制。
第九發明是，在第八發明中，控制部在釋放時將變焦透鏡的變焦位置 設定在廣角端。
第十發明是，在第一至第九發明中的任一項發明中，還具有像模糊 補正透鏡，補正攝影畫面上的像模糊；角移位檢測部，檢測電子攝像機的光軸的角度變動；以及補正透鏡驅動部，在釋放時，基於角度變動，使像 模糊補正透鏡驅動。
第十一發明是，在第一至第十發明中的任一項發明中，還具有調整圖 像信號的增益的攝像靈敏度變更部。控制部在釋放時使圖像信號的增益高 於通常攝影時的設定。
第十二發明是，在第一至第十一發明中的任一項發明中，還具有對被 攝場進行閃光發光的閃光發光部。控制部在釋放時使閃光發光部的閃光發 光無效。
第十三發明是，在第一至第十二發明中的任一項發明中，控制部生成 表示釋放時的攝影條件的攝影條件數據，並且將該攝影條件數據與臉部圖 像數據或者臉部識別數據相對應地記錄在記錄部中。
第十四發明是，在第一至第十三發明中的任一項發明中，控制部生成 表示臉部圖像數據或者臉部識別數據的取得時間的取得時間數據，並將該 取得時間數據與臉部圖像數據或者臉部識別數據相對應地記錄在記錄部 中。
第十五發明是，在第一至第十四發明中的任一項發明中，圖像處理部 基於臉部登記圖像數據，生成索引圖像數據。控制部將索引圖像數據與臉 部圖像數據或者臉部識別數據相對應地記錄在記錄部中。
第十六發明是，在第一至第十五發明中的任一項發明中，控制部將根 據相同攝影人物生成的多個臉部圖像數據或者臉部識別數據成組記錄在記 錄部中。
第十七發明是，在第十六發明中，控制部使攝影人物的臉部朝向、攝 影人物的眼鏡有無以及臉部登記圖像數據的攝影條件中的某個並不相同的 2個以上的臉部圖像數據或者臉部識別數據成組。
第十八發明是，在第一至第十七發明中的任一項發明中，控制部在生 成多個拍攝相同攝影人物而成的臉部登記圖像數據時，基於臉部區域的檢 測狀態，決定臉部登記圖像數據的優先順序。臉部圖像生成部或者臉部識 別數據生成部根據優先順序高的臉部登記圖像數據，生成臉部圖像數據或 者臉部識別數據。
第十九發明是，在第一至第十八發明中的任一項發明中，控制部基於臉部區域的檢測狀態，推定攝影人物的臉部朝向，在該臉部朝向與規定方 向不一致時，使攝像元件的釋放動作無效。
第二十發明是，在第一至第十八發明中的任一項發明中，控制部基於 臉部區域的檢測狀態，推定攝影人物的表情，根據該表情的種類，使攝像 元件的釋放動作無效。
第二十一發明涉及的電子攝像機包括攝像元件、臉部檢測部、臉部識 別數據生成部、以及控制部。攝像元件對攝影光學系統的被攝體像進行光 電轉換，生成圖像信號。臉部檢測部基於來自攝像元件的圖像信號，檢測 攝影畫面內的臉部區域。臉部識別數據生成部從臉部區域的部分提取攝影 人物臉部的特徵點，基於特徵點，生成臉部識別數據。控制部使用於生成 臉部識別數據的攝影時的攝影條件與通常攝影時的攝影條件相比受到限 制。
第二十二發明涉及的圖像處理裝置包括控制部、臉部檢測部、臉部圖 像生成部或者臉部識別數據生成部、以及記錄部。控制部具有內置存儲器、 與記錄介質連接的連接部以及外部通信機構中的至少一個，並且從內置存 儲器、記錄介質、經由外部通信機構連接的計算機中的某個中取得由電子 攝像機預先生成的攝影圖像數據。臉部檢測部基於攝影圖像數據，檢測攝 影畫面內的臉部區域。臉部圖像生成部切出臉部區域的圖像，生成臉部圖 像數據。臉部識別數據生成部從攝影圖像數據的臉部區域的部分提取攝影 人物臉部的特徵點，基於特徵點，生成臉部識別數據。記錄部記錄臉部圖 像數據或者臉部識別數據。
第二十三發明是，在第二十二發明中，還具有圖形處理部，在攝影 圖像數據的再現圖像上合成用於識別臉部區域的顯示；以及顯示部，顯示 圖像處理部的輸出圖像。
第二十四發明是，在第二十三發明中，還具有受理用戶輸入的輸入部。 臉部檢測部基於來自輸入部的輸入，變更用於規定臉部區域的檢測精度的 閾值。
第二十五發明是，在第二十三發明中，還具有受理用戶輸入的輸入部。 臉部圖像生成部或者臉部識別數據生成部在從攝影圖像數據中檢測出多個 臉部區域的情況下，對利用來自輸入部的輸入所選擇的臉部區域生成臉部圖像數據或者臉部識別數據。
第二十六發明是，在第二十二至第二十五發明中的任一項發明中，控 制部將根據相同攝影人物生成的多個臉部圖像數據或者臉部識別數據成組 記錄在記錄部中。
第二十七發明是，在第二十二至第二十六發明中的任一項發明中，控 制部以規定的尺寸切出攝影圖像數據的臉部區域的部分，生成索引圖像數 據，並且將該索引圖像數據與臉部圖像數據或者臉部識別數據相對應地記 錄在記錄部中。
第二十八發明是，在第二十二至第二十七發明中的任一項發明中，攝 影圖像數據具有記錄了攝影時的攝影條件的附屬數據區域。控制部基於附 屬數據區域的攝影條件，生成攝影條件數據，並且將該攝影條件數據與臉 部圖像數據或者臉部識別數據相對應地記錄在記錄部中。
第二十九發明是，在第二十二至第二十八發明中的任一項發明中，攝 影圖像數據具有記錄了攝影時間的附屬數據區域。控制部基於附屬數據區 域的攝影時間，生成臉部圖像數據或者臉部識別數據的取得時間數據，並 且將該取得時間數據與臉部圖像數據或者臉部識別數據相對應地記錄在記 錄部中。
第三十發明涉及的電子攝像機包括攝像元件、臉部檢測部、記錄部、 臉部識別部、以及控制部。攝像元件對攝影光學系統的被攝體像進行光電 轉換，生成圖像信號。臉部檢測部基於圖像信號，檢測攝影畫面的臉部區 域，並從該臉部區域的部分，提取攝影人物臉部的特徵點。記錄部將基於 人物臉部的特徵點預先生成的臉部識別數據與索引圖像數據相對應地記 錄，所述索引圖像數據用於表示與該臉部識別數據對應的登記人物。臉部 識別部基於臉部檢測部所提取的特徵點以及臉部識別數據，判斷攝影人物 是否是登記人物。控制部生成編輯畫面，該編輯畫面將臉部識別數據的指 定中使用的顯示項目與索引圖像數據的圖像相關聯地進行提示。
第三十一發明的特徵在於，在第三十發明中，索引圖像數據是登記人 物的攝影圖像數據。
第三十二發明的特徵在於，在第三十一發明中，索引圖像數據是在臉 部識別數據的生成中使用的攝影圖像數據。第三十三發明的特徵在於，在第三十至第三十二發明中的任一項發明 中，在臉部識別數據的生成中使用的圖像數據的攝影條件在與臉部識別數 據相對應的狀態下記錄在記錄部中。
第三十四發明的特徵在於，在第三十至第三十三發明中的任一項發明 中，在臉部識別數據的生成中使用的圖像數據的攝影時間在與臉部識別數 據相對應的狀態下記錄在記錄部中。
第三十五發明的特徵在於，在第三十至第三十四發明中的任一項發明 中，適用於登記人物攝影時的處理設定在與臉部識別數據相對應的狀態下 記錄在記錄部中。
第三十六發明的特徵在於，在第三十至第三十五發明中的任一項發明 中，還具有將攝影圖像的圖像數據發送到外部的通信部。登記人物攝影時 的圖像數據發送與否以及圖像數據的發送目的地的地址信息在與臉部識別 數據相對應的狀態下記錄在記錄部中。
第三十七發明的特徵在於，在第三十至第三十六發明中的任一項發明 中，控制部具有對編輯畫面的顯示輸出與否進行管理的個人認證機構。
第三十八發明的特徵在於，在第三十七發明中，個人認證機構包括臉 部識別部進行的臉部認證。
第三十九發明的特徵在於，在第三十一至第三十八發明中的任一項發 明中，在記錄部中能夠記錄與相同的登記人物有關的多個索引圖像數據， 控制部從索引圖像數據中選擇任意的攝影圖像數據的圖像，並且將該選擇 圖像與顯示項目相關聯地提示在編輯畫面上。
第四十發明的特徵在於，在三十九發明中，控制部從索引圖像數據中 選擇最新的攝影圖像數據的圖像。
第四十一發明的特徵在於，在第三十九發明中，控制部從索引圖像數 據中選擇拍攝登記人物的臉部正面而成的攝影圖像數據的圖像。
第四十二發明的特徵在於，在第三十九發明中，控制部每隔規定間隔 依次切換索引圖像數據的圖像，並提示在編輯畫面上。
第四十三發明涉及的電子攝像機包括攝像元件、臉部檢測部、記錄部、 臉部識別部、以及控制部。攝像元件對攝影光學系統的被攝體像進行光電 轉換，生成圖像信號。臉部檢測部基於圖像信號，檢測攝影畫面的臉部區域，並從該臉部區域的部分，提取攝影人物臉部的特徵點。記錄部將基於 登記人物臉部的特徵點預先生成的臉部識別數據與登記人物攝影時適用的 攝影設定相對應地記錄。臉部識別部基於臉部檢測部所提取的特徵點以及 臉部識別數據，判斷攝影人物是否是登記人物。控制部設定登記人物的優 先順序，在登記人物攝影時基於攝影設定生成攝影圖像數據，在檢測出多 個登記人物的情況下，適用與登記人物中優先順序最高的人物相對應的攝 影設定。
第四十四發明的特徵在於，在第四十三發明中，還具有受理用戶輸入 的輸入部。此外，控制部基於來自輸入部的輸入，指定登記人物並個別設 定優先順序。
第四十五發明的特徵在於，在第四十四發明中，還具有顯示部，該顯 示部顯示用於進行登記人物的指定的編輯畫面。此外，控制部對應優先順 序，使編輯畫面上的登記人物顯示項目的顯示位置或者顯示順序變化。
第四十六發明的特徵在於，在第四十三至第四十五發明中的任一項發 明中，控制部按照登記人物的登記順序設定優先順序。
第四十七發明的特徵在於，在第四十三至第四十五發明中的任一項發 明中，控制部利用名稱排列登記人物，來設定優先順序。
第四十八發明的特徵在於，在第四十三至第四十五發明中的任一項發 明中，記錄部能夠對與相同的登記人物有關的多個臉部識別數據成組進行 記錄，控制部對分組後的臉部識別數據組，利用該臉部識別數據組中包含 的臉部識別數據的數量設定優先順序。
第四十九發明的特徵在於，在第四十三發明中，記錄部還記錄表示每 個登記人物的攝影次數的攝影次數數據。並且，控制部基於上述攝影次數 數據，將攝影次數多的登記人物的優先順序設定得高。
第五十發明涉及的電子攝像機包括攝像元件、臉部檢測部、記錄部、 控制部、以及臉部識別部。攝像元件對攝影光學系統的被攝體像進行光電 轉換，生成圖像信號。臉部檢測部基於圖像信號，檢測攝影畫面的臉部區 域，並從該臉部區域的部分提取攝影人物臉部的特徵點。記錄部記錄基於 登記人物臉部的特徵點而預先生成的臉部識別數據。控制部基於與臉部識 別對象的登記人物相關的臉部識別數據組中包含的臉部識別數據的數量，從臉部識別數據組中選擇判斷用臉部識別數據。臉部識別部基於臉部檢測 部所提取的特徵點以及判斷用臉部識別數據，判斷攝影人物是否是臉部識 別對象的登記人物。
第五十一發明的特徵在於，在第五十發明中，控制部選擇判斷用臉部 識別數據，使臉部識別數據的數量和臉部區域的數量之積所對應的評價值 低於由臉部識別部的處理能力規定的閾值。
第五十二發明的特徵在於，在第五十或者第五十一發明中，控制部在 臉部識別對象的登記人物是多個的情況下，基於對各個登記人物設定的優 先順序對判斷用臉部識別數據附加權重來進行選擇。
第五十三發明的特徵在於，在第五十至第五十二發明中的任一項發明 中，控制部在臉部識別對象的登記人物是多個的情況下，使臉部識別數據 的記錄數多的登記人物優先，來選擇判斷用臉部識別數據。
第五十四發明的特徵在於，在第五十至第五十三發明中的任一項發明 中，控制部在關於相同登記人物記錄了多個臉部識別數據的情況下，使取 得時間近的臉部識別數據優先，來選擇判斷用臉部識別數據。
第五十五發明的特徵在於，在第五十至第五十四發明中的任一項發明 中，控制部在關於相同登記人物記錄了取得時的攝影條件不同的多個臉部 識別數據的情況下，使取得時的攝影條件接近當前攝影條件的臉部識別數 據優先，來選擇判斷用臉部識別數據。
第五十六發明的特徵在於，在第五十至第五十五發明中的任一項發明 中，控制部在關於相同登記人物記錄了臉部朝向不同的多個臉部識別數據 的情況下，使與臉部正面對應的臉部識別數據優先，來選擇判斷用臉部識 別數據。
第五十七發明的特徵在於，在第五十至第五十六發明中的任一項發明 中，記錄部還記錄表示每個登記人物的攝影次舉的攝影次數數據。並且， 控制部基於攝影次數數據，使攝影次數多的登記人物優先，來選擇判斷用 臉部識別數據。
這裡，將與上述發明有關的機構轉換成方法、記錄介質、電腦程式 等來表現的形態，作為本發明的具體形態也是有效的。 發明效果-在本發明的一個形態的電子攝像機中，能夠容易地進行生成臉部識別 數據時的登記攝影。
此外，在本發明的一個形態的圖像處理裝置中，能夠讀取預先拍攝人 物所形成的圖像數據，並容易地生成作為目的的人物的臉部識別數據。
此外，在本發明的一個形態的電子攝像機中，用戶能夠簡單且迅速地 識別臉部識別數據的概要以及臉部識別數據與登記人物之間的對應關係。
此外，在本發明的一個形態的電子攝像機中，即使是一次拍攝多個識 別對象的狀況下，也能夠根據臉部識別的結果，進行適當地反映用戶意圖 的控制。
此外，在本發明的一個形態的電子攝像機中，能夠根據狀況適當地調 整臉部識別處理的運算量。


圖1是表示第一實施方式的電子攝像機的結構的框圖。
圖2是表示第一實施方式的"臉部登記模式"下的動作的流程圖。
圖3是表示模式選擇畫面的一個例子的附圖。
圖4是登記人物的選擇畫面的一個例子的附圖。
圖5是登記人物的詳細信息畫面的一個例子的附圖。
圖6是表示臉部檢測時預覽畫面的顯示例的附圖。
圖7是表示第一實施方式的"臉部識別攝影模式"下的動作的流程圖。
圖8是表示第二實施方式的"臉部登記模式"下的動作的流程圖。
圖9是表示第三實施方式的"臉部登記模式"下的動作的流程圖。
圖IO是表示第四實施方式的"臉部登記模式"下的動作的流程圖。
圖11是表示第四實施方式中預覽畫面的顯示例的附圖。
圖12是表示第五實施方式的"臉部登記模式"下的動作的流程圖。
圖13是表示能夠指定臉部登記模式的模式選擇畫面的一個例子的附圖。
圖14是表示用於確認臉部檢測處理的再次試行的顯示的一個例子的 附圖。
圖15是表示基於選框的臉部區域選擇狀態的附圖。圖16是表示"新的"和"追加"的選擇顯示的一個例子的附圖。 圖17是表示第六實施方式中利用編輯畫面的啟動操作進行臉部認證 時的流程圖。
圖18是表示第六實施方式的"臉部識別攝影模式"下的動作的流程圖。 圖19是表示第七實施方式的"臉部識別攝影模式"下的動作的流程圖。
具體實施例方式
(第一實施方式的說明)
圖1是表示第一實施方式的電子攝像機的結構的框圖。
電子攝像機具有攝影光學系統n、第一透鏡驅動部12、搖動傳感器部 13、像模糊補正透鏡14、第二透鏡驅動部15、攝像元件16、模擬信號處理 部17、 A/D轉換部18、內置存儲器19、圖像處理部20、卡I/F21、輸入輸 出I/F22、操作部件23、液晶監視器24、閃光發光部25、 CPU 26、臉部登 記存儲器27以及數據總線28。此外，經由數據總線28連接內置存儲器19、 圖像處理部20、卡I/F21、輸入輸出I/F22及CPU26。
攝影光學系統11由多個透鏡組構成，所述多個透鏡組包括變焦透鏡 lla、聚焦位置調節用的聚焦透鏡llb。利用第一透鏡驅動部12沿光軸方向 驅動調整構成攝影光學系統11的各個透鏡。
搖動傳感器部13具有檢測電子攝像機的縱向搖動的縱向角速度傳感 器和檢測電子攝像機的橫向搖動的橫向角速度傳感器。搖動傳感器部13向 CPU 26輸出表示電子攝像機的搖動的攝像機搖動數據。該攝像機搖動數據 用於計算像模糊補正透鏡14的移動量。
像模糊補正透鏡14沿著光軸垂直方向可搖動地構成。第二透鏡驅動部 15包括使像模糊補正透鏡14縱向搖動的縱向搖動機構以及使像模糊補正 透鏡14橫向搖動的橫向搖動機構。該第二透鏡驅動部15根據CPU 26計算 出的像模糊補正透鏡14的移動量，使像模糊補正透鏡14搖動，來執行模 糊補正。
攝像元件16對通過攝影光學系統11的光束進行光電轉換，生成被攝 體像的模擬圖像信號。該攝像元件16在非釋放時(攝影待機時)也每隔規 定間隔曝光被攝體，輸出間隔讀取的模擬圖像信號(透視圖像信號)。透視(through)圖像信號用於後述的AF運算、AE運算以及臉部檢測動作或取 景器用圖像的生成等。
模擬信號處理部17包括進行相關雙採樣的CDS電路、放大模擬圖像 信號的輸出的增益電路以及將輸入信號的波形箝位在一定的電壓電平上的 箝位電路等。A/D轉換部18將攝像元件16的模擬圖像信號轉換為數字圖 像信號。內置存儲器19在圖像處理部20中的圖像處理之前的工序或者之 後的工序中暫時保存數據。此外，也能夠在內置存儲器19中設置可記錄後 述的攝影圖像數據的記錄區域。
圖像處理部20對數字圖像信號實施規定的圖像處理。該圖像處理部 20根據釋放(release)時的圖像信號，生成攝影圖像數據。此外，圖像處 理部20根據透視圖像信號依次生成透視圖像數據。該透視圖像數據的分辨 率設定得比攝影圖像數據的解析度低。透視圖像數據用於CPU進行的臉部 識別處理中，並且也作為液晶監視器24的顯示圖像(預覽圖像)使用。進 而，圖像處理部20也執行攝影圖像數據的壓縮處理等。進而，圖像處理部 20還能夠切出攝影圖像的一部分來進行變換解析度的電子變焦處理。
此外，圖像處理部20根據CPU26的指示，生成各種顯示(臉部識別 時的框顯示等)的視頻數據，將上述視頻數據重疊在透視圖像數據上並輸 出給液晶監視器24。由此，在預覽圖像上合成上述各種顯示。
卡I/F 21上形成有用於連接記錄介質29的連接器。記錄介質29由公 知的半導體存儲器等構成。並且，卡I/F 21控制對記錄介質29的攝影圖像 數據的寫入/讀取。
輸入輸出I/F 22上連接有操作部件23和液晶監視器24。操作部件23 具有輸入按鈕及釋放按鈕等。操作部件23的輸入按鈕例如受理電子攝像機 的攝影模式(通常攝影模式、再現模式、臉部登記模式、臉部識別攝影模 式等)的切換輸入等。此外，操作部件23的釋放按鈕受理基於半按下的 AF動作的指示輸入和基於全按下的釋放輸入。
另一方面，液晶監視器24主要配置在電子攝像機的背面部分。該液晶 監視器24上顯示攝影圖像數據的再現圖像及用於變更電子攝像機的各種設 定的設定畫面等。在上述設定畫面上包括用於編輯後述臉部識別數據的編 輯畫面。此外，在攝影模式下的液晶監視器24上能夠動畫顯示上述預覽圖像。因此，用戶能夠一邊確認液晶監視器24的預覽圖像一邊進行被攝體的 取景。
進而，在輸入輸出I/F22上形成有外部連接端子。並且，輸入輸出I/F 22基於USB (Universal Serial Bus:通用串行總線)及IEEEE1394等串行 通信標準來控制與經由外部連接端子連接的計算機等之間的數據收發。此 外，輸入輸出I/F 22的外部連接端子上能夠連接用於與外部進行無線通信 的擴展設備即通信單元30。
閃光發光部25包括氙發光管、積蓄髮光能量的主電容、用於將閃光高 效地照射到被攝體上的反射傘或透鏡部件、調整發光定時或光量的發光控 制電路等。
CPU 26按照存儲在未圖示的ROM中的順序程序(sequence program), 控制電子攝像機的各部動作。例如，CPU26基於透視圖像信號，執行公知 的對照方式的AF (自動聚焦)運算、公知的AE (自動曝光)運算等。此 外，CPU 26基於上述的攝像機搖動數據，運算像模糊補正透鏡14的移動 裡。
進而，CPU 26具有臉部檢測部31和臉部識別部32的功能。臉部檢測 部31從透視圖像數據或攝影圖像數據中提取特徵點，並檢測被攝體的臉部 區域、臉部的大小等。例如臉部檢測部31通過在日本特開2001 — 16573號 公報等中記載的特徵點提取處理來提取臉部區域。此外，作為上述特徵點， 可以例舉出例如眉、眼、鼻、唇的各個端點、臉部的輪廓點、頭頂點或下 巴的下端點等。
臉部識別部32在"臉部登記模式"下基於檢測出的臉部特徵點生成臉 部識別數據。例如，臉部識別部32根據檢測出的臉部的特徵點的位置、從 特徵點求出的臉部部件的大小、各特徵點的相對距離等，生成登記人物的 臉部識別數據。
此外，臉部識別部32在"臉部識別攝影模式"下進行臉部識別處理， 該臉部識別處理判斷攝影畫面內的人物臉部是否是臉部識別數據的登記人 物的臉部。具體來說，首先，臉部識別部32根據檢測出的臉部的特徵點， 計算攝影人物的臉部的特徵點的位置、各個臉部部件的大小、各特徵點的 相對距離等。接著，臉部識別部32比較上述運算結果和臉部識別數據，並求出規定的登記人物的臉部與攝影人物的臉部之間的相似度。並且，臉部
識別部32在上述相似度超過閾值時判斷攝影人物與規定的登記人物一致。
此外，CPU 26能夠根據臉部識別處理的結果來執行攝影條件或者圖像 處理的設定變更、以及對攝像元件16的釋放指示等。
在臉部登記存儲器27中記錄CPU 26的臉部識別部32生成的臉部識 別數據。在該臉部登記存儲器27中對每個登記人物生成組文件夾。在組文 件夾中分別記錄各個登記人物的臉部識別數據。即，臉部登記存儲器27的 臉部識別數據由組文件夾按每個登記人物分組。例如在組文件夾中能夠對 同一登記人物記錄臉部的朝向、有無眼鏡及攝影條f^等不同的多個臉部識 別數據。並且，通過指定登記人物，CPU 26能夠統一從臉部登記存儲器27 讀取組文件夾內的臉部識別數據。
此外，在臉部登記存儲器27中記錄"登記人物的名稱"以及"臉部識 別時的處理設定"的數據。上述"登記人物的名稱"以及"臉部識別時的 處理設定"分別與各個登記人物的組文件夾相對應。
這裡，在"臉部識別時的處理設定"中記錄在識別出登記人物時適用 的電子攝像機的各種控制的設定。例如在"臉部識別時的處理設定"中包 括(1)攝影時的攝影條件的設定、(2)攝影圖像數據的圖像處理的設定、 (3)攝影圖像數據的記錄目的地的設定、(4)攝影圖像數據的列印指定的 設定、(5)攝影圖像數據的發送設定等。
在上述(1)的攝影條件的設定中包括拍攝各個登記人物時的曝光補正 值或景深的設定(淺度、標準的選擇)等。此外，還能夠設定在登記人物 的檢測時CPU26自動進行攝影。在上述(2)的圖像處理的設定中包括攝 影圖像數據的軟焦點處理的有無設定、邊緣強調的抑制設定等。
在上述(3)的記錄目的地的設定中能夠按照各個登記人物指定作為攝 影圖像數據的記錄目的地的記錄介質29內的記錄文件夾的目錄路徑。也就 是說，CPU 26能夠參照臉部登記存儲器27的數據，在每個登記人物不同 的記錄文件夾中記錄攝影圖像數據。
在上述(4)的列印指定的設定中，例如能夠按照各個登記人物指定基 於DPOF (Digital Print Order Format:數字列印指令格式)等標準的攝影圖 像數據的列印指定的有無。此外，在上述(5)的發送設定中，能夠指定登記人物攝影時是否需要發送攝影圖像數據和發送目的地的地址信息(電子 郵件地址)。
此外，在臉部登記存儲器27中記錄"臉部登記圖像"、"臉部識別數據 的登記時間"以及"取得臉部識別數據時的攝影條件"的數據。上述"臉 部登記圖像"、"臉部識別數據的登記時間"以及"取得臉部識別數據時的 攝影條件"的數據分別與組文件夾內的各個臉部識別數據相對應。
上述"臉部登記圖像"是取得臉部識別數據時的攝影圖像數據，並且 被調整到規定的象素大小。並且，"臉部登記圖像"在上述編輯畫面中顯示 在液晶監視器24上。即，"臉部登記圖像"具有索引圖像的功能，該索引 圖像提高登記人物或臉部識別數據的識別性和檢索性。例如，利用"臉部 登記圖像"，用戶能夠在編輯畫面上確認是根據誰的、怎樣的圖像(臉部正 面、橫向等)生成了臉部識別數據。
"臉部識別數據的登記時間"是作為該臉部識別數據之源的臉部登記 圖像數據的攝影時間的數據。此外，"取得臉部識別數據時的攝影條件"是 臉部登記圖像數據的攝影條件的數據。在上述攝影條件中包括例如攝影光 學系統ll的焦點距離的數據、攝影時的白平衡及曝光條件、攝影時有無閃 光燈發光等。此外，"臉部識別數據的登記時間"以及"取得臉部識別數據 時的攝影條件"的數據還用於CPU 26精減在臉部識別處理中使用的臉部識 別數據時的判斷中。
此外，在臉部登記存儲器27中還記錄表示每個登記人物的攝影次數的 攝影次數數據。該攝影次數數據的攝影次數根據CPU 26在臉部識別攝影模 式下的臉部識別結果而遞增。此外，也可以由用戶在編輯畫面等上手動輸 入上述攝影次數。
以下將第一實施方式的電子攝像機的動作分為"臉部登記模式"和"臉 部識別攝影模式"來進行說明。 (臉部登記模式下的動作)
圖2是表示第一實施方式的"臉部登記模式"下的動作的流程圖。該 "臉部登記模式"是攝影模式中的一種，是用於使用戶拍攝登記人物的臉 部並生成臉部識別數據的模式。
步驟101:首先，用戶通過操作部件23將電子攝像機的攝影模式設定為"臉部登記模式"。
例如，在電子攝像機被設定為"通常攝影模式"或"肖像攝影模式"
的狀態下，用戶進行調用模式選擇畫面的操作。由此，CPU26在液晶監視 器24上顯示模式選擇畫面(參照圖3 (a))。並且，用戶利用操作部件23 操作模式選擇畫面上的選框，對CPU26指示啟動"臉部登記模式"。由此， CPU 26開始"臉部登記模式"的一系列動作。
步驟102: CPU 26在液晶監視器24上顯示"臉部登記模式"的菜單 (參照圖3 (b))。在該菜單上，用戶利用操作部件23操作選框，向CPU 26 選擇輸入"新的"或"追加"。在登記新的人物臉部時，用戶選擇輸入"新 的"，另一方面，在進一步對已登記的人物進行拍攝時，用戶選擇輸入"追 加"。
步驟103: CPU 26判斷在菜單(S102)上是否選擇了 "新的"。在選 擇了 "新的"的情況下("是"的一方)移到S104。另一方面，在選擇了 "追加"的情況下("否"的一方)移到S105。
步驟104:在S102選擇了 "新的"的情況下，CPU 26在臉部登記存 儲器27中生成新的登記人物(當次拍攝的登記人物)的組文件夾。並且， CPU26在液晶監視器24上顯示"登記人物的詳細信息畫面"(參照圖5)， 並催促用戶輸入"登記人物的名稱"以及"臉部識別時的處理設定"。在圖 5的"登記人物的詳細信息畫面"上輸入的信息在與組文件夾對應的狀態下 記錄到臉部登記存儲器27中。然後移到S106。
此外，用戶也能夠省略"登記人物的名稱"以及"臉部識別時的處理 設定"的輸入。此時，用戶能夠從圖3 (b)的編輯項目啟動圖5的"登記 人物的詳細信息畫面"，在以後重新將這些信息輸入到臉部登記存儲器27 中。
步驟105:另一方面，在S102選擇了 "追加"的情況下，CPU 26在 液晶監視器24上顯示登記人物的選擇畫面(參照圖4),使用戶選擇輸入當 次拍攝的登記人物。
步驟106: CPU26將電子攝像機的攝影時的設定變更為適於臉部登記 攝影的設定。具體來說，CPU26進行以下(1) (7)的設定。
(1) CPU26在"臉部登記模式"中將AF方式設定為臉部檢測模式，此時，CPU26配合由透視圖像數據檢測出的臉部區域，自動重複對焦而與 釋放按鈕的操作無關。由此，能夠對焦到所檢測出的臉部上。此外，也可 以在用戶半按下釋放按鈕的情況下CPU 26進行AF鎖定。
(2) CPU 26在"臉部登記模式"中將AE方式設定為以臉部檢測區 域為基準的點AE模式。此時，CPU26配合由透視圖像數據檢測出的臉部 區域，實行AE運算。由此，所檢測出的臉部的曝光最優化。
(3) CPU26在"臉部登記模式"中使圖像處理部20的電子變焦處理 無效化。此外，CPU 26通過將電子變焦的倍率限制在例如2倍左右等手段， 將電子變焦的最大倍率限制得小於通常時。這是因為，在進行電子變焦的 情況下，拍攝的臉部登記圖像的信息量變小，臉部的特徵點的提取精度降 低。
(4) CPU 26在"臉部登記模式"中將變焦透鏡lla的倍率調整範圍 與通常攝影時相比向廣角一側變窄，從而減小最大倍率。這是因為，在臉 部檢測吋，向廣角一側設定變焦透鏡而使景深變深，從而能夠檢測出臉部 的可能性增加。還因為，如果將變焦透鏡設定在廣角一側，則攝影圖像因 手顫動而模糊的可能性降低。此外，在該情況下，若將變焦透鏡lla的位 置固定在廣角端，則景深變得更深，所以特別優選。
此外，雖然縮小攝影光學系統的光圈(未圖示)，景深也變深，但此時 與快門秒時相當的攝影時間變長，從而臉部登記圖像由於手顫動而模糊的 可能性增加。因此，從迴避手顫動模糊的觀點出發，更加優選CPU26儘量 將光圈設定在開放一側。此外，CPU26在不能進行臉部檢測時也可以進行 控制使景深漸漸變深。
(5) CPU26在"臉部登記模式"中基於搖動傳感器部13的輸出，使 像模糊補正透鏡14移動來進行光學模糊補正。這是為了迴避因手顫動引起 的臉部登記圖像的攝影失敗。
(6) CPU26在"臉部登記模式"中使模擬信號處理部17中的圖像信 號的增益設定(攝像靈敏度設定)高於通常攝影時的設定。這是因為，若 攝像靈敏度變高，則上述攝影時間變短，所以臉部登記圖像成為手顫動模 糊的可能性降低。
(7) CPU 26在"臉部登記模式"中使閃光發光部25的閃光發光無效化。這是因為，若在攝影時進行閃光發光，則在攝影人物的臉部會出現陰 影，從而臉部檢測的精度降低。此外，在被攝場變暗而無法確保充分的曝 光的狀態下強制拍攝的情況下，或者有意要取得閃光發光時的臉部識別數
據的情況下，CPU26也可以使閃光發光部25例外發光。
步驟107: CPU 26使攝像元件16驅動，進行透視圖像信號的取得。
攝像元件16每隔規定間隔進行間隔讀取來生成透視圖像信號。圖像處理部
20基於透視圖像信號生成透視圖像數據。並且，基於透視圖像數據在液晶
監視器24上動畫顯示預覽圖像。
步驟108:另一方面，CPU 26的臉部檢測部31對透視圖像數據實施
公知的臉部檢測處理，並檢測攝影畫面內的臉部區域。
此外，在S108中，優選臉部檢測部31降低用來規定臉部區域的檢測
精度(臉部的檢測正確率)的閾值，從而使臉部候補的檢出率比通常高。
這是因為，有時會以很難進行臉部檢測的臉部朝向(例如側面朝向等)拍
攝臉部登記圖像。
此外，在臉部檢測部31在攝影畫面內檢測出人物的臉部時，圖像處理 部20在預覽圖像的臉部區域的位置上合成顯示矩形框(參照圖6)。由此， 用戶能夠在預覽圖像中確認是否檢測出臉部。
步驟109: CPU 26判斷是否在S108中從攝影圖像中檢測出臉部。在 檢測到臉部的情況下("是"的一方)移到SllO。另一方面，在沒有檢測 到臉部的情況下("否"的一方)返回S107。
步驟110: CPU26根據臉部區域中臉部的特徵點的檢測狀態，推定臉 部的朝向。並且，CPU26判斷所推定的臉部的朝向與預先指定的臉部的朝 向(正面朝向、橫向等)是否一致。在臉部的朝向是規定方向的情況下("是" 的一方)移到S111。另一方面，在臉部的朝向是規定方向以外的情況下("否" 的一方)返回S107。此時，CPU26也可以使液晶監視器24等顯示"請改 變被攝體的臉部朝向再重新拍攝"等的警告顯示。
這裡，利用公知的手段進行S110中的臉部朝向的檢測。例如，也可以 如曰本特開平9一 163212號公報那樣CPU 26從臉部圖像中檢測臉部的輪廓 和鼻子的坐標，來計算臉部的朝向。或者也可以如日本特開2005—209137 號公報那樣，CPU 26根據按每個臉部方向分類登記臉部圖像的圖像資料庫，識別臉部的朝向。
在S110中為"否"的一方的情況下，CPU26不進行釋放，從而不進 行攝影，直到被攝體的臉部朝向改變為止。因此，能夠從規定的臉部朝向 的臉部登記圖像中生成臉部識別數據。
步驟lll: CPU26根據臉部區域中臉部的特徵點的檢測狀態，推定臉 部的表情。並且，CPU26判斷所推定的臉部表情是否是中立狀態(沒有閉 眼等標準狀態)。在臉部表情是中立的情況下("是"的一方)，移到S112。 另一方面，在臉部表情不是中立的情況下("否"的一方)，返回S107。此 時，CPU 26也可以使液晶監視器24等顯示"請改變被攝體的表情再拍攝" 等警告顯示。
這裡，利用公知的手段進行Slll中的臉部表情的檢測。例如，如日本 特開2004—272933號公報所述，預先準備被分類成普通的表情、閉眼的表 情、張嘴的表情、笑臉等類別的學習用臉部圖像，CPU26進行基於典型判 斷分析的識別，從而利用對各個類別設定的評價值，判斷臉部的表情。
或者也可以預先準備睜開的眼，關閉的眼、張開的嘴、關閉的嘴等標 準圖案，CPU26進行各個圖案和臉部區域的匹配，並且根據圖案的組合來 推定表情。
在Slll中為"否"的一方的情況下，CPU 26不進行釋放，從而不進 行拍攝直到改變被攝體的臉部表情為止。因此，能夠可靠地取得臉部表情 中立的狀態下的臉部登記圖像。這是因為，若根據笑臉或者閉眼狀態的圖 像生成臉部識別數據，則存在臉部識別精度大大降低的可能性，因此認為 表情中立的臉部登記圖像是最適合臉部識別的圖像。
此外，CPU26能夠按照用戶的設定而省略上述S110及S111的處理。 步驟112: CPU26以檢測出的臉部區域的位置為基準，執行AF運算 及AE運算。
步驟113: CPU26判斷釋放按鈕是否被全按下。在釋放按鈕被全按下 的情況下("是"的一方)，移到S114。另一方面，在釋放按鈕上沒有輸入 的情況下("否"的一方)，CPU26等待釋放按鈕的全按下操作。
步驟114: CPU 26使攝像元件16驅動來拍攝被攝體像。然後，圖像 處理部20基於釋放時的圖像信號，生成攝影圖像數據(臉部登記圖像數據)。步驟115: CPU 26的臉部識別部32根據臉部登記圖像數據(S114) 生成登記人物的臉部識別數據。此外，圖像處理部20剪輯臉部登記圖像數 據的臉部區域，並且利用解析度轉換調整到規定尺寸，來生成索引圖像數 據。
步驟116: CPU 26在臉部登記存儲器27中記錄臉部識別數據、索引 圖像數據、臉部登記圖像數據的攝影條件以及攝影時間。上述各個數據在 分別對應的狀態下被記錄到在S104或S105中指定的登記人物的組文件夾 中。在上述各個數據中，索引圖像數據對應"臉部登記圖像"。此外，攝影 時間對應"臉部識別數據的登記時間"，攝影條件對應"臉部識別數據取得 時的攝影條件"。
至此結束了 "臉部登記模式"下的一系列動作。此外，CPU26也可以 在S116之後返回S107，繼續進行登記人物的臉部識別數據的登記。
以下說明第一實施方式的"臉部登記模式"的效果。在上述臉部登記 攝影中，攝影時的設定被變更成適於臉部登記的設定，並且以臉部區域的 檢測位置為基準，進行AF運算及AE運算(S106、 S112)。並且，根據拍 攝人物的臉部而成的臉部登記圖像數據，生成臉部識別數據(S114、 S115)。 因此，僅通過用戶將電子攝像機朝向想登記的人物並釋放，就能夠容易地 取得基於適當拍攝的臉部登記圖像的臉部識別數據。 (臉部識別攝影模式下的動作)
圖7是表示第一實施方式的"臉部識別攝影模式"下的動作的流程圖。 該"臉部識別攝影模式"是在攝影畫面上存在指定的登記人物時電子攝像 機進行規定控制來取得攝影圖像數據的攝影模式。
步驟201:首先，用戶通過操作部件23將電子攝像機的攝影模式設定 為"臉部識別攝影模式"。
例如，在電子攝像機被設定為"通常攝影模式"或"肖像攝影模式" 的狀態下，用戶進行調用模式選擇畫面的操作。由此，CPU26在液晶監視 器24上顯示模式選擇畫面(參照圖3 (a))。並且，用戶利用操作部件23 操作模式選擇畫面上的選框，對CPU26指示啟動"臉部識別攝影模式"。 由此，CPU26開始"臉部識別攝影模式"的一系列動作。
步驟202: CPU 26在液晶監視器24上顯示登記人物的選擇畫面(參照圖4)。並且，CPU26受理臉部識別對象的登記人物(攝影時進行臉部識 別的登記人物)的指定輸入。此外，也可以在拍攝前預先由用戶將臉部識 別對象的登記人物指定輸入到CPU 26中。
這裡，在"登記人物的選擇畫面"中，CPU 26能夠受理1或2個以上 的登記人物的指定。例如，CPU 26也能夠受理臉部登記存儲器27中的登 記人物的整體指定。此外，預先將組文件夾在規定的範疇(例如家族、派 系等)中建立連結，並且通過用戶在選擇畫面上指定輸入範疇，能夠對CPU 26輸入對所連結的登記人物的統一指定。
步驟203: CPU 26使攝像元件16驅動，取得透視圖像信號。攝像元 件16每隔規定間隔進行間隔讀取，來輸出透視圖像信號。圖像處理部20 基於透視圖像信號，動畫顯示預覽圖像。
步驟204:另一方面，CPU 26的臉部檢測部31對透視圖像信號實施 公知的臉部檢測處理，檢測攝影畫面內的臉部區域。
步驟205: CPU 26判斷是否在S204中從攝影畫面檢測出臉部。在檢 測出臉部的情況下("是"的一方)，移到S206。另一方面，在沒有檢測出 臉部的情況下("否"的一方)，移到S209。
步驟206: CPU26以檢測出的臉部區域的位置為基準，執行AF運算。 此外，在檢測出多個臉部區域的情況下，CPU26使位於攝影畫面中央的臉 部區域或者位於最近一側的臉部區域優先執行AF運算。
步驟207: CPU26的臉部識別部32，對檢測出的臉部區域(S204)執 行臉部識別處理。並且，臉部識別部32判斷是否包含有識別對象的臉部 (S202)。在包含有識別對象的臉部的情況下("是"的一方)，移到S208。 另一方面，在沒有包含有識別對象的臉部的情況下("否"的一方)，移到 S210。
步驟208: CPU26基於與檢測出的登記人物相對應的"臉部識別時的 處理設定"的數據，變更電子攝像機的攝影條件的設定或圖像處理的設定 等。然後，移到S210。
這裡，在攝影畫面內檢測出多個識別對象的臉部的情況下，CPU26以 規定的算法決定登記人物的優先順序。並且，CPU 26基於與優先順序最高 的登記人物相對應的"臉部識別時的處理設定"，變更電子攝像機的各種設
31定。此外，在"臉部識別時的處理設定"中設定了登記人物的自動拍攝的
情況下，CPU26移到S211，自動拍攝登記人物。
步驟209:另一方面，在此情況下，CPU26對應用戶對釋放按鈕的半 按下操作，以通常攝影時的算法選擇AF區，執行AF運算。
步驟210: CPU26判斷釋放按鈕是否被全按下。在釋放按鈕被全按下 的情況下("是"的一方)，移到S211。另一方面，在沒有對釋放按鈕的輸 入的情況下("否"的一方)，CPU26等待釋放按鈕的全按下操作。
步驟211: CPU 26使攝像元件16驅動，拍攝被攝體像。然後，圖像 處理部20基於釋放時的圖像信號，生成攝影圖像數據。此外，在拍攝到識 別對象的臉部的情況下，圖像處理部20向攝影圖像數據實施在S208中設 定的圖像處理。
步驟212: CPU 26向記錄介質29中記錄攝影圖像數據。此外，在拍 攝到識別對象的臉部的情況下，CPU 26也能夠基於在臉部登記存儲器27 中指定的目錄路徑，將攝影圖像數據分類並記錄到規定的記錄文件夾。以 上結束了 "臉部識別攝影模式"下的一系列動作。
以下，說明本實施方式的"臉部識別攝影模式"的效果。在上述臉部 識別攝影模式中，基於臉部識別數據，進行攝影人物的臉部識別(S207)。 並且，在檢測出識別對象的臉部的情況下，通過與該登記人物相對應的設 定進行攝影時的各種處理等(S208、 S211、 S212)。因此，能夠在攝影人物 的攝影時自動進行反映用戶意圖的處理，顯著提高操作電子攝像機的用戶 的便利性。
(第二實施方式的說明)
圖8是表示第二實施方式的"臉部登記模式"下的動作的流程圖。此 外，由於圖8的S301 S312分別對應圖2的S101 S112，圖8的S315對 應圖2的S116，所以省略重複說明。
步驟313: CPU 26在AF結束之後自動進行釋放，使攝像元件16驅動， 拍攝被攝體像。然後，圖像處理部20基於釋放時的圖像信號，生成攝影圖 像數據(臉部登記圖像數據)。
步驟314: CPU 26的臉部識別部32根據臉部登記圖像數據(S313) 生成登記人物的臉部識別數據。此外，圖像處理部20根據臉部登記圖像數據生成索引圖像數據。
以下，說明第二實施方式的"臉部登記模式"的效果。在第二實施方
式中，在臉部檢測時自動拍攝人物的臉部來生成臉部識別數據(S313、 S314)。因此，用戶僅通過將電子攝像機朝向想登記的人物，就能夠容易地 取得基於適當的臉部登記圖像的臉部識別數據。特別是，在第二實施方式 中自動進行對焦及釋放，所以還能夠使攝影光學系統朝向用戶本身，而僅 一人就能進行用戶的臉部登記攝影。 (第三實施方式的說明)
圖9是表示第三實施方式的"臉部登記模式"下的動作的流程圖。此 外，由於圖9的S401 S409分別對應圖2的S101 S109，圖9的S414對 應圖2的S116，所以省略重複說明。
步驟410: CPU26以檢測出的臉部區域的位置為基準，執行AF運算 及AE運算。
步驟411: CPU26自動連續地進行規定次數的釋放，取得多個攝影圖 像數據(臉部登記圖像數據)。這裡，在S411中，CPU26使攝影條件全部 相同地拍攝多個臉部登記圖像數據。這是因為，例如在被攝體非靜止的情 況或者發生手顫弓I起的模糊的情況下，即使在相同的攝影條件下也會拍攝 到不同的圖像。此外，CPU26也可以使曝光條件或者白平衡等參數分階段 變化，來進行包圍曝光攝影。
步驟412: CPU 26的臉部檢測部31對在S411中取得的多個臉部登記 圖像數據分別實施臉部檢測處理，並提取特徵點。並且，CPU26按照臉部 的特徵點的檢測狀態從好到壞的順序(例如提取的特徵點的數量從多到少 的順序)，對各個臉部登記圖像數據設定優先順序。此外，也可以如第一實 施方式的S110及Slll中所示，CPU 26還考慮臉部登記圖像數據的臉部朝 向及表情，設定上述優先順序。
步驟413: CPU 26從在S411中取得的多個臉部登記圖像數據中選擇 優先順序最高的臉部登記圖像數據。並且，CPU 26的臉部識別部32根據 所選擇的該臉部登記圖像數據生成臉部識別數據。此外，圖像處理部20根 據所選擇的臉部登記圖像數據生成索引圖像數據。
以下，說明第三實施方式的"臉部登記模式"的效果。在第三實施方式中，從多個臉部登記圖像數據選擇最佳的圖像，生成臉部識別數據。因 此，根據第三實施方式，更加容易提高臉部識別攝影時的臉部識別的精度。 (第四實施方式的說明)
圖io是表示第四實施方式的"臉部登記模式"下的動作的流程圖。此 夕卜，由於圖10的S501 S505分別對應圖2的S101 S105，圖10的S513、 S514分別對應圖2的S115、 S116,所以省略重複說明。
步驟506: CPU26將電子攝像機的攝影時的設定變更為適於臉部登記 攝影的設定。具體來說，CPU26進行與S106的(3) (7)相同的設定， 並且進行以下(a)及(b)的設定。
(a) CPU 26在"臉部登記模式"下選擇攝影畫面中央的AF區進行 AF運算。此時，CPU 26對應釋放按鈕被半按下的操作，在中央重點AF 進行對焦，並且在對焦了的時刻執行AF鎖定的控制。這是因為，通過在 攝影圖像中央取得臉部登記圖像，使攝影光學系統的像差的影響變得更小， 來生成高精度的臉部識別數據。
(b) CPU 26在"臉部登記模式"中將AE方式設定為以攝影畫面中 央為基準的點AE模式。由此，在攝影畫面中央拍攝的臉部的曝光被最優 化。
步驟507: CPU 26使攝像元件16驅動，進行透視圖像信號的取得。 攝像元件16每隔規定間隔進行間隔讀取來生成透視圖像信號。圖像處理部 20基於透視圖像信號生成透視圖像數據。並且，基於透視圖像數據在液晶 監視器24上動畫顯示預覽圖像。
這裡，在S507中的圖像處理部20在預覽圖像的攝影畫面的中央合成 構圖輔助顯示(參照圖11)。圖11的構圖輔助顯示是利用矩形框表示將攝 影畫面內的臉部收入的位置。利用該構圖輔助顯示，用戶能夠在取景時容 易地進行臉部的定位。因此，用戶能夠簡單地拍攝狀態良好的臉部登記圖 像。此外，作為構圖輔助顯示的其他例子，也可以在預覽圖像中僅合成矩 形框的4個角。或者，作為構圖輔助顯示的其他例子，也可以例如利用黑 白顯示收入臉部的範圍之外的範圍等手段，使收入臉部的範圍內外的圖像 顯示顏色變化(都省略了圖示)。
此外，在S507中的圖像處理部20在預覽圖像的中央以外的周邊區域合成攝影樣本顯示(參照圖11)。圖11的攝影樣本顯示是顯示朝向規定方 向的人物臉部的照片或插圖。例如，在拍攝正面朝向的臉部登記圖像時， 在攝影樣本顯示中顯示正面朝向的臉部圖像。利用該攝影樣本顯示，用戶 能夠視覺理解當次攝影中合適的臉部狀態(臉部的朝向等)。因此，用戶能
夠簡單地拍攝狀態良好的臉部登記圖像。此外，圖像處理部20也可以在預 覽圖像上合成"請拍攝正面的臉部"等消息。
步驟508: CPU26判斷釋放按鈕是否被半按下。在釋放按鈕被半按下 的情況下("是"的一方)，移到S509。另一方面，在釋放按鈕上沒有輸入 的情況下("否"的一方)，移到S507。
步驟509: CPU26對應用戶進行的釋放按鈕半按下操作，執行以攝影 畫面中央為基準的AF運算及AE運算。
步驟510: CPU26判斷釋放按鈕是否被全按下。在釋放按鈕被全按下 的情況下("是"的一方)，移到S511。另一方面，在釋放按鈕上沒有輸入 的情況下("否"的一方)，CPU26等待釋放按鈕的全按下操作。
步驟511: CPU26對應用戶進行的釋放按鈕全按下操作，取得攝影圖 像數據(臉部登記圖像數據)。
步驟512: CPU 26的臉部檢測部31對臉部登記圖像數據(S511)的 攝影畫面中央部分實施公知的臉部檢測處理，並檢測攝影畫面內的臉部區 域。
以下，說明第四實施方式的"臉部登記模式"的效果。在第四實施方 式中，基於用戶手動拍攝的臉部登記圖像數據，生成臉部識別數據。因此， 能夠製作符合用戶意圖的臉部識別數據。此外，由於在攝影光學系統的像 差影響較小的攝影畫面中央取得臉部登記圖像，所以能夠生成精度更高的 臉部識別數據。
(第一實施方式到第四實施方式中的臉部登記模式的變形例) 在上述實施方式中說明了攝影時從臉部登記圖像生成臉部識別數據的 例子。但是，也可以取代從臉部登記圖像生成臉部識別數據，而是CPU從 臉部登記圖像切出臉部區域的部分，生成臉部圖像數據，並將該臉部圖像 數據記錄到存儲器或記錄介質中。並且，也能夠在計算機進行的後處理中， 從臉部圖像數據生成臉部識別數據。這裡，例如以80X80象素左右的尺寸切出臉部登記圖像的臉部區域， 來生成臉部圖像數據。優選對所述臉部圖像數據的圖像實施基於解析度轉 換的可變倍率處理。此外，與臉部登記圖像數據的情況相同，優選CPU將 索引圖像數據、臉部登記圖像數據的攝影條件及攝影時間相對應地記錄在 上述臉部圖像數據中。進而，對於上述臉部圖像數據，也優選CPU將根據 相同攝影人物生成的多個臉部圖像數據成組記錄到相同的文件夾等中。 (第五實施方式的說明)
第五實施方式是第一實施方式的變形例，由本發明的圖像處理裝置的 一個形態的電子攝像機從攝影圖像中生成臉部識別數據。這裡，第五實施 方式的電子攝像機的結構與第一實施方式相同，所以省略重複說明。 (臉部登記模式下的動作)
圖12是表示第五實施方式的"臉部登記模式"下的動作的流程圖。該 "臉部登記模式"是再現模式中的一種，是用於在攝影圖像數據的再現時 生成臉部識別數據的模式。
步驟1101:首先，用戶通過操作部件23將電子攝像機設定為"再現 模式"。CPU 26從記錄介質26或內置存儲器19中讀取臉部登記圖像數據 (用於生成臉部識別數據的攝影圖像數據)，並在液晶監視器24上再現顯 示臉部登記圖像數據的再現圖像。此外，CPU 26還能夠經由輸入輸出I/F 22 的外部連接端子或通信單元30從所連接的計算機(未圖示)中讀取臉部登 記圖像數據。
步驟1102:用戶通過操作部件23將電子攝像機的攝影模式設定為"臉 部登記模式"。
例如，在電子攝像機被設定為"再現模式"的狀態下，用戶進行調用 模式選擇畫面的操作。由此，CPU 26在液晶監視器24上顯示模式選擇畫 面(參照圖13)。並且，用戶利用操作部件23操作模式選擇畫面上的選框， 對CPU26指示啟動"臉部登記模式"。由此，CPU26開始"臉部登記模式" 的一系列動作。
步驟1103: CPU 26的臉部檢測部31對臉部登記圖像數據(S1101) 實施公知的臉部檢測處理，並檢測攝影畫面內的臉部區域。
步驟1104: CPU 26向圖像處理部20輸出攝影畫面中的臉部區域的位置。並且，圖像處理部20在再現圖像的臉部區域的位置上合成顯示矩形框 (參照圖14 圖16)。由此，用戶能夠在液晶監視器24上確認臉部檢測的 狀態。
步驟1105: CPU26在液晶監視器24上顯示向用戶確認臉部檢測處理 的再次試行的顯示("OK"或"重新進行"的選擇顯示)(參照圖14)。在 要登記的人物的臉部上沒有框顯示的情況下，用戶利用操作部件23選擇輸 入"重新進行"。另一方面，在要登記的人物的臉部上有框顯示的情況下， 用戶利用操作部件23選擇輸入"OK"。
並且，CPU 26判斷在上述確認顯示中是否選擇了 "重新進行"(臉部 檢測處理的再次試行)。在選擇了 "重新進行"的情況下("是"的一方)， 移到S1106。另一方面，在選擇了 "OK"的情況下("否"的一方)，移到 S1107。
步驟1106: CPU26的臉部檢測部31基於用戶從操作部件23的輸入， 變更規定臉部區域檢測精度的閾值。
例如，在要選擇的人物的臉部上沒有框顯示的情況下，用戶將上述閾 值變更成比前次小的閾值。然後，返回S1103，臉部檢測部31對臉部登記 圖像數據實施臉部檢測處理，並再次檢測攝影畫面內的臉部區域。此時， 由於正確檢測臉部區域的正確率下降，並且臉部候補(框顯示的臉部區域) 的數量與前次相比增加，所以能夠檢測出難以進行臉部檢測狀態下的臉部 區域(例如側向的臉部等)的可能性更加提高。
此外，在臉部登記圖像中拍攝到多個人物並且檢測出了必要以上的臉 部候補時，用戶將上述閾值變更成比前次大的閾值。然後，返回S1103， 臉部檢測部31對臉部登記圖像數據實施臉部檢測處理，並再次檢測攝影畫 面內的臉部區域。此時，由於正確檢測臉部區域的正確率提高，所以精減 了臉部候補的數量，使後述的選擇作業(S107)變得容易。
步驟1107: CPU26在臉部登記圖像的某個臉部區域(S1103)合成顯 示選框(參照圖15)。用戶利用操作部件23操作選框，來選擇用於製作臉 部識別數據的人物,另一方面，CPU26受理用戶的選擇輸入。此外，在S1107 中，用戶還能夠從一個再現圖像中選擇多個臉部區域。
步驟1108: CPU26在液晶監視器24上顯示向用戶確認所選擇的人物是否是新的登記人物的顯示("新的"及"追加"的選擇顯示)(參照圖16)。 在該畫面中，用戶利用輸入按鈕操作選框，向CPU26選擇輸入"新的"或 "追加"。在登記新的人物的臉部的情況下，用戶選擇輸入"新的"。另一 方面，在進一步拍攝已經登記的人物的臉部的情況下，用戶選擇輸入"追 加"。
並且，CPU26判斷在上述確認顯示中是否選擇了 "新的"。在選擇了 "新的"的情況下("是"的一方)，移到S1109。另一方面，在選擇了 "追 加"的情況下("否"的一方)，移到S1110。
步驟1109:在S1108中選擇了 "新的"的情況下，CPU 26在臉部登 記存儲器27中生成新登記人物的組文件夾。並且，CPU26在液晶監視器 24上顯示"登記人物的詳細信息畫面"(參照圖5),並且催促用戶輸入"登 記人物的名稱"及"臉部識別時的處理設定"的信息。在圖5的"登記人 物的詳細信息畫面"中輸入的信息在與組文件夾相對應的狀態下記錄在臉 部登記存儲器27中。然後，移到Sllll。
此外，用戶也可以省略"登記人物的名稱"及"臉部識別時的處理設 定"的輸入，以後重新啟動圖5的"登記人物的詳細信息畫面"，將這些信 息輸入臉部登記存儲器27中。
步驟1U0:另一方面，在S1108中選擇了 "追加"的情況下，CPU 26 在液晶監視器24上顯示已經登記的登記人物的選擇畫面(參照圖4)，使用 戶選擇輸入要追加臉部識別數據的登記人物。
步驟1111: CPU 26的臉部識別部32從臉部登記圖像數據中所選擇的 臉部區域(S1107)生成登記人物的臉部識別數據。此外，圖像處理部20 剪輯臉部登記圖像數據的臉部區域，並且利用解析度轉換調整到規定尺寸， 來生成索引圖像數據。
步驟1112: CPU 26取得在臉部登記圖像數據的附屬數據區域中記錄 的攝影條件以及攝影時間的數據。例如在臉部登記圖像數據是以Exif (Exchangeable image file format for digital still cameras)標準為基準的圖像 文件的情況下，CPU26讀出並取得以標記形式記錄在圖像文件中的攝影條 件以及攝影時間的數據。此外，在臉部登記圖像數據的數據形式不包括上 述附屬數據區域的情況下，省略該工序。
38步驟1113: CPU26在臉部登記存儲器27中記錄臉部識別數據、索引 圖像數據、臉部登記圖像數據的攝影條件以及攝影時間。上述各個數據在 分別對應的狀態下被記錄到在S1109或S1110中指定的登記人物的組文件 夾中。在上述各個數據中，索引圖像數據對應"臉部登記圖像"。此外，攝 影時間對應"臉部識別數據的登記時間"，攝影條件對應"臉部識別數據取 得時的攝影條件"。
至此結束了 "臉部登記模式"下的一系列動作。此外，在S1107中指
At J夕—I /Kt口PU^^B'J l月VLi 「， Li"U厶U力'J Aii膽rjPl^^口'J效雖，裡靈/AbllU8
到S1113的處理。
以下說明第五實施方式的"臉部登記模式"的效果。在上述臉部登記
模式中，從再現時從記錄介質29等讀取的攝影圖像數據中生成臉部識別數 據(S1101、 Sllll)。即，由於能夠從過去拍攝的攝影圖像數據或由其他電
子攝像機拍攝的攝影圖像數據生成臉部識別數據，所以大幅提高用戶的便 利性。
此外，在上述臉部登記模式中，基於在臉部檢測處理中自動檢測出的
臉部區域，生成臉部識別數據(S1103、 Sllll)。此時，由於用戶只要從檢
測出的臉部區域中指定要生成臉部識別數據的對象即可，所以能夠容易地 生成臉部識別數據。
(臉部登記模式的動作的變形例)
在上述第五實施方式中說明了攝影時從臉部登記圖像生成臉部識別數
據的例子。但是，也可以取代從臉部登記圖像生成臉部識別數據，而是CPU
從臉部登記圖像切出臉部區域的部分，生成臉部圖像數據，並將該臉部圖 像數據記錄到存儲器或記錄介質中。並且，也能夠在計算機進行的後處理 中，從臉部圖像數據生成臉部識別數據。
這裡，例如以80X80象素左右的尺寸切出臉部登記圖像的臉部區域， 來生成臉部圖像數據。優選對所述臉部圖像數據的圖像實施基於解析度轉 換的可變倍率處理。此外，與臉部登記圖像數據的情況相同，優選CPU將 索弓I圖像數據、臉部登記圖像數據的攝影條件及攝影時間相對應地記錄在 上述臉部圖像數據中。進而，對於上述臉部圖像數據，也優選CPU將根據 相同攝影人物生成的多個臉部圖像數據成組記錄到相同的文件夾等中。(第六實施方式的說明)
第六實施方式是第一實施方式的變形例，關於臉部登記存儲器27的各 種數據的編輯畫面的操作及顯示和臉部識別攝影模式的動作。這裡，第六 實施方式的電子攝像機的結構與第一實施方式相同，所以省略重複說明。 (編輯畫面的啟動操作的說明)
說明第六實施方式的電子攝像機的編輯畫面。在編輯或確認臉部登記 存儲器27的各種數據的情況下，用戶(操作者)利用操作部件23啟動編 輯畫面。
這裡，登記在臉部登記存儲器27中的人物信息對於電子攝像機的所有 者來說是屬於隱私的信息。因此，電子攝像機的CPU26對用戶(操作者) 執行個人認證，能夠設定成僅在預先被所有者許可的用戶的情況下顯示編 輯畫面。這裡，作為個人認證的手段，例如可例舉基於密碼輸入的認證或 臉部認證。此外，也可以在電子攝像機上搭載指紋認證或虹膜認證等公知 的生物測定學認證裝置。此外，在臉部認證的情況下，不但能夠原樣利用 電子攝像機的臉部識別處理的機構，還能夠對嘗試非法訪問的用戶產生臉 部攝影所引起的心理抑制效果，所以特別優選。
圖17是表示在編輯畫面的啟動操作中進行臉部認證時的流程圖。此 外，臉部登記存儲器27中預先記錄了被許可訪問編輯畫面的用戶的臉部識 別數據。
步驟2101:首先，用戶利用操作部件23進行用於啟動編輯畫面的操 作。由此，CPU 26在液晶監視器24上顯示"請拍攝臉部"等催促臉部攝 影的消息。此外，CPU26將電子攝像機的各種設定變更為適於臉部認證的 攝影的設定。具體來說，CPU26進行以下設定。
首先，CPU 26將AF方式設定為臉部檢測模式，此時，CPU26配合 由透視圖像數據檢測出的臉部區域，自動重複對焦而與釋放按鈕的操作無 關。此外，CPU 26也可以將AF方式設定為以臉部檢測區域為基準的點AE 模式。此時，CPU 26配合利用透視圖像數據檢測出的臉部區域，執行AE 運算。此時，由於對焦以及釋放被自動化，所以能夠使攝影光學系統朝向 操作者自身來一個人進行拍攝。
此外，在S2101中，CPU26根據需要進一步進行以下(1) (5)的設定。
(1) CPU26使圖像處理部20的電子變焦處理無效化。這是因為，在 進行電子變焦的情況下，拍攝的攝影圖像的信息量變小，臉部的特徵點的 提取精度降低。
(2) CPU 26將變焦透鏡lla的位置固定在廣角一側。這是因為，在 臉部檢測時，向廣角一側設定變焦透鏡而使景深變深，從而能夠檢測出臉 部的可能性增加。此外還因為，如果將變焦透鏡設定在廣角一側，則攝影 圖像因手顫動而模糊的可能性降低。
(3) CPU26基於搖動傳感器部13的輸出，使像模糊補正透鏡14移 動來進行光學模糊補正。這是為了迴避因手顫動引起的攝影失敗。
(4) CPU26使模擬信號處理部17中的圖像信號的增益設定(攝像靈 敏度設定)高於通常攝影時的設定。這是因為，若攝像靈敏度變高，則與 快門秒時相當的攝影時間變短，所以攝影圖像因手顫動而模糊的可能性降 低。
(5) CPU26使閃光發光部25的閃光發光無效化。這是因為，若在攝 影時進行閃光發光，則在攝影人物的臉部會出現陰影，從而臉部檢測的精 度降低。此外，在被攝場變暗而無法確保充分的曝光的狀態下強制拍攝的 情況下，CPU26也可以使閃光發光部25例外發光。
步驟2102: CPU26使攝像元件16驅動，進行透視圖像信號的取得。 攝像元件16每隔規定間隔進行間隔讀取來生成透視圖像信號。圖像處理部 20基於透視圖像信號生成透視圖像數據。
步驟2103:另一方面，CPU26的臉部檢測部31對透視圖像數據實施 公知的臉部檢測處理，並檢測攝影畫面內的臉部區域。並且，CPU26以所 檢測的臉部區域的位置為基準，執行AF運算及AE運算。
步驟2104: CPU 26在AF結束後自動進行釋放，使攝像元件16驅動 來拍攝被攝體像。然後，圖像處理部20基於釋放時的圖像信號，生成攝影 圖像數據。
步驟2105: CPU26的臉部檢測部31基於S2103中的臉部檢測結果， 從攝影圖像數據(S2104)的臉部區域提取臉部的特徵點。並且，臉部識別 部32執行攝影人物的臉部識別處理。步驟2106:臉部識別部32判斷所檢測出的臉部是否是"被許可訪問 編輯圖像的用戶"的臉部。在是"被許可訪問編輯圖像的用戶"的情況下 ("是"的一方)，移到S2107。另一方面，在不是"被許可訪問編輯圖像 的用戶"的情況下("否"的一方)，CPU 26不在液晶監視器24上顯示編 輯畫面，而結束處理。
此外，在S2106的判斷中，優選臉部識別部32在臉部識別處理中將用 於判斷相似度的閾值設定成高於通常攝影時。這是因為，在這種情況下， 希望更加可靠地識別"被許可訪問編輯圖像的用戶"。
步驟2107: CPU26在液晶監視器24上顯示編輯畫面。由此，被許可 訪問編輯圖像的用戶能夠在編輯畫面上進行臉部識別數據的管理，編輯。 (編輯畫面的顯示及操作的說明)
圖4及圖5是表示編輯畫面的顯示的一例的圖。編輯畫面由GUI (Graphical User Interface:圖形用戶界面)形式的"登記人物的選擇畫面 (參照圖4)"及"登記人物的詳細信息畫面(參照圖5)"構成。此外，CPU 26基於規定的順序程序執行在以下所示的編輯畫面上的顯示處理，動作。
圖4的"登記人物的選擇畫面"是編輯畫面的初始顯示畫面。在"登 記人物的選擇畫面"上顯示與臉部登記存儲器27的登記人物相對應的人物 選擇用顯示項目。該人物選擇用顯示項目的數量與臉部登記存儲器27的登 記人物的數量(組文件夾的數量) 一致。並且，在"登記人物的選擇畫面" 上能夠一覽顯示人物選擇用顯示項目。此外，也可以在"登記人物的選擇 畫面"上僅顯示人物選擇用顯示項目的一部分，並且能夠通過滾動形式或 者頁形式的畫面切換進行一覽。
在上述人物選擇用顯示項目上分別顯示"登記人物的名稱"。該"登記 人物的名稱"中使用在臉部登記存儲器27中與登記人物的組文件夾相對應 的"登記人物的名稱"的數據。此外，為了提高人物選擇用顯示項目中的 識別性、檢索性，在人物選擇用顯示項目中顯示表示所對應的登記人物的 索引圖像。例如，CPU26利用以下手法設定人物選擇用顯示項目的索引圖
第一，CPU26將用戶從規定的插像組中選擇的插像設定為索 引圖像。所述插像也能夠由於用戶的意圖而用於登記人物的確定及分類中。上述插像被預先記錄在未圖示的ROM等中，例如由GIF形式、 BMP形式等數據形式構成。此外，在上述插像中還包含例如心形標記 或星形等圖案記號或"家人"、"朋友"等文字等。
第二， CPU 26將記錄在臉部登記存儲器27的各個組文件夾中的登記 人物的"臉部登記圖像"設定為索引圖像。在這種情況下，由於能夠利用 臉部登記圖像在視覺上明確人物選擇用顯示項目與登記人物之間的關係， 所以特別優選。
此外，在組文件夾內記錄有多個"臉部登記圖像"的情況下，CPU26 利用以下(1) (4)中的某個手法，選擇索引圖像。
(1) CPU 26將用戶從多個臉部登記圖像中選擇的臉部登記圖像設定 為索引圖像。在這種情況下，由於用戶判斷為最佳的臉部登記圖像成為索 引圖像，所以能夠形成反映了用戶意圖的顯示畫面。
(2) CPU 26參照臉部登記存儲器27的"臉部識別數據的登記時間"， 將多個臉部登記圖像中攝影時間最近的圖像設定為索引圖像。在這種情況 下，由於與登記人物有關的最新的臉部登記圖像自動成為索引圖像，所以 能夠顯示考慮到最接近當前登記人物的狀態的臉部。
(3) CPU 26在多個臉部登記圖像中選擇拍攝到臉部正面的臉部登記 圖像，設定為索引圖像。在這種情況下，朝向正面的臉部圖像自動成為索 引圖像，所以能夠進一步提高人物選擇用顯示項目中的識別性、檢索性。 此外，在存在多個拍攝臉部正面而成的臉部登記圖像的情況下，CPU 26如 上述(2)所示，將攝影時間最近的臉部登記圖像設定為索引圖像。
這裡，如下所述進行臉部登記圖像的臉部朝向的檢測。例如，也可以 在臉部識別數據中預先記錄與臉部朝向有關的識別信息，CPU 26參照上述 識別信息，判斷臉部登記圖像的臉部朝向。此外，也可以著眼於對應臉部 登記圖像的臉部識別數據，CPU26根據臉部識別數據中的眼、鼻、口等特 徵點的提取狀態，類推臉部的朝向。
(4) CPU26每規定間隔依次切換多個臉部登記圖像，以幻燈片放映 形式進行索引圖像的顯示設定。在這種情況下，用戶能夠在"登記人物的 選擇畫面"中把握登記人物的臉部登記圖像的登記數量(即臉部識別數據 的登記數量)。此外，通過索引圖像的切換，能夠豐富視覺的變化，實現娛樂性高的"登記人物的選擇畫面"顯示。
接著，說明"登記人物的選擇畫面"上的操作。在"登記人物的選擇
畫面"上，用戶利用操作部件23操作圖4中粗線所示的選框(或者光標等)， 對CPU26進行人物選擇用顯示項目的指定輸入。此外，若用戶指定顯示項 目之後還進行了確定輸入，則液晶監視器24的顯示畫面切換成與指定的登 記人物相對應的"登記人物的詳細信息畫面"。此夕卜，在"登記人物的選擇 畫面"中，也能夠進行與顯示項目相對應的登記人物的數據的統一刪除。
此外，在"登記人物的選擇畫面"上，利用上述顯示項目的指定操作， 用戶能夠對CPU 26指定輸入臉部識別對象的登記人物(在攝影時進行臉部 識別的登記人物)。此時，CPU 26能夠受理1個或者2個以上的登記人物 的指定。例如，CPU 26也能夠受理臉部登記存儲器27的登記人物的整體 指定。此外，通過以規定的範疇(例如家人、派系等)預先連結組文件夾， 並且用戶在選擇畫面上指定輸入範疇，還能夠向CPU26輸入所連結的登記 人物的統一指定。
進而，在"登記人物的選擇畫面"上，用戶能夠向CPU 26設定輸入 登記人物的優先順序("臉部識別時的處理設定"競合時的優先順序)。利 用顯示項目的指定操作，能夠個別交換該優先順序。此外，CPU26還能夠 以規定的條件變更登記人物的優先順序。例如，CPU 26能夠基於(1)登 記人物的登記順序、(2)登記人物的名稱的字符串、(3)組文件夾內的臉 部識別數據的數量、(4)臉部識別的指定次數等，使登記人物升序或者降 序，根據排序後的順序，自動設定優先順序。此外，CPU26還能夠基於攝 影次數數據，將攝影次數較多的登記人物的優先順序設定得較高。此外， 在"登記人物的選擇畫面"上，人物選擇用顯示項目的顯示位置或者顯示 順序與優先順序相對應，按照優先順序從高到低的順序顯示人物選擇用顯 示項目。
另一方面，圖5所示的"登記人物的詳細信息畫面"為上下二分的畫 面結構。與所指定的登記人物相關的"登記人物的名稱"以及"臉部識別 時的處理設定"的數據被從臉部登記存儲器27讀出並分別顯示在"登記人 物的詳細信息畫面"的上部區域。並且，在"登記人物的詳細信息畫面" 中，指定"登記人物的名稱"以及"臉部識別時的處理設定"的任意項目，並且設定為能夠分別變更上述各數據的內容。此外，"登記人物的詳細信息
畫面"上的變更內容被分別改寫並反映在臉部登記存儲器27的"登記人物 的名稱"以及"臉部識別時的處理設定"。
此外，在"登記人物的詳細信息畫面"的下部區域上顯示與臉部識別 數據對應的臉部識別數據用顯示項目。臉部識別數據用顯示項目的總數與 登記人物的組文件夾內的臉部識別數據的數量一致。並且，在"登記人物 的詳細信息畫面"的下部區域上能夠一覽顯示臉部識別數據用顯示項目。 此外，也可以在"登記人物的詳細信息畫面"的下部區域上僅顯示臉部識 別數據用顯示項目的一部分，通過滾動形式或者頁形式的畫面切換來進行 一覽。
這裡，在臉部識別數據用顯示項目中顯示與各個臉部識別數據相對應 的數據。具體來說，在臉部識別數據用顯示項目上分別顯示作為索引圖像 的"臉部登記圖像"、"臉部識別數據的登記時間"和"取得臉部識別數據 時的攝影條件"。利用這些信息，用戶能夠把握各個臉部識別數據的詳細情 況，能夠容易地進行臉部識別數據的取捨選擇。此外，關於"取得臉部識 別數據時的攝影條件"，也可以不直接顯示臉部識別數據用顯示項目，而利 用下拉顯示或其他畫面顯示等另外進行詳細顯示。
並且，在"登記人物的詳細信息畫面"上，用戶能夠利用操作部件23 操作圖5中用粗線表示的選框(或者光標等)，指定臉部識別數據用顯示項 目。並且，在"登記人物的詳細信息畫面"上，能夠進行所指定的顯示項 目的顯示順序的替換以及與所指定的顯示項目對應的臉部識別數據的刪除 等。
如上所述，由於在"登記人物的選擇畫面"上索引圖像被顯示在人物 選擇用顯示項目中，所以用戶能夠容易地識別規定的登記人物的顯示項目。 此外，由於在"登記人物的詳細信息畫面"上臉部登記圖像被顯示在臉部 識別數據用顯示項目中，所以用戶能夠視覺把握與顯示項目對應的臉部識 別數據的概要。
(臉部識別攝影模式下的動作)
以下參照圖18說明第六實施方式的電子攝像機的"臉部識別攝影模 式"下的動作。此外，由於圖18的S3101與圖7的S201對應，所以省略重複說明。
步驟3102: CPU26在液晶監視器24上顯示登記人物的選擇畫面(參 照圖4)。並且，CPU26受理臉部識別對象的登記人物(在攝影時進行臉部 識別的登記人物)的指定輸入。這裡，在S3102中由用戶指定了多個登記 人物，此外，也可以攝影時用戶預先向CPU26指定輸入臉部識別對象的登 記人物。
步驟3103: CPU26使攝像元件16驅動，進行透視圖像信號的取得。 攝像元件16每隔規定間隔進行間隔讀取來生成透視圖像信號。圖像處理部 20基於透視圖像信號生成透視圖像數據。並且，基於透視圖像數據在液晶 監視器24上動畫顯示預覽圖像。
步驟3104:另一方面，CPU26的臉部檢測部31對透視圖像數據實施 公知的臉部檢測處理，並檢測攝影畫面內的臉部區域。
步驟3105: CPU 26判斷是否在S3104中從攝影圖像中檢測出臉部。 在檢測到臉部的情況下("是"的一方)移到S3106。另一方面，在沒有檢 測到臉部的情況下("否"的一方)返回S3111。
步驟3106: CPU 26以檢測出的臉部區域的位置為基準，執行AF運算。 此夕卜，在檢測出多個臉部區域的情況下，CPU26使位於攝影畫面中央的臉 部區域或者位於最近一側的臉部區域優先執行AF運算。
步驟3107: CPU 26的臉部識別部32對檢測出的臉部區域(S3104) 執行臉部識別處理。並且，臉部識別部32判斷是否包含有識別對象的臉部 (S3102)。在包含有識別對象的臉部的情況下("是"的一方)，移到S3108。 另一方面，在沒有包含有識別對象的臉部的情況下("否"的一方)，移到 S3111。
步驟3108: CPU 26判斷是否檢測出多個識別對象的臉部。在識別對 象的臉部是多個的情況下("是"的一方)，移到S3109。另一方面，在識 別對象的臉部僅是一個的情況下("否"的一方)，移到S3110。
步驟3109: CPU 26參照在編輯畫面上設定的登記人物的優先順序， 分別比較被臉部識別出的登記人物的優先順序。並且，CPU26基於與優先 順序最高的登記人物對應的"臉部識別時的處理設定"的數據，變更電子 攝像機的攝影條件的設定及圖像處理的設定等。然後，移到S3112。此外，在"臉部識別時的處理設定"中設定了登記人物的自動攝影時，CPU26移 到S3113，自動拍攝登記人物。
步驟3110: CPU 26基於與檢測出的登記人物對應的"臉部識別時的 處理設定"的數據，變更電子攝像機的攝影條件的設定及圖像處理的設定 等。然後，移到S3112。此外，在"臉部識別時的處理設定"中設定了登 記人物的自動攝影時，CPU26移到S3113，自動拍攝登記人物。
步驟3111:另一方面，在此情況下，CPU 26對應用戶對釋放按鈕的 半按下操作，以通常攝影時的算法選擇AF區，執行AF運算。
步驟3112: CPU 26判斷釋放按鈕是否被全按下。在釋放按鈕被全按 下的情況下("是"的一方)，移到S3113。另一方面，在沒有對釋放按鈕 的輸入的情況下("否"的一方)，CPU26等待釋放按鈕的全按下操作。
步驟3113: CPU26使攝像元件16驅動，拍攝被攝體像。然後，圖像 處理部20基於釋放時的圖像信號，生成攝影圖像數據。此外，在拍攝到識 別對象的臉部的情況下，圖像處理部20向攝影圖像數據實施在S3109、 S3110中設定的圖像處理。
步驟3114: CPU26向記錄介質29中記錄攝影圖像數據。此外，在拍 攝到識別對象的臉部的情況下，CPU 26也能夠基於在臉部登記存儲器27 中指定的目錄路徑，將攝影圖像數據分類並記錄到規定的記錄文件夾。
進而，CPU26基於S3109或者S3110中的臉部識別結果，使臉部登記 存儲器27的攝影次數數據的攝影次數遞增。此時，CPU26也可以使識別 出的所有的登記人物的攝影次數遞增，也可以按照優先順序僅使選擇的登 記人物的攝影次數遞增。以上結束了 "臉部識別攝影模式"下的一系列動 作。
以下，說明第六實施方式的"臉部識別攝影模式"的效果。在上述臉 部識別攝影模式中，基於臉部識別數據，進行攝影人物的臉部識別(S3107)。 並且，在檢測出識別對象的臉部的情況下，通過與該登記人物相對應的設 定進行攝影時的各種處理等(S3109、 S3111、 S3113、 S3114)。因此，能夠 在登記人物的攝影時自動進行反映用戶意圖的處理，顯著提高操作電子攝 像機的用戶的便利性。
此外，在上述臉部識別攝影模式中，在一次拍攝了多個識別對象的情
47況下，適用用戶設定的優先順序最高的登記人物的設定(S3109)。因此， 在合影等攝影中也能夠在攝影圖像上適當地反映用戶的意圖。特別是，由 於用戶能夠在編輯畫面上自由地變更上述優先順序，所以還能夠根據攝影 場景等進行極細微的控制。 (第七實施方式的說明)
圖19是表示第七實施方式的電子攝像機中的"臉部識別攝影模式"下 的動作的流程圖。該第七實施方式是第一實施方式的變形例，電子攝像機 的結構與第一實施方式相同，所以省略重複說明。此外，由於圖19的S4101 到S4104分別對應圖7的S201到S204，所以省略重複說明。
步驟4105: CPU 26判斷是否在S4104中從攝影圖像中檢測出臉部。 在檢測到臉部的情況下("是"的一方)移到S4106。另一方面，在沒有檢 測到臉部的情況下("否"的一方)返回S4114。
步驟4106: CPU 26以檢測出的臉部區域的位置為基準，執行AF運算。 此外，在檢測出多個臉部區域的情況下，CPU26使位於攝影畫面中央的臉 部區域或者位於最近一側的臉部區域優先執行AF運算。
步驟4107: CPU 26對與臉部識別對象的登記人物有關的所有臉部識 別數據(臉部識別數據組)的數量進行計數。具體來說，在臉部登記存儲 器27中，在臉部識別對象的登記人物的組文件夾中記錄的臉部識別數據成 為計數的對象。
步驟4108:CPU26將在攝影畫面內檢測出的臉部區域的數量(S4104) 與臉部識別數據組中包含的臉部識別數據的數量(S4107)相乘，求出當次 的臉部識別處理的最大運算量。上述評價值對應在當次檢測出的所有的臉 部區域中使用臉部識別數據組中包含的所有臉部識別數據進行臉部識別處 理的情況下的運算量。
步驟4109: CPU26求出規定閾值減去評價值(S4108)之後的差值。 基於臉部識別部32在規定的限制時間內能夠執行的臉部識別處理的運算 量，設定上述閾值。因此，閾值的具體數值對應臉部識別部32的運算能力 而改變。
步驟4110: CPU26判斷差值(S4109)是否是負值。在差值是負值的 情況下("是"的一方)移到S4111。另一方面，在差值是O以上的情況下("否"的一方)移到S4112。此夕卜，在S4110中是"否"的一方的情況下， 臉部識別部32使臉部識別數據組的臉部識別數據全都成為判斷用臉部識別 數據。
步驟4111:在這種情況下，評價值(S4108)超過閾值，如果使用所 有的臉部識別數據組的臉部識別數據，則可能在限制時間內不能夠結束臉 部識別數據。因此，CPU26從臉部識別數據組中精減適用於當次臉部識別 處理中的判斷用臉部識別數據。
具體來說，首先，CPU26根據上述差值(S4109),計算判斷用臉部識 別數據的上限值。接著，CPU26利用以下(1)及(2)的算法，從臉部識 別數據組中進行選擇，使判斷用臉部識別數據成為小於上限值。
(1) 在臉部識別對象的登記人物是多個的情況下，CPU26基於上述 上限值，設定每個登記人物的判斷用臉部識別數據的分配數。基本上來說， CPU 26對臉部識別對象的登記人物都設定相同的分配數。
不過CPU 26也可以基於對各登記人物設定的優先順序對分配數附加 權重，判斷用臉部識別數據的數量與優先順序的高低成比例地增加。這種 情況下，由於登記人物的優先順序越高，越基於更多的臉部識別數據進行 臉部識別處理，所以能夠以高精度對優先順序高的登記人物進行臉部識別。 例如，CPU 26也能夠基於臉部登記存儲器27的攝影次數數據，將攝影次 數較多的登記人物的優先順序設定得較高。
此外，CPU26也可以分別比較各組文件夾的臉部識別數據的數量，將 臉部識別數據的數量在規定值以上的登記人物的分配數設定得較高。這是 因為，越是臉部識別數據的登記數較多的登記人物，對用戶來說是優先攝 影的登記人物的可能性越高。 '
(2) CPU26在由上述(1)設定的分配數的範圍內，按照每個臉部識 別對象的登記人物從組文件夾的臉部識別數據中選擇判斷用臉部識別數 據。這裡，在組文件夾的臉部識別數據是分配數以下的情況下，CPU 26將 組文件夾內的所有臉部識別數據選擇作為判斷用臉部識別數據。此外，在 這種情況下，CPU 26也可以將剩餘的分配數對其他登記人物再次分配。
另一方面，在組文件夾的臉部識別數據超過分配數的情況下，CPU26 利用以下的某個基準(或者它們的組合)選擇判斷用臉部識別數據。第一，CPU26參照組文件夾的"臉部識別數據的登記時間"的數據， 按照登記時間從近到遠的順序，選擇判斷用臉部識別數據。這是因為，考 慮到登記時間越遠的臉部識別數據，在當次的攝影中的可靠性越低。
第二， CPU26參照組文件夾的"取得臉部識別數據時的攝影條件"的 數據。並且，CPU26從多個臉部識別數據中，將上述取得時的攝影條件接 近當前攝影條件的臉部識別數據優先作為判斷用臉部識別數據。這是因為， 利用與當次攝影條件近似的條件取得的臉部識別數據更加有利於臉部識別 的精度提高。
例如，預先製作將攝影條件的各個參數的變化量點數化的表格，CPU 26基於當次的攝影條件，求出臉部識別數據的攝影條件的點數。並且，CPU 26比較上述點數，選擇判斷用臉部識別數據。由此，在攝影時進行閃光發 光的情況下，CPU 26將有閃光燈發光的臉部識別數據優先選擇作為判斷用 臉部識別數據。另一方面，在攝影時不進行閃光發光的情況下，CPU 26將 沒有閃光燈發光的臉部識別數據優先選擇作為判斷用臉部識別數據。同樣， CPU 26將曝光條件或白平衡的設定更力n接近的臉部識別數據優先選擇作
為判斷用臉部識別數據。
第三，CPU 26將組文件夾的臉部識別數據中與臉部正面對應的臉部識 別數據優先選擇作為判斷用臉部識別數據。這是因為，通常從正面拍攝臉 部的情況較多。這裡，如下所述進行臉部識別數據的臉部朝向的檢測。例 如，也可以預先在臉部識別數據中記錄與臉部朝向有關的識別信息，CPU 26 參照上述識別信息來判斷臉部朝向。此外，CPU26也可以從臉部識別數據 中的眼、鼻、口等特徵點的提取狀態類推臉部的朝向。
步驟4112: CPU 26的臉部識別部32對檢測出的臉部區域(S4104) 執行基於判斷用臉部識別數據的臉部識別處理。並且，臉部識別部32判斷 是否包含有識別對象的臉部(S4102)。在包含有識別對象的臉部的情況下 ("是"的一方)，移到S4113。另一方面，在沒有包含有識別對象的臉部 的情況下("否"的一方)，移到S4115。
步驟4113: CPU 26基於與檢測出的登記人物相對應的"臉部識別時 的處理設定"的數據，變更電子攝像機的攝影條件的設定或圖像處理的設 定等。然後，移到S4115。這裡，在攝影畫面內檢測出多個識別對象的臉部的情況下，CPU 26以 規定的算法決定登記人物的優先順序。並且，CPU 26基於與優先順序最高 的登記人物相對應的"臉部識別時的處理設定"，變更電子攝像機的各種設 定。此外，在"臉部識別時的處理設定"中設定了登記人物的自動拍攝的 情況下，CPU26移到S4116，自動拍攝登記人物。
步驟4114:另一方面，在此情況下，CPU 26對應用戶對釋放按鈕的 半按下操作，以通常攝影時的算法選擇AF區，執行AF運算。
步驟4115: CPU 26判斷釋放按鈕是否被全按下。在釋放按鈕被全按 下的情況下("是"的一方)，移到S4116。另一方面，在沒有對釋放按鈕 的輸入的情況下("否"的一方)，CPU26等待釋放按鈕的全按下操作。
步驟4116: CPU26使攝像元件16驅動，拍攝被攝體像。然後，圖像 處理部20基於釋放時的圖像信號，生成攝影圖像數據。此外，在拍攝到識 別對象的登記人物的情況下，圖像處理部20對攝影圖像數據實施在S4113 中設定的圖像處理。
步驟4117: CPU26向記錄介質29中記錄攝影圖像數據。此外，在拍 攝到識別對象的登記人物的情況下，CPU 26也能夠基於在臉部登記存儲器 27中指定的目錄路徑，將攝影圖像數據分類並記錄到規定的記錄文件夾。
進而，CPU26基於S4112的臉部識別結果，使臉部登記存儲器27的 攝影次數數據的攝影次數遞增。此時，CPU26也可以使識別出的所有的登 記人物的攝影次數遞增，也可以按照優先順序僅使選擇的登記人物的攝影 次數遞增。以上結束了 "臉部識別攝影模式"下的一系列動作。
以下，說明本實施方式的"臉部識別攝影模式"的效果。在上述臉部 識別攝影模式中，基於臉部識別數據，進行攝影人物的臉部識別(S4112)。 並且，在檢測出識別對象的臉部的情況下，通過與該登記人物相對應的設 定進行攝影時的各種處理等(S4113、 S4116、 S4117)。因此，能夠在登記 人物的攝影時自動進行反映用戶意圖的處理，顯著提高操作電子攝像機的 用戶的便利性。
此外，在上述臉部識別攝影模式中，在限制時間內無法完成臉部識別 處理的可能性較高的情況下，利用規定的算法精減判斷用臉部識別數據 (S4107)。因此，能夠將臉部識別處理的運算時間收斂在限制時間內，用戶能夠適當地進行拍攝。
(實施方式的補充事項)
(1) 在第一實施方式到第三實施方式的"臉部登記模式"中，也可以 如第四實施方式那樣，在預覽圖像上合成顯示構圖輔助顯示或攝影樣本顯 示。此外，在第四實施方式的"臉部登記模式"中也可以在釋放之前利用 透視圖像數據進行臉部檢測處理。
(2) 在上述實施方式中，CPU26也可以將釋放按鈕的半按下作為觸 發，來進行基於臉部檢測的AF運算。
(3) 在上述實施方式中，也可以利用模式轉盤等與"通常攝影模式"、 "肖像攝影模式"、"再現模式"等一樣，直接指定並啟動"臉部登記模式"
和"臉部檢測攝影模式"。
(4) 在第三實施方式的"臉部登記模式"中，CPU 26也可以按照優 先順序從高到低的順序生成兩個以上的臉部識別數據。
(5) 在第四實施方式的"臉部登記模式"中，CPU 26也可以將臉部 登記圖像數據拍攝積累在記錄介質29等中，對多個臉部登記圖像數據進行 成批處理，統一生成臉部識別數據。此時，也可以如第三實施方式所述， 對臉部登記圖像數據設定優先順序，按照優先順序從高到底的順序，生成 臉部識別數據。
(6) 對於臉部登記存儲器的"臉部識別數據的登記時間"的數據來說， 只要表示出源臉部登記圖像數據大概是在什麼時候拍攝的就足夠。因此， 對於"臉部識別數據的登記時間"，也可以利用攝影年、攝影月、攝影日中 的某個結束記錄，而省略詳細的時刻等記錄。
(7) 在"臉部識別攝影模式"的臉部識別處理(S207)中，臉部識別 部32也可以從分組後的臉部識別數據中利用規定條件精減判斷中使用的臉 部識別數據。例如，臉部識別部32也可以基於"臉部識別數據的登記時間"， 去除離攝影時間一定時間以上的舊的臉部識別數據。同樣，臉部識別部32 也可以基於"取得臉部識別數據時的攝影條件"，去除利用與當次的攝影條 件有很大不同的攝影條件生成的臉部識別數據。
(8) 在"臉部識別攝影模式"的臉部識別處理(S207)中，臉部識別 部32也可以根據利用攝影光學系統11的焦點距離的數據計算出的失真的程度，對臉部識別數據進行補正。
(9) 在"臉部登記模式"中，CPU 26也可以生成與臉部識別數據的 臉部朝向有關的識別信息，還將上述識別信息記錄到臉部登記存儲器27中。 CPU 26也可以基於第一實施方式的S110所示的處理結果，生成與臉部朝 向有關的識別信息。或者，CPU26也可以基於攝影時或者編輯時的用戶輸 入，生成上述識別信息。
(10) 本發明的電子攝像機沒有必要一定與實施方式的電子攝像機的 結構一致。例如，也可以用共同的存儲器構成內置存儲器19和臉部登記存 儲器27。臉部登記存儲器27也可以經由總線28連接到CPU 26。此外，也 可以省略由搖動傳感器部13、像模糊補正透鏡14及第二透鏡驅動部15構 成的光學模糊補正機構。進而，也可以在電子攝像機中內置通信單元30。
(11) CPU 26也可以將臉部登記存儲器27內的數據記錄在記錄介質 29中，從而能夠進行臉部登記存儲器27的備份。此外，CPU26也可以從 記錄介質29中取得預先由其他電子攝像機生成的臉部識別數據等，能夠在 電子攝像機之間共用臉部登記存儲器27的數據。
(12) 本發明的圖像處理裝置並不限於第五實施方式的電子攝像機的 結構。例如，也可以由個人計算機等構成本發明的圖像處理裝置，該個人 計算機具有從外部讀取圖像數據的機構、記錄臉部識別數據的記錄部和執 行上述"臉部登記模式"程序的控制部(省略圖示)。
(13) 在第六實施方式中的編輯畫面的啟動操作時，CPU26也可以與 基於臉部認證的個人認證一起進行基於密碼輸入的個人認證。這種情況下， 也可以是，CPU 26通過臉部認證或者基於密碼的認證中的一方的認證成 功，能夠訪問編輯畫面。此外也可以是，CPU26僅在臉部認證和基於密碼 的認證中這兩者都認證成功的情況下才能夠訪問編輯畫面。
(14) 第六實施方式的編輯畫面的結構僅是一個例子。例如，也可以 不設置"登記人物的選擇畫面"，而在編輯畫面的初始顯示畫面中與臉部登 記圖像一起一覽顯示臉部識別數據用顯示項目。
(15) 在第六實施方式中，也可以在"登記人物的選擇畫面"上顯示 的索引圖像中使用登記人物的任意攝影圖像。例如，CPU26也可以在"登 記人物的選擇畫面"上顯示索引圖像用的特別拍攝的圖像。此外，CPU 26也可以在"登記人物的選擇畫面"上顯示與已經刪除的臉部識別數據相對 應的臉部登記圖像。
(16) 在第七實施方式中的"臉部識別攝影模式"的臉部識別處理中 (S4112)，臉部識別部32也可以根據利用攝影光學系統11的焦點距離的
數據計算出的失真的程度，對臉部識別數據進行補正。
(17) 在第七實施方式中，基於臉部識別數據的數量和臉部區域的數 量，從臉部識別數據選擇判斷用臉部識別數據。但是，在本發明中，也可 以不考慮所檢測出的臉部區域的數量，僅基於與所選擇的登記人物有關的 臉部識別數據的數量，從臉部識別數據組中取捨選擇判斷用臉部識別數據。
此外，在不脫離本發明的精神或其主要特徵的情況下能夠以其他各種 形式實施本發明。因此，上述實施方式在各方面僅是示例，並不能做限定 解釋。本發明由權利要求書表示，並不被拘束於說明書正文中。進而，屬 於權利要求書範圍內的變形和變更都包括在本發明的範圍內。
權利要求
1. 一種電子攝像機，其特徵在於，包括攝像元件，對攝影光學系統的被攝體像進行光電轉換，生成圖像信號;圖像處理部，基於來自上述攝像元件的上述圖像信號，生成臉部登記 圖像數據，並且基於上述圖像信號，生成透視圖像數據；臉部檢測部，基於上述透視圖像數據，檢測攝影畫面內的臉部區域；控制部，對應上述臉部區域的檢測位置，調整上述攝影光學系統的攝 影參數。臉部圖像生成部或者臉部識別數據生成部，上述臉部圖像生成部切出 上述臉部區域的圖像，生成臉部圖像數據，上述臉部識別數據生成部從上 述臉部登記圖像數據的臉部區域的部分提取攝影人物臉部的特徵點，基於 上述特徵點，生成臉部識別數據；以及記錄部，記錄上述臉部圖像數據或者上述臉部識別數據。
2. —種電子攝像機，其特徵在於，包括攝像元件，對攝影光學系統的被攝體像進行光電轉換，生成圖像信號； 圖像處理部，基於來自上述攝像元件的上述圖像信號，生成臉部登記圖像數據，並且基於上述圖像信號，生成透視圖像數據；控制部，以攝影畫面的中央部分為基準，調整上述攝影光學系統的攝影參數；臉部檢測部，基於上述透視圖像數據或者上述臉部登記圖像數據，檢 測位於攝影畫面中央部分的臉部區域；臉部圖像生成部或者臉部識別數據生成部，上述臉部圖像生成部切出 上述臉部區域的圖像，生成臉部圖像數據，上述臉部識別數據生成部從上 述臉部登記圖像數據的臉部區域的部分提取攝影人物臉部的特徵點，基於 上述特徵點，生成臉部識別數據；以及記錄部，記錄上述臉部圖像數據或者上述臉部識別數據。
3. 根據權利要求1或2所述的電子攝像機，其特徵在於，上述控制部 在基於上述透視圖像數據的臉部檢測時執行上述攝像元件的釋放動作。
4. 根據權利要求1至3中任一項所述的電子攝像機，其特徵在於，還具有顯示上述透視圖像數據的圖像的顯示部；上述控制部在生成上述臉部登記圖像數據的攝影模式下，使上述顯示 部的電源接通。
5. 根據權利要求1至3中任一項所述的電子攝像機，其特徵在於，還 具有顯示上述透視圖像數據的圖像的顯示部；上述圖像處理部在上述透視圖像數據的中央部分合成用於輔助攝影畫 面中的臉部的定位的構圖輔助顯示並輸出。
6. 根據權利要求5所述的電子攝像機，其特徵在於，上述圖像處理部 還在上述透視圖像數據中合成被攝體的攝影狀態的樣本顯示並輸出。
7. 根據權利要求1至6中任一項所述的電子攝像機，其特徵在於，上 述控制部在生成上述臉部登記圖像數據時限制對上述臉部登記圖像數據的 電子變焦處理。
8. 根據權利要求1至7中任一項所述的電子攝像機，其特徵在於，上 述攝影光學系統還具有變焦透鏡；上述控制部在上述攝影參數的調整時以及釋放時使上述變焦透鏡的倍 率調整範圍與通常攝影時相比受到限制。
9. 根據權利要求8所述的電子攝像機，其特徵在於，上述控制部在釋 放時將上述變焦透鏡的變焦位置設定在廣角端。
10. 根據權利要求1至9中任一項所述的電子攝像機，其特徵在於， 還具有像模糊補正透鏡，補正攝影畫面上的像模糊； 角移位檢測部，檢測上述電子攝像機的光軸的角度變動；以及 補正透鏡驅動部，在釋放時，基於上述角度變動，使上述像模糊補正 透鏡驅動。
11. 根據權利要求1至10中任一項所述的電子攝像機，其特徵在於， 還具有調整上述圖像信號的增益的攝像靈敏度變更部；上述控制部在釋放時使上述圖像信號的增益高於通常攝影時的設定。
12. 根據權利要求1至11中任一項所述的電子攝像機，其特徵在於， 還具有對被攝場進行閃光發光的閃光發光部；上述控制部在釋放時使上述閃光發光部的閃光發光無效。
13. 根據權利要求1至12中任一項所述的電子攝像機，其特徵在於， 上述控制部生成表示釋放時的攝影條件的攝影條件數據，並且將該攝影條 件數據與上述臉部圖像數據或者上述臉部識別數據相對應地記錄在上述記 錄部中。
14. 根據權利要求1至13中任一項所述的電子攝像機，其特徵在於， 上述控制部生成表示上述臉部圖像數據或者上述臉部識別數據的取得時間 的取得時間數據，並將該取得時間數據與上述臉部圖像數據或者上述臉部 識別數據相對應地記錄在上述記錄部中。
15. 根據權利要求1至14中任一項所述的電子攝像機，其特徵在於， 上述圖像處理部基於上述臉部登記圖像數據，生成索引圖像數據；上述控制部將上述索引圖像數據與上述臉部圖像數據或者上述臉部識 別數據相對應地記錄在上述記錄部中。
16. 根據權利要求1至15中任一項所述的電子攝像機，其特徵在於， 上述控制部將根據相同攝影人物生成的多個上述臉部圖像數據或者上述臉 部識別數據成組記錄在上述記錄部中。
17. 根據權利要求16所述的電子攝像機，其特徵在於，上述控制部使 上述攝影人物的臉部朝向、上述攝影人物的眼鏡有無以及上述臉部登記圖 像數據的攝影條件中的某個並不相同的2個以上的上述臉部圖像數據或者 上述臉部識別數據成組。
18. 根據權利要求1至17中任一項所述的電子攝像機，其特徵在於， 上述控制部在生成多個拍攝相同攝影人物而成的上述臉部登記圖像數據 時，基於上述臉部區域的檢測狀態，決定上述臉部登記圖像數據的優先順 序；上述臉部圖像生成部或者上述臉部識別數據生成部根據上述優先順序 高的上述臉部登記圖像數據，生成上述臉部圖像數據或者上述臉部識別數 據。
19. 根據權利要求1至18中任一項所述的電子攝像機，其特徵在於， 上述控制部基於上述臉部區域的檢測狀態，推定攝影人物的臉部朝向，在 該臉部朝向與規定方向不一致時，使上述攝像元件的釋放動作無效。
20. 根據權利要求1至18中任一項所述的電子攝像機，其特徵在於，上述控制部基於上述臉部區域的檢測狀態，推定攝影人物的表情，根據該 表情的種類，使上述攝像元件的釋放動作無效。
21. —種電子攝像機，其特徵在於，包括攝像元件，對攝影光學系統的被攝體像進行光電轉換，生成圖像信號; 臉部檢測部，基於來自上述攝像元件的上述圖像信號，檢測攝影畫面 內的臉部區域；臉部識別數據生成部，從上述臉部區域的部分提取攝影人物臉部的特 徵點，基於上述特徵點，生成臉部識別數據；以及控制部，使用於生成上述臉部識別數據的攝影時的攝影條件與通常攝 影時的攝影條件相比受到限制。
22. —種圖像處理裝置，其特徵在於，包括控制部，具有內置存儲器、與記錄介質連接的連接部以及外部通信機 構中的至少一個，並且從上述內置存儲器、上述記錄介質、經由上述外部 通信機構連接的計算機中的某個中取得由電子攝像機預先生成的攝影圖像 數據；臉部檢測部，基於上述攝影圖像數據，檢測攝影畫面內的臉部區域； 臉部圖像生成部或者臉部識別數據生成部，上述臉部圖像生成部切出 上述臉部區域的圖像，生成臉部圖像數據，上述臉部識別數據生成部從上 述攝影圖像數據的臉部區域的部分提取攝影人物臉部的特徵點，基於上述 特徵點，生成臉部識別數據；以及記錄部，記錄上述臉部圖像數據或者上述臉部識別數據。
23. 根據權利要求22所述的圖像處理裝置，其特徵在於，還具有 圖形處理部，在上述攝影圖像數據的再現圖像上合成用於識別上述臉部區域的顯示；以及顯示部，顯示上述圖像處理部的輸出圖像。
24. 根據權利要求23所述的圖像處理裝置，其特徵在於，還具有受理 用戶輸入的輸入部；上述臉部檢測部基於來自上述輸入部的輸入，變更用於規定上述臉部 區域的檢測精度的閾值。
25. 根據權利要求23所述的圖像處理裝置，其特徵在於，還具有受理用戶輸入的輸入部；上述臉部圖像生成部或者上述臉部識別數據生成部在從上述攝影圖像 數據中檢測出多個臉部區域的情況下，對利用來自上述輸入部的輸入所選 擇的臉部區域生成上述臉部圖像數據或者上述臉部識別數據。
26. 根據權利要求22至25中任一項所述的圖像處理裝置，其特徵在 於，上述控制部將根據相同攝影人物生成的多個上述臉部圖像數據或者上 述臉部識別數據成組記錄在上述記錄部中。
27. 根據權利要求22至26中任一項所述的圖像處理裝置，其特徵在 於，上述控制部以規定的尺寸切出上述攝影圖像數據的臉部區域的部分， 生成索引圖像數據，並且將該索引圖像數據與上述臉部圖像數據或者上述 臉部識別數據相對應地記錄在上述記錄部中。
28. 根據權利要求22至27中任一項所述的圖像處理裝置，其特徵在 於，上述攝影圖像數據具有記錄了攝影時的攝影條件的附屬數據區域；上述控制部基於上述附屬數據區域的攝影條件，生成攝影條件數據， 並且將該攝影條件數據與上述臉部圖像數據或者上述臉部識別數據相對應 地記錄在上述記錄部中。
29. 根據權利要求22至28中任一項所述的圖像處理裝置，其特徵在 於，上述攝影圖像數據具有記錄了攝影時間的附屬數據區域；上述控制部基於上述附屬數據區域的攝影時間，生成上述臉部圖像數 據或者上述臉部識別數據的取得時間數據，並且將該取得時間數據與上述 臉部圖像數據或者上述臉部識別數據相對應地記錄在上述記錄部中。
30. —種電子攝像機，其特徵在於，包括攝像元件，對攝影光學系統的被攝體像進行光電轉換，生成圖像信號； 臉部檢測部，基於上述圖像信號，檢測攝影畫面的臉部區域，並從該臉部區域的部分，提取攝影人物臉部的特徵點；記錄部，將基於人物臉部的特徵點預先生成的臉部識別數據與索引圖像數據相對應地記錄，所述索弓I圖像數據用於表示與該臉部識別數據對應的登記人物；臉部識別部，基於上述臉部檢測部所提取的特徵點以及上述臉部識別 數據，判斷上述攝影人物是否是上述登記人物；以及控制部，生成編輯畫面，該編輯畫面將上述臉部識別數據的指定中使 用的顯示項目與上述索引圖像數據的圖像相關聯地進行提示。
31. 根據權利要求30所述的電子攝像機，其特徵在於，上述索引圖像 數據是上述登記人物的攝影圖像數據。
32. 根據權利要求31所述的電子攝像機，其特徵在於，上述索引圖像 數據是在上述臉部識別數據的生成中使用的攝影圖像數據。
33. 根據權利要求30至32中任一項所述的電子攝像機，其特徵在於， 在上述臉部識別數據的生成中使用的圖像數據的攝影條件在與上述臉部識 別數據相對應的狀態下記錄在上述記錄部中。
34. 根據權利要求30至33中任一項所述的電子攝像機，其特徵在於， 在上述臉部識別數據的生成中使用的圖像數據的攝影時間在與上述臉部識 別數據相對應的狀態下記錄在上述記錄部中。
35. 根據權利要求30至34中任一項所述的電子攝像機，其特徵在於， 適用於上述登記人物攝影時的處理設定在與上述臉部識別數據相對應的狀 態下記錄在上述記錄部中。
36. 根據權利要求30至35中任一項所述的電子攝像機，其特徵在於， 還具有將攝影圖像的圖像數據發送到外部的通信部；上述登記人物攝影時的上述圖像數據發送與否以及上述圖像數據的發 送目的地的地址信息在與上述臉部識別數據相對應的狀態下記錄在上述記 錄部中。
37. 根據權利要求30至36中任一項所述的電子攝像機，其特徵在於， 上述控制部具有對上述編輯畫面的顯示輸出與否進行管理的個人認證機 構。
38. 根據權利要求37所述的電子攝像機，其特徵在於，上述個人認證 機構包括上述臉部識別部進行的臉部認證。
39. 根據權利要求31至38中任一項所述的電子攝像機，其特徵在於， 在上述記錄部中能夠記錄與相同的登記人物有關的多個上述索引圖像數 據；上述控制部從上述索引圖像數據中選擇任意的攝影圖像數據的圖像， 並且將該選擇圖像與上述顯示項目相關聯地提示在上述編輯畫面上。
40. 根據權利要求39所述的電子攝像機，其特徵在於，上述控制部從 上述索引圖像數據中選擇最新的攝影圖像數據的圖像。
41. 根據權利要求39所述的電子攝像機，其特徵在於，上述控制部從 上述索引圖像數據中選擇拍攝上述登記人物的臉部正面而成的攝影圖像數 據的圖像。
42. 根據權利要求39所述的電子攝像機，其特徵在於，上述控制部每 隔規定間隔依次切換上述索引圖像數據的圖像，並提示在上述編輯畫面上。
43. —種電子攝像機，其特徵在於，包括攝像元件，對攝影光學系統的被攝體像進行光電轉換，生成圖像信號;臉部檢測部，基於上述圖像信號，檢測攝影畫面的臉部區域，並從該 臉部區域的部分，提取攝影人物臉部的特徵點；記錄部，將基於登記人物臉部的特徵點預先生成的臉部識別數據與上 述登記人物攝影時適用的攝影設定相對應地記錄；臉部識別部，基於上述臉部檢測部所提取的特徵點以及上述臉部識別 數據，判斷上述攝影人物是否是上述登記人物；控制部，設定上述登記人物的優先順序，在上述登記人物攝影時基於 上述攝影設定生成攝影圖像數據，在檢測出多個上述登記人物的情況下， 適用與上述登記人物中優先順序最高的人物相對應的上述攝影設定。
44. 根據權利要求43所述的電子攝像機，其特徵在於，還具有受理用 戶輸入的輸入部；上述控制部基於來自上述輸入部的輸入，指定上述登記人物並個別設 定上述優先順序。
45. 根據權利要求44所述的電子攝像機，其特徵在於，還具有顯示部， 該顯示部顯示用於進行上述登記人物的指定的編輯畫面；上述控制部對應上述優先順序，使上述編輯畫面上的上述登記人物顯 示項目的顯示位置或者顯示順序變化。
46. 根據權利要求43至45中任一項所述的電子攝像機，其特徵在於， 上述控制部按照上述登記人物的登記順序設定上述優先順序。
47. 根據權利要求43至45中任一項所述的電子攝像機，其特徵在於， 上述控制部利用名稱排列上述登記人物，來設定上述優先順序。
48. 根據權利要求43至45中任一項所述的電子攝像機，其特徵在於， 上述記錄部能夠對與相同的登記人物有關的多個上述臉部識別數據成組進 行記錄，上述控制部對分組後的上述臉部識別數據組，利用該臉部識別數據組 中包含的上述臉部識別數據的數量設定上述優先順序。
49. 根據權利要求43所述的電子攝像機，其特徵在於，上述記錄部還 記錄表示每個上述登記人物的攝影次數的攝影次數數據；上述控制部基於上述攝影次數數據，將上述攝影次數多的登記人物的 上述優先順序設定得高。
50. —種電子攝像機，其特徵在於，包括攝像元件，對攝影光學系統的被攝體像進行光電轉換，生成圖像信號； 臉部檢測部，基於上述圖像信號，檢測攝影畫面的臉部區域，並從該臉部區域的部分提取攝影人物臉部的特徵點；記錄部，記錄基於登記人物臉部的特徵點而預先生成的臉部識別數據； 控制部，基於與臉部識別對象的登記人物相關的臉部識別數據組中包含的上述臉部識別數據的數量，從上述臉部識別數據組中選擇判斷用臉部識別數據；以及臉部識別部，基於上述臉部檢測部所提取的特徵點以及上述判斷用臉 部識別數據，判斷上述攝影人物是否是臉部識別對象的登記人物。
51. 根據權利要求50所述的電子攝像機，其特徵在於，上述控制部選 擇上述判斷用臉部識別數據，使上述臉部識別數據的數量和上述臉部區域 的數量之積所對應的評價值低於由上述臉部識別部的處理能力規定的閾 值。
52. 根據權利要求50或者51所述的電子攝像機，其特徵在於，上述 控制部在臉部識別對象的登記人物是多個的情況下，基於對各個登記人物 設定的優先順序對上述判斷用臉部識別數據附加權重來進行選擇。
53. 根據權利要求50至52中任一項所述的電子攝像機，其特徵在於， 上述控制部在臉部識別對象的登記人物是多個的情況下，使上述臉部識別 數據的記錄數多的登記人物優先，來選擇上述判斷用臉部識別數據。
54. 根據權利要求50至53中任一項所述的電子攝像機，其特徵在於，上述控制部在關於相同登記人物記錄了多個上述臉部識別數據的情況下， 使取得時間近的臉部識別數據優先，來選擇上述判斷用臉部識別數據。
55. 根據權利要求50至54中任一項所述的電子攝像機，其特徵在於， 上述控制部在關於相同登記人物記錄了取得時的攝影條件不同的多個上述 臉部識別數據的情況下，使上述取得時的攝影條件接近當前攝影條件的臉 部識別數據優先，來選擇上述判斷用臉部識別數據。
56. 根據權利要求50至55中任一項所述的電子攝像機，其特徵在於， 上述控制部在關於相同登記人物記錄了臉部朝向不同的多個上述臉部識別 數據的情況下，使與臉部正面對應的臉部識別數據優先，來選擇上述判斷 用臉部識別數據。
57. 根據權利要求50至56中任一項所述的電子攝像機，其特徵在於， 上述記錄部還記錄表示每個上述登記人物的攝影次數的攝影次數數據；上述控制部基於上述攝影次數數據，使上述攝影次數多的登記人物優 先，來選擇上述判斷用臉部識別數據。
全文摘要
電子攝像機包括攝像元件、圖像處理部、臉部檢測部、控制部、臉部圖像生成部或者臉部識別數據生成部以及記錄部。攝像元件對攝影光學系統的被攝體像進行光電轉換，生成圖像信號。圖像處理部基於來自攝像元件的圖像信號，生成臉部登記圖像數據，並且基於圖像信號，生成透視圖像數據。臉部檢測部基於透視圖像數據，檢測攝影畫面內的臉部區域。控制部對應臉部區域的檢測位置，調整攝影光學系統的攝影參數。臉部圖像生成部切出臉部區域的圖像，生成臉部圖像數據。臉部識別數據生成部從臉部登記圖像數據的臉部區域的部分提取攝影人物臉部的特徵點，基於特徵點，生成臉部識別數據。記錄部記錄臉部識別數據或者臉部圖像數據。
文檔編號G06T1/00GK101313565SQ20068004386
公開日2008年11月26日 申請日期2006年11月22日 優先權日2005年11月25日
發明者元木康之, 大村晃, 藤繩展宏, 野崎弘剛 申請人:株式會社尼康