紅眼檢測及修正方法
2024-01-26 11:29:15 1
專利名稱：紅眼檢測及修正方法
技術領域：
本發明涉及一種為了修正在出現紅眼的拍攝圖像上的紅眼，從圖像中檢測出紅眼、把檢測出的紅眼修正為正常瞳孔顏色的紅眼檢測及其修正方法。
這樣的紅眼現象，是因為在黑暗處用閃光燈的光正面照射瞳孔張開狀態下的眼睛時對閃光燈的光正面反射、而將這種狀態攝入到圖像中所引起的。在紅眼現象中，有將瞳孔攝成紅色的紅眼和將瞳孔攝成金色的金眼的兩種情況(以下把兩者統稱為紅眼)。
對此，開發了具有為了減小成為紅眼的原因的瞳孔的張開度，而在攝影前先讓閃光燈預先發光，然後再進行閃光攝影的功能的照相機。但是，這樣也不能完全避免紅眼的發生，並且存在著預先發光使人物的表情不自然，而且需要具有進行預先發光的特殊機構等重大缺點。
為此，近年來，提出通過數字圖像處理，在再生圖像中防止紅眼發生的各種方案。
修正紅眼的方法、或者以此為前提從圖像中抽出面部等主要被攝體或者紅眼部分的方法，例如在特開2000-76427號、特開2000-148980號、特開2000-137788號或者特開2000-149018號公報中有發表。
上述特開2000-76427號公報中所提出的方案是，根據從作為抽出要素的色相、色度、亮度中獲得的顏色的值，按山字的分布形狀對區域進行分割，在多個位置上計算出所指定的眼部的概略部分的圖像的特徵量，根據特徵量的值抽出瞳孔部分的圖像後，實施紅眼處理。
而且，特開2000-148980號公報中所提出的方案是，即使象逆光場面或者閃光燈發光場面那樣相當於圖像中人物的面部區域的濃度處於偏向高濃度側或者偏向低濃度側的情況下，也可以高精度判定出相當於人物面部的區域，將所抽出的面部區域在以面部區域或者其一部分作為對象的紅眼修正等圖像處理中使用。
而且，特開2000-137788號公報中所提出的方案是，從處理對象的圖像中抽出推定是相當於人物面部的面部候選區域，將面部候選區域分割成給定數量的塊，對每個塊計算沿圖像的頂底方向的邊緣強度的累積值，通過利用針對各塊抽出的特徵量，根據人物面部的內部結構，通過簡單的處理就可以抽出相當於人物面部的區域。而且，特開2000-149018號公報中所提出的方案是，根據處理對象圖像的圖像數據，抽出多個推定是相當於人物面部的面部候選區域，對相互重複的面部候選區域對計算其重複度，設定讓與其它面部候選區域重複的面部候選區域的加權點數滿足給定條件，通過對該加權點數與閾值進行比較，降低推定是相當於圖像中的主要部位的區域的誤抽出，從面部候選區域中抽出面部區域。
但是，上述現有技術的面部抽出方法或者紅眼修正方法，雖然分別對指定的對象獲得了預期的效果，但是，例如，在圖像輸入中有從負片、正片或者數位相機等各種各樣的輸入圖像種類，對於從照相機的輸入圖像和從負片或者正片的輸入圖像，圖像數據的處理空間(處理區域)、由比特長度表示的圖像形式、掃描條件等不相同，因而不能統一進行處理，在處理效率上存在問題。
為解決上述問題，本發明的第1解決方案提出一種從出現紅眼的拍攝圖像中檢測出紅眼、將檢測到的紅眼修正為規定瞳孔顏色的紅眼檢測及修正方法，其特徵在於對應在根據所述輸入圖像的種類、拍攝所述圖像的照相機的種類、所述圖像的圖像數據的處理空間，對所述圖像進行紅眼檢測及紅眼修正之前進行的圖像處理、所述圖像形式以及掃描條件中至少一個條件，變更在紅眼檢測及紅眼修正中所使用的參數。
另外，同樣地為了解決上述的問題，本發明的第2解決方案提出一種從出現紅眼的拍攝圖像中檢測出紅眼、將檢測到的紅眼修正為規定瞳孔顏色的紅眼檢測及修正方法，其特徵在於對應在根據所述輸入圖像的種類、拍攝所述圖像的照相機的種類、所述圖像的圖像數據的處理空間，對所述圖像進行紅眼檢測及紅眼修正之前進行的圖像處理、所述圖像形式以及掃描條件中的多個條件的組合，變更在紅眼檢測以及紅眼修正中所使用的參數。
在上述的各種實施方案中，理想的是，作為所述參數，預先準備好基準參數，所述被變更的參數是通過根據所述條件或所述條件的組合變換所述基準參數而求得。
而且，最好是，作為所述參數，預先準備好對應所有所述條件的組合的參數，作為所述被變更的參數，選擇對應所述條件或所述條件的組合的參數。
或者最好是，對於使用頻率高的所述條件及所述條件的組合，作為其所述參數，準備好對應所有所述條件及所述條件的組合的參數，作為所述被變更的參數，選擇對應所述條件或所述條件的組合的參數，對於使用頻率低的所述條件及所述條件的組合，作為其所述參數，準備好基準參數，作所述被變更的參數，通過根據所述條件變換所述基準參數而求得。
圖2是表示
圖1的圖像處理裝置的概略構成方框圖。
圖3是表示有關本發明的紅眼檢測及其修正方法的概念圖。
圖4的(a)、(b)、(c)及(d)分別是表示本發明的一例紅眼檢測及修正方法的參數變更的說明圖。
圖中10-數字光電洗印機、12-掃描儀、14-圖像處理裝置、16-曬片機、18-操作裝置、18a-鍵盤、18b-滑鼠、20-顯示器、22-光源、24-可變光圈、26-擴散箱、28-託架、30-成像鏡頭單元、32-圖像傳感器、34-A/D轉換器、36-掃描儀校正部、38-Log變換部、40-預掃描(幀)存儲器、42-正式掃描(幀)存儲器、44-預掃描處理部、46-正式掃描處理部、48-條件設定部、50、54-圖像數據變換部、51、55-紅眼處理部、58-設置部、60-鍵入校正部、62-參數綜合部、70-數位相機、71-平板掃描儀、72-軟盤驅動器、73-MO、CD驅動器、74-數據機。
圖1是表示進行包含本發明的紅眼檢測及其修正方法的圖像處理的的數字光電洗印機的一實施方案的概略方框圖。
圖1所示的數字光電洗印機10(以下稱為光電洗印機10)包括利用光電技術讀取攝影在底片F上的圖像的掃描儀(圖像讀取裝置)12、對由該掃描儀12讀取的圖像數據(圖像信息)實施有關本發明的紅眼檢測及其修正方法、各種圖像處理和對光電洗印機10整體進行操作與控制的圖像處理裝置14、利用根據圖像處理裝置14輸出的圖像數據調製的光束在感光材料(照片紙)上曝光、經過顯影處理(完成)作為照片輸出的曬印機16。
而且，在圖像處理裝置14上與具有為了輸入各種條件的輸入設定、處理的選擇和指示、為修正紅眼的紅眼檢測及其修正方法等的指示等的鍵盤18a以及滑鼠18b的操作裝置18、顯示用掃描儀12讀取的圖像、各種操作指示、條件的設定/登錄畫面等的顯示器20連接。
掃描儀12是將攝影在底片F上的圖像利用光電按一片格讀取的裝置，包括光源22、可變光圈24、讓入射到底片F上的讀取光在底片F的面方向上均勻的擴散箱26、底片F的託架28、成像鏡頭單元30、具有與R(紅)、G(綠)、B(藍)的各圖像讀取對應的3線CCD傳感器的圖像傳感器34、放大器33、A/D(模擬/數字)變換器34。
而且，在光電洗印機10中，可自由裝卸地安裝在掃描儀12的主體上的專用託架28，可對應新型照相系統(Advanced Photo System)或者135負片(或者反轉片)等底片F的種類和尺寸、帶狀或者幻燈片等底片的形式而準備，通過交換託架28，可以適應各種底片和處理。拍攝在底片上的用於製作照片的圖像(片格)由該託架搬送到指定的讀取位置上。
而且，眾所周知，在新型照相系統的底片中形成有磁存儲介質，記錄了暗盒ID和底片種類，而且，在攝影時或者顯影時等，可以記錄攝影或者顯影日期、照相機或者顯影機的機種等各種數據。在適用於新型照相系統的底片(磁帶)對應的託架28中，配置該磁信息的讀取裝置，在將底片搬送到讀取位置時，讀取磁信息，將各種信息傳送給圖像處理裝置14。
在這樣的掃描儀12中，在讀取攝影在底片F上的圖像時，從光源22發射的、由可變光圈24進行光量調整的均勻讀取光，入射到由託架搬運到指定位置上的底片F上，透過之後，獲得載有拍攝在底片F上的圖像的投影光。
圖中所示的託架28，適用於可攝24張的135底片和新型照相系統的磁帶等比較長的底片F(帶狀)。託架28讓底片處於給定的讀取位置，讓底片的長度方向與在與圖像傳感器32、例如RGB3線CCD傳感器的延伸方向的主掃描方向垂直的副掃描方向一致，進行運送。底片由託架28在副掃描方向上運送到讀取位置後，入射讀取光。這樣，其結果底片F由沿主掃描方向的狹縫(圖中未畫出)進行2維狹縫掃描，讀取攝影在底片F上的各片格的圖像。
底片F的投影光通過成像鏡頭單元30在圖像傳感器32的接收面上成像。
圖像傳感器32，例如包括讀取R圖像的線CCD傳感器、讀取G圖像的線CCD傳感器以及讀取B圖像的線CCD傳感器。在所謂3線彩色CCD傳感器中，各線CCD傳感器，如上所述，沿主掃描方向延伸。底片F的投影光由該圖像傳感器32分解成R、G及B的3原色讀取。
圖像傳感器32輸出的R、G及B的各輸出信號由放大器33放大後，傳送給A/D變換器34，在A/D變換器34中，例如分別變換成12bit的RGB數字圖像數據，傳送給圖像處理裝置14。
在掃描儀12中，在讀取攝影在底片F上的圖像時，按以低解析度讀取的預掃描(第1次圖像讀取)、和為獲得輸出圖像的圖像數據的正式掃描(第2次圖像讀取)的2次圖像讀取方式進行。
在此，預掃描由掃描儀12以不讓圖像傳感器32飽和對作為讀取對象的整個底片上的圖像進行讀取，並且按預先設定的預掃描讀取條件進行。
另一方面，正式掃描以比從預掃描數據中獲得的該圖像(片格)的最低濃度還要低一些的濃度讓圖像傳感器34飽和而針對每個片格設定的正式掃描的讀取條件進行。此外，預掃描和正式掃描的輸出圖像信號，除了解析度以及輸出圖像信號電平不相同以外，基本上是同樣的圖像數據。
此外，在光電洗印機10中使用的掃描儀12，並不限定於採用這樣的狹縫掃描讀取方式，也可以採用一次讀取1片格的底片圖像的整個面的面讀取方式。
這時，例如採用面CCD傳感器等面傳感器，在光源22和底片F之間設置R、G及B的各色慮光片的插入裝置，插入到光源22射出的光的光路中，透過慮光片的讀取光照射到底片F的整個面上，讓透過光在面CCD傳感器上成像，讀取底片整個面的圖像，通過依次切換R、G以及B的各色慮光片；可以分解成3原色讀取攝影在底片F上的圖像。
此外，輸入到圖像處理裝置14中的彩色圖像信號，並不限定於通過這樣讀取透過的底片的光獲得的掃描圖像數據，除此以外，也可以從外部輸入由數位相機70等攝影獲得的圖像數據、採用平板掃描儀71等讀取原稿(例如反射原稿等)獲得的圖像數據、其它計算機生成的、保存在軟盤72、MO驅動器或者CD驅動器73中記錄的圖像數據、以及通過數據機74接收到的通信圖像數據等(以下這些數據統稱為底片圖像數據)。
圖2是表示圖像處理裝置14(以下稱為處理裝置14)的方框圖。在此，處理裝置14是實施本發明的紅眼檢測及其修正方法的部分，包括掃描儀校正部36、Log變換部38、預掃描(幀)存儲器40、正式掃描(幀)存儲器42、預掃描處理部44、正式掃描處理部46、以及條件設定部48。
此外，圖2隻是示出了與圖像處理相關的部分，在處理裝置14中，除此之外還配置有對包括處理裝置14在內的光電洗印機10整體的控制和管理的CPU、保存光電洗印機10的動作所必要的信息的存儲器，而且，操作裝置18和顯示器20通過該CPU(CPU總線)與各部分連接。
從掃描儀12輸入到處理裝置14的R、G以及B的圖像信號，例如12bit的數字圖像數據，被輸入到掃描儀校正部36中。
掃描儀校正部36，為了校正由掃描儀12的圖像傳感器32的3線CCD傳感器引起的RGB數字圖像數據的每個像素的靈敏度離散和暗電流的問題，實施DC偏移量校正、暗時校正、缺陷像素校正、明暗校正等讀取圖像數據的數據校正。將在掃描儀校正部36中對每個像素的靈敏度離散和暗電流進行校正處理後的數字圖像信號輸出給Log變換部38。
Log變換部38實施對數變換處理，對數字圖像數據進行灰度變換，變換成數字圖像濃度數據，例如，採用LUT(Lookup Table)，將在掃描儀校正部36中校正後的12bit的數字圖像數據變換成例如10bit(0～1023)的數字圖像濃度數據。
在Log變換部38變換後的數字圖像濃度數據，如果是預掃描圖像數據則被保存在預掃描存儲器40中，如果是正式掃描圖像數據則被保存在正式掃描存儲器42中。
預掃描存儲器40是為了針對RGB各色保存由掃描儀12對底片F的預掃描獲得的、實施了各種數據校正以及對數變換處理後的底片F上1片格的低解析度圖像濃度數據的幀存儲器。預掃描存儲器40至少具有可以保存底片F上1片格的RGB3色的圖像濃度數據，也可以具有保存多個片格的圖像濃度數據，或者也可以包括多個保存1片格的存儲器。
保存在預掃描存儲器40中的預掃描圖像數據由預掃描數據處理部44讀取。
正式掃描存儲器42是為了針對RGB各色保存由掃描儀12對底片F的正式掃描獲得的、實施了各種數據校正以及對數變換處理後的底片F上1片格的高解析度圖像濃度數據的幀存儲器。正式掃描存儲器42優選至少具有可以保存底片F上2片格的RGB3色的圖像濃度數據，在寫入1片格的圖像濃度數據期間，讀出另一片格的圖像濃度數據，在正式掃描數據處理部46中同時進行各種各樣的圖像處理。也可以只具有保存1片格的圖像濃度數據的容量，一片格一片格進行處理。而且，也可以包括多個保存1片格的存儲器，例如作為切換存儲器使用。
保存在正式掃描存儲器42中的正式掃描圖像數據由正式掃描數據處理部46讀取。
對保存在預掃描存儲器40中的預掃描圖像數據，為了在顯示器20顯示進行各種必要的圖像處理的預掃描數據處理部44，包括具有實施本發明的紅眼檢測及其紅眼修正方法的紅眼處理部51的圖像處理部50、圖像數據變換部52。
在此，圖像處理部50，按照後面說明的條件設定部48所設定的圖像處理條件，為了可以將由掃描儀12讀取的、保存在預掃描存儲器40中的圖像數據以所要求的圖像質量在後面說明的顯示器20的CRT顯示畫面上進行彩色圖像顯示，通過查詢表(以下用LUT表示)或者矩陣(以下用MTX表示)運算，實施色度平衡調整、灰度校正、亮度校正、色度校正(超色調處理)、超銳度處理、顏色變換、濃度變換等給定的圖像處理，同時由紅眼處理部51實施後述的紅眼校正處理，生成將瞳孔部分修正到自然顏色的具有所希望的顯示質量的圖像數據。
圖像數據變換部52將圖像處理部50所處理的圖像數據，根據需要變換成適合顯示器20的解析度，同樣採用3D(3維)LUT等，變換成與顯示器20的顯示對應的圖像數據，由顯示器20進行顯示。
此外，在圖形處理部50中的處理條件由後述的條件設定部48設定。
另一方面，對保存在正式掃描存儲器42中的正式掃描圖像數據，為了在圖像記錄裝置16輸出彩色照片進行各種必要的圖像處理的正式掃描數據處理部46，包括具有實施本發明的紅眼檢測及其紅眼修正方法的紅眼處理部55的圖像處理部54、圖像數據變換部56。
在此，圖像處理部54，按照後述的條件設定部48所設定的圖像處理條件，可以將由掃描儀12讀取的、保存在正式掃描存儲器42中的圖像數據實施給定的圖像處理後，作為彩色照片形式，以所希望的濃度、灰度以及色調在彩色紙上輸出圖像。為此，圖形處理部54，對數據圖像，通過LUT、MTX運算器、低通濾波器、加減法器等，實施色度平衡調整、灰度校正、顏色調整、濃度調整、色度調整、電子變倍、和銳度強調(邊緣強調、銳化)等各種圖像處理，同時後面詳述的由紅眼處理部55將成為紅眼的瞳孔部分修正到自然顏色，生成輸出用圖像數據。
圖像數據變換部56將圖像處理部54所處理的圖像數據，同樣採用3DLUT等標準灰度查詢表，變換成與圖像記錄裝置16的圖像記錄所對應的圖像數據，輸出給圖像記錄裝置16。
圖像記錄裝置16根據正式掃描數據處理部46輸出的圖像數據，作為可再現彩色圖像的照片輸出。
此外，在圖形處理部54中的處理條件由後述的條件設定部48設定。
條件設定部48設定正式掃描數據處理部46中的各種處理條件。該條件設定部48包括設置部58、鍵入校正部60以及參數綜合部62。
設置部58，採用預掃描圖像數據等，設定正式掃描的讀取條件，輸出給掃描儀12，並且作成(運算)預掃描數據處理部44以及正式掃描數據處理部46的圖像處理條件，輸出給參數綜合部62。
具體講，設置部58讀出預掃描存儲器40中的預掃描圖像數據，根據預掃描圖像數據，進行濃度直方圖的製作、平均濃度、LATD(大面積透過濃度)、明亮(最低濃度)、陰暗(最高濃度)等圖像特徵量的計算，根據所算出的圖像特徵量，以比該圖像的最低濃度多少要低一些的濃度讓圖像傳感器32飽和，設定正式掃描的讀取條件，例如光源22的光量、可變光圈24的光圈值、圖像傳感器32的積蓄時間等。
此外，正式掃描的讀取條件，在預掃描的讀取條件中，可以變更對應於圖像傳感器的輸出電平的所有要素，也可以只變更上述光圈值等1個要素，或者只變更光圈值和積蓄時間等多個要素。
並且，設置部58，根據濃度直方圖和圖像特徵量，按照根據需要由操作者發出的指示，設定上述色度平衡調整和灰度調整等圖形處理條件。圖形處理條件優選包含顏色和濃度中的至少一種。
鍵入校正部60，通過設置在鍵盤18a等操作裝置18上的按鍵(圖中未畫出)設定的濃度(亮度)、顏色、對比度、銳度、色度等調整量，和根據由滑鼠18b輸入的各種指示等，計算圖形處理條件的調整量(例如LUT的校正量等)，設定參數，輸出給參數綜合部62。
參數綜合部62接收由設置部58所設定的圖像處理條件等，將傳來的圖像處理條件設定在預掃描數據處理部44的圖形處理部50以及正式掃描數據處理部46的圖形處理部54中，進一步，根據由鍵入校正部74計算的校正量，校正(調整)設定在各部中的圖形處理條件，或者重新設定圖形處理條件。
此外，在預掃描數據處理部44的圖形處理部50以及正式掃描數據處理部46的圖形處理部54中分別進行上述各種處理之後，設置將成為紅眼的瞳孔部分修正到自然顏色的紅眼處理部51以及55。
以下，詳細說明由該紅眼處理部51以及55進行的紅眼修正處理，即本發明的紅眼修正區域的檢測方法以及紅眼修正方法。
圖3是表示有關本發明的紅眼檢測及其修正方法的概略圖。如圖3所示，本發明，通過根據發生紅眼的輸入圖像的種類(輸入種類)、拍攝輸入圖像的照相機種類、輸入圖像的圖像數據的處理空間(處理區域)、紅眼檢測以及紅眼修正之前對輸入圖像進行的圖像處理(前段圖像處理)、輸入圖像形式以及掃描條件等的條件變更紅眼檢測以及紅眼修正的參數，可以統一進行能適應各種輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式及掃描條件等的條件的紅眼檢測以及紅眼修正處理。
此外，除了上述輸入種類等之外，也可以根據CCD的形式和光源的種類等變更紅眼檢測以及紅眼修正的參數。在此，作為CCD的形式，有蜂窩式CCD、或者非蜂窩式的現有的CCD，根據這些CCD變更參數是因為由這些CCD有可能引起邊界(探索範圍)和像素的輪廓等不同。而且，作為光源的種類，例如有LED和滷鎢燈，根據這些光源變更參數是因為由這些光源有可能引起色調不同。
根據照相機種類的不同而改變紅眼檢測及紅眼修正參數，是由於在不同的照相機中，有的容易發生紅眼，而有的不容易發生紅眼，在發生紅眼的程度上存在著不同。
輸入到圖像處理裝置14的輸入圖像數據的種類、形式、處理方法等有各種各樣的形式。例如在輸入圖像的種類的輸入種類中，有在用通常的銀鹽照相機攝影的負片或者正片上記錄的圖像、數位相機等數字攝影裝置所攝影的數字圖像數據。而且，在照相機種類中，包括單反照相機、雙鏡頭反光照相機、袖珍式照相機、一次性照相機、並且還有其他各個種類等。而且，作為處理圖像數據的顏色空間，即，作為圖像數據的處理空間(處理區域)，包括顏色再現標準的sRGB，或者機器固有的印刷數據(PD)等。
而且，如上所述，作為在紅眼檢測以及紅眼修正處理之前的前段圖像處理，例如有軟調、硬調等灰度處理。作為圖像形式，有格式和比特數等，作為掃描條件有像素挪動次數和綜合等。
如後面所述，本發明根據這些條件以及這些的組合可以變更紅眼檢測以及紅眼修正的參數。
所輸入的圖像數據在由圖形處理部50、54實施前段的圖像處理之後，在紅眼處理部51、55中，進行紅眼檢測處理以及紅眼修正處理。
在紅眼檢測的方法中，有從指定區域中檢測紅眼的方法、從面部中檢測紅眼的方法、從整體圖像中檢測紅眼的方法。紅眼檢測可以自動進行，也可以由操作者通過鍵入校正部60手動指定進行。而且，為進行紅眼檢測、紅眼修正的參數也可以根據輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式以及掃描條件等由操作者通過鍵入校正部60進行變更、設定。這時，也可以對這些輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式以及掃描條件等中的幾個進行組合，根據該組合變更參數。
檢測紅眼時的紅眼區域指定方法，也可以採用以下的各種各樣的方法。例如，有通過用滑鼠18b和鍵盤18a等畫出矩形框包圍包含兩眼以及兩眼周邊區域的區域、指定框內的區域的方法。這時，框並不限定於矩形，也可以是橢圓形等其它形狀。而且，有通過用滑鼠18b和鍵盤18a指定兩眼的瞳孔的中心部，指定包含兩眼以及兩眼周邊區域的區域的方法。而且，也可以不是兩眼，而是用矩形或者橢圓形的框包圍指定包含一隻眼的周邊區域的區域。而且，也可以指定包含眼的中心部和眼整體而形成的框的位置，根據從相對於中心部的框的位置利用統計方法獲得的比率，自動形成包含一隻眼的框，以該框內的區域作為紅眼修正處理的處理對象區域，或者通過指定眼的中心部和眼的周邊部中的一方的一處，自動形成包含眼整體的預定尺寸的框，指定該框內的區域。
並且，也可以用滑鼠18b和鍵盤18a手畫的形式形成包圍包含眼的眼周邊區域，指定框內的區域。
然後，計算出由上述任一種方法所指定的紅眼修正處理的處理對象區域的特徵量。所算出的特徵量並沒有特別限定，在此，選擇根據作為抽出要素的色相、顏色度、亮度獲得的各顏色值，選擇出可以一次切出瞳孔部分的圖像那樣的特徵量。將該特徵量圖表化後，構成圖像的白眼部分、瞳孔部分、肌肉部分等要素區域之間形成山狀波形。雖然與特徵量的選擇有關，例如包含亮光的紅眼區域形成山尖，白眼部分和肌肉部分之間虹彩部分成為谷底，成為區域分割邊界。
在這樣分割的區域中，分別檢查各自的形狀、與其它區域之間的配置關係(位置)、面積比率、濃度、平均色調，以最具有瞳孔特徵的部分作為紅眼區域選出，進行紅眼選擇。
這時，當在一隻眼的圖像中有2以上區域作為紅眼區域選出時，分別對形狀、與其它區域之間的配置關係、面積比率、濃度、平均色調進行評價，以評價最高的區域作為紅眼區域選擇。
作為評價方法可以採用各種各樣的方法，例如對於各分割區域，求出以圓形度越大點數越高的第1點數，以最高點數的部分作為最具有瞳孔部分的特徵，即作為紅眼區域。而且，對於各分割區域，計算出重心位置和指定區域的中心位置之間的距離，求出距離越短點數越高的第2點數，以最高點數的部分作為最具有瞳孔部分的特徵，即作為紅眼區域。
並且，對於各分割區域，計算分割區域的面積和制定區域的面積之間的比率，求出所獲得的比率越偏離根據預先求出的瞳孔面積與指定區域的面積之間的比率所確定的範圍點數越小的第3點數，以最高點數的部分作為最具有瞳孔部分的特徵，即作為紅眼區域。
而且，採用在色相、顏色度、亮度中任意1個以上中的平均值、最大值、最小值、對比度、直方圖形狀中任意1個以上，與預選測定的統計規律的色調不良區域信息進行比較，求出越具有接近色調不良區域的特徵的特徵點數越高的第4點數，以最高點數的部分作為最具有瞳孔部分的特徵，即作為紅眼區域。
並且，根據預先指定的瞳孔中心位置和兩眼之間的間隔，求出越偏離瞳孔中心點數越小的第5點數，以最高點數的部分作為最具有瞳孔部分的特徵，即作為紅眼區域。
此外，按照點數的高低順序進行加權，求出加權平均，使得點數高的更高，點數低的更低，擴大點數的差，可以明顯區別最具有瞳孔部分的特徵的區域。
在此，採用了檢測紅眼時所採用的特徵量、以及根據該特徵量分割圖像區域時的閾值、加權值、從分割區域選擇紅眼區域時的點數等幾個參數，由於這些閾值、加權值、以及特徵量等參數，根據輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式以及掃描條件等的條件而不同，所以在本發明中，通過根據輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式以及掃描條件等的條件進行變更，可以更加正確檢測出紅眼區域。例如，閾值和特徵量，根據8比特圖像和10比特圖像等用不同比特長度所表示的圖像而不同，根據該形式變更參數。此外，這時加權值相同。
而且，也可以不單獨採用輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式以及掃描條件等的條件中的任一個，而對其中的幾個組合，根據其中幾個條件的組合變更所述參數。
另外，在條件設定部48中，對用於該紅眼檢測、紅眼修正的參數進行變更(設定)。
在條件設定部48進行參數變更(設定)也可以通過預先準備好作為該參數的基準參數，例如，準備好作為基準的標準用參數，根據輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式、掃描條件等的條件，或者是這些條件的組合，變換基準參數而求得。在這種情況下，用於變換基準參數的變換關係(變換式或變換量)，由每個上述的各種條件或這些條件的組合設定。
例如，如圖4(a)所示，也可以，當處理空間(用於處理圖像數據的色空間)為變更參數的條件時，預先以sRGB色空間設定基準參數，在要處理的色空間為機器固有的洗印數據(PD)的色空間時，把以sRGB設定的基準參數從sRGB色空間變換為PD色空間，改變為PD色空間的參數。
這裡，基準參數的從sRGB色空間到PD色空間的變換，即，處理空間的變換處理，可以使用各種公知的色空間變換處理，例如，可以通過變換表(LUT)處理或矩陣(MTX)處理等公知的色空間變換處理進行。因此，在這種情況下，需要對每個色空間準備好變換LUT或變換MTX。
另外，如圖4(b)所示，在前段圖像處理為參數變更條件，並且前段圖像處理為色階處理的情況下，也可以預先用標準色階設定基準參數，在要處理的色階處理為強反差的情況下，把用標準色階設定的基準參數從標準色階變換為強反差色階，變換為強反差色階中的參數。
這裡，基準參數的從標準色階到強反差色階的變換，即色階的變換處理(標準色階、強反差、弱反差之間的變換處理)，可使用各種公知的色階變換處理，例如可通過變換表(LUT)處理或矩陣(MTX)處理等的公知的變換處理進行。在這種情況下，也需要對每個色階準備好變換LUT或變換MTX。
另外，在條件設定部48中的進行的參數的變更(設定)，不限於上述的實例，也可以預先作為參數，準備好針對輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式、掃描條件等的所有條件的組合的參數，通過選擇與這些條件或這些條件的組合對應的參數來進行。
例如，如圖4(c)所示，在處理空間(處理圖像數據的色空間)為參數變更條件時，也可以預先準備好用sRGB色空間設定的參數及用機器固有洗印數據(PD)的色空間設定的參數等的所有參數，從所準備的參數中，根據要處理的色空間是sRGB色空間還是PD色空間，選擇對應的參數，由此變更參數。
另外，如圖4(d)所示，在前段圖像處理為參數變更條件、並且前段圖像處理為色階處理的情況下，也可以預先準備好所有的用標準色階設定的參數、用強反差色階設定的參數及弱反差色階設定的參數等，通過從準備好的參數中根據要處理的色階處理是標準色階還是強反差色階或是弱反差色階，選擇相應的參數，進行參數的變更。
另外，作為在條件設定部48中進行的參數的變更(設定)，也可以同時使用上述的準備基準參數的方法及準備所有參數的方法。例如，在輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式、掃描條件等的條件或這些條件的組合中，對於使用頻率高的條件及條件的組合使用準備所有參數的方法，而對使用頻率低的條件及條件的組合使用準備作為基準的標準用參數的方法。
然後，對檢測出來的紅眼進行修正處理。例如，原來為黑眼珠時，降低眼區域的顏色度，讓其接近無彩色，修正成黑眼珠。而且，例如原來為藍眼珠時，指定預先所希望的藍眼睛的色相進行保存，通過色相變換可以修正成藍眼珠在此，對於在上述選擇的紅眼區域中的像素，根據紅眼區域中的像素最小亮度的像素，將所有像素的亮度校正成和最小亮度的像素相同或者相近。
而且，對於顏色，也可以上述亮度的修正方法同樣，按照最小顏色度的像素進行校正。這時，如果在自然環境下完成，也可以只校正亮度或者顏色度。
而且，作為其它修正方法，也可以從修正後的紅眼區域的中心向周圍成放射狀形成灰度模樣，以指定的顏色形成從中心向周圍濃度越來越薄的灰度模樣。咱此，所指定的顏色，例如可以選擇從沒有形成紅眼的其它區域的瞳孔部分檢測出最大濃度值和最小濃度值、或者根據上述最大濃度值和最小濃度值調整後的最大濃度值和最小濃度值、或者由用戶預先指定的最大濃度值和最小濃度值等。
而且，在紅眼修正處理中，本來是黑眼珠時，作為表示成為紅眼的區域的顏色度下降到怎樣的程度為好、或者讓亮度接近最小亮度的像素的亮度到怎樣的程度為好等標準的參數，或者表示上述灰度模樣的參數等，可以根據例如輸入種類是負片還是正片、或者數位相機等進行變更。
即，和紅眼檢測時同樣，在紅眼修正處理中使用的特徵量的校正量等的參數也可以根據輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式或掃描條件等進行變更。此外，也和紅眼檢測時同樣，也可以將這些輸入種類、照相機種類、處理空間、前段圖像處理、圖像的形式或掃描條件等中的幾個組合，根據該組合變更上述參數。
這樣，可以更貼切修正紅眼，同時只是變更參數，就可以進行與輸入種類無關而進行相同的處理方式，可以讓軟體(模塊)和硬體(圖形處理部)通用化。
以上，雖然通過例舉各種實施方案，詳細說明了本發明的紅眼檢測及修正方法，但並不限定於上述實施方案，只要在不脫離本發明的要旨的範圍內，可以進行各種改進和變更。
發明的效果如上所述，依據本發明，只需根據各種各樣的輸入圖像的種類(輸入種類)、圖像數據的處理空間(處理區域)、紅眼檢測以及紅眼修正之前進行的圖像處理(前段圖像處理)、圖像形式或掃描條件等變更相應的參數，便可統一進行紅眼檢測及紅眼修正處理，可以實現紅眼檢測、紅眼修正處理的軟體(模塊)或者硬體(圖形處理部)通用化。
權利要求
1.一種紅眼檢測及修正方法，是從出現紅眼的拍攝圖像中檢測出紅眼、將檢測到的紅眼修正為規定瞳孔顏色的紅眼檢測及修正方法，其特徵在於對應在根據所述輸入圖像的種類、拍攝所述圖像的照相機的種類、所述圖像的圖像數據的處理空間，對所述圖像進行紅眼檢測及紅眼修正之前進行的圖像處理、所述圖像形式以及掃描條件中至少一個條件，變更在紅眼檢測及紅眼修正中所使用的參數。
2.一種紅眼檢測及修正方法，是從出現紅眼的拍攝圖像中檢測出紅眼、將檢測到的紅眼修正為規定瞳孔顏色的紅眼檢測及修正方法，其特徵在於對應在根據所述輸入圖像的種類、拍攝所述圖像的照相機的種類、所述圖像的圖像數據的處理空間，對所述圖像進行紅眼檢測及紅眼修正之前進行的圖像處理、所述圖像形式以及掃描條件中的多個條件的組合，變更在紅眼檢測以及紅眼修正中所使用的參數。
3.根據權利要求1或2所述的紅眼檢測及修正方法，其特徵在於作為所述參數，預先準備好基準參數，所述被變更的參數是通過根據所述條件或所述條件的組合變換所述基準參數而求得。
4.根據權利要求1或2所述的紅眼檢測及修正方法，其特徵在於作為所述參數，預先準備好對應所有所述條件的組合的參數，作為所述被變更的參數，選擇對應所述條件或所述條件的組合的參數。
5.根據權利要求1或2所述的紅眼檢測及修正方法，其特徵在於對於使用頻率高的所述條件及所述條件的組合，作為其所述參數，準備好對應所有所述條件及所述條件的組合的參數，作為所述被變更的參數，選擇對應所述條件或所述條件的組合的參數，對於使用頻率低的所述條件及所述條件的組合，作為其所述參數，準備好基準參數，作所述被變更的參數，通過根據所述條件變換所述基準參數而求得。
全文摘要
本發明提供一種紅眼檢測及修正方法，該方法是，從出現紅眼的拍攝圖像中檢測出紅眼、在將檢測到的紅眼修正為規定瞳孔顏色時，對應在根據所述輸入圖像的種類、拍攝所述圖像的照相機的種類、所述圖像的圖像數據的處理空間，對所述圖像進行紅眼檢測及紅眼修正之前進行的圖像處理、所述圖像形式以及掃描條件中至少一個條件，或者是這些條件中的多個條件的組合，變更在紅眼檢測以及紅眼修正中所使用的參數。由此，可對不同種類的輸入圖像進行統一的紅眼檢測處理及紅眼修正處理。
文檔編號H04N1/62GK1437160SQ0310277
公開日2003年8月20日 申請日期2003年1月17日 優先權日2002年1月17日
發明者榎本淳 申請人:富士膠片株式會社