用於在圖像中檢測紅眼的方法、裝置和存儲介質的製作方法
2024-01-26 14:02:15
專利名稱：用於在圖像中檢測紅眼的方法、裝置和存儲介質的製作方法
技術領域：
本發明涉及圖像處理，並且尤其涉及對在其中檢測紅眼的圖像進行處理的方法、裝置和存儲介質。
背景技術：
紅眼是人的瞳孔周圍出現的不自然的紅色調。其通常是由血管反射閃光造成的。目前，有很多識別紅眼的方法。
在識別紅眼的現存方法中，首先在數字圖像中識別候選紅眼區域，再進行進一步檢測或計算以確定候選紅眼區域是否是紅眼。通常候選紅眼區域包括膚色像素卻不包括紅眼像素。候選紅眼區域中包括膚色像素降低了紅眼檢測精確度。
發明內容
本發明的目的是提供考慮膚色像素的在圖像中檢測紅眼的方法、裝置和存儲介質。
為了達到以上目的，本發明提供一種在圖像中檢測紅眼的方法，其特徵在於包括步驟計算所述圖像的膚色參考向量；在所述圖像中識別候選紅眼區域；在所述候選紅眼區域中識別膚色像素；從所述候選紅眼區域中去除膚色像素；判斷所述候選紅眼區域是否是紅眼。
本發明還提供一種在圖像中檢測紅眼的裝置，其特徵在於包括計算器，用於計算所述圖像的膚色參考向量；候選區識別電路，用於在所述圖像中識別候選紅眼區域；
候選區處理器，用於在所述候選紅眼區域中識別膚色像素，還用於從所述候選紅眼區域去除所述膚色像素；檢測器，用於判斷由所述候選區處理器輸出的所述候選紅眼區域是否是紅眼。
本發明還提供一種編有用於在圖像中檢測紅眼的機器可讀電腦程式代碼的存儲介質，該存儲介質包括使處理器實現根據本發明方法的指令。
根據本發明的方法、裝置和存儲介質，基於已經從中去除了膚色像素的候選紅眼區域對紅眼進行檢測。因此，極大地提高了檢測紅眼的速度和精確度。
另外，本發明的方法能夠與各種識別人臉矩形、識別候選紅眼區域和從候選紅眼區域中檢測紅眼的常規方法結合來適應不同的情況。
結合附圖，本發明的其他特點和優點可從下面通過舉例來對本發明原理進行解釋的優選實施例的說明中變得更為清楚。
圖1是根據本發明實施例的在圖像中檢測紅眼方法的流程圖；圖2示出包括用於獲取膚色參考向量的膚色參考部分的人臉矩形；圖3是根據本發明另一個實施例用於在圖像中檢測紅眼的裝置的框圖；圖4A、圖4B和圖4C示出候選紅眼區域的例子；圖5示意性地示出可在其中實現圖1所示方法的圖像處理系統；圖6示出在圖像中識別眼區的一個示例方法；圖7示出在圖像中識別人臉矩形的一個示例方法圖8示出在圖像中識別候選紅眼區域的一個示例方法。
具體實施例方式
在下面的說明中，關於如何識別候選人臉區域，如何在人臉中識別眼區，可參考中國專利申請第00127067.2號(由同一申請人於2000年9月15日提出申請)、中國專利申請第01132807.X號(由同一申請人於2001年9月6日提出申請)、中國專利申請第02155468.4號(由同一申請人於2002年12月13日提出申請)、中國專利申請第02160016.3號(由同一申請人於2002年12月30日提出申請)、中國專利申請第03137345.3號(由同一申請人於2003年6月18日提出申請等等。這些申請在此用於參考。然而，這些申請中公開的識別候選人臉區域的方法、識別眼區的方法、從候選紅眼區域檢測紅眼的方法對本發明並不構成限制。任何常規的在圖像中識別人臉矩形的方法、識別候選紅眼區域的方法、判斷候選紅眼區域是否是紅眼的方法都可以在本發明中使用。
圖6示出在圖像中識別眼區的一個示例方法。該方法開始於步驟601。然後在步驟602，將圖像的每一列分割為多個間隔段。
在步驟603中，將鄰近列中的谷區合併以便生成候選眼區。然後，在步驟604，判斷每個候選眼區是真眼區域還是假眼區。
圖7示出在圖像中示出識別人臉矩形的一個示例方法。該方法開始於步驟701。然後，在步驟702，在圖像中識別兩個眼區，並且基於兩個眼區，識別一個候選人臉矩形。
在步驟703，設置一個圍繞候選人臉矩形的環形區域。在步驟704，計算環形區域每個像素的灰度梯度。在步驟705，計算環形區域每個像素的參考梯度。在步驟706，計算環形區域全部像素的灰度梯度和相應的參考梯度的角度平均值。在步驟707，判斷平均角度是否小於第二閾值。如果步驟707的判斷為「否」，則處理轉到步驟710；否則，轉到步驟708。
在步驟708，判斷加權平均角度是否小於第三閾值。如果步驟708的判斷為「否」，則處理轉到步驟710；否則轉到步驟709。
在步驟709，將候選人臉矩形分類為人臉矩形(即，真人臉)。在步驟710，將候選人臉矩形分類為假人臉(即，假人臉)。
處理結束於步驟711。
對圖6、7中所示方法的更多說明，可以參考中國專利申請第01132807.X號。
圖8示出在圖像中識別候選紅眼區域的一個示例方法。該方法開始於步驟801。然後在步驟802，識別圖像中的一個眼區。
在步驟803，在該眼區識別第一數目的候選紅眼區域。為了在眼區中識別候選紅眼區域，考慮眼區中的像素特徵值。例如，在步驟803，考慮眼區中的像素的顏色變化，或者紋理，或者顏色變化和紋理的結合。
在步驟804，使第一數目的候選紅眼區域縮小。結果，產生第二數目的候選紅眼區域。
根據縮小處理，估算在每一個第一數目候選紅眼區域中的每一個像素的至少一個特徵值。如果估算的特徵值不滿足為紅眼像素設定的標準，則從相應的候選紅眼區域中刪除被估算的像素。這樣，使第一數目候選紅眼區域中大多數的面積縮小。如果一個候選紅眼區域中的所有像素都已刪除，則該候選紅眼區域就不復存在並不再被考慮。
這樣，第二數目，即步驟804執行之後的候選紅眼區域的總數目，可能小於第一數目，即步驟804執行之前的候選紅眼區域的總數目。
在步驟805，使第二數目的候選紅眼區域擴大。結果，產生第三數目的候選紅眼區域。
在該步驟中，考慮每個第二數目的候選紅眼區域的邊緣像素。「邊緣像素」指位於候選紅眼區域邊緣的像素。如果邊緣像素的鄰近區域像素符合為紅眼像素設定的標準，則將這些像素包括到相關的候選紅眼區域中。這樣，使第二數目候選紅眼區域大多數的面積擴大，並且一些候選紅眼區域與其他候選紅眼區域不可避免地合併起來。這引入了步驟805的另一項功能。
步驟805的另一項功能是選擇性地刪除合併的候選紅眼區域，選擇性地結合合併的候選紅眼區域，或者選擇性地保持合併的候選紅眼區域中的一個而刪除其他區域。
不再考慮刪除的候選紅眼區域。
這樣，第三數目，即步驟805執行之後的候選紅眼區域的總數目，可能小於第二數目，即步驟805執行之前的候選紅眼區域的總數。
在步驟806，選擇不多於一個的候選紅眼區域作為在眼區中檢測到的紅眼區域。
在步驟806，估算第三數目候選紅眼區域中像素的多個特徵值。基於估算的結果，刪除大部分第三數目候選紅眼區域。給左邊候選紅眼區域打分，並且只進一步考慮具有最高分的候選紅眼區域。如果唯一的具有最高分的候選紅眼區域滿足標準，則將其選擇作為當前眼區中檢測到的紅眼區域。否則，在當前眼區中未檢測到紅眼區域。
在步驟807，該處理結束。
對圖8中示出的方法的更多說明，可以參考中國專利申請第200310116034.9號。
圖1是根據本發明實施例的檢測圖像中紅眼方法的流程圖。
如圖1所示，該處理開始於步驟101。然後，在步驟102，在將被處理的圖像中，識別人臉矩形。在圖像中識別人臉矩形的不同方法對本發明不構成限制。
然後，在步驟103，在所述人臉矩形中識別膚色參考部分。圖2示出膚色參考部分的例子。可以使用各種識別膚色參考部分的方法。不同的膚色參考部分的大小和形狀以及識別方法對本發明不構成限制。
在步驟104，在膚色參考部分中計算膚色參考向量。假設x是膚色參考向量。x包括R(紅) G(綠)值 和B(藍)值 R值 是包括在膚色參考部分的像素的平均紅色值。G值 是包括在膚色參考部分的像素的平均綠色值。B值 是包括在膚色參考部分的像素的平均藍色值。R、G、B值 和 基於以下公式計算xr=rn,]]>xg=gn,]]>xb=bn;]]>其中，r表示在膚色參考部分中的像素的紅色值，g表示在膚色參考部分中的像素的綠色值，b表示在膚色參考部分中的像素的藍色值，n表示膚色參考部分中的像素數目。
在步驟105，在人臉矩形200或在整個圖像中識別候選紅眼區域。識別候選紅眼區域的不同方法對本發明不構成限制。當然，步驟105也可以在步驟103之前進行。
從步驟106到步驟108，在候選紅眼區域中參照膚色參考向量識別膚色像素。
特別地，在步驟106，從候選紅眼區域選擇一個像素。
在步驟107，計算膚色參考向量與在步驟106中選擇的像素的色向量之間的距離(例如，馬氏(Mahalanobis)距離)。還可以計算膚色參考向量與步驟106選擇的像素的鄰域(例如，3*3鄰域)中每個像素的色向量之間的類似距離。可選擇地，該距離可以為歐幾裡得距離。不同種類的距離和不同像素選擇方法對本發明不構成限制。
膚色參考向量和像素的色向量之間的馬氏距離基於以下公式計算d=(x-x)T-1(x-x)]]>其中，x表示像素的色向量，d表示膚色參考向量和色向量x之間的馬氏距離；x表示在步驟104中計算的膚色參考向量；「T」表示向量或矩陣的轉置；∑-1表示在膚色參考部分中的像素的協方差矩陣的逆矩陣。
協方差矩陣基於以下公式計算=r2rg2rb2rg2g2gb2rb2gb2b2]]>其中，δr2，δg2，δb2，δrg2，δrb2，δgb2用以下公式計算r2=(xr-xr)2n,]]>g2=(xg-xg)2n,]]>b2=(xb-xb)2n]]>rg2=(xr-xr)(xg-xg)n]]>rb2=(xr-xr)(xb-xb)n]]>gb2=(xg-xg)(xb-xb)n]]>在步驟108，判斷所有在步驟107計算的馬氏距離(例如，對於3*3鄰域，有9個距離，包括在步驟106中所選擇的像素的距離，和3*3鄰域中各像素的8個距離)是否都小於相同的第一閾值。根據試驗，第一閾值的範圍可以是5到20，更佳地為6到10。在此，第一閾值取8。
如果步驟108的結果是「是」，則處理轉到步驟109；反之，則處理轉回步驟106。
當然，可以將步驟108修改為判斷所有在步驟107中計算的馬氏距離是否大於相同的第一閾值。如果是這樣，則步驟108的「是」判斷分支引到步驟106，並且步驟108的「否」判斷分支引到步驟109。
在步驟109，從候選紅眼區域中去除一個像素，該像素是在步驟106中被選擇並且通過步驟108被識別為膚色像素的像素。
在步驟110，判斷包括在候選紅眼區域中的所有像素是否都通過步驟106到步驟108被測試過。
如果步驟110的結果是「否」，則處理轉回步驟106，選擇沒有測試過的像素之一。如果步驟110的結果是「是」，則處理轉到步驟111。
在已經從候選紅眼區域中去除所有膚色像素之後，原候選紅眼區域可能變成多於一個的候選紅眼區域。
在步驟111，判斷已從中去除所有膚色像素的候選紅眼區域是否是紅眼區域。判斷候選紅眼區域是否為紅眼的不同方法對本發明不構成限制。
在步驟112，處理結束。
圖2示出包括用於獲取膚色參考向量的膚色參考部分的人臉矩形。
如圖2所示，參考標號200代表人臉矩形；參考標號201和參考標號202代表人臉矩形200中的兩隻眼睛。建立一個坐標系。在該坐標系中，x軸通過左眼201和右眼202的中心，原點O位於眼201和202之間的中點，並且y軸垂直於x軸。
在圖2中，選擇矩形部分203，作為膚色參考部分。假設原點O和眼201或202之間的距離為1。將膚色參考部分203定義為A＝{(x，y)||x|＜0.5；-0.5＜y＜1}。當然，也可以選擇人臉矩形200的其他部分作為膚色參考部分。
圖3是根據本發明另一個實施例用於在圖像中檢測紅眼的裝置的框圖。
在圖3中，參考標號301表示計算器，參考標號302表示候選區識別電路，參考標號303表示膚色像素識別電路，參考標號304表示膚色像素去除器，參考標號305表示檢測器，並且參考標號306表示候選區處理器。
計算器301接收將要被處理的圖像，並且計算膚色參考向量。計算器301可以直接在圖像中識別膚色參考部分，或者首先在圖像中識別人臉矩形，然後在人臉矩形中識別膚色參考部分。然後，計算器301基於膚色參考部分計算膚色參考向量。
候選區識別電路302在圖像中(如312所示)或者在可以由計算器301識別的人臉矩形中(如311所示)識別候選紅眼區域。
候選區處理器306在候選紅眼區域中識別膚色像素，並且從候選紅眼區域去除膚色像素。特別地講，候選區處理器306包括膚色像素識別器303和膚色去除器304。
膚色像素識別器303基於膚色參考向量與候選紅眼區域中像素的色向量之間的距離識別膚色像素。還考慮將被識別的像素的鄰域中像素的距離。可參考圖1中的步驟106到108。
膚色像素去除器304從由候選區識別電路302輸出的候選紅眼區域去除膚色像素。
檢測器305判斷由候選區處理器306處理的候選紅眼區域是否是紅眼。檢測器305的檢測結果可用於進一步處理圖像。
圖4A、圖4B、圖4C示出候選紅眼區域的例子。圖4A示出原始圖像。圖4B示出在圖4A所示的圖像中識別的候選紅眼區域401。圖4C示出已經去除膚色像素的圖像。
以下描述一個例子。
從圖像中識別一個人臉矩形。人臉矩形的寬度是241個像素。人臉矩形的高度是297個像素。在人臉矩形中選擇矩形膚色參考部分。膚色參考部分的寬度是15個像素。膚色參考部分的高度是24個像素。將膚色參考向量x計算為[2.18，1.58，1.29]。
將協方差矩陣∑計算為=0.620.040.030.040.070.070.030.070.11]]>
使第一閾值為8。
然後，計算在候選紅眼區域401中的所有像素的馬氏距離。
以像素(111，56)和(111，40)為例。像素(111，56)和(111，40)的色向量是[130/100，79/100，88/100]和[244/100，197/100，145/100]。
在此，膚色參考向量和像素的色向量根據R(紅)值、G(綠)值和B(藍)值計算。為了減少計算量，像素的所有R(紅)值、G(綠)值和B(藍)值都除以100。
像素(111，56)的馬氏距離是16.8，其不小於第一閾值。因此，不將像素(111，56)識別為膚色像素。
像素(111，40)的馬氏距離是5.68，其小於第一閾值。假設像素(111，40)的3*3鄰域中8個像素的馬氏距離都小於第一閾值。因此，將像素(111，40)識別為膚色像素並從候選紅眼區域401去除。
圖5示意性地示出一種在其中實現圖1方法的圖像處理系統。圖5中的圖像處理系統包括CPU(中央處理器)501、RAM(隨機存取存儲器)502、ROM(只讀存儲器)503、系統總線504、HD(硬碟)控制器505、鍵盤控制器506、串行接口控制器507、並行接口控制器508、顯示控制器509、硬碟510、鍵盤511、照相機512、印表機513和顯示器514。在這些部件中，與系統總線504相連的有CPU501、RAM502、ROM503、HD控制器505、鍵盤控制器506、串行接口控制器507、並行接口控制器508和顯示控制器509。硬碟510與HD控制器505相連，並且鍵盤511與鍵盤控制器506相連，照相機512與串行埠控制器507相連，印表機513與並行接口控制器508相連，以及顯示器514與顯示器控制器509相連。
圖5中每個部件的功能在本技術領域內都是眾所周知的，並且圖5所示的體系結構也是常規的。這種體系結構不僅適用於個人計算機，而且適用於手持設備，諸如Palm PC、PDA(個人數據助理)、數位相機等等。在不同的應用中，可省略圖5中所示的某些部件。例如，如果整個系統是數位相機，則可省略並行接口控制器508和印表機513，並且該系統可由單片機實現。如果應用軟體存儲在EPROM或者其他非易失性存儲器中，則可省略HD控制器505和硬碟510。
圖5中所示的整個系統由通常作為軟體存儲在硬碟510中(或者如上所述，在EPROM或者其他非易失性存儲器中)的計算機可讀指令控制。軟體也可從網絡(圖中未示出)下載。能夠將存儲在硬碟510中的或者從網絡下載的軟體加載到RAM 502中，並由CPU 501執行，以便實現由軟體限定的功能。
在圖1所示的流程圖的基礎上，本技術領域的技術人員無需創造性工作即可開發出一個或者更多的軟體。這樣開發出的軟體將執行圖1所示的處理圖像的方法。
在某種意義上，圖5所示的圖像處理系統，如果得到根據圖1所示流程圖開發出的軟體的支持，則可實現與圖3所示圖像處理裝置相同的功能。
本發明還提供一種編有用於在圖像中檢測紅眼的機器可讀電腦程式的存儲介質，該存儲介質包括使處理器實現根據本發明方法的指令。存儲介質可為任何有形媒介，例如軟盤、CD-ROM、硬碟驅動器(例如，圖5中的硬碟510)。
雖然前面參照了本發明的特定實施方式，但是本領域的技術人員應當理解，，這些僅是舉例說明，可對這些實施方式作許多改變而不脫離本發明的原理，本發明的範圍由所附權利要求限定。
權利要求
1.一種在圖像中檢測紅眼的方法，其特徵在於包括以下步驟計算所述圖像的膚色參考向量；在所述圖像中識別候選紅眼區域；在所述候選紅眼區域中識別膚色像素；從所述候選紅眼區域中去除膚色像素；判斷所述候選紅眼區域是否是紅眼。
2.根據權利要求1的方法，其特徵在於所述計算膚色參考向量的步驟包括在所述圖像中識別人臉矩形；在所述人臉矩形中識別膚色參考部分；以及基於包括於所述膚色參考部分的像素的色值計算所述膚色參考向量。
3.根據權利要求2的方法，其特徵在於所述膚色參考部分是在所述人臉矩形中的兩眼之間的區域。
4.根據權利要求2的方法，其特徵在於所述膚色參考向量包括R值、G值和B值，其中，所述R值是包括於所述膚色參考部分的像素的平均紅色值，所述G值是包括於所述膚色參考部分的像素的平均綠色值，所述B值是包括於所述膚色參考部分的像素的平均藍色值。
5.根據權利要求4的方法，其特徵在於所述在所述候選紅眼區域中識別膚色像素的步驟包括計算所述膚色參考向量和包括於所述候選紅眼區域的每個像素的色向量之間的距離；以及如果一個像素的距離和所述像素鄰域中像素的距離都小於第一閾值，則將所述像素識別為膚色像素。
6.根據權利要求5的方法，其特徵在於所述像素的距離用(x-x)T∑-1(x-x)計算，其中x表示所述像素的色向量，x表示所述膚色參考向量，∑表示在所述膚色參考部分中的像素的協方差矩陣；以及所述第一閾值的範圍是5到20。
7.根據權利要求6的方法，其特徵在於所述第一閾值的範圍是6到10。
8.根據權利要求7的方法，其特徵在於所述第一閾值是8。
9.一種在圖像中檢測紅眼的裝置，其特徵在於包括計算器，用於計算所述圖像的膚色參考向量；候選區識別電路，用於在所述圖像中識別候選紅眼區域；候選區處理器，用於在所述候選紅眼區域中識別膚色像素，還用於從所述候選紅眼區域去除所述膚色像素；檢測器，用於判斷由所述候選區處理器輸出的所述候選紅眼區域是否是紅眼。
10.根據權利要求9的裝置，其特徵在於所述計算器包括用於在所述圖像中識別人臉矩形的裝置；用於在所述人臉矩形中識別膚色參考部分的裝置；以及用於基於包括於所述膚色參考部分的像素的色值計算所述膚色參考向量的裝置。
11.根據權利要求10的裝置，其特徵在於所述膚色參考部分是所述人臉矩形中的兩隻眼睛之間的區域。
12.根據權利要求10的裝置，其特徵在於所述膚色參考向量包括R值、G值和B值，其中所述R值是包括於所述膚色參考部分的像素的平均紅色值，所述G值是包括於所述膚色參考部分的像素的平均綠色值，所述B值是包括於所述膚色參考部分的像素的平均藍色值。
13.根據權利要求12的裝置，其特徵在於所述候選區處理器包括用於計算所述膚色參考向量和包括於所述候選紅眼區域的各個像素的色向量之間的距離的裝置；以及，用於如果一個像素的距離和所述像素鄰域中像素的距離都小於第一閾值，則將所述像素識別為膚色像素的裝置。
14.根據權利要求13的裝置，其特徵在於所述像素的距離用(x-x)T∑-1(x-x)計算，其中x表示所述像素的色向量，x表示所述膚色參考向量，∑表示在所述膚色參考部分中的像素的協方差矩陣，以及所述第一閾值的範圍是5到20。
15.據權利要求14的裝置，其特徵在於所述第一閾值的範圍是6到10。
16.據權利要求15的裝置，其特徵在於所述第一閾值是8。
17.一種編有在圖像中檢測紅眼的機器可讀電腦程式代碼的存儲介質，該存儲介質包括使處理器實現根據權利要求1到8中任一項的方法的指令。
全文摘要
本發明提供一種在圖像中檢測紅眼的方法，其特徵在於包括以下步驟計算所述圖像的膚色參考向量；在所述圖像中識別候選紅眼區域；在所述候選紅眼區域中識別膚色像素；從所述候選紅眼區域中去除膚色像素；判斷所述候選紅眼區域是否是紅眼。本發明還提供一種裝置和機器可讀存儲介質。根據本發明，基於已經從中去除了膚色像素的候選紅眼區域對紅眼進行檢測。顯著地提高了檢測紅眼的速度和精確度。
文檔編號G06K9/34GK1731419SQ200410062680
公開日2006年2月8日 申請日期2004年8月6日 優先權日2004年8月6日
發明者陳新武, 張鉞, 王建民 申請人:佳能株式會社