基於雙色彩空間的嘴唇檢測方法與流程

2023-05-05 06:22:24

本發明涉及一種數字圖像處理和模式識別技術領域的方法，具體地說，是一種基於雙色彩空間的嘴唇檢測方法。

背景技術：
嘴唇檢測在生物識別領域（如人臉識別、唇讀）有著廣泛的應用,它是系統功能實現的第一步，也是重要的一步。一般要求嘴唇檢測算法不僅要保證不同環境下的分割有效性，還要兼顧計算高效性。目前，嘴唇檢測主要有基於顏色空間的方法和基於嘴唇紋理模型的方法，利用像素R、G、B分量的關係進行膚色與唇色分割的方法計算速度快，但是對於光源不穩定的情況分割效果差，無法適應光線不穩定的情況；依據唇部紋理特徵進行唇部分割的方法存在適用環境單一的缺點；用AdaBoost算法進行嘴唇區域的框定的方法得到的矩形區域粗略，不能體現唇部的細節信息；還有一種基於模型特徵的主動變形模板方法，它基於灰度圖像對嘴唇進行分割，這種方法雖然魯棒性好，但是應用的初始條件以及能量函數的選取嚴格，速度慢。

技術實現要素：
基於此，有必要提供一種不受環境光照影響的基於雙色彩空間的嘴唇檢測方法。一種基於雙色彩空間的嘴唇檢測方法，包括：提取嘴唇像素：採用下述級聯式唇色濾波器進行唇色級聯濾波：cb*(cb&y)>cr*(g&cr)(r*b-y)(r*g+y-255)>r*b*g*y(r2+b*y)*y>(y2+r*g)*gr*cb*cr*(cb&cr)>C*b*y*(b⊕g)其中，r、g、b、y、cb、cr分別為RGB、YCbCr色彩空間的六個分量；C為常量；*為數值運算符，表示前後兩元素相乘；&為邏輯運算符，表示前後兩元素按位相與；⊕為邏輯運算符，表示前後兩元素按位異或；過濾不滿足上述判定式的像素，提取嘴唇像素以進行下一步處理。在優選的實施例中，還包括：計算嘴唇中心位置：根據提取出的嘴唇像素點計算嘴唇的中心位置a的坐標(xa,ya)：其中，xi、yi為嘴唇像素點的橫、縱坐標，N為嘴唇像素個數；計算嘴唇特徵點的位置：以嘴唇中心位置為基準將唇部區域旋轉劃分子區域，並將旋轉劃分的子區域內嘴唇像素的平均位置點作為嘴唇特徵點；其中，為bm的橫、縱坐標；為子區域m內嘴唇像素的橫、縱坐標；Nm為子區域m內嘴唇像素的個數；局部二值化：根據嘴唇特徵點將唇部區域橫向劃分子區域，並依據亮度對該橫向劃分所得子區域做二值化處理，橫向劃分的子區域中亮度小於子橫向劃分的區域二值化閾值的像素標記為嘴唇像素，橫向劃分的子區域二值化閾值：其中yi為子區域像素i的亮度,by為子區域特徵點的亮度，N為子區域像素個數。在優選的實施例中，還包括：嘴唇區域定限分離:在局部二值化處理後的唇部二值圖像基礎上對嘴唇像素做橫向投影統計，利用統計結果計算嘴唇區域的縱向限度，並將縱向限度範圍外的像素判定為非嘴唇像素去除，嘴唇區域縱向限度其中K為子區域特徵點到中心點的縱向距離，H為子區域的高度，ci為累計嘴唇像素數目。在優選的實施例中，還包括：局部亮度一致性濾波：對橫向劃分的子區域中的嘴唇像素進行亮度檢測，去除其中與該橫向劃分的子區域特徵點的亮度差異大於一致性閾值的像素。在優選的實施例中，還包括：調整嘴唇特徵點的位置：基於嘴唇形態的對稱性，對嘴唇特徵點進行調整。在優選的實施例中，還包括：調整嘴唇特徵點的位置：基於嘴唇形態的左右對稱性，對嘴唇特徵點進行調整；對於處於在一條橫線上的嘴唇特徵點，將兩者的縱坐標取平均值調整；對於唇尖的嘴唇特徵點，將兩者的橫坐標取平均值調整：對於嘴角的嘴唇特徵點的橫坐標進行調整：在該嘴唇特徵點的原橫坐標基礎上增加該嘴唇特徵點橫坐標與相鄰點橫坐標的差值的平均值進行調整。在優選的實施例中，所述提取嘴唇像素前還包括：圖像預處理：對唇部圖像在進行YCbCr空間下的亮度分量y的直方圖均衡。在優選的實施例中，所述亮度分量y的直方圖均衡包括：對唇部圖像像素進行逐一掃描，統計出亮度分量分布直方圖n(yk)-yk，即每一個亮度值yk與對應該亮度值yk的像素個數n(yk)之間的對應關係；對每個亮度值進行變換：其中，yk'亮度值變換結果，n為識別區域像素個數，L為區域亮度等級。對以上變換結果值進行調整：ykhe=round[yk'.{max(Y)-min(Y)}+min(Y)]其中ykhe是所需的均衡化亮度，round是取整操作；max(Y)是均衡化量度最大值。在優選的實施例中，所述計算嘴唇特徵點的位置還包括：以嘴唇中心位置a為基準，將唇部區域旋轉劃分為八個子區域，並將旋轉劃分的子區域內嘴唇像素的平均位置點作為嘴唇特徵點，記為b0、b1、b2、b3、b4、b5、b6、b7，嘴唇特徵點bm(m=0,1,…,7)的位置：其中，為bm的橫、縱坐標，為旋轉劃分的子區域m內嘴唇像素的橫、縱坐標，Nm為子區域m內嘴唇像素的個數；所述局部二值化還包括：根據嘴唇特徵點將唇部區域橫向劃分為六個子區域，並依據亮度分量對每個橫向劃分的子區域做二值化處理，橫向劃分的子區域中亮度值小於橫向劃分的子區域二值化閾值的像素被標記為嘴唇像素，橫向劃分的子區域二值化閾值：其中，byi為橫向劃分的子區域特徵點i的亮度，yi為橫向劃分的子區域像素i的亮度；Hi與Wi為橫向劃分的子區域i的高度和寬度。在優選的實施例中，所述嘴唇區域定限分離還包括:在局部二值化處理後的唇部二值圖像基礎上分別對橫向劃分的第二子區域、第六子區域與第三子區域、第五子區域對嘴唇像素做橫向投影統計，利用統計結果計算嘴唇區域的縱向限度，並將縱向限度範圍外的像素判定為非嘴唇像素去除，嘴唇區域縱向限度LHup、LHdw如下：其中，Hup、Hdw為橫向劃分的第一子區域、第四子區域的高度，Kup為橫向劃分的第一區域特徵點b0到嘴唇中心位置或中心點a的縱向距離，Kdw為橫向劃分的第四區域特徵點b4到嘴唇中心位置或中心點a的縱向距離，ci為橫向劃分的子區域橫向投影時第i條水平線上的累計嘴唇像素數目。在優選的實施例中，所述調整嘴唇特徵點的位置：基於嘴唇形態的對稱性，對旋轉劃分的八個子區域的8個特徵點位置進行調整：其中，為特徵點b2原來的橫、縱坐標值，為特徵點b2調整之後的橫、縱坐標值；yb3為特徵點b3原來的橫、縱坐標值，為特徵點b3調整之後的橫、縱坐標值。上述的基於雙色彩空間的嘴唇檢測方法，利用RGB和YCbCr空間中8個色彩分量之間的算術、邏輯運算構建嘴唇像素判定條件，進行判定；四組級聯式唇色濾波器的判定式是在大量實驗的基礎上確定的，效果明顯，功能互補，較傳統方法，本發明所用嘴唇像素判定方法具有處理速度快，資源佔用少的特點，最重要的是，在不同光照情況下（如亮度變動、分布不均勻等）對非嘴唇像素（口腔、皮膚、牙齒、鬍鬚）有更好的濾除效果，可以提取出可靠的嘴唇像素。附圖說明圖1為本發明一實施例的基於雙色彩空間的嘴唇檢測方法的流程圖；圖2為本發明一優選實施例的基於雙色彩空間的嘴唇檢測方法的流程圖；圖3為本發明一實施例的唇部區域旋轉劃分示意圖；圖4為本發明一實施例的唇部區域橫向劃分示意圖；圖5a為利用本發明一實施例的基於雙色彩空間的嘴唇檢測方法在不均勻強光環境下嘴唇檢測結果；如圖5b所示，為利用本發明一實施例的基於雙色彩空間的嘴唇檢測方法在不均勻弱光環境下嘴唇檢測結果；圖6為本發明一實施例的嘴唇坐標系；圖7為本發明另一實施例的嘴唇坐標系。具體實施方式如圖1所示，本發明一實施例的基於雙色彩空間的嘴唇檢測方法，包括：步驟S303,提取嘴唇像素。步驟S303，提取嘴唇像素採用下述級聯式唇色濾波器進行唇色級聯濾波：cb*(cb&y)>cr*(g&cr)(r*b-y)(r*g+y-255)>r*b*g*y(r2+b*y)*y>(y2+r*g)*gr*cb*cr*(cb&cr)>C*b*y*(b⊕g)其中，r、g、b、y、cb、cr分別為RGB、YCbCr色彩空間的六個分量；C為常量；*為數值運算符，表示前後兩元素相乘；&為邏輯運算符，表示前後兩元素按位相與；⊕為邏輯運算符，表示前後兩元素按位異或；過濾不滿足上述判定式的像素，提取嘴唇像素以進行下一步處理。進一步，本實施例的基於雙色彩空間的嘴唇檢測方法，還包括：步驟S305，計算嘴唇中心位置：根據提取出的嘴唇像素點計算嘴唇的中心位置a的坐標(xa,ya)：其中，xi、yi為嘴唇像素點的橫、縱坐標，N為嘴唇像素個數。步驟S307，計算嘴唇特徵點的位置：以嘴唇中心位置為基準將唇部區域旋轉劃分子區域，並將旋轉劃分的子區域內嘴唇像素的平均位置點作為嘴唇特徵點；其中，為bm的橫、縱坐標；為子區域m內嘴唇像素的橫、縱坐標；Nm為子區域m內嘴唇像素的個數。本實施例中，以嘴唇中心位置為基準將唇部區域旋轉劃分子區域時，根據嘴唇唇形具有橫向左右對稱的特性，選用能旋轉得到橫向對稱分布特徵點的子區域進行旋轉劃分；同時，嘴角和唇尖（如圖6及圖7所示的b2、b6、b60、b4）作為一定要提取的最重要的嘴唇特徵進行提取。步驟S309，局部二值化：根據嘴唇特徵點將唇部區域橫向劃分子區域，並依據亮度對該橫向劃分所得子區域做二值化處理，橫向劃分的子區域中亮度小於子橫向劃分的區域二值化閾值的像素標記為嘴唇像素，橫向劃分的子區域二值化閾值：其中yi為子區域像素i的亮度,by為子區域特徵點的亮度，N為子區域像素個數。進一步，本實施例的基於雙色彩空間的嘴唇檢測方法，還包括：步驟S311，嘴唇區域定限分離:在局部二值化處理後的唇部二值圖像基礎上對嘴唇像素做橫向投影統計，利用統計結果計算嘴唇區域的縱向限度，並將縱向限度範圍外的像素判定為非嘴唇像素去除，嘴唇區域縱向限度其中：K為子區域特徵點到中心點的縱向距離，H為子區域的高度，ci為累計嘴唇像素數目。進一步，本實施例的基於雙色彩空間的嘴唇檢測方法，還包括：步驟S313，局部亮度一致性濾波：對橫向劃分的子區域中的嘴唇像素進行亮度檢測，去除其中與該橫向劃分的子區域特徵點的亮度差異大於一致性閾值的像素。本實施例中的一致性閾值可通過實驗獲得，可選取通過判定式對非嘴唇像素濾除效果最好，同時能保證唇形完整的數值。由於實際獲得的嘴唇特徵點位置可能存在誤差，需要進行調整。進一步，本實施例的基於雙色彩空間的嘴唇檢測方法，還包括：步驟S308，調整嘴唇特徵點的位置：基於嘴唇形態的對稱性，對旋轉劃分的子區域的嘴唇特徵點進行調整。如圖6所示，嘴唇特徵點位置的調整根據理想特徵點的橫向對稱分布性質進行。如圖6所示，針對處於在一條橫線上的嘴唇特徵點，如圖7所示的b1、b7，將縱坐標進行均衡調整，即取兩者的平均值又如處於在一條橫線上的嘴唇特徵點b3、b5，將兩者的縱坐標進行平均值調整另又如處於在一條橫線上的嘴唇特徵點b2、b6，將兩者的縱坐標進行平均調整對於唇尖的嘴唇特徵點b0、b4，將兩者的橫坐標值進行平均調整：如圖6所示，兩嘴角的嘴唇特徵點b2、b6需要適當向外張，根據實驗可選擇：根據分別與嘴角的嘴唇特徵點b2、b6相鄰的兩個嘴唇特徵點（b1、b3）、（b7、b5）進行擴張調整。在一優選的實施例中，對於嘴角的嘴唇特徵點的橫坐標進行調整：在該嘴唇特徵點的原橫坐標基礎上增加該嘴唇特徵點橫坐標與相鄰點橫坐標的差值的平均值進行調整：如圖7所示，本發明另一實施例的旋轉劃分子區域獲取嘴唇特徵點，當旋轉劃分的子區域個數多於8個時，根據上述方法進行調整。如圖7所示，對新增的嘴唇特徵點做如下調整：處於在一條橫線上的嘴唇特徵點b8、b9，將兩者的縱坐標進行平均值調整：處於在一條橫線上的嘴唇特徵點b10、b11，將兩者的縱坐標進行平均值調整：進一步，本實施例的基於雙色彩空間的嘴唇檢測方法，還包括：設置在在提取嘴唇像素前的步驟S301，圖像預處理：對唇部圖像在進行YCbCr空間下的亮度分量y的直方圖均衡。本實施例中，對唇部圖像在進行YCbCr空間下的亮度分量y的直方圖均衡包括：對唇部圖像像素進行逐一掃描，統計出亮度分量分布直方圖n(yk)-yk，每一個亮度值yk與擁有該亮度的像素個數n(yk)之間的對應關係；對每個亮度值進行變換：其中，yk'亮度值變換結果，n為唇部圖像像素個數，L為唇部圖像亮度等級。對以上變換結果值進行調整：ykhe=round[yk'.{max(Y)-min(Y)}+min(Y)]其中ykhe為均衡化亮度，round是取整操作；max(Y)是均衡化量度最大值；本實施例中，優選的，可採用max(Y)取255，min(Y)取0進行計算；將唇部圖像每個像素的原有亮度替換成相應的均衡化亮度。為了進一步清楚說明本發明的技術方案，下面採用一個進一步具體的優選實施例進行詳細說明。本實施例中，採用圖像格式為YCbCr422，解析度為640像素*480像素的嘴唇圖像進行說明。本實施例具體使用的YCbCr-RGB空間轉換關係如下：本實施例中的位置在如下坐標系中表示：以圖像的左上角為原點，圖像的上邊沿為X軸，圖像的左邊沿為Y軸正方向，以像素為單元。如圖2所示，本實施例的基於雙色彩空間的嘴唇檢測方法包括如下步驟：步驟S501，圖像預處理：對唇部圖像在進行YCbCr空間下的亮度分量Y的直方圖均衡。步驟S503，提取嘴唇像素：本實施例將提取目標設定為嘴唇像素，採用四組級聯方式進行唇色濾波，四組唇色濾波器的判定式為：cb*(cb&y)>cr*(g&cr)(r*b-y)(r*g+y-255)>r*b*g*y(r2+b*y)*y>(y2+r*g)*gr*cb*cr*(cb&cr)>C*b*y*(b⊕g)其中，r、g、b、y、cb、cr分別為RGB、YCbCr色彩空間的六個分量，由無符號八位數據表示。C為常量，C優選為384與1024之間的數值，會有較好的效果，本實施例中選用1024。步驟S505,計算嘴唇中心位置：根據提取出的嘴唇像素點計算嘴唇的中心位置a的坐標(xa,ya)：其中，xi、yi為嘴唇像素點的橫、縱坐標，N為嘴唇像素個數。步驟S507,計算嘴唇特徵點的位置：以嘴唇中心位置a為基準，將唇部區域旋轉劃分為八個子區域，並將旋轉劃分的子區域內嘴唇像素的平均位置點作為嘴唇特徵點，記為b0、b1、b2、b3、b4、b5、b6、b7。本實施例中，優選的，將唇部區域以嘴唇中心位置a為中心，45度角旋轉等分，相鄰的兩份組成一個子區域，共八個子區域。如圖3所示，採用數字0,1,…，7分別標出八個子區域的取法。嘴唇特徵點bm(m=0,1,…,7)的位置：其中，為bm的橫、縱坐標，為旋轉劃分的子區域m內嘴唇像素的橫、縱坐標，Nm為子區域m內嘴唇像素的個數。步驟S509,調整嘴唇特徵點的位置：基於嘴唇形態的對稱性，對旋轉劃分的八個子區域的8個特徵點位置進行調整：其中，為特徵點b2原來的橫、縱坐標值，為特徵點b2調整之後的橫、縱坐標值。步驟S511,局部二值化：根據嘴唇特徵點將唇部區域橫向劃分為六個子區域，並依據亮度分量對每個橫向劃分的子區域做二值化處理，橫向劃分的子區域中亮度值小於橫向劃分的子區域二值化閾值的像素被標記為嘴唇像素。如圖4所示，唇部區域橫向劃分的方式，其中橫向劃分的子區域由數字1、2、3、4、5、6標出。本實施例的橫向劃分的子區域二值化閾值：其中，byi為橫向劃分的子區域特徵點i的亮度（區域1到6的特徵點分別為b0、b1、b3、b4、b5、b7），yi為橫向劃分的子區域像素i的亮度；Hi與Wi為橫向劃分的子區域i的高度和寬度。步驟S513,嘴唇區域定限分離:在局部二值化處理後的唇部二值圖像基礎上分別對橫向劃分的第二子區域、第六子區域與第三子區域、第五子區域對嘴唇像素做橫向投影統計，利用統計結果計算嘴唇區域的縱向限度，並將縱向限度範圍外的像素判定為非嘴唇像素去除，嘴唇區域縱向限度LHup、LHdw如下：其中，Hup、Hdw為橫向劃分的第一子區域、第四子區域的高度，Kup為橫向劃分的第一區域特徵點b0到嘴唇中心位置或中心點a的縱向距離，Kdw為橫向劃分的第四區域特徵點b4到嘴唇中心位置或中心點a的縱向距離，ci為橫向劃分的子區域橫向投影時第i條水平線上的累計嘴唇像素數目。本實施例中，橫向劃分的第二子區域、第六子區域投影時，i=1行為圖像的最上邊一行，從上往下遞增。橫向劃分的第三子區域、第五子區域投影時，i=1行為圖像的最下邊一行，從下往上遞增。步驟S515，局部亮度一致性濾波：對橫向劃分的子區域中的嘴唇像素進行亮度檢測，去除其中與該橫向劃分的子區域特徵點的亮度差異大於一致性閾值的像素：|yi-byi|<25i=1,2,…,6。若橫向劃分的子區域中的嘴唇像素亮度不滿足上述判定式，則被作為非嘴唇像素去除。其中，yi為橫向劃分子區域i嘴唇像素的亮度，byi為橫向劃分子區域i特徵點的亮度（區域1到6的特徵點分別為b0、b1、b3、b4、b5、b7）。如圖5a所示，為利用本實施例的基於雙色彩空間的嘴唇檢測方法在不均勻強光環境下嘴唇檢測結果；如圖5b所示，為利用本實施例的基於雙色彩空間的嘴唇檢測方法在不均勻弱光環境下嘴唇檢測結果。人在正常說話的過程中，第一視角(正面)嘴唇的會呈現出不同的形狀，而這些形狀絕大部分都具有橫向左右對稱的特點，且嘴唇上下兩部分的水平中線（嘴角連線）的位置變動也較不明顯。這樣，如圖6所示，以嘴角連線和唇尖連線為軸就可以構成嘴唇坐標系。嘴唇坐標系下，唇部被分為四部分，每一部分的唇形都類似於一個二次曲線。一個二次曲線至少需要三個點來確定，本實施例優選的將這三點選為曲線的端點和曲線上的一點。因此8個點就可以有效描述完整唇形，如圖中黑點所示。本實施例優選的採用旋轉劃分（以O為中心45度等分，相鄰兩份組成一個子區間）、子區間內嘴唇像素位置平均的方法得到上述8個點。本實施例中，所用的嘴唇特徵點提取方法有穩定、快捷的特點。由於相鄰兩子區域之間的重疊致使它們的中心點（特徵點）相互關聯，如此，8個特徵點之間相互關聯，互相約束，這樣可以減小由環境變化（如光照變化）引起的特徵點變動，穩定性好。本實施例的嘴唇特徵點提取方法計算速度快，僅通過一次對圖像的遍歷即可完成特徵點的提取。本實施例中利用RGB和YCbCr空間中8個色彩分量之間的算術、邏輯運算構建嘴唇像素判定條件，進行判定。在大量實驗的基礎上確定了四組效果明顯，功能互補的判定條件，如下表一所示：表一：較傳統方法，本發明採用的嘴唇像素判定方法具有處理速度快，資源佔用少的特點。最重要的是，在不同光照情況下（如亮度變動、分布不均勻等）對非嘴唇像素（口腔、皮膚、牙齒、鬍鬚）有更好的濾除效果，可以提取出可靠的嘴唇像素。本發明採用上述的獨特的唇色級聯濾波方式保證了不同光照強度下嘴唇像素提取的穩定性。採用的唇部多塊局部分割操作減少了光照不均對嘴唇區域分割的影響。本發明優選的選用雙色彩空間（RGB、YCbCr），YCbCr色彩模型廣泛應用於視屏、圖像的編碼和傳輸中，圖像採集設備的輸出很多在YCbCr色彩空間下表示，對於具體的壓縮編碼形式比如YCbCr422或者YCbCr420等情況都適用。同時，YCbCr空間具有亮度色度分離的特點，可以用一個分量更突出的表示圖像灰度，其色彩受亮度影響較弱，而RGB空間具有基礎色彩的分離的特點，對色彩的表達較為準確，但三個分量都很容易受到亮度的影響。將兩者的特點結合起來進行優劣互補，可以提升對圖像描述的能力。且YCbCr、RGB都是線性表達的色彩空間，所以相對於其他空間而言，在資源消耗以及處理速度上有很大的優勢。本發明首先採用了一種能夠適應不同光照條件的唇色級聯濾波，然後依據濾波所得嘴唇像素對唇部區域進行多塊局部分割，之後利用唇形的連續性進行嘴唇區域限定，最後進行局部亮度一致性濾波。本發明的基於雙色彩空間的嘴唇檢測方法，計算速度較快、分割內容完整，具有環境魯棒性，其有效性不受環境中光照強度變化、光照不均勻等因素影響。本發明的的基於雙色彩空間的嘴唇檢測方法在於兼顧了算法的有效性和快速性，在嘴唇區域檢測效果和檢測用時之間取得了平衡，非常適合作為生物識別系統的一部分。以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。