一種遮擋或光源自適應人臉識別方法和裝置製造方法
2023-07-26 21:00:56
一種遮擋或光源自適應人臉識別方法和裝置製造方法
【專利摘要】本發明公開了一種遮擋自適應人臉識別方法，包括：步驟1，針對人臉圖片訓練集中每一樣本提取遮擋特徵；步驟2，基於遮擋特徵，進行統計學習建模，建立遮擋檢測模型，用於檢測圖片中是否存在遮擋；步驟3，對模板圖片進行註冊，提取和保存模板圖片的識別特徵，並對模板圖片進行遮擋檢測，保存遮擋檢測結果；步驟4，對待識別圖片進行識別，獲得識別結果；步驟5，利用所述遮擋檢測模型對待識別圖片進行遮擋檢測，根據檢測結果對上述識別結果進行調整。利用本發明的方案可以提高遮擋環境變化時的識別率和通過率。
【專利說明】一種遮擋或光源自適應人臉識別方法和裝置
【技術領域】
[0001]本發明涉及計算機圖像處理和模式識別領域，特別涉及一種遮擋或光源自適應人臉識別方法和裝置。
【背景技術】
[0002]作為身份識別的有效技術，近年來人臉識別技術得到迅速發展和廣泛應用。在過去的幾十年裡，人臉識別已在商業和執法部門得到廣泛應用，例如刑事鑑定、信用卡識別、安全系統、現場監控、門禁考勤等。
[0003]隨著在實際中應用的推廣，人臉識別存在的問題和難點也逐漸凸顯出來。眼鏡、劉海和鬍子等人臉遮擋物的變化，會導致一個人的不同環境下的差異性大於不同人相同環境下的差異性。此外，光照、化妝及年齡等因素也會增加人臉識別的困難。
[0004]在無約束場景應用中，人臉遮擋物的變化在增加識別困難的同時，也會影響不同場景中閾值規則的設定。如待識別圖片戴眼鏡，對應的模板圖片不戴眼鏡，與待識別圖片相似度最高的有可能為模板庫中的戴眼鏡圖片，而其對應的正確的模板圖片在前N選中，若只根據首選進行識別判斷，就會降低此類情況下的識別性能。同時，待識別圖片與模板圖片的遮擋環境一致時的識別得分分布，和待識別圖片與模板圖片的遮擋環境不一致時的識別得分分布也是不相同的，進而要求有不同的識別通過閾值。因此在無約束環境下的人臉識另O，在保證人臉識別正確的同時，需要儘可能的提升應用場景變化下的通過率。
[0005]圖1為不同遮擋下的人臉圖像，遮擋分別為眼鏡遮擋、眼鏡反光、劉海和鬍鬚遮擋，圖2為兩種識別環境下的得分分布圖，兩條曲線分別為戴眼鏡註冊戴眼鏡識別的得分分布曲線和不戴眼鏡註冊戴眼鏡識別下的得分分布曲線。
[0006]此外，在人臉識別中，光源差異導致的人臉識別問題也逐漸凸顯出來，在安防和現場監控等問題中，模板庫中數萬張的人臉圖片本身就存在光源差異，即採集設備迥異導致圖片質量存在重大差異，而監控設備採集到的圖片又是另外一種光源條件下的圖片，這種光源差異導致人臉識別幾乎不可能。異源人臉圖像識別也成為當前人臉識別中的重要研究課題。在圖3中給出了不同光源下同一個人的人臉圖片，三張圖片分別為紅外人臉圖像，專業相機下的證件照，普通可見光攝像頭採集的人臉圖像。從圖中可以看出，光源的差異導致圖片成像的差異，進而為識別帶來了困難。
【發明內容】
[0007]為了克服現有技術的上述缺陷，本發明提供了 一種遮擋或光源自適應人臉識別方法和裝置。
[0008]本發明提供的遮擋自適應人臉識別方法包括:步驟1，針對人臉圖片訓練集中每一樣本提取遮擋特徵；步驟2，基於遮擋特徵，進行統計學習建模，建立遮擋檢測模型，用於檢測圖片中是否存在遮擋；步驟3，對模板圖片進行註冊，提取和保存模板圖片的識別特徵，並對模板圖片進行遮擋檢測，保存遮擋檢測結果；步驟4，提取待識別圖片的識別特徵，與模板圖片集的識別特徵進行比對，選取前N選最高相似度的模板圖片和相似度得分，其中N> I ;步驟5，利用所述遮擋檢測模型對待識別圖片進行遮擋檢測，並將選取的前N選的模板圖片的遮擋檢測結果與待識別圖片的遮擋檢測結果進行比對，若比對結果不同，則對所述相似度得分進行調整，並將調整後的得分重新排序，選取修正後最高得分對應的模板圖片作為識別結果。
[0009]可選地，所述遮擋是單遮擋因素或者是多種遮擋因素的組合。
[0010]可選地，所述人臉圖片訓練集採集不同遮擋條件下的樣本圖片，並根據遮擋環境的不同，對訓練圖片集進行標註。
[0011]可選地，步驟5進一步包括根據得分修正函數對得分進行調整，以將不同遮擋下的相似度得分變換到同一種分布上。
[0012]本發明還提供了一種遮擋自適應的人臉識別裝置，該裝置包括:遮擋特徵提取單元，用於針對人臉圖片訓練集中每一樣本提取遮擋特徵；遮擋檢測模型建立單元，用於基於遮擋特徵，進行統計學習建模，建立遮擋檢測模型，以檢測圖片中是否存在遮擋；遮擋檢測單元，用於對人臉圖片進行遮擋檢測；模板圖片註冊單元，用於對模板圖片進行註冊，以提取和保存模板圖片的識別特徵，並根據遮擋檢測單元對圖片進行遮擋檢測，保存檢測結果；圖片識別單元，計算待識別圖片與模板圖片間的相似度，並選取前N選最高相似度的模板圖片和相似度得分，其中N> I ;得分修正單元，根據待識別圖片與模板圖片的遮擋檢測結果對相似度進行調整，並對調整後的相似度重新排序，選擇相似度最高的圖片作為識別結果O
[0013]本發明還提供了一種光源自適應人臉識別方法，該方法包括如下步驟:步驟1，針對人臉圖片訓練集中每一樣本提取光源特徵；步驟2，基於光源特徵，進行統計學習建模，建立光源檢測模型，用於檢測圖片中的光源環境類型；步驟3，對模板圖片進行註冊，提取和保存模板圖片的識別特徵，並對模板圖片進行光源檢測，保存光源檢測結果；步驟4，提取待識別圖片的識別特徵，與模板圖片集的識別特徵進行比對，選取前N選最高相似度的模板圖片和相似度得分，其中N > I ;步驟5，利用所述光源檢測模型對待識別圖片進行光源檢測，並將選取的前N選的模板圖片的光源檢測結果與待識別圖片的光源檢測結果進行比對，若比對結果不同，則對所述相似度得分進行調整，並將調整後的得分重新排序，選取修正後最高得分對應的模板圖片作為識別結果。
[0014]本發明還提供了一種光源自適應的人臉識別裝置，該裝置包括:光源特徵提取單元，用於針對人臉圖片訓練集中每一樣本提取光源特徵；光源檢測模型建立單元，用於基於光源特徵，進行統計學習建模，建立光源檢測模型，以檢測圖片中的光源環境類型；遮擋檢測單元，用於對人臉圖片進行光源檢測；模板圖片註冊單元，用於對模板圖片進行註冊，以提取和保存模板圖片的識別特徵，並根據光源檢測單元對圖片進行光源檢測，保存檢測結果；圖片識別單元，計算待識別圖片與模板圖片間的相似度，並選取前N選最高相似度的模板圖片和相似度得分，其中N> I ;得分修正單元，根據待識別圖片與模板圖片的遮擋檢測結果對相似度進行調整，並對調整後的相似度重新排序，選擇相似度最高的圖片作為識別結果。
[0015]本發明提出的遮擋自適應人臉識別方法和裝置，在提升遮擋條件下的人臉識別性能的同時，也解決了不同遮擋變化下的閾值設定問題。此外，本發明提出的遮擋環境自適應識別方案，也可以應用於光源環境自適應識別中。
【專利附圖】
【附圖說明】
[0016]圖1示出了不同遮擋條件下的人臉圖片；
[0017]圖2為利用現有技術的識別方法在兩種不同環境下進行人臉識別的得分曲線圖；
[0018]圖3為不同光源條件下同一個人的人臉圖像；
[0019]圖4為根據本發明的遮擋自適應人臉識別方法流程圖；
[0020]圖5為利用本發明的方法在註冊和識別眼鏡環境相同的情況下歐氏距離得分分布曲線圖；
[0021]圖6為利用本發明的方法在註冊和識別眼鏡環境不同的情況下歐氏距離得分分布曲線圖；
[0022]圖7為根據本發明的遮擋自適應人臉識別裝置結構框圖；
[0023]圖8為根據本發明光源自適應人臉識別方法的流程圖；
[0024]圖9為根據本發明的光源自適應人臉識別裝置結構圖。
【具體實施方式】
[0025]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。
[0026]本發明提供了一種遮擋自適應人臉識別方法，該方法的基本原理是:首先針對圖片訓練集提取遮擋特徵，基於遮擋特徵，進行統計學習建模，建立遮擋檢測模型。在遮擋檢測過程中，對圖片提取遮擋特徵，根據遮擋檢測模型輸出檢測結果。在註冊過程中，提取和保存模板圖片的識別特徵，並對模板圖片進行遮擋檢測，保存遮擋檢測結果。在識別過程中，首先提取待識別圖片的識別特徵，與模板圖片集的識別特徵進行比對，選取前N(N > I)選最高相似度的模板圖片和相似度得分；然後對待識別圖片進行遮擋檢測，並將選取的前N選的模板圖片的遮擋檢測結果與待識別圖片的檢測結果進行比對，若遮擋不同，則根據遮擋檢測的結果差異，進行得分調整；最後將調整後的得分重新排序，選取修正後最高得分對應的模板圖片作為識別結果。
[0027]本發明中提到的遮擋，可以是單遮擋因素，如是否戴眼鏡，或眼鏡反光變化，或者劉海變化，也可以是多種遮擋的組合，如將是否戴眼鏡和眼鏡反光結合、或者將鬍子和劉海結合，或者將眼鏡、劉海、鬍子等遮擋結合。當光源發生變化時，人臉識別的相似度得分分布也會發生變化，所以本發明提出的遮擋自適應識別方案也可應用於光源自適應識別。
[0028]本發明提出的遮擋自適應人臉識別方法，在提升遮擋條件下的人臉識別性能的同時，也解決了不同遮擋變化下的閾值設定問題。此外，本發明提出的遮擋環境自適應識別方案，也可以應用於光源環境自適應識別中。圖4為根據本發明一實施例提出的遮擋自適應人臉識別方法的流程圖。其中以眼鏡和眼鏡反光組合為遮擋因素為例來進行說明。參照圖4，該方法包括:步驟I，建立遮擋模型；步驟2，模板註冊；步驟3，圖片識別。
[0029]其中步驟I的建立遮擋模型步驟進一步包括:步驟1.1，收集不同遮擋條件下的訓練圖片，根據遮擋條件的不同形成不同的樣本集。
[0030]由於不同遮擋條件下，人臉識別的相似度分布不同。為解決遮擋條件下的人臉識別問題，建立不同遮擋下的統計學習模型，需要採集不同遮擋條件下的樣本圖片，提取其遮擋特徵。以眼鏡和眼鏡反光的遮擋組合為例，需要採集不戴眼鏡、戴眼鏡、戴眼鏡但無反光、戴眼鏡但有反光等條件下的人臉圖片，構建遮擋統計學習模型的訓練圖片集，並對訓練圖片集進行標註。根據遮擋環境的不同，分別標註為眼鏡檢測正樣本集，眼鏡檢測負樣本集，眼鏡反光檢測正樣本集，眼鏡反光檢測負樣本集。其中戴眼鏡的人臉圖片為眼鏡檢測正樣本，不戴眼鏡的人臉圖片為眼鏡檢測負樣本；戴眼鏡且眼鏡有大面積反光的為眼鏡反光檢測正樣本，戴眼鏡無反光則為眼鏡反光檢測負樣本。在該示例中，k = 2，Cl = I表示戴眼鏡，Cl = -1表示不戴眼鏡，C2 = I表示眼鏡有反光，C2 = -1表示無眼鏡反光。
[0031]步驟1.2，提取在步驟1.1中形成的各樣本集中的圖片的遮擋特徵。
[0032]在該步驟，針對步驟1.1中標註的各樣本集，對樣本集中的每一個圖片都提取遮擋特徵。對於眼鏡檢測樣本提取眼鏡特徵，對於眼鏡反光樣本提取眼鏡反光特徵。因為眼鏡的外觀特徵與眼鏡反光的外觀特徵不同，所以在提取遮擋特徵時，需要分別提取兩組特徵，即眼鏡特徵和眼鏡反光特徵，並分別建立兩個統計學習模型，即眼鏡檢測模型和眼鏡反光模型。
[0033]只要能反映出是否帶眼鏡的差異性的特徵都可以用於遮擋模型的建立，如提取眼鏡輪廓邊緣的梯度特徵、反映眼鏡區域灰度變換的局部二值模式(LBP，Local BinaryPattern) LBP特徵或簡單的灰度特徵，都可用於遮擋統計學習模型的建立。
[0034]本發明以LBP 特徵為例，描述一種眼鏡特徵的提取過程:在定位到人臉眼睛位置後，根據眼睛位置來獲取眼鏡檢測區域。設人眼位置為左眼(Lx，Ly)，右眼(Rx，Ry)，計算兩
眼間的歐式距離
【權利要求】
1.一種遮擋自適應人臉識別方法，該方法包括如下步驟: 步驟1，針對人臉圖片訓練集中每一樣本提取遮擋特徵； 步驟2，基於遮擋特徵，進行統計學習建模，建立遮擋檢測模型，用於檢測圖片中是否存在遮擋； 步驟3，對模板圖片進行註冊，提取和保存模板圖片的識別特徵，並對模板圖片進行遮擋檢測，保存遮擋檢測結果； 步驟4，提取待識別圖片的識別特徵，與模板圖片集的識別特徵進行比對，選取前N選最高相似度的模板圖片和相似度得分，其中N >1 ; 步驟5，利用所述遮擋檢測模型對待識別圖片進行遮擋檢測，並將選取的前N選的模板圖片的遮擋檢測結果與待識別圖片的遮擋檢測結果進行比對，若比對結果不同，則對所述相似度得分進行調整，並將調整後的得分重新排序，選取修正後最高得分對應的模板圖片作為識別結果。
2.根據權利要求1所述的方法，其特徵在於，所述遮擋是單遮擋因素或者是多種遮擋因素的組合。
3.根據權利要求2所述的方法，其特徵在於，所述人臉圖片訓練集採集不同遮擋條件下的樣本圖片，並根據遮擋環境的不同，對訓練圖片集進行標註。
4.根據權利要求2所述的方法，其特徵在於，步驟5進一步包括根據得分修正函數對得分進行調整，以將不同遮擋下的相似度得分變換到同一種分布上。
5.一種遮擋自適應的人臉識別裝置，該裝置包括: 遮擋特徵提取單元，用於針對人臉圖片訓練集中每一樣本提取遮擋特徵； 遮擋檢測模型建立單元，用於基於遮擋特徵，進行統計學習建模，建立遮擋檢測模型，以檢測圖片中是否存在遮擋； 遮擋檢測單元，用於對人臉圖片進行遮擋檢測； 模板圖片註冊單元，用於對模板圖片進行註冊，以提取和保存模板圖片的識別特徵，並根據遮擋檢測單元對圖片進行遮擋檢測，保存檢測結果； 圖片識別單元，計算待識別圖片與模板圖片間的相似度，並選取前N選最高相似度的模板圖片和相似度得分，其中N > 1 ; 得分修正單元，根據待識別圖片與模板圖片的遮擋檢測結果對相似度進行調整，並對調整後的相似度重新排序，選擇相似度最高的圖片作為識別結果。
6.根據權利要求5所述的裝置，其特徵在於，所述遮擋是單遮擋因素或者是多種遮擋因素的組合。
7.根據權利要求6所述的裝置，其特徵在於，所述人臉圖片訓練集採集了不同遮擋條件下的樣本圖片，並根據遮擋環境的不同，對訓練圖片集進行標註。
8.根據權利要求6所述的裝置，其特徵在於，所述遮擋檢測單元根據得分修正函數對得分進行調整，以將不同遮擋下的相似 度得分變換到同一種分布上。
9.一種光源自適應人臉識別方法，該方法包括如下步驟: 步驟1，針對人臉圖片訓練集中每一樣本提取光源特徵； 步驟2，基於光源特徵，進行統計學習建模，建立光源檢測模型，用於檢測圖片中的光源環境類型；步驟3，對模板圖片進行註冊，提取和保存模板圖片的識別特徵，並對模板圖片進行光源檢測，保存光源檢測結果； 步驟4，提取待識別圖片的識別特徵，與模板圖片集的識別特徵進行比對，選取前N選最高相似度的模板圖片和相似度得分，其中N > 1 ; 步驟5，利用所述光源檢測模型對待識別圖片進行光源檢測，並將選取的前N選的模板圖片的光源檢測結果與待識別圖片的光源檢測結果進行比對，若比對結果不同，則對所述相似度得分進行調整，並將調整後的得分重新排序，選取修正後最高得分對應的模板圖片作為識別結果。
10.一種光源自適應的人臉識別裝置，該裝置包括: 光源特徵提取單元，用於針對人臉圖片訓練集中每一樣本提取光源特徵； 光源檢測模型建立單元，用於基於光源特徵，進行統計學習建模，建立光源檢測模型，以檢測圖片中的光源環境類型； 光源檢測單元，用於對人臉圖片進行光源檢測； 模板圖片註冊單元，用於對模板圖片進行註冊，以提取和保存模板圖片的識別特徵，並根據光源檢測單元對圖片進行光源檢測，保存檢測結果； 圖片識別單元，計算待識別圖片與模板圖片間的相似度，並選取前N選最高相似度的模板圖片和相似度得分，其中N > 1 ; 得分修正單元，根據待識別圖片與模板圖片的光源檢測結果對相似度進行調整，並對調整後的相似度重新排序，選擇相似度最高的圖片作為識別結果。
【文檔編號】G06K9/00GK103902962SQ201210589510
【公開日】2014年7月2日 申請日期:2012年12月28日 優先權日:2012年12月28日
【發明者】黃磊, 任智傑 申請人:漢王科技股份有限公司