人臉面相判別方法、系統及公共安全系統的製作方法

2023-05-22 16:50:31 4

專利名稱：人臉面相判別方法、系統及公共安全系統的製作方法
技術領域：
本發明涉及一種人臉面相判別的方法、系統及公共安全系統，尤其涉及一種先進 行偽裝判別的人臉面相判別的方法、系統及公共安全系統。
背景技術：
隨著社會的進步，人們越來越多的社會活動都在向著方便、簡單、便捷發展。銀行 自助取款機是社會發展的一個表現，使人們避免了攜帶現金帶來的諸多不便。但是，自助銀 行環境中的安全問題日越顯現出來。例如通過銀行卡欺騙、盜竊財物是目前銀行損失的主 要問題，銀行卡被盜竊等問題也越來越頻繁。不法之徒大都會遮擋之後拿著盜竊來的銀行 卡去自助廳取款(遮擋有很多種，例如進行自助銀行犯罪的嫌疑人用帽子、圍巾和墨鏡對 面部進行遮擋)。其次，其他類別的犯罪份子(如通緝犯、搶劫犯等)會通自助銀行取款，這 也提供了一種發現嫌疑人的去向的機制，通過人臉識別可以識別和定位犯罪份子。通過銀 行自助取款廳的監控攝像頭，能過及時的發現嫌疑人或者遮擋之後取款的人，並發出警報， 提醒相關人員注意；另外，對作案的嫌疑人，根據目擊證人提供的描述，如是否戴眼鏡、性別 等條件，或根據目擊證人提供的圖像或者模擬圖像，對嫌疑人人臉庫進行搜索、比對，列出 比較可能的嫌疑人以供目擊證人指證也為犯罪嫌疑分子的確認和抓取帶來便利。現有技術 的人臉識別方法及系統，通常只能不能對偽裝進行判別，對於偽裝的人臉圖像不能進行有 效的反應。

發明內容
本發明解決的技術問題是構建一種人臉面相判別的方法、系統及公共安全系統， 克服現有技術中不能對偽裝進行判別，對於偽裝的人臉圖像不能進行有效的反應的技術問題。本發明的技術方案是提供一種人臉面相判別方法，包括偽裝分類器、偽裝模型以 及人臉識別分類器，所述人臉面相判別方法包括如下步驟獲取人臉圖像從視頻或圖像中獲取人臉圖像；進行人臉偽裝判別將人臉圖像根據偽裝分類器、偽裝模型進行偽裝判別；人臉面相判別對於偽裝判別結果中未進行偽裝的人臉圖像根據人臉識別分類器 進行人臉分類面相判別。本發明的進一步技術方案是在進行人臉偽裝判別的步驟中，在進行人臉圖像對 比前，還包括對人臉圖像的預處理操作，所述預處理操作為對人臉圖像進行歸一化處理。本發明的進一步技術方案是在進行人臉偽裝判別步驟中，所述人臉偽裝判別包 括戴帽子偽裝判別、戴墨鏡偽裝判別、戴口罩或圍巾的偽裝判別。本發明的技術方案是構建一種人臉面相判別系統，包括輸入人臉圖像的圖像輸 入單元、根據人臉圖像進行人臉偽裝判別的偽裝判別單元、進行人臉面相識別的人臉識別 單元，所述偽裝判別單元包括獲偽裝分類器、偽裝模型及偽裝判別模塊，所述人臉識別單元包括存儲人臉圖像的人臉圖像資料庫、人臉識別分類器，所述偽裝判別模塊根據偽裝分類 器、偽裝模型對所述圖像輸入單元輸入的人臉圖像進行偽裝判別，對於所述偽裝判別模塊 判別為不是偽裝的人臉圖像時，所述人臉識別單元將對所述圖像輸入單元輸入的人臉圖像 與所述人臉圖像資料庫中的人臉圖像根據人臉識別分類器進行人臉面相識別。本發明的進一步技術方案是所述偽裝分類器包括帽子分類器、墨鏡分類器，所述 偽裝判別模塊根據帽子分類器判別人臉圖像是否為戴帽子偽裝，所述偽裝判別模塊根據墨 鏡分類器判別人臉圖像是否為戴墨鏡偽裝。本發明的進一步技術方案是所述偽裝模型包括膚色模型，所述偽裝判別模塊根 據膚色模型判別人臉圖像是否為戴口罩或圍巾的偽裝。本發明的進一步技術方案是所述人臉面相判別系統還包括人臉圖像檢索單元， 所述人臉圖像檢索單元根據輸入的條件對所述人臉圖像資料庫中的人臉圖像進行檢索。本發明的技術方案是構建一種公共安全系統，所述公共安全系統包括人臉面相 判別系統，所述人臉圖像資料庫為存儲嫌疑人人臉圖像的嫌疑人圖像資料庫，對於所述偽 裝判別模塊判別為不是偽裝的人臉圖像時，所述人臉識別單元將所述人臉圖像與所述嫌疑 人圖像資料庫中的人臉圖像進行人臉面相識別。本發明的進一步技術方案是所述公共安全系統還包括報警單元，對於所述偽裝 判別模塊判別為是偽裝的人臉圖像時，所述報警單元報警；對於所述人臉識別單元將所述 人臉圖像識別為所述嫌疑人圖像資料庫中的人臉圖像，所述報警單元報警。本發明的進一步技術方案是所述公共安全系統還包括嫌疑人圖像檢索單元，所 述公共安全系統還包括嫌疑人圖像檢索單元，所述嫌疑人圖像檢索單元根據輸入的條件對 所述嫌疑人圖像資料庫中的人臉圖像進行檢索。本發明的技術效果是本發明人臉面相判別的方法、系統及公共安全系統，通過在 進行人臉面相識別前先進行人臉偽裝判別，對於人臉圖像進行偽裝的行為及時進行反應。


圖1為本發明的流程圖。圖2為本發明人臉面相判別系統的結構示意圖。圖3為本發明公共安全系統的結構示意圖。
具體實施例方式
下面結合具體實施例，對本發明技術方案進一步說明。如圖1所示，本發明的具體實施方式
是本發明提供一種人臉面相判別方法，包括 偽裝分類器、偽裝模型以及人臉識別分類器，所述人臉面相判別方法包括如下步驟步驟100 獲取人臉圖像，即，從視頻或圖像中獲取人臉圖像。本發明中首先要獲 取人臉圖像，人臉圖像的獲取來源於視頻中截出人臉圖像，也可以來源於圖像中含有人臉 部分的圖像，本發明中的圖像可以是直接接收的圖像電子文件或掃描生成的圖像電子文件 或者截取的圖像文件上含有人臉部分的圖像電子文件。本發明的具體實施方式
中，將人臉 圖像根據人臉的大小以矩形框住人臉為限，也即是獲取人臉圖像以儘量大的有臉被矩形框 住的矩形圖像。
步驟200 進行人臉偽裝判別，即，將人臉圖像根據偽裝分類器、偽裝模型進行偽 裝判別。本發明中，所述人臉偽裝判別包括戴墨鏡偽裝判別、戴墨鏡偽裝判別、戴口罩或圍 巾的偽裝判別。在進行偽裝判別前需要生成偽裝分類器及偽裝模型。具體來說，本發明中的 偽裝分類器包括帽子分類器、墨鏡分類器，根據帽子分類器判別人臉圖像是否為戴帽子偽 裝，根據墨鏡分類器判別人臉圖像是否為戴墨鏡偽裝。所述偽裝模型包括膚色模型，根據膚 色模型判別人臉圖像是否為戴口罩或圍巾的偽裝。以下具體說明偽裝分類器的生成過程(帽子分類器和墨鏡分器說明示意圖附在最後了)帽子分類器的生成過程首先獲取多張不同放置方法不同形狀帽子的圖像以及 不是帽子的圖像兩組圖像，一般數量上分別超過一百張，將這些圖像進行歸一化處理，比如 大小統一規定為40x30像素大小。然後將多張帽子的圖像作為正例樣本，將多張不是帽子 的圖像作為反例樣本，這些正例樣本和反例樣本即組成帽子級聯分類器的訓練集。利用 Opencv (OpenCV是Intel公司支持的開源計算機視覺庫，它由一系列C函數和少量C++類構 成，實現了圖像處理和計算機視覺方面的很多通用算法。)中已經寫好的基於Haar特徵的 Adaboosting算法，分類器的訓練用Opencv中的haartraining程序來實現，以取得的帽子 級聯分類器的訓練集為輸入分別訓練，得到帽子分類器，最終的輸出為基於Harr特徵的帽 子級聯分類器。獲得帽子級聯分類器後，再獲取其中的帽子hu不變量(胡氏不變量，一些矩特徵。 由於關於長軸及短軸的慣性矩和一些十分有用的矩不變量都可直接由矩得到，不變矩是圖 像的統計特性，滿足平移、紳縮、旋轉均不變的不變性，在圖像識別領域得到了廣泛的應用， Hu首先提出了用於區域形狀識別的不變矩，胡氏不變量是一些矩特徵。)訓練集。利用分 類器訓練中形成的帽子級聯分類器，來檢測帽子，並截出帽子區域圖像，這樣得到的圖像集 合中有兩類圖像，一類是帽子，另外一類不是帽子(這裡稱之為「虛假帽子」)，然後將它們 分成兩組，是帽子的一組為正例樣本，「虛假帽子」的一組為反例樣本；如此形成用於獲取帽 子Hu不變量的帽子圖像集(這裡獲取帽子Hu不變量訓練集所用的圖像集和上述訓練帽子 級聯分類器所用的圖像庫是不同的兩個圖像集；這兩個圖像集都是在系統運行之前準備好 的，計算其中所有圖像的7個hu不變量，形成帽子hu不變量訓練集，其中有帽子和非帽子 兩類數據。通過上述方法即獲得了帽子分類器。在獲得帽子分類器後，利用帽子分類器對圖像中進行戴帽子偽裝判別，S卩，先利用 帽子級聯分類器初步檢測，對檢測到的『帽子圖像』，再利用帽子分類器中的7個不變量訓 練集和K( 一個正整數，在本發明中取9)近鄰方法來判別當前檢測的圖像中是否是真的帽 子，若剛當前檢測帽子的特徵向量離帽子hu不變量訓練集帽子數據較近，則判為帽子，否 則不是帽子。具體實施過程中，真實帽子圖像與誤判為帽子的圖像的7個Hu不變矩中第5 維與第7維特徵的點繪圖有很好的分離性，因此使用這兩個特徵作為K近鄰方法的輸入來 減少誤判，如此也降低了計算複雜度。同上述過程一樣，墨鏡分類器的獲取過程如下墨鏡分類器的生成過程首先獲取多張不同放置方法不同形狀墨鏡的圖像以及 不是墨鏡的圖像兩組圖像，一般數量上分別超過一百張，將這些圖像進行歸一化處理，比如 大小統一規定為40x30像素大小。然後將多張墨鏡的圖像作為正例樣本，將多張不是墨鏡的圖像作為反例樣本，這些正例樣本和反例樣本即組成墨鏡級聯分類器的訓練集。利用 Opencv (OpenCV是Intel公司支持的開源計算機視覺庫，它由一系列C函數和少量C++類構 成，實現了圖像處理和計算機視覺方面的很多通用算法。)中已經寫好的基於Haar特徵的 Adaboosting算法，分類器的訓練用Opencv中的haartraining程序來實現，以取得的墨鏡 分類器的訓練集為輸入分別訓練，得到墨鏡分類器，最終的輸出為基於Harr特徵的墨鏡級 聯分類器。獲得墨鏡級聯分類器後，再獲取其中的墨鏡hu不變量(胡氏不變量，一些矩特徵。 由於關於長軸及短軸的慣性矩和一些十分有用的矩不變量都可直接由矩得到，不變矩是圖 像的統計特性，滿足平移、紳縮、旋轉均不變的不變性，在圖像識別領域得到了廣泛的應用， Hu首先提出了用於區域形狀識別的不變矩，胡氏不變量是一些矩特徵。)訓練集。利用分 類器訓練中形成的墨鏡級聯分類器，來檢測帽子，並截出墨鏡區域圖像，這樣得到的圖像集 合中有兩類圖像，一類是墨鏡，另外一類不是墨鏡(這裡稱之為「虛假墨鏡」)，然後將它們 分成兩組，是墨鏡的一組為正例樣本，『虛假墨鏡』的一組為反例樣本；如此形成用於獲取墨 鏡Hu不變量的墨鏡圖像集(這裡獲取墨鏡Hu不變量訓練集所用的圖像集和上述訓練墨鏡 級聯分類器所用的圖像庫是不同的兩個圖像集；)，計算其中所有圖像的7個hu不變量，形 成墨鏡hu不變量訓練集，其中有墨鏡和非墨鏡兩類數據。通過上述方法即獲得了墨鏡分類器。在獲得墨鏡分類器後，利用墨鏡分類器對圖像中進行戴墨鏡偽裝判別，S卩，先利用 墨鏡級聯分類器初步檢測，對檢測到的『墨鏡圖像』，再計算該『墨鏡圖像』的7個Hu不變 量，然後把7個Hu不變量輸入神經網絡，根據神經網絡輸出結果(0或1，0表示不是墨鏡、1 表示是墨鏡)判別當前檢測的圖像是否是真的帽子，利用帽子分類器中的7個不變量訓練 集和多層神經網絡方法，神經網絡訓練過程如下，使用有三層BP神經網絡，輸入層7個節點 (對應7個Hu不變量)，隱藏層10個節點，輸出層一個節點(對應是否是墨鏡)；訓練神經 網絡的數據集為從視頻中截取的墨鏡hu不變量訓練集。訓練後產生神經網絡模型。以下簡要說明偽裝分類器中二個相關的步驟一、基於Haar特徵的Adaboosting算法。基於Haar特徵的Adaboosting算法來 檢測出一些指定的目標，如人臉，墨鏡，眼睛，汽車等。具體過如下Haar特徵分為三類邊 緣特徵、線性特徵、中心特徵與對角線特徵組合成的特徵模板。特徵模板內有白色和黑色兩 種矩形，並定義該模板的特徵值為白色矩形像素值的和減去黑色矩形像素值的和。在確定 了特徵形式後Harr-like特徵的數量就取決於訓練樣本圖像矩陣的大小，特徵模板在子窗 口內任意放置，一種形態稱為一種特徵，找出所有子窗口的特徵是進行弱分類訓練的基礎。 Adaboost是一種迭代算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類 器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。利用樣本 的harr特徵進行分類器訓練，得到一個級聯的強分類器。訓練樣本分為正例樣本和反例樣 本，其中正例樣本是指待檢目標樣本(例如人臉或汽車等)，反例樣本指其它任意圖像，所 有的樣本圖像都被歸一化為同樣的尺寸大小(例如，20x20)。分類器訓練完以後，就可以應 用於輸入圖像中的感興趣區域(與訓練樣本相同的尺寸)的檢測。檢測到目標區域(汽車 或人臉)分類器輸出為1，否則輸出為0。為了檢測整副圖像，在圖像中移動搜索窗口，檢測 每一個位置來確定可能的目標。為了搜索不同大小的目標物體，分類器被設計為可以進行
權利要求
一種人臉面相判別方法，包括偽裝分類器、偽裝模型以及人臉識別分類器，所述人臉面相判別方法包括如下步驟獲取人臉圖像從視頻或圖像中獲取人臉圖像；進行人臉偽裝判別將人臉圖像根據偽裝分類器、偽裝模型進行偽裝判別；人臉面相判別對於偽裝判別結果中未進行偽裝的人臉圖像根據人臉識別分類器進行人臉分類面相判別。
2.根據權利要求1所述的人臉面相判別方法，其特徵在於，在進行人臉偽裝判別的步 驟中，在進行人臉圖像對比前，還包括對人臉圖像的預處理操作，所述預處理操作為對人臉 圖像進行歸一化處理。
3.根據權利要求1所述的人臉面相判別方法，其特徵在於，在進行人臉偽裝判別步驟 中，所述人臉偽裝判別包括戴帽子偽裝判別、戴墨鏡偽裝判別、戴口罩或圍巾的偽裝判別。
4.一種人臉面相判別系統，其特徵在於，包括輸入人臉圖像的圖像輸入單元、根據人臉 圖像進行人臉偽裝判別的偽裝判別單元、進行人臉面相識別的人臉識別單元，所述偽裝判 別單元包括獲偽裝分類器、偽裝模型及偽裝判別模塊，所述人臉識別單元包括存儲人臉圖 像的人臉圖像資料庫、人臉識別分類器，所述偽裝判別模塊根據偽裝分類器、偽裝模型對所 述圖像輸入單元輸入的人臉圖像進行偽裝判別，對於所述偽裝判別模塊判別為不是偽裝的 人臉圖像時，所述人臉識別單元將對所述圖像輸入單元輸入的人臉圖像與所述人臉圖像數 據庫中的人臉圖像根據人臉識別分類器進行人臉面相識別。
5.根據權利要求4所述的人臉面相判別系統，其特徵在於，所述偽裝分類器包括帽子 分類器、墨鏡分類器，所述偽裝判別模塊根據帽子分類器判別人臉圖像是否為戴帽子偽裝， 所述偽裝判別模塊根據墨鏡分類器判別人臉圖像是否為戴墨鏡偽裝。
6.根據權利要求4所述的人臉面相判別系統，其特徵在於，所述偽裝模型包括膚色模 型，所述偽裝判別模塊根據膚色模型判別人臉圖像是否為戴口罩或圍巾的偽裝。
7.根據權利要求4所述的人臉面相判別系統，其特徵在於，所述人臉面相判別系統還 包括人臉圖像檢索單元，所述人臉圖像檢索單元根據輸入的條件對所述人臉圖像資料庫中 的人臉圖像進行檢索。
8.一種應用權利要求4至7中任一權利要求所述人臉面相判別系統的公共安全系統， 其特徵在於，所述公共安全系統包括人臉面相判別系統，所述人臉圖像資料庫為存儲嫌疑 人人臉圖像的嫌疑人圖像資料庫，對於所述偽裝判別模塊判別為不是偽裝的人臉圖像時， 所述人臉識別單元將所述人臉圖像與所述嫌疑人圖像資料庫中的人臉圖像進行人臉面相 識別。
9.根據權利要求8所述的公共安全系統，其特徵在於，所述公共安全系統還包括報警 單元，對於所述偽裝判別模塊判別為是偽裝的人臉圖像時，所述報警單元報警；對於所述人臉識別單元將所述人臉圖像識別為所述嫌疑人圖像資料庫中的人臉圖像，所述報警單元報m 目。
10.根據權利要求8所述的公共安全系統，其特徵在於，所述公共安全系統還包括嫌疑 人圖像檢索單元，所述公共安全系統還包括嫌疑人圖像檢索單元，所述嫌疑人圖像檢索單 元根據輸入的條件對所述嫌疑人圖像資料庫中的人臉圖像進行檢索。
全文摘要
本發明涉及一種人臉面相判別方法，包括偽裝分類器、偽裝模型以及人臉識別分類器，所述人臉面相判別方法包括如下步驟獲取人臉圖像從視頻或圖像中獲取人臉圖像；進行人臉偽裝判別將人臉圖像根據偽裝分類器、偽裝模型進行偽裝判別；人臉面相判別對於偽裝判別結果中未進行偽裝的人臉圖像根據人臉識別分類器進行人臉分類面相判別。本發明人臉面相判別的方法、系統及公共安全系統，通過在進行人臉面相識別前先進行人臉偽裝判別，對於人臉圖像進行偽裝的行為及時進行反應。
文檔編號G06K9/00GK101980242SQ201010501198
公開日2011年2月23日 申請日期2010年9月30日 優先權日2010年9月30日
發明者徐勇, 李巖, 楊治銀 申請人:徐勇