結合生物特徵與局部圖像特徵的並行人臉識別方法

2023-07-23 20:01:31 1

專利名稱：結合生物特徵與局部圖像特徵的並行人臉識別方法
技術領域：
本發明涉及一種人臉識別方法，尤其是涉及一種結合生物特徵與局部圖像特徵的並行人臉識別方法。
背景技術：
視頻分析技術，是一種計算機圖像視覺分析技術，通過將場景中背景和目標分離， 進而分析並追蹤在監控視頻場景內出現的目標，可以部分替代人工盯屏幕或人工檢索錄像，實現實時甚至是高速的檢索，對促進社會安定、保障廣大人民生命財產的安全，有著重要意義。人臉識別技術，是智慧視頻分析技術的重要組成部分，自動在監控視頻圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術處理，包括人臉圖像採集、 人臉定位、人臉識別預處理、記憶存儲和比對辨識，達到識別不同人身份的目的。目前，常見的人臉識別技術有三種(1)可見光圖像的人臉識別技術，有30多年的研發歷史，是目前得到較廣泛應用的人臉識別系統，如門禁、考勤、證件核對等，其技術核心有兩種一種主要是基於對人臉的生物特徵進行比對，如五官間的距離等等，其優勢是精度較高，缺點是對圖像質量要求較高；一種是基於圖像特徵點提取與匹配的方法，通常具有尺度不變性等優勢，但由於缺少有意義的條件約束，困難在於如何減少特徵點誤匹配。視頻相對於圖像而言，解析度低，容易受到光線、陰影等環境因素的影響，人物處於自然運動狀態。傳統的生物特徵檢測難以發揮作用；基於特徵點的方法中，SIFT以其尺度不變性受到重視，不同距離對特徵點匹配的影響得到研究，很多研究集中於特定人臉資料庫。對於不同解析度、生物特徵約束、匹配評價自適應方面的研究則較少。(2)三維圖像人臉識別技術，採用兩臺或多臺攝像機，獲取臉部數據，基於三維重建技術得到人臉三維結構，對戴眼鏡、貼鬍子等有意識地改變具有較好的魯棒性，近年來在日本與以色列在此領域取得較大進展，並在一些對安全要求較高的應用領域得到青睞。但對現有的視頻監控系統而言，需要增加硬設備；攝像機需要標定和畸變校正，且一旦位置移動，則需要重新標定，這必須要有專業人員才能實施。三維圖像人臉識別技術可以在一定程度上解決光照問題，但缺點也很明顯，一是採集設備極其複雜和昂貴；二是無法和現有可見光人臉圖像數據兼容，這些都大大限制了它們的應用，阻礙了三維圖像方法成為人臉識別主流技術。(3)主動近紅外圖像的人臉識別技術，該技術在不同光線條件下，能夠拍攝不受環境光照變化影響的近紅外人臉圖像，能夠在人臉左右旋轉90度以上、或人臉被部分遮擋時，快速穩定流暢地進行人臉跟蹤，能同時識別場景範圍內的多張人臉。在精度、穩定性和速度方面的整體系統性能超過三維圖像人臉識別，並且在紅外圖像對可見光圖像混合識別的研究也取得了突破進展，使其可以和現有可見光人臉數據兼容。中科院自動化研究所李子青等人研發的相關系統在上海世博會應用於身份鑑別，取得較好效果，缺點是需要專門的紅外採集設備，對現有的視頻監控系統進行改造或新建，費用相當昂貴，普及起於來有較大困難。

發明內容
本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種適用範圍廣、實現成本低、識別精度高的結合生物特徵與局部圖像特徵的並行人臉識別方法。本發明的目的可以通過以下技術方案來實現一種結合生物特徵與局部圖像特徵的並行人臉識別方法，其特徵在於，包括以下步驟1)視頻數據導入；2)判斷是否可讀取下一幀圖像，若為是，執行步驟3)，若為否，執行步驟18)；3)將幀圖像數據傳輸給顯卡中的顯存內，同時將人臉檢測代碼發送給顯卡的處理器中；4)顯卡中處理器對顯存中的幀圖像進行人臉檢測，並判斷是否檢測到人臉，若為是，執行步驟幻，若為否，返回步驟2)；5)選取檢測到的人臉圖像，記作F，並初始化粗匹配點數Mr和精匹配點數Me，即 Mr = 0 禾口 Me = 0 ；6)從標準資料庫中的選取相同人臉的標準圖像，並將其像素大小調整到與檢測到的人臉圖像F相同，將調整後的標準圖像記作P ；7)檢測F和P的眼睛位置，根據各自眼睛之間的連線和該連線的中垂線分別將F 和P分成四個部分；8)計算F的SIFT特徵點集，記作X = {Xi | = 0，-,η}，同時計算P的的SIFT特徵點集，記作Y = {Yj I j = 0，…，m}；9)判斷i是否小於n，若為是，執行步驟10)，若為否，返回步驟4)；10)計算Xi與Y中的任意點之間的距離，並從小到大順序排列，記作Di = {Dik|k =0，…，m}；11)判斷DiO < d&&DiO/Di 1 < dd是否成立，若為是，執行步驟12)，若為否，i++後返回步驟9)；12)將Xi、Y(D0)、Di0、Di0/Dil進行存儲，其中Y(DO)為Y中與Xi之間最近的特徵點，並Mr++ ；13)判斷Xi、Y(D0)是否在臉部的同一區，若為是，執行步驟14)；若為否，執行步驟 15)；14)將乂1、丫(00)、010、010/1^1進行存儲，並]^++，1++，返回步驟9)；15)判斷Dil <d&&Dil/Di2<dd是否成立，若為是，執行步驟16)，若為否，i++後返回步驟9)；16)判斷Xi、Y(Dl)是否在臉部的同一區，若為是，執行步驟17)，若為否，i++後返回步驟9)；17)將乂1、丫(01)、011、011/1^2進行存儲，並]^++，1++，返回步驟9)；18)各幀圖片依據上述存儲的數據進行排序，並輸出結果。
所述的視頻數據包括視頻文件或直接實時採樣監控設備的視頻數據，其中視頻文件讀取為關鍵幀，直接實時採樣監控設備的視頻數據讀取的為採樣到的每一幀圖像。所述的粗匹配點數為滿足距離小於閾值d且順序相鄰的兩匹配點距離比要小於閾值dd的特徵點，所述的精匹配點數為滿足粗匹配條件且要求匹配的點在面部同一區域。所述的各幀圖片進行排序，並輸出結果具體為將各幀圖片按照精匹配點數、匹配率從大到小排序，將滿足精匹配點數、匹配率設定閾值的結果輸入，其中匹配率為精匹配點數與總特徵點數之比。與現有技術相比，本發明具有以下優點(1)適用範圍廣，在普通視頻(解析度640*480，人臉50*50像素)，通過本發明方法可取得優秀的檢索結果；(2)實現成本低，本發明可在主流配置的PC上配置主流支持GPU運算的顯卡，即可取得實時檢索效果；(3)識別精度高，通過進行精匹配來提高識別精度。


圖1為本發明的流程圖；圖2為本發明的硬體結構示意圖。
具體實施例方式下面結合附圖和具體實施例對本發明進行詳細說明。實施例如圖1所示，一種結合生物特徵與局部圖像特徵的並行人臉識別方法，包括以下步驟1)視頻數據導入；2)判斷是否可讀取下一幀圖像，若為是，執行步驟3)，若為否，執行步驟18)；3)將幀圖像數據傳輸給顯卡中的顯存內，同時將人臉檢測代碼發送給顯卡的處理器中；4)顯卡中處理器對顯存中的幀圖像進行人臉檢測，並判斷是否檢測到人臉，若為是，執行步驟幻，若為否，返回步驟2)；5)選取檢測到的人臉圖像，記作F，並初始化粗匹配點數Mr和精匹配點數Me，即 Mr = 0 禾口 Me = 0 ；6)從標準資料庫中的選取相同人臉的標準圖像，並將其像素大小調整到與檢測到的人臉圖像F相同，將調整後的標準圖像記作P ；7)檢測F和P的眼睛位置，根據各自眼睛之間的連線和該連線的中垂線分別將F 和P分成四個部分；8)計算F的SIFT特徵點集，記作X = {Xi | = 0，…，η}，同時計算P的的SIFT特徵點集，記作Y = {Yj I j = 0，…，m}；9)判斷i是否小於n，若為是，執行步驟10)，若為否，返回步驟4)；10)計算Xi與Y中的任意點之間的距離，並從小到大順序排列，記作Di = {Dik|k=0，…，m}；11)判斷DiO < d&&DiO/Di 1 < dd是否成立，若為是，執行步驟12)，若為否，i++後返回步驟9)；12)將Xi、Y(D0)、Di0、Di0/Dil進行存儲，其中Y(DO)為Y中與Xi之間最近的特徵點，並Mr++ ；13)判斷Xi、Y(D0)是否在臉部的同一區，若為是，執行步驟14)；若為否，執行步驟 15)；14)將乂1、丫(00)、010、010/1^1進行存儲，並]^++，1++，返回步驟9)；15)判斷Dil <d&&Dil/Di2<dd是否成立，若為是，執行步驟16)，若為否，i++後返回步驟9)；16)判斷Xi、Y(Dl)是否在臉部的同一區，若為是，執行步驟17)，若為否，i++後返回步驟9)；17)將乂1、丫(01)、011、011/1^2進行存儲，並]^++，1++，返回步驟9)；18)各幀圖片依據上述存儲的數據進行排序，並輸出結果。其中步驟的解釋如下視頻圖像源101視頻文件，或是直接實時採樣自監控設備的視頻數據，均可作為檢測和識別對象。 前者讀取關鍵幀，後者讀取採樣到的每一幀圖像。本發明特點在於針對普通攝像機取得的解析度不高的視頻進行識別。粗匹配的改進一精匹配102傳統的特徵點匹配，僅需滿足距離小於閾值d、順序相鄰的兩匹配點距離比要小於閾值dd即可，稱之為粗匹配。本發明加入了人臉區域約束，要求匹配的點必須在面部同一區域，如不滿足，則找第二匹配點，再判斷是不是滿足上述條件。滿足前述兩個條件方能算是精匹配。與一般尋求更多匹配點的方法不同，本發明更注重匹配點的質量，儘可能去除有問題的匹配點。特徵點求解新方法103目前SIFT特徵點的求解中，對金字塔層數、數量以及尺度因子均使用DAVID LOffE 提出此方法時給出的值，對用於匹配的兩幅圖均使用原始大小，未對這些參數值和匹配圖像之間的關係進行分析和定製。本發明考慮到源圖與視頻中的圖的大小存在相當大的差異，通常是源圖較大，因而首先將源圖調整至視頻中檢測到的人臉的大小。經過反覆實驗，對應於視頻中人臉大小範圍，確定SIFT中的三個參數的最佳值，保證了特徵點的有效性。對於一幅灰度圖像I (X，y)進行SIFT特徵點檢測和描述的方法如下一、SIFT特徵點的檢測1、對灰度圖象I (X，y)建立離散尺度空間，即用不同尺度的高斯核對圖像進行卷積L(x, y, σ s) = G(χ, y, σ s)*I(x，y), (s = 0，1，· · ·，S_l)
權利要求
1.一種結合生物特徵與局部圖像特徵的並行人臉識別方法，其特徵在於，包括以下步驟1)視頻數據導入；2)判斷是否可讀取下一幀圖像，若為是，執行步驟3)，若為否，執行步驟18)；3)將幀圖像數據傳輸給顯卡中的顯存內，同時將人臉檢測代碼發送給顯卡的處理器中；4)顯卡中處理器對顯存中的幀圖像進行人臉檢測，並判斷是否檢測到人臉，若為是，執行步驟5)，若為否，返回步驟2)；5)選取檢測到的人臉圖像，記作F，並初始化粗匹配點數Mr和精匹配點數Me，即Mr= 0 禾口 Me = 0 ；6)從標準資料庫中的選取相同人臉的標準圖像，並將其像素大小調整到與檢測到的人臉圖像F相同，將調整後的標準圖像記作P ；7)檢測F和P的眼睛位置，根據各自眼睛之間的連線和該連線的中垂線分別將F和P 分成四個部分；8)計算F的SIFT特徵點集，記作X= }Xi =0，…，η}，同時計算P的的SIFT特徵點集，記作 Y = {Y j I j = 0，…，m}；9)判斷i是否小於n，若為是，執行步驟10)，若為否，返回步驟4)；10)計算Xi與Y中的任意點之間的距離，並從小到大順序排列，記作Di= {Dik|k = 0，…，m}；11)判斷DiO< d&&DiO/Dil < dd是否成立，若為是，執行步驟12)，若為否，i++後返回步驟9)；12)將Xi、Y(D0)、Di0、Di0/Dil進行存儲，其中Y(DO)為Y中與Xi之間最近的特徵點， 並 Mr++ ；13)判斷Xi、Y(DO)是否在臉部的同一區，若為是，執行步驟14)；若為否，執行步驟15)；14)將父丨、￥(00)、0丨0、0丨0/1^1進行存儲，並116++，i++，返回步驟9)；15)判斷Dil< d&&Dil/Di2 < dd是否成立，若為是，執行步驟16)，若為否，i++後返回步驟9)；16)判斷Xi、Y(Dl)是否在臉部的同一區，若為是，執行步驟17)，若為否，i++後返回步驟9)；17)將父丨、丫(01)、0丨1、0丨1/1^2進行存儲，並116++，i++，返回步驟9)；18)各幀圖片依據上述存儲的數據進行排序，並輸出結果。
2.根據權利要求1所述的一種結合生物特徵與局部圖像特徵的並行人臉識別方法，其特徵在於，所述的視頻數據包括視頻文件或直接實時採樣監控設備的視頻數據，其中視頻文件讀取為關鍵幀，直接實時採樣監控設備的視頻數據讀取的為採樣到的每一幀圖像。
3.根據權利要求1所述的一種結合生物特徵與局部圖像特徵的並行人臉識別方法，其特徵在於，所述的粗匹配點數為滿足距離小於閾值d且順序相鄰的兩匹配點距離比要小於閾值dd的特徵點，所述的精匹配點數為滿足粗匹配條件且要求匹配的點在面部同一區域。
4.根據權利要求1所述的一種結合生物特徵與局部圖像特徵的並行人臉識別方法，其特徵在於，所述的各幀圖片進行排序，並輸出結果具體為將各幀圖片按照精匹配點數、匹配率從大到小排序，將滿足精匹配點數、匹配率設定閾值的結果輸入，其中匹配率為精匹配點數與總特徵點數之比。
全文摘要
本發明涉及一種結合生物特徵與局部圖像特徵的並行人臉識別方法，包括1)視頻數據導入；2)判斷是否可讀取下一幀圖像，若為是，執行步驟3)，若為否，執行步驟18)；3)將幀圖像數據傳輸給顯卡中的顯存內，同時將人臉檢測代碼發送給顯卡的處理器中；4)顯卡中處理器對顯存中的幀圖像進行人臉檢測，並判斷是否檢測到人臉，若為是，執行步驟5)，若為否，返回步驟2)；5)選取檢測到的人臉圖像，記作F，並初始化粗匹配點數Mr和精匹配點數Me，即Mr＝0和Me＝0等步驟。與現有技術相比，本發明具有適用範圍廣、實現成本低、識別精度高等優點。
文檔編號G06K9/00GK102521581SQ201110436640
公開日2012年6月27日 申請日期2011年12月22日 優先權日2011年12月22日
發明者劉翔 申請人:劉翔