基於人臉—指紋協同的身份識別方法
2023-06-08 16:11:31
專利名稱：基於人臉—指紋協同的身份識別方法
技術領域：
本發明涉及一種利用機器視覺和模式識別技術，更具體的說，涉及一種基於人臉-指紋協同的身份識別方法。
背景技術：
生物特徵識別技術能提供一個方便、安全、可靠的身份認證解決方案，是當前信息安全、圖像處理、模式識別等學術領域極為關注的熱點問題。但是，由於生物特徵識別技術的研究還處於初始發展階段，如何提高識別系統的準確性和魯棒性也是信息安全、圖像處理、模式識別等學術領域極為關注的難點問題。近幾年來人臉識別、指紋識別等單模態生物特徵識別技術的研究取得了飛躍性進展，目前一些先進的識別算法在理想的實驗室環境下已經達到了滿意的效果。但是，面對越來越複雜的實際應用場景，識別準確率遠遠達不到鑑別專家用肉眼進行識別的正確率，還有許多關鍵問題亟待解決。並且，每一種單一的生物特徵都不是完美的，都具有局限性和不足之處，充分利用其它生物特徵的優勢，將多種生物特徵結合使用，實現優勢互補，是生物特徵識別技術的未來發展方向。因此，利用兩個或者兩個以上的生物特徵構建的多模態生物特徵識別系統相繼出現。多模態生物特徵識別系統在一定程度上解決了單模態生物特徵識別系統的魯棒性差、冒充問題和小樣本問題等。但是，在以往的研究中，多模態生物特徵識別技術中使用的多種生物特徵都不是來自同一個人的，而是在如下假設下隨便組合的，即假設同一個人的各種生物特徵在統計上是相互獨立的。這種假設忽略了同一個人各種生物特徵之間的內在聯繫，因而不能從根本上提高生物特徵識別技術的性能，從而使多模態生物特徵識別技術的發展處於瓶頸狀態。面對社會各領域越來越複雜的實際應用場景，為了滿足識別系統準確性、魯棒性、快速性等多方面的要求，國內外對多模態生物特徵識別技術的需求日益高漲，多模態生物特徵識別技術的發展已經成為一個亟待解決的現實性問題，並且具有極其重要的理論價值和應用價值。
發明內容
針對上述現有技術中存在的技術問題，本發明提出一種基於人臉-指紋協同的身份識別方法，該方法可以提高生物特徵識別系統的準確性和魯棒性，解決制約多模態生物特徵識別技術發展的疑難問題，為多模態生物特徵識別技術躋身世界前列發揮重要作用，也為圖像處理、模式識別、認知科學等領域的難點問題提供新方法和新理論。為達到上述目的，本發明所採用的技術方案如下一種基於人臉-指紋協同的身份識別方法，用於機器視覺和模式識別領域中的身份識別，具體步驟如下I)圖像低層視覺特徵選擇與融合，是以識別為目標，使用全局特徵向量與局部特徵向量相融合的方法來提取人臉圖像和指紋圖像的高效低層視覺特徵；
2)建立圖像高層語義特徵表述模型，是對圖像的低層視覺特徵與高層語義之間的內在聯繫進行分析，通過函數關係實現低層視覺特徵到高層語義之間的映射；
3)分析人臉與指紋特徵之間的關聯性，是基於非參數模型的方法，採用聯合分布來表示不同模態信息之間的關聯性，把不同模態信息的聯合特徵向量映射到一個低維的特徵子空間，然後在低維子空間裡估計不同模態信息的聯合分布；
4)解決多分類器在訓練階段以及決策階段的協同，實現高層語義特徵的多模態信息交互，是依據協同訓練算法，在人臉所包含的信息構成的視圖以及指紋所包含的信息構成的視圖上，首先利用有標記數據分別訓練出多個分類器，然後，利用每個分類器對未標識數據進行預測，並對預測結果進行融合，最後，依據融合結果將其中具有較高置信度的數據添加到對方的標識數據集中，以便對方用擴大的數據集來進行下一輪訓練，此過程不斷疊代進行，直到滿足終止條件；5)建立人臉-指紋協同資料庫，包含同一個人的人臉和指紋圖像的資料庫。所述步驟I)中，以識別為目標，通過進一步合理選擇Gabor、尺度不變特徵轉換(Scale-invariant feature transform, SIFT)以及局部二值模式(Local BinaryPattern, LBP)等的有效成分，研究更有效的局部特徵提取方式，從而得到對局部形變、尺度、光照、視角等構成一定程度不變量的高效低層視覺特徵，最後，通過融合全局特徵和局部特徵來實現圖像表徵。所述步驟2)中，採用構造監督視覺詞，消除圖像特徵表達中冗餘的特徵維度，而加強對分類有幫助的維度，從而極大地增強最終得到的高層語義特徵表述的分類能力。所述步驟3)中，對於不同模態信息之間的關聯性，可以用聯合分布來表示。基於參數模型的方法表達能力比較弱，無法準確描述出不同模態信息之間的聯合分布。基於非參數模型的新方法，有效克服了基於參數模型方法的缺陷。該方法首先把不同模態信息的聯合特徵向量映射到一個低維的特徵子空間，然後在低維子空間裡估計不同模態信息的聯合分布。所述步驟4)中，對融合工具的研究是實現決策系統中各分類器交互作用的關鍵。由於模糊集理論可以更好地描述由不確定性導致的不確定現象，使數學模型更貼近實際情況，因此基於模糊集理論的決策融合方法得到了廣泛應用。其中的模糊積分方法不僅考慮了各分類器識別對象時輸出的客觀結果，而且考慮了各分類器在決策系統中的重要性，因而更能體現決策系統中各分類器的交互作用，在許多領域用它作為融合工具取得了較好的效果。5)建立人臉-指紋協同資料庫，該資料庫包含同一個人的人臉和指紋圖像的資料庫。本發明相對於現有的身份識別方法的顯著效果在於，同時應用同一對象的人臉和指紋，並將兩者融合起來進行身份識別。提出圖像低層視覺特徵選擇與融合算法、建立圖像高層語義表述模型、分析人臉與指紋特徵之間的關聯性、解決多分類器在訓練階段以及決策階段的協同，從而提高多模態生物特徵識別系統的準確性和魯棒性。
圖I本發明提供的身份識別方法流程圖；圖2是採用本發明方法所建立的資料庫中某女性的部分樣本圖像(a)是人臉圖像；
(b) (f)是右手從小指依次到拇指的指紋圖像；(g) (k)是左手從拇指依次到小指的指紋圖像；圖3是採用本發明方法所建立的資料庫中某男性的部分樣本圖像(a)是人臉圖像；
(b) (f)是右手從小指依次到拇指的指紋圖像；(g) (k)是左手從拇指依次到小指的指紋圖像。
具體實施例方式以下結合附圖以及實施例對本發明的技術方案作進一步詳細說明。以下實施例在以本發明技術方案為前提下進行實施，給出了詳細的實施方式和過程，但本發明的保護範圍不限於下述的實施例。本發明提出的身份識別方法流程圖如圖I所示，本實施例具體實施步驟如下I)圖像低層視覺特徵選擇與融合。全局特徵向量雖然提供了圖像的整體描述，但是缺乏對圖像中不同組份的描述並且忽略了各組份之間的關係，因此很難保證在環境變化下的相對不變性。指紋圖像結構是具有一定流勢的峰谷交替的紋理結構，在一定區域內具有特定的頻率並呈現方向一致性，可以使用Gabor濾波器的方法提取指紋圖像的紋理特徵，並且，Gabor小波變換能夠有效地屏蔽光照變化對特徵提取的影響；SIFT特徵具有尺度不變性，也是目前公認比較有效的局部特徵，其對光照和遮擋具有良好的魯棒性；LBP在人臉識別中凸顯了其優越的性能。由於某些局部特徵中包含許多冗餘的特徵維度，從而導致這些局部特徵的判別能力下降。因此，本方法以識別為目標，進一步合理選擇Gabor、SIFT以及LBP等的有效成分，研究更有效的局部特徵提取方式，從而得到對局部形變、尺度、光照、視角等構成一定程度不變量的高效低層視覺特徵。最後，通過融合全局特徵和局部特徵來實現圖像表徵。2)圖像高層語義特徵表述。圖像的語義信息非常豐富，直接使用原始詞彙庫構建高層語義特徵表述，學習工作量將非常之大。受文本分類中「詞袋」(Bag of Words)思想的啟發，大多數研究者們使用「視覺詞袋」(Bag of Visual-words)語義模型，來實現對圖像內容的理解。在本方法中，我們也使用「詞袋模型」(Bag-of-Words Model)來分別對人臉和指紋圖像進行高層語義特徵表述。這種「詞袋模型」的基本成分是視覺詞。通常的視覺詞(Normal Words)把每個局部塊看作為整個圖像中的獨立部分，而忽略了各局部塊之間的內在聯繫；並且，從每個局部塊提取的視覺詞通常包含許多冗餘的維度，這給識別過程帶來了降低識別性能的噪聲。對一個具體的分類問題而言，如果在一個更高的層次上考慮局部塊之間的內在聯繫，那麼就可以獲得更好的圖像高層語義特徵表述。因此，本方法採用一種新的有監督的方法來構造視覺詞，使用該方法得到的視覺詞消除了圖像特徵表達中冗餘的特徵維度，而加強了對分類有幫助的維度，從而極大地增強了最終得到的高層語義特徵表述的分類能力。進一步地，我們把在該方法下得到的視覺詞稱作監督視覺詞(SupervisedWords)。假設圖像為I，圖像塊集為，對每個圖像塊提取其低層視覺特徵，則可以得到局部特徵 κ :，其中Vj e ReX1。圖像I的全局特徵可表示為{ =( ,· ,Fff，其中，H，H表示訓練樣本的總數。通過線性支持向量機，可以得到區分訓練樣本集中正、負樣本的決策超平面的法向量《 =(n· ,SF)fi，其中，支持向量Sf (I ( f彡F,F表示支持向量的個數)和通過優化下面的目標函數得到，即
權利要求
1.一種基於人臉-指紋協同的身份識別方法，用於機器視覺和模式識別領域中的身份識別，具體步驟如下 1)圖像低層視覺特徵選擇與融合，是以識別為目標，使用全局特徵向量與局部特徵向量相融合的方法來提取人臉圖像和指紋圖像的高效低層視覺特徵； 2)建立圖像高層語義特徵表述模型，是對圖像的低層視覺特徵與高層語義之間的內在聯繫進行分析，通過函數關係實現低層視覺特徵到高層語義之間的映射； 3)分析人臉與指紋特徵之間的關聯性，是基於非參數模型的方法，採用聯合分布來表示不同模態信息之間的關聯性，把不同模態信息的聯合特徵向量映射到一個低維的特徵子空間，然後在低維子空間裡估計不同模態信息的聯合分布； 4)解決多分類器在訓練階段以及決策階段的協同，實現高層語義特徵的多模態信息交互，是依據協同訓練算法，在人臉所包含的信息構成的視圖以及指紋所包含的信息構成視圖上，首先利用有標記數據分別訓練出多個分類器，然後，利用每個分類器對未標識數據進行預測，並對預測結果進行融合，最後，依據融合結果將其中具有較高置信度的數據添加到對方的標識數據集中，以便對方用擴大的數據集來進行下一輪訓練，此過程不斷疊代進行，直到滿足終止條件。
5)建立人臉-指紋協同資料庫，包含同一個人的人臉和指紋圖像的資料庫。
2.根據權利要求I所述的基於人臉-指紋協同的身份識別方法，其特徵在於，所述步驟1)中，是以識別為目標，合理選擇Gabor濾波器、SIFT以及LBP有效成分，研究更有效的局部特徵提取方式，從而得到對局部形變、尺度、光照、視角構成一定程度不變量的高效低層視覺特徵，最後，通過融合全局特徵和局部特徵來實現圖像表徵。
3.根據權利要求I所述的基於人臉-指紋協同的身份識別方法，其特徵在於，所述步驟2)中，通過構造監督視覺詞，消除圖像特徵表達中冗餘的特徵維度，加強對分類有幫助的維度，從而極大地增強最終得到的高層語義特徵表述的分類能力。
4.根據權利要求I所述的基於人臉-指紋協同的身份識別方法，其特徵在於，所述步驟3)中，分析人臉與指紋特徵之間的關聯性，基於非參數模型的方法，採用聯合分布來表示不同模態信息之間的關聯性，把不同模態信息的聯合特徵向量映射到一個低維的特徵子空間，然後在低維子空間裡估計不同模態信息的聯合分布。
5.根據權利要求I所述的基於人臉-指紋協同的身份識別方法，其特徵在於，所述步驟4)中，基於協同訓練算法的分類器使用未標記數據進行訓練時，在訓練的過程中加入噪聲過濾機制和人機互動過程，進一步提高分類器的性能，獲得具有良好性能和泛化能力的學習器。
6.根據權利要求5所述的基於人臉-指紋協同的身份識別方法，其特徵在於，所述各分類器交互作用是基於模糊集理論的決策融合方法來實現，採用模糊積分方法作為融合的工具。
全文摘要
一種基於人臉-指紋協同的身份識別方法，屬於利用機器視覺和模式識別領域，通過模擬人類能夠綜合利用多種信息以及異類信息之間的內在聯繫來認知世界的能力，試圖尋找人臉與指紋特徵之間的關聯性，在自行構建的人臉-指紋協同資料庫上，利用人臉、指紋及其兩者之間的關聯性，來進行多模態生物特徵識別的方法。具體包含以下步驟1)圖像低層視覺特徵選擇與融合；2)圖像高層語義特徵表述；3)人臉與指紋特徵之間的關聯分析；4)高層語義特徵的多模態信息交互；5)建立人臉-指紋協同資料庫。本方法在包含同一個人的人臉和指紋的大型的資料庫進行驗證，具有較高的準確性和較強的魯棒性。
文檔編號G06K9/62GK102622590SQ20121006545
公開日2012年8月1日 申請日期2012年3月13日 優先權日2012年3月13日
發明者劉歡喜 申請人:上海交通大學