一種基於視頻流的人臉識別方法及系統的製作方法

2023-04-30 11:04:36

專利名稱：一種基於視頻流的人臉識別方法及系統的製作方法
技術領域：
本發明涉及仿真技術領域，特別是涉及一種基於視頻流的人臉識別方法及系統。
背景技術：
人臉識別是一種基於人的臉部特徵信息進行身份識別的生物識別技術，其相對於如指紋、DNA檢測等其他較成熟的人體生物特徵識別方法具有非直接侵犯性、低沉本、可交互性強、便於事後跟蹤等優點，因此，多年來一直是一個研究熱點。人臉識別是用照相機或攝像機等設備採集含有人臉的圖像或視頻流，自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術，包括人臉圖像採集、人臉定位、人臉識別預處理、記憶存儲和對比辨識，達到識別不同人身份的目的。其中，基於視頻流的人臉識別是指輸入為人臉視頻，而利用靜止圖像人臉資料庫進行識別或驗證。由於視頻流中通常包含較多的信息，例如同一個人的多幀圖像、視頻中的人臉圖像具有時間和空間上的連續性、通過運動變化估計三維人臉結構、從低解析度圖像恢復出高解析度圖像等，可以防止基於靜態圖像的識別欺騙等。因此，基於視頻流的人臉識別可以利用視頻中較多信息，比傳統的基於靜止圖像的人臉識別更有優勢，成為罪犯識別、入境管理、家政機器人等領域研究人員的關注。

發明內容
為解決上述技術問題，本發明實施例提供了一種基於視頻流的人臉識別方法及系統，技術方案如下一種基於視頻流的人臉識別方法，包括接收視頻採集設備所採集的待識別視頻流；對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像；定位每幀待識別人臉圖像對應的特徵點；根據待識別人臉圖像所對應的顏色直方圖，確定待識別人臉圖像中的關鍵人臉圖像；確定每幀關鍵人臉圖像對應特徵點中的關鍵特徵點；對所確定的關鍵人臉圖像進行圖像預處理，以降低圖像幾何特徵和光照對關鍵人臉圖像的影響；根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果。相應的，本發明還提供一種基於視頻流的人臉識別系統，包括視頻接收模塊，用於接收視頻採集設備所採集的待識別視頻流；人臉檢測模塊，用於對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像；特徵點定位模塊，用於定位每幀待識別人臉圖像對應的特徵點；
關鍵幀確定模塊，用於根據待識別人臉圖像所對應的顏色直方圖，確定待識別人臉圖像中的關鍵人臉圖像；關鍵點確定模塊，用於確定每幀關鍵人臉圖像對應特徵點中的關鍵特徵點；預處理模塊，用於對所確定的關鍵人臉圖像進行圖像預處理，以降低圖像幾何特徵和光照對關鍵人臉圖像的影響；結果確定模塊，根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果。本發明實施例所提供的技術方案中，對視頻採集設備所採集的視頻流進行人臉檢測和特徵點定位後，利用人臉圖像的顏色直方圖，確定出人臉圖像中的關鍵人臉圖像，進而對關鍵人臉圖像進行降低幾何特徵和光照影響的圖像預處理以及關鍵特徵點的確定，最後根據關鍵特徵點與人臉圖像資料庫中各人臉模型對應的相似度的加權值，確定最終的人臉識別結果。本方案中，通過基於顏色直方圖的關鍵幀檢測以及關鍵特徵點確定、相似度加權的方式，消除由於視頻採集環境影響帶來的識別偏差，快速有效地進行人臉識別。


為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本發明實施例所提供的一種基於視頻流的人臉識別方法的第一種流程圖；圖2為本發明實施例所提供的一種基於視頻流的人臉識別方法的第二種流程圖；圖3為本發明實施例中對人臉垂直積分投影的示意圖；圖4為本發明實施例中對人臉水平積分投影的示意圖；圖5為本發明實施例中對人臉垂直積分投影的第二種示意圖；圖6為本發明實施例中圖像旋轉示意圖；圖7為本發明實施例中關鍵人臉圖像均衡化前的直方圖示意圖；圖8為本發明實施例中對關鍵人臉圖像均衡化後的直方圖示意圖；圖9為本發明實施例所提供的一種基於視頻流的人臉識別方法第三種流程圖；圖10為本發明實施例所提供的一種基於視頻流的人臉識別系統的結構示意圖。
具體實施例方式本發明實施例提供了一種基於視頻流的人臉識別方法及系統，以實現利用所採集的一般應用場景下的視頻流進行快速有效的人臉識別。下面首先對本發明實施例所提供的一種基於視頻流的人臉識別方法進行介紹。一種基於視頻流的人臉識別方法，包括接收視頻採集設備所採集的待識別視頻流；對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像；定位每幀待識別人臉圖像對應的特徵點；根據待識別人臉圖像所對應的顏色直方圖，確定待識別人臉圖像中的關鍵人臉圖像；確定每幀關鍵人臉圖像對應特徵點中的關鍵特徵點；對所確定的關鍵人臉圖像進行圖像預處理，以降低圖像幾何特徵和光照對關鍵人臉圖像的影響；根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果。本發明實施例所提供的技術方案中，對視頻採集設備所採集的視頻流進行人臉檢測和特徵點定位後，利用人臉圖像的顏色直方圖，確定出人臉圖像中的關鍵人臉圖像，進而對關鍵人臉圖像進行降低幾何特徵和光照影響的圖像預處理以及關鍵特徵點的確定，最後根據關鍵特徵點與人臉圖像資料庫中各人臉模型對應的相似度的加權值，確定最終的人臉識別結果。本方案中，通過基於顏色直方圖的關鍵幀檢測以及關鍵特徵點確定、相似度加權的方式，消除由於視頻採集環境影響帶來的識別偏差，快速有效地進行人臉識別。下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。如圖1所示，一種基於視頻流的人臉識別方法，可以包括S101，接收視頻採集設備所採集的待識別視頻流；通常視頻採集設備一般可以包括攝像機、錄像機、LD視頻機等。這些視頻採集設備安裝在需要視頻採集的區域特定位置。當需要對視頻採集設備所採集的視頻流進行分析處理時，則將其與相應的分析處理設備相連即可。S102，對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像；所接收到的待識別視頻流的各幀圖像區域中可能不存在人臉、人臉比例較小，或者存在多個非相關的人臉、完整的人臉等。也就是說，待識別視頻流中的各幀圖像所包含的信息並不是全部可用的，所以需要對待識別視頻流中的每幀圖像進行人臉檢測，將包含完整人臉且滿足一定人臉比例的圖像幀提取，進行後續的人臉識別處理。其中，如圖2所示，對所述待識別視頻流中每幀圖像進行人臉檢測，具體可以為S201，對所述待識別視頻流中每幀圖像進行灰度化和直方圖均衡化處理；S202，對處理後的每幀圖像進行多尺度多特徵的人臉檢測；S203，將每幀圖像的每一尺度所對應的檢測結果進行多特徵合併處理；S204，將每幀圖像對應的多特徵合併處理結果進行多尺度合併處理；S205，將滿足預設人臉尺度閾值的多尺度合併處理結果確定為待識別人臉圖像。在上述的處理過程中，當對待識別視頻流中各幀圖像進行灰度化和直方圖均衡化處理後，則對每幀圖像分別進行多尺度多特徵的人臉檢測，以確定出對於不同尺度不同特徵的檢測結果。所謂多尺度多特徵為對每幀圖像進行各個尺度的檢測，並在對每個尺度進行檢測時，根據不同的特徵進行檢測。在進行多尺度多特徵檢測後，則將檢測結果進行多特徵多尺度合併處理，以消除不同檢測結果的偏差，最終每幀圖像對應一個合併結果。可以理解的是，如果合併結果中所含的人臉信息較少，則該幀圖像並不適用於人臉識別。所以， 需要將滿足預設人臉尺度閾值的多尺度合併處理結果確定為待識別人臉圖像。可以理解的是，人臉尺度閾值可以根據實際情況進行設定，在此不進行限定。S103，定位每幀待識別人臉圖像對應的特徵點；可以理解的是，人臉由眼睛、鼻子、嘴巴、下巴等部分構成，而這些部分的形狀、大小和結構上的各種差異才使得每個人臉千差萬別，因此，對於這些器官的準確定位，對整個人臉識別過程而言是至關重要的一步。其中，由於眼睛是人臉當中比較突出的人臉特徵，所以只要眼睛被精確定位，則臉部其他器官，如眼眉、嘴巴、鼻子等，可以由潛在的分布關係比較準確的定位。本實施例中，待識別人臉圖像特徵點的定位可以通過對應於不同積分投影方式下產生的波峰或波谷進行。其中，積分投影分為垂直投影和水平投影，設f(x，y)表示圖像(χ， y)處的灰度值，在圖像[yi，y2]和[χι，χ2]區域的水平積分投影Mh(y)和垂直積分投影Mv(X) 分別表示為
權利要求
1.一種基於視頻流的人臉識別方法，其特徵在於，包括 接收視頻採集設備所採集的待識別視頻流；對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像； 定位每幀待識別人臉圖像對應的特徵點；根據待識別人臉圖像所對應的顏色直方圖，確定待識別人臉圖像中的關鍵人臉圖像； 確定每幀關鍵人臉圖像對應特徵點中的關鍵特徵點；對所確定的關鍵人臉圖像進行圖像預處理，以降低圖像幾何特徵和光照對關鍵人臉圖像的影響；根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果。
2.根據權利要求1所述的方法，其特徵在於，所述對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像，具體為對所述待識別視頻流中每幀圖像進行灰度化和直方圖均衡化處理； 對處理後的每幀圖像進行多尺度多特徵的人臉檢測； 將每幀圖像的每一尺度所對應的檢測結果進行多特徵合併處理； 將每幀圖像對應的多特徵合併處理結果進行多尺度合併處理； 將滿足預設人臉尺度閾值的多尺度合併處理結果確定為待識別人臉圖像。
3.根據權利要求1所述的方法，其特徵在於，所述定位每幀待識別人臉圖像對應的特徵點，具體為採用自適應閾值法對待識別人臉圖像進行對比度增加處理；利用垂直積分投影方法和水平積分投影方法對待識別人臉圖像進行特徵點定位處理， 以定位所述待識別人臉圖像對應的特徵點。
4.根據權利要求1所述的方法，其特徵在於，所述根據待識別人臉圖像所對應的顏色直方圖，確定待識別人臉圖像中的關鍵人臉圖像，具體為確定標準待識別人臉圖像，並計算所述標準待識別人臉圖像對應人臉區域的顏色直方圖；計算每幀待識別人臉圖像對應人臉區域的顏色直方圖；計算當前待識別人臉圖像對應的顏色直方圖與標準待識別人臉圖像對應的顏色直方圖的歐式距離；判斷所述歐式距離是否小於預設距離閾值，如果是，則將所述當前待識別人臉圖像確定為關鍵人臉圖像；如果否，則將所述待識別人臉圖像確定為非關鍵人臉圖像。
5.根據權利要求1所述的方法，其特徵在於，所述對所確定的關鍵人臉圖像進行圖像預處理，具體為對所述關鍵人臉圖像進行平移、旋轉和/或濾波處理，以實現幾何歸一化處理； 對經過上述處理的關鍵人臉圖像進行直方圖均衡處理，以實現光照預處理。
6.根據權利要求1所述的方法，其特徵在於，所述根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果，具體為利用小波變換確定各關鍵特徵點的對應的關鍵特徵值；計算每幀關鍵人臉圖像中各關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度；將每幀關鍵人臉圖像中各關鍵特徵點與同一人臉模型對應特徵點的相似度進行加權， 將最大加權值對應的人臉模型確定為所述關鍵人臉圖像的備選識別結果；統計各備選人臉識別結果對應的關鍵人臉圖像數量，並將數量最多且高於預設數量閾值的備選人臉識別結果確定為待識別視頻流對應的人臉識別結果。
7.一種基於視頻流的人臉識別系統，其特徵在於，包括 視頻接收模塊，用於接收視頻採集設備所採集的待識別視頻流；人臉檢測模塊，用於對所述待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像；特徵點定位模塊，用於定位每幀待識別人臉圖像對應的特徵點； 關鍵幀確定模塊，用於根據待識別人臉圖像所對應的顏色直方圖，確定待識別人臉圖像中的關鍵人臉圖像；關鍵點確定模塊，用於確定每幀關鍵人臉圖像對應特徵點中的關鍵特徵點； 預處理模塊，用於對所確定的關鍵人臉圖像進行圖像預處理，以降低圖像幾何特徵和光照對關鍵人臉圖像的影響；結果確定模塊，根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果。
8.根據權利要求7所述的系統，其特徵在於，所述人臉檢測模塊包括均衡處理單元，對所述待識別視頻流中每幀圖像進行灰度化和直方圖均衡化處理；人臉檢測單元，用於對處理後的每幀圖像進行多尺度多特徵的人臉檢測；多特徵合併單元，用於將每幀圖像的每一尺度所對應的檢測結果進行多特徵合併處理；多尺度合併單元，用於將每幀圖像對應的多特徵合併處理結果進行多尺度合併處理； 結果確定單元，用於將滿足預設人臉尺度閾值的多尺度合併處理結果確定為待識別人臉圖像。
9.根據權利要求7所述的系統，其特徵在於，所述特徵點定位模塊包括 對比度增加單元，用於採用自適應閾值法對待識別人臉圖像進行對比度增加處理；特徵點定位單元，利用垂直積分投影方法和水平積分投影方法對待識別人臉圖像進行特徵點定位處理，以定位所述待識別人臉圖像對應的特徵點。
10.根據權利要求7所述的系統，其特徵在於，所述關鍵幀確定模塊包括標準確定單元，用於確定標準待識別人臉圖像，並計算所述標準待識別人臉圖像對應人臉區域的顏色直方圖；顏色直方圖確定單元，用於計算每幀待識別人臉圖像對應人臉區域的顏色直方圖； 直方圖差值計算單元，用於計算當前待識別人臉圖像對應的顏色直方圖與標準待識別人臉圖像對應的顏色直方圖的歐式距離；關鍵幀確定單元，用於判斷所述歐式距離是否小於預設距離閾值，如果是，則將所述當前待識別人臉圖像確定為關鍵人臉圖像；如果否，則將所述待識別人臉圖像確定為非關鍵人臉圖像。
11.根據權利要求7所述的系統，其特徵在於，所述預處理模塊包括幾何歸一化單元，用於對所述關鍵人臉圖像進行平移、旋轉和/或濾波處理，以實現幾何歸一化處理；光照預處理單元，用於對經過上述處理的關鍵人臉圖像進行直方圖均衡處理，以實現光照預處理。
12.根據權利要求7所述的系統，其特徵在於，所述結果確定模塊包括特徵值計算單元，用於利用小波變換確定各關鍵特徵點的對應的關鍵特徵值； 相似度計算單元，計算每幀關鍵人臉圖像中各關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度；備選結果確定單元，將每幀關鍵人臉圖像中各關鍵特徵點與同一人臉模型對應特徵點的相似度進行加權，將最大加權值對應的人臉模型確定為所述關鍵人臉圖像的備選識別結果；識別結果確定單元，用於統計各備選人臉識別結果對應的關鍵人臉圖像數量，並將數量最多且高於預設數量閾值的備選人臉識別結果確定為待識別視頻流對應的人臉識別結果 ο
全文摘要
本發明公開了一種基於視頻流的人臉識別方法及系統。該方法包括接收視頻採集設備採集的待識別視頻流；對待識別視頻流中每幀圖像進行人臉檢測，以確定待識別人臉圖像；定位每幀待識別人臉圖像對應的特徵點；確定待識別人臉圖像中的關鍵人臉圖像；確定每幀關鍵人臉圖像對應特徵點中的關鍵特徵點；對所確定的關鍵人臉圖像進行圖像預處理；根據每幀關鍵人臉圖像中關鍵特徵點與人臉圖像資料庫中各人臉模型對應特徵點的相似度的加權處理結果，確定所述待識別視頻流對應的人臉識別結果。本方案中，通過基於顏色直方圖的關鍵幀檢測以及關鍵特徵點確定、相似度加權的方式，消除由於視頻採集環境影響帶來的識別偏差，快速有效地進行人臉識別。
文檔編號G06K9/00GK102360421SQ201110316170
公開日2012年2月22日 申請日期2011年10月19日 優先權日2011年10月19日
發明者徐汀榮 申請人:蘇州大學