通過計算裝置進行面部識別的方法和裝置製造方法
2023-10-21 18:31:17 1
通過計算裝置進行面部識別的方法和裝置製造方法
【專利摘要】本發明披露了一種通過計算裝置使用自適應搜索窗口和局部相似度分布分析以進行面部識別的方法和裝置。所述方法包括：通過所述計算裝置的處理器，識別一個目標圖像的一個或多個特徵；通過所述處理器將所述目標圖像的一個或多個特徵中的至少一個特徵與一個參考圖像的一個或多個特徵進行匹配；通過所述處理器確定至少一個匹配特徵的一個權重貢獻；和通過所述處理器，部分地根據所述至少一個匹配特徵的權重貢獻，確定一個面部識別匹配的可信度，其中確定一個權重貢獻包括：至少部分地根據與所述至少一個匹配特徵相對的多個其他匹配特徵的數量，提供一個更高權重給所述至少一個匹配特徵。
【專利說明】通過計算裝置進行面部識別的方法和裝置
【【技術領域】】
[0001]本發明涉及面部識別。
【【背景技術】】
[0002]人臉識別、面部識別技術變得越來越普遍。例如，在社交網絡、圖像存儲和共享技術裡，面部識別功能正日益成為常見功能。例如，當照片上傳到社交網絡上或一些圖像存儲/分享網站上時，照片需要被掃描，需要識別人臉並與社交網絡上或圖像儲存/共享網站上其它用戶進行比對。面部識別還可以為安全領域提供好處。例如，某些設備可以提供面部識別技術，以訪問該設備的內容，如在鎖定屏幕時解鎖該設備。此外，面部識別技術還可在監視和/或警察工作等領域提供好處。例如，使用面部識別在監視視頻或一大群人中檢測出一個犯罪嫌疑人，凸顯了面部識別的潛在效用。
[0003]但是，也有許多因素會限制面部識別技術的有用性。例如，這些會妨礙面部識別匹配能力的因素包括:化妝，外觀上的改變、配飾和面部表情等等。另外，部分目標面孔可能部分模糊，這也會導致做面部識別匹配更加困難。 【【專利附圖】
【附圖說明】】
[0004]將參照以下描述非限制性和非窮盡的實施例，其中相同的附圖標記指代相同的部分，除非另有規定進行說明。
[0005]圖1顯示可能的面部圖像。
[0006]圖2顯示執行特徵匹配的一種方法。
[0007]圖3顯示一個實施例的特徵匹配的方法。
[0008]圖4顯示另一個實施例的面部識別匹配流程。
[0009]圖5顯示一個實施例的面部識別方法。
[0010]圖6顯示一個實施例的一個示例性面部識別功能。
[0011]圖7顯示一個實施例的另一個示例性面部識別功能。
[0012]圖8顯示一個實施例的計算設備的步驟圖。
【【具體實施方式】】
[0013]在以下詳細描述中陳述了許多具體細節，以對本發明主題有全面的了解。然而，所屬領域的技術人員將了解，可在沒有這些具體細節的情況下實踐本發明主題。在其它例子中，未詳細描述一般技術人員已知曉的方法、設備或系統，以免混淆本發明主題。
[0014]在整個說明書中，「一個實施例」或「一實施例」是指結合特定實施例而描述的特定特徵、結構或特性可包含在本發明主題的至少一個實施例中。因此，短語「在一個實施例中」或「一實施例」出現在整個此說明書中各個地方不一定意在指代同一實施例或所描述的任一特定實施例。此外，應了解，可在一個或一個以上實施例中以各種方式來組合所描述的特定特徵、結構或特性。當然，一般來說，這些和其它問題可隨用途的具體情形而變化。因此，描述的具體情形或者這些術語的用途可提供關於將對所述情形得出的推論的有益的指導。
[0015]在整個說明書中，可以參照一個「裝置」或者一個或多個「裝置」。如本文所使用的，「裝置」可以指能夠支持和/或促進本文討論的面部識別功能的任何設備、機器或製品。此外，即使一個具體描述是指一個「裝置」，也要理解為該功能性可以在多個裝置上執行且並不偏離本公開範圍。該描述也可以包括討論的一個或多個「計算設備」。如本文所用，「計算設備」指的是能夠執行後面討論的面部識別功能的任何一個或多個設備。一個計算設備可包括有指令在其上的非臨時性計算機可讀介質。該計算設備能夠執行非臨時性計算機可讀介質上的指令，以實施在此討論的面部識別功能。計算設備的非限制性例子包括:一個或多個客戶端計算機，一個或多個伺服器，筆記本電腦或桌上型電腦，平板電腦，智慧型手機，和/或它們通信聯網的任何組合(如一個計算系統)。事實上，與前面的描述相一致，計算設備包括能夠執行或參與面部識別性能的任何設備。將會結合圖8對計算設備進行更詳細的討論。
[0016]本發明的描述可以包括過程和/或方法描述。這些描述可以包括信號和/或狀態的存儲、傳輸和/或處理。面部識別過程包括這些信號和/或狀態的變換，使得它具有不同的功能和/或適於不同的用途。舉例來說，對應於一個目標圖像，接收信號和/或狀態，進行面部識別，將所接收的信號和/或狀態變換，以具有不同功能和/或適合於不同的使用(如面部識別)。
[0017]關於執行面部識別的方法和/或過程，本說明書中使用術語如「識別」、「面部識另IJ」、「面部識別匹配」，和/或「匹配」。在特定實施方式中，面部識別可以是指確定人臉出現、比較人臉和人臉記錄、和/或獲得一個識別人臉和人臉記錄裡的一個人臉之間的一個匹配的計算機實施過程。因此，「識別」、「面部識別匹配」和/或「匹配」可以是指獲得一個識別人臉和人臉記錄裡的一個人臉之間的一個匹配的方法和/或過程。可以理解，至少在某些情況下，所識別的人臉可以是從一個圖像裡識別的，其可以通過信號和/或狀態的組合來表示。例如，能夠進行面部識別的計算系統可能接收到包含一個或多個人臉的圖像。分析該圖像並識別人臉。該計算系統可以在面部識別過程中使用一個或多個檢測幀。如本文所用，檢測幀是指一個圖像的一個部分或子部分，用於執行面部識別功能。例如，一個圖像可以包括多個人臉，該圖像的一部分可以是通過一個檢測幀的方式來提取。
[0018]在一個特定的實施方式中，面部識別可指由一個或多個計算設備識別出面部的一個過程。在某些情況下，面部識別可以使用給定用戶的一個參考圖像101，以確定目標圖像102a或102b是否是給定用戶。例如，一個或多個計算設備可以訪問一個人的一個或多個與用戶A相關聯的圖像。例如，有可能有一個或多個資料庫包括用戶圖像，其可被用作參考圖像。與用戶A相關聯的一個或多個圖像中的任何一個圖像(或圖像的任意組合)可以是參考圖像，用於面部識別。例如，參照圖1，參考圖像101可以是與用戶A相關聯的一個或多個圖像。
[0019]一種方式是，一個或多個計算設備通過參照參考圖像101來識別目標圖像中的人。例如，一個或多個計算設備可以針對一個目標圖像102a，通過比較目標圖像102a和參考圖像101,確定目標圖像102a中的人臉是否是用戶A的面部。有一種情況，目標圖像102a中的人臉可能有參考圖像101中沒有的面部表情，例如，目標圖像102a中的嘴部區域有一個表情105b，但是在參考圖像101中沒有相應的匹配表情。在某些情況下，當參考圖像中的表情不匹配目標圖像中的表情時，一個或多個計算設備就無法識別臉部，即使目標圖像和參考圖像都是同一個人。這種情況，即使圖像目標和參考圖像是同一個人，如果目標圖像和參考圖像中的表情是不同的，那麼一個或多個計算設備也不能夠匹配或識別目標圖像中的人。因此，對於計算系統來說，任何可能的面部表情和/或面部扭曲會使臉部識別更具挑戰性。例如，如表情105a所示的皮膚表面的皺紋，可能在識別目標圖像102a裡人臉的過程中出現困難。當然，這只是面部表情可能會影響到面部識別過程的幾個例子和方式，本公開內容不應被理解為限制性意義。
[0020]這樣，在一個面部識別系統裡，除了面部表情會影響面部識別過程，配飾和/或變化也會使面部識別更具挑戰性。例如，參見圖1的目標圖像2，目標圖像裡的人可能會穿戴一些配飾，如眼鏡110，這會形成遮掩，或使得實現面部識別匹配更加困難。這些配飾包括但不限於驗光眼鏡、太陽眼鏡、帽子、面罩、頭巾、耳環、穿環、隱形眼鏡、圍巾等，都可能會影響到面部識別過程。類似於前面提到的面部表情的例子，目標圖像或參考圖像裡出現的一個或多個配飾會影響一個或多個計算設備進行面部識別匹配的能力。
[0021]此外，外貌的改變也會影響一個或多個計算裝置進行面部識別匹配的能力。例如，面部毛髮的生長(或去除)，如圖1所示的鬍鬚115，會給面部識別過程帶來挑戰。本申請考慮了外貌的任何變化，包括但不限於皮膚瑕疵、痣、胎記、燒傷、疤痕、割傷以及其它。
[0022]在一個實施例中，面部識別是將一個目標圖像的「特徵」跟一個參考圖像的特徵進行匹配的過程。本文所用的，特徵是指圖像裡面部的識別特徵或「標誌」。例如，特徵可以是指眼睛、鼻子、顴骨、顎、口等的大小、位置、和/或形狀。在一個實施例中，圖像裡的面部特徵可以是指皮膚詳情，如皺紋、疤痕、痣、酒窩、雀斑、胎記等。此外，特徵可以包括和/或是指「局部特徵」。局部特徵是指包括獨特紋理和/結構的局部面部圖像小塊。例如，眼角區域可以是一個局部特徵，可以與標誌(如一個或多個眼睛或鼻子)相比。應該注意，標誌(如眼睛)可以包括多個局部特徵。在一個實施例中，局部特徵可以通過使用特定過程和/或算法來檢測到，例如 Harris, Hessian, Harris-Laplace, Hessian-Laplace,尺度不變特徵變換(SIFT)，高斯差(DoG)，加速穩健特徵(SURF)，或最大穩定極值區域(MSER)及其它。
[0023]舉個例子，圖2包括目標圖像202和參考圖像201。可以對目標圖像202和參考圖像201執行一個過程或方法，使得目標圖像202裡的面部能夠被面部識別。在一個實施例中，該過程可以實時進行。該過程包括特徵的使用及其匹配。例如，可以在目標圖像202和參考圖像201裡找出一個或多個特徵。在一個實施例中，對找出的特徵進行比較，以確定是否有任何匹配的特徵。例如，目標圖像202的一個特徵220可以與參考圖像201的相應特徵(如特徵222a和222b)進行比較。
[0024]在一個實施例中，執行面部識別的過程可以包括將目標圖像202和參考圖像201劃分成多個區域。例如，可以將目標圖像和參考圖像中的面部進行縮放和/或居中，並使得面部被劃分為相等區域。在一個實施例中，在圖像中的一個或多個面部可以被安置在檢測幀的中心以方便麵部識別。如圖2所示，先找到目標圖像202裡的一個特徵，然後目標圖像202的相應區域225可與參考圖像201的相應區域(如區域226)進行比較。在一個實施例中，參考圖像201中的一個或多個找到特徵的各個區域也可以與上述目標圖像的相應區域進行比較。因此，與參考圖像的局部特徵222a和222b對應的區域可以與目標圖像中的對應區域進行比較。根據目標圖像和參考圖像的特徵/區域比較，判斷是否有一個面部識別匹配。例如，如果確定目標圖像和參考圖像沒有足夠的共同特徵，那麼可以判定不存在面部識別匹配。相反，如果匹配特徵的數量或分布滿足或超過某個閾值，那麼可以判定在目標圖像和參考圖像之間存在一個面部識別匹配。
[0025]在本發明另一個實施例中，無需將目標圖像和參考圖像劃分成固定區域，可以使用一個自適應的搜索窗口。例如，自適應搜索窗口可以是指目標圖像或參考圖像的一個具有適應性大小、形狀和/或位置的區域。在一個實施例中，自適應搜索窗口能夠被安置在目標圖像或參考圖像的給定特徵的中心，並且自適應搜索窗口可以與其它圖像的對應的自適應搜索窗口相比。在一個實施例中，一個將被匹配的特徵可以用做自適應搜索窗口的中心。
[0026]圖3顯示目標圖像302和參考圖像301。目標圖像302裡的一個特徵320被找出來，在參考圖像301裡使用一個自適應搜索窗口 328，以便於將特徵320匹配到參考圖像301裡的一個特徵。自適應搜索窗口 328的大小、形式和/或形狀可以是通過以下任何因子而定，包括但不限於所考慮特徵的大小、參考圖像301裡可能匹配特徵的數量、在特徵320區域內的特徵數目或分布、和/或圖像或檢測幀的大小。例如，在一個實施例中，可以選擇自適應搜索窗口 328，使得特徵322a、322b、322c落在自適應搜索窗口內。此外，在一個實施例中，自適應搜索窗口 328可以位於一個給定特徵的中心。
[0027]在一個實施例中，接收一個目標圖像用於面部識別。使用一個檢測幀來方便麵部識別過程。在目標圖像的檢測幀中檢測出多個特徵。至少部分地根據所檢測到的特徵，從資料庫選擇一個或多個參考圖像。在一個例子中，使用一個自適應搜索窗口，提取目標圖像的第一特徵，並與一個或多個參考圖像中的特徵進行比較。可以確定，至少部分地根據所述自適應搜索窗口，所述第一特徵在一個或多個參考圖像中有一個匹配。然後使用另一個自適應搜索窗口，提取目標圖像的第二個特徵，與一個或多個參考圖像中的特徵進行比較。可以確定，至少部分地根據自適應搜索窗口，所述第二特徵在一個或多個參考圖像中有一個匹配。其他特徵可以使用一個或多個自適應搜索窗口，進行比較，以確定他們在一個或多個參考圖像中是否有一個匹配。這個過程通常如圖4所述，並在以下段落中討論。
[0028]圖4顯示確定參考圖像和目標圖像之間面部識別匹配的方法400。在步驟405，從目標圖像和參考圖像中提取特徵。在某些情況下，參考圖像中的特徵可能已經找到了。在步驟410，如前所述，所提取的特徵可使用自適應搜索窗口進行匹配。接下來，在步驟415，在匹配特徵上進行區域相似度分布分析(RSDA)。RSDA是指對匹配特徵進行加權以得到一個面部識別匹配的置信度值(confidence value)的一個過程。例如，如果有大量的匹配特徵不符合一定條件，那麼可以判定該面部識別匹配的置信度不高。也就是，如果確定因為某些可能因素，匹配特徵不符合某些最低條件，那麼這些匹配特徵對整個面部檢測過程中的貢獻的權重可以減少。例如，匹配特徵的總權重或貢獻會產生一個置信度值，該值大致對應於在整體面部識別匹配中的統計置信度。同樣，如果確定匹配特徵符合某些最低條件，則這些匹配特徵的權重可以增加，從而可以提高置信度值。
[0029]圖5顯示本發明一個實施例的面部識別匹配流程500。請注意流程500將參照前面的和後續的附圖進行說明。在一個實施例中，流程500開始於步驟505，比較一個或多個目標圖像和一個或多個參考圖像，以確定一個匹配特徵池。確定匹配特徵已經在以上附圖1-4描述了。在一個例子中，當確定了匹配特徵時，它們可以被包含在一個匹配特徵池中。在一種情況下，使用一個自適應搜索窗口，如附圖3的自適應搜索窗口 328，以形成一個匹配特徵池。另一個例子，圖6(a)描述一個示範圖像，其顯示一個匹配特徵集合，如面部上的圓點和星點(如650a, 650b, 651a, 651b,和651c)所示。請注意特徵650a和650b被標記為星點以便於討論流程500，但標記為星點的特徵並不是不同於標記為圓點的其它特徵。在一個示例中，至少部分地根據一個或多個自適應搜索窗口如自適應搜索窗口 628，可以確定圖6(a)中的匹配特徵。
[0030]在步驟510，從匹配特徵池中提取一個特徵。在圖5，這被標記為第i個特徵，並在整個流程500內對每個後續循環而遞增(如i+1，i+2，, i+n)。因此，舉例來說，在一個實施例中，提取匹配特徵650a進行分析。在本實施例中，匹配特徵650a可以被傳遞下去以進一步處理和/或分析。在步驟515，確定該特徵是否是幾何孤立的。特徵的幾何隔離可以是指例如在一個自適應搜索窗口內，被提取的特徵周圍是否還有其它匹配特徵。因此，在一個實施例中，提取匹配特徵650a，並確定特徵650a是否是幾何隔離的。因此，在一個實施例中，如圖6(a)所示，在特徵650a附近還有其它匹配特徵(特徵651a和651b)。在這種情況下，特徵650a可以被確定為不是幾何隔離的。因此，在步驟515，流程500可以繼續到步驟525,更新可信度(credibility)。在一個例子中，在步驟525上的更新可信度包括提供一個更高的權重給匹配特徵。但是，在匹配特徵650b的例子中，在幾何隔離判定步驟515上，可以確定特徵650b是幾何隔離的，如圖6(a)和6(c)所示，然後流程500繼續到步驟520。在一種情況下，在步驟520上的降低可信度包括提供一個更低的或負的權重貢獻給匹配特徵。
[0031]在步驟525，更新面部識別匹配的可信度。面部識別匹配的可信度可以是指一個潛在面部識別匹配的可靠性。本發明公開了一個過程，每個匹配特徵進行比較，並分配給一個可信度或權重貢獻。然後，該過程使用所有匹配特徵的權重貢獻或權重的總和，以形成一個面部識別匹配的整體可信度。在一個實施例中，面部識別匹配的可信度可以通過以下公式建模:
【權利要求】
1.一種通過計算裝置進行面部識別的方法，本方法包括: 通過所述計算裝置的處理器，識別一個目標圖像的一個或多個特徵； 通過所述處理器將所述目標圖像的一個或多個特徵中的至少一個特徵與一個參考圖像的一個或多個特徵進行匹配； 通過所述處理器確定至少一個匹配特徵的一個權重貢獻；和 通過所述處理器，部分地根據所述至少一個匹配特徵的權重貢獻，確定一個面部識別匹配的可信度，其中確定一個權重貢獻包括:至少部分地根據與所述至少一個匹配特徵相對的多個其他匹配特徵的數量，提供一個更高權重給所述至少一個匹配特徵。
2.如權利要求1所述的方法，其中所述確定一個權重貢獻包括:至少部分地根據到一個或多個其他匹配特徵的距離，提供一個更高權重給所述至少一個匹配特徵。
3.如權利要求1所述的方法，其中匹配所述一個或多個特徵中的至少一個特徵包括:使用一個自適應窗口。
4.如權利要求1所述的方法，其中所述確定一個權重貢獻包括:至少部分地根據一個幾何隔離判定，提供一個更低權重給所述至少一個匹配特徵。
5.如權利要求3所述的方法，還包括:將所述自適應窗口的中心置於所述至少一個匹配特徵上。
6.如權利要求1所述的方法，還包括: 至少部分地根據一個檢測幀的匹配面積對表面積的比率，確定一個利用率。
7.如權利要求6所述的方法，還包括:至少部分地根據所述利用率，確定面部識別匹配的一個最終相似度因子。
8.如權利要求3所述的方法，其中所述自適應窗口是一個半徑介於
9.如權利要求1所述的方法，其中所述至少一個匹配特徵包含在一個匹配特徵池裡。
10.一種裝置，其包括一個其上有指令的非臨時性計算機可讀介質，所述指令可被執行以: 識別一個目標圖像的一個或多個特徵； 使用一個自適應窗口，將所述目標圖像的一個或多個特徵中的至少一個特徵與一個參考圖像的一個或多個特徵進行匹配； 確定至少一個匹配特徵的一個權重貢獻；和 至少部分地根據所述至少一個匹配特徵的權重貢獻，確定一個面部識別匹配的可信度。
11.如權利要求10所述的裝置，其中可執行確定一個權重貢獻的指令還包括:至少部分地根據到一個或多個其他匹配特徵的距離，提供一個更高權重給所述至少一個匹配特徵。
12.如權利要求11所述的裝置，其中所述可執行確定一個權重貢獻的指令還包括:至少部分地根據也在所述自適應窗口內的多個其他匹配特徵的數量，提供一個更高權重給所述至少一個匹配特徵。
13.如權利要求11所述的裝置，其中所述可執行確定一個權重貢獻的指令還包括:至少部分地根據一個幾何隔離判定，提供一個更低權重給所述至少一個匹配特徵。
14.如權利要求11所述的裝置，其中所述可執行使用一個自適應窗口將一個或多個特徵中的至少一個特徵匹配的指令還包括:將所述自適應窗口的中心置於所述至少一個匹配特徵上。
15.如權利要求10所述的裝置，其中所述指令還包括: 至少部分地根據一個檢測幀的匹配面積對表面積的比率，確定一個利用率。
16.如權利要求15所述的裝置，其中所述指令還包括:至少部分地根據所述利用率，確定面部識別匹配的一個最終相似度因子。
17.—種通過計算裝置進行面部識別的方法，包括: 通過一個計算裝置的處理器，使用一個自適應窗口，將一個目標圖像的至少一個特徵與一個參考圖像的至少一個特徵進行匹配； 通過所述處理器，確定所述至少一個特徵的匹配的一個權重貢獻；和 通過所述處理器，至少部分地根據所述至少一個匹配特徵的權重貢獻，確定一個面部識別匹配的可信度。
18.如權利要求17所述的方法，其中確定一個權重貢獻包括:至少部分地根據到一個或多個其他匹配特徵的距離，提供一個更高權重給所述至少一個匹配特徵。
19.如權利要求17所述的方法，其中所述確定一個權重貢獻包括:至少部分地根據在自適應窗口內的多個其他匹配特徵的數量，提供一個更高權重給所述至少一個匹配特徵。
20.如權利要求17所述的方法，其中所述確定一個權重貢獻包括:至少部分地根據一個幾何隔離判定，提供一個更低權重給所述至少一個匹配特徵。
【文檔編號】G06K9/00GK104021380SQ201410262274
【公開日】2014年9月3日 申請日期:2014年6月12日 優先權日:2014年5月2日
【發明者】胡金暉, 田藝, 陳珉 申請人:香港應用科技研究院有限公司