圖像中最大人臉的跟蹤裝置和方法
2023-10-23 15:39:32 1
專利名稱：圖像中最大人臉的跟蹤裝置和方法
技術領域：
本發明涉及圖像處理技術，具體地說，是涉及一種圖像中最大人臉的跟 蹤裝置和方法。
背景技術：
近年來，隨著模式識別技術的發展，在計算機視覺和圖像處理技術領域， 獲取圖像或者視頻中的人臉信息在諸如人機互動、安全、娛樂等領域都具有 重要的應用。因此，從圖像中自動獲取人臉的數目、大小、位置信息並進行 跟蹤的技術，受到了極大的重視。
現有的人臉跟蹤技術一般都會首先採用人臉檢測確定圖像中存在的人 臉，繼而採用人臉跟蹤技術對目標人臉進行跟蹤。在很多視頻圖像處理的應
用中，往往只關心視頻中最大的人臉，比如基於人臉信息進行AE (Auto-Exposure,自動曝光)、AF (Auto-Focus，自動對焦)和AWB (Auto WhiteBalance，自動白平衡調整)、視力保護、數字放大人臉區域，以及人 臉識別等應用也往往只關心視頻中最大的人臉。而現有的人臉跟蹤技術，有 些方法只能跟蹤一個人臉，而且也不關心跟蹤目標是否是最大的人臉，另一 些方法雖然能夠跟蹤多個人臉，但對於上述只需要確定並跟蹤最大人臉的應 用存在冗餘運算。
綜上所迷，有必要提供一種快速跟蹤圖像中最大人臉的裝置和方法。
發明內容
本發明所要解決的技術問題是在於需要提供一種圖像中最大人臉的跟 蹤裝置和方法，以減小運算複雜度，提高運行效率。
為了解決上述技術問題，本發明首先提供了一種圖像中最大人臉的跟蹤 裝置，包括
檢測模塊，用於對當前幀進行最大人臉檢測；
跟蹤隊列存儲模塊，與所述檢測模塊相連，用於存儲檢測到的最大人臉 所對應的人臉框；
人臉框記錄更新模塊，與所述跟蹤隊列存儲模塊相連，用於根據當前幀 檢測到的最大人臉所對應的人臉框，對所述跟蹤隊列存儲模塊保存的對應於 同一個人臉的人臉框記錄進行匹配更新；
跟蹤模塊，與所述跟蹤隊列存儲模塊相連，用於在所述跟蹤隊列存儲模 塊所保存的人臉框中進行最大人臉跟蹤。
如上所述的圖像中最大人臉的跟蹤裝置，所述檢測模塊可以包括
檢測器預設子模塊，用於預設一個人臉檢測器的尺度；
尺度級數生成子模塊，用於獲得一系列尺度級數；
檢測器生成子模塊，與所述檢測器預設子模塊和尺度級數生成子模塊相 連，根據預設尺度的人臉檢測器，採用特徵放縮的方式得到不同尺度的一系 列人臉檢測器；
檢測執行子模塊，與所述檢測器生成子模塊相連，按照由大尺度到小尺 度的順序，依次採用所述一系列人臉檢測器對當前幀進行最大人臉檢測，首 次檢測到的人臉即為當前幀最大人臉。
本發明進而提供了 一種圖像中最大人臉的跟蹤方法，包括步驟
(1) 根據預設尺度的人臉檢測器和一系列尺度級數，採用特徵放縮的 方式得到不同尺度的 一 系列人臉檢測器；
(2) 如果當前幀為跟蹤處理的第一幀，或者上一幀沒有檢測到人臉， 則釆用步驟(1)中得到的所述一系列人臉檢測器在當前幀全圖範圍內進行 最大人臉^r測；
如果上一幀檢測到最大人臉，則根據上一幀檢測到最大人臉所使用的檢 測器尺度和檢測到最大人臉的人臉框位置，確定當前幀人臉檢測器尺度範圍 及檢測範圍，並根據所述當前幀人臉檢測器尺度範圍中的人臉檢測器，在當前幀所述檢測範圍內進行最大人臉才企測；
(3 )將檢測到的最大人臉所對應的人臉框添加到最大人臉跟蹤隊列中， 並將所對應的人臉框與所述跟蹤隊列中所有人臉框記錄進行匹配，
如果匹配到對應於同 一個人臉的人臉框記錄，則採用所述檢測到的最大 人臉所對應的人臉框更新所述跟蹤隊列中的對應於同 一個人臉的人臉框記 錄；
如果沒有匹配到對應於同一個人臉的人臉框記錄，則將檢測到的最大人
臉所對應的人臉框作為新的記錄添加到所述跟蹤隊列中；
(4)在所述跟蹤隊列中確定當前跟蹤的最大人臉，並將圖像的下一幀 作為當前幀，返回步驟(2)繼續執行。
如上所述的圖像中最大人臉的跟蹤方法，步驟(1)中所述得到不同尺 度的一系列人臉檢測器的步驟，可以包括
設定人臉檢測器的預設尺度, —系列尺度級數M:和檢測尺度放縮因 子"，採用特徵放縮的方式得到不同尺度的一 系列人臉檢測器。
進一步地，設定最大檢測尺度A^OF、最小檢測尺度M/AF,獲得所述 一系列尺度級數TVl,可以包括步驟
(1 )才艮據所述Aff、 M4AF 、 MZ VF和M ,獲得滿足MS^5^wi《yi^yp的 最大整數M,滿足M"61,2 >必OF的最小整數W2;
(2)獲得所述一系列尺度級數M;，其中最大尺度級數為7V2，最小尺 度級數為tV1。
如上所述的圖像中最大人臉的跟蹤方法，步驟(2)中所述在當前幀全 圖範圍內進行最大人臉檢測的步驟，可以包括
由大尺度到小尺度，順序採用所述一系列人臉檢測器在當前幀全圖範圍 內進行最大人臉檢測，首次檢測到的人臉即為當前幀最大人臉。
如上所述的圖像中最大人臉的跟蹤方法，步驟(2)中所述根據上一幀 檢測到最大人臉所使用的檢測器尺度和檢測到最大人臉的人臉框位置，確定 當前幀人臉才僉測器尺度範圍及檢測範圍的步驟，可以包括
對所述上一幀檢測到最大人臉所使用的檢測器尺度進行比例縮放，確定 包含所述上一幀檢測到最大人臉所使用的檢測器尺度的所述當前幀人臉檢
測器尺度範圍；
根據上一幀檢測到最大人臉的人臉框位置，確定當前幀檢測範圍中心點 的4黃坐標和縱坐標；
對上一幀檢測到最大人臉的人臉框大小，或者所述上一幀;險測到最大人 臉所使用的檢測器尺度進行比例縮放，確定當前幀檢測範圍的寬度和高度。
進一步地，步驟(2)中根據所述當前幀人臉檢測器尺度範圍中的人臉 檢測器，在當前幀所述檢測範圍內進行最大人臉檢測的步驟，可以包括
以所述上一幀檢測到最大人臉所使用的檢測器尺度為中心向兩側擴展， 採用所述當前幀人臉檢測器尺度範圍內的所有人臉檢測器，對所述當前幀檢 測範圍進行檢測，首次檢測到的人臉即為當前幀最大人臉。
如上所述的圖像中最大人臉的跟蹤方法，步驟(3)中將所對應的人臉 框與所述跟蹤隊列中所有人臉框記錄進行匹配的步驟，可以包括
(31)計算所述所對應的人臉框與所述跟蹤隊列所有人臉框的中心距離 並進行歸一化，得到歸一化中心距離；
(32 )計算所述所對應的人臉框與所述跟蹤隊列中所有人臉框的大小比
例；
(33 )如果所述跟蹤隊列中含有所述歸一化中心距離小於等於預設的距 離閾值且所述大小比例小於等於預設的比例閾值的人臉框記錄，則所述跟蹤 隊列中含有與所述所對應的人臉框對應於同一個人臉的人臉框記錄，否則所 述跟蹤隊列中沒有與所述所對應的人臉框對應於同一個人臉的人臉框記錄。
如上所述的圖像中最大人臉的跟蹤方法，步驟(3)可以進一步包括
將所述跟蹤隊列中與當前幀檢測到的最大人臉對應的人臉框表示檢測 到最大人臉的檢測幀數加1，沒有檢測到人臉的漏檢幀數置零，並將檢測到 最大人臉的當前時間記錄為結束時間；
如果在當前幀沒有檢測到最大人臉，則將所述跟蹤隊列中所有人臉框記 錄表示沒有檢測到人臉的漏檢幀數加1。
進一步地，步驟(4)中在所述跟蹤隊列中確定當前跟蹤的最大人臉的
步驟，可以包括
所述跟蹤隊列中所述檢測幀數大於預設的檢測幀數閾值，所述漏檢幀數 小於預設的漏檢幀數閾值，且所述結束時間最新的人臉框記錄作為當前跟蹤 的最大人臉框，所述當前跟蹤的最大人臉框對應的人臉為所述當前跟蹤的最 大人臉。
更進一步地，步驟(4)進一步可以包括
刪除所述跟蹤隊列中所述漏檢幀數大於所述漏檢幀數閾值的人臉框記錄。
與現有技術相比，本發明通過上一幀檢測到最大人臉的人臉框及所在位 置，來輔助當前幀的最大人臉檢測，減小了運算複雜度，提高了跟蹤速度。
圖l是本發明最大人臉跟蹤裝置實施例的組成示意圖。
圖2是圖1所示本發明裝置中檢測模塊實施例的組成示意圖。
圖3是本發明最大人臉跟蹤方法實施例的步驟示意圖。
具體實施例方式
以下將結合附圖及實施例來詳細說明本發明的實施方式，藉此對本發明 如何應用技術手段來解決技術問題，並達成技術效果的實現過程能充分理解 並據以實施。
本發明的基本思想是採用快速的最大人臉檢測技術獲得圖像中存在的 最大人臉，並將不同幀中得到的人臉進行匹配，得到最大人臉在視頻中的連 續的位置和大小。為了進一步減少運算量，可以釆用上一幀檢測到最大人臉 框時所使用的檢測器尺度，以及檢測到的該最大人臉框的位置和大小，來確 定檢測當前幀最大人臉框需要使用的檢測器尺度範圍，以及當前幀檢測最大 人臉的位置範圍。
對於低速運動的人體來說，在相鄰兩幀所對應的這一短時間內，人臉的
移動距離是有限的，而且一般來說這相鄰兩幀內人臉尺寸的變化也不會太 大，基於這樣的常識性知識，可以藉助上一幀中檢測到人臉的相應信息，來 輔助當前幀的人臉4企測。
基於本發明基本思想，圖1示出了本發明最大人臉跟蹤裝置實施例的結
構示意，包括如下模塊
4企測才莫塊10,用於對當前幀進行最大人臉檢測；
跟蹤隊列存儲模塊20,與檢測模塊10相連，用於存儲檢測到的最大人 臉所對應的人臉框；
人臉框記錄更新模塊30，與跟蹤隊列存儲模塊20相連，用於根據當前 幀檢測到的最大人臉所對應的人臉框，對跟蹤隊列存儲模塊20中保存的對 應於同 一個人臉的人臉框記錄進行匹配更新；
跟蹤模塊40,與跟蹤隊列存儲模塊20相連，用於在跟蹤隊列存儲模塊 20所保存的人臉框中進行最大人臉跟蹤。
如圖2所示，檢測模塊10可以進一步分為如下子模塊
檢測器預設子模塊110，用於預設一個人臉檢測器的尺度；
尺度級數生成子模塊120，用於獲得一系列尺度級數；
檢測器生成子模塊130,與檢測器預設子模塊110和尺度級數生成子模 塊120相連，根據預設尺度的人臉檢測器，採用特徵;改縮的方式得到不同尺 度的一系列人臉檢測器；
檢測執行子模塊140,與檢測器生成子模塊130相連，按照由大尺度到 小尺度的順序，依次採用所述一系列人臉檢測器對圖像進行最大人臉檢測， 首次檢測到的人臉即為當前幀最大人臉。
以下通過本發明方法來詳細理解本發明裝置實施例的具體操作方式。圖 3示出了本發明方法的一個實施例，包括步驟
步驟310，根據上一幀檢測到最大人臉框所使用的檢測器尺度和檢測到 的最大人臉框所在位置，來確定當前幀最大人臉框的檢測器尺度範圍和當前 幀最大人臉框的檢測範圍，其中最大人臉框的大小與所使用的檢測器尺度是 對應的；
步驟320,根據確定的當前幀最大人臉框的檢測器尺度範圍內的檢測器， 在確定的當前幀最大人臉框的檢測範圍內，對當前幀進行最大人臉檢測；
步驟330，如果在確定的當前幀最大人臉框的檢測範圍內檢測到最大人 臉，則轉步驟340,否則轉步驟350;
步驟340，將檢測到最大人臉所對應的人臉框保存到最大人臉跟蹤隊列 中，判斷該隊列中是否已保存有與該人臉框對應於同一個人臉的人臉框記 錄，如果有則轉步驟341，沒有則轉步驟342;
步驟341,用所檢測到最大人臉所對應的人臉框對該隊列中對應於同一 個人臉的人臉框記錄進行更新，將隊列中該人臉框用於記錄成功檢測到最大 人臉的檢測幀數加1 ，用於記錄沒有成功檢測到最大人臉的漏檢幀數置為零， 並將檢測到最大人臉的當前時間記錄為新的結束時間，然後轉步驟380繼續 執行；
步驟342，將所檢測到最大人臉所對應的人臉框作為一條新記錄，保存 到最大人臉跟蹤隊列中，將對應於這條新記錄的檢測幀數加1，漏檢幀數置 為零，並將檢測到最大人臉的當前時間記錄為新的結束時間，轉步驟380繼 續執行；
步驟350,採用預設的所有尺度的檢測器對當前幀進行全圖檢測，避免 因為檢測範圍不當或者檢測器尺度不當而輸出不正確的結果；
步驟360，如果在全圖範圍內檢測到最大人臉，則轉步驟340，否則轉 步驟370;
步驟370,將跟蹤隊列中所有人臉框記錄的漏檢幀數加1，且保持所有 人臉框記錄的檢測幀數不變，轉步驟380繼續執行；
步驟380,將最大人臉跟蹤隊列中檢測幀數大於預設的檢測幀數閾值 TC,漏檢幀數小於預設的漏檢幀數閾值TM,並且結束時間最新的那個人臉 框記錄作為當前最大人臉框，對應的人臉即為當前跟蹤的最大人臉。
完成當前幀的檢測和跟蹤之後，將下一幀圖像作為當前幀，返回步驟 310,繼續檢測並跟蹤圖像中的最大人臉。
本發明方法操作開始時，需要將最大人臉跟蹤隊列初始化為空，還需要
將記錄成功檢測到最大人臉的檢測幀數和用於記錄沒有成功檢測到最大人
臉的漏;險幀悽t。
上述實施例中，需要用到最大人臉檢測技術，即對於限定圖像檢測範圍， 採用限定尺度的人臉檢測器，來檢測該檢測範圍內的最大尺度的人臉。本發 明方法給出 一種對限定檢測範圍進行最大人臉檢測的方法，包括如下步驟
(a) 根據預設尺度的人臉檢測器和一系列尺度級數，採用特徵放縮的 方式得到不同尺度的 一 系列人臉檢測器；
(b) 按照由大尺度到小尺度的順序，依次採用所述一系列人臉檢測器 對所述圖像進行檢測，在檢測到第一個人臉後退出處理，該檢測到的第一個 人臉即為最大人臉。
其中步驟(a)中採用特徵放縮的方式得到不同尺度的一系列人臉檢測 器的一種較優的實現方法是，首先預設一個人臉檢測器的尺度M9 (包括寬 度和高度)， 一系列尺度級數臉及一個檢測尺度放縮因子M，其中一系列 尺度級數為互不相等的多個正整數，由此即可得到不同尺度的 一 系列人臉檢 測器。對於某一個尺度級數n而言，對應的檢測器尺度為i Ot/M)(MS* W), 其中/ Ot/M)為四捨五入運算符。對於不同的人臉檢測器，特徵放縮的方式 也不同，下面基於微結構特徵(Haar-like Features)和層次型自適應增強 (Adaboost)分類器的人臉檢測方法的實施例，來說明檢測器特徵放縮的方 法。
在文獻P. Viola and M. Jones. Robust real time object detection. IEEE ICCV Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada, July 13, 2001中Voila等提出了 一種基於微結構特徵 和層次型自適應增強分類器的人臉檢測技術。首先，採用訓練的方法得到一 個固定尺度的人臉檢測器，比如訓練好的人臉檢測器的寬度和高度分別為 MW和MH (Viola採用的MW-24, MH=24 ),為了能夠4全測到不同大小、 不同位置的人臉，需要對訓練好的模型進行特徵放縮，以得到不同尺度的一 系列人臉檢測器。假定檢測尺度放縮因子仍然為M,則採用特徵放縮的方 式放縮得到的 一 系列不同尺度的分類器的寬度和高度分別為 ^^M 0^^^n)和i O/A^0W^Wy1)。其中，n為大於等於0的整數，表示 人臉檢測器的尺度級數，i Ot/MD表示對括號內的數值進行四捨五入取整運 算。依次對檢測器中的微結構特徵進行比例為ir的放縮，就得到了相應尺 度的人臉檢測器。
上述本發明方法實施例中，將檢測到的最大人臉所對應的人臉框與跟蹤 隊列中所有人臉框進行匹配的一種可行方案為
有支定當前幀4會測到的人臉框為取cr '， c/ >',力')，其中'和'分別表示該 人臉框的中心點在圖像中的橫坐標和縱坐標，w'和力'分別表示該人臉框矩形 的寬和高；最大人臉跟蹤隊列中的人臉框為W(cra， cjot， wot,力m)，其中con和
《卿分別表示該人臉框的中心點在圖像中的橫坐標和縱坐標，W7和力/77分別
表示該人臉框矩形的寬和高。
那麼，當前幀檢測到的人臉框與最大人臉跟蹤隊列中的人臉框的中心距
離c必^^時((c扁-cz')2+toOT-c力2),歸一化中心距離為，。二者的大小比
例為
^二mm一'，麗) (式l) 其中mm為取最小值操作，max為取最大值操作。
基於前述的常識性知識，在短時間內人的移動距離是有限的，而且相鄰 兩幀內人臉尺寸的變化不會太大，因此可以得出
如果跟蹤隊列中某一個人臉框記錄滿足^《r"ZS1,而且5^《7X/ ，其
中rzffi"為設定的歸一化距離的閾值，r雙為設定的尺度比例的閾值，那麼 則認為二者是同 一個人在不同幀中的人臉，並對該人臉框信息進行更 新，r雙較優地可以在(o, i)的範圍內取值，否則認為二者不是同一個人 臉對應的人臉框。
上述本發明方法實施例中，tc和tm為大於零的常數，較優的例如取
tc為4， tm為2，當然也可以為其他值，本發明並不以此為限。如果其中 某個人臉框記錄的檢測失敗幀數大於閾值tm，則將其從最大人臉跟蹤隊列 中刪除。
在本發明方法的一個應用實例中，用來進行跟蹤最大人臉的一系列人臉
檢測器，為跟蹤操作之前直接設定，根據尺度由大到小分別為M5、 .....
71/1， M5 M1共五個尺度均不相同。4艮設上一幀;險測到最大人臉，且使用的 是Af 3這個尺度的檢測器，檢測到的最大人臉所對應的人臉框為辨",cy,，力)， 其中c;r和^分別表示該人臉框的中心點在圖像中的橫坐標和縱坐標，w和力 分別表示該人臉框矩形的寬和高。
在對當前幀進行檢測時，根據尺度確定當前幀人臉檢測器的尺度為 、 和，根據最大人臉框i (o:,cy，w,力)確定當前幀檢測範圍為 ^SX&r，i7,附，歷)，其中雙二cr， = 分別為當前幀衝企測範圍中心點的牙黃 坐標和縱坐標，附=^^為檢測範圍的寬度，歷二力*/3為檢測範圍的高度， a和/3為常數，為了適當放大檢測範圍，a和/3較優地取大於1的常數，本實 例當中取1.5。另外，在本發明的其他應用實例當中，確定當前幀4企測範圍 的方法，也可以是根據以上一幀檢測到的最大人臉框的中心位置上，對該檢 測到的最大人臉框的尺度進行各種形式的適當縮放而得到。
在本發明方法的另 一個應用實例當中，用來進行跟蹤最大人臉的一 系列 人臉檢測器是根據預設參數來獲得的，具體地，首先預設一個尺度為AfS的 人臉檢測器，然後設定最大檢測尺度MOF 、最小檢測尺度M/VF以及檢測 尺度放縮因子M，再分別獲得滿足MS^^w1《M/AF的最大整數Aa,和滿足 Aff*5^w2 > m4^7t的最小整數at2,這樣就得到了大於等於M且小於等於
W2的一系列整數，用iVl^A^7V2來表示，其中的iV為整數。這些整數分別 對應人臉檢測器尺度級數，其中最大尺度級數為W2，最小尺度級數為yVl。 根據這些尺度級數以及預設人臉檢測器的尺度m ,就可以獲得不同尺度的 一系列人臉檢測器，用ms^^w表示。
假設上一幀檢測到最大人臉所使用的人臉檢測器為的尺度MS^M旭，也 即所使用的人臉檢測器對應尺度級數為,那麼以M:為中心分別向兩側擴 展得到若干個檢測器尺度級數，在本應用實例當中為[TV(l-力，Wa +別，對 應這若干個尺度級數，得到的當前幀檢測器尺度範圍為從MS"*^w"^到
在本應用實例當中，確定當前幀檢測範圍的方式，也是使用上一個應用 實例中確定檢測範圍的方式。
在使用從M5" W岸,到^^^W"a)的人臉檢測器對當前幀進行檢測 時，本應用實例按照以級數為vVl為中心逐漸向兩側擴展的方式，分別對當 前幀所確定的檢測範圍進行檢測，如果某矩形框被判定為人臉框，則退出，
將其確定為當前檢測到的最大人臉框，否則繼續處理，直到從7VU-力到
va+力所有尺度級數所對應的檢測器都檢測完畢。
在本發明方法的其他實施例當中，確定當前幀人臉^r測器尺度範圍的方 法，還可以根據上一幀檢測到的最大人臉所對應的人臉框來實現。仍然假設 上一幀檢測到的最大人臉所對應的人臉框為i (cz,c/,，力)，可以根據該人臉框 的寬度w或高度力來確定，比如根據w,則確定當前幀檢測器尺度範圍為為 [^*雙0，*雙1]，其中雙O是當前幀在確定的檢測範圍內所使用的最小尺度級 數相對上一幀檢測到最大人臉所使用的尺度級數的比例常數，較優地比如取 0.5, 是當前幀在確定的檢測範圍內所使用的最大尺度級數相對上一幀檢 測到最大人臉所使用的尺度級數的比例常數，較優地比如取2。
上述當前幀的檢測器尺度範圍是以w為例來確定的，實際上也可選擇通 過力來確定，也即本發明跟蹤方法中，當前幀的檢測器尺度範圍，可以是對 上一幀檢測到的最大人臉框的大小進行適當比例的縮放而得到。另外，由於 檢測到的最大人臉所對應的人臉框的大小(寬度與高度)，與所使用的檢測 器的尺度(寬度和高度)是對應的，因此根據檢測到最大人臉所對應的人臉 框進行縮放，與根據檢測到最大人臉所使用的人臉檢測器進行縮放，原理是 一樣的。
本發明跟蹤最大人臉所對應的最大人臉框，不僅是圖像中的最大人臉， 而且具有一定的持續性，對於採用人臉進行AE， AWB， AF等應用都具有 使用價值。對於出現次數少於TC的人臉，認為為幹擾，避免檢測算法誤檢 引起的錯誤。失敗次數閾值TM的設定，避免由於偶爾的失敗而無法跟蹤的 情況。最大人臉跟蹤隊列中不只一個人臉，保證了當前面的最大人臉消失時， 其他人臉會被檢測為最大人臉。
現有方法跟蹤最大人臉時，需要對各個尺度和位置進行檢測，處理速度 很慢。本發明最大人臉檢測方法首先從檢測結構上，先處理大尺度，然後處 理小尺度，並且檢測到一個人臉後就退出檢測過程，提高了檢測效率。進一步，在人臉跟蹤處理過程中，根據已經檢測到人臉的大小和位置信息縮小跟 蹤檢測的大小範圍和位置範圍，加速運算。而且，還可以根據相鄰幀間人臉 的位置和大小關係確定兩個人臉是否為同 一個人臉。
雖然本發明所揭露的實施方式如上，但所述的內容只是為了便於理解本 發明而採用的實施方式，並非用以限定本發明。任何本發明所屬技術領域內 的技術人員，在不脫離本發明所揭露的精神和範圍的前提下，可以在實施的 形式上及細節上作些許的更動與潤飾，但本發明的專利保護範圍，仍須以所 附的權利要求書所界定者為準。
權利要求
1、一種圖像中最大人臉的跟蹤裝置，其特徵在於，包括檢測模塊，用於對當前幀進行最大人臉檢測；跟蹤隊列存儲模塊，與所述檢測模塊相連，用於存儲檢測到的最大人臉所對應的人臉框；人臉框記錄更新模塊，與所述跟蹤隊列存儲模塊相連，用於根據當前幀檢測到的最大人臉所對應的人臉框，對所述跟蹤隊列存儲模塊保存的對應於同一個人臉的人臉框記錄進行匹配更新；跟蹤模塊，與所述跟蹤隊列存儲模塊相連，用於在所述跟蹤隊列存儲模塊所保存的人臉框中進行最大人臉跟蹤。
2、 如權利要求1所述的圖像中最大人臉的跟蹤裝置，其特徵在於，所 述檢測模塊包括檢測器預設子模塊，用於預設一個人臉檢測器的尺度；尺度級數生成子模塊，用於獲得一系列尺度級數；檢測器生成子模塊，與所述檢測器預設子模塊和尺度級數生成子模塊相 連，根據預設尺度的人臉檢測器，採用特徵放縮的方式得到不同尺度的一系 列人臉檢測器；檢測執行子模塊，與所述檢測器生成子模塊相連，按照由大尺度到小尺 度的順序，依次釆用所述一系列人臉檢測器對當前幀進行最大人臉檢測，首 次檢測到的人臉即為當前幀最大人臉。
3、 一種圖像中最大人臉的跟蹤方法，其特徵在於，包括步驟(1) 根據預設尺度的人臉檢測器和一系列尺度級數，採用特徵放縮的 方式得到不同尺度的 一 系列人臉檢測器；(2) 如果當前幀為跟蹤處理的第一幀，或者上一幀沒有檢測到人臉， 則採用步驟(1)中得到的所述一系列人臉檢測器在當前幀全圖範圍內進行 最大人臉檢測； 如果上一幀檢測到最大人臉，則根據上一幀檢測到最大人臉所使用的檢 測器尺度和檢測到最大人臉的人臉框位置，確定當前幀人臉檢測器尺度範圍 及檢測範圍，並根據所述當前幀人臉檢測器尺度範圍中的人臉檢測器，在當前幀所述4全測範圍內進行最大人臉4企測；(3 )將檢測到的最大人臉所對應的人臉框添加到最大人臉跟蹤隊列中， 並將所對應的人臉框與所述跟蹤隊列中所有人臉框記錄進行匹配，如果匹配到對應於同一個人臉的人臉框記錄，則採用所述檢測到的最大 人臉所對應的人臉框更新所述跟蹤隊列中的對應於同一個人臉的人臉框記 錄；如果沒有匹配到對應於同一個人臉的人臉框記錄，則將檢測到的最大人臉所對應的人臉框作為新的記錄添加到所述《艮蹤隊列中；(4)在所述跟蹤隊列中確定當前跟蹤的最大人臉，並將圖像的下一幀 作為當前幀，返回步驟(2)繼續執行。
4、 如權利要求3所述的圖像中最大人臉的跟蹤方法，其特徵在於，步 驟(1 )中所述得到不同尺度的 一 系列人臉檢測器的步驟，包括設定人臉檢測器的預設尺度MS1, —系列尺度級數和檢測尺度放縮因 子M ,採用特徵放縮的方式得到不同尺度的一系列人臉檢測器。
5、 如權利要求4所述的圖像中最大人臉的跟蹤方法，其特徵在於，進 一步地設定最大檢測尺度M4，、最小檢測尺度M/A^，獲得所述一系列尺 度級數M:,包括步驟(1 )才艮據所述MS"、 MAiF 、 7kfflVF和W,獲得滿足MS^i^w《7kfflV屍的 最大整數TVl,滿足MS^i^w2 >規4AF的最小整數iV2;(2)獲得所述一系列尺度級數服，其中最大尺度級數為7V2，最小尺 度級數為7V1 。
6、 如權利要求3所述的圖像中最大人臉的跟蹤方法，其特徵在於，步 驟(2)中所述在當前幀全圖範圍內進行最大人臉檢測的步驟，包括由大尺度到小尺度，順序採用所述一 系列人臉檢測器在當前幀全圖範圍 內進行最大人臉檢測，首次檢測到的人臉即為當前幀最大人臉。
7、 如權利要求3所述的圖像中最大人臉的跟蹤方法，其特徵在於，步 驟(2)中所述根據上一幀檢測到最大人臉所使用的檢測器尺度和檢測到最 大人臉的人臉框位置，確定當前幀人臉檢測器尺度範圍及檢測範圍的步驟， 包括對所述上一幀檢測到最大人臉所使用的檢測器尺度進行比例縮放，確定 包含所述上一幀檢測到最大人臉所使用的檢測器尺度的所述當前幀人臉檢 測器尺度範圍；根據上一幀檢測到最大人臉的人臉框位置，確定當前幀檢測範圍中心點 的牙黃坐標和縱坐標；對上一幀檢測到最大人臉的人臉框大小，或者所述上一幀檢測到最大人 臉所使用的檢測器尺度進行比例縮放，確定當前幀檢測範圍的寬度和高度。
8、 如權利要求7所述的圖像中最大人臉的跟蹤方法，其特徵在於，步 驟(2)中根據所述當前幀人臉檢測器尺度範圍中的人臉檢測器，在當前幀 所述檢測範圍內進行最大人臉檢測的步驟，包括以所述上一幀檢測到最大人臉所使用的檢測器尺度為中心向兩側擴展， 採用所述當前幀人臉檢測器尺度範圍內的所有人臉檢測器，對所述當前幀檢 測範圍進行檢測，首次;險測到的人臉即為當前幀最大人臉。
9、 如權利要求3所述的圖像中最大人臉的跟蹤方法，其特徵在於，步 驟(3)中將所對應的人臉框與所述跟蹤隊列中所有人臉框記錄進行匹配的 步驟，包括(31)計算所述所對應的人臉框與所述跟蹤隊列所有人臉框的中心距離 並進行歸一化，得到歸一化中心距離；(32 )計算所述所對應的人臉框與所述跟蹤隊列中所有人臉框的大小比例；(33 )如果所述跟蹤隊列中含有所述歸一化中心距離小於等於預設的距 離閾值且所述大小比例小於等於預設的比例閾值的人臉框記錄，則所述跟蹤隊列中含有與所述所對應的人臉框對應於同一個人臉的人臉框記錄，否則所 述跟蹤隊列中沒有與所述所對應的人臉框對應於同 一個人臉的人臉框記錄。
10、 如權利要求3所述的圖像中最大人臉的跟蹤方法，其特徵在於，步 驟(3)進一步包括將所述跟蹤隊列中與當前幀檢測到的最大人臉對應的人臉框表示檢測 到最大人臉的檢測幀數加1,沒有檢測到人臉的漏檢幀數置零，並將檢測到 最大人臉的當前時間記錄為結束時間；如果在當前幀沒有4企測到最大人臉，則將所述跟蹤隊列中所有人臉框記 錄表示沒有檢測到人臉的漏檢幀數加1。
11、 如權利要求10所述的圖像中最大人臉的跟蹤方法，其特徵在於， 步驟(4)中在所述跟蹤隊列中確定當前跟蹤的最大人臉的步驟，包括所述跟蹤隊列中所述檢測幀數大於預設的檢測幀數閾值，所述漏檢幀數 小於預設的漏檢幀數閾值，且所述結束時間最新的人臉框記錄作為當前跟蹤 的最大人臉框，所述當前跟蹤的最大人臉框對應的人臉為所述當前跟蹤的最 大人臉。
12、 如權利要求11所述的圖像中最大人臉的跟蹤方法，其特徵在於， 步驟(4)進一步包括刪除所述跟蹤隊列中所述漏檢幀數大於所述漏檢幀數閾值的人臉框記錄。
全文摘要
本發明公開了一種圖像中最大人臉的跟蹤裝置和方法，應用於人臉識別和跟蹤，能減小運算複雜度，提高運行效率。本發明方法的特點是根據上一幀檢測到最大人臉所使用的檢測器尺度和檢測到最大人臉的人臉框位置，確定當前幀人臉檢測器尺度範圍及檢測範圍，並據此對當前幀進行最大人臉檢測，然後將檢測到的最大人臉所對應的人臉框添加到最大人臉跟蹤隊列中，實現對最大人臉的跟蹤。本發明通過上一幀檢測到最大人臉的人臉框及所在位置，來輔助當前幀的最大人臉檢測，減小了運算複雜度，提高了跟蹤速度。
文檔編號G06K9/00GK101196997SQ200710308520
公開日2008年6月11日 申請日期2007年12月29日 優先權日2007年12月29日
發明者浩 王, 鄧亞峰, 英 黃 申請人:北京中星微電子有限公司