健壯的在線臉部跟蹤的製作方法

2023-04-30 16:54:51

專利名稱：健壯的在線臉部跟蹤的製作方法
健壯的在線臉部跟蹤
些旦 冃眾
對於在線視頻應用以及新興的計算機視覺領域，跟蹤諸如人臉表現的可視 對象仍然具有挑戰性。儘管已有了很多研究，但是開發實際系統仍然面臨諸多 挑戰，諸如如何處理屏幕上臉部外觀的改變、如何在突然移動時保持跟蹤、以 及如何最小化抖動等。
按照慣例，某些臉部跟蹤技術使用能夠顯著改善性能的基於粒子的濾波器 跟蹤。然而，在實際應用中，這類臉部跟蹤通常最終會因複雜的背景噪聲、外 觀變化和快動作而失敗。比單獨由粒子濾波器跟蹤所能提供的更為健壯的臉部 跟蹤技術是諸如控制臺遊戲、即時消息應用、影片編輯、數字媒體生成等實際 系統所不可或缺的。
為了投入實際應用，例如用於在線視頻的臉部跟蹤系統應該是快速的，帶 有較高的檢測率；並且是有效的，帶有較低的跟蹤失敗率。這一臉部跟蹤系統 應該實時跟蹤而不佔據計算機處理資源的主要份額，也不會遭遇明顯的抖動。 在發生臉部跟蹤的同時應該能夠執行其他的處理任務。
概述
描述了用於健壯的在線臉部跟蹤的系統和方法。在一個實現中， 一種系統 導出描繪可視對象運動的視頻序列的每一視頻幀的多種解析度。系統以較低分 辨率跟蹤可視對象的運動，作為以更高解析度跟蹤可視對象的輸入。該系統 能夠大大減少抖動，同時保持可靠地跟蹤快速移動可視對象的能力。
提供本概述以便以簡化形式介紹概念精選，這些概念將在以下的詳細描述 中被進一步描述。本概述並不旨在標識要求保護的主題的關鍵特徵或本質特 徵，也不旨在用於幫助確定要求保護的主題的範圍。附圖簡述


圖1是示例性臉部跟蹤系統的框圖。 圖2是示例性臉部跟蹤引擎的框圖。
圖3是示例性多尺度(multi-scale)跟蹤器的框圖。 圖4是示例性臉部跟蹤方法的流程圖。
詳細描述 概覽
在此描述的系統和方法例如為在線視頻應用提供了對人臉或其他可視對 象的健壯跟蹤。示例性的臉部跟蹤系統具有可靠地執行快動作跟蹤(即，跟蹤 可視對象的突然快速位置改變)同時減小抖動的能力。這通過以不同解析度跟 蹤可視對象來實現"多尺度跟蹤"。示例性系統還對由於光照、表情、身體 位置等的改變造成的可視對象(例如，臉部)外觀的改變表現穩定。在一個實 現中，示例系統利用全局臉部檢測器和局部臉部檢測器兩者。因此，示例系統 通常包括臉部檢測組件和多尺度跟蹤組件兩者。
示例性系統
圖1示出了示例性可視對象跟蹤系統，在此情況下為臉部跟蹤系統100。 示例性臉部跟蹤系統100是其中可以執行在此描述的臉部跟蹤的計算環境。示 例性臉部跟蹤系統100包括通常連接至網際網路104的計算設備102，諸如臺式 計算機。計算設備102在顯示監視器106上顯示圖形輸出，並且執行各應用， 諸如例示出的生成具有逼真運動的現實圖形場景的遊戲應用108。示例性臉部 跟蹤引擎112在視頻幀(諸如來自在線應用的視頻幀)序列中自動找出每張臉 114，並跟蹤每張臉114的位置。這一臉部跟蹤在許多在線環境下很重要，例 如在連接至網際網路104的另一遠程玩家或遠程進程控制諸如動畫角色臉部的可 視對象的局部移動時。示例性臉部跟蹤引擎112是健壯的，也就是說即便在快 速移動和外觀改變的情況下仍不會輕易丟失對臉部位置的跟蹤，並且能夠可靠 地消除抖動同時保持高效計算。
示例性引擎
圖2更為詳細地示出了圖1中的示例性臉部跟蹤引擎112。雖然示例性引擎112在此稱為"臉部跟蹤引擎"，但是跟蹤臉部只是提供作為該示例性引擎 112能夠執行的更為普遍的"可視對象跟蹤"的一個示例。
示例性臉部跟蹤引擎112的所示配置旨在為概覽目的而提供一個示例性
安排。所示組件或類似組件的許多其他安排在主題範圍內也是可能的。這一示
例性臉部跟蹤引擎112可以用硬體、軟體或硬體、軟體、固件的組合等來執行。
示例性臉部跟蹤引擎112包括其內包含全局臉部檢測器204的跟蹤初始器 202、解析度金字塔生成器206、多尺度跟蹤器208、其內包含局部臉部檢測器 212的區域掃描器210、所存儲的臉部模板214、以及臉部模板評估器216。
解析度金字塔生成器206可以進一步包括原始圖像緩衝器218、圖像緩衝 器220、層數選擇器222和圖像下採樣器224。
示例性多尺度跟蹤器2.08捕捉臉部114的快動作同時控制抖動。按照慣例， 粒子濾波器用於處理非線性和非高斯跟蹤問題，並且有能力捕捉快動作。然而， 單獨使用粒子濾波器獲得的跟蹤結果會遭受很多抖動，這是並對實際系統不利 的。示例性多尺度跟蹤器208要在快動作檢測和抖動控制之間達成折衷。
多尺度跟蹤器208因此就可包括兩個或多個臉部跟蹤器，用來在每個給定 視頻幀的分層解析度版本("各層")中跨顯示圖像IIO跟蹤臉部移動。例如， 第一跟蹤器226、第二跟蹤器228、第三跟蹤器230、和"第]^"跟蹤器232 可被通信地耦合，用以跟蹤其對應解析度層內的臉部，而每個解析度層都作為 原始圖像的一個版本存儲在圖像緩衝器220內。多尺度跟蹤器208還包括層間 初始器234，用來將臉部114的當前位置從跟蹤器傳送至跟蹤器，也就是說傳 送臉部位置以便在越來越高的解析度下供連續跟蹤器細化。
為了開始臉部跟蹤，跟蹤初始器202通過接收視頻內容的第一幀並在該幀 內找出臉部114來開始多尺度跟蹤。跟蹤初始器202的全局臉部檢測器204經 由臉部特徵來檢測臉部114的出現，並且還確定臉部114相對於整個幀的位置。 跟蹤初始器202隨後把這一臉部最初位置提供給多尺度跟蹤器208。打開全局 臉部檢測器204，以在臉部跟蹤分段的開始或者在臉部跟蹤任務的間斷(例如， 場景改變或者跟蹤失敗)之後執行其全局臉部檢測任務。在整幅視頻幀內對臉 部114的全局"搜索"是精確但耗時的，即計算量巨大，所以僅在剛才描述的 不知道臉部在幀內何處的情況下才打開該全局臉部檢測器204。將臉部114的外觀特徵保持在已存儲的臉部模板214內。這些己存儲的 臉部特徵由多尺度跟蹤器208內的多個跟蹤器用來識別臉部，從而可以隨著臉 部114的移動跨各視頻幀來確定臉部114位置變化。
在全局臉部檢測器204在第一視頻幀內找出臉部114之後，至少部分後續 視頻幀被提供給解析度金字塔生成器206。原始圖像緩衝器218存儲其接收到 的視頻幀，隨後圖像下採樣器224就(例如，通過濾波)導出原始圖像的不同 解析度以便存儲在圖像緩衝器220內。由圖像下採樣器224導出的不同解析度 數由層數選擇器222確定。快動作跟蹤能力通過添加更多的層而得到提升，也 就是說通過使用更多的不同解析度版本以及在多尺度跟蹤器208內使用更多的 對應跟蹤器來得到提升。
在較低(或最低)解析度下工作的第一跟蹤器226可以包括或者包含粒子 濾波跟蹤器，用以捕捉目標臉部114的高度動態運動。另一方面，在較高(或 最高)解析度下工作的"第N"跟蹤器232可以包括或者包含均值偏移(mean shift)跟蹤器。 一旦(最低解析度)第一跟蹤器226接收到來自跟蹤初始器202 的初始臉部位置，第一跟蹤器226隨後就對後續視頻幀進行處理，來跟蹤臉部 位置的變化。
層間初始器234將無把握的臉部位置從跟蹤器傳送到跟蹤器，也就是說， 從每一較低解析度器的跟蹤器(例如，226)傳送到更高解析度的跟蹤器(例 如，228)。這一傳送將由每一連續跟蹤器輸出的臉部位置作為近似開始位置 輸入到下一更高解析度水平的下一跟蹤器(即，從第一跟蹤器226到第二跟蹤 器228，再到第三跟蹤器230，依此類推，直到最高跟蹤器232)。
以此方式，最高解析度跟蹤器232就能達到臉部114的最佳目標位置236， 而無需該最高解析度跟蹤器232以高解析度執行所有跟蹤，即無需專門在高分 辨率下通過掃描視頻幀的局部區域來找出臉部114，這樣將會是計算量極大的。 所以在多尺度跟蹤器208中，高解析度跟蹤器只細化由較低解析度跟蹤器轉發 的臉部位置，而不是在相對較大的面積內以高解析度跟蹤臉部114 (這一面積 在臉部114在視頻場景內快速移動時特別大)。
取決於為不同解析度層選擇的解析度，臉部114的快動作在較低解析度下 "減緩"，這是因為例如在高解析度下覆蓋20像素距離的臉部移動在較低解析度下僅覆蓋4像素的距離。因為在低解析度下能更有效地跟蹤相對較大的移
動距離，所以多尺度跟蹤器208仍然非常高效並能減少抖動。
按照慣例，臉部114的外觀特徵可以隨時間改變(例如，因為光照、臉部 表情、身體位置、與觀察者的察覺距離等)，這極大地影響了跟蹤性能。按照 慣例，在常規跟蹤技術中利用在線學習算法來更新跟蹤目標的模板。然而，在 線更新過程的累計誤差通常會導致這些學習算法失敗。於是，對於示例性臉部 跟蹤引擎112而言，在每個多尺度跟蹤循環結尾處，例如在處理每一視頻幀的 結尾處，當輸出最佳目標位置236時，臉部模板評估器216檢測與存儲的臉部 模板214中的模板相比較，臉部特徵是否發生變化。如果臉部外觀的變化已超 出閾值，則區域掃描器210就重新讀取臉部114的外觀特徵。局部臉部檢測器 212讀取位於剛由多尺度跟蹤器208輸出的最佳目標位置236中央的視頻幀局 部矩形中的外觀特徵。在一個實現中，如果臉部特徵的變化尚未超過閾值，則 區域掃描器210根本不會打開。有時候，雖然局部臉部檢測器212很快，但是 它仍可能在存在快動作時失敗，那麼在這種情況下該系統就回到全局臉部檢測 器204。
如果臉部模板評估器216在最佳目標位置236處找到臉部114,則無論區 域掃描器210是否更新臉部外觀特徵，最佳目標位置236仍被饋至(最低)第 一跟蹤器226用以下一臉部躍蹤循環，諸如用於視頻幀序列中的下一視頻幀。 如果臉部模板評估器216無法找出臉部114，則全局臉部檢測器204就針對臉 部114掃描整個視頻幀，而跟蹤初始器202則重新開始多尺度跟蹤。
圖3示出了另一示例性多尺度跟蹤器302。在此實現中，解析度金字塔僅 有兩層。因此，多尺度跟蹤器302的這一版本只有兩個跟蹤器，低解析度粒子 濾波跟蹤器304和高解析度均值偏移跟蹤器306。各種己知的粒子濾波跟蹤過 程可由該粒子濾波跟蹤器304使用，而各種均值偏移過程則可由該均值偏移跟 蹤器306執行。例如，均值偏移跟蹤器306可以從梯度導出位置，就如同找出 作為位置的函數的梯度的根一樣，反之亦然。通過使用均值偏移跟蹤器306來 找出圖像最高解析度層中的最佳目標位置，就可以通過單獨使用粒子濾波器 304來減少抖動。於是，通過將這兩類跟蹤器組合在解析度層方案中，示例性 多尺度跟蹤器302能夠提供合理的抖動控制，同時維持快動作跟蹤性能。而且，能夠如以上對圖2的臉部跟蹤引擎112所描述的那樣，通過添加更多的解析度 層和更多的跟蹤器來提升快動作跟蹤。 示例性方法
圖4示出了示例性臉部跟蹤方法400。在流程圖中，將操作概括為各個獨 立的塊。示例性方法400的各部分可由硬體、軟體、或軟硬體組合來實現，例 如由示例性臉部跟蹤引擎112的組件實現。
在框402，執行全局臉部檢測，這包括在必要時對視頻序列的第一輸入視 頻幀進行全掃描，以找出臉部並找出臉部在該視頻幀內的對應位置。位置信息 將被用於初始化多尺度跟蹤。全局臉部檢測可由全局臉部檢測器204來執行。
在框404，執行多尺度跟蹤來跟蹤臉部位置。多尺度跟蹤可以包括導出原 始圖像的多個解析度版本("圖像金字塔"或"解析度金字塔")的步驟。隨 後在原始圖像的低解析度版本下執行臉部跟蹤。隨後，.使用來自低解析度跟蹤 的跟蹤結果來開始更高解析度的臉部跟蹤。這種在越來越高的圖像解析度下的 迭代臉部跟蹤可以隨著臉部的目標位置從解析度金字塔的每一較低層傳送至 該金字塔的更高一層而得到理解。
在解析度金字塔的最高解析度層，使用均值偏移跟蹤來對目標位置進行最 終細化，也就是說確定臉部的位置，並將其作為當前視頻幀的最終結果由多尺 度跟蹤方法輸出。這一多尺度跟蹤可由多尺度跟蹤器208執行。
在框406，對正被跟蹤的對象的各特徵，諸如臉部特徵進行評估以找出是 否期望對這些特徵進行更新。也就是說，多尺度跟蹤的每一級都使用跟蹤模板 來識別正被跟蹤的對象(臉部)。因為在視頻序列中，移動的臉部或其他物體 的可視特徵可能會有所變化，所以要周期性地更新各跟蹤模板。於是，評估可 以包括將當前目標的模板與已存儲目標的模板相比較。如果不希望更新跟蹤模 板信息，則方法400返回在框404的多尺度跟蹤。
在框408，如果在框406，當前可視特徵和先前存儲的一組例如臉部的可 視特徵之間的相似度落在閾值之下，則在框408，激活局部臉部檢測以用正被 跟蹤的臉部的當前可視特徵來更新跟蹤模板。局部臉部檢測只在從上一跟蹤器 執行獲取的當前跟蹤位置的緊鄰位置上進行掃描。這節省了在框402中使用全 局臉部檢測重新掃描整個視頻幀的計算成本。局部臉部檢測可由局部臉部檢測在框410，該過程評估跟蹤是否失敗。如果局部臉部檢測在框408發現臉 部，則可以將臉部的當前可視特徵存儲在當前跟蹤模板內，並且還可以將這些 當前可視特徵發送到執行多尺度跟蹤一部分(即在框404處)的下一 (或當前 正工作的)跟蹤器。
如果在框408內的局部臉部檢測無法在由多尺度跟蹤確定的當前位置處 檢測到臉部或可視對象，則跟蹤失敗並且該方法分支回到框402處的全局臉部 檢測以在必要時在整個視頻幀的範圍內找出臉部。
結論
以上描述的主題可以用硬體、軟體、固件等或其組合來實現。在某些實現 中，本主題可在諸如程序模塊等由計算設備或通信設備執行的計算機可執行指 令的通用語境中描述。 一般而言，程序模塊包括例程、程序、對象、組件、數 據結構等，它們執行特定任務或實現特定抽象數據類型。本主題還能在分布式 通信環境中實現，其中任務由通過通信網絡連結的遠程處理設備通過無線通信 完成。在無線網絡中，程序模塊可以位於包括存儲器存儲設備在內的本地和遠 程通信設備存儲介質中。
以上討論描述了示例性健壯的在線臉部跟蹤。雖然己經用具體到結構功能 部件和/或方法動作的語言對主題進行了描述，但是應該理解，在所附權利要求 中定義的該主題不必限於上述具體的功能部件或動作。相反，上述具體功能部 件和動作是作為實現權利要求的示例形式而公開的。
權利要求
1.一種方法，包括導出視頻序列的各視頻幀的多個解析度，其中所述視頻序列包括移動中的可視對象；在所述多個解析度的較低解析度下跟蹤所述可視對象的移動；以及在所述多個解析度的較高解析度下跟蹤所述可視對象的移動，其中在較低解析度下所述跟蹤的輸出用作在較高解析度下所述跟蹤的輸入。
2. 如權利要求l所述的方法，其特徵在於，對於每個視頻幀 在較低解析度下的所述跟蹤包括獲得所述可視對象的當前位置；以及 在較高解析度下的所述跟蹤包括從所述較低解析度跟蹤獲得的當前位置附近開始，以及獲得所述可視對象的細化當前位置。
3. 如權利要求l所述的方法，其特徵在於，還包括 接收所述視頻序列的第一視頻幀； 在所述第一視頻幀中找出所示可視對象； 接收所述視頻序列的後續視頻幀；以及 導出每個後續視頻幀的多個解析度。
4. 如權利要求1所述的方法，其特徵在於，在較低解析度下的所述跟蹤 包括使用粒子濾波器而在較高解析度下的所述跟蹤包括使用均值偏移跟蹤器。
5. 如權利要求l所述的方法，其特徵在於，所述可視對象是臉部表示。
6. 如權利要求5所述的方法，其特徵在於，還包括存儲所述臉部特徵的 模板，以及在所述較高解析度下跟蹤移動之後評估所述模板。
7. 如權利要求6所述的方法，其特徵在於，還包括如果所述臉部特徵 的變化已超過閾值，隨後則通過在所述模板中存儲臉部的當前特徵來刷新所述 模板。
8. 如權利要求1所述的方法，其特徵在於，如果所述可視對象已經移動 使得無法找到該可視對象以進行在所述較低解析度下的所述跟蹤，則在整個視 頻幀內檢測該可視對象的位置。
9. 如權利要求1所述的方法，其特徵在於，還包括增加所述多個解析度的數量以提升快動作跟蹤能力。
10. 如權利要求9所述的方法，其特徵在於，還包括在所述多個解析度的 分層結構中，傳送每一較低解析度層的跟蹤輸出以初始化每個更高一層解析度 層的跟蹤。
11. 一種系統，包括 視頻序列輸入，用以接收視頻幀序列；包含每個視頻幀的多個版本的圖像緩衝器，其中每一版本擁有不同的解析度；多尺度跟蹤器，用以在不同的解析度下跟蹤所述視頻序列中可視對象的移 動，以減少該視頻序列中的抖動，其中使用由所述多尺度跟蹤器在較低解析度 下檢測到的所述可視對象的移動作為該多尺度跟蹤器的輸入以便在較高分辨 率下檢測所述可視對象的移動。
12. 如權利要求11所述的系統，其特徵在於，還包括層數選擇器，用以 選擇在所述圖像緩衝器中數量更多的所述多個版本，以增進對所述可視對象的 快速移動的檢測。
13. 如權利要求12所述的系統，其特徵在於，還包括在所述多尺度跟蹤 器內的多個跟蹤器，其中在所述圖像緩衝器中的多個版本的每一個具有一對應 的跟蹤器。
14. 如權利要求13所述的系統，其特徵在於，最低解析度跟蹤器使用粒 子濾波器來跟蹤所述可視對象的運動，而最高解析度跟蹤器使用均值偏移跟蹤 器來跟蹤所述可視對象的運動。
15. 如權利要求13所述的系統，其特徵在於，還包括層間初始器，用以 將較低解析度跟蹤器的輸出傳送到解析度稍高一級的跟蹤器，以初始化該分辨 率稍高一級的跟蹤器的跟蹤。
16. 如權利要求11所述的系統，其特徵在於，所述多尺度跟蹤器能夠使 用所述多個視頻幀解析度來跟蹤臉部的可視表示。
17. 如權利要求16所述的系統，其特徵在於，還包括跟蹤初始器，用以 掃描視頻幀直到檢測到臉部並存儲該臉部特徵的模板。
18. 如權利要求17所述的系統，其特徵在於，還包括臉部模板評估器，其中響應於所述多尺度跟蹤器使用最高解析度對臉部當前位置進行檢測，所述 臉部模板評估器將所述臉部的當前特徵與所存儲的模板內的所述臉部的已存 儲特徵相比較。
19. 如權利要求18所述的系統，其特徵在於，如果所述當前特徵從所述 模板內特徵的變化已經超過閾值，則通過在所述模板中存儲該臉部的當前特徵 來刷新所述模板。
20. —種系統，包括用於導出各視頻幀的多個解析度的裝置，其中所述視頻幀的序列示出了可 視對象的移動；用於在所述多個解析度下跟蹤所述可視對象的移動的裝置，其中將在較低 解析度下檢測到的所跟蹤的移動作為用於在較高解析度下跟蹤所述可視對象 的輸入。
全文摘要
描述了用於健壯的在線臉部跟蹤的系統和方法。在一個實現中，一種系統導出描繪可視對象運動的視頻序列的每一視頻幀的多個解析度。該系統以較低解析度跟蹤可視對象的運動，作為用於以高解析度跟蹤可視對象的輸入。該系統能夠大大減少抖動，同時維持可靠跟蹤快速移動可視對象的能力。
文檔編號G06T17/00GK101297322SQ200680040318
公開日2008年10月29日 申請日期2006年10月31日 優先權日2005年11月2日
發明者R·肖, 張偉偉, 湯曉鷗 申請人:微軟公司