基於多細胞塊狀態融合的對象跟蹤方法
2023-06-27 23:35:31 2
基於多細胞塊狀態融合的對象跟蹤方法
【專利摘要】本發明提供了一種基於多細胞塊狀態融合的對象跟蹤方法，屬於視覺對象跟蹤【技術領域】。它能有效地解決對象旋轉、扭曲、縮放等非剛性運動變化以及遮擋下的跟蹤問題。包括以下步驟：從初始圖像中選擇並確定要跟蹤的目標對象。可以通過運動目標檢測方法自動提取或人機互動方法手動指定。在目標對象區域內按照隨機生成的中心點位置、設置目標細胞塊。在實時處理情況下，提取通過攝像頭採集並保存在存儲區的視頻圖像，作為要進行跟蹤的視頻文件分解為多個幀組成的圖像序列，逐個提取幀圖像作為輸入圖像。如果輸入圖像為空，則整個流程中止。配置中各個細胞塊的狀態，根據其對應的目標細胞塊確定最佳配置。目標定位用於估計當前目標的狀態。
【專利說明】基於多細胞塊狀態融合的對象跟蹤方法
【技術領域】
[0001] 本發明屬於計算機視覺對象跟蹤【技術領域】，特別涉及計算機圖形圖像處理技術領 域。
【背景技術】
[0002] 視覺對象跟蹤是許多計算機視覺應用的基本和關鍵問題，如視頻分析，智能監控， 人機互動，行為識別等，儘管研究人員對此做出了大量的工作，但要在複雜的環境中實現實 時穩定的對象跟蹤仍然是極具挑戰性的任務。
[0003]目前依賴檢測或者學習的對象跟蹤方法（如 TLD,Tracking-Learning-Detection)受到越來越廣泛的關注。這些方法通過學習某種分類 器，如支持向量機、自舉、隨機森林，或者隨機蕨等來發掘未知的數據和信息，進而增強其對 目標及其場景變化的適應能力。在基礎（短時）跟蹤（如KLT、均值漂移、粒子濾波等）失 敗時，這些分類器則被用作檢測器進行目標檢測，以達到恢復跟蹤的目的。為了保證分類器 學習的準確性，同時又能儘可能的適應目標的變化，Babenko等提出了袋學習的思想和0MB 方法（Online_MILBoost)，Kalal等提出了P_N(Positive-Negative)正負樣例學習的方法。 然而，這些方法仍然難以處理非剛性運動變化以及遮擋等問題。對此，霍夫森林提供了一種 可能的解決方法。霍夫森林是一種融合霍夫變換的隨機森林，它由多個決策樹組成，每棵樹 將圖像或者視頻中的局部表觀映射到它的葉節點中，而每個葉節點則包含在霍夫空間中的 概率投票。由此，對象的定位或者檢測被看作是尋求在霍夫圖像中的概率極大值點。然而 這樣的檢測過程十分耗時，因此基於霍夫森林的對象跟蹤方法在實時性上遠不及基於隨機 蕨的方法。此外，基於稀疏表示和學習的對象跟蹤方法，由於其較穩定的跟蹤性能受到越來 越多的關注和研究，然而這些方法十分依賴樣例模板，同樣存在不小的失敗風險，且計算結 構複雜而難以滿足實際實時性的要求。
[0004]一般情況下，場景越複雜，跟蹤或者檢測就變得越困難，由於計算資源的局限和效 率的要求，對象表觀模型不能過於複雜。實際上，除了目標本身以外，背景信息也是十分有 用且重要的信息。Yang等採用圖像分割融合方法，通過時空分析發掘輔助對象作為跟蹤協 助，其對應實現的CAT跟蹤系統表現出較穩定的跟蹤結果。然而該輔助對象的獲取基於一 定的運動假設，因而難以適應更複雜的跟蹤環境，且計算效率有待進一步的提高。Grabner 等提出通過獲取目標周圍有價值的特徵點，藉此預測目標的位置，增強了跟蹤的穩定性，然 而檢測和匹配所有這些局部特徵點的方法在計算上十分耗時。Thang等通過將PNT作為基 礎跟蹤和同時增加對誤匹配項的跟蹤來改進Grabner等的算法，能夠在一定程度上區分與 目標相似的對象，從而表現出更好的跟蹤性能。Fan等提出學習具有較強區別性的關注區 域用以輔助跟蹤，然而在場景出現劇烈運動時，受這些局部區域的限制，其計算效率依然不 高。Godec等通過對場景進行聚類學習，將背景分類為多個虛擬的類型，取得了較為滿意的 跟蹤效果，但是該方法假設背景只是逐步而細微的改變，這在很多跟蹤場合併不成立，因此 其應用有限。
[0005] 因此，本發明提出一種基於多細胞塊狀態融合的對象跟蹤方法。該方法根據目標 對象設置多個細胞塊，每個細胞塊具有其獨立的運動狀態，所有細胞塊的一種狀態構成一 個配置，即通過配置將這些細胞塊的狀態信息進行融合，而一個配置對應了一種可能的目 標狀態。該方法通過產生多個配置，並計算其中最優的配置（置信度最高）進而估計得到 目標狀態，從而實現目標定位。由於目標狀態估計不依賴其整體表觀，構成目標的各個細 胞塊獨立運動，且配置的置信度計算簡單、快速，因此本發明方法可實現實時穩定的對象跟 蹤，能夠處理目標旋轉、扭曲、縮放等非剛性運動變化以及遮擋等問題。此外，本發明方法不 僅可以用於單目標跟蹤，通過在配置中包含多個目標的細胞塊，還可以擴展用於多目標的 跟蹤。
【發明內容】
[0006] 本發明的目的是提供一種基於多細胞塊狀態融合的對象跟蹤方法，它能有效地實 現實時穩定的對象跟蹤，解決對象旋轉、扭曲、縮放等非剛性運動變化以及遮擋下的跟蹤問 題。
[0007] 本發明的目的通過以下技術方案來實現：該技術方案包括如下步驟：
[0008] (1)目標選取
[0009] 從初始圖像中選擇並確定要跟蹤的目標對象。目標選取過程可以通過運動目標檢 測方法自動提取，也可以通過人機互動方法手動指定。
[0010] ⑵設置目標細胞塊
[0011] 在目標對象區域內按照隨機生成的中心點位置、寬和高提取圖像塊作為目 標細胞塊，用I表示圖像，T表示目標，Q，C2,C3表示細胞塊。設，/，八^分別 表示目標的中心點橫坐標，中心點縱坐標，以及寬和高，而目標細胞塊的數目N= (wTXhT)/10 ;設Q= (XiJi,Vi，x，ViwWphi，Aw。AhpAi)為第i個目標細胞塊，i〈N，其中 xi，Yi，'x，vi，y，wi，hi,Awi,Ahi,Ai分別表示第i個目標細胞塊的中心點橫坐標，中心點縱坐 標，橫軸方向的速度，縱軸方向的速度，寬，高，寬變化值，高變化值，以及對應的圖像塊。每 個目標細胞塊的中心點橫坐標，中心點縱坐標，以及寬和高的值均隨機產生，只要滿足該細 胞塊包含在目標區域內即可，而其橫軸方向的速度，縱軸方向的速度，以及寬變化值和高變 化值此時均等於0。
[0012] (3)圖像輸入
[0013] 在實時處理情況下，提取通過攝像頭採集並保存在存儲區的視頻圖像，作為要進 行跟蹤的輸入圖像；在離線處理情況下，將已採集的視頻文件分解為多個幀組成的圖像序 列，按照時間順序，逐個提取幀圖像作為輸入圖像。如果輸入圖像為空，則整個流程中止。
[0014] (4)產生配置
[0015] 配置由細胞塊構成，配置中各個細胞塊的狀態根據其對應的目標細胞塊隨 機生成確定，不同的配置其細胞塊的狀態不同，一個配置對應了一種可能的目標狀 態。設Sk ={Cf} 為第k個配置，k〈M，其中M為配置的總數，這裡M= 500，
【權利要求】
1.基於多細胞塊狀態融合的對象跟蹤方法，所述方法包括如下步驟： (1) 目標選取 從初始圖像中選擇並確定要跟蹤的目標對象，目標選取過程可以通過運動目標檢測方 法自動提取，也可以通過人機互動方法手動指定； (2) 設置目標細胞塊 在目標對象區域內按照隨機生成的中心點位置、寬和高提取圖像塊作為目標細胞塊， 用I表示圖像，T表示目標，C1, C2, C3表示細胞塊，設xT，yT，wT，h T分別表示目標的中心點橫坐 標，中心點縱坐標，以及寬和高，而目標細胞塊的數目N= (wTXhT)/10,設Ci= (Xi，yi，Vi，x， ViJW^hi, Awi, Δ Iii, Ai)為第 i 個目標細胞塊，i〈N，其中 XiΑ,ν。，ViJWi, Iii, Awi, AhilAi 分別表示第i個目標細胞塊的中心點橫坐標，中心點縱坐標，橫軸方向的速度，縱軸方向的 速度，寬，高，寬變化值，高變化值，以及對應的圖像塊；每個目標細胞塊的中心點橫坐標，中 心點縱坐標，以及寬和高的值均隨機產生，只要滿足該細胞塊包含在目標區域內即可，而其 橫軸方向的速度，縱軸方向的速度，以及寬變化值和高變化值此時均等於〇 ; (3) 圖像輸入 在實時處理情況下，提取通過攝像頭採集並保存在存儲區的視頻圖像，作為要進行跟 蹤的輸入圖像；在離線處理情況下，將已採集的視頻文件分解為多個幀組成的圖像序列，按 照時間順序，逐個提取幀圖像作為輸入圖像；如果輸入圖像為空，則整個流程中止； (4) 產生配置 配置由細胞塊構成，配置中各個細胞塊的狀態根據其對應的目標細胞塊隨機 生成確定，不同的配置其細胞塊的狀態不同，一個配置對應了一種可能的目標狀 態；設Sk =.丨G丨.i=l.,.N為第k個配置，k〈M,其中M為配置的總數，這裡M = 500, G Z % W V 4 )為第k個配置中的第i個細胞塊； v 5 5 5 5 9 9 5 9 κ ?4的計算方法為：首先初始化cf，即使得然後隨機生成<中的<，<v，Awf， 以及接著更新Cf，即使得彳=Χ?+ <，父=乃+ Wf= w;+ Awf，以及 V= Λ,_ + △<;最後根據Cf在當前的圖像中提取對應的圖像塊更新4;對每個配置及其 包含的所有細胞塊進行上述的計算，即可生成所需的所有配置； (5) 確定最佳配置 最佳配置即所有配置中置信度值最高的那個配置；設
為 第k個配置的置信度，其中§ΑΓ?.(4\4)為第k個配置中的第i個細胞塊所對應 的圖像塊與第i個目標細胞塊所對應的圖像塊之間的規則化交叉互相關值；設 (彳父vL < AwX 表示最佳配置，則nrx/k. v99 5 999 5 9 y ? (6) 目標定位 最佳配置/T用於估計當前目標的狀態；目標的中心點橫坐標和縱坐標分別計算為：
而目標的寬Wt為前一時刻目標的寬 ，
加上 目標的尚hT為如一時刻目標的尚加上 ， 其中
由此計算得到目標的位置和大小，完成對目標的定位；跟蹤完成， 跳轉到（2)。
【文檔編號】G06T7/20GK104392437SQ201410633195
【公開日】2015年3月4日 申請日期:2014年11月11日 優先權日:2014年11月11日
【發明者】權偉, 陳錦雄, 張衛華, 江永全, 何武 申請人:西南交通大學