一種基於軟特徵理論的目標跟蹤方法

2023-05-19 15:24:16

一種基於軟特徵理論的目標跟蹤方法
【專利摘要】一種基於軟特徵理論的目標跟蹤方法，屬於計算機視覺【技術領域】。該方法包括：目標區域初始化；提取目標的軟特徵信息；對目標的軟特徵信息進行前趨預測；修複目標的軟特徵信息；目標跟蹤。採用軟特徵對運動目標進行跟蹤,對目標形狀變化和尺度伸縮具有很好的抗幹擾性,使得該方法對形變嚴重運動目標的跟蹤具有較高的準確性、穩定性和很好的魯棒性能；採用前趨衝擊強度對目標前趨進行預測，可以很好的解決目標受到遮擋而導致丟失的問題；由於縮小了目標檢測範圍,軟特徵數據量較小，不需要存儲目標多種姿態模型,其計算複雜度和空間複雜度較低,跟蹤實時性較高。
【專利說明】一種基於軟特徵理論的目標跟蹤方法

【技術領域】
[0001] 本發明屬於計算機視覺【技術領域】，具體涉及一種基於軟特徵理論的目標跟蹤方 法。

【背景技術】
[0002] 運動目標跟蹤是目前國內外在計算機視覺領域的一項重要且傳統的研究問題，近 幾十年來得到了廣泛研究，根據過去的研究歷史以及目前的研究現狀可以看到，目標跟蹤 雖然得到了長時間的研究，也取得了很大研究進展，但是在複雜背景下的目標跟蹤仍然沒 有得到很好的解決。
[0003] 目標跟蹤技術的研究主要有兩大方向，一種是建立在運動信息分析基礎之上的跟 蹤方法，另一種是基於模型分析的目標跟蹤方法。利用運動信息分析研究目標跟蹤的方法 較多，已形成了眾多的算法和標準，基於運動分析的目標跟蹤方法，原理簡單，實現較為方 便，但是對於遮擋目標的前景與背景信息難以進行區分，容易粘連和失跟。另一種基於模型 的目標跟蹤方法可以克服局部遮擋信息的幹擾，是目前計算機視覺領域內的主流方法，對 於局部遮擋、小範圍形狀與尺度變化的目標具有很好的跟蹤效果，但是在目標發生較大幅 度遮擋、形變與尺度伸縮運動時，不能進行長時間的有效跟蹤，容易發生漂移和失跟。
[0004] 目前，雖然目標跟蹤技術取得重大進展，但主要還是採用圖像/視頻處理中的經 典技術，多注重當前場景下的目標信息，缺少對目標前趨信息的分析與研究。目標前趨信息 作為當前場景下目標運動狀態的後續過程，與目標當前運動狀態具有十分緊密的聯繫，如 果能根據目標當前的特徵信息將這一聯繫提煉出來，並依此預測出目標前趨信息，提前對 目標後續狀態進行跟蹤，不僅對目標跟蹤中遮擋、形變和尺度伸縮等問題的解決起到很好 的促進作用，而且是在目標跟蹤領域中由"實時"跟蹤方式轉向"提前"跟蹤進行了一個初 步的探索。


【發明內容】

[0005] 針對現有技術存在的問題，本發明提供一種基於軟特徵理論的目標跟蹤方法。
[0006] 本發明的技術方案為：
[0007] -種基於軟特徵理論的目標跟蹤方法，包括如下步驟：
[0008] 步驟1 :目標區域初始化；
[0009] 步驟1. 1 :在視頻圖像中選取目標區域，在目標區域內，計算各像素的幀間灰度 差值，並統計幀間灰度差值遞增或者遞減的像素點，將所統計的像素點標記為初始像素 (x,y,z)；
[0010] 步驟1. 2 :計算初始像素的梯度；
[0011] 步驟1. 3 :在初始像素的相鄰時域圖像內，即在初始像素鄰域內，計算與本初始像 素具有相同梯度的像素，則這些像素與本初始像素具有相同的灰度變化強度；
[0012] 步驟1. 4 :對初始像素鄰域內的像素點進行處理：保留初始像素鄰域內與本初始 像素具有相同灰度變化強度的像素點，去除與本初始像素具有不同灰度變化強度的像素 佔.
[0013] 步驟1. 5:檢查每個初始像素的鄰域，若有3個以上像素點被保留，則將此鄰域標 記為連通域，否則刪除該初始像素及其鄰域；
[0014] 步驟2:提取目標的軟特徵信息；
[0015] 步驟2. 1 :將連通域內的像素點標記為像素群，計算每個像素群以初始像素為質 心的相鄰兩幀圖像間的空域向量E和頻域向量t,其中Ki<N，N為像素群個數；
[0016] 所述質心是指採樣區域的幾何中心，質心分為目標邊緣處的質心和目標內部的質 心，邊緣處的質心稱為邊緣質心，內部的質心稱為空間質心，質心的頻率在頻率域內的映射 稱為頻域內的質心。
[0017]所述空域向量是指空間域內兩個質心間的向量，記為5，即空域向量的模為13|;
[0018] 所述頻域向量是指頻率域內兩個質心間的向量，記為I，即頻域向量的模為|無|， 頻域向量的方向，記為9, 9的大小為頻域向量與水平線的夾角；
[0019] 步驟2.2:採用最小二乘法對離散的質心進行曲線擬合，得到邊緣質心的時域軌 跡和空間質心的時域軌跡et=t(x，y，z);
[0020] 步驟2. 3:分別對邊緣質心的時域軌跡A和空間質心的時域軌跡et進行傅立葉變 換，得到空間譜帶€(u，v，r)和邊緣譜帶V(u，v，r);
[0021] 將目標各質心運動形成的軌跡經傅立葉變換、曲線擬合得到的頻率曲線 定義為譜線，所有譜線的集合定義為譜帶；空間譜帶是指目標各空間質心運動形成 的周期性譜帶，記為€由空間質心的時域軌跡e採用傅立葉變換得到，記為

【權利要求】
1. 一種基於軟特徵理論的目標跟蹤方法，其特徵在於：包括如下步驟： 步驟1 :目標區域初始化； 步驟1. 1 :在視頻圖像中選取目標區域，在目標區域內，計算各像素的幀間灰度差 值，並統計幀間灰度差值遞增或者遞減的像素點，將所統計的像素點標記為初始像素 (x, y, z)； 步驟I. 2 :計算初始像素的梯度； 步驟1. 3 :在初始像素的相鄰時域圖像內，即在初始像素鄰域內，計算與本初始像素具 有相同梯度的像素，則這些像素與本初始像素具有相同的灰度變化強度； 步驟1. 4 :對初始像素鄰域內的像素點進行處理：保留初始像素鄰域內與本初始像素 具有相同灰度變化強度的像素點，去除與本初始像素具有不同灰度變化強度的像素點； 步驟1. 5 :檢查每個初始像素的鄰域，若有3個以上像素點被保留，則將此鄰域標記為 連通域，否則刪除該初始像素及其鄰域； 步驟2 :提取目標的軟特徵信息； 步驟2. 1 :將連通域內的像素點標記為像素群,計算每個像素群以初始像素為質心的 相鄰兩幀圖像間的空域向量5,和頻域向量￡_，其中1彡i彡N，N為像素群個數； 所述空域向量是指空間域內兩個質心間的向量，記為5,即空域向量的模為|3|; 所述頻域向量是指頻率域內兩個質心間的向量，記為無，即頻域向量的模為I力，頻域向 量的方向，記為θ，Θ的大小為頻域向量與水平線的夾角； 步驟2. 2 :對離散的質心進行曲線擬合，得到邊緣質心的時域軌跡It = u (X，y，z)和空 間質心的時域軌跡ε t = τ (X，y, z); 步驟2. 3 :分別對邊緣質心的時域軌跡It和空間質心的時域軌跡ε t進行傅立葉變換， 得到空間譜帶ξ (u，v，r)和邊緣譜帶Ψ (u，v，r); 將目標各質心運動形成的軌跡經傅立葉變換、曲線擬合得到的頻率曲線定義為譜線， 所有譜線的集合定義為譜帶；空間譜帶是指目標各空間質心運動形成的周期性譜帶，記為 ξ，ξ由空間質心的時域軌跡ε採用傅立葉變換得到，記為
，u、V、r為頻率變 量,2&，213分別為目標區域的長度和寬度，11￡(〇,23],￥￡(〇,213],『￡(0,|1|]，€函數曲 線的振幅不相等是指非均勻周期，表示目標在進行隨機運動，ξ函數曲線的振幅相等是指 均勻周期，表示目標在進行有規律的運動； 邊緣譜帶是指運動目標各邊緣質心運動形成的周期性譜帶， 記為Ψ，Ψ由邊緣質心的時域軌跡1採用傅立葉變換得到，記為
其中η為邊緣質心的標記， n e [〇, 4ab]； 步驟2. 4 :分別計算空間譜帶ξ (u, V, r)和邊緣譜帶Ψ (u, V, r)的一階偏導，將偏導不 為0且變化強度相同的頻率進行合併，得到軟特徵"，其中i為軟特徵編號，I < i < N，t為 時刻； 將空間譜帶ξ (u，v，r)和邊緣譜帶V(u，v，r)中具有可微分的相同變化強度的頻率定 義為軟特徵，記為T,
其中1是邊緣譜帶中譜線的個數，（Um, νρΓρ) ξ?（um，n, vm，n,rm，n) ξ為空間譜帶的頻 率，（Uu, ν1;1，I^1) ψ?（Uip, Vip, rj ψ為邊緣譜帶的頻率，m、n為空間譜帶的頻率在矩陣T 中的位置，q、P為邊緣譜帶的頻率在矩陣T中的位置，符號Θ為軟特徵頻率矩陣T合併操作 符，符號Ψ為軟特徵連續合併操作符，合併過程為分別計算u、v、r最大的頻率值，然後進行 合併；符號4為同頻率變化操作符，用於統計頻率變化幅度相等的頻率信息； 步驟3 :對目標的軟特徵信息進行前趨預測； 步驟3. 1 :計算目標的前趨衝擊強度； 在頻域向量i上一個微小的向量Δ九'，將Δλ'在At'時間內的變化量定義為運動目標的 前趨衝擊強度，記為ω，即《 = ΔΧ·/Δ?，其中Δ t'是的變化時間且Δ t' ，>，，2,〇和^時間內的微小頻率0( 11^，1'，〇的離散抽樣定義為卷積波動的累積效應 p'，即
其中|00|=￡^^/"為單位前趨衝擊強度，
時刻前景信息的空 域坐標，K為ω Θ的係數且K e [〇. 43, 0. 67], J為t-ι時刻前趨衝擊強度ω減小至 ω |/2且方向偏離至Θ /2時所用時間； 步驟3. 3 :分別計算變量(u,?c| 的空間譜帶的頻率和邊緣譜帶的頻率，將頻率 進行合併操作，得到目標的軟特徵預測值7Γ~，; 步驟3. 4 :將目標鄰域像素的頻率變化量p' /J加入到目標的軟特徵預測值2ΓΛ?中，實 現軟特徵前趨預測； 步驟4 :修復與合併目標的軟特徵信息； 步驟4. 1 :根據目標的前趨衝擊強度，當前趨衝擊強度ω減小至I ω |/2且方向偏離至 Θ/2時，以每幀θ/| ω I的速度將ω方向遞增至Θ，以此修正ω方向的偏移，實現目標的 軟特徵修復； 步驟4. 2 :將步驟3得到的目標的軟特徵預測值與目標的當前修復後的軟特徵進行合 並操作得到目標的新的軟特徵"； 步驟5 :確定目標當前位置，並對目標未來時刻的位置進行預測； 步驟5. 1 :根據步驟2得到的每個像素群的空域向量3,.和頻域向量，以及步驟3得 到的目標的前趨衝擊強度ω，建立目標的軟特徵約束模型
目標的前趨衝擊強度ω對空域坐標軸具有正交投影分量，定義為ω對該軸的依賴特 性：ω對空域坐標軸的投影分量較大的定義為全依賴特性，ω對空域坐標軸的投影分量較 小的定義為偏依賴特性；則前趨衝擊強度在X軸、y軸上共具有四種依賴特性，分別為對X 軸的全依賴特性、對X軸的偏依賴特性、對y軸的全依賴特性和對y軸的偏依賴特性； 將前趨衝擊強度的三階微分的全依賴特性和偏依賴特性的效果之和與頻域向量的乘 積定義為目標的軟特徵約束模型，即
，其中，當X = 土a
為比例係數，當X = ±a及y = ±b時，目標 區域在視頻圖像上為線段狀態，此時前趨衝擊強度ω及其對坐標軸的依賴效果為〇 ; 步驟5. 2 :對目標的軟特徵約束模型進行求解，確定目標當前位置和預測位置； 若求解出比例係數?滿足〇 e [0.9, 1.1]，則根據軟特徵IT及軟特徵預測值TTii進行 譜帶的反向變換即可定位出目標在當前時刻t的位置和t?t+ Λ t之間任一時刻的預測位 置，輸出跟蹤窗口；若求解出比例係數〇 g [0.9, I. 1]，則刪除該像素群； 步驟5. 3 :統計留下來的像素群數量，若小於3個則返回步驟1，在視頻圖像中重新選取 目標區域按照步驟1的方法進行目標區域初始化後，重新執行步驟2至步驟5 ;否則，以輸 出跟蹤窗口顯示的區域作為t+At時刻下一幀視頻圖像的的目標區域進行初始化後，按照 步驟2至步驟5的方法繼續對目標進行跟蹤。
2. 根據權利要求1所述的基於軟特徵理論的目標跟蹤方法，其特徵在於：所述質心是 指採樣區域的幾何中心,質心分為目標邊緣處的質心和目標內部的質心,邊緣處的質心稱 為邊緣質心，內部的質心稱為空間質心,質心的頻率在頻率域內的映射稱為頻域內的質心。
3. 根據權利要求1所述的基於軟特徵理論的目標跟蹤方法，其特徵在於：所述前趨衝 擊強度的物理意義是描述某一質心的頻率變化快慢的矢量，前趨衝擊強度的值越大，目標 向Θ方向運動的趨勢越大，慣性越大，方向變化越慢；前趨衝擊強度的值越小，目標向Θ方 向運動的趨勢越小，慣性也越小，方向變化越快。
4. 根據權利要求1所述的基於軟特徵理論的目標跟蹤方法，其特徵在於：所述步驟2. 2 中對離散的質心進行曲線擬合的方法為最小二乘法。
【文檔編號】G06T7/20GK104392469SQ201410777880
【公開日】2015年3月4日 申請日期:2014年12月15日 優先權日:2014年12月15日
【發明者】姜文濤, 劉萬軍, 袁姮, 劉大千 申請人:遼寧工程技術大學