融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法
2023-05-30 02:23:21
專利名稱：融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法
技術領域：
本發明涉及計算機視覺領域，特別是涉及一種融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法。
背景技術：
目標跟蹤是計算機視覺領域中非常重要的研究問題，因為它是高層視覺問題如運動分析和行為識別等研究的基礎。總的來說，目前的目標跟蹤算法主要兩個關鍵性的問題:
(I)表觀模型；(2)跟蹤框架。一般來說，表觀模型就是如何對目標物體進行有效的表達，並且進行實時的更新。 目標模板，是一種最直接的目標建模方法，不過該模型缺乏判別性和魯棒性。儘管目標區域的顏色直方圖對於目標尺度、旋轉以及非剛性形變較為魯棒，但是由於其忽略了目標表觀的顏色空間分布信息，存在一定的缺陷。雖然基於核密度估計的表觀模型很好的解決了這一缺陷，不過換來的代價是計算與存儲複雜度的增加。另外，基於條件隨機場的表觀模型通過馬爾可夫隨機場來建模鄰近像素之間的內在關係，但是其訓練代價非常巨大。近年來，基於子空間學習的表觀模型由於其子空間不變假設更為合理，因而被廣泛地應用於視覺跟蹤領域。但是該模型在訓練時需要足夠多的樣本，在實際運用中很難達到實時性的要求。基於此，Levy和Lindenbaum提出了序列KL(Sequential Karhunen-Loeve)變換算法用於增量地學習圖像的特徵基。Lim等擴展了序列KL變換算法， 同時對目標圖像的均值和特徵基進行增量更新，並將該算法首次應用於目標的視覺跟蹤。 而後，魯棒估計策略，Yang的基於數據驅動的加強自適應方法，Liao的基於魯棒卡爾曼濾波的跟蹤方法以及Gai和Stevenson基於動態模型的方法，雖然在某些特定的場景中獲得了較好的跟蹤性能，但是有一定的不足之處上述所有基於子空間的跟蹤算法首先要將圖像展成一維向量，目標表觀的空間分布信息幾乎完全丟失，從而使得模型對目標表觀的全局性變化以及噪音非常敏感。針對這一缺點，Hu等引入張量思想，在一定程度上起到了效用。不過由於其在使用R-SVD更新過程只保留了前R個較大特徵值所對應的特徵向量帶來了誤差，並且隨著跟蹤進行時，誤差會逐步累計，導致模型漂移。雖然一種基於動態張量分析的模型避免了上述誤差，得到了更加精確的結果，但是由於小樣本問題使得計算得到的協方差矩陣無法描述樣本的分布情況，從而導致子空間的計算退化。
發明內容
為了克服傳統的基於子空間學習的表觀模型只關注於目標區域特徵之間的時間關聯性，而忽略了目標區域的空間分布信息。本發明提供一種融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法，相對於其它的經典子空間跟蹤算法，該跟蹤方法更加有效和魯棒。為了實現上述目的，本發明採用了以下的技術方案一種融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法，包括以下步驟
(I)運用張量理論將目標圖像觀測的訓練樣本表示為一個三階張量，並將此張量從圖像的寬度、圖像的高度和圖像時間軸這三個不同的方向展開成三個分解矩陣；其中，前兩個分解矩陣的列樣本子空間對於目標的空間分布信息；第三個分解矩陣的行樣本子空間對應於目標的時間分布信息；(2)對於前兩個分解矩陣，計算各分解矩陣的樣本協方差矩陣，並通過對協方差矩陣做特徵分解得到目標水平和垂直方向的模式子空間；對於第三個分解矩陣，採用奇異值分解算法獲得目標在時間軸上的模式子空間；(3)對於給定的目標候選區域，計算其在目標表觀空間上的重構誤差，並由此定義目標候選區域的觀測似然函數；(4)根據定義的觀測似然函數，運用粒子濾波器計算目標狀態的後驗概率，採用最大後驗估計策略從一系列候選觀測值中挑選後驗概率最大的作為當前時刻的目標狀態；(5)利用跟蹤的結果，對對步驟(2)中獲得的目標模式子空間進行更新，並在更新過程中加入遺忘因子；其中，遺忘因子是一種介於O和I之間的權重，在子空間模型中越大的遺忘因子意味著模型越關注近期的數據。進一步說，所述的步驟(I)具體包括以下子步驟首先，將目標圖像觀測的訓練樣本用一個三階張量表示；其次，將獲得的張量從寬度、高度、時間這三個不同的方向展開成三個分解矩陣；更進一步說，所述的步驟(2)具體包括以下子步驟首先，對於前兩個分解矩陣，計算各分解矩陣的樣本協方差矩陣，通過對協方差矩陣做特徵分解得到各個模式的子空間；其次，對於第三個分解矩陣，採用奇異值分解算法獲得目標在時間軸上的模式子空間。更進一步說，所述的步驟(3)具體包括以下子步驟首先，求出重構誤差；其次，由重構誤差定義似然函數。更進一步說，所述的步驟(4)具體包括以下子步驟首先，假定目標在連續兩幀圖像之間的運動是仿射運動，目標的狀態由兩幀之間的目標仿射運動參數表徵，並假定目標狀態動態轉移概率模型為高斯模型；其次，利用似然函數計算目標狀態的後驗概率；最後，採用最大後驗估計策略從從一系列候選觀測值中挑選後驗概率最大的作為當前時刻的目標狀態。更進一步說，所述的步驟(5)具體包括以下子步驟對於前兩個分解矩陣，首先，對步驟⑵中獲得的樣本矩陣的協方差矩陣進行更新；其次，將遺忘因子加入更新方程中，得到更符合實際情況的協方差矩陣。對於第三個分解矩陣，首先，將新獲得的數據矩陣進行QR分解；其次，對融合新舊數據的數據矩陣進行奇異值分解。
5
本發明的有益效果是I、本發明所提出的跟蹤算法是一種通用的方法，對任意跟蹤目標類型都適用；2、本發明所採用的融合目標空間分布和時序分布特徵子空間的視覺跟蹤算法，充分挖掘了目標區域的垂直和水平方向上的空間分布信息以及目標區域特徵之間的時間關聯性，使得算法相較於經典算法降低了對目標表觀的全局性變化以及噪音的敏感程度；3、本發明提出一種更新策略，對於水平和垂直方向的兩個空間模式，通過更新協方差矩陣在線地更新目標的空間模式分布，有效地提高了更新效率；4、本發明提出一種更新策略，對於時間分布模式，採用增量奇異值分解方法在線地更新目標的時序模式分布，不但解決了由於樣本個數遠小於樣本維數而產生的子空間退化問題，同時也一定程度上緩解了計算中引入的模型漂移問題。
下面結合附圖和實施例對本發明進一步說明。圖I是本發明的跟蹤系統的整體框架；圖2是本發明的圖像觀測分解示意圖；圖3是本發明的三階張量展開示意圖。
具體實施例方式下面通過實施例對本發明進行具體的描述，只用於對本發明進行進一步說明，不能理解為對本發明保護範圍的限定，該領域的技術人員可根據上述發明的內容對本發明作出一些非本質的改進和調整。如圖I所示，圖I為本發明整體框架。本發明為一種基於多角度子空間融合的目標跟蹤方法，本發明的方法具體運行的硬體和程式語言並不限制，用任何語言編寫都可以完成，為此其它工作模式不再贅述。本發明的實施例採用一臺具有3. 2G赫茲中央處理器和IG字節內存的奔騰4計算機並用Matlab語言編制了序列粒子群優化跟蹤框架的工作程序，實現了本發明的方法，本發明的融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法包括以下步驟計算基於張量子空間的展開、協方差矩陣的更新、R-SVD算法即增量的奇異值分解算法、粒子濾波器Condensation以及最大後驗估計(MAP)等模塊，具體步驟如下所述(I)將目標圖像觀測的訓練樣本表示為一個三階張量Oe分"2"3來表示，其中I1, 12和I3分別表示為圖像觀測的寬度、高度，以及在時間軸上的長度。根據張量理論，該三階圖像觀測張量可以按I1, 12和13方向分別展開成三個分解矩陣Αω，Α⑵，A(3)與圖2進行對應。對於Αω和A⑵的列樣本協方差矩陣，Α(3)的行樣本協方差矩陣分布計算如下=Σ ~ "I )(^(1) " "I Y
i乙2 — 2、— "2 為2、- "2 )
i ^3 = Σ (名—"3 - "3 Y
(2)其中 Ayp A(r}，分別為矩陣 Αω，Α(2)，Α(3)的第 i，j，k 列樣本。μ 1; μ 2 分別為矩陣A(1)，A⑵的列均值，μ3*Α(3)的列均值，即矩陣Α(3)的行均值。得到樣本的協方差矩陣後，各個模式的子空間可以通過對協方差矩陣做簡單的特徵分解得到Cd = UdSdUYdH(3)對於給定目標候選區域以及它的展開向量形式vt G Am,.'，該目標候選區域在目標表觀子空間上的重構誤差可以計算如下REx =H {^ot — //j) — {ot — u^)UxUx IlRE2 =H (o't-u2)-(o't-u2)U,Ut2 ||2REi =H {vt-u^)-{vt-u^)U^Ul ||2RE = RE^REa+REg其中U1和U2定義如下
ι/ι=(μι,...,μι)Ε^/ιΧ/2
^2=(μ2,...,μ2)Ε^ιΧ/2因此，目標候選區域的觀測似然函數可以定義如下P (ot I xt) exp (-RE)(4)運用粒子濾波器Condensation計算目標狀態的後驗概率，方法如下假設目標在連續兩幀圖像之間的運動是仿射運動，兩幀之間的目標仿射運動參數就可以用來表徵目標的狀態X/=(/_r，ty,夕，其中tx, ty, nt, St, β t,灼分別表示位置平移量、旋轉角、尺度、縱橫比和傾斜方向。這樣以來，給定一系列觀測值Ot = Io1,...，OtI可以計算目標狀態的後驗概率P (xt I Ot) P (Ot I Xt) / P (Xt I Xh) p (Xt-! | Ot^1) dx^其中，p(ot|xt)表示在給定目標狀態xt下觀測值ot發生的概率，P(XtIXw)表示目標狀態動態轉移概率模型。採用最大後驗估計(MAP)的策略從一系列候選觀測值中挑選後驗概率最大的作為當前時刻的目標狀態。(5)根據目標跟蹤的結果，前兩個模式分解樣本矩陣的協方差矩陣進行更新，並在更新過程中加入遺忘因子，其中協方差的更新公式可以表達如下
權利要求
1.一種融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法，其特徵在於，包括以下步驟(1)運用張量理論將目標圖像觀測的訓練樣本表示為一個三階張量，並將此張量從圖像的寬度、圖像的高度和圖像時間軸這三個不同的方向展開成三個分解矩陣；其中，前兩個分解矩陣的列樣本子空間對於目標的空間分布信息；第三個分解矩陣的行樣本子空間對應於目標的時間分布信息；(2)對於前兩個分解矩陣，計算各分解矩陣的樣本協方差矩陣，並通過對協方差矩陣做特徵分解得到目標水平和垂直方向的模式子空間；對於第三個分解矩陣，採用奇異值分解算法獲得目標在時間軸上的模式子空間；(3)對於給定的目標候選區域，計算其在目標表觀空間上的重構誤差，並由此定義目標候選區域的觀測似然函數；(4)根據定義的觀測似然函數，運用粒子濾波器計算目標狀態的後驗概率，採用最大後驗估計策略從一系列候選觀測值中挑選後驗概率最大的作為當前時刻的目標狀態；(5)利用跟蹤的結果，對對步驟(2)中獲得的目標模式子空間進行更新，並在更新過程中加入遺忘因子；其中，遺忘因子是一種介於O和I之間的權重，在子空間模型中越大的遺忘因子意味著模型越關注近期的數據。
2.根據權利要求I所述的融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法， 其特徵在於，所述的步驟(I)具體包括以下子步驟首先，將目標圖像觀測的訓練樣本用一個三階張量表示；其次，將獲得的張量從寬度、高度、時間這三個不同的方向展開成三個分解矩陣；
3.根據權利要求I所述的融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法， 其特徵在於，所述的步驟(2)具體包括以下子步驟首先，對於前兩個分解矩陣，計算各分解矩陣的樣本協方差矩陣，通過對協方差矩陣做特徵分解得到各個模式的子空間；其次，對於第三個分解矩陣，採用奇異值分解算法獲得目標在時間軸上的模式子空間。
4.根據權利要求I所述的融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法， 其特徵在於，所述的步驟(3)具體包括以下子步驟首先，求出重構誤差；其次，由重構誤差定義似然函數。
5.根據權利要求I所述的融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法， 其特徵在於，所述的步驟(4)具體包括以下子步驟首先，假定目標在連續兩幀圖像之間的運動是仿射運動，目標的狀態由兩幀之間的目標仿射運動參數表徵，並假定目標狀態動態轉移概率模型為高斯模型；其次，利用似然函數計算目標狀態的後驗概率；最後，採用最大後驗估計策略從從一系列候選觀測值中挑選後驗概率最大的作為當前時刻的目標狀態。
6.根據權利要求1-5任意一權利要求所示所述的融合目標空間分布和時序分布特徵子空間的視覺跟蹤方法，其特徵在於所述的步驟(5)具體包括以下子步驟對於前兩個分解矩陣，首先，對步驟(2)中獲得的樣本矩陣的協方差矩陣進行更新；其次，將遺忘因子加入更新方程中，得到更符合實際情況的協方差矩陣。 對於第三個分解矩陣，首先，將新獲得的數據矩陣進行QR分解；其次，對融合新舊數據的數據矩陣進行奇異值分解。
全文摘要
本發明公開了一種融合目標空間分布和時序分布特徵子空間的視覺跟蹤算法，主要包含步驟首先將目標區域特徵從三個角度進行展開，分別進行子空間學習；其次運用一種更新策略來在線地更新三個模式下目標的均值與子空間。最後通過張量重構將三個子空間模式統一到一個似然函數中用於候選觀測圖像的評價。本發明實現了有效的目標跟蹤方法，是一種通用的方法。實驗結果表明，相對於其他經典子空間跟蹤算法，該發明更加有效和魯棒，具有很好的應用前景。
文檔編號G06K9/62GK102592135SQ20111042549
公開日2012年7月18日 申請日期2011年12月16日 優先權日2011年12月16日
發明者張笑欽 申請人:溫州大學