一種魯棒的實時紅外成像地面運動目標跟蹤方法和系統與流程
2023-10-11 11:44:04 2
本發明屬於計算機視覺技術領域，更具體地，涉及一種魯棒的實時紅外成像地面運動目標跟蹤方法和系統。
背景技術：
紅外成像地面場景運動目標的跟蹤在目標識別與跟蹤、紅外成像制導等軍事和視頻監控領域中應用十分廣泛。
常見的運動目標跟蹤算法大致可以分為兩類，即「基於目標建模、定位」的跟蹤方式和基於「濾波、數據關聯」的跟蹤方式。「基於目標建模、定位」的跟蹤方式在對目標進行跟蹤的過程中，對圖像中目標的各種假設的位置進行評估，根據某個準測評估出目標的位置。此方法一般用於距離不遠、目標非點狀目標、圖像幀間抖動較大的場合。基於「濾波、數據關聯」的跟蹤方式常常使用離散狀態方程對運動目標的各種位置進行預測，所以描述目標運動狀態的轉移狀態方程的建立對於實現跟蹤過程的穩定、精確十分重要。此方法一般用於跟蹤距離較遠、運動呈現一定規律特性的目標。
在許多現實應用的情況下目標灰度與背景相差較小，目標輪廓較為模糊，目標的大小無法預估，目標有可能是面狀目標、點狀目標、線條狀目標等，由於地面目標的複雜性和目標運動狀態的不確定性，目標在運動的過程中可能出現遮擋、尺寸變化、形態變化等情況，採用傳統的運動目標跟蹤方法在這種情況下容易發生目標失跟的現象。
技術實現要素：
針對現有技術的以上缺陷或改進需求，本發明提供了一種魯棒的實時紅外成像地面運動目標跟蹤方法，其目的在於計算當前目標幀模板與匹配模板的灰度直方圖的相似度，以相似度的大小判斷是否更新匹配模板，縮放當前幀目標模板尺寸，分別計算其和匹配模板灰度直方圖的卡方相似度，選取最大卡方相似度更新匹配模板，在根據目標運動狀態，採用卡爾曼濾波器預估下一幀紅外圖像中目標的位置，以此位置為中心，在搜索區域內進行模板匹配，以確定目標的位置，由此解決目標被遮擋、目標尺寸變化或目標先驗信息未知造成的跟蹤失敗問題的技術問題。
為實現上述目的，按照本發明的一個方面，提供了一種魯棒的實時紅外成像地面運動目標跟蹤方法，該方法包括以下步驟：
(1)匹配模板自適應更新步驟：先計算當前幀目標模板灰度直方圖與匹配模板灰度直方圖的巴氏距離，如巴氏距離在模板更新範圍內，則計算當前幀目標模板和匹配模板灰度直方圖卡方相似度，如卡方相似度大於模板更新閾值，則計算當前幀目標模板尺寸縮小、不變和放大之後的灰度直方圖與匹配模板灰度直方圖的卡方相似度，選取最大卡方相似度為更新參數更新匹配模板；
(2)目標位置估計步驟：根據目標運動狀態，採用卡爾曼濾波器預估下一幀紅外圖像中目標子圖的位置，以此位置為搜索區域的中心位置；在搜索區域內移動匹配模板，計算不同區域的匹配模板和目標子圖的相似度，相似度最大且大於匹配閾值的匹配模板位置為目標位置，如相似度都小於匹配閾值則以卡爾曼濾波器預估位置為目標位置。
進一步的，所述匹配模板自適應更新步驟包含以下子步驟：
(11)分別計算當前幀目標模板與匹配模板的灰度直方圖，將灰度直方圖歸一化之後計算它們的巴氏距離；
數字圖像的直方圖是離散函數
h(ri)＝ni，
其中ri是第i級灰度，ni是圖像灰度級為ri的像素個數，一個歸一化直方圖由下式給出：
P ( r i ) = n i n , ]]>
n為圖像中的像素總數，P(ri)給出了灰度級為ri發生的概率估計值；
巴氏距離
λ = 1 - 1 N 2 H 1 H 2 Σ i H 1 ( i ) H 2 ( i ) , ]]>
式中
H k = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 , ]]>
其中，i是歸一化直方圖分段號，N表示歸一化直方圖中bin的數目，k表示圖像的代號，H1(i)、H2(i)分別表示當前幀目標模板與匹配模板的歸一化灰度直方圖對應區間的數值；
(12)判斷巴氏距離λ是否在模板更新範圍內，即λ2＜λ＜λ1是否成立，是則進行步驟(13)，否則不更新匹配模板，根據實際經驗，0＜λ1＜10＜λ2＜1，優選λ1＝0.98、λ2＝0.88；
(13)計算當前幀目標模板與匹配模板的歸一化灰度直方圖的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) , ]]>
式中其中，i是歸一化直方圖分段號，H1(i)、H2(i)分別表示當前幀目標模板與匹配模板的歸一化灰度直方圖對應區間的數值；
判斷是否卡方相似度是否大於更新模板閾值，即ρ＞λ3是否成立，根據實際經驗0＜λ3＜1，優選λ3＝0.46；是則更新匹配模板，否則不更新匹配模板；匹配模板更新方式如下
Tnew＝βTcur+(1-β)Told，
其中，Tnew、Tcur、Told分別表示更新後的匹配模板、當前圖像幀目標模板、匹配模板；β為最大直方圖相似度
β＝max{ρa,ρ,ρb}，
其中，ρa、ρ和ρb分別表示當前幀目標模板尺寸縮小a倍、當前幀目標模板和當前幀目標模板尺寸擴大b倍後的灰度直方圖與匹配模板灰度直方圖的卡方相似度,根據實際經驗0.5＜a＜1、1＜b＜1.5，優選a＝0.9、b＝1.1。
進一步的，所述目標位置估計步驟分為以下子步驟：
(21)根據當前幀目標位置和上一幀跟蹤目標位置，採用卡爾曼濾波器預估下一幀紅外圖像中目標子圖的位置；
(22)以卡爾曼濾波器預測的目標子圖位置為搜索區域的中心位置，在搜索區域內移動匹配模板，計算目標子圖與匹配模板的相似度，判斷是否至少存在一個匹配模板使得他們的相似度大於匹配閾值th，根據實際經驗0＜th＜1，優選th＝0.88，是則以相似度取得最大值時的匹配模板位置為估計的目標位置，否則以卡爾曼濾波器預測的目標子圖位置為估計的目標位置，相似度計算公式：
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) 2 × e - D i s Dis m a x , ]]>
其中i、j是目標子圖左上角在被搜索區域上的坐標，T(m,n)表示匹配模板圖像中第m行第n列的像素灰度值，Sij(m,n)表示目標子圖中第m行第n列的像素灰度值
Sij(m,n)＝S(i+m,j+n)，
Dis表示當前匹配點(i,j)到卡爾曼濾波器預估的目標子圖位置的距離
D i s = | i - x ^ | + | y - y ^ | , ]]>
式中分別是濾波器預估的目標子圖位置的橫縱坐標值，Dismax表示Dis的最大值。
按照本發明的另一方面，提供了一種魯棒的實時紅外成像地面運動目標跟蹤系統，該系統包括以下模塊：
匹配模板自適應更新模塊：先計算當前幀目標模板灰度直方圖與匹配模板灰度直方圖的巴氏距離，如巴氏距離在模板更新範圍內，則計算當前幀目標模板和匹配模板灰度直方圖卡方相似度，如卡方相似度大於模板更新閾值，則計算當前幀目標模板尺寸縮小、不變和放大之後的灰度直方圖與匹配模板灰度直方圖的卡方相似度，選取最大卡方相似度為更新參數更新匹配模板；
目標位置估計模塊：根據目標運動狀態，採用卡爾曼濾波器預估下一幀紅外圖像中目標子圖的位置，以此位置為搜索區域的中心位置；在搜索區域內移動匹配模板，計算不同區域的匹配模板和目標子圖的相似度，相似度最大且大於匹配閾值的匹配模板位置為目標位置，如相似度都小於匹配閾值則以卡爾曼濾波器預估位置為目標位置。
進一步的，所述匹配模板自適應更新模塊包含以下子模塊：
巴氏距離計算子模塊，用於分別計算當前幀目標模板與匹配模板的灰度直方圖，將灰度直方圖歸一化之後計算它們的巴氏距離；
數字圖像的直方圖是離散函數
h(ri)＝ni，
其中ri是第i級灰度，ni是圖像灰度級為ri的像素個數，一個歸一化直方圖由下式給出：
P ( r i ) = n i n , ]]>
n為圖像中的像素總數，P(ri)給出了灰度級為ri發生的概率估計值；
巴氏距離
λ = - 1 N 2 H 1 H 2 Σ i H 1 ( i ) H 2 ( i ) , ]]>
式中
H k = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 , ]]>
其中，i是歸一化直方圖分段號，N表示歸一化直方圖中bin的數目，k表示圖像的代號，H1(i)、H2(i)分別表示當前幀目標模板與匹配模板的歸一化灰度直方圖對應區間的數值；
巴氏距離判斷子模塊，用於判斷巴氏距離λ是否在模板更新範圍內，即λ2＜λ＜λ1是否成立，是則進行步驟(13)，否則不更新匹配模板，根據實際經驗，0＜λ1＜1，0＜λ2＜1，優選λ1＝0.98、λ2＝0.88；
匹配模板更新子模塊，用於計算當前幀目標模板與匹配模板的歸一化灰度直方圖的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) , ]]>
式中其中，i是歸一化直方圖分段號，H1(i)、H2(i)分別表示當前幀目標模板與匹配模板的歸一化灰度直方圖對應區間的數值；
判斷是否卡方相似度是否大於更新模板閾值，即ρ＞λ3是否成立，根據實際經驗0＜λ3＜1，優選λ3＝0.46；是則更新匹配模板，否則不更新匹配模板；匹配模板更新方式如下
Tnew＝βTcur+(1-β)Told，
其中，Tnew、Tcur、Told分別表示更新後的匹配模板、當前圖像幀目標模板、匹配模板；β為最大直方圖相似度
β＝max{ρa,ρ,ρb}，
其中，ρa、ρ和ρb分別表示當前幀目標模板尺寸縮小a倍、當前幀目標模板和當前幀目標模板尺寸擴大b倍後的灰度直方圖與匹配模板灰度直方圖的卡方相似度,根據實際經驗0.5＜a＜1、1＜b＜1.5，優選a＝0.9、b＝1.1。
進一步的，所述目標位置估計模塊分為以下子模塊：
卡爾曼濾波器預估子模塊，用於根據當前幀目標位置和上一幀跟蹤目標位置，採用卡爾曼濾波器預估下一幀紅外圖像中目標子圖的位置；
相似度匹配目標位置子模塊，用於以卡爾曼濾波器預測的目標子圖位置為搜索區域的中心位置，在搜索區域內移動匹配模板，計算目標子圖與匹配模板的相似度，判斷是否至少存在一個匹配模板使得他們的相似度大於匹配閾值th，根據實際經驗0＜th＜1，優選th＝0.88，是則以相似度取得最大值時的匹配模板位置為估計的目標位置，否則以卡爾曼濾波器預測的目標子圖位置為估計的目標位置，相似度計算公式：
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) × e - D i s Dis m a x , ]]>
其中i、j是目標子圖左上角在被搜索區域上的坐標，T(m,n)表示匹配模板圖像中第m行第n列的像素灰度值，Sij(m,n)表示目標子圖中第m行第n列的像素灰度值
Sij(m,n)＝S(i+m,j+n)，
Dis表示當前匹配點(i,j)到卡爾曼濾波器預估的目標子圖位置的距離
D i s = | i - x ^ | + | y - y ^ | , ]]>
式中分別是濾波器預估的目標子圖位置的橫縱坐標值，Dismax表示Dis的最大值。
總體而言，通過本發明所構思的以上技術方案與現有技術相比，具有以下技術特徵及有益效果：
(1)本發明提出的基於模板匹配與卡爾曼濾波的紅外成像地面運動目標跟蹤方法能夠有效地解決紅外圖像中地面背景下運動目標跟蹤過程中被遮擋而造成的跟蹤失敗問題；
(2)本發明提出的基於模板匹配與卡爾曼濾波的紅外成像地面運動目標跟蹤方法能夠有效地解決紅外圖像中地面背景下運動目標跟蹤過程中由於目標與成像器相對運動和姿態變化而造成目標尺寸大小變化時的跟蹤失敗問題
(3)本發明提出的基於模板匹配與卡爾曼濾波的紅外成像地面運動目標跟蹤方法能夠有效地解決紅外圖像中地面背景下運動目標跟蹤過程中由於目標距離、尺寸等先驗信息未知造成的跟蹤失敗問題；
附圖說明
圖1是本發明的方法流程圖；
圖2是本發明的匹配模板自適應更新步驟流程圖；
圖3是本發明的目標位置估計步驟流程圖。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。此外，下面所描述的本發明各個實施方式中所涉及到的技術特徵只要彼此之間未構成衝突就可以相互組合。
如圖1一種魯棒的實時紅外成像地面運動目標跟蹤方法的流程圖，其中包含以下步驟：
(1)匹配模板自適應更新步驟：先計算當前幀目標模板灰度直方圖與匹配模板灰度直方圖的巴氏距離，如巴氏距離在模板更新範圍內，則計算當前幀目標模板和匹配模板灰度直方圖卡方相似度，如卡方相似度大於模板更新閾值，則計算當前幀目標模板尺寸縮小、不變和放大之後的灰度直方圖與匹配模板灰度直方圖的卡方相似度，選取最大卡方相似度為更新參數更新匹配模板；
(2)目標位置估計步驟：根據目標運動狀態，採用卡爾曼濾波器預估下一幀紅外圖像中目標子圖的位置，以此位置為搜索區域的中心位置；在搜索區域內移動匹配模板，計算不同區域的匹配模板和目標子圖的相似度，相似度最大且大於匹配閾值的匹配模板位置為目標位置，如相似度都小於匹配閾值則以卡爾曼濾波器預估位置為目標位置。
如圖2匹配模板自適應更新步驟包含以下子步驟：
(11)分別計算當前幀目標模板與匹配模板的灰度直方圖，將灰度直方圖歸一化之後計算它們的巴氏距離；
數字圖像的直方圖是離散函數
h(ri)＝ni，
其中ri是第i級灰度，ni是圖像灰度級為ri的像素個數，一個歸一化直方圖由下式給出：
P ( r i ) = n i n , ]]>
n為圖像中的像素總數，P(ri)給出了灰度級為ri發生的概率估計值；
巴氏距離
λ = 1 - 1 N 2 H 1 H 2 Σ i H 1 ( i ) H 2 ( i ) , ]]>
式中
H k = 1 N Σ i H k ( i ) , 0 ≤ i ≤ N , k = 1 , 2 , ]]>
其中，i是歸一化直方圖分段號，N表示歸一化直方圖中bin的數目，k表示圖像的代號，H1(i)、H2(i)分別表示當前幀目標模板與匹配模板的歸一化灰度直方圖對應區間的數值；
(12)判斷巴氏距離λ是否在模板更新範圍內，即λ2＜λ＜λ1是否成立，是則進行步驟(13)，否則不更新匹配模板，根據實際經驗0＜λ1＜1，0＜λ2＜1，優選λ1＝0.98、λ2＝0.88；
(13)計算當前幀目標模板與匹配模板的歸一化灰度直方圖的卡方相似度ρ
ρ = Σ i ( H 1 ( i ) - H 2 ( i ) ) 2 H 1 ( i ) + H 2 ( i ) , ]]>
式中其中，i是歸一化直方圖分段號，H1(i)、H2(i)分別表示當前幀目標模板與匹配模板的歸一化灰度直方圖對應區間的數值；
判斷是否卡方相似度是否大於更新模板閾值，即ρ＞λ3是否成立，其中λ3的範圍是0＜λ3＜1，優選λ3＝0.46；是則更新匹配模板，否則不更新匹配模板；匹配模板更新方式如下
Tnew＝βTcur+(1-β)Told，
其中，Tnew、Tcur、Told分別表示更新後的匹配模板、當前圖像幀目標模板、匹配模板；β為最大直方圖相似度
β＝max{ρa,ρ,ρb}，
其中，ρa、ρ和ρb分別表示當前幀目標模板尺寸縮小a倍、當前幀目標模板和當前幀目標模板尺寸擴大b倍後的灰度直方圖與匹配模板灰度直方圖的卡方相似度,根據實際經驗0.5＜a＜1、1＜b＜1.5，優選a＝0.9、b＝1.1。
如圖3目標位置估計步驟分為以下子步驟：
(21)根據當前幀目標位置和上一幀跟蹤目標位置，採用卡爾曼濾波器預估下一幀紅外圖像中目標子圖的位置；
(22)以卡爾曼濾波器預測的目標子圖位置為搜索區域的中心位置，在搜索區域內移動匹配模板，計算目標子圖與匹配模板的相似度，判斷是否至少存在一個匹配模板使得他們的相似度大於匹配閾值th，根據實際經驗0＜th＜1，優選th＝0.88；是則以相似度取得最大值時的匹配模板位置為估計的目標位置，否則以卡爾曼濾波器預測的目標子圖位置為估計的目標位置，相似度計算公式：
N C ( i , j ) = Σ m = 0 M Σ n = 0 N T ( m , n ) S i j ( m , n ) Σ m = 0 M Σ n = 0 N T 2 ( m , n ) Σ m = 0 M Σ n = 0 N ( S i j ( m , n ) ) 2 × e - D i s Dis m a x , ]]>
其中i、j是目標子圖左上角在被搜索區域上的坐標，T(m,n)表示匹配模板圖像中第m行第n列的像素灰度值，Sij(m,n)表示目標子圖中第m行第n列的像素灰度值
Sij(m,n)＝S(i+m,j+n)，
Dis表示當前匹配點(i,j)到卡爾曼濾波器預估的目標子圖位置的距離
D i s = | i - x ^ | + | y - y ^ | , ]]>
式中分別是濾波器預估的目標子圖位置的橫縱坐標值，Dismax表示Dis的最大值。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。