多特徵融合目標跟蹤方法及基於信息熵的權值自適應方法與流程
2023-10-22 09:26:48 6
本發明屬於計算機視覺領域，具體涉及一種多特徵融合目標跟蹤方法及基於信息熵的權值自適應方法，可用於複雜情況幹擾下目標的連續穩定跟蹤。
背景技術：
目標跟蹤是軍用探測系統和民用監控系統的重要任務之一。目標跟蹤，指的是在視頻序列中確定感興趣的運動目標的大小，位置和運動軌跡，從而為更高層的處理和分析奠定基礎。然而，目前研究跟蹤方法的仍存在很多難點，主要包含有四大類：(1)複雜的環境背景：在惡劣的雨、雪、霧、霾等天氣條件下，圖像因複雜背景帶來視覺效果的模糊，使得目標特徵難以通過傳統的基於特徵的跟蹤方法進行提取。另外，傳感器噪聲、以及相機抖動等幹擾，給圖像處理及目標跟蹤帶來困難。(2)複雜跟蹤場景幹擾：真實的目標場景複雜多變，對運動目標檢測跟蹤造成各種各樣的幹擾，從而影響人們對事物的判斷。如：不斷變化的光照條件，與目標相似物體的幹擾，目標被部分或嚴重遮擋等情況。(3)目標運動形式多變：目標運動中發生形狀，尺度，旋轉，以及運動模糊等變化，導致目標的外觀發生大幅度的變化，這對於目標檢測跟蹤提出了很高的要求。(4)實時性要求：智能視頻監控最重要的需求之一就是實時性。然而，提高檢測跟蹤方法的實時性，自然會影響到方法的計算量，從而影響方法跟蹤結果的準確性。因此，方法需要考慮如何適應場景的變化和幹擾，準確地描述目標的特徵，更好地兼顧方法的準確性和實時性，保證不會出現錯誤跟蹤或跟蹤目標丟失等情況。
目前用於運動目標的跟蹤方法主要分為四大類：基於特徵點的跟蹤、基於區域的跟蹤、基於光流的跟蹤、基於活動輪廓的跟蹤。基於特徵點的跟蹤方法通常指的是通過跟蹤在目標上具有多個方向的一組奇點信息來實現目標跟蹤，並且可以精確地將特徵點的信息應用於匹配減輕。該方法可以很好地解決部分遮擋問題，但要保證能夠準確地提取和保存特徵點信息。基於區域的跟蹤方法主要通過創建用來表徵運動目標特徵的模板，並與目標進行匹配，從而確定目標的位置。方法適用於形變較小，且無遮擋的目標，跟蹤準確且穩定。但缺點是方法計算量較大。基於光流的跟蹤方法，充分利用視頻序列在前景的運動特性來實現目標跟蹤。光流法分為全局光流法和特徵點光流法。全局光流法在複雜背景中的跟蹤效果較好，但是計算量相對較大。特徵點光流法速度較快，但效果一般。基於活動輪廓的跟蹤方法結合圖像特徵和閉合曲線輪廓來構造能量函數，通過求解最小化的能量來跟蹤目標。方法考慮目標整體輪廓的幾何信息，因而可靠性較高。但是方法的計算量相對較大，對於快速移動或形變較大的目標的跟蹤效果不是十分理想。
考慮到單一的特徵提取方法不能足夠準確地描述目標,並且隨後的軌跡評估也缺乏魯棒性。許多學者通過結合多個特性和自適應融合方法，來實現更加穩定的跟蹤。然而,大多數的目標跟蹤方法中，對目標特徵的表達能力較弱，缺乏適應環境變化的融合策略，跟蹤的結果或者對某些目標的形態變化敏感，或者對複雜場景中的適應能力有限，或者運算複雜度較高，從而導致跟蹤方法的可靠性較低，魯棒性較差，限制了方法的研究和應用範圍。因此,迫切需要一個能夠在複雜的場景中，能夠保持準確、魯棒和自動的目標跟蹤方法。
技術實現要素：
本發明的目的在於提供一種多特徵融合目標跟蹤方法及基於信息熵的權值自適應方法,以提高方法的準確性、魯棒性和實時性。該方法基於粒子濾波的基本思想，首先構建系統狀態模型和系統觀測模型，並進行粒子採樣，得到當前時刻的粒子集。然後對目標進行多特徵提取，並利用相關性公式，計算相關係數和相關距離，增加描述觀測目標的準確性和全面性。最後，方法採用基於信息熵的線性加權融合策略，根據各個特徵的先驗概率密度似然函數的信息熵，自適應地調節各特徵融合的權值，提高跟蹤方法的魯棒性和運行效率。
為實現上述目的，本發明提供如下技術方案：多特徵融合目標跟蹤方法，其特徵在於，包括以下步驟：
s1、構建系統狀態模型xk＝φxk-1+γuk-1和系統觀測模型zk＝tan-1(yk/xk)+vk；
s2、根據系統狀態模型，採樣得到當前時刻的粒子集
s3、提取候選目標的第一特徵、第二特徵及第三特徵，並計算相關係數和相關距離，所述相關係數和相關距離可用于衡量目標模型與候選目標的特徵參數之間的相似性；
s4、加權融合所述第一特徵、第二特徵及第三特徵，並計算粒子的先驗概率密度似然函數，預測目標的位置。
優選方案，多特徵加權融合得到粒子的先驗概率密度似然函數的過程通過以下公式實現：
其中，
和分別表示第一特徵、第二特徵及第三特徵對粒子預測的先驗概率密度似然函數；
α，β和γ為權值係數，並同時滿足：0≤α≤1，0≤β≤1，0≤γ≤1，α+β+γ＝1。
優選方案，所述跟蹤方法在加權融合多項特徵以獲得粒子的先驗概率密度似然函數之前，包括步驟：
a1、根據各個特徵先驗概率密度似然函數的信息熵判斷是否對當前權值係數進行更新；
a2、如需更新，則更新現有權值係數，並根據更新後的權值係數計算以預測目標位置。
優選方案，步驟a1包括以下步驟：
a11、根據公式計算樣本集x的信息熵，其中，n代表樣本集x的分類數，pi代表x中第i類元素出現的概率；
獲得第一特徵、第二特徵及第三特徵的先驗概率密度似然函數的信息熵ha、hb及hc分別如下：
a12、根據信息熵轉換獲得信息熵比值：l＝ha/(hb+hc)和m＝hb/hc，根據l和m取值範圍，調整權值係數α、β和γ。
優選方案，各特徵對應的權值係數大小關係與所述特徵似然函數熵的大小關係一致。
優選方案，所述第一特徵、第二特徵及第三特徵分別為目標的顏色特徵、紋理特徵和邊緣特徵。
優選方案，所述權值係數α、β和γ根據下表取值：
基於信息熵的權值自適應方法，其特徵在於，包括步驟：
b1、根據公式計算樣本集x的信息熵，其中，n代表樣本集x的分類數，pi代表x中第i類元素出現的概率；
獲得第一特徵、第二特徵及第三特徵的先驗概率密度似然函數的信息熵ha、hb及hc分別如下：
b2、根據信息熵轉換獲得信息熵比值：l＝ha/(hb+hc)和m＝hb/hc，根據l和m取值範圍，調整權值係數α、β和γ。
優選方案，各特徵對應的權值係數大小關係與所述特徵似然函數熵的大小關係一致。
優選方案，所述第一特徵、第二特徵及第三特徵分別為目標的顏色特徵、紋理特徵和邊緣特徵。
優選方案，所述權值係數α、β和γ根據下表取值：
。
與現有技術相比，本發明的有益效果是：利用顏色、紋理及邊緣特徵進行目標特徵提取，及引用相關性測量多特徵的相關距離，從而提高了多特徵對目標描述的準確性和全面性。以及基於信息熵的自適應更新多特徵融合的權值，提高了方法對抗複雜場景的魯棒性以及運行效率，適用於目標被遮擋，背景光照不斷變化，目標的尺度變化等複雜場景。
附圖說明
圖1所示為本發明實施例的多特徵融合目標跟蹤方法流程圖示；
圖2所示為根據本發明實施例的多特徵融合目標跟蹤方法及基於信息熵的權值自適應方法獲得的監控視頻中車輛跟蹤與粒子濾波方法及時空上下文跟蹤方法的跟蹤效果對比圖示；
圖3所示為根據本發明實施例的多特徵融合目標跟蹤方法及基於信息熵的權值自適應方法獲得的低光照複雜燈光背景下跳舞者跟蹤與粒子濾波方法及時空上下文跟蹤方法的跟蹤效果對比圖示。
具體實施方式
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
請參閱圖1、圖2及圖3：
本實施例的多特徵融合目標跟蹤方法，包括以下步驟：
s1、構建系統狀態模型xk＝φxk-1+γuk-1和系統觀測模型zk＝tan-1(yk/xk)+vk；
s2、根據系統狀態模型，採樣得到當前時刻的粒子集
s3、提取候選目標的第一特徵、第二特徵及第三特徵，並計算相關係數和相關距離，所述相關係數和相關距離可用于衡量目標模型與候選目標的特徵參數之間的相似性；
s4、加權融合所述第一特徵、第二特徵及第三特徵，並計算粒子的先驗概率密度似然函數，預測目標的位置。
優選實施例方案，多特徵加權融合得到粒子的先驗概率密度似然函數的過程通過以下公式實現：
其中，
和分別表示第一特徵、第二特徵及第三特徵對粒子預測的先驗概率密度似然函數；
α，β和γ為權值係數，並同時滿足：0≤α≤1，0≤β≤1，0≤γ≤1，α+β+γ＝1。
優選實施例方案，所述跟蹤方法在加權融合多項特徵以獲得粒子的先驗概率密度似然函數之前，包括步驟：
a1、根據各個特徵先驗概率密度似然函數的信息熵判斷是否對當前權值係數進行更新；
a2、如需更新，則更新現有權值係數，並根據更新後的權值係數計算以預測目標位置。
優選實施例方案，步驟a1包括以下步驟：
a11、根據公式計算樣本集x的信息熵，其中，n代表樣本集x的分類數，pi代表x中第i類元素出現的概率；
獲得第一特徵、第二特徵及第三特徵的先驗概率密度似然函數的信息熵ha、hb及hc分別如下：
a12、根據信息熵轉換獲得信息熵比值：l＝ha/(hb+hc)和m＝hb/hc，根據l和m取值範圍，調整權值係數α、β和γ。
優選實施例方案，各特徵對應的權值係數大小關係與所述特徵似然函數熵的大小關係一致。
優選實施例方案，所述第一特徵、第二特徵及第三特徵分別為目標的顏色特徵、紋理特徵和邊緣特徵。
優選實施例方案，所述權值係數α、β和γ根據下表取值：
基於信息熵的權值自適應方法，包括步驟：
b1、根據公式計算樣本集x的信息熵，其中，n代表樣本集x的分類數，pi代表x中第i類元素出現的概率；
獲得第一特徵、第二特徵及第三特徵的先驗概率密度似然函數的信息熵ha、hb及hc分別如下：
b2、根據信息熵轉換獲得信息熵比值：l＝ha/(hb+hc)和m＝hb/hc，根據l和m取值範圍，調整權值係數α、β和γ。
優選實施例方案，各特徵對應的權值係數大小關係與所述特徵似然函數熵的大小關係一致。
優選實施例方案，所述第一特徵、第二特徵及第三特徵分別為目標的顏色特徵、紋理特徵和邊緣特徵。
優選實施例方案，所述權值係數α、β和γ根據下表取值：
以下為本發明的另一優選實施方式：
步驟1：構建系統狀態模型和觀測模型，並採樣得到當前時刻的粒子集；
根據系統狀態向量的經驗條件分布，在狀態空間採樣產生一組隨機樣本集合，這些樣本集合稱為粒子。根據系統狀態方程式採樣得到當前k時刻粒子集並傳遞當前時刻的粒子獲得下一時刻的粒子集，其中，n表示粒子的個數，i表示粒子的序號。該方法可以用來估計任意非線性非高斯隨機系統的狀態和參數。
假設為系統的k時刻狀態值，即xk,yk表示k時刻目標在坐標系x,y方向上的位置，表示k時刻目標在坐標系x,y方向上的速度。令zk為k時刻的觀測角度。為k-1時刻x,y方向上的系統噪聲，vk為k時刻的觀測噪聲。設定系統噪聲和測量噪聲為零均值高斯白噪聲。系統狀態模型和系統觀測模型分別如式(1)和式(2)所示。
xk＝φxk-1+γuk-1,k＝1,2,...,n(1)
zk＝tan-1(yk/xk)+vk,k＝1,2,...,n(2)
其中，設置參數為
步驟2：分別提取目標的多個特徵，並計算目標模型與候選目標間的相似性；
常用的目標特徵有：顏色特徵、紋理特徵、邊緣特徵等。我們採用相關性來表示目標模型與候選目標間的相似性。相關係數是衡量隨機變量x與y相關程度的一種方法，相關係數的取值範圍是[-1,1]。相關係數的絕對值越大，則表明x與y相關度越高，即目標特徵與候選區域越相似。當x與y線性相關時，相關係數取值為1，表示正線性相關，或者取值為-1，則表示負線性相關。假設q表示目標模型特徵，p表示候選目標特徵。那麼，目標模型與候選目標之間的相關係數ρqp和相關距離dqp的定義分別如式(3)和式(4)所示：
dqp＝1-ρqp(4)
其中，cov(q,p)表示q與p的協方差，d(q)與d(p)分別表示q與p的方差值，eq與ep分別表示q與p的期望值。
步驟3：計算粒子的各個特徵的先驗概率密度似然函數，並採用多特徵線性加權策略進行融合；
似然函數代表分布的混亂程度或分散程度。粒子分布越分散，似然函數值越小，粒子越集中，似然函數值越大。由於觀測噪聲與系統狀態相互獨立，觀測噪聲為零均值高斯白噪聲，因此先驗概率密度似然函數px(z|x)表示為：
其中d為相關距離，σ是高斯噪聲的標準方差，px(z|x)是系統狀態模型下先驗概率密度似然函數，pv(z|x)是由於觀測噪聲與系統狀態相互獨立，系統狀態模型下先驗概率密度似然函數等同於系統觀測模型下先驗概率密度似然函數，z是系統觀測模型，x是系統狀態模型，exp是觀測噪聲為零均值高斯白噪聲時的概率密度函數近似表達算符。用表示粒子i的觀測似然模型，採用多特徵線性加權融合策略得粒子的先驗概率密度似然函數為
權值α、β和γ滿足：(0≤α,β,γ≤1)，α+β+γ＝1。
步驟4：根據各個特徵的先驗概率密度似然函數的信息熵比值，對多特徵融合的先驗概率密度似然函數的係數進行自適應更新；
信息熵能夠用來衡量分布的混亂程度或分散程度，因此引入信息熵對多特徵線性融合的權值進行自適應更新。信息熵越大，不確定性越大，每個粒子的觀測似然分布越趨向於相等，即粒子的權值分布越均勻，所對應多特徵的鑑別能力越弱，該特徵所對應的權值應當越小，反之權值應當越大。計算給定的樣本集x的信息熵的公式：
其中，n代表樣本集x的分類數，pi代表x中第i類元素出現的概率。分開計算多個特徵的先驗概率密度似然函數的信息熵：
根據l＝ha/(hb+hc)和m＝hb/hc，查詢下表選擇權值。從表中看出，a特徵的似然函數熵小於b特徵的似然函數熵，此時a特徵的鑑別能力強於b特徵，a特徵對應權值取較小值，反之，對應權值取較大值。我們將三種特徵分為兩組，先將紋理和邊緣特徵的似然函數的整體看為一組。根據l查表(分表1)，確定出顏色特徵的加權係數，以及紋理和邊緣特徵的似然函數的整體系數。然後再根據m查表(分表2)，分別確定出紋理和邊緣特徵的似然函數的加權係數，乘以整體系數，就是它們最後的加權係數。
基於信息熵的自適應特徵融合權值表(合表)
基於信息熵的自適應特徵融合權值表(分表1)
基於信息熵的自適應特徵融合權值表(分表2)
圖2和圖3為採用本發明的方案，並選擇顏色、紋理和邊緣作為第一、第二及第三特徵，信息熵的自適應特徵融合權值表採用上表，以監控視頻中車輛跟蹤及低光照複雜燈光背景下跳舞者跟蹤為試驗對象，獲得的與粒子濾波方法及時空上下文跟蹤方法的跟蹤效果對比圖。
其中自上而下依次是本實施例、粒子濾波方法及時空上下文跟蹤方法的效果圖示。圖2中：本實施例經過了兩車交會、障礙物(路邊的樹)嚴重遮擋等環境後仍能完全跟蹤；粒子濾波方法在第565幀障礙物遮擋、第610幀兩車交會、第687幀及第785幀障礙物遮擋中都存在不同程度的識別錯誤；時空上下文跟蹤方法在第610幀兩車交會、第687幀及第785幀障礙物遮擋中也存在一定程度的識別錯誤。圖3中：本實施例在全過程實現了準確跟蹤；粒子濾波方法在第208幀出現對象識別不全，第275幀出現跟丟的情況；時空上下文跟蹤方法在第275幀出現識別錯誤，具體表現為識別時將背景光照(地面的反光區域)識別為了目標對象。
在本發明的實施例的描述中，需要理解的是，術語「上」、「下」、「前」、「後」、「左」、「右」、「堅直」、「水平」、「中心」、「頂」、「底」、「頂部」、「根部」、「內」、「外」、「外圍」、「裡側」、「內側」、「外側」等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了使於描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。其中，「裡側」是指內部或圍起來的區域或空間。「外圍」是指某特定部件或特定區域的周圍的區域。
在本發明的實施例的描述中，術語「第一」、「第二」、「第三」、「第四」僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第二」、「第三」、「第四」的特徵可以明示或者隱含地包括一個或者更多個該特徵。在本發明的描述中，除非另有說明，「多個」的含義是兩個或兩個以上。
在本發明的實施例的描述中，需要說明的是，除非另有明確的規定和限定，術語「安裝」、「相連」、「連接」、「組裝」應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對於本領域的普通技術人員而言，可以具體情況理解上述術語在本發明中的具體含義。
在本發明的實施例的描述中，具體特徵、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。
在本發明的實施例的描述中，需要理解的是，「-」和「～」表示的是兩個數值之同的範圍，並且該範圍包括端點。例如:「a-b」表示大於或等於a，且小於或等於b的範圍。「a～b」表示大於或等於a，且小於或等於b的範圍。
在本發明的實施例的描述中，本文中術語「和/或」，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，a和/或b，可以表示：單獨存在a，同時存在a和b，單獨存在b這三種情況。另外，本文中字符「/」，一般表示前後關聯對象是一種「或」的關係。
儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的範圍由所附權利要求及其等同物限定。