一種基於遮擋情況下的目標跟蹤方法
2023-04-23 02:32:11
一種基於遮擋情況下的目標跟蹤方法
【專利摘要】一種基於遮擋情況下的目標跟蹤方法，包括：1.對輸入的圖像進行前景提取，獲得前景二值圖像，對於複雜的室外場景應用，採用混合高斯背景模型；2.利用輪廓信息提取目標，獲得目標的大小、中心位置及方框信息，同時確定目標的個數；3.分析目標信息判斷目標方框是否與軌跡最近位置對應的目標方框相交；4.如果不相交，則進行交叉相關性匹配，若匹配不成功，則進行下一個目標或者下一條軌跡搜索；5.如果相交，則判斷目標的大小是否滿足匹配條件，如果滿足，則判斷目標的位置是否滿足匹配條件，如果也滿足，則匹配成功，反之進行下一步搜索；6.如果目標大小不滿足匹配條件，則進行目標分塊相關性匹配跟蹤，如果匹配不成功，則進行下一步搜索。
【專利說明】一種基於遮擋情況下的目標跟蹤方法
【技術領域】
[0001] 本發明公開一種視頻監控方法，特別是一種基於遮擋情況下的目標跟蹤方法，適 用於視頻監控中的智能視頻分析中。
【背景技術】
[0002] 隨著網絡技術與數字視頻技術的發展以及智能視頻監控的迫切需求，智能視頻分 析已經成為一種發展趨勢，其除了廣泛應用於銀行、監獄、軍隊等一些安全要求較敏感的區 域之外，也逐漸在一些公共場所如雨後春筍般發展起來，如：商場、圖書館、交通、停車場等。 而目標跟蹤則是智能視頻分析中必不可少的組成部分。只有實時檢測視頻中的運動目標， 並根據目標的特徵尋找每一幀目標的位置，獲取目標的運動軌跡，進一步對目標的特性進 行處理與分析，才能實現對運動目標的行為分析。但目標跟蹤仍然存在著許多挑戰，如環境 變化、攝像頭抖動、目標碰撞、目標遮擋等。目前，許多研究者針對環境變化及攝像頭抖動 的影響，已經做了很多工作，並取得了一定的有效成果。比如利用團塊與背景的相關性可有 效區分運動的背景與前景；比較當前圖像及背景參考圖像的輪廓梯度和能去除"鬼影";利 用圖像的運動補償能解決攝像頭的輕微抖動；通過軌跡信息與目標尺寸可對碰撞後的團塊 進行分塊、合併處理，有效解決了目標碰撞的問題。而目標遮擋問題仍然是目標跟蹤過程中 的一大難題，當目標被物體部分遮擋或者遮擋一段時間後，又出現在場景中，若不做遮擋分 析，傳統的算法都容易誤跟，甚至會出現跟蹤目標丟失。
[0003] 目前，國內外研究者對於目標遮擋問題，通常採取先檢測目標被遮擋的情況，然後 再利用更複雜的算法解決遮擋問題的方案。目標遮擋檢測的方法主要有交迭係數法、基於 目標區域估計面積與觀測面積之差的判斷方法、遮擋物建模、動態分層法以及基於仿射不 變量的遮擋監測方法等。其中，仿射不變量通常採用特徵點、輪廓等特徵，除此之外，根據不 同的目標跟蹤方法可採用不同的檢測遮擋方法，例如，利用Meanshift跟蹤算法，可直接採 用Bhattacharyya係數來檢測遮擋目標。那麼，當檢測有遮擋的目標後，目前通常採用的方 法有特徵（特徵點、輪廓）匹配，分塊後模板匹配以及通過Kalman濾波對目標的後續狀態 進行估計等。
[0004] 對於上述的目標遮擋檢測方法，動態分層表示方法的實現框架為計算帶來沉重的 負擔。交迭係數判斷方法、B係數方法及基於目標區域的估計面積與觀測面積之差的判斷方 法，與動態分層表示方法相比，其計算效率有一定的提高，但易受目標尺寸變化的影響而產 生誤判。基於仿射不變量的遮擋檢測算法有效解決了目標旋轉、伸縮等條件下的目標遮擋 檢測，但特徵點與輪廓的提取，目標遮擋區域的預測及匹配過程大大增加了其計算複雜度。 而目前基於遮擋的目標跟蹤方法也只是在一定程度上解決了目標部分遮擋的問題，而不能 解決全部遮擋或長時間遮擋問題。
【發明內容】
[0005] 針對上述提到的現有技術中的視頻監控中的智能視頻分析裡面的目標跟蹤算法 在遮擋情況下遇到的問題，本發明提供了一種基於目標被遮擋情況下的目標跟蹤算法，該 算法在降低算法複雜度的同時，還有效解決了目標被遮擋而易跟丟或跟錯的問題。
[0006] 本發明解決其技術問題採用的技術方案是：一種基於遮擋情況下的目標跟蹤方 法，該方法包括下述步驟：
[0007] 步驟1，對輸入的圖像進行前景提取，獲得前景二值圖像，對於複雜的室外場景應 用，採用混合高斯背景模型；
[0008] 步驟2,利用輪廓信息提取目標，獲得目標的大小、中心位置及方框信息，同時確定 目標的個數；
[0009] 步驟3,分析目標信息判斷目標方框是否與軌跡最近位置對應的目標方框相交；
[0010] 步驟4,如果不相交，則進行交叉相關性匹配，若匹配不成功，則進行下一個目標或 者下一條軌跡搜索；
[0011] 步驟5,如果相交，則判斷目標的大小是否滿足匹配條件，如果滿足，則判斷目標的 位置是否滿足匹配條件，如果也滿足，則匹配成功，反之進行下一步搜索；
[0012] 步驟6,如果目標大小不滿足匹配條件，則進行目標分塊相關性匹配跟蹤，如果匹 配不成功，則進行下一步搜索。
[0013] 本發明解決其技術問題採用的技術方案進一步還包括：
[0014] 所述的混合高斯背景模型的具體步驟如下：
[0015] (1)背景建模與初始化：背景圖像的每個像素分別由K個高斯分布構成的混合高 斯模型來建模，即：
【權利要求】
1. 一種基於遮擋情況下的目標跟蹤方法，其特徵是；所述的方法包括下述步驟： 步驟1，對輸入的圖像進行前景提取，獲得前景二值圖像，對於複雜的室外場景應用，採 用混合高斯背景模型； 步驟2,利用輪廓信息提取目標，獲得目標的大小、中也位置及方框信息，同時確定目標 的個數； 步驟3,分析目標信息判斷目標方框是否與軌跡最近位置對應的目標方框相交； 步驟4,如果不相交，則進行交叉相關性匹配，若匹配不成功，則進行下一個目標或者下 一條軌跡搜索； 步驟5,如果相交，則判斷目標的大小是否滿足匹配條件，如果滿足，則判斷目標的位置 是否滿足匹配條件，如果也滿足，則匹配成功，反之進行下一步搜索； 步驟6,如果目標大小不滿足匹配條件，則進行目標分塊相關性匹配跟蹤，如果匹配不 成功，則進行下一步搜索。
2. 根據權利要求1所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的混合高 斯背景模型的具體步驟如下： (1) 背景建模與初始化：背景圖像的每個像素分別由K個高斯分布構成的混合高斯模 型來建模，即；
式中，K為混合高斯模型中高斯分布的個數，在本發明實施例中取值為3 ;xt為像素在t 時刻的YUV顏色特徵向量，即xt= [yt，Ut，vJ 表示t時刻混合高斯模型中第i個高斯 分布的權係數估計值；y 和2 分別表示t時刻混合高斯模型中第i個高斯分布的均值 向量和協方差矩陣；hO為高斯分布概率密度函數如式（2)所示；
(2) 模板匹配；模型匹配是對每個像素與已有的k(l《k《K)個背景高斯模型分別進 行對比，若滿足I xt- V 11 <T，則匹配成功，其中，Xt為t時刻某像素值，y t為第i各模板 的均值，T為模板的闊值； (3) 模型更新及權值更新；若檢驗到該像素的特徵向量Xt在t時刻不與混合高斯模型 匹配，則根據W下規則更新混合高斯模型參數；a.對不匹配的高斯分布，將其均值及方差 保持不變；b.如 Ui,t=(l-P) ? *Xt 與 〇i,t=(l-p) ? 〇i,t_i+P ? (Xt-Ui,t)2 所示 更新匹配的高斯分布的均值和方差； 其中，P為參數估計的學習速率； (4) 建立新模型；如果當前像素與K個模型都不匹配，則建立新模型，並替代權值最小 的模型，建立新模型即為設置初始化值，將當前圖像的灰度值賦予模型的均值及配較大的 方差及較小的權值。
3. 根據權利要求1所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的用輪廓 信息提取目標的算法採用標記算法，它W連通成分為基礎，將二值圖像中的不同連通區域 區分開來，標記結果將產生一張與原始二值圖大小相等的標記圖，在標記圖中，屬於不同連 通區域的位置被賦予不同的標籤，則屬於相同的被賦予相同的標籤。
4. 根據權利要求3所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的標記算 法具體實現步驟如下： (1) 找出二值圖像每行的所有起始點與終止點，起始點指每行中連續為前景的第一點； 終止點為每行中連續為前景的最後一點，那麼對於每行，連續產生的一個起始點和終止點 形成一個分段，則第i行的j個分段記為Segi,j.(u，V)，其中U，V分別為當前分段起始點與 終止點的位置； (2) 對每行的起止點與終止點進行歸類，即將當前行的每一個分段與前一行的每個分 段分別進行比較，若它們的分段有相交，則表明為同一個連通區域，則將兩個分段記為同一 種標號，令第i行的j個分段為Segi,"(Ui，vi)，前一行的第n個分段為Segy,"(U2, V,)，如果 Ul《V2&&V1 > U2,則將兩個分段的標號賦予相同的標籤，如果不滿足條件，則為新的連通區 域，則將其賦予新的標籤； (3) 根據分段的不同標籤賦予圖像不同連通區域的標籤，在標記算法的第（2)步驟中 已經獲得不同連通區域的每行的起止點與終止點，也就是獲得了每個連通區域的所有輪廓 點坐標，根據坐標將每個連通區域內的所有坐標都賦予相同的標籤； (4) 求每個輪廓的中也、方框及面積，即為目標的位置、方框及大小，並利用稀疏表示保 存所有輪廓點；定義輪廓的面積為S，域為Y，則中也(;，j))及方框位置（xifup，yifup，w，h)的計 算公式如下：
其中，（xifup，yifup)表示方框左上角的位置，w，h分別為方框的寬與高。
5. 根據權利要求1所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的目標與 軌跡是否相交的判斷，具體如下： 令第i條軌跡在最近時刻對應目標的方框為（Xi,i，yu，Wi,i，、,t)，t時刻第j個目標 的方框為hj,t)，則通過下式判斷兩方框是否相交，
其中，S(i，j)=l表示兩方框相交，S(i，j)=0表示兩方框不相交。
6. 根據權利要求1所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的交叉相 關性匹配計算的具體步驟如下： (1)比較兩方框的大小，令較小的方框為標準窗口尺寸，假設第i條軌跡在最近時刻對
應目標的方框較小，則w它的方框大小為標準窗口尺寸，如果在t時刻第j個目標的方框中 存在 或者 則擴大其窗口，即或者 1); (2) 求第i條軌跡在最近時刻對應目標的方框中的圖像分別與基於標準窗口從第j 個目標的方框的左上角開始移動所獲得的圖像的相關性係數，令第i條軌跡在最近時刻 對應目標的方框中的圖像像素矩陣為P=虹，P2, L，P。] ，w其為標準窗口， 在t時刻第j個目標的方框中獲得當前峽對應位置的像素矩陣為P' =[p' i，p' 2，L p'。] ?€/?、<"''，根據下獲得它們的相關係數：
將獲得的最大相關性係數作為第i條軌跡與t時刻第j個目標的相關係數； (3) 判斷是否匹配，如果相關係數大於0. 9,則計算第i條軌跡最近時刻兩點方向與Y 方向的夾角，W及第i條軌跡最近位置到第j個目標的方向與Y方向的夾角，求兩夾角的 絕對差值，若其值小於預先設定的闊值，則判兩夾角為相似，闊值的取值範圍一般設為[5， 10]，若兩夾角相似，則匹配成功。
7.根據權利要求1所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的目標的 大小與位置的匹配判斷，具體如下： (1) 大小匹配，令第i條軌跡所有對應目標的平均尺寸為如果當前第j個目標的尺 S 寸Sj.滿足條件；^1 <y <7^2其中，Ti與T2為兩個闊值，則認為大小匹配； (2) 位置匹配，判斷第i條軌跡與Y方向的夾角及第j個目標的位置到第i條軌跡最 近位置與Y方向的夾角絕對差值是否在預設的範圍內，且第i條軌跡的預測位置是否與第j 個目標的位置是否滿足預設的條件，若都滿足，則認為匹配成功，其判斷匹配是否成功的具 體條件與實現步驟如下所示：令當前巾貞第j個目標的中也為（Xj.，yP，第i條軌跡的最近獲 得的位置為（Xi，yi)，則其歐氏距離與夾角可得：
令dVXi、dVyi為前一峽軌跡在X與Y方向的位移偏差，則在X與Y方向預測位置分別 為：
當前巾貞第j個目標與第i條軌跡預測位置分別在X與Y方向的絕對差為：
令i條軌跡最近兩位置的方向與垂直方向的夾角為0t"eka)，則可得0 a, j)與 白^。。山'）的絕對差值： 白 ，?1.) = I 日 traek(j)-日（i，?1.) 則第i條軌跡與當前峽第j個目標滿巧
巧示的條件，則認為匹配成 功，其中，Ts取值為目標方框寬的四分之一，T4取值為目標方框高的四分之一，Tg的取值範 圍分別為[5,10]。
8.根據權利要求1所述的基於遮擋情況下的目標跟蹤方法，其特徵是；所述的分塊相 關性匹配跟蹤計算具體步驟如下： (1) 將第i條軌跡最近位置所對應的目標圖像分成NXN的小團塊； (2) 通過相關性尋找軌跡中每個小團塊的新位置，假設第i條軌跡的第j個團塊的方框 為標準窗口，擴展標準窗口的範圍，獲得一個擴展的方框，基於標準窗口大小，在擴展範圍 內獲取不同位置的方框，那麼，可W利用
計算第i 條軌跡的第j個團塊分別與當前圖像在擴展範圍內不同位置方框的灰度級相關性係數，若 其中相關係數的最大值大於預設的闊值，則為第i條軌跡的第j個團塊找到了新的位置，女口 果其相關性係數不滿足條件，則進行下一個小團塊的位置搜索； (3) 如果第i條軌跡與當前峽中的目標匹配成功的小團塊個數大於2,則認為第i條軌 跡與該目標匹配。
【文檔編號】G06T7/00GK104424638SQ201310394699
【公開日】2015年3月18日 申請日期:2013年8月27日 優先權日:2013年8月27日
【發明者】劉中奎, 李 赫, 李戰斌 申請人:深圳市安芯數字發展有限公司