車輛跟蹤方法及系統的製作方法
2023-12-10 02:33:41
專利名稱：車輛跟蹤方法及系統的製作方法
技術領域：
本發明涉及信息處理技術領域，尤其涉及一種車輛跟蹤方法及系統。
背景技術：
智能交通視頻監控算法主要包含車輛檢測、車輛跟蹤和車輛行為分析三個步驟， 如圖I所示。車輛檢測實現初始交通場景中車輛目標的提取；車輛跟蹤對提取的車輛目標進行實時的運動描述，並生成各自的運動軌跡；行為分析基於產生的運動軌跡的規律來判斷車輛是否發生違章行為或處於異常狀態。
車輛跟蹤技術具有重要的應用價值和發展前景，近年來發展迅速。車輛跟蹤試圖在各幀圖像之間確定目標相關信息參數的相互關係，通過前、後幀之間的對應匹配來獲取目標的軌跡信息。常見跟蹤算法可歸為以下四類。
(I)點跟蹤法包括單點跟蹤和多點跟蹤，主要利用目標歷史位置、速度等信息實現鄰幀之間的目標關聯，如kalman濾波法，光流法，SIFT匹配法。
(2)核跟蹤法核跟蹤法通過對車輛外觀模型在連續幀之間進行匹配來計算目標的運動，包括基於模版的方法、基於概率模型的方法和多視覺模型的方法。這類算法涉及的三個基本要素是目標外觀模型、搜索策略和相似性度量。常採用的搜索策略有窮舉法、 目標函數優化法和統計性方法等；而相似性度量標準一般採用平方差和(Sumof Squared Difference, SSD)、互相關係數、正則化相關係數等。基於模版的方法實質上就是進行模版匹配。基於概率模型的方法將目標區域的特徵用概率分布模型表示，通過模型匹配實施跟蹤，如基於顏色直方圖的目標跟蹤、基於LBP紋理特徵的目標跟蹤、基於GM(1，I)模型的跟蹤、基於馬爾可夫隨機場|旲型的跟蹤、基於均值漂移的跟蹤、基於質心迭代的跟蹤、基於粒子濾波器的跟蹤和基於多特徵自適應融合的目標跟蹤。其中基於多特徵自適應融合的目標跟蹤常採用的特徵包括點、線、角點、顏色等。基於多視覺模型的方法能夠適應目標姿態變化引起的外觀變化，常見的有基於主成份分析(PCA)和基於分類器的方法，如Adaboost分類器。
(3)結構模型跟蹤法根據先驗知識建立目標的幾何模型，跟蹤時先根據上一幀結果預測當前幀目標姿態，將處於預測姿態的目標模型投影到圖像平面，計算匹配誤差；然後通過優化預測姿態、最小化目標函數獲得當前跟蹤結果。常用的結構模型為3D線框模型。
(4)剪影跟蹤法首要任務是獲取目標的輪廓，精確得到目標佔據的區域；如基於主動輪廓模型的跟蹤法。
此外，車輛跟蹤算法根據算法驅動方式不同，還可分為自下而上的數據驅動方法， 典型代表為MeanShift算法，和自上而下的模型驅動方法，典型代表為粒子濾波算法。
上述的車輛跟蹤算法存在以下缺點
(I)目標的模型建立、輪廓獲取難度大，且目標函數定義或優化較複雜；
(2)搜索策略計算量較大；
(3)目標特徵不能及時得到更新，姿態變化易導致跟丟；
(4)跟蹤過程與檢測結果相對獨立，無交互；
(5)對光線變化、相鄰目標遮擋等因素敏感；
(6)對由於遮擋、錯誤消去等原因造成的短暫丟失的目標無法繼續跟蹤。發明內容
(一)要解決的技術問題
本發明要解決的技術問題是提供一種跟蹤的準確性和連續性提高的車輛跟蹤方法。
(二)技術方案
為解決上述問題，一方面，本發明提供了一種車輛跟蹤方法，包括以下步驟
在車輛檢測結果中選取適於跟蹤的對象作為新的跟蹤目標，並初始化所述跟蹤目標的歷史特徵信息；
基於所述跟蹤目標已有的運動信息預測所述跟蹤目標在當前幀出現的軌跡位置和範圍；
使用設定大小的掃描窗在所述跟蹤目標的預測範圍內掃描，保留滿足碼字匹配條件的掃描窗對應區域作為候選框；
評價每個候選框作為最終跟蹤結果的置信度，取有最大置信度的候選框作為跟蹤目標在當前幀的跟蹤結果；
對所述跟蹤結果進行修正；
判斷是否對該跟蹤目標繼續跟蹤
若繼續執行跟蹤，則利用當前幀跟蹤結果的信息對跟蹤目標的歷史特徵信息進行在線更新後轉到所述基於所述跟蹤目標已有的運動信息預測所述跟蹤目標在當前幀出現的軌跡位置和範圍的步驟；
若不繼續執行跟蹤，則跟蹤結束。
優選地，所述初始化所述跟蹤目標的歷史特徵信息的步驟包括以所述車輛檢測結果中的檢測位置所對應的灰度、色調信息對所述跟蹤目標的歷史特徵信息做初始化。
優選地，在所述使用設定大小的掃描窗在所述跟蹤目標的預測範圍內掃描的步驟之前還包括將所述預測範圍歸一化至設定尺寸的步驟。
優選地，所述保留滿足碼字匹配條件的掃描窗對應區域作為候選框的步驟包括 以所述跟蹤目標於前一幀跟蹤區域的4bitBP碼字為模板，對預測範圍內各掃描位置處掃描窗對應區域的灰度圖像塊的4bitBP編碼作比對，保留滿足設定重合度的掃描窗對應區域作為候選框。
優選地，在所述以跟蹤目標於前一幀跟蹤區域的4bitBP碼字為模板，對預測範圍內各掃描位置處掃描窗對應區域的灰度圖像塊的4bitBP編碼作比對的步驟之前，還包括 將所述掃描窗對應區域的灰度圖像塊進行尺寸歸一化的步驟，所述灰度圖像塊的4bitBP 編碼為歸一化後的灰度圖像塊的4bitBP編碼。
優選地，所述掃描窗對應區域的灰度圖像塊的4bitBP編碼的方法包括
對所述區域進行第一次全局加權，將區域均分為上下兩個分塊，對所述上下兩個分塊的灰度均值進行比較若所述上下兩個分塊的灰度均值不相同，則將灰度均值較大的分塊對應的碼字進行預定值的加權；若所述上下兩個分塊的灰度均值相同，則不對所述上下兩個分塊對應的碼字進行加權；
對所述區域進行第二次全局加權，將區域均分為左右兩個分塊，對所述左右兩個分塊的灰度均值進行比較若所述左右兩個分塊的灰度均值不相同，則將灰度均值較大的分塊對應的碼字進行預定值的加權；若所述左右兩個分塊的灰度均值相同，則不對所述左右兩個分塊對應的碼字進行加權；
對所述區域進行局部加權，將所述區域均分為左上、右上、左下、右下四個子區域， 分別對每個子區域進行上述的第一次全局加權和第二次全局加權。
優選地，通過與跟蹤目標在前一幀跟蹤區域的分塊色調直方圖和歷史整體色調直方圖的加權的關聯運算，來評價每個候選框作為最終跟蹤結果的置信度。
優選地，所述通過與跟蹤目標在前一幀跟蹤區域的分塊色調直方圖和歷史整體色調直方圖的加權的關聯運算，來評價每個候選框作為最終跟蹤結果的置信度，取有最大置信度的候選框作為跟蹤目標在當前幀的跟蹤結果的步驟包括
將候選框對應的色調圖像塊均分為四個子塊；
生成每個子塊的色調直方將各子塊的色調直方圖累加得到整個候選框對應區域的整體色調直方分別將每個子塊的色調直方圖與前一幀跟蹤區域中對應子塊的色調直方圖進行關聯度運算後加權求和，得到第一關聯值；
將所述整 體色調直方圖與所述跟蹤目標在前第M幀跟蹤區域的整體色調直方圖進行整體關聯度運算，得到第二關聯值；其中M為自然數；
將所述整體色調直方圖與所述跟蹤目標的初始色調直方圖進行整體關聯度運算， 得到第二關聯值；
通過下面的方法得到所述候選框作為最終跟蹤結果的置信度
置信度=第一關聯值*設定的跟蹤加權值+第二關聯值*設定的記錄加權值+第三關聯值*設定的初始加權值；若計算得到的所述候選框的置信度大於等於歷史最大置信度值，則更新記錄的最大置信度和最佳匹配位置兩變量；
遍歷各候選框，取有最大置信度的候選框作為當前幀的跟蹤結果。
優選地，其中，兩個色調直方圖的關聯度運算公式為
其中，fr為關聯值，N為直方圖條柱總數，Xi, Yi分別為兩個色調直方圖第i條條柱的統計值，X，J分別為兩個色調直方圖的條柱值均值。
優選地，所述對所述跟蹤結果進行修正包括根據當前幀的車輛檢測結果對所述跟蹤結果進行修正，具體為
對於每個檢測結果，判斷車輛檢測結果對應的檢測框與跟蹤結果對應的跟蹤框的幾何交疊程度、所述檢測框對應的分塊灰度直方圖與所述跟蹤框對應的分塊灰度直方圖的相關度、所述檢測框對應的分塊色調直方圖與所述跟
權利要求
1.一種車輛跟蹤方法，其特徵在於，包括以下步驟 在車輛檢測結果中選取適於跟蹤的對象作為新的跟蹤目標，並初始化所述跟蹤目標的歷史特徵信息； 基於所述跟蹤目標已有的運動信息預測所述跟蹤目標在當前幀出現的軌跡位置和範圍； 使用設定大小的掃描窗在所述跟蹤目標的預測範圍內掃描，保留滿足碼字匹配條件的掃描窗對應區域作為候選框； 評價每個候選框作為最終跟蹤結果的置信度，取有最大置信度的候選框作為跟蹤目標在當前幀的跟蹤結果； 對所述跟蹤結果進行修正； 判斷是否對該跟蹤目標繼續跟蹤若繼續執行跟蹤，則利用當前幀跟蹤結果的信息對跟蹤目標的歷史特徵信息進行在線更新後轉到所述基於所述跟蹤目標已有的運動信息預測所述跟蹤目標在當前幀出現的軌跡位置和範圍的步驟；若不繼續執行跟蹤，則跟蹤結束。
2.如權利要求I所述的車輛跟蹤方法，其特徵在於，所述初始化所述跟蹤目標的歷史特徵信息的步驟包括以所述車輛檢測結果中的檢測位置所對應的灰度、色調信息對所述跟蹤目標的歷史特徵信息做初始化。
3.如權利要求I所述的車輛跟蹤方法，其特徵在於，在所述使用設定大小的掃描窗在所述跟蹤目標的預測範圍內掃描的步驟之前還包括將所述預測範圍歸一化至設定尺寸的步驟。
4.如權利要求I所述的車輛跟蹤方法，其特徵在於，所述保留滿足碼字匹配條件的掃描窗對應區域作為候選框的步驟包括以所述跟蹤目標於前一幀跟蹤區域的4bitBP碼字為模板，對預測範圍內各掃描位置處掃描窗對應區域的灰度圖像塊的4bitBP編碼作比對，保留滿足設定重合度的掃描窗對應區域作為候選框。
5.如權利要求4所述的車輛跟蹤方法，其特徵在於，在所述以跟蹤目標於前一幀跟蹤區域的4bitBP碼字為模板，對預測範圍內各掃描位置處掃描窗對應區域的灰度圖像塊的4bitBP編碼作比對的步驟之前，還包括將所述掃描窗對應區域的灰度圖像塊進行尺寸歸一化的步驟，所述灰度圖像塊的4bitBP編碼為歸一化後的灰度圖像塊的4bitBP編碼。
6.如權利要求4所述的車輛跟蹤方法，其特徵在於，所述掃描窗對應區域的灰度圖像塊的4bitBP編碼的方法包括 對所述區域進行第一次全局加權，將區域均分為上下兩個分塊，對所述上下兩個分塊的灰度均值進行比較若所述上下兩個分塊的灰度均值不相同，則將灰度均值較大的分塊對應的碼字進行預定值的加權；若所述上下兩個分塊的灰度均值相同，則不對所述上下兩個分塊對應的碼字進行加權； 對所述區域進行第二次全局加權，將區域均分為左右兩個分塊，對所述左右兩個分塊的灰度均值進行比較若所述左右兩個分塊的灰度均值不相同，則將灰度均值較大的分塊對應的碼字進行預定值的加權；若所述左右兩個分塊的灰度均值相同，則不對所述左右兩個分塊對應的碼字進行加權； 對所述區域進行局部加權，將所述區域均分為左上、右上、左下、右下四個子區域，分別對每個子區域進行上述的第一次全局加權和第二次全局加權。
7.如權利要求I所述的車輛跟蹤方法，其特徵在於，通過與跟蹤目標在前一幀跟蹤區域的分塊色調直方圖和歷史整體色調直方圖的加權的關聯運算，來評價每個候選框作為最終跟蹤結果的置信度。
8.如權利要求7所述的車輛跟蹤方法，其特徵在於，所述通過與跟蹤目標在前一幀跟蹤區域的分塊色調直方圖和歷史整體色調直方圖的加權的關聯運算，來評價每個候選框作為最終跟蹤結果的置信度，取有最大置信度的候選框作為跟蹤目標在當前幀的跟蹤結果的步驟包括 將候選框對應的色調圖像塊均分為四個子塊； 生成每個子塊的色調直方圖； 將各子塊的色調直方圖累加得到整個候選框對應區域的整體色調直方圖； 分別將每個子塊的色調直方圖與前一幀跟蹤區域中對應子塊的色調直方圖進行關聯度運算後加權求和，得到第一關聯值； 將所述整體色調直方圖與所述跟蹤目標在前第M幀跟蹤區域的整體色調直方圖進行整體關聯度運算，得到第二關聯值；其中M為自然數； 將所述整體色調直方圖與所述跟蹤目標的初始色調直方圖進行整體關聯度運算，得到第二關聯值； 通過下面的方法得到所述候選框作為最終跟蹤結果的置信度 置信度=第一關聯值*設定的跟蹤加權值+第二關聯值*設定的記錄加權值+第三關聯值*設定的初始加權值；若計算得到的所述候選框的置信度大於等於歷史最大置信度值，則更新記錄的最大置信度和最佳匹配位置兩變量； 遍歷各候選框，取有最大置信度的候選框作為當前幀的跟蹤結果。
9.如權利要求8所述的車輛跟蹤方法，其特徵在於，其中，兩個色調直方圖的關聯度運算公式為
10.如權利要求I所述的車輛跟蹤方法，其特徵在於，所述對所述跟蹤結果進行修正包括根據當前幀的車輛檢測結果對所述跟蹤結果進行修正，具體為 對於每個檢測結果，判斷車輛檢測結果對應的檢測框與跟蹤結果對應的跟蹤框的幾何交疊程度、所述檢測框對應的分塊灰度直方圖與所述跟蹤框對應的分塊灰度直方圖的相關度、所述檢測框對應的分塊色調直方圖與所述跟蹤框對應的分塊色調直方圖的相關度是否都滿足設定的閾值要求，如果滿足，則取檢測結果和跟蹤結果的中間位置作為當前幀跟蹤目標的跟蹤結果。
11.如權利要求I所述的車輛跟蹤方法，其特徵在於，所述對所述跟蹤結果進行修正包括根據當前幀的多個跟蹤框對所述跟蹤結果進行修正，具體為 判斷當前幀的其它跟蹤框與跟蹤結果對應跟蹤框的幾何交疊程度、所述兩個跟蹤框對應的分塊灰度直方圖的相關度、所述兩個跟蹤框對應的分塊色調直方圖的相關度是否都滿足設定的閾值要求，如果滿足，則取所述其它跟蹤框與所述跟蹤結果的中間位置作為當前幀跟蹤目標的跟蹤結果。
12.如權利要求I所述的車輛跟蹤方法，其特徵在於，所述方法進一步包括 在目標被異常終止跟蹤時，其跟蹤相關信息仍被保留若干幀，期間，如有與所述終止跟蹤的目標特徵匹配、運動規律相符的跟蹤目標出現，則重新啟動對所述終止跟蹤的目標的跟蹤，實現對間斷跟蹤的目標的銜接。
13.一種車輛跟蹤系統，其特徵在於，包括 跟蹤啟動模塊，用於在車輛檢測結果中選取適於跟蹤的對象作為新的跟蹤目標，並初始化所述跟蹤目標的歷史特徵信息； 運動預測模塊，用於基於所述跟蹤目標已有的運動信息預測所述跟蹤目標在當前幀出現的軌跡位置和範圍； 候選跟蹤區域搜索模塊，用於使用設定大小的掃描窗在所述跟蹤目標的預測範圍內掃描，保留滿足碼字匹配條件的掃描窗對應區域作為候選框； 最佳跟蹤區域獲取模塊，用於評價每個候選框作為最終跟蹤結果的置信度，取有最大置信度的候選框作為跟蹤目標在當前幀的跟蹤結果； 跟蹤後處理模塊，用於對所述跟蹤結果進行修正； 判斷更新模塊，用於判斷是否對該跟蹤目標繼續跟蹤若繼續執行跟蹤，則利用當前幀跟蹤結果的信息對跟蹤目標的歷史特徵信息進行在線更新。
全文摘要
本發明公開了一種車輛跟蹤方法及系統，方法包括以下步驟在車輛檢測結果中選取適於跟蹤的對象作為新的跟蹤目標，並初始化跟蹤目標的歷史特徵信息；基於跟蹤目標已有的運動信息預測跟蹤目標在當前幀出現的軌跡位置和範圍；使用設定大小的掃描窗在跟蹤目標的預測範圍內掃描，保留滿足碼字匹配條件的掃描窗對應區域作為候選框；評價每個候選框作為最終跟蹤結果的置信度，取有最大置信度的候選框作為跟蹤目標在當前幀的跟蹤結果；對跟蹤結果進行修正；若對該跟蹤目標繼續跟蹤則利用當前幀跟蹤結果的信息對跟蹤目標的歷史特徵信息進行在線更新後轉到運動預測的步驟，否則結束跟蹤。本發明的車輛跟蹤方法計算量降低，並且具有更高的準確性和連續性。
文檔編號G06T7/20GK102982559SQ20121049721
公開日2013年3月20日 申請日期2012年11月28日 優先權日2012年11月28日
發明者蘭昆豔, 遊亞平, 李謙, 王新生 申請人:大唐移動通信設備有限公司