動態背景環境下雷達與視覺融合的目標檢測與跟蹤方法與流程
2023-11-02 09:55:21 2
本發明涉及動態目標檢測與跟蹤技術領域，尤其涉及一種動態背景環境下雷達與視覺融合的目標檢測與跟蹤方法。
背景技術：
動態目標檢測與跟蹤通常分為靜態背景環境和動態背景環境兩類條件，其中針對動態背景環境條件，絕大多數都是單獨利用視頻功能對圖像內容進行分析，分析方法主要有光流法、均值漂移、粒子濾波、卡爾曼濾波、TLD等。如中國專利申請201310059457.5公開一種基於視覺的無人機動態目標跟蹤與定位方法，視頻處理方法即是對圖像中的動態目標進行檢測與跟蹤，檢測部分採用的基礎方法是幀差法，跟蹤部分採用的方法是基於偏移的均值向量跟蹤和卡爾曼先驗預估的算法連續跟蹤；但該方法是針對無人機應用的環境，即適用於攝像機雲臺轉速較慢或者動態目標移動速度較慢，且背景較為簡單、目標的尺寸與視場角固定的條件，不適用於雲臺轉速較快或者焦距會發生改變、背景環境較為複雜等情況，因而具有局限性，且環境適應性較差。即目前動態背景環境下的行人目標檢測與跟蹤方法，具體存在以下問題：
(1)單獨利用視頻功能對圖像內容進行分析，使得實現的方法設計複雜、難度較高，同時環境適應性較差，容易受外部光照環境或者複雜背景環境的幹擾，如當運動的目標與其周圍的背景相似時，跟蹤精度即會下降，甚至會完全失效，無法正確區分出目標；
(2)對移動速度較慢的物體跟蹤效果較好，當應用於移動速度較快的目標進行檢測與跟蹤時，移動速度較快的目標會導致相鄰兩幀的特徵點匹配度較小，無法計算出當前圖像的全局運動矢量，即無法通過相鄰幀差減法提取前景區域，容易出現跟丟的現象；
(3)目前通常都是在固定焦距的視場條件下完成目標檢測與跟蹤，一旦應用於圖像傳感器焦距可變的情況時，變焦過程也會導致相鄰幀之間的特徵點匹配度較小，較難計算出當前圖像的全局運動矢量，容易丟失目標的關鍵特徵，另外要獲得比較好的效果，需要處理性能較高的硬體系統，且圖像在變焦過程中還會發生劇烈形變，因而目前在變焦過程通常無法進行目標的檢測和跟蹤；
(4)需要藉助熱成像設備等對圖像信息進行分析，熱成像設備昂貴，使得檢測、跟蹤成本較高。
技術實現要素：
本發明要解決的技術問題就在於：針對現有技術存在的技術問題，本發明提供一種能夠適用於背景環境複雜、目標移動速度快、圖像變焦等情況實現目標檢測與跟蹤，且實現方法簡單、所需成本低、環境適應性強、檢測與跟蹤效果好的動態背景環境下雷達與視覺融合的目標檢測與跟蹤方法。
為解決上述技術問題，本發明提出的技術方案為：
一種動態背景環境下雷達與視覺融合的目標檢測與跟蹤方法，步驟包括：
1)預先在待監測區域內固定布置雷達以及圖像採集裝置，並通過所述圖像採集裝置以不同焦距、不同角度採集背景圖像並建立背景圖像庫；
2)啟動雷達實時探測目標，當探測到目標時，根據雷達的探測信息控制所述圖像採集裝置調整焦距、角度進行圖像採集，得到當前圖像；
3)從所述背景圖像庫中查找與當前圖像匹配的背景圖像，並根據查找到的背景圖像提取當前圖像所對應的前景圖；
4)對提取得到的所述前景圖進行目標檢測與跟蹤。
作為本發明方法的進一步改進，所述步驟3)中查找與當前圖像匹配的背景圖像的具體步驟為：
3.11)根據所述圖像採集裝置的當前焦距、角度從所述背景圖像庫中獲取當前圖像可能的背景圖像；
3.12)分別計算所述步驟3.11)獲取到的各背景圖像與當前圖像的特徵點，根據計算到的特徵點獲取各所述背景圖像與當前圖像的匹配值，並將最大匹配值所對應的背景圖像作為與當前圖像匹配的背景圖像輸出。
作為本發明方法的進一步改進，所述步驟3.11)的具體步驟為：根據所述圖像採集裝置的當前焦距、角度，以及預先基於焦距、角度信息生成的對應所述背景圖像庫中各背景圖像的索引表，定位到所述背景圖像庫中目標位置，獲取所述目標位置處指定範圍內背景圖像作為當前圖像可能的背景圖像輸出。
作為本發明方法的進一步改進，所述步驟3)中提取當前圖像所對應的前景圖的具體步驟為：
3.21)將當前圖像與查找到的背景圖像進行特徵匹配，並估計當前圖像的全局運動矢量，得到當前圖像與背景圖像之間的局部重疊區域；
3.22)根據所述局部重疊區域將當前圖像按照指定閾值生成二值圖像，提取得到當前圖像對應的初始前景圖；
3.23)由固定尺寸的滑動窗口對所述初始前景圖中每一個連通域進行滑動操作，滑動操作後得到的前景圖再經過放大調整後得到最終的前景圖。
作為本發明方法的進一步改進，所述步驟3.22)的具體步驟為：
3.221)根據所述局部重疊區域通過幀間差分法計算當前圖像與背景圖像的重疊區域；
3.222)將當前圖像中所述重疊區域基於最大類間方差閾值法生成二值圖像，對所述二值圖像去除幹擾噪聲點，並對剩餘的連通區域進行輪廊填充操作，將當前圖像中非重疊區域設定為背景，得到初始前景圖。
作為本發明方法的進一步改進，所述步驟3.23)中放大調整的具體步驟為：計算待調整前景圖的最小外接矩形的中心位置，以所述中心位置為中點取指定大小的區域作為調整後的前景圖；所述步驟3.23)中滑動操作具體為根據所述滑動窗口內相鄰連通域之間位置間距執行合併操作，以及根據各連通域的面積大小執行刪除操作。
作為本發明方法的進一步改進，其特徵在於，所述步驟4)中目標檢測的具體步驟為：
4.11)循環遍歷所述前景圖中每一個連通域所對應的有效連通域，每次遍歷時，獲取一個有效連通域作為當前檢測區域，轉入執行步驟4.12)；
4.12)對當前檢測區域進行多尺度縮放，轉入執行步驟4.13)；
4.13)通過固定尺寸的檢測窗口在當前檢測區域上滑動，並分別計算所述檢測窗口內的兩類以上指定的特徵量；
4.14)分別對計算到的各所述特徵量進行分類識別，並綜合各分類識別結果確定是否檢測到目標，如果是，退出目標檢測，輸出當前目標區域矩形並作為檢測到的目標位置；否則存儲當前目標區域矩形，轉入執行步驟4.15)；
4.15)判斷是否達到圖像最後一層，如果是，則合併重疊的目標區域矩形，得到最終的目標區域矩形輸出並作為檢測到的目標位置，否則取下一個有效連通域作為當前檢測區域，返回執行步驟4.12)。
作為本發明方法的進一步改進：所述特徵量包括HOG特徵量、MBLBP特徵與PHOG特徵的混合特徵量；所述分類識別具體基於SVM分類器實現。
作為本發明方法的進一步改進，所述步驟4)中目標跟蹤的具體步驟為：
4.21)以檢測到的目標位置作為初始觀測值，並作為當前觀測值，轉入執行步驟4.22)；
4.22)通過Kalman濾波器按照當前觀測值預估目標的下一個時刻位置；
4.23)以預估得到的下一個時刻位置為中心的指定範圍內矩形區域作為檢測區域，對檢測區域進行目標檢測，若檢測到目標，則由檢測到的目標位置更新卡爾曼濾波器的觀測值，返回執行步驟4.22)；否則保持當前觀測值不變，返回步驟4.22)；直至退出跟蹤。
與現有技術相比，本發明的優點在於：
1)本發明通過雷達實時提供目標探測信息，結合由圖像採集裝置預先以不同焦距、不同角度採集背景圖像建立的背景圖像庫，可控制及時採集目標的當前圖像並獲取對應的背景圖像，基於背景圖像提取當前圖像所對應的前景圖，能夠融合雷達與視覺信息實現動態目標的快速粗提取，實現方法簡單，相較於需要使用熱成像等設備所需成本低，且基於背景圖像庫，對於背景環境複雜、運動目標速度較快以及在圖像變焦過程中，均能夠實現動態背景條件下穩定的運動目標檢測與跟蹤，環境適應性強，且不受背景環境複雜程度、運動目標速度以及圖像變焦等條件的限制；
2)本發明進行目標檢測時，通過對每個檢測窗口計算多種特徵量，能夠充分表徵待檢測目標圖像的特徵，同時綜合各分類器對各特徵量的分類識別結果確定是否檢測到目標，檢測精度高，可以有效降低目標檢測時的誤報率；
3)本發明進行目標跟蹤時，通過Kalman濾波器進行預判和跟蹤，能夠實現更加精確的檢測和定位目標，同時在目標進入背景環境相似或被遮擋等情況時，仍然能夠準確的檢測到目標。
附圖說明
圖1是本實施例動態背景環境下雷達與視覺融合的目標檢測與跟蹤方法的實現流程示意圖。
圖2是本實施例建立背景圖像庫的具體實現流程示意圖。
圖3是本實施例提取前景圖的具體實現流程示意圖。
圖4是本實施例目標檢測的具體實現流程示意圖。
圖5是本實施例目標跟蹤的具體實現流程示意圖。
具體實施方式
以下結合說明書附圖和具體優選的實施例對本發明作進一步描述，但並不因此而限制本發明的保護範圍。
如圖1所示，本實施例動態背景環境下雷達與視覺融合的目標檢測與跟蹤方法，步驟包括：
1)預先在待監測區域內固定布置雷達以及圖像採集裝置，並通過圖像採集裝置以不同焦距、不同角度採集背景圖像並建立背景圖像庫；
2)啟動雷達實時探測目標，當探測到目標時，根據雷達的探測信息控制圖像採集裝置調整焦距、角度進行圖像採集，得到當前圖像；
3)從背景圖像庫中查找與當前圖像匹配的背景圖像，並根據查找到的背景圖像提取當前圖像所對應的前景圖；
4)對提取得到的前景圖進行目標檢測與跟蹤。
本實施例通過雷達實時提供目標探測信息，結合由圖像採集裝置預先以不同焦距、不同角度採集背景圖像建立的背景圖像庫，可控制及時採集目標的當前圖像並獲取對應的背景圖像，基於背景圖像提取當前圖像所對應的前景圖，能夠融合雷達與視覺信息實現動態目標的快速粗提取，實現方法簡單，相較於需要使用熱成像等設備所需成本低，且基於背景圖像庫，對於背景環境複雜、運動目標速度較快以及在圖像變焦過程中，均能夠實現動態背景條件下穩定的運動目標檢測與跟蹤，環境適應性強，且不受背景環境複雜程度、運動目標速度以及圖像變焦等條件的限制。
本實施例中圖像採集裝置為帶有雲臺的攝像機，以採集不同焦距、角度的圖像實現視頻監控，具體可採用球機攝像機；雷達具體採用相控陣雷達以提供目標的先驗信息，基於相控陣雷達可以探測到目標的方位信息以及距離信息，且環境適應性以及抗幹擾性能好。當然雷達、圖像採集裝置還可以根據實際需求採用其他類型。
如圖2所示，本實施例步驟1)建立背景圖像庫時，首先在待監測區域固定布置好雷達和球機攝像機後，以不同的焦距、不同的角度信息採集指定視野範圍內若干張對應的背景圖像數據，可根據實際情況設定多個焦距，在每一種焦距狀態下，存儲相同角度範圍內、相同角度間隔的多張背景圖片，各背景圖片按角度信息從小到大依次存儲，建立得到背景圖像庫；然後以焦距Z和角度P信息建立各背景圖像的索引表，以通過索引表定位背景圖像庫中各背景圖像。通過建立背景圖像庫，無論運動目標的速度快慢，均能夠快速的獲取到背景圖像，從而快速、準備的提取到目標前景圖。
本實施例步驟2)當雷達探測到有目標時，具體將探測到的包括目標方位角、距離的位置信息發送給球機攝像機，球機攝像機則根據雷達探測到的目標位置信息對雲臺進行PTZ控制以調整角度(P)、焦距(Z)，由調整後的球機攝像機採集當前圖像It，即得到目標的有效圖像數據。
本實施例中，當雷達採集到當前圖像時，分析當前圖像的背景信息，如果圖像採集裝置的位置發生了改變，或者天氣光照變化較大(如日夜轉換的時候)，則需要更新背景圖像庫。
本實施例中，步驟3)中查找與當前圖像匹配的背景圖像的具體步驟為：
3.11)根據圖像採集裝置的當前焦距、角度從背景圖像庫中獲取當前圖像可能的背景圖像；
3.12)分別計算步驟3.11)獲取到的各背景圖像與當前圖像的特徵點，根據計算到的特徵點獲取各背景圖像與當前圖像的匹配值，並將最大匹配值所對應的背景圖像作為與當前圖像匹配的背景圖像輸出。
本實施例中，步驟3.11)的具體步驟為：根據圖像採集裝置的當前焦距、角度，以及預先基於焦距、角度信息生成的對應背景圖像庫中各背景圖像的索引表，定位到背景圖像庫中目標位置，獲取目標位置處指定範圍內背景圖像作為當前圖像可能的背景圖像輸出。基於索引表可以根據當前雲臺攝像機的焦距、角度狀態快速定位到當前圖像對應的背景圖像位置，從而縮短背景圖像匹配的查詢時間，提高背景圖像獲取效率。
本實施例當採集到當前圖像It後，具體通過索引表定位所需查找的背景圖像在背景圖像庫中可能的目標位置，取該目標位置前後兩張背景圖像(Bp1、Bp2)作為當前圖像可能的背景圖像；分別計算背景圖像Bp1、Bp2和當前圖像It之間的特徵點集，並分別計算背景圖像Bp1、Bp2與當前圖像It之間的特徵點對，通過計算到的特徵點對即可獲取背景圖像Bp1和當前圖像It之間的匹配值Match1、背景圖像Bp2和當前圖像It之間的匹配值Match2，比較匹配值Match1與匹配值Match2之間的大小，匹配值高即表明匹配度高，則取匹配值高的背景圖像作為當前圖像It所對應的背景圖Bt。
本實施例中，步驟3)中提取當前圖像所對應的前景圖的具體步驟為：
3.21)將當前圖像與查找到的背景圖像進行特徵匹配，並估計當前圖像的全局運動矢量，得到當前圖像與背景圖像之間的局部重疊區域；
3.22)根據局部重疊區域將當前圖像按照指定閾值生成二值圖像，提取得到當前圖像對應的初始前景圖；
3.23)由固定尺寸的滑動窗口對初始前景圖中每一個連通域進行滑動操作，滑動操作後得到的前景圖再經過放大調整後得到最終的前景圖。
本實施例中，步驟3.22)的具體步驟為：
3.221)根據局部重疊區域通過幀間差分法計算當前圖像與背景圖像的重疊區域；
3.222)將當前圖像中重疊區域基於最大類間方差閾值法生成二值圖像，對二值圖像去除幹擾噪聲點，並對剩餘的連通區域進行輪廊填充操作；將當前圖像中非重疊區域設定為背景，得到初始前景圖。
本實施例中，步驟3.23)中放大調整的具體步驟為：計算待調整前景圖的最小外接矩形的中心位置，以中心位置為中點取指定大小的區域作為調整後的前景圖；步驟3.23)中滑動操作具體為根據滑動窗口內相鄰連通域之間位置間距執行合併操作，以及根據各連通域的面積大小執行刪除操作。
如圖3所示，本實施例提取前景圖的具體流程為：
查找到當前圖像It所對應的背景圖像Bt後，通過計算當前圖像It與背景圖像Bt之間的匹配特徵點對，並估計全局的運動矢量，得到變換矩陣，進而補償背景的運動，得到當前圖像It與背景圖像Bt之間的局部背景重疊區域，以將運動背景條件下的運動目標檢測轉換為靜態背景條件下的運動目標檢測；
通過幀間差分法計算當前圖像It與背景圖像Bt之間的重疊區域，採用幀間差分法計算重疊區域，實現簡單，程序設計複雜度低，且對光線等場景變化不敏感，能夠適應各種動態背景環境中，同時穩定性較好。當前圖像It中對於重疊區域，利用最大類間方差閾值法自動選擇合適的閾值產生二值圖像，並利用形態學的開閉操作祛除部分幹擾噪聲點，再對剩餘的連通區域進行輪廓填充操作；對於非重疊區域則設定為定義的區域，由於該區域內通常不存在運動的目標，本實施例具體將非重疊區域內的像素點的值設為p(xi)＝0，即表示為背景，通過以上處理即得到當前圖It對應的前景圖f；
對前景圖f中的每一個連通域(BLOB塊)，採用固定尺寸的滑動窗口進行滑動操作，滑動操作具體包括對窗口內的所有的BLOB塊進行合併、刪除操作，其中如果相鄰兩個BLOB塊所對應的最小外接矩形的位置間距d小於設定的閾值dthre，則執行合併操作，將該兩個BLOB塊合併成一個BLOB；如果BLOB塊的面積S(即像素點總和)小於最小的閾值Smin||S大於最大的閾值Smax(面積S小於Smin或大於Smax)，則執行刪除操作，將該BLOB塊刪除；
通過上述操作後，即可以保留目標運動區域的有效連通域Ap，但並不能確定能夠完全包含目標的整個區域(如對於行人不能確定是否完全包含整個身體區域)，本實施例進一步對上述得到的前景圖區域進行適當的放大調整操作，通過計算BLOB塊的最小外接矩形Bound的中心位置(xc,yc)，具體以固定滑動窗口所設置的尺寸作為最終檢測區域Ap(前景圖區域)，以使儘可能多的包含目標信息。
如圖4所示，本實施例步驟4)中目標檢測的具體步驟為：
4.11)循環遍歷前景圖中每一個連通域所對應的有效連通域，每次遍歷時，獲取一個有效連通域作為當前檢測區域，轉入執行步驟4.12)；
4.12)對當前檢測區域進行多尺度縮放，轉入執行步驟4.13)；
4.13)通過固定尺寸的檢測窗口在當前檢測區域上滑動，並分別計算檢測窗口內的兩類以上指定的特徵量；
4.14)分別對計算到的各特徵量進行分類識別，並綜合各分類識別結果確定是否檢測到目標，如果是，退出目標檢測，輸出當前目標區域矩形；否則存儲當前目標區域矩形，轉入執行步驟4.15)；
4.15)判斷是否達到圖像最後一層，如果是，則合併重疊的目標區域矩形，得到最終的目標區域矩形，否則取下一個有效連通域作為當前檢測區域，返回執行步驟4.12)。
本實施例具體以行人為檢測目標，特徵量則具體包括HOG(梯度方向直方圖特徵量)、MBLBP(多塊等價局部二進位模式)特徵與PHOG(金字塔梯度方向直方圖)特徵的混合特徵量，能夠充分表徵圖像的特徵；分類識別具體基於SVM分類器實現，預先採集大量的訓練樣本，樣本圖像的尺寸具體為128*64，並分別按照上述兩類特徵訓練SVM分類器，得到基於HOG特徵的SVMhog分類器和基於MBLBP與PHOG混合特徵的SVMmix分類器。當然還可以根據實際需要採用其他特徵量以及其他類型分類器進行分類識別。
本實施例具體對檢測區域Ap的圖像數據以固定尺寸的窗口(具體為128*64)作為目標檢測窗口，並對檢測區域Ap進行多尺寸縮放操作，在圖像縮放的每一層滑動目標檢測窗口，計算該窗口內的特徵描述子(HOG特徵與混合特徵兩類特徵)，並分別輸入到訓練好的模式分類器SVMhog和SVMmix中，綜合兩類分類器的輸出結果得到目標檢測結果。如若SVMhog和SVMmix兩個分類器的輸出結果都表示檢測到目標，則可以將該區域檢測是否有目標的準確率設為75％以上，若只有其中一個輸出結果表示檢測到目標，則可以將該區域內檢測是否有行人的準確率設為50％以上，否則表明該區域內沒有檢測到目標。通過結合兩個分類器綜合判斷是否檢測到目標，可以有效降低目標檢測時的誤報率。由於進行多尺寸縮放的操作，滑動窗口在不同尺寸的圖像數據中滑動檢測時，可能會出現多個矩形窗口重疊的現象，本實施例進一步合併重疊區域，使得最終的待檢測區域Ap只有一個矩形框表示檢測到目標。
本實施例中，步驟4)中目標跟蹤的具體步驟為：
4.21)以檢測到的目標位置作為初始觀測值，並作為當前觀測值，轉入執行步驟4.22)；
4.22)通過Kalman濾波器按照當前觀測值預估目標的下一個時刻位置；
4.23)以預估得到的下一個時刻位置為中心的指定範圍內矩形區域作為檢測區域，對檢測區域進行目標檢測，若檢測到目標，則由檢測到的目標位置更新卡爾曼濾波器的觀測值，返回執行步驟4.22)；否則保持當前觀測值不變，返回步驟4.22)；直至退出跟蹤。
運動目標可能存在與背景環境相似的情況，或者存在大面積區域被遮擋，可能會導致運動目標檢測的時候出現錯誤的情況，本實施例基於Kalman濾波器進行預判和跟蹤，能夠實現更加精確的檢測和定位目標，同時在目標進入背景環境相似或被遮擋等情況時，仍然能夠有效檢測到目標以及進行目標跟蹤。首先Kalman濾波器的初始觀測值取為上述目標檢測過程中得到的目標矩形區域，然後通過Kalman預估出目標在下一時刻最可能出現的矩形位置，再以該位置為中心指定範圍內的矩形區域作為目標的檢測區域，再利用上述目標檢測的流程對這個區域進行目標檢測，若該區域內檢測到目標，則將該區域的矩形坐標作為觀測值再次傳遞給Kalman濾波器，以預測下一時刻的目標檢測位置，否則繼續以上一次的預測值作為當前時刻的Kalman觀測值來估算下一時刻的目標檢測位置。
上述只是本發明的較佳實施例，並非對本發明作任何形式上的限制。雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發明。因此，凡是未脫離本發明技術方案的內容，依據本發明技術實質對以上實施例所做的任何簡單修改、等同變化及修飾，均應落在本發明技術方案保護的範圍內。