一種複雜背景下紅外圖像序列中運動目標的檢測方法

2023-04-29 09:44:01

專利名稱：一種複雜背景下紅外圖像序列中運動目標的檢測方法
技術領域：
一種複雜背景下紅外圖像序列中運動目標的檢測方法，屬於數字圖像處理技術領域，特別涉及紅外圖像序列中的運動目標分割技術。
背景技術：
由於具有被動工作，抗幹擾能力強和準全天候工作等優點，紅外成像技術目前已被廣泛應用於偵察、監視和制導等軍事領域，此外在飛機導航、公路智能交通系統等民用領域也有著廣闊的應用前景(參見文獻蔡毅，湯錦亞.對紅外熱成像技術發展的幾點看法。紅外技術，2000，22(2)2-6)。
運動目標檢測技術一直是圖像處理和計算機視覺的重要研究課題，在許多領域有著廣泛的應用。運動目標檢測就是判斷圖像序列中有無運動目標，並將其分割出來。目前常用的運動目標檢測方法有背景減法、時間差分法和光流法等。
1.背景減法(參見文獻Surendra G，Osama M，Robert F K，et al.Detection andClassification of Vehicles.IEEE Trans.On intelligent transportation systems，2002，3(1)37-47)其基本思想是將當前幀圖像與事先存儲或者實時得到的背景圖像相減，若差分圖像中象素絕對值大於某一閾值，則判斷此象素點屬於運動目標區域，否則，就判此象素點屬於背景區域。背景減法操作簡單，檢測位置準確且速度快。但通常的背景減法對光線、天氣等光照條件的變化非常敏感，抗幹擾能力差，此外，背景消法也不適用於攝像機運動或者背景灰度變化很大的情況。
2.時間差分法(參見文獻Nerr A，Colonnese S，Russb G，et al.Automatic Moving Objectand Background Sep aration.Signal Processing，1998，66(2)219-232)時間差分法又叫幀間差分法，是在圖像序列中的相鄰幀間採用基於像素的時間差分並且閾值化來提取出圖像中的運動區域。時間差分法對於動態環境有很好的適應性，缺點是不易將運動目標完全分割出來。時間差分和背景減的原理都是變化區域檢測，即通過檢測序列圖像幀中的變化區域與不變區域，將運動物體與靜止背景進行分割。
3.光流法(參見文獻Barron J，Fleet D.Performance of optical flow techniques.Internatronal Journal of Computer Vision.199412(1)42-77)光流法是通過研究光流場，從序列圖像中得到近似的運動場，然後根據運動場的運動特徵進行目標分割。光流法的主要優點是能在運動攝像機中檢測出運動目標，對目標在幀間的運動的限制較少，可以處理大的幀間位移；主要缺點是大多數光流計算方法相當複雜，且抗噪性能差，如果沒有特定的硬體支持，一般很難應用於序列圖像中運動目標的實時性操作。
此外還有許多其他的運動目標檢測方法，如基於曲線進化的方法、基於形態學的方法和基於隨機場的方法等。雖然運動目標檢測方法多種多樣，但多是針對具體的任務提出來到的，並沒有一種通用的方法。
由於紅外圖像具有目標與背景對比度低、目標邊緣模糊和噪聲大等特點，紅外運動目標檢測相對可見光運動目標檢測通常更困難一些。趙英男等(趙英男，楊靜宇.基於Gabor濾波器和SVM分類器的紅外車輛檢測.計算機工程，2005，31(10)191-192)先通過直方圖分析提取感興趣區域，然後閾值分割得到目標，該目標只是目標的高灰度部分；王程等(王程，王潤生。野外複雜背景下紅外圖像的目標檢測。紅外與雷射工程，2000，29(1)5-8)提出了一種野外複雜背景下紅外圖像的目標檢測算法，該算法包括兩個處理步驟首先，在場景配準後利用幀間差圖像提取目標的運動信息，並據此進行目標的粗檢測；其次，結合目標運動在時間和空間上的相關性進行精檢測，該算法的主要缺陷是目標分割精度不高。

發明內容
本發明提供一種基於時間差分的具有複雜背景的紅外圖像序列中的運動目標檢測方法，該方法具有目標分割準確完整、實時性好和魯棒性強等特點。
為了方便描述本發明的內容，在此作一些術語定義1.差分圖像兩幀圖像對應像素相減得到的圖像，差分圖像突出了場景中的運動信息。
2.運動變化區域差分圖像中由於目標運動造成的具有較大的灰度絕對值的區域，包括顯露的背景、覆蓋的背景和重疊區，其中當前幀目標由覆蓋的背景和重疊區組成，如圖1所示。
3.變化檢測模板(CDM，change detection mask)差分圖像二值化處理後得到的模板，模板上像素值為1的區域表示運動變化區域，為0的區域表示不變區域。
4.三幀差分法一種運動目標檢測方法，利用連續三幀圖像計算兩幅變化檢測模板，再對它們求交集以得到中間幀運動目標的精確位置，其原理如圖2所示。
5.形態學濾波使用數學形態學的方法來進行濾波。通常使用以形態學膨脹運算和腐蝕運算為基礎，組合為開運算和閉運算來分別去除不同的二值化圖像的噪聲(參見文獻岡薩雷斯等著，阮秋琪，阮宇智譯.數字圖像處理(第二版).北京電子工出版社，2003)。
6.腐蝕運算最基本的形態學算子之一，X用B來腐蝕記為XΘB，定義為E＝XΘB＝{(x，y)|Bx，yX}，其中X為圖像集合，B為結構單元，Bx，y表示B平移至(x，y)。
7.膨脹運算最基本的形態學算子之一，X用B來膨脹記為XB，定義是D＝XB＝{(x，y)|Bx，y∩X≠}，其中X為圖像集合，B為結構單元，Bx，y表示B平移至(x，y)。
8.閉運算先膨脹後腐蝕。
9.連通區域標記對二值化的圖像進行連通標定，為每個連通的區域設置一個標誌(參見文獻章毓晉.圖像工程(上冊)—圖像處理與分析。北京清華大學出版，1999，3)。
本發明技術方案如下一種複雜背景下紅外圖像序列中運動目標的檢測方法，其特徵在於，包含下列步驟(如圖3所示)步驟一、計算紅外圖像序列中上一幀和當前幀的差分圖像。
步驟二、利用步驟一得到的差分圖像提取變化檢測模板。
如圖4所示，具體步驟包括以下3個分步驟第1步提取初始變化檢測模板，具體方法如下(1)計算差分圖像直方圖h(n)，其中，n為灰度級，h(n)為圖像中灰度級為n的像素個數。
(2)由h(n)計算差分圖像均值μ0和標準差σ0作為初始值。
(3)由當前估計值μi和σi，計算h(μi-3σi，μi+3σi)區間內像素的均值μi+1和標準差σi+1。
(4)如σi+1/σi＞＝T，則迭代終止，其中，T為閾值，且0＜T≤1，選取μi+1和σi+1作為最佳估計值；否則返回(3)。
(5)提取初始變化檢測模板CDM(x，y)＝{λ|if(d(x，y)＜μ-3σ or d(x，y)＞μ+3σ)，λ＝1，elseλ＝0}，其中，d(x，y)為差分圖像，x，y分別為象素點的橫坐標和縱坐標。
第2步對第1步得到的初始變化檢測模板做以下形態學處理(1)腐蝕(結構單元為3×3十字)。
(2)膨脹(結構單元為半徑為3的圓)後和初始變化檢測模板相與。
(3)閉運算(結構單元為半徑為5的圓)。
第3步對第2步處理後的變化檢測模板進行行列掃描修復首先做連通區域標記，以區分不同的目標，然後分別進行行列掃描，同一行(列)中同一目標(連通區域)兩點中間的背景點置為目標點。
步驟三、計算當前幀和下一幀的差分圖像。
步驟四、利用步驟三得到的差分圖像提取變化檢測模板，方法同步驟二。
步驟五、對步驟二和步驟四得到的兩幅變化檢測模板做並運算(取交集)，得到運動目標模板。
步驟六、對步驟五得到的運動目標模板做連通區域標記，大於一定面積的連通區域視為運動目標。
通過上述步驟便可以分割出運動目標。
需要說明的是1步驟一、三針對靜態背景，對動態背景，需要在計算差分圖像前進行全局運動估計和補償。
2步驟二、四中提取初始變化檢測模板的原理是差圖像中背景噪聲可以看成高斯的(參見文獻Kim M，Choi J G，Lee M H，A VOP generation toolAutomatic segmentation of movingobjects in image sequences based on spatio-temporal information.IEEE Trans.on Circuits andSystems for Video Technology，1999，9(8)1216-1226)，而運動變化區域的像素分布是非高斯的。因此，在差分圖像中區分運動變化區域和不變區域可以看成在高斯數據中識別非高斯數據的問題。在差圖像直方圖中，目標大多分布在兩端，噪聲集中在中間0值附近，本發明從直方圖兩端向中間迭代估計差分圖像噪聲參數，包括均值和方差，如圖5所示(因均值在0值附近，變化不大，未標出均值)，閾值T一般取0.75左右。在目標與整個圖像的面積之比較小的情況下，迭代能夠收斂。實驗結果表明，一般需迭代1～3次。
3步驟二、四中形態學處理的原理是(1)腐蝕後大部分孤立噪聲被去除，目標也受到損害；(2)膨脹後，目標區域增大，但帶來了失真，將膨脹後的結果和原CDM相與，可以恢復被腐蝕掉的目標區域，而孤立噪聲由於在(1)已被腐蝕掉，不會被恢復。採用3種大小結構單元的主要原因是複雜背景下的紅外圖像CDM往往目標缺失嚴重，連通性差，所以腐蝕要用小的單元以免給目標造成大的損害，而閉運算只有用大的單元才能有效的填充目標。
4步驟二、四中行列掃描修復的必要性在於由於紅外圖像中目標內部缺乏紋理，經形態學處理後的CDM中目標仍可能存在較大空洞和缺失。
本發明的特色和創新之處在於1、基於三幀差分法，實時性好，分割目標精確，只要三幀中目標均存在，並且目標速度大於一定的值，檢測結果不受目標運動速度及多目標遮擋影響。
2、變化區域檢測中，提出一種基於直方圖的差圖像噪聲參數估計方法，計算簡單，較好地解決了自適應閾值選取問題。
3、提出一種形態學處理方法，能在CDM中目標缺失和背景噪聲都很嚴重的情況下，較為完整地提取出目標區域。
本發明針對複雜背景下紅外圖像的目標與背景對比度低、目標邊緣模糊和噪聲大等特點，提供一種基於三幀差分法的運動目標檢測方法，該方法採用自適應變化區域檢測、抗噪聲形態學處理和行列掃描修復等技術，具有目標分割準確完整、實時性好和魯棒性強等特點，在戰場偵察、火力控制和制導等軍事領域，以及飛機導航和公路智能交通系統等民用領域有著廣闊的應用前景。


圖1差分圖像示意圖。
圖2三幀差分法原理示意圖。
圖3本發明流程示意圖。
圖4變化檢測模板提取流程圖。
圖5差分圖像噪聲參數估計示意圖。
圖6野外環境下紅外運動車輛檢測系統實驗結果。其中(a)為紅外圖像序列中當前幀的前一幀圖像，(b)為紅外圖像序列中當前幀圖像，(c)為紅外圖像序列中當前幀的下一幀圖像，(d)為前兩幀變化區域圖像，(e)為後兩幀變化區域圖像，(f)為當前幀目標圖像。
具體實施例方式
應用本發明，實現了一個野外環境下紅外運動車輛檢測系統。
(1)數據源採集使用武漢高德公司生產的IR235型紅外攝像儀，工作波段8～14微米，焦平面象素320*240。拍攝時將紅外攝像機架設在三腳架上跟蹤車輛拍攝，場地為某野外試車場，車型為越野車、麵包車、吉普車和小轎車四種，拍攝時間從下午至晚上。
(2)仿真實驗結果在不同車型、目標數目、拍攝距離和角度情況下，採用本發明進行運動目標檢測均取得令人滿意的結果。圖6為越野車檢測實驗結果，可以看出目標的完整性和準確性良好。
本發明具有較快的執行速度。用VC6.0開發的仿真程序，在賽楊2.4G CPU，256M內存的PC平臺上，對320*240解析度紅外圖像，執行一次完整的三幀差分算法的時間在100ms左右。由於除了第1次檢測目標需要執行完整的三幀差分外，其餘每次檢測只需計算1次差分即可(另1次由上次檢測得到)，程序能達到20次檢測/秒左右的處理速度，能夠用於實時環境。
權利要求
1.一種複雜背景下紅外圖像序列中運動目標的檢測方法，其特徵在於，包含下列步驟步驟一、計算紅外圖像序列中上一幀和當前幀的差分圖像；步驟二、利用步驟一得到的差分圖像提取變化檢測模板，具體步驟包括以下3個分步驟第1步提取初始變化檢測模板，具體方法如下(1)、計算差分圖像直方圖h(n)，其中，n為灰度級，h(n)為圖像中灰度級為n的像素個數；(2)、由h(n)計算差分圖像均值μ0和標準差σ0作為初始值；(3)、由當前估計值μi和σi，計算h(μi-3σi，μi+3σi)區間內像素的均值μi+1和標準差σi+1；(4)、如σi+1/σi＞＝T，則迭代終止，其中，T為閾值，且0＜T≤1，選取μi+1和σi+1作為最佳估計值；否則返回(3)；(5)提取初始變化檢測模板CDM(x，y)＝{λ|if(d(x，y)＜μ-3σor d(x，y)＞μ+3σ)，λ＝1，elseλ＝0}，其中，d(x，y)為差分圖像，x，y分別為象素點的橫坐標和縱坐標；第2步對第1步得到的初始變化檢測模板做以下順序的形態學處理(1)、以3×3十字的結構單元進行腐蝕運算；(2)、以半徑為3的圓的結構單元進行膨脹運算後和初始變化檢測模板相與；(3)、以半徑為5的圓的結構單元進行閉運算；第3步對第2步處理後的變化檢測模板進行行列掃描修復首先做連通區域標記，以區分不同的目標，然後分別進行行列掃描，同一行(列)中同一目標(連通區域)兩點中間的背景點置為目標點；步驟三、計算當前幀和下一幀的差分圖像；步驟四、利用步驟三得到的差分圖像提取變化檢測模板，方法同步驟二；步驟五、對步驟二和步驟四得到的兩幅變化檢測模板做並運算，得到運動目標模板；步驟六、對步驟五得到的運動目標模板做連通區域標記，大於一定面積的連通區域視為運動目標；通過上述步驟便可以分割出運動目標。
全文摘要
一種複雜背景下紅外圖像序列中運動目標的檢測方法，屬於數字圖像處理技術領域。首先分別計算紅外圖像序列中上一幀和當前幀、以及當前幀和下一幀的差分圖像；接著從兩幅差分圖像中各自提取變化檢測模板；然後對兩幅變化檢測模板進行並運算(取交集)，得到運動目標模板；最後對運動目標模板做連通區域標記，得到運動目標。其中，提取變化檢測模板具體包括採取從直方圖兩端向中間迭代的方式估計差分圖像噪聲參數(包括均值和方差)的方法提取初始變化檢測模板；採取小結構單元進行腐蝕、膨脹後相與，大結構單元進行閉運算的形態學處理方式。本發明具有目標分割準確完整、實時性好和魯棒性強等特點，在偵察、火制和制導等軍事領域，以及導航和智能交通等民用領域有著廣闊的應用前景。
文檔編號G06T5/00GK1885346SQ20061002106
公開日2006年12月27日 申請日期2006年6月1日 優先權日2006年6月1日
發明者解梅, 胡柳 申請人:電子科技大學