一種圖像檢測方法及裝置的製作方法

2023-05-12 23:17:41 2

專利名稱：一種圖像檢測方法及裝置的製作方法
技術領域：
本發明涉及圖像處理技術領域，尤其涉及一種圖像檢測方法及裝置。

背景技術：
汽車檢測是指自動從採集到的圖像或視頻中獲取汽車的數目，以及每個汽車的位置和大小的技術。
現有技術中，作為模式識別領域內重要的分類器設計方法，自適應增強(Adaboost)算法在包括人臉檢測在內的很多應用中取得了很好的應用。Voila等提出了一種基於微結構特徵(Haar-like Features)和層次型(Cascade-based)自適應增強(Adaboost)分類器的人臉檢測技術，該技術在性能上與基於支持向量機(SVM)和神經網絡(Neural Network)的方法相當，但是，在速度上遠遠高於基於支持向量機和神經網絡的方法，基本可以達到實時運行的水平。但是，由於人臉模式的類內距離遠遠小於汽車模式的類內距離，使得汽車分類問題遠遠難於人臉模式。所以，雖然該方法可以直接應用到汽車檢測上，而且檢測速度較快，但是檢測效果卻無法達到實用的要求。
支持向量機(SVM)作為一種相對Adaboost具有更佳泛化能力的分類器，也取得了很多重要的應用。但是，採用該分類器的檢測速度卻極慢，無法應用在實時運行的系統中，從而限制了其應用。此外，由於訓練SVM分類器的過程繁瑣，所以，採用該方法設計汽車分類器複雜度比較高。
綜上所述，現有技術中的汽車檢測速度慢、效果差。


發明內容
本發明實施例提供了一種用於確定圖像中的汽車位置的圖像檢測方法及裝置，用以解決現有技術中存在的汽車檢測速度慢、效果差的問題。
本發明實施例提供的圖像檢測方法包括 預先通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器； 通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上設定矩形區域內的邊緣方向直方圖； 採用所述快速汽車分類器，根據所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖，確定所述輸入圖像中的汽車位置。
本發明實施例提供的圖像跟蹤方法包括 預先通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器； 將輸入圖像與參考圖像相比較，得到所述輸入圖像的運動區域； 通過所述快速汽車分類器對所述運動區域進行判定，得到所述輸入圖像中的汽車位置。
本發明實施例提供的圖像檢測裝置包括 設置單元，用於通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器； 邊緣方向直方圖單元，用於通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上設定矩形區域內的邊緣方向直方圖； 檢測單元，用於採用所述快速汽車分類器，根據所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖，確定所述輸入圖像中的汽車位置。
本發明實施例提供的圖像跟蹤裝置包括 設置單元，用於通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器； 確定運動區域單元，用於將輸入圖像與參考圖像相比較，得到所述輸入圖像的運動區域； 判定單元，用於通過所述快速汽車分類器對所述運動區域進行判定，得到所述輸入圖像中的汽車位置。
本發明實施例預先通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器；通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上設定矩形區域內的邊緣方向直方圖；採用所述快速汽車分類器，根據所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖，確定所述輸入圖像中的汽車位置，從而實現快速、準確地確定汽車位置。



圖1為本發明實施例提供的用於確定汽車位置的圖像檢測方法流程示意圖； 圖2為本發明實施例提供的層次型Adaboost檢測器的結構示意圖； 圖3為本發明實施例提供的無符號邊緣方向離散化示意圖； 圖4為本發明實施例提供的積分圖像示意圖； 圖5為本發明實施例提供的快速求取邊緣方向直方圖的示意圖； 圖6為本發明實施例提供的採用基於層次型Adaboost和HOG的快速汽車分類器，確定輸入圖像中的汽車位置的具體方法流程示意圖； 圖7為本發明實施例提供的邊緣運動區域示意圖； 圖8為本發明實施例提供的結合運動能量的Adaboost層次型汽車分類器示意圖； 圖9為本發明實施例提供的用於跟蹤汽車位置的圖像跟蹤方法流程示意圖。

具體實施例方式 由於汽車的類內距離很大，不同車輛之間顏色、形狀等差別很大，因而本發明實施例採用能夠體現汽車和背景間邊緣輪廓信息的邊緣方向直方圖(HOG)特徵，並且採用快速且易於實現的層次型自適應增強(AdaBoost)分類器，快速且準確地實現汽車檢測和跟蹤。為了進一步提高汽車檢測速度，本發明實施例將運動信息結合到汽車檢測中。同時，利用汽車的位置信息和顏色信息等進行汽車匹配，獲得汽車跟蹤信息，並採用汽車跟蹤信息對公路上行駛的汽車進行計數，以統計交通流量。
下面結合附圖，對本發明實施例提供的技術方案進行詳細介紹。
參見圖1，為了提高汽車檢測的速度和效果，本發明實施例提供的採用將層次型Adaboost和HOG特徵相結合的方式來檢測汽車的方法包括 S101、分別確定採集到的圖像的水平方向和垂直方向的邊緣。
S102、計算離散化的邊緣的方向，並且，計算邊緣強度。
S103、採用直方圖方式計算邊緣直方圖HOG。
S104、採用汽車圖片為正樣本，其它非汽車圖片為反樣本，訓練基於層次型Adaboost和HOG的快速汽車分類器。
S105、採用基於層次型Adaboost和HOG的快速汽車分類器，確定輸入圖像中的汽車位置。
參見圖2，層次型Adaboost結構如圖1所示，對於所有候選窗口，先採用第一層分類器進行判斷，如果能通過第一層分類器，則採用第二層分類器繼續進行判斷，否則，直接拒掉。同理，進行後續各層處理，將能夠通過所有層分類器的矩形區域作為候選汽車區域(簡稱候選框)。
上述各層分類器(稱作強分類器)均是由多個弱分類器組成，每層強分類器中的弱分類器輸出的加權和與該層強分類器的閾值進行比較所得到的結果，為該層強分類器的輸出。AdaBoost強分類器構造方法有很多種，常用的如Discrete-AdaBoost、Real-AdaBoost和Gentle-AdaBoost等，都可以用來構造上述各層強分類器。每個弱分類器對應一個弱特徵，弱分類器的構造方式也有很多種，都可以選用構造上述弱分類器。簡單的如基於閾值的弱分類器構造方法
其中，x為固定尺度的輸入圖像，gj(X)表示該圖像對應的第j個弱特徵值，θj是第j個弱特徵對應的判決閾值，極性符號pj的值為1或-1，當pj為1時，判決器的判決符號為大於號，當pj為-1時，判決器的符號為小於號，hj(x)表示第j個弱分類器的判決輸出。這樣，每個弱分類器只需要進行一次的閾值比較就可以完成判決。
較佳地，在弱分類器的構造方式上，為了提高弱分類器的分類能力，本發明實施例採用雙閾值的比較方式來構造弱分類器，設置每個弱分類器由兩個閾值(qj1和qj2，且qj1＜qj2)和一個極性符號(pj，pj的值為1或-1)組成。
當pj為1時，弱分類器定義為
當pj為-1時，弱分類器定義為
其中，x為固定尺度的圖像，gj(X)表示圖像對應第j個弱特徵值，hj(x)表示第j個弱分類器的判決輸出。
本發明實施例提出的弱分類器的構造方式，比現有技術提出的方式更加普適。當pj為1，且qj2為正無窮大時，

轉換為

中pj＝1的情況；當pj為1，且qj1為負無窮小時，

轉換為

中pj＝-1的情況。也就是說本發明實施例提出的雙閾值方式涵括了單閾值的情況。
弱分類器訓練步驟中，對當前特徵gj(X)，選擇pj、qj1和qj2，使得該弱特徵組成的弱分類器對所有樣本的加權錯誤率最小。因此，本發明實施例增加了候選弱分類器的可能形式，從而使得能夠選擇出分類能力更強的弱分類器，從而提高強分類器乃至最終層次型AdaBoost分類器的性能。
另外，本發明實施例也可以採用現有技術中提出的查找表弱分類器構造方法構造弱分類器。
需要明確的是，本發明實施例中的弱特徵指的是某矩形區域內的邊緣方向直方圖對應的某個累積值。其中，某區域內的邊緣方向直方圖，定義為該矩形區域內各個像素點在各個離散化邊緣方向(假定共有DN個方向)上的累計直方圖。下面介紹一下邊緣方向直方圖(HOG)的具體求取方法。
步驟S101中，分別求取圖像上各個像素的水平邊緣和垂直邊緣，圖像邊緣的求取方法有很多，常用的是Sobel和Prewitt算子。Sobel算子在水平和垂直方向的檢測模板分布為 和 Prewitt算子在水平和垂直方向的檢測模板分別為 和 上述模板為灰度圖像的邊緣求取模板。本發明實施例給出了一種直接在多通道彩色圖像中計算圖像邊緣的方法。假定當前像素點坐標為(x，y)，且該像素點的所有顏色通道值對應一個向量CV(x，y)，則(x，y)和(x』，y』)兩個像素顏色差為兩個像素對應顏色向量的差值的範數，即NORM(CV(x，y)-CV(x′，y′))。範數可以為(但不限於)1範數、2範數或無窮範數。
彩色圖像的Sobel水平邊緣計算方法如下 NORM(CV(x+1，y-1)-CV(x-1，y-1))+NORM(CV(x+1，y+1)-CV(x-1，y+1))+2*NORM(CV(x+1，y)-CV(x-1，y))。
彩色圖像的Sobel垂直邊緣計算方法如下 NORM(CV(x-1，y+1)-CV(x-1，y-1))+NORM(CV(x+1，y+1)-CV(x+1，y-1))+2*NORM(CV(x，y+1)-CV(x，y-1))。
彩色圖像的Prewitt水平邊緣計算方法如下 NORM(CV(x+1，y-1)-CV(x-1，y-1))+NORM(CV(x+1，y+1)-CV(x-1，y+1))+NORM(CV(x+1，y)-CV(x-1，y))。
彩色圖像的Prewitt垂直邊緣計算方法如下 NORM(CV(x-1，y+1)-CV(x-1，y-1))+NORM(CV(x+1，y+1)-CV(x+1，y-1))+NORM(CV(x，y+1)-CV(x，y-1))。
步驟S102中，對邊緣方向進行離散化，求得離散化的邊緣方向以及邊緣強度具體如下 假定求得的當前像素點的水平邊緣為EH，垂直邊緣為EV，進一步需要計算該像素點邊緣的方向和強度，假定方向為ED，強度為EI。其中，邊緣方向有兩種定義方式，一種是無符號的邊緣方向，即邊緣方向的範圍為0至180度，認為相差180度的邊緣方向是同一個方向。另外一種是有符號的邊緣方向，邊緣方向為0至360，認為相差180度的方向為不同方向。本發明實施例中只給出無符號邊緣方向的離散化方法。假定將無符號的邊緣方向離散化為N個區間，當N＝6時的情況如圖3所示。邊緣強度的一種計算公式為

，也可以為|EH|+|EV|，圖3中的無符號邊緣方向為其中arccot表示求取餘切函數的反函數，則離散化的邊緣方向為
但是，採用上述定義式先計算ED，然後計算NED的速度比較慢。較佳地，本發明實施例提出的一種快速計算NED的方法包括 第一步，判斷EH是否為0，如果EH為0，則設定NED為0；否則，進行第二步處理。
第二步，初始化i＝0，計算

的值。
第三步，判斷

是否小於

，如果是，則執行步驟第六步；否則，轉到第四步。
第四步，i增加1。
第五步，判斷i是否小於N-1，如果是，則轉到第三步；否則，執行步驟第六步。
第六步，設定NED為i，退出流程。
則將某個圖像區域R內的邊緣方向直方圖HOG定義為該區域內所有像素在各個方向上的邊緣強度的累積和，即
其中，P(x，y)表示某像素點坐標，EI(P(x，y))表示該像素點的邊緣強度，ED(P(x，y))表示該像素點的邊緣方向。
步驟S104訓練快速汽車分類器時，首先需要採集並割取標準的汽車樣本和其他非汽車樣本，並歸一化為固定大小(比如圖像的寬度為W，高度為H)，此大小是訓練的汽車檢測器的大小。
對於AdaBoost訓練算法而言，需要為其構造候選弱特徵集。一種可行的實施方案是採用預訂尺度的圖像區域內的設定矩形區域(稱為子矩形)的邊緣方向直方圖在某個離散化邊緣方向上的值作為弱特徵。則所有存在的子矩形的邊緣方向直方圖對應在所有離散化方向上的值均為候選弱特徵。對於寬度為W，高度為H的圖像區域，子矩形集合為 {R(left，top，right，bottom)|0≤left＜right＜W，0≤top＜bottom＜H} 其中，left、top、right、bottom分別表示子矩形的左邊框、上邊框、右邊框、下邊框的位置坐標，即在寬為W、高為H的圖像範圍內的任意矩形都在子矩形集合中，這些子矩形之間可以相互交疊。為了減少運算量，提高訓練速度，可以限定子矩形的寬度和高度範圍，以及各個子矩形左邊框和上邊框之間的間距。設定子矩形的寬度最小值為WMin，寬度最大值為WMax，高度最小值為HMin，高度最大值為HMax，子矩形間最小水平距離和最小垂直距離均為1，則子矩形集合包含的子矩形為R(left，top，right，bottom)，其中left從0取到W-wr，top從0取到H-hr，其中wr從WMin取到WMax，hr從HMin取到HMax。WMin可以取為1，WMax取為W，HMin可以取為1，HMax取為H。
對於上述子矩形集合中的每個子矩形而言，都存在一個方向梯度直方圖Hist，這個Hist是一個向量，共含有N個元素。假定上述設定的子矩形數目為NR，則所有子矩形共有NR*N個方向直方圖元素。將每個方向直方圖元素視作一個弱特徵，則AdaBoost算法得到共NR*N個弱特徵。
對於AdaBoost算法而言，需要設置弱特徵庫，包括很多可以用來被選擇的弱特徵。本發明實施例中採用上述NR*N個方向直方圖元素來設置弱特徵庫。
但是，直接按照公式

計算方向直方圖的運算量會很大，因此，本發明實施例採用積分圖像快速計算邊緣方向直方圖HOG，即通過邊緣方向積分圖像計算輸入圖像上的候選矩形區域內的所有像素在離散化後的每個邊緣方向的邊緣強度和，具體如下 假定邊緣梯度方向被離散化為N個方向，則分別計算N個方向的邊緣方向積分圖像，假定第n個方向的邊緣方向積分圖像在點(x，y)的值為II(x，y，n)，如圖4所示，第n個方向的邊緣方向積分圖像在點(x，y)處的值定義為其左上角的灰色矩形區域內的所有邊緣離散化方向為n的像素的邊緣強度的和，即
採用如下迭代的方式對邊緣方向和邊緣強度圖像，從左上角的灰色矩形區域掃描一遍得到各個方向的邊緣方向積分圖像 依次處理所有N個方向。假定當前處理的是第n個方向，採用rs(x，y，n)表示第y行到當前像素(x，y)為止(包括當前像素)的所有邊緣方向為n的像素的邊緣強度之和，即
則採用下列公式迭代計算邊緣方向積分圖像 如果NED(x，y)為n，則rs(x，y，n)＝rs(x-1，y，n)+EI(x，y)；否則，rs(x，y，n)＝rs(x-1，y，n)；進而有II(x，y，n)＝II(x，y-1，n)+rs(x，y，n)。
具體的實現方式如下 對任意n＝0，1，2...N-1，進行如下處理 對任意y＝0，1，2...H-1及x＝0，1，2...W-1，設定II(-1，y，n)＝0，II(x，-1，n)＝0； 對圖像所有行，依y＝0，1，2...H-1的順序進行如下處理 設定rs＝0表示當前行邊緣方向為n的所有像素邊緣強度和的初始值為0； 對圖像y行中的所有像素依順序x＝0，1，2...W-1進行如下處理 如果NED(x，y)為n，則令rs＝rs+EI(x，y)； 否則，保持rs不變； 進而計算 II(x，y，n)＝II(x，y-1，n)+rs； 計算完第y行的邊緣方向積分圖像後接著計算第y+1行的邊緣方向積分圖像。
對圖像的所有行處理完畢後，完成邊緣方向積分圖像的計算。
Viola提出一種快速計算矩形區域內像素亮度和的方法，該方法可以被擴展用來計算邊緣方向積分圖像，對於每個邊緣方向，需要W*H個s(x，y，n)來記錄每列像素到當前像素為止邊緣方向為n的像素的邊緣強度和。而本發明實施例採用每行到當前像素為止(包括當前像素)的所有邊緣方向為n的邊緣強度和(即rs(x，y，n))來遞推計算積分圖像。本發明實施例在計算積分圖像時，按照從上到下、從左到右的順序遞推計算，因此本發明實施例方法只需要保存當前像素的rs(x，y)即rs，可以大大地節省內存，對於一些內存要求較高的應用，比如晶片設計，採用本發明實施例提供的方法更具優點。
採用上述邊緣方向積分圖像可以快速求取矩形區域內邊緣方向為n的邊緣方向直方圖HOG。假定矩形D(left，top，right，bottom)中，邊緣方向為n的邊緣方向直方圖為Hist(n，D)，如圖5所示，其中陰影區域A、B、C、D分別表示一個矩形區域，點1、2、3、4分別對應區域A、B、C、D的右下角頂點，根據邊緣方向積分圖像的定義，可以根據如下公式計算 Hist(n，D)＝II(4，n)-II(2，n)-II(3，n)+II(1，n) 其中，II(1，n)、II(2，n)、II(3，n)和II(4，n)分別表示邊緣方向為n的邊緣方向積分圖像在點1、點2、點3和點4處的值。
上述訓練得到的汽車檢測器只能檢測到一個尺度(W*H)的汽車，為了檢測到不同大小的汽車，可以按照求取金字塔型圖像結構的方式檢測。假定原始輸入圖像寬度和高度分別為IW和IH，按照放縮尺度RS計算一系列多個尺度(假定為M)的金字塔型圖像，大小為(ROUND(IW*RSm)，ROUND(IH*RSm))，其中ROUND為四捨五入運算，m的取值範圍為從0到M-1。
參見圖6，步驟S105具體包括 S601、根據輸入圖像，獲取金字塔型圖像結構。
S602、對於每一尺度的金字塔型圖像，計算該尺度圖像的離散化邊緣方向和邊緣強度，並計算邊緣方向直方圖。
S603、以一定步長，在水平方向和垂直方向遍歷得到該尺度圖像上可能的矩形框位置。
S604、根據上述訓練得到的固定尺度(W*H)的汽車檢測器模型，計算檢測模型所需的邊緣方向直方圖，並進一步計算當前矩形是否能通過汽車檢測器，如果是，則執行步驟S605，否則，執行步驟S606。
S605、將候選汽車框加入汽車隊列，並返回執行步驟S603，得到並處理下一個可能的矩形框，直到該尺度圖像上所有可能的矩形框位置都處理完畢。
S606、拒掉沒有通過驗證的矩形框，並返回執行步驟S603，得到並處理下一個可能的矩形框，直到該尺度圖像上所有可能的矩形框位置都處理完畢。
S607、當處理完所有尺度的金字塔型圖像後，根據汽車隊列中的候選汽車框，確定輸入圖像中的汽車位置。
較佳地，步驟S605將候選汽車框加入汽車隊列的步驟包括根據待添加的候選汽車框的大小和位置，以及已被添加到汽車隊列中的候選汽車框的大小和位置，判斷所述待添加的候選汽車框是否與所述已添加的候選汽車框相近，如果是，則將相近的候選汽車框合併，並將被合併的候選汽車框的個數作為合併後的候選汽車框的置信度；否則，將所述待添加的候選汽車框加入所述汽車隊列中。
較佳地，步驟S607根據汽車隊列中的候選汽車框，確定輸入圖像中的汽車位置的步驟包括當汽車隊列中的一候選汽車框包含於另一候選汽車框時，將置信度較小的候選汽車框刪除；當置信度相同時，刪除面積較小的候選汽車框；將經過所述合併和刪除處理後的汽車隊列中剩餘的候選汽車框的位置確定為輸入圖像上的汽車位置。
雖然上述汽車檢測器已經可以滿足實時運行的要求，但是，在視頻圖像中，結合圖像中的汽車的運動信息可以進一步加快汽車檢測的速度，同時，還可以排除圖像背景中存在的幹擾，從而減少誤檢，提高汽車檢測效果。
對於攝像頭靜止的情況，將當前輸入圖像和預先設置的背景圖像做差，得到運動像素標誌掩模；並且，預先為候選框設定閾值，只對運動大於一定程度的候選框進行汽車檢測。本發明實施例中，定義矩形框中發生變化的像素數目為矩形框的運動能量，通過該運動能量來衡量矩形框中的像素發生變化的程度。
假定當前圖像中發生變化的像素的標誌掩模圖像為MI，處於點(x，y)處的標誌掩模圖像為MI(x，y)，如果像素發生變化，則MI(x，y)為非零數，假定為MF，如果該像素沒有發生變化，則MI(x，y)為零。
進一步，採用矩形面積歸一化發生變化的像素數目，即歸一化運動能量為矩形區域內發生變化的像素數目與矩形區域面積之比。進一步，可以採用積分圖像的方式快速計算歸一化運動能量和運動能量。首先計算全圖的運動標誌積分圖像，具體步驟如下 對任意y＝0，1，2...H-1及x＝0，1，2...W-1，設定II(-1，y)＝0，IMI(x，-1)＝0； 對圖像所有行，依y＝0，1，2...H-1的順序進行如下處理 設定rs表示當前行所有發生變化的像素數目，初始化rs為0； 對圖像y行中的所有像素按照x＝0，1，2...W-1的順序進行如下處理 如果當前像素發生變化，則令rs＝rs+1；如果當前像素沒有變化，保持rs不變；進而當前像素(x，y)的運動標誌積分圖像IMI(x，y)＝IMI(x，y-1)+rs； 計算完第y行的運動標誌積分圖像後接著計算第y+1行的運動標誌積分圖像。
對圖像的所有行處理完畢後，完成運動標誌積分圖像的計算。
如圖5所示，根據運動標誌積分圖像的定義，運動能量可以根據如下公式計算 ME(D)＝IMI(4)-IMI(2)-IMI(3)+IMI(1) 其中IMI(1)、IMI(2)、IMI(3)和IMI(4)分別表示運動標誌積分圖像在點1、點2、點3和點4處的值。
歸一化運動能量為 對於攝像頭運動的情況，採用FN幀差的方式獲取運動信息，FN可以等於2，也可以大於2，得到運動邊緣像素標誌掩模，為候選區域設定閾值，只對運動大於一定程度的候選區域進行汽車檢測。進一步，確定矩形框中是否發生了變化，僅採用距離矩形框外邊緣縱向距離小於等於DH，橫向距離小於等於DW的像素來統計歸一化變化像素數目，並和閾值比較確定矩形框是否發生了變化，是否需要採用汽車分類器判定是否汽車。在本發明實施例中，用來統計是否發生運動的像素為距離矩形邊緣小於閾值的像素，如圖7所示，採用距離邊緣縱向小於DH、橫向小於DW的兩個矩形框之間的區域部分作為判定是否發生運動的區域，將該區域稱為邊緣運動區域。
結合運動能量的層次型Adaboost汽車分類器如圖8所示，先判定候選框的運動能量是否大於某閾值，如果不大於，則認為不是汽車，直接拒掉；如果大於，則採用訓練好的基於HOG弱特徵的層次型Adaboost汽車分類器進行判定。
進一步，本發明實施例還提供了一種基於背景差的汽車跟蹤方法，汽車跟蹤則是根據不同幀的圖像內各個汽車的位置、顏色和形狀信息，確定各個汽車的對應關係，即確定圖像中哪些或哪個汽車是同一汽車在不同幀的圖像內的汽車，如圖9所示，具體包括 S901、初始化背景圖像。
初始化背景圖像的方法，可以簡單選擇一副沒有前景的圖像，也可以採用比較複雜的背景圖像初始化方法。
S902、將輸入圖像與背景圖像(即參考圖像)相比較，得到輸入圖像的運動區域。
此處的比較，可以採用將輸入圖像與背景圖像作差後與預先設置的閾值進行比較的方式，也可以採用混合高斯模型(GMM，Gaussian Mixture Model)和核密度估計(KDE，Kernel Density Estimation)等比較複雜的模型，得到運動區域。考慮到系統的處理速度，採用前一種方式更好些。
S903、計算運動區域的積分圖像，並對每個候選框，採用積分圖像得到其內部發生變化的像素數目。
S904、將發生變化的像素數目與預先設置的閾值進行比較，判定當發生了顯著運動時，採用基於層次型Adaboost算法的快速汽車檢測器對所述運定區域進行檢測，得到候選汽車框。
S905、將得到的候選汽車框添加到當前輸入圖像的候選汽車隊列中。
S906、對所述候選汽車隊列中相交疊的候選汽車位置進行合併處理。
S907、採用基於直方圖匹配的方式，計算當前輸入圖像的候選汽車隊列中的每個候選汽車框與預先設置的跟蹤隊列中的參考汽車框的最大匹配度。
採用基於直方圖匹配的方式，計算參考汽車框與候選汽車框的最大匹配度的具體步驟包括 計算參考汽車框與候選汽車框的直方圖匹配度和尺度位置匹配度； 將所述直方圖匹配度乘以所述尺度位置匹配度作為所述參考汽車框與所述候選汽車框的最大匹配度。
S908、判斷候選汽車框的最大匹配度是否大於閾值TP，如果是，則認為匹配成功，確定候選汽車框與參考汽車框為同一汽車框，並採用汽車隊列中的匹配成功的候選汽車框的位置信息更新跟蹤隊列中的相應的參考汽車框的位置信息；否則，將匹配失敗的候選汽車框位置信息添加到跟蹤隊列，作為新的參考項；如果跟蹤隊列為空，即跟蹤隊列中沒有參考汽車框，則直接將合併處理後的候選汽車框添加到跟蹤隊列中。
S909、根據所述更新後的跟蹤隊列中的參考汽車位置，確定所述輸入圖像上的汽車位置。
進一步，本實施例方法還包括記錄跟蹤隊列中的參考汽車框的出現次數，假定為n，預先設定閾值TN，如果n3 TN，則認為該參考汽車框為真實汽車框，否則認為是候選汽車框。並且，記錄每一參考汽車框沒有被跟蹤到的幀數為nm，對於真實汽車框，如果滿足nm3 TMN，認為該真實汽車已經從圖像採集範圍內消失，則從跟蹤隊列中刪除該真實汽車框的位置信息，其中，TMN為預先設定的閾值；對於候選汽車框，如果滿足nm3 TMPN，則認為該候選汽車消失，從跟蹤隊列中刪除該候選汽車框的位置信息，其中，TMPN為預先設定的閾值。最終僅將出現過的真實汽車框作為有效的汽車框進行保存記錄，用於分析及查詢。
較佳地，本實施例方法還包括為跟蹤隊列中的真實汽車分配一個唯一的編號(ID)，每個新出現的真實汽車對應的編號遞增，最終，總編號的數目即為出現的真實汽車的數目，從而實現對汽車的計數。
進一步，步驟S907中進行匹配時，採用候選汽車框和參考汽車框在視頻中的位置信息和大小信息輔助直方圖進行匹配；假定這兩個汽車框分別為R1(cx1，cy1，w1，h1)和R2(cx2，cy2，w2，h2)，其中cx1，cx2分別為兩個矩形汽車框的中心橫坐標，cy1，cy2分別為兩個汽車框的中心縱坐標，w1，w2分別為兩個汽車框的寬度，h1，h2分別為兩個汽車框的高度；兩個汽車框的中心距離為dis＝sqrt((cx1-cx2)*(cx1-cx2)+(cy1-cy2)*(cy1-cy2))，則定義兩個汽車框的尺度位置匹配度為sqrt為開方運算，min為去小值運算，max為取大值運算，DR和SR為常數。本發明實施例中，兩個汽車框的匹配度為直方圖匹配度乘以矩形汽車框的尺度位置匹配度。
進一步，直方圖匹配可以採用加權直方圖的方式，即對汽車框上不同區域統計直方圖時設定不同權值，比如，設定權值與各像素距離汽車框中心的距離成反比，距離中心越近，權值越大，距離中心越遠，權值越小；最終得到的直方圖為對各個像素加權後的直方圖。
較佳地，步驟S905完成汽車檢測後，不對候選汽車框進行合併相交疊矩形框的後處理操作，而是對所有候選汽車框進行下列處理 步驟一根據候選汽車框通過的汽車檢測器的層數和每層強分類器求得的權值以及該層閾值，為每個候選汽車框確定一個置信度。
步驟二如果跟蹤隊列為空，則將當前的候選汽車框進行合併相交疊矩形框的後處理操作，並將後處理後的所有候選汽車框的位置添加到跟蹤隊列中。
步驟三如果跟蹤隊列不為空，則對跟蹤隊列中的每個參考汽車框，例如參考汽車框A，將其與當前輸入圖像對應的所有的候選汽車框進行匹配，將所有匹配度大於一定閾值的候選汽車框都保存下來，作為後處理汽車框，並進行後處理，此處的後處理過程為 將所有後處理汽車框按照位置進行分類，將同一個位置交疊在一起的後處理汽車框分為一類，然後，對同屬於一類的各後處理汽車框的匹配度相加作為該類的總匹配度；取總匹配度最大的類作為最終的匹配結果，並按照該類各後處理汽車框的置信度，求得各後處理汽車框的位置坐標的加權和作為匹配汽車框(與參考汽車框A相匹配)的位置坐標，並以該匹配汽車框的位置坐標更新跟蹤隊列中相應的參考汽車框A的位置坐標。並且，將當前輸入圖像對應的候選汽車隊列中的與所述匹配汽車框的位置發生交疊的所有候選汽車框從所述候選汽車隊列中刪除。
然後，對跟蹤隊列中下一個參考汽車框進行相同處理，直到跟蹤隊列中所有的參考汽車框都處理完畢，再對當前輸入圖像的候選汽車隊列中存在的候選汽車框進行合併交疊框的後處理，並將該後處理後的所有候選汽車框添加到跟蹤隊列中。
另外，還可以採用基於幀差的方式來獲取輸入圖像的運動區域，並對汽車進行跟蹤。獲取運動區域的方法如下 第一步，將前N幀圖像作為初始化背景(參考圖像)加入背景隊列。
第二步，將輸入圖像與背景隊列中的N幀背景圖像相比較得到運動區域。
具體地，可以採用輸入圖像與每幀背景圖像作差，並與閾值比較，最終將N個比較結果對應像素求或的方式獲得運動區域；並且，將當前幀輸入圖像添加到背景隊列，將背景隊列最早的一幀圖像刪除。其中，N可以為1，也可以大於1。
另外，還可以採用將背景隊列中的背景圖像加權求和後，再與當前輸入圖像比較的方式獲得運動區域。
第三步，求運動區域的積分圖像，並對每個候選矩形位置，採用積分圖像得到其內部發生變化的像素數目，並與閾值比較，看其是否發生了顯著運動，如果是，則採用基於層次型Adaboost算法的汽車檢測器，判定候選矩形框是否是候選汽車框，如果是，則將該候選汽車框添加到當前幀輸入圖像的汽車隊列中。
下面介紹一下本發明實施例提供的裝置。
本發明實施例提供的一種圖像檢測裝置包括 設置單元，用於通過圖像的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器。
邊緣方向直方圖單元，用於通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像的邊緣方向直方圖。
檢測單元，用於採用所述快速汽車分類器，根據所述輸入圖像的邊緣方向直方圖，確定所述輸入圖像中的汽車位置。
本發明實施例提供的一種圖像跟蹤裝置包括 設置單元，用於通過圖像的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器。
確定運動區域單元，用於將輸入圖像與參考圖像相比較，得到所述輸入圖像的運動區域。
判定單元，用於通過所述快速汽車分類器對所述運動區域進行判定，得到所述輸入圖像中的汽車位置。
綜上所述，本發明實施例通過將層次型AdaBoost分類器和HOG特徵相結合所實現的汽車檢測和跟蹤的技術方案，可以快速、準確地確定汽車位置，具有很重要的實際應用價值，例如，可以應用在智能視頻監控、智能交通、視頻分析和檢索以及圖片檢索等領域。
顯然，本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍。這樣，倘若本發明的這些修改和變型屬於本發明權利要求及其等同技術的範圍之內，則本發明也意圖包含這些改動和變型在內。
權利要求
1.一種圖像檢測方法，其特徵在於，該方法包括
預先通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器；
通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上設定矩形區域內的邊緣方向直方採用所述快速汽車分類器，根據所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖，確定所述輸入圖像中的汽車位置。
2.根據權利要求1所述的方法，其特徵在於，通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖的步驟包括
對輸入圖像的邊緣方向進行離散化，確定所述輸入圖像的離散化後的各個邊緣方向；
通過所述輸入圖像上所述設定矩形區域內的所有像素點在所述離散化後的每個邊緣方向的邊緣強度和，計算所述輸入圖像中所述設定矩形區域內的邊緣方向直方圖。
3.根據權利要求2所述的方法，其特徵在於，確定所述輸入圖像的像素點的離散化後的邊緣方向的步驟包括
預先將所述輸入圖像的邊緣方向離散化為若干區間；
當所述輸入圖像的像素點的水平邊緣為0時，確定該像素點的離散化後的邊緣方向為0；
通過將所述輸入圖像的像素點的垂直邊緣和水平邊緣的比值與所述若干區間對應的角度的餘切函數進行比較，確定所述輸入圖像的像素點的離散化後的邊緣方向。
4.根據權利要求2所述的方法，其特徵在於，通過邊緣方向積分圖像計算所述輸入圖像上的所述設定矩形區域內的所有像素在所述離散化後的每個邊緣方向的邊緣強度和。
5.根據權利要求1所述的方法，其特徵在於，當所述輸入圖像為彩色圖像時，根據所述輸入圖像上的每兩個像素對應的顏色向量的差值的範數，計算該彩色輸入圖像的邊緣。
6.根據權利要求1所述的方法，其特徵在於，進一步根據所述輸入圖像中的汽車的運動信息，確定所述輸入圖像上的汽車的位置。
7.根據權利要求6所述的方法，其特徵在於，根據所述輸入圖像中的汽車的運動信息，確定所述輸入圖像上的汽車的位置的步驟包括
將輸入圖像和預先設置的背景圖像進行比較，確定所述輸入圖像中的運動區域；
通過所述運動區域內發生變化的像素數目計算得到所述運動區域內的運動能量；
當所述運動區域內的運動能量大於一定閾值時，檢測該運動區域內的汽車位置。
8.根據權利要求6所述的方法，其特徵在於，根據所述輸入圖像中的汽車的運動信息，確定所述輸入圖像上的汽車的位置的步驟包括
通過將當前輸入圖像和該當前輸入圖像的前幀圖像的比較，確定所述當前輸入圖像中的運動區域；
通過所述運動區域內發生變化的像素數目計算得到所述運動區域內的運動能量；
當所述運動區域內的運動能量大於一定閾值時，檢測該運動區域內的汽車位置。
9.根據權利要求7或8所述的方法，其特徵在於，通過積分圖像計算得到所述運動區域內的運動能量。
10.根據權利要求7或8所述的方法，其特徵在於，所述運動區域內的運動能量為所述運動區域內發生變化的像素數目與所述運動區域的面積的比值。
11.根據權利要求7或8所述的方法，其特徵在於，所述運動區域內的運動能量是通過對距離所述運動區域邊框一定範圍內發生變化的像素的數目計算得到的。
12.一種圖像跟蹤方法，其特徵在於，該方法包括
預先通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器；
將輸入圖像與參考圖像相比較，得到所述輸入圖像的運動區域；
通過所述快速汽車分類器對所述運動區域進行判定，得到所述輸入圖像中的汽車位置。
13.根據權利要求12所述的方法，其特徵在於，通過所述快速汽車分類器對所述運動區域中的候選區域位置進行判定，得到所述輸入圖像中的汽車位置的步驟包括
通過所述快速汽車分類器對所述運動區域進行判定，得到所述輸入圖像的候選汽車框，並且，將該候選汽車框添加到當前輸入圖像的候選汽車隊列中；
將所述候選汽車隊列中的候選汽車框與預先設置的跟蹤隊列中的參考汽車框進行匹配，並且，根據所述匹配結果更新所述跟蹤隊列；
根據所述更新後的跟蹤隊列中的參考汽車框位置，確定所述輸入圖像上的汽車位置。
14.根據權利要求13所述的方法，其特徵在於，將所述候選汽車隊列中的候選汽車框與預先設置的跟蹤隊列中的參考汽車框進行匹配，並且，根據所述匹配結果更新所述跟蹤隊列的步驟包括
計算所述候選汽車隊列中的候選汽車框與預先設置的跟蹤隊列中的參考汽車框的匹配度；
在所述跟蹤隊列中，為每個參考汽車框選擇匹配組，該匹配組為同屬於一個參考汽車框的匹配度之和最大的一組候選汽車框；
在所述跟蹤隊列中，將每個參考汽車框的匹配組中的候選汽車框合併為該參考汽車框的匹配汽車框，並利用該匹配汽車框更新所述跟蹤隊列中的相應參考汽車框。
15.根據權利要求13所述的方法，其特徵在於，該方法還包括步驟對所述候選汽車隊列中相交疊的候選汽車框進行合併處理。
16.根據權利要求15所述的方法，其特徵在於，將所述候選汽車隊列中的候選汽車框與預先設置的跟蹤隊列中的參考汽車框進行匹配，並且，根據所述匹配結果更新所述跟蹤隊列的步驟包括
計算所述候選汽車隊列中的候選汽車框與預先設置的跟蹤隊列中的參考汽車框的匹配度；
判斷所述候選汽車隊列中的候選汽車框的匹配度是否大於預先設定的閾值，如果是，則利用該候選汽車框更新所述跟蹤隊列中相應的參考汽車框；否則，將該候選汽車框添加到所述跟蹤隊列中。
17.根據權利要求13所述的方法，其特徵在於，當所述跟蹤隊列中不包含參考汽車框時，對所述候選汽車隊列中相交疊的候選汽車框進行合併處理，並將合併處理後的所有候選汽車框添加到所述跟蹤隊列中，作為所述跟蹤隊列中的參考汽車框。
18.根據權利要求13所述的方法，其特徵在於，該方法還包括
統計所述跟蹤隊列中的出現過的真實汽車的數量，實現汽車計數。
19.一種圖像檢測裝置，其特徵在於，該裝置包括
設置單元，用於通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器；
邊緣方向直方圖單元，用於通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上設定矩形區域內的邊緣方向直方檢測單元，用於採用所述快速汽車分類器，根據所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖，確定所述輸入圖像中的汽車位置。
20.一種圖像跟蹤裝置，其特徵在於，該裝置包括
設置單元，用於通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器；
確定運動區域單元，用於將輸入圖像與參考圖像相比較，得到所述輸入圖像的運動區域；
判定單元，用於通過所述快速汽車分類器對所述運動區域進行判定，得到所述輸入圖像中的汽車位置。
全文摘要
本發明公開了一種圖像檢測方法及裝置，用以解決現有技術中存在的汽車檢測速度慢、效果差的問題。本發明提供的圖像檢測方法包括預先通過圖像中設定矩形區域內的邊緣方向直方圖得到弱特徵庫，並利用該弱特徵庫設置基於層次型自適應增強分類器和邊緣方向直方圖的快速汽車分類器；通過輸入圖像的邊緣方向以及邊緣強度，計算所述輸入圖像上設定矩形區域內的邊緣方向直方圖；採用所述快速汽車分類器，根據所述輸入圖像上所述設定矩形區域內的邊緣方向直方圖，確定所述輸入圖像中的汽車位置。本發明還公開了一種圖像跟蹤方法及裝置。本發明用於快速、準確地確定圖像中的汽車位置。
文檔編號G06K9/00GK101196996SQ20071030841
公開日2008年6月11日 申請日期2007年12月29日 優先權日2007年12月29日
發明者鄧亞峰, 英 黃 申請人:北京中星微電子有限公司