基於航拍視頻圖像的運動車輛檢測方法與流程
2023-05-03 23:23:22 1
本發明的技術方案涉及圖像數據處理中的圖像運動分析，具體地說是基於航拍視頻圖像的運動車輛檢測方法。
背景技術：
隨著計算機和信息技術的迅猛發展和普及應用，智能交通系統ITS應運而生，它是解決當下交通問題的重要途徑，更是未來智能交通事業發展的主要方向。運動車輛檢測是智能交通系統的基本技術之一，是車輛計數、車速度、車流量和車密度這些交通流參數測量的基礎。在運動車輛檢測中，只有從圖像背景中準確地分割出車輛，才能進行運動車輛的識別與跟蹤，進而進行各種交通流參數的測量與分析。航拍是一種非接觸式的，遠距離的探測技術，隨著科學技術和社會經濟的不斷發展，航拍技術也逐漸被用於道路上運動車輛的檢測。航拍視頻中的運動車輛檢測技術的研發已成為計算機視覺、模式識別和圖像處理領域備受關注的前沿課題。
基於固定攝像頭的運動車輛檢測算法，比如背景差分法、幀差法和光流法，這些檢測算法不能直接用於攝像頭運動的航拍視頻檢測場景中，主要原因是由於攝像頭的運動使得圖像背景變得複雜多變，從而不能精確地檢測出運動車輛。
美國佛羅裡達大學在2005年研發了COCOA系統，該系統是針對無人機航拍圖像進行地面目標檢測與跟蹤，通過圖像配準的方式消除運動背景，然後利用幀差和背景建模的方式檢測運動車輛。由於該系統是基於Harris角點做的圖像估計，所以針對於圖像尺度變化的情況，檢測精度不高；新加坡南洋理工大學的Aryo Wiman Nur Ibrahim提出了MODAT(Moving Objects Detection and Tracking)系統，該系統利用SIFT特徵替代Harris角點特徵完成圖像匹配，具有尺度不變性，但是此算法只適用於簡單場景的圖像，不具有普適性。CN100545867C公開了航拍交通視頻車輛快速檢測方法，此方法利用全局運動估計方法分割出背景區域與前景區域，然後結合分水嶺分割技術得出運動車輛，其存在使用二參數模型只模擬了航拍器的平移運動，會造成錯誤的全局運動估計，尤其會在複雜場景中引起較大的噪聲幹擾導致檢測到錯誤的運動車輛的缺陷。
綜上所述，基於航拍視頻的運動車輛檢測方法的現有技術存在只適用於簡單的單一場景運動車輛檢測，難以適用於不同場景下的多運動車輛檢測，檢測的準確率容易受到尺度變化、複雜環境和攝像頭運動的影響的缺陷，因此，研發適應不同場景的基於航拍視頻的運動車輛檢測方法具有很高的實用價值。
技術實現要素：
本發明所要解決的技術問題是：提供基於航拍視頻圖像的運動車輛檢測方法，該方法融合時間和空間特性，適應對不同場景的運動車輛進行精確檢測，克服了現有技術存在只適用於簡單的單一場景運動車輛檢測，難以適用於不同場景下的多運動車輛檢測，檢測的準確率容易受到尺度變化、複雜環境和攝像頭運動的影響的缺陷。
本發明解決該技術問題所採用的技術方案是：基於航拍視頻圖像的運動車輛檢測方法，該方法融合時間和空間特性，適應對不同場景的運動車輛進行精確檢測，具體步驟如下：
第一步，對輸入運動車輛彩色序列圖像匹配，進一步得到背景補償後的圖像：
(1.1)基於SURF特徵點的圖像匹配：
分別用簡單航拍場景採集簡單航拍場景運動車輛彩色序列圖像和複雜航拍場景採集複雜航拍場景運動車輛彩色序列圖像，將採集到的所有運動車輛彩色序列圖像F輸入計算機中，並由RGB空間轉化到灰度空間，採用的公式(1)如下：
I＝0.299R+0.587G+0.114B (1)，
在獲得的灰度序列圖像I上進行SURF特徵點檢測，然後在相鄰的兩幀灰度圖像之間進行基於SURF特徵點的圖像匹配，得到匹配特徵點對，用於下面進行攝相機的全局運動參數的估計；
(1.2)估計攝像機的全局運動參數，得到背景補償後的圖像：
攝像機的運動狀態主要包括平移、旋轉和縮放，採用六參數仿射模型近似表示，以估計全局運動參數，估計的過程如公式(2)所示：
其中(a1,a2,a3,a4)表示攝像機的旋轉和縮放運動，(t1,t2)表示攝像機的平移運動，分別為第k-1幀和第k幀的第i個特徵點對(pi,qi)的坐標，i＝1,…,N，利用公式(3)計算得到第i個特徵點對(pi,qi)對應的攝像機的全局運動參數H，
其中，T為轉置，且有，
根據相鄰兩幀灰度圖像的N個特徵點對，則有：
F＝AH (5)，
其中F＝(q1,q2,...,qN)T，將上述(1.1)步匹配得到的特徵點對代入公式(5)，利用最小二乘法計算得到全局運動參數，並且根據公式(2)得到第k-1幀背景補償後的灰度圖像和第k+1幀背景補償後的灰度圖像
第二步，運動車輛位置的粗檢測：
採用對「鬼影」現象不敏感的三幀差分法進行運動車輛的粗檢測，三幀差分法的過程如下：
其中，和分別為上述第一步中得到的第k-1幀背景補償後的灰度圖像的灰度值和k+1幀幀背景補償後的灰度圖像的灰度值，Ik(x,y)代表上述第一步中得到的第k幀灰度圖像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的結果，對差分結果二值化並進行「與」運算，得到粗略檢測的運動車輛的候選區域，如公式(7)、(8)和(9)所示，
R(x,y)＝R1(x,y)∧R2(x,y) (9)，
其中，R1(x,y)，R2(x,y)代表二值化結果，T為閾值，∧表示「與」運算，R(x,y)值為1的區域為粗略檢測的運動車輛的候選區域；
第三步，運動車輛位置的精確檢測：
在上述第二步運動車輛的粗檢測的基礎上，首先採用自適應的方法檢測道路，得到感興趣區域，然後對位於感興趣區域的候選運動車輛進行驗證，得到運動車輛位置的的精確檢測，具體過程如下：
(3.1)自適應道路檢測：
將上述第一步中航拍採集到的運動車輛彩色序列圖像F由RGB空間轉換為HSV空間，其中H代表色調，S代表飽和度，V代表明暗程度，將S分量圖提取出來，利用大津算法計算出S分量的每一幀圖像的閾值，根據該自適應的閾值將S分量圖轉換為二值圖像，從而分割出道路區域，分別採用第一步中的簡單航拍場景採集簡單航拍場景運動車輛彩色序列圖像和複雜航拍場景採集複雜航拍場景運動車輛彩色序列圖像兩種實驗數據進行實驗，分別得到兩種航拍場景下的自適應道路檢測結果，即道路區域圖；
(3.2)提取候選車輛區域的CHLBP特徵：
將上述步驟(3.1)得到的道路區域外的圖像區域判定為非車輛候選區域，並在上述第二步得到的粗略檢測的運動車輛的候選區域中去除這些非車輛候選區域，得到位於道路區域的候選車輛區域U，然後對這些區域進行CHLBP特徵提取，得到CHLBP特徵直方圖；
(3.3)利用SVM分類器對CHLBP特徵進行判斷獲取運動車輛位置的精確檢測：
利用SVM分類器對上述步(3.2)得到的CHLBP特徵直方圖進行訓練並分類，判斷是否為車輛，具體過程是：首先在離線情況下，利用SVM分類器進行訓練，正樣本為航拍場景下的車輛，負樣本為除車輛外隨機選取的背景，對正負樣本提取CHLBP特徵，然後將特徵數據輸入到SVM分類器中訓練，構造SVM分類器，再對經過道路區域得到的候選車輛區域進行CHLBP特徵提取，利用構造好的SVM分類器進行驗證，當判斷為正樣本時則為車輛，當判斷為負樣本時則定為非車輛；至此完成運動車輛位置的精確檢測。
上述基於航拍視頻圖像的運動車輛檢測方法，所述CHLBP特徵提取，是基於七組編碼模板M1-M7得到的，如公式(10)所示：
用上述公式(10)中七個模板分別對上述(3.2)步中得到的位於道路區域的候選車輛區域中所有像素點U(x,y)的5×5鄰域進行點積運算並二值化後，採用類似LBP編碼的加權求和形式，形成像素點U(x,y)的CHLBP編碼，如下式(11)和(12)所示：
其中Μj(j＝1,2,3,4,5,6,7)為7組編碼模板對應的矩陣，符號「*」為點積運算，t為閾值，WU為位於道路區域的候選車輛區域中像素點U(x,y)為中心的5×5鄰域的灰度值對應的矩陣,利用公式(11)得到所有像素點的CHLBP值後，計算其直方圖，得到CHLBP特徵直方圖。
上述基於航拍視頻圖像的運動車輛檢測方法，所述SVM分類器類型為默認設置C-SVC,核函數類型為RBF。
上述基於航拍視頻圖像的運動車輛檢測方法，所述SURF、SVM分類器、六參數仿射模型、三幀差分法和大津算法是本技術領域公知的，所涉及的設備是本技術領域熟知並可通過商購途徑獲得的。
本發明的有益效果是：與現有技術相比，本發明的突出的實質性特點和顯著進步如下：
(1)本發明方法融合時間和空間特性，首先對航拍視頻中相鄰的圖像幀進行基於SURF特徵點的配準，消除攝像頭運動造成的影響，實現運動背景補償，然後利用三幀差分法對運動目標進行粗定位，並對道路區域進行自適應閾值分割，去除周圍環境的幹擾，最後對位於道路區域的候選車輛區域提取CHLBP(Center Haar Local Binary Pattern)特徵，結合SVM分類器進行驗證，適應對不同場景的運動車輛進行精確檢測，克服了現有技術存在只適用於簡單的單一場景運動車輛檢測，難以適用於不同場景下的多運動車輛檢測，檢測的準確率容易受到尺度變化、複雜環境和攝像頭運動的影響的缺陷。
(2)本發明方法在自適應道路檢測步驟中，克服了現有道路檢測方法依靠於先驗知識和固定閾值的局限性，通過顏色空間變換以及自適應閾值算法進行道路檢測，降低了誤檢的數量，從而提高了車輛檢測系統的效率。
(3)本發明方法利用了三幀差分法在時間序列上定位候選區域，然後提取空間的CHLBP特徵輸入到SVM分類對候選區域進行驗證，避免了單一使用空間或者時間方法進行檢查的不足，同時提高了算法的速度。
(4)本發明方法在車輛精確檢測步驟中，提出了七組CHLBP特徵模板，充分利用HAAR和LBP特性，能夠對車輛特徵進行更好的描述，進一步提高了航拍場景下車輛檢測系統的實用性。
(5)本發明方法提高了航拍下運動車輛檢測的魯棒性和有效性，使得在簡單和複雜的場景下都能準確檢測出運動車輛，更具有實際的應用價值。
下面的實施例對本發明的突出的實質性特點和顯著進步作了進一步的證明。
附圖說明
下面結合附圖和實施例對本發明進一步說明。
圖1為本發明方法的步驟流程示意圖；
圖2(a)為本發明方法中簡單航拍場景，採集簡單航拍場景運動車輛彩色序列圖像的示意圖；
圖2(b)為本發明方法中複雜航拍場景，採集複雜航拍場景運動車輛彩色序列圖像的示意圖；
圖3(a)為本發明方法中簡單航拍場景下自適應道路檢測的結果示意圖；
圖3(b)為本發明方法中複雜航拍場景下自適應道路檢測的結果示意圖；
圖4(a)為本發明方法中簡單航拍場景下運動車輛檢測的結果示意圖；
圖4(b)為本發明方法中複雜航拍場景下運動車輛檢測的結果示意圖；
具體實施方式
圖1所示實施例表明，本發明方法的步驟流程是：第一步，對輸入運動車輛彩色序列圖像匹配，進一步得到背景補償後的圖像→基於SURF特徵點的圖像匹配→估計攝像機的全局運動參數，得到背景補償後的圖像第二步，運動車輛位置的粗檢測第三步，運動車輛位置的精確檢測→自適應道路檢測→提取候選車輛區域的CHLBP特徵→利用SVM分類器對CHLBP特徵進行判斷獲取運動車輛位置的精確檢測。
圖1表明，「第一步，對輸入運動車輛彩色序列圖像匹配，進一步得到背景補償後的圖像」，包括「基於SURF特徵點的圖像匹配」和「估計全局運動參數，得到背景補償後的圖像」兩個步驟，即為運動背景補償；第二步是運動車輛位置的粗檢測，利用三幀差分法進行運動車輛的粗檢測；第三步，運動車輛位置的精確檢測，包括「自適應道路檢測」、「提取候選車輛區域的CHLBP特徵」和「利用SVM分類器對CHLBP特徵進行判斷獲取運動車輛位置的的精確檢測」，即為驗證候選區域，獲得運動車輛的精確檢測。
圖2(a)所示實施例顯示，為本發明方法中簡單航拍場景，採集簡單航拍場景運動車輛彩色序列圖像的示意圖，周圍環境簡單，所有車輛均為運動車輛；
圖2(b)所示實施例顯示，為本發明方法中複雜航拍場景，採集複雜航拍場景運動車輛彩色序列圖像的示意圖，周圍環境複雜，橢圓標出來的車輛為運動車輛。
圖3(a)所示實施例顯示，為本發明方法中簡單航拍場景運動車輛彩色序列圖像的道路檢測效果圖。
圖3(b)所示實施例顯示，為本發明方法中複雜航拍場景運動車輛彩色序列圖像的道路檢測效果圖。
圖4(a)所示實施例顯示，為本發明方法中簡單航拍場景運動車輛彩色序列圖像的最終運動車輛檢測效果圖，用矩形標出。圖4(b)為本發明方法中複雜航拍場景運動車輛彩色序列圖像的最終運動車輛檢測效果圖，用矩形標出。
實施例1
基於航拍視頻圖像的運動車輛檢測方法，該方法融合時間和空間特性，適應對不同場景的運動車輛進行精確檢測，具體步驟如下：
第一步，對輸入運動車輛彩色序列圖像匹配，進一步得到背景補償後的圖像：
(1.1)基於SURF特徵點的圖像匹配：
分別用簡單航拍場景採集簡單航拍場景運動車輛彩色序列圖像和複雜航拍場景採集複雜航拍場景運動車輛彩色序列圖像，將採集到的所有運動車輛彩色序列圖像F輸入計算機中，並由RGB空間轉化到灰度空間，採用的公式(1)如下：
I＝0.299R+0.587G+0.114B (1)，
在獲得的灰度序列圖像I上進行SURF特徵點檢測，然後在相鄰的兩幀灰度圖像之間進行基於SURF特徵點的圖像匹配，得到匹配特徵點對，用於下面進行攝相機的全局運動參數的估計；
(1.2)估計攝像機的全局運動參數，得到背景補償後的圖像：
攝像機的運動狀態主要包括平移、旋轉和縮放，採用六參數仿射模型近似表示，以估計全局運動參數，估計的過程如公式(2)所示：
其中(a1,a2,a3,a4)表示攝像機的旋轉和縮放運動，(t1,t2)表示攝像機的平移運動，分別為第k-1幀和第k幀的第i個特徵點對(pi,qi)的坐標，i＝1,…,N，利用公式(3)計算得到第i個特徵點對(pi,qi)對應的攝像機的全局運動參數H，
其中，T為轉置，且有，
根據相鄰兩幀灰度圖像的N個特徵點對，則有：
F＝AH (5)，
其中F＝(q1,q2,...,qN)T，將上述(1.1)步匹配得到的特徵點對代入公式(5)，利用最小二乘法計算得到全局運動參數，並且根據公式(2)得到第k-1幀背景補償後的灰度圖像和第k+1幀背景補償後的灰度圖像
第二步，運動車輛位置的粗檢測：
採用對「鬼影」現象不敏感的三幀差分法進行運動車輛的粗檢測，三幀差分法的過程如下：
其中，和分別為上述第一步中得到的第k-1幀背景補償後的灰度圖像的灰度值和k+1幀幀背景補償後的灰度圖像的灰度值，Ik(x,y)代表上述第一步中得到的第k幀灰度圖像Ik的灰度值，D1(x,y)、D2(x,y)代表差分的結果，對差分結果二值化並進行「與」運算，得到粗略檢測的運動車輛的候選區域和運動車輛位置R(x,y)，如公式(7)、(8)和(9)所示，
R(x,y)＝R1(x,y)∧R2(x,y) (9)，
其中，R1(x,y)，R2(x,y)代表二值化結果，T為閾值，∧表示「與」運算，R(x,y)值為1的區域為粗略檢測的運動車輛的候選區域；
第三步，運動車輛位置的精確檢測：
在上述第二步運動車輛位置的粗檢測的基礎上，首先採用自適應的方法檢測道路，得到感興趣區域，然後對位於感興趣區域的候選運動車輛進行驗證，得到運動車輛位置的的精確檢測，具體過程如下：
(3.1)自適應道路檢測：
將上述第一步中航拍採集到的運動車輛彩色序列圖像F由RGB空間轉換為HSV空間，其中H代表色調，S代表飽和度，V代表明暗程度，將S分量圖提取出來，利用大津算法計算出S分量的每一幀圖像的閾值，根據該自適應的閾值將S分量圖轉換為二值圖像，從而分割出道路區域，分別採用第一步中的簡單航拍場景採集簡單航拍場景運動車輛彩色序列圖像和複雜航拍場景採集複雜航拍場景運動車輛彩色序列圖像兩種實驗數據進行實驗，分別得到兩種航拍場景下的自適應道路檢測結果，即道路區域圖；
(3.2)提取候選車輛區域的CHLBP特徵：
將上述步驟(3.1)得到的道路區域外的圖像區域判定為非車輛候選區域，並在上述第二步得到的粗略檢測的運動車輛的候選區域中去除這些非車輛候選區域，得到位於道路區域的候選車輛區域U，然後對這些區域進行CHLBP特徵提取，得到CHLBP特徵直方圖；
所述CHLBP特徵提取，是基於七組編碼模板M1-M7得到的，如公式(10)所示：
用上述公式(10)中七個模板分別對上述(3.2)步中得到的位於道路區域的候選車輛區域中所有像素點U(x,y)的5×5鄰域進行點積運算並二值化後，，採用類似LBP編碼的加權求和形式，形成像素點U(x,y)的CHLBP編碼，如下式(11)和(12)所示：
其中Μj(j＝1,2,3,4,5,6,7)為7組編碼模板對應的矩陣，符號「*」為點積運算，t為閾值，WU為位於道路區域的候選車輛區域中像素點U(x,y)為中心的5×5鄰域的灰度值對應的矩陣,利用公式(11)得到所有像素點的CHLBP值後，計算其直方圖，得到CHLBP特徵直方圖。
(3.3)利用SVM分類器對CHLBP特徵進行判斷獲取運動車輛位置的的精確檢測：
利用SVM分類器對上述步(3.2)得到的CHLBP特徵直方圖進行訓練並分類，判斷是否為車輛，具體過程是：首先在離線情況下，利用類型為默認設置C-SVC,核函數類型為RBF的SVM分類器進行訓練，正樣本為航拍場景下的車輛，負樣本為除車輛外隨機選取的背景，對正負樣本提取CHLBP特徵，然後將特徵數據輸入到SVM分類器中訓練，構造SVM分類器，再對經過自適應道路區域檢測後得到的位於道路區域的候選車輛區域進行CHLBP特徵提取，利用構造好的SVM分類器進行驗證，當判斷為正樣本時則為車輛，當判斷為負樣本時則定為非車輛；至此完成運動車輛位置的精確檢測。
本實施例是利用MATLAB2010平臺實現的，並分別對複雜場景和簡單場景的航拍圖像序列進行運動車輛檢測實驗，處理器是英特爾I3-2120，4G內存，使用的航拍圖像序列是來自公開的VIVID EgTest01資料庫和Munich Crossroad01資料庫，為了對本實施例的方法進行有效的評估，選擇在背景簡單和複雜的兩種航拍場景中進行實驗分析，結果如表1所示。
表1.Egtest01和Crossroad01資料庫中的航拍視頻圖像的運動車輛檢測的實驗結果
通過表1所列道路篩選前後的運動車輛檢測的查全率對比可以看到，兩個實驗場景中道路篩選前後運動車輛檢測的查全率並沒有變化，說明將感興趣區域定為道路是可行的,經過道路篩選後，兩個資料庫的查準率有所提升，這是由於道路外存在噪聲幹擾，經過道路篩選後，噪聲被剔除，減少了運動車輛檢測誤檢的數量，從而運動車輛檢測的查準率有所提高。
實施例2
將本發明方法的運動車輛檢測結果與現有技術的COCOA系統、顯著性融合方法和LBP方法的運動車輛檢測結果進行比較，結果見表2.
表2.Egtest01和Crossroad01資料庫上四種方法運動車輛檢測結果
通過表2可以看到，與目前流行的現有技術COCOA系統、顯著性融合方法和LBP方法相比，本發明方法無論在背景簡單的Egtest01資料庫還是場景複雜的Munich Crossroad01資料庫上對運動車輛檢測的查全率和運動車輛檢測的查準率都是最高的，驗證了本發明方法的魯棒性和有效性。
所示實施例中所述SURF、SVM分類器、六參數仿射模型、三幀差分法和大津算法是本技術領域公知的，所涉及的設備是本技術領域熟知並可通過商購途徑獲得的。