一種檢測和跟蹤夜間行駛車輛的方法
2023-12-10 02:34:21 3
專利名稱：一種檢測和跟蹤夜間行駛車輛的方法
技術領域：
本發明屬於圖像處理領域和計算機視覺領域的技術，涉及一種檢測和跟蹤夜間行駛車輛的方法。
背景技術：
夜間車輛檢測不像白天，白天車輛清晰可見，對比度明顯，現有圖像處理和視覺算法能有效檢測出車輛。夜間情況大不相同，在不同的照明條件下，車輛的車體可見度不一樣，在路面照明不足的情況下這種算法不能檢測車體，而車體上的各種車燈及其路面反射光線非常明顯，這種算法需要排除大面積的路面反射光的影響，而又要檢測出相鄰車輛的車燈，這是夜間車輛檢測的難點。在夜間車輛檢測中，由於明亮的車燈的顯著特徵，無論道路上有沒有路燈照明，無論天氣情況如何，車輛前燈特徵是相對穩定的。所以現在有的夜間車輛檢測算法都一般都是以明亮的車燈作為特徵來檢測的。艾特銳視(Iteris)、皮克(Peek)等系統在夜間就是採用檢測車輛前燈的方法檢測。研究者R. Taktak和Rita Cucchiara也提出了基於車輛前燈的車輛檢測。R. Taktak使用灰值形態學變換提取明亮的車燈，計算車燈的周長、面積、圓形度等形狀特徵，以及車燈之間的距離、形狀特徵比等參數，用這些參數作為屬性，用樣本訓練決策樹，用來尋找成對車燈，從而檢測車輛[1]。Rita Cucchiara採用閾值法提取明亮車燈，利用動態信息排除靜止光源，使用車燈形狀特徵初步配對車燈，然後比較車燈對對稱軸方向與車流方向來排除一些錯誤配對，從而檢測車輛[2]。在夜晚這樣的特殊的場景下，由於光照的不穩定，環境的複雜性，現有的前景檢測算法都失效，並不能實現在夜晚的場景下車輛的檢測。上述引用的參考文獻R. Taktak, M. Dufaut, R. Husson. "Vehicle Detection at Night using Image Processing and Pattern Recognition, ，， In: International Conference on Image Processing, Austin, Texas, USA, Nov. 1994, pp:296-300.Cucchiara, R. , Piccardi, M. "Vehicle Detection under Day and Night Illumination,，，Proc. of ISCS-IIA99, Special Session on Vehicle Traffic and Surveillance, 1999，pp:789-794。
發明內容
本發明的目的在於，針對上述問題，一種檢測和跟蹤夜間行駛車輛的方法，為實現上述目的，本發明採用的技術方案是具體按照以下步驟實施
步驟1 前景檢測，選取車燈亮度進行前景檢測，
在檢測之前把輸入視頻幀進行灰度化，再通過公式的運算，得到一個二值化的圖像，通過檢測視頻流中每一幀的像素點的亮度是否大於設定的閾值來檢測出車燈區域； 步驟2:噪點消除，通過對步驟1得到的二值化圖像進行形態學的開運算操作去掉大部的噪點，再通過基於車燈的形狀消除掉一部分車燈在路面的投影，較準確地得到前景目標，根據先驗知識，車燈一般都是圓形的，如果不是步驟1所述的二值化圖像，聯通區域不是圓形的，將此目標濾除掉，較準確地得到前景目標；
步驟3 車燈匹配，對車燈對的匹配應同時滿足以下四條規則
(1)兩車燈之間的路面坐標距離小於最大車燈對寬度；
(2)正常行駛的車輛其車燈對連線應近似垂直於車道方向，變道車輛的車燈對連線斜率小於車燈對最大斜率；
(3)兩車燈形狀相似；
(4)一個車燈最多只能屬於一個配對，當一個車燈與其他兩個或兩個以上的車燈都相似配對時，只取相似度最大的配對，而排除其他配對；
根據同一輛車的車燈的形狀相近、運動特徵相同這兩個特點，首先求取各車燈的運動特徵值，在運動特徵值相同的一組車燈中求取每兩個車燈的相似度值，根據相似度最大的原則進行兩車燈配對，把屬於同一輛車的大小前燈、裝飾燈、車頂燈及它們的倒影歸為一組，並找出其中的大前燈對，以大前燈對代表該車輛；
步驟4:車燈對跟蹤按照上述的步驟完成車燈的配對後，再對車燈進行跟蹤，從而實現對車輛的跟蹤，按照以下的方法實現
首先分析幀間車燈對的相對位置，然後根據以下的幀間車燈對關聯的規則跟蹤車燈， 第一，幀間車燈對位置預測規則
根據以下的步驟，採用卡爾曼濾波來預測車燈對的下一幀的位置，
(1)定義目標觀測值，將目標初始化；
(2)通過預測下一時刻目標的目標位置預測目標的可能出現區域，然後在一定區域內搜索目標的最佳匹配圖像，得到觀測值；
(3)根據上一步的觀測值採用更新公式更新目標狀態的估計，得到最終的一個濾波結
果；
(4)根據步驟(3)得到的目標狀態的估計值再轉到步驟O)進行下一個時刻的濾波估計，最終得到一個表示目標狀態的估計觀測值的序列即卡爾曼濾波結果；
第二，幀間車燈對匹配規則
(1)車燈對在下一幀可能出現的位置在當前幀的位置範圍；
(2)根據前後幀車燈的特徵向量值來匹配車燈；
(3)建立當前幀的車燈對，從下一幀圖像提取的車燈對中尋找可以與當前幀車燈對關聯的兩車燈，而不是從下一幀圖像提取的大前燈對中選擇；
第三，車燈對的分組規則
將屬於同一輛車的車燈對歸為一組，按照以下規則找出其中的大前燈對(1)這些車燈對分布在一定範圍內；(2)大前燈對面積最大， 步驟5:再次跟蹤目標後進行車燈對匹配
為了彌補前面的方法的中匹配失敗的車燈檢測，按照以下的步驟完成對車輛的跟蹤
第一，按下述的步驟跟蹤車燈，
(1)計算當前幀中各目標的特徵向量；(2)將當前幀中的各目標向量與目標鏈中的各目標的向量進行匹配；
(3)更新目標鏈；
第二，按下述的步驟跟蹤車輛
完成對車燈的檢測跟蹤後，將屬於同一輛車的車燈歸類，結合先驗知識和車燈的運動信息，來減少車輛的誤檢和漏檢測，通過以下方法實現對車輛的檢測和跟蹤
(1)計算當前目標鏈中各個目標之間的距離，將滿足一定條件的目標歸為同一類；
(2)計算同一類目標中各個目標之間的運動差分向量，將滿足一定條件的目標歸為同
一輛車；
當目標鏈中的目標全部合併完成以後，定義一個集合表示被檢測的車輛，通過對集合中任一元素的跟蹤對車輛進行跟蹤，通過集合中所有元素的運動信息的均值來提取車輛的運動信息，最後得到需要檢測的車輛。 進一步的，所述步驟1中的檢測視頻流中每一幀的像素點的亮度是否大於設定的閾值來檢測前景的檢測的公式為
權利要求
1. 一種檢測和跟蹤夜間行駛車輛的方法，通過車燈的檢測來檢測和跟蹤車輛，其特徵在於，具體按照以下步驟實施步驟1 前景檢測，選取車燈亮度進行前景檢測，在檢測之前把輸入視頻幀進行灰度化，再通過公式的運算，得到一個二值化的圖像，通過檢測視頻流中每一幀的像素點的亮度是否大於設定的閾值來檢測出車燈區域；步驟2:噪點消除，通過對步驟1得到的二值化圖像進行形態學的開運算操作去掉大部的噪點，再通過基於車燈的形狀消除掉一部分車燈在路面的投影，較準確地得到前景目標，根據先驗知識，車燈一般都是圓形的，如果不是步驟1所述的二值化圖像，聯通區域不是圓形的，將此目標濾除掉，較準確地得到前景目標；步驟3 車燈匹配，對車燈對的匹配應同時滿足以下四條規則(1)兩車燈之間的路面坐標距離小於最大車燈對寬度；(2)正常行駛的車輛其車燈對連線應近似垂直於車道方向，變道車輛的車燈對連線斜率小於車燈對最大斜率；(3)兩車燈形狀相似；(4)一個車燈最多只能屬於一個配對，當一個車燈與其他兩個或兩個以上的車燈都相似配對時，只取相似度最大的配對，而排除其他配對；根據同一輛車的車燈的形狀相近、運動特徵相同這兩個特點，首先求取各車燈的運動特徵值，在運動特徵值相同的一組車燈中求取每兩個車燈的相似度值，根據相似度最大的原則進行兩車燈配對，把屬於同一輛車的大小前燈、裝飾燈、車頂燈及它們的倒影歸為一組，並找出其中的大前燈對，以大前燈對代表該車輛；步驟4:車燈對跟蹤按照上述的步驟完成車燈的配對後，再對車燈進行跟蹤，從而實現對車輛的跟蹤，按照以下的方法實現首先分析幀間車燈對的相對位置，然後根據以下的幀間車燈對關聯的規則跟蹤車燈，第一，幀間車燈對位置預測規則根據以下的步驟，採用卡爾曼濾波來預測車燈對的下一幀的位置，(1)定義目標觀測值，將目標初始化；(2)通過預測下一時刻目標的目標位置預測目標的可能出現區域，然後在一定區域內搜索目標的最佳匹配圖像，得到觀測值；(3)根據上一步的觀測值採用更新公式更新目標狀態的估計，得到最終的一個濾波結果；(4)根據步驟(3)得到的目標狀態的估計值再轉到步驟O)進行下一個時刻的濾波估計，最終得到一個表示目標狀態的估計觀測值的序列即卡爾曼濾波結果；第二，幀間車燈對匹配規則(1)車燈對在下一幀可能出現的位置在當前幀的位置範圍；(2)根據前後幀車燈的特徵向量值來匹配車燈；(3)建立當前幀的車燈對，從下一幀圖像提取的車燈對中尋找可以與當前幀車燈對關聯的兩車燈，而不是從下一幀圖像提取的大前燈對中選擇；第三，車燈對的分組規則將屬於同一輛車的車燈對歸為一組，按照以下規則找出其中的大前燈對(1)這些車燈對分布在一定範圍內；(2)大前燈對面積最大，步驟5:再次跟蹤目標後進行車燈對匹配為了彌補前面的方法的中匹配失敗的車燈檢測，按照以下的步驟完成對車輛的跟蹤第一，按下述的步驟跟蹤車燈，(1)計算當前幀中各目標的特徵向量；(2)將當前幀中的各目標向量與目標鏈中的各目標的向量進行匹配；(3)更新目標鏈；第二，按下述的步驟跟蹤車輛完成對車燈的檢測跟蹤後，將屬於同一輛車的車燈歸類，結合先驗知識和車燈的運動信息，來減少車輛的誤檢和漏檢測，通過以下方法實現對車輛的檢測和跟蹤(1 )計算當前目標鏈中各個目標之間的距離，將滿足一定條件的目標歸為同一類；(2)計算同一類目標中各個目標之間的運動差分向量，將滿足一定條件的目標歸為同一輛車；當目標鏈中的目標全部合併完成以後，定義一個集合表示被檢測的車輛，通過對集合中任一元素的跟蹤對車輛進行跟蹤，通過集合中所有元素的運動信息的均值來提取車輛的運動信息，最後得到需要檢測的車輛。
2.根據權利要求1所述的檢測和跟蹤夜間行駛車輛的方法，其特徵在於，所述步驟1 中的檢測視頻流中每一幀的像素點的亮度是否大於設定的閾值來檢測前景的檢測的公式為JX if p(x,y) >T1 叫0,其他其中P(x，y)表示圖像像素點(χ，y)的像素值，Tl表示一個預設的閾值，F(x，y)表示一個二值化的圖像，其中為1的點表示可能為車燈區域。
3.根據權利要求2所述的檢測和跟蹤夜間行駛車輛的方法，其特徵在於，所述步驟2中的判斷一個聯通區域是否接近圓形的判定標採用如下公式cr =-=-P2其中，A表示聯通區域的面積，P表示周長，若聯通區域接近圓形，公式(2)的cr值就越接近於1。
4.根據權利要求3所述的檢測和跟蹤夜間行駛車輛的方法，其特徵在於，所述步驟4中第一個規則中的第(2)步採用如下的公式預測目標的可能出現區域，x-(i)=A*x(i-l)+w(t)其中，t表示時間，w表示過程激勵噪聲，A表示聯通區域的面積，F 表示目標狀態先驗估計值，$￠- 表示上一時刻目標狀態後驗估計值，則可預測出下一時刻目標的目標位置為，然後在一定區域內搜索目標的最佳匹配圖像，得到觀測值Z(t)，所述第一個規則中的第(3)步中更新公式為 ￠) = Γ￠) + (1 - α)*Z￠)其中，α為根據經驗設定的一個濾波係數，表示更新後目標狀態位置。
5.根據權利要求4所述的檢測和跟蹤夜間行駛車輛的方法，其特徵在於，所述步驟5中第一小步中的第(2)步將當前幀中的各目標向量與目標鏈中的各目標的向量進行匹配，匹配的判據為歐拉距離
全文摘要
本發明公開了一種檢測和跟蹤夜間行駛車輛的方法，按照以下步驟實施步驟1:前景檢測，選取車燈亮度進行前景檢測，通過檢測視頻流中每一幀的像素點的亮度是否大於設定的閾值來檢測出車燈區域；步驟2:噪點消除，對步驟1得到的二值化圖像去掉大部的噪點，較準確地得到前景目標；步驟3車燈匹配根據相應的原則進行兩車燈配對，並找出其中的大前燈對，以大前燈對代表該車輛；步驟4:車燈對跟蹤按照上述的步驟完成車燈的配對後，再對車燈進行跟蹤，從而實現對車輛的跟蹤；步驟5:再次跟蹤目標後進行車燈對匹配，最後得到需要檢測的車輛。本發明的有益效果是使用車燈這一特徵對檢測夜間車輛，本方法中的算法特徵提取簡單，車輛檢測效果穩定。
文檔編號G06K9/00GK102567705SQ20101060224
公開日2012年7月11日 申請日期2010年12月23日 優先權日2010年12月23日
發明者吳晶, 明安龍, 馬華東 申請人:北京郵電大學