一種基於單目視覺的夜間前方車輛檢測方法與流程
2023-10-24 00:53:02 1
本發明屬於夜間目標檢測方法技術領域，具體涉及一種基於單目視覺的夜間前方車輛檢測方法。
背景技術：
汽車的飛躍式增長，加劇了道路交通事故的發生，特別是夜間交通事故的頻發，給人們的生命財產帶來巨大的損失。基於視覺的目標檢測技術為夜間交通場景目標檢測提供了可能，由於多目(包含雙目)視覺系統相鄰幀間特徵點匹配計算量大，當車輛數目較多時，實時性差，所以基於單目視覺的車輛檢測技術應運而生。然而，現有的基於單目視覺的車輛檢測技術大多適應於白天交通環境，由於夜間駕駛環境變差導致夜間交通事故較白天更為頻發，因此，研究基於單目視覺的夜間前方車輛檢測方法對於改善駕駛環境，減少交通事故具有重要的意義。
夜晚光照條件差，車輛的外形特徵很難被檢測到，夜間車輛最顯著的特徵是高亮度的車燈，因此，大多夜間車輛檢測方法都是通過檢測車燈從而檢測車輛的。Junbin Guo等人統計300幅不同環境下尾燈亮度的分布，使用最大類間方差法(Otsu)確定最佳分割閾值，並根據HSV顏色空間的紅色閾值剔除非尾燈目標，最後進行基於位置、面積等先驗知識的尾燈配對。
Wei Zhang等人基於光散射衰減模型得出車頭燈的反射灰度圖和反射抑制圖，作為馬爾科夫隨機場的輸入向量，但是如果車輛距離攝像頭很近，反射係數很難計算。
Jiann-Der Lee等人使用LoG算子和光散射模型得出車燈區域並使用光流法對車輛進行跟蹤，使用LoG算子，解決了近距離車輛難檢測的問題。
O』Malley等人基於HSV顏色空間提出紅色閾值分割方法，並根據互相關性係數驗證車燈的對稱性及使用卡爾曼濾波進行跟蹤，但是只根據互相關性係數進行車燈配對，誤差較大。
Naoya Kosaka等人採用雙層中心環繞濾波器來近似LoG算子，篩選出響應值高的特徵點，再對特徵點使用支持向量機(SVM)進行分類，並通過車道線檢測及運動軌跡排除噪聲點，檢測出車燈正確率高，但進行配對時只根據濾波器響應值一致的原則，致使配對誤差較大。
Hulin Kuang等人使用EdgeBoxes尋找多尺度Retinex增強後圖像中得分較高的感興趣區域(ROI)，提取ROI5個特徵後，由SVM訓練每個特徵的權重，修改最終得分，得分高的ROI則為車輛。該方法不需要進行車燈配對，減少了一些誤差，但是對於昏暗的交通場景，增強算法不是很有效，得出的ROI準確度也隨之下降。
技術實現要素：
本發明的目的是提供一種基於單目視覺的夜間前方車輛檢測方法，解決了現有夜間車輛檢測方法中，配對誤差較大，檢測目標不準確的問題。
本發明一種基於單目視覺的夜間前方車輛檢測方法所採用的技術方案是，包括以下步驟：
步驟1，採集圖像，基於CenSurE算子對夜間前方車輛進行車燈檢測，得到強角點；
步驟2，基於車燈顏色信息進行夜間前方車輛的分割，得到分割區域；
步驟3，選擇步驟2的分割區域中佔有步驟1的強角點最多的區域，得到檢測區域；
步驟4，對步驟3中的檢測區域進行車燈配對，確定目標車輛的位置。
本發明的特徵還在於，
步驟1的操作步驟具體為：
步驟1.1，拍照採集圖像，根據採集圖像計算對應的積分圖的值，積分圖中任一點I(x，y)的值均為原圖像中對應位置左上角區域所有值的總和，如式(1)，
步驟1.2，構造CenSurE濾波器對積分圖進行對數尺度採樣，
將任一點I(x，y)的值表示的尺度空間分成三組，其中，第一組中每層的CenSurE濾波器內核大小依次增加2，第二組中每層的CenSurE濾波器內核大小依次增加4，第三組中每層的CenSurE濾波器內核大小依次增加8，每一組中均選擇5層尺度圖像，CenSurE濾波器外核大小也按照上述方式進行計算；
即CenSurE濾波器的內核尺寸應滿足(2n+1)×(2n+1)，外核尺寸應滿足(4n+1)×(4n+1)，為了使濾波器的DC響應為零，對尺度空間歸一化，則內核的權重係數In應滿足式(2)，
外核的權重係數On應滿足式(3)
當外核包含的像素值總和為out_value，內核包含的像素值總和為in_value，則像素濾波響應值L滿足式(4)，
L＝On·out_value-In·in_value， (4)
步驟1.3，對步驟1.2中的尺度空間進行極值檢測，
將經過步驟1.2處理的圖像，按照式(4)計算圖像中每個尺度空間的像素濾波響應值，然後在尺度空間上進行進行非極大值抑制，並記錄極值點；
步驟1.4，對步驟1.3中的極值點進行濾除不穩定特徵點，
Lx和Ly為像素濾波響應值L在x和y方向的偏導，對Lx、Ly、LxLy進行高斯濾波，獲得Harris矩陣特徵值，如果較小的特徵值大於自適應閾值t，則得到強角點。
步驟2的操作步驟具體為，將步驟1採集的圖像由RGB空間轉換到HSV顏色空間，使用紅色閾值分割出的所有區域，使用白色閾值分割出的所有區域中位於左側1/3的區域，共同作為HSV顏色空間分割的結果，
H表示色調，其中紅色閾值的H≥340°或H≤30°，白色閾值的H為0°～360°；S表示飽和度，紅色閾值的S≤30，白色閾值的S≤20；V表示色彩的明度，紅色閾值和白色閾值均取80≤V≤100。
步驟4的車燈配對的操作步驟具體為，假設Li、Lj為兩候選車燈，面積分別為Ai、Aj，車燈中心的圖像坐標為(xi,yi)、(xj,yj)，配對約束條件如下：
a.當兩候選車燈高度一致，既兩車燈縱坐標應滿足式(5)
|yi-yj|＜Δh， (5)
b.當兩候選車燈水平方向距離在一定範圍內，應滿足式(6)
Δw1＜|xi-xj|＜Δw2， (6)
c.當兩候選車燈面積一致，應滿足式(7)
|Ai-Aj|＜ΔA， (7)
式(5)中Δh為高度差閾值，式(6)中Δw1和Δw2為水平差閾值，式(7)中ΔA為面積差閾值，滿足配對約束條件，配對完成後得到車燈對應的外接矩形框應滿足寬高比在一定範圍內，滿足式(8)，
其中，xi,left、xj,right分別為區域的最左邊和最右邊坐標，yi,top、yj,bottom為區域的最上邊和最下邊坐標，Δration為框的寬高比閾值。
步驟1.3中的非極大值抑制的具體步驟為：尺度空間中的每個點與其26個相鄰點，其中26個相鄰點包括位於中間的檢測點和其同尺度的8個相鄰點，以及上下相鄰尺度對應的9×2個點進行比較，然後記錄極值點。
步驟1.4中的自適應閾值使用多級Otsu方法獲取，其具體步驟為：
在灰度直方圖中，設fi為灰度級為i的像素點個數，N為像素點總數，則N滿足式(9)
N＝f0+f1+…+fl-1， (9)
其中l為直方圖個數，l＝1，2，3，4……，
則灰度級為i的像素點個數fi的分布概率Pi為式(10)，
使用k個閾值T＝{t1,…,tn,…,tk}，將圖像分為k+1個類別，類間方差VBC(T)為式(11)
其中，式(11)μn為k＝n時的灰度均值，μT為總體的灰度均值，wn和μn的值如式(12)，
類內方差vWC(T)為式(13)
其中，式(13)中σn為k＝n時的灰度方差，wn和σn的值如式(14)
將式(9)～式(14)聯合，得出圖像的總方差vT和圖像的總均值μT，為式(15)
定義圖像的分割因子SF為式(16)，
當SF>0.9時，停止分類，取此時的tk為自適應閾值。
本發明的有益效果是：本發明一種基於單目視覺的夜間前方車輛檢測方法通過採用計算多尺度下的CenSurE算子，然後檢測其結果，可進行車輛配對的運算，不僅解決了夜間車輛車燈檢測方法中，配對誤差較大，檢測目標不準確的問題，又很好的應用價值。
附圖說明
圖1是本發明CenSurE濾波器的內核和外核的結構圖；
圖2是區域像素和計算示意圖。
具體實施方式
下面結合附圖和具體實施方式對本發明進行詳細說明。
本發明一種基於單目視覺的夜間前方車輛檢測方法，包括以下步驟：
步驟1，採集圖像，基於CenSurE算子對夜間前方車輛進行車燈檢測，得到強角點；
步驟2，基於車燈顏色信息進行夜間前方車輛的分割，得到分割區域；
步驟3，選擇步驟2的分割區域中佔有步驟1的強角點最多的區域，得到檢測區域；
步驟4，對步驟3中的檢測區域進行車燈配對，確定目標車輛的位置。
步驟1的操作步驟具體為：
步驟1.1，拍照採集圖像，根據採集圖像計算對應的積分圖的值，積分圖中任一點I(x，y)的值均為原圖像中對應位置左上角區域所有值的總和，如式(1)，
步驟1.2，構造CenSurE濾波器，對積分圖進行對數尺度採樣，目的是為了提高局部極值點的穩定性，如圖1所示，CenSurE濾波器採用正方形核，正方形核計算效率最高，滿足了實時性要求，積分圖構造好後，圖像中任何矩陣區域的像素累加和都可以通過簡單運算得到，如圖2所示，
將任一點I(x，y)的值表示的尺度空間分成三組，每一組中均選擇5層尺度圖像，其中，第一組中每層的CenSurE濾波器內核大小依次增加2，選取濾波器內核，其大小依次為3×3、5×5、7×7、9×9和11×11，第二組中每層的CenSurE濾波器內核大小依次增加4，選取濾波器內核，其大小依次為7×7、11×11、15×15、19×19和23×23，第三組中每層的CenSurE濾波器內核大小依次增加8，選取濾波器內核，其大小依次為15×15、23×23、31×31、39×39、47×47，CenSurE濾波器外核大小也按照上述方式進行計算；
即CenSurE濾波器的內核尺寸應滿足(2n+1)×(2n+1)，外核尺寸應滿足(4n+1)×(4n+1)，為了使濾波器的DC響應為零，對尺度空間歸一化，則內核的權重係數In應滿足式(2)，
外核的權重係數On應滿足式(3)
當外核包含的像素值總和為out_value，內核包含的像素值總和為in_value，則像素濾波響應值L滿足式(4)，
L＝On·out_value-In·in_value， (4)
步驟1.3，對步驟1.2中的尺度空間進行極值檢測，
將經過步驟1.2處理的圖像，按照式(4)計算圖像中每個尺度空間的像素濾波響應值，然後在尺度空間上進行非極大值抑制，並記錄極值點；
步驟1.4，對步驟1.3中的極值點進行濾除不穩定特徵點，
為了得到穩定的特徵點，只根據閾值濾除弱響應點是不夠的，因為濾波器對圖像邊緣有比較強的響應值，一旦特徵點落在圖像的邊緣上，這些點就很不穩定。由於邊緣或線上的特徵點在平行方向上具有較大主曲率而在垂直方向上具有較小主曲率，利用尺度自適應的Harris方法計算主曲率比例H去除不穩定響應點，如下式所示，
Lx和Ly為像素濾波響應值L在x和y方向的偏導，對主曲率比例H進行高斯濾波，獲得Harris矩陣特徵值，如果較小的特徵值大於自適應閾值t，則得到強角點。
由於車頭燈和車尾燈分別高亮白色和紅色，因此需分割出圖像的紅色和白色區域，則步驟2的操作步驟具體為，將步驟1採集的圖像由RGB空間轉換到HSV顏色空間，使用閾值分割紅色和白色區域，由經驗可知，相向而來的車輛，一般出現在圖像的左側，檢測車頭燈，同向行駛的車輛檢測車尾燈，將紅色閾值分割出的所有區域，白色閾值分割出的所有區域中位於左側1/3的區域，共同作為HSV顏色空間分割的結果，
H表示色調，其中紅色閾值的H≥340°或H≤30°，白色閾值的H為0°～360°；S表示飽和度，紅色閾值的S≤30，白色閾值的S≤20；V表示色彩的明度，紅色閾值和白色閾值均取80≤V≤100。
步驟4的車燈配對的操作步驟具體為，假設Li、Lj為兩候選車燈，面積分別為Ai、Aj，車燈中心的圖像坐標為(xi,yi)、(xj,yj)，配對約束條件如下：
a.當兩候選車燈高度一致，既兩車燈縱坐標應滿足式(5)
|yi-yj|＜Δh， (5)
b.當兩候選車燈水平方向距離在一定範圍內，應滿足式(6)
Δw1＜|xi-xj|＜Δw2， (6)
c.當兩候選車燈面積一致，應滿足式(7)
|Ai-Aj|＜ΔA， (7)
式(5)中Δh為高度差閾值，式(6)中Δw1和Δw2為水平差閾值，式(7)中ΔA為面積差閾值，滿足配對約束條件，配對完成後得到車燈對應的外接矩形框應滿足寬高比在一定範圍內，滿足式(8)，
其中，xi,left、xj,right分別為區域的最左邊和最右邊坐標，yi,top、yj,bottom為區域的最上邊和最下邊坐標，Δration為框的寬高比閾值。
式(7)～(8)中，由於日常生活經驗，將Δh取10像素，Δw1取20像素，Δw2取50像素，ΔA取30像素，Δration取10像素進行運算配對。
步驟1.3中的非極大值抑制的具體步驟為：尺度空間中的每個點與其26個相鄰點，其中26個相鄰點包括位於中間的檢測點和其同尺度的8個相鄰點，以及上下相鄰尺度對應的9×2個點進行比較，然後記錄極值點。
步驟1.4中的自適應閾值使用多級Otsu方法獲取，其具體步驟為：
在灰度直方圖中，設fi為灰度級為i的像素點個數，N為像素點總數，則N滿足式(9)
N＝f0+f1+…+fl-1， (9)
其中l為直方圖個數，l＝1，2，3，4……，
則灰度級為i的像素點個數fi的分布概率Pi為式(10)，
使用k個閾值T＝{t1,…,tn,…,tk}，將圖像分為k+1個類別，類間方差VBC(T)為式(11)
其中，式(11)μn為k＝n時的灰度均值，μT為總體的灰度均值，wn和μn的值如式(12)，
類內方差vWC(T)為式(13)
其中，式(13)中σn為k＝n時的灰度方差，wn和σn的值如式(14)
將式(9)～式(14)聯合，得出圖像的總方差vT和圖像的總均值μT，為式(15)
定義圖像的分割因子SF為式(16)，
當SF>0.9時，停止分類，取此時的tk為自適應閾值。
本發明的有益效果是：本發明通過採用計算多尺度下的CenSurE算子，然後檢測其結果，可進行車輛配對的運算，不僅解決了夜間車輛車燈檢測方法中，配對誤差較大，檢測目標不準確的問題，又很好的應用價值。