車輛圖像分割方法和裝置的製作方法
2023-12-01 05:25:31
專利名稱：車輛圖像分割方法和裝置的製作方法
技術領域：
本發明涉及基於車底陰影的車輛圖像分割方法和車輛圖像分割裝置。
背景技術：
在智能交通系統(Intelligent Transport Systems，ITS)的各個領域中，基於機器視覺識別車輛圖像時，首先把圖像中可能存在車輛的區域從圖像中分割出來。通常根據要識別的車輛的某些特徵或特徵集合的相似性，來提取出圖像中可能存在車輛的區域，將所提取的可能存在車輛的區域簡稱為ROI(感興趣區域，Region Of Interest)。如圖1所示，附圖標記2表示車底陰影，附圖標記1表示ROI。
在陽光或其他光源的照射下，對於不同形狀的車輛來說，底部存在陰影是其共同特徵，因此，車底陰影是在基於機器視覺的車輛圖像分割(Vehicle Candidate Generation)技術中分割車輛圖像時所依據的一個主要特徵。在現有技術中，已經公開有如下幾種基於車底陰影特徵的車輛圖像分割方案。
現有的基於車底陰影的第一種車輛圖像分割方案，基於車底陰影區域的亮度比路面暗的特點來從圖像中分割出車輛圖像區域。該方法如圖2所示，在步驟S1，輸入由攝像機拍攝到的路況圖像；在步驟S2，對在步驟1輸入的路況圖像計算路面的亮度平均值，並將該平均值設為基準值；在步驟3，將圖像中的各像素的亮度值與上述基準值進行比較，並將亮度值比該基準值低的所有區域確定為可能的車底陰影區域即車底陰影候選區域；之後，在步驟S4，根據自車與候選區域之間的距離、以及該候選區域的大小和角度條件，對上述候選區域進行篩選；最後，在步驟S5，輸出在步驟S4篩選後的結果，即輸出ROI。
但是，在圖3和圖4所示的情況下，當車輛本身在其他立體物體(如圖示的建築物)的投射陰影中時，由於投射陰影也比路面暗，這時，如果按照上述方法，把路面的平均亮度值作為判斷基準來進行車輛圖像分割，則將造成錯誤的判斷，將建築物的投射陰影也錯當成車底陰影。如圖3所示，車輛圖像分割的ROI 3比實際車輛的區域1大很多，因此，沒有正確分割出該車輛。如圖4所示，將車輛所在的區域分割成各自包含不完整車輛圖像的ROI 4和ROI 5，也沒能正確分割出該車輛。
根據陰影的形成原理，我們知道車底陰影區域因為亮度疊加的關係總是相比其周圍的區域更暗。也就是說，即使是在投射陰影中或不同光照下，車底陰影區域始終具有比其周圍區域亮度更暗的特徵。上述的根據平均灰度值確定車底陰影區域的現有方法，沒有考慮到車底陰影的這個特徵，因而在車輛處於其他物體的投射投影中或處在不均勻的光照下時，無法正確分割車輛。
日本專利文獻特開2003-76987公開的車輛圖像分割技術，考慮到車底陰影區域始終具有比其周圍區域亮度更暗的特徵，並為了解決車輛處於其他物體的投射陰影中時無法正確分割車輛的問題，給出了如下的技術方案。該技術方案，如圖5所示，首先在步驟S21，輸入由攝像機拍攝到的路況圖像；在步驟S22，檢測自車行駛車道的車道線；在步驟S23，根據所檢測到的車道線，在自車車道的特定區域內計算路面的亮度值分布，並根據亮度值的分布得到一個亮度值分布函數，自車車道的特定區域是指由圖像的最低部至其上部的不包含任何陰影的區域；在步驟S24，將自車行駛車道內的所有像素的亮度值與由上述亮度值分布函數得到的設定值進行比較，並將亮度值低於該設定值的所有區域設定為車底陰影候選區域；在步驟S25，基於處於其他物體投射陰影中的車輛的車底陰影比其他物體的投射陰影更暗的特徵，根據車底陰影候選區域內的亮度值分布，找出候選區域內亮度更暗的區域，確定這些區域為車底陰影區域；最後，在步驟26，基於在步驟S25所確定的車底陰影區域，輸出ROI。
但是，在上述第二種方法中，由於必須先找出自車的車道線，然後基於該車道線來求出路面亮度值分布，因此，在路面上沒有車道線或所拍攝的圖像中沒有拍攝到車道線的情況下，無法確定用於求出亮度值分布的路面，進而無法進行其後續步驟，從而不能夠完成對車輛圖像的分割。
此外，如圖6所示，在自然條件下，由於路面的亮度會受到光照、其它建築物投影和路面顏色變化的影響，路面的亮度分布是複雜且不規律的。由於上述第二種方法在自車行駛車道內計算路面亮度值的分布，因此該亮度值分布不能代表多車道的路面複雜且不規律的亮度分布情況，所以其技術方案無法推廣到多車道情況下使用。
在上述第二種方法中，由於計算路面亮度值分布的區域為圖像的最底部(Y＝0)至其上部的不包含任何陰影的區域(Y＝Y0)，當在圖像最底部出現亮度較暗區域的情況下(如圖7所示)，若對包含最底部至其上部的不包含任何陰影的區域(該區域包含上述的最底部較暗區域)計算路面的亮度值分布，則根據上述的亮度值分布而得到的亮度值分布函數所計算出的設定值可能會過小(亮度低)，從而在以所述設定值作為基準值(閾值)來對圖像上的不同亮度像素進行比較，並將比該亮度均值小的亮度的像素設定為車底陰影候選區域的像素時，必然導致不能正確分割車輛。
發明內容
本發明是充分考慮了上述的現有技術存在的問題，其目的在於，提供一種即使車輛處於其他物體的投射投影中，或處在不均勻的光照下，或者在沒有車道線等情況時，均能正確分割出圖像中所有車輛的車輛圖像分割方法和裝置。並且，本發明的車輛圖像分割方法和裝置能夠推廣到多車道的路況應用中。
本發明的車輛圖像分割方法，包括如下步驟圖像輸入步驟，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測步驟，對由上述圖像輸入步驟輸入的圖像計算出梯度分布；車底陰影候選區域確定步驟，根據上述圖像中的梯度信息來確定車底陰影候選區域。
本發明車輛圖像分割方法的特徵還在於，所述車底陰影候選區域確定步驟中，根據車底陰影區域具有相對於其周圍區域更暗的特徵，來確定所述車底陰影候選區域。
本發明車輛圖像分割方法的特徵還在於，所述車底陰影候選區域確定步驟中，包括如下步驟根據由圖像梯度分布檢測步驟檢測出的上述圖像的梯度分布信息，從上述圖像中提取出所有在垂直方向上的差分值為負值的像素點。
本發明車輛圖像分割方法的特徵還在於，所述車底陰影候選區域確定步驟中，還包括如下步驟判斷上述提取的像素點是否滿足下述的兩個條件，並將滿足下面的兩個條件的像素點確定為車底陰影候選區域的邊緣點，所述預定的條件是(a)、當前像素點的梯度值大於在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小於45度的相鄰點。
本發明的車輛圖像分割裝置，包括圖像輸入單元，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測單元，對由上述圖像輸入單元輸入的圖像計算出梯度分布；車底陰影候選區域確定單元，根據上述圖像的梯度信息，來確定車底陰影候選區域。
發明效果根據本發明技術方案，即使車輛處於其他物體的投射投影中，或處在不均勻的光照下，或者在沒有車道線等情況時，均能夠正確分割出車輛圖像。並且，本發明的車輛圖像分割方法和裝置能夠推廣到多車道的路況應用中。
圖1是ROI區域和車底陰影區域的示意圖。
圖2是現有技術中的一例車輛圖像分割方法的流程圖。
圖3是按照現有技術對車輛處於建築物陰影下的情況進行車輛圖像分割的一例。
圖4是按照現有技術對車輛處於建築物陰影下的情況進行車輛圖像分割的另一例。
圖5是現有技術中的另一例車輛圖像分割方法的流程圖。
圖6是通常情況下的路面亮度分布。
圖7是圖像最底部亮度較暗的情況。
圖8是本發明實施方式的圖像分割方法的流程圖。
圖9是本發明實施方式的基於像素梯度搜索局部相對較暗區域的流程圖。
圖10是本發明實施方式的圖像分割裝置結構圖。
具體實施例方式
圖10是本發明實施方式的車輛圖像分割裝置的結構圖。如該圖10所示，本實施方式的車輛圖像分割裝置包括圖像輸入單元11、梯度分布檢測單元12、車底陰影候選區域確定單元13、ROI確定單元14。
下面，根據圖8和圖9，說明本實施方式的車輛圖像分割方法。
圖像輸入單元11將電視攝像機、監視攝像機等攝像裝置拍攝到的道路上的車輛行駛狀況圖像輸入到梯度分布檢測單元12(步驟S11)。
梯度分布檢測單元12利用下面的公式1～公式4，對由上述圖像輸入單元11輸入的圖像檢測出梯度分布(步驟S12)。
下面列出本實施例中所應用的公式和有關梯度的概念。
G(x,y)=GxGy=fxfy]]>(公式1)其中，梯度由一階導數的二維等效式表示。圖像函數f(x，y)在點(x，y)的梯度(即一階微分)是一個具有方向和幅值(大小)的矢量。
梯度的方向是點(x，y)的最大變化率方向。由公式2表示。
a(x，y)＝arctan(Gy/Gx) (公式2)梯度的幅值(大小)是點(x，y)的梯度的方向上的變化強度。由下面的公式3表示。
|G(x,y)|=Gx2+Gy2]]>(公式3)在實際應用梯度時，為了計算的方便性，往往採用差分值來近似計算Gx、Gy，如下面的公式4所示。
Gx＝f[i，j+1]-f[i，j]Gy＝f[i，j]-f[i+1，j](公式4)在步驟S12，使用公式4來計算圖像像素在水平方向和垂直方向的亮度差分之後，用公式1-3來計算各像素的梯度，從而算出整個圖像的梯度分布。
通過步驟S12的計算，得到整個圖像的梯度分布，該梯度分布包含整個圖像中所有的亮度相對變化的信息。即，不管圖像是否是包含多個車道的圖像，或者圖像中包含了不同的多種光照下的路況，或者是該圖像中包含了路邊建築物的投影以及路面的各種顏色，該梯度分布均包含當前圖像中所有車輛的車底陰影的信息。
梯度分布檢測單元12在檢測出圖像的梯度分布之後，將其結果輸出給車底陰影候選區域確定單元13(步驟S12)。
車底陰影候選區域確定單元13根據梯度分布檢測單元12輸出的梯度信息，在圖像中提取出車底陰影候選區域(步驟S13)。具體來說，具有比周圍區域亮度更暗的車底陰影區域的邊緣像素的梯度信息，通過公式4的計算表現為在垂直方向上的差分值Gy為負值。車底陰影候選區域確定單元13根據這個特點，在圖13所示的步驟S131，對所有在垂直方向(Gy方向)上的梯度值為負值的像素點進行標記。在步驟S132，車底陰影候選區域確定單元13判斷所標記的像素點是否符合下面的兩個預定條件，並將所有符合下面兩個預定條件的邊緣像素點確定為車底陰影的邊緣點。
上述兩個預定條件如下(a)、當前像素點的梯度值大於在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小於45度的相鄰點。
之後，在步驟S133，車底陰影候選區域確定單元13將在步驟S132確定的車底陰影的邊緣點坐標，輸出給ROI確定單元14。
在步驟S14，ROI確定單元14根據自車與上述車底陰影候選區域的距離、大小和角度，來確定ROI，並輸出該所確定的ROI。即，通過前面的處理我們得到了可能的車底陰影候選區域，接下來通過攝像機標定的方法對所有候選的ROI的深度信息和寬度信息進行計算和判斷。排除寬度過大或過小的ROI，排除由於噪音的幹擾而產生的錯誤分割，並最終得到正確的ROI。
最後，在步驟S15輸出所得到的ROI。
以上，對本發明的一個實施方式進行了說明，但是也可以對上述實施方式進行各種變形。如，梯度分布檢測單元12也可以對圖像的各像素亮度不使用公式4求出一階差分，來近似求出梯度分布。可以先使用sobel算子(蘇貝爾算子)、prewitt算子(普雷威特算子)、canny算子等水平邊緣算子，對圖像中的像素亮度進行處理而得到Gx、Gy值之後，再利用公式1-3求出其梯度值。這樣，可以利用sobel算子、prewitt算子對噪聲的抑制功能，來提高邊緣提取的精度。
由於上述本發明的實施方式利用車底陰影區域的圖像亮度總是比其周圍的圖像亮度低的特點，根據檢測出的圖像的梯度分布信息來確定車底陰影候選區域，因此，與現有技術相比，能夠更加準確地分割出車底陰影區域。
並且，上述本發明的實施方式的由於根據檢測出的圖像的梯度分布信息來確定車底陰影候選區域，因此，不受車道線的限制，能夠適用於多車道的情況。並且，本發明不限於從包含車輛前方圖像的路況圖像中分割出ROI，還可從包含有車輛後方圖像的路況圖像中分割出ROI。
權利要求
1.一種車輛圖像分割方法，包括如下步驟圖像輸入步驟，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測步驟，對由上述圖像輸入步驟輸入的圖像計算出梯度分布；車底陰影候選區域確定步驟，根據上述圖像中的梯度信息來確定車底陰影候選區域。
2.如權利要求1所述的車輛圖像分割方法，其特徵在於，所述車底陰影候選區域確定步驟中，根據車底陰影區域具有相對於其周圍區域更暗的特徵，來確定所述車底陰影候選區域。
3.如權利要求1所述的車輛圖像分割方法，其特徵在於，所述車底陰影候選區域確定步驟中，包括如下步驟根據由圖像梯度分布檢測步驟檢測出的上述圖像的梯度分布信息，從上述圖像中提取出所有在垂直方向上的差分值為負值的像素點。
4.如權利要求3所述的車輛圖像分割方法，其特徵在於，所述車底陰影候選區域確定步驟中，還包括如下步驟判斷上述提取的像素點是否滿足下述的兩個條件，並將滿足下面的兩個條件的像素點確定為車底陰影候選區域的邊緣點，所述預定的條件是；(a)、當前像素點的梯度值大於在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小於45度的相鄰點。
5.如權利要求1所述的車輛圖像分割方法，其特徵在於，所述梯度分布檢測步驟中，計算圖像中每一個像素在水平和垂直方向上的亮度差分，並根據該差分值計算各像素的梯度。
6.如權利要求1所述的車輛圖像分割方法，其特徵在於，還包括ROI確定步驟，根據上述車底陰影候選區域來確定ROI。
7.如權利要求1所述的車輛圖像分割方法，其特徵在於，在圖像輸入步驟所輸入的圖像是對多車道道路進行拍攝的圖像，該圖像中可包括車輛後方圖像和/或車輛前方圖像。
8.一種車輛圖像分割裝置，包括圖像輸入單元，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測單元，對由上述圖像輸入單元輸入的圖像計算出梯度分布；車底陰影候選區域確定單元，根據上述圖像的梯度信息，來確定車底陰影候選區域。
9.如權利要求8所述的車輛圖像分割裝置，其特徵在於，所述車底陰影候選區域確定單元根據車底陰影區域具有相對於其周圍區域更暗的特徵，來確定所述車底陰影候選區域。
10.如權利要求8所述的車輛圖像分割裝置，其特徵在於，所述車底陰影候選區域確定單元根據圖像梯度分布檢測單元檢測出的上述圖像的梯度分布信息，從上述圖像中提取出所有在垂直方向上的差分值為負值的像素點。
11.如權利要求10所述的車輛圖像分割裝置，其特徵在於，所述車底陰影候選區域確定單元判斷上述提取的像素點是否滿足下述的兩個條件，並將滿足下面的兩個條件的像素點確定為車底陰影候選區域的邊緣點，所述預定的條件是(a)、當前像素點的梯度值大於在梯度方向上與該點相鄰的兩個像素點的梯度值；(b)、在(a)中所述的相鄰兩點是與當前像素點在梯度方向上的方向差小於45度的相鄰點。
12.如權利要求8所述的車輛圖像分割裝置，其特徵在於，所述梯度分布檢測單元計算圖像中每一個像素在水平和垂直方向上的亮度差分，並根據該差分值計算各像素的梯度。
13.如權利要求8所述的車輛圖像分割裝置，其特徵在於，還包括ROI確定單元，根據上述車底陰影候選區域來確定ROI。
14.如權利要求8所述的車輛圖像分割裝置，其特徵在於，圖像輸入單元所輸入的圖像是對多車道道路進行拍攝的圖像，該圖像中包括車輛後方圖像和/或車輛前方圖像。
全文摘要
本發明涉及基於車底陰影的車輛圖像分割方法和車輛圖像分割裝置。本發明的車輛圖像分割方法，包括如下步驟圖像輸入步驟，輸入拍攝了道路上的車輛行駛狀況的圖像；梯度分布檢測步驟，對由上述圖像輸入步驟輸入的圖像計算出梯度分布；車底陰影候選區域確定步驟，根據上述圖像中的梯度信息來確定車底陰影候選區域。根據本發明的車輛圖像分割方法和裝置，在車輛處於其他物體的投射投影中，或處在不均勻的光照下，或者在沒有車道線等情況時，均能正確分割出圖像中所有車輛。並且，本發明的車輛圖像分割方法和裝置能夠推廣到多車道的路況應用中。
文檔編號G06K9/34GK101030256SQ200610009379
公開日2007年9月5日 申請日期2006年2月28日 優先權日2006年2月28日
發明者鄒博, 傅鵬宇, 李福永 申請人:瀋陽東軟軟體股份有限公司, 阿爾派株式會社