基於車輛特徵的車輛定位方法和裝置的製作方法
2023-09-20 19:22:25
專利名稱：基於車輛特徵的車輛定位方法和裝置的製作方法
技術領域：
本發明涉及基於機器視覺的車輛識別系統中確定車輛位置的車輛定位方法和裝置，特別涉及基於從可能包含潛在車輛的圖像區域即ROI中提取的車輛特徵來準確地確定車輛在ROI中的位置的車輛定位方法和裝置。
背景技術：
在基於機器視覺的車輛識別系統中，對由安裝在自身車輛(以下簡稱為自車)或其它移動/固定的物體上的攝像機等攝影裝置拍攝的原始圖像進行分割等處理，會得到可能包含潛在車輛的圖像區域，即所謂ROI(感興趣區域，Region Of Interest)。而準確定位車輛在ROI中的位置，有助於提高系統的車輛識別率。尤其是準確定位車輛的下底邊位置(即車輪與路面交界的位置)和車輛的寬度，對於獲取自車周圍車輛與自車的相對位置和相對距離至關重要。另外，準確的車輛定位對於車輛跟蹤、車間距離計算、車型判斷及車輛顏色識別也非常重要。
目前，主要是利用車輛的水平邊緣、垂直邊緣和對稱性這些特徵來定位車輛。圖1示出了現有技術中定位車輛的主要步驟。如圖1所示，在確定車輛在ROI中的位置時，主要包含以下步驟(1)計算車輛高度方向上的對稱軸；(2)確定車輛左右、上下邊緣。
首先，說明(1)計算車輛對稱軸的方法。
以前，在定位車輛時，一般只計算一種對稱軸，即輪廓對稱軸或灰度對稱軸。輪廓對稱不容易受光照的影響，但容易受如路面或建築物這樣的背景等噪聲的影響，特別是具有對稱性的背景對對稱性影響很大。而且，當車輛局部被遮擋時，輪廓的對稱性被破壞。如圖2A所示，由於作為背景的建築物具有比車輛更顯著的對稱性，而將建築物的對稱軸錯誤地確定為車輛的對稱軸。灰度對稱性不容易受背景影響，但容易受光照的影響。因此，只計算一種對稱軸必然容易受背景、光照條件、車輛圖像不完整(即車輛被遮擋或車輛的局部車體在圖像外)的影響，使對稱軸計算不準，從而影響車輛定位的精度。
另外，現有技術中也公開了計算多個對稱軸的方法，主要是通過綜合多個對稱軸計算結果得到最終的對稱軸。但是採用的也只是輪廓對稱、灰度對稱、水平邊緣對稱、垂直邊緣對稱，而水平邊緣對稱和垂直邊緣對稱從原理上來說只是輪廓對稱的一種，因此，仍然不能避免背景、光照條件、車輛圖像不完整的影響。
另外，現有技術在計算對稱軸時，參與對稱軸計算的圖像區域是整個ROI。所以存在以下問題計算量大，容易受一些背景的影響，而使對稱軸計算不準確。
接著，說明現有技術中(2)確定車輛左右邊緣和上下邊緣的方法。
現有技術一般使用垂直邊緣投影的方法確定車輛的左右邊緣，使用水平邊緣投影的方法確定車輛的上下邊緣。所謂「垂直邊緣投影」是指，使用邊緣檢測算子抽取圖像的垂直邊緣，並垂直投影，即將垂直邊緣圖像中所有的非零像素在垂直方向按列加和，投影值最大的像素列對應車輛的左右邊緣。所謂「水平邊緣投影」，與垂直邊緣投影類似，是指使用邊緣檢測算子抽取圖像的水平邊緣，並水平投影，即將水平邊緣圖像中所有的非零像素在水平方向按行加和，投影值最大的像素行對應車輛的上下邊緣。
由於在ROI中的背景也可能具有垂直邊緣和水平邊緣，所以它們的存在必然會影響到車輛的左右邊緣和上下邊緣的確定。另外，由於陰天或晴天等的不同光照條件、車輛局部被遮擋或車輛局部在圖像之外時車輛圖像不完整的影響，車輛可能會缺失部分邊緣，這也會影響車輛的左右邊緣和上下邊緣的確定，最終影響車輛定位精度。例如，圖2B示意性地示出了由於受到作為背景的建築物的垂直邊緣的影響，使得車輛左右邊緣計算出現錯誤的情況。圖2C示意性地示出了由於作為背景的指示牌的水平邊緣的影響，使得車輛的上邊緣計算錯誤的情況。
在現有技術(日本特開平7-334799)中，還提出了利用車底陰影確定車輛的下邊緣的方法。其具體方法是首先找到車底陰影，然後確定車底陰影與路面形成的邊緣，最後把這個邊緣作為車輛的下邊緣。但是，由於受太陽(或其它光源)的位置、攝像機安裝高度、道路坡度的影響，圖像上有時會檢測不出車底陰影，如車底漏光、逆光，此時將無法確定車輛的下邊緣。例如，圖2D示意性地示出了由於車底漏光或逆光，檢測不到車底陰影的情況。
發明內容
本發明是鑑於現有技術存在的上述問題而提出來的，其目的在於提供一種車輛定位方法和裝置，基於從可能包含潛在車輛的圖像區域即ROI中提取的車輛特徵準確確定車輛的左右邊緣，從而準確確定車輛在上述ROI中的位置。
本發明的另一個目的是，準確確定車輛的下邊緣，從而準確確定車輛在上述ROI中的位置。
本發明的另一個目的是，綜合利用車輛的對稱性、水平和垂直邊緣、車底陰影、車體顏色(或灰度)特徵，準確確定車輛在上述ROI中的位置。
為了實現上述目的，本發明的車輛定位方法，根據可能包含車輛的圖像區域即ROI，確定上述車輛在上述ROI中的位置，其特徵在於具有以下步驟左右邊緣確定步驟，利用從上述ROI的預定區域中提取的一種或多種車輛特徵計算出上述車輛的一對或多對候選的左右邊緣，並根據上述候選的左右邊緣確定上述車輛的左右邊緣，其中，上述車輛特徵至少包括車底陰影特徵及/或車體顏色特徵；定位步驟，利用所確定的各個邊緣，來確定上述車輛在上述ROI中的位置。
所述的車輛定位方法，其中，還包括以下步驟在上述左右邊緣確定步驟中，當所計算出的上述候選左右邊緣為一對或所計算出的多對候選左右邊緣相同時，將計算出的上述候選左右邊緣確定為車輛的左右邊緣，當所計算出的多對候選左右邊緣不相同時，按照預定的左右邊緣融合規則來確定車輛的左右邊緣。其中，在上述左右邊緣確定步驟中，利用上述車底陰影特徵計算上述車輛的左右邊緣時，根據上述ROI的車底陰影預定區域內的像素的灰度來確定上述車輛的候選的左右邊緣。其中，在上述左右邊緣確定步驟中，根據上述ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於上述灰度均值的像素的數量大於等於預定值的像素列，確定為上述車輛的候選的左右邊緣。其中，在上述左右邊緣確定步驟中，根據上述車體顏色特徵計算上述車輛的左右邊緣時，將上述ROI的車體顏色預定區域內的最長相同顏色水平線的左右邊緣確定為上述車輛的候選的左右邊緣。其中，在上述左右邊緣確定步驟中，還包括利用從上述ROI提取的垂直邊緣的投影來計算車輛左右邊緣的步驟。
這樣一來，根據本發明的車輛定位方法就可以準確確定車輛的左右邊緣，從而準確確定車輛在上述ROI中的位置。
所述的車輛定位方法，其中，還包括上下邊緣確定步驟，利用從上述ROI中提取的水平邊緣的投影分別計算並確定上述車輛的候選上下邊緣。其中，在上述上下邊緣確定步驟中，還包括根據上述ROI的車底陰影預定區域的像素的灰度來確定上述車輛的候選的下邊緣，當該下邊緣與利用上述水平邊緣的投影計算出的下邊緣不相同時，按照預定的下邊緣融合規則來確定車輛的下邊緣。其中，在上述下邊緣確定步驟中，根據上述ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於上述灰度均值的像素的數量大於等於預定值的像素行，確定為上述車輛的候選下邊緣。
這樣一來，根據本發明的車輛定位方法就可以準確確定車輛的下邊緣，從而準確確定車輛在上述ROI中的位置。
所述的車輛定位方法，其中，在上述上下邊緣確定步驟中，還利用從上述車體顏色的水平分層變化的特徵來計算上述車輛的候選上邊緣，當該上邊緣與利用上述水平邊緣的投影計算出的上邊緣不相同時，按照預定的上邊緣融合規則來確定車輛的上邊緣。其中，在上述上邊緣確定步驟中，根據上述車體顏色的水平分層變化的特徵來計算上述車輛的上邊緣時，根據上述ROI的車體預定區域內的像素行之間的灰度差或顏色差來確定上述車輛的候選上邊緣。
所述的車輛定位方法，其中，還包括對稱軸確定步驟，根據從上述ROI中提取的一種或多種對稱特徵來計算上述車輛的高度方向上的一個或多個候選的對稱軸，並根據上述候選的對稱軸確定上述車輛的對稱軸；其中，在上述對稱軸確定步驟中，當所計算出的上述候選對稱軸為一個或所計算出的多個候選對稱軸相同時，將計算出的上述候選對稱軸確定為車輛的對稱軸，當所計算出的多個候選對稱軸不相同時，按照預定的對稱軸融合規則來確定車輛的對稱軸。其中，在上述對稱軸確定步驟中，上述對稱特徵包括從上述ROI中提取的輪廓對稱、灰度對稱和S分量對稱中的至少一個。其中，確定上述輪廓對稱軸的圖像區域是整個ROI，確定上述灰度對稱軸和S分量對稱軸的圖像區域是上述ROI中的由上述車底陰影的寬度和與上述寬度成一定比例關係的高度所組成的圖像區域。
這樣一來，利用本發明的車輛定位方法就可以綜合利用車輛的對稱性、水平和垂直邊緣、車底陰影、車體顏色(或灰度)特徵，來準確確定車輛在上述ROI中的位置。
為了實現上述目的，本發明的車輛定位裝置，根據可能包含車輛的即ROI，確定上述車輛在上述圖像中的位置，其特徵在於具有以下單元左右邊緣確定單元，利用從上述ROI的不同區域中提取的一種或多種車輛特徵計算出上述車輛的一對或多對候選的左右邊緣，並根據上述候選的左右邊緣確定上述車輛的左右邊緣，其中，上述車輛特徵至少包括車底陰影特徵及/或車體顏色特徵；定位單元，利用所確定的各個邊緣，來確定上述車輛在上述ROI中的位置。
所述的車輛定位裝置與上述車輛定位方法相對應。
本發明具有如下效果根據本發明的車輛定位方法和裝置，即使對稱軸計算不準確，或者受光照、背景等影響，也能準確地確定車輛的在ROI中的位置，另外，還能處理ROI中的車輛圖像不完整、及車輛拐彎時出現車頭傾斜的情況下的車輛定位。
圖1是表示現有技術中定位車輛的主要步驟的流程圖。
圖2A是示出了現有技術中利用輪廓對稱計算車輛對稱軸時，由於作為背景的建築物比車輛更具有對稱特性，而使得將建築物的對稱軸，錯誤地計算為車輛的對稱軸的情況的圖。
圖2B是示出了現有技術中利用垂直邊緣投影計算車輛左右邊緣時，由於受到作為背景的建築物的垂直邊緣的影響，使得將建築物的左右邊緣，錯誤地計算為車輛的左右邊緣的情況的圖。
圖2C是示出了現有技術中利用水平邊緣投影計算車輛上下邊緣時，由於作為背景的信號燈的水平邊緣的影響，使得車輛的上邊緣計算錯誤的情況的圖。
圖2D是示出了由於車底漏光或逆光，檢測不到車底陰影的情況的圖。
圖3是表示本發明定位車輛的主要步驟的流程圖。
圖4是表示本發明實施方式1中融合3個候選對稱軸的流程圖。
圖5A是利用車體顏色計算車輛左右邊緣的流程圖。
圖5B利用車體顏色確定車輛左右邊緣的小窗口設定示意圖。
圖5C利用車體顏色確定車輛左右邊緣的示意圖。
圖6是表示本發明融合3對候選左右邊緣來確定車輛的左右邊緣的流程圖。
圖7是表示車輛顏色水平分層變化的示意圖。
圖8是表示本發明實施方式1的車輛定位裝置中主要構成要素的方框圖。
具體實施例方式
以下，根據
本發明的實施方式。
實施方式1下面，參照圖3-7說明本發明的實施方式1的車輛定位方法。
圖3是表示本發明實施方式1的車輛定位方法中定位車輛的主要步驟的流程圖。下面，參照圖3詳細說明本發明定位車輛的主要步驟。
計算並確定車輛高度方向上的對稱軸
在步驟S1中，利用輪廓對稱、灰度對稱和HSV色彩空間的S分量對稱特徵，分別計算車輛在高度方向即垂直方向上的對稱軸，也就是輪廓對稱軸、灰度對稱軸和S分量對稱軸作為車輛的候選對稱軸。
由於利用輪廓對稱、灰度對稱來計算輪廓對稱軸、灰度對稱軸的方法是本領域的公知技術，所以在此省略說明，以下將詳細說明計算S分量對稱軸的方法。
一般，HSV色彩空間是以色彩的色調(H)、飽和度(S)、亮度(V)為三要素表示的，是適合人的視覺特性的色彩空間。其中，S分量，即飽和度分量，是與材料特性相關的分量。
本發明人等經過研究後，發現利用S分量計算出的S分量對稱軸，不易受到背景、光照條件等的影響，所以在上述特定情況下能夠更加準確地確定車輛的對稱軸。
在利用S分量計算S分量對稱軸時，首先，設定ROI中適合用於計算S分量對稱軸的圖像區域。該圖像區域選擇ROI中由車底陰影的寬度和與上述寬度成一定比例的高度所組成的圖像區域。舉例而言，將上述圖像區域的底邊設定為車底陰影的底邊所在的行Ybc，將圖像區域的左右邊界設定為車底陰影的左右邊界Xl和Xr，將車底陰影的寬度W設定為W＝Xr-Xl，將圖像區域的高度H設定為H＝0.9W。其中，車底陰影的底邊所在的行Ybc的計算詳見步驟S4，車底陰影的左右邊界Xl和Xr的計算詳見步驟S4。
然後，在ROI的已被設定好的上述圖像區域內，按照式(1)計算每列像素左右Δx範圍內S分量的差異和S(j)，最小差異和所對應的像素列即為利用S分量計算出的S分量對稱軸。
S(j)=YbcYbc+Hx=1W/2|P(j+x,i)-P(j-x,i)|---(1)]]>其中，P(x，y)為圖像的S分量值。
以上，只是計算S分量對稱軸的一個優選實施例，本發明計算S分量對稱軸的方法並不限於此，可以根據具體情況來改變。
接著，在步驟S2中，對步驟S1中計算出的輪廓對稱軸、灰度對稱軸和S分量對稱軸這3個候選對稱軸按照預定的對稱軸融合規則進行融合，來確定車輛高度方向上的對稱軸。
融合併確定對稱軸的具體方法可以根據需要預先決定。下面，參照圖4說明一個對稱軸融合規則的例子，但本發明融合多個候選對稱軸的方法不限於此。
圖4是表示本發明融合3個候選對稱軸來確定車輛的高度方向上的對稱軸的流程圖。
當3個候選對稱軸相同(即完全重合，x1＝x2＝x3)或近似相同(即任意兩個對稱軸之間的距離小於或等於預定值)時，將3個候選對稱軸中間的對稱軸確定為車輛的對稱軸。
當3個候選對稱軸中有2個候選對稱軸相同(即重合，如x1＝x2)或近似相同(這2個候選對稱軸之間的距離小於或等於預定值，如|x1-x2|≤Δ，Δ表示預定值)時，將這2個候選對稱軸的中心確定為車輛的對稱軸。
當3個候選對稱軸都不同，即任意2個候選對稱軸之間的距離都大於預定值時，則將輪廓對稱軸確定為車輛的對稱軸。
如上所述，首先計算出候選對稱軸，特別是S分量對稱軸，然後按預定的融合規則對其融合來確定車輛的對稱軸。這樣一來，不易受到背景、光照條件等的影響，能夠提高確定車輛對稱軸的精度。
另外，現有技術在計算不同的候選對稱軸時，參與對稱軸計算的區域一般是整個ROI。由於整個ROI可能包含部分背景圖像，因此，基於整個ROI來計算對稱軸容易導致對稱軸計算不準確。而本發明中，根據情況採用不同的ROI區域來計算對稱軸。例如，計算輪廓對稱軸的圖像區域是整個ROI，計算灰度對稱軸和分量對稱軸的圖像區域是ROI中的由車底陰影的寬度和與寬度成一定比例關係的適當的高度所組成的圖像區域內進行，這樣即可以減少ROI中背景對對稱軸的影響，還可以減少計算量。
再有，雖然這裡例舉了分別計算3個候選對稱軸來最終確定車輛的對稱軸的例子，但是本發明不限於此，也可以根據情況來改變，例如也可以根據需要只計算出一個對稱軸，或者計算出更多的對稱軸，還可以根據需要來確定適合的對稱軸融合規則。
計算並確定車輛的左右邊緣
在步驟S3中，利用垂直邊緣投影算法來計算車輛的左右邊緣，即車輛高度方向上的垂直邊緣。首先，用Sobel等邊緣檢測算子在ROI內提取垂直邊緣。然後，基於對稱性約束進行過濾，去掉關於對稱軸不對稱的像素，因為它們很可能是不屬於車輛輪廓的噪聲像素。在得到過濾後的垂直邊緣圖像後，採用垂直投影的方法計算車輛的左右邊緣，作為候選的左右邊緣。
接著，在步驟S4中，利用車底陰影、車體顏色特徵分別計算車輛的左右邊緣，作為候選左右邊緣。雖然在步驟S3中，已利用垂直邊緣的投影計算出了左右邊緣，但在實際應用中，由於環境和背景的複雜性，利用垂直邊緣投影算法確定車輛的左右邊緣還存在以下問題。例如，由於垂直邊緣投影算法利用了車輛高度方向的對稱軸，若確定的對稱軸不準確時，利用垂直投影計算出的車輛左右邊緣就不準確，而且，即使對稱軸的計算準確，但由於垂直邊緣投影算法容易受到背景的垂直邊緣影響，所以有時也不能準確地確定車輛的左右邊緣。
所以，本發明提出了利用車底陰影的左右邊界、車體顏色特徵來分別計算車輛的左右邊緣，作為候選左右邊緣的方法。
接著說明利用車底陰影的左右邊界來計算車輛左右邊緣的方法。
所謂「車底陰影」是指車下部的車影。將車底陰影的左右邊緣作為車輛的左右邊緣。通常，車底陰影是比車輛垂直邊緣還穩定的車輛特徵，因此利用車底陰影計算出的車輛左右邊緣，更為穩定和準確。
首先，設定ROI中用於計算車底陰影的圖像區域，即所謂「車底陰影預定區域」。雖然也可以對整個ROI進行計算，但是選擇適當的範圍可以減少計算量還會使計算更準確。例如，將ROI的下半部分設定為計算車輛左右邊緣時使用的圖像區域。然後，計算該圖像區域內的灰度均值，並標記設定區域內小於該均值的像素。
隨後，計算出車底陰影的左右邊緣。首先，計算出在上述圖像區域內被標記的像素最多的列，將該列像素的被標記的像素數量作為搜索車底陰影左右邊緣的閾值Tc。然後，將像素列被標記的像素的數量記為Cc，從左向右逐列搜索設定區域，第一個滿足條件Cc≥Tc·α的列即為車底陰影的左邊緣，記為Xl，其中α為常數(0＜α＜1)，可根據經驗適當設定。對車底陰影右邊緣的確定與左邊緣相同，記為Xr。
以上，說明了利用車底陰影來計算車輛左右邊緣的方法。下面，參照圖5A說明利用車體顏色來計算車輛左右邊緣的方法。圖5A是利用車體顏色來計算車輛的左右邊緣的流程圖。
所謂「利用車體顏色特徵來確定車輛的左右邊緣」，簡而言之就是在ROI中找到的車體上最長的顏色一致的水平線的左右邊界。
如圖5A所示，首先，在步驟420，設定ROI中用於計算車體顏色的圖像區域，即所謂「車體顏色預定區域」。雖然也可以對整個ROI進行計算，但是選擇適當的範圍可以減少計算量還會使計算更準確。設定該圖像區域的底邊為車底陰影的頂邊所在的像素行Ytc，設定該圖像區域的左右邊界為車底陰影的左右邊界Xl和Xr，設定該圖像區域的高度為H＝0.6W，車底陰影的寬度W＝Xr-Xl。其中，車底陰影的頂邊所在的行Ytc的計算詳見步驟S7，車底陰影的左右邊界Xl和Xr的計算詳見步驟S4。
然後，在步驟421中，在上述圖像區域，即車體顏色預定區域內的車輛對稱軸的左側區域內，設定用於搜索相同顏色水平線的預定大小的小窗口(小窗口設定如圖5B所示)。在該小窗口內計算每列像素的灰度均值，比較相鄰列像素的灰度均值，如果均值差小於設定的閾值，則認為這兩列顏色相同。在小窗口內計算出顏色連續相同的最大連續列，該連續列即代表該小窗口內找到的最長相同顏色水平線，該連續列的起始列和結束列為水平線的左右端點。根據上述描述，在上述圖像區域內，用小窗口遍歷(從下向上移動小窗口)，在每個小窗口內都會得到一個最長水平線，在所有水平線中，找到最長的，即為對稱軸左側區域內找到的最長水平線。對稱軸右側的最長水平線找法與左側相同。
最後，在步驟422中，將在對稱軸左側的最長水平線的左端點作為車輛的左邊緣，將在對稱軸右側的最長水平線的右端點作為車輛的右邊緣。圖5C示意性地示出了利用車體顏色確定車輛左右邊緣的圖。
以上，分別說明了利用車底陰影、車體顏色特徵分別計算車輛左右邊緣的方法。其中，雖然利用車體顏色特徵來計算車輛左右邊緣的方法中使用了車輛的對稱軸來協助計算，但也可以不是用對稱軸，不關於對稱軸分成左右兩個圖像區域來計算，而是計算整個圖像區域內的車體上最長的顏色一致的水平線的左右邊界。
下面，返回圖3繼續說明利用所計算出的3對候選左右邊緣，按照預定的左右邊緣融合規則來最終確定車輛的左右邊緣的方法。
在步驟S5中，按照預定的左右邊緣融合規則，將在步驟S3和步驟S4中計算出的3對候選左右邊緣進行融合，得到最終的車輛左右邊緣。下面，參照圖6說明一個左右邊緣融合規則的例子，但本發明的左右邊緣融合規則不限於此，可以根據情況改變。
圖6是表示本發明融合3對候選左右邊緣來確定車輛的左右邊緣的流程圖。圖6所示的左右邊緣融合規則的流程與圖4所示的對稱軸融合規則的流程相似，所以這裡省略詳細說明。
計算並確定車輛的上下邊緣
在步驟S6中，利用水平邊緣投影來計算車輛的候選上下邊緣。具體方法如下在確定車輛的左右邊緣後，可以得到了一個左右邊緣之間的垂直條帶區域。在這個垂直條帶區域內，與定位左右邊緣類似，用水平Sobel等邊緣檢測算子在ROI內提取圖像的水平邊緣，利用現有技術中的水平投影法計算出車輛的候選上下邊緣。
接著，在步驟S7中，利用車底陰影計算車輛下邊緣。將車底陰影的下邊緣作為車輛的下邊緣。為了確定車底陰影的下邊緣，首先，計算出在預定區域內被標記的像素最多的行，該行像素被標記的像素數量作為搜索車底陰影下邊緣的閾值Tr；然後，將某行被標記的像素的數量記為Cr，從下向上逐行搜索設定區域，第一個滿足條件Cr≥Tr·α1的行即為車底陰影的下邊緣，記為Ybc，其中α1為常數(0＜α1＜1)，可以根據情況適當確定。
在此，簡單說明計算車底陰影的上邊緣的方法。從被標記的像素最多的行開始向上搜索，第一個滿足條件Cr≤Tr·β的行即為車底陰影的上邊緣，記為Ytc，其中β為常數(0＜β＜1)，可根據經驗適當設定。接著，在步驟S8中，利用車體顏色水平分層變化特徵來計算車輛的候選上邊緣。當車輛上方有小的廣告牌、指示牌或其它背景時，它們的水平邊緣容易被誤認為是車輛的上邊緣。為了解決這個問題，本發明利用車輛具有顯著的水平結構，特別是在這些水平結構上下顏色會發生改變的特徵來調整上邊緣。車輛顏色水平分層變化的示意圖如圖7所示。
下面，簡單說明利用車體顏色水平分層變化的特徵，來計算車輛的候選上邊緣的方法。
首先，設定ROI中用於計算車體顏色水平分層變化的圖像區域，雖然也可以對整個ROI進行計算，但是選擇適當的範圍可以減少計算量還會使計算更準確。該圖像區域的底邊為車底陰影的頂邊所在的行Ytc，圖像區域的左右邊界為步驟S5中確定的車輛左右邊緣Vl，Vr，圖像區域的頂邊為IT＝Ytc-VW，VW為車輛寬度，VW＝Vr-Vl。然後，計算圖像區域內每行像素的灰度均值。
最後，如下計算出灰度均值突變的像素行在圖像設定區域內，從上至下，比較第i行和第i+Δ行的灰度均值；如果兩行的灰度均值的差大於設定的閾值T1，則逐列比較這兩行的像素，並統計出像素灰度差大於設定閾值T1的像素數，如果像素數大於設定的閾值T2，則將第i行作為灰度突變的候選行，如果在第i行上下一定間隔內沒有類似的突變行，則將第i行作為灰度突變行。圖像區域內上方第一個突變行作為車輛的上邊緣。
以上，說明了利用水平邊緣投影、車底陰影和車體顏色水平分層變化分別計算車輛的候選上邊緣、候選下邊緣的方法。下面，將返回圖3，說明根據上述候選上下邊緣最終確定車輛的上下邊緣的方法。
在步驟S9中，將所計算出的2個候選下邊緣按照預定的下邊緣融合規則融合，確定車輛最終的下邊緣。下邊緣融合的規則舉例如下，但本發明的下邊緣融合規則不限於此(1)如果沒檢測到車底陰影，則取水平投影確定的下邊緣作為車輛的下邊緣；(2)如果車底陰影的下邊緣在車輛重心的下方，則取車底陰影的下邊緣作為車輛的下邊緣，否則取水平投影確定的下邊緣作為車輛的下邊緣。
根據本發明計算下邊緣具有以下效果當車輛的下部比較暗時，可能找不到明顯的水平下邊緣或找到錯誤的水平下邊緣，從而單純採用步驟S5中的水平投影的方法無法確定車輛下底邊或確定一個錯誤的下底邊；而利用車底陰影確定車輛的下邊緣的方法，當圖像上檢測不出車底陰影時，將無法確定車輛的下邊緣。為了解決這些問題，本發明提出結合水平邊緣投影和車底陰影的方法來確定車輛下邊緣。
接著，在步驟S10中，將所計算出的2個候選上邊緣按照預定的上邊緣融合規則融合，確定車輛最終的上邊緣。上邊緣融合的規則舉例如下，但本發明的上邊緣融合規則不限於此。
(1)當利用車體顏色水平分層變化特徵確定的上邊緣大於等於利用水平邊緣投影確定的上邊緣時滿足車輛縱橫比的要求，則以利用車體顏色水平分層變化特徵確定的上邊緣作為車輛的上邊緣；不滿足車輛縱橫比的要求，則以利用水平邊緣投影確定的上邊緣作為車輛的上邊緣；(2)當利用水平邊緣投影確定的上邊緣大於等於利用車體顏色水平分層變化特徵確定的上邊緣時滿足車輛縱橫比的要求，則以利用水平邊緣投影確定的上邊緣作為車輛的上邊緣；不滿足車輛縱橫比的要求，則以利用車體顏色水平分層變化特徵確定的上邊緣作為車輛的上邊緣。
確定車輛的位置
在步驟S11中，根據所確定的車輛的各個邊緣來確定車輛在ROI中的位置。
圖3中示出的定位車輛的流程圖只是一個例子，當然本發明的車輛定位的方法不限於此，可以根據情況對其進行改變。例如，圖3中的流程圖中具有確定車輛對稱軸、左右邊緣、上下邊緣的步驟，但是定位車輛在ROI中的位置也可以採用其他方法，比如確定車輛的左右邊緣的方法利用本發明，確定車輛對稱軸的方法及/或確定車輛上下邊緣的方法可以利用現有技術來替代，也可以只計算左右邊緣或上下邊緣來定位車輛在ROI中的位置。
(實施方式2)下面，參照圖8說明本發明的實施方式2的車輛定位裝置。
圖8是表示本發明實施方式2中定位車輛裝置100的主要構成的圖。下面，參照圖8詳細說明車輛定位裝置100的主要構成。
如圖8所示，車輛定位裝置100具有對稱軸確定單元101、左右邊緣確定單元102、上下邊緣確定單元103和定位單元104。
圖8中示出的定位車輛裝置的構成只是一個例子，當然本發明的車輛定位裝置不限於此，可以根據情況對其進行改變。例如，圖8中具有對稱軸確定單元、左右邊緣確定單元、上下邊緣確定單元，但是車輛定位裝置也可以不設置對稱軸確定單元，而只設置左右邊緣確定單元或者和上下邊緣確定單元。
另外，本發明的實施方式2的車輛定位裝置100基本與實施方式1的車輛定位方法相對應。下面，只簡單說明車輛定位裝置100，而省略與實施方式1重複的說明，例如，為設置實現上述車輛定位方法中的步驟所需要的對應的裝置，比如各種融合裝置。
如圖8所示，ROI輸入裝置200將可能包含車輛的圖像區域即ROI的圖像輸入到車輛定位裝置100中，而車輛定位裝置100輸出車輛定位的結果。
對稱軸確定單元101根據從ROI中提取的一種或多種對稱特徵來計算車輛的高度方向上的一個或多個候選的對稱軸，並根據候選的對稱軸確定車輛的對稱軸。其中，優選對稱特徵包括從ROI中提取的輪廓對稱、灰度對稱和S分量對稱中的至少一個。還有，優選確定輪廓對稱軸的圖像區域是整個ROI，確定灰度對稱軸和S分量對稱軸的圖像區域是在ROI中的由車底陰影的寬度和與寬度成一定比例關係的高度所組成的圖像區域。
左右邊緣確定單元102利用從ROI的預定區域中提取的一種或多種車輛特徵計算出車輛的一對或多對候選的左右邊緣，並根據候選的左右邊緣確定車輛的左右邊緣。其中，車輛特徵至少包括車底陰影特徵及/或車體顏色特徵。
另外，在左右邊緣確定單元102中，利用車底陰影特徵計算車輛的左右邊緣時，根據ROI的車底陰影預定區域內的像素的灰度來確定車輛的候選的左右邊緣。另外，在左右邊緣確定單元102中，根據車體顏色特徵計算車輛的左右邊緣時，根據ROI的車體顏色預定區域內的最長相同顏色水平線的左右邊緣來確定車輛的候選的左右邊緣。在左右邊緣確定單元102中，還包括利用從ROI提取的垂直邊緣的投影來計算車輛左右邊緣的單元102。
上下邊緣確定單元103利用從ROI中提取的水平邊緣的投影分別計算並確定車輛的候選的上下邊緣。在上下邊緣確定單元103中，還包括根據ROI的車底陰影預定區域的像素的灰度來確定車輛的候選的下邊緣，當該下邊緣與利用水平邊緣的投影計算出的下邊緣不相同時，按照預定的下邊緣融合規則來確定車輛的下邊緣。在上下邊緣確定單元103中，根據ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於灰度均值的像素的數量大於等於預定值的像素行，確定為車輛的候選的下邊緣。
在上下邊緣確定單元103中，還利用從車體顏色的水平分層變化的特徵來計算車輛的候選上邊緣，當該上邊緣與利用水平邊緣的投影計算出的上邊緣不相同時，按照預定的上邊緣融合規則來確定車輛的上邊緣。在上下邊緣確定單元103中，根據車體顏色的水平分層變化的特徵來計算車輛的上邊緣時，根據ROI的車體預定區域內的像素行之間的灰度差或顏色差來確定車輛的候選上邊緣。
定位單元104利用所確定的各邊緣來確定車輛在圖像中的位置。
本發明的定位方法和裝置能準確地確定車輛高度方向上的對稱軸。另外，由於結合了車底陰影和車體顏色特徵，即使對稱軸計算不準確，也能得到一個正確的車輛左右邊緣。最後，由於結合了車輛的水平邊緣投影、車底陰影和車體水平顏色分層的特徵，上下邊緣定位更準確。另外，本發明的定位方法和裝置，使用範圍廣，不容易受光照、背景影響，能處理車輛圖像不完整及車輛拐彎時出現車頭傾斜的情況。
權利要求
1.一種車輛定位方法，根據可能包含車輛的圖像區域即ROI，確定上述車輛在上述ROI中的位置，其特徵在於具有以下步驟左右邊緣確定步驟，利用從上述ROI的預定區域中提取的一種或多種車輛特徵計算出上述車輛的一對或多對候選的左右邊緣，並根據上述候選的左右邊緣確定上述車輛的左右邊緣，其中，上述車輛特徵至少包括車底陰影特徵及/或車體顏色特徵；定位步驟，利用所確定的各個邊緣，來確定上述車輛在上述ROI中的位置。
2.如權利要求1所述的車輛定位方法，其中，還包括以下步驟在上述左右邊緣確定步驟中，當所計算出的上述候選左右邊緣為一對或所計算出的多對候選左右邊緣相同時，將計算出的上述候選左右邊緣確定為車輛的左右邊緣，當所計算出的多對候選左右邊緣不相同時，按照預定的左右邊緣融合規則來確定車輛的左右邊緣。
3.如權利要求2所述的車輛定位方法，其中，在上述左右邊緣確定步驟中，利用上述車底陰影特徵計算上述車輛的左右邊緣時，根據上述ROI的車底陰影預定區域內的像素的灰度來確定上述車輛的候選的左右邊緣。
4.如權利要求3所述的車輛定位方法，其中，在上述左右邊緣確定步驟中，根據上述ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於上述灰度均值的像素的數量大於等於預定值的像素列，確定為上述車輛的候選的左右邊緣。
5.如權利要求2所述的車輛定位方法，其中，在上述左右邊緣確定步驟中，根據上述車體顏色特徵計算上述車輛的左右邊緣時，將上述ROI的車體顏色預定區域內的最長相同顏色水平線的左右邊緣確定為上述車輛的候選的左右邊緣。
6.如權利要求1至5任一項所述的車輛定位方法，其中，在上述左右邊緣確定步驟中，還包括利用從上述ROI提取的垂直邊緣的投影來計算車輛左右邊緣的步驟。
7.如權利要求1至5任一項所述的車輛定位方法，其中，還包括上下邊緣確定步驟，利用從上述ROI中提取的水平邊緣的投影分別計算並確定上述車輛的候選上下邊緣。
8.如權利要求7所述的車輛定位方法，其中，在上述上下邊緣確定步驟中，還包括根據上述ROI的車底陰影預定區域的像素的灰度來確定上述車輛的候選的下邊緣，當該下邊緣與利用上述水平邊緣的投影計算出的下邊緣不相同時，按照預定的下邊緣融合規則來確定車輛的下邊緣。
9.如權利要求8所述的車輛定位方法，其中，在上述下邊緣確定步驟中，根據上述ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於上述灰度均值的像素的數量大於等於預定值的像素行，確定為上述車輛的候選下邊緣。
10.如權利要求7所述的車輛定位方法，其中，在上述上下邊緣確定步驟中，還利用從上述車體顏色的水平分層變化的特徵來計算上述車輛的候選上邊緣，當該上邊緣與利用上述水平邊緣的投影計算出的上邊緣不相同時，按照預定的上邊緣融合規則來確定車輛的上邊緣。
11.如權利要求10所述的車輛定位方法，其中，在上述上邊緣確定步驟中，根據上述車體顏色的水平分層變化的特徵來計算上述車輛的上邊緣時，根據上述ROI的車體預定區域內的像素行之間的灰度差或顏色差來確定上述車輛的候選上邊緣。
12.如權利要求2所述的車輛定位方法，其中，還包括對稱軸確定步驟，根據從上述ROI中提取的一種或多種對稱特徵來計算上述車輛的高度方向上的一個或多個候選的對稱軸，並根據上述候選的對稱軸確定上述車輛的對稱軸。
13.如權利要求12所述的車輛定位方法，其中，在上述對稱軸確定步驟中，當所計算出的上述候選對稱軸為一個或所計算出的多個候選對稱軸相同時，將計算出的上述候選對稱軸確定為車輛的對稱軸，當所計算出的多個候選對稱軸不相同時，按照預定的對稱軸融合規則來確定車輛的對稱軸。
14.如權利要求12所述的車輛定位方法，其中，在上述對稱軸確定步驟中，上述對稱特徵包括從上述ROI中提取的輪廓對稱、灰度對稱和S分量對稱中的至少一個。
15.如權利要求14所述的車輛定位方法，其中，確定上述輪廓對稱軸的圖像區域是整個ROI，確定上述灰度對稱軸和S分量對稱軸的圖像區域是上述ROI中的由上述車底陰影的寬度和與上述寬度成一定比例關係的高度所組成的圖像區域。
16.一種車輛定位裝置，根據可能包含車輛的圖像區域即ROI，確定上述車輛在上述ROI中的位置，其特徵在於具有以下單元左右邊緣確定單元，利用從上述ROI的預定區域中提取的一種或多種車輛特徵計算出上述車輛的一對或多對候選的左右邊緣，並根據上述候選的左右邊緣確定上述車輛的左右邊緣，其中，上述車輛特徵至少包括車底陰影特徵及/或車體顏色特徵；定位單元，利用所確定的各個邊緣，來確定上述車輛在上述ROI中的位置。
17.如權利要求16所述的車輛定位裝置，其中，還包括以下單元在上述左右邊緣確定單元中，當所計算出的上述候選左右邊緣為一對或所計算出的多對候選左右邊緣相同時，將計算出的上述候選左右邊緣確定為車輛的左右邊緣，當所計算出的多對候選左右邊緣不相同時，按照預定的左右邊緣融合規則來確定車輛的左右邊緣。
18.如權利要求17所述的車輛定位裝置，其中，在上述左右邊緣確定單元中，利用上述車底陰影特徵計算上述車輛的左右邊緣時，根據上述ROI的車底陰影預定區域內的像素的灰度來確定上述車輛的候選的左右邊緣。
19.如權利要求18所述的車輛定位裝置，其中，在上述左右邊緣確定單元中，根據上述ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於上述灰度均值的像素的數量大於等於預定值的像素列，確定為上述車輛的候選的左右邊緣。
20.如權利要求17所述的車輛定位裝置，其中，在上述左右邊緣確定單元中，根據上述車體顏色特徵計算上述車輛的左右邊緣時，根據上述ROI的車體顏色預定區域內的最長相同顏色水平線的左右邊緣來確定上述車輛的候選的左右邊緣。
21.如權利要求16至20任一項所述的車輛定位裝置，其中，在上述左右邊緣確定單元中，還包括利用從上述ROI提取的垂直邊緣的投影來計算車輛左右邊緣的單元。
22.如權利要求16至20任一項所述的車輛定位裝置，其中，還包括上下邊緣確定單元，利用從上述ROI中提取的水平邊緣的投影分別計算並確定上述車輛的候選的上下邊緣。
23.如權利要求22所述的車輛定位裝置，其中，在上述上下邊緣確定單元中，還包括根據上述ROI的車底陰影預定區域的像素的灰度來確定上述車輛的候選的下邊緣，當該下邊緣與利用上述水平邊緣的投影計算出的下邊緣不相同時，按照預定的下邊緣融合規則來確定車輛的下邊緣。
24.如權利要求23所述的車輛定位裝置，其中，在上述上下邊緣確定單元中，根據上述ROI的車底陰影預定區域的像素的灰度均值，將灰度值小於上述灰度均值的像素的數量大於等於預定值的像素行，確定為上述車輛的候選的下邊緣。
25.如權利要求22所述的車輛定位裝置，其中，在上述上下邊緣確定單元中，還利用從上述車體顏色的水平分層變化的特徵來計算上述車輛的候選上邊緣，當該上邊緣與利用上述水平邊緣的投影計算出的上邊緣不相同時，按照預定的上邊緣融合規則來確定車輛的上邊緣。
26.如權利要求25所述的車輛定位裝置，其中，在上述上下邊緣確定單元中，根據上述車體顏色的水平分層變化的特徵來計算上述車輛的上邊緣時，根據上述ROI的車體預定區域內的像素行之間的灰度差或顏色差來確定上述車輛的候選上邊緣。
27.如權利要求16所述的車輛定位裝置，其中，還包括對稱軸確定單元，根據從上述ROI中提取的一種或多種對稱特徵來計算上述車輛的高度方向上的一個或多個候選的對稱軸，並根據上述候選的對稱軸確定上述車輛的對稱軸。
28.如權利要求27所述的車輛定位裝置，其中，在上述對稱軸確定單元中，當所計算出的上述候選對稱軸為一個或所計算出的多個候選對稱軸相同時，將計算出的上述候選對稱軸確定為車輛的對稱軸，當所計算出的多個候選對稱軸不相同時，按照預定的對稱軸融合規則來確定車輛的對稱軸。
29.如權利要求27所述的車輛定位裝置，其中，在上述對稱軸確定單元中，上述對稱特徵包括從上述ROI中提取的輪廓對稱、灰度對稱和S分量對稱中的至少一個。
30.如權利要求29所述的車輛定位裝置，其中，確定上述輪廓對稱軸的圖像區域是整個ROI，確定上述灰度對稱軸和S分量對稱軸的圖像區域是從上述ROI中的由上述車底陰影的寬度和與上述寬度成一定比例關係的高度所組成的圖像區域。
全文摘要
本發明提供基於車輛特徵的車輛定位方法和裝置。利用車輛的一種或多種對稱特徵計算車輛高度方向上的一個或多個對稱軸。利用ROI預定區域中提取的一種或多種車輛特徵計算車輛的一對或多對左右邊緣，車輛特徵至少包括車底陰影特徵及/或車體顏色特徵。利用ROI中提取的水平邊緣的投影計算車輛的上下邊緣。根據ROI的車底陰影預定區域的像素的灰度來計算車輛的下邊緣，利用車體顏色的水平分層變化的特徵來計算車輛的上邊緣。綜合利用所確定的車輛的各種邊緣，來確定車輛在圖像中的位置。本發明在受光照、背景等影響時，也能準確地確定車輛在ROI中的位置。
文檔編號G08G1/16GK101029824SQ20061005505
公開日2007年9月5日 申請日期2006年2月28日 優先權日2006年2月28日
發明者劉威, 鄭燁 申請人:瀋陽東軟軟體股份有限公司, 阿爾派株式會社