三維物體檢測裝置以及三維物體檢測方法

2023-05-16 17:36:01 1

三維物體檢測裝置以及三維物體檢測方法
【專利摘要】一種三維物體檢測裝置，其特徵在於，具備：三維物體檢測單元(33)，其基於攝像圖像檢測三維物體，計算三維物體的移動速度；光源檢測單元(35)，其檢測與其它車輛的車頭燈對應的光源；以及控制單元(37)，其在沒有檢測出與其它車輛的車頭燈對應的光源的情況下，當三維物體的移動速度為本車輛的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值時，抑制基於差分波形信息檢測出三維物體。
【專利說明】三維物體檢測裝置以及三維物體檢測方法

【技術領域】
[0001]本發明涉及一種三維物體檢測裝置以及三維物體檢測方法。
[0002]本申請要求2012年7月27日申請的日本專利申請的特願2012-166517的優先權，針對文獻參照中確認進入的指定國，通過參照上述申請所記載的內容來引入本申請中，並作為本申請的記載的一部分。

【背景技術】
[0003]以往，已知如下一種技術:將不同時刻拍攝到的兩張攝像圖像變換為鳥瞰視點圖像，基於變換得到的兩張鳥瞰視點圖像的差分來檢測三維物體(參照專利文獻I)。
[0004]專利文獻1:日本特開2008-227646號公報


【發明內容】

_5] 發明要解決的問題
[0006]在基於由攝像機拍攝到的攝像圖像而將存在於鄰近車道的三維物體檢測為鄰近車輛的情況下，由於周圍的亮度低，因此有時難以檢測鄰近車輛等三維物體。特別是在攝像機的鏡頭上附著有泥等異物的情況下，由於周圍的光環境使附著於鏡頭的泥等異物的輪廓顯著，由此，有可能將附著於鏡頭的泥等異物錯誤檢測為鄰近車輛，難以檢測鄰近車輛等三維物體。
[0007]本發明要解決的問題在於，提供一種在鏡頭上附著有泥等異物的情況下能夠有效地防止對鄰近車輛的錯誤檢測的三維物體檢測裝置。
_8] 用於解決問題的方案
[0009]本發明在沒有檢測出與鄰近車輛的車頭燈對應的光源的情況下，將所檢測出的三維物體的移動速度與本車輛的移動速度進行比較，在三維物體的移動速度為本車輛的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差為規定值以下的情況下，抑制將所檢測出的三維物體判斷為鄰近車輛，由此解決上述問題。
_0] 發明的效果
[0011]根據本發明，在沒有檢測出與鄰近車輛的車頭燈對應的光源的情況下，將三維物體的移動速度與本車輛的移動速度進行比較，在三維物體的移動速度為本車輛的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差為規定值以下的情況下，抑制將所檢測出的三維物體判斷為鄰近車輛，由此即使在鏡頭上附著有泥等異物的情況下，也能夠有效地防止將這種異物錯誤檢測為鄰近車輛。

【專利附圖】

【附圖說明】
[0012]圖1是搭載有三維物體檢測裝置的車輛的概要結構圖。
[0013]圖2是表示圖1的車輛的行駛狀態的俯視圖。
[0014]圖3是表示計算機的詳細結構的框圖。
[0015]圖4是用於說明對位部的處理的概要的圖，(a)是表示車輛的移動狀態的俯視圖，(b)是表示對位的概要的圖像。
[0016]圖5是表示由三維物體檢測部生成差分波形的情形的概要圖。
[0017]圖6是表示用於檢測差分波形和三維物體的閾值α的一例的圖。
[0018]圖7是表示通過三維物體檢測部分割出的小區域的圖。
[0019]圖8是表示由三維物體檢測部獲得的直方圖的一例的圖。
[0020]圖9是表示三維物體檢測部的加權的圖。
[0021]圖10是表示由三維物體檢測部獲得的直方圖的其它例的圖。
[0022]圖11是用於說明光源檢測區的圖。
[0023]圖12是表示第I實施方式所涉及的鄰近車輛檢測處理的流程圖。
[0024]圖13是表示第I實施方式所涉及的閾值變更處理的流程圖。
[0025]圖14是表示第2實施方式所涉及的計算機的詳細結構的框圖。
[0026]圖15是表示車輛的行駛狀態的圖，(a)是表示檢測區域等的位置關係的俯視圖，(b)是表示實際空間中的檢測區域等的位置關係的立體圖。
[0027]圖16是用於說明第2實施方式所涉及的亮度差計算部的動作的圖，(a)是表示鳥瞰視點圖像中的關注線、參照線、關注點以及參照點的位置關係的圖，(b)是表示實際空間中的關注線、參照線、關注點以及參照點的位置關係的圖。
[0028]圖17是用於說明第2實施方式所涉及的亮度差計算部的詳細動作的圖，(a)是表示鳥瞰視點圖像中的檢測區域的圖，(b)是表示鳥瞰視點圖像中的關注線、參照線、關注點以及參照點的位置關係的圖。
[0029]圖18是表示用於說明邊緣檢測動作的圖像例的圖。
[0030]圖19是表示邊緣線和邊緣線上的亮度分布的圖，(a)是表示在檢測區域中存在三維物體(鄰近車輛)的情況下的亮度分布的圖，(b)是表示在檢測區域中不存在三維物體時的亮度分布的圖。
[0031]圖20是表示第2實施方式所涉及的鄰近車輛檢測方法的流程圖。
[0032]圖21是表示第2實施方式所涉及的閾值變更處理的流程圖。
[0033]圖22是用於說明異物的檢測方法的圖(之一)。
[0034]圖23是用於說明異物的檢測方法的圖(之二)。

【具體實施方式】
[0035]
[0036]圖1是搭載有本實施方式所涉及的三維物體檢測裝置I的車輛的概要結構圖。本實施方式所涉及的三維物體檢測裝置I的目的在於，檢測在本車輛Vl車道變更時有可能接觸的存在於鄰近車道的其它車輛(以下也稱為鄰近車輛V2)。如圖1所示，本實施方式所涉及的三維物體檢測裝置I具備攝像機10、車速傳感器20以及計算機30。
[0037]攝像機10如圖1所示那樣在本車輛Vl後方的高度h的地方以光軸相對於水平向下形成角度Θ的方式安裝於本車輛VI。攝像機10從該位置拍攝本車輛Vl的周圍環境中的規定區域。車速傳感器20用於檢測本車輛Vl的行駛速度，根據例如由檢測車輪轉速的車輪速度傳感器檢測出的車輪速度來計算車速。計算機30對存在於本車輛後方的鄰近車道的鄰近車輛進行檢測。
[0038]圖2是表示圖1的本車輛Vl的行駛狀態的俯視圖。如該圖所示，攝像機10以規定的視角a拍攝車輛後方。此時，攝像機10的視角a被設定為除了能夠拍攝到本車輛Vl所行駛的車道以外還能夠拍攝到其左右的車道(鄰近車道)的視角。能夠拍攝的區域包括在本車輛Vl的後方與本車輛Vl的行駛車道左右相鄰的鄰近車道上的檢測對象區域A1、A2。此外，本實施方式的車輛後方不僅包括車輛的正後方，還包括車輛的後側的側方。與攝像機10的視角相應地設定所要拍攝的車輛後方的區域。雖然是一例，但在將沿著車身長度方向的車輛的正後方設為O度的情況下，能夠設定為包括從正後方方向起左右O度?90度、優選O度?70度等的區域。
[0039]圖3是表示圖1的計算機30的詳細結構的框圖。此外，在圖3中，為了明確連接關係還圖示了攝像機10、車速傳感器20。
[0040]如圖3所示，計算機30具備視點變換部31、對位部32、三維物體檢測部33、夜間判斷部34、光源檢測部35以及閾值變更部36。下面，對各個結構進行說明。
[0041]視點變換部31輸入由攝像機10拍攝獲得的規定區域的攝像圖像數據，將所輸入的攝像圖像數據視點變換為鳥瞰視點狀態的鳥瞰圖像數據。鳥瞰視點狀態是指從上空、例如從鉛垂向下俯視的虛擬攝像機的視點觀看的狀態。能夠例如日本特開2008-219063號公報所記載的那樣執行該視點變換。將攝像圖像數據視點變換為鳥瞰視點圖像數據是因為基於如下原理能夠識別平面物體和三維物體，該原理為三維物體所特有的鉛垂邊緣通過視點變換為鳥瞰視點圖像數據而被變換為通過特定的定點的直線群。
[0042]對位部32依次輸入由視點變換部31的視點變換獲得的鳥瞰視點圖像數據，並將所輸入的不同時刻的鳥瞰視點圖像數據的位置進行對位。圖4是用於說明對位部32的處理的概要的圖，(a)是表示本車輛Vl的移動狀態的俯視圖，(b)是表示對位的概要的圖像。
[0043]如圖4的(a)所示，設為當前時刻的本車輛Vl位於P1,前一時刻的本車輛Vl位於P/。另外，設為鄰近車輛V2位於本車輛Vl的後側方向並與本車輛Vl處於並列行駛的狀態，當前時刻的鄰近車輛V2位於P2，前一時刻的鄰近車輛V2位於P2』。並且，設為本車輛Vl在一時刻移動了距離d。此外，前一時刻可以是從當前時刻起相隔預先決定時間(例如一個控制周期)的過去時刻，也可以是相隔任意時間的過去時刻。
[0044]在這樣的狀態中，當前時刻的鳥瞰視點圖像PBt如圖4的(b)所示那樣。在該鳥瞰視點圖像PBt中，描繪在路面上的白線為矩形狀，是比較準確地以俯視觀察所形成的狀態，但是鄰近車輛V2(位置P2)發生傾倒。另外，前一時刻的鳥瞰視點圖像PBw也同樣地，描繪在路面上的白線為矩形狀，是比較準確地以俯視觀察所形成的狀態，但是鄰近車輛V2(位置己』)發生傾倒。如已經記述的那樣，是因為三維物體的鉛垂邊緣(除了嚴格意義上的鉛垂邊緣以外還包含在三維空間中從路面立起的邊緣)通過變換為鳥瞰視點圖像數據的視點變換處理而表現為沿著傾倒方向的直線群，與此相對地路面上的平面圖像不包含鉛垂邊緣，因此即使進行視點變換也不會產生那樣的傾倒。
[0045]對位部32在數據上執行如上所述的鳥瞰視點圖像PBt、PBt_i的對位。此時，對位部32使前一時刻的鳥瞰視點圖像PBw偏移來使位置與當前時刻的鳥瞰視點圖像PB t相一致。圖4的(b)的左側的圖像和中央的圖像表示偏移了移動距離d』後的狀態。該偏移量d』是與圖4的(a)示出的本車輛Vl的實際的移動距離d對應的鳥瞰視點圖像數據上的移動量，基於來自車速傳感器20的信號和從前一時刻到當前時刻的時間來決定。
[0046]此外，在本實施方式中，對位部32將不同時刻的鳥瞰視點圖像的位置以鳥瞰視點進行對位，獲得該對位後的鳥瞰視點圖像，但是能夠以與檢測對象的種類、所要求的檢測精度相應的精度進行該「對位」處理。例如可以是以同一時刻和同一位置為基準進行對位的嚴格的對位處理，也可以是掌握各鳥瞰視點圖像的坐標這樣的程度緩和的對位處理。
[0047]另外，在對位之後，對位部32取鳥瞰視點圖像PBpPBw的差分，生成差分圖像TOt的數據。在此，在本實施方式中，對位部32為了對應照度環境的變化，將鳥瞰視點圖像PBt、PBw的像素值之差絕對值化，在該絕對值為規定的差分閾值th以上時將差分圖像ro t的像素值設為「1」，在絕對值小於規定的差分閾值th時將差分圖像rot的像素值設為「0」，由此能夠生成如圖4的(b)的右側所示的差分圖像rot的數據。此外，在本實施方式中，有時通過後述的閾值變更部36來變更差分閾值th，在通過閾值變更部36變更了差分閾值th的情況下，利用由閾值變更部36變更得到的差分閾值th來檢測差分圖像rot的像素值。
[0048]而且，三維物體檢測部33基於圖4的(b)所示的差分圖像H)t的數據生成差分波形。此時，三維物體檢測部33還計算實際空間上的三維物體的移動距離。當計算三維物體的檢測和移動距離時，三維物體檢測部33首先生成差分波形。
[0049]當生成差分波形時，三維物體檢測部33在差分圖像TOt中設定檢測區域(檢測框)。本例的三維物體檢測裝置I的目的在於，針對在本車輛Vl進行車道變更時有可能接觸的鄰近車輛來計算移動距離。因此，在本例中，如圖2所示那樣在本車輛Vl的後側方設定矩形狀的檢測區域(檢測框)A1、A2。此外，這種檢測區域A1、A2可以根據相對於本車輛Vl的相對位置進行設定，也可以將白線的位置作為基準進行設定。在以白線的位置為基準進行設定的情況下，三維物體檢測裝置I例如利用已有的白線識別技術等即可。
[0050]另外，三維物體檢測部33將如圖2所示那樣設定的檢測區域A1、A2的在本車輛Vl側的邊(沿著行駛方向的邊)識別為觸地線L1、L2。通常，觸地線是指三維物體接觸地面的線，但在本實施方式中不是接觸地面的線而是如上述那樣進行設定。此外，在這種情況下，從經驗上看本實施方式所涉及的觸地線與本來基於鄰近車輛V2的位置求出的觸地線之差不會過大，從而在實用上沒有問題。
[0051]圖5是表示由三維物體檢測部33生成差分波形的情形的概要圖。如圖5所示，三維物體檢測部33根據由對位部32計算出的差分圖像TOt (圖4的(b)的右圖)中的相當於檢測區域Al、A2的部分來生成差分波形DWt。此時，三維物體檢測部33沿著通過視點變換而三維物體傾倒的方向生成差分波形DWt。此外，在圖5所示的例子中，為了方便僅使用檢測區域Al進行說明，但是關於檢測區域A2，也以相同的過程生成差分波形DWt。
[0052]具體地說，首先，三維物體檢測部33在差分圖像TOt的數據上定義三維物體傾倒的方向上的線La。然後，三維物體檢測部33對線La上示出規定的差分的差分像素DP的個數進行計數。在本實施方式中，關於示出規定的差分的差分像素DP，用表現差分圖像rot的像素值，表示「 I 」的像素作為差分像素DP被計數。
[0053]三維物體檢測部33在對差分像素DP的個數進行計數之後，求出線La與觸地線LI的交點CP。然後，三維物體檢測部33將交點CP與計數數進行對應，基於交點CP的位置決定橫軸位置、即在圖5的右圖的上下方向軸上的位置，並且根據計數數決定縱軸位置、即圖5的右圖的左右方向軸上的位置，繪製出交點CP處的計數數。
[0054]以下同樣地，三維物體檢測部33對三維物體傾倒的方向上的線Lb、Lc…進行定義，來對差分像素DP的個數進行計數，基於各交點CP的位置決定橫軸位置、根據計數數(差分像素DP的個數)決定縱軸位置進行繪製。三維物體檢測部33依次重複上述內容進行頻數分布化，由此如圖5右圖所示那樣生成差分波形DWt。
[0055]在此，差分圖像rot的數據上的差分像素ro是在不同時刻的圖像中存在變化的像素，換言之，可以說是存在三維物體的部分。因此，在存在三維物體的部分，沿著三維物體傾倒的方向對像素數進行計數並進行頻數分布化，由此生成差分波形DWt。特別地，由於沿著三維物體傾倒的方向對像素數進行計數，因此根據針對三維物體來說在高度方向上的信息來生成差分波形DWt。
[0056]此外，如圖5左圖所示，三維物體傾倒的方向上的線La和線Lb與檢測區域Al相重疊的距離不同。因此，當假設檢測區域Al被差分像素DP填滿時，線La上的差分像素DP的個數多於線Lb上的差分像素DP的個數。因此，三維物體檢測部33在根據差分像素DP的計數數決定縱軸位置的情況下，基於三維物體傾倒的方向上的線La、Lb與檢測區域Al相重疊的距離來進行標準化。當列舉具體例時，在圖5左圖中，在線La上有6個差分像素DP，在線Lb上有5個差分像素DP。因此，在圖5中根據計數數決定縱軸位置時，三維物體檢測部33將計數數除以重疊距離等來進行標準化。由此，如差分波形DWt所示那樣，與三維物體傾倒的方向上的線La、Lb對應的差分波形DWt的值大致相同。
[0057]在生成差分波形DWt後，三維物體檢測部33基於所生成的差分波形DW ,進行存在於鄰近車道的鄰近車輛的檢測。在此，圖6是用於說明三維物體檢測部33的三維物體的檢測方法的圖，示出了差分波形DWt和用於檢測三維物體的閾值α的一例。三維物體檢測部33如圖6所示那樣判斷所生成的差分波形DWt的峰值是否為與該差分波形DW t的峰值位置對應的規定的閾值α以上，由此判斷在檢測區域Al、Α2中是否存在三維物體。然後，在差分波形DWt的峰值小於規定的閾值α的情況下，三維物體檢測部33判斷為在檢測區域Al、Α2中不存在三維物體，另一方面，在差分波形DWt的峰值為規定的閾值α以上的情況下，三維物體檢測部33判斷為在檢測區域Al、Α2中存在三維物體。
[0058]並且，三維物體檢測部33通過當前時刻的差分波形DWt與前一時刻的差分波形DWw的對比來計算三維物體的移動速度。即，三維物體檢測部33根據差分波形DWpDWw的時間變化來計算三維物體的移動速度。
[0059]詳細地說，三維物體檢測部33如圖7所示那樣將差分波形DWt分割成多個小區域DWtl?DWtn(n為2以上的任意整數)。圖7是表示由三維物體檢測部33分割出的小區域DWtl? DWtn的圖。小區域DW tl?DWtn例如圖7所示那樣以相互重疊的方式進行分割。例如小區域DWt^小區域DW t2重疊，小區域DW 12與小區域DW t3重疊。
[0060]接著，三維物體檢測部33按各小區域DWtl?DW tn求出偏移量(差分波形的橫軸方向(圖7的上下方向)的移動量)。在此，根據前一時刻的差分波形DWw與當前時刻的差分波形DWt之差(橫軸方向的距離)求出偏移量。此時，三維物體檢測部33按各小區域Dfftl?DW tn，在使前一時刻的差分波形DWh沿橫軸方向移動時，判斷出與當前時刻的差分波形DWt的誤差最小的位置(橫軸方向的位置)，求出差分波形DW η的原來的位置與誤差最小的位置的在橫軸方向上的移動量來作為偏移量。然後，三維物體檢測部33對按各小區域DWtl?DW tn求出的偏移量進行計數來製作直方圖。
[0061]圖8是表示由三維物體檢測部33獲得的直方圖的一例的圖。如圖8所示，各小區域01,1?01,11與前一時刻的差分波形DWw的誤差最小的移動量即偏移量稍微產生偏差。因此，三維物體檢測部33將包含偏差的偏移量製作成直方圖，基於直方圖計算移動距離。此時，三維物體檢測部33根據直方圖的極大值計算三維物體(鄰近車輛V2)的移動距離。即，在圖8所示的例子中，三維物體檢測部33將表示直方圖的極大值的偏移量計算為移動距離τ *。這樣，在本實施方式中，即使偏移量存在偏差，也能夠根據其極大值計算正確性更高的移動距離。此外，移動距離τ*是三維物體(鄰近車輛V2)相對於本車輛的相對移動距離。因此，三維物體檢測部33在計算絕對移動距離的情況下，基於所獲得的移動距離τ *和來自車速傳感器20的信號來計算絕對移動距離。
[0062]這樣，在本實施方式中，根據在不同時刻生成的差分波形DWt的誤差最小時的差分波形DWt的偏移量計算三維物體(鄰近車輛V2)的移動距離，由此根據波形這樣的一維的信息的偏移量計算移動距離，從而能夠在計算移動距離時抑制計算成本。另外，通過將不同時刻生成的差分波形DWt分割成多個小區域DWtl?DWtn，能夠獲得多個表示三維物體的各個部分的波形，由此能夠針對三維物體的各個部分求出偏移量，從而能夠根據多個偏移量求出移動距離，因此能夠提高移動距離的計算精度。另外，在本實施方式中，根據包含高度方向的信息的差分波形DWt的時間變化來計算三維物體的移動距離，由此與僅關注於I個點的移動的情況相比，時間變化前的檢測部分和時間變化後的檢測部分由於包含高度方向的信息進行確定，因此容易得到三維物體中相同的部分，從而根據相同部分的時間變化來計算移動距離，能夠提高移動距離的計算精度。
[0063]此外，在製作成直方圖時，三維物體檢測部33也可以針對多個小區域DWtl?DWtn中的每一個進行加權，與權重相應地對按各小區域DWtl?Dff tn求出的偏移量進行計數來製作直方圖。圖9是表示三維物體檢測部33的加權的圖。
[0064]如圖9所示，小區域DWm(m為I以上、n_l以下的整數)是平坦的。即，小區域DWm的示出規定的差分的像素數的計數的最大值與最小值之差小。三維物體檢測部33針對這樣的小區域DWm將權重減小。這是因為關於平坦的小區域DW 有特徵，從而在計算偏移量時誤差變大的可能性尚。
[0065]另一方面，小區域DWm+k(k為n-m以下的整數)有大量的起伏。B卩，小區域DWm的示出規定的差分的像素數的計數的最大值與最小值之差大。三維物體檢測部33針對這樣的小區域DWm將權重增大。這是因為關於有很多起伏的小區域DW m+k具有特徵，從而能夠正確地進行偏移量的計算的可能性高。通過像這樣進行加權，能夠提高移動距離的計算精度。
[0066]此外，為了提高移動距離的計算精度，在上述實施方式中，將差分波形DWt分割成了多個小區域DWtl?DWtn，但是在移動距離的計算精度要求不那麼高的情況下，也可以不分割成小區域DWtl?DW tno在這種情況下，三維物體檢測部33根據差分波形DWt與差分波形DWw的誤差變為最小時的差分波形DWt的偏移量來計算移動距離。即，求出前一時刻的差分波形DWw與當前時刻的差分波形DW t的偏移量的方法不限定於上述內容。
[0067]此外，在本實施方式中，三維物體檢測部33求出本車輛Vl (攝像機10)的移動速度，根據求出的移動速度求出關於靜止物體的偏移量。在求出靜止物體的偏移量之後，三維物體檢測部33忽略直方圖的極大值中的相當於靜止物體的偏移量之後計算三維物體的移動距離。
[0068]圖10是表示由三維物體檢測部33獲得的直方圖的另一例的圖。在攝像機10的視角內除了三維物體以外還存在靜止物體的情況下，在獲得的直方圖中出現兩個極大值τ 1、τ 2ο在這種情況下，兩個極大值τ?、τ 2中的某一方是靜止物體的偏移量。因此，三維物體檢測部33根據移動速度求出關於靜止物體的偏移量，忽略相當於該偏移量的極大值，採用剩下的一方的極大值計算三維物體的移動距離。由此，能夠防止由於靜止物體而導致三維物體的移動距離的計算精度下降的情形
[0069]此外，在即使忽略相當於靜止物體的偏移量也存在多個極大值的情況下，設想在攝像機10的視角內存在多個三維物體。但是，在檢測區域Al、Α2內存在多個三維物體的情形是非常少見的。因此，三維物體檢測部33中止移動距離的計算。由此，在本實施方式中，能夠防止計算出如存在多個極大值那樣的錯誤的移動距離的情形。
[0070]夜間判斷部34基於由攝像機10拍攝到的攝像圖像來判斷是否為夜間。具體地說，夜間判斷部34計算整個攝像圖像的平均亮度，並且將與周邊的亮度差為規定值以上且規定面積以上的高亮度區域檢測為光源。而且，在整個攝像圖像的平均亮度為規定值以下且在規定時間內檢測出規定量(規定個數)以上的光源的情況下，夜間判斷部34判斷為是夜間。這樣，夜間判斷部34不僅判斷整個攝像圖像的亮度，還判斷是否存在光源，由此能夠有效地防止例如儘管是傍晚時但在本車輛Vl周邊不存在其它車輛的車頭燈、路燈等光源而誤判斷為是夜間。
[0071]如圖11所示，光源檢測部35針對本車輛後方的規定的光源檢測區進行與鄰近車輛V2的車頭燈對應的光源的檢測。在此，圖11是用於說明光源檢測區的圖，示出了夜間拍攝的攝像圖像的一例。在包括檢測區域Al、Α2的區域即鄰近車道存在鄰近車輛V2的情況下，光源檢測部35能夠檢測鄰近車輛V2的車頭燈，另一方面，將沒有檢測出在本車輛Vl的行駛車道上行駛的後續車輛的車頭燈、路燈等光源的區域設定為光源檢測區。例如，在圖11所示的例子中，將鄰近車輛V2的車頭燈例示為Lhl，將設置於路外的路燈例示為Lsl、Ls2，將在本車輛的行駛車道上行駛的後續車輛的車頭燈例示為Lh2a、Lh2b。如圖11所示，光源檢測部35能夠檢測鄰近車輛V2的車頭燈Lh，另一方面將沒有檢測出設置於路外的路燈Lsl、Ls2和在車輛的行駛車道上行駛的後續車輛的車頭燈Lh2a、Lh2b的區設定為光源檢測區。而且，光源檢測部35在所設定的光源檢測區內，將與周邊的明亮度之差為規定值以上且大小為規定面積以上的圖像區域檢測為與鄰近車輛V2的車頭燈對應的候選區域，由此檢測與鄰近車輛V2的車頭燈對應的光源。另外，光源檢測部35以規定的周期反覆進行與鄰近車輛V2的車頭燈對應的光源的檢測。
[0072]在由夜間判斷部34判斷為是夜間且由光源檢測部35沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，為了防止將附著於鏡頭的泥等異物錯誤檢測為鄰近車輛V2，閾值變更部36變更用於檢測三維物體的差分閾值th。
[0073]在此，在夜間，周圍的亮度低，因此在鏡頭上附著有泥等異物的情況下，由於在本車輛的行駛車道上行駛的後續車輛的車頭燈的亮光、路燈等的亮光等使附著於鏡頭的異物的輪廓顯著，清晰地拍攝到附著於鏡頭的異物的像，因此有時將附著於鏡頭的異物的像錯誤檢測為鄰近車輛V2。因此，在本實施方式中，在判斷為是夜間且沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，閾值變更部36將用於檢測三維物體的差分閾值th變更為高的值，由此能夠在判斷為夜間且在鄰近車道上不存在鄰近車輛V2的狀況下抑制三維物體的檢測，由此，在如上所述那樣鏡頭上附著有泥等異物的情況下，能夠有效的防止將附著於鏡頭的異物錯誤檢測為鄰近車輛V2。此外，閾值變更部36僅在能夠判斷為沒有檢測出與鄰近車輛V2的車頭燈對應的光源、在鄰近車道上不存在鄰近車輛V2的情況下，將用於檢測三維物體的差分閾值th變更為高的值。因此，在本實施方式中，在判斷為檢測出與鄰近車輛V2的車頭燈對應的光源、在鄰近車道上存在鄰近車輛V2的情況下，不將差分閾值th變更為高的值，從而能夠恰當地檢測存在於鄰近車道的鄰近車輛V2。
[0074]另外，閾值變更部36將由三維物體檢測部33計算出的三維物體的移動速度與本車輛Vl的移動速度進行比較，在三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值Δ V的情況下，將差分閾值th變更為高的值。在此，在泥等異物粘附於鏡頭上且在鏡頭表面上不移動的情況下，在攝像圖像的相同位置處拍攝這種異物，因此在基於差分波形計算出三維物體的移動速度的情況下，以與本車輛的移動速度相同的速度計算出這種異物的移動速度。因此，在三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值Λ V的情況下，通過將差分閾值th變更為高的值來抑制三維物體的檢測，由此能夠有效地抑制對以本車輛Vl的移動速度計算出的異物的檢測。此外，上述規定值AV是考慮了附著於鏡頭的異物的移動速度的計算誤差而得到的值，能夠通過實驗等適當設定。這樣，還抑制對與本車輛Vl的移動速度之差小於規定值AV的三維物體的檢測，由此即使在附著於鏡頭的異物的移動速度產生了計算誤差的情況下，也能夠抑制對附著於鏡頭的異物的檢測。
[0075]並且，在本實施方式中，即使在三維物體的移動速度為本車輛Vl的移動速度以下的情況下，閾值變更部36也將差分閾值th變更為高的值，由此還能夠抑制對未接近本車輛Vl的三維物體(與本車輛Vl相比移動速度慢的三維物體)的檢測。即，在本實施方式中，重點在於對在本車輛Vl進行車道變更時的情況下可能接觸的鄰近車輛V2進行檢測，將接近本車輛Vl的三維物體(與本車輛Vl相比移動速度快的三維物體)檢測為接近本車輛Vl的鄰近車輛V2。因此，即使在鄰近車道上存在未接近本車輛Vl的鄰近車輛V2 (與本車輛Vl相比移動速度慢的鄰近車輛V2)的情況下，由於在本車輛Vl進行車道變更的情況下接觸該鄰近車輛V2的可能性小，因此通過將差分閾值th變更為高的值能夠抑制對未接近本車輛Vl的鄰近車輛V2的檢測。由此，例如在檢測出鄰近車輛V2時向駕駛員發出存在鄰近車輛V2的警報的情況下，能夠僅對接近本車輛Vl的鄰近車輛V2進行警報，從而能夠減輕由於警報而對駕駛員施加的不適感。
[0076]此外，在本實施方式中，閾值變更部36在將本車輛Vl的移動速度與三維物體的移動速度進行比較並變更差分閾值th的情況下，將本車輛Vl的絕對移動速度與三維物體的絕對移動速度進行比較，但並不限定於該結構，例如，閾值變更部36能夠基於三維物體相對於本車輛Vl的相對移動速度來變更差分閾值th。即，在這種情況下，在三維物體相對於本車輛Vl的相對移動速度是負值的情況下，閾值變更部36能夠判斷為三維物體的移動速度為本車輛Vl的移動速度以下，另外，在三維物體相對於本車輛Vl的相對移動速度的絕對值小於規定值△ V的情況下，閾值變更部36能夠判斷為三維物體的移動速度與本車輛的移動速度之差小於規定值AV。
[0077]接著，說明本實施方式所涉及的鄰近車輛檢測處理。圖12是表示第I實施方式的鄰近車輛檢測處理的流程圖。如圖12所示，首先，由計算機30從攝像機10獲取攝像圖像的數據(步驟S101)，由視點變換部31基於獲取到的攝像圖像的數據來生成鳥瞰視點圖像PBt的數據(步驟S102) ο
[0078]接著，對位部32將鳥瞰視點圖像PBt的數據與前一時刻的鳥瞰視點圖像PB Μ的數據進行對位，生成差分圖像rot的數據(步驟S103)。具體地說，對位部32將鳥瞰視點圖像PBpPBw的像素值的差絕對值化，在該絕對值為規定的差分閾值th以上時，將差分圖像PDt的像素值設為「1」，在絕對值小於規定的差分閾值th時，將差分圖像ro t的像素值設為「O」。此外，存在用於計算差分圖像rot的像素值的差分閾值th在後述的閾值變更處理中被變更的情況，在差分閾值th被變更的情況下，在該步驟S103中使用變更後的差分閾值th。之後，三維物體檢測部33根據差分圖像rot的數據對像素值為「I」的差分像素DP的個數進行計數，生成差分波形DWt (步驟S104)。
[0079]然後，三維物體檢測部33判斷差分波形DWt的峰值是否為規定的閾值α以上(步驟S105)。在差分波形DWt的峰值不為閾值α以上的情況下、即幾乎不存在差分的情況下，認為在攝像圖像內不存在三維物體。因此，在判斷為差分波形DWt的峰值不為閾值α以上的情況下(步驟S105 =否)，三維物體檢測部33判斷為不存在三維物體而不存在鄰近車輛V2(步驟S114)。然後，返回到步驟S101，重複圖12所示的處理。
[0080]另一方面，在判斷為差分波形DWt的峰值為閾值α以上的情況下(步驟S105 =是)，由三維物體檢測部33判斷為在鄰近車道存在三維物體，進入步驟S106，通過三維物體檢測部33將差分波形DWt分割為多個小區域DW tl?DW tno接著，三維物體檢測部33對各小區域DWtl?Dff 行加權(步驟S107)，計算各小區域DW tl?DW ^的偏移量(步驟S108)，考慮權重並生成直方圖(步驟S109)。
[0081]然後，三維物體檢測部33基於直方圖計算三維物體相對於本車輛Vl的移動距離即相對移動距離(步驟S110)。接著，三維物體檢測部33根據相對移動距離計算三維物體的絕對移動速度(步驟S111)。此時，三維物體檢測部33對相對移動距離進行時間微分來計算相對移動速度，並且加上由車速傳感器20檢測出的本車速，來計算絕對移動速度。
[0082]之後，三維物體檢測部33判斷三維物體的絕對移動速度是否為10km/h以上且三維物體相對於本車輛Vl的相對移動速度是否為+60km/h以下(步驟S112)。在滿足雙方的情況下(步驟SI 12 =是)，三維物體檢測部33判斷為所檢測出的三維物體是存在於鄰近車道的鄰近車輛V2、即在鄰近車道存在鄰近車輛V2(步驟S113)。然後，結束圖12所示的處理。另一方面，在有任一方不滿足的情況下(步驟S112 =否)，三維物體檢測部33判斷為在鄰近車道不存在鄰近車輛V2 (步驟S114)。然後，返回到步驟S101，重複圖12所示的處理。
[0083]此外，在本實施方式中，將本車輛Vl的左右後方設為檢測區域A1、A2，重點在於在本車輛Vl進行車道變更的情況下是否有接觸的可能性。因此，執行了步驟S112的處理。即，當以使本實施方式的系統在高速公路上工作的情形為前提時，在鄰近車輛V2的速度小於10km/h的情況下，即使存在鄰近車輛V2，在進行車道變更時由於位於距本車輛Vl很遠的後方，因此很少會成為問題。同樣地，在鄰近車輛V2相對於本車輛Vl的相對移動速度超過+60km/h的情況下(即，鄰近車輛V2以比本車輛Vl的速度大60km/h的速度移動的情況下)，在進行車道變更時，由於在本車輛Vl的前方移動，因此很少會成為問題。因此，也可以說在步驟S112中判斷出了在進行車道變更時成為問題的鄰近車輛V2。
[0084]另外，通過在步驟S112中判斷鄰近車輛V2的絕對移動速度是否為10km/h以上且鄰近車輛V2相對於本車輛Vl的相對移動速度是否為+60km/h以下，由此存在以下的效果。例如，根據攝像機10的安裝誤差，有可能存在將靜止物體的絕對移動速度檢測出是數km/h的情況。因此，通過判斷是否為10km/h以上，能夠減少將靜止物體判斷為是鄰近車輛V2的可能性。另外，有可能由於噪聲而導致將鄰近車輛V2相對於本車輛Vl的相對速度檢測為超過+60km/h的速度。因此，通過判斷相對速度是否為+60km/h以下，能夠減少因噪聲引起的錯誤檢測的可能性。
[0085]並且也可以是，代替步驟SI 12的處理，而判斷鄰近車輛V2的絕對移動速度不為負、不為Okm/h。另外，在本實施方式中，重點在於本車輛Vl在進行車道變更的情況下是否有接觸的可能性，因此在步驟S112中檢測出鄰近車輛V2的情況下，可以向本車輛的駕駛員發出警告音，或者通過規定的顯示裝置進行相當於警告的顯示。
[0086]接著，參照圖13說明第I實施方式所涉及的閾值變更處理。圖13是表示第I實施方式所涉及的閾值變更處理的流程圖。此外，以下說明的閾值變更處理與圖12所示的鄰近車輛檢測處理並行進行，將通過該閾值變更處理設定的差分閾值th應用為圖12所示的鄰近車輛檢測處理中的差分閾值th。
[0087]如圖13所示，首先，在步驟S201中，由夜間判斷部34進行是否為夜間的判斷。具體地說，夜間判斷部34計算整個攝像圖像的平均亮度，並且將與周邊的亮度差為規定值以上且大小為規定面積以上的高亮度區域檢測為光源。而且，在整個攝像圖像的亮度為規定值以下且在規定時間內檢測出規定量(規定個數)以上的光源的情況下，夜間判斷部34判斷為是夜間。而且，在判斷為是夜間的情況下進入步驟S202，在判斷為不是夜間的情況下進入步驟S208。
[0088]在步驟S202中，由光源檢測部35在圖11所示的光源檢測區內進行與鄰近車輛V2的車頭燈對應的光源的檢測。具體地說，光源檢測部35在圖11所示的光源檢測區內將與周邊的明亮度的差為規定值以上且大小為規定面積以上的圖像區域檢測為與鄰近車輛V2的車頭燈對應的候選區域，由此檢測與鄰近車輛V2的車頭燈對應的光源。特別是，在本實施方式中，光源檢測部35反覆進行對與鄰近車輛V2的車頭燈對應的光源的檢測，在規定時間內哪怕能夠檢測出一次與鄰近車輛V2的車頭燈對應的光源的情況下，輸出能夠檢測出與鄰近車輛V2的車頭燈對應的光源的意思的檢測結果，另一方面，在規定時間內在光源檢測區內未能檢測出光源的情況下，輸出未能檢測出與鄰近車輛V2的車頭燈對應的光源的意思。由此，能夠恰當地判斷是否存在與鄰近車輛V2的車頭燈對應的光源。然後，在步驟S203中，在步驟S202的檢測之後，由閾值變更部36判斷在光源檢測區內是否能夠檢測出與鄰近車輛V2的車頭燈對應的光源，在未能檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，進入步驟S204，另一方面，在能夠檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，進入步驟S208。
[0089]在步驟S204中，由閾值變更部36獲取本車輛Vl的移動速度。例如，閾值變更部36從車速傳感器20獲取本車輛Vl的移動速度。另外，在步驟S205中，由閾值變更部36獲取三維物體的移動速度。例如，閾值變更部36從三維物體檢測部33獲取通過圖12所示的鄰近車輛檢測處理而計算出的三維物體的移動速度。
[0090]然後，在步驟S206中，由閾值變更部36對在步驟S204中獲取到的本車輛Vl的移動速度與在步驟S205中獲取到的三維物體的移動速度進行比較。具體地說，閾值變更部36對本車輛Vl的移動速度與三維物體的移動速度進行比較，來判斷三維物體的移動速度是否為本車輛Vl的移動速度以下、或者三維物體的移動速度與本車輛的移動速度之差是否小於規定值Δν。在滿足任一方的情況下，判斷為由三維物體檢測部33檢測出的三維物體不是接近本車輛Vl的鄰近車輛V2，進入步驟S207，通過閾值變更部36將差分閾值th的值變更為高的值。由此，在夜間不存在接近本車輛Vl的鄰近車輛V2的情況下，能夠在圖12所示的鄰近車輛檢測處理中抑制三維物體的檢測，因此即使在鏡頭上附著有泥等異物的情況下，也能夠抑制這種異物的檢測，其結果，能夠有效地防止將附著於鏡頭的異物錯誤檢測為鄰近車輛V2。另一方面，在雙方均不滿足的情況下，判斷為由三維物體檢測部33檢測出的三維物體是接近本車輛Vl的鄰近車輛V2，進入步驟S208，在將差分閾值th的值變更為高的值的情況下，差分閾值th恢復為原來的值。由此，在圖12所示的鄰近車輛檢測處理中，利用原來的值的差分閾值th進行對接近本車輛Vl的鄰近車輛V2的檢測，其結果，能夠恰當的檢測接近本車輛Vl的鄰近車輛V2。
[0091]此外，在步驟S201中沒有判斷為是夜間的情況下，認為周圍的亮度明亮，因此認為由於在本車輛Vl的行駛車道上行駛的後續車輛的車頭燈的亮光、路燈等的亮光使附著於鏡頭的異物的輪廓顯著，導致將附著於鏡頭的異物的像錯誤檢測為鄰近車輛V2的可能性低。因此，在這種情況下，不變更差分閾值th而進入步驟S208。另外，在步驟S203中檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，判斷為在鄰近車道存在鄰近車輛V2，因此為了恰當地檢測鄰近車輛V2而進入步驟S208，差分閾值th的值恢復為原來的值。
[0092]如上所述，在第I實施方式中，在通過夜間判斷部34判斷為是夜間且通過光源檢測部35沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，將三維物體的移動速度與本車輛Vl的移動速度進行比較，在三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值的情況下，為了抑制三維物體的檢測，將差分閾值th變更為高的值。由此，在能夠判斷為夜間在鄰近車道不存在鄰近車輛V2的情況下，將差分閾值th變更為高的值來抑制三維物體的檢測，因此能夠有效地防止以下情況:在夜間周圍的亮度低，因此由於在本車輛的行駛車道上行駛的後續車輛的車頭燈的亮光、路燈等的亮光等使附著於鏡頭的異物的輪廓顯著，導致將這種異物的像錯誤檢測為鄰近車輛V2。
[0093]另外，在鏡頭上粘附有泥等異物且異物在鏡頭表面上不移動的情況下，在攝像畫面上在相同的位置處拍攝這種異物，因此在基於差分波形計算出三維物體的移動速度的情況下，以與本車輛Vl的移動速度相同程度的速度來計算出附著於鏡頭的異物的移動速度。因此，在將三維物體的移動速度與本車輛Vl的移動速度進行比較的結果是三維物體的移動速度為本車輛Vi的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值的情況下，通過將差分閾值th變更為高的值能夠抑制對與本車輛Vl的移動速度相同程度的移動速度的異物的檢測。另一方面，接近本車輛Vl的鄰近車輛V2的移動速度比本車輛Vl的移動速度快，因此在三維物體的移動速度比本車輛Vl的移動速度快的情況下，不變更差分閾值th而以原來的差分閾值th的值檢測三維物體，由此能夠恰當地檢測接近本車輛Vl的鄰近車輛V2。
[0094]
[0095]接著，說明第2實施方式所涉及的三維物體檢測裝置la。第2實施方式所涉及的三維物體檢測裝置Ia如圖14所示那樣代替第I實施方式的計算機30而具備計算機30a，除了如以下所說明那樣進行動作以外，與第I實施方式相同。在此，圖14是表示第2實施方式所涉及的計算機30a的詳細內容的框圖。
[0096]如圖14所示，第2實施方式所涉及的三維物體檢測裝置Ia具備攝像機10和計算機30a，計算機30a由視點變換部31、亮度差計算部37、邊緣線檢測部38、三維物體檢測部33a、夜間判斷部34、光源檢測部35以及閾值變更部36a構成。下面，說明第2實施方式所涉及的三維物體檢測裝置Ia的各結構。此外，關於視點變換部31、夜間判斷部34以及光源檢測部35，是與第I實施方式相同的結構，因此省略其說明。
[0097]圖15是表不圖14的攝像機10的攝像範圍等的圖，圖15的(a)表不俯視圖，圖15的(b)表示本車輛Vl的後側方的實際空間上的立體圖。如圖15的(a)所示，攝像機10被設為規定的視角a，從本車輛Vl拍攝包含在該規定的視角a中的後側方。攝像機10的視角a與圖2所示的情況同樣地被設定成在攝像機10的攝像範圍內，除了包括本車輛Vl所行駛的車道以外還包括鄰近的車道。
[0098]本例的檢測區域Al、A2在俯視圖(鳥瞰視點的狀態)中呈梯形狀，這些檢測區域A1、A2的位置、大小以及形狀根據距離Cl^d4決定。此外，該圖所示的例子的檢測區域Al、A2不限於梯形狀，也可以是如圖2所示那樣在鳥瞰視點的狀態下為矩形等其它的形狀。
[0099]在此，距離dl是從本車輛Vl到觸地線L1、L2的距離。觸地線L1、L2是指存在於與本車輛Vl所行駛的車道相鄰的車道的三維物體接觸地面的線。在本實施方式中，目的是檢測在本車輛Vl的後側方行駛於與本車輛Vl的車道相鄰的左右車道的鄰近車輛V2等(包含二輪車等)。因此，能夠事先根據本車輛Vl至白線W的距離dll和從白線W至預測為鄰近車輛V2所行駛的位置的距離dl2，來大致固定地決定作為鄰近車輛V2的觸地線L1、L2的位置的距離dl。
[0100]另外，關於距離dl，不限於決定為固定的值，也可以設為可變。在這種情況下，計算機30a通過白線識別等技術來識別白線W相對於本車輛Vl的位置，根據識別出的白線W的位置來決定距離dll。由此，使用所決定的距離dll以可變的方式設定距離dl。在以下的本實施方式中，由於鄰近車輛V2行駛的位置(距白線W的距離dl2)和本車輛Vl行駛的位置(距白線W的距離dll)大致固定，因此設為距離dl被決定為固定的值。
[0101]距離d2是從本車輛Vl的後端部沿車輛行進方向延伸的距離。以檢測區域A1、A2至少收容在攝像機10的視角a內的方式決定該距離d2。特別地，在本實施方式中，距離d2被設定為與由視角a劃分出的範圍相連。距離d3是表示檢測區域Al、A2的在車輛行進方向上的長度的距離。該距離d3基於作為檢測對象的三維物體的大小決定。在本實施方式中，由於檢測對象是鄰近車輛V2等，因此距離d3被設定為包含鄰近車輛V2的長度。
[0102]距離d4是如圖15的(b)所示那樣表示被設定成在實際空間中包含鄰近車輛V2等的輪胎的高度的距離。距離d4在鳥瞰視點圖像中設為圖15的(a)所示的長度。此外，距離d4也能夠設為不包含鳥瞰視點圖像中相比於左右的鄰近車道的下一鄰近車道(即，隔一車道的鄰近車道)的長度。這是因為如果包含與本車輛Vl的車道隔一車道的鄰近車道，則無法區分是在作為本車輛Vl所行駛的車道的本車道的左右鄰近車道內存在鄰近車輛V2、還是在隔一車道的鄰近車道內存在鄰近車輛。
[0103]如以上那樣決定距離dl?距離d4，由此決定檢測區域Al、A2的位置、大小以及形狀。具體地說，根據距離dl，決定形成梯形的檢測區域A1、A2的上邊bl的位置。根據距離d2，決定上邊bl的起點位置Cl。根據距離d3，決定上邊bl的終點位置C2。根據從攝像機10向起點位置Cl延伸的直線L3，決定形成梯形的檢測區域Al、A2的側邊b2。同樣地，根據從攝像機10向終點位置C2延伸的直線L4，決定形成梯形的檢測區域Al、A2的側邊b3。根據距離d4，決定形成梯形的檢測區域A1、A2的下邊b4的位置。這樣，由各邊bl?b4包圍的區域設為檢測區域A1、A2。該檢測區域A1、A2如圖15的(b)所示那樣在本車輛Vl後側方的實際空間中形成為正方形(長方形)。
[0104]亮度差計算部37為了檢測鳥瞰視點圖像中包含的三維物體的邊緣，而針對由視點變換部31進行視點變換得到的鳥瞰視點圖像數據進行亮度差的計算。亮度差計算部37針對沿著在實際空間中的鉛垂方向上延伸的鉛垂虛擬線的多個位置中的每個位置計算該各位置附近的兩個像素間的亮度差。亮度差計算部37能夠通過僅設定一條在實際空間中的鉛垂方向上延伸的鉛垂虛擬線的方法以及設定兩條鉛垂虛擬線的方法中的任一個方法來計算亮度差。
[0105]在此，針對設定兩條鉛垂虛擬線的具體方法進行說明。亮度差計算部37針對進行視點變換得到的鳥瞰視點圖像設定與實際空間中在鉛垂方向延伸的線段相當的第一鉛垂虛擬線以及與第一鉛垂虛擬線不同並與實際空間中在鉛垂方向延伸的線段相當的第二鉛垂虛擬線。亮度差計算部37沿著第一鉛垂虛擬線和第二鉛垂虛擬線連續地求出第一鉛垂虛擬線上的點與第二鉛垂虛擬線上的點的亮度差。以下，詳細說明該亮度差計算部37的動作。
[0106]亮度差計算部37如圖16的(a)所示那樣設定與實際空間中在鉛垂方向延伸的線段相當且通過檢測區域Al的第一鉛垂虛擬線La(以下稱為關注線La)。另外，亮度差計算部37設定與關注線La不同並與實際空間中在鉛垂方向延伸的線段相當且通過檢測區域Al的第二鉛垂虛擬線Lr (以下稱為參照線Lr)。在此，參照線Lr被設定在與關注線La分離實際空間中的規定距離的位置處。此外，與實際空間中在鉛垂方向延伸的線段相當的線是指在鳥瞰視點圖像中從攝像機10的位置Ps起呈放射狀擴展的線。該呈放射狀擴展的線是沿著在變換為鳥瞰視點時三維物體傾倒的方向的線。
[0107]亮度差計算部37在關注線La上設定關注點Pa (第一鉛垂虛擬線上的點)。另外，亮度差計算部37在參照線Lr上設定參照點Pr (第二鉛垂虛擬線上的點)。這些關注線La、關注點Pa、參照線Lr、參照點Pr在實際空間中形成圖16的(b)所示的關係。如從圖16的(b)顯而易見地，關注線La和參照線Lr是在實際空間中在鉛垂方向延伸的線，關注點Pa和參照點Pr是在實際空間中被設定為大致相同的高度的點。此外，關注點Pa和參照點Pr並不一定需要是嚴格上的相同的高度，關注點Pa和參照點Pr被視為相同高度的程度的誤差是允許的。
[0108]亮度差計算部37求出關注點Pa與參照點Pr的亮度差。假設關注點Pa與參照點Pr的亮度差大時，認為在關注點Pa與參照點Pr之間存在邊緣。特別地，在第2實施方式中，為了檢測存在於檢測區域Al、A2中的三維物體，針對鳥瞰視點圖像將鉛垂虛擬線設定為在實際空間中在鉛垂方向上延伸的線段，因此在關注線La與參照線Lr的亮度差高的情況下，在關注線La的設定處存在三維物體的邊緣的可能性高。因此，圖14所示的邊緣線檢測部38基於關注點Pa與參照點Pr的亮度差來檢測邊緣線。
[0109]更詳細地說明該點。圖17是表示亮度差計算部37的詳細動作的圖，圖15的(a)表示鳥瞰視點狀態的鳥瞰視點圖像，圖17的(b)是將圖17的(a)所示的鳥瞰視點圖像的一部分BI放大後的圖。此外，關於圖17，僅圖示檢測區域Al進行說明，關於檢測區域A2，也以同樣的過程計算亮度差。
[0110]在攝像機10拍攝到的攝像圖像內拍攝有鄰近車輛V2的情況下，如圖17的(a)所示那樣，在鳥瞰視點圖像內的檢測區域Al出現鄰近車輛V2。如圖17的(b)示出圖17的(a)中的區域BI的放大圖那樣，設為在鳥瞰視點圖像上，在鄰近車輛V2的輪胎的橡膠部分上設定了關注線La。在該狀態中，亮度差計算部37首先設定參照線Lr。參照線Lr被設定在實際空間中沿鉛垂方向距關注線La規定的距離的位置處。具體地說，在本實施方式所涉及的三維物體檢測裝置Ia中，參照線Lr被設定在實際空間中與關注線La相距1cm的位置處。由此，參照線Lr在鳥瞰視點圖像上例如被設定在與鄰近車輛V2的輪胎的橡膠相距相當於1cm的距離的鄰近車輛V2的輪胎的輪輞(wheel)上。
[0111]接著，亮度差計算部37在關注線La上設定多個關注點Pal?PaN。在圖17的(b)中，為了便於說明，設定了六個關注點Pal?Pa6(以下，在表示任意的點的情況下，僅稱為關注點Pai)。此外，在關注線La上設定的關注點Pa的個數可以是任意的。在以下的說明中，設為在關注線La上設定了 N個關注點Pa進行說明。
[0112]接著，亮度差計算部37將各參照點Prl?PrN設定成在實際空間中與各關注點Pal?PaN相同的高度。而且，亮度差計算部37計算相同高度的關注點Pa與參照點Pr的亮度差。由此，亮度差計算部37針對沿著在實際空間中的鉛垂方向上延伸的鉛垂虛擬線的多個位置(I?N)中的每個位置計算兩個像素間的亮度差。亮度差計算部37例如計算第一關注點Pal與第一參照點Prl之間的亮度差，計算第二關注點Pa2與第二參照點Pr2之間的亮度差。由此，亮度差計算部37沿著關注線La和參照線Lr連續地求出亮度差。即，亮度差計算部37依次求出第三?第N關注點Pa3?PaN與第三?第N參照點Pr3?PrN的亮度差。
[0113]亮度差計算部37在檢測區域Al內移動關注線La的同時重複執行上述的參照線Lr的設定、關注點Pa和參照點Pr的設定、亮度差的計算這樣的處理。即，亮度差計算部37在實際空間中沿觸地線LI的延伸方向以相同的距離改變關注線La和參照線Lr各自的位置的同時重複執行上述的處理。亮度差計算部37例如將在前次處理中成為參照線Lr的線設定為關注線La，針對該關注線La設定參照線Lr，依次求出亮度差。
[0114]這樣，在第2實施方式中，根據在實際空間中處於大致相同高度的關注線La上的關注點Pa和參照線Lr上的參照點Pr求出亮度差，由此能夠明確地檢測出存在在鉛垂方向上延伸的邊緣的情況下的亮度差。另外，為了進行在實際空間中在鉛垂方向上延伸的鉛垂虛擬線之間的亮度比較，即使通過變換為鳥瞰視點圖像而三維物體與距路面的高度相應地被拉長，也不會影響三維物體的檢測處理，能夠提高三維物體的檢測精度。
[0115]返回圖14，邊緣線檢測部38根據由亮度差計算部37計算出的連續的亮度差來檢測邊緣線。例如在圖17的(b)所示的情況下，第一關注點Pal和第一參照點Prl位於相同的輪胎部分，因此亮度差小。另一方面，第二關注點?第六關注點Pa2?Pa6位於輪胎的橡膠部分，第二參照點?第六參照點Pr2?Pr6位於輪胎的輪輞部分。因而，第二關注點?第六關注點Pa2?Pa6與第二參照點?第六參照點Pr2?Pr6的亮度差變大。因此，邊緣線檢測部38能夠檢測出在亮度差大的第二關注點?第六關注點Pa2?Pa6與第二參照點?第六參照點Pr2?Pr6之間存在邊緣線。
[0116]具體地說，邊緣線檢測部38在檢測邊緣線時，首先依照下述式1，根據第i個關注點Pai (坐標(xi，yi))與第i個參照點Pri (坐標(xi』，yi』))的亮度差來對第i個關注點Pai賦予屬性。
[0117][式I]
[0118]I (xi，yi) > I (xi，，yi，)+t 時
[0119]s(xi, yi) = I
[0120]I (xi，yi) < I (xi，，yi，)_t 時
[0121]s (xi, yi) = -1
[0122]在上述以外的情況時
[0123]s (xi, yi) = 0
[0124]在上述式I中，t表示邊緣閾值，I (xi，yi)表示第i個關注點Pai的亮度值，I (xi』，yi』 )表示第i個參照點Pri的亮度值。根據上述式I，在關注點Pai的亮度值高於參照點Pri加上閾值t得到的亮度值的情況下，該關注點Pai的屬性s(xi，yi)為『I』。另一方面，在關注點Pai的亮度值低於從參照點Pri減去邊緣閾值t得到的亮度值的情況下，該關注點Pai的屬性s (xi，yi)為『 -1』。在關注點Pai的亮度值與參照點Pri的亮度值為除此以外的關係的情況下，關注點Pai的屬性s (xi，yi)為『O』。此外，在本實施方式中，存在由後述的閾值變更部36a變更邊緣閾值t的情況，在由閾值變更部36a變更了邊緣閾值t的情況下，使用通過閾值變更部36a變更後的邊緣閾值t來檢測關注點Pai的屬性s (xi，yi)。
[0125]接著，邊緣線檢測部38基於下述式2，根據沿著關注線La的屬性s的連續性c (xi,yi)判斷關注線La是否為邊緣線。
[0126][式2]
[0127]s (xi, yi) = s (xi+1，yi+1)時(且除了 0 = 0)，
[0128]c(xi, yi) = I
[0129]在上述以外的情況時，
[0130]c (xi, yi) = O
[0131]在關注點Pai的屬性s(xi，yi)與相鄰的關注點Pai+1的屬性s (xi+1，yi+1)相同的情況下，連續性c(xi，yi)為『I』。在關注點Pai的屬性s(xi，yi)與相鄰的關注點Pai+1的屬性s (xi+1，yi+1)不同的情況下，連續性c(xi，yi)為『O』。
[0132]接著，邊緣線檢測部38關於關注線La上的全部關注點Pa的連續性c求出總和。邊緣線檢測部38通過將求出的連續性c的總和除以關注點Pa的個數N，來對連續性c進行標準化。而且，在進行了標準化而得到的值超過閾值Θ的情況下，邊緣線檢測部38將關注線La判斷為邊緣線。此外，閾值Θ是預先通過實驗等設定的值。
[0133]S卩，邊緣線檢測部38基於下述式3判斷關注線La是否為邊緣線。而且，邊緣線檢測部38關於描繪在檢測區域Al上的全部關注線La判斷是否為邊緣線。
[0134][式3]
[0135]Σο(χ?, yi)/N > θ
[0136]這樣，在第2實施方式中，基於關注線La上的關注點Pa與參照線Lr上的參照點Pr的亮度差來對關注點Pa賦予屬性，基於沿著關注線La的屬性的連續性c來判斷該關注線La是否為邊緣線，因此能夠將亮度高的區域與亮度低的區域的邊界檢測為邊緣線，從而按照人的自然的感覺進行邊緣檢測。詳細地說明該效果。圖18是表示對邊緣線檢測部38的處理進行說明的圖像例的圖。該圖像例是表示亮度高的區域和亮度低的區域反覆的條紋圖案的第一條紋圖案101與表示亮度低的區域和亮度高的區域反覆的條紋圖案的第二條紋圖案102相鄰的圖像。另外，該圖像例為第一條紋圖案101的亮度高的區域與第二條紋圖案102的亮度低的區域相鄰，並且第一條紋圖案101的亮度低的區域與第二條紋圖案102的亮度高的區域相鄰。位於該第一條紋圖案101與第二條紋圖案102的邊界的部位103根據人的感覺而傾向於不認為是邊緣。
[0137]與此相對地，由於亮度低的區域與亮度高的區域相鄰，因此如果僅依據亮度差檢測邊緣，則導致該部位103被識別為邊緣。但是，邊緣線檢測部38除了部位103處的亮度差以外，僅在該亮度差的屬性存在連續性的情況下將部位103判斷為邊緣線，因此邊緣線檢測部38能夠抑制將以人的感覺不識別為邊緣線的部位103識別為邊緣線的錯誤判斷，從而能夠按照人的感覺進行邊緣檢測
[0138]返回圖14，三維物體檢測部33a根據由邊緣線檢測部38檢測出的邊緣線的量來檢測三維物體。如上述那樣，本實施方式所涉及的三維物體檢測裝置Ia檢測在實際空間中在鉛垂方向上延伸的邊緣線。檢測出在鉛垂方向上延伸的邊緣線多的情況就是在檢測區域Al、A2存在三維物體的可能性高的情況。因此，三維物體檢測部33a基於由邊緣線檢測部38檢測出的邊緣線的量來檢測三維物體。具體地說，三維物體檢測部33a判斷由邊緣線檢測部38檢測出的邊緣線的量是否為規定的閾值β以上，在邊緣線的量為規定的閾值β以上的情況下，判斷為由邊緣線檢測部38檢測出的邊緣線是三維物體的邊緣線。
[0139]並且，三維物體檢測部33a在檢測三維物體之前，判斷由邊緣線檢測部38檢測出的邊緣線是否為正確的邊緣線。三維物體檢測部33a判斷沿著邊緣線上的鳥瞰視點圖像的邊緣線的亮度變化是否為規定的閾值tb以上。在邊緣線上的鳥瞰視點圖像的亮度變化為閾值tb以上的情況下，判斷為該邊緣線是由於錯誤判斷而檢測出的。另一方面，在邊緣線上的鳥瞰視點圖像的亮度變化小於閾值tb的情況下，判斷為該邊緣線是正確的邊緣線。此夕卜，該閾值tb是通過實驗等預先設定的值。
[0140]圖19是表示邊緣線的亮度分布的圖，圖19的(a)表示在檢測區域Al內存在作為三維物體的鄰近車輛V2時的邊緣線和亮度分布，圖19的(b)表示在檢測區域Al內不存在三維物體時的邊緣線和亮度分布。
[0141]如圖19的(a)所示，設為判斷為在鳥瞰視點圖像中設定於鄰近車輛V2的輪胎橡膠部分的關注線La是邊緣線。在這種情況下，關注線La上的鳥瞰視點圖像的亮度變化平緩。這是由於由攝像機10拍攝到的圖像被視點變換為鳥瞰視點圖像，由此鄰近車輛的輪胎在鳥瞰視點圖像內被拉長。另一方面，如圖19的(b)所示，設為鳥瞰視點圖像中被設定在描繪於路面上的「50」這樣的白色文字部分上的關注線La被錯誤判斷為是邊緣線。在這種情況下，關注線La上的鳥瞰視點圖像的亮度變化為起伏大的變化。這是因為在邊緣線上混雜有白色文字中的亮度高的部分和路面等的亮度低的部分。
[0142]基於如以上那樣的關注線La上的亮度分布的差異，三維物體檢測部33a判斷邊緣線是否為由於錯誤判斷而檢測出的。例如，在將由攝像機10獲取到的攝像圖像變換為鳥瞰視點圖像的情況下，存在該攝像圖像中包含的三維物體以被拉長的狀態出現在鳥瞰視點圖像中的傾向。在如上述那樣在鄰近車輛V2的輪胎被拉長的情況下，由於輪胎這一個部位被拉長，因此形成被拉長的方向上的鳥瞰視點圖像的亮度變化小的傾向。對於此，在將描繪在路面上的文字等錯誤判斷為邊緣線的情況下，在鳥瞰視點圖像中混合包含有文字部分這樣的亮度高的區域和路面部分這樣的亮度低的區域。在這種情況下，在鳥瞰視點圖像中，被拉長的方向的亮度變化有變大的傾向。因此，在沿邊緣線的亮度變化為規定的閾值tb以上的情況下，三維物體檢測部33a判斷為該邊緣線是由於錯誤判斷而檢測出的、該邊緣線不是因三維物體而產生的邊緣線。由此，抑制路面上的「50」這樣的白色文字、路肩的雜草等被判斷為邊緣線，從而抑制三維物體的檢測精度下降。另一方面，在沿著邊緣線的亮度變化小於規定的閾值tb的情況下，三維物體檢測部33a判斷為該邊緣線是三維物體的邊緣線，從而判斷為存在二維物體。
[0143]具體地說，三維物體檢測部33a通過下述式4、式5中的任一個來計算邊緣線的亮度變化。該邊緣線的亮度變化相當於實際空間中的鉛垂方向的評價值。下述式4通過關注線La上的第i個亮度值I (xi，yi)與相鄰的第i+Ι個亮度值I (xi+1，yi+1)的差分的平方的合計值來評價亮度分布。下述式5通過關注線La上的第i個亮度值I (xi，yi)和相鄰的第i+Ι個亮度值I (xi+1，yi+1)的差分的絕對值的合計值來評價亮度分布。
[0144][式4]
[0145]鉛垂對應方向的評價值=Σ[{I(xi，yi)-1(xi + l，yi + 1)}2]
[0146][式5]
[0147]鉛垂對應方向的評價值=Σ |l(xi，yi)-1(xi + l，yi + 1)
[0148]此外，不限於式5，也可以如下述式6那樣，利用閾值t2將相鄰的亮度值的屬性b進行二值化，來將該二值化得到的屬性b關於全部的關注點Pa進行總和。
[0149][式6]
[0150]鉛垂對應方向的評價值=Sb (xi，yi)
[0151]其中，11(xi，yi)-1 (xi+1, yi+1) I > t2 時，
[0152]b (xi, yi) = I
[0153]在上述以外的情況時，
[0154]b (xi, yi) = O
[0155]在關注點Pai的亮度值與參照點Pri的亮度值的亮度差的絕對值大於閾值t2的情況下，該關注點Pa (xi，yi)的屬性b(xi，yi)為『I』。在除此以外的關係的情況下，關注點Pai的屬性b(xi，yi)為『O』。該閾值t2是為了判斷關注線La不在相同的三維物體上而通過實驗等預先設定的。而且，三維物體檢測部33a將關於關注線La上的全部關注點Pa的屬性b進行總和來求出鉛垂對應方向的評價值，由此判斷邊緣線是否為因三維物體而產生的邊緣線、是否存在三維物體。
[0156]並且，三維物體檢測部33a基於所檢測出的三維物體的邊緣來計算三維物體的移動速度。對三維物體檢測部33a計算三維物體的移動速度的方法不作特別地限定，例如，三維物體檢測部33a能夠如下那樣計算三維物體的移動速度。即，三維物體檢測部33a基於根據與檢測區域Al、A2相當的部分而檢測出的邊緣線來生成一維的邊緣波形EWt。例如，與第I實施方式中的差分波形DWt的生成同樣地，三維物體檢測部33a沿著因視點變換而三維物體傾倒的方向，對與邊緣線對應的像素數進行計數並進行頻數分布化，由此生成一維的邊緣波形EDt。然後，三維物體檢測部33a基於當前的時刻的邊緣波形EWt和前一時刻的邊緣波形EWw來計算三維物體的移動速度。即，邊緣車速計算部43根據邊緣波形EW t、Efft^1的時間變化來計算規定時間內的三維物體的移動距離，通過對所計算出的三維物體的移動距離進行時間微分，來計算三維物體相對於本車輛Vl的移動速度。
[0157]在由夜間判斷部34判斷為是夜間且由光源檢測部35沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，為了防止將附著於鏡頭的泥等異物錯誤檢測為鄰近車輛V2，閾值變更部36a變更用於檢測三維物體的邊緣閾值t。具體地說，與第I實施方式同樣地，閾值變更部36將由三維物體檢測部33計算出的三維物體的移動速度與本車輛Vl的移動速度進行比較，在三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值的情況下，將邊緣閾值th變更為高的值。
[0158]接著，參照圖20對第2實施方式所涉及的鄰近車輛檢測方法進行說明。圖20是表示第2實施方式所涉及的鄰近車輛檢測方法的詳細內容的流程圖。此外，該鄰近車輛檢測處理與後述的白濁度計算處理並行執行。另外，在圖20中，為了方便而說明以檢測區域Al為對象的處理，但關於檢測區域A2也執行相同的處理。
[0159]在步驟S301中，由攝像機10進行由視角a和安裝位置確定的規定區域的拍攝，由計算機30a獲取由攝像機10拍攝到的攝像圖像P的圖像數據。接著，視點變換部31在步驟S302中針對獲取到的圖像數據進行視點變換，來生成鳥瞰視點圖像數據。
[0160]接著，亮度差計算部37在步驟S303中在檢測區域Al上設定關注線La。此時，亮度差計算部37將與在實際空間中在鉛垂方向上延伸的線相當的線設定為關注線La。接著，亮度差計算部37在步驟S304中在檢測區域Al上設定參照線Lr。此時，亮度差計算部37將與實際空間中在鉛垂方向延伸的線段相當且在實際空間中與關注線La相距規定距離的線設定為參照線Lr。
[0161]接著，亮度差計算部37在步驟S305中在關注線La上設定多個關注點Pa。此時，亮度差計算部37設定在邊緣線檢測部38檢測邊緣時不會成為問題的程度的個數的關注點Pa。另外，在步驟S306中，亮度差計算部37將參照點Pr設定成在實際空間中關注點Pa和參照點Pr處於大致相同的高度。由此，關注點Pa和參照點Pr在大致水平方向上排列，容易檢測在實際空間中在鉛垂方向上延伸的邊緣線。
[0162]接著，在步驟S307中，亮度差計算部37計算在實際空間中處於相同高度的關注點Pa與參照點Pr的亮度差。然後，邊緣線檢測部38基於由亮度差計算部37計算出的亮度差，依照上述式I計算各關注點Pa的屬性S。此外，在本實施方式中，使用用於檢測三維物體的邊緣的邊緣閾值t計算各關注點Pa的屬性S。存在該邊緣閾值t在後述的閾值變更處理中被變更的情況，在邊緣閾值t被變更的情況下，在該步驟S307中使用變更後的邊緣閾值。
[0163]接著，在步驟S308中，邊緣線檢測部38依照上述式2計算各關注點Pa的屬性s的連續性C。然後，在步驟S309中，邊緣線檢測部38依照上述式3，判斷將連續性c的總和標準化得到的值是否大於閾值Θ。而且，在判斷為標準化得到的值大於閾值Θ的情況下(步驟S309 =是)，在步驟S310中，邊緣線檢測部38將該關注線La檢測為邊緣線。然後，處理轉移到步驟S311。在判斷為標準化得到的值不大於閾值Θ的情況下(步驟S309 =否)，邊緣線檢測部38不將該關注線La檢測為邊緣線，處理轉移到步驟S311。
[0164]在步驟S311中，計算機30a判斷是否關於檢測區域Al上可設定的全部關注線La執行了上述的步驟S303?步驟S310的處理。在判斷為尚未關於全部的關注線La進行上述處理的情況下(步驟S311 =否)，將處理返回步驟S303，重新設定關注線La，並重複進行步驟S311為止的處理。另一方面，在判斷為關於全部的關注線La進行了上述處理的情況下(步驟S311 =是)，處理轉移到步驟S312。
[0165]在步驟S312中，三維物體檢測部33a關於在步驟S310中檢測出的各邊緣線計算沿著該邊緣線的亮度變化。三維物體檢測部33a依照上述式4、式5、式6中的任一個來計算邊緣線的亮度變化。接著，在步驟S313中，三維物體檢測部33a去除邊緣線中的亮度變化為規定的閾值tb以上的邊緣線。即，判斷為亮度變化大的邊緣線不是正確的邊緣線，在檢測三維物體時不使用該邊緣線。這是為了抑制如上述那樣檢測區域Al中包含的路面上的文字、路肩的雜草等被檢測為邊緣線的情形。因而，規定的閾值tb是指預先通過實驗等求出的基於因路面上的文字、路肩的雜草等產生的亮度變化而設定的值。另一方面，三維物體檢測部33a將邊緣線中的亮度變化小於規定的閾值tb的邊緣線判斷為三維物體的邊緣線，由此，檢測以鄰近車輛方式存在的三維物體。
[0166]接著，在步驟S314中，由三維物體檢測部33a進行邊緣線的量是否為規定的閾值β以上的判斷。在此，閾值β是預先通過實驗等求出並設定的值，例如在設定四輪車作為檢測對象的三維物體的情況下，預先通過實驗等根據在檢測區域Al內出現的四輪車的邊緣線的個數來設定該閾值β。在判斷為邊緣線的量為閾值β以上的情況下(步驟S314=是)，三維物體檢測部33a判斷為在檢測區域Al內存在三維物體，進入步驟S315，判斷為存在鄰近車輛。另一方面，在判斷為邊緣線的量不為閾值β以上的情況下(步驟S314 =否)，三維物體檢測部33a判斷為在檢測區域Al內不存在三維物體，進入步驟S316，判斷為在檢測區域Al內不存在鄰近車輛。
[0167]接著，參照圖21說明第2實施方式所涉及的閾值變更處理。此外，與第I實施方式同樣地，第2實施方式所涉及的閾值變更處理也與圖20所示的鄰近車輛檢測處理並行進行。另外，關於第2實施方式所涉及的閾值變更處理，即使在鏡頭上附著有泥等異物的情況下，也變更用於檢測三維物體的邊緣閾值t，使得能夠恰當地檢測鄰近車輛V2。因此，在該閾值變更處理中被變更的邊緣閾值t在圖20所示的鄰近車輛檢測處理中檢測鄰近車輛V2的邊緣時被使用。此外，圖21是表示第2實施方式所涉及的閾值變更處理的流程圖。
[0168]如圖21所示，在步驟S401?S404中，進行與第I實施方式的步驟S201?S204相同的處理。即，首先判斷是否為夜間，在判斷為是夜間的情況下(步驟S401 =是)，在圖11所示的光源檢測區進行對與鄰近車輛V2的車頭燈對應的光源的檢測(步驟S402)。然後，在沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下(步驟S403 =否)，獲取本車輛Vl的移動速度(步驟S404)。另外，在沒有判斷為是夜間(步驟S401 =否)或者檢測出與鄰近車輛V2的車頭燈對應的光源的情況下(步驟S403 =是)，進入步驟S408。
[0169]然後，在步驟S405中，通過三維物體檢測部33a計算所檢測出的三維物體的移動速度。具體地說，三維物體檢測部33a基於三維物體的邊緣線生成一維的邊緣波形EWt，根據邊緣波形EWt、EWw的時間變化計算規定時間內的三維物體的移動距離，通過對計算出的三維物體的移動距離進行時間微分，計算三維物體的移動速度。
[0170]在步驟S406中，由閾值變更部36a進行本車輛Vl的移動速度與三維物體的移動速度的比較，判斷三維物體的移動速度是否為本車輛Vl的移動速度以下或者判斷三維物體的移動速度與本車輛的移動速度之差是否小於規定值△ V。在滿足任一方的情況下，判斷為由三維物體檢測部33a檢測出的三維物體不是要超越本車輛Vl的鄰近車輛V2，將邊緣閾值t的值變更為高的值(步驟S407)。另一方面，在雙方均不滿足的情況下，判斷為由三維物體檢測部33檢測出的三維物體是要超越本車輛Vl的鄰近車輛V2，為了恰當地檢測這種鄰近車輛V2，將鄰近車輛V2的值恢復為原來的值(步驟S408)。
[0171]這樣，在第2實施方式中，在檢測鄰近車輛V2的邊緣並基於該邊緣進行鄰近車輛V2的檢測時，在由夜間判斷部34判斷為是夜間且由光源檢測部35沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，當三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值△ V時，將邊緣閾值t變更為高的值使得抑制三維物體的檢測。由此，在第2實施方式中，除了第I實施方式的效果以夕卜，即使在基於邊緣檢測鄰近車輛V2時鏡頭上附著有泥等異物的情況下，也能夠有效地防止將這種異物錯誤檢測為鄰近車輛V2，從而能夠恰當地檢測鄰近車輛V2。
[0172]此外，以上說明的實施方式是為了容易地理解本發明而記載的，而並非為了限定本發明而記載的。因而，宗旨在於上述實施方式所公開的各要素還包括屬於本發明的保護範圍的所有設計變更、等價物。
[0173]例如，在上述實施方式中例示了以下結構:在判斷為是夜間且沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，當三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值時，將差分閾值th或者邊緣閾值t變更為高的值，但並不限定於該結構，例如也可以設為以下結構:代替差分閾值th、邊緣閾值t，或者除差分閾值th、邊緣閾值t以外還將用於檢測三維物體的閾值α、閾值β變更為高的值，還可以設為將用於檢測邊緣線的閾值Θ、閾值t2變更為高的值的結構。由此，即使在攝像機10的鏡頭上附著有泥等異物的情況下，也能夠有效地防止將泥等異物錯誤檢測為鄰近車輛V2。另外，也可以設為以下結構:代替將差分閾值th或者邊緣閾值t變更為高的值，而將從攝像機10輸出的像素值(或者亮度值)變低。在這種情況下，難以檢測差分像素DP、邊緣，因此能夠抑制三維物體(鄰近車輛V2)的檢測，能夠有效地防止將泥等異物錯誤檢測為鄰近車輛V2。
[0174]並且，在上述實施方式中例示了以下結構:在三維物體的移動速度滿足規定的條件的情況下將三維物體檢測為鄰近車輛V2，但例如也可以設為以下結構:代替將差分閾值th或者邊緣閾值t變更為高的值，而通過上述使條件變得嚴苛來抑制鄰近車輛V2的檢測。例如，在上述實施方式中也能夠設為以下結構:在三維物體的絕對移動速度為10km/h以上且三維物體相對於本車輛Vl的相對移動速度為+60km/h以下的情況下將三維物體判斷為鄰近車輛V2，但在判斷為是夜間且沒有檢測出與鄰近車輛V2的車頭燈對應的光源的情況下，當三維物體的移動速度為本車輛Vl的移動速度以下或者三維物體的移動速度與本車輛的移動速度之差小於規定值時、例如當三維物體的絕對移動速度為20km/h以上且三維物體相對於本車輛Vl的相對移動速度為+50km/h以下時，判斷為三維物體是鄰近車輛V2。
[0175]另外，除了上述實施方式以外，還能夠設為以下結構:具備用於檢測附著於鏡頭的異物的異物檢測部，由此基於該異物檢測部的檢測結果來判斷鏡頭上是否附著有泥等異物，在判斷為鏡頭上附著有泥等異物的情況下，進行上述的閾值變更處理。在此，圖22和圖23是用於說明檢測附著於鏡頭的異物的方法的圖。
[0176]具體地說，如圖22所示，通過異物檢測部對在規定的第一定時tl生成的差分波形DWt執行用於使高頻成分截止或者衰減的低通濾波(高通濾波)處理。這樣，通過對差分波形DWt進行低通濾波處理，能夠將差分波形DW t平滑化、平均化。即，通過對差分波形DW ,進行低通濾波處理，能夠在差分波形DWt中去除能夠判斷為噪聲的小的極大值，使示出比較大的變化的極大值變得明顯，從而能夠抽出所獲取到的圖像信息的特徵。其結果，能夠使由於存在附著於鏡頭的異物而產生的差分波形DWt的極大值變得明顯，從而能夠抽出與異物對應的圖像信息的特徵。
[0177]接著，如圖23所示，由異物檢測部計算低通濾波處理後的差分波形DWt的極大值，來作為基準頻數，基於該基準頻數來設定用於判斷異物的判斷範圍。例如，異物檢測部將對基準頻數加上規定的餘裕值而得到的值起至從基準頻數減去規定的餘裕值而得到的值為止的範圍設定為判斷範圍。此外，基準頻數並不限定於低通濾波處理後的差分波形DWt的極大值，例如能夠基於比差分波形DWt的極大值大規定值的值等、低通濾波處理後的差分波形DWt的極大值來計算基準頻數。
[0178]而且，異物檢測部如圖23所示那樣獲取在第一定時tl之後的一個或者多個第二定時t2新生成的差分波形DWt的極大值，來作為評價頻數，對判斷為鳥瞰視點圖像上的位置相同的評價頻數與基準頻數的差分在判斷範圍內的次數進行累加。然後，異物檢測部在預先定義的規定的觀察時間內重複進行上述異物檢測處理，在進行累加得到的次數為規定次數tc以上的情況下，將包含與導出該累加的結果的評價頻數對應的像素的圖像判斷為附著於鏡頭的異物。
[0179]這樣，通過異物檢測部對在鳥瞰視點圖像上判斷為評價頻數與基準頻數的差分在判斷範圍內的次數進行累加，由此能夠檢測出附著於鏡頭的泥等粘附於鏡頭且不移動的異物。這樣，通過僅在檢測出異物的情況下進行上述閾值變更處理，能夠減輕鏡頭上沒有附著異物時的處理負擔。
[0180]另外，還能夠基於邊緣信息進行異物檢測部的異物檢測處理。異物檢測部從在一個或者多個第一定時由三維物體檢測部33生成的包含邊緣線的信息的邊緣信息中抽出第一極大值，並且基於該第一極大值獲取基準邊緣長度。在邊緣線的信息中包含示出規定閾值以上的亮度差且具有規定的連續性的邊緣的長度的信息(包含像素的個數)。另外，異物檢測部從在第一定時之後的一個或者多個第二定時新生成的邊緣信息中抽出在鳥瞰視點圖像上與第一極大值對應的第二極大值，並且基於該第二極大值獲取評價邊緣長度。然後，基於評價邊緣長度與基準邊緣長度的差分的隨時間的變化來檢測鏡頭上是否附著有異物。「隨時間的變化」的意思與基於差分波形信息的處理中的「隨時間的變化」的意思相同。
[0181]異物檢測部在判斷為評價邊緣長度與基準邊緣長度的差分的隨時間的變化的程度在規定的判斷範圍以內的情況下，將包含與評價邊緣長度對應的像素的圖像判斷為由附著於鏡頭的異物形成的圖像，檢測鏡頭上附著有異物的情況。
[0182]具體地說，異物檢測部對在第一定時生成的包含邊緣線的信息的邊緣信息至少進行利用帶通濾波器的信號處理，基於該信號處理後的「基準邊緣信息的極大值」來獲取「基準邊緣長度」。然後，基於在第一定時之後的一個或者多個第二定時新生成的邊緣信息的極大值來獲取「評價邊緣長度」，基於判斷為鳥瞰視點圖像上的位置相同的評價邊緣長度與基準邊緣長度的差分在「規定的判斷範圍」內的次數，將包含與評價邊緣長度對應的像素的圖像判斷為由附著於鏡頭的異物形成的圖像。能夠在預先定義的規定的評價時間內進行該判斷。能夠將低通濾波器用作帶通濾波器這一點及其作用和效果、與異物的檢測狀態相應地變更帶通濾波器的截止和衰減頻帶這一點及其作用和效果與上述的說明相同，因此引用其說明。基於邊緣信息的異物檢測處理中的「基準邊緣信息」與上述「基準差分波形信息」對應，該「基準邊緣長度」與上述「基準值」對應，該「評價邊緣長度」與上述「評價對象值」對應，用於評價該「評價邊緣長度」的「規定的判斷範圍」與用於評價利用上述基準波形信息的處理中的「評價對象值」的「規定的判斷範圍」對應。
[0183]另外，在上述實施方式中，例示了夜間判斷部34基於由攝像機10拍攝到的攝像圖像來判斷是否為夜間的結構，但並不限定於該結構，例如也可以設為基於時刻等來判斷是否為夜間的結構。
[0184]此外，上述實施方式的攝像機10相當於本發明的攝像單元，車速傳感器20相當於本發明的本車速度檢測單元，視點變換部31相當於本發明的圖像變換單元，對位部32、三維物體檢測部33、33a、亮度差計算部37以及邊緣線檢測部38相當於本發明的三維物體檢測單元，夜間判斷部34相當於本發明的夜間判斷單元，光源檢測部35相當於本發明的光源檢測單元，閾值變更部36、36a相當於本發明的控制單元。
[0185]附圖標記說曰月
[0186]Ula:三維物體檢測裝置；10:攝像機；20:車速傳感器；30、30a:計算機；31:視點變換部；32:對位部；33、33a:三維物體檢測部；34:夜間判斷部；35:光源檢測部；36、36a:閾值變更部；37:亮度差計算部；38:邊緣線檢測部；a:視角；A1、A2:檢測區域；CP:交點；DP:差分像素!Dff0Dff/:差分波形；Dfftl~ DWm、DWm+k?Dff tn:小區域;L1、L2:觸地線;La、Lb:三維物體傾倒方向上的線；P:攝像圖像；PBt:鳥瞰視點圖像；PDt:差分圖像；V1:本車輛；V2:鄰近車輛。
【權利要求】
1.一種三維物體檢測裝置，其特徵在於，具備: 攝像單元，其具備使本車輛後方的影像成像的鏡頭； 三維物體檢測單元，其基於由上述攝像單元獲得的攝像圖像來檢測存在於規定的檢測區域的三維物體，計算上述三維物體的移動速度； 本車速度檢測單元，其檢測本車輛的移動速度； 光源檢測單元，其在包括上述檢測區域的規定的光源檢測區域中檢測與上述其它車輛的車頭燈對應的車頭燈光源；以及 控制單元，其進行以下控制處理:在由上述光源檢測單元沒有檢測出上述車頭燈光源的情況下，將上述三維物體的移動速度與上述本車輛的移動速度進行比較，在上述三維物體的移動速度為上述本車輛的移動速度以下或者上述三維物體的移動速度與上述本車輛的移動速度之差小於規定值的情況下，抑制檢測出上述三維物體。
2.根據權利要求1所述的三維物體檢測裝置，其特徵在於， 還具備判斷是否為夜間的夜間判斷單元， 在由上述夜間判斷單元判斷為是夜間的情況下，上述控制單元進行上述控制處理。
3.根據權利要求1或2所述的三維物體檢測裝置，其特徵在於， 上述三維物體檢測單元具有圖像變換單元，該圖像變換單元將由上述攝像單元獲得的上述攝像圖像視點變換為鳥瞰視點圖像， 上述三維物體檢測單元將由上述圖像變換單元獲得的不同時刻的鳥瞰視點圖像的位置以鳥瞰視點進行對位，在該對位後的鳥瞰視點圖像的差分圖像上對示出規定的差分的像素數進行計數並進行頻數分布化，由此生成差分波形信息，基於該差分波形信息檢測上述三維物體，並且基於上述差分波形信息的波形的時間變化計算上述三維物體的移動速度。
4.根據權利要求3所述的三維物體檢測裝置，其特徵在於， 上述三維物體檢測單元在上述差分圖像上對示出規定的第一閾值以上的差分的像素數進行計數並進行頻數分布化，由此生成上述差分波形信息，在該差分波形信息的峰值為規定的第二閾值以上的情況下，基於上述差分波形信息檢測上述三維物體， 上述控制單元通過將上述第一閾值或者上述第二閾值變更為高的值來抑制檢測出上述三維物體。
5.根據權利要求3或4所述的三維物體檢測裝置，其特徵在於， 在上述三維物體檢測單元生成上述差分波形信息時，上述控制單元使上述三維物體檢測單元將在上述差分圖像上對示出規定的差分的像素數進行計數並進行頻數分布化得到的值輸出得低，由此抑制檢測出上述三維物體。
6.根據權利要求3?5中的任一項所述的三維物體檢測裝置，其特徵在於， 還具備異物檢測單元，該異物檢測單元從由上述三維物體檢測單元在一個或者多個第一定時生成的差分波形信息抽出第一極大值，並且基於所抽出的該第一極大值獲取基準值，從在上述第一定時之後的一個或者多個第二定時新生成的差分波形信息抽出在上述鳥瞰視點圖像上與上述第一極大值對應的第二極大值，並且基於該第二極大值獲取評價對象值，基於上述評價對象值與上述基準值的差分的經時變化來檢測上述鏡頭上是否附著有異物， 僅在上述異物檢測單元檢測出附著於上述鏡頭的異物的情況下，上述控制單元抑制檢測出上述三維物體。
7.根據權利要求1或2所述的三維物體檢測裝置，其特徵在於， 上述三維物體檢測單元具有圖像變換單元，該圖像變換單元將由上述攝像單元獲得的上述攝像圖像視點變換為鳥瞰視點圖像， 上述三維物體檢測單元根據由上述圖像變換單元獲得的上述鳥瞰視點圖像來檢測邊緣信息，基於該邊緣信息檢測上述三維物體，並且基於上述邊緣信息的時間變化計算上述三維物體的移動速度。
8.根據權利要求7所述的三維物體檢測裝置，其特徵在於， 上述三維物體檢測單元根據上述鳥瞰視點圖像檢測相鄰的像素區域的亮度差為規定的第一閾值以上的邊緣成分，在基於該邊緣成分的上述邊緣信息的量為規定的第二閾值以上的情況下，上述三維物體檢測單元基於上述邊緣信息檢測上述三維物體， 上述控制單元通過將上述第一閾值或者上述第二閾值變更為高的值來抑制上述三維物體的檢測。
9.根據權利要求7或8所述的三維物體檢測裝置，其特徵在於， 在上述三維物體檢測單元檢測上述邊緣信息時，上述控制單元使上述三維物體檢測單元將上述邊緣信息輸出得低，由此抑制上述三維物體的檢測。
10.根據權利要求7?9中的任一項所述的三維物體檢測裝置，其特徵在於， 還具備異物檢測單元，該異物檢測單元從在一個或者多個第一定時由上述三維物體檢測單元生成的包含上述邊緣線的信息的邊緣信息抽出第一極大值，基於該第一極大值獲取基準邊緣長度，從在上述第一定時之後的一個或者多個第二定時新生成的邊緣信息抽出在上述鳥瞰視點圖像上與上述第一極大值對應的第二極大值，並且基於該第二極大值獲取評價邊緣長度，基於上述評價邊緣長度與上述基準邊緣長度的差分的經時變化來檢測上述鏡頭上是否附著有異物， 僅在上述異物檢測單元檢測出附著於上述鏡頭的異物的情況下，上述控制單元抑制檢測出上述三維物體。
11.根據權利要求1?10中的任一項所述的三維物體檢測裝置，其特徵在於， 上述光源檢測單元在上述光源檢測區域中反覆檢測上述光源，在規定時間內檢測出上述車頭燈光源的情況下，輸出檢測出上述車頭燈光源的意思的檢測結果，在上述規定時間內沒有檢測出上述車頭燈光源的情況下，輸出沒有檢測出上述車頭燈光源的意思的檢測結果O
12.根據權利要求2?11中的任一項所述的三維物體檢測裝置，其特徵在於， 上述夜間判斷單元反覆進行通過在與上述光源檢測區域不同的區域內檢測光源來判斷是否為夜間的夜間判斷處理，在規定判斷時間內能夠檢測出規定量以上的光源的情況下判斷為是夜間。
13.—種三維物體檢測方法，將拍攝本車輛後方而得到的攝像圖像視點變換為鳥瞰視點圖像，根據不同時刻的上述鳥瞰視點圖像來生成差分波形信息，基於該差分波形信息檢測存在於規定的檢測區域的三維物體，並且根據上述差分波形信息的波形的時間變化計算上述三維物體的移動速度，由此判斷上述三維物體是否為其它車輛，該三維物體檢測方法的特徵在於， 在包括上述檢測區域的規定的光源檢測區域中檢測與上述其它車輛的車頭燈對應的車頭燈光源，並且判斷是否為夜間，在判斷為是夜間且沒有檢測出上述車頭燈光源的情況下，將上述三維物體的移動速度與上述本車輛的移動速度進行比較，在上述三維物體的移動速度為上述本車輛的移動速度以下或者上述三維物體的移動速度與上述本車輛的移動速度之差小於規定值的情況下，抑制基於上述差分波形信息檢測出上述三維物體或者抑制將上述三維物體判斷為上述其它車輛。
14.一種三維物體檢測方法，將拍攝本車輛後方而得到的攝像圖像視點變換為鳥瞰視點圖像，根據上述鳥瞰視點圖像檢測邊緣信息，基於該邊緣信息檢測存在於規定的檢測區域的三維物體，並且根據上述邊緣信息的時間變化計算上述三維物體的移動速度，由此基於上述邊緣信息判斷上述三維物體是否為其它車輛，該三維物體檢測方法的特徵在於， 根據上述邊緣信息的時間變化來計算上述三維物體的移動速度，在包括上述檢測區域的規定的光源檢測區域中檢測與上述其它車輛的車頭燈對應的車頭燈光源，並且判斷是否為夜間，在判斷為是夜間且沒有檢測出上述車頭燈光源的情況下，將上述三維物體的移動速度與上述本車輛的移動速度進行比較，在上述三維物體的移動速度為上述本車輛的移動速度以下或者上述三維物體的移動速度與上述本車輛的移動速度之差小於規定值的情況下，抑制基於上述邊緣信息檢測出上述三維物體或者抑制將上述三維物體判斷為上述其它車輛。
【文檔編號】B60R1/00GK104509100SQ201380040042
【公開日】2015年4月8日 申請日期:2013年7月25日 優先權日:2012年7月27日
【發明者】深田修, 早川泰久 申請人:日產自動車株式會社