目標探測裝置的製作方法

2023-04-27 16:00:31 3

專利名稱：目標探測裝置的製作方法
技術領域：
本發明涉及一種用於探測目標的目標探測裝置。
背景技術：
傳統上，日本專利申請公布No. 2008-276308 (JP-A-2008-276308)、日本專利申請公布No. 2008-238927 (JP-A-2008-238927)等中所描述的裝置可以被用於探測目標。 JP-A-2008-276308描述了一種視頻處理裝置，其探測來自安裝在可移動主體上的成像元件所捕捉的視頻的光流。上述視頻處理裝置包括計算單元，其用於將視頻中所包含的幀劃分為多個區並且計算每個區在不同條件下的光流；以及參數確定單元，其根據所述可移動主體的狀態來至少改變幀劃分的模式或條件。該裝置改變目標幀和基準幀之間的幀間隔，用於根據待探測目標處於短距離還是長距離來探測光流。當使用上述裝置來探測目標時，目標圖像在橫向方向上進行相當大地移動的情況下，諸如當目標在橫向方向上距離圖像中心很遠時或者當可移動主體要進行大轉向時，光流的量值將意外地增大。因此，在這種情況下探測目標的精確度會降低。此外，JP-A-2008-238927中所描述的裝置基於塊匹配方法來探測移動目標，所述塊匹配方法使用廣角相機在不同時間分別捕捉的圖像來計算所捕捉圖像的每個塊的運動矢量。當像利用上述裝置那樣使用圖像的運動矢量(位移)來探測目標時，在這樣的目標在圖像中不明顯的情況下難以探測到目標。然而，在廣角相機所捕捉的廣角圖像中，中心區域的圖像面積相對於中心區域中所捕捉的空間尺寸小。因此，目標的移動難以在圖像的中心區域中顯現，並且基於圖像運動矢量來探測目標的精度會降低。

發明內容
本發明提供了一種在不考慮在圖像中的目標的位置的情況下能夠以高精確度來探測目標的目標探測裝置。本發明的一個方面提供了一種目標探測裝置，其包括成像單元，其安裝在可移動主體上；目標探測單元，其計算所述成像單元在不同時間所捕捉的兩個圖像之間的局部圖像的圖像位移，並且至少基於所述圖像位移來執行用於從圖像探測目標的探測處理；以及控制單元，其基於所述可移動主體的橫向方向的圖像中的位置而改變所述探測處理的執行方式。利用本發明的一個方面，通過根據橫向方向上的圖像中的位置而以適當方式執行從圖像探測目標。因此，在不考慮目標在圖像中的位置的情況下可以以高精確度來探測目標。在本發明的一個方面中，所述控制單元可以基於橫向方向上的圖像中的位置而改變兩個圖像的時間間隔。這裡，所述控制單元可以隨著橫向方向上的圖像中的位置和橫向方向上的圖像中心位置之間的位置偏移增加而縮短所述時間間隔。
禾Ij用之前的配置，可以基於橫向方向上的圖像中的位置來設定適當的時間間隔並且以高精確度來計算圖像位移。因此，探測目標時的精確度被提高。除了之前的配置之外，可以包括探測移動目標的轉向狀態的轉向狀態探測單元， 並且所述控制單元基於轉向狀態而改變時間間隔。這裡，所述控制單元隨著可移動主體的轉向半徑的減小而可以縮短所述時間間隔。利用之前的配置，可以基於轉向狀態而設定適當的時間間隔並且以高精確度來計算圖像位移。因此，探測目標的精確度被提高。在之前的配置中，所述控制單元基於橫向方向上的圖像中的位置的瞬時變化而改變所述時間間隔。這裡，所述控制單元可以隨著所述瞬時變化的增加而縮短所述時間間隔。利用之前的配置，可以根據橫向方向上的圖像中的位置的瞬時變化而設定適當的時間間隔並且以高精確度來計算圖像位移。因此，探測目標的精確度被提高。在本發明的一個方面中，所述目標探測單元可以基於目標的形狀來執行第一探測處理以探測所述目標，並且基於圖像位移來執行第二探測處理以探測所述目標，並且所述控制單元基於橫向方向上的圖像中的位置而改變所述第一探測處理和第二探測處理的執行方式。利用之前的配置，所述第一探測處理和第二探測處理的執行方式基於橫向方向上的圖像中的位置而改變。接著，根據改變的方式使用第一探測處理和/或第二探測處理來探測目標。結果，可以通過向第一探測處理給予優先級來執行目標探測，所述第一探測處理基於圖像中難以顯現目標移動的區域中的目標形狀來探測目標，並且可以通過向第二探測處理給予優先級來執行目標探測，所述第二探測處理基於圖像被相當大地失真的區域中的圖像位移來探測目標。如上所述，利用之前的配置，在不考慮其在圖像中的位置的情況下能夠以高精確度來探測目標，並且即使其是其中圖像會失真的廣角圖像，也能夠跨越整個圖像以高精確度來探測目標。在以上的配置中，所述控制單元可以基於橫向方向上的圖像中的位置而在所述第一探測處理和第二探測處理之間進行切換。利用該配置，由於根據橫向方向上的圖像中的位置來簡單地切換第一探測處理和第二探測處理，所以可以容易地改變探測處理的方式。 此外，在這種配置中，所述控制單元可以基於橫向方向上的圖像中的位置而設定要經受第一探測處理的第一探測區域以及要經受第二探測處理的第二探測區域。利用該配置，由於基於橫向方向上的圖像中的位置來設定第一探測區域和第二探測區域，所以這兩個探測區域可以利用高精確度而進行設定。在之前的配置中，所述控制單元可以確定橫向方向上的圖像中的位置與橫向方向上的圖像中心位置之間的位置偏移是否小於第一閾值，可以在其中位置偏移小於第一閾值的第一探測區域中執行第一探測處理，並且在其中位置偏移等於或大於第一閾值的第二探測區域中執行第二探測處理。利用該配置，作為根據橫向方向上的圖像中的位置與橫向方向上的圖像中心位置之間的位置偏移而在第一探測處理和第二探測處理之間進行切換的結果，可以通過分別以適合於圖像中心和圖像外圍的方式執行探測處理來探測目標。在之前的配置中，所述控制單元可以計算圖像的光流，並且可以基於所述光流的量值而在所述第一探測處理和第二探測處理之間進行切換。
利用該配置，作為根據在圖像的各個位置處所觀察到的光流而在第一探測處理和第二探測處理之間進行切換的結果，可以通過以適合於圖像中的位置的方式執行探測處理來探測目標。除了之前的配置之外，可以包括探測可移動主體的轉向狀態的轉向狀態探測單元，並且所述控制單元可以基於所述轉向狀態而在第一探測處理和第二探測處理之間進行切換。如果安裝有成像單元的可移動主體的行進方向左右地偏移，則圖像中難以顯現圖像位移的區域也將也將左右地偏移。因此，利用該配置，作為根據可移動主體的轉向狀態 (行進方向)而在第一探測處理和第二探測處理之間進行切換的結果，可以通過以適合於圖像中的位置的方式執行探測處理來探測目標。在之前的配置中，所述控制單元可以基於橫向方向上的圖像中的位置而設定第一目標探測處理的貢獻度和第二目標探測處理的貢獻度。利用該配置，可以根據橫向方向上的圖像中的位置而改變各個貢獻水平(目標探測的優先程度)，來跨越整個圖像以高精確度探測目標。


本發明之前和其他的目標、特徵和優勢將通過參考附圖對示例性實施例所進行的描述而變得顯而易見，其中相同的附圖標記被用於表示相同的元件，其中圖1是根據本發明第一實施例的目標探測裝置的配置圖；圖2是示出根據本發明第一實施例的目標探測裝置中的控制處理的流程圖；圖3是示出由相機所捕捉的圖像示例的示意圖；圖4A和4B是用於計算幀間隔的示意圖示例；圖5A和5B是用於計算幀間隔的示意圖示例；圖6是示意性示出圖像幀的幀間隔的示意圖；圖7是根據本發明第二實施例的周圍監視系統的配置圖；圖8是用於獲得車輛後部圖像的相機所捕捉的圖像示例；圖9是圖8的圖像中的圖形識別探測區域的圖像；圖10是圖8的圖像中的光流探測區域的圖像；圖11是用於獲得車輛後部圖像的相機在車輛轉向時所捕捉的圖像示例；圖12是示出圖7的電子控制單元(ECU)中的處理流程的流程圖；圖13是根據本發明第三實施例的周圍監視系統的配置圖；圖14是用於獲得車輛後部圖像的相機所捕捉的圖像示例，並且是示出所捕捉圖像中的光流的圖像；以及圖15是示出圖13的E⑶中的處理流程的流程圖。
具體實施例方式現在參考附圖來詳細解釋根據本發明的目標探測裝置的實施例。順便提及，對各個附圖中的相同或相應元件給予相同的附圖標記，並且省略了對其冗餘的解釋。首先，對根據本發明第一實施例的目標探測裝置101的配置進行解釋。圖1是根據本發明第一實施例的目標探測裝置101的配置圖。目標探測裝置101是具有計算所捕捉圖像的光流並且基於計算結果探測目標的功能的裝置。如圖1所示，目標探測裝置101包括E⑶201、毫米波雷達300和相機400。目標探測裝置101被安裝在作為可移動主體的車輛上。毫米波雷達300是通過使用毫米帶的無線電波來探測目標的雷達傳感器。毫米波雷達300安裝在車輛的前部中心。此外，毫米波雷達300被安裝在使得能夠探測到諸如障礙物的要被探測的目標的高度。毫米波雷達300在掃描車輛橫向方向的同時傳送車輛前方的毫米波，並且接收從目標所反射的毫米波。在車輛垂直方向傳送毫米波的角度是固定的，並且在車輛停止時被設定為與道路表面平行的角度。毫米波雷達300向ECU 201發送毫米波信號，所述毫米波信號包含來自所接收的毫米波被反射的各個反射點的毫米波信息(橫向方向的掃描方位角、傳輸時間、接收時間、反射強度等)。例如，如果車輛前部處於圖3所示的狀態，則毫米波雷達300可以通過探測到探測點Pl而探測目標(圖3中的另一車輛Ml)。相機400是用於對車輛的前方進行成像的單鏡頭相機。相機400安裝在車輛的前部中心。相機400對車輛的前方進行成像，並且將所捕捉的圖像信息作為圖像信號傳送到 ECU 201。所捕捉的圖像從每個給定時間段(例如，1/30秒)的幀間隔的圖像幀進行配置。 如果成像範圍在車輛的水平方向寬並且車道很少，則相機400可以捕捉充分包括機動車道之外的人行道和路肩以及即將出現的通車車道的區域的圖像。在這樣的情況下，可以獲得如圖3所示的圖像。E⑶201是用於控制整個目標探測裝置101的電子控制單元。E⑶201主要由諸如中央處理器(CPU)進行配置，並且包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、輸入信號電路、輸出信號電路、電源電路等。ECU 201包括圖像處理區域提取單元211、相對速度計算單元212、距離計算單元213、橫向位置計算單元214、估計R計算單元215、幀間隔計算單元 216、光流計算單元217和目標探測單元218。圖像處理區域提取單元211具有基於從毫米波雷達300輸出的毫米波信號來探測處於車輛前方的目標，基於該目標的位置信息來識別其中目標在相機400輸出的圖像中存在的區域，並且提取所識別的區域作為圖像處理區域Fl的功能。具體地，圖像處理區域提取單元211使用當前時間的毫米波信息以探測具有最強反射強度的發射毫米波的反射方向，以基於反射方向來獲取車輛行進方向所形成的探測角度和探測點Pl的方向，並且通過基於探測角度計算探測點Pl的位置來探測所述目標。此外，圖像處理區域提取單元211識別圖像中的探測點Pl並且提取其相鄰區域作為圖像處理區域Fl。距離計算單元213具有基於毫米波信息來計算車輛和目標之間的相對距離的功能。具體地，距離計算單元213使用當前時間的毫米波信息以基於從毫米波的傳輸到接收的時間來計算與前方目標的相對距離。相對速度計算單元212具有基於毫米波信息來計算車輛和目標的相對速度的功能。具體地，相對速度計算單元212基於利用距離計算單元213所計算的當前時間的距離與當前時間之前預定時間的距離之間的變化來計算與前方目標的相對速度。橫向位置計算單元214具有基於從相機400輸出的所捕捉圖像來計算目標的橫向位置的功能。這裡，術語「橫向位置」是指圖像的橫向方向(車輛的橫向方向)上的目標位置相對於由相機400拍攝圖像的中心軸(圖像的中心位置)的位置偏移。橫向位置計算單元214通過分析所捕捉的圖像來計算目標的橫向位置。例如，可以通過識別圖像中與目標在寬度方向上的邊緣相對應的柱狀圖中的峰值，並且從這兩個邊緣的位置計算目標在寬度方向上的中心位置來獲得目標的橫向位置。橫向位置計算單元214還可以使用毫米波信息來計算橫向位置。估計R計算單元215具有計算車輛的轉向半徑的功能，所述轉向半徑即所謂的估計R。可以基於轉向角傳感器500的輸出信息來計算估計R。估計R在車輛直線行進時增大，而在使車輛急轉彎時減小。幀間隔計算單元216具有基於相對速度計算單元212、距離計算單元213、橫向位置計算單元214和估計R計算單元215的計算結果來計算用於計算光流的適當幀間隔的功能。這裡，幀間隔是在計算光流中使用的兩個不同圖像之間的時間間隔。如圖6所示，兩個不同圖像之一是當前時間(t)的幀的圖像，以及另一個是當前時間(t)之前的時間(t-x) 處的幀的圖像。通常，之前幀的圖像，也就是時間(t-i)處的幀被用來計算光流。然而，在該實施例中，根據預定條件來計算用於計算光流的幀間隔。幀間隔計算單元216具有基於橫向位置的瞬時變化來改變幀間隔的功能。幀間隔計算單元216附加地具有基於目標在圖像中的橫向位置而改變幀間隔的功能以及基於車輛的轉向狀態而改變幀間隔的功能。幀間隔計算單元216還具有基於與目標相關的相對距離或相對速度而改變幀間隔的功能。具體地，幀間隔計算單元216根據如圖4A所示的曲線來設定適當的幀間隔，以使得幀間隔隨著目標的橫向位置增加而被設定得更短，並且使得幀間隔隨著橫向位置減小而被設定得更長。此外，幀間隔計算單元216根據如圖4B所示的曲線來設定適當的幀間隔，以使得幀間隔隨著車輛的估計R增加(即，隨著路徑變得更直) 而被設定得更長，並且使得幀間隔隨著估計R減小(即隨著曲線變得更陡)而被設定得更短。此外，幀間隔計算單元216根據如圖5A所示的曲線來設定適當的幀間隔，以使得幀間隔隨著相對速度增加而被設定得更短，並且使得幀間隔隨著相對速度減小而被設定得更長。 此外，幀間隔計算單元216根據如圖5B所示的曲線來設定適當的幀間隔，以使得幀間隔隨著相對距離增加而被設定得更長，並且使得幀間隔隨著相對距離減小而被設定得更短。幀間隔計算單元216還可以通過全面考慮基於相對距離、相對速度、橫向位置和估計R分別獲得的適當幀間隔來設定幀間隔。光流計算單元217具有基於幀間隔計算單元216的計算結果而使用兩個圖像來計算每個局部圖像的光流的功能。這裡，局部圖像表示諸如特徵點、像素的特定點，或者諸如圖像內的特定形狀的區域，並且光流是示出局部圖像在下一瞬間行進的方向以及行進多遠的矢量。目標探測單元218具有基於利用光流計算單元218計算的光流的量值來從圖像探測目標的功能。例如，目標探測單元218具有在目標的光流大於預定值的情況下將目標探測為障礙物的功能。目標探測單元218附加地具有通過將之前的探測結果與毫米波雷達 300的目標探測結果相比較來確定裝置探測結果的可靠性的功能。目標探測單元218還具有將探測結果輸出到諸如警報裝置、車輛控制裝置、乘客保護裝置等的駕駛輔助系統並由此通過警報等執行駕駛輔助的功能。現在參考圖2對根據該實施例的目標探測裝置101的操作進行解釋。圖2是示出根據該實施例的目標探測裝置101的操作的流程圖。順便提及，為了便於解釋和理解，將對在車輛行進時探測到作為待探測目標的圖3所示的另一車輛Ml的情形進行解釋。圖2所示的控制處理在E⑶201中反覆地執行，例如從點火裝置接通以預定時序執行。首先，圖像處理區域提取單元211提取如圖3所示的圖像處理區域(步驟S10)。 具體地，圖像處理區域提取單元211基於從毫米波雷達300所輸出的毫米波信號來探測另一車輛M1，識別另一車輛Ml在圖像中存在的區域，並且將所識別的區域提取為圖像處理區域F1。隨後，距離計算單元213計算車輛和另一車輛Ml的相對距離(步驟S11)。相對速度計算單元212基於在Sll處計算的相對距離來計算車輛和另一車輛Ml的相對速度(步驟Si》。橫向位置計算單元214基於從相機400輸出的捕捉圖像來計算另一車輛Ml的橫向位置(步驟Si； )。估計R計算單元215基於來自偏航率傳感器或轉向角傳感器的輸出信息來計算車輛的估計R(步驟S14)。隨後，幀間隔計算單元216基於Sll處計算的相對距離、S12處計算的相對速度、 S13處計算的橫向位置以及S14處計算的估計R來計算適當的幀間隔(步驟SK)。具體地， 幀間隔計算單元216通過將圖4A至5B所示的各個曲線與各個因子的值進行比較而獲得與各個因子相對應的幀間隔來計算適當的幀間隔；即，相對距離、相對速度、橫向位置和估計 R以及全面考慮的那些幀間隔。結果，例如如果通過縮短幀間隔而提高光流計算精確度，則選擇圖6中所示的幀間隔D1，並且如果通過加長幀間隔而提高光流計算精確度，則選擇圖6 所示的幀間隔D2。隨後，光流計算單元217使用具有S15處計算的適當幀間隔的兩個圖像來計算光流(S16)。目標探測單元218隨後基於S16的計算結果來探測另一車輛Ml。在S 17的處理完成之後，圖2所示的控制處理結束，並且再次從SlO開始處理。如以上所描述的，利用根據第一實施例的目標探測裝置101，幀間隔基於圖像中目標的橫向位置而變化。例如，如果目標位於圖像外圍附近；即，如果橫向位置大，則圖像上目標的橫向位置將在不同時間之間大幅地改變。其間，如果目標位於圖像中心附近，則橫向位置幾乎將不會在不同時間之間改變。因此，作為幀間隔基於目標在圖像中橫向位置而變化的結果，在不考慮目標的位置的情況下，可以以高精確度來計算光流，並且可以以高精確度來探測目標。此外，利用根據第一實施例的目標探測裝置101，幀間隔基於車輛的轉向狀態而變化。例如，當車輛轉向時；即，當估計R小時，目標在圖像上的橫向位置將在不同時間之間大幅變化。其間，當車輛直線行進時，橫向位置將在不同時間之間非常小。因此，作為幀間隔基於轉向狀態而變化的結果，在不考慮駕駛條件的情況下，可以以高精確度計算光流，並且可以以高精確度來探測目標。如以上所描述的，利用根據第一實施例的目標探測裝置，幀間隔基於橫向位置的瞬時變化而改變。具體地，幀間隔被改變以使得幀間隔將隨著橫向位置增加的瞬時變化而變得更短。因此，可以通過根據橫向位置的瞬時變化而設定適當的幀間隔來以高精確度計算光流，並且可以提高探測目標的精確度。現在將參考圖7至15對本發明的第二和第三實施例進行描述。在第二和第三實施例中，根據本發明的目標探測裝置被應用於車輛上所安裝的周圍監視系統。所述周圍監視系統探測車輛周圍的障礙物(例如，另一車輛、自行車、行人、墜 9落的物體等)。接著，所述周圍監視系統將所探測的障礙物信息輸出到駕駛輔助系統(例如，碰撞防止裝置、泊車輔助裝置等)，或者利用音頻或顯示器向駕駛員提供相同內容。第二實施例是根據圖像的橫向位置而設定探測區域的示例，而第三實施例是根據光流的量值來設定探測區域的示例。順便提及，雖然障礙物的探測範圍可以覆蓋車輛的所有方向，但是其也可以被限制為車輛的特定方向。現在參考圖7至11對根據第二實施例的周圍監視系統102進行解釋。圖7是根據第二實施例的周圍監視系統102的配置圖。圖8是用於拍攝車輛後部圖像的相機所捕捉的圖像示例。圖9是圖8的圖像中的圖形識別探測區域的圖像。圖10是圖8的圖像的光流探測區域的圖像。圖11是用於拍攝車輛後部圖像的相機在車輛轉向時所捕捉的圖像示例。周圍監視系統102通過使用圖形識別處理和光流處理從廣角圖像來探測障礙物。 具體地，周圍監視系統102在圖像的中心部處設定用於圖形識別處理的區域，並且在圖像的外圍部處設定用於光流處理的探測區域。周圍監視系統101包括相機400、轉向角傳感器 500 和 ECU202。順便提及，在第二實施例中，相機400用作成像單元，並且E⑶202用作目標探測單元和控制單元。相機400是用於拍攝車輛周圍的圖像的相機，並且是具有廣角視野的廣角相機。 為了獲取所在車輛整個外圍的圖像，相機400安裝在車輛的多個預定位置(例如，前部、後部、右側、左側)。每個相機400在每個給定時間長度內以廣角捕捉各個方向的圖像，並且將所捕捉的廣角圖像作為圖像信號發送到ECU 202。圖8示出利用安裝在車輛後部的相機400在停車場內所捕捉的圖像示例。該圖像包括多個停駐的車輛、人員等。此外，由於該圖像是由廣角相機所捕捉的圖像，所以圖像的外圍被相當大地失真，並且車輛等的圖像被變形。轉向角傳感器500是探測所在車輛的轉向輪的轉向角的傳感器。轉向角傳感器500在每個給定時間長度內探測轉向角，並且將所述轉向角作為轉向角信號發送到ECU 202。E⑶202是由CPU、ROM、RAM、圖像處理晶片等配置的電子控制單元，並且控制整個周圍監視系統102。ECU 202在每個給定時間長度內從相機400接收圖像信號以及從轉向角傳感器500接收轉向角信號，並且將廣角圖像等按時間排序進行存儲。ECU 202附加地執行處理以基於存儲信息從圖像中探測障礙物信息，並且將所探測的障礙物信息(例如，位置、 行進方向、行進速度)輸出到駕駛輔助系統或者將相同內容提供給駕駛員。ECU 202基於轉向角來確定車輛是在直線行進還是轉向。如果確定了車輛在直線行進，則E⑶202將中心環繞廣角圖像WAI的中心位置的矩形區域設定為圖形識別探測區域PA，並且將剩餘的外圍區域設定為光流探測區域OA(參見圖8至10)。其間，如果確定了車輛正在轉向，則E⑶202基於轉向角來計算廣角圖像WAI中與轉向車輛的行進方向中心的延伸相對應的位置CP(圖像的中心位置以橫向方向移動的位置)(參見圖11)。在圖11中，還利用箭頭示出廣角圖像WAI的各個位置中的光流。與位置CP (在轉向時行進方向的中心位置)越接近，光流的量值越小(即，圖像中的位移越小)。 E⑶202將中心環繞廣角圖像WAI的位置CP的矩形區域設定為圖形識別探測區域PA，並且將剩餘的外圍區域設定為光流探測區域0A(參見圖11)。該圖形識別探測區域PA的尺寸和形狀與車輛直線行進時的圖形識別探測區域PA相同。因此，車輛轉向時的圖形識別探測區域PA是根據轉向角對車輛直線行進時的圖形識別探測區域PA的橫向方向位置進行校正的結果。順便提及，在設定圖形識別探測區域PA的尺寸和形狀是考慮相機400的鏡頭參數 (視角等)。例如，基於位置CP和位置之間的位置偏移是否小於閾值來設定矩形區域在橫向方向上的兩個邊緣(即，使得偏移小於閾值的區域處於矩形區域中，以及偏移等於或大於閾值的區域處於矩形區域之外)。此外，提前設定矩形區域在垂直方向上的兩個邊緣的位置。之前的閾值以及垂直方向上的兩個邊緣的位置基於相機400的鏡頭參數等來決定。在廣角圖像中，由於接近圖像中心的圖像區域相對於圖像區域中所捕捉空間的尺寸而言小，所以目標在所述圖像區域中的位移極小。因此，難以使用指示目標在接近圖像中心的圖像中的移動的光流(圖像位移)來執行目標探測。然而，由於接近圖像中心的區域是目標存在於車輛行進方向中的區域，所以必須確保方向精確性。因此，使用基於目標的形狀執行探測的圖形識別，將接近於圖像中心的區域設定為探測區域。其間，在廣角圖像中，在圖像的外圍處，圖像被相當大地失真，並且目標在圖像中的形狀將改變。因此，在圖像的外圍部處，不再獲得與諸如模板的基準形狀的相關性，並且使用圖形匹配(圖形識別)進行目標探測會變得困難。然而，雖然圖像的外圍處於車輛行進方向的側邊，但是可能有橫穿道路的行人等，並且必須確保方向精確性。因此，使用指示目標在圖像中的移動的光流，將圖像的外圍設定為探測區域。ECU 202隨後在圖形識別探測區域PA內每次移動指定數目的像素的同時在所述圖形識別探測區域PA中設定子窗口 SW(參見圖9)。ECU 202此後使用當前時間(t)的幀的廣角圖像WAI以執行每個子窗口 SW中待探測的各個障礙物的圖形識別，並且基於圖形識別結果來設定障礙物信息。作為圖形識別方法，可以應該傳統的方法，並且例如使用待探測障礙物的各個模板來執行圖形匹配。通過參考，子窗口 SW越小，像素的數目越小，並且因此可以縮短處理時間。E⑶202使用當前時間(t)的幀的廣角圖像WAI以及當前時間(t)之前的時間 (t-Ι)的幀的廣角圖像WAI以計算光流探測區域OA中的每個預定區域(或每個像素)的光流(參見圖10)。作為光流計算方法，可以應用傳統的方法。ECU 202隨後基於光流探測區域OA的各個區域中的光流來提取指示與其外圍中的光流相比不同量值和方向的光流。如果存在來自圖像背景的不同目標(障礙物)，則目標的光流將顯示出與其外圍(背景)相比明顯不同的量值和方向。因此，作為提取不同於其外圍的唯一光流的結果，可以識別障礙物的光流。ECU202基於所提取的光流來附加地設定障礙物信息。現在參考圖7對周圍監視系統201的操作進行解釋。具體地，參考圖12的流程圖對E⑶202所要執行的處理進行解釋。圖12是示出圖7的E⑶202所要執行的處理流程的流程圖。每個相機400在每個給定時間長度內以圍繞所在車輛的各個方向捕捉圖像，並且將圖像信號發送到ECU 202。ECU 202在每個給定時間長度內從相機400接收圖像信號， 並且每幀的廣角圖像被輸入其中(S20)。每幀的廣角圖像按照時間順序被臨時存儲在ECU 202 中。
轉向角傳感器500在每個給定時間長度內探測轉向角，並且將轉向角信號發送到 ECU 202。ECU 202在每個給定時間長度內從轉向角傳感器500接收轉向角信號，並且轉向角被輸入其中(S21)。在每個給定時間長度內，E⑶202基於轉向角、相機400的特性等在廣角圖像WAI 內設定圖形識別探測區域和光流探測區域(S22)。隨後，ECU 202在圖形識別探測區域中使用當前時間⑴的幀的廣角圖像來執行圖形識別，並且從圖形識別結果來探測障礙物(S23)。此外，ECU 202在光流探測區域中使用當前時間⑴的幀的廣角圖像以及之前時間(t-i)的幀的廣角圖像來計算圖像中各個位置的光流，並且從光流探測區域中各個位置的光流探測障礙物(S24)。ECU 202隨後將探測結果輸出到駕駛輔助系統或者將相同內容通過音頻或顯示器提供給駕駛員(S25)。根據周圍監視系統102，作為將廣角圖像的中心部設定為用於使用圖形識別探測障礙物的圖形識別探測區域，並且將外圍部設定為用於使用光流探測障礙物的光流探測區域的結果，能夠跨越整個廣角圖像以高精確度來探測障礙物。具體地，根據周圍監視系統102，可以通過基於廣角圖像相對於圖像的中心位置的橫向方向上的位置設定探測區域，來以高精確度設定探測區域。此外，根據周圍監視系統 102，可以通過根據車輛的行進方向(轉向角)校正探測區域以在橫向方向上移動，來以甚至更高的精確度來設定探測區域。現在參考圖13和14對根據第三實施例的周圍監視系統103進行解釋。圖13是根據第三實施例的周圍監視系統103的配置圖。圖14是用於拍攝車輛後部圖像的相機所捕捉的圖像示例，並且是示出所捕捉圖像中的光流的圖像。周圍監視系統103通過使用圖形識別處理和光流處理從廣角圖像中探測障礙物。 具體地，周圍監視系統103對整個圖像執行光流處理，並且基於所計算光流的量值來設定圖形識別處理的探測區域和用於光流處理的探測區域。周圍監視系統103包括相機400和 E⑶203。順便提及，在第三實施例中，E⑶203用作目標探測單元和控制單元。E⑶203是由CPU、ROM、RAM、圖像處理晶片等配置的電子控制單元，並且控制整個周圍監視系統103。E⑶203在每個給定時間長度內從相機400接收圖像信號，並且按照時間順序存儲廣角圖像。ECU203附加地執行處理以基於存儲信息來探測障礙物信息，並且將所探測的障礙物信息輸出到駕駛輔助系統或者將相同內容提供給駕駛員。ECU 203使用當前時間(t)的幀的廣角圖像WAI和之前時間(t_l)的幀的廣角圖像WAI，以便跨越整個廣角圖像WAI來計算每個預定區域的光流(參見圖14)。如圖14所示，與圖像中的車輛行進方向的中心(如果車輛直線行進則是圖像的中心)越近，光流的量值(對應於圖14中的箭頭長度)變得越小，並且與中心越遠則其變得更大。因此，在光流的量值小的區域中，難以使用指示目標在圖像中的移動的光流來執行目標探測。其間，在光流的量值大的區域中，使用光流的目標探測將是有效的。因此，ECU 203確定光流的量值是否小於閾值。該閾值是用於確定是否能夠使用光流、基於光流的量值來執行目標探測的閾值，並且基於測試結果等來提前進行設定。ECU 203將光流的量值確定小於所述閾值的區域被設定為圖形識別探測區域PA。此外，ECU 203將光流的量值確定等於或大於所述閾值(光流的量值不小於所述閾值)的區域被設定為光流探測區域OA。如第二實施例一樣，E⑶203基於圖形識別對PA執行障礙物探測。其間，如第二實施例一樣，ECU 203使用所計算的光流並且基於所述光流對光流探測區域OA執行障礙物探測。現在參考圖13對周圍監視系統103的操作進行解釋。具體地，參考圖15的流程圖對要由E⑶203所執行的處理進行解釋。圖15是示出要由圖13的E⑶203執行的處理流程的流程圖。每個相機400在每個給定時間長度內捕捉圍繞所在車輛的各個方向的圖像，並且將圖像信號發送到ECU 203。ECU 203在每個給定時間長度內從相機400接收圖像信號， 並且每幀的廣角圖像被輸入其中(S20)。每幀的廣角圖像按照時間順序被臨時存儲在ECU 203 中。在每個給定的時間長度內，E⑶203通過使用當前時間(t)的幀的廣角圖像以及之前時間(t-Ι)的幀的廣角圖像，跨越整個廣角圖像來計算圖像中各個位置的光流(S31)。 ECU 203隨後確定圖像中各個位置的光流的量值是否小於閾值(S32)。ECU 203將光流的量值確定為小於閾值的區域被設定為圖形識別探測區域 (S33)。ECU 203隨後通過使用當前時間(t)的幀的廣角圖像在圖形識別探測區域中執行圖形識別，並且從圖形識別結果來探測障礙物(S34)。ECU 203將光流的量值確定大於閾值的區域被設定為光流探測區域(S35)。ECU 203隨後基於光流探測區域中的各個位置的光流來探測障礙物。ECU 203隨後向駕駛輔助系統輸出探測結果或者利用音頻或顯示器向駕駛員提供相同內容。根據周圍監視系統103，作為將其中光流的量值小於閾值的區域設定為用於基於圖形識別來探測障礙物的圖形識別探測區域，並且將其中光流的量值大於閾值的區域設定為用於基於光流來探測障礙物的光流探測區域的結果，可以跨越整個廣角圖像以高精確度來探測障礙物。具體地，根據周圍監視系統103，可以通過基於廣角圖像中所觀察到的光流的量值設定探測區域，來以高精確度設定探測區域。雖然以上已經對本發明的實施例進行了解釋，但是以上實施例僅說明了根據本發明的目標探測裝置的示例。根據本發明的目標探測裝置不局限於根據以上實施例的目標探測裝置，並且根據所述實施例的目標探測裝置可以在不改變各個權利要求中所要求保護的要旨的情況下被修改或者用於其他應用。例如，在第一實施例中，雖然相對速度、相對距離、橫向位置和估計R都被計算，並且基於之前的結果來計算幀間隔，但是幀間隔也可以至少基於橫向位置或估計R來計算。例如，雖然本發明在第二和第三實施例中用於要安裝在車輛上的周圍監視系統並且用於探測車輛周圍的障礙物，但是本發明也可以被應用於從圖像探測目標的各種目標探測裝置。此外，本發明也可以被安裝在諸如機器人的其他可移動主體上。此外，本發明也可以被應用於不安裝在可移動主體上的監視相機等。此外，在第二和第三實施例中，雖然圖形識別探測區域是矩形形狀，並且其他區域被設定為光流探測區域，但是各種形狀和尺寸都可以應用於圖形識別探測區域和光流探測區域。此外，在第一和第二實施例中，雖然轉向角傳感器用作用於探測車輛轉向狀態 (估計R、行進方向)的探測單元，但是諸如偏航率傳感器的其他傳感器也可以用於探測，並且也可以從導航系統等獲得有關行進方向的信息。此外，在第二實施例中，雖然配置是使得探測區域的橫向方向位置基於轉向角 (車輛的轉向狀態)進行校正，但是所述配置也可以不執行上述校正。此外，在第二和第三實施例中，雖然分別設定了圖形識別探測區域和光流探測區域，但是可以根據圖像的中心位置(圖像中在車輛轉向時與行進方向中心相對應的位置) 和橫向位置的偏移是否小於閾值來切換使用圖形識別的障礙物探測和使用光流的障礙物探測。此外，在第二和第三實施例中，可以基於橫向位置來分別設定基於圖形識別的目標探測的貢獻度和基於光流的目標探測的貢獻度，並且也可以通過基於各個貢獻度來使用基於圖形識別的目標探測和基於光流的目標探測，來執行目標探測。順便提及，各個目標探測的貢獻度是指各個目標探測對於綜合目標探測結果的程度(比率)。例如，其是在融合各個目標探測的結果時的權重。這裡，優選地，圖像的橫向位置與圖像的中心位置(圖像中在車輛轉向時與行進方向中心相對應的位置)越接近，基於圖形識別的目標探測的貢獻度就被設定得越高，而圖像的橫向位置離圖像中心越遠，基於光流的目標探測的貢獻度就被設定得越高。此外，在如第三實施例中跨越整個圖像執行的光流處理之後，可以基於除了光流之外的圖形識別的結果，在其中光流的量值小的區域中探測到障礙物。
權利要求
1.一種目標探測裝置，包括成像單元，所述成像單元安裝在可移動主體上；目標探測單元，所述目標探測單元計算由所述成像單元在不同時間捕捉的兩個圖像之間的局部圖像的圖像位移，並且至少基於所述圖像位移來執行用於從圖像探測目標的探測處理；以及控制單元，所述控制單元基於所述可移動主體的橫向方向上的所述圖像中的位置來改變執行所述探測處理的方式。
2.如權利要求1所述的目標探測裝置，其中，所述控制單元基於所述橫向方向上的所述圖像中的所述位置來改變所述兩個圖像的時間間隔。
3.如權利要求2所述的目標探測裝置，進一步包括轉向狀態探測單元，所述轉向狀態探測單元探測所述可移動主體的轉向狀態，其中，所述控制單元基於所述轉向狀態來改變所述時間間隔。
4.如權利要求2所述的目標探測裝置，其中，所述控制單元基於所述橫向方向上的所述圖像中的所述位置的瞬時變化來改變所述時間間隔。
5.如權利要求2所述的目標探測裝置，其中，所述控制單元隨著在所述橫向方向上的所述圖像中的所述位置與所述橫向方向上的所述圖像的中心位置之間的位置偏移的增加而縮短所述時間間隔。
6.如權利要求3所述的目標探測裝置，其中，所述控制單元隨著所述可移動主體的轉向半徑的減小而縮短所述時間間隔。
7.如權利要求4所述的目標探測裝置，其中，所述控制單元隨著所述瞬時變化的增加而縮短所述時間間隔。
8.如權利要求1所述的目標探測裝置，其中，所述目標探測單元基於所述目標的形狀來執行第一探測處理以探測所述目標，並且基於所述圖像位移來執行第二探測處理以探測所述目標，並且，所述控制單元基於所述橫向方向上的所述圖像中的所述位置來改變執行所述第一探測處理和所述第二探測處理的方式。
9.如權利要求8所述的目標探測裝置，其中，所述控制單元基於所述橫向方向上的所述圖像中的所述位置而在所述第一探測處理和所述第二探測處理之間進行切換。
10.如權利要求9所述的目標探測裝置，其中，所述控制單元基於所述橫向方向上的所述圖像中的所述位置來設定要經受所述第一探測處理的第一探測區域以及要經受所述第二探測處理的第二探測區域。
11.如權利要求10所述的目標探測裝置，進一步包括轉向狀態探測單元，所述轉向狀態探測單元探測所述可移動主體的轉向狀態，其中，所述控制單元基於所述轉向狀態對所述第一探測處理區域和所述第二探測處理區域中的至少一個進行校正。
12.如權利要求9所述的目標探測裝置，其中，所述控制單元確定在所述橫向方向上的所述圖像中的所述位置與所述橫向方向上的所述圖像的中心位置之間的位置偏移是否小於第一閾值，以及所述控制單元在所述位置偏移小於所述第一閾值的第一探測區域中執行所述第一探測處理，並且在所述位置偏移等於或大於所述第一閾值的第二探測區域中執行所述第二探測處理。
13.如權利要求9所述的目標探測裝置，其中，所述控制單元計算圖像的光流，並且基於所述光流的量值而在所述第一探測處理與所述第二探測處理之間進行切換。
14.如權利要求13所述的目標探測裝置，其中，所述控制單元確定所述光流的量值是否小於第二閾值，以及所述控制單元在所述光流的量值小於所述第二閾值的第一探測區域中執行所述第一探測處理，並且在所述光流的量值等於或大於所述第二閾值的第二探測區域中執行所述第二探測處理。
15.如權利要求9所述的目標探測裝置，進一步包括轉向狀態探測單元，所述轉向狀態探測單元探測所述可移動主體的轉向狀態，其中，所述控制單元基於所述轉向狀態而在所述第一探測處理和所述第二探測處理之間進行切換。
16.如權利要求8所述的目標探測裝置，其中，所述控制單元基於所述橫向方向上的所述圖像中的所述位置來設定所述第一目標探測處理的貢獻度和所述第二目標探測處理的貢獻度。
17.如權利要求1所述的目標探測裝置，其中，所述圖像位移是光流。
全文摘要
一種目標探測裝置，包括成像單元(400)，其安裝在可移動主體上；目標探測單元(201)，其計算所述成像單元(400)在不同時間所捕捉的兩個圖像之間的局部圖像的圖像位移，並且至少基於所述圖像位移來執行用於從圖像探測目標的探測處理；以及控制單元(201)，其基於所述可移動主體的橫向方向上的圖像中的位置來改變探測處理的執行方式。
文檔編號G06T7/20GK102396002SQ201080016738
公開日2012年3月28日 申請日期2010年4月14日 優先權日2009年4月15日
發明者內田尚秀, 名波剛, 後藤宏晃, 深町映夫, 白石達也, 西嵨徵和 申請人:豐田自動車株式會社