環境識別裝置及環境識別方法

2023-11-04 19:50:57

專利名稱：環境識別裝置及環境識別方法
技術領域：
本發明涉及基於檢測區域中的對象物的亮度識別該對象物的環境識別裝置及環境識別方法。
背景技術：
以往，檢測位於本車輛前方的車輛或信號燈等所謂障礙物的對象物，並對本車輛進行控制以避免與所檢測出的對象物發生碰撞或使本車輛與前行車輛的車距保持在安全距離的技術已被為人所知(例如，專利文獻1、2)。而且，在這種技術中，不僅將對象物一律特定為物體，而且為了進行更高精度的控 制，還存在判斷對象物是以與本車輛相同的速度行駛的前行車輛，還是不移動的被固定的物體等的技術。在此，當通過對檢測區域的拍攝而檢測出對象物時，在特定對象物為何物之前，應從所拍攝的圖像中提取(剪切)對象物本身。例如已知有如下的技術從拍攝的圖像中，基於相鄰的像素間的微分值來提取具備邊緣的像素(邊緣像素)，並導出圖像的水平方向以及垂直方向中的邊緣像素的柱狀圖(距離分布)，將相當於該峰值的區域推斷為對象物的端部。並且，還公開有，比較基於柱狀圖的整合圖案和預先存儲的詞典圖案，並判斷對象物是否為車輛的技術(例如，專利文獻3)。現有技術文獻專利文獻專利文獻I日本特許第3349060號專利文獻2日本特開平10-283461號公報專利文獻3日本特開2003-99762號公報但是，現有的導出水平方向以及垂直方向的柱狀圖的方法中，當道路面以本車輛的前行方向為軸而左右傾斜時，前行車輛被拍攝成相對傾斜，從而該邊緣也無法嚴格地向水平方向或垂直方向延伸。由此，不會產生水平方向或垂直方向的柱狀圖的峰值，車輛的檢測精度變低。並且，同樣地，對於曲面較多的車輛，也難以出現水平方向或垂直方向的柱狀圖的峰值，從而難以確定車輛。

發明內容
本發明鑑於這種問題而提供一種能夠提高描繪成曲線或其自身傾斜的對象物的確定效率以及確定精度的環境識別裝置以及環境識別方法。為了解決上述問題，本發明的環境識別裝置，其特徵在於，具備亮度獲取單元，獲取分割檢測區域內而成的多個區塊中的每一個區塊的亮度；邊緣導出單元，基於每個區塊的亮度的邊緣所延伸的方向而導出邊緣方向；軌跡生成單元，基於邊緣方向而將區塊彼此關聯，並生成邊緣軌跡；群組化單元，將由多個邊緣軌跡包圍的區域群組化為對象物；特定物確定單元，將對象物確定為特定物。
邊緣導出單元可基於針對垂直方向而將區塊二等分的左右各區域中的亮度的合計值的差值、針對水平方向而將區塊二等分的上下各區域中的亮度的合計值的差值來導出邊緣方向。當合計值的差值的絕對值在預定閾值以下時，邊緣導出單元針對該邊緣方向，可無需使用該合計值的差值而導出邊緣方向。預定閾值使用關於區塊內的全部亮度的平均值的遞增函數來求出。軌跡生成單元可基於相鄰於任意區塊的多個區塊的邊緣方向來插補該任意區塊的邊緣方向。還可具備將由所述亮度獲取單元獲取亮度的區域限制為包含無限遠的、小於所述檢測區域的區域的區域限制單元。 為了解決上述問題，本發明的種環境識別方法，其特徵在於，具備如下幾個步驟獲取分割檢測區域內而成的多個區塊中的每一個區塊的亮度；基於每個區塊的亮度的邊緣所延伸的方向而導出邊緣方向；基於邊緣方向而將區塊彼此關聯，以生成邊緣軌跡；將由多個邊緣軌跡包圍的區域群組化為對象物；將對象物確定為特定物。根據本發明，通過邊緣方向來確定對象物，從而能夠提高描繪成曲線或其自身傾斜的對象物的確定效率以及確定精度。


圖I為示出環境識別系統的連接關係的方框圖。圖2為用於說明亮度圖像的說明圖。圖3為示出環境識別裝置的概略的功能的功能方框圖。圖4為用於說明通過位置信息獲取單元變換為三維位置信息的說明圖。圖5為用於說明區域限制單元的操作的說明圖。圖6為用於說明本實施方式所用到的亮度圖像的說明圖。圖7為用於說明邊緣導出單元的操作的說明圖。圖8是示出根據邊緣導出單元來導出邊緣方向時的圖像的示意圖。圖9是用於說明軌跡生成單元的操作的說明圖。圖10是用於說明軌跡生成單元的插補操作的說明圖。圖11是用於說明群組化單元的操作的說明圖。圖12是示出環境識別方法的整體流程的流程圖。圖13是示出邊緣方向導出處理的流程的流程圖。圖14是示出邊緣軌跡生成處理的流程的流程圖。圖15是示出邊緣軌跡插補處理的流程的流程圖。圖16是示出群組化處理的流程的流程圖。圖17是示出特定物確定處理的流程的流程圖。主要符號說明I車輛122 檢測區域124 亮度圖像
126距離圖像130環境識別裝置160區域限制單元162亮度獲取單元164邊緣導出單元166軌跡生成單元168群組化單元170特定物確定單元
220區塊222邊緣軌跡
具體實施例方式以下，參照附圖詳細說明本發明的優選實施方式。所涉及的實施方式中所示的尺寸、材料、其他具體數值等僅僅是為容易地理解發明而例示的，除了特別指定的情況以外，並不能限定本發明。在此，本說明書及附圖中，對於具有實質上相同的功能、結構的要素通過賦予相同的符號的方式省略了重複性說明，而且對與本發明沒有直接關係的要素省略了圖示。(環境識別系統100)圖I為示出環境識別系統100的連接關係的方框圖。環境識別系統100包括設置在車輛I內的攝像裝置110、圖像處理裝置120、環境識別裝置130、車輛控制裝置140。攝像裝置110包含電荷稱合器件(CO), Charge-Coupled Device)或互補金屬氧化半導體(CMOS,Complementary Metal-Oxide Semiconductor)等攝像器件，能夠獲取彩色圖像，即，在像素單位中可獲取三個色相(紅、綠、藍)的亮度。在此，由攝像裝置110所拍攝的彩色圖像稱為亮度圖像，以區別於後述的距離圖像。而且，攝像裝置110為兩個，兩個攝像裝置110在大致水平方向分開布置，以在車輛I的行進方向側兩個攝像裝置110各自的光軸大致平行。攝像裝置110每隔例如1/60秒(60fps)連續生成拍攝了存在於車輛I前方的檢測區域的對象物的圖像數據。在此，對象物不僅包括車輛、信號燈、道路、護欄等獨立存在的立體物體，還包括尾燈或方向指示燈、信號燈的各個照明部分等能夠確定為立體物的部分的物體。在以下實施方式中的各個功能單元以這種圖像數據的更新為契機執行各種處理。圖像處理裝置120從兩個攝像裝置110分別獲取圖像數據，並基於兩個圖像數據導出包含圖像中的任意區塊(集合預定數量的像素的區塊)的視差以及示出任意區塊在畫面中的位置的畫面位置的視差信息。圖像處理裝置120採用從另一個像素數據搜索對應於從一個圖像數據中任意抽出的區塊(例如，水平4像素X垂直4像素的陣列)的區塊的所謂的圖案匹配而導出視差。在此，水平是指所拍攝的圖像的畫面橫向方向，相當於實際空間中的水平方向。而且，垂直是指所拍攝的圖像的畫面縱向方向，相當於實際空間中的豎直方向。所述圖案匹配是指，在兩個圖像數據之間，以示出任意圖像位置的區塊單位比較亮度值(Y色差信號)的方法。例如，包括求出亮度值的差值的絕對差值和(SAD，Sumof Absolute Difference)、將差值平方後使用的差值的平方和(SSD, Sum of Squaredintensity Difference)、求出從各個像素的亮度值減去了平均值的分散值的相似度的歸一化互相關(NCC, Normalized Cross Correlation)等方法。圖像處理裝置120對於被顯示在檢索區域(例如,600像素X200像素)的全部區塊執行這種區塊單位的視差導出處理。在此，將區塊設定為4像素X4像素，但區塊內的像素數量可以任意地設定。但是，在圖像處理裝置120中，雖然能夠對作為檢測解析度單位的每個區塊導出視差，但無法識別該區塊是哪種對象物的一部分。因此，視差信息不是對象物單位，而是作為檢測區域的檢測解析度單位(例如區塊單位)而被獨立地導出。在此,將如此導出的視差信息(相當於後述的相對距離)映射到圖像數據的圖像稱為距離圖像。圖2為用於說明亮度圖像124和距離圖像126的說明圖。例如，假設通過兩個攝像裝置110，針對檢測區域122生成圖2(a)所示的亮度圖像(圖像數據)124。但是，在此為了便於理解，僅模式性地示出兩個亮度圖像124中的一個。圖像處理裝置120從這種亮度圖像124求出每個區塊的視差，從而形成圖2(b)所示的距離圖像126。對於距離圖像126 中的各個區塊來說，其區塊的視差相互關聯。在此，為了便於說明，將導出視差的區塊以黑點表不。對於視差來說，容易以圖像的邊緣部分(相鄰像素之間明暗的差值較大的部分)被確定，因此在距離圖像126中，賦予黑點的、導出視差的區塊在亮度圖像124中也大多形成邊緣。因此，圖2(a)所示的亮度圖像124和圖2(b)所示的距離圖像126在各個對象物的輪廓上相互近似。環境識別裝置130從圖像處理裝置120獲取亮度圖像124，並基於亮度圖像124中的亮度的邊緣來提取檢測區域122中的對象物，確定該對象物對應於那種特定物。並且，環境識別裝置130從圖像處理裝置120獲取距離圖像126，並利用所謂的立體視覺法將距離圖像126中的檢測區域122內的每個區塊的視差信息變換為包含相對距離的三維位置信息。在此，立體視覺法是通過使用三角測量法，從對象物的視差導出該對象物相對於攝像裝置110的相對距離的方法。對於環境識別裝置130將在後面詳述。車輛控制裝置140執行避免本車輛與通過環境識別裝置130確定的對象物碰撞或使本車輛與前行車輛的車間距保持在安全距離的控制。具體來說，車輛控制裝置140通過用於檢測方向盤角度的舵角傳感器142和用於檢測車輛I的速度的車速傳感器144等獲得當前的車輛I的行駛狀態，並通過控制致動器146將車輛I與前行車輛的車間距保持在安全距離。在此，致動器146是用於控制剎車、節氣閥、舵角等的車輛控制用致動器。而且，當推斷出將與對象物產生碰撞時，車輛控制裝置140在設置在駕駛者前方的顯示器148進行相應警告顯示(報警)的同時，控制致動器146使車輛I自動地減速。這種車輛控制裝置140也可以與環境識別裝置130形成為一體。(環境識別裝置130)圖3為示出環境識別裝置130的概略的功能的功能方框圖。如圖3所示，環境識別裝置130包括I/F單元150、數據存儲單元152、中央控制單元154。I/F單元150是用於使與圖像處理裝置120和車輛控制裝置140進行雙向信息交換的接口。數據存儲單元152由RAM、快閃記憶體、HDD等構成，並存儲圖案匹配所使用的多個外觀圖案和以下所示的各個功能單元的處理所需的各種信息，而且，暫時存儲從圖像處理裝置120接收的亮度圖像124。中央控制單元154由包括中央處理器(CPU)、存儲有程序等的ROM、作為工作區的RAM等的半導體集成電路構成，並通過系統總線156控制I/F單元150和數據存儲單元152。而且，在本實施方式中，中央控制單元154具有作為位置信息獲取單元158，、區域限制單元160、亮度獲取單元162、邊緣導出單元164、軌跡生成單元166、群組化單元168、特定物確定單元170的功能。位置信息獲取單元158使用立體視覺法，將距離圖像126中的檢測區域122內的每個區塊的視差信息變換成包括水平距離X、高度I以及相對距離Z的三維的位置信息。在此，視差信息表示距離圖像126中的各對象部位的視差，而三維的位置信息表示實際空間中的各對象部位的相對距離的信息。而且，當視差信息不是以像素單位，而是以區塊單位(即多個像素單位)進行導出時，可將該視差信息視為屬於區塊的所有像素的視差信息，並執行像素單位的計算。
圖4為用於說明通過位置信息獲取單元158變換為三維位置信息的說明圖。位置信息獲取單元158首先將距離圖像126識別為如圖4所示的像素單位的坐標系。這裡，在圖4中，將左下角設定為原點(0，0)，橫向方向設定為i坐標軸，縱向方向設定為j坐標軸。因此，具有視差dp的像素能夠由像素位置i、j和視差dp表示為(i, j, dp)。將本實施方式中的實際空間上的三維坐標系假設為以車輛I為中心的相對坐標系。在此，將車輛I的行進方向的右側方設定為X軸的正方向，車輛I的上方設定為Y軸的正方向，車輛I的行進方向(前方)設定為Z軸的正方向，經過兩個攝像裝置110的中央的鉛直線和道路表面的交點作為原點(0，0，0)。此時，假設道路為平面時，道路表面與X-Z平面(y = O) —致。位置信息獲取單元158通過以下的數學式I 數學式3將距離圖像126上的區塊坐標(i，j，dp)變換為實際空間上的三維的點坐標(X，y, z)。X = CD/2+z · Pff · (i_IV)...數學式 Iy = CH+z · Pff · (j-JV)...數學式 2z = KS/dp...數學式 3在此，⑶為攝像裝置110之間的間隔(基線長度)，PW為每一個像素的視角，CH為攝像裝置110自道路表面的布置高度，IV、JV為車輛I的正面方向無限遠端的圖像上的坐標(像素)，KS為距離係數(KS =⑶/PW)。因此，位置信息獲取單元158基於對象部位的相對距離、處在與對象部位相同的相對距離的道路表面上的點和對象部位在距離圖像126上的檢測距離，導出自道路表面的高度。區域限制單元160將後述的亮度獲取單元162獲取亮度的區域限制為包括無限遠的、小於檢測區域122的區域。圖5是用於說明區域限制單元160的操作的說明圖。如圖5(a)所示，當位置信息獲取單元158獲取的與前行車輛210的相對距離較短時，區域限制單元160將獲取亮度的區域212a設置為較寬，用以恰當地提取這種前行車輛210。並且，如圖5(b)所示，當與前行車輛210的相對距離較長時，只要提取這種前行車輛210就可以，因此區域限制單元160將獲取亮度的區域212b設置為較小。在此,哪種區域212(212a、212b)都包括無限遠214,而且對應於與前行車輛210的相對距離，相對距離越短則放射狀變寬地確定區域212。由此，通過對應於與前行車輛210的相對距離來變更獲取亮度的區域212，從而避免了無用的亮度的獲取，可以減輕計算負荷。亮度獲取單元162從接收的亮度圖像124中的、由區域限制單元160限制的區域212中以區塊(在此，例如為2X2像素)單位來獲取亮度(像素單位中三個色相(紅、綠、藍)的亮度)。這時，當檢測區域處於例如雨天或陰天時，亮度獲取單元162調整白平衡之後獲取亮度。本實施方式有效利用亮度獲取單元162獲取的亮度的邊緣來提取對象物。這是因為，如圖6(a)所示，即使道路面以本車輛I的前行方向為軸而左右傾斜，從而前行車輛210等被拍攝成相對傾斜，該邊緣無法沿著水平方向或垂直方向延伸，也可以維持對象物的確定精度。在以下的實施方式中，為了便於說明，將使用在圖6(a)中被限制的區域212中的前行車輛210的外形被簡化的圖6(b)。邊緣導出單元164基於每個區塊的亮度的邊緣所延伸的方向來導出邊緣方向。具 體地，邊緣導出單元164基於針對垂直方向而將區塊二等分(在此為2X2像素)的左右各區域中的亮度的合計值的差值(以下，簡單地稱為垂直方向成分)、針對水平方向而將區塊二等分的上下各區域中的亮度的合計值的差值(以下，簡單地稱為水平方向成分)來導出邊緣方向。圖7是用於說明邊緣導出單元164的操作的說明圖。圖7(a)示出被限制成與圖6(b)相同的區域212中的簡化的前行車輛210。並且，假設放大該區域212中的任意區塊220a時成為如圖7(b)的亮度分布，放大其他任意區塊220b時成為如圖7(c)的亮度分布。而且，假設亮度的範圍在O 225，並在圖7(b)中假設白色的塗滿色為亮度「200」，黑色的塗滿色為亮度「O」。在此，假設區塊的圖中左上像素的亮度為A，右上像素的亮度為B，左下像素的亮度為C，右下像素的亮度為D，則邊緣方向的水平方向成分定義為(A+B)-(C+D)，邊緣方向的垂直方向成分定義為(A+C)-(B+D)。於是，圖7(b)中所示的區塊220a的邊緣方向的水平方向成分為(A+B)-(C+D)=(200+0) - (200+0) = 0，區塊220a的邊緣方向的垂直方向成分為(A+C) - (B+D)=(200+200)-(0+0) =+400。由此，水平方向成分為「0」，垂直方向成分為「+400」，邊緣方向表示成如圖7(d)的沿垂直方向朝上的箭頭。不過，如圖7(f)所示，水平成分是以畫面右方向為正方向，垂直成分是以趣面上方向為正方向。類似地，圖7(c)中所示的區塊220b的邊緣方向的水平方向成分為(A+B)_(C+D)=(0+0)-(200+200) =-400，區塊220b的邊緣方向的垂直方向成分為(A+C)-(B+D)=(0+200)-(0+200) = 0。由此，水平方向成分為「-400」，垂直方向成分為「0」，則邊緣方向表示成如圖7(e)的畫面的沿水平方向朝向左的箭頭。由此，通過從區塊內的一半的區域中減去其餘一半的區域的構成，可以除去包含在整個區塊內的亮度的偏移或幹擾，能夠恰當地提取邊緣。並且，僅通過加減法的簡單計算即可導出邊緣方向，從而減輕了計算負荷。本實施方式的目的在於，判斷如此導出的邊緣方向在相鄰的區塊之間的一致性，由此將該區塊彼此關聯。但是，當將導出了上述水平方向成分和垂直方向成分的值直接簡單地作為邊緣方向時，該邊緣方向的變化存在無限多的可能性。於是，需要設定針對該無限多的變化可視為同一方向的邊緣方向的範圍。因此，在本實施方式中，水平方向成分及垂直方向成分均以單位長度來定義，以簡化邊緣方向的變化。即，水平方向成分及垂直方向成分均視為-1、0、+1中的任一個。於是，如圖7(g)所示，邊緣方向可以限定在分別形成45度角度的8個方向和水平方向成分及垂直方向成分均為O的無方向的9個狀態。據此，能夠大幅度減輕以下所示的軌跡生成單元166的計算負荷。並且，圖7(g)的各方向所附帶的數值表示針對各個邊緣方向的優先順序(升序)，當一個區塊220有多個邊緣方向可選時，將該優先順序較高的邊緣方向視為該區塊220的邊緣方向。並且，若如此地簡化邊緣方向的導出時，在水平方向成分或垂直方向成分不為O的全部情形中，該成分具備單位長度。例如，當水平方向成分換做亮度為-I的情況和+1的情況下，雖然亮度的差只有2，但是作為邊緣方向產生正反方向的結果。因此，導出邊緣方向時設置盲區，當水平方向成分或垂直方向成分的絕對值在預定閾值(例如20)以下時，邊緣導出單元164將水平方向成分或垂直方向成分視為O而導出邊緣方向。據此，可以避免因噪音而生成的水平方向成分或垂直方向成分導致邊緣方向 不穩定的情況，從而在後述的軌跡生成單元166也可以得到穩定的結果。並且，在此示出了作為預定閾值而使用固定值的例子，但是，也可將預定閾值設為可變值。例如，在攝像裝置110中，具有亮度越高則幹擾的量也增大的特性。因此，優選地，預定閾值使用關於區塊內的亮度(例如區塊內的全部亮度的平均值)的遞增函數(例如，將亮度的平均值作為參數的線性函數)求出。由此，與因區塊內的整體亮度的高低而產生的幹擾量的變動無關地，可以避免因幹擾而使邊緣方向變得不穩定的情形。此時，當整體的亮度較高時預定閾值也變高，但是說起來，在亮度較高的範圍，水平方向成分和垂直方向成分也會變大，因此在穩定導出邊緣方向時不會存在障礙。圖8是示出根據邊緣導出單元164來導出邊緣方向時的圖像的示意圖。在此，在相當於圖7(a)的前行車輛210的外形的部分，分別沿著外形導出有邊緣方向(圖8中用箭頭示出)。但是，為了便於理解，抽象地較大地顯示邊緣方向，但是，實際上針對每個區塊導出邊緣方向。在此，示出針對外形的各邊而導出相同的邊緣方向的例子，但是，根據其拍攝情況，存在由於邊緣接近而被雙重地檢測，或者部分邊緣無法檢測出來的情況。當由於邊緣接近而被雙重地檢測的時候，基於上述圖7(g)的優先順序來確定一個邊緣方向。並且，當部分邊緣無法檢測出來時，根據後述的軌跡生成單元166來執行對該區塊的插補。軌跡生成單元166基於由邊緣導出單元164導出的邊緣方向將區塊彼此關聯，以生成邊緣軌跡。具體地，軌跡生成單元166比較相鄰的區塊，且當具備相同的邊緣方向時，將該區塊彼此關聯。由此，如圖9所示，生成表示前行車輛210的外形的邊緣軌跡222。在此，著重點不是導出水平方向或垂直方向中的邊緣像素的柱狀圖(距離分布)，而是邊緣本身形成何種軌跡，因此即使邊緣的延伸方向相對水平方向或垂直方向傾斜，並且即使邊緣具備曲率，也能夠恰當地導出該軌跡。不過，原本如此地生成邊緣軌跡222時即可大致再現對象物的外形，但是實際上因太陽光或照明燈這種環境燈光、或者擋風玻璃的模糊或汙潰，存在邊緣局部不同或欠缺的情況。因此，軌跡生成單元166基於相鄰於任意區塊的多個區塊的邊緣方向來插補任意區塊的邊緣方向。具體地，當相鄰於任意區塊的兩個邊緣軌跡222具備相同的邊緣方向時，在該任意的區塊的邊緣方向上寫上兩個邊緣軌跡222的邊緣方向，並生成包含任意的區塊的一條長的邊緣軌跡。圖10是用於說明軌跡生成單元166的插補操作的說明圖。例如，在如圖10(a)所示地排列的多個區塊220中，假設邊緣導出單元164已導出各個邊緣方向(如圖10(a)所示)。並且，在此，區塊220d因某種原因，無法維持與其他區塊220a、220b、220c、220e、220f的連續性。在圖10(&)，區塊22(^、22013、22(^的邊緣方向相同，因此如圖10(b)所示，軌跡生成單元166將該三個區塊220a、220b、220c關聯而生成邊緣軌跡222a。並且，區塊220e、220f的邊緣方向也相同，因此如圖10(b)所示，軌跡生成單元166將該兩個區塊220e、220f關聯而生成邊緣軌跡222b。接著，軌跡生成單元166搜索未成為邊緣軌跡222的對象的區塊220d所相鄰的區塊，並判斷是否存在多個邊緣軌跡222。並且，當存在多個邊緣軌跡(例如，邊緣軌跡222a、222b)，且該多個邊緣軌跡222具備相同的邊緣方向(例如，畫面上方向)時，軌跡生成單元166將區塊220d的邊緣方向也變更為與邊緣軌跡222a、222b相同的邊緣方向(如圖·10(c))。並且，軌跡生成單元166包含區塊220d而生成新的一串邊緣軌跡222c。此時，當一個區塊220與雙系統的邊緣軌跡對應(雙系統的邊緣方向)時，可根據圖7(g)所示的優選順序來選擇一個邊緣方向。與雙系統的邊緣軌跡對應是指，例如一個區塊220的上下的區塊220中有具備相同邊緣方向的邊緣軌跡222，相同地，左右的區塊220中有具備與上下區塊不同的、相同的邊緣方向的邊緣軌跡222。並且，在此僅使用邊緣方向來插補邊緣方向，但是例如，也可以引進在上述的區塊220中的水平方向成分或垂直方向成分所對應的亮度的合計值的差值(邊緣強度)的參數來判斷是否執行插補操作。根據這種構成，不僅可從邊緣方向判斷連續性，還可從邊緣強度判斷區塊或邊緣方向的連續性，從而可實現高精度的插補操作。群組化單元168將由多個邊緣軌跡222包圍的區域群組化為對象物。圖11是用於說明群組化單元168的操作的說明圖。群組化單元168從被限制的區域212中提取邊緣軌跡222，並組合面對面的邊緣軌跡222。例如，群組化單元168組合圖11中用實線表示的邊緣軌跡(I)和邊緣軌跡(2)，並且組合用虛線表示的邊緣軌跡(3)和邊緣軌跡(4)。並且，將包含在該面對面的邊緣軌跡222的區域當作對象物。因此，在此，提取出由平行的邊緣軌跡(I)、⑵與邊緣軌跡(3)、(4)構成的方形的對象物。在此，面對面的邊緣軌跡是否平行的問題，可通過邊緣軌跡222的近似曲線(近似直線)的傾斜相等，或者垂直於邊緣軌跡222之間的邊緣軌跡的線段的距離均相等來掌握。並且，當判斷為群組化的對象物傾斜於水平方向時，為了後述的圖案匹配，群組化單元168可對該對象物實施仿射變換而進行坐標變換。這種仿射變換所用到的變換角度可使用相對任意一個邊緣軌跡222的水平或者垂直方向形成的角度，但是當存在多個邊緣軌跡222時，可計算相對其中的多個或者全部邊緣軌跡222的水平或者垂直方向形成的角度，由此求出其平均值。由此，通過仿射變換來提高坐標變換精度。當群組化單元168群組化的對象物滿足預定的條件時，特定物確定單元170將該對象物確定為特定物。在此，作為該條件可以例舉圖案匹配。首先，特定物確定單元170讀取對象物和存儲在數據存儲單元152的圖案(例如，讀取典型的車輛的外觀圖案)，並對對象物和該多個外觀圖案進行圖案匹配。作為這種圖案匹配，可以使用上述的SAD、SSD、NCC等各種方法。但是，在本實施方式中，由於對象物存在於行駛車道上，因此可大致推斷其是行駛車道上的車輛。例如，行駛車道上的對象物可近似於方形，且其水平方向的長度和垂直方向的長度的比例包含在可視為通用車輛的比例(例如3 : I I : 2)時，無需執行圖案匹配，也可視為車輛。並且，在此以車輛為例子進行了說明，但是本實施方式可以區別人和信號燈、道路標識、其他各種特定物。例如，本實施方式的邊緣軌跡也可對應於曲線，由此能夠適用於人的外形等多用曲線表示的對象物。於是，環境識別裝置130可從亮度圖像124將一個或多個對象物作為特定物提取出來，並可將該信息用在各種控制中。例如，圖11的對象物可特定為特定物「車輛」，則本車輛I可根據本車輛I的速度和與該特定物「車輛」的相對距離，掌握是否該停止或者減速。 因此，根據環境識別裝置130，可通過邊緣的方向來確定對象物，從而可實現描繪成曲線或者其本身傾斜的對象物的確定效率及確定精度的提高。(環境識別方法)以下，參照圖12至圖17的流程圖說明環境識別裝置130的具體的處理。圖12示出關於從亮度圖像120接收亮度圖像124時的中斷處理的整個流程，圖13至圖17示出其中的個別子程序。並且,在此,作為區塊例舉2X2像素，且將600 X 200像素的亮度圖像124的左下角作為原點，並在圖像水平方向為I至300區塊，垂直方向為I至100區塊的範圍執行依據該環境識別方法的處理。如圖12所示，當以亮度圖像124的接收為契機，產生依據該環境識別方法的中斷時，參照從圖像處理裝置120獲取的亮度圖像124，對由區域限制單元160限制的區域212導出各個區塊的邊緣方向(S300)。並且，基於導出的邊緣方向將區塊彼此關聯，由此生成邊緣軌跡(S302)，且進一步插補由多個邊緣軌跡包圍的區塊的邊緣方向(S304)。接著，當由上述多個邊緣軌跡包圍的區域被群組化而提取出對象物時(S306)，該對象物通過圖案匹配等而確定為特定物(S308)。以下，具體說明上述處理。(邊緣方向導出處理S300)參照圖13，首先區域限制單元160限制獲取亮度的區域(S350)。在此，假設將獲取亮度的區域限制在，圖像水平方向為51至250區塊，垂直方向為21至80區塊的區域212。邊緣導出單元164為了確定區塊而初始化垂直變量j (在此代入20) (S352)。接著，邊緣導出單元164使垂直變量j加「 I」(增量)的同時初始化水平變量i (在此代入50) (S354)。其次，邊緣導出單元164使水平變量i加「I」 (S356)。此時，設置水平變量i和垂直變量j的目的在於，針對200 (51至250) X 60 (21至80)的全部區塊執行該邊緣方向導出處理。邊緣導出單元164使亮度獲取單元162從亮度圖像124獲取作為對象部位的區塊(i，j)內的2X2像素的亮度(S358)。邊緣導出單元164基於公式(A+B)_(C+D)來導出水平方向成分(S360)，並判斷已導出來的水平方向成分的絕對值是否在預定的閾值以下(S362)。當水平方向成分的絕對值在預定的閾值以下時(S362中的「是」)，將水平方向成分置換為0(S364)。並且，當水平方向成分的絕對值超過預定的閾值時(S362中的「否」)，判斷水平方向成分的符號是否表示為正(S366)。在此，若表示為正(S366中的「是」)，則水平方向成分被置換為+1(S368)，若不表示為正(S366中的「否」)，則水平方向成分被置換為-I (S370)。同樣地，邊緣導出單元164基於公式(A+C)_(B+D)來導出垂直方向成分(S372)，並判斷已導出來的垂直方向成分的絕對值是否在預定的閾值以下(S374)。當垂直方向成分的絕對值在預定的閾值以下時(S374中的「是」)，將垂直方向成分置換為0(S376)。並且，當垂直方向成分的絕對值超過預定的閾值時(S374中的「否」)，判斷垂直方向成分的符號是否表示為正(S378)。在此，若表示為正(S378中的「是」)，則垂直方向成分被置換為+1(S380)，若不表示為正(S378中的「否」)，則垂直方向成分被置換為-I (S382)。然後，邊緣導出單元164從水平方向成分以及垂直方向成分中導出邊緣方向，並將表示邊緣方向的邊緣方向標識符d(例如，圖7(g)所示的編號)關聯到區塊，以作為區塊(i，j，d) (S384)。
接著，邊緣導出單元164判斷水平變量i是否超過水平區塊的最大值(在此為250) (S386)，當水平變量i未超過最大值時(S386中的「否」)，從步驟S356的水平變量i的增量處理開始重複處理。並且，當水平變量i超過最大值時(S386中的「是」)，邊緣導出單元164判斷垂直變量j是否超過垂直區塊的最大值(在此為80) (S388)。並且，若垂直變量j未超過最大值(S388中的「否」)，則從步驟S354的垂直變量j的增量處理開始重複處理。而且，當垂直變量j超過最大值時(S388中的「是」)，結束該邊緣方向導出處理。從而，各個區塊關聯有邊緣方向。(邊緣軌跡生成處理S302)參照圖14，軌跡生成單元166初始化用於確定對象部位(像素)的垂直變量j (在此代入20) (S400)。接著，軌跡生成單元166使垂直變量j加「I」的同時初始化水平變量i (在此代入50) (S402)。其次，軌跡生成單元166使水平變量i加「 I 」 (S404)。接著，軌跡生成單元166提取區塊(i，j，d) (S406)，並判斷在相鄰於提取出來的區塊的區塊中是否存在邊緣方向標識符d相同的區塊(S408)。當不存在邊緣方向標識符d相同的區塊時(S408中的「否」)，轉到下一個步驟S420。另外，當存在邊緣方向標識符d相同的區塊時(S408中的「是」)，判斷是否沒有任何一個區塊關聯著邊緣軌跡標識符t(S410)。當任何一個區塊均未關聯著邊緣軌跡標識符t時(S410中的「是」)，軌跡生成單元166將作為邊緣軌跡標識符t而還未被利用的編號中最小的值關聯到兩個區塊，以作為區塊(i，j, d, t) (S412)。當至少一側的區塊關聯著邊緣軌跡標識符t時(S410中的「否」)，軌跡生成單元166判斷是否僅有一側的區塊關聯著邊緣軌跡標識符t(S414)。當僅有一側的區塊關聯邊著緣軌跡標識符t時(S414中的「是」)，軌跡生成單元166將該關聯的一側區塊的邊緣軌跡標識符t也關聯到另一側的區塊(S416)。當兩側的區塊中都關聯著邊緣軌跡標識符t時(S414中的「否」)，軌跡生成單元166將數值較高的區塊以及與該區塊的邊緣軌跡標識符t相同的全部區塊的邊緣軌跡標識符t置換為較低的數值(S418)。並且，群組化單元168在群組化處理S306之前，預先求出由關聯著這種邊緣軌跡標識符t的區塊形成的邊緣軌跡的傾斜度1，以作為區塊(i，j，d，t,I)(S420)。接著，軌跡生成單元166判斷水平變量i是否超過水平區塊的最大值(在此是250) (S422)，若水平變量i未超過最大值(S422中的「否」)，則從步驟S404的水平變量i的增量處理開始重複處理。並且，當水平變量i超過最大值(S422中的「是」)時，軌跡生成單元166判斷垂直變量j是否超過垂直區塊的最大值(在此為80) (S424)。並且，若垂直變量j未超過最大值(S424中的「否」)，則從步驟S402的垂直變量j的增量處理開始重複處理。而且，當垂直變量j超過最大值時(S424中的「是」)，結束該邊緣軌跡生成處理。由此，生成邊緣軌跡。(邊緣軌跡插補處理S304)參照圖15，軌跡生成單元166初始化用於確定對象部位(像素)的垂直變量j (在此代入20) (S450)。接著，軌跡生成單元166使垂直變量j加「I」的同時初始化水平變量i (在此代入50) (S452)。其次，軌跡生成單元166使水平變量i加「 I 」 (S 454)。軌跡生成單元166提取區塊(i，j，d) (S456)，並判斷相鄰於提取出來的區塊的多個區塊中是否關聯著邊緣軌跡標識符t，且該多個區塊的邊緣方向標識符d是否相同(S458)。當不滿足任意一個條件時(S458中的「否」)，轉到下一個步驟S466中進行處理。另外，當滿足全部條件時(S458中的「是」)，軌跡生成單元166在提取出來的區塊的邊緣方向標識符d中代入或者置換成多個區塊的邊緣方向標識符d(S460)。並且，軌跡生成單元166使提取出來的區塊的邊緣軌跡標識符t成為關聯到多個區塊的多個邊緣軌跡標識符t中的較低的數值。進一步，將數值較高的區塊以及與該區塊的邊緣軌跡標識符t相同的全部區塊的邊緣軌跡標識符t置換為較低的數值(S462)。並且，群組化單元168求出這種整合的邊緣軌跡的傾斜度1，並在整合的全部區塊中賦予該值(S464)。接著，軌跡生成單元166判斷水平變量i是否超過水平區塊的最大值(在此為250) (S466)，若水平變量i未超過最大值(S466中的「否」)，則從步驟S454的水平變量i的增量處理開始重複處理。並且，當水平變量i超過最大值時(S466中的「是」)，軌跡生成單元166判斷垂直變量j是否超過垂直區塊的最大值(在此為80) (S468)。並且，當垂直變量j未超過最大值時(S468中的「否」)，從步驟S452的垂直變量j的增量處理開始重複處理。而且，當垂直變量j超過最大值時(S468中的「是」)，結束該邊緣軌跡插補處理。(群組化處理S3O6)參照圖16,群組化單元168初始化用於確定邊緣軌跡的邊緣軌跡變量k(代入「O」)(S500)。接著，群組化單元168使邊緣軌跡變量k加「1」，並初始化用於確定組合候補的邊緣軌跡的邊緣軌跡變量m (代入k) (S502)。其次,群組化單元168使邊緣軌跡變量m加「I」(S504)。在此，設置邊緣軌跡變量k、m的目的在於，針對邊緣軌跡的全部組合進行該群組化處理。群組化單元168比較邊緣軌跡標識符t為邊緣軌跡變量k的邊緣軌跡的傾斜度I和邊緣軌跡標識符t為邊緣軌跡變量m的邊緣軌跡的傾斜度1，並判斷該角度差是否在預定值(例如，5° )以內(S506)。此時，當角度差在預定值以內時(S506中的「是」)，群組化單元168將作為組合標識符P而還未被利用的編號中最小的值關聯於兩個邊緣軌跡(S508)。接著,群組化單元168判斷邊緣軌跡變量m是否超過邊緣軌跡標識符t的最大值(S510)，若邊緣軌跡變量m未超過最大值(S510中的「否」)，則從步驟S504的邊緣軌跡變量m的增量處理開始重複處理。而且，當邊緣軌跡變量m超過最大值時(S510中的「是」)，群組化單元168判斷邊緣軌跡變量k是否超過(邊緣軌跡標識符t的最大值-I) (S512)。並且，當邊緣軌跡變量k未超過(最大值-I)時(S512中的「否」)，從步驟S502的邊緣軌跡變量k的增量處理開始重複處理。而且，當邊緣軌跡變量k超過(最大值-I)時(S512中的「否」)，轉到下一個步驟S514進行處理。接下來，群組化單元168初始化用於確定邊緣軌跡的組合的組合變量η(代入「O」)(S514)。接著，群組化單元168使組合變量η加「 I 」，並初始化用於確定群組化候補的邊緣軌跡的組合的組合變量q (代入n) (S516)。其次，群組化單元168使組合變量q加「 1」(S518)。在此，設置組合變量n、q的目的在於，針對邊緣軌跡的全部組合進行該群組化處理。群組化單元168比較由組合標識符P為組合變量η的軌跡邊緣的組合包圍的坐標範圍和由組合標識符P為組合變量q的軌跡邊緣的組合包圍的坐標範圍。並且，判斷該坐標範圍是否重複了預定比例(例如,80% ) (S520)。S卩，判斷組合標識符P為組合變量η的邊緣軌跡的組合與組合標識符P為組合變量q的邊緣軌跡的組合是否形成方形。在此，當坐標範圍重複預定比例時(S520中的「是」)，群組化單元168群組化由該兩組組合包圍的 坐標範圍，並關聯對象物標識符ο (S522)。接著，群組化單元168判斷組合變量q是否超過組合標識符P的最大值(S524)，當組合變量q未超過最大值時(S524中的「否」)，從步驟S518的組合變量q的增量處理開始重複處理。而且，當組合變量q超過最大值時(S524中的「是」)，群組化單元168判斷組合變量η是否超過(組合標識符P的最大值-I) (S526)。並且，當組合變量η未超過(最大值-I)時(S526中的「否」)，從步驟S516的組合變量η的增量處理開始重複處理。而且，當組合變量η超過(最大值-I)時(S526中的「是」)，結束該群組化處理。由此，提取出群組化的對象物。(特定物確定處理S308)參照圖17，特定物確定單元170初始化用於確定對象物的對象物變量g(代入「O」)(S550)。接著，特定物確定單元170使對象物變量g加「1」，並初始化用於確定外觀圖案的圖案變量h (代入「O」)(S552)。其次，特定物確定單元170使圖案變量h加「 I 」(S554)。在此，設置對象物變量g以及圖案變量h的目的在於，針對對象物和圖案外觀的全部組合進行圖案匹配。特定物確定單元170針對對象物標識符ο為對象物變量g的對象物，執行與圖案標識符r為圖案變量h的外觀圖案之間的圖案匹配，從而判斷與外觀圖案是否匹配(S556)。此時，若與外觀圖案進行匹配(S556中的「是」)，則特定物確定單元170將該對象物確定為圖案標識符r為圖案變量h的特定物(S558)。接下來，特定物確定單元170判斷圖案變量h是否超過圖案標識符!■的最大值(S560)，若圖案變量h未超過最大值(S560中的「否」)，則從步驟S554的圖案變量h的增量處理開始重複處理。而且，當圖案變量h超過最大值時(S560中的「是」)，特定物確定單元170判斷對象物變量g是否超過對象物標識符ο的最大值(S562)。並且，當對象物變量g未超過最大值時(S562中的「否」)，從步驟S552的對象物變量g的增量處理開始重複處理。而且，當對象物變量g超過最大值時(S562中的「是」)，結束該特定物確定處理。由此，群組化的對象物正式地被確定為特定物。如上述的說明，根據環境識別裝置130，可通過邊緣方向來確定對象物，從而實現了描繪成曲線或者其自身傾斜的對象物的確定效率以及確定精度的提高。
而且，還提供將計算機作為環境識別裝置130而功能化的程序或記錄該程序的計算機可讀軟盤、光磁碟、ROM、⑶、DVD、BD等記錄介質。在此，程序是利用任意的語言或記述方法記述的數據處理方法。以上的說明中，參照附圖對本發明的優選實施方式進行了說明，但是本發明並不局限於已說明的實施方式。本發明所屬領域的技術人員應知道在權利要求書所記載的範疇之內導出各種變更例或修改例是顯而易見的，但顯然這些都屬於本發明的技術範圍。例如，在上述實施方式中，當導出區塊的邊緣方向時，作為水平方向成分使用(A+B)-(C+D)，作為垂直方向成分使用(A+C)-(B+D)。但是，邊緣方向只要針對每個區塊的亮度的邊緣所延伸的方向具備預先規定的任意角度的方向即可。例如，可以使用使水平方向成分為(A+C)-(B+D)，使垂直方向成分為(A+B)-(C+D)等各種組合。並且，在上述的實施方式中，假設區塊為2X2像素，但是像素數量不局限於此，還可以包含更多的像素。例如，假設為4X4像素的時候，邊緣方向可基於針對水平方向而將 區塊二等分的上下各區域(2X4像素)中的亮度的合計值的差值、針對垂直方向而將區塊二等分的左右各區域(4X2像素)中的亮度的合計值的差值來導出來。並且，區塊的一邊不限於是偶數，也可以是奇數。此時，在邊緣方向的計算中不包含位於中央的像素列或者像素行(忽略)，從而可以可出恰當的值。並且，在上述的實施方式中，軌跡生成單元166以使用相鄰於一個區塊的邊緣軌跡來插補該一個區塊的例子進行了說明，但是插補的區塊數量不限於這種情況。例如，當考慮到具備相同的邊緣方向的兩個邊緣軌跡的連續性，還可視為位於其中的區塊具有相同的邊緣方向時，不局限於該區塊的數量，能夠以相同的邊緣方向來進行插補。而且，在上述實施例中，基於利用多個攝像裝置110的圖像數據之間的視差導出對象物的三維位置，但並不局限於所說明的情況，例如，可以利用雷射雷達測距裝置等已知的各種距離測量裝置。在此，雷射雷達測距裝置通過向檢測區域122發射雷射光束，並接收該雷射光束到達物體之後反射的光，從而根據所花費的時間測量至物體的距離。而且，在上述的實施方式中，舉出位置信息獲取單元158從圖像處理裝置120接收距離圖像(視差信息)126而生成三維位置信息的例子。但是，並不局限於所說明的情況，也可以由圖像處理裝置120預先生成三維的位置信息，再由位置信息獲取單元158獲取所生成的三維位置信息。據此，實現功能的分散，能夠減輕環境識別裝置130的處理負荷。而且，在上述的實施方式中，位置信息獲取單元158、區域限制單元160、亮度獲取單元162、邊緣導出單元164、軌跡生成單元166、群組化單元168、特定物確定單元170由中央控制單元154通過軟體進行操縱。但是，上述的功能單元也可以由硬體構成。並且，特定物確定單元170例如根據圖案匹配來確定特定物，但是不限於這種情況，還可在滿足其他各種條件時確定為特定物。例如，當對象物中的水平方向以及豎直方向的相對距離的推移大致相同(連續)的時候，或者相對z坐標的相對移動速度相同時，確定為特定物。此時，對象物中的水平方向以及豎直方向的相對距離的推移可通過基於霍夫變換或最小二乘法的近似直線來進行特定。在此，本說明書中的環境識別方法的各個步驟並不一定要按照流程圖中記載的順序按時間順序進行處理，也可以包含並行處理或依據子程序的處理。產業上的可利用性
本發明可利用於基於檢測區域中的對象物的亮度識別該對象物的環境識別裝置 及環境識別方法。
權利要求
1.一種環境識別裝置，其特徵在於，具備 亮度獲取單元，獲取分割檢測區域內而成的多個區塊中的每一個區塊的亮度； 邊緣導出單元，基於所述每個區塊的亮度的邊緣所延伸的方向而導出邊緣方向； 軌跡生成單元，基於所述邊緣方向而將所述區塊彼此關聯，以生成邊緣軌跡； 群組化單元，將由多個所述邊緣軌跡包圍的區域群組化為對象物； 特定物確定單元，將所述對象物確定為特定物。
2.根據權利要求I所述的環境識別裝置，其特徵在於，所述邊緣導出單元基於針對垂直方向而將所述區塊二等分的左右各區域中的亮度的合計值的差值、針對水平方向而將所述區塊二等分的上下各區域中的亮度的合計值的差值來導出邊緣方向。
3.根據權利要求2所述的環境識別裝置，其特徵在於，當所述合計值的差值的絕對值在預定閾值以下時，所述邊緣導出單元針對該邊緣方向，無需使用該合計值的差值而導出邊緣方向。
4.根據權利要求3所述的環境識別裝置，其特徵在於，所述預定閾值使用關於所述區塊內的全部亮度的平均值的遞增函數來求出。
5.根據權利要求I至4的任意一項所述的環境識別裝置，其特徵在於，所述軌跡生成單元基於相鄰於任意區塊的多個區塊的邊緣方向來插補該任意區塊的邊緣方向。
6.根據權利要求I至4的任意一項所述的環境識別裝置，其特徵在於，還具備將由所述亮度獲取單元獲取亮度的區域限制為包含無限遠的、小於所述檢測區域的區域的區域限制單元。
7.根據權利要求5所述的環境識別裝置，其特徵在於，還具備將由所述亮度獲取單元獲取亮度的區域限制為包含無限遠的、小於所述檢測區域的區域的區域限制單元。
8.一種環境識別方法，其特徵在於，具備如下幾個步驟 獲取分割檢測區域內而成的多個區塊中的每一個區塊的亮度； 基於所述每個區塊的亮度的邊緣所延伸的方向而導出邊緣方向； 基於所述邊緣方向而將所述區塊彼此關聯，以生成邊緣軌跡； 將由多個所述邊緣軌跡包圍的區域群組化為對象物； 將所述對象物確定為特定物。
全文摘要
本發明提高了描繪成曲線或其自身傾斜的對象物的確定效率以及確定精度。環境識別裝置(130)獲取分割檢測區域內而成的多個區塊中的每一個區塊的亮度，基於每個區塊的亮度的邊緣所延伸的方向而導出邊緣方向，基於邊緣方向而將所述區塊彼此關聯，以生成邊緣軌跡，將由多個邊緣軌跡包圍的區域群組化為對象物，將對象物確定為特定物。
文檔編號G06K9/00GK102842030SQ20121015081
公開日2012年12月26日 申請日期2012年5月15日 優先權日2011年5月19日
發明者笠置誠佑 申請人:富士重工業株式會社