圖像識別裝置和方法以及使用該圖像識別裝置或方法的定位裝置、車輛控制裝置和導航裝置的製作方法
2023-05-21 16:11:21
專利名稱：圖像識別裝置和方法以及使用該圖像識別裝置或方法的定位裝置、車輛控制裝置和導航裝置的製作方法
技術領域：
本發明涉及一種在例如車輛中的儀錶板上使用、用於識別在道路上獲得的圖像信息中包含的預定識別目標地面物體圖像的圖像識別裝置和方法。本發明還涉及一種使用該圖像識別裝置或方法的定位裝置、車輛控制裝置和導航裝置。
背景技術：
作為識別在道路上獲得的圖像信息中包含的預定識別目標地面物體的圖像的技術，下面確定的專利文獻1公開了以下涉及停車線識別裝置的技術。該停車線識別裝置包括區域亮度檢測裝置，用於檢測設定區域的亮度，該設定區域位於行駛道路的前面或前方，沿行駛車輛的寬度方向縱向延伸；時序亮度(time-series brightness)變化比較裝置，用於比較設定區域內亮度的時序變化；以及停車線確定裝置，用於基於設定區域內檢測到的時序亮度變化確定停車線的出現/不出現。更具體地，在從CCD攝像機輸入的原始圖像中的較低區域，沿車輛的寬度方向連續設置多個設定區域。然後，如果多個設定區域的任一區域的平均亮度從低變為高，再變為低，那麼該裝置確定存在停車線。
上述專利文獻1還公開了涉及車輛驅動輔助系統的技術，除了上述停車線識別裝置，該系統還包括三維物體識別裝置，用於識別行駛道路前方出現的三維物體；以及警告控制裝置，用於在停車線識別裝置識別出停車線，並且識別出停車線前方(或前面)緊接著有三維物體時，發出警告信號。根據這種車輛驅動輔助系統，對由具有立體光學系統的CCD攝像機獲得的一對右立體圖像和左立體圖像進行處理，以計算全部圖像的三維距離分布信息。然後，基於此距離分布信息，系統以高速檢測例如路形(road geometry)、多個三維物體等的三維位置數據。即，通過使用來自距離圖像(distanceimage)的三維位置信息，分離/提取與實際道路上出現的白線相關的數據。另一方面，修改或變更系統中預先存儲的道路模型參數以適合實際的路形，從而識別該路形。此外，基於檢測到的路形，系統挑選出與道路表面上方區域相關的數據並消除距離圖像包含的噪聲，從而從距離圖像中提取三維物體(例如前方行駛的另一車輛)的數據。另外，系統以預定間隔將距離圖像劃分為多個格子區，並為每個格子區生成柱狀圖，從而計算與三維物體的距離。然後，基於每個區的三維物體的距離數據提取物體的輪廓圖像，基於該三維物體的形狀和位置的尺寸，系統識別例如物體的類型。
日本專利申請公開號No.2003-85562(第2-4頁，附圖1-3)發明內容本發明所要解決的問題上述技術僅根據圖像拾取裝置例如攝像機所獲取的圖像信息進行圖像識別。因此，是否能夠正確地進行圖像識別取決於拾取圖像信息中所包括的識別目標圖像的狀況。為此，在例如識別目標圖像不具有如同停車線的圖像的例如任何特徵形狀，或者由於不好的圖像拾取條件而不能獲取識別目標物體的好的圖像的情況下，例如將出現識別失敗，例如錯誤識別或不識別，從而導致識別速度降低。
即，根據上述技術，將停車線設定為識別目標，並且如果沿車輛寬度方向連續設置的多個設定區域中的任一區域的平均亮度從低變為高再變為低，則確定出現停車線。但是，利用這種確定方法，如果存在沿車輛寬度方向延伸的另一著色標記，那麼該標記可能被錯誤地識別為停車線。例如，行人交叉路的橫線，T型交叉口的中心線等等也是這種沿車輛寬度方向延伸的著色標記，因此這種著色標記也可能被錯誤地識別為停車線。
此外，在停車線作為識別目標的情況下，如果在例如存在潮溼路面的反射光或者部分停車線褪色的情況下，不能獲取例如停車線的準確形狀的圖像信息，那麼會再次出現識別失敗，從而導致識別速度降低。
考慮到上述問題，構思本發明。本發明的一個目的在於提供一種圖像識別方法和裝置，在僅依靠拾取的圖像信息時，即使圖像識別操作中的圖像識別速度由於不能獲取好的圖像信息而降低，該圖像識別裝置也能夠提高識別目標的圖像識別速度。本發明的進一步目的在於提供一種使用這種圖像識別方法和裝置的定位裝置、車輛控制裝置以及導航裝置。
解決問題的手段為了實現上述目的，根據本發明的一個方案，提供一種圖像識別裝置，包括圖像信息獲取部，用於輸入在道路上獲取的圖像信息；成像位置獲取部，用於獲取所述圖像信息的成像位置信息；地面物體信息存儲部，用於存儲包括地面物體的地面物體信息，所述地面物體信息包括位置信息；地面物體信息獲取部，用於基於所述成像位置信息和所述地面物體信息中包括的位置信息，從所述地面物體信息存儲部獲取關於所述圖像信息的成像區域內包括的一個或多個地面物體的地面物體信息；確定部，用於基於所述地面物體信息獲取部獲取的所述地面物體信息，確定所述圖像信息的成像區域內是否包括待識別的多個識別目標地面物體；以及圖像識別部，用於在所述確定部已經確定包括多個識別目標地面物體時，基於所述地面物體信息中包括的位置信息得到的一個識別目標地面物體與另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，識別所述一個識別目標地面物體的圖像。
利用上述特徵，如果獲取的圖像信息內包括待識別的多個識別目標地面物體，則通過使用基於地面物體信息的所述一個識別目標地面物體與所述另一個識別目標地面物體之間的位置關係以及另一個識別目標地面物體的識別結果，對包括在其中的一個識別目標地面物體進行圖像識別。因此，即使僅能夠從一個識別目標地面物體的圖像信息中獲取少量特徵，或者不能獲取良好的圖像信息，仍然可以提高一個識別目標地面物體的圖像的識別速度，並避免錯誤識別。
在上述結構中，優選地，當該確定部已經確定了包括多個識別目標地面物體時，所述圖像識別部對整個圖像信息進行圖像識別，將該圖像識別結果與所述地面物體信息獲取部獲取的所述地面物體信息進行比較，然後，基於該圖像信息的成像區域內包括的多個識別目標地面物體中每一個的識別的成功/失敗，該圖像識別部將未識別出的地面物體設定為所述一個識別目標地面物體，將識別出的地面物體設定為所述另一個識別目標地面物體。
利用上述裝置，通過使用基於圖像信息的所述一個識別地面物體信息與所述另一個識別目標地面物體之間的位置關係以及成功識別出的所述另一個識別目標地面物體的圖像識別結果，對僅基於圖像信息不能在圖像識別操作中被成功識別出的一個識別目標地面物體進行圖像識別。因此，對於僅基於圖像信息本身難以進行圖像識別的識別目標地面物體，也能夠提高圖像識別速度。
更優選地，所述地面物體信息包括將位置彼此相鄰的地面物體相關聯的關聯信息；並且當關於所述一個識別目標地面物體的地面物體信息包括用於關聯另一地面物體信息的關聯信息時，所述圖像識別部優先使用與關聯的所述另一地面物體信息相對應的所述另一個識別目標地面物體的圖像識別結果，對所述一個識別目標地面物體進行圖像識別。通過包括這種作為地面物體信息的關聯信息，將要在一個地面物體附近的圖像信息的成像區域內成像的另一地面物體可以被預先設定或定義為與這一個地面物體相關聯。並且，當圖像識別部要對一個圖像識別地面物體進行圖像識別時，如果存在多個其它的識別目標地面物體，那麼圖像識別部優先利用相關聯的另一個識別目標地面物體的圖像識別結果，對所述一個識別目標地面物體進行圖像識別。因此，能夠可靠地利用適合於一個識別目標地面物體的圖像識別的另一個識別目標地面物體的圖像識別結果，對這一個識別目標地面物體進行圖像識別。
更優選地，所述圖像識別部包括區域推斷部，所述區域推斷部用於基於所述地面物體信息中包括的位置信息得到的所述一個識別目標地面物體與所述另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，推斷出所述一個識別目標地面物體出現在所述圖像信息內的區域，並且所述圖像識別部基於所述推斷的結果執行所述一個識別目標地面物體的圖像識別。
即，在獲取的圖像信息中包含多個識別目標地面物體的情況下，即使難以對一個識別目標地面物體進行圖像識別，只要能夠對另一個識別目標地面物體進行圖像識別，就能夠至少推斷出圖像信息內出現這一個識別目標地面物體的區域。基於所述地面物體信息中包括的位置信息得到的所述一個識別目標地面物體與所述另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，進行推斷。並且，通過基於推斷結果而對一個識別目標地面物體進行圖像識別，能夠提高一個識別目標地面物體的圖像的識別速度，避免錯誤識別。
在上述結構中，圖像識別部可以配置為通過調整識別(認知)算法，使得用於確定是否為所述一個識別目標地面物體的確定閾值在已經推斷出所述一個識別目標地面物體的圖像要出現的區域內比在其它區域內低，執行所述一個識別目標地面物體的圖像識別。
藉助於此，即使僅能從一個識別目標地面物體的圖像信息中獲取少量的特徵，或者不能獲取好的圖像信息，也仍然可以提高一個識別目標地面物體的圖像的識別速度，並避免錯誤識別。
更優選地，所述地面物體信息包括地面物體的形狀信息和色彩信息中的一個或兩者都包括，並且所述圖像識別部使用關於該地面物體的形狀信息和色彩信息中的一種或兩種信息，對識別目標地面物體進行圖像識別。藉助於此，能夠以容易與獲取的圖像信息進行比較的方式獲取地面物體信息。此外，基於獲取的地面物體信息中包含的形狀信息和色彩信息中的一種或兩種信息，圖像識別部能夠執行圖像識別。
更優選地，所述存儲在所述地面物體信息存儲部的所述地面物體信息包括關於道路上設置的著色標記的地面物體信息；以及關於沿道路設置的三維物體的地面物體信息。
利用上述裝置，可以對設置在道路表面上的二維著色標記與例如交通路標、交通信號等沿道路設置的三維地面物體的組合進行圖像識別。因此，能夠更進一步提高識別目標地面物體的圖像的識別速度。
根據本發明的另一方案，提供一種定位裝置，其包括，如上所述的圖像識別裝置，其中該定位裝置基於識別目標地面物體的圖像識別結果以及關於每一識別出的目標地面物體的地面物體信息中所包括的位置信息，確定比成像位置獲取部獲取的成像位置信息更詳細的圖像信息的成像位置。
利用如上所述的特徵，基於能夠以如上所述的高識別速度識別出識別目標地面物體的圖像識別裝置的識別結果，並且基於每一識別出的識別目標地面物體的地面物體信息中包括的位置信息，確定圖像信息的成像位置。因此，能夠以更高的準確度更具體地確定成像位置。
根絕本發明的又一方案，提供一種車輛控制裝置，其包括如上所述的圖像識別裝置，其中該車輛控制裝置基於識別目標地面物體的圖像識別結果以及每一識別出的識別目標地面物體的地面物體信息中所包括的位置信息，確定比成像位置獲取部獲取的成像位置信息更詳細的圖像信息的成像位置，然後使用所述確定的成像位置作為車輛的當前位置，控制所述車輛的行駛。
利用如上所述的特徵，基於能夠以如上所述的高識別速度識別出識別目標地面物體的圖像識別裝置的識別結果，並基於每一識別出的識別目標地面物體的地面物體信息中所包含的位置信息，確定圖像信息的成像位置。因此，可以以更高的準確度更具體地確定成像位置。並且，在對車輛進行行駛控制時，通過將確定的成像位置用作車輛的當前位置，可以為了保持行駛車道或者避免碰撞，而實施可靠的轉向、加速或減速的行駛控制。
根據本發明的再一方案，提供一種導航裝置，其包括如上所述的圖像識別裝置；地圖信息存儲部，存儲有地圖信息；自身位置顯示部，用於顯示從所述地圖信息存儲部獲取的地圖上的自身位置；以及自身位置校正部，用於基於識別目標地面物體的圖像識別結果以及每一識別出的識別目標地面物體的地面物體信息中所包括的位置信息，確定比成像位置獲取部獲取的成像位置信息更詳細的圖像信息的成像位置，然後基於所述確定的成像位置，校正要在該自身位置顯示部顯示的自身位置。
利用上述特徵，基於能夠以如上所述的高識別速度識別出識別目標地面物體的圖像識別裝置的識別結果，並基於每一識別出的識別目標地面物體的地面物體信息中所包含的位置信息，確定圖像信息的成像位置。因此，可以以更高的準確度更具體地確定成像位置。並且，基於具體確定的圖像信息，校正自身位置。這使得例如顯示的自身位置更具體。並且基於識別出的更具體的自身位置的信息，在適當的時間進行路徑引導。
根據本發明的更進一步方案，提供一種圖像識別方法，其包括圖像信息獲取步驟，用於輸入在道路上獲取的圖像信息；成像位置獲取步驟，用於獲取所述圖像信息的成像位置信息；地面物體信息存儲步驟，用於存儲包括地面物體的地面物體信息，所述地面物體信息包括位置信息；地面物體信息獲取步驟，用於基於所述成像位置信息和所述地面物體信息中所包括的位置信息，從所述地面物體信息存儲步驟中獲取關於圖像信息的成像區域內所包括的一個或多個地面物體的地面物體信息；確定步驟，用於基於在所述地面物體信息獲取步驟獲取的所述地面物體信息，確定所述圖像信息的成像區域內是否包括多個待識別的識別目標地面物體；以及圖像識別步驟，用於在所述確定步驟已經確定了包括多個識別目標地面物體時，基於所述地面物體信息中包括的位置信息得到的一個識別目標地面物體與另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，識別所述一個識別目標地面物體的圖像。
利用上述特徵，如果獲取的圖像信息內包括待識別的多個識別目標地面物體，那麼對其中包括的一個目標地面物體的圖像識別是通過利用基於地面物體信息的所述一個識別目標地面物體與所述另一個識別目標地面物體之間的位置關係以及另一個識別目標地面物體的圖像識別結果而進行的。因此，即使僅能夠從這一個識別目標地面物體的圖像信息中獲取少量特徵，或者不能獲取良好的圖像信息，也可以提高一個識別目標地面物體的圖像的識別速度，避免錯誤識別。
圖1為方框圖，示出與本發明第一實施例相關的圖像識別裝置的示意性結構。
圖2為示意圖，示出將與上述實施例相關的圖像識別裝置設置在車輛的儀錶板上的實例。
圖3為說明圖，示出根據上述實施例的圖像識別裝置中包含的地圖資料庫所存儲的地圖信息的內容。
圖4為流程圖，示出根據上述實施例的圖像識別裝置中執行的圖像識別處理的整個流程。
圖5為流程圖，示出由根據上述實施例的圖像識別裝置的圖像識別部執行的組合的圖像識別處理的流程。
圖6(a)示出由圖像拾取裝置獲得的圖像信息的實例；圖6(b)示出在圖6(a)示出的圖像信息上執行處理操作之後的圖像信息的實例。
圖7示出由根據上述實施例的圖像識別裝置的地面物體信息獲取部所獲得的地面物體信息的實例。
圖8為示意圖，示出這樣一個區域，其中停車線的圖像被推斷為將出現在由根據上述實施例的圖像識別裝置的區域推斷部推斷出的圖像區域內。
圖9為方框圖，示出與本發明第二實施例相關的定位裝置的示意性結構。
圖10為方框圖，示出與本發明第三實施例相關的導航裝置的示意性結構。
具體實施例方式
第一實施例接下來，將參照
本發明的第一實施例。
圖1為方框圖，示出與本實施例相關的圖像識別裝置的示意性結構。在本實施例中，如圖2所示，本發明的圖像識別裝置設置在車輛M的儀錶板上。
如圖1所示，與本實施例相關的圖像識別裝置包括以下部件作為其基本部件圖像信息獲取部3、成像定位部7、地圖資料庫8、地面物體信息獲取部9、識別目標地面物體數目確定部15、以及圖像識別部10。圖像信息獲取部3從設置在車輛M的儀錶板上的圖像拾取裝置2獲取或輸入圖像信息G(參見圖6(a))。基於GPS(全球定位系統)接收器4、羅盤傳感器5以及距離傳感器6的輸出，成像定位部7通過圖像拾取裝置2執行用於確定成像位置的操作。地圖資料庫8中存儲有包括地面物體信息C的地圖信息(參見圖3)。地面信息獲取部9從地圖資料庫8獲取或輸入關於包括在圖像信息G的成像區域A(參見圖6(a))內的一個或多個地面物體的地面物體信息C。基於獲取的地面物體信息C，識別目標地面物體數目確定部15確定圖像信息G的成像區域A內是否包括有要識別的多個識別目標地面物體。圖像識別部10基於圖像信息G執行圖像識別。順便提及，在本實施例的以下討論中，術語「地面物體信息C」旨在一般地包括各種地面物體信息，例如下文將要描述的著色標記的地面物體信息Cp和三維物體的地面物體信息Cf。
對於構成該圖像識別裝置1的各種功能元件，即成像定位部7、地面物體信息獲取部9、圖像識別部10、識別目標地面物體數目確定部15等，以包括算術處理單元(例如CPU)作為其核心部件的硬體、和/或軟體(程序)的形式，實現圖像識別裝置1的用於在輸入數據上執行各種操作的功能單元。
圖像拾取裝置2包括成像器，例如CCD傳感器、CMOS傳感器等；以及透鏡組件，其構成用於將光線導向成像器的光學系統。如圖2所示，以例如朝向車輛M前方的方向放置圖像拾取裝置2，從而拾取車輛M的行駛道路11的表面及其周圍的圖像。優選地，這種圖像拾取裝置2可以是傳統的用於獲取車輛M周圍圖像的車載攝像機(on-board camera)等。
圖像信息獲取部3包括接口部12，用於連接圖像拾取裝置2；圖像預處理部13，用於對圖像拾取裝置2的圖像信息G執行各種預處理操作；以及圖像存儲器14，用於存儲圖像信息G。接口部12包括模擬/數字轉換器等等。在操作中，接口部12以預定時間間隔輸入圖像拾取裝置2獲取的模擬圖像信息G，將該信息轉換為數位訊號，以及將這些信號輸出至圖像預處理部13。接口部12輸入圖像信息G的輸入時間間隔可以為例如大約10到50ms。由此，圖像信息獲取部3能夠大體上連續地獲取車輛M行駛的道路11的圖像信息。在此圖像信息G上，圖像預處理部13執行有利於圖像識別部10識別圖像的各種預處理操作，例如二進位化操作、邊緣檢測操作等。並且，將執行這些預處理操作後的圖像信息存儲在圖像存儲器14中。
接口部12不僅將圖像信息G直接輸出至圖像預處理部13，而且直接輸出至圖像存儲器14。因此，圖像存儲器14既存儲有經圖像預處理部預處理操作之後的圖像信息G2，又存儲有未經處理的圖像信息G1。
在此特定實施例中，成像定位部7連接至GPS接收器4、羅盤傳感器5和距離傳感器6。GPS接收器4為從GPS衛星接收信號並獲取與GPS接收器4的當前位置(緯度和經度)、移動速度等相關的各種信息的裝置。羅盤傳感器5可以是地磁傳感器(geomagnetic sensor)、陀螺傳感器(gyro sensor)，或者是旋光傳感器(optical rotation sensor)或附接在方向盤旋轉部分的旋轉型電阻電位器(resistance volume)，或者是設置在車輪上的角度傳感器，該羅盤傳感器檢測車輛M的行駛方向。距離傳感器6可以是用於檢測車輪轉數的車速傳感器，也可以是偏航-G傳感器(yaw-G傳感器)與用於對檢測到的加速度求兩次積分的電路的組合，該距離傳感器檢測車輛M行駛的距離。並且，基於GPS接收器4、羅盤傳感器5和距離傳感器6的這些輸出，成像定位部7執行用於確定或識別圖像拾取裝置2的當前位置的操作。順便提及，GPS接收器4獲取的位置信息通常包括5到10米的誤差。因此，該成像定位部7計算的圖像信息G的成像位置信息還包括一定量的誤差。
成像定位部7還連接至圖像信息獲取部3的接口部12。在圖像拾取裝置2執行圖像拾取操作時，該接口部12將信號輸出至成像定位部7。因此，成像定位部7在從接口部12接收信號時，計算圖像拾取裝置2的位置或地點，並確定圖像信息G的成像位置。將成像定位部7這樣確定的圖像信息G的成像位置輸出到地面物體信息獲取部9，作為以緯度和經度表示的成像位置信息。
因此，在本實施例中，GPS接收器4、羅盤傳感器5、距離傳感器6和成像定位部7一起構成這裡的「成像位置獲取部」。
地圖資料庫8是存儲地圖信息的資料庫。圖3為示意圖，示出地圖資料庫8中存儲的地圖數據的示例性內容。如圖所示，在本實施例中使用的地圖資料庫8存儲有道路網層L1、路形層L2以及地面物體層L3作為地圖信息。該地圖資料庫8包括能夠存儲信息的記錄介質及其驅動機構(例如硬碟驅動器、具有DVD-ROM的DVD驅動器、具有CD-ROM的CD驅動器等)作為硬體部分。
道路網層L1顯示多條道路11之間的連接信息。具體地，連接信息包括與包括地圖上以緯度和經度表示的位置信息的多個節點N相關的信息；以及與將一對節點N相互連接以構成每條道路11的多個連結相關的信息。此外，每個連結L包括與道路11的類型(道路類型，例如高速公路、收費公路、國道、地方公路等)相關的信息、與連結長度相關的信息等作為連結信息。
路形層L2為與道路網層L1關聯存儲的層，其表示道路11的路形。具體地，層L2包括與排列在多對節點N之間(連結上)的多個路形補足點(complementing point)S相關、並且表明以緯度和經度表示的位置信息的信息；以及與每一路形補足點S處的道路寬度W相關的信息。
地面物體層L3為與道路網層L1和路形層L2關聯存儲的層，其表示與出現在道路11上和道路11周圍的各種地面物體相關的信息C。該地面物體層L3中存儲的地面物體信息C包括與地面物體相關的信息，其中所述地面物體可以是至少被圖像識別裝置1使用的識別目標地面物體。
具體地，地面物體層L3存儲的地面物體信息C包括與設置在道路11表面上的著色標記的地面物體相關的地面物體信息Cp、與各種沿道路11設置的三維地面物體(例如交通指示牌、交通信號)相關的信息Cf。著色標記包括交通標記線(包括與例如實線、虛線、雙線等標記線的類型相關的信息)、斑馬線、停車線、行人交叉路、指定各個車道行駛方向的行駛線標記等。此外，雖然設置在道路11的表面上的人孔並非確切地是「著色標記」，但是這裡的「著色標記」中也可以包括這些人孔。三維物體包括各種物體，例如各種交通指示牌、交通信號、以及其它沿道路11或在道路11周圍設置的三維物體(例如護欄、建築物、電線桿、廣告牌等)。因此，以上例示的各種著色標記和三維物體對應於這裡的「地面物體」。並且，在本實施例中，存儲了每個地面物體的地面物體信息C的集合或組。
因此，在本實施例中，地圖資料庫8構成本發明中的「地面物體信息存儲部」。
地面物體信息C的特定內容包括位置信息、形狀信息、色彩信息、以及關聯信息。此外，每一地面物體信息C包括該地面物體信息C獨有的ID代碼。位置信息可以是以緯度和經度表示的信息。但是，在本實施例中，為了提供高準確度的信息，位置信息包括基於本質上以緯度和經度表示的路形補足點S或節點N而以距離和方向表示的地圖上的位置信息。除了如上所示的二維位置信息以外，位置信息還包括高度信息，其表示離道路11表面的高度。對於三維地面物體信息Cf的位置信息，這種高度信息尤為重要。也提供形狀信息和色彩信息作為典型表示如上所示的每個地面物體的特別形狀和色彩的信息。
關聯信息是用於使關於出現在相鄰區域的多個地面物體的地面物體信息C相關聯。具體地，每個地面物體信息C的關聯信息存儲有例如ID代碼的這種表示與出現在相鄰區域的地面物體相關的地面物體信息C的信息。通過這種關聯信息相互關聯的多個地面物體的組合的一些特定實例為停車線與停車指示牌的組合、行人交叉路與停車線和/或行人交叉路的預告牌(advance notice)的組合、交通信號與行人交叉路和/或相配對的另一交通信號的組合、斑馬線與指示道路分叉的交通信號的組合、相鄰車道的表示各個車道行駛方向的交通標記的組合等等。在這方面，多個地面物體的這種組合優選地包括設置在道路表面上的二維著色標記與三維物體(例如交通指示牌或交通信號)的組合。理由如下。即，在不能獲取好的圖像的情況下，著色標記和三維物體彼此不同。因此它們的圖像識別結果可以互補，從而能夠改善圖像識別速度。在本實施例中，如下文詳述的，在圖像識別部10，基於此關聯信息，選擇使用另一個識別目標地面物體作為推斷出現一個識別目標地面物體的圖像的區域E(參見圖8)的參考。因此，優選地，關聯信息使在地面物體之間具有適合用作區域E的推斷基礎的關係的這些地面物體相關聯。
地面物體信息獲取部9與成像定位部7和地圖資料庫8相連接。在操作中，基於上述從成像定位部7輸出的圖像信息G的成像位置信息以及地面物體信息C中包括的位置信息，地面物體信息獲取部9執行操作以獲取關於圖像信息G的成像區域A中包括的一個或多個地面物體的地面物體信息C。更具體地，基於圖像拾取裝置2在車輛M上的儀錶板上的設置位置、成像方向、成像角度等等，預先確定某一成像位置處圖像拾取裝置2的成像區域A。因此，地面物體信息獲取部9基於圖像信息G的成像位置信息，計算與地圖上的成像區域A相對應的區域B(參見圖7)，並且基於每一地面物體信息C包括的位置信息，從地面物體層L3中提取區域B內包括的所有地面物體信息C。
在上文中，圖像信息G的成像位置信息如上所述包括具有一定量誤差的值。因此，優選地，區域B的範圍設定為超出區域A的範圍，超出的值大於該誤差。此外，如果例如圖6(a)所示，成像區域A包括遠離成像位置的地面物體，那麼難以對這種遠離的地面物體進行圖像識別。因此，優選地，根本不提取關於出現在預定距離範圍外的地面物體的地面物體信息C。
基於地面物體信息獲取部9獲取的地面物體信息C，識別目標地面物體數目確定部15執行操作以確定多個識別目標地面物體是否包括在圖像信息G的成像區域A內。
在上文中，「識別目標地面物體」指的是這樣的物體其包括在地面物體信息C存儲在地圖資料庫8的地面物體內，並設定為圖像識別部10進行圖像識別的目標。根據例如每一地面物體的類型，可以預先設定是否設定各地面物體為圖像識別目標，並且將是否設定各地面物體為圖像識別目標存儲為地面信息C的內容。在這方面，優選地，根據圖像識別裝置1使用圖像識別結果的具體方式，將需要圖像識別的地面物體或者其圖像識別有助於其它需要圖像識別的地面物體的圖像識別的地面物體設定為識別目標地面物體。無須說明，也可以將在地圖資料庫8中存儲有其地面物體信息C的所有地面物體設定為識別目標地面物體。
在本實施例中，基本上，對所有這樣的地面物體進行圖像識別其地面物體信息C存儲在地圖資料庫8中作為識別目標地面物體。因此，在此實施例中，識別目標地面物體數目確定部15檢測由地面物體信息獲取部9獲取的圖像信息C的成像區域A內包括的地面物體的地面物體信息C的數目，如果發現該數目大於2(二)，則確定有多個識別目標包括在成像區域A內。
因此，在此實施例中，識別目標地面物體數目確定部15構成這裡的「確定部」。
圖像識別部10對圖像信息G中包括的每個識別目標物體執行圖像識別操作。在此實施例中，圖像識別部10經由圖像信息獲取部3的圖像存儲器14和識別目標地面物體數目確定部15連接至地面物體信息獲取部9。並且，圖像識別部10利用地面物體信息獲取部9獲取的地面物體信息，對圖像存儲器14存儲的圖像信息G執行識別操作。
更具體地，本實施例中使用的圖像識別部10包括以下子部作為執行特定操作的處理單元地面物體識別子部10a、地面物體信息轉換子部10b、區域推斷子部10c以及識別算法調整子部10d。地面物體識別子部10a對圖像信息G中包括的識別目標地面物體執行圖像識別操作。目標地面信息轉換子部10b執行的操作是將地面物體信息獲取部9獲取的地面物體信息C轉換為能夠與圖像信息G進行比較的狀態。當要執行一個識別目標地面物體的圖像識別時，基於另一個識別目標地面物體的圖像識別結果，以及基於地面物體信息C包括的位置信息的一個識別目標物體與另一識別目標物體之間的位置關係，區域推斷子部10c執行推斷圖像信息G內出現一個識別目標地面物體的區域E(參見圖8)的操作。基於區域推斷子部10c的推斷結果，識別算法調整子部10d執行調整用於圖像識別操作的識別算法的操作。
以下將參照流程圖描述圖像識別部10的各個處理單元所執行的圖像識別處理。
接下來，將參照圖4和圖5示出的流程圖，詳細描述與本發明實施例相關的圖像識別裝置1所執行的圖像識別處理的各個步驟。圖4為示出圖像識別裝置1執行的整個處理流程的流程圖。
如圖4所示，圖像識別裝置1首先執行用於輸入圖像識取裝置2所獲取的圖像信息G的操作(步驟#01)。具體地，執行此操作，以將例如包括車載攝像機的圖像拾取裝置2所獲取的圖像信息G經由接口部12傳輸至圖像預處理部13和圖像存儲器14。此外，在此期間，在從圖像拾取裝置2輸入圖像信息G時，即在與圖像拾取裝置2執行成像(圖像拾取)操作的基本相同的時間，接口部12將信號輸出至成像定位部7。該信號用於向圖像定位部7通知圖像操作執行的時間。圖6(a)示出圖像拾取裝置2獲取圖像信息G(不經過預處理操作的圖像信息G1)的實例。此特定實例示出T型十字路口附近與直道相互交叉的道路上獲取的圖像。
在已經接收到圖像信息G的輸入後，圖像預處理部13對圖像信息G執行預處理操作(步驟#02)。這些預處理操作包括二進位化操作、邊緣檢測操作等等，執行這些處理操作以便於圖像識別部10進行圖像識別。圖6(b)示出對圖6(a)所示原始圖像信息G執行預處理操作之後的圖像信息G的實例。在圖6(b)所示實例的情況下，提取示出邊緣檢測操作後獲得的成像物體的輪廓的圖像。然後，在步驟#02執行預處理操作之後的圖像信息G2和直接從接口部12傳輸的原始(未處理)的圖像信息G1都存儲在圖像存儲器14中(步驟#03)。
此外，在步驟#02和步驟#03操作的同時，成像定位部7執行用於確定圖像信息G的成像位置的操作(步驟#04)。具體地，當信號表明從接口部12輸入圖像信息G的時間，這解釋為圖像拾取裝置2執行成像操作的時間，並且成像定位部7基於GPS接收器4、羅盤傳感器5和距離傳感器6的輸出，執行用於確定成像位置的計算。確定的成像位置作為以緯度和經度表示的成像位置信息被傳輸至地面目標信息獲取部9。這裡，如上所述，圖像信息G的成像位置信息包括含有一定量誤差的值。
接下來，基於成像定位部7輸出的圖像信息G的成像位置信息和地面物體信息C包括的位置信息，地面物體信息獲取部9執行用於從地圖資料庫8存儲的地圖信息中獲取關於圖像信息G的成像區域內包括的地面物體的地面物體信息的操作(步驟#05)。在本實施例中，如圖7所示，基於在步驟#04獲取的圖像信息G的成像位置信息，地面物體信息獲取部9計算地圖上基本上與成像區域A相對應的區域B。並且，基於每一地面物體信息C內包括的位置信息，地面物體信息獲取部9從地面物體層L3提取並獲取區域B內包括的所有地面物體信息C。在此期間，考慮到上述圖像信息G的成像位置信息中含有的誤差，將區域B的範圍設置為超出成像區域A，超出的量為該誤差的量。此外，由於難以對遠距離地面物體進行圖像識別，因此使區域B的範圍與成像區域A的範圍不一致，並將區域B的範圍設定在離成像位置一預定距離的範圍內。
圖7示出包括在地面物體信息獲取部9獲取的圖像信息G的成像區域A中、並根據包括在每一地面物體信息C內的位置信息而以二維布局示出在圖6(a)中的地面物體的地面信息C。在圖7所示實例的情況下，對於地面物體信息C，地面物體信息獲取部9已經獲取了停車交通指示牌的地面物體信息Cf1作為三維物體地面物體信息Cf，並且獲取了停車線的地面物體信息Cp1、在右/左方向延伸的直道的中心線的地面物體信息Cp2、與直道交叉的道路的車道的中心線的地面物體信息Cp3、以及該道路的車道的外側線的地面物體信息Cp4等所有這些信息作為著色標記上的地面物體信息Cp。應該理解的是，圖7僅示出了實例。根據圖像信息G的每一特殊成像位置，地面物體信息獲取部9實際上獲取各種地面物體信息C。
接下來，基於上述由地面物體信息獲取部9獲取的地面物體信息C，識別目標地面物體數目確定部15執行用於確定圖像信息G的成像區域A內是否包括有多個識別目標地面物體的操作(步驟#06)。在此實施例中，具體地，識別目標地面物體數目確定部15檢測關於地面物體信息獲取部9獲取的圖像信息G的成像區域A內所包括的地面物體的地面物體信息C的數目。然後，如果檢測到的數目超過2(二)，則確定圖像信息G的成像區域A內包括有多個識別目標地面物體(在步驟#06為是)；而如果檢測到的數目為1，則確定圖像信息G的成像區域A內不包括多個識別目標地面物體(在步驟#06為否)。
並且，如果識別目標地面物體數目確定部15已經確定了圖像信息G的成像區域A內包括有多個識別目標地面物體(在步驟#06為是)，那麼以將多個識別目標地面物體組合在一起來執行「組合的圖像識別操作」(步驟#07)。在圖7所示實例的情況下，由於地面物體信息獲取部9已經獲取了多個地面物體信息C，因此將執行這種組合的圖像識別操作(步驟#08)。
另一方面，如果識別目標地面物體數目確定部15已經確定了圖像信息G的成像區域A內不包括多個識別目標地面物體(在步驟#06為否)，那麼將執行「單個的圖像識別操作」(步驟#08)。
圖5為示出圖像識別部10執行組合的圖像識別處理的流程的流程圖。在這種組合的圖像識別操作中，圖像識別部10基於一個識別目標地面物體與另一個識別目標地面物體之間的位置關係(基於地面物體信息C包括的位置信息)以及對所述另一個識別目標地面物體的圖像識別結果，對所述一個識別目標地面物體進行圖像識別。接下來，將特別說明該過程。
如圖5所示，在該過程中，首先，地面物體識別子部10a對步驟#02獲取的整個經預處理後的圖像信息G執行圖像識別操作(步驟#71)。在此，更具體地，如圖6(b)所示，地面物體識別子部10a對經過預處理操作(例如邊緣檢測操作)的整個圖像信息進行圖案匹配，從而識別每一識別目標地面物體的圖像。在這種情況下，在圖案匹配中，使用例如預定義與每一識別目標地面物體的形狀、色彩(亮度)相關的特徵數據的模板，從而提取與這些特徵數據具有高匹配度的圖像，然後，將該提取到的圖像識別為每一識別目標地面物體的圖像。利用此圖像識別處理，可以識別圖像在相對好的條件下獲取的識別目標地面物體的圖像，或者識別特徵即使僅從圖像信息G也是清楚可識別的識別目標地面物體(例如行人交叉路、交通指示牌等)的圖像。在圖6(b)示出的實例中，利用步驟#71的圖像識別操作，可以識別停車交通指示牌的圖像Gf1。由於停車指示牌圖像Gf1具有不同的形狀(包括其著色圖案)和色彩(亮度)，因此能夠相對容易地識別該圖像。
另一方面，對於停車線的圖像Gp1、在右/左方向延伸的直道的中心線的圖像Gp2、與直道交叉的道路的車道中心線的圖像Gp3、以及該道路的車道外側線的圖像Gp4，僅從這些圖像的圖像信息G2中識別這些圖像是困難的。這是因為雖然能夠識別這些圖像的形狀和色彩(亮度)，但僅基於這些圖像識別的結果，仍然難以確定哪個物體是識別目標地面物體。更具體而言，例如對於停車線的圖像Gp1，其可以被識別為右/左方向上的縱向直線的圖像。但是，僅基於其圖像信息G2，難以確定其確實是停車線、或沿右/左方向延伸的直道的中心線或外側線。
接下來，該處理執行用於將步驟#71執行的圖像識別操作的結果與步驟#05獲取的地面物體信息C進行比較的操作。更具體地，將步驟#71執行的圖像識別操作所成功識別的每一識別目標地面物體與步驟#05獲取的關於圖像信息G的成像區域A內包括的識別目標地面物體的地面物體信息C進行比較。並且，該處理確定步驟#71的圖像識別操作是否已經成功地識別了與每一地面物體信息C相對應的識別目標地面物體的圖像。
在本實施例中，對於上述確定步驟#71的圖像識別結果是否與地面目標信息C一致，地面目標信息轉換子部10b將關於步驟#05獲取的圖像信息的成像區域A內包括的識別目標地面物體的每一地面物體信息C轉換為能夠容易地與步驟#71的圖像信息G的圖像識別結果進行比較的信息形式。具體地，對於步驟#05獲取的每一地面物體信息C，基於從成像定位部7輸出的圖像信息G的成像位置信息以及每一地面物體信息C內包括的位置信息，地面物體信息轉換子部10b計算與圖像信息G2內的每一識別目標地面物體的位置相對應的「圖像中位置(intra-image position)」。然後，地面物體信息轉換子部10b執行布局轉換操作，以基於計算得到的圖像中位置對每一地面物體信息C進行布局。在此，如上所述，圖像信息G的成像位置信息包括帶有一定誤差的值。因此，基於每一地面物體信息C的內容和每一地面物體信息C的位置關係而進行上述比較。
作為步驟#72執行的上述比較的結果，如果發現在步驟#71的圖像識別操作中成功識別出了與步驟#05獲取的整個地面物體信息C相對應的識別目標地面物體的圖像(在步驟#73為否)，則完成了組合的圖像識別處理(步驟#07)。
另一方面，作為步驟#72執行的上述比較的結果，如果發現存在其圖像沒有在步驟#71的圖像識別操作中成功識別出的識別目標地面物體(以下稱為「未識別出的地面物體」)(在步驟#73為是)，那麼，區域推斷子部10c執行用於推斷存在該未識別出的地面物體的區域E(參見圖8)的操作。具體地，基於在步驟#71的圖像識別處理中成功識別出的識別目標地面物體(以下稱為「識別出的地面物體」)的圖像識別結果以及該未識別出的地面物體與一個或多個識別出的地面物體之間的位置關係(基於地面物體信息C包括的位置信息)，推斷存在該未識別出的地面物體的區域E。
在本實施例中，一個或多個未識別出的地面物體的每一個對應於這裡定義的「一個識別目標地面物體」，一個或更多其它識別出的地面物體對應於這裡定義的「另一個識別目標地面物體」。
在圖6(a)所示實例的情況下，如上所述，停車指示牌(Gf1)為識別出的地面物體，而停車線(Gp1)、沿右/左方向延伸的直道的中心線(Gp2)、與直道交叉道路的車道的中心線(Gp3)、以及外側線(Gp4)為未識別出的地面物體。然後，當例如要推斷存在停車線圖像Gp1的區域時，基於作為識別出的地面物體的停車指示牌圖像Gf1的識別結果以及停車線與停車指示牌之間的位置關係(基於關於停車線和停車指示牌的各個地面物體信息C包括的位置信息)，執行這種推斷。即，如果基於停車線的地面目標信息Cp1的位置信息和停車指示牌的地面目標信息Cf1的位置信息執行推斷，那麼參考圖像信息C內停車指示牌的圖像Gf1的位置，地面物體信息獲取子部10b可以計算並獲取停車線的圖像Gp1的基本上準確的位置。並且，由於出現在成像位置信息中的誤差而造成圖像信息G中的偏離可以通過使用在步驟#71執行的圖像識別處理中成功識別出的圖像信息中的停車指示牌圖像Gf1的位置作為參考來解決。因此，如圖8所示，能夠以高準確度推斷出在圖像信息G內存在停車線圖像Gp1的區域E。
在上文中，如果存在步驟#71的圖像識別處理中成功識別出的多個識別出的地面物體，那麼區域推斷子部10c搜索關於未識別出的地面物體的地面物體信息C是否包括用於與另一識別出的地面物體的地面物體信息C相關聯的關聯信息。並且，如果發現地面物體信息C包括這種用於與另一識別出的地面物體的地面物體信息相關聯的關聯信息，優選地，將與相關聯的另一地面物體信息C相對應的識別出的地面物體的圖像識別結果優先用於對未識別出的地面物體進行圖像識別。
如上所述，在圖6(b)所示的實例中，停車指示牌(Gf1)為單個的識別出的地面物體。因此，在確定將哪個識別出的地面目標圖像用作推斷存在停車線圖像Gp1的區域時的參考時不會出現問題。但是，通常認為，存在多個識別出的地面物體的可能性較高。在這種情況下，通過將在關聯信息中預先定義為適用於推斷存在例如停車線圖像Gp1的區域E的地面物體的一個或多個地面物體的圖像作為參考，可以以更高的準確度推斷存在停車線圖像Gp1的區域E。
順便提及，如果存在通過關聯信息而關聯的多個識別出的地面物體，那麼可以使用所有這些圖像作為參考。但是，也可以使用它們中的一個期望圖像作為參考。
然後，在區域推斷子部10c已經推斷出存在未識別出的地面物體的區域E時，識別算法調整子部10c調整識別算法，從而將已經推斷為出現未識別出的地面物體的區域E內用於確定是否為未識別出的地面物體的確定閾值設定為低於其它區域內的確定閾值(步驟#75)。並且，地面物體識別子部10a執行未識別出的地面物體圖像的識別(步驟#76)。例如，如果要對需要進行圖像識別的未識別出的地面物體執行圖像信息G內的圖像識別，那麼基於與該未識別出的地面物體的預定特徵數據的匹配度，可以以如下方式調整識別算法。即，可以調整識別算法，從而將用於在區域E內確定為未識別出的地面物體的與特徵數據相匹配的匹配度的閾值，設定為比在其它區域內進行確定的閾值低。藉助於此，即使在圖像信息G內包括多個具有與未識別出的地面物體相似的特徵的圖像「候選對象」時，也能進行準確的識別。
在圖6(b)所示實例的情況下，作為停車線的這種圖像候選對象，存在圖像Gp1和圖像Gp2，它們都在成像位置的前方沿右/左方向延伸。但是，基於步驟#74推斷出的存在停車線的區域E(參見圖8)，識別算法調整子部10d可以調整識別算法，從而將區域E內用於確定是否為停車線的閾值設定為低於其它區域內的閾值。藉助於此，地面物體識別子部10a能夠識別出圖像Gp1為停車線圖像。
順便提及，作為調整識別算法調整子部10d的識別算法的方法，除了上述將推斷出未識別出的地面物體出現的區域E的確定閾值設定為低於其它區域的確定閾值的方法外，其它的方法也可以，例如將其它區域的確定閾值設定為高於區域E的閾值的方法，將區域E的閾值設定為低於其它區域的閾值並同時將其它區域的閾值設定為較高的方法。以這些方式，調整識別算法的特定方法可以是適合於識別未識別出的地面物體的方法的任意方法。
以預定時間間隔重複執行步驟#01至#08的一系列上述步驟。藉助於此，可以在車輛M行駛的同時執行實時的圖像識別。
第二實施例接下來，將說明本發明的第二實施例。
圖9為方框圖，示出了與本實施例相關的定位裝置19的示意性結構。如圖所示，除了與上述第一實施例相關的圖像識別裝置1的結構，與本實施例相關的定位裝置還包括具體定位部16，用於更具體地確定圖像信息G的成像位置。
基於上述圖像識別裝置1對成像目標地面物體的圖像識別結果以及關於每一識別出的識別目標地面物體的地面物體信息C所包括的位置信息，具體定位部16執行操作以確定比成像定位部7獲取的包括一定誤差的成像位置信息更具體的圖像信息G的成像位置。
以包括算術處理單元(例如CPU)作為其核心部件的硬體和/或軟體(程序)的形式實現該具體定位部16。
接著，將描述該具體定位部16執行的計算操作的內容。如上所述，在圖像識別部10完成了對圖像信息G中包括的識別目標地面物體的圖像識別後，具體定位部16執行用於計算並獲取圖像信息G內的每一識別出圖像的識別目標地面物體與成像位置之間位置關係的操作。基於圖像信息G內的每一識別目標地面物體圖像的布局以及圖像拾取裝置2相對於車輛M的設置位置和/或設置角度，可以計算出每一識別目標地面物體與成像位置之間的位置關係。
接著，具體定位部16從地圖資料庫8獲取關於每一個被圖像識別部10識別出圖像的識別目標地面物體的地面目標信息C。由此得到關於圖像信息G內的每一識別目標地面物體的地面物體信息C包括的位置信息。地面物體信息C包括的位置信息為表示地圖上正確位置的信息。
並且，基於因此獲取的圖像信息G內的每一識別出圖像的識別目標地面物體與關於每一識別目標地面物體的地面物體信息C內包括的位置信息的位置關係，具體定位部16執行用於以高準確度確定地圖上圖像信息G的位置的計算，並輸出所確定的位置作為具體的成像位置信息。
此外，利用與本實施例相關的定位裝置19，當該定位裝置19如同上述第一實施例一樣設置在車輛M的儀錶板上時，從具體定位部16輸出的具體的成像位置信息變為車輛M的具體位置信息。因此，雖然未示出，但是通過採用將該具體的成像位置信息輸入至用於控制車輛M行駛的控制器這樣的構造，本發明可以應用在基於具體的車輛位置信息控制車輛M行駛的車輛控制裝置中。
因此，為了實現例如保持行車道、避免碰撞或其它事故的目的，例如基於從具體定位部16輸出的具體的成像位置信息、車輛M周圍的路形、以及存儲在地圖資料庫8的地圖信息中所包括的各種地面物體信息C，能夠有效地實現車輛M的行駛控制操作(例如轉向、加速/減速操作)。
第三實施例接著，將描述本發明的第三實施例。圖10為方框圖，示出了與本實施例相關的導航裝置20。如圖所述，除了與上述第二實施例相關的定位裝置19的結構之外，與本實施例相關的導航裝置20還包括導航算術處理單元17和顯示部18。在本實施例中，地圖資料庫8對應於這裡定義的「地圖信息存儲部」，導航算術處理單元17和顯示部18對應於這裡定義的「自身位置顯示部」。
與本實施例相關的該導航裝置20構造為將從具體定位部16輸出的具體成像位置信息輸入至成像定位部7。並且，基於具體的成像位置信息，成像定位部7執行操作以校正通過GPS接收器4、羅盤傳感器5、距離傳感器6等獲取的成像位置信息。然後，將校正後的成像位置信息傳輸至導航算術處理單元17。
因此，在本實施例中，該成像定位部7構成了這裡的「自身位置校正部」。
基於從成像定位部7傳輸的校正後的成像位置信息並使用該信息作為車輛M的位置信息，導航算術處理單元17從地圖資料庫8獲取該位置附近的地圖信息。並且，在獲取的地圖上，以重疊的方式示出顯示車輛自身位置的圖形，並且顯示部18一起示出車輛的自身位置以及車輛附近區域的地圖。
此外，利用這種具體確定的車輛自身位置，導航裝置20可以基於這樣具體識別出的自身位置信息，以例如一個行車道為單元來提供自身位置的詳細顯示，或者在最佳時間提供路徑引導。
其它實施例
(1)在上述實施例中，地面物體信息C既包括地面物體的形狀信息也包括地面物體的色彩信息。根據另一實施例，地面物體信息C僅包括地面物體的這些形狀信息和色彩信息中的一種信息。在此情況下，圖像識別部10僅利用地面物體信息C中包括的形狀信息和色彩信息中的一種信息對識別目標地面物體進行圖像識別。
(2)在如上所述的第一至第三實施例中，圖像識別裝置1、定位裝置19或導航裝置20設置在車輛M的儀錶板上。但是，這些裝置(即，圖像識別裝置1、定位裝置19或導航裝置20)並不限於應用在車輛M的儀錶板上。即，如果圖像拾取裝置2在道路上移動，可以有利地使用與本發明相關的圖像識別裝置1等。此外，本發明的這些裝置也可以用作對道路上獲取的靜止圖像進行圖像識別的裝置。
此外，不需要將本發明的圖像識別裝置等的整個構造設置在車輛M上。即，該構造可以被安裝在車輛M外，不包括圖像拾取裝置2的那部分經由例如網際網路的通訊網絡連接，通過這種網絡發送或接收信息或信號來構造或實現該圖像識別裝置1。在此情況下，可以通過設置在車輛外的伺服器執行例如圖像識別部10的功能。
工業應用使用與本發明相關的裝置或方法的圖像識別裝置、圖像識別方法、定位裝置、車輛控制裝置、以及導航裝置，在例如將裝置設置在車輛的儀錶板上時，可以適當並有利地應用於對通過在道路上移動的圖像拾取裝置獲取的圖像信息執行圖像識別。
權利要求
1.一種圖像識別裝置，包括圖像信息獲取部，用於輸入在道路上獲取的圖像信息；成像位置獲取部，用於獲取所述圖像信息的成像位置信息；地面物體信息存儲部，用於存儲地面物體的地面物體信息，所述地面物體信息包括位置信息；地面物體信息獲取部，用於基於所述成像位置信息和所述地面物體信息中包括的位置信息，從所述地面物體信息存儲部獲取關於所述圖像信息的成像區域內包括的一個或多個地面物體的地面物體信息；確定部，用於基於所述地面物體信息獲取部獲取的所述地面物體信息，確定所述圖像信息的成像區域內是否包括待識別的多個識別目標地面物體；以及圖像識別部，用於在所述確定部已經確定包括多個識別目標地面物體時，基於所述地面物體信息中包括的位置信息得到的一個識別目標地面物體與另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，識別所述一個識別目標地面物體的圖像。
2.如權利要求1所述的圖像識別裝置，其中，當所述確定部已經確定包括多個識別目標地面物體時，所述圖像識別部對整個圖像信息執行圖像識別，將所述圖像識別的結果與所述地面物體信息獲取部獲取的所述地面物體信息進行比較，然後，基於所述圖像信息的成像區域內包括的多個識別目標地面物體中每一個的識別的成功/失敗，所述圖像識別部將未識別出的地面物體設定為所述一個識別目標地面物體，將識別出的地面物體設定為所述另一個識別目標地面物體。
3.如權利要求1所述的圖像識別裝置，其中，所述地面物體信息包括用於將位置彼此相鄰的地面物體相關聯的關聯信息；以及當關於所述一個識別目標地面物體的地面物體信息包括用於關聯另一地面物體信息的關聯信息時，所述圖像識別部優先使用與相關聯的所述另一地面物體信息相對應的所述另一個識別目標地面物體的圖像識別結果，執行所述一個識別目標地面物體的圖像識別。
4.如權利要求1所述的圖像識別裝置，其中，所述圖像識別部包括區域推斷部，所述區域推斷部用於基於所述地面物體信息中包括的位置信息得到的所述一個識別目標地面物體與所述另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，推斷出所述一個識別目標地面物體出現在所述圖像信息內的區域，並且所述圖像識別部基於所述推斷的結果執行所述一個識別目標地面物體的圖像識別。
5.如權利要求4所述的圖像識別裝置，其中，所述圖像識別部配置為通過調整識別算法，使得用於確定是否為所述一個識別目標地面物體的確定閾值在已經推斷出所述一個識別目標地面物體的圖像要出現的區域內比在其它區域內低，執行所述一個識別目標地面物體的圖像識別。
6.如權利要求1所述的圖像識別裝置，其中，所述地面物體信息包括關於所述地面物體的形狀信息和色彩信息中的一種或兩種信息，並且所述圖像識別部使用關於所述地面物體的形狀信息和色彩信息中的一種或兩種信息，執行所述一個識別目標地面物體的圖像識別。
7.如權利要求1所述的圖像識別裝置，其中，存儲在所述地面物體信息存儲部的所述地面物體信息包括關於道路上設置的著色標記的地面物體信息；以及關於沿道路設置的三維物體的地面物體信息。
8.一種定位裝置，包括如權利要求1至7中任一項所述的圖像識別裝置，其中，所述定位裝置基於識別目標地面物體的圖像識別結果以及關於每一識別出的識別目標地面物體的地面物體信息中所包括的位置信息，確定比成像位置獲取部獲取的成像位置信息更詳細的圖像信息的成像位置。
9.一種車輛控制裝置，包括如權利要求1至7中任一項所述的圖像識別裝置，其中，所述車輛控制裝置基於識別目標地面物體的圖像識別結果以及關於每一識別出的識別目標地面物體的地面物體信息中所包括的位置信息，確定比成像位置獲取部獲取的成像位置信息更詳細的圖像信息的成像位置，然後使用所確定的成像位置作為車輛的當前位置，控制所述車輛的行駛。
10.一種導航裝置，包括如權利要求1至7中任一項所述的圖像識別裝置；地圖信息存儲部，用於存儲地圖信息；自身位置顯示部，用於顯示從所述地圖信息存儲部獲取的地圖上的自身位置；以及自身位置校正部，用於基於識別目標地面物體的圖像識別結果以及關於每一識別出的識別目標地面物體的地面物體信息中所包括的位置信息，確定比成像位置獲取部獲取的成像位置信息更詳細的圖像信息的成像位置，然後基於所確定的成像位置，校正要在所述自身位置顯示部顯示的自身位置。
11.一種圖像識別方法，包括圖像信息獲取步驟，用於輸入在道路上獲取的圖像信息；成像位置獲取步驟，用於獲取所述圖像信息的成像位置信息；地面物體信息存儲步驟，用於存儲地面物體的地面物體信息，所述地面物體信息包括位置信息；地面物體信息獲取步驟，用於基於所述成像位置信息和所述地面物體信息中所包括的位置信息，從所述地面物體信息存儲步驟中獲取關於圖像信息的成像區域內所包括的一個或多個地面物體的地面物體信息；確定步驟，用於基於在所述地面物體信息獲取步驟獲取的所述地面物體信息，確定所述圖像信息的成像區域內是否包括多個待識別的識別目標地面物體；以及圖像識別步驟，用於在所述確定步驟已經確定包括多個識別目標地面物體時，基於所述地面物體信息中包括的位置信息得到的一個識別目標地面物體與另一個識別目標地面物體之間的位置關係和基於所述另個識別目標地面物體的圖像識別結果，識別所述一個識別目標地面物體的圖像。
全文摘要
提供例如一種圖像識別裝置，在圖像識別操作僅依靠拾取的圖像信息時，即使圖像識別操作中的識別速度由於不能獲取好的關於識別目標的圖像信息而降低，所述圖像識別裝置也能夠提高識別目標的圖像識別速度。所述裝置包括圖像信息獲取部3；成像位置獲取部7；地面物體信息存儲部8；地面物體信息獲取部9，用於從所述地面物體信息存儲部8獲取關於所述圖像信息的成像區域內包括的一個或多個地面物體的地面物體信息；確定部15，用於基於獲取的地面物體信息，確定所述圖像信息的成像區域內是否包括待識別的多個識別目標地面物體；以及圖像識別部10，用於在所述確定部已經確定包括多個識別目標地面物體時，基於所述地面物體信息中包括的位置信息得到的一個識別目標地面物體與另一個識別目標地面物體之間的位置關係和基於所述另一個識別目標地面物體的圖像識別結果，識別所述一個識別目標地面物體的圖像。
文檔編號G06T7/00GK101091103SQ20068000139
公開日2007年12月19日 申請日期2006年1月25日 優先權日2005年1月28日
發明者中村正樹, 宮島孝幸, 中村元裕 申請人:愛信艾達株式會社, 豐田自動車株式會社