車輛周圍監視裝置製造方法
2023-10-08 01:10:24 1
車輛周圍監視裝置製造方法
【專利摘要】車輛周圍監視裝置具有：拍攝圖像取得部，其從設置於車輛上的拍攝部取得車輛周圍的圖像；附著物檢測部，其判斷在拍攝部的鏡頭上異物附著的狀態；狀態判斷部，其在由附著物檢測部判斷為附著有異物的情況下，判斷為圖像識別的性能降低的鏡頭狀態；鏡頭狀態記錄部，其在系統終結時在記錄部記錄由附著物檢測部檢測到的拍攝部的鏡頭的附著物的狀態；鏡頭狀態讀取部，其在系統起動時讀取存儲於記錄部的拍攝部的鏡頭的附著物的狀態，狀態判斷部基於在系統起動時由附著物檢測部檢測到的拍攝部的鏡頭的附著物的狀態，和由鏡頭狀態讀取部從存儲部讀取到的拍攝部的鏡頭的附著物的狀態，決定是否輸出起動清洗裝置的起動信號。
【專利說明】車輛周圍監視裝置
【技術領域】
[0001]本發明涉及對搭載在移動體上的攝像機鏡頭上的汙物進行檢測的車輛周圍監視
>J-U ρ?α裝直。
【背景技術】
[0002]已知有通過在車輛上搭載攝像機來一邊檢測在前方行駛的車輛，一邊檢測與先行車輛的距離的裝置(例如，專利文獻I)。用於該裝置的攝像機因主要是在車輛行駛中使用，所以在鏡頭的前面易附著汙物。如果鏡頭的髒汙嚴重，就不能正確地檢測先行車輛等被拍攝體，因此希望具備檢測附著在車載攝像機上的汙物，催促駕駛員清掃，或自動清洗的裝置。
[0003]為了解決這樣的問題，考慮用於檢測附著在攝像機上的汙物的方法(例如，專利文獻2)。在該汙物檢測方法中，使用I臺攝像機，通過抽取在多個時刻拍攝的影像的差量來檢測汙物附著。可以通過該方法檢測汙物附著並自動地進行清洗。
[0004]現有技術文獻
[0005]專利文獻
[0006]專利文獻1:日本特開2001 - 199260號公報
[0007]專利文獻2:日本特開2003 - 259358號公報
【發明內容】
[0008]發明要解決的技術問題
[0009]但是，在上述的現有方法中，對於通過清洗不能去除的汙物，清洗後同樣會作為汙物被檢測到，導致反覆多次進行清洗。而本發明對汙物附著進行記錄，抑制徒勞的清洗。
[0010]用於解決問題的技術手段
[0011]根據本發明的一方式，車輛周圍監視裝置具有:拍攝圖像取得部，其從設置在車輛上的拍攝部取得車輛周圍的圖像；附著物檢測部，其判斷在拍攝部的鏡頭上異物附著的狀態；狀態判斷部，其在由附著物檢測部判斷為附著有異物的情況下，判斷為圖像識別的性能降低的鏡頭狀態；鏡頭狀態記錄部，其在系統終止時在記錄部記錄鏡頭狀態；和鏡頭狀態讀取部，其在系統起動時讀取存儲於記錄部的鏡頭狀態。
[0012]根據本發明的另一方式，車輛周圍監視裝置具有:拍攝圖像取得部，其從設置在車輛上的拍攝部取得車輛周圍的圖像；附著物檢測部，其檢測附著於拍攝部的鏡頭上的附著物；狀態判斷部，其判斷由附著物檢測部檢測到的拍攝部的鏡頭的附著物是否增加；鏡頭清洗部，其在狀態判斷部判斷為拍攝部的鏡頭的附著物增加時，輸出起動清洗拍攝部的鏡頭的清洗裝置的起動信號，在狀態判斷部沒有判斷為拍攝部的鏡頭的附著物增加時，不輸出起動清洗拍攝部的鏡頭的清洗裝置的起動信號。
[0013]發明效果
[0014]根據本發明，能夠抑制徒勞的清洗。
【專利附圖】
【附圖說明】
[0015]圖1是表示本發明第一實施方式的車輛周圍監視裝置的構成要素的圖。
[0016]圖2是表示車輛周圍監視裝置與周圍裝置的關係的圖。
[0017]圖3是表示在車輛上搭載有攝像機的樣子的圖。
[0018]圖4是表示圖像中觀測到對於鏡頭的附著物的樣子的圖。
[0019]圖5是說明附著信息表的圖。
[0020]圖6是說明附著物檢測邏輯的檢測結果表的圖。
[0021]圖7是關於本發明第二實施方式的車輛周圍監視裝置的圖。
[0022]圖8是表示關於本發明各實施方式的車輛周圍監視裝置的動作的流程的一個例子的圖。
[0023]圖9是表示關於圖8的初始診斷的處理的流程的一個例子的圖。
[0024]圖10是表示關於圖8的通常識別的處理的流程的一個例子的圖。
[0025]圖11是說明以塊單元具有附著位置掩模的變形例的圖。
[0026]圖12是對差量圖像的生成方法進行說明的圖。
[0027]圖13是對形狀判斷進行說明的圖。
[0028]圖14是說明本發明第二實施方式的附著信息表的圖。
[0029]圖15是說明本發明第三實施方式的附著信息表的圖。
【具體實施方式】
[0030]下面，使用附圖對本發明的一實施方式的車輛周圍監視裝置進行說明。
[0031](第一實施方式)
[0032]在本發明的第一實施方式中，首先，在發動機起動時讀取上次發動機停止時記錄的附著物(異物、汙物)的種類、附著量、附著部位(以下，稱為附著物信息)。接著，在發動機起動後的規定時間內的行駛中(以下，稱為初始診斷時間內)用車載的攝像機監視車輛周邊，判斷雨滴或泥、白濁、水滴痕、落葉等附著物附著的狀況，如果與所記錄的附著量相比增加規定量以上，則驅動清洗裝置。而且，在發動機停止時記錄附著物信息。
[0033]圖1是說明本發明第一實施方式的車輛周圍監視裝置的構成的圖。車輛周圍監視裝置100用於檢測附著於攝像機鏡頭上的附著物，構成於未圖示的圖像處理E⑶(ElectricControl Unit，電控單元)內。車輛周圍監視裝置100不限定於在圖像處理E⑶內構成的方式，也可以在專用的ECU或車載攝像機(圖1中未圖示)的ECU等其它的車載ECU內構成，另外，也可以通過多個E⑶的組合而構成。
[0034]如圖1所示，車輛周圍監視裝置100包括:拍攝圖像取得部101、附著物檢測部102、鏡頭狀態判斷部103、鏡頭清洗部104、鏡頭狀態記錄部105、鏡頭狀態讀取部106、記錄部107、車輛信息取得部108。拍攝圖像取得部101取得由車載攝像機(圖1中未圖示)隔開事先設定的時間間隔所拍攝的拍攝圖像。附著物檢測部102具有檢測泥、水滴、白濁、落葉等附著物中的任一種以上的檢測單元。鏡頭狀態判斷部103將後述的鏡頭狀態讀取部106從後述的記錄部107讀取到的鏡頭狀態，與從附著物檢測部102得到的鏡頭狀態(詳細後述)進行比較，判斷鏡頭的附著物是否增加，從而判斷是否為圖像識別的性能降低的鏡頭狀態。在此，所謂圖像識別包含車輛檢測處理、行人檢測處理、行車道劃分線識別處理、標誌識別處理中的至少一種處理。鏡頭狀態判斷部103在鏡頭的附著物增加的情況下，判斷為是圖像識別不能進行的狀態或圖像識別的性能降低的鏡頭狀態。鏡頭清洗部104向執行空氣噴射或洗滌液噴射、雨刷驅動任一種以上的鏡頭清洗裝置發送起動信號，起動鏡頭清洗裝置對鏡頭表面進行清洗。車輛信息取得部108取得車速、輪速、轉向角、照明信息、雨刷驅動開關信息、橫擺角速度信息中任一種以上的車輛信息。鏡頭狀態記錄部105在發動機停止時向記錄部107發送鏡頭狀態並記錄。鏡頭狀態讀取部106在發動機起動時從記錄部107讀取鏡頭狀態。
[0035]圖2是表示車輛周圍監視裝置100及其周圍裝置的關係的方框圖。圖2中作為構成上述車輛周圍監視裝置100的E⑶圖示有E⑶110。而且，在構成車輛周圍監視裝置100的E⑶110的輸入側，連接有車載攝像機111、車速傳感器121、轉向角傳感器122、照明傳感器123、輪速傳感器124、雨刷驅動開關125和橫擺角速度傳感器126。車載攝像機111用於觀測車輛前方或後方等本車輛周邊。ECUllO從車速傳感器121獲得本車輛的速度。ECUllO從轉向角傳感器122獲得本車輛的方向盤的旋轉角度。ECUllO從照明傳感器123獲得本車輛的前燈或信號燈這些燈類的點亮狀態。ECUllO從輪速傳感器124獲得各車輪的轉速。雨刷驅動開關125，駕駛員用手動或者與窗玻璃上的雨滴附著連動地自動驅動前雨刷或後雨刷。ECUllO從橫擺角速度傳感器126獲得車輛行駛方向的變化。
[0036]另外，在構成車輛周圍監視裝置100的E⑶110的輸出側，連接有用於輸出警報音的擴音器112、用於顯示輸出了警報的對象的監視器113、鏡頭清洗裝置115。鏡頭清洗裝置115基於從鏡頭清洗部104發送的起動信號來起動，進行空氣噴射、洗滌液噴射、雨刷驅動等，清洗車載攝像機111的攝像機鏡頭。
[0037]車載攝像機111是所謂的單眼攝像機，安裝在車輛上用於拍攝本車輛的周圍。車載攝像機111不限定於拍攝車輛後方的後側攝像機，也可以是拍攝車輛前方的前側攝像機或拍攝車輛側方的側攝像機，也可以是全部具備這些攝像機的設備。
[0038]另外，監視器113也可以將車載攝像機111的影像和圖像識別結果重疊顯示，也可以將識別結果圖標化而顯示，也可以是只用LED或電燈泡等電燈通知識別結果的裝置，也可以具備全部這些。
[0039]車載攝像機111例如是CCD攝像機或CMOS攝像機，利用受光元件(未圖示)接收向鏡頭入射的可視光、近紅外光或遠紅外光等。車載攝像機111根據由受光元件(未圖示)接收到的光的強度等，蓄積電荷並將與蓄積電荷對應的信號放大後輸出。近年來，還具有通過在攝像機內安裝存儲元件和處理器，拍攝後在攝像機內對鏡頭歪斜進行修正後輸出的情況。輸出大多使用模擬或數位訊號，在第一實施方式中假設為模擬信號而進行對話。輸出的模擬影像信號通過拍攝圖像取得部101進行A/D轉換，但這時，也可以通過變更A/D轉換的電壓和亮度值的圖像參數，以更明亮或更暗的亮度值取得相同信號的影像並存儲於存儲器(未圖不)。
[0040]這樣，使用存儲於存儲器(未圖示)的圖像，通過附著物檢測部102進行附著物檢測。該附著物檢測部102使用水滴檢測、泥檢測、白濁檢測、水滴痕檢測、異物附著檢測中至少一種以上，但也可以分別進行多個檢測，保持各結果。關於各檢測邏輯的概要，後文敘述。
[0041]附著物檢測部102輸出稱為附著位置掩模(mask)和附著信息表的信息,作為這些檢測邏輯的輸出。附著位置掩模將在後文敘述其詳細，按各檢測邏輯輸出。
[0042]圖4(b)例示有與圖4(a)例示的畫面對應的附著位置掩模134。圖4(a)例示有由檢測邏輯檢測到的附著物132。在圖4(b)的附著位置掩模134上，在與這些附著物132對應的位置含有附著物區域133。
[0043]附著物檢測部102輸出與如圖4(a)例示的該檢測邏輯所檢測到的附著物132對應的圖4(b)所示的附著位置掩模134、和包含如圖5所示的畫面內的附著物數量和附著物面積的附著信息表135。
[0044]由該附著物檢測部102輸出的附著位置掩模134和附著信息表135，在發動機停止時或在系統的電源供給中斷時，以使用來自未圖示的蓄電池的電源供給進行記錄作為這次行駛的鏡頭最終狀態的方式，由鏡頭狀態記錄部105發送到記錄部107並記錄。在此，雖然記載為在發動機停止時進行記錄動作，但鏡頭狀態記錄部105例如也可以構成為按發動機起動中的每一定時間進行記錄動作，在發動機停止時最終這次行駛的鏡頭最終狀態被記錄，在該情況下，具有不需要上述蓄電池的效果。另外，也可以根據車速低至一定以下的時亥IJ，視為停車且鏡頭狀態記錄部105開始記錄動作，該情況下，除同樣不需要上述蓄電池以夕卜，還使記錄部107的寫入次數進一步減少，因此還具有延長記錄裝置的壽命的效果。
[0045]鏡頭狀態讀取部106在發動機起動時或對系統的電源供給開始時作為上次行駛時的鏡頭最終狀態，讀取附著位置掩模134和附著信息表135作為鏡頭信息。這裡也記載為在發動機起動時進行記錄動作，但例如通過在發動機起動後初次在車速超過規定的速度的情況下進行讀取，可以得到抑制頻繁的記錄部107讀取次數的效果。
[0046]記錄部107例如由Flash — ROM或硬碟、固體硬碟構成，根據來自鏡頭狀態記錄部105和鏡頭狀態讀取部106的請求，對所記錄的信息進行收發。另外，也可以具有預先記錄讀寫時的錯誤狀態，只使用未產生錯誤的記錄塊的功能。
[0047]接著，在鏡頭狀態判斷部103，將由附著物檢測部102檢測到的附著位置掩模和附著信息表，與由鏡頭狀態讀取部106讀取到的之前發動機停止時記錄的附著位置掩模和附著信息表進行比較，與所記錄的附著量相比增加了規定量以上時，向鏡頭清洗部104輸出驅動清洗裝置的信號。在鏡頭狀態判斷部103的說明中，上述鏡頭狀態是指附著位置掩模和附著信息表。
[0048]鏡頭清洗部104控制由空氣噴嘴、洗滌液噴嘴、雨刷片中的至少一者以上構成的鏡頭清洗裝置115，根據來自鏡頭狀態判斷部103的信號，使鏡頭清洗裝置115實施鏡頭清洗。
[0049]另外，車輛信息取得部108從車輛經由CAN (Car Area Network)接收車速、輪速、轉向角、照明信息、雨刷驅動開關信息、橫擺角速度信息中的至少一種以上。
[0050]接著，使用圖2，對E⑶110和其周邊裝置的協作進行說明。E⑶110從車載攝像機111輸入影像，並且為了計算此時的本車動作，接收來自車速傳感器121及轉向角傳感器
122、照明傳感器123、輪速傳感器124、雨刷驅動開關125、橫擺角速度傳感器126的傳感器信息及開關信息。這些傳感器類也可以使用輪速脈衝傳感器、方向盤角傳感器、轉向角動力輔助裝置、車高傳感器，GPS傳感器、加速度傳感器等，只要是為了計算本車動作而使用的傳感器，可以是任何種類。另外，照明傳感器123是表示本車的燈光類的狀態的傳感器，例如照射前燈的狀況，可以判斷為是周圍暗的環境。除此以外，利用自動前燈點亮裝置所使用的照度傳感器等，或利用從車載攝像機111等獲得的亮度信號、光圈信息及快門速度信息，也可以取得周圍的明亮度。
[0051]E⑶110 —邊在監視器113顯示執行車輛周圍監視的結果，一邊根據需要催促駕駛員注意提醒，因此從擴音器112使警報音鳴叫，例如附著物量多，或在圖像上與白線檢測和車輛檢測等圖像識別邏輯的處理區域相應的區域存在附著物的情況下，通知用戶系統不能動作。
[0052]接著，使用圖3、圖4 (a)及(b)、圖5和圖6，對記錄部107記錄的附著位置掩模和附著信息表的內容進行說明。
[0053]圖3是表示在車輛上搭載有攝像機的樣子的圖，圖4(a)及(b)是表示在圖像中觀測到對鏡頭的附著物的樣子的圖，圖5是說明附著信息表的圖。
[0054]如圖3所示，車載攝像機111是搭載於車輛210上的車載攝像機220，因車輛行駛時的卷揚、降雨或降雪，泥、水滴、雨滴、冰粒、除雪劑等附著物230附著在攝像機鏡頭上。這樣的附著物230根據其種類和光源，視為透明、半透明、不透明，另外，在行駛中照明環境動態變化，從而隔著附著物拍攝到的圖像也變化。另外，由於根據晝夜狀態可看到的附著物不同，因此，具有通過按晝夜分別準備各附著物的檢測邏輯能夠提高檢測性能的效果。
[0055]圖4(a)表示在攝像機鏡頭131的表面上存在附著物132的樣子。根據水滴檢測、泥檢測、白濁檢測、水滴痕檢測、異物附著檢測等檢測邏輯，如圖4(b)，拍攝到的圖像上的附著物區域133與附著物132的位置對應地被確定，將這些附著物區域133作為附著位置掩模134按各檢測邏輯進行記錄。另外，該附著位置掩模134未必與輸入圖像的解析度相同，也可以根據檢測邏輯而改變其解析度。通過改變解析度，可以節約記錄所需的存儲容量，另夕卜，具有可以消減記錄時所需的寫入時間的效果。
[0056]如圖5所示，在附著信息表135中，具有各附著物檢測邏輯的檢測結果表136。
[0057]通過各附著物檢測邏輯，檢測該邏輯特有的附著物，獲得附著物的個數及面積、重心、附著時間。將系統起動後的一定時間內檢測到的附著物存儲，與這之後的行駛時追加附著的附著物相區別。由此，對於新附著物進行清洗動作，對最初的附著物抑制清洗動作，從而具有可以抑制徒勞的清洗動作的效果。
[0058]圖6表示附著物檢測邏輯的檢測結果表136的一個例子。如圖6例示，檢測結果表136中包含作為各檢測邏輯的檢測對象的附著物的種類、表示獨立的附著物的數量的附著物數量、與在圖像上觀測的附著物覆蓋的像素數對應的附著面積、與最初觀測有附著物之後的經過時間對應的附著時間、各附著物的重心或面積之類的附著物詳細信息中至少一種以上的信息。
[0059]對於第一實施方式的車輛周圍監視裝置100，基於圖8的流程圖說明其作用。該車輛周圍監視裝置100具有執行初始診斷處理的狀態、和執行通常識別處理的狀態這兩個狀態。
[0060]首先，在步驟S10，E⑶110使用車速、轉向角、晝夜判斷狀態中的一個以上，判斷執行初始診斷的條件是否成立。在執行初始診斷的條件成立的情況下，ECUllO將初始診斷計數器設為0，進入執行初始診斷的步驟S20。例如，如車速為30km/h以上時那樣穩定的行駛條件成立的情況，判斷為執行初始診斷的條件成立(步驟SlO的「是」)。在判斷為穩定的行駛條件不成立的情況(步驟SlO的「否」)下，跳過步驟S20的執行初始診斷而進入步驟S30。例如，通過將車速為30km/h以上作為條件，附著物檢測邏輯能夠在移動的背景圖像中抽取變動少的區域作為附著物，具有可以提高附著物檢測結果的可靠性的效果。另外，在車速大幅變化、或轉向角大的情況下，因在停車場等中行駛，所以周圍店鋪的光源或太陽方向變化的可能性高，在這種情況下，具有通過跳過執行初始診斷來抑制錯誤的初始診斷的效果。另外，在晝夜判斷狀態從白天向夜晚或從夜晚向白天變化的情況下，即發生出入隧道等的情況下，具有通過跳過執行初始診斷(步驟S20)來抑制錯誤的初始診斷的效果。
[0061]接著，在步驟S20中，E⑶110執行初始診斷。該初始診斷通過附著物檢測部102執行水滴檢測、泥檢測、白濁檢測、水滴痕檢測、異物附著檢測等附著物檢測。在進行步驟S20的處理時，稱為初始診斷計數器的計數增量。
[0062]在步驟S30中，E⑶110判斷發動機是否停止。在發動機未停止的情況下(S30的「否」)，E⑶110進入步驟S40，再次繼續處理。在發動機停止的情況下(S30的「是」)，E⑶110如果在直至該時刻所執行的初始診斷中，使用得到的附著信息對附著信息表135進行更新，則進入進行附著物信息記錄的步驟S80。
[0063]在步驟S40，ECUllO判斷初始診斷是否完成。初始診斷完成的條件設定為初始診斷執行邏輯全部進行規定次數或規定時間，且檢測結果穩定。如果初始診斷完成(S40的「是」)，ECUllO就結束初始診斷向通常識別轉移。如果初始診斷未完成(S40的「否」)，E⑶110就進入步驟S20，執行初始診斷。另外，也可以在初始診斷開始之後一定時間(例如3分鐘等)，即在初始診斷計數器為一定值以上的情況下，使初始診斷結束。
[0064]在步驟S50，E⑶110通過附著物檢測部102執行車載攝像機111的鏡頭表面上的水滴檢測、泥檢測、白濁檢測、水滴痕檢測、異物附著檢測等附著物檢測。此時的附著物檢測能夠變更初始診斷中的步驟S20的時間和參數，並且使用附著位置掩模134，對於在初始診斷時未附著附著物的區域，檢測從初始診斷時開始的附著物增加。該附著物檢測是通過從在步驟S50的附著物檢測中檢測到的各附著物中，去除附著位置掩模134中的附著物區域133，僅將剩餘的區域的附著物量進行合計，從而只抽取新增加的附著物。在步驟S50，輸出鏡頭上的附著物量和新增加的附著物量。
[0065]在步驟S60，E⑶110以在步驟S50輸出的附著物量為基礎，向清洗系統通知附著物狀態。關於步驟S60的詳細，將在後文敘述。
[0066]在步驟S70中，E⑶110判斷發動機是否停止。在發動機未停止的情況下(步驟S70的「否」)，E⑶110繼續進一步處理。在發動機停止的情況下(步驟S70的「是」 )，E⑶110如果更新在直至該時刻所執行的初始診斷中得到的附著信息表135，則進入步驟S80。
[0067]在步驟S80中，E⑶110使用記錄部107記錄附著位置掩模和附著信息表的內容。
[0068]接著，對第一實施方式的車輛周圍監視裝置100，基於圖9的流程圖說明該初始診斷時的處理。本處理相當於圖8中的步驟S20及S30的處理，圖9的步驟S160與圖8的步驟S30相對應。圖9的處理由E⑶110執行。
[0069]初始診斷處理中，首先，在步驟SI 10使用車載攝像機111取得圖像，進入步驟S120的圖像蓄積處理。接著，在步驟S120，將取得的圖像記錄在未圖示的存儲器中。該圖像蓄積例如環形緩衝器那樣對於可以存儲一定張數的圖像存儲器，以替換舊蓄積圖像的方式寫入新圖像。例如，通過在6張環形緩衝器中，平均100msec寫入一次，能夠總是保持距最新圖像500msec間的圖像。接著，在步驟S130，設定處理區域。例如，在行駛中的車輛中，設定圖像中的路面區域作為處理區域。
[0070]接著，在步驟S140中，基於從車載攝像機111在不同的時間輸出的多個攝影圖像，檢測在步驟S130中設定的處理區域內的變化。以後，將在步驟S140中進行該變化的檢測的部分記作變化檢測部S140。變化檢測部S140根據多個攝影圖像生成稱為差分圖像的圖像，作為檢測結果。
[0071]使用圖12對差分圖像的生成方法進行說明。差分圖像通過計算最新的攝影圖像與基準圖像的差分而生成。基準圖像在最新的攝影圖像之前，基於從車載攝像機111中以時間序列連續地輸出的過去攝影圖像而生成。
[0072]圖12圖示有表示時間變化的箭頭，在該箭頭上按照攝像機I的幀頻率圖示有時間to?t5。在表示時間變化的箭頭之下，圖示有在時間to?t5分別從車載攝像機111輸出的攝影圖像AO?A5。攝影圖像AO?A5設定為每當從車載攝像機111輸出就蓄積於存儲器中。而且，攝影圖像向存儲器中的蓄積在時間t0開始。即，圖12中攝影圖像AO是蓄積在存儲器中的攝影圖像中最舊的攝影圖像，攝影圖像A5是最新的攝影圖像。
[0073]基準圖像Bi在從車載攝像機111中輸出有新的攝影圖像Ai時(例如，時間t5)，使用之前蓄積於存儲器的攝影圖像Ai — 1(例如，攝影圖像A4)和輸出攝影圖像Ai的時刻的基準圖像B1- 1，通過下式⑴及(2)而生成。
[0074]Bi = Ai — I (i = I 時)...(I)
[0075]Bi = kXAi — 1+(1 — k) XBi — I (i 彡 2 時)...(2)
[0076]在此，k為O < k < I的係數，例如k = 0.1。
[0077]變化檢測部S140生成從車載攝像機111輸出的最新的攝影圖像(例如，攝影圖像A5)與在輸出了該最新的攝影圖像的時刻的基準圖像(例如，基準圖像B5)的差分圖像。
[0078]另外，變化檢測部S140除生成差分圖像以外，還取得攝像機曝光狀態及周圍光源環境、車速、轉向角之類的車輛性能信息，能夠根據取得的信息，控制差分圖像的生成或步驟S150中的形狀判斷部的處理。
[0079]攝像機曝光狀態是通過監視車載攝像機111的靈敏度而取得的狀態，表示是否變更車載攝像機111的靈敏度(增益調整)。車載攝像機111例如在本車輛進入隧道時等時候，當攝影圖像的亮度急劇變化時變更靈敏度。車輛周圍監視裝置100在車載攝像機111的靈敏度變更的情況下，攝影圖像的變化設定為車載攝像機111的靈敏度的變更產生的變化，為了預防附著物的誤檢測，在進行差分圖像下的附著物的檢測後，將規定的閾值以下的變化量替換為O。由此，產生抑制因隧道出入口或夜間被後車的前燈照射的情況下產生的變化而造成的誤檢測的效果。
[0080]周圍光源環境以攝像機曝光狀態和利用攝像機獲得的圖像為基礎而取得，判斷周圍是白天、夜間、黑夜中的哪一種。黑夜是夜間的一種，是指在夜間特別是周圍照明光源少，難以看到識別對象的狀況。攝像機曝光時間比閾值短的情況下，周圍環境明亮，判斷為白天。攝像機曝光時間比閾值長的情況下，是夜間或黑夜。將從攝像機得到的圖像按規定的閾值進行二值化，通過計數白標記個數，可取得街燈或店鋪、其他車前燈等光源數，但在該光源數為規定的個數以下的情況下，判斷為黑夜，在該光源數比規定的個數多的情況下，判斷為夜間。
[0081]車輛舉動信息在突然加減速即存在閾值以上的車速變化的情況下，也可以暫時抑制變化檢測，作為無相當於差分圖像中的差分的區域而輸出。由此，產生抑制因加減速時的車身擺動大而產生的圖像變化造成的誤檢測的效果。轉向角大的情況也一樣，產生抑制特別是因太陽等光源位置變化的情況造成的誤檢測的效果。另外，轉向角的閾值也可以根據車速而變動，該情況與根據光源位置的變化量抑制誤檢測是等效的。
[0082]在圖9的步驟S150中，對於與步驟S140生成的差分圖像中包含的差分相當的像素塊，基於是否具有規定的形狀而判斷是否有附著物。下面，將在步驟S150中進行該形狀判斷的部分記作形狀判斷部S150。該像素塊例如使用周知的邊緣檢測處理、標記處理等從差分圖像中檢測。形狀判斷部S150對圖像塊縱橫比、填充率(詳情後述)、面積、凹陷率(詳情後述)分別進行判斷，將這些全部的判斷中被確認判斷的圖像塊視為附著物的圖像。作為形狀判斷部S150的輸出，獲得圖4所示的附著位置掩模134和圖6所示的檢測結果表
136。
[0083](根據縱橫比的形狀判斷)
[0084]使用圖13(a)對根據縱橫比的形狀判斷進行說明。形狀判斷部S150對差分圖像中包含的像素塊，計算攝影圖像的縱軸方向的長度H和攝影圖像的橫軸方向的長度W之比Η/ff,將其作為縱橫比。而且，形狀判斷部S150在該縱橫比H/W為規定的閾值Th I以上且規定的閾值Th2以下時，將根據縱橫比的形狀判斷進行肯定判斷。另一方面，縱橫比H/W小於規定的閾值Thl或比規定的閾值Th2大時，形狀判斷部S150將根據縱橫比的形狀判斷進行否定判斷。閾值Thl及Th2通過變化檢測部S140等進行調節。
[0085](根據填充率的形狀判斷)
[0086]使用圖13(a)對根據填充率的形狀判斷進行說明。在根據填充率的形狀判斷中，形狀判斷部S150對差分圖像中包含的像素塊，計算攝影圖像的縱軸方向的長度H和橫軸方向的長度W的積HW和該像素塊的面積S之比S/ (HW)，將其作為填充率。而且，填充率S/(HW)為規定的閾值Th3以上且規定的閾值Th4以下時，將根據填充率的形狀判斷進行肯定判斷。另一方面，填充率S/(HW)為小於規定的閾值Th3或比規定的閾值Th4大時，形狀判斷部S150將根據填充率的形狀判斷進行否定判斷。閾值Th3及Th4通過變化檢測部S140等進行調節。
[0087](根據面積的形狀判斷)
[0088]對根據面積的形狀判斷進行說明。形狀判斷部S150對差分圖像中包含的像素塊，在其面積S為規定的閾值Th5以上且規定的閾值Th6以下時，將根據面積的形狀判斷進行肯定判斷。另一方面，面積S小於規定的閾值Th5或比規定的閾值Th6大時,形狀判斷部S150將根據面積的形狀判斷進行肯定判斷。閾值Th5及Th6通過變化檢測部S140等進行調節。
[0089](根據凹陷率的形狀判斷)
[0090]使用圖13(b)對根據輪廓的凹陷率的形狀判斷進行說明。形狀判斷部S150對差分圖像中包含的像素塊，基於將該像素塊的輪廓(例如，圖13(b)的輪廓50)從該像素塊的最上點(例如，圖13(b)的點51)向逆時針方向順次描畫時的切矢量的方向的變化，進行像素塊的形狀判斷。像素塊為圓等凸圖形的情況下，沿逆時針方向描畫像素塊的輪廓時，切矢量的方向沿逆時針方向變化。另一方面，在如圖13(b)的凹部52那樣的部位，有時切矢量的方向沿順時針變化。
[0091]形狀判斷部S150對構成各像素塊的輪廓的各像素，計算輪廓的切矢量的方向。圖13(b)中例示有對於像素塊的輪廓50計算方向的切矢量的一部分。形狀判斷部S150沿著各像素塊的輪廓，以輪廓的逆時針順序取得構成輪廓的像素的切矢量的方向，與之前取得的像素的切矢量的方向進行比較，判斷是逆時針旋轉還是順時針旋轉。形狀判斷部S150對各像素塊，計算在其輪廓沿逆時針旋轉一周時，切矢量的朝向向逆時針方向旋轉的次數M和向順時針方向旋轉的次數N，從而計算凹陷率N/(M+N)。形狀判斷部S150對差分圖像中包含的各像素塊，在凹陷率N/(M+N)為規定的閾值Th7以上且不足規定的閾值Th8時，將根據凹陷率的形狀判斷進行肯定判斷。另一方面，凹陷率N/(M+N)不足規定的閾值Th7或比規定的閾值Th8大時，形狀判斷部S150將根據凹陷率的形狀判斷進行肯定判斷。閾值Th7及Th8通過變化檢測部S140的各部來調節。
[0092]接著，在圖9的步驟S160中，判斷發動機是否停止。該判斷可以經由CAN獲得發動機切斷信號，也可以根據向車輛周圍監視裝置100的電源供給被停止的情況進行判斷。停止電源供給的情況下，也可以迅速地切換為來自未圖示的車輛周圍監視裝置100的內部蓄電池或外部連接的蓄電池的電源供給。另外，雖然記述為發動機停止的情況，但不一定需要發動機停止，也可以僅用向車輛周圍監視裝置100發送的結束信號代用，總之，只要可檢測系統大致停止而進入降低電力消耗的模式即可。
[0093]在發動機停止的情況下(S160的「是」)，在步驟S170中更新附著信息表。該附著信息表使用由形狀判斷部S150輸出的附著位置掩模134和檢測結果表136，更新對應的信息。通過使用這樣獲得的附著位置掩模134，可以對從行駛開始時刻附著的粘合物和新附著物進行分開處理。
[0094]接著，基於圖10的流程圖對圖8的通常識別時的處理進行說明。圖10的流程與初始診斷時的流程類似，直至步驟S110、步驟S120、步驟S130、變化檢測部S140、形狀判斷部S150點都相同。
[0095]在步驟5260中4^110作為新附著物抽取處理，在通常識別時的形狀判斷部S150輸出附著位置掩模134(以後，附著位置圖像)後，使用初始診斷時形狀判斷部S150輸出的附著位置掩模134(以後，粘合位置圖像)，計算初始診斷時附著的附著物以外的新附著物。該計算例如通過從左上方以光柵掃描方式對附著位置圖像和與其對應的粘合位置圖像逐個像素地進行比較，僅對判斷為在附著位置圖像中有附著，且判斷為在粘合位置圖像沒有附著的像素，對其附著面積、附著物重心等進行計數，製作關於新附著的附著物的檢測結果表136。通過使用關於新附著的附著物的檢測結果表136，即使是在畫面內的一部分粘合有不能用清洗動作去除的汙物的情況，也具有在附著有新附著的同種或異種的汙物的情況下，能夠開動清洗系統的效果。
[0096]接著，在步驟S270，判斷發動機是否停止。該判斷也可以經由CAN獲得發動機切斷信號，也可以根據向車輛周圍監視裝置100的電源供給停止的情況進行判斷。在電源供給被停止的情況，也可以迅速地切換為來自未圖示的車輛周圍監視裝置100的內部蓄電池或外部連接的蓄電池的電源供給。另外，雖然記述為發動機停止的情況，但不一定需要發動機停止，也可以僅用向車輛周圍監視裝置100發送的結束信號代用，總之，只要可以檢測使系統大致停止而進入降低電力消耗的模式即可。
[0097]發動機停止的情況下(步驟S270的「是」)，在步驟S280中更新附著信息表135。在發動機停止，清洗系統停止後，粘合物不用說，新附著物也無法清洗，因此在停止時的粘合位置圖像和附著位置圖像中的任一者中具有附著物的坐標中，製作判斷為存在附著物的附著位置掩模134 (即採用粘合位置圖像和附著位置圖像的邏輯和)，使其反映在附著信息表135中。也可以通過在下次初始診斷時讀取該附著位置掩模134而縮短初始診斷時間。
[0098]另外，利用未圖示的清洗裝置驅動信息，在步驟S260中，清洗裝置驅動期間，可以通過暫時停止圖像識別邏輯的動作而抑制伴隨清洗動作的圖像變化產生的誤檢測。
[0099]根據以上說明的第一實施方式，起到下面的作用效果。
[0100]車輛周圍監視裝置100具有拍攝圖像取得部101、附著物檢測部102、鏡頭狀態判斷部103、鏡頭清洗部104、鏡頭狀態記錄部105、鏡頭狀態讀取部106、鏡頭狀態讀取部106、記錄部107、車輛信息取得部108。通過具有這樣的結構，能夠抑制徒勞的清洗。
[0101](第二實施方式)(具有不能動作狀態的情況)
[0102]對本發明的第二實施方式進行說明。在本發明的第二實施方式中，首先，在發動機起動時讀入上次發動機停止時記錄的附著物信息，除此以外還讀入不能動作狀態。接著，在發動機起動後的規定時間內的行駛中(以下，稱為初始診斷時間內)，用車載的攝像機監視車輛周邊，判斷雨滴或泥、白濁、水滴痕、落葉等異物附著的情況，如果與記錄的附著量相比增加了規定量以上，則驅動清洗裝置。而且，在發動機停止時記錄附著物信息和不能動作狀態。
[0103]S卩，讀入或記錄不能動作狀態這一點與第一實施方式不同。因此，對與第一實施方式共通的部分省略記載，對存在差異的部分詳細進行記載。
[0104]如圖7所示，第二實施方式的車輛周圍監視裝置200具有拍攝圖像取得部101、附著物檢測部102、鏡頭狀態判斷部103、鏡頭清洗部104、鏡頭狀態記錄部105、鏡頭狀態讀取部106、記錄部107、車輛信息取得部108、識別狀態判斷部109。拍攝圖像取得部101通過車載攝像機(圖7中未圖示)，取得隔開預先設定的時間間隔所拍攝的拍攝圖像。附著物檢測部102具有泥、水滴、白濁、落葉等異物中的任一種以上的檢測單元。鏡頭狀態判斷部103將後述的鏡頭狀態讀取部106從後述的記錄部107讀取的鏡頭狀態與從附著物檢測部102獲得的鏡頭狀態進行比較，判斷向鏡頭附著的附著物是否增加，從而判斷出是圖像識別不能進行的狀態或圖像識別的性能降低的鏡頭狀態。鏡頭清洗部104朝向執行空氣噴射或噴洗滌液、驅動雨刷的任一個以上的鏡頭清洗裝置發送起動信號，起動鏡頭清洗裝置對鏡頭表面進行清洗。車輛信息取得部108取得車速、輪速、轉向角、照明信息、雨刷驅動開關信息、橫擺角速度信息中的任一個以上的車輛信息。鏡頭狀態記錄部105在發動機停止時向記錄部107發送鏡頭狀態並將其記錄。鏡頭狀態讀取部106在發動機起動時從記錄部107讀取鏡頭狀態。識別狀態判斷部109判斷是否是圖像識別不能進行的狀態，或者是否是圖像識別的識別性能降低的狀態。
[0105]圖2是表示車輛周圍監視裝置200和其周圍裝置的關係的方框圖。圖2中作為構成車輛周圍監視裝置200的E⑶圖示有E⑶110。而且，在構成車輛周圍監視裝置200的E⑶110的輸入側，連接有車載攝像機111、車速傳感器121、轉向角傳感器122、照明傳感器
123、輪速傳感器124、雨刷驅動開關125、橫擺角速度傳感器126。另外，在構成車輛周圍監視裝置200的E⑶110的輸出側，連接有擴音器112、監視器113、鏡頭清洗裝置115、不能動作狀態警告燈114。
[0106]不能動作狀態警告燈114在鏡頭極度汙染或照明環境極度惡化的情況下，向用戶通知系統不能動作。該不能動作狀態警告燈114也可以在監視器113上顯示的影像上重疊不能動作狀態進行顯示，或圖像化進行顯示。另外，也可以與監視器113獨立，僅用LED或電燈泡等電燈、或僅用警報音或聲音通知識別結果，也可以全部具備這些器件。
[0107]第二實施方式的情況如圖14所示，在附著信息表135中，具有各附著物檢測邏輯的檢測結果表136、不能動作次數計數137、不能動作要因履歷138中的至少一種以上。
[0108]在不能動作次數計數137中，在產生不能動作狀態的情況下，針對各要因逐一記錄有不能動作狀態的次數，在不能動作狀態被消除的情況下，清除不能動作狀態的次數。從發動機停止後至下一次發動機起動之間，考慮用戶用手動清洗鏡頭的可能性，需要在發動機起動後迅速地進行是否進行清洗的判斷。通過逐一記錄各要因不能動作狀態的次數，起到可優先執行次數多的要因的檢測邏輯，並迅速地判斷是否消除上次的不能動作用要因的效果。
[0109]另外，在不能動作次數計數137中，也可以不將各要因逐一分開記錄，而是僅記錄所有要因中的不能動作狀態的次數。通常，僅根據一個靜止圖像進行不能動作狀態的判斷是很困難的，通過以一定時間蓄積圖像並蓄積判斷結果，提高了判斷結果的穩定性和可靠性，因此，直至確定不能動作狀態的結果需要一定的時間。在發動機起動後到該結果確定的時間內，發動機被再次停止等反覆短時間運轉的情況下，將不能動作狀態的次數相加，在超過一定次數的情況下，將次數和不能動作要因履歷清除。由此，通常在因相同的要因而變為不能動作狀態的情況下，抑制清洗，但在反覆一定次數以上的短時間的行駛的情況下，向鏡頭附著新附著物的可能性變高，因此可根據鏡頭診斷結果進行清洗動作，具有可以抑制鏡頭狀態再度惡化的效果。另外，還具有以下效果，即，能夠防止在不能動作狀態的結果未確定的過程中發動機停止時，記錄部的內容在未判斷狀態下被消除，下次行駛時進行徒勞的清洗動作。
[0110]圖14表示不能動作要因履歷138的一個例子。不能動作要因履歷138包含用於判斷針對各要因每一個是否為不能動作狀態的標誌。例如，圖14中，對要因「白濁」和要因「水滴痕」設置了標誌。該標誌基於附著物檢測邏輯的檢測結果來設置，基於該標誌狀態，在因相同要因而變為不能動作狀態的情況下，抑制清洗。由此，具有以下效果，即，在和上次相同的不能動作用要因繼續的情況下，省去清洗動作，在因新的要因而變為不能動作狀態的情況下，進行與該要因對應的適當的清洗動作。另外，也可以將上述的該不能動作狀態的情況稱為失誤狀態。
[0111]對第二實施方式的車輛周圍監視裝置200，基於圖8的流程圖說明其作用。該車輛周圍監視裝置200與第一實施方式一樣，具有執行初始診斷處理的狀態和執行通常識別處理的狀態兩種狀態。第二實施方式中，圖8的處理通過構成車輛周圍監視裝置200的E⑶110來執行。
[0112]首先，在步驟SlO中，判斷執行初始診斷的條件是否成立，在該條件成立的情況下，將初始診斷計數器設為0，進入步驟S20。該判斷使用車速、轉向角、晝夜判斷狀態中的一個以上，判斷穩定的行駛條件成立(S10的「是」)。判斷為穩定的行駛條件不成立(S10的「否」)的情況，跳過執行初始診斷。
[0113]接著，在步驟S20中，執行初始診斷。該執行初始診斷水滴檢測、泥檢測、白濁檢測、水滴痕檢測、異物附著檢測等附著物檢測。每當進行該執行時，初始診斷計數器增量。
[0114]在步驟S30中，判斷發動機是否停止。在發動機未停止的情況下(步驟S30的「否」)，進一步繼續處理。在發動機停止的情況下(步驟S30的「是」)，在直至該時刻之前所執行的初始診斷中，如果出現不能動作狀態的結果，就更新附著信息表135，進入步驟S80。由此，在汙物附著量為一定量以上的情況下，為了在下一次發動機起動時，不等圖像識別的結果出現，就提醒用戶鏡頭汙物狀態，可以點亮不能動作狀態警告燈114。
[0115]在步驟S40中，判斷初始診斷是否完成。初始診斷完成的情況(步驟S40為「是」)下，進入步驟S50，開始進行通常識別的處理。初始診斷未完成的情況下(步驟S40為「否」)，進入步驟S20，繼續進行初始診斷的處理。
[0116]在步驟S50中，作為通常識別處理，執行車載攝像機111的鏡頭表面上的水滴檢測、泥檢測、白濁檢測、水滴痕檢測、異物附著檢測等附著物檢測。這些處理因與第一實施方式一樣，從略。
[0117]在步驟S60中，以在步驟S50輸出的附著物量為基礎，進行向清洗系統及不能動作狀態判斷部的通知。詳細的內容後述。還向不能動作狀態判斷部進行通知這一點與第一實施方式不同。
[0118]在步驟S70中，判斷發動機是否停止。在發動機未停止的情況下(步驟S70的「否」)，進一步繼續進行處理。在發動機停止的情況下(步驟S70的「是」)，如果直至該時刻之前所執行的初始診斷中，不能動作狀態的結果出現，則更新附著信息表135，進入步驟S80o在步驟S80中，使用記錄部107記錄附著位置掩模和附著信息表的內容(附著物信息記錄)O
[0119]另外，對第二實施方式的車輛周圍監視裝置200，基於圖9的流程圖說明其初始診斷時的處理。大體上與第一實施方式同樣，但也可以如下改變步驟S170的動作。另外，在第二實施方式中，圖9的處理由構成車輛周圍監視裝置200的E⑶110來執行。
[0120]發動機停止的情況下(步驟S160的「是」)，在步驟S170中更新附著信息表。該附著信息表除了使用由形狀判斷部S150輸出的附著位置掩模134和檢測結果表136，更新對應的信息以外，還變更不能動作次數計數。
[0121]對不能動作次數計數的動作進行說明。在初始診斷結束前發動機停止的情況下，將不能動作次數計數加上1，此時，如果不能動作計數器為一定值以上(例如8)，則使不能動作次數計數重新歸0，並且清除不能動作要因履歷的內容。另外，在初始診斷中發生不能動作狀態的情況下，使不能動作次數計數重新歸0，並且在不能動作要因履歷的內容中加上本次產生的不能動作狀態。
[0122]另外，在完成了初始診斷的情況下，使不能動作次數計數重新歸0，並且不變更不能動作要因履歷的內容，使其為上次原樣。由此，具有如下效果，即，在如反覆短距離行駛、或只進行發動機的通斷那樣的情況下，即，在初始診斷中發動機停止的情況下，都能夠保持不能動作狀態，能夠抑制不需要的清洗動作。另外，在將短距離行駛反覆一定次數以上的情況下，將不能動作要因履歷清零，因此能夠使用再度汙物檢測結果進行清洗動作。
[0123]另外，對本實施方式的車輛周圍監視裝置200，基於圖10的流程圖說明其通常執行時的處理。大體上與第一實施方式一樣，但也可以如以下改變進行新附著物抽取處理的步驟S260的動作。另外，在第二實施方式中，圖10的處理通過構成車輛周圍監視裝置200的ECUllO來執行。
[0124]在步驟S260中，在初始診斷時未附著的區域，通常行駛時附著量增加的情況下，除輸出其新附著物的附著物信息以外，將初始診斷時的附著物信息和新附著物的附著物信息合併，即，對根據粘合位置圖像和附著位置圖像的邏輯和所得的附著位置圖像(以下，稱為附著物合計圖像)，計算附著物信息。
[0125]這些例如，對新附著物用的附著物信息和附著物合計圖像用的附著物信息的每一個，在存儲區域範圍確保信息存儲用的區域，將附著位置圖像和附著物合計圖像分別從左上方以光柵掃描方式逐個像素地進行比較，只針對根據各個圖像判斷為有附著的像素，對附著面積、附著物重心等進行計數，製作檢測結果表136。由此，具有清洗動作的輸出判斷和不能檢測狀態的判斷分別適當進行的效果。
[0126](第三實施方式)
[0127]對本發明的第三實施方式進行說明。在第三實施方式中，首先，發動機起動時讀入在上次發動機停止時記錄的附著物信息。接著，在發動機起動後的規定時間內的行駛中(以下，稱為初始診斷時間內)，用車載的攝像機監視車輛周邊，判斷晝夜等周圍光源環境不同的狀況，根據其周圍光源環境，判斷附著有雨滴或泥、白濁、水滴痕、落葉等異物，如果與記錄的附著量相比增加規定量以上，則驅動清洗裝置。而且，在發動機停止時記錄附著物信息。
[0128]S卩，對每個周圍光源環境不同的狀況改變動作，在該特徵方面與第一實施方式不同。因此，對與第一實施方式共通的部分省略記載，對有差異的部分詳細記載。另外，也可以與第二實施方式同樣，記錄在鏡頭極度汙染、或照明環境極度惡化的情況下產生的不能動作狀態。
[0129]在第三實施方式的情況下，如圖15所示，在附著信息表135中，具有上次行駛時的晝夜判斷結果、每個晝夜狀態的各附著物檢測邏輯的檢測結果表136、不能動作次數計數
137、不能動作要因履歷138中的至少一個以上。
[0130]通過圖像識別而檢測附著物的情況下，如上所述，可見附著物根據晝夜狀態而不同，因此也可以根據檢測到附著物時的晝夜判斷狀態，將各檢測結果分開進行記錄。通過分開進行記錄，具有如下效果，即，例如，對於如水滴痕那樣夜間容易檢測而白天難以檢測的附著物，可以判斷附著物是否繼續持續附著。另外，由於附著物的存在，系統本來要識別的車輛檢測或行人檢測、行車道劃分線識別、標誌識別這樣的識別邏輯會受到妨礙，但因照明環境不同，附著物妨礙識別邏輯的程度不同。因此，對附著有大量的附著物且系統不能運轉的狀態即不能動作狀態，也具有如下效果，即，通過根據晝夜判斷狀態分開進行記錄，僅在白天開動系統，夜間系統不能動作，可提高識別邏輯的開動率。
[0131 ] 以上說明的實施方式可如以下進行變形而執行。
[0132](變形例I)
[0133]附著位置掩模不僅限定於圖4所示的附著位置掩模134。例如如圖11 (b)所示，不僅可在像素單元而且也可以塊單元持有信息。此時，可以將包含像素單元的附著物區域133的方框作為附著物方框233來對待。通過以塊單元處理附著物位置，可以減少依存於附著物檢測部的檢測方法的位置偏移。
[0134]S卩，例如，附著物檢測部X採用檢測附著物的邊緣的圖像處理手法，附著物檢測部Y採用檢測汙物的時間性的亮度值變化的圖像處理手法的情況下，在像素單元中產生位置偏移。因此，具有如下效果，即，通過以適當的大小(例如8x8像素)進行方框化生成附著物方框233，能夠吸收位置偏移，進行多個附著物檢測部的檢測結果整合。
[0135](變形例2)
[0136]附著位置掩模不僅限定於圖4圖示的附著位置掩模134。例如，如圖11(b)所示，不僅能夠以像素單元還能夠以畫面單元具有信息。即，不使其具有位置信息，而是將是否附著有某種類的附著物作為信息而具有。具有如下效果，即，通過以畫面單元具有有無附著物種類的信息，附著物檢測部X將畫面下部作為主要的處理對象區域，附著物檢測部Y將畫面左右端作為主要的處理區域的情況下，即在適當的處理區域或適當的處理精度不同的情況下，也能夠通過附著物檢測部進行附著物檢測部的檢測結果整合。
[0137]以上說明的實施方式及變形例始終不過是例示，只要不損害發明的特徵，本發明就不限定於這些內容。另外，以上說明的實施方式或變形例，只要不損害發明的特徵，也可以組合在一起執行。
[0138]下面的優先權基礎申請的公開內容在此作為弓I用文被編入。
[0139]日本專利申請2012年第149869號(2012年7月3日申請)
[0140]符號說明
[0141]100車輛周圍監視裝置
[0142]101拍攝圖像取得部
[0143]102附著物檢測部
[0144]103鏡頭狀態判斷部
[0145]104鏡頭清洗部
[0146]105鏡頭狀態記錄部
[0147]106鏡頭狀態讀取部
[0148]107記錄部
[0149]108車輛信息取得部
[0150]111車載攝像機
[0151]112擴音器
[0152]113監視器
[0153]114不能動作狀態警告燈
[0154]115鏡頭清洗裝置
[0155]121車速傳感器
[0156]122轉向角傳感器
[0157]123照明傳感器
[0158]124輪速傳感器
[0159]125雨刷驅動開關
[0160]126橫擺角速度傳感器
[0161]131攝像機鏡頭
[0162]132附著物
[0163]133附著物區域
[0164]134附著位置掩模
[0165]135附著信息表
[0166]136檢測結果表
[0167]137不能動作次數計數
[0168]138不能動作要因履歷
[0169]200車輛周圍監視裝置
[0170]220車載攝像機
[0171]230附著物
【權利要求】
1.一種車輛周圍監視裝置，其特徵在於，具有: 拍攝圖像取得部，其從設置在車輛上的拍攝部取得車輛周圍的圖像； 附著物檢測部，其判斷在所述拍攝部的鏡頭上異物附著的狀態； 狀態判斷部，其在由所述附著物檢測部判斷為附著有所述異物的情況下，判斷為圖像識別的性能降低的鏡頭狀態； 鏡頭狀態記錄部，其在系統終止時在記錄部記錄鏡頭狀態；和 鏡頭狀態讀取部，其在系統起動時讀取在所述記錄部中存儲的所述鏡頭狀態。
2.根據權利要求1所述的車輛周圍監視裝置，其特徵在於: 所述狀態判斷部在由所述附著物檢測部判斷為附著有所述異物的情況下，判斷為是圖像識別不能進行的狀態， 所述鏡頭狀態記錄部在系統終止時在記錄部記錄圖像識別是否不能進行的信息，所述鏡頭狀態讀取部在系統起動時讀取在所述記錄部存儲的所述圖像識別是否不能進行的信息。
3.根據權利要求1所述的車輛周圍監視裝置，其特徵在於: 所述車輛周圍監視裝置還具有鏡頭清洗部，所述鏡頭清洗部基於所述狀態判斷部的判斷結果，輸出起動清洗部的起動信號。
4.根據權利要求1所述的車輛周圍監視裝置，其特徵在於: 所述車輛周圍監視裝置還具有圖像識別抑制部，所述圖像識別抑制部基於由所述鏡頭狀態讀取部讀取到的所述鏡頭狀態，判斷可否進行基於所述圖像的所述圖像識別的動作。
5.根據權利要求4所述的車輛周圍監視裝置，其特徵在於: 所述車輛周圍監視裝置具有鏡頭清洗部，所述鏡頭清洗部基於由所述圖像識別抑制部判斷出的結果，輸出起動清洗部的起動信號。
6.根據權利要求4或5所述的車輛周圍監視裝置，其特徵在於: 所述車輛周圍監視裝置具有圖像識別部，所述圖像識別部在由所述圖像識別抑制部判斷為可以進行識別處理的動作的情況下，執行車輛檢測處理、行人檢測處理、行車道劃分線識別處理、標誌識別處理中的至少一個處理。
7.根據權利要求1所述的車輛周圍監視裝置，其特徵在於: 所述附著物檢測部具有根據取得到的所述圖像判斷周圍光源環境的變化檢測部，並基於所述周圍光源環境，判斷在所述拍攝部的鏡頭上異物附著的狀態， 所述鏡頭狀態記錄部在系統終止時在記錄部記錄鏡頭狀態和所述周圍光源環境的信息， 所述鏡頭狀態讀取部在系統起動時讀取在所述記錄部存儲的所述鏡頭狀態和所述周圍光源環境的信息。
8.根據權利要求1所述的車輛周圍監視裝置，其特徵在於: 所述附著物檢測部檢測附著在所述拍攝部的鏡頭上的附著物， 所述狀態判斷部判斷由所述附著物檢測部檢測到的所述拍攝部的鏡頭的附著物是否增加， 所述車輛周圍監視裝置還包括鏡頭清洗部，所述鏡頭清洗部，在所述狀態判斷部判斷為所述拍攝部的鏡頭的附著物增加時，輸出起動清洗所述拍攝部的鏡頭的清洗裝置的起動信號，在所述狀態判斷部沒有判斷為所述拍攝部的鏡頭的附著物增加時，不輸出起動清洗所述拍攝部的鏡頭的清洗裝置的起動信號。
9.根據權利要求8所述的車輛周圍監視裝置，其特徵在於: 所述鏡頭狀態記錄部在系統終止時在記錄部記錄由所述附著物檢測部檢測到的所述拍攝部的鏡頭的附著物的狀態， 所述鏡頭狀態讀取部在系統起動時讀取在所述記錄部記錄的所述拍攝部的鏡頭的附著物的狀態， 所述附著物檢測部在系統起動時檢測附著在所述拍攝部的鏡頭上的附著物， 所述狀態判斷部在系統起動時，基於由所述附著物檢測部檢測到的所述拍攝部的鏡頭的附著物的狀態，和由所述鏡頭狀態讀取部讀取到的所述拍攝部的鏡頭的附著物的狀態，判斷與系統終止時相比在系統起動時所述拍攝部的鏡頭的附著物是否增加， 所述鏡頭清洗部在系統起動時基於所述狀態判斷部的判斷結果，決定是否輸出起動所述清洗裝置的起動信號。
【文檔編號】G08G1/16GK104395156SQ201380034348
【公開日】2015年3月4日 申請日期:2013年6月28日 優先權日:2012年7月3日
【發明者】清原將裕, 村松彰二, 竹村雅幸, 入江耕太 申請人:歌樂株式會社