駕駛輔助裝置的製作方法

2023-05-10 10:58:41

本申請是國際申請日為2012年8月24日、申請號為201280040835.9、發明名稱為「駕駛輔助裝置」的發明專利申請的分案申請。

本發明涉及在停車時告知與障礙物之間碰撞的可能性的駕駛輔助裝置。

背景技術：

以往，已知有駕駛輔助裝置，其使用由多個攝像機拍攝到的圖像，合成以俯瞰視點表示車輛的全部周圍的全周圍圖像，並加以顯示，從而輔助駕駛(例如參照專利文獻1)。

但是，全周圍圖像是使用投影到路面位置的各攝像機圖像而合成的，因此，在相鄰的攝像機的接合邊界發生立體物的消失(死角)。一般，由於攝像機安裝位置或其視角、像素密度等的限制，各攝像機圖像的接合邊界被設定在車輛的四角附近。即使通過駕駛員目視，車輛的四角也容易變成死角。因此，駕駛員無法在該接合邊界附近識別出立體物而繼續駕駛，從而立體物有可能與車輛碰撞。

為了解決該問題，以往，與聲納或換擋裝置等聯動地改變攝像機圖像的接合邊界的位置或角度(例如，參照專利文獻2、專利文獻3)。

現有技術文獻

專利文獻

專利文獻1：國際公開第00/64175號

專利文獻2：日本特開2007-104373號公報

專利文獻3：日本特開2006-121587號公報

技術實現要素：

發明要解決的問題

但是，以往的方法存在以下的問題：在車輛附近(距車體數十釐米以內的距離)依然產生死角。特別地，例如儘管由聲納等檢測出存在立體物，也有可能在俯瞰圖像上立體物消失、駕駛員無法識別出立體物存在。

本發明的目的在於提供駕駛輔助裝置，其能夠防止檢測出立體物但在俯瞰圖像中車輛附近立體物消失的情況。

解決問題的方案

駕駛輔助裝置，包括：第一拍攝單元，其對本車輛周圍進行拍攝；傳感器，其對存在於本車輛周圍的立體物進行檢測；第二拍攝單元，其使所述傳感器的檢測範圍包含在視角內並進行拍攝；圖像處理單元，其將從所述第一拍攝單元輸入的本車輛周圍的拍攝圖像進行合成來生成俯瞰圖像；以及顯示單元，其顯示所述圖像處理單元合成的俯瞰圖像，在所述傳感器檢測出立體物時，所述圖像處理單元將所述第一拍攝單元的拍攝圖像和所述第二拍攝單元的拍攝圖像進行合成來生成俯瞰圖像，使所述傳感器的檢測範圍包含在該俯瞰圖像中基於所述第二拍攝單元的拍攝圖像的俯瞰圖像的區域內。

駕駛輔助裝置包括：第一拍攝單元，其對本車輛周圍進行拍攝；傳感器，其對存在於本車輛的四角中的至少與本車輛的駕駛位置反方向的前方拐角的立體物進行檢測；第二拍攝單元，其對本車輛的四角中的至少與本車輛的駕駛位置反方向的前方拐角進行拍攝；圖像處理單元，其將從所述第一拍攝單元輸入的本車輛周圍的拍攝圖像進行合成來生成俯瞰圖像；以及顯示單元，其顯示所述圖像處理單元合成的俯瞰圖像，所述傳感器的檢測範圍包含在所述第二拍攝單元的視角內，在所述傳感器檢測出立體物時，所述圖像處理單元將所述第二拍攝單元的拍攝圖像和所述第一拍攝單元的拍攝圖像進行合成來生成俯瞰圖像，使所述傳感器的檢測範圍包含在基於所述第二拍攝單元的拍攝圖像得到的俯瞰圖像的區域內。

發明效果

根據本發明的駕駛輔助裝置，得到如下的效果：由於能夠防止檢測出立體物卻在俯瞰圖像中車輛附近立體物消失的情況，因此駕駛員容易識別出車輛附近的立體物。

附圖說明

圖1是表示本發明實施方式1的駕駛輔助裝置的結構的方框圖。

圖2是用示意圖說明將本發明實施方式1中的第一拍攝單元、第二拍攝單元向車輛安裝的安裝位置的圖。

圖3是用示意圖說明將本發明實施方式1中的聲納向車輛安裝的安裝位置的圖。

圖4是用水平面的示意圖說明本發明實施方式1中的第二拍攝單元的視角和聲納的檢測範圍的圖。

圖5是用示意圖說明本發明實施方式1中的立體物的圖。

圖6是本發明實施方式1中的駕駛輔助裝置的駕駛輔助處理的流程圖。

圖7是用示意圖說明同圖6的步驟s65中所生成的俯瞰圖像的圖。

圖8是用示意圖說明同圖7的俯瞰圖像中產生的死角區域的圖。

圖9是用示意圖說明同圖8的死角區域的邊界的圖。

圖10是表示本發明實施方式2中的駕駛輔助裝置的結構的方框圖。

圖11是用示意圖說明將本發明實施方式2中的第一拍攝單元、第二拍攝單元向車輛安裝的安裝位置的圖。

圖12是用示意圖說明將本發明實施方式2中的聲納向車輛安裝的安裝位置的圖。

圖13是用於水平面的示意圖說明本發明實施方式2中的第二拍攝單元的視角和聲納的檢測範圍的圖。

圖14是本發明實施方式2中的駕駛輔助裝置的駕駛輔助處理的流程圖。

標號說明

1駕駛輔助裝置

3圖像處理單元

5控制單元

7第一拍攝單元

12聲納

14第二拍攝單元

具體實施方式

(實施方式1)

以下，參照附圖說明本發明實施方式1的駕駛輔助裝置。此外，本實施方式中，作為一例說明車輛為右駕駛的情況。在為左駕駛的情況下，左右相反。

圖1是表示本發明實施方式1的駕駛輔助裝置的結構的方框圖。

在圖1中，駕駛輔助裝置1由進行圖像處理的圖像ecu(electriccontrolunit，電子控制單元)構成，具有易失性存儲器2、圖像處理單元3、非易失性存儲器4、控制單元5以及將這些單元相互連接的總線6。駕駛輔助裝置1與第一拍攝單元7、輸入單元8、車速傳感器9、轉向傳感器10、換擋裝置11、聲納12、顯示單元13、以及第二拍攝單元14連接。也可以將輸入單元8、車速傳感器9、轉向傳感器10、換擋裝置11、聲納12、顯示單元13、第二拍攝單元14包含在駕駛輔助裝置1中。此外，也可以將圖1所示的轉向傳感器10及轉向信號分別另稱為「方向盤轉角傳感器10」及「方向盤轉角信號」。

易失性存儲器2，例如由視頻存儲器或ram(randomaccessmemory，隨機存儲器)構成。易失性存儲器2與第一拍攝單元7連接。另外，易失性存儲器2與第二拍攝單元14連接。易失性存儲器2暫時存儲根據每隔規定時間從第一拍攝單元7、第二拍攝單元14輸入的拍攝圖像得到的圖像數據。易失性存儲器2所存儲的圖像數據通過總線6輸出到圖像處理單元3。

圖像處理單元3例如由asic(applicationspecificintegratedcircuit，專用集成電路)或vlsi(verylargescaleintegration，超大規模集成電路)構成。圖像處理單元3與顯示單元13連接。圖像處理單元3對從易失性存儲器2輸入的圖像數據進行視點變換，每隔規定時間生成將從非易失性存儲器4輸入的圖像數據重疊所得到的俯瞰圖像。圖像處理單元3也可以生成對俯瞰圖像並列了未實施視點變換的正常圖像所得到的合成圖像。對於視點變換的方法，例如可以使用國際公開第00/64175號中公開的技術。圖像處理單元3將每隔該規定時間生成的合成圖像作為顯示圖像輸出到顯示單元13。

非易失性存儲器4例如由瞬時存儲器或rom(readonlymemory，只讀存儲器)構成。非易失性存儲器4存儲有本車輛的圖像數據等各種圖像數據、與顯示方法相關的數據表，且該顯示方法是與駕駛狀況相應的顯示方法。根據控制單元5的命令讀出非易失性存儲器4所存儲的圖像數據，並用於圖像處理單元3的各種圖像處理。

控制單元5例如由cpu(centralprocessingunit，中心處理單元)或lsi(largescaleintegration，大規模集成電路)構成。控制單元5與輸入單元8、車速傳感器9、轉向傳感器10、換擋裝置11、以及聲納12連接。控制單元5根據從輸入單元8、車速傳感器9、轉向傳感器10、換擋裝置11、以及聲納12輸入的各種信號，對圖像處理單元3的圖像處理、從易失性存儲器2或非易失性存儲器4讀出的數據、來自第一拍攝單元7或第二拍攝單元14的輸入或向顯示單元13的輸出等進行控制。

第一拍攝單元7分別由四個攝像機構成。另一方面，第二拍攝單元14由一個攝像機構成。第一拍攝單元7、第二拍攝單元14將每隔規定時間拍攝到的拍攝圖像輸入到駕駛輔助裝置1的易失性存儲器2。第一拍攝單元7以能夠拍攝本車輛的全部周圍的方式安裝在車體上。另外，第二拍攝單元14設置於車輛的左前方拐角。說明將該第一拍攝單元7、第二拍攝單元14向車體安裝的安裝位置。

圖2是用示意圖說明將第一拍攝單元7、第二拍攝單元14向車輛安裝的安裝位置的圖。如圖2所示，第一拍攝單元7由前方攝像機7a、右側方攝像機7b、左側方攝像機7c、以及後方攝像機7d構成。前方攝像機7a、後方攝像機7d例如分別安裝在車體前後的減震器上。右側方攝像機7b、左側方攝像機7c例如分別安裝在本車輛的左右後視鏡下部。另一方面，第二拍攝單元14安裝在本車輛的左前方拐角上。

輸入單元8例如由觸摸面板、遙控器或開關構成。輸入單元8在是由觸摸面板構成的情況下，也可以設置在顯示單元13中。

車速傳感器9、轉向傳感器10、換擋裝置11、以及聲納12分別將表示本車輛車速的車速信號、表示方向盤轉角的方向盤轉角信號、表示換擋杆的狀態的擋位信號、立體物的檢測信號或距離信號輸出到控制單元5。聲納12由八個聲納構成，並安裝在本車輛的車體四角的四個部位、車體前後的四個部位。說明將該聲納12向車體安裝的安裝位置。

圖3是用示意圖說明將聲納12向車輛安裝的安裝位置的圖。如圖3所示，聲納12由左前方拐角聲納12a、右前方拐角聲納12b、左後方拐角聲納12c、右後方拐角聲納12d、左前方聲納12e、右前方聲納12f、左後方聲納12g、以及右後方聲納12h構成。如圖3所示，將左前方聲納12e、右前方聲納12f、左後方聲納12g、右後方聲納12h各自的水平面的檢測範圍16e～16h設定為窄於左前方拐角聲納12a、右前方拐角聲納12b、左後方拐角聲納12c、右後方拐角聲納12d各自的水平面的檢測範圍16a～16d。下面，說明左前方拐角聲納12a的檢測範圍和第二拍攝單元14的視角之間的關係。

圖4是用示意圖說明第二拍攝單元14的視角和左前方拐角聲納12a的水平面的檢測範圍的圖。如圖4所示，將第二拍攝單元14的視角17設定為在水平面大致180度。而且，左前方拐角聲納12a的檢測範圍16a包含在第二拍攝單元14的視角17內。即，在第二拍攝單元14的視角17內包含左前方拐角聲納12a的檢測範圍16a的全部。

優選將第二拍攝單元14安裝在比左前方拐角聲納12a靠車體上方的位置。由此，容易使左前方拐角聲納12a的檢測範圍16a三維地包含在第二拍攝單元14的視角17內。另外，優選第二拍攝單元14和左前方拐角聲納12a的光軸大致相等。由此，第二拍攝單元14的視角17內的左前方拐角聲納12a的檢測範圍16a的偏差變小，能夠降低左前方拐角聲納12a的檢測範圍16a的一部分超出第二拍攝單元14的視角17外的可能性。

顯示單元13例如由導航裝置或後座顯示器構成。顯示單元13顯示從圖像處理單元3輸入的合成圖像。該合成圖像也可以只是俯瞰圖像，還可以是將俯瞰圖像和正常圖像並列地排列後的圖像。若在該俯瞰圖像的邊界附近存在死角，則立體物會消失。這裡，示例本實施方式中的立體物。

圖5是用示意圖說明本實施方式中的立體物的圖。如圖5所示，將寬度、縱深、高度分別為約30cm、約30cm、約50cm的色碼(註冊商標)設定為本實施方式中的立體物。在該色碼(註冊商標)在俯瞰圖像上三維地消失了一半以上時，意味著在俯瞰圖像的邊界附近存在死角。

接著，說明控制單元5的駕駛輔助處理。

圖6是控制單元5的駕駛輔助處理的流程圖。

首先，如步驟s61所示，控制單元5根據從換擋裝置11輸入的擋位信號判定換擋杆是否是倒檔的狀態。

當在步驟s61中為「是」的情況下，根據控制單元5的命令，圖像處理單元3使用從易失性存儲器2取得的第一拍攝單元7的拍攝圖像生成俯瞰圖像。而且，如步驟s62所示，顯示單元13並列顯示該生成的俯瞰圖像和從易失性存儲器2取得的後方攝像機7d的後方圖像。

接著，當在步驟s61中為「否」的情況下，如步驟s63所示，根據控制單元5的命令，圖像處理單元3使用從易失性存儲器2取得的第一拍攝單元7的拍攝圖像生成俯瞰圖像，顯示單元13並列顯示該生成的俯瞰圖像和從易失性存儲器2取得的前方攝像機7a的前方圖像。

接著，如步驟s64所示，控制單元5根據聲納12的檢測結果，判定本車輛的左前方拐角是否存在立體物。即，控制單元5判定左前方拐角聲納12a是否檢測出立體物。當在步驟s64中為「否」的情況下，再次進行步驟s61的處理。

另一方面，當在步驟s64中為「是」的情況下，如步驟s65所示，圖像處理單元3使用第一拍攝單元7的拍攝圖像和第二拍攝單元14的拍攝圖像生成新的俯瞰圖像，並使顯示單元13顯示該生成的俯瞰圖像。即，只在左前方拐角聲納12a檢測出立體物時，圖像處理單元3使用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像和第二拍攝單元14的拍攝圖像生成俯瞰圖像。相反地，在左前方拐角聲納12a未檢測出本車輛的左前方拐角的立體物時，圖像處理單元3隻生成使用了第一拍攝單元7的四個攝像機7a～7d的拍攝圖像的到此為止的俯瞰圖像。對於在該步驟s65中生成的俯瞰圖像、和利用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像生成的通常的俯瞰圖像之間的不同之處，將在後面敘述。

接著，如步驟s66所示，控制單元5判定本車輛的行進方向是否為正在前行。這時，控制單元5根據從換擋裝置11輸入的擋位信號確定本車輛的行進方向。即，控制單元5根據擋位信號判定換擋杆是否是前進擋。

當在步驟s66中為「是」的情況下，如步驟s67所示，控制單元5使顯示單元13顯示第二拍攝單元14的拍攝圖像，代替通過步驟s62並列顯示在顯示單元13的後方圖像或通過步驟s63並列顯示在顯示單元13的前方圖像。

在步驟s67的處理之後，或在步驟s66中為「否」的情況下，如步驟s68所示，控制單元5判定是否檢測出駕駛輔助模式結束。在步驟s68中為「是」的情況下，控制單元5結束駕駛輔助處理。例如，在從輸入單元8進行了駕駛輔助模式結束的輸入的情況下，控制單元5結束駕駛輔助處理。另一方面，在步驟s68中為「否」的情況下，控制單元5再次進行步驟s61的處理。

接著，說明在左前方拐角聲納12a檢測出立體物的情況下，在步驟s65中生成的俯瞰圖像、以及利用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像生成的通常的俯瞰圖像之間的不同之處。圖7是用示意圖說明在步驟s65中生成的俯瞰圖像的圖。

如圖7的左方所示，在左前方拐角聲納12a檢測出立體物之前，圖像處理單元3生成使用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像所得到的俯瞰圖像40a。在俯瞰圖像40a的中央重疊本車輛的示意圖圖像21。俯瞰圖像40a的各區域22～25分別與前方攝像機7a、右側方攝像機7b、左側方攝像機7c、後方攝像機7d的拍攝圖像的視點變換圖像對應。將各區域22～25的接合面表示為合成邊界31～34。當左前方拐角聲納12a在本車輛附近檢測出立體物41時，如果是使用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像而得到的俯瞰圖像不變，則在合成邊界34產生死角，立體物41消失。

因此，在左前方拐角聲納12a檢測出立體物的情況下，如圖7的右方所示，圖像處理單元3除了使用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像以外，還使用對檢測出立體物41的左前方拐角進行拍攝的第二拍攝單元14的拍攝圖像生成俯瞰圖像40b。該俯瞰圖像40b的各區域22～26分別與前方攝像機7a、右側方攝像機7b、左側方攝像機7c、後方攝像機7d、第二拍攝單元14的拍攝圖像的視點變換圖像對應。將前方攝像機7a和第二拍攝單元14之間的合成邊界35、左側方攝像機7d和第二拍攝單元14之間的合成邊界36設定在第二拍攝單元14的視點變換圖像的區域26能夠包含左前方拐角聲納12a的檢測範圍的位置。換言之，將合成邊界35、36設定在左前方拐角聲納12a的檢測範圍外。由此，由左前方拐角聲納12a檢測出的立體物41，在俯瞰圖像40b中的合成邊界35、36附近不會消失，而保持處於區域26內的立體物41的可見性。特別地，在合成邊界附近，立體物41的傾倒方式不再會急劇地變動，因此，駕駛員能夠看到立體物41而不會有不協調感。另外，由於立體物41向以車輛為基點呈放射狀地遠離的方向傾倒，所以，能夠直覺上掌握立體物41的位置和方向。

此外，為了儘可能使立體物41遠離合成邊界35、36，一般希望將合成邊界35、36設定為儘可能接近第二拍攝單元14的視角。另一方面，若使合成邊界35、36與第二拍攝單元14的視角大致相等，則在第二拍攝單元14從安裝位置偏離了的情況下，發生本來在視角外卻拍攝進來的情況。因此，希望將合成邊界35、36設定在相對於第二拍攝單元14的視角為幾度到十度左右內側的位置。

接著，說明在步驟s65中生成的俯瞰圖像的死角區域、以及利用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像生成的通常的俯瞰圖像的死角區域。圖8是用示意圖說明圖7的俯瞰圖像中產生的死角區域的圖。

圖8的左方表示利用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像生成的通常的俯瞰圖像50a。圖8的右方表示在步驟s65中生成的俯瞰圖像50b。在俯瞰圖像50a、50b中，將距本車輛示意圖51的一定範圍設定為死角測定區域52。將該一定範圍設定為數十釐米(cm)左右。例如，設定為50cm。其表示本車輛以3km/h左右的滑行行進過程中能夠急剎車而停止的距離。

如圖8的左方所示，在利用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像生成的通常的俯瞰圖像50a中，左前方拐角聲納12a的檢測範圍53與由於前方攝像機7a和左側方攝像機7c之間的合成邊界34而產生的死角區域54部分重疊。若左前方拐角聲納12a的檢測範圍53與死角區域54重疊，則在該重疊範圍內立體物41消失。因此，在通過步驟s65生成的俯瞰圖像50b中，使用第二拍攝單元14的拍攝圖像使合成邊界35、36遠離左前方拐角聲納12a的檢測範圍53。由此，如圖8的右方所示，在通過步驟s65生成的俯瞰圖像50b中，左前方拐角聲納12a的檢測範圍53與由於第二拍攝單元14和前方攝像機7a的合成邊界35而產生的死角區域55、由於第二拍攝單元14和左側方攝像機7d的合成邊界36而產生的死角區域56離開，而不重疊。由此，存在於左前方拐角聲納12a的檢測範圍的立體物不會在俯瞰圖像50b上消失而被顯示在顯示單元13上。

接著，說明由於圖8的俯瞰圖像的合成邊界而產生的死角區域。圖9是利用示意圖說明圖8的死角區域的邊界的圖。圖9中，以圖8左方的俯瞰圖像50a為例進行說明。

圖9左上方所示的邊界線54a表示死角區域54的圖8紙面左方的邊界。即，邊界線54a表示死角測定區域52的外緣。

圖9左下方所示的邊界線54b表示死角區域54的圖8紙面下方的邊界。邊界線54b表示當在區域25內存在立體物41的情況下產生死角的邊界。在向前方攝像機7a與左側方攝像機7d的合成邊界34使立體物41移動到圖9的紙面上方時，立體物41在高度方向上消失一半以上(25cm以上)。這時的立體物41的在圖9紙面最下方的位置為邊界線54b的構成要素。而且，使立體物41向圖9的紙面左方慢慢移動並反覆進行相同的處理時的立體物41的在圖9紙面最下方的位置的集合表示邊界線54b。

圖9右上方所示的邊界線54c表示死角區域54的圖8紙面右方的邊界。即，邊界線54c表示本車輛示意圖51的外緣。

圖9右下方所示的邊界線54d表示死角區域54的圖8紙面上方的邊界。邊界線54d表示在區域22內存在立體物41的情況下產生死角的邊界。在向前方攝像機7a與左側方攝像機7d的合成邊界34使立體物41移動到圖9的紙面下方時，立體物41在寬度方向上消失一半以上(15cm以上)。這時的立體物41的在圖9紙面最上方的位置為邊界線54d的構成要素。而且，使立體物41向圖9的紙面左方慢慢移動並反覆進行相同的處理時的立體物41的在圖9紙面最上方的位置的集合表示邊界線54d。

即使對於圖8右方的俯瞰圖像50b的死角區域55、56，邊界的判定方法也相同，因此，省略詳細的說明。

以上，根據本發明，在左前方拐角聲納12a的檢測範圍包含在第二拍攝單元14的視角內，且左前方拐角聲納12a檢測出立體物時，圖像處理單元3將第二拍攝單元14的拍攝圖像和第一拍攝單元的四個攝像機7a～7d的拍攝圖像進行合成來生成俯瞰圖像40b，使左前方拐角聲納12a的檢測範圍包含在該俯瞰圖像40b中的基於第二拍攝單元14的拍攝圖像而得到的俯瞰圖像的區域內。即，圖像處理單元3使立體物的死角移動到左前方拐角聲納12a的檢測範圍外。因此，能夠防止儘管左前方拐角聲納12a檢測出立體物而在顯示單元13的俯瞰圖像上本車輛附近的立體物卻消失的情況。特別地，本實施方式中，對於在俯瞰圖像上本車輛附近的立體物消失的情況，不是將本車輛的四角全部作為對象，而是僅將在是右駕駛時對於駕駛員來說容易成為死角的左前方作為對象。由此，對於攝像機輸入埠數有限的駕駛輔助裝置1，不設置選擇器為好，因此，能夠防止由於選擇器而引起的駕駛輔助裝置1的控制ecu的大型化。

此外，在本實施方式的圖6中所示的駕駛輔助處理中，通過並列顯示俯瞰圖像和正常圖像(前方圖像和後方圖像)，從而對駕駛員提示多個判斷基準，提高了立體物的可見性，但只要至少顯示俯瞰圖像即可。即，只要至少進行圖6的步驟s64、步驟s65的處理即可。具體而言，圖像處理單元3將第一拍攝單元7的拍攝圖像和第二拍攝單元14的拍攝圖像，基於共同的映射數據合成為俯瞰圖像。然後，顯示單元3顯示該俯瞰圖像。根據這些，由於在俯瞰圖像的合成邊界前後保持了顯示圖像的連續性，所以，在檢測出立體物後，能夠在抑制駕駛者的不協調感的同時防止俯瞰圖像的合成邊界處產生死角或立體物消失的情況。

另外，本實施方式中，由於假定了車輛為右駕駛的情況，因此，使用設置在左前方拐角的第二拍攝單元14和左前方拐角聲納12a，能夠防止容易變成駕駛員的死角的左前方拐角附近的立體物在俯瞰圖像上消失的情況，但是，在車輛為左駕駛的情況下，對象不是左前方而是右前方。即，在車輛為左駕駛的情況下，本實施方式中的第二拍攝單元14的設置位置被置換為右前方拐角，左前方拐角聲納12a被置換為右前方拐角聲納12b。

即，第二拍攝單元14對本車輛的四角中的與本車輛的駕駛位置反方向的前方拐角進行拍攝。對存在於與本車輛的駕駛位置反方向的前方拐角的立體物進行檢測的聲納12的檢測範圍包含在第二拍攝單元14的視角內。在聲納12檢測出立體物時，圖像處理單元3對第一拍攝單元7的拍攝圖像和第二拍攝單元14的拍攝圖像進行合成來生成俯瞰圖像，使聲納12的檢測範圍包含在該俯瞰圖像中的基於第二拍攝單元14的拍攝圖像所得到的俯瞰圖像的區域內。另一方面，在聲納12未檢測出存在於與本車輛的駕駛位置反方向的前方拐角的立體物時，圖像處理單元3對第一拍攝單元7的拍攝圖像進行合成來生成俯瞰圖像。

此外，本實施方式中，聲納12中的對車輛前後的立體物進行檢測的聲納由四個聲納12e～12f構成，但為了至少對車輛前後的立體物進行檢測，由兩個聲納構成即可。

另外，本實施方式中，作為對立體物進行檢測的立體物檢測單元，使用聲納12，但是，只要是對立體物進行檢測的傳感器，也可以使用紅外線傳感器等其他單元。

(實施方式2)

接著，參照附圖說明本發明實施方式2的駕駛輔助裝置。對於與實施方式1相同的描述，標以相同的標號並省略其詳細的說明。

圖10是表示本發明實施方式2的駕駛輔助裝置的結構的方框圖。圖10中，駕駛輔助裝置1相對於實施方式1的駕駛輔助裝置，還具有選擇器15。駕駛輔助裝置1經由該選擇器15與第二拍攝單元14連接。也可以將選擇器15包含於駕駛輔助裝置1中。易失性存儲器2經由選擇器15與第二拍攝單元14連接。控制單元5根據來自聲納12的輸入信號對選擇器15進行控制，選擇第二拍攝單元14。

第二拍攝單元14分別具有四個攝像機。第一拍攝單元7、第二拍攝單元14將每隔規定時間拍攝到的拍攝圖像輸入到駕駛輔助裝置1的易失性存儲器2。第二拍攝單元14被安裝於本車輛的車體四角。說明將該第二拍攝單元14向車體安裝的安裝位置。

圖11是使用示意圖說明將第一拍攝單元7、第二拍攝單元14向車輛安裝的安裝位置的圖。如圖11所示，第二拍攝單元14由左前方拐角攝像機14a、右前方拐角攝像機14b、左後方拐角攝像機14c、以及右後方拐角攝像機14d構成。選擇器15根據控制單元5的命令從該左前方拐角攝像機14a、右前方拐角攝像機14b、左後方拐角攝像機14c、右後方拐角攝像機14d中選擇一個攝像機。將該選擇出的攝像機的拍攝圖像每隔規定時間輸入到駕駛輔助裝置1的易失性存儲器2。

聲納12由四個聲納構成，並被安裝於本車輛的車體四角。說明將該聲納12向車體安裝的安裝位置。

圖12是使用示意圖說明將聲納12向車輛安裝的安裝位置的圖。如圖12所示，聲納12由左前方拐角聲納12a、右前方拐角聲納12b、左後方拐角聲納12c、右後方拐角聲納12d構成。如圖12所示，將左前方拐角聲納12a、右前方拐角聲納12b、左後方拐角聲納12c、右後方拐角聲納12d各自的水平面的檢測範圍16a～16d設定在180度以下。

圖13是使用示意圖說明左前方拐角攝像機14a的視角和左前方拐角聲納12a的水平面的檢測範圍的圖。如圖13所示，該聲納12的檢測範圍和第二拍攝單元14的視角之間的關係與實施方式1的圖4所示的關係相同。即，將左前方拐角攝像機14a的視角17a設定為在水平面為大致180度。而且，左前方拐角聲納12a的檢測範圍16a包含於左前方拐角攝像機14a的視角17a內。即，在左前方拐角攝像機14a的視角17a內包含左前方拐角聲納12a的檢測範圍16a的全部。與實施方式1相同，優選將左前方拐角攝像機14a安裝在比左前方拐角聲納12a靠車體上方的位置。另外，優選使左前方拐角攝像機14a和左前方拐角聲納12a的光軸大致相等。

此外，在圖13中，作為一例，使用左前方拐角攝像機14a的視角和左前方拐角聲納12a的檢測範圍說明了聲納12的檢測範圍和第二拍攝單元14的視角之間的關係，但是對於其他車輛四角，同樣的關係也成立。即，將右前方拐角聲納12b、左後方拐角聲納12c、右後方拐角聲納12d的檢測範圍分別包含於右前方拐角攝像機14b、左後方拐角攝像機14c、右後方拐角攝像機14d的視角內。

下面，說明控制單元5的駕駛輔助處理。

圖14是控制單元5的駕駛輔助處理的流程圖。直到步驟s71～s73，是分別與實施方式1的圖6中對應的步驟s61～s63相同的處理。步驟s74中，控制單元5根據聲納12的檢測結果判定在本車輛周邊的所定範圍內是否存在立體物。當在步驟s74中為「否」的情況下，再次進行步驟s71的處理。另一方面，當在步驟s74中為「是」的情況下，如步驟s75所示，控制單元5確定存在於距本車輛最短距離處的立體物反應位置。即，在設置於本車輛四角的聲納12a～12d中的檢測出立體物的聲納是一個的情況下，控制單元5將檢測出立體物的聲納被配置的拐角判定為立體物反應位置。相對於此，在設置於本車輛四角的聲納12a～12d中的檢測出立體物的聲納是多個的情況下，控制單元5根據從聲納12輸入的本車輛與立體物之間的距離信號，將檢測出最接近本車輛的立體物的聲納被配置的拐角判定為立體物反應位置。

接著，如步驟s76所示，圖像處理單元3除了使用第一拍攝單元7的拍攝圖像以外，還使用在步驟s75確定的距本車輛最短距離處的立體物反應位置附近的拍攝圖像生成新的俯瞰圖像，使顯示單元13顯示該生成的俯瞰圖像。即，圖像處理單元3使用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像、和第二拍攝單元14的攝像機14a～14d中的、與在步驟s75中確定的聲納12的立體物反應位置對應的攝像機的拍攝圖像，生成俯瞰圖像。對於該步驟s76中生成的俯瞰圖像、和利用第一拍攝單元7的四個攝像機7a～7d的拍攝圖像生成的通常的俯瞰圖像之間的不同點，與在實施方式1中說明的不同點相同，所以省略其詳細的說明。

接著，如步驟s77所示，控制單元5判定在本車輛的行進方向上距車輛最短距離處是否存在立體物。這時，控制單元5根據從換擋裝置11輸入的擋位信號，確定本車輛的行進方向。即，控制單元5在根據擋位信號判定為換擋杆是前進擋時，確定為行進方向是前方，在是倒檔時，確定為行進方向是後方。接著，控制單元5通過對該確定的行進方向和在步驟s75中確定的立體物反應位置進行比較，來進行步驟s77的判定。即，控制單元5在根據擋位信號判定為換擋杆是前進擋且車輛的行進方向為前方時，判定在步驟s75中確定的立體物反應位置是否是左前方或右前方。另一方面，控制單元5在根據擋位信號判定為換擋杆是倒檔且車輛的行進方向是後方時，判定在步驟s75中確定的立體物反應位置是否是左後方或右後方。

在步驟s77中為「是」的情況下，如步驟s78所示，控制單元5使顯示單元13顯示第二拍攝單元14中的、對在步驟s65中確定的距本車輛最短距離處的立體物反應位置附近進行拍攝的攝像機的拍攝圖像，代替通過步驟s72在顯示單元13並列顯示的後方圖像或通過步驟s73在顯示單元13並列顯示的前方圖像。在進行了步驟s78的處理後，或在步驟s77中為「否」的情況下，進行步驟s79的處理。該步驟s79的處理是與實施方式1的圖6的步驟s68相同的處理，因此省略其說明。

以上，根據本發明，在聲納12a～12d的檢測範圍分別包含於拐角攝像機14a～d的視角內，且聲納12a～12d檢測出立體物時，利用選擇器15選擇與檢測出最接近車輛的立體物的聲納對應的拐角攝像機。然後，圖像處理單元3將該選擇出的拐角攝像機的拍攝圖像和第一拍攝單元7的四個攝像機a～7d的拍攝圖像進行合成來生成俯瞰圖像40b，使聲納的檢測範圍包含在該俯瞰圖像40b中的基於拐角攝像機的拍攝圖像得到的俯瞰圖像的區域內。即，圖像處理單元3使立體物的死角移動到聲納12的檢測範圍外。因此，能夠防止儘管聲納12檢測出立體物而在顯示單元13的俯瞰圖像上本車輛附近的立體物卻消失的情況。

在2011年8月26日提出的日本專利申請特願2011-184416號、特願2011-184419號中包含的說明書、附圖以及摘要的公開內容全部引用於本申請。

工業實用性

本發明的駕駛輔助裝置，特別地在由聲納等檢測出本車輛四角的立體物時，顯示立體物而不會使其在俯瞰圖像上消失，從而駕駛員能夠容易識別出立體物這方面是有用的。