駕駛支援方法以及駕駛支援裝置的製作方法

2023-04-24 20:27:16 2

專利名稱：駕駛支援方法以及駕駛支援裝置的製作方法
技術領域：
本發明涉及一種駕駛支援方法以及駕駛支援裝置。
背景技術：
到目前位置，作為對安全駕駛進行支援的裝置，開發了這樣的車載系統: 由車載攝像機對成為駕駛員死角的區域進行拍攝，並將其顯示在顯示器等 上。作為其中之一提出了這樣的系統用車載攝像機對因車輛的前柱而產生 的死角區域進行拍攝，並在前柱內側顯示拍攝圖像。前柱是支撐前窗和頂蓋 的左右兩根支柱，從坐在駕駛位置的駕駛員來看，前柱位於斜前方的位置而 遮住了駕駛員的一部分視線，而為了安全，前柱必須是確保規定粗度的構件。
上述的系統包括攝像機，其安裝在車體上；圖像處理器，其對從攝像 機輸出的影像信號進行圖像處理；顯示器，其設在前柱內側，顯示經過了圖 像處理的影像；投影機，其將圖像投影到前柱內側。根據該結構，成為好像 恰好透過前柱而能夠看清外部的背景的狀態，因此在交叉路口等處，能夠確 認車輛側前方的道路形狀或位於側前方的障礙物，但與駕駛員的移動對應而 顯示影像以及實際所見的風景與影像的連續性等成為了問題。
在專利文獻1中記載有這樣的裝置通過分別安裝在左右門鏡上的攝像 機來拍攝車輛周邊，並將拍攝影像投影到柱的內側。在該裝置中，檢測出眼 球的坐標，根據其位置來對攝像機拍攝的圖像數據進行修正。
專利文獻1: JP特開2005-184225號公報。
然而，在上述的裝置中，由於使用由一臺攝像機拍攝的圖像數據，即使 按照眼球的坐標進行坐標轉換，能顯示的圖像也是有限的。即，例如，有時 對於坐在車輛右側(日式)的駕駛位置上的駕駛員向前曲體而從前窗來觀察 車輛右前側時所見的障礙物，在駕駛員以靠在椅背上的姿勢(以下稱為標準 姿式)觀察側前方時就無法看到。另外，即使在觀察同一障礙物時，向前曲 體來觀察右前側時，由於障礙物是立體的，所以有時能夠看到以標準姿勢無
法看到的側面。在上述裝置的圖像處理中，由於只能進行二維坐標轉換，所 以無法顯示攝像機未拍攝到的障礙物、或無法顯示到未拍攝到的障礙物的側 面。因此，在駕駛員處於標準姿勢以外的姿勢時，顯示在前柱上的背景圖像 和通過前窗和門窗所見的背景之間的連續性有可能會有很大缺失。

發明內容
本發明是鑑於上述問題而提出的發明，其目的在於提供一種能夠在柱上 顯示與駕駛員的姿勢相符的影像的駕駛支援方法及駕駛支援裝置。
為了解決上述問題，技術方案(1)的發明提供一種駕駛支援方法，使 用安裝在車輛上的拍攝裝置來拍攝因上述車輛的柱而產生的死角區域，並將 由上述拍攝裝置拍攝的影像顯示在上述柱的內側，在該駕駛支援方法中，檢 測坐在上述車輛的駕駛位置上的駕駛員的位置，在拍攝各不相同的範圍的多 個上述拍攝裝置中，根據上述駕駛員的位置而選擇進行拍攝的上述拍攝裝 置，基於從所選擇的上述拍攝裝置輸入的影像信號而在上述柱的內側顯示影 像。
技術方案(2)的發明提供一種駕駛支援裝置，使用安裝在車輛上的拍 攝裝置來拍攝因上述車輛的柱而產生的死角區域，並將由上述拍攝裝置拍攝
的影像顯示在上述柱的內側，該駕駛支援裝置包括檢測裝置，其檢測坐在
上述車輛的駕駛位置上的駕駛員的位置；選擇裝置，其在拍攝各不相同的範 圍的多個上述拍攝裝置中，根據上述駕駛員的位置應而選擇上述拍攝裝置； 影像信號取得裝置，其接收從所選擇的上述拍攝裝置輸入的影像信號；輸出 控制裝置，其基於從上述拍攝裝置輸入的上述影像信號，在上述車輛的柱的 內側顯示與因上述柱而產生的死角區域相當的影像。
技術方案(3)的發明提供一種駕駛支援裝置，使用安裝在車輛上的拍 攝裝置來拍攝因上述車輛的柱而產生的死角區域，並將由上述拍攝裝置拍攝 的影像顯示在上述柱的內側，該駕駛支援裝置包括檢測裝置，其檢測坐在 上述車輛的駕駛位置上的駕駛員的位置；角度計算裝置，其基於由上述檢測 裝置檢測出的駕駛員的位置，計算因上述柱而產生的死角的角度；選擇裝置， 其在拍攝各不相同的範圍的多個上述拍攝裝置中，根據上述駕駛員的位置應 而選擇上述拍攝裝置；影像信號取得裝置，其接收從所選擇的上述拍攝裝置
輸入的影像信號；輸出控制裝置，其基於從上述拍攝裝置輸入的上述影像信
號，在上述車輛的柱的內側顯示與因上述柱而產生的死角區域相當的影像。
技術方案(4)在上述技術方案(3)所述的駕駛支援裝置中，在因上述 柱而產生的死角的從車寬方向的水平軸起的最大角度小於規定角度時，上述 選擇裝置選擇以上述車輛的側前方為中心進行拍攝的第一拍攝裝置；在上述 最大角度在規定角度以上時，上述選擇裝置選擇以上述車輛的前方為中心進 行拍攝的第二拍攝裝置。
技術方案(5)在上述技術方案(2) (4)中任意一項所述的駕駛支 援裝置中，上述檢測裝置檢測上述駕駛員的頭部的坐標。
技術方案(6)在上述技術方案(2) (5)中任意一項所述的駕駛支 援裝置中，還具有圖像處理裝置，該圖像處理裝置對從上述各拍攝裝置輸入 的影像信號，進行與上述駕駛員的位置相對應的圖像處理。
根據技術方案(1)所述的發明，檢測駕駛員的位置，根據該位置而從 多個拍攝裝置中選擇一個。然後在柱內側顯示由所選擇的拍攝裝置拍攝的影 像。因此，即使駕駛員改變姿勢，也能夠選擇與此時的駕駛員位置相符的拍 攝裝置，從而能夠使顯示在柱上的影像成為與通過前窗等所見的實際的風景 的連續性高的影像。
根據技術方案(2)所述的發明，駕駛支援裝置檢測駕駛員的位置，根 據該位置而從多個拍攝裝置中選擇一個。然後在柱內側顯示由所選擇的拍攝 裝置拍攝的影像。因此，即使駕駛員改變姿勢，也能夠選擇與此時的駕駛員 位置相符的拍攝裝置，從而能夠使顯示在柱上的影像成為與通過前窗等所見 的實際的風景的連續性高的影像。
根據技術方案(3)所述的發明，駕駛支援裝置檢測駕駛員的位置，根 據該位置而計算因柱而產生的死角的角度。然後，根據死角的角度來選擇拍 攝裝置。另外，在柱內側顯示由所選擇的拍攝裝置拍攝的影像。因此，即使 駕駛員改變姿勢，也能夠在柱上顯示與從前窗等所見的實際的背景的連續性 高的影像。
根據技術方案(4)所述的發明，在從死角的水平軸開始的最大角度小 於規定角度時，選擇以側前方為中心進行拍攝的第一拍攝裝置；在死角的角 度的最大值在規定角度以上時，選擇以前方為中心進行拍攝的第二拍攝裝
置。S卩，在死角的朝向大致為側前方時，選擇以側前方為中心進行拍攝的第 一拍攝裝置。在死角的朝向接近前方時，選擇拍攝前方的第二拍攝裝置。因 此，即使駕駛員改變姿勢，也能夠在柱上顯示與從前窗等所見的實際的背景 的連續性高的影像。
根據技術方案(5)所述的發明，檢測裝置檢測出駕駛員的頭部的坐標， 因此能夠比較正確的確定駕駛員的姿勢。
根據技術方案(6)所述的發明，不僅根據駕駛員D的位置而選擇拍攝 裝置，還根據駕駛員的位置對從第一拍攝裝置或第二拍攝裝置輸入的影像信 號進行圖像處理，從而能夠在柱上顯示與實際的風景的連續性高的圖像。


圖1是本實施方式的駕駛支援系統的框圖。
圖2是第一攝像機的拍攝範圍的說明圖。
圖3是第二攝像機的拍攝範圍的說明圖。
圖4是說明投影機以及柱的位置的說明圖。
圖5是從內側觀察柱的側視圖。
圖6是遮蔽圖案的說明圖。
圖7是從側面觀察的傳感器的說明圖。
圖8是從上方觀察的傳感器的說明圖。
圖9是頭部處於右前側時的水平方向的死角的說明圖。
圖IO是頭部處於右前側時的鉛垂方向的死角的說明圖。
圖11是頭部處於右後側時的水平方向的死角的說明圖。
圖12是頭部處於右後側時的鉛垂方向的死角的說明圖。
圖13是頭部處於左前側時的水平方向的死角的說明圖。
圖14是頭部處於左後側時的水平方向的死角的說明圖。
圖15是本實施方式的處理步驟的說明圖。
圖16是投影到柱上的背景圖像的說明圖。
圖17是投影到柱上的背景圖像的說明圖。
具體實施例方式
下面，根據圖1 圖17，對將本發明具體化了的一個實施方式進行說明。 圖1是對安裝在汽車上的駕駛支援系統1的結構進行說明的框圖。如圖1所示，駕駛支援系統1安裝在車輛C (參照圖2)上，包括作為駕駛支援裝置的駕駛支援單元2、作為顯示裝置的顯示器3、投影機4、揚 聲器5、作為拍攝裝置的第一攝像機6以及第二攝像機7、第一 第三位置 檢測傳感器8a 8c。
駕駛支援單元2包括作為檢測裝置、選擇裝置以及角度計算裝置的控制 部件10、非易失性主存儲器11、 ROM12、 GPS接收部件13。控制部件10 是CPU、 MPU或者ASIC等，根據存儲在ROM12中的駕駛支援程序而對各 處理進行主控制。主存儲器11暫時存儲控制部件10的計算結果。
控制部件10輸入位置檢測信號，並通過無線電導航法來計算自身車輛 的絕對位置，其中，該位置信號是接收部件13從GPS衛星接收的、表示經 度及緯度等的坐標。另外，控制部件10通過駕駛支援單元2的車輛側1/F(接 口)部件14，從設在自身車輛上的車速傳感器30以及陀螺儀31分別輸入車 速脈衝、角速度。然後，控制部件10通過利用車速脈衝以及角速度的自主 導航法，來計算出相對於基準位置的相對位置，通過與由無線電導航法計算 出的絕對位置相配合來確定自身車輛位置。
另外，駕駛支援單元2具有地理數據存儲部件15。地理數據存儲部件 15是內置硬碟、或光碟等外部存儲介質。在該地理數據存儲部件15中，存 儲有作為用於搜索到達目的地的路徑的地圖數據的各路徑網絡數據(以下， 稱為路徑數據16)、和用於將地圖畫面3a輸出到顯示器3上的各地圖描畫 數據17。
路徑數據16是對全國進行劃分的網絡內的道路相關的數據。路徑數據 16具有以下數據各網絡的識別標誌即網絡ID、表示網絡內的各連結的識 別標誌的連結ID、連結成本等。控制部件IO使用該路徑數據16來搜索到達 目的地的推薦路徑，並判斷車輛C是否接近了交叉路口等引導地點。
另外，地圖描畫數據17是用於描畫道路形狀、背景等的數據，分別被 存儲在對全國的地圖進行了劃分的網絡中的每一個內。控制部件10基於地 圖描畫數據17的道路形狀，判斷在車輛C前方是否有規定曲率以上的轉彎。
如圖1所示，駕駛支援單元2具備地圖描畫處理器18。地圖描畫處理器 18從地理數據存儲部件15中讀出用於描畫自身車輛周圍的地圖的地圖描畫數據17。然後，生成地圖輸出用的數據，並將其暫時存儲在未圖示的VRAM 中。並且，向顯示器3輸出基於地圖輸出用數據的影像信號，從而顯示圖l 所示的地圖畫面3a。另外，地圖描畫處理器18使表示自身車輛位置的自車 位置指標3b重疊在該地圖畫面3a上。還有，駕駛支援單元2具備語音處理器24。語音處理器24具有未圖示 的語音文件，例如從揚聲器5輸出引導到達目的地的路徑的語音。並且，駕 駛支援單元2具有外部輸入I/F (接口)部件25。外部輸入I/F部件25從與 顯示器3相鄰的操作開關26、觸摸面板式的顯示器3來輸入基於用戶的輸入 操作的輸入信號，並將其輸出到控制部件IO。另外，駕駛支援單元2具有作為影像信號取得裝置的影像數據輸入部件 22和作為從該影像數據輸入部件22接收圖像數據G的輸出控制裝置以及圖 像處理裝置的圖像處理器20。影像數據輸入部件22基於控制部件10的控制 來驅動設在車輛C上的第一攝像機6或者第二攝像機7，並接收由第一攝像 機6或者第二攝像機7拍攝的影像信號M。第一攝像機6是拍攝彩色圖像的攝像機，具有由鏡頭、反光鏡等構成的 光學機構和CCD拍攝元件(都未圖示)等。如圖2所示，該第一攝像機6 安裝在車輛C右側的前柱P (以下只稱為柱P)的外側下端部，並且其光軸 朝向車輛C的右前側。在本實施方式中，由於駕駛位置設置在車輛C的右側， 所以第一攝像機6配置在駕駛位置一側。該第一攝像機6對包含車輛C的右 前側和車輛C的右側一部分的側方區域Z1進行拍攝。如圖3所示，第二攝像機7與第一攝像機6的結構相同，其設在柱P的 外側上端部。即，第一攝像機6以及第二攝像機7安裝在斜向傾斜的柱P的 兩端，他們的位置在與車輛C的軸大致平行的長度方向(圖中X方向)、車 寬方向(圖中Y方向)以及鉛垂方向(圖中Z方向)都不相同。第二攝像機 7在長度方向(X方向)上處於比第一攝像機6靠後的位置，對以車輛C的 前方為中心的前方區域Z2進行拍攝。因此，由於第一攝像機6與第二攝像 機7相比，是以車輛C的右前方為中心的畫角，所以與第二攝像機7相比， 車輛C右前方的障礙物更容易進入第一攝像機6的拍攝範圍。由第一攝像機6或者第二攝像機7拍攝而成的影像信號M通過影像數據 輸入部件22而被數位化，而成為圖像數據G，並被輸出到圖像處理器20。 圖像處理器20對圖像數據G進行圖像處理，將進行過圖像處理的圖像數據 G輸出到投影機4。
如圖4所示，投影機4在頂蓋R的內側，即安裝在駕駛員D所坐的前座 F的鉛垂方向上方附近，能夠將影像投影在車輛C右側的柱P (參照圖5) 的內面。如圖5所示，柱P的內側面Pa上粘有按照柱P的形狀剪裁的屏幕 SC。對應該屏幕SC而調整好投影機4的焦點。另外，在柱P的內側面Pa 由能夠接收投影機4輸出的投影光並可顯示鮮明的圖像的材質以及形狀構成 時，則屏幕SC可以省略。
另外，如圖1所示，在駕駛支援單元2的R0M12中，在製造工序時己 預先存儲有遮蔽圖案40以及柱形狀41。如圖6所示，遮蔽圖案40是用於在 圖像數據G上進行遮蔽的數據，由沿著柱P內面形狀的圖像顯示部分40a和 遮蔽部分40b構成。在圖像處理器20中，圖像顯示部分40a的區域從第一 攝像機6或者第二攝像機7所拍攝的圖像數據G中取得像素值，遮蔽部分 40b的區域則被設為投影機4非顯示用的像素值，從而生成輸出用數據OD。 當生成輸出用數據OD時，圖像處理器20將該輸出用數據OD輸出到投影機 4。其結果，圖像只投影在柱P的屏幕SC上，並由於遮蔽部分40b，圖像不 會投影到該屏幕SC周圍的前窗Wl或者門窗W2上。
柱形狀41是以圖案或者坐標表示柱的外形的數據，是因車輛C而不同 的數據。控制部件10能夠基於該柱形狀41而取得表示柱P的外形的長度方 向、車寬方向以及鉛垂方向的三維坐標(X， Y， Z)。另外，柱P的寬度和 長度也可以作為使用了三維坐標的數據而取得。
另外，如圖1所示，駕駛支援單元2具有構成檢測裝置的傳感器I/F (接 口)部件23。傳感器I/F部件23從第一 第三位置檢測傳感器8a 8c接收 檢測信號。如圖7所示，第一 第三位置檢測傳感器8a 8c是超聲波傳感器， 它們被安裝在車內，即安裝在坐在前座F上的駕駛員D的周圍。第一位置檢 測傳感器8a安裝在室內鏡RM附近，位於與駕駛員D的頭部Dl大致同高 或略高的位置。
如圖8所示，第二位置檢測傳感器8b安裝在門窗2 (參照圖5)的上端 附近，即位於在駕駛員D的斜向右前方。另外，在本實施方式中，第二位置 一位置檢測傳感器8a在長度方向(X方向)上位置大致 相同。如圖7所示，第三位置檢測傳感器8c埋設在前座F的頭部FH內。第三 位置檢測傳感器8c位於第一以及第二位置檢測傳感器8a、 8b的鉛垂方向(Z 方向)上的下方。另外，如圖8所示，第三位置檢測傳感器8c在車寬方向 (Y方向)上位於第一以及第二位置檢測傳感器8a、 8b之間，在長度方向 (圖8中X方向)上位於第一以及第二位置檢測傳感器8a、 8b的後方。從各位置檢測傳感器8a 8c的未圖示的傳感頭部發出的超聲波被駕駛 員D的頭部Dl反射。各位置檢測傳感器8a 8c對從發出超聲波到接收到反 射波的時間進行計測，基於該計測時間，分別計算到達頭部D1的各相對距 離L1 L3。計算出的相對距離L1 L3通過傳感器I/F部件23而輸出到控制 部件10。另外，也可以基於來自各位置檢測傳感器8a 8c的信號而使傳感 器I/F部件23計算出到達頭部Dl的相對距離L1 L3。如圖1所示，非易失性主存儲器11中存儲有用於計算頭部D1的中心坐 標Dc的頭部坐標表lla。頭部坐標表lla使從第一 第三位置檢測傳感器 8a 8c到駕駛員D的頭部D1的相對距離L1 L3與頭部Dl的中心坐標Dc 的標準值建立關聯。即，在坐在駕駛位置上的狀態下，使標準體型的駕駛員 D的頭部Dl可移動的範圍和第一 第三位置檢測傳感器8a 8c的檢測範圍 相符，預先設定頭部移動範圍Z3 (參照圖8)。在該頭部移動範圍Z3內， 對由第一 第三位置檢測傳感器8a 8c檢測出的相對距離L1 L3與頭部 Dl的中心坐標Dc的組合進行圖案化處理，從而通過使用各相對距離Ll L3並參照頭部坐標表lla，從而得到頭部D1的中心坐標Dc。另夕卜，作為頭 部坐標表lla，既可以存儲與駕駛員的體型對應的多個表，也可以預先在駕 駛支援單元2中登錄駕駛員D的坐高、眼睛的位置等與體型相關的數據，控 制部件10根據該登錄數據而生成頭部坐標表lla。接著，控制部件10基於計算出的中心坐標Dc，計算出由柱P遮住的死 角ei、 02。用圖9以及圖IO進行詳細敘述，計算出頭部D1的中心坐標Dc 與柱P在水平方向上的切線T1、 T2(參照圖9)、鉛垂方向上的切線T3、 T4 (參照圖10)，並計算出切線T1、 T2所成的角度以及切線T3、 T4所成的 角度。
如圖10所示，在計算出水平方向上的切線T1、 T2時，控制部件10基 於存儲在ROM12中的柱形狀41，在柱P的長軸方向的側端上求出與頭部 Dl的中心坐標Dc同高的切點P1、 P2。然後，如圖9所示，使這兩個切點 Pl、 P2與中心坐標Dc相連接，從而求出切線T1、 T2。另外，用於求出切 線T1、 T2的切點P1、 P2也可以不與中心坐標Dc等高，例如也可以是柱P 的長軸方向上的中點。另外，控制部件10計算出由切線T1、 T2所形成的水平方向的死角ei。 並且，如圖9所示，控制部件10將作為車寬方向(Y方向)的水平軸的水 平線Hy作為0度，從而計算出切線Tl相對於該水平線Hy的角度0a (下面 稱為最小角度ea)、切線T2相對於該水平線Hy的角度0b (下面稱為最大角度eb)。另一方面，如圖10所示，在計算出鉛垂方向上的切線T3、 T4時，控制 部件10基於柱形狀41，計算出連接頭部D1的中心坐標Dc與柱P的下端點 P3、上端點P4的切線T3、 T4。然後，將各切線T3、 T4所成的角度作為鉛 垂方向的死角62。另外，將從中心坐標Dc向X方向延伸的水平線Hx作為 0度，從而計算出從水平線Hx到切線T3的角度6c(下面稱為最小角度ec)、切線T4相對於水平線Hx的角度ed (下面稱為最大角度ed)。當控制部件io計算出死角ei、 e2、最大角度eb、 ed、最小角度ea、 ec時，首先判斷水平方向的最大角度eb是否小於規定角度A(例如為45度)，以及判斷鉛垂方向的最大角度ed是否大於或等於規定角度b(例如為i5度)。另外，規定角度A、 b的大小可以根據車輛C的結構而適當設定，並不僅限於上述的角度。由於在最大角度％<規定角度a且最大角度ed^規定角度b時，駕駛員D的視場(視野範圍)朝向車輛C的右前方就能夠看到比較遠的地方，因此 使用第一攝像機6進行拍攝。除此以外的情況下，由於駕駛員D處於即使向 右前方看也只能看到車輛c附近的姿勢，所以使用以前方為中心進行拍攝的 第二攝像機7進行拍攝。例如，如圖9所示，頭部D1在頭部移動範圍Z3中處於右前方時，水平 方向的最大角度eb在45度以上。另外，如圖10所示，頭部D1在頭部移動 範圍Z3中處於右前方時，鉛垂方向的最大角度0d在15度以上。如上述，
雖然鉛垂方向的最大角度ed在規定角度b以上，但由於水平方向的最大角 度eb在規定角度a以上，所以控制部io使用與處於右前方的頭部di位置接近的第二攝像機7進行拍攝。第二攝像機7在進行拍攝後，通過影像數據輸入部件22而將圖像數據 輸出到圖像處理器20。圖像處理器20如上所述進行圖像處理，使用遮蔽圖 案40來生成輸出用數據OD。然後將所生成的輸出用數據OD輸出到投影機 4。從而，頭部D1在處於頭部移動範圍Z3中的右前方時，能夠在柱P的屏 幕SC上顯示與從前窗Wl看到的風景相連續的圖像。同樣，例如圖11以及圖12所示，頭部D1的中心坐標Dc處於頭部移動 範圍Z3中的右後方時，水平方向的最大角度eb大於或等於規定角度a (45 度)，鉛垂方向的最大角度ed小於規定角度B (15度)。gp，駕駛員D處 於已看到前方的狀態，因此其視野接近於第二攝像機7的視角。因此，此時 也啟動靠近頭部Dl位置的第二攝像機7。另外，如圖13所示，頭部Dl的中心坐標Dc處於頭部移動範圍Z3中 的左前方時，水平方向的最大角度eb小於規定角度A (45度)，並且鉛垂 方向的最大角度ed在規定角度(15度)以上。此時，駕駛員D的頭部D1 在長度方向(X方向)上接近前窗W1，在鉛垂方向(Z方向)上尚處於比 較低的位置，同時在車寬方向(Y方向)上處於比較遠離柱P的狀態。艮口， 駕駛員D處於避開柱P而從前窗Wl觀察右前方的狀態，因此容易以肉眼確 認右前方的障礙物等，能夠看到以後背靠在前座F上的姿勢無法看到的障礙 物或障礙物的一部分。因此，控制部件10驅動以右前方以及右方為中心進 行拍攝的第一攝像機6。第一攝像機6在進行拍攝後，通過影像數據輸入部件22而將圖像數據 輸出到圖像處理器20。圖像處理器20如上所述對圖像數據G進行坐標轉換， 然後生成輸出用數據OD，並將所生成的輸出用數據OD輸出到投影機4。從 而，在駕駛員向前曲體而觀察右前方的其他車輛或障礙物等時，能夠在屏幕 SC上投影出以該姿勢可見到的右前方的其他車輛或障礙物。另外，如圖14所示，頭部Dl的中心坐標Dc處於頭部移動範圍Z3中 的左後方時，水平方向的最大角度eb在規定角度A以上，並且鉛垂方向的 最大角度ed小於規定角度。此時，駕駛員D處於以前方為中心進行觀察的
狀態，因此啟動第二攝像機7。接著，根據圖15，針對本實施方式的處理步驟進行說明。駕駛支援單元 2的控制部件10等待向柱P的內側投影背景圖像的投影模式開始(步驟Sl)。 例如，當對觸摸面板及操作開關26進行操作，而控制部件10通過外部輸入 1/F部件25接收到模式開始要求時，判斷為投影模式開始。或者，以初始狀 態啟動投影模式時，也可以基於來自點火模塊(未圖示)的打開信號，判斷 為投影模式開始。當判斷為開始投影模式時(在步驟S1中為"是")，控制部件10基於 路徑數據16或地圖描畫數據17的道路數據，判斷是否已接近交叉路口或者 轉彎處(步驟S2)。具體地說，當控制部件10判斷車輛C的當前位置進入 到與包含T字路口的交叉路口或規定的曲率以上的轉彎相距規定距離的範圍 (例如200m)內時，判斷己接近交叉路口或轉彎。當判斷己接近交叉路口或轉彎時(在步驟S2中為"是".)，控制部件 10使用各位置檢測傳感器8a 8c來檢測駕駛員D的頭部位置(步驟S3)。 此時，控制部件10通過傳感器I/F部件23而從各位置檢測傳感器8a 8c取 得到達頭部D1的相對距離L1 L3。然後，參照各相對距離L1 L3與頭部 坐標表lla來確定頭部Dl的中心坐標Dc。接著，控制部件lO如上述利用中心坐標Dc來計算水平方向的切線Tl、 T2和鉛垂方向的切線T3、 T4，從而計算出水平方向的死角01、鉛垂方向的 死角62。當計算出各死角ei、 e2時，控制部件io判斷是否是水平方向的死角ei 的最大角度eb小於規定角度A、並且鉛垂方向的死角e2的最大角度ed在規定角度B以上(步驟S4)。當判斷為最大角度eb在規定角度a以上或者最大角度ed小於規定角度B時(在步驟S4中為"否")，駕駛員D處於面向前方的狀態或觀察車輛 C的右前方的車輛附近的狀態，因此控制部件10啟動此時視角與駕駛員D 的視野接近的第二攝像機7，對前方區域Z2進行拍攝(步驟S6)。第二攝 像機7將影像信號M輸出到影像數據輸入部件22，影像數據輸入部件22對 影像信號M進行A/D轉換，從而將圖像數據G輸出到圖像處理器20中。 另外，圖像處理器20按照頭部Dl的中心坐標Dc來對從影像數據輸入
部件22輸入的圖像數據G進行圖像處理(步驟S7)。即，不僅按照中心坐 標Dc來對進行拍攝的攝像機6、 7進行變更，還按照此時的中心坐標Dc進 行坐標轉換等公知的圖像處理，從而做成與實際的背景接近的圖像。此時， 圖像處理器20從ROM12讀出遮蔽圖案40，對於遮蔽圖案40的圖像顯示部 分40a讀出圖像數據G的像素值，對於其他區域讀出投影機4非顯示用的像 素值，從而生成輸出用數據OD。當生成了輸出用數據OD時，圖像處理器20將輸出用數據OD輸出到投 影機4，投影機4對該輸出用數據OD進行D/A轉換，從而將背景圖像投影 到柱P的屏幕SC上(步驟S8)。其結果，如圖16所示，在屏幕SC上顯示 作為影像的背景圖像IM。圖16所示的背景圖像IM是由以前方為中心進行 拍攝的第二攝像機7所拍攝的，因此，能夠使觀察前方的駕駛員通過前窗 Wl以及門窗W2所見的實際的風景與背景圖像IM的連續性良好。當在屏幕SC上顯示背景圖像IM時，控制部件10判斷車輛C是否已從 交叉路口或轉彎處離開(步驟S9)。當判斷為車輛C接近或進入到交叉路 口或轉彎處時(在步驟S9中為"否")，回到步驟S3，控制部件10對各位 置檢測傳感器8a 8c進行控制，從而計算出頭部D1的中心坐標Dc。然後，當車輛C到達交叉路口時，駕駛員向前曲體，觀察與車輛C的行 進方向垂直的方向的道路，從而確認有無其他車輛或行人等，在要右轉時， 確認垂直的道路的形狀等。此時，駕駛員D的頭部D1從柱向左側偏離，並 向前方移動。其結果，死角ei的最大角度0b小於規定角度A (45度)，死 角62的最大角度ed在規定角度B (15度)以上(在步驟S4中為"是")。 此時，控制部件10利用拍攝接近此時駕駛員D的視野的範圍即側方區域Zl 的第一攝像機6進行拍攝(步驟S5)。第一攝像機6將影像信號M輸出到 影像數據輸入部件22，影像數據輸入部件22對影像信號M進行A/D轉換， 並將圖像數據G輸出到圖像處理器20。另外，圖像處理器20按照頭部Dl的中心坐標Dc來對從影像數據輸入 部件22輸入的圖像數據G進行圖像處理(步驟S7)，從而生成輸出用數據 OD。當生成了輸出用數據OD時，圖像處理器20將輸出用數據OD輸出到 投影機4，投影機4對該輸出用數據OD進行D/A轉換，從而將背景圖像投 影到柱P的屏幕SC上(步驟S8)。其結果，如圖17所示，在屏幕SC上顯
示背景圖像IM的影像。背景圖像IM上顯示有以後背靠在前座F上的姿勢 無法看到的道路形狀和障礙物等。另外，能夠使通過前窗W1以及門窗W2 所見的實際的風景與背景圖像IM的連續性良好。然後，當判斷為車輛C已從交叉路口或轉彎處離開(在步驟S9中為"是") 時，控制部件10判斷投影模式是否結束(步驟SIO)。例如，當對觸摸面板 或者操作開關26進行操作，或接收到點火模塊的關閉信號時，判斷為投影 模式結束(在步驟S10中為"是")，從而結束處理。當判斷為投影模式未 結束時(在步驟S10中為"否")，則回到步驟S2進行待機，直到車輛C 接近交叉路口或轉彎處為止。並且，在車輛C接近交叉路口或轉彎處時(在 步驟S2中為"是")，重複上述的處理。根據上述實施方式，能夠達到以下的效果。(1) 在上述實施方式中，駕駛支援單元2的控制部件10基於第一 第 三位置檢測傳感器8a 8c而計算出駕駛員D的頭部Dl的中心坐標Dc。另 外，計算出以其頭部Dl的位置來看由柱P產生的死角91、 62，各死角ei的最大角度eb小於規定角度a (45度)並且死角e2的最大角度ed在規定角度B (15度)以上時，啟動拍攝車輛C的側方的第一攝像機6。另外，在 除此以外的情況下，啟動拍攝車輛C的側方的第二攝像機7。並且，按照中 心坐標Dc對由第一或第二攝像機6、 7拍攝的圖像數據G進行圖像處理，並 將所生成的輸出用數據OD輸出到投影機4。投影機4將該輸出用數據OD 投影到柱P的內側面的屏幕SC上。由此，在駕駛員D向前曲體而觀察右前 方時，或處於靠在前座F上的姿勢時，都能夠顯示從與各姿勢對應的視角拍 攝的背景圖像IM，從而能夠顯示與實際的背景的連續性良好的背景圖像IM， 進而還能夠對安全駕駛進行支援。(2) 在上述實施方式中，駕駛支援單元2的控制部件10檢測出駕駛員 D的頭部D1的中心坐標Dc。然後，基於該中心坐標Dc而計算出死角01、02，因此能夠比較正確的計算出死角ei、e2和最大角度eb以及最小角度ec。(3) 在上述實施方式中，不僅根據駕駛員D的姿勢而選擇第一攝像機 6或者第二攝像機7，還通過圖像處理器20來對從各攝像機6、 7輸入的圖 像數據G進行坐標轉換。因此，能夠使從前窗W1以及門窗W2所看到的實 際的風景與背景圖像IM的連續性更為良好。 (4)在上述實施方式中，控制部件10基於頭部D1的中心坐標Dc而計算出死角ei的最大角度eb和死角e2的最大角度ed。然後，根據最大角度eb、最大角度ed的大小來選擇攝像機6、 7。因此，由於基於駕駛員D的死角的 朝向而選擇攝像機6、 7，所以能夠可靠地顯示符合駕駛員D的姿勢的連續 性高的背景圖像IM。此外，本實施方式也可以如下進行變更。在上述實施方式中，控制部件10基於路徑數據16判斷車輛C是否已接 近交叉路口，並且基於地圖描畫數據17來判斷車輛C是否己接近規定的曲 率以上的轉彎，但也可以基於地圖描畫數據17或其他數據來判斷有無交叉 路口。另外，也可以基於路徑數據16或其他數據來判斷有無規定曲率以上 的轉彎。在上述實施方式中，將位置檢測傳感器8a 8c設在室內鏡RM附近、 門窗W2的上端附近、前座F的頭部FH上，但也可以設在其他位置上。另 外，雖然將檢測頭部Dl的位置的傳感器設為三個，但也可以是兩個或四個 以上。並且，雖然使位置檢測傳感器8a 8c為超聲波傳感器，但也可以是紅 外線傳感器等其他的傳感器。在上述實施方式中，雖然通過由超聲波傳感器構成的位置檢測傳感器 8a 8c可檢測出駕駛員D的頭部D1，但是也可以通過處於駕駛位置附近的 攝像機拍攝駕駛位置周邊，並通過特徵點檢測或圖案匹配處理等圖像處理， 從而檢測出駕駛員的頭部。在上述實施方式中，雖可參照相對距離L1 L3與頭部坐標表lla，計算 出頭部Dl的中心坐標Dc，但也可以通過控制部件10不使用表而基於相對 距離L1 L3進行計算。在上述實施方式中，將使頭部D1的中心坐標Dc與上述的水平方向的最大角度eb、鉛垂方向的最大角度ed建立了聯繫的表，存儲在主存儲器ll等中也可以。並且，也可以在計算出中心坐標Dc時，基於該表而計算出最大角度eb以及最大角度ed。在上述實施方式中，影像數據輸入部件22生成圖像數據g，但也可以 在各攝像機6、 7內進行a/D轉換而生成圖像數據g。在上述實施方式中，水平方向的死角e的最大角度eb小於規定角度a
並且鉛垂方向的死角e2的最大角度ed在規定角度b以上時，由第一攝像機 6進行拍攝。除此以外，也可以只判斷水平方向的死角e的最大角度eb是否 小於規定角度a，在最大角度eb小於規定角度a時，由第一攝像機6進行 拍攝。或者，也可以只判斷鉛垂方向的死角e2的最大角度ed是否在規定角 度b以上，最大角度ed在規定角度b以上時，由第一攝像機6進行拍攝。 在上述實施方式中，可以根據死角ei、 e2的大小而任意選擇第一以及第二攝像機6、 7。在上述實施方式中，根據頭部Dl的中心坐標Dc來計算駕駛員D的死 角61、 02，但也可以根據中心坐標Dc包含在頭部移動範圍Z3中的哪個範 圍來選擇第一攝像機6或第二攝像機7。例如，在駕駛員D向前曲體時，由 於判斷為頭部D1在頭部移動範圍Z3內處於左前方，所以可以啟動第一攝像 機6。另外，當判斷為頭部D1在頭部移動範圍Z3內處於右前方或後方時， 可以啟動第二攝像機7。這樣一來，能夠減輕駕駛支援單元2的處理，比較 容易的顯示與隨著車輛C的移動而變化的實際的風景相連續的背景圖像IM。在上述實施方式中，雖然在車輛C上設有兩個攝像機6、 7，但也可以設 置三個以上的攝像機。此時，也可以如上述那樣基於駕駛員D的死角01、 02 或頭部Dl的中心坐標Dc來從各攝像機中選擇進行拍攝的攝像機，從而能夠 顯示與駕駛員的姿勢相對應的背景圖像IM。在上述實施方式中，雖然在駕駛位置側的柱P (在本實施方式中是右側 的前柱)上顯示背景圖像IM，但也可以在駕駛位置的相反側的柱上顯示背 景圖像。此時，也可以計算出頭部D1的坐標和由柱遮蔽的死角的角度，從 而根據該角度而變更所啟動的攝像機。在上述實施方式中，雖然由投影機4將背景圖像IM投影到柱P的內側， 但也可以在柱P的內側設置薄型的顯示器，從而從圖像處理器20向該顯示 器輸出輸出用數據OD。
權利要求
1.一種駕駛支援方法，使用安裝在車輛上的拍攝裝置來拍攝因上述車輛的柱而產生的死角區域，並將由上述拍攝裝置拍攝的影像顯示在上述柱的內側，其特徵在於，檢測坐在上述車輛的駕駛位置上的駕駛員的位置，在拍攝各不相同的範圍的多個上述拍攝裝置中，根據上述駕駛員的位置而選擇進行拍攝的上述拍攝裝置，基於從所選擇的上述拍攝裝置輸入的影像信號而在上述柱的內側顯示影像。
2. —種駕駛支援裝置，使用安裝在車輛上的拍攝裝置來拍攝因上述車輛的柱而產生的死角區域，並將由上述拍攝裝置拍攝的影像顯示在上述柱的內側，其特徵在於，包括檢測裝置，其檢測坐在上述車輛的駕駛位置上的駕駛員的位置； 選擇裝置，其在拍攝各不相同的範圍的多個上述拍攝裝置中，根據上述駕駛員的位置而選擇上述拍攝裝置；影像信號取得裝置，其從所選擇的上述拍攝裝置輸入影像信號； 輸出控制裝置，其基於從上述拍攝裝置輸入的上述影像信號，在上述車輛的柱的內側顯示與因上述柱而產生的死角區域相當的影像。
3. —種駕駛支援裝置，使用安裝在車輛上的拍攝裝置來拍攝因上述車 輛的柱而產生的死角區域，並將由上述拍攝裝置拍攝的影像顯示在上述柱的 內側，其特徵在於，包括檢測裝置，其檢測坐在上述車輛的駕駛位置上的駕駛員的位置； 角度計算裝置，其基於由上述檢測裝置檢測出的駕駛員的位置，計算因上述柱而產生的死角的角度；選擇裝置，其在拍攝各不相同的範圍的多個上述拍攝裝置中，根據上述駕駛員的死角的角度而選擇上述拍攝裝置；影像信號取得裝置，其從所選擇的上述拍攝裝置輸入影像信號； 輸出控制裝置，其基於從上述拍攝裝置輸入的上述影像信號，在上述車輛的柱的內側顯示與因上述柱而產生的死角區域相當的影像。
4. 如權利要求3所述的駕駛支援裝置，其特徵在於， 在從因上述柱而產生的死角的車寬方向的水平軸起的最大角度小於規 定角度時，上述選擇裝置選擇以上述車輛的側前方為中心進行拍攝的第一拍攝裝置；在上述最大角度在規定角度以上時，上述選擇裝置選擇以上述車輛 的前方為中心進行拍攝的第二拍攝裝置。
5. 如權利要求2 4中任意一項所述的駕駛支援裝置，其特徵在於， 上述檢測裝置檢測上述駕駛員的頭部的坐標。
6. 如權利要求2 5中任意一項所述的駕駛支援裝置，其特徵在於， 還具有圖像處理裝置，該圖像處理裝置對從上述各拍攝裝置輸入的影像信號，進行與上述駕駛員的位置相對應的圖像處理。
全文摘要
一種能夠在柱上顯示與駕駛員的姿勢相符的影像的駕駛支援方法及駕駛支援裝置。駕駛支援單元使用安裝在車輛上的第一攝像機及第二攝像機，拍攝因車輛的柱而產生的死角區域的影像，並將所拍攝的影像顯示在柱的內側，在該駕駛支援單元中具有控制部件，該控制部件檢測駕駛員的頭部的位置，根據頭部的位置計算因柱而產生的死角的角度，同時在以車輛的側方為中心拍攝的第一攝像機和以車輛的前方為中心拍攝的第二攝像機中，根據死角的最大角度或最小角度而選擇進行拍攝的攝像機。另外具有影像數據輸入部件，其接收從所選擇的第一或第二攝像機輸入的影像信號；圖像處理器，其基於影像信號，在車輛的柱的內側顯示與因柱而產生的死角區域相當的影像。
文檔編號H04N13/00GK101106703SQ20071012709
公開日2008年1月16日 申請日期2007年7月4日 優先權日2006年7月12日
發明者窪田智氣, 高木實 申請人:愛信艾達株式會社