車輛周邊顯示裝置和用於車輛周邊圖像的方法

2023-05-11 14:21:06

專利名稱：車輛周邊顯示裝置和用於車輛周邊圖像的方法
技術領域：
本發明涉及用於表示車輛的周邊狀況的車輛周邊顯示裝置。本發明還涉及用於表 示車輛周邊圖像的方法。
背景技術：
傳統上，例如，JP-A-2003-189291和JP-A-2006-7498公開了一種用於通過將以下 圖像相組合來表示合成視圖的技術通過實時地對自車後側的周邊狀況進行成像而獲得的 圖像、以及在自車向後移動的同時表示向視野外部移動的視圖的圖像和自車的圖像。因此， 自車和周邊狀況之間的物理關係被提供給駕駛者。根據JP-A-2003-189291中說明的第一種傳統技術，通過使用攝像機獲得的圖像 例如被轉換為以按照攝像機的視點投影的地表面坐標的數據，以便連續地產生鳥瞰視 像的圖像數據。因此，所表示的圖像不是特別針對原始圖像的失真圖像。隨後，在先前的成 像中獲得的第一鳥瞰視像對應於車輛的移動而移動，以便在車輛移動之後產生鳥瞰視 像的圖像數據。將車輛移動之後的鳥瞰視像的圖像數據與比第一鳥瞰視像更 新的第二鳥瞰視像的圖像數據相組合，以便產生合成鳥瞰視像。此外，合成鳥瞰視 像被轉換為看似由攝像機獲得的投影圖像，並且在監控器裝置等上表示該投影圖像。根據在JP-A-2006-7498中公開的第二種傳統技術，圖形處理單元校正由廣角鏡 頭引起的當前圖像數據和先前的圖像數據中的失真像差，以便獲得無失真的圖像。而且，圖 形處理單元在車輛側僅提取被校正的先前圖像數據的一部分，以便獲得先前數據用於合成 圖像。而且，用於合成圖像的先前數據的視角被轉換為從車後輪軸中心的上側的假想視點 的視點。而且，圖形處理單元僅提取從車輛更遠側上的被校正的當前圖像數據的一部分，以 便獲得當前數據用於合成圖像。而且，圖形處理單元執行縮小轉換，以便以預定的縮小比來 縮小用於合成圖像的當前數據，以便產生縮小的數據。隨後，圖形處理單元通過將縮小的數 據與進行了視點轉換的用於合成圖像的先前數據的合成區域組合來產生合成圖像，並且在 顯示裝置的屏幕上輸出所產生的合成圖像。而且，圖形處理單元轉換車輛側邊的延長線和 由後輪根據假想視角繪製的線，並且在顯示器的屏幕上輸出被轉換的線。在每種所述傳統技術中，執行各種圖像處理，諸如失真校正、視點轉換和所獲得圖 像的縮小轉換。因此，圖像處理的處理負荷變大。

發明內容
鑑於上述和其他問題，本發明的目的是生產一種車輛周邊顯示裝置，其能夠方便 表示諸如圍繞車輛在視野外部的白線的對象。本發明的另一個目的是提出一種用於表示車 輛周邊圖像的方法。根據本發明的一方面，一種車輛周邊顯 示裝置，用於表示車輛周邊的圖像，車輛周 邊顯示裝置包括成像單元，其被配置用於拍攝車輛周邊的圖像。車輛周邊顯示裝置還包 括第一對象檢測單元，其被配置為從所拍攝的圖像中獲得與所拍攝圖像的亮度和顏色中的至少一個相關的圖像信息，從所拍攝的圖像中獲得關於所拍攝圖像的位置信息，根據所 拍攝的圖像中的對象的具體特徵從所獲得的圖像信息中檢測包括道路指示和路上物體的 至少一個的對象，並且，將關於該對象的圖像信息與關於該對象的位置信息相關聯。所述 車輛周邊顯示裝置還包括存儲單元，存儲單元被配置為預先存儲車輛的車輛圖像並且存儲 相關聯的圖像信息和位置信息的歷史數據。車輛周邊顯示裝置還包括繪圖單元，繪圖單元 被配置為根據歷史數據來生成圖像，將所生成的圖像和包括預先存儲的車輛圖像的圖像重 疊，並且將所重疊的圖像轉換為從預定視點觀看。車輛周邊顯示裝置還包括顯示屏幕，顯示 屏幕包括周邊圖像顯示區域，周邊圖像顯示區域被配置為表示由成像單元獲得的車輛周 邊的當前圖像；以及，歷史顯示區域，其毗鄰周邊圖像顯示區域，並且被配置為在根據相關 聯的位置信息的位置表示所轉換的圖像和從所轉換的圖像中的圖像信息中檢測的對象。根據本發明的另一方面，一種用於表示車輛周邊圖像的方法，方法包括拍攝車輛 周邊的當前圖像。方法還包括從所拍攝的圖像獲得與所拍攝圖像的亮度和顏色中的至少 一個相關的圖像信息。方法還包括從所拍攝的圖像獲得關於所拍攝圖像的位置信息。方 法還包括根據在所拍攝的圖像中的對象的具體特徵從所獲得的圖像信息中檢測包括道路 指示和路上物體中的至少一個的對象。方法還包括將所獲得的關於該對象的圖像信息與 所獲得的關於該對象的位置信息相關聯。方法還包括存儲相關聯的圖像信息和相關聯的 位置信息的歷史數據。方法還包括根據所述歷史數據來生成圖像。方法還包括將所生成 的圖像和車輛預先存儲的車輛圖像重疊。方法還包括將所重疊的圖像轉換為從預定視點 觀看。方法還包括在周邊圖像顯示區域中表示車輛周邊的當前圖像。方法還包括在毗鄰 周邊圖像顯示區域的歷史顯示區域中表示所轉換的圖像。方法還包括在根據相關聯的位 置信息的位置表示在所轉換的圖像中的所檢測的對象。


通過下面參考附圖的詳細說明，本發明的上述和其它目的、特徵和優點將變得更 清楚。在附圖中圖1是示出根據第一實施例的車輛後方顯示裝置的方框圖；圖2是示出車輛和攝像機之間的物理關係的示意圖；圖3是示出了在所獲得的圖像中的亮度分布的圖，用於描述一種從所獲得的圖像 中檢測作為檢測對象的在道路表面上的白線的方法；圖4是示出當車輛向後停車時車輛後方顯示裝置的操作的主流程圖；圖5是用於圖像處理的主流程圖的子例程；圖6是示出通過使用攝像機獲得並且在整個屏幕上表示的原始圖像的視圖；圖7是示出當未執行根據所述實施例的對象檢測操作時表示的圖像的視圖；圖8是示出當車輛向後停車時由根據所述實施例的車輛後方顯示裝置表示的圖像的視圖；以及圖9是示出當執行在圖8的歷史顯示區域中的白線的校正操作時的被校正的白線 的圖像。
具體實施例方式車輛周邊顯示裝置能夠表示車輛周圍的情況，並且通過在屏幕上提供表示來幫助 駕駛者的駕駛操作。將參考圖1-9來說明作為車輛周邊顯示裝置的一個示例的車輛後方顯 示裝置。車輛後方顯示裝置表示合成圖像，所述合成圖像包括在車輛後側的當前實際圖像、 車輛的圖像和根據與該實際圖像連續的先前圖像而產生的車輛的周邊。因此，所述車輛後 方顯示裝置能夠向駕駛者通知自車的準確位置，並且有效地幫助向後停車。圖1是示出了車輛後方顯示裝置的結構方框圖。圖2是示出車輛10和攝像機7之 間的物理關係的示意圖。車輛後方顯示裝置包括攝像機7、顯示裝置9、圖形處理電路(繪圖 單元)4、解碼器8、存儲器5、微計算機1和車輛移動檢測單元2。攝像機7獲得(拍攝)車輛 後側的圖像。顯示裝置9表示通過使用攝像機7而獲得(拍攝)的圖像。圖形處理電路4生 成要在顯示裝置9上表示的圖像。解碼器8將從攝像機7發送的模擬信號轉換為數位訊號， 並且將所轉換的數位訊號作為圖像信號發送到圖形處理電路4。存儲器5存儲關於通過使用 攝像機7而獲得的圖像的圖像信息。微計算機1控制在顯示裝置9上的圖像表示。如圖2中所示，攝像機7位於車輛10的後保險槓IOa的上側。攝像機7在諸如 180度的預定角度範圍和在車輛後側的預定距離範圍中具有預定的視場範圍。攝像機7用 作成像單元，用於獲得整個廣角範圍內的後方圖像。存儲器5用作存儲單元，其包括隨機存取存儲器(RAM)，用於存儲從解碼器8發送 的畫面信號作為圖像數據。存儲器5將關於通過使用攝像機7獲得並與圖像上的位置信息 相關聯的前一圖像的圖像信息存儲為歷史數據。另外，存儲器5預存車輛10的後方圖像。 車輛10的後方圖像被生成以相對於所獲得的圖像具有精確的物理關係。在存儲器5中預 存的車輛10的後方圖像包括車輛10的後保險槓IOa等。在下面的實施例中，當從車輛的 上側(高側)的預定位置以預定視點觀看時的計算機繪像(車輛計算機繪圖，車輛CG) 被預先產生，並且用作後方圖像的一個示例。存儲器5與微計算機1和圖形處理電路4中 的每一個通信。微計算機1用作對象檢測單元，用於從圖像中檢測道路指示和在道路上的對象 (路上物體)中的至少一個，上述在道路上的對象位於車輛周圍，並且被要求檢測出來以幫 助駕駛操作。上述路上物體是，例如另一輛車輛、牆壁以及通過使用超聲波聲納等檢測的行 人。上述道路指示是在道路上或位於車輛10即將移動到的空間中的障礙物、停車帶以及導 向線等。障礙物是，例如凹槽、臺階、路邊石、杆以及人。停車帶是，例如示出停車空間的白 線。道路指示用作在車輛周圍的標記。當前應用人注意從移動到視野外部的圖像中檢測出作為在車輛周圍標記的白線 的邊緣，並且與當前的原始圖像組合表示該邊緣，以便取得車輛周圍的視圖，和執行白線的 檢測而不使用高級圖像處理。在檢測白線的邊緣的處理中，可能從所獲得的圖像中錯誤地 檢測除白線之外的對象。結果，該除白線之外的對象(噪聲)被繪製為白線。因此，與白線 等 具有相同顏色的點被繪製在顯示器上表示的圖像的除了白線之外的區域中。這樣，難於 識別的圖像被提供給駕駛者。根據應用人的注意，微計算機1從通過使用攝像機7獲得的圖像中獲得關於圖像 的亮度和顏色的至少一個的圖像信息和關於圖像的位置信息。因此，微計算機1基於所獲 得的圖像信息來檢測對象。所獲得的圖像信息與關於圖像的位置信息相關聯，並且存儲在存儲器5中作為歷史數據。微計算機1根據在圖像上的具體特徵來從所獲得的圖像信息中 檢測對象。圖像上的具體特徵是基於圖像信息生成的圖像上對象的特性特徵。具體特徵例 如是顏色特徵、亮度特徵、發光度特徵和形狀特徵等。微計算機1用作對象檢測單元，用於 提取圖像的具體特徵，以便檢測等同於具體特徵的檢測對象。例如，微計算機1使用對象檢測方法來檢測一個範圍，，將其中亮度或者顏色不同 於該範圍周圍的圖像範圍作為檢測對象。下面說明使用微計算機1作為對象檢測單元的對 象檢測方法的一個示例。微計算機1控制在顯示裝置9上表示所生成的圖像的時間點和位 置。微計算機1還用作顯示控制單元，用於控制圖像在顯示裝置9上的表示。微計算機1 還作為控制裝置，用於從車輛移動檢測單元2、車輛狀態檢測單元3、存儲器5和圖形處理電 路4等接收信號，執行預定的計算，並且向圖形處理電路4輸出作為計算結果的圖像數據。
微計算機1包括只讀存儲器(ROM)，其存儲計算程序等；以及，隨機存取存儲器(RAM)，用 作計算的工作空間。微計算機1執行在ROM中存儲的程序。微計算機1讀取用於執行程序 所需要並且暫時被存儲在存儲器5和RAM中的信息。圖形處理電路4用作繪製單元，用於生成圖像，向顯示裝置9輸出所生成的圖像， 並且與用作對象檢測單元的微計算機1通信。圖形處理電路4根據由微計算機1執行圖像 處理的處理結果在顯示裝置9上生成(繪製)圖像。圖形處理電路4基於微計算機1提供 的、生成預定圖像的生成指令來生成預定圖像。因此，微計算機1和圖形處理電路4用作生 成圖像的圖像生成單元。圖形處理電路4輸出通過使用攝像機7獲得的車輛後側的原始圖 像，以將該原始圖像定位於後方圖像顯示區域20 (圖7)中。圖形處理電路4在歷史顯示區 域30上疊加車輛後側周圍的路上物體和從歷史數據中提取的道路指示中的至少一個和車 輛CG，以從上述預定視點觀看。這樣，圖形處理電路4向顯示裝置9輸出疊加視圖。圖形處 理電路4可以在歷史顯示區域30上表示車輛10的車軸部分11和車輪12的位置中的至少 一個。圖形處理電路4在歷史顯示區域30中的圖像中加入在後方圖像顯示區域20中的車 輛後方圖像的失真。圖形處理電路4還在歷史顯示區域30中繪製所提取的路上物體或者道 路指示，以與在後方圖像顯示區域20中當前表示的路上物體或者道路指示一起連續地被 表示。圖形處理電路4執行用於通過生成顯示裝置9的每個像素的灰度數據而繪製圖像的 處理。微計算機1執行用於從存儲器5獲得歷史數據的處理，並且執行用於參考在ROM中 存儲的信息而生成圖像的灰度數據的處理，同時在RAM中暫時存儲處理所需要的信息。圖 形處理電路4向顯示裝置9輸出作為計算結果的圖像的灰度數據。顯示裝置9具有顯示屏幕，其包括周邊圖像顯示區域和歷史顯示區域30。周邊圖 像顯示區域表示通過使用攝像機7獲得的當前車輛周邊圖像。歷史顯示區域30鄰近周邊圖 像顯示區域，用於表示基於歷史數據而生成的圖像。顯示裝置9表示在預定的車輛狀態中 的車輛周邊圖像，並且當例如車輛10的傳動裝置的檔位在倒檔位置時在周邊圖像顯示區 域中表示車輛後側的圖像。顯示裝置9具有後方圖像顯示區域20和歷史顯示區域30。後 方圖像顯示區域20表示當車輛10向後倒車時，通過使用攝像機7獲得的當前車輛後方圖 像，而不校正在圖像中的失真。後方圖像顯示區域20是周邊圖像顯示區域的一個示例。歷 史顯示區域30與後方圖像顯示區域20鄰近，用於表示根據先前的歷史數據而生成的圖像。 歷史顯示區域30在基於相關聯的位置信息確定的位置表示由微計算機1從所獲得的圖像 信息中檢測的對象。顯示裝置9例如是液晶顯示器，並且位於手柄之前或者位於儀錶板中央部分的儀表指示器的一部分中。在本實施例中，點矩陣型TFT透射液晶面板被用作顯示裝置9的一個示例。TFT透射液晶面板具有在矩陣形狀中分配的多個像素作為用於表示圖 像的表示單元。顯示裝置9的每個像素包括子像素，其分別具有包括紅色(R)、綠色(G)和 藍色(B)三色的濾色器，並且能夠用顏色指示圖像。顯示裝置9基於從圖形處理電路4獲 得的灰度數據來驅動每個像素以表示圖像。顯示裝置9包括在表示側後側的背光裝置(未 示出)，用於從後側點亮圖像，以執行圖像的透射表示。顯示裝置9可以位於風擋附近的儀 錶板中。根據本結構，駕駛者可以在觀看車輛前方的舒適狀態中可視地識別後方圖像，而不 用向手柄附近的前側移動目光。顯示裝置9可以位於在車輛寬度方向上儀錶板的中央，並 且在儀錶板上傾斜。或者，顯示裝置9可以位於車輛導航裝置的液晶顯示器上。車輛移動檢測單元2基於車輪的旋轉速度等來檢測車輛10從特定狀態移動的距 離，基於駕駛盤的旋轉角度等來檢測當前的偏轉方向，並且向微計算機1發送用於表示所 檢測的移動的信號。可以通過下述方式來獲得移動和偏轉方向將圖像轉換為鳥瞰視 像，並且通過將其前一個圖像與其當前圖像匹配來計算。車輛狀態檢測單元3接收車輛10 的各種狀態的檢測信號。在本實施例中，車輛狀態檢測單元3至少接收傳動裝置的檔位信 號，並且將所接收的信號發送到微計算機1。微計算機1可以接收從聲納裝置6輸出的信號。聲納裝置6用作對象檢測單元， 用於檢測在車輛周圍的路上物體，並且檢測路上物體距車輛10的距離。聲納裝置6獲得關 於路上物體的位置信息。所獲得的位置信息與通過使用攝像機7從圖像獲得的圖像信息相 關聯。聲納裝置6例如是超聲波傳感器，並且被配置用於檢測在車輛周圍存在的固體對象 等與車輛的距離。聲納裝置6向微計算機1輸出檢測信號。例如，預定數量的聲納裝置6 以預定的間隔被嵌入在車輛的後方的表面中。更具體地，每個聲納裝置6具有檢測單元，其 例如從後保險槓IOa暴露。以下將參考圖3說明對象的檢測操作的一個示例。在檢測操作中，微計算機1根 據圖像的具體特徵從所獲得的圖像信息中獲得對象。圖3是示出在所獲得的圖像中的亮度 分布的圖，用於描述一種用於從所獲得的圖像中檢測作為檢測對象的在道路表面上的白線 的方法。以下將描述停車帶的白線的檢測作為檢測對象的一個示例。而且，在一個示例中， 關於圖像的亮度級的信息被用作從圖像獲得的圖像信息。微計算機1從存儲在存儲器5中伴隨車輛10移動的的前一個圖像檢測圖像的亮 度上的改變，並且在屏幕上繪製在假想的二維坐標上的改變，由此產生在二維坐標上的亮 度的分布。在圖6中所示的車輛後側的原始圖像中，二維坐標包括例如在水平方向上可移 動的X坐標和在垂直方向上可移動的Y坐標。在圖3所示的亮度分布中，圖像的X軸與水 平軸相關聯，並且亮度的幅度與垂直軸相關聯。微計算機1首先在二維坐標中的Y軸中固 定圖像中的垂直位置(Y坐標)，並且通過僅改變沿著X軸在圖像上的水平位置(X坐標)而 提取在圖像上的亮度改變。即，在X軸上掃描圖像。因此，微計算機1產生伴隨著在X坐標 中的改變的亮度分布。在伴隨著在X坐標中的改變的亮度分布中，對應於在X軸上水平位 置(X坐標)的圖像中的白線的亮度高於在X軸上另一部分的亮度。這是由以下原因引起 的在圖像中道路表面被以諸如比作為道路指示的白線的顏色更深的浙青材料的黑色的顏 色表示。在圖像中亮度大於其周圍的部分在亮度級不同於其周圍的範圍中。在圖3中，該部分出現在X軸上的兩個點Xl和X2的每一個中。兩個點Xl和X2包括多個範圍，每個範 圍的亮度級不同於周圍。兩個點Xl和X2包括在圖3的左側的山狀部分，其在X軸上具有 寬度Wl ；以及，在圖3的右側的山狀部分，其在X軸上具有寬度W2。在左側上的山狀部分相 對於在X軸上的坐標Xl的中心基本對稱，並且在右側上的山狀部分相對於在X軸上的坐標 X2的中心基本對稱。所述山狀部分的中心的坐標是從圖像檢測的在X軸上的白線的中心的 坐標。所述山狀部分的寬度W1、W2的每個值是白線的寬度。寬度Wl和寬度W2的每一個在 水平方向上的兩端對應於白線的邊緣部分。在改變在Y軸上的垂直位置的同時，可以提取 和檢測伴隨著在X軸上的水平位置上以這種方式產生的改變的多個亮度分布。即，當改變 在Y軸上的垂直位置的同時，繼續在X軸方向上的圖像的掃描。隨著在Y軸上的坐標增大， 即當在繼續掃描的同時提高在Y軸上的垂直位置上的改變時，在伴隨著X軸上的改變的亮 度分布上亮度大於周圍的部分成為在圖像上實際的白線。通過以這種方式使用白線檢測方法，可以將在圖7中所示的顯示裝置9中的圖像 表示改變為在圖8中所示的表示。圖7是示出當不執行根據該實施例的白線檢測操作(對 象檢測操作)時表示的圖像的視圖。圖8是示出當執行根據該實施例的白線檢測操作(對 象檢測操作)時並且當車輛向後停車時表示的圖像的視圖。在圖7的表示中，顯示裝置9 將噪聲表示為白線，其實際上不是白線。因此，具有與白線310的顏色相同顏色的點被表示 在道路表面32上的一部分中，在道路表面32上白線實際上並不存在。結果，不清楚的圖像 被提供給駕駛者。相反，當執行根據本實施例的白線檢測操作時，如圖8中所示，白線31被 以較少的道路表面32上的噪聲表示在歷史顯示區域30中，白線31可以進一步清楚地被識 別為線。可以通過下述方式來執行白線的檢測僅存儲與坐標(位置信息)相關聯的白線 的邊緣部分，而不是檢測在二維坐標上亮度改變的分布。以這種方式，可以減少在白線檢測 操作中的數據處理以及數據處理所需要的工作區和處理時間。可以通過下述方 式來繪製白 線檢測包括從二維坐標上的亮度分布的寬度Wl和寬度W2的每一個的僅中心部分的坐標 的位置信息，並且在歷史顯示區域30中對應於所檢測的位置信息的位置分配具有預定顏 色和預定尺寸的點(例如白點)。例如，當所檢測的白線具有11個像素的寬度時，可以在白 線的每個邊緣上繪製直徑為8個像素的圓形符號。以這種方式，可以在白線檢測操作和繪 制操作中進一步減少數據處理以及數據處理所需要的工作區和處理時間兩者。可以在顯示 裝置9中的圖像上反映所檢測的白線的亮度。原因描述如下。圖3中所示的預定閾值L是 用於確定是否對象是白線的參考值。參考值可以是預先存儲在微計算機1中的預定值。或 者，參考值可以是通過使用整個圖像的平均亮度的預定計算方法而獲得的值。作為對象檢測單元，微計算機1檢測作為對象的圖像信息的圖像亮度和閾值L之 間的差。當該差根據在X軸上的位置而改變時，對於每個像素檢測該差，並且對於每個像素 計算根據所檢測的差的亮度。這樣，微計算機1根據所檢測的白線(對象)的圖像信息和 閾值L之間的差來計算亮度。微計算機1使圖形處理電路4在歷史顯示區域30中繪製白 線(對象)，以便對於每個像素在亮度上計算白線的亮度。圖形處理電路4以所計算的亮度 繪製白線，並且使歷史顯示區域30表示白線，其反映了所檢測的亮度。因此，在歷史顯示區 域30中表示的白線整體上不是同一亮度。白線反映了當獲得圖像時的實際亮度，由此，白 線基本上被以實際亮度表示。
如圖3中所示，在圖3中左側的白線部分具有在山狀部分的中心的圖像的亮度(圖像信息)和閾值L之間的差Al，並且圖3中右側的白線部分具有差A2。微計算機1可 以僅以這種方式計算山狀部分中心的亮度和閾值L之間的差，並且可以使圖形處理電路4 在歷史顯示區域30中繪製整條白線，以便整條白線具有在該中心中計算的亮度。因此，圖 形處理電路4繪製具有該中心的亮度的白線，並且使歷史顯示區域30以該亮度表示白線。 在這種情況下，在歷史顯示區域30中表示的白線整體具有同一亮度。微計算機1可以使歷史顯示區域30表示白線31與後方圖像顯示區域20中的白 線21連續，以便駕駛者可以識別白線的歷史記錄，其當前在駕駛者的視野外部。在此情況 下，根據所述處理，優選地可以減少在Y軸上的坐標改變的數量。另外，與足以形成白線的 完整軌跡的繪製數量相比較，優選地減少和提取繪製數量。因此，根據由微計算機1執行的 白線檢測，當白線被檢測為在圖像上的線時，所述白線被檢測為多個點的繪製的集合。以這 種方式，可以進一步減少數據處理和所述數據處理所需要的工作區和處理時間。通過使用白線的檢測方法，可以減少在車輛後方顯示裝置中的處理負荷和存儲器 的工作區。因此，不必提供用於控制例如車輛導航裝置的高性能控制裝置，並且用於控制例 如儀表指示器的控制裝置就足夠。而且，當關於圖像的顏色級的信息被用作從圖像獲得的 圖像信息時，白線的檢測方法等同於參考圖3的描述的方法。在這種情況下，構成圖像的三 基色的R值(紅色級)、G值(綠色級)和B值(藍色級)的每個等同於在圖3的Y軸中的 垂直位置指定的亮度。而且，基於符合要檢測的對象的顏色的值及該值的等級來檢測圖像 的顏色在顏色級上不同於圖像的周邊的範圍，因此，所檢測的範圍與位置信息相關聯，並且 被存儲在存儲器5中。本檢測方法的其它部分等同於基於亮度的檢測方法的那些部分。因 此，根據所檢測的白線的圖像信息的亮度和顏色的白線31被繪製在歷史顯示區域30中。接下來，當車輛向後停車時執行的操作將被描述為車輛後方顯示裝置的操作的一 個示例。圖4是示出當車輛向後停車時執行的車輛後方顯示裝置的操作的主流程圖。圖5 示出了在主流程圖中的圖像處理的子例程。圖4和5的流程圖被微計算機1執行，微計算 機1也用作控制車輛後方顯示裝置的操作的控制裝置。當向微計算機1供電時，圖4的主流程圖開始。首先，在步驟10，顯示裝置9在通 常情況下表示除車輛後方圖像之外的圖像。在步驟20，微計算機1確定是否微計算機1從 車輛狀態檢測單元3接收到信號，該信號指定傳動裝置的檔位將處於倒檔位置。微計算機 1重複步驟20的確定，直到微計算機1接收到指定倒檔位置的信號。在步驟20，可以確定 是否車輛狀態檢測單元3和微計算機1接收到在顯示裝置9上表示車輛周邊圖像的指令信 號。當例如乘員操縱用於命令表示車輛周邊圖像的開關時接收到指令信號。在這種情況下， 可以根據車輛移動的方向來選擇在顯示裝置9上表示的圖像。當車輛向前移動時，可以在 顯示裝置9上表示在車輛前方的圖像。乘員可以操縱用於命令選擇車輛側面圖像的開關。當在步驟20接收到有指定倒檔位置的信號時，本處理進行到步驟30，其中，微計 算機1執行圖像處理的子例程，以便產生要被輸出到顯示裝置9的圖像。通過用於圖像處 理的子例程中的圖5中的步驟300到步驟311的處理來繪製(生成)圖像。當從圖形處理 電路4向顯示裝置9輸出繪製的圖像時，在步驟40表示包括後方圖像顯示區域20和歷史 顯示區域30的屏幕。在車輛移動的同時，在步驟20，根據用於指定車輛向後移動的信號接收連續地獲得和繪製要在步驟40在顯示裝置9上表示的圖像。在顯示裝置9上連續地表示在後方圖 像顯示區域20中的實時圖像和與在後方圖像顯示區域20中的圖像相連續的在歷史顯示區 域30中的圖像，直到在步驟50確定倒檔位置的檔位被釋放。當在步驟50得到否定判斷時， 處理進行到步驟30，在此，繼續執行圖像處理的子例程。因此，與在後方圖像顯示區域20中 的實時圖像相連續的在歷史顯示區域30中的圖像被根據車輛10的移動繪製。而且，在顯 示裝置9上的歷史顯示區域30中表示所繪製的圖像。當在步驟50得到肯定判斷時，處理 返回到步驟10，其中，取消在顯示裝置9上表示後方圖像的命令。一般，當停車時關斷點火 開關。因此，當關斷點火開關並且去活微計算機1時，結束本流程圖的處理。接下來，將參考圖5來說明圖像處理的步驟300到步驟311的子例程。攝像機7 獲得車輛後側的圖像數據以包含預定區域。首先，獲得圖像數據。在步驟301，通過解碼器 8和圖形處理電路4向存儲器5和微計算機1輸出由攝像機7獲得的圖像的信號作為圖像 數據。圖像數據被轉換為隨著車輛10移動的屏幕上的假想坐標上的數據，被轉換的圖像數 據被存儲和累積在存儲器5中。在顯示裝置9上並未實際原樣地表示所獲得的圖像數據。 假定，當所獲得的圖像數據被如實表示時，則在圖6中所示的視圖中，在屏幕的上半部分表 示後方圖像，並且在屏幕的下半部分表示車輛10的後方分。圖6是示出由攝像機7獲得並 且在整個屏幕上表示的原始圖像的視圖。在步驟301，圖形處理電路4執行處理以產生歷史顯示區域30和後方圖像顯示區 域20，並且將歷史顯示區域30和後方圖像顯示區域20分配到屏幕。如圖7中所示，後方圖 像顯示區域20位於屏幕的上部分，並且歷史顯示區域30鄰近後方圖像顯示區域20地位於 屏幕的下部分。圖7是用於說明當車輛向後停車時要表示的屏幕的一個示例的視圖。在步驟302，微計算機1讀取存儲在存儲器5中的圖像數據，並且通過白線檢測方 法從自圖像獲得的圖像信息中檢測道路指示。在這個示例中，道路指示是停車帶的白線21。 在當前條件下，所檢測的白線21被轉換為圖像在假想坐標(圖像坐標)上的形式。位置 (位置信息)、顏色、亮度和諸如與圖像中的白線的邊緣(白線邊緣)相關的寬度的尺寸被 檢測。在步驟303，與白線邊緣相關的圖像坐標被轉換為三維坐標。因此，計算在三維空間 中的白線邊緣的位置(三維位置)。在步驟304，當聲納裝置(對象檢測單元)6檢測諸如車輛外部障礙物的路上物體 時，聲納裝置6將所檢測的路上物體的位置和所檢測的路上物體的距離從車輛10向微計算 機1輸出。當由聲納裝置6所檢測的路上物體與由微計算機1從圖像所檢測的對象相同時， 包括由聲納裝置6所檢測的位置、距離等的位置信息用於校正和補償從圖像獲得的位置信 息。在步驟305，微計算機1將被轉換為圖像坐標的白線21的圖像信息與被轉換的白線21 的位置信息相關聯，並且將該相關聯的信息在存儲器5中存儲為歷史數據。在步驟306，計算白線邊緣和根據車輛10的移動而在屏幕上移動的路上物體的三 維位置。具體地，當車輛10移動時，微計算機1讀取與存儲器5中存儲的白線邊緣和路上 物體相關的三維位置(歷史數據)，並且根據車輛的移動和由車輛移動檢測單元2檢測的旋 轉角度(手柄的駕駛角度)來計算車輛被移動後的三維位置，由此更新該三維位置。在步驟307，微計算機1計算和更新與在 步驟306中更新的白線邊緣和路上物體相 關的三維位置的圖像坐標，以便在與後方圖像顯示區域20中的原始圖像相連續的歷史顯 示區域30中表示白線31和路上物體。在步驟308，微計算機1在存儲器5中存儲所計算的圖像坐標。隨後，在步驟309到步驟311，圖形處理電路4基於從微計算機1輸出的信號來繪 制要在顯示裝置9上表示的圖像。具體地，在步驟309，圖形處理電路4在後方圖像顯示區 域20中繪製車輛的當前後方圖像(原始圖像)等。在步驟310，圖形處理電路4讀取預先 存儲在存儲器5中的車輛CG，並且在歷史顯示區域30中繪製從預定視點觀看的車輛CG。在 本附圖中，向車輛CG加上失真，該失真類似於在後方圖像顯示區域20的原始圖像中引起的 失真，並且在歷史顯示區域30中繪製失真的車輛CG。在步驟311，圖形處理電路4讀取從 存儲器5中存儲的位置、顏色、亮度和諸如白線、道路指示等的圖像坐標的寬度的尺寸。因 此，圖形處理電路4在歷史顯示區域30中繪製白線31，其包括從預定視點觀看的白線邊緣。 在本附圖中，在步驟310，所讀取的白線被應用以公知的視角轉換，以從與車輛CG的位置相 同的預定視角被觀看。而且，向白線加上與在後方圖像顯示區域20中的原始圖像的失真相 同的失真。因此，與車輛CG類似地繪製大大失真的白線31。以下將說明用於在步驟310和步驟311向圖像加上失真的詳細操作的示例。首先， 執行校正以去除在預先通過使用攝像機7獲得的圖像數據的圖像中的失真。而且，被校正 的圖像數據被轉換為在三維坐標中的圖像數據。所述三維空間基於車輛的移動和旋轉的信 號按照車輛的移動被轉換和移動(旋轉和平移等)。因此，保持自車的精確的位置。被轉換 為三維坐標中的數據的圖像數據進一步被轉換為在屏幕上的假想坐標中的數據，由此形成 二維數據。原始圖像的失真被加到所轉換的二維數據上。因此，可以在歷史顯示區域30中 繪製被加上類似於原始圖像的失 真的失真的車輛CG和白線31。在圖4中，在步驟40，將在步驟310或者步驟311在歷史顯示區域30中繪製的圖 像與在步驟309在後方圖像顯示區域20中繪製的圖像組合(合成)。這樣，在兩個相鄰區 域中的組合圖像被輸出並表示在顯示裝置9上。通過執行上面的圖像處理子例程，如圖8中所示，包括後方圖像顯示區域20中的 白線21和歷史顯示區域30中的白線31的原始圖像跨越兩個區域之間的邊界被連續地表 示。注意，可以以減小的顯著噪聲清楚分明地表示白線31。另外，可以繪製白線31使得與 在後方圖像顯示區域20和歷史顯示區域30之間的邊界上的白線21具有基本上相同的寬 度和基本上相同的顏色。因此，白線31可以被表示為與白線21重合。換句話說，位於車 輛主體周邊並且當前在攝像機7的視野外部的白線31和位於車輛後側並且當前被攝像機 7所看到的白線21在顯示裝置9上被整體地表示。因此，可以向駕駛者提供車輛周邊的圖 像，其在可視性上大大地增強。以這種方式，可以向駕駛者提供前一個圖像和當前圖像並表 示前一個圖像和當前圖像之間的邊界，其中，前一個圖像表示有效地用於精確地查看自車 位置的標記(白線31)。這樣，可以清楚分明地向駕駛者提供前一個圖像和當前圖像作為一 個圖像，而沒有不舒適的感覺。因此，駕駛者可以清楚地和正確地獲得車輛主體、在車輛主 體周圍繪製的道路指示及當前的後方圖像之間的物理關係。如圖8中所示，圖形處理電路4可以在後方圖像顯示區域20中的圖像上疊加車輛 10的預期路徑線22和車輛的側邊的延長線等。預期路徑線22是示出基於手柄的角度而向 後移動的車輛的預期軌跡的指示器。可以以不同顏色繪製預期路徑線22和車輛側邊的延 長線，以便對於駕駛者而言清楚而分明。此外，如圖9中所示，圖形處理電路4可以減少被加到在歷史顯示區域30中繪製的白線31A中的失真，以在遠離與後方圖像顯示區域20鄰界的位置進一步線性地校正白線 31A。圖9是示出通過校正在圖8中的歷史顯示區域30中的白線31而獲得的被校正的白 線31A的示例的視圖。以這種方式，白線31A被表示為原始圖像中在與後方圖像顯示區域 20的邊界上與白線21連續的一條線，並且白線31A在遠離後方圖像顯示區域20的邊界的 位置不大幅度彎曲。以下將說明根據本實施例的車輛後方顯示裝置的操作效果。車輛後方顯示裝置當 接收到用於命令車輛10開始向後移動的信號時表示車輛周邊圖像。顯示裝置9包括攝像機7，用於獲得車輛後側的圖像；微計算機1 (對象檢測單 元)，用於從所獲得的圖像檢測白線31 ；存儲器5(存儲單元)，用於存儲從由攝像機7拍攝 的前一個圖像中獲得的數據作為歷史數據，並且存儲車輛後方的預先繪製的圖像，使得預 先繪製的圖像與所拍攝的圖像具有精確的物理關係；以及，圖形處理電路4。後方圖像顯示 區域20表示由攝像機7拍攝的當前車輛後方圖像，而沒有校正在圖像中的失真。歷史顯示 區域30毗鄰後方圖像顯示區域20，並且表示使用歷史數據產生的圖像。白線31是路上物 體和道路指示中的至少一個的示例。微計算機1從所拍攝的圖像中獲得與圖像上的亮度和 顏色中的至少一個的級相關的圖像信息和關於圖像的位置信息。微計算機1基於該圖像信 息來檢測白線31。存儲器5預先存儲車輛的後方分的圖像。另外，存儲器5將該圖像信息 與關於由微計算機1檢測的對象的位置信息相關聯，並且將其存儲為歷史數據。圖形處理 電路4在歷史顯示區域30中將預先存儲的車輛的後方分的圖像疊加到在車輛的後方分周 圍的白線31的圖像上，其中，白線31的圖像是從歷史數據提取的，因此在歷史顯示區域30 中從預定的視點觀看所疊加的圖像。微計算機1根據圖像的具體特徵從所獲得的圖像信息 中檢測對象。例如，微計算機1檢測圖像信息的範圍作為對象，在該範圍中，圖像在亮度級 或者顏色級上與周圍不同。在本結構中，在周邊圖像顯示區域中表示當前的車輛周邊圖像。 另外，在歷史顯示區域中的基於相關聯的位置信息所確定的位置繪製由微計算機1從圖像 信息中檢測的對象。根據上述結構，獲得下面的操作效果。在對象檢測中使用與所拍攝圖像的亮度和 顏色中的至少一個的級相關的圖像信息。因此，可以在減小用於處理圖像信息的處理負荷 的同時執行對象的檢測。此外，通過基於亮度或者顏色的檢測操作來獲得圖像信息，並且獲 得關於圖像的位置信息。將圖像和位置信息相關聯，並且存儲為歷史數據。由此，可以足夠 精確地檢測對象的位置和尺寸。另外，也可以減小所存儲的歷史數據的數據量。微計算機 1(對象檢測單元)基於圖像中的具體特徵從所獲得的圖像信息中檢測對象。圖形處理電路 4基於位置信息在歷史顯示區域30中的位置上繪製對象。因此，可以在顯示裝置9上表示 具有較少噪聲的圖像。另外，駕駛者可以看到模糊性被降低的圖像。因此，可以減少被施加 到微計算機1上用於圖像處理的操作負荷。另外，駕駛者可以在可視性增強的屏幕上正確 地識別自車的位置。因此，可以增強輔助停車的功能。此外，在歷史顯示區域30中繪製具有根據檢測的白線(對象)的圖像信息的亮度 和顏色的白線31 (對象)。根據本結構，與傳統的以統一的亮度和統一的顏色表示白線相比 較，以從所拍攝的圖像中進一步可視的色調來表示本白線。具體地，即使當在其中白線31 實際上並不存在的圖像的部分中檢測到噪聲時，也以從所述圖像中獲得的相同亮度級和顏 色級表示其中檢測到噪聲的圖像的部分。因此，即使當檢測到噪聲並且在該圖像的部分中表示所檢測到的噪聲時，不以指定的白線的顏色來表示該圖像的部分。因此，在顯示屏幕上的圖像中不顯著地表示噪聲。而且，微計算機1 (對象檢測單元)檢測白線31 (對象)的圖像信息和預定閾值L 之間的差。在歷史顯示區域30中，以根據所檢測的白線31(對象)的圖像信息和閾值L之 間的差的亮度和顏色表示白線31 (對象)。根據本結構，以根據在檢測為白線31的範圍中的 亮度級或者顏色級和閾值L之間的差的亮度和顏色表示白線31。因此，與傳統的以統一亮 度和統一顏色表示白線相比較，可以以與所拍攝圖像的亮度和顏色進一步類似的色調來表 示白線。即，即使當在其中白線31實際上並不存在的圖像的部分中檢測到噪聲時，使用從 圖像獲得的相同亮度級和相同顏色級來表示其中檢測到噪聲的圖像的部分。以這種方式， 不與傳統方法類似，在其中檢測到噪聲的圖像的部分中不繪製用於指定白線的預定尺寸的 點。因此，即使當檢測到噪聲並且在圖像的該部分中表示所檢測到的噪聲時，也不以指定的 白色表示圖像的該部分。因此，在顯示屏幕上的圖像中不顯著地表示噪聲。而且，微計算機1(對象檢測單元)從所檢測的白線31(對象)的圖像信息中檢測 白線31 (對象)的寬度。在歷史顯示區域30中繪製具有對應於所檢測的寬度的寬度的白 線31 (對象)。根據本結構，基於所檢測的白線的寬度來指定在歷史顯示區域30中表示的 白線31(對象)的寬度。因此，可以清楚地表示具有指定寬度的白線31。這樣，也可以清楚 地表示白線31的邊緣。以這種方式，可以清楚地向駕駛者通知白線31的存在。因此，可以 增強輔助駕駛操作。可以以從所獲得的圖像信息中獲得的道路表面的平均顏色和道路表面的平均亮 度中的至少一個來繪製要在歷史顯示區域30中表示的白線31 (對象)和除了車輛後方分 的圖像之外的道路表面。根據本結構，可以在歷史顯示區域30中以接近實際道路表面顏色 的平均顏色和平均亮度來表示道路表面。通過以平均顏色和平均亮度中的至少一個來表示 道路表面，可以進一步減少屏幕上的噪聲。而且，圖像中道路表面可以進一步與白線31 (對 象)相區別。因此，可以進一步增強駕駛者的識別。而且，還可以提供聲納裝置6 (對象檢測單元)以檢測在車輛周邊周圍的路上物 體、路上物體距車輛10的距離以及關於路上物體的位置信息。根據本結構，可以通過聲納 裝置6來補充關於路上物體的位置信息。因此，可以進一步精確地向駕駛者通知路上物體 的位置，並且可以進一步增強輔助駕駛操作。可以在歷史顯示區域30中繪製標度線，用於示出與車輛10的預定距離。可以根 據關於對象的位置信息來確定由標度線示出的與車輛的距離。可以根據由作為對象檢測單 元的聲納裝置6檢測的距離信息來確定當前的距離。以這種方式，在歷史顯示區域30中的 車輛10周圍繪製路上物體和/或道路指示及標度線。因此，駕駛者可以詳細地識別車輛相 對於在車輛周邊周圍的空間的位置。因此，可以進一步增強輔助駕駛操作。在歷史顯示區域30中使用車軸部分11和車輪12的位置來表示車輛10。以這種 方式，可以通過以下方式來清楚地向駕駛者通知車軸部分11和車輪12相對於車輛周邊周 圍的狀況的位置在歷史顯示區域30中表示車軸部分11和車輪12的位置。因此，可以提 供用於駕駛操作的進一步增強的指導圖像。此外，車輛後方顯示裝置檢測作為檢測對象的白線21 (停車帶)等，白線21 (停車 帶)作為道路指示示出停車空間。車輛後方顯示裝置還在後方圖像顯示區域20中的當前圖像上和在歷史顯示區域30中的從先前的數據產生的圖像上連續地表示檢測對象。以這 種方式，從所拍攝的圖像中檢測不是三維對象的道路指示。因此，與用於檢測三維對象的檢 測方法相比較，可以降低圖像處理裝置和檢測設備所需要的處理性能和處理時間。因此，可 以產生便宜的設備。後方圖像顯示區域20表示由攝像機7拍攝的車輛周邊周圍的當前圖像，而未校正 在圖像中的失真。以這種方式，可以表示例如180度範圍的車輛後側的大區域。因此，與其 中校正失真的圖像的表示相比較，可以放大車輛後側的表示範圍。因此，駕駛者可以獲得增 強的車輛周邊信息。 圖形處理電路4向歷史顯示區域30中的圖像加上後方圖像顯示區域20中的車輛 後方圖像的失真，並且繪製失真的車輛後方圖像。以這種方式，通過在歷史顯示區域30中 繪製車輛的失真的後方圖像，在後方圖像顯示區域20中的當前原始圖像可以進一步可視 地與當前在攝像機7的視野外部並且在歷史顯示區域30中所表示的圖像相關聯。因此，駕 駛者可以更容易地識別車輛和當前在視野外部的車輛周圍的周邊之間的關係。而且，圖形 處理電路4向歷史顯示區域30中的圖像加上在後方圖像顯示區域20中的車輛後方圖像的 失真。此外，圖形處理電路4在歷史顯示區域30中表示所提取的白線31 (路上物體或者道 路指示)，以使得與在後方圖像顯示區域20中表示的白線21 (路上物體或者道路指示)連 續。以這種方式，在歷史顯示區域30中，在後方圖像顯示區域20中的當前原始圖像可以可 視地與在歷史顯示區域30中當前在攝像機7的視野外部的圖像整體上相關聯(連接)。而 且，圖形處理電路4校正在歷史顯示區域30中的路上物體和/或白線31A(道路指示)在 遠離與後方圖像顯示區域20鄰界的部分成直線。以這種方式，在與後方圖像顯示區域20 的邊界附近連續地繪製白線31A等。另外，在遠離該邊界的部分以直線形狀繪製白線31A 等，以便去除向歷史顯示區域30中的後方圖像加上的失真。以這種方式，在歷史顯示區域 30中繪製白線31A等，使得在車輛10近處與車輛10基本上平行。因此，可以減小由在歷史 顯示區域30中的圖像失真引起的不適，同時經由邊界保持在後方圖像顯示區域20中的圖 像和在歷史顯示區域30中的圖像之間的一致性。圖形處理電路4可以在歷史顯示區域30中僅表示車輛的後方分和白線31 (路上 物體和/或道路指示)的CG，該CG被加上了在後方圖像顯示區域20中的原始圖像的失真。 以這種方式，僅僅在歷史顯示區域30中繪製車輛和白線31 (路上物體和/或道路指示)的 CG，而不繪製其它信息。因此，駕駛者可以直接而清楚地獲得車輛和諸如白線31的標記之 間的物理關係。此外，可以通過限制所繪製的信息來減少圖像處理負荷。在歷史顯示區域30中除了車輛CG、路上物體和/或道路指示之外的圖像的地面顏 色可以不同於後方圖像顯示區域20中的道路表面的顏色。在地面顏色的這種分配中，後方 圖像顯示區域20中的圖像和在歷史顯示區域3中的圖像之間的邊界變得清楚。這樣，在顯 示裝置9上的整體的合成圖像中，駕駛者可以容易地將在屏幕上部分中的圖像識別為當前 的原始圖像，並且將在屏幕下部分中的圖像識別為當前已在視野外部的前一個圖像。例如， 歷史顯示區域30的地面顏色可以不同於道路表面的實際顏色。具體地，可以以黑色或者藍 色來表示該地面顏色。注意，使用與車輛CG的顏色不同的顏色來表示該地面背景顏色。以 這種方式，兩個圖像進一步被區別地表示為在獨立區域中的獨立圖像。另外，可以在歷史顯 示區域30中進一步區別地表示車輛CG、路上物體和道路指示等。
圖形處理電路4可以被控制裝置控制，控制裝置控制儀表指示器的操作。用於控 製圖形處理電路4和儀表指示器的控制裝置可以具有相對小的存儲器和相對低的處理性 能。根據本結構，存儲器的處理負荷和工作區的減少可以在用於產生簡化的前一個圖像和 當前圖像(它們彼此連續地連接)的圖像處理中更有效。顯示裝置9位於儀表指示器的一部分中。具體地，車輛後側的圖像可以重疊車輛 的儀表。根據本結構，駕駛者可以在查看儀表的同時確認車輛後側的圖像，而不大幅度地移 動視點。圖形處理電路4被控制裝置控制，控制裝置控制儀表指示器的操作。顯示裝置9可 以位於車輛內部的儀錶板上。根據本結構，車輛後側的圖像接近駕駛者的眼部的高度。因 此，駕駛者可以確認後側的圖像，而不大幅度地移動視點。(其他實施例)如上所述，已經記載了本發明的期望的實施例。注意，本發明不限於上述實施例。 在本發明的精神範圍內，本發明可以進行各種修改，並且可以投入實際應用。 在上述實施例中，將車輛後方顯示裝置描述為車輛周邊顯示裝置的一個示例。顯 示屏幕表示周邊圖像顯示區域和歷史顯示區域就足夠了，周邊圖像顯示區域用於示出當前 車輛周邊，歷史顯示區域用於示出當前在攝像機的視野外部的車輛周邊。例如，可以將車輛 的前側和/或車輛的側邊表示為車輛周邊。在上述實施例中，將描述在歷史顯示區域30中的圖像中要繪製的白線(停車帶) 作為標記的提取作為一個示例。注意，可以提取除了白線之外的路上物體，諸如另一個道路 指示、凹槽、路邊石和杆。這樣的路上物體的提取方法可以類似於上述用於提取白線的邊緣 的方法。在上述實施例中，圖形處理電路4可以在歷史顯示區域30中繪製標度線，用於示 出與車輛10的預定距離。所述標度線可以包括在屏幕上以預定間隔繪製的標度線，用於示 出與車輛的距離。例如，以相對於車輛在車輛的縱向和寬度方向上布置的網格的形狀來繪 制標度線。根據本示例，除了白線31 (路上物體和/或道路指示)之外，在歷史顯示區域30 中在車輛10周圍繪製標度線。因此，駕駛者可以更詳細地識別在車輛10周圍的路上物體 和相對於道路指示的物理關係。在上述實施例中，單個要素攝像機7拍攝停車時在顯示裝置9上表示的圖像。或 者，可以使用多個攝像機來拍攝多個圖像，並且可以組合或者修改並且在顯示裝置9上表 示所拍攝的多個圖像。匯總上述實施例，用於表示車輛周邊圖像的車輛周邊顯示裝置包括成像單元，用於獲得在車輛後側上的圖像；對象檢測單元，用於從所獲得的圖像獲得圖像信息和關於圖像的位置信息，並且 用於基於所獲得的圖像信息來檢測道路指示和路上物體中的至少一個，該圖像信息與圖像 上的亮度和顏色中的至少一個的級相關；存儲單元，用於預先存儲車輛的圖像，並且用於存儲歷史數據，歷史數據包括與關 於由對象檢測單元檢測的對象的位置信息相關聯的圖像信息；顯示屏幕，其包括周邊圖像顯示區域和歷史顯示區域，周邊圖像顯示區域用於表 示由成像單元拍攝的車輛周邊的當前圖像，歷史顯示區域毗鄰周邊圖像顯示區域，用於表示使用歷史數據產生的圖像；以及繪圖單元，用於生成圖像，並且用於在歷史顯示區域上表示所生成的圖像，生成的 圖像包括預先存儲的車輛圖像和使用歷史數據產生的圖像，這兩個圖像彼此重疊，並且被 轉換為從預定視角觀看。此外，對象檢測單元根據在圖像上出現的具體特徵來從圖像信息中檢測對象。在 周邊圖像顯示區域中表示車輛周邊的當前圖像。在歷史顯示區域中根據相關聯的位置信息 的位置表示從圖像信息中檢測的對象。
以這種方式，在對象檢測中使用與所拍攝的圖像的亮度和顏色中的至少一個的級 相關的圖像信息。因此，可以在減少用於處理圖像信息的處理負荷的同時執行對象檢測。 此外，基於亮度和顏色中的至少一個來檢測圖像信息和關於圖像的位置信息。圖像信息與 位置信息相關聯，並且被存儲為歷史數據。據此，可以以足夠的精度來檢測對象的位置和尺 寸。另外，也可以減小所存儲的歷史數據的數據量。對象檢測單元基於圖像中的具體特徵 從所獲得的圖像信息中檢測對象。繪圖單元基於位置信息在歷史顯示區域中的位置上繪製 對象。由此，可以表示具有很少噪聲的圖像。另外，駕駛者可以觀看到在可視性上增強的圖 像。因此，車輛周邊顯示裝置能夠減少當前在視野外部的車輛周邊圖像中的不舒適，並且表 示圖像。在周邊圖像顯示區域和歷史顯示區域中的路上物體和道路指示位於車輛正在向其 中移動的空間中，並且被用作在車輛周邊周圍的標記。路上物體和道路指示例如是凹槽、臺 階、路邊石、杆、人、另一輛車輛和指定停車空間的停車帶的白線。在圖像上的具體特徵是對 象的特性特徵，其出現在基於圖像信息表示的圖像上。具體特徵例如是顏色特徵、亮度特 徵、發光度特徵和形狀特徵等。對象檢測單元提取圖像的具體特徵以檢測對象。根據所述實施例，在歷史顯示區域中，使用被檢測為對象的圖像信息的亮度和顏 色來表示對象。以這種方式，以被檢測為對象的圖像信息的亮度和顏色來表示對象。因此， 與傳統的以統一亮度和統一顏色表示白線相比較，可以在顯示屏幕上表示觀看起來與所拍 攝的圖像進一步類似的白線。另外，即使當在車輛周邊周圍的道路指示或者路上物體的檢 測中引起噪聲時，並且甚至當在屏幕上表示所引起的噪聲時，可以在顯示屏幕上的圖像中 將噪聲表示得不顯著。因此，可以生成其中噪聲相對不顯著的圖像，並且可以向駕駛者提供 在可視性上增強的圖像。根據所述實施例，對象檢測單元可以從被檢測為對象的圖像信息中檢測對象的寬 度值，並且可以在歷史顯示區域上表示具有對應於所檢測的寬度值的寬度的對象。以這種 方式，基於從被檢測為對象的圖像信息中獲得的對象的寬度值來指定在歷史顯示區域中表 示的對象的寬度。因此，可以清楚地表示具有該寬度的對象，並且也可以清楚地表示該對象 的邊緣。以這種方式，駕駛者可以清楚地被通知對象的存在。因此，可以增強輔助駕駛操作。根據所述實施例，可以使用從所獲得的圖像信息中獲得的道路表面的平均顏色和 道路表面的平均亮度中的至少一個來表示要在歷史顯示區域中表示的除了車輛圖像和對 象之外的道路表面。以這種方式，可以在歷史顯示區域中使用類似於實際道路表面顏色和 亮度的顏色和亮度來表示該道路表面。通過使用平均顏色和平均亮度中的至少一個表示道 路表面，可以在屏幕上降低噪聲。而且，道路表面可以與圖像中的對象進一步區別。因此， 可以進一步增強駕駛者的識別。根據所述實施例，還可以提供檢測單元，用於檢測與車輛的距離，並且用於檢測在車輛周邊周圍的路上物體。檢測單元可以檢測關於路上物體的位置信息。根據本結構，可以通過對象檢測單元來補充關於路上物體的位置信息。因此，可以 向駕駛者進一步精確地通知路上物體的位置，並且可以進一步增強輔助駕駛操作。根據所述實施例，繪圖單元可以在歷史顯示區域中表示標度線，用於示出與車輛 的預定距離。在本結構中，在歷史顯示區域中的車輛周圍繪製路上物體和/或道路指示以 及標度線。因此，駕駛者可以詳細識別車輛相對於在車輛周邊周圍的空間的位置。因此，可 以進一步增強輔助駕駛操作。根據所述實施例，可以在歷史顯示區域中表示車輛的車軸部分和車輪的位置中的 至少一個。以這種方式，可以通過在歷史顯示區域中表示車輛的車軸部分和車輪的的位置 中至少一個來向駕駛者清楚地通知車軸和/或車輪相對於車輛周邊的位置。因此，可以進 一步增強輔助駕駛操作。根據所述實施例，可以在周邊圖像顯示區域中表示由成像單元拍攝的車輛周邊的 當前圖像，而未校正在圖像中引起的失真。以這種方式，與其中校正了失真的圖像表示相比 較，可以放大車輛後側的表示範圍。因此，駕駛者可以獲得增強的車輛周邊信息。根據所述實施例，成像單元可以拍攝車輛後側的圖像，並且可以在周邊圖像顯示 區域中表示由成像單元拍攝的車輛後側的當前圖像，而未校正在圖像中引起的失真。以這 種方式，在周邊圖像顯示區域中表示車輛後側的實際失真的圖像。由此，與其中校正了失真 的圖像表示相比較，可以放大車輛後側的表示範圍。因此，駕駛者可以獲得增強的車輛周邊 信息。向歷史顯示區域加上在後方圖像中的失真。因此，可以在顯示屏幕中將在周邊圖像 顯示區域中的當前原始圖像可視地與在歷史顯示區域中的圖像連接，當前歷史顯示區域中 的圖像在成像單元的視野外部。因此，駕駛者可以進一步容易地識別自車的位置。因此，可 以保證車輛後側的圖像範圍，並且可以增強駕駛者的可視能力。根據所述實施例，繪圖單元向歷史顯示區域中的圖像加上在周邊圖像顯示區域中 表示的圖像的失真。以這種方式，向從歷史數據獲得的並且在歷史顯示區域中表示的路上 物體和/或道路指示加上車輛周邊周圍的圖像的失真。因此，在顯示屏幕中，在周邊圖像顯 示區域中的當前原始圖像可以與在歷史顯示區域中的圖像可視地連接，當前歷史顯示區域 中的圖像在成像單元的視野外部。因此，駕駛者可以進一步容易地識別車輛和當前在視野 外部的車輛周邊之間的關係。諸如計算和確定的上述處理不限於被微計算機1和圖形處理電路4所執行。控制 單元可以具有各種結構，包括例如作為示例示出的微計算機1和圖形處理電路4。可以通過軟體、電子電路和機械裝置等的任何一個或者任何組合來執行諸如計算 和確定的上述處理。該軟體可以被存儲在存儲介質中，並且可以經由諸如網絡裝置的發送 裝置發送。該電子電路可以是集成電路，並且可以是分立電路，諸如被配置了電子或者電氣 元件等的硬體邏輯。產生上述處理的元件可以是分立元件，並且可以部分或者整體地集成。應當明白，雖然已經在此將本發明的實施例的處理描述為包括具體的步驟順序， 但是包括這些步驟的各種其它順序和/或另外的未在此公開的步驟的另外的替代實施例 也被認為在本發明的步驟中。在不脫離本發明的精神的情況下，可以對 於上述實施例多樣地進行各種修改和改變。
權利要求
一種車輛周邊顯示裝置，用於表示車輛周邊的圖像，所述車輛周邊顯示裝置包括成像單元(7)，其被配置用於拍攝所述車輛周邊的圖像；第一對象檢測單元(1)，其被配置用於從所拍攝的圖像中獲得與所拍攝圖像的亮度和顏色中的至少一個相關的圖像信息，從所拍攝的圖像中獲得關於所拍攝圖像的位置信息，根據在所拍攝的圖像中的對象的具體特徵從所獲得的圖像信息中檢測包括道路指示(21)和路上物體中的至少一個的對象，並且，將關於所述對象的圖像信息與關於所述對象的位置信息相關聯；存儲單元(5)，其被配置用於預先存儲所述車輛的車輛圖像，並且存儲所述相關聯的圖像信息和位置信息的歷史數據；繪圖單元(4)，其被配置用於根據所述歷史數據來生成圖像，將所生成的圖像與包括預先存儲的車輛圖像的圖像相重疊，並且將所重疊的圖像轉換為從預定視點觀看，顯示屏幕(9)，其包括周邊圖像顯示區域(20)，其被配置用於表示由所述成像單元(7)獲得的所述車輛周邊的當前圖像；以及，歷史顯示區域(30)，其與所述周邊圖像顯示區域(20)相鄰，並且被配置為在根據相關聯的位置信息的位置表示所轉換的圖像和從所轉換的圖像的圖像信息中檢測的對象。
2.根據權利要求1的車輛周邊顯示裝置，其中，所述歷史顯示區域(30)被配置用於使 用與所述圖像信息相關聯的亮度和顏色中的至少一個來表示對象。
3.根據權利要求1或者2的車輛周邊顯示裝置，其中，所述第一對象檢測單元(1)被配置為檢測從所述圖像信息中檢測的所述對象的 寬度，並且所述歷史顯示區域(30)被配置為表示所述對象具有對應於所檢測的寬度的寬度。
4 根據權利要求1或者2的車輛周邊顯示裝置，其中，所述歷史顯示區域(30)被配置 為使用從所述圖像信息獲得的道路表面的平均顏色和道路表面的平均亮度中的至少一個 表示除了所述車輛圖像和所述對象之外的道路表面。
5.根據權利要求1或者2的車輛周邊顯示裝置，還包括第二對象檢測單元(6)，其被配置為檢測在所述車輛周邊周圍的路上物體，並且檢測所 檢測的路上物體與所述車輛的距離，其中，所述第二對象檢測單元(6)被配置為檢測關於所述路上物體的位置信息。
6.根據權利要求5的車輛周邊顯示裝置，其中，所述繪圖單元(4)被配置為使得所述歷 史顯示區域(30)表示標度線，所述標度線用於指定與所述車輛的預定距離。
7.根據權利要求1或者2的車輛周邊顯示裝置，其中，所述歷史顯示區域(30)被配置 為表示所述車輛的車輪和所述車輛的車軸部分的位置中的至少一個。
8.根據權利要求1或者2的車輛周邊顯示裝置，其中，所述周邊圖像顯示區域(20)被 配置為表示由所述成像單元(7)獲得的所述車輛周邊的當前圖像，而未校正在所述當前圖像中引起的失真。
9.根據權利要求8的車輛周邊顯示裝置，其中，所述繪圖單元(4)被配置為向在所述歷 史顯示區域(30)中的圖像加上在所述周邊圖像顯示區域(20)中的所述當前圖像的失真。
10.根據權利要求1或者2的車輛周邊顯示裝置，其中，所述成像單元(7)被配置為獲得所述車輛後側的當前後方圖像，並且 所述周邊圖像顯示區域(20)被配置為表示由所述成像單元(7)獲得的所述當前後方 圖像，而未校正在所述當前後方圖像中引起的失真。
11.根據權利要求10的車輛周邊顯示裝置，其中，所述繪圖單元(4)被配置為向在所述 歷史顯示區域(30)中的圖像加上在所述周邊圖像顯示區域(20)中的所述當前後方圖像的 失真。
12.一種用於表示車輛周邊圖像的方法，所述方法包括 拍攝所述車輛周邊的當前圖像；從所拍攝的圖像中獲得與所拍攝圖像的亮度和顏色中的至少一個相關的圖像信息； 從所拍攝的圖像中獲得關於所拍攝圖像的位置信息；根據所拍攝的圖像中的對象的具體特徵從所獲得的圖像信息中檢測包括道路指示 (21)和路上物體中的至少一個的對象；將所獲得的關於所述對象的圖像信息與所獲得的關於所述對象的位置信息相關聯； 存儲相關聯的圖像信息和相關聯的位置信息的歷史數據； 根據所述歷史數據生成圖像；將所生成的圖像和所述車輛的預先存儲的車輛圖像重疊；將所重疊的圖像轉換為從預定視點觀看；在周邊圖像顯示區域(20)中表示所述車輛周邊的當前圖像；在與所述周邊圖像顯示區域(20)相鄰的歷史顯示區域(30)中表示所轉換的圖像；並且在根據所述相關聯的位置信息的位置表示在所轉換的圖像中的所檢測的對象。
13.一種計算機可讀介質，包括由計算機執行的指令，所述指令包括根據權利要求12 的方法。
全文摘要
本發明涉及車輛周邊顯示裝置和用於車輛周邊圖像的方法。成像單元(7)拍攝車輛外部的圖像。對象檢測單元(1)從圖像中獲得與圖像的亮度或者顏色相關的圖像信息和關於所獲得的圖像的位置信息，並且根據圖像的具體特徵來從圖像信息中檢測對象。存儲單元(5)預先存儲車輛圖像和歷史數據，歷史數據包括與位置信息相關聯的圖像信息。繪圖單元(4)將車輛圖像和根據歷史數據而產生的圖像重疊，並且將重疊的圖像轉換為從預定視點觀看。周邊圖像顯示區域(20)表示車輛的當前周邊。歷史顯示區域(30)毗鄰周邊圖像顯示區域(20)，用於在根據位置信息的位置表示所轉換的圖像和所檢測的對象。
文檔編號G06T5/00GK101844545SQ20101014194
公開日2010年9月29日 申請日期2010年3月25日 優先權日2009年3月25日
發明者今西勝之, 若山信彥 申請人:株式會社電裝