用於在擋風玻璃上顯示道路引導信息的裝置和方法
2023-06-24 20:01:56
專利名稱：用於在擋風玻璃上顯示道路引導信息的裝置和方法
技術領域：
本發明涉及一種用於在擋風玻璃上顯示道路引導信息的裝置和方法，並且更特別地，本發明涉及一種基於駕駛者的眼睛位置將導航系統的道路引導信息映射到實際道路上並將映射結果顯示在車輛的擋風玻璃上的用於在擋風玻璃上顯示道路引導信息的裝置及其方法。
背景技術：
遠程信息處理終端典型地安裝在車輛上，並且通過無線通信網絡向用戶提供電話功能、地圖信息、多媒體信息和全球定位系統(GPS)導航功能。安裝在遠程信息處理終端中的車輛導航系統基於GPS信號和地圖信息向用戶提供指示車輛位置的多個地圖頁面。由於傳統的車輛導航系統在遠程信息處理終端的顯示單元上顯示道路引導地圖，所以駕駛者在路線引導中的轉彎期間必須將遠程信息處理終端的顯示單元上顯示的道路引導地圖與實際道路進行比較。 例如，由於駕駛者在轉彎期間通過車輛的前擋風玻璃核對(例如複雜的交叉路口處的)實際道路並核對遠程信息處理終端的顯示單元上顯示的道路引導地圖上指示的道路，並且將實際道路與道路引導地圖上的道路進行比較，所以駕駛者難以確切地識別哪條路線與顯示單元上的轉彎相關聯。
發明內容
本發明提供了一種通過基於駕駛者的眼睛位置將導航系統的道路引導信息映射到實際道路上並將映射結果顯示在車輛的擋風玻璃上來使駕駛者能夠疊加並識別與目的地相關的道路的用於在擋風玻璃上顯示道路引導信息的裝置及其方法。根據本發明的一方面，用於在擋風玻璃上顯示道路引導信息的裝置包括導航關聯器，其獲取去往由駕駛者設置的目的地的道路引導信息；前方圖像識別裝置，其從前方道路圖像中識別行駛車道；眼睛位置檢測裝置，其從駕駛者的面部圖像中檢測眼睛位置；控制裝置，其控制擋風玻璃顯示裝置以基於由眼睛位置檢測裝置檢測的駕駛者的眼睛位置在擋風玻璃上將道路引導信息映射(map)到實際道路上並且顯示映射結果；以及擋風玻璃顯示裝置，其在控制裝置的控制下將道路引導信息映射到實際道路上並顯示映射結果。根據本發明的另一方面，用於在擋風玻璃上顯示道路引導信息的方法包括獲取與車輛的導航系統相關的去往由駕駛者設置的目的地的道路引導信息；識別前方道路圖像；從駕駛者的面部圖像中檢測眼睛位置；以及基於檢測出的駕駛者的眼睛位置在擋風玻璃上將道路引導信息映射到實際道路上。上面舉例說明的本發明基於用戶的眼睛位置將導航系統的道路引導信息映射到實際道路上，以將映射結果顯示到車輛的擋風玻璃上，使得駕駛者可以確切地識別與目的地相關的道路。
根據結合附圖給出的以下詳細說明，本發明的目的、特徵和優點將更加明了，在附圖中圖I是示出根據本發明示例性實施例的用於在擋風玻璃上顯示道路引導信息的裝置的框圖；圖2是示出根據本發明示例性實施例的識別彎曲道路的過程的視圖；圖3是示出根據本發明示例性實施例的檢測駕駛者的眼睛位置的過程的視圖；圖4是示出根據本發明示例性實施例的將道路引導信息映射在實際道路上的過程的視圖；圖5是示出根據本發明示例性實施例的道路引導信息被映射在實際道路上的狀 態的實例的視圖；並且圖6是示出根據本發明示例性實施例的用於在擋風玻璃上顯示道路引導信息的方法的流程圖。附圖中各要素的附圖標記10:導航關聯器20:前方圖像識別單元30:眼睛位置檢測器40:控制器50 :擋風玻璃顯示單元601 :獲取去往由駕駛者設置的目的地的道路引導信息602 :從道路圖像識別行駛車道603 :從駕駛者的面部圖像中檢測駕駛者的眼睛位置604:基於駕駛者的眼睛位置將道路引導信息映射到擋風玻璃上的真實道路上並顯示映射結果
具體實施例方式將參考附圖詳細描述本發明的示例性實施例。在所有附圖中將始終使用相同的附圖標記來指代相同或相似的部分。這裡包含的公知的功能和結構的詳細描述可能會被省略以避免使本發明的主題變模糊。應該理解的是，本文中使用的術語「車輛」或「車輛的」或其它類似術語包括一般的機動車輛(諸如包括運動型多功能車(SUV)、公共汽車、卡車、各種商用車輛在內的客車)、包括各種艇和船在內的水運工具、飛行器等，並且包括混合動力車、電動車、插電式混合電動車、氫動力車以及其它代用燃料車(例如從除石油以外的資源中取得的燃料)。如本文中所述，混合動力車是具有兩個或更多個動力源的車輛，例如既有汽油動力又有電動力的車輛。圖I是示出根據本發明示例性實施例的用於在擋風玻璃上顯示道路引導信息的裝置的框圖。參考圖1，根據本發明示例性實施例的用於在擋風玻璃上顯示道路引導信息的裝置包括導航關聯器10、前方圖像識別單元20、眼睛位置檢測器30、控制器40和擋風玻璃顯示單元50。以下是各個構造單元的詳細描述。導航交互工作單元(關聯器)10獲取導航系統內的用於將駕駛者引導到由駕駛者設置的目的地的道路引導信息。前方圖像識別單元20從例如安裝在車輛前部的攝像機所拍攝的行駛道路的前方圖像中識別行駛車道和道路的終點。前方圖像識別單元20被配置成與安裝在車輛內的車道保持輔助系統或車道偏離警告系統協力識別行駛車道。這些系統是設計成當在高速公路和道路上車輛開始駛出其車道時警告或幫助駕駛者的機構。車輛可以識別行駛車道以便向駕駛者提供確切的道路引導信息。例如，當車輛將要到達與車輛當前行駛的車道(第一車道)相距三條車道的車道(第三車道)右側的立體交叉道路上並且不能進行車道識別時，只可以進行從第一車道到第三車道的換道的直線方向路線引導。然而，如果可以進行車道識別，那麼可以在適合的位置處引起車道改變以將車道改變至第一車道、第二車道或第三車道。眼睛位置檢測器30從安裝在車輛中的攝像機所拍攝的駕駛者的面部圖像中檢測駕駛者的眼睛位置。控制器40將導航關聯器10獲取的道路引導信息映射到實際道路上，並將映射結果顯示在顯示單元50上。在這種情況下，車輛的電子控制單元(ECU)可以執行控制器40的該功能。 因此，不管駕駛者的眼睛位置如何，本發明都可以將道路引導信息映射到適合於駕駛者的實際道路上。因此，由於駕駛者可以在查看顯示並映射到實際道路上的道路引導信息的同時接收去往目的地的路線引導，所以駕駛者可以安全地行駛至目的地而不會由於不必要地將他們的眼睛從道路上移開而受到妨礙。擋風玻璃顯示單元50在控制器40的控制下將道路引導信息映射到實際道路上並顯示映射結果。此時，擋風玻璃顯示單元50可以包括平視顯示器(HUD)裝置、投影裝置、透明擋風玻璃顯示裝置或擋風玻璃點顯示裝置。可選地，本發明也可以包括眼睛位置信息獲取單元30來代替眼睛位置檢測器30，並且可以獲取與安裝在車輛內的駕駛者監視系統或眼睛跟蹤系統相關的駕駛者的眼睛位
置信息。將參考圖2描述由前方圖像識別單元20識別彎曲道路的過程。在這種情況下，直線車道的識別是眾所周知的現有技術，因此省略其詳細描述。前方圖像識別單元20包括攝像機、圖像處理器、預處理器和曲率計算器。攝像機是能夠實時拍攝數字圖像的電荷耦合器件(CCD)攝像機，用於拍攝道路圖像。圖像處理器將攝像機所拍攝的道路圖像劃分成兩個區域。例如，道路圖像可以劃分成上部區域和下部區域。如圖2所示，劃分出的圖像處理區域分別被稱作區域I和區域2。接著，預處理器可以對這兩個區域執行車道建模以將其建模成一維直線。在這種情況下，車道建模指的是檢測區域I和區域2中的道路圖像的邊緣成分a，並計算把檢測出的邊緣成分的各個點彼此連接的直線b的過程。此外，預處理器選擇由分別建模的線形成的三角形。如圖2所示，預處理器選擇各個建模直線b在區域I和區域2中的相交點的中心點B和C以及消失點(vanishing point)A作為極值點。此外，預處理器計算所選的三角形的外接圓半徑(circumscribed radius)。在這種情況下，唯一地確定所選三角形的外接圓半徑R，其可以由以下等式I來表示。[等式I]
權利要求
1.一種用於在擋風玻璃上顯示道路引導信息的裝置，所述裝置包括 導航關聯裝置，其獲取去往由駕駛者設置的目的地的道路引導信息； 前方圖像識別裝置，其從前方道路圖像中識別行駛車道； 眼睛位置檢測裝置，其從駕駛者的面部圖像中檢測眼睛位置； 控制裝置，其控制擋風玻璃顯示裝置以便基於由所述眼睛位置檢測裝置檢測的駕駛者的所述眼睛位置來在所述擋風玻璃上映射所述道路引導信息從而疊蓋在實際道路上並且顯示映射結果；以及 所述擋風玻璃顯示裝置，其在所述控制裝置的控制下映射所述道路引導信息從而疊蓋在實際道路上並且顯示映射結果。
2.如權利要求I所述的裝置，其中所述前方圖像識別裝置包括 攝像機，其拍攝道路圖像； 圖像處理器，其把由所述攝像機拍攝的所述道路圖像劃分成兩個區域； 預處理器，其對由所述圖像處理器劃分出的所述兩個區域執行車道建模以便將車道建模成一維直線，選擇由各個建模得到的線形成的三角形，並計算所選擇的三角形的外接圓半徑；以及 曲率計算器，其使用由所述預處理器計算的所選擇的三角形的所述外接圓半徑來計算道路的曲率。
3.如權利要求I所述的裝置，其中所述眼睛位置檢測裝置從駕駛者的面部圖像中選擇面部的對稱部分的區域，通過把所述面部圖像上顯示的對稱點當中的鼻孔用作確定基準來選擇所述鼻孔的上部作為眼睛所位於的眼睛位置候選區域，並且通過濾波器對從所述面部圖像中選擇的所述眼睛位置候選區域進行濾波以檢測眼睛位置。
4.如權利要求3所述的裝置，其中面部的對稱部分的所述區域是眉毛部分、眼睛部分或鼻孔部分。
5.如權利要求4所述的裝置，其中利用這樣的事實選擇所述鼻孔部分作為對稱點的確定基準與其它部分相比，所述鼻孔部分在亮度方面的變化很小並且位於最低的位置但又形成短間距的對稱部分。
6.如權利要求3所述的裝置，其中所述濾波器是sobel濾波器。
7.如權利要求I所述的裝置，其中所述擋風玻璃顯示裝置是平視顯示器裝置、投影裝置、透明擋風玻璃顯示裝置或擋風玻璃點顯示裝置中的一種。
8.一種用於在擋風玻璃上顯示道路引導信息的方法，所述方法包括 獲取與車輛的導航系統相關的去往由駕駛者設置的目的地的道路引導信息； 識別前方道路圖像； 從駕駛者的面部圖像中檢測眼睛位置；以及 基於檢測出的駕駛者的眼睛位置來在所述擋風玻璃上映射所述道路引導信息從而疊蓋在實際道路上。
9.如權利要求8所述的方法，其中所述檢測眼睛位置的步驟包括 從駕駛者的所述面部圖像中選擇面部的對稱部分的區域； 通過把所述面部圖像上顯示的對稱點當中的鼻孔用作確定基準來選擇所述鼻孔的上部作為眼睛所位於的眼睛位置候選區域；以及對從所述面部圖像中選擇的所述眼睛位置候選區域進行濾波以檢測眼睛的輪廓。
10.一種包含由處理器執行以便在擋風玻璃上顯示道路引導信息的可執行程序指令的非短暫計算機可讀介質，所述可執行程序指令包括 獲取與車輛的導航系統相關的去往由駕駛者設置的目的地的道路引導信息的程序指令； 識別前方道路圖像的程序指令； 從駕駛者的面部圖像中檢測眼睛位置的程序指令；以及 基於檢測出的駕駛者的眼睛位置來在所述擋風玻璃上映射所述道路引導信息並將映射後的道路引導信息疊蓋在實際道路上的程序指令。
11.如權利要求10所述的非短暫計算機可讀介質，其中所述檢測眼睛位置的程序指令包括 從駕駛者的所述面部圖像中選擇面部的對稱部分的區域的程序指令； 通過把所述面部圖像上顯示的對稱點當中的鼻孔用作確定基準來選擇所述鼻孔的上部作為眼睛所位於的眼睛位置候選區域的程序指令；以及 對從所述面部圖像中選擇的所述眼睛位置候選區域進行濾波以檢測眼睛的輪廓的程序指令。
全文摘要
本發明提供了一種用於在擋風玻璃上顯示道路引導信息的裝置和方法。所述裝置包括導航關聯裝置，其獲取去往由駕駛者設置的目的地的道路引導信息；前方圖像識別裝置，其從前方道路圖像中識別行駛車道；眼睛位置檢測裝置，其從駕駛者的面部圖像中檢測眼睛位置；控制裝置，其控制擋風玻璃顯示裝置以便基於由眼睛位置檢測裝置檢測的駕駛者的眼睛位置來在擋風玻璃上映射道路引導信息從而疊蓋在實際道路上並且顯示映射結果；以及擋風玻璃顯示裝置，其在控制裝置的控制下映射道路引導信息從而疊蓋在實際道路上並且顯示映射結果。
文檔編號G01C21/34GK102735253SQ201110384160
公開日2012年10月17日 申請日期2011年11月28日 優先權日2011年4月5日
發明者金柱男 申請人:現代自動車株式會社