駕駛員輔助設備及其控制方法與流程
2023-06-01 00:36:18
本發明涉及駕駛員輔助設備及其操作方法，並且更具體地，涉及一種響應於另一車輛的移動而執行操作的駕駛員輔助設備及其操作方法。
背景技術：
車輛是經由車輪的驅動將例如人或貨物從一個地方運輸到另一地方的設備。車輛的示例包括諸如摩託車的兩輪車、諸如轎車的四輪車以及火車。
近年來，為了增加使用車輛的用戶的安全和方便，用於給車輛配備例如各種傳感器和電子裝置的技術在積極地發展。具體地，例如，為了用戶駕駛方便而開發的各種類型的駕駛員輔助設備已被安裝在車輛中。
當在車輛附近的另一車輛在異常地或危險行駛(例如，反覆地且突然減速或者制動，或者在車輛前面突然插入)時，存在車輛將與另一車輛碰撞的高可能性。另外，駕駛員在判斷如何操作車輛以便避開另一車輛時有困難。
在正在對應車輛附近危險行駛的另一車輛被道路附近的物體或者被其它車輛隱藏的另一頻繁發生的場景中，對應車輛的駕駛員的憂慮可能增加，因為正在危險行駛的另一車輛不在坐在對應車輛裡的駕駛員的視野中。
技術實現要素：
因此，本發明被做出來解決如上所述的問題，並且本發明的一個目的在於提供一種能夠基於在車輛附近的至少一個其它車輛的移動來判斷所述其它車輛是否是危險車輛的駕駛員輔助設備及其控制方法。
另外，本發明的另一目的在於提供一種能夠基於正在危險行駛的另一車輛的行駛模式自動地控制車輛的轉向、減速和加速中的至少一個的駕駛員輔助設備及其控制方法。
另外，本發明的另一個目的在於提供一種能夠在外部提供與在危險行駛的另一車輛有關的信息的駕駛員輔助設備及其控制方法。
本發明的目的不應該限於前述目的，並且其它未提及的目的將由本領域技術人員從以下描述清楚地理解。
根據本發明的一個方面，以上和其它目的能夠通過提供一種駕駛員輔助設備來實現，該駕駛員輔助設備包括：感測單元，該感測單元被配置為獲取有關在車輛外部的物體的信息，所述物體包括正在所述車輛附近行駛的第一其它車輛；以及處理器，該處理器被配置為基於有關所述物體的所述信息、從所述車輛的駕駛員提供的用戶輸入、所述駕駛員的狀態以及從正在所述車輛附近行駛的第二其它車輛提供的有關所述第一其它車輛的信息中的至少一種來判斷所述第一其它車輛是否是危險車輛，並且在判斷所述第一其它車輛是危險車輛時執行至少一個預定操作。
在本發明的至少一個可能的實施方式中，所述用戶輸入是所述駕駛員的手勢，並且所述處理器可以基於所述駕駛員指向所述第一其它車輛的所述手勢來判斷所述第一其它車輛是否是危險車輛。
在本發明的至少一個可能的實施方式中，所述處理器可以基於被包括在所述車輛的室內圖像中的所述駕駛員的圖像來檢測所述駕駛員的凝視和瞳孔，並且在所述駕駛員的凝視被導向所述第一其它車輛時基於所述駕駛員的所述瞳孔的大小來判斷所述駕駛員的狀態。
在本發明的至少一個可能的實施方式中，所述處理器可以接收由穿戴在所述駕駛員上的可穿戴裝置所獲取的所述駕駛員的心率，並且基於所接收的心率來判斷所述駕駛員的狀態。
在本發明的至少一個可能的實施方式中，所述處理器可以基於確定所述駕駛員的狀態是憂慮狀態來判斷所述第一其它車輛是否是危險車輛。
在本發明的至少一個可能的實施方式中，所述處理器可以基於確定所述駕駛員的狀態是憂慮狀態來判斷所述第一其它車輛是否是危險車輛。
在本發明的至少一個可能的實施方式中，所述處理器可以基於包括在有關所述物體的所述信息中的所述第一其它車輛的移動來獲取所述第一其它車輛的行駛模式，將所述第一其它車輛的所述行駛模式與預定基準模式進行比較，並且基於確定所述第一其它車輛的所述行駛模式與所述基準模式相匹配來判斷所述第一其它車輛是否是危險車輛。
在本發明的至少一個可能的實施方式中，所述處理器可以經由車輛間通信從所述第二其它車輛接收有關所述第一其它車輛的所述信息。在本發明的至少一個可能的實施方式中，所述處理器可以基於被包括在有關所述物體的所述信息中的所述第一其它車輛的聲音來判斷所述第一其它車輛是否是危險車輛。
在本發明的至少一個可能的實施方式中，所述預定操作包括第一操作，並且該第一操作是向所述駕駛員通知有關被判斷為危險車輛的所述第一其它車輛的信息的操作。
在本發明的至少一個可能的實施方式中，所述預定操作包括第二操作，並且該第二操作是基於被判斷為危險車輛的所述第一其它車輛的行駛模式來預測所述第一其它車輛的行為的操作。
在本發明的至少一個可能的實施方式中，所述預定操作包括第三操作，並且該第三操作是基於所述第一其它車輛的預測行為來改變所述車輛的行駛狀態的操作。
在本發明的至少一個可能的實施方式中，所述處理器可以通過執行轉向控制、加速控制或減速控制中的至少一個來改變所述車輛的行駛狀態。
在本發明的至少一個可能的實施方式中，所述預定操作包括第四操作，並且該第四操作是給正在所述車輛附近行駛的第三其它車輛提供有關被判斷為危險車輛的所述第一其它車輛的信息的操作。
在本發明的至少一個可能的實施方式中，所述處理器可以經由車輛間通信將有關所述第一其它車輛的所述信息發送到正在所述車輛附近行駛的所述第三其它車輛。
在本發明的至少一個可能的實施方式中，所述處理器可以將有關所述第一其它車輛的所述信息顯示在安裝到所述車輛的外部的顯示器上。
在本發明的至少一個可能的實施方式中，所述處理器可以將從所述車輛的至少一個相機提供的多個行駛圖像處理成包括所述第一其它車輛的第一行駛圖像以及不包括所述第一其它車輛的第二行駛圖像，並且分別存儲所述第一圖像和所述第二圖像。
在本發明的至少一個可能的實施方式中，所述處理器可以基於被設置在所述車輛處的多個相機，激活所述相機中的被選擇為基於所述第一其它車輛相對於所述車輛的位置來捕獲所述第一其它車輛的圖像的一個或更多個相機。
其它實施方式的詳細項被包括在以下描述和附圖中。
附圖說明
根據結合附圖進行的以下詳細描述，將更清楚地理解本發明的以上及其它目的、特徵和優點。
圖1是根據本發明的一個實施方式的車輛的框圖；
圖2是參照圖1例示了一個示例性車輛的視圖；
圖3是參照圖1例示了另一示例性車輛的視圖；
圖4是例示了由圖3所例示的多個相機生成的一個示例性圖像的視圖；
圖5是根據本發明的一個實施方式的駕駛員輔助設備的框圖；
圖6是例示了圖5所例示的處理器的內部配置的框圖；
圖7A和圖7B是被參照來說明圖6所例示的處理器的操作的視圖；
圖8是例示了根據本發明的一個實施方式的駕駛員輔助設備的一個示例性控制方法的流程圖；
圖9是例示了根據本發明的一個實施方式的駕駛員輔助設備的另一個示例性控制方法的流程圖；
圖10是例示了根據本發明的一個實施方式的駕駛員輔助設備的又一示例性控制方法的流程圖；
圖11是例示了根據本發明的一個實施方式的駕駛員輔助設備的另一個示例性控制方法的流程圖；
圖12A、圖12B和圖12C是分別例示了根據本發明的一個實施方式的駕駛員輔助設備判斷是否在車輛附近存在任何危險車輛的情形的視圖；
圖13A和圖13B是例示了根據本發明的一個實施方式的駕駛員輔助設備判斷是否在車輛附近存在任何危險車輛的情形的視圖；
圖14是例示了根據本發明的一個實施方式的駕駛員輔助設備確定在車輛附近的任何危險車輛的情形的視圖；
圖15A、圖15B和圖15C是分別例示了根據本發明的一個實施方式的駕駛員輔助設備確定在車輛附近的任何危險車輛的情形的視圖；
圖16是例示了根據本發明的一個實施方式的駕駛員輔助設備確定在車輛附近的任何危險車輛的情形的視圖；
圖17A和圖17B是例示了根據本發明的一個實施方式的駕駛員輔助設備控制車輛的移動的一個示例性操作的視圖；
圖18A是例示了根據本發明的一個實施方式的在圖17A所例示的情形下輸出給駕駛員的一個示例性引導圖像的視圖；
圖18B是例示了根據本發明的一個實施方式的當存在圖17B所例示的危險車輛時輸出給駕駛員的另一示例性引導圖像的視圖；
圖19A是例示了根據本發明的一個實施方式的被判斷為危險車輛的另一車輛正在車輛附近行駛的情形的視圖；
圖19B是例示了根據本發明的一個實施方式的在圖19A所例示的情形下輸出給駕駛員的一個示例性引導圖像的視圖。
圖20A是例示了根據本發明的一個實施方式的被判斷為危險車輛的另一車輛正在車輛附近行駛的情形的視圖；
圖20B是例示了根據本發明的一個實施方式的車輛在圖20A所例示的情形下的外觀的視圖；
圖21A、圖21B和圖21C是例示了根據本發明的一個實施方式的被判斷為危險車輛的另一車輛正在車輛附近行駛的情形的視圖；以及
圖22是例示了根據本發明的一個實施方式的提供給駕駛員的一系列用戶界面的一個示例的視圖。
具體實施方式
在下文中，將參照附圖詳細地描述本說明書中公開的實施方式，並且即使在不同的附圖中描繪相同或相似的元件，它們也由相同的附圖標記來表示，並且將省略其冗餘描述。在以下描述中，關於以下描述中使用的組成元件，後綴「模塊」和「單元」是僅考慮到易於準備說明書來給出的或者彼此混合，而不具有或者用作不同的含義。因此，後綴「模塊」和「單元」可以彼此混合。另外，在本說明書中公開的實施方式的以下描述中，併入本文的已知功能和配置的詳細描述在它可能使本說明書中公開的實施方式的主題變得不清楚時將被省略。另外，附圖是僅為了更好地理解本說明書中公開的實施方式而提供的，而不旨在限制本說明書中公開的技術構思。因此，應該理解，附圖包括本發明的範圍和精神中包括的所有修改、等同物和替換。
應當理解，儘管術語第一、第二等可以在本文中用於描述各種組件，但是這些組件不應該受這些術語限制。這些術語僅用於區分一個組件和另一組件。
應當理解，當組件被稱為「連接至」或者「耦接至」另一組件時，它可以直接連接至或者耦接至另一組件，或者可以存在中間組件。相比之下，當組件被稱為「直接連接至」或者「直接耦接至」另一組件時，不存在中間組件。另外，應當理解，當組件被稱為「控制」另一組件時，它可以直接控制另一組件，或者還可以經由第三組件的媒介作用控制另一組件。另外，應當理解，當組件被稱為「給」另一組件「提供」信息和信號時，它可以直接給另一組件提供信息和信號，並且還可以經由第三組件的媒介作用給另一組件提供信息和信號。
如本文所使用的，除非上下文另外清楚地指示，否則單數形式也旨在包括複數形式。
在本申請中，還應當理解，術語「包括」、「包含」等指定陳述的特徵、整數、步驟、操作、元件、組件或其組合的存在，但是不排除一個或更多個其它特徵、整數、步驟、操作、元件、組件或其組合的存在或添加。
如本說明書所描述的車輛可以包括包含發動機作為動力源的內燃機車輛、包含發動機和電動機作為動力源的混合動力車輛以及包含電動機作為動力源的電動車輛中的全部。
圖1是根據本發明的一個實施方式的車輛1的框圖。
車輛1可以包括通信單元110、輸入單元120、存儲器130、輸出單元140、車輛驅動單元150、感測單元160、控制器170、接口單元180、電源單元190和駕駛員輔助設備500。
通信單元110可以包括用於使得能實現車輛1與外部器具(例如，移動終端、外部伺服器或另一車輛)之間的無線通信的一個或更多個模塊。另外，通信單元110可以包括用於將車輛1連接至一個或更多個網絡的一個或更多個模塊。
通信單元110可以包括廣播接收模塊111、無線網際網路模塊112、短距離通信模塊113、位置信息模塊114和光學通信模塊115。
廣播接收模塊111被配置為經由廣播信道從外部廣播管理伺服器接收廣播信號或廣播相關信息。這裡，廣播包括無線電廣播或TV廣播。
無線網際網路模塊112是用於無線網際網路接入的模塊。無線網際網路模塊112可以在內部或在外部耦接至車輛1。無線網際網路模塊712被配置為根據無線網際網路技術經由通信網絡發送或者接收無線信號。
這些無線網際網路技術的示例包括無線LAN(WLAN)、無線保真(Wi-Fi)、Wi-Fi Direct、數字生活網絡聯盟(DLNA)、無線寬帶(Wibro)、全球微波接入互操作性(WiMAX)、高速下行鏈路分組接入(HSDPA)、高速上行鏈路分組接入(HSUPA)、長期演進(LTE)和LTE-A(高級長期演進)。無線網際網路模塊112也根據這些無線網際網路技術和其它網際網路技術中的一個或更多個來發送和接收數據。例如，無線網際網路模塊112可以按照無線方式與外部伺服器交換數據。無線網際網路模塊112可以從外部伺服器接收天氣信息和道路交通狀態信息(例如，傳輸協議專家組(TPEG)信息)。
短距離通信模塊113可以使用從BluetoothTM、射頻標識(RFID)、紅外數據協會(IrDA)、超寬帶(UWB)、ZigBee、近場通信(NFC)、無線保真(Wi-Fi)、Wi-Fi Direct、無線USB(無線通用串行總線)等當中選擇的至少一個來協助短距離通信。
短距離通信模塊113可以形成無線區域網以在車輛1與至少一個外部裝置之間執行短距離通信。例如，短距離通信模塊113可以按照無線方式與乘客的移動終端交換數據。短距離通信模塊113可以從移動終端或外部伺服器接收天氣信息和道路交通狀態信息(例如，傳輸協議專家組(TPEG)信息)。當用戶進入車輛1時，用戶的移動終端和車輛1可以自動地或者隨著用戶執行配對應用而彼此配對。
位置信息模塊114是用於獲取車輛1的位置的模塊。位置信息模塊114的代表性示例包括全球定位系統(GPS)模塊。例如，當車輛利用GPS模塊時，可以使用從GPS衛星發送的信號來獲取車輛1的位置。
光學通信模塊115可以包括光發射單元和光接收單元。
光接收單元可以將光轉換成電信號以接收信息。光接收單元可以包括用於接收光的光電二極體(PDP)。光電二極體可以將光轉換成電信號。例如，光接收單元可以經由從包括在前方車輛中的光源發射的光來接收有關前方車輛的信息。
光發射單元可以包括用於將電信號轉換成光的至少一個發光元件。這裡，發光元件可以是發光二極體(LED)。光發射單元將電信號轉換成光以從而發射該光。例如，光發射單元可以經由發光元件的與規定頻率對應的閃爍在外部發射光。在一些實施方式中，光發射單元可以包括多個發光元件的陣列。在一些實施方式中，光發射單元可以與設置在車輛1中的燈集成在一起。例如，光發射單元可以是從前燈、尾燈、制動燈、轉向信號燈和側燈當中選擇的至少一個。例如，光學通信模塊115可以經由光學通信與另一車輛交換數據。
輸入單元120可以包括驅動操作單元121、麥克風123和用戶輸入單元124。
驅動操作單元121被配置為接收針對車輛1的行駛的用戶輸入。驅動操作單元121可以包括轉向輸入單元121a、換擋輸入單元121b、加速輸入單元121c和制動輸入單元121d。
轉向輸入單元121a被配置為接收關於車輛1的行駛方向的用戶輸入。轉向輸入單元121a可以包括方向盤。在一些實施方式中，可以將轉向輸入單元121a配置為觸控螢幕、觸摸板或按鈕。
換擋輸入單元121b被配置為從用戶接收用於選擇車輛1的停車擋(P)、行駛擋(D)、空擋(N)和倒車擋(R)中的一個的輸入。換擋輸入單元121b可以具有杆形式。在一些實施方式中，可以將換擋輸入單元121b配置為觸控螢幕、觸摸板或按鈕。
加速輸入單元121c被配置為接收用於車輛1的加速的用戶輸入。制動輸入單元121d被配置為接收用於車輛1的減速的用戶輸入。加速輸入單元121c和制動輸入單元121d中的每一個可以具有踏板形式。在一些實施方式中，可以將加速輸入單元121c或制動輸入單元121d配置為觸控螢幕、觸摸板或按鈕。
麥克風123可以將外部聲音信號處理成電數據。可以根據車輛1正在執行的功能按照各種方式利用經處理的數據。麥克風123可以將用戶語音命令轉換成電數據。可以將經轉換的電數據發送到控制器170。
此外，在一些實施方式中，相機122或麥克風123可以是除輸入單元120的組件以外的感測單元160的組件。
用戶輸入單元124被配置為從用戶接收信息。當經由用戶輸入單元124輸入信息時，控制器170可以控制移動車輛1的操作以對應於所輸入的信息。用戶輸入單元124可以包括觸摸輸入單元或機械輸入單元。在一些實施方式中，用戶輸入單元124可以位於方向盤的區域中。在這種情況下，駕駛員可以在握住方向盤的同時利用手指操作用戶輸入單元124。
感測單元160被配置為感測與例如車輛1的行駛關聯的信號。為此，感測單元160可以包括碰撞傳感器、轉向傳感器、速度傳感器、坡度傳感器、重量傳感器、舵向傳感器、偏航傳感器、陀螺傳感器、位置模塊、車輛前進/倒退傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基於方向盤的旋轉的轉向傳感器、車輛內部溫度傳感器、車輛內部溼度傳感器、超聲傳感器、紅外傳感器、雷達和雷射雷達。
因此，感測單元160可以獲取關於例如車輛碰撞信息、車輛行駛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速信息、車輛傾斜信息、車輛前進/倒退信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內部溫度信息、車輛內部溼度信息以及方向盤旋轉角度信息的感測信號。另外，將在下面描述的駕駛員輔助設備500可以例如基於由包括在車輛1中的相機、超聲傳感器、紅外傳感器、雷達和雷射雷達中的至少一個獲取的周圍環境信息來生成用於車輛1的加速、減速、方向改變等的控制信號。這裡，周圍環境信息可以是與位於離正在行駛的車輛1的規定距離內的各種物體有關的信息。例如，周圍環境信息可以包括位於離車輛1 100m的距離內的障礙物的數目、到障礙物的距離、障礙物的大小、障礙物的種類等。
此外，感測單元160還可以包括例如加速器踏板傳感器、壓力傳感器、發動機速度傳感器、空氣流率傳感器(AFS)、氣溫傳感器(ATS)、水溫傳感器(WTS)、油門位置傳感器(TPS)、上死點(TDC)傳感器和曲柄角度傳感器(CAS)。
感測單元160可以包括生物特徵信息感測單元。該生物特徵信息感測單元被配置為感測並獲取乘客的生物特徵信息。生物特徵信息可以包括指紋信息、虹膜掃描信息、視網膜掃描信息、手幾何形狀信息、面部識別信息和語音識別信息。生物特徵信息感測單元可以包括用於感測乘客的生物特徵信息的傳感器。這裡，內部相機162和麥克風123可以作為傳感器。生物特徵信息感測單元可以經由內部相機162獲取手幾何形狀信息和面部識別信息。
感測單元160可以包括至少一個相機161以捕獲車輛1的外部的圖像。例如，感測單元160可以包括被布置在車輛1的外部的不同位置處的多個相機161。各個相機161可以包括圖像傳感器和圖像處理模塊。相機161可以對由圖像傳感器(例如，CMOS或CCD)獲取的靜止圖像或運動圖像進行處理。圖像處理模塊可以通過對由圖像傳感器獲取的靜止圖像或運動圖像進行處理來提取所需信息，並且可以將所提取的信息發送到控制器170。
感測單元160可以包括至少一個相機162以捕獲車輛1內部的空間的圖像。例如，相機162可以形成包括車輛1的乘客的圖像並且然後給控制器170提供該圖像。
相機161和162可以分別包括圖像傳感器(例如，CMOS或CCD)和圖像處理模塊。另外，相機161和162對由圖像傳感器獲取的靜止圖像或運動圖像進行處理。圖像處理模塊可以對由圖像傳感器獲取的靜止圖像或運動圖像進行處理。另外，相機161和162可以獲取包括交通燈、交通標誌、行人、其它車輛和路面中的至少一個的圖像。
此外，儘管圖1將感測單元160例示為被包括在車輛1中，但是可以將包括在感測單元160中的至少一個傳感器描述為包括在駕駛員輔助設備500而不是車輛1中的組件。
輸出單元140被配置為輸出在控制器170中處理的信息。輸出單元140可以包括顯示單元141、聲音輸出單元142和觸覺輸出單元143。
顯示單元141可以顯示在控制器170中處理的信息。例如，顯示單元141可以顯示車輛相關信息。這裡，車輛相關信息可以包括用於車輛1的直接控制的車輛控制信息或用於指導駕駛員的車輛行駛的駕駛員輔助信息。另外，車輛相關信息可以包括指示車輛的當前狀態的車輛狀態信息或有關車輛的行駛的車輛行駛信息。
顯示單元141可以包括從液晶顯示器(LCD)、薄膜電晶體LCD(TFT LCD)、有機發光二極體(OLED)、柔性顯示器、3D顯示器和電子墨水顯示器當中選擇的至少一個。
顯示單元141可以配置具有觸摸傳感器的層間結構，或者可以與觸摸傳感器整體地形成在一起以實現觸控螢幕。觸控螢幕可以充當在車輛1與用戶之間提供輸入接口的用戶輸入單元124並且還用來在車輛1與用戶之間提供輸出接口。在這種情況下，顯示單元141可以包括感測對顯示單元141的觸摸以便按照觸摸方式接收控制命令的觸摸傳感器。當如上所述向顯示單元141輸入觸摸時，觸摸傳感器可以感測該觸摸並且控制器170可以生成與該觸摸對應的控制命令。按照觸摸方式輸入的內容可以是字符或數字，或者可以是例如各種模式下的指令或可以被指定的菜單項。
此外，顯示單元141可以包括用於使得駕駛員能夠在駕駛車輛的同時檢查車輛狀態信息或車輛行駛信息的儀錶板(cluster)。儀錶板可以位於儀錶盤上。在這種情況下，駕駛員可以在向前看的同時檢查儀錶板上顯示的信息。
此外，在一些實施方式中，可以將顯示單元141實現為平視顯示器(HUD)。當顯示單元141作為HUD被實現時，可以經由設置在擋風玻璃處的透明顯示器輸出信息。另選地，顯示單元141可以包括投影器模塊以經由投影到擋風玻璃的圖像來輸出信息。
聲音輸出單元142被配置為將來自控制器170的電信號轉換成音頻信號並且輸出這些音頻信號。為此，音輸出單元142可以包括例如聲揚聲器。聲音輸出單元142可以輸出與用戶輸入單元124的操作對應的聲音。
觸覺輸出單元143被配置為生成觸覺輸出。例如，觸覺輸出單元143可以操作來使方向盤、安全帶或座椅振動，以便使得用戶能夠識別其輸出。
車輛驅動單元150可以控制車輛1的各種裝置的操作。車輛驅動單元150可以包括動力源驅動單元151、轉向驅動單元152、制動驅動單元153、燈驅動單元154、空調器驅動單元155、窗驅動單元156、氣囊驅動單元157、天窗驅動單元158和刮水器驅動單元159中的至少一個。
動力源驅動單元151可以針對車輛1內部的動力源執行電子控制。動力源驅動單元151可以包括用於增加車輛1的速度的加速裝置以及用於減小車輛1的速度的減速裝置。
例如，在基於化石燃料的發動機(未例示)是動力源的情況下，動力源驅動單元151可以針對發動機執行電子控制。因此，動力源驅動單元151可以控制例如發動機的輸出轉矩。在動力源驅動單元151是發動機的情況下，動力源驅動單元151可以通過在控制器170的控制下控制發動機的輸出轉矩來控制車輛的速度。
在另一示例中，在電動機(未例示)是動力源的情況下，動力源驅動單元151可以針對電機執行控制。因此，動力源驅動單元151可以控制例如電機的RPM和轉矩。
轉向驅動單元152可以包括轉向設備。因此，轉向驅動單元152可以針對車輛1內部的轉向設備執行電子控制。例如，轉向驅動單元152可以包括轉向轉矩傳感器、轉向角度傳感器和轉向電機。由駕駛員施加到方向盤12的轉向轉矩可以由轉向轉矩傳感器感測。轉向驅動單元152可以通過基於例如車輛1的速度和轉向轉矩而改變施加到轉向電機的電流的大小和方向來控制轉向力和轉向角度。另外，轉向驅動單元152可以基於由轉向角度傳感器獲取的轉向角度信息來判斷車輛1的行駛方向是否當前正被調整。因此，轉向驅動單元152可以改變車輛1的行駛方向。另外，轉向驅動單元152可以在車輛1以低速度行駛時通過增加轉向電機的轉向力來減小方向盤12的重量感覺並且可以在車輛1以高速度行駛時通過減小轉向電機的轉向力來增加方向盤12的重量感覺。另外，當車輛1的自主行駛功能被執行時，轉向驅動單元152即使在駕駛員操作方向盤12的狀態下(即，在未感測到轉向轉矩的狀態下)也可以控制轉向電機基於例如從感測單元160輸出的感測信號或由處理器570提供的控制信號來生成適當的轉向力。
制動驅動單元153可以執行車輛1內部的制動設備(未例示)的電子控制。例如，制動驅動單元153可以通過控制位於車輪處的制動器的操作來減小車輛1的速度。在另一示例中，制動驅動單元153可以通過區別位於左右車輪處的相應的制動器的操作來調整車輛1向左方或向右方的行駛方向。
燈驅動單元154可以開啟或者關掉布置在車輛1內部和外部的至少一個燈。燈驅動單元154可以包括照明設備。另外，燈驅動單元154可以控制例如包括在照明設備中的各個燈的光的強度和方向。例如，燈驅動單元154可以針對轉向信號燈、前燈或制動燈執行控制。
空調器驅動單元155可以執行車輛1內部的空調器(未例示)的電子控制。例如，當車輛1的內部溫度高時，空調器驅動單元155可以操作空調器以向車輛1的內部供應冷空氣。
窗驅動單元156可以執行車輛1內部的窗設備的電子控制。例如，窗驅動單元156可以控制車輛1的左窗和右窗的打開或關閉。
氣囊驅動單元157可以執行車輛1內部的氣囊設備的電子控制。例如，氣囊驅動單元157可以控制要在危險情形下部署的氣囊。
天窗驅動單元158可以執行車輛1內部的天窗設備(未例示)的電子控制。例如，天窗驅動單元158可以控制天窗的打開或關閉。
刮水器驅動單元159可以執行對包括在車輛1中的刮水器14a和刮水器14b的控制。例如，刮水器驅動單元159可以在通過用戶輸入單元124接收到引導刮水器14a和刮水器14b的操作的用戶輸入時響應於用戶輸入而執行例如關於刮水器14a和刮水器14b的操作次數以及刮水器14a和刮水器14b的操作的速度的電子控制。在另一示例中，刮水器驅動單元159可以基於包括在感測單元160中的雨傳感器的感觸信號來判斷雨水的量或強度，以便在沒有用戶輸入的情況下自動地操作刮水器14a和刮水器14b。
此外，車輛驅動單元150還可以包括懸掛驅動單元(未例示)。懸掛驅動單元可以執行車輛1內部的懸掛設備(未例示)的電子控制。例如，在路面不平的情況下，懸掛驅動單元可以控制懸掛設備以減小車輛1的振動。
存儲器130電連接至控制器170。存儲器130可以存儲各個單元的基本數據、用於單元的操作控制的控制數據以及輸入/輸出數據。存儲器130可以是諸如例如ROM、RAM、EPROM、閃速驅動器和硬碟的各種存儲裝置中的任一個。存儲器130可以存儲用於車輛1的總體操作的各種數據，諸如例如用於控制器170的處理或控制的程序。
接口單元180可以用作連接至車輛1的各種各樣的外部裝置的通路。例如，接口單元180可以具有可連接至移動終端的埠並且可以經由該埠連接至移動終端。在這種情況下，接口單元180可以與移動終端交換數據。
控制器170可以控制車輛1內部的各個單元的總體操作。控制器170可以被稱為電子控制單元(ECU)。
可以使用從以下項當中選擇的至少一個按照硬體方式實現控制器170：專用集成電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理器件(DSPD)、可編程邏輯器件(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器以及用於實現其它功能的電子單元。
電源單元190可以供應在控制器170的控制下操作相應的組件所需的電力。具體地，電源單元190可以從例如車輛1內部的電池(未例示)接收電力。
音頻視頻導航(AVN)設備400可以與控制器170交換數據。控制器170可以從AVN設備或單獨的導航設備(未例示)接收導航信息。這裡，導航信息可以包括與車輛行駛有關的設定目的地信息、基於目的地的選路信息以及地圖信息或車輛位置信息。
此外，圖1所例示的組件中的一些可能不是實現車輛1所必需的。因此，本說明書中描述的車輛1可以包括比以上所提及的那些更多或更少數量的組件。
圖2是參照圖1例示了一個示例性車輛的視圖。為了描述的方便，車輛1被假定為四輪車。
參照圖2，車輛1可以包括雷達201、雷射雷達202和超聲傳感器203中的至少一個。
雷達201可以被安裝在車輛1的一個側面處並且用來向車輛1附近發射電磁波並且接收從存在於車輛1附近的各種物體反射的電磁波。例如，雷達201可以通過測量直到被所對應的物體反射的電磁波返回給其為止花費的時間來獲取與例如任一個物體的距離、方向和高度有關的信息。
雷射雷達202可以被安裝在車輛1的一個側面處並且用來在車輛1附近發射雷射。由雷射雷達202發射的雷射可能被散射或者反射以從而返回給車輛1。雷射雷達202可以基於直到雷射返回為止花費的時間、雷射的強度、頻率的變化以及極性的變化來獲取與諸如例如位於車輛1附近的目標的距離、速度和形狀的物理特性有關的信息。
超聲傳感器203可以被安裝在車輛1的一個側面處並且用來在車輛1附近生成超聲波。由超聲傳感器203生成的超聲波具有高頻率(大約20KHz或更高)和短波長的特性。超聲傳感器203可以主要用於識別例如靠近車輛1的障礙物。
圖2所例示的雷達201、雷射雷達202和超聲傳感器203可以是包括在圖1所例示的感測單元160中的傳感器。
圖3是參照圖1例示了另一示例性車輛1的視圖。為了描述的方便，車輛1被假定為四輪車。
參照圖3，可以在車輛1的外部上的不同位置處安裝四個相機301、302、303和304。
相機301、302、303和304可以分別位於車輛1的前側、左側、右側和後側。相機301、302、303和304中的每一個可以對應於圖1所例示的相機161。
前相機301可以靠近擋風玻璃、靠近廠標或者靠近散熱器護柵。
左相機302可以位於包封左側視圖鏡子的外殼內部。另選地，左相機302可以位於包封左側視圖鏡子的外殼的外部處。又另選地，左相機302可以位於左前門、左後門或左擋泥板的外部的區域處。
右相機303可以位於包封右側視圖鏡子的外殼內部。另選地，右相機303可以位於包封右側視圖鏡子的外殼的外部處。又另選地，右相機303可以位於右前門、右後門或右擋泥板的外部的區域處。
此外，後相機304可以靠近後牌照或後備箱開關。
可以向處理器570發送由相機301、302、303和304捕獲的相應的圖像，並且處理器570可以對相應的圖像進行構圖以生成車輛1的環繞視圖圖像。
此外，圖3所例示的相機301、302、303和304中的每一個可以與圖1所例示的感測單元160的相機161相同。
此外，儘管圖3將車輛1例示為包括安裝到其外部的四個相機，但是注意，關於相機的數量本發明不受限制，並且可以在與圖3所例示的位置不同的位置處安裝比以上所提及的那些更大或更少數量的相機。
圖4是例示了由圖3所例示的相機301、302、303和304生成的一個示例性圖像的視圖。
參照圖4，合成圖像400可以包括由前相機301捕獲的第一圖像區域401、由左相機302捕獲的第二圖像區域402、由右相機303捕獲的第三圖像區域403以及由後相機304捕獲的第四圖像區域404。合成圖像400可以被稱作全景監視圖像。
此外，在生成合成圖像400時，在包括在合成圖像400中的相應的兩個圖像之間生成邊界線411、412、413和414。這些邊界可以經歷圖像融合，以用於其自然顯示。
此外，可以在相應的圖像之間的邊界處顯示邊界線411、412、413和414。另外，合成圖像400可以在其中心處包括指示車輛1的預定圖像。
另外，可以經由安裝在車輛1內部的空間中的顯示裝置來顯示合成圖像400。
圖5是根據本發明的一個實施方式的駕駛員輔助設備500的框圖。
駕駛員輔助設備500可以經由從圖1所例示的相機161和162接收的圖像的基於計算機視覺的信號處理來生成車輛相關信息。這裡，車輛相關信息可以包括用於車輛的直接控制的車輛控制信息或用於在行駛期間指導車輛駕駛員的車輛行駛輔助信息。
這裡，相機161和162可以是單目相機或立體相機。
參照圖5，駕駛員輔助設備500可以包括輸入單元510、通信單元520、接口單元530、存儲器540、處理器570、顯示單元580和電源單元590。在一些實施方式中，可以省略圖5所例示的組件中的一些，或者可以添加新組件。例如，包括在圖1所例示的感測單元160中的一些組件可以被包括在駕駛員輔助設備500而不是車輛1中。
輸入單元510可以包括多個按鈕或觸控螢幕。駕駛員可以開啟駕駛員輔助設備500以使用按鈕或觸控螢幕來操作駕駛員輔助設備500。另外，輸入單元510可以被用於實現各種其它輸入操作。
通信單元520可以按照無線方式與例如車輛1的乘客的移動終端、外部伺服器或其它車輛的其它外部器具交換數據。具體地，通信單元520可以按照無線方式與駕駛員的移動終端交換數據。可以使用諸如例如藍牙、Wi-Fi、Wi-Fi direct、APiX和NFC的各種無線數據通信協議。
通信單元520可以從外部伺服器接收天氣信息以及諸如例如傳輸協議專家組(TPEG)信息的道路交通狀態信息。此外，通信單元520可以向外部器具發送由駕駛員輔助設備500獲取的實時信息。
此外，當用戶進入車輛時，用戶的移動終端可以自動地或者隨著用戶執行配對應用而與駕駛員輔助設備500配對。
通信單元520可以從外部伺服器接收交通燈改變信息。這裡，外部伺服器可以是位於交通控制中心中的伺服器。
接口單元530可以接收車輛相關數據，或者在外部發送由處理器570處理或者生成的信號。為此，接口單元530可以按照有線或無線通信方式執行與例如車輛1內部的控制器170、音頻視頻導航(AVN)設備和感測單元160的數據通信。
接口單元530可以經由與車輛1的控制器170、控制器170、AVN設備或單獨的導航設備的數據通信接收導航信息。這裡，導航信息可以包括與車輛行駛有關的設定目的地信息、基於目的地的選路信息、地圖信息以及車輛的當前位置信息。此外，導航信息可以包括有關車輛在道路上的位置的信息。
此外，接口單元530可以從控制器170或感測單元160接收傳感器信息。
這裡，傳感器信息可以包括從車輛行駛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速信息、車輛傾斜信息、車輛前進/倒退信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內部溫度信息、車輛內部溼度信息和物體信息當中選擇的至少一種。
可以從例如航向傳感器、偏航傳感器、陀螺傳感器、位置模塊、車輛前進/倒退傳感器、車輪傳感器、車輛速度傳感器、車體坡度傳感器、電池傳感器、燃料傳感器、輪胎傳感器、基於方向盤的旋轉的轉向傳感器、車輛內部溫度傳感器、車輛內部溼度傳感器和物體傳感器(例如，雷達、雷射雷達或超聲傳感器)獲取傳感器信息。此外，位置模塊可以包括用於接收GPS信息的GPS模塊。
此外，在以上指定的傳感器信息之中，例如，與車輛行駛有關的車輛行駛方向信息、車輛位置信息、車輛角度信息、車輛速度信息和車輛傾斜信息可以被稱為車輛行駛信息。
接口單元530可以接收轉向信號信息。這裡，轉向信號信息可以是由用戶輸入的向左轉或向右轉的轉向信號燈的開啟信號。當經由車輛1的用戶輸入單元(圖1中的124)接收到用於開啟左或右轉向信號燈的輸入時，接口單元530可以接收左轉向或右轉向的轉向信號信息。
接口單元530可以接收車輛速度信息、方向盤旋轉角度信息或變速器信息。接口單元530可以接收經由車輛1的感測單元160感測的車輛速度信息、方向盤旋轉角度信息或變速器信息。另選地，接口單元530可以從車輛1的控制器170接收車輛速度信息、方向盤旋轉角度信息或變速器信息。此外，這裡，變速器信息可以是有關車輛的當前擋位位置的信息。例如，變速器信息可以是有關變速器是否在停車擋(P)、倒車擋(R)、空擋(N)和驅動擋(D)或編號擋中的任一個中。
接口單元530可以經由車輛1的用戶輸入單元124接收用戶輸入。接口單元530可以從車輛1的輸入單元120接收用戶輸入，或者可以通過控制器170接收用戶輸入。
接口單元530可以接收從外部器具獲取的信息。例如，當經由車輛1的通信單元110從外部伺服器接收到交通燈改變信息時，接口單元530可以從控制器170接收該交通燈改變信息。
存儲器540可以存儲用於駕駛員輔助設備500的總體操作的各種數據，諸如例如用於處理器570的處理或控制的程序。
存儲器540可以存儲用於物體驗證的數據。例如，當根據由相機161和162捕獲的圖像檢測到規定物體時，存儲器540可以存儲用於使用規定算法來驗證該物體對應於什麼的數據。
存儲器540可以存儲與交通信息有關的數據。例如，當根據由相機161和162捕獲的圖像檢測到規定交通信息時，存儲器540可以存儲用於使用規定算法來驗證該交通信息對應於什麼的數據。
此外，存儲器540可以是諸如例如ROM、RAM、EPROM、閃速驅動器和硬碟的各種硬體存儲裝置中的任一個。
處理器570控制駕駛員輔助設備500內部的各個單元的總體操作。
處理器570可以對在車輛前面的視圖的圖像或由相機161和162獲取的車輛的全景圖像進行處理。具體地，處理器570基於信號處理實現計算機視覺。因此，處理器570可以從相機161和162獲取在車輛前面的視圖的圖像或車輛的全景圖像，並且基於該圖像執行物體檢測和物體跟蹤。具體地，處理器570可以在物體檢測期間執行例如車道檢測(LD)、車輛檢測(VD)、行人檢測(PD)、亮斑檢測(BD)、交通標誌識別(TSR)和路面檢測。
此外，交通標誌可以意指可以被發送給車輛1的駕駛員的規定信息。可以經由交通燈、交通標誌或路面將交通標誌發送給駕駛員。例如，交通標誌可以是從交通燈輸出的針對車輛或行人的通行信號或停止信號。例如，交通標誌可以是標記在交通標誌上的各種符號或文本。例如，交通標誌可以是標記在路面上的各種符號或文本。
處理器570可以根據由相機161和162獲取的車輛的全景圖像來檢測信息。
該信息可以是車輛行駛情形信息。例如，該信息可以包括車輛行駛道路信息、交通規則信息、相鄰車輛信息、車輛或行人交通燈信息、道路施工信息、交通狀態信息、停車場信息和車道信息。
該信息可以是交通信息。處理器570可以根據包括在由相機161和162捕獲的圖像中的交通燈、交通標誌和路面中的任一個來檢測交通信息。例如，處理器570可以根據包括在圖像中的交通燈來檢測針對車輛或行人的通行信號或停止信號。例如，處理器570可以根據包括在圖像中的交通標誌來檢測各種符號或文本。例如，處理器170可以根據包括在圖像中的路面來檢測各種符號或文本。
處理器570可以通過將檢測到的信息與存儲在存儲器540中的信息進行比較來驗證信息。
例如，處理器570根據包括在獲取的圖像中的物體來檢測指示坡道的符號或文本。這裡，物體可以是交通標誌或路面。處理器570可以通過將所檢測到的符號或文本與存儲在存儲器540中的交通信息進行比較來驗證坡道信息。
例如，處理器570根據包括在獲取的圖像中的物體來檢測指示車輛或行人停止的符號或文本。這裡，物體可以是交通標誌或路面。處理器570可以通過將所檢測到的符號或文本與存儲在存儲器540中的交通信息進行比較來驗證停止信息。另選地，處理器570根據包括在獲取的圖像中的路面來檢測停止線。處理器570可以通過將所檢測到的停止線與存儲在存儲器540中的交通信息進行比較來驗證停止信息。
例如，處理器570可以根據包括在獲取的圖像中的物體來檢測交通車道標記是否存在。這裡，物體可以是路面。處理器570可以檢查檢測到的交通車道標記的顏色。處理器570可以檢查所檢測到的交通車道標記是用於行駛車道還是左轉車道。
例如，處理器570可以根據包括在獲取的圖像中的物體來檢測車輛通行或停止信息。這裡，物體可以是車輛交通燈。這裡，車輛通行信息可以是用於指示車輛直行或者向左轉或向右轉的信號。車輛停止信息可以是用於指示車輛停止的信號。車輛通行信號可以用綠色顯示並且車輛停止信息可以用紅色顯示。
例如，處理器570可以根據包括在獲取的圖像中的物體來檢測行人通行或停止信息。這裡，物體可以是行人交通燈。這裡，行人通行信息可以是用於指示行人在人行橫道處穿過街道的信號。行人停止信息可以是用於指示行人在人行橫道處停止的信號。
此外，處理器570可以控制相機161和162的變焦。例如，處理器570可以基於物體檢測結果來控制相機161和162的變焦。當檢測到交通標誌但是未檢測到寫在該交通標誌上的內容時，處理器570可以控制相機161和162以放大。
此外，處理器570可以經由通信單元520接收天氣信息和道路交通狀態信息(例如，傳輸協議專家組(TPEG)信息)。
此外，處理器570可以實時地識別已由駕駛員輔助設備500基於立體圖像識別的車輛周圍的交通狀態信息。
此外，處理器570可以經由接口單元530從AVN設備或單獨的導航設備(未例示)接收例如導航信息。
此外，處理器570可以經由接口單元530從控制器170或感測單元160接收傳感器信息。這裡，傳感器信息可以包括從車輛行駛方向信息、車輛位置信息(GPS信息)、車輛角度信息、車輛速度信息、車輛加速信息、車輛傾斜信息、車輛前進/倒退信息、電池信息、燃料信息、輪胎信息、車燈信息、車輛內部溫度信息、車輛內部溼度信息和方向盤旋轉信息當中選擇的至少一種。
此外，處理器570可以經由接口單元530從控制器170、AVN設備或單獨的導航設備接收導航信息。
此外，處理器570可以使用以下項中的至少一個來實現：專用集成電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理器件(DSPD)、可編程邏輯器件(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器以及用於實現其它功能的電子單元。
處理器570可以由控制器170控制。
顯示單元580可以顯示處理器570中處理的各條信息。顯示單元580可以顯示與駕駛員輔助設備500的操作有關的圖像。為了顯示這種圖像，顯示單元580可以包括安裝在車輛1的內部的前面處的儀錶板或平視顯示器(HUD)。此外，當顯示單元580是HUD時，顯示單元580可以包括投影器模塊以將圖像投影到車輛1的擋風玻璃。
電源單元590可以供應在處理器570的控制下操作相應的組件所需的電力。具體地，電源單元590可以從例如車輛1內部的電池接收電力。
圖6是例示了圖5所例示的處理器570的內部配置的框圖。
參照圖6，駕駛員輔助設備500內部的處理器570可以包括圖像預處理器610、視差計算器620、分段單元632、物體檢測器634、物體驗證單元636、物體跟蹤單元640和應用單元650。
圖像預處理器610可以從圖1所例示的相機161和162接收圖像，並且對所接收的圖像進行預處理。
具體地，圖像預處理器610可以針對圖像執行例如降噪、矯正、校準、顏色增強、顏色空間轉換(CSC)、內插和相機增益控制。因此，圖像預處理器610可以獲取比由相機161和162捕獲的立體圖像更鮮豔的圖像。
視差計算器620可以接收通過圖像預處理器610信號處理的圖像，針對所接收的圖像執行立體匹配，並且基於立體匹配獲取雙目視差圖。也就是說，視差計算器620可以獲取與在車輛前面的視圖的立體圖像有關的雙目視差信息。
這時，可以在立體圖像的每像素基礎上或者在立體圖像的每規定塊基礎上執行立體匹配。此外，雙目視差圖可以意指立體圖像(即，左圖像與右圖像)之間的雙目視差信息由數值來表示的圖。
分段單元632可以基於來自視差計算器620的雙目視差信息來對立體圖像中的至少一個執行分段和聚類。
具體地，分段單元632可以基於雙目視差信息將立體圖像中的至少一個分段成背景和前景。
例如，分段單元632可以計算雙目視差信息為預定值或更小值的視差圖的區域作為背景並且排除所對應的區域。按照這種方式，可以相對地使前景分開。
在另一示例中，分段單元632可以計算雙目視差信息為預定值或更大值的視差圖的區域作為前景並且提取所對應的區域。按照這種方式，可以使前景分開。
如上所述，當根據基於立體圖像提取的雙目視差信息將圖像分段成前景和背景時，能夠在隨後的物體檢測期間減小例如信號處理速度和信號處理量。
隨後，物體檢測器634可以基於來自分段單元632的圖像分段來檢測物體。
也就是說，物體檢測器634可以基於雙目視差信息針對立體圖像中的至少一個來檢測物體。
具體地，物體檢測器634可以針對立體圖像中的至少一個來檢測物體。例如，物體檢測器634可以根據通過圖像分段分開的前景來檢測物體。
隨後，物體驗證單元636可以對經分開的物體進行分類和驗證。
為此，物體驗證單元636可以例如使用利用神經網絡的標識方法、支持向量機(SVM)方法、利用Harr型特徵的AdaBoost標識方法或方向梯度直方圖(HOG)方法。
此外，物體驗證單元636可以將所檢測到的物體與存儲在存儲器540中的物體進行比較以驗證所檢測到的物體。
例如，物體驗證單元636可以驗證例如位於車輛周圍的相鄰車輛、交通車道標記、路面、交通標誌、危險區和隧道。
物體跟蹤單元640可以跟蹤經驗證的物體。例如，物體跟蹤單元640可以驗證包括在順序地獲取的立體圖像中的物體，計算經驗證的物體的運動或運動向量，並且例如基於所計算出的運動或運動向量來跟蹤所對應的物體的移動。因此，物體跟蹤單元640可以跟蹤例如位於車輛周圍的相鄰車輛、交通車道標記、路面、交通標誌、危險區和隧道。
隨後，應用單元650可以基於位於車輛周圍的各種物體(例如，其它車輛、交通車道標記、路面和交通標誌)來計算例如車輛1的事故風險。另外，應用單元650可以計算與前方車輛前端碰撞的可能性以及是否發生失去牽引力。
另外，應用單元650可以輸出例如消息以向用戶通知諸如例如所計算出的風險、碰撞可能性或牽引力失去的駕駛員輔助信息。另選地，應用單元650可以生成用於車輛1的姿態控制或行駛控制的控制信號作為車輛控制信息。
此外，在一些實施方式中，圖像預處理器610、視差計算器620、分段單元632、物體檢測器634、物體驗證單元636、物體跟蹤單元640和應用單元650中的一些可以被包括在處理器570中。在相機161和162提供僅二維(2D)圖像的情況下，可以排除視差計算器620。
圖7A和圖7B是被參照來說明圖6所例示的處理器570的操作的視圖。
圖7A和圖7B是被參照來基於分別從第一幀周期和第二幀周期獲取的立體圖像來說明圖6所例示的處理器570的操作方法的視圖。
首先參照圖7A，當相機161是立體相機時，相機161在第一幀周期期間獲取立體圖像。
包括在處理器570中的視差計算器620接收通過圖像預處理器610信號處理的立體圖像FR1a和立體圖像FR1b，並且針對所接收的立體圖像FR1a和立體圖像FR1b執行立體匹配以獲取視差圖720。
視差圖720將立體圖像FR1a與立體圖像FR1b之間的雙目視差示出為水平。當視差水平較高時，可以將離車輛的距離計算為較短的。當視差水平較低時，可以將離車輛的距離計算為較長的。
此外，當視差圖被顯示時，視差圖可以在視差水平較高的時用較高的亮度顯示，而在視差水平較低的時用較低的亮度顯示。
圖7A通過示例例示了在視差圖720中第一交通車道標記728a、第二交通車道標記728b、第三交通車道標記728c和第四交通車道標記728d具有它們自己的視差水平，並且道路施工區722、第一前方車輛724和第二前方車輛726具有它們自己的視差水平。
分段單元632、物體檢測器634和物體驗證單元636分別基於視差圖720針對立體圖像FR1a和立體圖像FR1b中的至少一個執行分段、物體檢測和物體驗證。
圖7A通過示例例示了使用視差圖720來執行針對第二立體圖像FR1b的物體檢測和物體驗證。
也就是說，可以執行針對第一交通車道標記738a、第二交通車道標記738b、第三交通車道標記738c和第四交通車道標記738d、道路施工區732、第一前方車輛734以及第二前方車輛736的物體檢測和物體驗證。
接下來，參照圖7B，立體相機161在第二幀周期期間獲取立體圖像。
包括在處理器570中的視差計算器620接收通過圖像預處理器610信號處理的立體圖像FR2a和立體圖像FR2b，並且針對所接收的立體圖像FR2a和立體圖像FR2b執行立體匹配以獲取視差圖740。
圖7B通過示例例示了在視差圖740中第一交通車道標記748a、第二交通車道標記748b、第三交通車道標記748c和第四交通車道標記748d具有它們自己的視差水平，並且道路施工區742、第一前方車輛744和第二前方車輛746具有它們自己的視差水平。
分段單元632、物體檢測器634和物體驗證單元636分別基於視差圖740針對立體圖像FR2a和立體圖像FR2b中的至少一個執行分段、物體檢測和物體驗證。
圖7B通過示例示出了使用視差圖740來執行針對第二立體圖像FR2b的物體檢測和物體驗證。
也就是說，可以執行針對第一交通車道標記758a、第二交通車道標記758b、第三交通車道標記758c和第四交通車道標記758d、道路施工區752、第一前方車輛754以及第二前方車輛756的物體檢測和物體驗證。
此外，物體跟蹤單元640可以通過將圖7A和圖7B彼此進行比較來跟蹤驗證的物體。
具體地，物體跟蹤單元640可以基於從圖7A和圖7B驗證的相應的物體的運動或運動向量來跟蹤物體的移動。因此，例如，物體跟蹤單元740可以跟蹤位於車輛周圍的交通車道標記、道路施工區、第一前方車輛和第二前方車輛。
圖8是例示了根據本發明的一個實施方式的駕駛員輔助設備500的一個示例性控制方法S800的流程圖。
參照圖8，在步驟S810中，駕駛員輔助設備500的處理器570接收有關在車輛外部的物體的信息。這裡，參照圖8所描述的車輛可以是參照圖1、圖2、圖3、圖4、圖5、圖6和圖7以上所描述的車輛1。另外，在車輛外部的物體包括正在該車輛附近行駛的至少一個其它車輛。措辭「車輛附近」可以意指在最大距離內的車輛的感測單元160能夠感測到物體的區域。
有關在車輛外部的物體的信息可以由包括在車輛的感測單元160中的至少一個物體檢測傳感器獲取。例如，感測單元160可以包括雷達、雷射雷達和超聲傳感器中的至少一個，並且可以感測存在於車輛附近的各種物體，從而給處理器570提供與所感測到的結果對應的電信號。
這裡，有關物體的信息可以包括例如物體的種類(例如，行人、其它車輛、建築物和交通車道標記)、物體的移動(例如，移動方向、橫向速率、縱向速率和路徑)、離物體的距離以及物體的大小。
在步驟S820中，處理器570基於包括在經由步驟S810接收的有關物體的信息中的另一車輛的移動來獲取另一車輛的行駛模式。具體地，處理器570可以以規定時間間隔通過對隨著時間過去而順序地提供的有關另一車輛的移動的各條信息彼此進行比較來獲取另一車輛的行駛模式。例如，處理器570可以確定另一車輛在第一時間點的第一移動，並且可以確定另一車輛在第二時間點的第二移動，並且此後，可以獲取第一移動與第二移動之間的差異，從而基於第一移動與第二移動之間的差異來獲取另一車輛的行駛模式。這時，第一時間點和第二時間點可以彼此間隔開預定時間間隔(例如，0.1秒)。由處理器570獲取的另一車輛的行駛模式可以包括例如另一車輛突然減小其速度的次數、另一車輛突然加速的次數、另一車輛做出車道改變的次數以及另一車輛在規定時間段(例如，3秒)期間改變其舵向方向的次數和該車輛與另一車輛之間的平均距離。
在步驟S830中，處理器570將經由步驟S820獲取的另一車輛的行駛模式與基準模式進行比較。這裡，基準模式可以是被預設在處理器570和存儲器540中的至少一個中以便判斷在車輛附近的另一車輛是否在被異常地駕駛的駕駛模式。基準模式可以包括在每項基礎上用於判斷另一車輛的行駛模式是否異常的至少一個臨界值。基準模式可以包括例如關於另一車輛在規定時間段期間突然減小其速度的次數的臨界值(例如，3次)、關於另一車輛在規定時間段內突然加速的次數的臨界值(例如，7次)、關於另一車輛做出車道改變的次數的臨界值(例如，4次)、關於另一車輛改變其舵向方向的次數的臨界值(例如，4次)以及關於該車輛與另一車輛之間的平均距離的臨界值(例如，20m)。
在步驟S840中，處理器570基於在步驟S830中執行的比較的結果來判斷另一車輛的行駛模式是否和基準模式匹配。例如，當另一車輛的行駛模式的任何一項(例如，另一車輛改變其舵向方向的次數)超過基準模式的相同項的臨界值時，處理器570可以判斷另一車輛的行駛模式和基準模式匹配。在另一示例中，當另一車輛的行駛模式的兩個或更多個項(例如，另一車輛做出車道改變的次數以及另一車輛改變其舵向方向的次數)超過基準模式的相同的兩個或更多個項的臨界值時，處理器570可以判斷另一車輛的行駛模式和基準模式匹配。
在步驟S840中判斷另一車輛的行駛模式和基準模式匹配時，在步驟S850中，處理器570執行判斷另一車輛是危險車輛的操作。在本發明中，措辭「危險車輛」可以意指具有與該車輛碰撞的可能性並且作為該車輛的正常行駛的障礙物的另一車輛。
另一方面，在步驟S840中判斷另一車輛的行駛模式不和基準模式匹配時，控制方法S800可以結束。
在步驟S860中，處理器570響應於被判斷為危險車輛的另一車輛的行駛模式而執行至少一個預定操作。這時，可以基於另一車輛的行駛模式與基準模式之間的差異來選擇由處理器570執行的操作。例如，隨著另一車輛的行駛模式與基準模式之間的差異增加，更大量的操作可以由處理器570執行。
以上所描述的步驟S860中執行的操作可以包括第一操作。第一操作可以是向車輛駕駛員通知有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以輸出指示正在車輛附近異常地行駛並且具有與該車輛碰撞的可能性的另一車輛的存在的警告信號。可以按照視覺、聽覺或觸覺方式輸出該警告信號。
另選地，在步驟S860中執行的操作可以包括第二操作。第二操作可以是基於被判斷為危險車輛的另一車輛的行駛模式來預測另一車輛將來將採取什麼行為的操作。在一個示例中，處理器570可以預測另一車輛將從其當前位置移動的方向。
另選地，在步驟S860中執行的操作可以包括第三操作。第三操作可以是基於經由以上所描述的第二操作預測的另一車輛的行為來控制車輛的行駛狀態的操作。例如，處理器570可以減小車輛的速度以便增加離另一車輛的距離，或者可以將車輛從另一車輛正在其中行駛的車道移動到不同的車道。
另選地，在步驟S860中執行的操作可以包括第四操作。第四操作可以是給正在車輛附近行駛的其它車輛提供有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以經由車輛間通信向其它車輛發送指示另一車輛正在異常地行駛的消息。在另一示例中，在指示另一車輛正在異常地行駛的信息的圖形處理之後，處理器570可以控制車輛顯示該圖形信息的顯示，使得能夠從外部檢查它。在這種情況下，可以將顯示器安裝到車輛的外部。
另選地，在步驟S860中執行的操作可以包括第五操作。第五操作可以是將經搜索且設定的車輛的路線改變為另一路線的操作。
另選地，在步驟S860中執行的操作可以包括第六操作。第六操作可以是將從安裝到車輛的至少一個相機提供的多個行駛圖像分類為包括另一車輛的行駛圖像以及不包括另一車輛的行駛圖像並且分別存儲這些圖像的操作。出於這個目的，可以在存儲器540中分配用於存儲包括另一車輛的行駛圖像的存儲區域(例如，文件夾)。
圖9是例示了根據本發明的一個實施方式的駕駛員輔助設備500的另一個示例性控制方法S900的流程圖。
參照圖9，在步驟S910中，駕駛員輔助設備500的處理器570接收有關在車輛外部的物體的信息。這裡，參照圖9所描述的車輛可以是參照圖1、圖2、圖3、圖4、圖5、圖6和圖7以上所描述的車輛1。另外，在車輛外部的物體包括正在該車輛附近行駛的至少一個其它車輛。措辭「車輛附近」可以意指在最大距離內的車輛的感測單元160能夠感測到物體的區域。
有關在車輛外部的物體的信息可以由包括在車輛的感測單元160中的至少一個物體檢測傳感器獲取。例如，感測單元160可以包括雷達、雷射雷達和超聲傳感器中的至少一個，並且可以感測存在於車輛附近的各種物體，從而給處理器570提供與所感測到的結果對應的電信號。
這裡，有關物體的信息可以包括例如物體的種類(例如，行人、其它車輛、建築物和交通車道標記)、物體的移動(例如，移動方向、橫向速率、縱向速率和路徑)、離物體的距離以及物體的大小。
在步驟S920中，處理器570接收從車輛的駕駛員提供的用戶輸入。這裡，用戶輸入可以是諸如例如語音、手勢或觸摸的各種類型中的任一種。在一個示例中，處理器570可以從安裝在車輛內部的一個側面處的室內相機(例如，紅外相機)接收三維(3D)室內圖像，並且可以根據該室內圖像識別駕駛員的手勢。在另一示例中，處理器570可以從安裝在車輛內部的一個側面處的麥克風123接收與駕駛員的語音命令對應的電信號。
在步驟S930中，處理器570可以響應於步驟S920中接收的用戶輸入而從包括在步驟S910中以上描述的物體中的一個或更多個車輛當中選擇任一個車輛。在一個示例中，當用戶輸入是駕駛員的手勢時，處理器570可以確定駕駛員的手勢正指向的方向，並且可以選擇位於由該手勢指示的方向上的另一車輛。
在步驟S940中，處理器570執行將在步驟S930中選擇的另一車輛的行駛模式與基準模式進行比較的操作。這裡，可以基於如參照圖8以上所描述的另一車輛的移動來獲取另一車輛的行駛模式。另外，基準模式可以是被預設在處理器570和存儲器540中的至少一個中以便判斷在車輛附近的另一車輛是否在異常地行駛的行駛模式。基準模式可以包括在每項基礎上用於判斷另一車輛的行駛模式是否異常的至少一個臨界值。例如，基準模式可以包括例如關於另一車輛在規定時間段期間突然減小其速度的次數的臨界值(例如，3次)、關於另一車輛在規定時間段內突然加速的次數的臨界值(例如，7次)、關於另一車輛做出車道改變的次數的臨界值(例如，4次)、關於另一車輛改變其舵向方向的次數的臨界值(例如，4次)以及關於該車輛與另一車輛之間的平均距離的臨界值(例如，20m)。
在步驟S950中，處理器570基於在步驟S940中執行的比較的結果來判斷所選擇的另一車輛的行駛模式是否和基準模式匹配。例如，當另一車輛的行駛模式的任何一項(例如，另一車輛改變其舵向方向的次數)超過基準模式的相同項的臨界值時，處理器570可以判斷另一車輛的行駛模式和基準模式匹配。在另一示例中，當另一車輛的行駛模式的兩個或更多個項(例如，另一車輛做出車道改變的次數以及另一車輛改變其舵向方向的次數)超過基準模式的相同的兩個或更多個項的臨界值時，處理器570可以判斷另一車輛的行駛模式和基準模式匹配。
在步驟S950中判斷另一車輛的行駛模式和基準模式匹配時，在步驟S960中，處理器570執行判斷另一車輛是危險車輛的操作。另一方面，在步驟S950中判斷另一車輛的行駛模式不和基準模式匹配時，控制方法S900可以結束。
在步驟S970中，處理器570響應於被判斷為危險車輛的另一車輛的行駛模式而執行至少一個預定操作。這時，可以基於另一車輛的行駛模式與基準模式之間的差異來選擇由處理器570執行的操作。例如，隨著車輛的行駛模式與基準模式之間的差異增加，更大量的操作可以由處理器570執行。
以上所描述的步驟S970中執行的操作可以包括第一操作。第一操作可以是向車輛駕駛員通知有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以輸出指示正在車輛附近異常地行駛並且具有與該車輛碰撞的可能性的另一車輛的存在的警告信號。可以按照視覺、聽覺或觸覺方式輸出該警告信號。
另選地，在步驟S970中執行的操作可以包括第二操作。第二操作可以是基於被判斷為危險車輛的另一車輛的行駛模式來預測另一車輛將來將採取什麼行為的操作。在一個示例中，處理器570可以預測另一車輛將從其當前位置移動的方向。
另選地，在步驟S970中執行的操作可以包括第三操作。第三操作可以是基於經由以上所描述的第二操作預測的另一車輛的行為來控制車輛的行駛狀態的操作。例如，處理器570可以減小車輛的速度以便增加離另一車輛的距離，或者可以將車輛從另一車輛正在其中行駛的車道移動到不同的車道。
另選地，在步驟S970中執行的操作可以包括第四操作。第四操作可以是給正在車輛附近行駛的其它車輛提供有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以經由車輛間通信向其它車輛發送指示另一車輛正在異常地行駛的消息。在另一示例中，在指示另一車輛正在異常地行駛的信息的圖形處理之後，處理器570可以控制車輛顯示該圖形信息的顯示，使得能夠從外部檢查它。在這種情況下，可以將顯示器安裝到車輛的外部。
另選地，在步驟S970中執行的操作可以包括第五操作。第五操作可以是將經搜索且設定的車輛的路線改變為另一路線的操作。
另選地，在步驟S970中執行的操作可以包括第六操作。第六操作可以是將從安裝到車輛的至少一個相機提供的多個行駛圖像分類為包括另一車輛的行駛圖像以及不包括另一車輛的行駛圖像並且分別存儲這些圖像的操作。出於這個目的，可以在存儲器540中分配用於存儲包括另一車輛的行駛圖像的存儲區域(例如，文件夾)。
圖10是例示了根據本發明的一個實施方式的駕駛員輔助設備500的又一示例性控制方法S1000的流程圖。
參照圖10，駕駛員輔助設備500的處理器570可以在步驟S1010中接收室內圖像，並且可以在步驟S1020中根據該室內圖像來檢測駕駛員的凝視和瞳孔的大小。這裡，參照圖10所描述的車輛可以是參照圖1、圖2、圖3、圖4、圖5、圖6和圖7以上所描述的車輛1。在一個示例中，處理器570可以從安裝在車輛內部的一個側面處的相機162接收3D室內圖像，並且可以通過對該室內圖像進行處理來檢測駕駛員的凝視和瞳孔的大小。這時，相機162可以包括單目相機、立體相機、紅外相機和深度相機中的至少一個。
在步驟S1030中，處理器570可以接收駕駛員的心率。在這種情況下，駕駛員的心率可以由穿戴在駕駛員的身體的一部分上的可穿戴裝置600獲取。例如，可穿戴裝置600可以基於短距離無線通信向駕駛員輔助設備500的通信單元發送有關使用包括在其中的心率傳感器測量到的駕駛員的心率的信息，並且處理器570可以接收由通信單元110接收到的駕駛員的心率。
在步驟S1040中，處理器570可以從正在車輛附近行駛的一個或更多個車輛當中選擇位於在步驟S1020中檢測到的駕駛員的凝視被導向的方向上的任一個車輛。為此，處理器570可以首先執行基於從感測單元160提供的有關在車輛外部的物體的信息來標識正在該車輛附近行駛的至少一個其它車輛的過程。
在步驟S1050中，處理器570可以基於瞳孔的大小和駕駛員的心率來確定駕駛員的狀態。這時，可以在處理器570中預設用於確定駕駛員的狀態的至少一個臨界值。例如，可以在處理器570中預設關於瞳孔的大小的第一臨界值以及關於心率的第二臨界值。處理器570可以將駕駛員的瞳孔的大小與第一臨界值進行比較並且將駕駛員的心率與第二臨界值進行比較，並且此後可以基於兩個比較的結果來確定駕駛員的狀態。這裡，措辭「駕駛員的狀態」可以意指駕駛員的精神狀態。
在一個示例中，當駕駛員的瞳孔的大小低於第一臨界值並且駕駛員的心率低於第二臨界值時，處理器570可以確定駕駛員的狀態是穩定狀態。在另一示例中，當駕駛員的瞳孔的大小低於第一臨界值並且駕駛員的心率大於或者等於第二臨界值時，處理器570可以確定駕駛員的狀態是正常狀態。在又一示例中，當駕駛員的瞳孔的大小大於或者等於第一臨界值並且駕駛員的心率低於第二臨界值時，處理器570可以確定駕駛員的狀態是正常狀態。在另一個示例中，當駕駛員的瞳孔的大小大於或者等於第一臨界值並且駕駛員的心率大於或者等於第二臨界值時，處理器570可以確定駕駛員的狀態是憂慮狀態。
此外，可以僅在駕駛員的凝視被連續地導向至在步驟S1040中選擇的另一車輛的情況下執行步驟S1050。
在步驟S1050中判斷駕駛員的狀態是憂慮狀態時，在步驟S1060中，處理器570判斷基於駕駛員的凝視而選擇的另一車輛是危險車輛。也就是說，處理器570可以判斷駕駛員由於另一車輛的移動而感到憂慮。
在步驟S1070中，處理器570響應於被判斷為危險車輛的另一車輛的行駛模式而執行至少一個預定操作。具體地，在步驟S1070中執行的操作可以包括第一操作。第一操作可以是向車輛駕駛員通知有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以輸出指示正在車輛附近異常地行駛並且具有與該車輛碰撞的可能性的另一車輛的存在的警告信號。可以按照視覺、聽覺或觸覺方式輸出該警告信號。
另選地，在步驟S1070中執行的操作可以包括第二操作。第二操作可以是基於被判斷為危險車輛的另一車輛的行駛模式來預測另一車輛將來將採取什麼行為的操作。在一個示例中，處理器570可以預測另一車輛將從其當前位置移動的方向。
另選地，在步驟S1070中執行的操作可以包括第三操作。第三操作可以是基於經由以上所描述的第二操作預測的另一車輛的行為來控制車輛的行駛狀態的操作。例如，處理器570可以減小車輛的速度以便增加離另一車輛的距離，或者可以將車輛從另一車輛正在其中行駛的車道移動到不同的車道。
另選地，在步驟S1070中執行的操作可以包括第四操作。第四操作可以是給正在車輛附近行駛的其它車輛提供有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以經由車輛間通信向其它車輛發送指示另一車輛正在異常地行駛的消息。在另一示例中，在指示另一車輛正在異常地行駛的信息的圖形處理之後，處理器570可以控制車輛顯示該圖形信息的顯示，使得能夠從外部檢查它。在這種情況下，可以將顯示器安裝到車輛的外部。
另選地，在步驟S1070中執行的操作可以包括第五操作。第五操作可以是將經搜索且設定的車輛的路線改變為另一路線的操作。
另選地，在步驟S1070中執行的操作可以包括第六操作。第六操作可以是將從安裝到車輛的至少一個相機提供的多個行駛圖像分類為包括另一車輛的行駛圖像以及不包括另一車輛的行駛圖像並且分別存儲這些圖像的操作。出於這個目的，可以在存儲器540中分配用於存儲包括另一車輛的行駛圖像的存儲區域(例如，文件夾)。
圖11是例示了根據本發明的一個實施方式的駕駛員輔助設備500的另一個示例性控制方法S1100的流程圖。
參照圖11，在步驟S1110中，駕駛員輔助設備500的處理器570經由車輛間通信接收有關正在車輛附近行駛的另一車輛的信息。
這裡，參照圖11所描述的車輛可以是參照圖1、圖2、圖3、圖4、圖5、圖6和圖7以上所描述的車輛1。另外，措辭「車輛附近」可以意指在最大距離內的車輛的感測單元160能夠感測到物體的區域。有關另一車輛的信息可以是從正在該車輛附近行駛的其它車輛發送的信息。另外，有關另一車輛的信息可以包括有關另一車輛的移動的信息。
在步驟S1120中，處理器570基於包括在經由步驟S1110接收的有關物體的信息中的另一車輛的移動來獲取另一車輛的行駛模式。具體地，處理器570可以基於經由車輛間通信順序地接收的有關另一車輛的移動的信息來獲取另一車輛的行駛模式。例如，處理器570可以判斷另一車輛在第一時間點的第一移動並且可以判斷另一車輛在第二時間點的第二移動，並且此後，可以獲取第一移動與第二移動之間的差異，從而基於第一移動與第二移動之間的差異來獲取另一車輛的行駛模式。這時，第一時間點和第二時間點可以彼此間隔開預定的時間間隔(例如，0.1秒)。由處理器570獲取的另一車輛的行駛模式可以包括例如另一車輛突然減小速度的次數、另一車輛突然加速的次數、另一車輛做出車道改變的次數以及另一車輛在規定時間段(例如，3秒)期間相對於另一車輛改變其舵向方向的次數和該車輛與另一車輛之間的平均距離。
在步驟S1130中，處理器570將經由步驟S1120獲取的另一車輛的行駛模式與基準模式進行比較。這裡，基準模式可以是被預設在處理器570和存儲器540中的至少一個中以便判斷在車輛附近的另一車輛是否在異常地行駛的行駛模式。基準模式可以包括在每項基礎上用於判斷另一車輛的行駛模式是否異常的至少一個臨界值。例如，基準模式可以包括例如關於另一車輛在規定時間段期間突然減小其速度的次數的臨界值(例如，3次)、關於另一車輛在規定時間段內突然加速的次數的臨界值(例如，7次)、關於另一車輛做出車道改變的次數的臨界值(例如，4次)、關於另一車輛改變舵向方向的次數的臨界值(例如，4次)以及關於該車輛與另一車輛之間的平均距離的臨界值(例如，20m)。
在步驟S1140中，處理器570基於在步驟S1130中執行的比較的結果來判斷另一車輛的行駛模式是否和基準模式匹配。例如，當另一車輛的行駛模式的任何一項(例如，另一車輛改變舵向方向的次數)超過基準模式的相同項的臨界值時處理器570可以判斷另一車輛的行駛模式和基準模式匹配。在另一示例中，當另一車輛的行駛模式的兩個或更多個項(例如，另一車輛做出車道改變的次數以及另一車輛改變其舵向方向的次數)超過基準模式的相同的兩個或更多個項的臨界值時處理器570可以判斷另一車輛的行駛模式和基準模式匹配。
在步驟S1140中判斷另一車輛的行駛模式和基準模式匹配時，在步驟S1150中，處理器570執行判斷另一車輛是危險車輛的操作。另一方面，在步驟S1140中判斷另一車輛的行駛模式不和基準模式匹配時，控制方法S1110可以結束。
在步驟S1160中，處理器570響應於被判斷為危險車輛的另一車輛的行駛模式而執行至少一個預定操作。這時，可以基於另一車輛的行駛模式與基準模式之間的差異來選擇由處理器570執行的操作。例如，隨著車輛的行駛模式與基準模式之間的差異增加，更大量的操作可以由處理器570執行。
以上所描述的步驟S1160中執行的操作可以包括第一操作。第一操作可以是向車輛駕駛員通知有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以輸出指示正在車輛附近異常地行駛並且具有與該車輛碰撞的可能性的另一車輛的存在的警告信號。可以按照視覺、聽覺或觸覺方式輸出該警告信號。
另選地，在步驟S1160中執行的操作可以包括第二操作。第二操作可以是基於被判斷為危險車輛的另一車輛的行駛模式來預測另一車輛將來將採取什麼行為的操作。在一個示例中，處理器570可以預測另一車輛將從其當前位置移動的方向。
另選地，在步驟S1160中執行的操作可以包括第三操作。第三操作可以是基於經由以上所描述的第二操作預測的另一車輛的行為來控制車輛的行駛狀態的操作。例如，處理器570可以減小車輛的速度以便增加離另一車輛的距離，或者可以將車輛從另一車輛正在其中行駛的車道移動到不同的車道。
另選地，在步驟S1160中執行的操作可以包括第四操作。第四操作可以是給正在車輛附近行駛的其它車輛提供有關被判斷為危險車輛的另一車輛的信息的操作。例如，處理器570可以經由車輛間通信向其它車輛發送指示另一車輛正在異常地行駛的消息。在另一示例中，在指示另一車輛正在異常地行駛的信息的圖形處理之後，處理器570可以控制車輛顯示該圖形信息的顯示，使得能夠從外部檢查它。在這種情況下，可以將顯示器安裝到車輛的外部。
另選地，在步驟S1160中執行的操作可以包括第五操作。第五操作可以是將經搜索且設定的車輛的路線改變為另一路線的操作。
另選地，在步驟S1160中執行的操作可以包括第六操作。第六操作可以是將從安裝到車輛的至少一個相機提供的多個行駛圖像分類並且單獨存儲為包括另一車輛的行駛圖像以及不包括另一車輛的行駛圖像的操作。出於這個目的，可以在存儲器540中分配用於存儲包括另一車輛的行駛圖像的存儲區域(例如，文件夾)。
此外，包括在圖8、圖9、圖10和圖11所例示的控制方法S800、S900、S1000和S1100中的多個塊(即，步驟)中的至少一個可以被劃分成兩個或更多個子塊，或者可以在一些實施方式中被省略。另外，儘管依次例示了圖8、圖9、圖10和圖11所例示的控制方法S800、S900、S1000和S1100的塊，但是在一些情況下，可以並行執行這些塊中的一些，或者可以使任何兩個塊的順序顛倒。另外，圖8、圖9、圖10和圖11所例示的控制方法S800、S900、S1000和S1100可以包括與圖8、圖9、圖10和圖11未例示的功能或操作關聯的新塊。
圖12A、圖12B和圖12C是分別例示了根據本發明的一個實施方式的駕駛員輔助設備500判斷是否在車輛附近存在任何危險車輛的情形的視圖。
圖12A是包括左車道1211、中心車道1212和右車道1213的道路的俯視圖。車輛1201正在道路的中心車道1212中行駛，並且另一車輛1202正在車輛1201前面在同一車道(即，中心車道1212)中且在與車輛1201相同的方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1201中並且車輛1201對應於圖1所例示的車輛1。
車輛1201的感測單元160可以給處理器570提供有關另一車輛1202的移動的信息。處理器570可以接收從感測單元160提供的有關另一車輛1202的移動的信息，並且可以基於所接收的信息來獲取另一車輛1202的行駛模式。由處理器570獲取的另一車輛1202的行駛模式可以包括圖12A所例示的行駛路徑1221。例如，可以基於在從當前時間點起最近的預定時間段(例如，3秒)期間接收的有關另一車輛1202的移動的信息來獲取另一車輛1202的行駛路徑1221。另外，可以實時地或者周期性地更新另一車輛1202的行駛模式。
處理器570可以將另一車輛1202的行駛模式與第一預定基準模式進行比較以判斷兩個模式是否彼此匹配。這裡，第一基準模式可以包括關於另一車輛在規定時間段(例如，3秒)期間做出車道改變的次數的臨界值。當另一車輛1202在規定時間段期間改變車道的次數大於或者等於包括在第一基準模式中的臨界值時，處理器570可以判斷另一車輛1202的行駛模式和第一基準模式匹配。例如，假定包括在第一基準模式中的臨界值是3次，因為另一車輛1202具有在規定時間段期間做出車道改變總共6次的行駛模式，所以處理器570可以判斷另一車輛1202的行駛模式和第一基準模式匹配。結果，處理器570可以判斷另一車輛1202是危險車輛。
與圖12A類似，圖12B是包括左車道1211、中心車道1212和右車道1213的道路的俯視圖。車輛1203正在道路的中心車道1212中行駛，並且另一車輛1204正在車輛1201前面在同一車道(即，中心車道1212)中且在與車輛1201相同的方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1203中並且車輛1203對應於圖1所例示的車輛1。
車輛1201的感測單元160可以給處理器570提供有關另一車輛1204的移動的信息。處理器570可以接收從感測單元160提供的有關另一車輛1204的移動的信息，並且可以基於所接收的信息來獲取另一車輛1204的行駛模式。由處理器570獲取的另一車輛1204的行駛模式可以包括另一車輛1204已在從當前時間點起最近的預定時間段期間進入車輛1203的安全距離x1的次數。這裡，安全距離x1可以是被設定為避免與在車輛1203前面的物體碰撞的最小距離。可以將安全距離x1設定為與車輛的速度成比例地增加。
例如，另一車輛1204的行駛模式可以包括另一車輛1204已在從當前時間點起最近的預定時間段(例如，3秒)期間進入車輛1203的安全距離x1的次數。假定車輛1203正在以恆定速度行駛，另一車輛1204已進入車輛1203的安全距離x1的次數可以與另一車輛1204突然減小其速度的次數相同。
處理器570可以將另一車輛1204的行駛模式與第二預定基準模式進行比較以判斷兩個模式是否彼此匹配。這裡，第二基準模式可以包括關於另一車輛1204已在從當前時間點起最近的預定時間段(例如，3秒)期間進入車輛1203的安全距離x1的次數的臨界值。當另一車輛1204已在從當前時間點起最近的預定時間段(例如，3秒)期間進入車輛1203的安全距離x1的次數大於或者等於包括在第二基準模式中的臨界值時，處理器570可以判斷另一車輛1204的行駛模式和第二基準模式匹配。例如，當車輛1203正在以恆定速度行駛、包括在第二基準模式中的臨界值是兩次、並且另一車輛1204已在規定時間段期間通過突然減小其速度三次或更多次而進入車輛1203的安全距離x1總共三次時，處理器570可以判斷另一車輛1204的行駛模式和第二基準模式匹配。結果，處理器570可以判斷另一車輛1204是危險車輛。
與圖12A類似，圖12C是包括左車道1211、中心車道1212和右車道1213的道路的俯視圖。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1205中並且車輛1205對應於圖1所例示的車輛1。
車輛1205正在道路的中心車道1212中行駛，並且另一車輛1206突然做出車道改變以從左車道1211移動到中心車道1212。
車輛1205的感測單元160給處理器570提供有關另一車輛1206的移動的信息。處理器570可以接收從感測單元160提供的有關另一車輛1206的移動的信息，並且可以基於所接收的信息來獲取另一車輛1206的行駛模式。
由處理器570獲取的另一車輛1206的行駛模式可以包括另一車輛1206已在從當前時間點起最近的預定時間段期間在車輛1205前面插入的次數。這裡，措辭「在車輛前面插入」可以意指正在與車輛1205的車道不同的車道中行駛的另一車輛1206在不保證與車輛1205的安全距離x2的情況下突然移動到車輛1205的前面的行為。安全距離x2可以被設定為與車輛的速度成比例地增加，並且可以與圖12B所例示的安全距離x1相同或不同。
例如，另一車輛1206的行駛模式可以包括另一車輛1206已在從當前時間點起最近的預定時間段(例如，3秒)期間在車輛1205前面插入的次數。
處理器570可以將另一車輛1206的行駛模式與第三預定基準模式進行比較以判斷兩個模式是否彼此匹配。這裡，第三基準模式可以包括關於另一車輛1206已在規定時間段(例如，3秒)期間在車輛1205前面插入的次數。當另一車輛1206已在規定時間段期間在車輛1205前面插入的次數大於或者等於包括在第三基準模式中的臨界值時，處理器570可以判斷另一車輛1206的行駛模式和第三基準模式匹配。例如，當包括在第三基準模式中的臨界值是1次並且另一車輛1206已在規定時間段期間在車輛1205前面插入一次時，處理器570可以判斷另一車輛1206的行駛模式和第三基準模式匹配。結果，處理器570可以判斷另一車輛1206是危險車輛。
圖13A和圖13B是例示了根據本發明的一個實施方式的駕駛員輔助設備500判斷是否在車輛附近存在任何危險車輛的情形的視圖。
圖13A是包括左車道1311、中心車道1312和右車道1313的道路的俯視圖。車輛1301正在道路的中心車道1312中行駛，第一其它車輛1302正在車輛1301前面在同一車道(即，中心車道1312)中且在與車輛1301相同的方向上行駛，並且第二其它車輛1303正在右車道1313中在與車輛1301相同的方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1301中並且車輛1301對應於圖1所例示的車輛1。在這種情況下，處理器570可能正在基於從感測單元160提供的有關第一其它車輛1302的移動的信息以及有關第二其它車輛1303的移動的信息來跟蹤第一其它車輛1302的行駛模式和第二其它車輛1303的行駛模式。
圖13B例示了車輛1301在圖13A的情形下的室內視圖。駕駛員能夠通過擋風玻璃觀察第一其它車輛1302以及在車輛1301前面的第二其它車輛1303。
相機162可以被放置在車輛1301的內部的一個側面(例如，天花板或儀錶盤)處。相機162可以是能夠獲取有關車輛1301內部的空間的3D圖像信息的立體相機或深度相機。另選地，相機162可以是紅外相機。另外，相機162具有傾斜和視角以捕獲駕駛員的身體的至少一部分(例如，頭部、面部、眼睛、手、手指、上體或整個身體)的圖像。因此，由相機162獲取的3D圖像信息可以包括駕駛員的手勢。
儘管圖13B例示了放置在車輛1301內部的僅一個相機162，但是可以在不同的位置處布置多個相機以便分別獲取3D圖像信息。
處理器570可以基於從相機162提供的3D圖像信息來識別駕駛員的手勢。例如，處理器570可以基於先前存儲的基準圖像與所獲取的3D圖像之間的差異來確定從多個預定手勢當中選擇的駕駛員目前正在執行的手勢。在另一示例中，當相機162是紅外相機時，處理器570可以基於被朝向駕駛員發射並且然後被駕駛員反射的紅外光束來識別駕駛員的手勢。應該理解，本發明的範圍不限於以上描述，並且可以使用其它已知方法來識別駕駛員的手勢。
圖13B例示了隨著處理器570監視包括食指1320的3D圖像而識別駕駛員的手勢的一個示例。處理器570可以基於3D圖像來確定駕駛員的手指1320正指向的方向，並且確定手指1320正指向的物體。例如，處理器570可以計算與手指1320正指向的方向對應的直線1321，並且可以確定直線1321通過的擋風玻璃上的點。例如，可以獲取直線1321與擋風玻璃之間的交點的坐標。因此，處理器570可以從第一其它車輛1302和第二其它車輛1303當中選擇在直線1321與擋風玻璃會合的點處觀察到的第一其它車輛1302。
處理器570可以判斷通過駕駛員的手勢1320選擇的第一其它車輛1302是危險車輛。另選地，處理器570可以將通過駕駛員的手勢1320選擇的第一其它車輛1302的行駛模式與預定基準模式進行比較，並且可以在第一其它車輛1302的行駛模式和預定基準模式匹配時判斷第一其它車輛1302是危險車輛。
圖14是例示了根據本發明的一個實施方式的駕駛員輔助設備500判斷在車輛附近的任何危險車輛的情形的視圖。
圖14是包括左車道1411、中心車道1412和右車道1413的道路的俯視圖。第一其它車輛1402正在第二其它車輛1403前面行駛，並且第二其它車輛1403正在車輛1401前面行駛。另外，所有三個車輛1401、1402和1403正在中心車道1412中在同一方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1401中並且車輛1401對應於圖1所例示的車輛1。
在這種情況下，在車輛1401的位置處，第一其它車輛1402被第二其它車輛1403隱藏，並且因此車輛1401的駕駛員在觀察第一其它車輛1402時有困難。當第一其它車輛1402正在異常地行駛時，存在事故的風險，因為車輛1401的駕駛員必然地反應來不及。
此外，第二其它車輛1403可以使用安裝到第二其它車輛1403的至少一個傳感器來獲取有關第一其它車輛1402的移動的信息，並且此後將有關第一其它車輛1402的移動的信息發送到車輛1401。在這種情況下，車輛1401可以經由車輛間通信從第二其它車輛1403接收有關第一其它車輛1402的移動的信息。
處理器570可以基於有關第一其它車輛1402的移動的信息來獲取第一其它車輛1402的行駛模式。此後，處理器570可以將第一其它車輛1402的行駛模式與預定基準模式進行比較。當比較的結果是第一其它車輛1402的行駛模式和預定基準模式匹配時，處理器570可以判斷第一其它車輛1402是危險車輛。也就是說，處理器570可以提前判斷不在車輛1401的駕駛員的視野中的第一其它車輛1402是否在異常地行駛。
圖15A、圖15B和圖15C是分別例示了根據本發明的一個實施方式的駕駛員輔助設備500判斷在車輛附近的任何危險車輛的情形的視圖。
圖15A例示了正在第一其它車輛1502和第二其它車輛1503後面行駛的車輛1501的室內視圖。駕駛員可以通過擋風玻璃來觀察在其前面的第一其它車輛1502和第二其它車輛1503。
與圖13B類似，相機162可以被放置在車輛1501內部的一個側面(例如，天花板或儀錶盤)處。相機162可以是能夠獲取有關車輛1301內部的空間的3D圖像信息的立體相機或深度相機。另選地，相機162可以是紅外相機。另外，相機162具有傾斜和視角以捕獲駕駛員的身體的至少一部分(例如，頭部、面部、眼睛、手、手指、上體或整個身體)的圖像。
此外，處理器570可以經由通信單元110從穿戴在駕駛員的身體上的可穿戴裝置1510接收駕駛員的生物信號。駕駛員的生物信號可以包括例如心率、排汗量和體溫。可以使用包括在可穿戴裝置1510中的各種傳感器來測量駕駛員的這些生物信號。
圖15B例示了眼睛跟蹤的一個示例，由此使用圖15A所例示的相機162來識別駕駛員的凝視1520。相機162被假定為紅外相機。參照圖15B，如第一附圖1521所例示，處理器570使用相機162來獲取駕駛員可見的圖像。這時，相機162可以朝向駕駛員的面部發射光束。接下來，如第二附圖1522所例示，處理器570根據駕駛員可見的圖像來檢測駕駛員的面部。例如，處理器570可以通過將由相機162提供的室內圖像與預存儲的比較圖像進行比較以便根據駕駛員可見的圖像檢測人的面部來檢測駕駛員的面部。接下來，如第三附圖1523所例示，處理器570通過檢測包括在駕駛員的面部中的多個面部特徵點1531、1532、1533、1534、1535、1536和1537來檢測駕駛員的眼睛。第三附圖1523所例示的面部特徵點1531、1532、1533、1534、1535、1536和1537是通過示例給出的。接下來，如第四附圖1523所例示，處理器570檢測包括在駕駛員的眼睛中的瞳孔以及角膜反射區域。角膜反射區域是從相機162發射的光束被駕駛員的角膜反射並且可以比其它區域亮的區域。另外，處理器570可以計算瞳孔的大小。因此，處理器570可以通過基於瞳孔和角膜反射區域的大小和位置計算凝視向量來判斷圖15A所例示的駕駛員的凝視1520。
按照這種方式，處理器570可以從第一其它車輛1502和第二其它車輛1503當中選擇駕駛員的凝視1520被導向的第一其它車輛1502。然而，應當理解，眼睛跟蹤不限於圖15B所例示的過程並且可以使用其它已知過程。
圖15C是例示了駕駛員的瞳孔的大小及駕駛員的心率與時間的流動之間的關係。如所例示，駕駛員的瞳孔的大小和駕駛員的心率可以隨著時間的推移而變化。
處理器570可以基於駕駛員的瞳孔的大小和駕駛員的心率中的至少一個來判斷駕駛員的凝視1520被導向的第一其它車輛1502是否是危險車輛。為了描述的方便，假定了第一其它車輛1502被選擇的時間點是tk。
例如，處理器570可以基於在第一其它車輛1502被選擇的時間點tk的基礎上從在規定時間Δt之前到在規定時間Δt之後的周期(即，從tk-Δt到tk+Δt的周期)期間的駕駛員的瞳孔的大小和駕駛員的心率的變化來判斷第一其它車輛1502是否是危險車輛。
具體地，考慮例示了瞳孔的大小的曲線圖，駕駛員的瞳孔的大小在時間點tk-Δt處低於第一臨界值K1，而在時間點tk+Δt處超過第一臨界值K1。另外，考慮例示了心率的曲線圖，駕駛員的心率在時間點tk-Δt處低於第二臨界值K2，而在時間點tk+Δt處超過第二臨界值K2。這裡，第一臨界值K1和第二臨界值K2是被預設來判斷駕駛員的狀態是否是憂慮狀態的值，並且可以根據駕駛員的輸入而改變。
因為瞳孔和心率的大小隨著人的憂慮增加而增加，所以如圖15C所例示的瞳孔和心率的大小在第一其它車輛1502被選擇的時間點tk之前和之後的快速變化可以意指駕駛員由於第一其它車輛1502而感到憂慮的狀態。因此，處理器570可以基於駕駛員的凝視1520來判斷所選擇的第一其它車輛1502是危險車輛。
另一方面，與圖15C的例示不同，當瞳孔和心率的大小中的每一個在從tk-Δt到tk+Δt的周期期間連續地保持低於或者高於第一臨界值K1或第二臨界值K2時，處理器570可以判斷第一其它車輛1502不是危險車輛。
圖16是例示了根據本發明的一個實施方式的駕駛員輔助設備500判斷在車輛附近的任何危險車輛的情形的視圖。
圖16是包括左車道1611、中心車道1612和右車道1613的道路的俯視圖。車輛1601正在中心車道1612中行駛並且另一車輛1602正在右車道1613中在與車輛1601相同的方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1601中並且車輛1601對應於圖1所例示的車輛1。
車輛1601可以經由麥克風123接收來自存在於車輛1601附近的至少一個物體的聲音。例如，多個麥克風123a、123b、123c和123d可以被放置在車輛1601的不同位置處，並且麥克風123a、123b、123c和123d中的至少一個可以接收從正在車輛1601附近行駛的另一車輛1602放出的聲音1620。從另一車輛1602放出的聲音1620可以是例如另一車輛1602的乘客的語音、另一車輛1602的排氣聲音、另一車輛1602的喇叭、另一車輛1602的發動機噪聲以及另一車輛1602的揚聲器聲音。另外，麥克風123a、123b、123c和123d可以將所接收的聲音1620轉換成對應的電信號。電信號可以包括與另一車輛1602有關的聲信息。
另外，處理器570可以基於由麥克風123a、123b、123c和123d接收的聲音的強度來判斷另一車輛1602與車輛1601的方向和距離。例如，當由麥克風123b接收的聲音1620的強度大於由其它麥克風123a、123c和123d接收的同一聲音1620的強度時，處理器570可以判斷另一車輛1602靠近安裝有麥克風123b的位置。
另外，處理器570可以基於包括在從麥克風123a、123b、123c和123d中的至少一個提供的電信號中的聲信息來判斷另一車輛1602是否是危險車輛。例如，處理器570可以經由語音識別將另一車輛1602的聲音1620轉換成文本，並且可以在與預定不敬的言語(例如，髒話)對應的字符被包括在經轉換的文本中時判斷另一車輛1602是危險車輛。在另一示例中，處理器570可以將另一車輛1602的聲音1620與預存儲的基準聲音進行比較，並且可以在另一車輛1602的聲音1620和基準聲音匹配時判斷另一車輛1602是危險車輛。這裡，基準聲音是預存儲在例如存儲器540中以用於判斷來自周圍物體的聲音是否是與危險情形關聯的聲音的聲音，並且可以包括例如輪胎刺穿聲音、車輛到車輛碰撞聲音以及尖叫的聲音。
圖17A和圖17B是例示了根據本發明的一個實施方式的駕駛員輔助設備500控制車輛的移動的一個示例性操作的視圖。
圖17A是包括左車道1711、中心車道1712和右車道1713的道路的俯視圖。車輛1701正在中心車道1712中行駛並且另一車輛1702正在車輛1701前面在同一中心線1712上且在與車輛1701相同的方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1701中並且車輛1701對應於圖1所例示的車輛1並且另一車輛1702是正在異常地行駛的危險車輛。例如，另一車輛1702可以是因為另一車輛1702在規定時間期間改變車道超過臨界值的次數所以被處理器570判斷為危險車輛的車輛。
在圖17A的情形下，處理器570可以操作車輛1701以便從中心車道1712移動到左車道1711和右車道1713中的任何一個。
例如，處理器570可以根據從相機161提供的行駛圖像來檢測道路上繪製的交通車道標記，並且可以基於所檢測到的交通車道標記來判斷右車道1613的兩個邊界。另外，處理器570可以連續地維持從中心車道1712移動到右車道1713所需的轉向角度，並且此後可以給轉向驅動單元152提供該轉向角度。因此，轉向驅動單元152可以按轉向角度調整車輛1701的舵向，以便通過做出車道改變而將車輛1701移動到右車道1713。
與圖17A類似，圖17B是包括左車道1711、中心車道1712和右車道1713的道路的俯視圖。車輛1703正在道路的中心車道1712中行駛，並且另一車輛1704正在車輛1703前面在同一車道(即，中心車道1712)中且在與車輛1703相同的方向上行駛。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1703中並且車輛1703對應於圖1所例示的車輛1並且另一車輛1704是正在異常地行駛的危險車輛。例如，另一車輛1704可以是因為另一車輛1704在規定時間段期間反覆地且突然減小其速度並且加速超過臨界值的次數所以被處理器570判斷為危險車輛的車輛。
在圖17B的情形下，不是做出車道改變，而是處理器570可以減小車輛1703的速度以保證車輛1703與另一車輛1704之間的規定距離x3或更多。
這時，規定距離x3可以大於圖12B所例示的安全距離x1，並且可以根據另一車輛1704的行駛模式而變化。例如，規定距離x3在另一車輛1704在規定時間段期間突然減小其速度的次數為3～5次時可以被設定為50m，而在另一車輛1704在規定時間段期間突然減小其速度的次數為6次或更多次時可以增加至70m。
此外，圖17A和圖17B例示了車輛1701和車輛1703已進入自主行駛模式的狀態。一旦已進入自主行駛模式，車輛1701就可以在基於從感測單元160提供的各種信號自動地執行其轉向、減速和加速中的至少一個的同時被駕駛而無需關於駕駛員的部分的任何操作。
圖18A是例示了根據本發明的一個實施方式的在圖17A所例示的情形下輸出給駕駛員的一個示例性引導圖像1810的視圖。引導圖像1810可以是用於指示駕駛員必須執行以便避開危險車輛1702的行為的圖像，並且可以被顯示在顯示單元580或安裝在車輛1701內部的顯示單元141上。
如上所述，為了避開危險車輛1702，需要車道改變操作以便將車輛1701移動到左車道1711和右車道1713中的任何一個，並且處理器570可以產生與其有關的引導圖像1810。
引導圖像1810可以包括分別指示左車道1711、中心車道1712和右車道1713的三個車道圖像1811、1812和1813。另外，指示車輛1701的指示符1801可以被顯示在指示中心車道1712的圖像1812中。另外，引導圖像1810可以包括指示駕駛員必須執行的行為的文本1812。
車輛1701的駕駛員可以經由引導圖像1810識別車輛1710當前正在中心車道1712中行駛並且移動到左車道1711或右車道1713是安全的。
因此，車輛1701的駕駛員可以如圖17A所例示的通過操作方向盤來將車輛1701移動到右車道1713。
圖18B是例示了根據本發明的一個實施方式的當存在圖17B所例示的危險車輛1704時輸出給駕駛員的另一示例性引導圖像1820的視圖。
引導圖像1820可以是用於指示駕駛員必須執行以便避開危險車輛1704的行為的圖像，並且可以被顯示在顯示單元580或安裝在車輛1703內部的顯示單元141上。
如上所述，為了避開危險車輛1704，需要用於減小車輛1703的速度的操作以便保證與危險車輛1704的規定距離x3，並且處理器570可以產生與其有關的引導圖像1820。
引導圖像1820可以包括分別指示左車道1711、中心車道1712和右車道1713的三個車道圖像1811、1812和1813。另外，指示車輛1703的指示符1803可以被顯示在指示中心車道1712的圖像1812中。另外，引導圖像1820可以包括指示駕駛員必須執行的行為的文本1822。
車輛1703的駕駛員可以經由引導圖像1820識別車輛1703當前正在中心車道1712中行駛，車輛1703與危險車輛1704之間的當前距離當前是65m，並且減小車輛1703的速度以便保證與危險車輛1704相距100m或更多的距離是安全的。
因此，車輛1703的駕駛員可以操作例如制動踏板以便減小車輛1703的速度，直到車輛1703與另一車輛1704之間的距離大於或者等於規定距離x3為止。
圖19A是例示了根據本發明的一個實施方式的被判斷為危險車輛的另一車輛1902正在車輛1901附近行駛的情形的視圖。
圖19A是包括主車道1910、第一支路車道1921和第二支路車道1922的道路的俯視圖。車輛1901正在主車道1910中行駛，並且第一支路車道1921和第二支路車道1922連接至主車道1910。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛1901中並且車輛1901對應於圖1所例示的車輛1。
參照圖19A，正在車輛1901前面異常地行駛的另一車輛1902正從主車道1910前往第一支路車道1921。處理器570可以基於從感測單元160提供的有關另一車輛1902的移動的信息來判斷另一車輛1902正進入第一支路車道1921和第二支路車道1922當中的第一支路車道1921。
圖19B是例示了根據本發明的一個實施方式的在圖19A所例示的情形下輸出給駕駛員的一個示例性引導圖像1930的視圖。引導圖像1930是用於指導為了避開另一車輛1902所需的車輛1901的操作或駕駛員的行為的圖像，並且可以被顯示在顯示單元580或安裝在車輛1901內部的顯示單元141上。
參照圖19B，引導圖像1930可以包括路線引導圖像1940。在一個示例中，路線引導圖像1940可以包括指示車輛1901的指示符1941、指示針對先前輸入的目的地的當前查找的路線的指示符1951以及指示新路徑以避開另一車輛1902的指示符1952。
另外，引導圖像1930可以包括用於接收用於同意路線改變的用戶輸入的圖標1961以及用於接收用戶拒絕路線改變的輸入的圖標1971。當車輛1901的駕駛員經由例如觸摸選擇圖標1961時，處理器570可以刪除當前查找的路線，並且可以設定由指示符1952指示的新路線。當車輛1901處於自主行駛模式時，處理器570可以控制車輛1901的轉向、減速和加速中的至少一個以便遵循由指示符1952指示的新路徑。
圖20A是例示了根據本發明的一個實施方式的被判斷為危險車輛的另一車輛2002正在車輛2001附近行駛的情形的視圖。
圖20A是包括左車道2011、中心車道2012和右車道2013的道路的俯視圖。車輛2001、第一其它車輛2002和第二其它車輛2003中的全部正在中心車道2012中行駛。
為了描述的方便，假定了駕駛員輔助設備500被包括在車輛2001中，車輛2001對應於圖1所例示的車輛1，並且第一其它車輛2002被判斷為危險車輛。
在這種情況下，車輛2001可以經由車輛間通信向外發送有關第一其它車輛2002的移動的信息。有關第一其它車輛2002的移動的信息由車輛2001的感測單元160獲取，並且可以被實時地或者周期性地發送到位於車輛間通信可能的範圍C內的至少一個其它車輛。
第二其它車輛2003落入車輛間通信可能的範圍C內，並且可以接收從車輛2001發送的有關第一其它車輛2002的移動的信息。因此，第二其它車輛2003可以識別並且前攝地對被車輛2001隱藏並因此不可見的第一其它車輛2002的行駛模式做出響應。
圖20B是例示了根據本發明的一個實施方式的車輛在圖20A所例示的情形下的外觀的視圖。
參照圖20B，耦接至處理器570的顯示器2010可以被放置在車輛2001的一個側面處。例如，如所例示，顯示器2010可以被安裝在車輛2001的後窗的區域中。顯示器2010可以被包括在圖3A、圖3B和圖3C所例示的顯示單元580或者圖7所例示的顯示單元141中的任何一個中。
處理器570可以產生指示第一其它車輛2002正在車輛2001前面行駛的引導消息，以便向在車輛2001附近的其它車輛通知第一其它車輛2002的存在，並且此後如圖20B所例示將引導消息顯示在顯示器2010上。也就是說，有關第一其它車輛2002的信息被顯示在顯示器2010上，使得能夠從外部檢查它。
因此，即使車輛間通信是不可能的也可以通過檢查顯示在顯示器2010上的引導消息來使得正在車輛2001後面行駛的第二其它車輛2002的駕駛員知道正在車輛2001前面異常地行駛的車輛的存在。
圖21A、圖21B和圖21C是例示了根據本發明的一個實施方式的被判斷為危險車輛的其它車輛2102、2103和2104正在車輛2101附近行駛的情形的視圖。具體地，圖21A、圖21B和圖21C是包括左車道2111、中心車道2112和右車道2113的道路的俯視圖。為了描述的方便，假定了駕駛員輔助設備500被包括在車輛2101中，並且車輛2101對應於圖1所例示的車輛1。
首先，參照圖21A，另一車輛2102正在車輛2101前面行駛，並且處理器570可以基於從感測單元160提供的感測信號來判斷另一車輛2102當前位於車輛2101前面。
如圖3所例示，車輛2101可以被提供有相機301、302、303和304。這時，相機301可以具有第一視角S1，相機302可以具有第二視角S2，相機303可以具有第三視角S3，並且相機304可以具有第四視角S4。有關相應的相機301、302、303和304的布置位置和視角的信息可以被預存儲在處理器570或存儲器540中。
位於車輛2101前面的另一車輛2102被包括在相機301的視角S1中，但是未被包括在其它三個相機302、303和304的視角中。在圖21A的情形下，處理器570可以關掉三個相機302、303和304，並且僅激活相機301。因此，另一車輛2102在由相機301形成的行駛圖像中可見，並且處理器570可以將來自由相機301形成的行駛圖像當中的由另一車輛2102可見的行駛圖像存儲在存儲器540中定義的單獨的存儲空間中。
接下來，參照圖21B，與圖21A不同，另一車輛2103正在車輛2101的右側行駛並且被定位為與車輛2101平行，並且處理器570可以基於從感測單元160提供的感測信號來判斷另一車輛2103當前位於車輛2101右邊。
在這種情況下，位於車輛2101右邊的另一車輛2103被包括在相機303的視角S3中，但是未被包括在其它三個相機301、302和304的視角中。在圖21B的情形下，處理器570可以關掉三個相機301、302和304，並且僅激活相機303。因此，另一車輛2103在由相機303形成的行駛圖像中可見，並且處理器570可以將來自由相機303形成的行駛圖像當中的由另一車輛2103可見的行駛圖像存儲在存儲器540中定義的單獨的存儲空間中。
接下來，參照圖21C，另一車輛2104正在右車道2113中行駛，並且處理器570可以基於從感測單元160提供的感測信號來判斷另一車輛2104當前位於車輛2101右前側。
在這種情況下，另一車輛2104被包括在相機301的視角S1以及相機303的視角S3中，但是未被包括在其它兩個相機302和304的視角中。在圖21C的情形下，處理器570可以關掉兩個相機302和304並且僅激活其它兩個相機301和303。因此，另一車輛2104在由兩個相機301和303形成的行駛圖像中可見，並且處理器570可以將來自由兩個相機301和303形成的行駛圖像當中的另一車輛2104可見的行駛圖像存儲在存儲器540中定義的單獨的存儲空間中。
如圖21A、圖21B和圖21C示例性地例示的，處理器570可以從相機當中選擇性地僅激活能夠捕獲被判斷為危險車輛的其它車輛的圖像的相機，這使得能實現記錄行駛圖像所需的存儲空間的高效使用。
圖22是例示了根據本發明的一個實施方式的提供給駕駛員的一系列用戶界面的一個示例的視圖。圖22所例示的該系列用戶界面2210、2220和2230可以由處理器570以圖像的形式產生以協助用戶搜索或者重放記錄的行駛圖像當中的特定行駛圖像，並且此後被顯示在顯示單元580或安裝在車輛1901內部的顯示單元141上。
用戶界面2210包括由圖21A、圖21B和圖21C所例示的多個相機195、196、197和198中的至少一個所獲取的圖像的類別2211、2212和2213，並且此後被記錄在存儲器540中。例如，當類別2211被選擇時，可以提供在一般行駛期間捕獲的100個圖像的列表。當類別2212被選擇時，可以提供在停車期間捕獲的31個圖像的列表。當類別2213被選擇時，可以提供危險車輛可見的7個圖像的列表。
當用戶界面2210的類別2213被選擇時，處理器570可以顯示包括對應於危險車輛可見的7個圖像的7個圖標2221、2222、2223、2224、2225、2226和2227的用戶界面2220。另外，用戶界面2220可以包括搜索圖標2228。駕駛員可以選擇搜索圖標2228，並且此後輸入與用戶想要查找的圖像有關的信息，以便搜索特定圖像。
當用戶界面2220的任何一個圖標2225被選擇時，處理器570可以提供用戶界面2230。用戶界面2230可以包括其中顯示有與圖標2225有關的圖像的重放畫面的重放窗口2231以及多個圖標2232、2233和2234。另外，可以在用戶界面2230的區域中顯示與重放窗口2231中顯示的圖像有關的各條信息。例如，可以顯示所對應的圖像的記錄日期和記錄時間以及危險車輛2232的牌照號碼。
另外，駕駛員可以選擇圖標2241以將危險車輛2232報告給警察。另外，駕駛員可以選擇圖標2242以向預註冊的可攜式終端發送正在用戶界面2230中重放的圖像。另外，駕駛員可以選擇圖標2243以從存儲器540中永久地刪除正在用戶界面2230中重放的圖像。
如從以上描述顯而易見的，根據本發明的駕駛員輔助設備的效果及其操作方法如下。
通過本發明的實施方式中的至少一個，作為基於在車輛附近的至少一個另一車輛的移動來判斷另一車輛是否是危險車輛並且給駕駛員提供與判斷的結果有關的通知的結果，能夠減少駕駛員的憂慮並且協助駕駛員適當地操作車輛。
另外，通過本發明的實施方式中的至少一個，作為基於正在危險行駛的另一車輛的行駛圖像自動地控制在自主行駛模式下行駛的車輛的轉向、減速和加速中的至少一個的結果，能夠防止與另一車輛的碰撞。
另外，通過本發明的實施方式中的至少一個，作為在外部提供與正在危險行駛的另一車輛有關的信息的信息，能夠增加其它車輛的安全性。
本發明的效果應該不限於前述效果，並且其它未提及的效果將由本領域技術人員從權利要求清楚地理解。
如上所述的本發明的實施方式不限於僅經由設備和方法來實現，並且可以經由實現與本發明的各個實施方式的配置對應的功能的程序或記錄有該程序的記錄介質來實現。這個實施方式將由本發明的技術人員根據實施方式的以上描述容易地實現。
另外，應該容易地理解，本發明不限於附圖和以上所描述的實施方式。相反，能夠修改本發明以併入至今未描述但是與本發明的精神和範圍匹配的任何數量的變化、變更、替換或等效布置。因此，本發明將不被視為受實施方式和附圖的前面描述限制，並且實施方式中的一些或全部可以彼此選擇性地組合以實現各種變更。
相關申請的交叉引用
本申請要求於2015年8月3日在韓國知識產權局提交的韓國專利申請第10-2015-0109599號的優先權權益，通過引用將其公開內容併入本文。