基於計算機視覺的誤將油門當剎車錯誤操作防止裝置的製作方法

2023-07-05 16:27:36

專利名稱：基於計算機視覺的誤將油門當剎車錯誤操作防止裝置的製作方法
技術領域：
本發明涉及一種車輛安全駕駛裝置，屬於嵌入式系統、計算機視覺、傳感器技術、 車輛剎車和油門驅動裝置在車輛安全駕駛方面的應用，主要用於防止駕駛員將油門當剎車 等誤操作。
背景技術：
在解決駕駛員將油門當剎車誤操作問題方面，從駕駛周圍環境以及車輛的當前狀 態分析駕駛員的狀態與駕駛意圖，從車輛、環境、駕駛員三者關係的角度解決油門當剎車誤 操作問題，保證車輛不因駕駛員誤踩油門而引發的交通事故。計算機視覺將成為智能車輛環境感知系統中最重要的組成部分，計算機視覺能夠 提供幾乎全部駕駛員所需要的駕駛信息，對智能車輛具有十分重要的意義。通過前向攝像 裝置進行圖像分析可以檢測車輛對車道線的偏離、車輛前方的行人、自車輛與前方車輛的 間距，當圖像分析檢測出異常狀況時，如偏離車道線、突然出現行人、前方車輛距離過於接 近，應及時發出聲音提醒駕駛員採取措施，尤其是要有效地防止駕駛員誤踩油門事件的發 生。目前在防止駕駛員將油門當剎車誤操作方面已有很多專利公開和授權，歸納起 來，這些專利技術主要是從剎車踏板和油門踏板的作用時間(包括加速度)、作用力的大小 等來區分是剎車操作還是油門操作，這些技術都嘗試用駕駛操作動作來推斷駕駛意圖；有 些專利技術通過剎車踏板和油門踏板的連鎖機構以達到在誤踩油門時仍能進行剎車；這些 技術雖然能克服一些將油門當剎車誤操作，但是在駕駛過程中駕駛員真正猛踩油門的情況 並非不會發生，如果將需要猛踩油門時當作誤踩油門的情況那麼也是一種非常大的駕駛危 險，顯然這些技術都存在著不能有效區分駕駛意圖和駕駛動作的問題；由於這些檢測需要 剎車等駕駛意圖的手段不直接，可能會對正常的駕駛帶來一些風險，如可能會造成變道失 敗、超車失敗、變道+剎車、超車+剎車等問題所帶來的一種新的駕駛風險；上述的這些發明 中由於沒有考慮道路環境因素，而是從簡單的剎車踏板和油門踏板動作時間和動作力的大 小的關係來識別將油門當剎車誤操作的行為必定會產生新的問題，這是因為在剎車踏板和 油門踏板動作時間和動作力的大小的關係中也包含著正常駕駛操作行為。綜上所述，目前 的將油門當剎車誤操作的檢測技術還不能有效的解決駕駛意圖和駕駛行為一致性問題，而 且還會帶來其他一些駕駛風險。從根本上來說，油門當剎車誤操作是駕駛員的駕駛意圖和駕駛行為出現了不一 致；因此要根本解決油門當剎車誤操作問題必須從車輛、環境、駕駛員三者關係著手，至少 必須考慮車輛運行情況與道路環境之間的關係，從中識別出哪些是正常的駕駛操作行為， 哪些是誤操作行為，保證駕駛意圖和駕駛行為的一致性；其關鍵是要準確地檢測出車輛前 方的障礙物對象和該對象與車輛的距離，在檢測道路上的行人或者周圍車輛等障礙物方 面，目前主要有雷達、雷射和超聲波等檢測方式；但是這些檢測方式只能檢測出在某一特定 方向上存在者障礙物對象，不能識別道路的形狀以及道路與障礙物對象之間的位置關係，因此採用上述檢測方式由於對象物體的信息不充分會導致檢測失效或者誤檢測。基於視頻的車輛安全駕駛輔助系統由於概念清晰、技術先進、費用較低、無需對原 有車輛內部結構進行任何改動，具有很好的應用前景；尤其是隨著攝像機和嵌入式計算機 製造成本的下降，智能車輛環境感知技術將擔負起「監視」駕駛員、監控路況等重要職責；其 關鍵技術為視頻障礙物檢測技術和車道線識別技術。如何實現高效準確地從車輛的運行狀態和道路環境中把握駕駛員的駕駛意圖是 本發明的關鍵點，發現駕駛行為與駕駛意圖不一致時能有效制止和糾正錯誤駕駛行為；但 是駕駛員的駕駛意圖非常難以直接檢測獲得，通過車輛狀態和道路環境狀態來推斷檢測駕 駛員的駕駛意圖是一種有效可靠手段，它不僅可以比較客觀地推斷出駕駛員的駕駛意圖， 同時也可以有效地防止駕駛員錯誤的駕駛意圖以及由於駕駛員未察覺車輛駕駛風險而未 採取任何預防措施的駕駛行為；對於檢測油門當剎車誤操作這種駕駛行為與駕駛意圖不一 致情況，需要從道路環境狀態和車輛的運行狀態來進行判斷，隨著攝像裝置、嵌入式系統、 計算機視覺等技術的發展，為誤將油門當剎車等錯誤操作防止方法奠定了堅實的技術基 石出。

發明內容
為了克服已有在檢測油門當剎車誤操作這種駕駛行為與駕駛意圖不一致情況時 不能準確區分、控制效果差的不足，本發明提供一種高效準確地從車輛的運行狀態和道路 環境中把握駕駛員的駕駛意圖的、有效地防止駕駛員錯誤的駕駛意圖以及由於駕駛員未察 覺車輛駕駛風險而未採取任何預防措施的駕駛行為的基於計算機視覺的誤將油門當剎車 錯誤操作防止裝置。本發明解決其技術問題所採用的技術方案是一種基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，所述防止裝置包括外 殼、視覺傳感器、嵌入式系統、車輛測速單元、車輛駕駛轉角測量單元、測距單元、聲音報警 單元、油門控制單元、剎車控制單元和供電單元；用於捕獲車輛前方道路的視頻圖像的視覺 傳感器固定在車輛的駕駛座位的右上方，所述的嵌入式系統、聲音報警單元和供電單元分 別固定在外殼內，所述視覺傳感器、車輛測速單元、車輛駕駛轉角測量單元、測距單元、油門 控制單元、剎車控制單元均與所述嵌入式系統連接，所述的嵌入式系統用於讀取車輛的行 駛速度、車輛方向盤轉角和車輛前方道路的視頻信息，用於估算前方道路上的障礙物距離， 並根據障礙物距離、車輛方向盤轉角以及車輛的速度計算駕駛風險係數和駕駛風險變化趨 勢量，根據駕駛風險係數和駕駛風險變化趨勢量作出相應的駕駛決策，根據所述的駕駛決 策控制所述的聲音報警單元發出駕駛警告聲，根據所述的駕駛決策控制所述的油門控制單 元允許駕駛員踩踏油門的動作有效性，根據所述的駕駛決策控制所述的剎車控制單元控制 車輛的自動剎車。作為優選的一種方案所述的車輛測速單元用於獲得車輛的行駛速度，所述的車 輛駕駛轉角測量單元用於獲得車輛方向盤的轉角，所述的剎車控制單元用於自動控制剎車 踏板動作，所述的油門控制單元用於禁止油門踏板動作，所述的測距單元用於檢測車輛前 方道路上的障礙物與車輛之間的距離，採用超聲波測距模塊；所述的視覺傳感器裝在車輛前部上方，負責拍攝車輛行駛前方的道路環境，通過USB接口與嵌入式系統連接，將採集的視頻圖像傳至給所述的圖像處理與識別模塊；所述 的車速傳感器用於採集行駛過程中的車輛速度數據，通過A/D接口與嵌入式系統連接，經 過處理後傳送給所述的判斷分析模塊；所述的超聲波測距單元用於檢測車輛前方道路上 的障礙物距離，採用市售的MSP430超聲波測距模塊，通過串行口與嵌入式系統連接；所述 的方向盤轉動傳感器用於檢測駕駛員的駕駛方向盤的動作，通過A/D接口與嵌入式系統連 接。進一步，所述的嵌入式系統包括嵌入式系統硬體和嵌入式系統軟體；所述的嵌入式系統硬體包括微處理器、GPIO接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH 禾口 電源；所述的嵌入式系統軟體包括環境信息採集模塊、圖像處理與識別模塊和判斷分析 模塊；所述的圖像處理與識別模塊，用於接收環境信息採集模塊送來的視頻圖像，通過去除噪聲、圖像分割、邊緣檢測圖像處理方法，去掉不相關背景，得到道路邊緣、前方車輛邊 緣輪廓和障礙物邊緣輪廓等圖像信息；通過模式識別方式對道路及道路標線進行識別，確 定道路標線在整幅圖像中的位置坐標及本車在道路中的位置；對前方車輛輪廓進行識別， 確定前車輪廓尺寸及其在平面圖像中的位置；對前方障礙物邊緣輪廓進行識別，確認該障 礙物輪廓尺寸及其在平面圖像中的位置，然後將處理結果傳送給所述的判斷分析模塊；所述的判斷分析模塊，用於根據所述的視覺傳感器在車輛上安裝的空間位置建立 模型，將道路標線在平面圖像中的位置坐標轉換為實際空間中與本車的相對位置以檢查車 輛是否在車道中正常行駛、車輛是否違章越線行駛、前方車輛的距離和前方障礙物的距離； 利用系列圖像的道路標線計算車輛相對於道路標線的運動軌跡；根據車輛運動軌跡分析駕 駛員是否處於正常行駛狀態，利用系列圖像中前車輪廓大小的變化以及本車的車速與超聲 波測距相結合分析計算本車與前車的距離，判定是否有追尾碰撞的危險傾向；分析計算本 車與前方障礙物的距離，判定是否有駕駛風險；誤將油門當剎車錯誤操作的判斷過程對於誤將油門當剎車錯誤操作，駕駛風險 係數δ根據車輛的最短剎車距離Sb和障礙物距離Stj的比來進行判斷的；當障礙物距離Stj 等於車輛的最短剎車距離Sb時，需要採取剎車措施；車輛的最短剎車距離Sb取決於輪胎與 地面之間的摩擦力，摩擦力的大小取決於摩擦係數，假設摩擦係數為μ，車輛的最短剎車距 離Sb由公式⑴進行計算；Sb = V2/2g μ (1)式(1)中，Sb為車輛的最短剎車距離，V為車輛的速度，g為重力加速度，μ為輪 胎與地面之間的摩擦係數；車輛的速度V是通過讀取所述的車速傳感器的車輛速度數據獲 得的；所述的駕駛風險係數δ (t)由公式⑵進行計算；δ (t) = SB/S0 (2)式(2)中，Sb為在某一速度情況下的車輛最短剎車距離，S0為車輛前端與障礙物 的距離，S (t)為t時刻的駕駛風險係數；δ (t) = 1為駕駛風險閾值點，δ (t) 1為駕駛風險不可控區域；車輛前端與障礙物的距離Stj是通過在 所述的圖像處理與識別模塊中估算得到的障礙物對象距離以及所述的超聲波測距單元所獲得的障礙物距離數據來得到。再進一步，所述的判斷分析模塊中，設定反應駕駛風險變化趨勢量I描述駕駛的 危險程度；在相同駕駛風險係數S (t)情況下，如果駕駛風險變化趨勢量I (t)增大，其駕 駛危險程度在增大；反之，駕駛危險程度在減小；所述的駕駛風險變化趨勢量I (t)由公式 (3)進行計算；ξ(t) = 8 (t)-8 (t-1) (3)式(3)中，S⑴為t時刻的駕駛風險係數，8 (t-1)為t-1時刻的駕駛風險係數， € (t)為t時刻的駕駛風險變化趨勢量；I (t) > 0表示駕駛風險在增大，€ (t) < 0表示 駕駛風險在減小。更進一步，採用駕駛風險係數8 (t)和駕駛風險變化趨勢量I (t)兩個指標來綜 合判斷駕駛風險和得到相關的駕駛決策，所述的駕駛決策為駕駛員的正確駕駛意圖；用判 斷的駕駛決策來檢驗駕駛員的駕駛意圖是否正確以及駕駛行為是否正確，用表1來歸納在 沒有駕駛盤轉動情況下的駕駛決策； 表 1油門當剎車誤操作情況往往發生在表1中的V、VI、VII類中，在該三類情況中第 VI類情況最危險，正確的駕駛決策是減速、剎車；如果駕駛員的駕駛意圖是減速、剎車，駕 駛動作是踩剎車踏板，那麼駕駛意圖和駕駛動作是一致的；如果駕駛員的駕駛意圖是減速、 剎車，而駕駛動作是踩油門踏板，那麼駕駛意圖和駕駛動作是不一致的；對於第VI類情況， 基於計算機視覺的誤將油門當剎車錯誤操作防止裝置就作出禁止油門踏板和自動剎車的 判斷和動作，使得駕駛員踩油門踏板無效同時對車輛自動進行剎車。所述的嵌入式系統軟體還包括存儲和預警模塊，用於存儲違章行駛圖像，用判斷的駕駛決策的結果向駕駛員進行語音警示，同時駕駛決策作出後的前方道路視頻圖像存於 存儲器中。所述的嵌入式系統軟體還包括自動控制動作模塊，用於在車輛處於極度危險情況 下，自動控制車輛的油門踏板和剎車踏板，控制油門踏板和剎車踏板規則由表1所示，所述 的自動控制動作模塊有兩個輸出，一個輸出是車輛的油門踏板控制，另一個輸出是車輛的 剎車踏板控制。在油門踏板的連杆上增添一個鎖緊機構，當所述的判斷分析模塊作出禁止油門踏 板的決策後，銷釘彈出頂入油門連杆的孔內，即使駕駛員踩踏油門踏板，由於銷釘限制了油 門連杆迴繞著轉軸的運動，油門的電子位移感應器不會動作，從而油門也不能打開，銷釘彈 出控制是通過控制繼電器得電使得電磁鐵銜鐵動作來實現的。車輛的剎車機構上增添一個自動剎車控制機構，當所述的判斷分析模塊作出自動 剎車的決策後，控制繼電器得電閉合使得電磁迴路導通，電磁鐵線圈得電產生磁場，裝在剎 車的踏板連杆上的電磁鐵銜鐵動作拉動剎車機構緊急剎車。所述的障礙物距離SO的檢測由雷達、雷射或超聲波技術實現，將雷達、雷射或者 超聲波障礙物距離檢測設備安置在車輛的正前方，以獲得在車輛行駛方向上的各種障礙物 距離SO。本發明的有益效果主要表現在(1)解決了駕駛意圖與駕駛動作的不一致問題， 能有效防止誤將油門當剎車等錯誤操作；(2)對於在危險情況下，當駕駛員的沒有及時反 映判斷、誤判斷時，裝置能自動糾正駕駛員的錯誤，避免重大交通事故的發生；(3)在判斷 分析駕駛風險中，採用多級量化的評判方式，根據不同的風險度作出相對應的駕駛決策； (4)不改變車輛的原有的結構和駕駛習慣，只是在原車輛的基礎上增加一些新的功能，具有 實施方便；(5)對於車輛處於危險情況下的自動錄像功能，使得車輛具有了黑匣子的功能， 為事故調查以及保險理賠提供了有效數據；(6)為今後的無人駕駛提供了技術基礎。


圖1為車輛行駛過程中前方道路視頻圖像。圖2為車輛的頂視圖以及視覺傳感器的視覺範圍。圖3為車輛、行人之間距離關係的側視圖以及視覺傳感器的視覺範圍。圖4為嵌入式系統的構成框圖。圖5為車輛的剎車踏板機構的示意圖。圖6為車輛的油門踏板機構的示意圖。
具體實施例方式下面結合附圖對本發明作進一步描述。實施例1參照圖1 圖6，一種基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，包 括視覺傳感器、嵌入式系統、車輛測速單元、車輛駕駛轉角測量單元、測距單元、聲音報警單 元、油門控制單元、剎車控制單元和供電單元；所述的視覺傳感器固定在車輛的駕駛座位的 右上方，用於捕獲車輛前方道路的視頻圖像，如附圖2所示；所述的嵌入式系統、聲音報警單元和供電單元分別固定在基於計算機視覺的誤將油門當剎車等錯誤操作防止裝置的外 殼內，所述的嵌入式系統用於讀取車輛的行駛速度、車輛方向盤轉角和車輛前方道路的視 頻信息，用於估算前方道路上的障礙物距離，並根據障礙物距離、車輛方向盤轉角以及車輛 的速度計算駕駛風險係數和駕駛風險變化趨勢量，根據駕駛風險係數和駕駛風險變化趨勢 量作出相應的駕駛決策，根據所述的駕駛決策控制所述的聲音報警單元發出駕駛警告聲， 根據所述的駕駛決策控制所述的油門控制單元允許駕駛員踩踏油門的動作有效性，根據所 述的駕駛決策控制所述的剎車控制單元控制車輛的自動剎車；所述的車輛測速單元用於獲 得車輛的行駛速度，是利用車輛中已有的速度傳感器；所述的車輛駕駛轉角測量單元用於 獲得車輛方向盤的轉角，是利用車輛中已有的轉角傳感器；所述的剎車控制單元用於自動 控制剎車踏板動作；所述的油門控制單元用於禁止油門踏板動作；所述的測距單元用於檢 測車輛前方道路上的障礙物與車輛之間的距離，採用超聲波測距模塊；所述的嵌入式系統包括嵌入式系統硬體和嵌入式系統軟體；所述的嵌入式系統硬體包括微處理器、GPI0接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH、電源等；本發明採用的SBC-2410X嵌入式系統是基於ARM9的嵌入式開 發平臺，內部帶有全性能的MMU (內存處理單元)，處理能力強，主頻最高可達266M ；具有32 位的數據總線，存儲容量大，包括1M容量的Nor Flash、64M容量的Nand Flash以及64M的 SDRAM。接口和資源豐富，包括一個10M的乙太網RJ-45接口，一個串行口，USB接口，JTAG 接口，36針腳的GPI0接口等，如附圖4所示；所述的嵌入式系統軟體包括環境信息採集模塊、圖像處理與識別模塊、判斷分析 模塊、存儲和預警模塊和自動控制動作模塊；車輛、道路環境和駕駛員的操作動作等信息是由所述的視覺傳感器、所述的車輛 測速單元、所述的車輛駕駛轉角測量單元和所述的測距單元獲得的，所述的視覺傳感器裝 在車輛前部上方，負責拍攝車輛行駛前方的道路環境，通過USB接口與嵌入式系統連接，將 採集的視頻圖像傳至給所述的圖像處理與識別模塊；所述的車速傳感器用於採集行駛過程 中的車輛速度數據，通過A/D接口與嵌入式系統連接，經過處理後傳送給所述的判斷分析 模塊；所述的超聲波測距單元用於檢測車輛前方道路上的障礙物距離，採用市售的MSP430 超聲波測距模塊，通過串行口與嵌入式系統連接；所述的方向盤轉動傳感器用於檢測駕駛 員的駕駛方向盤的動作，通過A/D接口與嵌入式系統連接；所述的圖像處理與識別模塊用於接收環境信息採集模塊送來的視頻圖像，通過去 除噪聲、圖像分割、邊緣檢測等圖像處理方法，去掉不相關背景，得到道路邊緣、前方車輛邊 緣輪廓和障礙物邊緣輪廓等圖像信息；通過模式識別方式對道路及道路標線進行識別，確 定道路標線在整幅圖像中的位置坐標及本車在道路中的位置；對前方車輛輪廓進行識別， 確定前車輪廓尺寸及其在平面圖像中的位置；對前方障礙物邊緣輪廓進行識別，確認該障 礙物輪廓尺寸及其在平面圖像中的位置，然後將這些處理結果傳送給所述的判斷分析模 塊；所述的判斷分析模塊根據所述的視覺傳感器在車輛上安裝的空間位置建立模型， 將道路標線在平面圖像中的位置坐標轉換為實際空間中與本車的相對位置以檢查車輛是 否在車道中正常行駛、車輛是否違章越線行駛、前方車輛的距離和前方障礙物的距離；利用 系列圖像的道路標線計算車輛相對於道路標線的運動軌跡；根據車輛運動軌跡分析駕駛員是否處於正常行駛狀態，利用系列圖像中前車輪廓大小的變化以及本車的車速與超聲波測 距相結合分析計算本車與前車的距離，判定是否有追尾碰撞的危險傾向；分析計算本車與 前方障礙物的距離，判定是否有駕駛風險；本發明中，在所述的判斷分析模塊最核心的判斷分析是誤將油門當剎車等錯誤操 作的判斷；對於誤將油門當剎車等錯誤操作，駕駛風險係數S主要根據車輛的最短剎車距 離SB和障礙物距離&的比來進行判斷的，如附圖3所示；一股來說當障礙物距離&接近或 等於車輛的最短剎車距離SB時，就需要採取剎車措施；車輛的最短剎車距離SB主要取決於 輪胎與地面之間的摩擦力，摩擦力的大小取決於摩擦係數，假設摩擦係數為P，道路的摩擦 係數一股0. 8左右，車輛的最短剎車距離SB由公式(1)進行計算；SB = V2/2g U (1)式(1)中，SB為車輛的最短剎車距離，V為車輛的速度，g為重力加速度，P為輪 胎與地面之間的摩擦係數；所述的駕駛風險係數8 (t)由公式(2)進行計算；6 (t) = SB/S。 (2)式(2)中，SB為在某一速度情況下的車輛最短剎車距離，S0為車輛前端與障礙物 的距離，S (t)為t時刻的駕駛風險係數；S (t) = 1為駕駛風險閾值點，S (t) 1為駕駛風險不可控區域；由於駕駛過程中，道路狀態和車輛狀態都在不斷的變化，駕駛危險情況也是在動 態變化的；因此，僅僅用駕駛風險係數8 (t)這樣一個量來描述駕駛的危險程度還不夠充 分，還需要引入一個能反應駕駛風險變化趨勢量I來更客觀的描述駕駛的危險程度；一股 來說，在相同駕駛風險係數S (t)情況下，如果駕駛風險變化趨勢量I (t)增大，其駕駛危 險程度在增大；反之，駕駛危險程度在減小；所述的駕駛風險變化趨勢量I (t)由公式(3) 進行計算；^ (t) = 8 (t)-8 (t-1) (3)式(3)中，S⑴為t時刻的駕駛風險係數，8 (t-1)為t-1時刻的駕駛風險係數， € (t)為t時刻的駕駛風險變化趨勢量；I (t) > 0表示駕駛風險在增大，€ (t) < 0表示 駕駛風險在減小；本發明中，採用駕駛風險係數8 (t)和駕駛風險變化趨勢量I (t)這兩個指標來 綜合判斷駕駛風險和得到相關的駕駛決策，所述的駕駛決策類似於駕駛員的正確駕駛意 圖；本發明用「判斷的駕駛決策與駕駛行為是否一致」檢測問題來替代「駕駛意圖與與駕駛 行為是否一致」檢測問題，以解決油門當剎車誤操作的檢測問題；同時用判斷的駕駛決策來 檢驗駕駛員的駕駛意圖是否正確以及駕駛行為是否正確，用表1來歸納在沒有駕駛盤轉動 情況下的駕駛決策； 表 1油門當剎車誤操作情況往往發生在表1中的V、VI、VII類中，在這三類情況中第 VI類情況最危險，正確的駕駛決策是減速、剎車；如果駕駛員的駕駛意圖是減速、剎車，駕 駛動作是踩剎車踏板，那麼駕駛意圖和駕駛動作是一致的；如果駕駛員的駕駛意圖是減速、 剎車，而駕駛動作是踩油門踏板，那麼駕駛意圖和駕駛動作是不一致的；對於第VI類情況， 基於計算機視覺的誤將油門當剎車等錯誤操作防止裝置就作出禁止油門踏板和自動剎車 的判斷和動作，使得駕駛員踩油門踏板無效同時對車輛自動進行剎車；所述的障礙物距離Stj的檢測可以由雷達、雷射和超聲波等技術實現，將雷達、激 光和超聲波等檢測設備安置在車輛的正前方，以獲得在車輛行駛方向上的各種障礙物距離 Stj，本發明中採用超聲波測距方式來實現的；另一種檢測障礙物距離Stj的手段是通過計算機視覺的方式來實現，即通過視覺傳 感器所獲得的車輛前方道路圖像的圖像處理分析手段得到的，首先要從圖像中分析得到障 礙物對象，然後根據標定估算該障礙物對象物體離車輛的距離；由於一股的視覺傳感器只 能獲取平面視頻圖像，即難以直接獲得障礙物的深度信息；解決方式有兩種，其一是採用雙 目視覺，即通過雙目視覺差來得到障礙物的深度信息；其二是採用視覺傳感器與超聲波測 距相結合的方式，本發明中採用第二種方式進行估算障礙物距離，附圖1為通過圖像處理 分析手段所獲得的車輛前方障礙物視頻圖像；所述的圖像處理分析手段，主要是通過邊緣檢測算法來實現的，障礙物對象的邊 界是描述障礙物特徵的一類非常重要的描述子，這些邊界可能在成像過程中產生邊緣信 息。邊緣是指在其周圍像素灰度有明顯變化的那些像素的組合。邊緣是具有幅值和方向的 矢量，其在圖像中表現為灰度的突變。邊緣檢測就是要檢測出圖像中這種灰度的非連續性。目前對邊緣檢測有幾種方法可以選擇，由於在本專利中期望得到的是障礙物對象 的邊緣，而對邊緣輪轂的完整性以及光滑性要求不高，因此在本發明中採用其中的計算簡單、運算速度快的經典邊緣檢測方法_微分算子法，該方法依靠對圖像進行微分運算求得 梯度來進行邊緣檢測，主要從邊緣點往往對應於一階微分幅值大的點，同時也對應於二階 微分的零交叉點出發，設計一些一階或二階微分算子，求得其梯度或二階導數過零點，再選 擇一定的閾值提取邊界。所述的邊緣檢測方法大致上可以分為以下四個步驟①濾波邊緣檢測算法主要是基於圖像強度的一階導數和二階導數，但導數的計 算對噪聲很敏感，因此必須使用濾波器來改善與噪聲有關的邊緣檢測方法的性能。需要指 出，大多數濾波器在降低噪聲的同時也導致了邊緣強度的損失。因此邊緣增強和降低圖像 噪聲之間需要取得一種平衡。②增強增強邊緣的基礎是確定圖像中各點鄰域強度的變化值。增強算法可以突 出鄰域強度值有顯著變化的點。邊緣增強一股是通過計算梯度幅值來完成的。③檢測在圖像中有許多點的梯度幅值比較大，而這些點在特定的情況下並不一 定都是邊緣，所以應該用某種方法來確定那些點是邊緣點。最簡單的邊緣檢測判據是梯度 幅值A值判據。④定位確定邊緣所在的像素，如果要更精確的確定邊緣位置，也可以在子像素分 辨率上來估計邊緣位置，邊緣的方向也可以被估計出來。在本發明中採用索貝爾(Sobel)算子作為邊緣檢測算法，Sobel算子採用3*3大 小的模板，這樣就避免了在像素之間的內插點上計算梯度。Sobel算子用下式計算偏導數Sx = (a2+ca3+a4) - (a0+ca7+a6) (4)Sy = (a0+ca1+a2) _ (a6+ca5+a4)公式中常數c為2，Sobel算子可用以下卷積模板來實現
(5)有了障礙物對象的邊界的像素坐標，通過在整幅圖像中的位置坐標與實際物理坐 標的標定結果，對前方障礙物對象輪廓進行距離估算，得到該障礙物離車輛前端的距離和 方位，然後通過超聲波距離測量單元進行進一步確認；所述的存儲和預警模塊用於存儲違章行駛圖像，用判斷的駕駛決策的結果向駕駛 員進行語音警示，同時駕駛決策作出後的前方道路視頻圖像存於存儲器中，該功能相當於 汽車黑匣子，一旦出現交通事故時供管理部門和交通事故裁決部門調用；所述的自動控制動作模塊用於在車輛處於極度危險情況下，為了防止駕駛員的沒 有及時反映判斷、誤判斷和誤動作，基於計算機視覺的誤將油門當剎車等錯誤操作防止裝 置自動控制車輛的油門踏板和剎車踏板，控制油門踏板和剎車踏板規則由表1所示，所述 的自動控制動作模塊有兩個輸出，一個輸出是車輛的油門踏板控制，另一個輸出是車輛的 剎車踏板控制；所述的車輛的油門踏板控制用於制止駕駛員踩踏油門踏板，具體做法是在油門踏 板的連杆上增添一個鎖緊機構，如附圖6所示，當所述的判斷分析模塊作出禁止油門踏板 的決策後，銷釘9彈出頂入油門連杆7的孔內，這時即使駕駛員踩踏油門踏板6，由於銷釘9 限制了油門連杆7迴繞著轉軸8的運動，油門的電子位移感應器10不會動作，從而油門也不能打開，銷釘9彈出控制是通過控制繼電器得電使得電磁鐵銜鐵動作來實現的，電磁鐵 採用12V或者24V電磁鐵；所述的車輛的剎車踏板控制用於在緊急情況下車輛自動剎車，具體做法是在車輛 的剎車機構上增添一個自動剎車控制機構，如附圖5所示，當所述的判斷分析模塊作出自 動剎車的決策後，控制繼電器4得電閉合使得電磁迴路1導通，這時電磁鐵線圈2得電產生 磁場，裝在剎車的踏板連杆5上的電磁鐵銜鐵3動作拉動剎車機構緊急剎車，電磁鐵採用 12V或者24V電磁鐵。實施例2參照圖1 圖6，本實施例中對前方障礙物的檢測的僅僅採用雷達、雷射和超聲波 等檢測方式中的一種檢測手段，本實施例的其他結構和工作過程均與實施例1相同。實施例3參照圖1 圖6，本實施例中對公式(1)中的摩擦係數P根據路面情況進行修正， 對於沙石路面的摩擦係數P取值為0.65;對於雨天的路面的摩擦係數y取值為0.7;對於 結冰的路面的摩擦係數P取值為0. 45，本實施例的其他結構和工作過程均與實施例1相 同。
權利要求
一種基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其特徵在於所述防止裝置包括外殼、視覺傳感器、嵌入式系統、車輛測速單元、車輛駕駛轉角測量單元、測距單元、聲音報警單元、油門控制單元、剎車控制單元和供電單元；用於捕獲車輛前方道路的視頻圖像的視覺傳感器固定在車輛的駕駛座位的右上方，所述的嵌入式系統、聲音報警單元和供電單元分別固定在外殼內，所述視覺傳感器、車輛測速單元、車輛駕駛轉角測量單元、測距單元、油門控制單元、剎車控制單元均與所述嵌入式系統連接，所述的嵌入式系統用於讀取車輛的行駛速度、車輛方向盤轉角和車輛前方道路的視頻信息，用於估算前方道路上的障礙物距離，並根據障礙物距離、車輛方向盤轉角以及車輛的速度計算駕駛風險係數和駕駛風險變化趨勢量，根據駕駛風險係數和駕駛風險變化趨勢量作出相應的駕駛決策，根據所述的駕駛決策控制所述的聲音報警單元發出駕駛警告聲，根據所述的駕駛決策控制所述的油門控制單元允許駕駛員踩踏油門的動作有效性，根據所述的駕駛決策控制所述的剎車控制單元控制車輛的自動剎車。
2.如權利要求1所述的基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其特徵 在於所述的車輛測速單元用於獲得車輛的行駛速度，所述的車輛駕駛轉角測量單元用於 獲得車輛方向盤的轉角，所述的剎車控制單元用於自動控制剎車踏板動作，所述的油門控 制單元用於禁止油門踏板動作，所述的測距單元用於檢測車輛前方道路上的障礙物與車輛 之間的距離，採用超聲波測距模塊；所述的視覺傳感器裝在車輛前部上方，負責拍攝車輛行駛前方的道路環境，通過USB 接口與嵌入式系統連接，將採集的視頻圖像傳至給所述的圖像處理與識別模塊；所述的車 速傳感器用於採集行駛過程中的車輛速度數據，通過A/D接口與嵌入式系統連接，經過處 理後傳送給所述的判斷分析模塊；所述的超聲波測距單元用於檢測車輛前方道路上的障礙 物距離，採用市售的MSP430超聲波測距模塊，通過串行口與嵌入式系統連接；所述的方向 盤轉動傳感器用於檢測駕駛員的駕駛方向盤的動作，通過A/D接口與嵌入式系統連接。
3.如權利要求1或2所述的基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其 特徵在於所述的嵌入式系統包括嵌入式系統硬體和嵌入式系統軟體；所述的嵌入式系統硬體包括微處理器、GPIO接口、A/D接口、USB接口、串行接口、 SDRAM、NAND FLASH 禾口 電源；所述的嵌入式系統軟體包括環境信息採集模塊、圖像處理與識別模塊和判斷分析模塊；所述的圖像處理與識別模塊，用於接收環境信息採集模塊送來的視頻圖像，通過去除 噪聲、圖像分割、邊緣檢測圖像處理方法，去掉不相關背景，得到道路邊緣、前方車輛邊緣輪 廓和障礙物邊緣輪廓等圖像信息；通過模式識別方式對道路及道路標線進行識別，確定道 路標線在整幅圖像中的位置坐標及本車在道路中的位置；對前方車輛輪廓進行識別，確定 前車輪廓尺寸及其在平面圖像中的位置；對前方障礙物邊緣輪廓進行識別，確認該障礙物 輪廓尺寸及其在平面圖像中的位置，然後將處理結果傳送給所述的判斷分析模塊；所述的判斷分析模塊，用於根據所述的視覺傳感器在車輛上安裝的空間位置建立模 型，將道路標線在平面圖像中的位置坐標轉換為實際空間中與本車的相對位置以檢查車輛 是否在車道中正常行駛、車輛是否違章越線行駛、前方車輛的距離和前方障礙物的距離；利 用系列圖像的道路標線計算車輛相對於道路標線的運動軌跡；根據車輛運動軌跡分析駕駛員是否處於正常行駛狀態，利用系列圖像中前車輪廓大小的變化以及本車的車速與超聲波 測距相結合分析計算本車與前車的距離，判定是否有追尾碰撞的危險傾向；分析計算本車 與前方障礙物的距離，判定是否有駕駛風險；誤將油門當剎車錯誤操作的判斷過程對於誤將油門當剎車錯誤操作，駕駛風險係數 6根據車輛的最短剎車距離SB和障礙物距離&的比來進行判斷的；當障礙物距離&等於 車輛的最短剎車距離SB時，需要採取剎車措施；車輛的最短剎車距離SB取決於輪胎與地面 之間的摩擦力，摩擦力的大小取決於摩擦係數，假設摩擦係數為P，車輛的最短剎車距離SB 由公式(1)進行計算； (1)式(1)中，SB為車輛的最短剎車距離，V為車輛的速度，g為重力加速度，y為輪胎與地 面之間的摩擦係數；車輛的速度V是通過讀取所述的車速傳感器的車輛速度數據獲得的；所述的駕駛風險係數S (t)由公式(2)進行計算； 式(2)中，&為在某一速度情況下的車輛最短剎車距離，&為車輛前端與障礙物的距 離，5⑴為t時刻的駕駛風險係數；S (t) = 1為駕駛風險閾值點，S (t) 1為駕駛風險不可控區域；車輛前端與障礙物的距離&是通過在所述 的圖像處理與識別模塊中估算得到的障礙物對象距離以及所述的超聲波測距單元所獲得 的障礙物距離數據來得到。
4.如權利要求3所述的基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其特徵 在於所述的判斷分析模塊中，設定反應駕駛風險變化趨勢量I描述駕駛的危險程度；在 相同駕駛風險係數S (t)情況下，如果駕駛風險變化趨勢量I (t)增大，其駕駛危險程度 在增大；反之，駕駛危險程度在減小；所述的駕駛風險變化趨勢量I (t)由公式(3)進行計 算； 式(3)中，S (t)為t時刻的駕駛風險係數，6 (t-1)為t-1時刻的駕駛風險係數，I (t) 為t時刻的駕駛風險變化趨勢量；I (t) > 0表示駕駛風險在增大，I (t) < 0表示駕駛風 險在減小。
5.如權利要求4所述的基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其特徵 在於採用駕駛風險係數S (t)和駕駛風險變化趨勢量I (t)兩個指標來綜合判斷駕駛風 險和得到相關的駕駛決策，所述的駕駛決策為駕駛員的正確駕駛意圖；用判斷的駕駛決策 來檢驗駕駛員的駕駛意圖是否正確以及駕駛行為是否正確，用表1來歸納在沒有駕駛盤轉動情況下的駕駛決策； 表1油門當剎車誤操作情況往往發生在表1中的V、VI、VII類中，在該三類情況中第VI類 情況最危險，正確的駕駛決策是減速、剎車；如果駕駛員的駕駛意圖是減速、剎車，駕駛動作 是踩剎車踏板，那麼駕駛意圖和駕駛動作是一致的；如果駕駛員的駕駛意圖是減速、剎車， 而駕駛動作是踩油門踏板，那麼駕駛意圖和駕駛動作是不一致的；對於第VI類情況，基於 計算機視覺的誤將油門當剎車錯誤操作防止裝置就作出禁止油門踏板和自動剎車的判斷 和動作，使得駕駛員踩油門踏板無效同時對車輛自動進行剎車。
6.如權利要求3所述的基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其特徵 在於所述的嵌入式系統軟體還包括存儲和預警模塊，用於存儲違章行駛圖像，用判斷的駕 駛決策的結果向駕駛員進行語音警示，同時駕駛決策作出後的前方道路視頻圖像存於存儲 器中。
7.如權利要求5所述的基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，其特徵 在於所述的嵌入式系統軟體還包括自動控制動作模塊，用於在車輛處於極度危險情況下， 自動控制車輛的油門踏板和剎車踏板，控制油門踏板和剎車踏板規則由表1所示，所述的 自動控制動作模塊有兩個輸出，一個輸出是車輛的油門踏板控制，另一個輸出是車輛的剎 車踏板控制。
8.如權利要求5所述的基於計算機視覺的誤將油門當剎車等錯誤操作防止方法，其特 徵在於在油門踏板的連杆上增添一個鎖緊機構，當所述的判斷分析模塊作出禁止油門踏 板的決策後，銷釘彈出頂入油門連杆的孔內，即使駕駛員踩踏油門踏板，由於銷釘限制了油 門連杆迴繞著轉軸的運動，油門的電子位移感應器不會動作，從而油門也不能打開，銷釘彈 出控制是通過控制繼電器得電使得電磁鐵銜鐵動作來實現的。
9.如權利要求5所述的基於計算機視覺的誤將油門當剎車等錯誤操作防止方法，其特 徵在於車輛的剎車機構上增添一個自動剎車控制機構，當所述的判斷分析模塊作出自動 剎車的決策後，控制繼電器得電閉合使得電磁迴路導通，電磁鐵線圈得電產生磁場，裝在剎 車的踏板連杆上的電磁鐵銜鐵動作拉動剎車機構緊急剎車。
10.如權利要求1所述的基於計算機視覺的誤將油門當剎車等錯誤操作防止方法，其 特徵在於所述的障礙物距離Stj的檢測由雷達、雷射或超聲波技術實現，將雷達、雷射或者 超聲波障礙物距離檢測設備安置在車輛的正前方，以獲得在車輛行駛方向上的各種障礙物 距罔S0O
全文摘要
一種基於計算機視覺的誤將油門當剎車錯誤操作防止裝置，包括視覺傳感器、嵌入式系統、車輛測速單元、車輛駕駛轉角測量單元、測距單元、聲音報警單元、油門控制單元、剎車控制單元和供電單元；嵌入式系統用於讀取車輛的行駛速度、車輛方向盤轉角和車輛前方道路的視頻圖像等信息，用於估算前方道路上的障礙物距離，並根據障礙物距離、車輛方向盤轉角以及車輛的速度計算駕駛風險係數和駕駛風險變化趨勢量。本發明根據駕駛風險係數和駕駛風險變化趨勢量作出相應的駕駛決策，根據駕駛決策控制所述的聲音報警單元發出駕駛警告聲、控制油門控制單元允許駕駛員踩踏油門的動作有效性、控制剎車控制單元控制車輛的自動剎車。
文檔編號G01C11/36GK101875348SQ20101021511
公開日2010年11月3日 申請日期2010年7月1日 優先權日2010年7月1日
發明者俞立, 姚明海, 姜軍, 湯一平, 田旭園 申請人:浙江工業大學