具有前攝像機和後攝像機的穩健的車輛側向控制的製作方法
2023-10-06 14:07:04
專利名稱：具有前攝像機和後攝像機的穩健的車輛側向控制的製作方法
技術領域：
本發明總的來說涉及一種用於車輛的側向控制方法和系統，更具體地，涉及一種用於主車輛的側向控制方法和系統，其使用來自前攝像機和後攝像機的圖像數據、數字地圖、和關於領先車輛的位置的信息來使得能夠閉環控制主車輛的轉向以便跟隨道路參考路線。
背景技術：
許多現代車輛包括用於各種目的的車載攝像機。一個普遍應用是前視攝像機，其可以提供圖像以用在防撞系統、車道偏離警告系統、側向控制系統、或者這些或其它系統的組合中。然而，可能出現阻止從前視攝像機獲得良好的圖像的情況。這些情況包括在近距離處的阻擋大部分攝像機視野的領先車輛、以及使攝像機圖像模糊的低能見度天氣情況，
例如雨和霧。在這些情況下，當不能從前視攝像機獲取可用的圖像時，依賴於攝像機的圖像作為輸入的系統不能運行。同時，許多較新的車輛還裝備有後視攝像機，其通常僅用作備用輔助設備，例如為駕駛員提供視頻圖像以便看見車後(情況)。雖然這些後視攝像機一般具有比用於其它圖像數據採集目的更充足的解析度和視野，但是直到現在它們還沒有被用來為車道位置和側向控制應用補充來自前視攝像機的圖像。這就有機會使用來自後視攝像機的可用的圖像數據，並將其與來自前視攝像機和其它傳感器的圖像數據結合，來提供更加穩健的側向控制系統。得到的雙攝像機系統不僅在正常情況下充分利用更多的輸入數據，而且當情況不利於前視成像時提供可用的圖像數據源以允許系統的運行。
發明內容
根據本發明的教導，公開了一種用於閉環車輛側向控制的方法和系統，其使用來自前和後攝像機的圖像數據、數字地圖、和關於領先車輛的位置信息作為輸入。主車輛包括位於前面和後面處的攝像機，其主要目的之一是可以用於檢測車道邊界例如路邊和車道線。主車輛還包括數字地圖系統和用於檢測行駛在主車輛前的車輛位置的系統。開發一種控制策略，其使主車輛轉向以使主車輛的路線與車道參考路線的偏離最小，其中車道參考路線是由從前和後攝像機圖像及從其它輸入所提取的車道邊界計算的。該控制策略使用前饋和反饋部件，並使用卡爾曼濾波器來估算主車輛的狀態變量。從下邊的描述和隨附權利要求並結合附圖，本發明的額外特徵是顯而易見的。本發明還提供以下技術方案I. 一種用於提供主車輛的側向控制的方法，所述方法包括提供來自主車輛車載的前視攝像機的圖像數據；提供來自主車輛車載的後視攝像機的圖像數據；提供來自數字地圖系統的與主車輛正在行駛的道路有關的數據；
提供來自主車輛車載的領先車輛位置系統的關於領先車輛的數據，其中領先車輛是道路上主車輛前邊的車輛；和通過使用來自前視攝像機和後視攝像機的圖像數據和來自數字地圖系統和領先車輛位置系統的數據，計算為控制主車輛以維持在道路上的路線所需的轉向輸入，並且將所述轉向輸入提供到主車輛中的轉向致動器。2.根據技術方案I的方法，其中，提供來自前視攝像機的圖像數據包括提供主車輛相對於在主車輛的前面位置處的道路的位置和方位的估算。3.根據技術方案I的方法，其中，提供來自後視攝像機的圖像數據包括提供主車輛相對於在主車輛的後面位置處的道路的位置和方位的估算。4.根據技術方案I的方法，其中，提供關於領先車輛的數據包括提供領先車輛相對於主車輛的縱向偏移、側向偏移、和航向角。
5.根據技術方案I的方法，其中，計算為控制主車輛所需的轉向輸入包括基於來自攝像機的圖像數據和來自數字地圖系統和領先車輛位置系統的數據計算前饋項。6.根據技術方案I的方法，其中，計算為控制主車輛所需的轉向輸入包括基於車輛動態響應參數計算反饋線性化項。7. 一種用於提供主車輛的側向控制的方法，所述方法包括提供來自主車輛車載的前視攝像機的圖像數據；提供來自主車輛車載的後視攝像機的圖像數據；提供來自主車輛車載的車輛動態傳感器的數據；提供來自數字地圖系統的與主車輛正在行駛的道路有關的數據；提供來自主車輛車載的領先車輛位置系統的關於領先車輛的數據，其中領先車輛是道路上主車輛前邊的車輛；通過使用來自前視攝像機和後視攝像機的圖像數據和來自車輛動態傳感器、數字地圖系統和領先車輛位置系統的數據，計算為控制主車輛以維持在道路上的路線所需的轉向輸入將所述轉向輸入提供到主車輛中的轉向致動器，以及估算主車輛的動態響應。8.根據技術方案7的方法，其中，提供來自前視攝像機的圖像數據包括提供主車輛相對於在主車輛的前面位置處的道路的位置和方位的估算。9.根據技術方案7的方法，其中，提供來自後視攝像機的圖像數據包括提供主車輛相對於在主車輛的後面位置處的道路的位置和方位的估算。10.根據技術方案7的方法，其中，提供來自車輛動態傳感器的數據包括提供主車輛的速度和橫擺率。11.根據技術方案7的方法，其中，提供關於領先車輛的數據包括提供領先車輛相對於主車輛的縱向偏移、側向偏移、和航向角。12.根據技術方案7的方法，其中，計算為控制主車輛所需的轉向輸入包括基於來自攝像機的圖像數據和來自車輛動態傳感器、數字地圖系統和領先車輛位置系統的數據計算前饋項。13.根據技術方案7的方法，其中，計算為控制主車輛所需的轉向輸入包括基於車輛的動態響應參數計算反饋線性化項。14.根據技術方案 7的方法，其中，估算主車輛的動態響應包括使用卡爾曼濾波器方法來估算主車輛的一組狀態變量。15. 一種用於提供主車輛的側向控制的系統，所述系統包括第一攝像機，用於捕獲來自主車輛的前視圖像；第二攝像機，用於捕獲來自主車輛的後視圖像；主車輛車載的多個車輛動態傳感器，用於提供關於主車輛的運動的數據；數字地圖，用於提供關於主車輛行駛的道路的信息；主車輛車載領先車輛位置子系統，所述領先車輛位置子系統提供關於領先車輛相對於主車輛的位置的數據；和處理器，其配置為接收來自攝像機、車輛動態傳感器、數字地圖、和領先車輛位置子系統的數據，所述處理器計算為控制主車輛以維持在道路上的路線所需的轉向輸入。16.根據技術方案15的系統，其中，來自第一攝像機和第二攝像機的圖像提供關於道路的車道邊界的位置的數據，包括路緣和車道線。17.根據技術方案15的系統,其中，車輛動態傳感器包括速度傳感器和橫擺率傳感器。18.根據技術方案15的系統，其中，領先車輛位置子系統提供領先車輛相對於主車輛的縱向位移、側向位移、航向角。19.根據技術方案15的系統，其中，處理器包括使用卡爾曼濾波器方法估算主車輛的動態響應的模塊，並在用於計算轉向輸入的反饋線性化項中使用主車輛的動態響應。20.根據技術方案15的系統，其中，處理器還包括用於計算前饋項的模塊，所述前饋項用於計算轉向輸入。
圖I是使用前和後攝像機及其它輸入源的車輛側向控制系統的框圖；圖2是主車輛的側向控制的雙輪車模型的示圖；圖3是顯示了側向控制模型的多種關鍵參數的主車輛的示圖；圖4是示出如何實施車輛側向控制模型的控制框圖；圖5是使用雙攝像機車道融合方法的車輛側向控制的系統框圖；圖6是使用來自雙攝像機的輸入的車道融合系統的第一實施例的框圖；圖7是使用來自雙攝像機的輸入的車道融合系統的第二實施例的框圖；圖8是示出對於已經檢測到若干短線和一條長弧的場景的車道線表達的示例的示圖；圖9是示出了如何計算主車輛相對於車道邊界的位移的直方圖；圖10是用在圖7的車道追蹤模塊中的卡爾曼濾波器追蹤方法的流程圖；以及圖11是用在圖7的車道追蹤模塊中的粒子濾波器追蹤方法的流程圖。
具體實施例方式下面關於使用前和後攝像機的穩健的車輛側向控制方法的本發明實施方式的討論實質上僅僅是示例性的，其決不是為了限制本發明或其應用或使用。許多現代車輛包括前視攝像機，和在應用例如車道偏離警告和側向控制輔助中使用來自前視攝像機的圖像數據的系統。然而，來自前視攝像機的圖像可能被領先車輛妨礙，或者被陽光、霧、雨、或雪遮蔽，其降低了依賴於圖像的應用的可靠性。假定增加可用的後視攝像機，所述後視攝像機經常主要用作備用輔助設備，則使用後視攝像機圖像數據作為前視攝像機圖像數據的補充是很有意義的。與GPS和數字地圖數據、車輛動態傳感器、和基於雷達的或能夠檢測道路上主車輛前邊的車輛的其它系統一起，前視和後視攝像機圖像能夠使用在高級應用中以提高安全和車輛控制。在一種方法中，數據源直接用在車輛側向控制應用中。圖I是通過使用前視和後視攝像機和其它數據源用於車輛的側向控制的系統10的框圖。如下面將要討論的，系統10使用來自前視攝像機12和後視攝像機14的圖像數據。領先車輛位置系統16，其可以是長距離雷達(LRR)或其它類型的系統，追蹤領先車輛的位置，以便估計道路的路線。來自基於 GPS的導航系統或數字地圖18的道路曲率信息為系統10提供了另一個數據源。來自前視攝像機12、後視攝像機14、領先車輛位置系統16和數字地圖18的輸入都由車輛側向控制模塊20使用，該控制模塊20的運行將在下面詳細討論。圖2是用於車輛側向控制的雙輪車(bicycle)模型30的示圖，其通過在車輛的中心線處將每個車軸的兩個輪子並成一個輪得到。圖3是控制模型40的示圖，控制模型40向雙輪車模型30增加更多細節。在圖2和圖3中相同的部件和尺度共用相同的參考標記，這將一起討論。下面的表提供了圖2和3中所示出的部件和尺度的索引，包括其參考標記和描述。
權利要求
1.一種用於提供主車輛的側向控制的方法，所述方法包括 提供來自主車輛車載的前視攝像機的圖像數據； 提供來自主車輛車載的後視攝像機的圖像數據； 提供來自數字地圖系統的與主車輛正在行駛的道路有關的數據； 提供來自主車輛車載的領先車輛位置系統的關於領先車輛的數據，其中領先車輛是道路上主車輛前邊的車輛；和 通過使用來自前視攝像機和後視攝像機的圖像數據和來自數字地圖系統和領先車輛位置系統的數據，計算為控制主車輛以維持在道路上的路線所需的轉向輸入，並且將所述轉向輸入提供到主車輛中的轉向致動器。
2.根據權利要求I的方法，其中，提供來自前視攝像機的圖像數據包括提供主車輛相對於在主車輛的前面位置處的道路的位置和方位的估算。
3.根據權利要求I的方法，其中，提供來自後視攝像機的圖像數據包括提供主車輛相對於在主車輛的後面位置處的道路的位置和方位的估算。
4.根據權利要求I的方法，其中，提供關於領先車輛的數據包括提供領先車輛相對於主車輛的縱向偏移、側向偏移、和航向角。
5.根據權利要求I的方法，其中，計算為控制主車輛所需的轉向輸入包括基於來自攝像機的圖像數據和來自數字地圖系統和領先車輛位置系統的數據計算前饋項。
6.根據權利要求I的方法，其中，計算為控制主車輛所需的轉向輸入包括基於車輛動態響應參數計算反饋線性化項。
7.一種用於提供主車輛的側向控制的方法，所述方法包括 提供來自主車輛車載的前視攝像機的圖像數據； 提供來自主車輛車載的後視攝像機的圖像數據； 提供來自主車輛車載的車輛動態傳感器的數據； 提供來自數字地圖系統的與主車輛正在行駛的道路有關的數據； 提供來自主車輛車載的領先車輛位置系統的關於領先車輛的數據，其中領先車輛是道路上主車輛前邊的車輛； 通過使用來自前視攝像機和後視攝像機的圖像數據和來自車輛動態傳感器、數字地圖系統和領先車輛位置系統的數據，計算為控制主車輛以維持在道路上的路線所需的轉向輸A 將所述轉向輸入提供到主車輛中的轉向致動器，以及 估算主車輛的動態響應。
8.根據權利要求7的方法，其中，提供來自前視攝像機的圖像數據包括提供主車輛相對於在主車輛的前面位置處的道路的位置和方位的估算。
9.根據權利要求7的方法，其中，提供來自後視攝像機的圖像數據包括提供主車輛相對於在主車輛的後面位置處的道路的位置和方位的估算。
10.一種用於提供主車輛的側向控制的系統，所述系統包括 第一攝像機，用於捕獲來自主車輛的前視圖像； 第二攝像機，用於捕獲來自主車輛的後視圖像； 主車輛車載的多個車輛動態傳感器，用於提供關於主車輛的運動的數據；數字地圖，用於提供關於主車輛行駛的道路的信息； 主車輛車載領先車輛位置子系統，所述領先車輛位置子系統提供關於領先車輛相對於主車輛的位置的數據；和 處理器，其配置為接收來自攝像機、車輛動態傳感器、數字地圖、和領先車輛位置子系統的數據，所述處理器計算為控制主車輛以維持在道路上的路線所需的轉向輸入。
全文摘要
本發明涉及具有前攝像機和後攝像機的穩健的車輛側向控制，具體地，一種用於閉環車輛側向控制的方法和系統，其使用來自前和後攝像機的圖像數據和關於領先車輛的位置信息作為輸入。主車輛包括在前面和後面處的攝像機，其主要目的之一是可以用於檢測車道邊界例如路邊和車道線。主車輛還包括數字地圖系統和用於感測行駛在主車輛前面的車輛的位置的系統。開發一種控制策略，其使主車輛轉向以最小化主車輛的路線與車道參考路線的偏離，其中車道參考路線是由從前和後攝像機圖像及從其它輸入所提取的車道邊界計算的。控制策略應用前饋和反饋部件，並使用卡爾曼濾波器估算主車輛的狀態向量。
文檔編號B60W30/12GK102700548SQ201110257988
公開日2012年10月3日 申請日期2011年7月20日 優先權日2010年7月20日
發明者S·曾 申請人:通用汽車環球科技運作有限責任公司