利用基於視覺的調整引導車輛的方法和系統的製作方法

2023-05-31 14:46:01

專利名稱：利用基於視覺的調整引導車輛的方法和系統的製作方法
技術領域：
本發明涉及使用視覺調整來引導車輛的方法和系統。
背景技術：
全球定位系統(GPS)接收器已經用於為車輛導航應用提供位置數據。然而， 儘管具有差分校正的特定GPS接收器在其大部分工作時間內可具有大約10釐米 (4英寸)的一般位置誤差，大於50釐米(20英寸)的絕對位置誤差在其5%的 工作時間內普遍存在。此外，GPS信號會被建築物、樹或其它障礙物所阻擋，這 會使得只用GPS導航的系統在特定地點或環境中變得不可靠。相應地，需要使用 一個或多個附加的傳感器來補充或加強基於GPS導航的系統，從而提高精確性和 魯棒性。

發明內容
定位接收器在求值時間窗口過程中採集車輛的初歩位置數據。初歩制導數據 由所述初步位置數據確定。視覺模塊在求值時間窗口過程中採集視覺數據。由採 集的視覺數據確定視覺制導數據。視覺質量估計器為所述求值時間窗口的所述視 覺數據和視覺制導數據中的至少一個估計視覺質量數據。所述視覺質量數據基於 互相關和r平方值，其中每一互相關在分段內的所述視覺數據的觀察的強度分布與 參考強度分布之間以確定行中心位置。所述r平方值是基於回歸路徑和一個或多個 行中心位置確定。如果所述視覺質量數據超過最小閾值，則調節器基於所述視覺 制導數據調節所述初步制導數據至修正的制導數據，使得所述修正的制導數據與 所述視覺制導數據一起被記錄或大體同延。


圖1是根據本發明基於初歩制導數據(如，初歩位置數據)和視覺制導數據(如， 源於視覺的位置數據)引導車輛的系統的方框圖。
圖2是根據本發明基於初歩制導數據(如，初歩位置數據)和視覺制導數據(如， 源於視覺的位置數據)引導車輛的方法的流程圖。
圖3是根據本發明基於初步制導數據(如，初步位置數據)和視覺制導數據(如，說明書第2/19頁
源於視覺的位置數據)的引導車輛的另一方法的流程圖。
圖4是表示諸如來自差分全球定位系統(GPS)的制導信號的位置數據的靜
態定位誤差的圖表。
圖5是表示通過諸如本發明所述的視覺模塊的另一傳感器"調諧"後，諸如來 自差分全球定位系統(GPS)信號的制導信號的位置數據的定位誤差的圖表，。
圖6是基於來自視覺數據(如，單目視覺數據)的視覺制導數據引導車輛的方 法的實施例的流程圖。
圖7是基於視覺制導數據引導車輛的方法的另一實施例的流程圖。 圖8A是視覺質量估計器的各種組件或邏輯構件的方框圖。 圖8B是用於確定圖像數據或視覺數據的視覺質量數據的方法的流程圖。 圖9是在組織或分段成作物像素和非作物像素後的行作物的示範性圖像。 圖10示出了來自圖9中作物像素的強度分布。
圖11是示範性的費米(Fermi)函數，用作乾草列的模板或參考強度分布。 圖12是示範性的正弦函數，用做行作物的模板或參考強度分布。 圖13是表示在所述參考強度分布和觀察的強度分布之間互相關的確定圖示。 圖14示出了與作物行的近似中心線相關聯的回歸路徑(如，回歸線)，以及與
所述回歸路徑相關聯的多個分段或窗口。
圖15A是視覺質量估計器的各種組件或邏輯構件的方框圖。
圖15B是基於來自視覺數據(如，立體視覺數據)的視覺制導數據引導車輛
的方法的一個實施例的流程圖。
圖16表示作物特徵或植被的密度網格點以及與作物行相關聯的中心線。
具體實施方案
圖1是用來引導車輛的制導系統11的方框圖。可以將該制導系統11安裝在或 配置於車輛或移動機器人上。該制導系統11包括視覺模塊22和與調節器110通 信的定位接收器28。
視覺模塊22可與視覺質量估計器(20或120)相關聯。定位接收器28可與 位置質量估計器24相關聯。調節器110可以與車輛控制器25通信。依次地，該 車輛控制器25被耦合到轉向系統27。
定位接收器28可包括帶有差分校正的全球定位系統(GPS)接收器(如GPS 接收器以及用於接收由衛星或地面源發射的差分校正信號的接收器)。該定位接收 器28提供車輛的位置數據(如坐標)。該定位接收器28可將下述條件、狀態或狀 況中的一個或多個(如通過狀況信號)指示給至少調節器110或位置質量估計器 24: (1)定位接收器28被禁止的地方，(2)對於一個或多個相應的求值間隔，位 置數據無法獲得或被破壞的地方，以及(3)對於一個或多個相應的求值間隔，位置數據被估計的精度或可靠性跌落在最小閾值以下的地方。定位接收器28為車輛 提供非常適合於全球導航或全球路徑規劃的位置數據。
位置模塊26或與該位置模塊26相關聯的數據處理器由所採集的位置數據確 定製導數據。制導數據指來自一個或多個與該定位接收器28相關聯的位置數據的 下列數據航向數據、航向誤差數據、偏離軌道數據、偏離軌道誤差數據、曲率 數據、曲率誤差數據、源於視覺的位置數據以及位置誤差數據。制導數據通常指
下述術語中的一個或多個初步制導數據、修正的制導數據和視覺制導數據。
在實施例中，位置模塊26可以確定製導數據以引導或轉向車輛，使得該車輛
的路線截獲一個或多個目標坐標(如，航路點)或與該目標坐標相關的路線。該
位置模塊26可以通過路線設計者、數據處理系統、無線通信設備、磁性存儲介質、 光學存儲介質、電子存儲器或其它進行通信或在該目標坐標或路線上接收信息。 例如，可以用路線設計或基於作物行或田地種植圖的系列坐標來表示目標坐標或 路線。可以通過定位接收器28或另外的定位設備在種植種子、作物、植物或作物 前體期間採集該田地種植圖。
在示範性實施例中，位置模塊26或定位接收器28用下式輸出制導數據(如， 位置數據)
其中￡(,,是通過定位接收器28 (如，定位接收器
28)估計的偏離軌道誤差，以及&^,是通過該定位接收器22估計的航向誤差。
視覺模塊22可包括圖像採集系統31和圖像處理系統33。視覺模塊22或圖 像採集系統31採集圖像數據或視覺數據，它們在本文通篇被視為同義的術語。視 覺模塊22或圖像處理系統33從已採集的圖像數據或視覺數據中推導出視覺制導 數據(如，源於視覺的位置數據)。該視覺制導數據意指一個或多個來自與該視覺 模塊22相關的視覺數據的下列數據航向數據、航向誤差數據、偏離軌道數據、 偏離軌道誤差數據、曲率數據、曲率誤差數據、源於視覺的位置數據、位置數據 和位置誤差數據。
在一個實施例中，該視覺模塊22可以確定引導或轉向該車輛的視覺制導數據， 使得該車輛的路線截獲一個或多個目標坐標(如，航路點)或與該目標坐標相關 的路線。該位置模塊22可以通過路線設計者、數據處理系統、無線通信設備、磁 性存儲介質、光學存儲介質、電子存儲器或其它進行通信或在該目標坐標或路線 上接收信息。例如，可以用路線設計或基於採集到的作物行圖像或來自該採集圖 像再現的系列坐標來表示該目標坐標或路線。在一個例子中，視覺模塊22能夠辨 識帶有與大豆的約1cm和玉米的約2.4cm的一樣小的誤差的作物行位置。
在一個示範性實施例中，該視覺模塊22用下式輸出視覺制導數據(如，源於
8視覺的位置數據)-
，其中五 ,。《是ffi過該視覺模塊22估計的偏離軌道
誤差以及A^一w是通過該視覺模塊22估計的航向誤差。
圖像採集系統31可以包括下列中的一個或多個(1) 一個或多個用來採集一 組圖像(如，具有相同場景不同焦距設置或鏡頭調整的多個圖像，或不同視場 (FOV)的多個圖像)的單目成像系統；(2)立體視覺系統(如，通過已知距離 和方向分開的兩數字成像單元)，用來確定場景中物體上的點相關的深度信息或三
維坐標；(3)測距儀(如雷射測距儀)，用來確定在場景中物體上的點相關的測距 或三維坐標；(4)雷達系統或雷射雷達系統用來檢測場景中物體的速度、海拔、 方向或幅度；(5)雷射掃描系統(如，雷射測量系統，其發出光脈衝並根據雷射
發出和雷射發射接收之間的時間來估計雷射測量系統和該目標之間的距離)用來
確定場景中物體的距離；以及(6)成像系統，用來通過光學的微機電系統(MEMS)、 自由空間光學MEMS或集成光學MEMS採集圖像。
自由空間光學MEMS使用具有一定範圍或折射率的複合半導體和材料來控制 可視光、紅外、或紫外光，而集成光學MEMS使用多晶矽組件來反射、衍射、調 制或控制可視光、紅外、或紫外光，MEMS可以被構造成由各種半導體製造工藝 能製造的開關矩陣、鏡頭、鏡子和光柵。通過視覺模塊22或圖像採集系統31採 集的圖像可以是例如彩色、單色、黑白、或灰度圖像。
視覺模塊22或源於視覺的位置數據可以對應上述圖像內物體特徵的位置來支 持位置數據(二維或三維坐標)的採集。該視覺模塊22非常適合使用(a)車輛 周圍環境的特徵或局部特徵，(b)位置數據或與上述特徵相關的坐標，或同時使 用以便於該車輛的導航。該局部特徵可以包括下面的一個或多個植物行位置、 柵欄位置、建築物位置、ffl地邊緣位置、邊界位置、巨石位置、巖石位置(如， 大於最小閾值尺寸或體積)、土脊和溝、樹位置、作物邊緣位置、植被(如草坪) 上的切割邊位置，以及參考標記。該視覺制導數據(如，源於視覺的位置數據) 或局部特徵的位置數據可以定期(例如周期地)用來調整(如，糾正漂移)來自 定位接收器28的初歩制導數據(如，初歩位置數據)。
在一個例子中，參考標記可與高精度位置坐標相關聯。此外，其它局部特徵可 與該參考標記位置相關。當前車輛位置可與參考標記位置或局部特徵的固定位置 或車輛的位置相關聯。在一個實施中，該視覺模塊22可以與定位接收器28相似 或大致相當的坐標或數據格式表達車輛位置的源於視覺的位置數據。
視覺模塊22可以通過狀態或數據命令將下面的一個或多個指示給至少調節器 110或視覺質量估計器20: (1)視覺模塊22是否被禁止，(2)是否視覺制導數據(如，源於視覺的位置數據)在一個或多個相應的求值間隔內不可獲得，(3)是 否該視覺制導數據(如，源於視覺的位置數據)不穩定或被破壞，以及(4)是否
該圖像數據或視覺制導數據達到不符合閾值性能/可靠性水準的精確度水準、性能 水準或可靠性水準。
位置質量估計器24可以包括下列設備中的一個或多個與定位接收器28相 關聯的信號強度指示器、與定位接收器28相關聯的比特誤碼率指示器、用來測量 信號質量、誤碼率、信號強度、或信號性能的另外的設備、信道、或為定位發送 的代碼。此外，為了基於衛星定位，位置質量估計器24可包括用來確定是否足夠 信號質量的最小數目的衛星信號(如來自GPS的L1頻帶上的四個或更多衛星的 信號)被定位接收器28接收，以在求值間隔過程中為車輛提供可靠的位置數據。
位置質量估計器24估計初步位置數據的質量或通過定位接收器28輸出的定 位質量數據(如，Qgps)的質量。位置質量估計器24可以基於通過定位接收器28 接收的每一信號分量的信號強度指示器(或誤碼率)估計初歩位置數據的質量。 位置質量估計器24也可以在下列因素的基礎上估計質量(1)在一地區可獲得的 衛星信號的數目，(2)通過定位接收器獲得或接收到的具有足夠信號質量(如， 信號強度分布)的衛星數目，和(3)是否每一個衛星信號都具有可接受的信號水 準或可接受的誤碼率(BER)或誤幀率(FER)。
在一個實施例中，不同信號強度幅度與不同相應質量水準相關聯。例如，最低 信號強度幅度與最低質量相關聯，中級信號質量幅度與中等質量相關聯，最高信 號強度幅度與最高質量相關聯。相反地，最低誤碼率幅度與最高質量相關聯，中 級誤碼率幅度與中等質量相關聯，最高誤碼率幅度與最低質量水準相關聯。
視覺質量估計器20估計由視覺模塊22輸出的視覺制導數據(如，源於視覺 的位置數據)的質量。該視覺制導數據的質量可以通過視覺質量數據(如，QWs,。n) 進行表達。該視覺質量估計器20可考慮在一系列時間間隔內該視覺模塊操作和獲 取相應圖像所呈現的照度。該視覺質量估計器20可包括光探測器、具有頻率可選 鏡頭的光探測器、 一組帶有相應頻率可選鏡頭的光探測器、電荷偶合器件(CCD)、 光度計、硫化鎘電池等等。進一步地，該視覺質量估計器30包括時鐘或計時器， 用來為圖像用採集時間打時間戳以及相應照度測量(如，圖像所用的照度值)。在 示範性實施例中，如果該照度在低強度範圍內，則該時間間隔內具有低視覺質量； 如果該照度在中強度範圍內，則該時間間隔內具有高視覺質量；以及如果該照度 在高強度範圍內，該時間間隔內具有一般的視覺質量，該時間間隔內的低或高基 於在高強度範圍內的已定義的子範圍。在一個例子中，前面的強度範圍相對質量 可應用於光頻率對光頻率或光色基。在另一例子中，該強度範圍相對質量的對比 可用於紅外線範圍頻率和紫外線範圍頻率而不同於用於可見光。視覺質量估計可與圖像處理中的置信度測量有關。如果所需特徵(如，植物行) 明顯在一個或多個圖像中，則視覺質量估計器20可給相應圖像設置高圖像質量或 高置信度水準。相反地，如果所需特徵(如，由於缺失作物行)在一個或多個圖
像中不明顯，則視覺質量估計器20可設置低圖像質量或低置信度水準。在一個例 子中，基於每一個列分量(如，用於該視覺模塊22的速度分量)的中級強度的絕 對差(SAD)為假定的偏航/俯仰對確定置信度水準。偏航被定義為在x-y平面中 視覺模塊22的方向，以及俯仰被定義為在通常垂直於x-y平面的x-z平面中的視 覺模塊22的方向。
如果視覺模塊不能定位或標註在圖像中參考特徵或參考標記，或尚未在最大閾 值時間內標註參考標記，則視覺模塊22會警示視覺質量估計器20，其可以通過 質量劣化指示器劣化該源於視覺位置數據的質量。
通常，調節器110包括數據處理器、微控制器、微處理器、數位訊號處理器、 嵌入式處理器或其它任意使用軟體指令進行編程的可編程(如，現場可編程)設 備。調節器110可與車輛控制器25相關聯。在實施例中，調節器110包括規則管 理器。調節器110的規則管理器可以將該初步制導數據(如，初步位置數據)或 其衍生作為相應時間間隔的誤差控制信號，除非該視覺質量數據超出最小閾值水 準。如果該初歩制導數據(如，初歩位置數據)和該視覺制導數據(如，源於視 覺的位置數據)差沒有超出最大容忍值，不需要任何調節。視覺加權決定來自該 視覺模塊22的視覺制導數據(如，yws,OT)的作用幅度。位置加權決定來自該視覺 模塊22管理的制導數據(如，位置數據)的作用幅度。混頻器14決定製導數據 (如，ygps)和視覺制導數據(如，yws,加)對基於視覺加權和定位加權兩者的誤差 控制信號(如，y)的相應作用。在實施例中，該混頻器14可包括數字濾波器、 數位訊號處理器、或布置為使用下列中一個或多個的其它數據處理器(1)視覺 制導數據加權(如，源於視覺的位置數據加權)，(2)位置數據加權，和(3)在 求值時間間隔內該位置數據和源於視覺位置數據相應作用的混合比表示。
誤差控制信號表示已估計的制導數據與實際制導數據之間的差(或誤差)，以 使該車輛對準軌道、目標坐標或目標路徑。例如，該誤差控制信號可以表示位置 數據(通過該視覺模塊22和通過該位置模塊26測量的)與該車輛的實際位置之 間的差(或誤差)。輸出這樣的誤差控制信號到該車輛控制器25以得到補償的控 制信號。該補償控制信號基於該誤差控制信號糾正轉向系統27的管理和控制。該 轉向系統27可以包括電接口用以與車輛控制器25通信。在實施例中，該電接口 包括電磁控制液壓轉向系統或其它控制液壓流體的機電設備。
在另外的實施例中，該轉向系統27包括轉向系統單元(SSU)。該SSU與航 向對時間要求相關聯，以順著期望路線或按照期望或目標路徑規劃或目標坐標轉向或制導該車輛該航向與航向誤差(如，表示為該實際航向角度和期望航向角度之間的差)相關聯。
可以通過該視覺模塊22或定位接收器28控制該SSU以補償在該車輛估計位置的誤差。例如，偏離軌道誤差指示或代表該車輛的實際位置(如，用GPS坐標表示)對該車輛的期望位置(如，用GPS坐標)。該偏離軌道誤差可以用補償航向修改該車輛的移動。但是，如果在時間或時間間隔內任意點上都沒有偏離軌道誤差，則未補償的航向就足夠。該航向誤差是在實際車輛航向和通過該視覺模塊22和定位接收器28的估計車輛航向之間的差。
圖2是使用視覺制導數據(如，源於視覺的位置數據)和位置數據用來引導車輛的方法流程圖。圖2的方法在步驟S200開始。
在步驟S200，定位接收器28為與其相關的車輛採集初歩位置數據。例如，該定位接收器28 (如，帶有差分校正的GPS接收器)可以用來確定一個或多個時間間隔或相應時間內的車輛坐標。
在歩驟S201 ，位置模塊26或定位接收器28確定與該初歩位置數據相關的相應的制導數據。制導數據包括來自採集的初步位置數據的下列項中的一個或多個航向數據、航向誤差數據、偏離軌道數據、偏離軌道誤差數據、曲率數據、曲率誤差數據、和位置誤差數據。該航向數據指相對於參考方向(如磁北)的車輛的方向(如，角取向)(如，車輛的縱向軸)。該航向誤差是實際車輛航向和目標車輛航向之間的差。該航向誤差可與視覺模塊22、位置模塊26、車輛控制器25、或轉向系統27中至少一個內的誤差(如，測量誤差、系統誤差、或二者都有)相關。偏離軌道數據指示該車輛路徑位置從期望車輛路徑位置的偏移。偏離軌道誤差指示或代表該車輛的實際位置(如，用GPS坐標表示)和該車輛的期望位置(如，用GPS坐標表示)之間的差。該曲率是在所期望路徑上航向的改變。例如，曲率是沿著該路徑的任意兩個參考點(如，調整點)之間到該車輛路線的正切角的變化率。
該制導誤差信號或該位置誤差信號(如，ygps)可以表現為(1)在期望時間內實際車輛位置和期望車輛位置之間的差，(2)在期望時間或位置上實際車輛航向和期望車輛航向之間的差，(3)或與位置數據或制導數據相關的誤差的另一種表達。該位置誤差信號可以被定義但不必定義為向量數據。
在歩驟S202，視覺模塊22在求值時間窗口中為該車輛採集視覺數據。例如，該視覺模塊22可以在車輛在田地中移動時以大體行進方向採集一個或多個作物行圖像。每一個採集的圖像可與相應求值時間間隔有關。
在步驟S203，該視覺模塊22在一個或多個求值時間間隔或對應時間內確定視覺制導數據(如，源於視覺的位置數據或視覺誤差信號)。例如，該視覺模塊22可以採集圖像並處理採集到的圖像來確定源於視覺的位置數據。在一個例子中，該源於視覺的位置數據包括車輛的源於視覺的位置數據，其通過參考一個或多個可視參考標記或帶有相應己知位置的特徵來獲得以確定車輛的坐標。該車輛坐標可以根據全球坐標系統或局部坐標系統進行確定。
視覺制導誤差信號或視覺誤差信號(如，yws,。 )表現為(1)在期望時間內實際車輛位置和期望車輛位置之間的差，(2)在期望時間或位置上實際車輛航向和
期望車輛航向之間的差，(3)或與源於視覺的位置數據或視覺制導數據相關的誤
差的另一種表達。
在步驟S204,視覺質量估計器20在求值時間間隔期間估計視覺質量。該視覺質量估計器20可以包括照度或光探測器以及用於時間戳照度測量的計時器或時鐘以基於周圍照明條件來確定質量水準。視覺質量估計器20也可包括在處理圖像以獲得期望特徵時置信度或可靠性的測量。在處理圖像時的置信度或可靠性的測量可以根據下列因素中的任意一個視覺模塊22的技術規範(如，解析度)、確認目標(如，圖像中的地標)的可靠性、估計確認目標或其中的點的位置的可靠性、將圖像坐標或局部坐標轉換成全球坐標或源於視覺的位置數據的可靠性，該源於視覺的位置數據在空間上和時間上與來自該定位接收器28的位置數據一致。
可以通過多種可能切換或重複使用的技術來執行歩驟S204。在第一種技術中，該視覺質量估計器20可以估計源於視覺位置數據精度的置信度和可靠性。在第二種技術中，該視覺質量估計器20首先估計源於視覺位置數據精度的置信度水準、可靠性水準或其它質量水準；然後，第二步，該視覺質量估計器20將該質量水準轉換成相應的語言值。
在步驟S206，如果該視覺質量數據超過最小閾值水準，調節器110或車輛控制器25基於該視覺制導數據(如，源於視覺的位置數據)將初歩制導數據(如，初步位置數據)調節到修正的制導數據(如，修正位置數據)，使得該修正的制導數據(如，修正位置數據)與該視覺制導數據(如，源於視覺的位置數據) 一起被記錄或大體同延。例如，該調節器110或車輛控制器25可以在任意時隙或求值時間窗口內調節初歩位置數據，其中該視覺質量數據超出最小閾值水準，如果在該視覺制導數據和初歩制導數據之間的任意不等或差是實質性的。 一起被記錄或大體同延意思是相同時間間隔的源於視覺位置數據和初歩位置數據大體同延或通過最大容忍量(如，其可以被表示為在地理坐標之間的距離、向量或以秒(或其它單位)的分離)區分。例如，該最大容忍量可設置為從1cm到10cm範圍內的特定距離(如，2.54釐米)。
在實施例中，調節器110基於該初步位置數據或修正位置數據發送給該車輛控制器25誤差控制信號或使誤差控制信號可被該車輛控制器25所獲得。由此獲得的修正位置數據或誤差控制信號可以時隙基(如，在應用時間窗期間)為單位進行更新。每一個時隙可在大小上與求值時間間隔相當。
調節器206可以加強修正位置數據或定位信息的可靠性和精度，定位信息通過使用具有已校正質量作為該初步位置數據質量基準的源於視覺位置數據提供以用作車輛導航或控制。雖然在求值時間間隔內採集該初步位置數據和源於視覺質量數據；步驟S206到修正位置數據的調整可以用在落後該求值時間間隔或與該求值時間間隔大致同延的應用時間間隔內。不管該求值時間間隔和該應用時間間隔在本例中是如何定義的，在其它例子中，調節器110可以提供預測控制數據、前饋控制數據或反饋控制數據給該車輛控制器25。
圖3的方法與圖2的方法類似，除了圖3的方法包括附加歩驟S205以及將步驟S206替換為步驟S208。相同參考號指示相同程序或步驟。
在步驟S205中，位置質量估計器24在求值時間窗口過程為該位置數據或制導數據進行定位質量數據估計。可以通過多種可能切換或重複使用的技術來執行歩驟S205。在第一種技術中，該位置質量估計器24可以估計或測量信號的質量、誤碼率(如，比特誤碼率或誤幀率)、信號強度水準(如，使用dBm)、或其它質量水準。在第二種技術中，該位置質量估計器24首先估計或測量信號質量、誤碼率(如，比特誤碼率或誤幀率)、信號強度水準(如，使用dBm)、或其它質量水準；第二歩，該位置質量估計器24將上述信號質量數據分類成範圍、語言描述、語言值或其它。
在步驟S208中，如果該視覺質量數據超過最小閾值水準以及如果該定位質量數據或制導數據小於或等於觸發閾值水準調節器110或視覺控制器25基於該視覺制導數據(如，源於視覺的位置數據)將該初步制導數據(如，初步位置數據)調節為修正的制導數據(如，修正位置數據)，使得該修正的制導數據與該視覺制導數據一起被記錄或大體同延。例如該調節器110或車輛控制器25可以調節該初歩位置數據在任意時隙或求值時間窗口內，(a)該視覺質量數據超過最小閾值的地方，和(b)該定位質量數據小於或等於觸發閾值水準的地方或任意在該視覺制導數據和初步制導數據之間的任意不等或差是實質性的地方。例如，該觸發閾值水準可能是該初步位置數據的可靠性或精度小於所需的地方，由於衛星可利用率的缺失，或接收到的衛星信號或用來確定精確性初步位置數據的輔助播送(如，地面參考)的低的信號質量(如低的信號強度)。該調節器206可以加強修正位置數據或定位信息的可靠性和精度，該定位信息是通過使用具有已校正質量的該視覺制導數據(如，源於視覺的位置數據)作為該初步制導數據(如，初歩位置數據)質量基準來提供以用作車輛導航或控制。圖3的方法使得比圖2更多選擇性的方式來調節到該修正位置數據，通過利用比標準(如，觸發閾值水準)更低的位置數據質量的附加條件。
圖4是位置數據的靜態定位誤差示意表，例如差分GPS信號。垂直軸表示距
離(如，米)誤差，其中水平軸表示時間(如，秒)。
圖5是位置數據的動態定位誤差示意表，例如在期望更新的頻率或速率"調諧" 後的差分GPS信號(如，位置數據)。垂直軸表示距離(如，米)誤差，其中水 平軸表示時間(如，秒)。圖5將最初沒有"調諧"的誤差顯示為實體圓點以及"調 諧"後的誤差顯示為圓圈。通過使用該源於視覺的位置數據有規律間隔(如，在 圖5所示的以5秒間隔或.2Hz)來調節該位置數據的方式實現調諧。
圖6表示基於視覺數據來調節位置或引導車輛的方法。圖6的方法開始於步驟 S600。
在歩驟S600，定位接收器28在求值時間間隔內為車輛採集位置數據(如， 航向數據)。
在步驟S601 ，該位置模塊26或定位接收器28根據所採集的位置數據確定該 制導數據(如，航向數據)。例如，該位置模塊26可以由在求值時間間隔期間在 第一時間和第二時間採集到的兩組坐標來確定製導數據。制導數據包括來自採集 位置數據的下列中的一個或多個航向數據，航向誤差數據，偏離軌道數據，偏 離軌道誤差數據，曲率數據，曲率誤差數據，和位置誤差信號。
該航向數據指相對於參考方向(如磁北)的車輛的方向(如，角取向)(如， 車輛的縱向軸)。該航向誤差是在實際車輛航向和目標車輛航向之間的差。該航向 誤差可能與在視覺模塊22和該位置模塊26中至少一個內的誤差(如，測量誤差) 有關。
偏離軌道數據指示該車輛路徑位置從期望車輛路徑位置的偏移。偏離軌道誤差 指示或代表該車輛的實際位置(如，用GPS坐標表示)和該車輛的期望位置(如， 用GPS坐標表示)之間的差。
該曲率是在所期望路徑上航向的改變。例如，曲率是沿著該路徑的任意兩個參 考點(如，調整點)之間到該車輛路線的正切角的變化率。
在步驟S602，視覺模塊22或圖像採集系統31在求值時間間隔期間為車輛採 集視覺數據或圖像數據。該採集的視覺數據可包括例如單目視覺數據或立體視覺 數據。
在步驟S603，視覺模塊22或圖像處理系統33根據採集到的視覺數據確定視 覺制導數據(如，視覺航向數據)。
在步驟S604，視覺質量估計器(20、 120或220)在該求值時間間隔期間為 該視覺數據和該視覺制導數據中的至少一個估計視覺質量數據，其中該視覺質量 數據基於互相關和r平方值。該互相關是在分段中該視覺數據的觀察到強度分布和參考強度分布之間以確定行中心位置。r平方值是在回歸路徑和該行中心位置之
間。在步驟S604的視覺質量估計很適合應用於單目視覺數據(如，在步驟S602 處採集)。
在步驟S606，如果該視覺質量數據超過最小閾值水準，調節器110或控制器 基於該視覺制導數據(如，視覺導航數據)將該初步制導數據(如，預先航向數 據)調節到修正的制導數據(如，修正的導航數據)使得該修正的制導數據(如， 修正導航數據)與該視覺制導數據一起被記錄或大體同延。例如，如果該視覺質 量數據超過最小閾值以及如果在該視覺制導數據和初步制導數據之間的任意不等 或差是實質性的，則調節器110或控制器基於該視覺制導數據將該初步制導數據 調節到已修正的制導數據。
圖7的方法類似於圖6的方法，除了步驟S605替換了歩驟S604。在圖6和 圖7中的相同參考數指示相同的步驟或程序。
在歩驟S605中，該視覺質量估計器(20、 120或220)在該求值時間間隔內 為該視覺數據和視覺制導數據中的至少一個估計視覺質量數據，其中該視覺質量 數據基於回歸路徑和密度網格點。歩驟S605的視覺質量估計也很適合立體視覺數 據(如，在步驟S602採集的)。
圖8A是視覺質量估計器120的示範配置的方框圖。圖8A中在組件(如，70， 72， 74， 76， 78， 80， 82， 84和86)之間的互連可以表現邏輯數據路線、物理 數據路線、或二者兼有。
組織器70與強度分布模塊72通信。互相關模塊76可以接收來自再分器74、 數據存儲設備86以及強度分布模塊72的輸入數據。數據存儲設備86存儲參考強 度分布88以由互相關模塊76檢索或訪問。互相關模塊76輸出數據給估計器84。 再分器74與行中心估計器78通信。行中心估計器78和排列器80為變量求值器 82提供輸入數據。依次地，該變量求值器82輸出數據給估計器84。
視覺模塊22提供下列中的一個或多個給視覺質量估計器120:視覺數據、圖 像數據、和視覺制導數據。如這裡所使用的，圖像數據和視覺數據應被認為同義 的術語。該視覺模塊22可以由採集的視覺或圖像數據來確定視覺制導數據。
在圖8A中，視覺質量估計器120被布置以估計至少一個視覺數據(或圖像數 據)的視覺質量數據以及該求值時間間隔期間的視覺制導數據。該視覺質量估計 器120可以基於互相關和r平方值來確定視覺質量數據。每一個互相關在分段中 該視覺數據的觀察到強度分布和參考強度分布之間以確定行中心位置。r平方值是 在回歸路徑和該行中心位置之間。
組織器70將採集的圖像組織成作物像素和非作物像素。強度分布模塊72基 於該作物像素的像素強度值來確定強度分布。數據存儲設備86存儲與一組作物行
16或單個作物行相關聯的參考強度分布。再分配74將採集圖像再分成多個分段或重 疊窗口。
通常，互相關模塊76為每一個上述分段在該強度分布(由強度分布模塊72 提供)和參考強度分布88之間確定互相關。在一個實施例中，互相關模塊76被 布置以將歸一化互相關確定為互相關。該歸一化互相關基於圖像數據中各個分段 的平均互相關。每一個分段與通過行中心估計器78確定的相應行中心位置相關聯。
再分器74與行中心估計器78通信或使得該行中心估計器78能夠獲得分段或 重疊窗口 。該行中心估計器78被配置用以估計與該圖像數據的相應分段或分區有 關的行中心位置。排列器80被配置用以確定與該行中心位置有關的回歸路徑。例 如，排列器80將估計的行中心位置布置成定義作物行的位置和方向表示的回歸路 徑(如，回歸線)。
變量求值器82在回歸路徑(如，回歸線)和行中心位置之間確定r平方值。 估計器84基於確定的互相關和r平方值來確定視覺質量數據以應用於車輛控制器 25或調節器110用於車輛的轉向。該制導數據包括例如航向數據、偏離軌道數據、 和曲率數據中的至少一個。
圖8B是估計視覺數據或視覺制導數據的質量的方法。圖8B的方法開始於歩 驟S800。
在步驟S800中，視覺模塊22或圖像處理系統33將採集到的圖像劃組織成作 物像素和非作物像素。視覺模塊22或圖像處理系統33可以使用顏色識別將採集 圖像組織或分段成作物像素和非作物像素。可以將作物像素定義為參考植物顏色 (如，綠色調)，等等。圖9提供了採集圖像到作物像素和非作物像素的組織圖示， 與歩驟S800—致。
在歩驟S802中，視覺模塊22或圖像處理系統33基於該作物像素的觀察的像 素強度值來確定觀察的強度分布。例如，該視覺模塊22或該圖像處理系統33為 在作物像素和非作物像素之間的邊界確定了觀察的強度分布。在一個實施例中， 觀察的強度分布可以示出一個或多個作物邊緣或在該作物像素和非作物像素之間 的大體線性邊界。
視覺模塊22或該圖像處理系統33通過確定在觀察像素強度輪廓中的像素符 合強度標準或要求(如，植物的最小像素強度或那裡相應的光頻率範圍)的方式 來確定像素屬於觀察的強度分布。像素強度可以定義為例如在單色顏色空間(如， 與植物有關的特定綠色、暗影或色調)中的像素亮度，或在RGB顏色空間內的紅、 綠和藍分量的亮度。作物像素強度通常與或被採集圖像中作物部分(如，作物表 面區域的部分)上的事件進行反射的輻照度或電磁輻射(如可見光頻帶中的一個 或多個)成比例。該作物像素的像素強度值可能符合或超出作物行植物冠層的最小閾值強度，包括作物行的邊界，其中作物象素相鄰非作物像素。相似地，該作 物像素的像素強度值可能符合或超出平放在地面或窗口上的已收穫作物材料的最 小閾值強度，包括該窗口的邊界。
在步驟S804，視覺模塊22或圖像處理系統33建立了與一組作物行或單個作 物行(如，乾草列)相關的參考強度輪廓。該參考強度輪廓包括可以基於該植物 材料是否安置在一組行中或作為一個或多個窗口來進行變化的模板。圖11示出了 與窗口有關的參考強度輪廓，而圖12示出了與多個並行植物行相關的參考強度來 輪廓。
在步驟S806中，視覺模塊22或視覺質量估計器(20、 120或220)將採集
的圖像再分成多個分段(如，重疊的窗口)。圖14提供了與步驟S806 —致的分 段分割的圖示。
在歩驟S808中，視覺質量估計器(20、 120或220)為上述分段中的每一個 確定在該強度分布和參考強度分布之間的互相關。圖13提供了與歩驟S808 —致 的確定互相關的圖示。
在步驟S810中，視覺質量估計器估計與上述分段中每--個相關的行中心位置。 圖14示出了與步驟S808 —致的每一個分段相應的行中心位置。
在歩驟S812中，視覺質量估計器(20、 120或220)將估計的行中心位置布 置為定義作物行位置和方向表示的回歸路徑。回歸路徑可以包括基於行中心位置 的分布和位置來定義的常用線性回歸路徑。例如，視覺質量估計器(20、 120或 220)可以將回歸路徑設定為基於最小二乘法、加權最小二乘法、多項式擬合法、 多元回歸、統計回歸技術、數學回歸技術或其它常見最小化回歸路徑和行中心位 置之間距離或誤差的技術的線性方程。
在歩驟S814中，視覺質量估計器(20、 120或220)確定回歸路徑和行中心 位置之間的「平方值。
在歩驟S816中，視覺質量估計器(20、 120或220)基於確定的互相關和r 平方值為車輛控制器或調節器轉向車輛來確定視覺質量數據。r平方值可以用來確 定觀察視覺數據或觀察視覺制導數據(如，觀察的作物行位置或乾草列位置)符 合視覺數據或數據制導數據相應的預測模型(如，作物行位置回歸路徑)的程度。
可以通過多種可交替或累積使用的技術來執行歩驟S816。在第一種技術中， 該視覺質量估計器(20、 120或220)基於下列方程來確定該r平方值r平方=
1 一 Vmodel/Vtotal，其中Vt。ta!是與回歸路徑(如，常用線性回歸路徑)有關的不同分 段相關的中心點變化或誤差指示，以及Vt。tai是作物行關於其平均中心位置的變化
或誤差指示。r平方值可以在從1到零的範圍內進行歸一化，使得r平方值在接近 1時普遍被認為好過r平方值接近零。在第二種技術中，置信度水準，C，或用於該視覺處理的視覺質量數據依據兩
個因素該回歸路徑的r平方值和來自模板匹配的歸一化的互相關。formula see original document page 19其中，r,，，是來自一組分段的中間或平均互相關，^是參考互相關，以 及r。是最小互相關。該參考互相關通常從初始參考圖像種獲取，而該最小互相關通
常由用戶確定。為了獲得高的置信度水準，需要設置兩種條件首先，在該處理
中的分段(如窗口)內的作物中心必須來自大體直線或符合已知用作種植的輪廓， 以及第二歩，在該處理中分段的強度分布必須符合所選中的參考強度分布(如，
類似於圖11或圖12中的模板)。該模板或參考分布輪廓可以適用於作物或環境中 的變化。由於作物行的寬度可能隨時間改變，該模板會更新以適應該作物行。在 一個實施中，可以使用該作物行空間的已用過的平均或中間值。
圖9是在組織或劃分成作物像素900和非作物像素902後的數個作物行的示 範性圖像。圖9是例如圖8B的歩驟S800執行結果的展示圖。通過圖像採集系統 31或視覺模塊22採集到的採集圖像首先劃分成作物像素900和非作物像素902， 以及隨後被修正以去掉失真。白色或亮像素表示作物像素900，而帶點區域表示非 作物像素902。如圖所示， 一個作物行被組織成處於來自圖像採集系統31或視覺 模塊22的最小深度和最大深度之間的行分段904。該作物行的每一端與作物邊緣 906有關。
圖10是源於圖9中作物像素900的示範性觀察強度分布。在一個例子中，每 一個像素強度點910表示感興趣區域(如，接近或在作物邊緣906)內垂直線段 上的作物像素的像素強度總和。在另一例中，每一個像素強度點910表示感興趣 區域(如，接近作物邊緣)內單個相應作物像素的強度。在又一例中，每一個像 素強度點910表示與感興趣區域(如，接近或在作物邊緣)相關的一簇作物像素 的中間、平均或眾數強度。觀察的強度分布(如，圖10中)與被稱作模板(如， 圖11或圖12)的參考強度分布進行比較以決定相對於參考行位置的該作物行的偏 移。該參考行位置可以在例如該作物、種子、或前體被種植時建立。圖11是用作窗口的模板或參考強度分布的示範性費米(Fermi)函數。水平軸 可以被指作橫軸，而垂直軸可以被指作前軸。該橫軸通常垂直於該前軸。該前軸 可以已知角度傾斜於地面或水平。該橫軸和該前軸來自圖像採集系統31面向作物 行的視角，其中該作物行的縱向尺寸通常與該車輛行進的方向相平行。
參考強度分布可能基於特定應用發生改變，例如該田地是否包括橫臥在地面上 的作物行、窗口或切割的植物(如，乾草)。對於窗口，費米函數或其它步驟或脈 衝函數可以用來表示理想的窗口強度分布如圖11所示。對於圖11中的費米函數， g表示峰值幅度，g/2表示該峰值幅度的一半以及k值表示該窗口在峰值幅度一半 處的寬度。在實施例中，圖11中的峰值幅度可能與來自圖像採集系統31的乾草 列的最大計算深度相關。
圖12是用做作物行的模板或參考的強度分布的示範性正弦函數。水平軸可以 被指作橫軸，而垂直軸可以被指作前軸。該橫軸通常垂直於該前軸。該前軸可以 已知角度傾斜於地面或水平。該橫軸和該前軸來自圖像採集系統31面向作物行的 視角，其中該作物行的縱向尺寸通常與該車輛行動的方向相平行。
該正弦函數的峰值幅度用a表示，其中w表示一個波長的周期。在實施例中， 圖12中的峰值幅度可能與來自圖像採集系統31的作物行的最大計算深度相關， 其中該周期，w，可與作物行寬度或相鄰作物行之間的間隔成比例。
雖然正弦函數被用作圖12的參考強度分布，在替代實施例中，脈衝串、方波、 一系列脈衝函數或其它合適的函數可以用作該參考強度分布來模型化該植物作物 行。進一歩地，該參考強度分布在例如作物成熟的整個成長季節中可發生改變。
圖13是確定的在所述參考強度分布(如，模板T(k))和觀察的強度分布(如， 強度分布l(k))之間互相關的圖示。互相關函數，r(d)，在觀察的強度分布(如， 圖10)和該參考強度分布(如，圖11)之間進行計算如下
其中r(d)是在觀察的強度分布1(K)和參考強度分布T(/c+d)之間的廣義圖像互相 關函數，c/定義為參考強度分布的位置，/是觀察的強度分布的中間強度。T是參 考強度分布的中間強度，以及r(o^ax)是圖像中任意作物行的近似中心位置。延遲
Cfmax對應最大相關，r(Cfmax)是該作物行的中心位置。在實施例中，互相關表現為
置信度指數或視覺質量數據的值的因子或分量。
圖14示出了與作物行的近似中心線相關的回歸路徑924和與回歸路徑924相關的多個分段920或窗口。該回歸路徑924可以包括常用線性回歸線、或通過線 性或二次方程定義的直形或曲形路線。每一個分段920與相應行中心位置922相 關。如果該回歸路徑924是常用線性，其可以按相對參考軸926 (如磁北或另外 的參考方向)的角度928 W)進行定義。
在圖14中，視覺模塊22、圖像處理系統33或視覺質量估計器(20、 120、 或220)將視覺數據(如，採集的圖像或作物像素)分成多個分段920 (如，重疊 的窗口)。分段920出現在感興趣區域(如，接近作物行)內。視覺模塊22、圖 像處理系統33或該視覺質量估計器(20、 120、或220)通過回歸分析對一個或 多個作物行進行檢測。
特別地，對於回歸分析，視覺質量估計器(20、 120或220)形成或估計與該 行中心位置922或每一個分段920 (如，重疊的窗口)中作物行的中心相關的回 歸路徑924 (如，回歸線段)以加強行探測的魯棒性。該行中心位置922 (如，點) 放入回歸路徑924 (如，回歸線段)中。回歸路徑924表現作物行的位置和方向。
回歸路徑924與車輛的初始航向或觀察的路線進行比較用來為車輛控制確定 制導數據(如，來計算該軌道偏離、曲率和/或航向誤差)。雖然該視覺質量估計器 (20、 120或220)通常使用每作物行的至少五個分段，實質上可以使用任意數 目的分段來檢測每一個採集圖像中的作物行。該視覺質量估計器(20、 120或220) 可以確定r平方值、置信度水準或其它對於與回歸路徑924相關的行中心位置922 有價值的數字。
圖15A是視覺質量估計器220示範性配置的方框圖。圖15A中組件(70， 90， 92， 94和96)之間的互連可以變現為邏輯數據路線、物理數據路線或二者兼有。
視覺質量估計器220包括與密度網格定義器90通信的組織器70，該密度網格 定義器90輸出數據給濾波器92，其為排列器94進行數據濾波。依次地，排列器 94輸出數據到估計器96。
對於圖15A中的視覺質量估計器220，視覺模塊22可以包括用於採集圖像數 據(如，立體圖像數據)或可視數據的立體視覺成像系統。組織器70將採集圖像 數據組織成作物像素和非作物像素。密度網格定義器90基於每個網格單元或一組 網格單元內的作物像素的數目來定義密度網格。例如，每一個網格單元可以用X 像素xY像素的矩陣進行定義，其中X和丫是任意正整數。雖然網格單元的密度 可以被定義為在該密度網格內作物像素對全部像素的比率、分數或百分比，也存 在該密度的其它定義方式。濾波器92將密度網格點定義為具有每個網格單元其值 大於閾值或作物像素的最小數目的那些網格單元。排列器94基於該密度網格點配 置回歸路徑。該回歸路徑表示了作物行或乾草列的可能位置和可能方向(如，中 心)。估計器96基於巳定義的密度網格點和回歸路徑將置信度指數確定為視覺質量數據。該置信度指數應用於車輛控制器或調節器110來轉向車輛。該視覺質量
估計器220可以根據多種可替換或累積使用的技術來定義該置信度指數。
在第一種技術中，估計器96被設置用來確定關於該回歸路徑密度網格點的矩 指數以及用來基於該密度網格點的標準差的反函數確定簇指數。矩指數和簇指數 是評估密度網格點緊密度的兩種測量方式並被分布在該回歸路徑(如，回歸線) 周圍。在第二種技術中，矩指數和簇指數是根據第一種技術進行確定的，其中該 圖像數據或視覺數據包括立體圖像數據或已濾波的立體圖像數據。矩指數和簇指 數很適合於評估立體圖像數據，特別是在該立體圖像數據已經濾波為超出最小作 物高度(如，1米)後。在第三種技術中，該估計器96估計或確定置信度指數為 該矩指數和簇指數的積。例如，根據下列方程來確定置信度指數
其中C^是通過cM=i_!給出的矩指數，M是圍繞該回歸線的密度網格點
0 2
的矩，以及Mmax是最大矩，Cc是通過Cc=0.8 +——給出的簇指數，其中
《—^ ， di是從回歸路徑(如，回歸線)到密度網格點的正交距離，
以及d是密度網格點到回歸路徑的中間距離，n是密度網格點的總數目，以及c^,表 示該密度網格點的方差。在替換實施例中，偏差來自該方差的平方根；該偏差可
以用來取代在上述方程中的方差。
圖15B是基於來自視覺數據(如，立體視覺數據)的源於視覺位置數據用來 引導車輛方法的實施例的流程圖。圖15中的方法開始於歩驟S800。
在步驟S800中，視覺模塊22、圖像處理系統33或組織器70將採集到的圖 像組織成作物像素和非作物像素。例如，該視覺模塊22、圖像處理系統33或組 織器70可以使用顏色識別來將像素分類或組織成作物像素和非作物像素。如上所 述，圖9提供了採集圖像組織成作物像素和非作物像素的示範性例子。
在步驟S820中，視覺質量估計器220或密度網格定義器90基於每個網格單 元內作物像素的數目來定義密度網格。例如，該視覺質量估計器220可以將該作 物像素分成網格單元(如相同尺寸的矩形或六邊形單元)並計算或估計每一個網 格單元內作物像素的數目。在實施例中，濾波器92標記、標誌或其它方式存儲或 指示出那些內部像素數目達到或超過特定最小數或閾值的網格單元。
在步驟S824中，視覺質量估計器220或排列器94基於該密度網格點布置回 歸路徑，其中該回歸路徑表示作物行的可能位置和可能方向(如，中心或中心線)。
在步驟S826中，視覺質量估計器220或估計器96將置信度指數確定為基於已定義的密度網格點和該回歸路徑的視覺質量數據。該置信度指數應用於車輛控
制器25或調節器110上用於車輛轉向。圖15的方法很適合為立體視覺數據或立
體視覺圖像確定置信度指數或視覺質量數據。
視覺質量模塊220可以通過使用矩指數(CM)和簇指數(Cc)的組合來確定或估 計置信度指數。回歸路徑或中心線周圍的密度網格點的矩的計算如下-formula see original document page 23以及矩指數通過下式給出:formula see original document page 23通過該密度網格點的標準差反函數計算簇指數:formula see original document page 23
圖16是具有表示作物特徵或植物的作物特徵點954和與作物行有關的回歸路 徑(如，中心線)的密度網格950。每一個作物特徵點954可以表示一個或多個 作物像素(如，作物像素簇)。圖16的密度網格950表示與圖15A中視覺質量估 計器220和圖15B中方法相關的密度網格950的示範性例子。圖16的密度網格 950可來自於例如立體圖像。
在圖16中，每一個作物特徵點954表示符合或超出最小數目、密度或閾值的 作物像素的數目。如圖所示，作物特徵點D^ D2和Dj分別用Xl,yi ; x2，y2 ;和 Xi，yi進行識別和定位。該密度網格950的回歸路徑952， L，(如，中心線或回歸 線)用來估計該作物行或作物特徵的位置和方向(如，中心線或軸)。在替換實施 例中，該回歸路徑是估計的切割/非切割邊緣。
如果該密度網格點或作物特徵點954非常接近於該回歸路徑952或在最大總 計間隔值內，該置信度指數或該視覺質量數據通常可以被接收或為高。但是，如 果該密度網格點或作物特徵點954較遠地(超過最大總計間隔值)偏離該回歸路 徑952，該置信度指數或視覺質量數據為低或通常不能被接收。該最大總計間隔值 可以建立在該作物特徵點954到該回歸路徑952的與正軸投影(如，正交投影) 相關距離的統計學或數學表示(例如，和、平均值、中間值、或加權平均值)基礎上。如所示，作物特徵點D!與回歸路徑之間的第一距離為d1;作物特徵點D2 與回歸路徑之間的第二距離為d2;作物特徵點Di與回歸路徑之間的第i距離為di。
已經對優選實施例進行描述，很明顯可以作出各種修改並不背離定義在附屬權 利要求中本發明的保護範圍。
權利要求
1、一種引導車輛的方法，該方法包括在一求值時間窗口過程中基於與所述車輛相關聯的定位接收器確定所述車輛的初步制導數據；在所述求值時間窗口過程中採集來自與所述車輛相關聯的視覺模塊的視覺數據；由所述採集的視覺數據確定視覺制導數據；在所述求值時間窗口過程中估計所述視覺數據和所述視覺制導數據中至少一個的視覺質量數據，所述視覺質量數據基於一互相關和一r平方值，所述互相關在一分段內的所述視覺數據的一觀察的強度分布與一參考強度分布之間以確定行中心位置，以及r平方值在一回歸路徑和所述行中心位置之間；和如果所述視覺質量數據超過一最小閾值，則基於所述視覺制導數據調節所述初步制導數據至一修正的制導數據，使得所述修正的制導數據與所述視覺制導數據一起被記錄或大體同延。
2、 如權利要求1所述的方法，其中所述互相關包括一基於所述視覺數據的一 組分段的一平均互相關的歸一化互相關，每一個分段與一相應的行中心位置相關 聯。
3、 如權利要求2所述的方法，其中所述視覺質量數據的所述估計包括 估計與所述視覺數據的相應的分段或分區相關聯的所述行中心位置；和 確定與所述行中心位置一致的所述回歸路徑。
4、 如權利要求2所述的方法，其中所述視覺質量數據的所述估計包括 將一採集的圖像或視覺數據組織成作物像素和非作物像素； 基於所述作物像素的像素強度確定一強度分布；建立與- 組作物行或一單個作物行相關聯的一參考強度分布； 將所述採集的圖像劃分成多個分段或重疊的窗口 ；為所述分段的每-一個確定一在所述強度分布與一參考強度分布之間互相關。
5、 如權利要求4所述的方法，進一歩包括 估計與所述分段的每一個相關聯的一行中心位置；和將估計的行中心位置布置成定義一表示一作物行的一位置和方向的回歸路徑。
6、 如權利要求5所述的方法，進一歩包括 確定一在所述回歸路徑與所述行中心位置之間的r平方值；和 基於所述確定的互相關和所述r平方值確定視覺質量數據，以應用於一車輛控制器或調節器用於車輛的轉向。
7、 如權利要求1所述的方法，其中所述初步制導數據和所述修正的制導數據 各包括航向數據、偏離軌道數據和曲率數據中的至少一個。
8、 一種用於估計車輛制導的視覺質量數據的方法，該方法包括 將一採集的圖像的圖像數據組織成作物像素和非作物像素； 基於所述作物像素的像素強度確定一強度分布； 建立與一組作物行或一單個作物行相關聯的一參考強度分布； 將所述採集的圖像劃分成多個分段或重疊的窗口；為所述分段的每一個確定一在所述強度分布和一參考強度分布之間的互相關；估計與所述分段的每一個相關聯的一行中心位置；將估計的行中心位置布置成定義一表示一作物行的一位置和方向的回歸路徑；確定一在所述回歸路徑與所述行中心位置之間的r平方值；和 基於所述確定的互相關和所述r平方值確定視覺質量數據，以應用於一車輛控 制器或調節器用於車輛的轉向。
9、 如權利要求8所述的方法，其中所述回歸路徑包括選自以下組成的群組中 路徑大體線性路徑、大體曲線路徑和周線路徑。
10、 如權利要求8所述的方法，其中所述回歸路徑包括一大體線性路徑，以 及其中所述r平方值指示所述行中心位置相對於所述回歸路徑的線性度。
11、 如權利要求8所述的方法，其中所述參考強度分布包括一正弦曲線的參 考強度分布。
12、 如權利要求ll所述的方法，其中所述峰值互相關對應相應的作物行分段 的所述行中心位置。
13、 如權利要求8所述的方法，其中所述作物行包括一乾草列。
14、 如權利要求8所述的方法，其中所述參考強度分布包括一費米函數或一 階躍函數。
15、 如權利要求14所述的方法，其中費米函數的所述寬度與一乾草列的寬度 成比例。
16、 如權利要求8所述的方法，其中如果所述互相關符合或超過第一最小閾 值和如果所述r平方值符合或超過第二最小閾值，則所述視覺質量數據被認為高 或足夠用於所述車輛的制導。
17、 如權利要求8所述的方法，其中如果所述互相關小於第一最小相關閾值 或者如果所述r平方值小於第二最小閾值，則所述視覺質量數據被認為低或不足 以用於所述車輛的制導
18、如權利要求8所述的方法，其中所述互相關包括根據下面的方程確定的 廣義圖像互相關formula see original document page 4其中r(d)是在所述觀察的強度分布l(K)和所述參考強度分布T(/c+d)之間的所述廣義圖像互相關函數，d定義為所述參考強度分布的位置，/是所述觀察的強度分布 的平均強度，r是所述參考強度分布的平均強度，以及r(dma》是所述圖像中任意 作物行的近似中心位置。
19、如權利要求8所述的方法，其中所述互相關包括根據下面的方程確定的 歸一化的互相關formula see original document page 4其中，r^,、,是來自一組分段的平均互相關，^是所述參考互相關，以及r。是 最小互相關。
20、 如權利要求8所述的方法，進一步包括 通過一單目視覺成像單元採集所述圖像數據。
21、 如權利要求8所述的方法，其中所述分段包括所述圖像數據的重疊的窗 口或分區。
22、 一種引導車輛的系統，所述系統包括一定位接收器，用於在一求值時間窗口過程中為所述車輛採集初歩制導數據；一視覺模塊，用於在所述求值時間窗口過程中採集視覺數據和用於從所述採集的視覺數據確定視覺制導數據；一視覺質量估計器，用於在所述求值時間窗口過程中估計所述視覺數據和所 述視覺制導數據中至少一個的視覺質量數據，所述視覺質量數據基於一互相關和 一 r平方值，所述互相關在一分段內的所述視覺數據的一觀察的強度分布與一參 考強度分布之間以確定行中心位置，以及r平方值在所述回歸路徑和所述行中心位 置之間；和一調節器，用於當所述視覺質量數據超過一最小閾值時基於所述視覺制導數據調節所述初步制導數據至一修正的制導數據，使得所述修正的制導數據與所述 視覺制導數據一起被記錄或大體同延。
23、 如權利要求22所述的系統，進一步包括一互相關模塊，用於確定一歸一 化的互相關作為所述互相關，所述歸一化的互相關基於所述圖像數據的一組分段 的一平均互相關，每一個分段與一相應的行中心位置相關聯。
24、 如權利要求23所述的系統，其中所述視覺質量估計器進一步包括 一行中心估計器，用於估計與所述圖像的相應的分段或分區相關聯的所述行中心位置；和一排列器，用於確定與所述行中心位置一致的所述回歸路徑。
25、 如權利要求23所述的系統，其中所述視覺質量估計器包括 一組織器，用於將一採集的圖像組織成作物像素和非作物像素； 一強度分布模塊，用於基於所述作物像素的像素強度值確定一強度分布； 一數據存儲設備，用於存儲與一組作物行或一單個作物行相關聯的參考強度分布；一再分器，用於將所述採集的圖像劃分成多個分段或重疊的窗口； 一互相關模塊，用於為所述分段中的每一個確定所述強度分布與一參考強度 分布之間的一互相關。
26、 如權利要求25所述的系統，進一歩包括一行中心估計器，用於估計與所述分段中的每一個相關聯的一行中心位置；和一排列器，用於將估計的行中心位置布置成定義一表示一作物行的一位置和 方向的回歸路徑。
27、 如權利要求26所述的系統，進一步包括一變量估計器，用於確定所述回歸路徑與所述行中心位置之間的一 r平方值；和一估計器，用於基於所述確定的互相關和所述r平方值確定視覺質量數據，以 應用於一車輛控制器或調節器用於車輛的轉向。
28、 如權利要求22所述的系統，其中所述初歩制導數據和所述修正的制導數 據各包括航向數據、偏離軌道數據和曲率數據中的至少一個。
全文摘要
在求值時間窗口過程中確定車輛的初步制導數據。視覺模塊(22)採集所述求值時間窗口過程中來自視覺模塊(22)的視覺數據。由採集的視覺數據確定視覺制導數據。視覺質量估計器(20、120或220)為所述求值時間窗口過程中的所述視覺數據和視覺制導數據中的至少一個估計視覺質量數據。所述視覺質量數據基於互相關和r平方值。如果所述視覺質量數據超過最小閾值，則調節器(110)基於所述視覺制導數據將所述初步制導數據調節為修正的制導數據，使得所述修正的制導數據與所述視覺制導數據一起被記錄或大體同延。
文檔編號G05D1/00GK101681168SQ200880017646
公開日2010年3月24日 申請日期2008年4月8日 優先權日2007年5月31日
發明者特倫斯·丹尼爾·皮克特, 約翰·富蘭克林·裡德, 韓·書峰 申請人:迪爾公司