用於引導農業機器上的照相機系統的方法

2023-12-05 21:23:31

用於引導農業機器上的照相機系統的方法
【專利摘要】本發明涉及一種農業收割機(51)，該農業收割機裝備有可運動卸載裝置(1、2)，以便將農作物材料輸送至在收割機附近驅動的容器(4)，這樣，從收割機看，容器有近側上部邊界(4)和遠側上部邊界(8)，其中，3D照相機(15)提供於收割機上，用於捕獲圖像(19)，在該圖像(19)中，至少能夠看見近側邊界(6)，以便根據這些圖像來引導卸載裝置，其特徵在於：照相機(15)可繞基本水平軸線(25、42)旋轉地安裝。本發明還涉及一種用於將可旋轉照相機的旋轉角度布置成使得近側邊界(6)總是保留在照相機的視野內的方法。另外，本發明涉及一種用於控制卸載裝置的方法，這樣，處理後的農作物材料在離近側邊界(6)預定距離處沉積在容器中。
【專利說明】用於引導農業機器上的照相機系統的方法

【技術領域】
[0001] 本發明涉及農業收割機，例如聯合收割機或飼料收割機，該農業收割機裝備有卸 載裝置（例如噴口），用於將收割和處理後的農作物材料充裝至與該收割機並排運行的容 器中。更具體地說，本發明涉及一種用於根據圖像數據來控制這種容器的充裝的方法。

【背景技術】
[0002] 在上述類型的飼料收割機中，根據照相機圖像來控制噴口位置以及噴口的可樞軸 轉動端部部分（折片）的位置為本領域已知。專利文獻W0-A-2011101458介紹了一種系統， 其中，3D照相機布置在排出噴口上。照相機獲取緊跟著機器驅動的容器的圖像。這些圖像 確定至少兩個堅直條。分析這些條提供了容器的前壁和/或後壁相對於照相機的位置。根 據該信息，噴口控制成使得農作物材料卸載至容器中。當使用具有有限堅直觀察角度類型 的3D照相機時（但是其中在光靈敏性和解析度方面，結果很有利），有容器或者至少容器的 近側邊界消失在照相機視野外的危險，因此不再保證正確充裝。


【發明內容】

[0003] 本發明通過使用在附加權利要求中所述的農業收割機和方法而提供了對於上述 問題的解決方案。
[0004] 因此，本發明首先涉及一種收割機，該收割機裝備有可運動卸載裝置，以便將農作 物材料輸送至在收割機附近驅動的容器，這樣，從收割機看，容器有近側上部邊界和遠側上 部邊界，其中，3D照相機提供於收割機上，用於捕獲圖像，在該圖像中，至少能夠看見近側邊 界，以便根據這些圖像來引導卸載裝置，照相機可繞基本水平軸線旋轉地安裝。
[0005] 卸載裝置優選是排出噴口，該排出噴口可繞堅直軸線旋轉，且該排出噴口在它的 端部裝備有可旋轉部件，也稱為折片，該可旋轉部件用於將處理後的農作物材料流引導至 容器中。噴口自身能夠繞水平軸線旋轉，因此能夠控制折片自身的高度。照相機優選是布 置在排出噴口的底部上。照相機的旋轉軸線可以與排出噴口的水平旋轉軸線平行或重合。
[0006] 根據本發明的收割機還可以裝備有光源，該光源也可旋轉地安裝在照相機附近， 其中，光源和照相機設置成繞相同或不同的水平軸同時旋轉。
[0007] 在根據本發明的收割機上，卸載裝置可以包括排出噴口，該排出噴口有在端部處 的鉸接折片，照相機和光源固定在排出噴口的底部，並設置成繞兩個不同的、相互平行的軸 樞軸轉動，光源的旋轉軸線位於照相機的旋轉軸線和鉸接折片之間。
[0008] 光源或照相機的旋轉能夠由線性促動器來控制，且機械連接件提供於光源和照相 機之間，因此光源的任何旋轉也由照相機執行，或者反之亦然。
[0009] 照相機和光源的旋轉也可以由單獨的促動器來控制，該促動器自身由相同的控制 信號來控制。
[0010] 本發明還涉及一種用於將收割機的可運動卸載裝置引導向在收割機附近驅動的 容器的方法，當從收割機看時，該容器包括近側上部邊界和遠側上部邊界，該方法包括以下 步驟：
[0011] 一使用在收割機上的3D照相機來用於捕獲圖像，在該圖像中至少能夠看見近側 邊界，且照相機產生圖像數據，該圖像數據包含關於在照相機和近側邊界之間的距離的信 息；
[0012] 一處理該圖像數據，用於由此推導出關於在近側邊界和卸載裝置之間的相對位置 的數據；以及
[0013] 一使用該相對位置數據來用於使得卸載裝置相對於收割機自動地運動；
[0014] 其特徵在於：照相機安裝成可繞基本水平的旋轉軸線旋轉，且照相機繞該軸線的 角度位置控制成這樣，在收割機和/或容器的運動過程中，使得近側邊界保持在照相機的 觀察圖像的預定區域內。
[0015] 近側邊界的位置可以根據至少兩個堅直條來檢測，該堅直條確定於由照相機觀察 的容器圖像中。
[0016] 根據該方法的一個實施例，預定區域是在兩個平行線之間的條，這兩個平行線位 於照相機的觀察圖像的下半部分中，該方法包括以下步驟：
[0017] 檢測近側邊界，
[0018] 當邊界可見，但是如通過堅直條的分析所確定，邊界的位置並不在線之間時，
[0019] ?檢測邊界是位於條的上面還是下面，
[0020] ?當邊界位於條的上面時，向上轉動照相機，一旦至少一個位置處於條中時，就保 持照相機位置，
[0021] ?當邊界位於條下面時，向下轉動照相機，一旦多個位置中的至少一個處於條中 時，就保持照相機的位置；以及
[0022] 當邊界在圖像中不可見時，使得照相機運動至預定的開始位置。
[0023] 開始位置優選是這樣的位置，在該位置中，照相機引導成使得觀察的圖像不會僅 包含容器的遠側邊界。
[0024] 根據一個實施例，卸載裝置包括噴口和在該噴口端部處的鉸接折片，折片的位置 根據檢測的、從近側邊界至照相機的距離來控制，這樣，折片持續引導向位於離近側邊界預 定距離的點。

【專利附圖】

【附圖說明】
[0025] 圖1是裝備有旋轉3D照相機和光源的收割機的充裝噴口的視圖。
[0026] 圖2表示了由照相機看見的容器的圖像的實例，表示了在應用本發明的方法時容 器邊界必須保持在其中的界限。
[0027] 圖3表示了根據照相機圖像來確定要檢測的容器邊界的方法。
[0028] 圖4表不了根據優選實施例的3D照相機和光源的布置方式。
[0029] 圖5a和5b更詳細地表示了圖4的布置方式。
[0030] 圖6A表示了要在離近側邊界距離P處充裝容器所需的幾何參數。
[0031] 圖6b表示了當噴口並不垂直於容器邊界定向時的距離P'和它與P的關係。

【具體實施方式】
[0032] 下面將參考附圖介紹優選實施例。詳細說明並不是限制本發明的範圍，本發明的 範圍只由附加權利要求來確定。
[0033] 圖1是排出噴口 1的示意圖，該排出噴口 1的基部以本領域已知的方式安裝成用 於繞堅直軸線旋轉和繞在飼料收割機上的水平軸線樞軸轉動。噴口安裝件裝備有用於改變 噴口的角度位置的促動器，例如液壓馬達10,並有用於改變噴口端部高度的還一促動器，例 如液壓缸（未示出）。噴口還有在它的端部處的可樞軸轉動折片2,該折片2裝備有第三促 動器，例如線性電促動器11。三個促動器由控制系統12來控制，該控制系統12設置成引導 處理後的農作物材料流3進入容器4,通過人工控制器13或通過微處理器14來管理。容 器有：近側側壁5,該近側側壁5最接近飼料收割機，並有上部邊界6 ;以及相對的遠側側壁 7,該遠側側壁7有上部邊界8。農作物材料沉積在容器4中，並在其中形成堆9。3D照相 機15和光源16安裝在噴口上，並在表不為低於折片2的位置。照相機設置成產生作為一 組像素的圖像19,並對於在圖中的各像素確定從照相機至圖像中的物體的距離值。該距離 可以根據經過時間（time-of-flight)的原理來確定。照相機的視野由邊界線17和18來 表不。
[0034] 光源優選是近紅外線（NIR)燈，該光源發射具有特定波長的調製光。相同波長的 反射光由照相機捕獲。在根據本發明的機器中，照相機15可繞水平軸線25旋轉，或者換句 話說，可繞與噴口 1的中間面垂直的軸線旋轉。當存在光源16時，它優選是也可繞水平軸 線旋轉。在圖1的結構中，光源16是固定在照相機15的底部處的聚光燈，並能夠與照相機 一起繞軸線25樞軸轉動。根據優選實施例（該優選實施例將在下文中介紹），照相機和光 源實施為這樣，將照相機和光源同時旋轉，但是並不繞相同軸線。照相機的旋轉通過促動器 (圖1中未示出）來實現，優選是電線性促動器，它由來自控制系統12的信號來控制。本發 明還涉及用於控制照相機的旋轉的方法，這樣，容器的合適部分總是保留在圖像中。該方法 在下面結合在W0-A-2011/101458中所述的方法（用於檢測邊界6)來解釋。不過，本發明 也能夠與其它檢測方法結合使用。
[0035] 為了能夠應用W0-A-2011/101458的方法，照相機相對於容器4的位置為這樣，在 水平方向，照相機布置在容器的一側（即，照相機的水平位置A並不位於容器的側壁5和6 的橫向水平位置B和C之間）。在堅直方向，照相機優選是布置成高於容器的側壁5和7的 上部邊界6和8。因此，在照相機獲取的圖像中，可以看見至少近側側壁5和（可能的）遠 側側壁7的前表面（即面對收割機的表面）以及這些側壁的近側上部邊界6和（可能的） 遠側上部邊界7,如圖2中的實例所示。（近側側壁5的）近側上部邊界6表示在圖像的下 部部分中，而（遠側側壁7的）遠側上部邊界8表示在圖像的上部部分中。圖2的圖像在 噴口將農作物材料傳送至容器內時獲取。這些排出的農作物材料可見為圖像中的中心區域 20 〇
[0036] 根據W0-A-2011/101458中所述的發明方法，對在圖2中的圖像進行分析，以便確 定至少近側上部邊界6和（當可見時）遠側上部邊界8的位置。根據容器在飼料收割機的 哪一側運行，容器4的前部和後部邊界可以顯示在圖像的左側或右側部分中。在如圖2中 所示的圖像中，選擇第一和第二堅直條21和22,所述條分別位於噴口的左側和右側，即在 圖像的中心區域20的左側和右側。根據優選實施例，在該中心區域20中選擇第三堅直條 23。選擇的條各自包括多排像素的堆垛，各排對應於圖像上的堅直位置，各像素有相應的距 離值，該距離值由包含在圖像（假定該圖像由3D經過時間的照相機來獲取）中的數據得 出。對於各堅直位置的距離數據再進行過濾，以便除去可疑值（例如物體太遠或太近，或者 反射光的幅值太小），並產生用於該堅直位置的單個過濾距離值。根據優選實施例，過濾的 距離值等於在條中的各垂直位置的平均距離值。
[0037] 通過過濾值，獲得三個距離曲線，如圖3A至3C中所示，分別對應於在條21、23和 22中的過濾距離。與左側和右側條21和22相對應的曲線表示了在多個區域中距離值的 清楚跳躍或飛躍，在這些區域中表示近側和遠側上部邊界6和8。與中心條23相對應的曲 線只表示了在近側上部邊界6的位置處的跳躍（假定在區域20中，遠側上部邊界隱藏在排 出的農作物的後面）。至少一個上部邊界6或8的堅直位置由一個或兩個跳躍的位置來獲 得，且噴口 1和折片2相對於收割機的位置控制成將收割的農作物引導至容器中，即引導至 高於近側上部邊界6和/或低於遠側上部邊界8的位置。根據優選實施例，使用圖3A至3C 中的曲線的一階和/或二階導數，與它自身的測量距離組合，作為用於確定邊界6和8的堅 直位置的基礎。如圖3D至3F中所示，一階導數表示了在邊界6和8的位置處的尖銳峰值。 這些峰值能夠比圖3A至3C中的距離曲線的跳躍更容易檢測。同樣，二階導數表示了類似 的峰值，因此也能夠用作確定邊界6和8的位置的基礎。當一階和/或二階導數高於預定 界限值時，能夠支持已經找到邊界。
[0038] 下面結合上述圖像處理系統來解釋根據本發明的方法。本發明的方法利用這樣的 情況，即照相機15安裝成具有旋轉能力。兩個水平線30和31在照相機的視野中，確定於 圖像的下部部分中，如圖2所示。根據本發明的方法包括使得照相機旋轉，以使得容器的近 側上部邊界6(圖像中的下部邊界）的至少一部分總是在這兩條線之間。該方法包括以下 步驟：
[0039] 一通過上述三個條21、22、23的分析來檢測近側邊界6 ;
[0040] 一當邊界可見，但是如通過三個條的分析所確定，邊界6的三個位置並不在線30 和31之間延伸時，
[0041] ?檢測邊界6是位於條30/31的上面還是下面，
[0042] ?當邊界6位於條30/31上面時，向上旋轉照相機，一旦三個位置中的至少一個處 於條30/31中，保持照相機位置，
[0043] ?當邊界6位於條30/31下面時，向下旋轉照相機，一旦三個位置中的至少一個處 於條30/31中，保持照相機位置；
[0044] -當邊界在圖像中不可見時，使得照相機運動至預定的開始位置。這可能在例如 機器在田地邊界上的已經收割的土地條（所謂的畦頭未耕地）上運行時產生。
[0045] 因此，確定是否三個位置中的至少一個在條30/31內。當照相機（和噴口）垂直 於容器邊界6時，三個位置通常在一直線上，該直線或多或少地平行於觀察圖像的下部邊 界延伸（如圖2中所示），換句話說，三個位置能夠同時位於條30/31中。不過，當噴口並不 垂直於容器的邊界時（例如見圖6b)，邊界6觀察為處於一定角度，且邊界6的視圖並不平 行於圖像的底部。在這種情況下，圖像中的三個位置的最高或最低位置處於條30/31中就 足以保證邊界保持為由照相機"可見"。收割機和容器的相對位置和尺寸優選是使得邊界6 在圖像中與水平方位的偏離並不非常大。
[0046] 在收割機的整個操作過程中，上述步驟持續運行。當靠近容器運行時，它的頂部邊 界自動地保持在圖像中，因此保證正確充裝。當轉彎或其它操縱時邊界6離開圖像時，照相 機自動運動至開始位置，控制能夠從該開始位置重新取得。該開始位置是這樣的位置，其 中，照相機旋轉至它不可能只看見遠側邊界8的位置。它優選是這樣的位置，其中，照相機 朝向容器的下側，因此近側邊界6和遠側邊界8都不在邊框中。如上述確定的開始位置保 證在搜索近側邊界6時，遠側邊界8不會錯誤地被認為是近側邊界6。在（重新）開始該方 法時，照相機從開始位置向上旋轉，直到邊界6進入圖像。從該點開始，（再次）執行上述 步驟。
[0047] 如上所述，光源16優選是也可旋轉地布置，且優選是這樣的，它與照相機同時旋 轉。用於實現它的一種優選布置方式如圖4和5a/5b中所示。由金屬板製造的殼體40固定 在噴口 1的底部上。光源16和照相機15分別安裝在金屬板託架43和44上，該金屬板託架 43和44固定在軸41和42上，該軸41和42安裝在殼體中的軸承上。這樣，支承件43/44 以及光源和照相機繞軸41和42的軸線旋轉。在處於支承件43/44的頂部處的點之間的樞 軸轉動機械連接件45保證光源和照相機同時旋轉。該旋轉由線性促動器46來控制，該線 性促動器46能夠使得在光源的支承件43的頂部處的點相對於殼體的固定點47向前和向 後運動。促動器46優選是電促動器，它裝備成接收控制信號，以便使得照相機和光源旋轉 至合適位置，例如根據上述方法。
[0048] 在照相機和光源之間的距離有助於照相機圖像的質量，特別是在收割過程中大量 灰塵存在於空氣中的情況下。當使用的光源照明的區域近似對應於照相機的視野（該視野 在堅直平面中由在圖1的線17和18之間的角度來確定）時，同時控制照相機和光源的旋 轉將特別有利。同時旋轉保證發射光的大部分實際落在合適區域上。代替在照相機和光源 之間的機械連接件45,這樣的同時操作也可以通過軟體來執行。在這種情況下，照相機和光 源各自由它們自身的促動器來驅動，例如各軸41和42的伺服馬達，該促動器由相同控制信 號來控制。後一種布置方式也能夠進行這樣的控制，其中，照相機的旋轉並不取決於光源的 旋轉，例如，當人們希望使用覆蓋區域比照相機的視野更大的光源時。
[0049] 本發明最後涉及一種用於根據可旋轉照相機15的旋轉角度而將噴口 1的折片2 導向容器中的特定位置的方法。這種布置方式的實例如後面所述。在圖6a中，示意表示了 收割機51，該收割機51與容器4並排運行。噴口 1的、具有折片2的外部部分Γ能夠繞它 的基部處的水平軸線旋轉。可旋轉照相機（未示出）能夠通過在噴口上的點D而繞水平軸 線旋轉。折片2自身能夠在點E處相對於噴口旋轉。容器的近側邊界能夠在剖視圖中看見 為點F。距離DE是收割機的常數特徵。距離DF可由3D圖像推導出，該3D圖像由照相機來 捕獲。角度Ψ是在線DF和線DE(排出噴口）之間的角度。角度β是噴口自身的可旋轉 部分Γ相對於水平線的方位角度。在正常的收割操作中，β保持恆定。在線DE和EF之 間的角度α的值由已知的噴口長度（距離DE)、距離DF和角度Ψ推導出：
[0050]

【權利要求】
1. 一種農業收割機（51)，裝備有可運動卸載裝置（1、2)，以便將農作物材料輸送至在 收割機附近驅動的容器（4)，這樣，從收割機看，該容器有近側上部邊界（4)和遠側上部邊 界（8)，其中，3D照相機（15)提供於收割機上，用於捕獲圖像（19)，在該圖像（19)中，至少 能夠看見近側邊界（6)，以便根據這些圖像來引導卸載裝置，其特徵在於：照相機（15)可繞 基本水平軸線（25、42)旋轉地安裝。
2. 根據權利要求1所述的農業收割機，還裝備有：光源（16)，該光源（16)也可旋轉地 安裝在照相機（15)附近，其中，光源和照相機設置成繞相同或不同的水平軸（41、42)同時 旋轉。
3. 根據權利要求2所述的農業收割機，其特徵在於：卸載裝置包括排出噴口（1)，該排 出噴口（1)有在端部處的鉸接折片（2)，照相機和光源固定在排出噴口的底部上，並設置成 繞兩個不同的、相互平行的軸（41、42)樞軸轉動，光源的旋轉軸線（42)位於照相機的旋轉 軸線（42)和鉸接折片⑵之間。
4. 根據權利要求3所述的農業收割機，其特徵在於：光源（16)或照相機（15)的旋轉 能夠由線性促動器（46)來控制，且機械連接件（45)提供於光源和照相機之間，因此光源的 任何旋轉也由照相機執行，或者反之亦然。
5. 根據權利要求3所述的農業收割機，其特徵在於：照相機（15)和光源（16)的旋轉 由單獨的促動器來控制，該促動器自身由相同的控制信號來控制。
6. -種用於將農業收割機（51)的可運動卸載裝置（1)引導向在收割機附近驅動的容 器（4)的方法，當從收割機看時，該容器包括近側上部邊界（6)和遠側上部邊界（8)，該方法 包括以下步驟： 一使用在收割機上的3D照相機（15)來用於捕獲圖像（19)，在該圖像（19)中至少能夠 看見近側邊界（6)，且照相機產生圖像數據，該圖像數據包含關於在照相機和近側邊界（6) 之間的距離的信息； 一處理該圖像數據，用於由此推導出關於在近側邊界（6)和卸載裝置（1)之間的相對 位置的數據；以及 一使用該相對位置數據用於使得卸載裝置（1)相對於收割機自動地運動； 其特徵在於：照相機（15)安裝成可繞基本水平的旋轉軸線（25、42)運動，且照相機繞 該軸線的角度位置控制成這樣，在收割機和/或容器的運動過程中，使得近側邊界（6)保持 在照相機的觀察圖像（19)的預定區域（30/31)內。
7. 根據權利要求6所述的方法，其特徵在於：近側邊界（6)的位置根據至少兩個堅直 條（21/22/32)來檢測，該堅直條確定於由照相機觀察的容器（4)的圖像中。
8. 根據權利要求7所述的方法，其特徵在於：該預定區域是在兩個平行線（30、31)之 間的條，這兩個平行線位於照相機的觀察圖像（19)的下半部分中，該方法包括以下步驟： 一檢測近側邊界（6)， 一當邊界（6)可見，但是如通過堅直條的分析所確定的，邊界（6)的位置並不在線 (30/31)之間時， ?檢測邊界（6)是位於條（30/31)的上面還是下面， ?當邊界（6)位於條（30/31)的上面時，向上轉動照相機，一旦多個位置中的至少一個 位置處於條（30/31)中，就保持照相機位置， ?當邊界（6)位於條（30/31)下面時，向下轉動照相機，一旦多個位置中的至少一個處 於條（30/31)中，就保持照相機位置； ?當邊界在圖像中不可見時，使得照相機運動至預定的開始位置。
9. 根據權利要求8所述的方法，其特徵在於：開始位置是這樣的位置，在該位置中，照 相機引導成使得觀察的圖像不只包含容器的遠側邊界（8)。
10. 根據權利要求6至9中任意一項所述的方法，其特徵在於：卸載裝置包括排出噴口 (1)和在該排出噴口端部處的鉸接折片（2)，折片的位置根據檢測的、從近側邊界（6)至照 相機（15)的距離來控制，這樣，折片持續引導向位於離近側邊界（6)預定距離⑵的點。
11. 根據權利要求10所述的方法，其特徵在於：折片（2)的位置根據照相機（15)的角 度位置（Ψ)來控制。
【文檔編號】A01D43/08GK104066314SQ201280055053
【公開日】2014年9月24日 申請日期:2012年11月9日 優先權日:2011年11月10日
【發明者】K·M·C·維安尼, B·米斯索藤, B·E·D·德佩斯泰爾 申請人:Cnh工業比利時股份有限公司