一種雜草環境下的農機導航路徑提取方法
2023-06-07 19:44:36 1
一種雜草環境下的農機導航路徑提取方法
【專利摘要】一種雜草環境下的農機導航路徑線提取方法，包括採集作物圖像,根據所述採集到的圖像確定興趣區，將興趣區轉換為二值圖像;將所述二值圖像分為若干水平條帶進行處理；每個條帶內的像素值進行垂直投影，將得到若干投影曲線，對所有投影曲線進行二值化處理，確定動態興趣區，根據動態興趣區內的高值位置提取所有條帶內的特徵點，將所有特徵點利用最小二乘法擬合，得到導航路徑。解決了在雜草較多的環境下農機導航線提取可靠性差等缺點。
【專利說明】一種雜草環境下的農機導航路徑提取方法【技術領域】
[0001]本發明涉及一種圖像處理技術，特別涉及一種雜草環境下的農機導航路徑提取方法。
【背景技術】
[0002]隨著傳感器性價比的提高，以機器視覺和衛星定位為核心的農機自動導航技術日益成為研究的熱點。導航技術廣泛應用於各種農業作業(如除草、播種、收穫等作業)過程中。導航功能直接影響農業機械的效率、可靠性和穩定性。農業導航技術難度較大，按種類來分有GPS導航、慣性導航及機器視覺導航等方式。由於機器視覺導航方式具有信號探測範圍廣、信息完整等優點，隨著電子技術的快速發展，取得了較廣泛的應用。
[0003]農業機械的機器視覺導航功能包括路徑規劃、避障與探測定位，它主要依賴於計算機在一定先驗知識的指導下對圖像進行有效的加工和分析，從而對農田景物場景以正確解釋，為導航過程提供信息來源。多個不同功能的圖像處理單元就可以集成為一個解決一定問題或實現一定功能的視覺導航系統，使田間作業的農業機械能夠準確地沿著作物的行、列或其它標誌物行走，並且能識別工作的對象。
[0004]在農田複雜的自然場景中，圖像分割往往因光照、陰影等噪聲困擾而變得十分困難，無法取得較為滿意、穩定的圖像分割效果。農田中早期農作物，植株相對矮小，整齊的按行種植，行與行之間基本平行。同時，農作物一般呈綠色，作物行在整體上呈現直線形狀或者小曲率曲線，作物行連續，檢測到的導航特徵在短時間隔內不會發生突變，人們常常提取圖像中的作物行作為導航線。
[0005]目前，國內外有許多關於作物行直線提取的研究報導，例如:國內本領域技術人員研究了自然環境下作物圖 像，採用霍夫變換(Hough Transform)的方法，提取作物行直線作為導航線。霍夫變換算法魯棒性好，穩定可靠，但缺點是非常耗時，難以保證實時性要求。有研究人員利用最小二乘法提取導航線，用最小二乘法能夠快速檢測出作物行，但當圖像噪聲較大時，檢測的結果有較大的誤差，同時，當圖像中包含多行作物時候，不能直接採用最小二乘法進行直線提取。
[0006]國內外研究基於機器視覺的文獻較多。在研究初期，研究人員較少考慮雜草的影響。隨著研究的深入，部分國內外研究開始考慮視覺導航中雜草的影響。如M.Montalvo等利用模式識別技術避免農機導航中雜草的影響；Xavier等對視頻中多幅圖像採用「與」的方式消除雜草；趙博等提出了一種基於BP神經網絡雜草環境下導航路徑識別方法；張志斌等提出了基於良序集和壟行結構的農機視覺導航參數提取算法。由於導航環境的複雜性，雜草環境下導航技術還存在多種弱點，例如M.Montalvo等提出的模式識別技術在實際應用中對作物行的直線性要求較高、可靠性較差；採用多幅圖像「與」的方法處理速度慢，難以滿足農機導航實時性要求。
[0007]由於大田作物一般行與行位置平行，因此在機器視覺導航時，可根據某一特定行的作物進行直線提取。在採集到的農田場景圖像中除導航特徵以外的信息是無效信息，不但浪費了大量的處理時間，而且增加了場景的複雜程度，還可能產生對場景中其它直線特徵的誤檢。通過設置興趣區ROI (Region Of Interest)實現選擇注意機制，只對興趣區ROI中的圖像進行處理，可以大大減少圖像處理的工作量，降低場景的複雜性，突出導航特徵。[0008]雜草的顏色和玉米等作物的顏色類似，將土壤、雜草等背景和作物進行分割，是提取作物行直線的基礎。本發明提出了一種雜草環境下的農機導航路徑提取方法。
[0009]本發明提出的一種雜草環境下的農機導航路徑提取方法將圖像的興趣區劃分成多個水平條帶，對水平條帶內識別出的植物(包含作物和雜草)進行垂直投影，進而提取特徵點，最終提取導航路徑。Torr1、姜國權等都曾將圖像分成多個水平條帶，進而獲取特徵點、提取導航線，但較少考慮雜草的影響。李茗萱等也曾將圖像分割為水平條帶，並對植物(作物、雜草)進行投影，根據投影的寬度識別作物和雜草。實際導航應用中，雜草和作物難以通過簡單的投影寬度進行準確區分。本發明的內容和上述方法具有明顯不同。
【發明內容】
[0010]本發明提供一種用於雜草環境下農機導航路徑提取方法，利用該方法能夠較好地提聞導航路徑的提取速度、減少雜草影響，提聞導航路徑提取的可罪性，解決農機導航路徑提取實時性差、可靠性低等問題。
[0011]為實現上述目的，本發明的提供了一種雜草環境下的農機導航路徑提取方法，包括:
[0012]採集作物圖像，使特定作物行與水平方向呈70~85度；
[0013]根據所採集到的圖像確定興趣區；
[0014]將興趣區轉換為二值圖像；
[0015]將所述二值圖像分為若干水平條帶進行處理；
[0016]每個條帶內的像素值進行垂直投影，將得到若干投影曲線，對所有投影曲線進行二值化處理；其特徵在於:
[0017]根據作物行的位置確定動態興趣區；
[0018]根據動態興趣區內的高值位置提取所有條帶內的特徵點；
[0019]將所有特徵點利用最小二乘法擬合，得到導航路徑。
[0020]其中，所述興趣區確定方法為:興趣區為包含特定作物行的矩形，其中矩形上下兩邊為採集作物圖像上下邊緣的一部分，矩形上下兩邊寬度為採集作物圖像上部特定作物行及與其相鄰的兩個作物行間寬度之和。
[0021]其中所述的將所述二值圖像分為若干水平條帶進行處理為根據作物在圖像內的高度確定條帶的高度，取特定作物行在圖像中部的作物高度作為作物在圖像內的高度，作物高度的一半作為條帶的寬度。
[0022]將對所有投影曲線進行二值化處理的方法為:將投影曲線值低於條帶高度一半的轉換為低值，否則轉換為高值。
[0023]根據作物行下端的位置確定動態興趣區的方法為:將圖像最底端的條帶內，將寬度最大的高值中心的橫坐標作為橫坐標，對應在圖像下邊緣處找到一點，為左下邊緣點?』沿該點向右移動作物寬度的距離，得到另外一點，作為右下邊緣點；沿右下邊緣點垂直向上，相交圖像上邊緣一點，作為右上邊緣點；興趣區矩形的左上角點為左上邊緣點，連接上述4 個邊緣點得到動態興趣區；
[0024]根據動態興趣區內的高值位置提取所有條帶內的特徵點的方法為，圖像最底端的 條帶內，寬度最大的高值中心的橫坐標為橫坐標，該條帶中心處的縱坐標為縱坐標，所述橫 坐標和縱坐標確定為最底端條帶的特徵點；依次向上檢測下一條帶的特徵點，將動態興趣 區內左右各一個作物寬度範圍內的所有高值中心的橫坐標的平均值，作為該條帶內特徵點 的橫坐標，該條帶中心處的縱坐標為該條帶內特徵點的縱坐標，如果在下一條帶內，高值中 心橫坐標位於左右各一個作物寬度範圍之外，則按一定的指數判斷其是否為雜草
[0025]該方法具有可靠、實時性好等優點。
【專利附圖】
【附圖說明】
[0026]圖1為根據本發明的用於雜草環境下農機導航路徑提取方法流程圖；
[0027]圖2為根據本發明的採集到的圖像示意圖；
[0028]圖3為根據本發明的興趣區二值圖像的示意圖；
[0029]圖4為根據本發明的條帶分割及投影曲線示意圖；
[0030]圖5為根據本發明的動態興趣區示意圖；
[0031]圖6為根據本發明的提取特徵點示意圖；
[0032]圖7為根據本發明的導航路徑提取示意圖。
【具體實施方式】
[0033]下面通過附圖和實施例，對本發明實施例的技術方案做進一步的詳細描述。
[0034]本發明所有提供的一種雜草環境下的農機導航路徑提取方法，主要是針對在自然 條件下，實現對農機導航路徑的的快速可靠提取，以下各實施例選擇以含有雜草的玉米圖 像為例。
[0035]圖1為根據本發明的用於雜草環境下農機導航路徑提取方法，包括如下步驟:
[0036]第一步:採集作物圖像。調整安裝於除草機具上攝像頭的高度和角度，使圖像中某 一行作物與水平方向呈70?85角度。對該行作物進行導航線提取，以下稱該行作物為特 定作物行。
[0037]第二步:根據所採集到的圖像確定興趣區。興趣區為包含特定作物行的矩形，其中 矩形上下兩邊為圖像上下邊緣的一部分，矩形上下兩邊寬度為圖像上部特定作物行及與其 相鄰的兩個作物行間寬度之和。
[0038]第三步:將興趣區轉換為二值圖像。對興趣區內的圖像按如下方法進行轉換:
[0039]Igray(i, j) =Gnor(i, j)*2-Rnor(i, j)-Bnor(i, j) (I)
[0040]其中1、j為像素的行列坐標，GnOT(i，j)、RnOT(i，j)和BnOT(i，j)分別由下式確定:
[0041]Gnor(i, j)=GN(i, j)/(GN(i, j)+RN(i, j)+BN(i, j))
[0042]Rnor(i, j)=RN(i, j)/(GN(i, j)+RN(i, j)+BN(i, j)) (2)
[0043]Bnor(i, j)=BN(i, j)/(GN(i, j)+RN(i, j)+BN(i, j))
[0044]其中
[0045]Gn(i, j)=G(i, j)/Gmax[0046]RN(i, j)=R(i, j)/Rmax (3)
[0047]BN(i，j)=B(i，j)/Bmax
[0048]其中G(i，j)、R(i，j)、B(i，j)分別為採集到的原圖像(i，j)處像素G、R、B顏色分量的灰度值；Gmax、Rmax和Bmax分別G、R、B顏色分量灰度圖像中最大灰度值。
[0049]經上述轉換，興趣區轉換為灰度圖像，將此灰度圖像轉換為二值圖像，利用最大類間差法(0TSU法)確定轉換閾值。
[0050]所述的二值圖像，白色像素點(灰度值為I)為玉米，黑色像素點(灰度值為O)為背景。用邊長為5像素的正方形結構元素對二值圖像進行開運算，消除二值圖像面積微小的白色區域。
[0051]第四步:將所述二值圖像分為若干水平條帶進行處理。將所述二值圖像分為若干水平條帶進行處理，根據作物在圖像內的高度確定條帶的高度。作物在圖像內上下左右位置不同，高度不同，取特定作物行在圖像中部的作物高度作為作物在圖像內的高度Height ；取特定作物行在圖像中部的作物高寬度(包含葉片)的1/5?1/6作為作物在圖像內的寬度Width。將Height/2作為水平條帶的寬度，將二值圖像分為若干個水平條帶，不妨分為η個水平條帶，然後對每個單獨的條帶進行檢測。
[0052]第五步:每個條帶內的像素值進行垂直投影，將得到若干投影曲線，對所有投影曲線進行二值化處理。對每個條帶內的像素值進行垂直投影，將得到η條投影曲線，其中每條投影曲線的最大值為Height/2,最小值為O。
[0053]對η條投影曲線進行進一步變換，投影曲線值小於等於Height/4時曲線值為0，否則曲線值為Height/2，形成只有高低兩值的方波投影曲線。
[0054]第六步:根據作物行下端的位置確定動態興趣區。檢測特定作物行的下端:圖像最底端的條帶內，寬度最大的高值(波峰)處默認為作物行的下端。
[0055]將圖像最底端的條帶內，寬度最大的高值(波峰)的中心的橫坐標ib(rt作為橫坐標，向圖像下邊緣引垂線，垂線與下邊緣相交點為左下邊緣點；沿該點向右移動Width/2的距離，得到另外一點，作為右下邊緣點；沿右下邊緣點垂直向上，相交圖像上邊緣一點，作為右上邊緣點；興趣區矩形的左上角點為左上邊緣點，連接上述4個邊緣點得到一個梯形的區域，該區域在算法處理過程中，根據每幀圖像作物位置不同動態變化，定義其為動態興趣區。
[0056]作物可能存在缺苗的情況，因此，圖像最底端的條帶內的投影曲線有可能沒有高值(波峰)，在這種情況下，檢測興趣區內最大面積的白色區域，可得到其形心橫坐標icentroid.將(i_tMid+Width/2)作為橫坐標,在圖像下邊緣處找到一點，為左下邊緣點；沿該點向右移動Width/2的距離,得到另外一點，作為右下邊緣點；沿右下邊緣點垂直向上,相交圖像上邊緣一點，作為右上邊緣點；興趣區矩形的左上角點為左上邊緣點,連接上述4個邊緣點得到動態興趣區。
[0057]第六步:根據動態興趣區內的高值位置提取所有條帶內的特徵點。忽略動態興趣區外的投影曲線信息，根據動態興趣區內投影曲線高值確定特徵點，每條帶內取一個特徵點。具體方法為:
[0058]圖像最底端的條帶內，寬度最大的高值(波峰)處默認為作物行的下端，寬度最大的高值中心的橫坐標ib(rt為橫坐標，該條帶中心處的縱坐標為縱坐標，確定為最下端的特徵
【權利要求】
1.一種雜草環境下的農機導航路徑提取方法，包括:採集作物圖像，使特定作物行與水平方向呈70?85度；根據所採集到的圖像確定興趣區；將興趣區轉換為二值圖像；將所述二值圖像分為若干水平條帶進行處理；每個條帶內的像素值進行垂直投影，將得到若干投影曲線，對所有投影曲線進行二值 化處理；其特徵在於:根據作物行的位置確定動態興趣區；根據動態興趣區內的高值位置提取所有條帶內的特徵點；將所有特徵點利用最小二乘法擬合，得到導航路徑。
2.根據權利要求1所述的導航路徑提取方法，其中，所述興趣區確定方法為:興趣區為 包含特定作物行的矩形，其中矩形上下兩邊為採集作物圖像上下邊緣的一部分，矩形上下 兩邊寬度為採集作物圖像上部特定作物行及與其相鄰的兩個作物行間寬度之和。
3.根據權利要求1所述的導航路徑提取方法，其中，將所述二值圖像分為若干水平條 帶進行處理的方法為，根據作物在圖像內的高度確定條帶的高度，取特定作物行在圖像中 部的作物高度作為作物在圖像內的高度，作物高度的一半作為條帶的寬度。
4.根據權利要求1所述的導航路徑提取方法，其中，對所有投影曲線進行二值化處理 的方法為，將投影曲線值低於條帶高度一半的轉換為低值，否則轉換為高值。
5.根據權利要求1所述的導航路徑提取方法，其中，根據作物行下端的位置確定動態 興趣區包括將圖像最底端的條帶內，將寬度最大的高值中心的橫坐標作為橫坐標，對應在 圖像下邊緣處找到一點，為左下邊緣點；沿該點向右移動作物寬度的距離，得到另外一點， 作為右下邊緣點；沿右下邊緣點垂直向上，相交圖像上邊緣一點，作為右上邊緣點；興趣區 矩形的左上角點為左上邊緣點，連接上述4個邊緣點得到動態興趣區。
6.根據權利要求1所述的導航路徑提取方法，其中，根據動態興趣區內的高值位置提 取所有條帶內的特徵點包括:圖像最底端的條帶內，寬度最大的高值中心的橫坐標為橫坐 標，該條帶中心處的縱坐標為縱坐標，所述橫坐標和縱坐標確定為最底端條帶的特徵點；依 次向上檢測下一條帶的特徵點，將動態興趣區內左右各一個作物寬度範圍內的所有高值中 心的橫坐標的平均值，作為該條帶內特徵點的橫坐標，該條帶中心處的縱坐標為該條帶內 特徵點的縱坐標，如果在下一條帶內，高值中心橫坐標位於左右各一個作物寬度範圍之外， 則按一定的指數判斷其是否為雜草。
【文檔編號】G01C21/20GK103530606SQ201310461422
【公開日】2014年1月22日 申請日期:2013年9月30日 優先權日:2013年9月30日
【發明者】張漫, 劉剛, 司永勝, 李民贊, 孟慶寬, 仇瑞承 申請人:中國農業大學