基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法
2023-09-16 16:04:45 1
專利名稱：基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法
技術領域：
本發明屬於農作物施藥技術領域，尤其涉及一種基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法。
背景技術：
在農業生產過程中，為防治病蟲害，往往需要經過多次農藥噴灑。而施藥的過程會對環境和操作人員的健康造成一定的危害，特別是在溫室條件下，空間相對封閉，施藥次數多，因此危害更為明顯。通過研製自動化精準施藥系統，可將藥液直接噴灑到作物表面，避免藥液浪費，提高藥液使用效率、減少環境汙染、保障勞動者健康、減輕勞動強度。研製自動化施藥系統有著重要的現實意義和社會價值。 在自動化施藥系統中，目前主要存在的問題有I、噴藥定位不夠準確，藥液浪費嚴重。根據2010年國際植保機械與施藥技術學術會議資料顯示我國農藥平均利用率極低，只有20%左右。大部分的農藥都沒有得到充分有效的利用，究其根源一方面在於施藥方法和手段不夠科學合理，另外在農藥的使用上多採用粗放式噴藥，缺乏精準施藥的技術與條件。2、農藥噴灑不夠均勻，作物表面藥液殘留超標，尤其在溫室中生產的作物更為明顯。藥液噴灑時的霧化效果和噴霧作業方式對噴霧的均勻性有著很大的影響。資料顯示，採用靜電噴霧可以形成微小的霧滴顆粒，並具有良好的附著性，有利於減少重噴和漏噴，提高噴霧的均勻性。採用防漂移等技術也可一定程度上改善噴霧效果，但從根本上講噴霧定位的準確性直接會影響到噴霧質量。3、噴霧農機具的使用適應性有限。例如國外在果樹園中使用的噴霧機，採用超生波噴霧定位，這種方式要求果樹以特定的距離和排列方式栽培，只要在超聲波檢測範圍內存在物體，就會進行噴霧。噴霧時不論作物形態如何，都以同樣方式工作。因此，當環境和作物發生變化後就很難有效工作。4、用於自動化精準噴霧的機器人定位檢測效果不夠理想，實時性較差。例如，運用視覺檢測技術對特定病蟲害區域進行噴霧的機器人，其定位檢測的算法上，往往較為複雜，需要一定的計算時間。同時，對需要施藥的目標作物檢測也存在一定的錯誤率。5、對農作物噴霧施藥基本使用的都屬於二維定位系統。在工作過程中，一般都是先通過特定的傳感器或攝像頭先檢測並獲取噴霧對象的二維信息，將噴頭移動到指定位置或對多個噴頭的開閉進行控制，而噴頭與目標作物的距離往往都是事先設定好的，工作過程中並不調整。因此，當作物形態、大小存在一定差異時，就會造成不同的噴霧效果。6、農藥噴灑自動化系統的性價比同樣是制約其廣泛應用的一個問題。但是，隨著設施農業數量和技術的不斷發展，同時與老齡化社會到來相伴隨的勞動力成本不斷上升，自動化噴霧作業將有著廣闊的應用前景。綜上所述，當前最重要的問題是解決噴霧目標的識別和定位問題，開發一種具有良好適應性、定位準確、實時性好、性價比高的噴霧定位系統。
目前，對於物體空間三維信息獲取的方法主要有雷射、超聲波、雷達、紅外和雙目視覺等。前四者工作時通常是以通過反射波時間或相位差來計算距離信息，雙目視覺主要通過三角測距原理，通過左右圖像匹配來實現定位信息獲取。雙目視覺定位系統的優點在於，適用範圍廣泛，可通過一定的算法配合直接實現對目標的識別和定位；其缺點是識別與定位算法往往較為複雜，實時性和魯棒性較差，特別是對物體形態不規則、環境複雜、光照條件差的場合更加難以檢測。此外，採用多傳感器融合技術，將視覺與雷射、紅外、超聲波等信息結合的定位方式可在一定程度上提高定位精度及定位可靠性。本發明所提出的噴霧定位方式屬於視覺定位範疇,採雙目視覺定位系統對目標農作物進行位置檢測。目前使用雙目視覺定位的技術方法中，如何快速、穩定、準確、可靠的識別判斷目標並確定目標位置輪廓信息是急需要解決的主要問題。
發明內容
本發明的目的在於，提供一種基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法，用於快速準確地計算目標作物的位置信息，並根據目標作物的位置信息，規劃噴頭運行路徑以使噴頭按照合理的噴霧距離和角度進行噴霧。為實現上述目的，本發明提供的技術方案是，一種基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法，其特徵是所述方法包括步驟I :利用雙攝像頭標定目標作物並獲取目標作物的圖像；所述雙攝像頭分別記為左攝像頭和右攝像頭；步驟2 :分別將左攝像頭獲取的目標作物的圖像和右攝像頭獲取的目標作物的圖像從背景中分離出來，得到左攝像頭目標作物的二值圖像和右攝像頭目標作物的二值圖像；步驟3 :分別對左攝像頭獲取的目標作物的二值圖像和右攝像頭獲取的目標作物的二值圖像進行網格劃分，得到左側網格區域和右側網各區域；步驟4 :對左側網格區域中的每個點，在右側網格區域中進行匹配搜索，得到相互匹配的點，形成匹配點對；步驟5 由各匹配點對計算左右圖像視差並求取所述匹配點對對應的目標作物的點的三維坐標；步驟6 :分析目標作物的點的三維坐標，刪除錯誤點；步驟7 :對目標作物的點進行擬合處理，得到擬合曲線或曲面；步驟8 :根據擬合曲線或曲面規劃噴頭路徑。所述將左/右攝像頭獲取的目標作物的圖像從背景中分離出來，得到左/右攝像頭目標作物的二值圖像包括步驟101 :在HSI顏色空間中，利用固定閾值分割法獲取目標作物的初步分割圖像；步驟102 :利用超綠算法獲取目標作物的灰度圖像；步驟103 :對目標作物的灰度圖像進行直方圖統計，得到目標作物的直方圖；步驟104 :利用近鄰多點平均法對目標作物的直方圖進行平滑處理；步驟105 :搜索經過平滑處理的目標作物的直方圖的峰值並計算峰值左右兩側的波谷位置，從而得到目標作物的二值圖像。所述步驟4包括步驟201 :初始化參數,令j = I, wj = I, Min = 10000 ;其中，j為右側網格區域
中的點的縱坐標，wj 用於記錄匹配成功的右側網格區域中的點的縱坐標，Min用於記錄左側網格和右側網格的修正的絕對差之和的最小值；步驟202 :選取左側網格區域中的點(u，i)，將其所處的左側網格記為p並計算左側網格P的灰度均值Mi和方差Ei (u，i)；步驟203 :選取右側網格區域中的點(u，j)，使該點的橫坐標與左側網格區域中選取的點(u，i)的橫坐標相同，將其所處的右側網格記為q並計算右側網格q的灰度均值Nj和方差Fj (U，j)；步驟204 :判斷Mi-Fj | < e是否成立，如果Mi-Fj | < e成立，則執行步驟205 ;否貝U，令j = j+1並返回步驟203 ;其中，e是設定值；步驟205 :計算左側網格p和右側網格q的絕對差之和，記為SAD ;計算左側網格p的方差Ei (u，i)和右側網格q的方差Fj (u，j)的絕對值之差，記為FCC ；步驟206 :根據公式SF = SADXa+FCCXb計算左側網格p和右側網格q的修正的絕對差之和，其中a和b分別為比例參數；步驟207 :如果左側網格p和右側網格q的修正的絕對差之和小於Min，則執行步驟208 ;否則，令j = j+1並返回步驟203 ；步驟208 :令Min = SF, wj = j ;判斷j的取值是否經過所有極線點，如果j的取值經過所有極線點，則執行步驟209 ;否則，令j = j+1並返回步驟203 ；步驟209 :右側網格區域中的點(u, wj)為左側網格區域中的點(u, i)的匹配點。所述比例參數a和b的比值為1:1。所述步驟5包括步驟301 :利用公式D=Xl-Xk計算左右圖像視差，其中Xl為匹配點對中一個點的橫
坐標，Xe為匹配點對中另一個點的橫坐標；
BXi
I)步驟302 :利用公式Je 計算匹配點對對應的目標作物的點的三維坐標；其
Zc—U
中，xe、y。和z。分別為目標作物的點的三維坐標值，B為左右兩個攝像頭的光軸之間的距離，Xl為匹配點對中一個點的橫坐標，Y為匹配點對中任意一點的縱坐標，f為左攝像頭或右攝像頭的焦距。本發明採用細化分割自適用閾值分割的方法，提高了自適應分割算法的魯棒性和準確性；採用網格劃分的方法減少了計算總體計算量；在雙目視覺定位的圖像匹配過程中，採用SAD改進算法，很大程度上減少了單一 SAD算法中容易出現的錯誤匹配，並在計算效率上比最大相關係數法速度更快。
圖I是基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法流程圖；圖2是利用雙攝像頭標定目標作物的示意圖；其中，(a)是利用左攝像頭標定目標作物的示意圖，(b)利用右攝像頭標定目標作物的示意圖；圖3是利用固定閾值分割法獲取目標作物的初步分割圖像；
圖4是對左攝像頭獲取的目標作物的二值圖像進行網格劃分的示意圖；圖5是形成匹配點對的流程圖；圖6是平行光軸雙攝像頭原理圖。
具體實施例方式下面結合附圖，對優選實施例作詳細說明。應該強調的是，下述說明僅僅是示例性的，而不是為了限制本發明的範圍及其應用。圖I是基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法流程圖。如圖I所示，本發明提供的基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法包括步驟I :利用雙攝像頭標定目標作物並獲取目標作物的圖像，雙攝像頭分別記為左攝像頭和右攝像頭。在布設左右攝像頭時，應當保證兩個攝像頭的光軸相互平行並且處於同一個水平面上。圖2是利用雙攝像頭標定目標作物的示意圖。步驟2 :分別將左攝像頭獲取的目標作物的圖像和右攝像頭獲取的目標作物的圖像從背景中分離出來，得到左攝像頭目標作物的二值圖像和右攝像頭目標作物的二值圖像。下面以左攝像頭為例，說明獲取左攝像頭目標作物的二值圖像的過程。步驟101 :在HSI顏色空間中，利用固定閾值分割法獲取目標作物的初步分割圖像。在該步驟中，首先需要將左攝像頭獲取的目標作物的圖像(RGB圖像)轉換為HSI圖像並進行歸一化處理。其次，設定H (色調)、S (色飽和度)、1 (亮度)的取值範圍，將範圍之外的像素定位為黑色，其餘保留原值。接下來，將保留原值的像素由HSI圖像轉換為RGB圖像並進行反歸一化處理，最終得到目標作物的初步分割圖像。圖3是利用固定閾值分割法獲取目標作物的初步分割圖像。步驟102 :利用超綠算法獲取目標作物的灰度圖像。超綠算法是一種通過提高綠色通道的權重增加與非綠色背景的對比度的一種算法。該算法能夠較好地提取出綠色農作物的信息，其經常在綠色農作物圖像處理中使用。該算法採用公式2XG-R-B來處理每個像素，其中G、R和B分別代表像素的綠色、紅色和藍色通道的數值。經過超綠算法的處理，可以得到目標作物的灰度圖像。步驟103 :對目標作物的灰度圖像進行直方圖統計，得到目標作物的直方圖。步驟104 :利用近鄰多點平均法對目標作物的直方圖進行平滑處理。近鄰多點平均法是解決當直方圖出現局部突變，而宏觀趨勢仍然未到波谷時的一種算法解決方案。對初步分割後背景置零的圖像做超綠計算，其直方圖中除去灰度值為0的背景部分，當只有單個灰度級對應的像素數目為局部較小值時，並不認為該點一定是波谷位置，因此採用鄰接連續多點平均值做為波谷位置檢測可有效避免局部極小值對分割結果的影響。具體算法是，將找到的極小值位置附近以左鄰域、右鄰域、中心區域劃分三個等分區間，計算每個小區域內的直方圖數據平均值，根據數值結果判斷是否為合理波谷位置。例如，當求取左側波谷位置時，區域數值特性出現左低右高，且三個區域的均值左側區域最小，右側最大，則應繼續向左側移動尋找新的波谷，避免局部極小的影響。步驟105 :搜索經過平滑處理的目標作物的直方圖的峰值並計算峰值左右兩側的波谷位置，從而得到目標作物的二值圖像。在峰值兩側搜索波谷，得到波谷後，兩側波谷之間的圖像即為目標作物的二值圖像。步驟3 :分別對左攝像頭獲取的目標作物的二值圖像和右攝像頭獲取的目標作物 的二值圖像進行網格劃分，得到左側網格區域和右側網各區域。圖4是對左攝像頭獲取的目標作物的二值圖像進行網格劃分的示意圖。圖4中，還是以左攝像頭為例，說明對獲取的目標作物的二值圖像進行網格劃分的過程。以圖像左上角位置為搜索目標像素的起始位置，當出現目標作物的像素時，定位第一個網格。繼續在其周圍劃分網格，判斷該網格周圍是否存在目標作物的像素，如果存在，則再定位一個網格。對於邊緣處的目標像素，不夠畫整格的區域從反向添加網格。這樣可以保證將所有目標像素劃到同大小的網格區域中。步驟4 :對左側網格區域中的每個點，在右側網格區域中進行匹配搜索，得到相互匹配的點，形成匹配點對。圖5是形成匹配點對的流程圖。如圖5所示，形成匹配點對的過程包括步驟201 :初始化參數,令j = I, wj = I, Min = 10000 ;其中，j為右側網格區域中的點的縱坐標，wj用於記錄匹配成功的右側網格區域中的點的縱坐標，Min用於記錄左側網格和右側網格的修正的絕對差之和的最小值。步驟202 :選取左側網格區域中的點(u，i)，將其所處的左側網格記為p並計算左側網格P的灰度均值Mi和方差Ei (u，i)。其中，左側網格p的灰度均值Mi的計算公式為
權利要求
1.一種基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法，其特徵是所述方法包括 步驟I:利用雙攝像頭標定目標作物並獲取目標作物的圖像；所述雙攝像頭分別記為左攝像頭和右攝像頭； 步驟2 :分別將左攝像頭獲取的目標作物的圖像和右攝像頭獲取的目標作物的圖像從背景中分離出來，得到左攝像頭目標作物的二值圖像和右攝像頭目標作物的二值圖像；步驟3 :分別對左攝像頭獲取的目標作物的二值圖像和右攝像頭獲取的目標作物的二值圖像進行網格劃分，得到左側網格區域和右側網各區域； 步驟4:對左側網格區域中的每個點，在右側網格區域中進行匹配搜索，得到相互匹配的點，形成匹配點對； 步驟5 :由各匹配點對計算左右圖像視差並求取所述匹配點對對應的目標作物的點的三維坐標； 步驟6 :分析目標作物的點的三維坐標，刪除錯誤點； 步驟7 :對目標作物的點進行擬合處理，得到擬合曲線或曲面； 步驟8 :根據擬合曲線或曲面規劃噴頭路徑。
2.根據權利要求I所述的方法，其特徵是所述將左/右攝像頭獲取的目標作物的圖像從背景中分離出來，得到左/右攝像頭目標作物的二值圖像包括 步驟101 :在HSI顏色空間中，利用固定閾值分割法獲取目標作物的初步分割圖像； 步驟102 :利用超綠算法獲取目標作物的灰度圖像； 步驟103 :對目標作物的灰度圖像進行直方圖統計，得到目標作物的直方圖； 步驟104 :利用近鄰多點平均法對目標作物的直方圖進行平滑處理； 步驟105 :搜索經過平滑處理的目標作物的直方圖的峰值並計算峰值左右兩側的波谷位置，從而得到目標作物的二值圖像。
3.根據權利要求I所述的方法，其特徵是所述步驟4包括 步驟201 :初始化參數，令j = 1，wj = 1，Min = 10000 ;其中，j為右側網格區域中的點的縱坐標，wj用於記錄匹配成功的右側網格區域中的點的縱坐標，Min用於記錄左側網格和右側網格的修正的絕對差之和的最小值； 步驟202 :選取左側網格區域中的點(u，i)，將其所處的左側網格記為p並計算左側網格P的灰度均值Mi和方差Ei (u，i)； 步驟203 :選取右側網格區域中的點(u，j)，使該點的橫坐標與左側網格區域中選取的點(u，i)的橫坐標相同，將其所處的右側網格記為q並計算右側網格q的灰度均值Nj和方差 Fj (u，j)； 步驟204 :判斷Mi-Fj |< e是否成立，如果Mi-F j | < e成立，則執行步驟205 ;否則，令j = j+1並返回步驟203 ;其中，e是設定值； 步驟205 :計算左側網格p和右側網格q的絕對差之和，記為SAD ;計算左側網格p的方差Ei (u，i)和右側網格q的方差Fj (u，j)的絕對值之差，記為FCC ； 步驟206 :根據公式SF = SADXa+FCCXb計算左側網格p和右側網格q的修正的絕對差之和，其中a和b分別為比例參數； 步驟207 :如果左側網格p和右側網格q的修正的絕對差之和小於Min，則執行步驟.208 ;否則，令j = j+1並返回步驟203 ； 步驟208 :令Min = SF, wj = j ;判斷j的取值是否經過所有極線點，如果j的取值經過所有極線點，則執行步驟209 ;否則，令j = j+1並返回步驟203 ； 步驟209:右側網格區域中的點(u，wj)為左側網格區域中的點(u，i)的匹配點。
4.根據權利要求3所述的方法，其特徵是所述比例參數a和b的比值為1:1。
5.根據權利要求I所述的方法，其特徵是所述步驟5包括 步驟301 :利用公式D=\-XK計算左右圖像視差，其中\為匹配點對中一個點的橫坐標，Xe為匹配點對中另一個點的橫坐標；
全文摘要
本發明公開了農作物施藥技術領域中的一種基於雙目視覺網格劃分匹配算法的農作物噴霧定位方法。包括利用雙攝像頭標定目標作物並獲取目標作物的圖像；分別獲取左攝像頭目標作物的二值圖像和右攝像頭目標作物的二值圖像；分別對左攝像頭獲取的目標作物的二值圖像和右攝像頭獲取的目標作物的二值圖像進行網格劃分；對左側網格區域中的每個點，在右側網格區域中進行匹配搜索，得到相互匹配的點，形成匹配點對；由各匹配點對計算左右圖像視差並求取所述匹配點對對應的目標作物的點的三維坐標；刪除錯誤點並對目標作物的點進行擬合處理，得到擬合曲線或曲面；根據擬合曲線或曲面規劃噴頭路徑。本發明實現了目標作物的三維信息輪廓提取與定位。
文檔編號G06T7/00GK102800083SQ20121020371
公開日2012年11月28日 申請日期2012年6月19日 優先權日2012年6月19日
發明者張賓, 劉濤, 鄭承雲 申請人:中國農業大學