果蔬採摘點微調定位方法
2023-06-22 07:46:11 1
專利名稱：果蔬採摘點微調定位方法
技術領域：
本發明涉及農業機器人領域，特別是涉及一種果蔬採摘點微調定位方法。
背景技術：
近年來，國內外在現代農業技術領域中對果蔬採摘機器人的研究成為熱點，但是 真正達到代替人類完成採摘任務還有相當大的差距。最重要的問題有兩方面一是採摘機 器人工作在非結構環境中，由於受自然光照、生物多樣性等不穩定因素影響，目標與背景成 多元信息疊加，果實與莖葉顏色的相近性，都成為果實特徵信息提取的難點；二是採摘對象 空間位置隨機分布且個體差異較大，對採摘機器人末端執行器的定位精度要求很高。這些 問題成為農業機器人發展中技術上的瓶頸。能夠在複雜非結構環境下，準確提取收穫目標 採摘點是影響農業採摘機器人產業化推廣的關鍵技術之一。目前國內外採摘機器人採摘目標定位，大部分採用一次遠景定位方式，採摘抓取 誤差較大。近幾年採用近景二次精確定位的方式提高採摘精度的方法已經開始被研究，荷 蘭E. J. VAN等人在採摘機器人末端安裝視覺傳感器進行目標近景定位，但是其三維重建算 法比較複雜、耗時，不能滿足機器人實時性要求。因此通過簡單快速的末端微調定位方法， 提高採摘機器人精度具有重要意義。
發明內容
(一 )要解決的技術問題本發明要解決的技術問題是提供一種用於果蔬採摘機器人末端閉環定位方法，以 精確定位果蔬採摘切割點，實現機械臂採摘過程中的二次微調精確定位，提高採摘機器人 作業可靠性。( 二 )技術方案為解決上述技術問題，提供一種依照本發明實施方式的果蔬採摘點微調定位方 法，其包括步驟S1，利用採摘機器人採集果蔬抓取區域近景三維位置信息，獲得第一次定位數 據；S2，根據所述第一次定位數據，採摘機械臂控制器控制採摘末端執行器運動到所 述第一次定位數據所限定的空間某一點，該點使得攝像機能正對果蔬上端區域拍攝到採摘 點全景清晰圖像；S3，採摘機械臂控制器觸發攝像機採集當前圖像，並對採集到的圖像進行處理得 到採摘點圖像坐標；S4，將上述採摘點圖像坐標轉化為採摘點空間三維坐標；S5，根據採摘點空間三維坐標，採摘機械臂控制器控制採摘末端執行器由當前位 置運動至該空間三維坐標對應的位置，完成採摘點定位。優選地，在步驟S3中，通過以下步驟對採集到的圖像進行處理得到採摘點圖像坐標S3-1，將當前彩色圖像G通道由Sobel算子進行邊緣檢測，將灰度突變較大點處R、 G、B值分別置為O ；S3-2，將步驟S3-1所得彩色圖像由RGB空間向HSV空間轉化；S3-3，根據背景和果蔬在HSV空間中H、S通道色彩差異，去除部分噪聲幹擾；S3-4，通過面積、矩形度判斷提取黃瓜目標區域，取其中心線最上端邊界像素為採 摘分割點，從而確定其以像素為單位的圖像坐標(u，ν)。優選地，在步驟S4中，通過以下步驟將採摘點圖像坐標轉 化為空間三維坐標S4-1，通過下式將採摘點圖像坐標轉化為攝像機坐標系下的坐標值.少=/舛V-/少
ζ = d其中d為採摘點當前位置距攝像機坐標系χ-y平面的物理距離，lx0>lxl>ly0>lyl為 攝像機內部參數，通過攝像機標定唯一確定，(X，1, ζ)為採摘點在攝像機坐標系下的坐標 值；S4-2，通過下式將採摘點攝像機坐標系下的坐標值轉化為空間三維坐標，
formula see original document page 4其中(x，y，z)為採摘點在攝像機坐標系下的坐標值，(XW、YW、ZW)為採摘點空間三 維坐標，R、t分別為攝像機坐標系向空間三維坐標系變換的旋轉矩陣和平移向量。(三)有益效果本發明通過二次精確定位，微調校正機械臂末端運動誤差，使得機器人目標定位 系統形成閉環，從而精確定位採摘分割點，準確切割採摘果實，提高採摘機器人工作可靠 性。
圖1是依據本發明實施方式的果蔬採摘點微調定位裝置示意圖；圖2是依據本發明實施方式的果蔬採摘點微調定位方法中的攝像機坐標系、空間 三維坐標系和圖像坐標系。其中，1 攝像機；2 切刀；3 手爪。
具體實施例方式下面結合附圖和實施例，對本發明的具體實施方式
作進一步詳細描述。以下實施 例用於說明本發明，但不用來限制本發明的範圍。如圖1所示採摘機器人二次微調定位裝置，採用彩色微型CXD攝像機1採集黃瓜 抓取區域近景位置信息，將其安裝於機械臂末端切刀2及手爪3正上方。如圖2所示由攝 像機光心0與χ、y、ζ軸組成攝像機坐標系，由\、\、Zw軸組成空間三維坐標系，U、ν軸組成圖像坐標系。在採摘過程中，根據採摘機器人第一次定位數據，採摘機械臂控制器使得採摘末端執行器向目標點運動到空間某一點，該點使得攝像機能相距固定距離正對黃瓜上端區域 進行拍攝。此時在攝像機坐標系下，採摘目標黃瓜距離攝像機光心χ-y面距離約為d，即分 割點ζ向坐標值約為d，採摘機械臂控制器觸發攝像機開始採集當前一幀圖像，通過目標提 取算法，最後確定採摘點圖像坐標位置。目標提取算法需要針對溫室複雜光線環境下採摘目標色彩特徵，提取果實與果柄 分割點。具體步驟為1)將當前幀彩色圖像G通道由Sobel算子進行邊緣檢測，將灰度突變較大點處R、 G、B值分別置為O ；2)將1)所得彩色圖像由RGB空間向HSV空間轉化；3)通過地面、天空、葉片、黃瓜等在HSV空間中H、S通道色彩差異，去除部分噪聲 幹擾；4)通過面積、矩形度判斷提取黃瓜目標區域，取其中心線最上端邊界像素為採摘 分割點，從而確定其以像素為單位的圖像坐標。由於採摘機械臂工作於空間三維坐標系，以物理長度為運動單位，因而根據攝像 頭採集圖像採摘分割點位置微調機械臂末端空間坐標，需要將所得分割點圖像坐標向空間 三維坐標轉化。通過攝像機針孔成像原理可得，當採摘點當前位置距攝像機坐標系x-y平面物理
距離為常數，即z = d時，得
formula see original document page 5
其中Ix0、Ix1、Iy0、Iy1為攝像機內部參數，可以通過攝像機標定可以唯一確定(x,y， z)為分割點在攝像機坐標系下坐標值；則可以根據分割點圖像坐標(U，ν)得到(X，y，z), 實現圖像坐標與攝像機坐標變換。機械臂採摘過程中，各關節轉角可由關節編碼器測量得到，末端執行器在空間三 維坐標系位置姿態已知，因為攝像機與採摘機械臂末端固定連接，所以攝像機坐標與世界 坐標系轉化參數矩陣已知。其中R、t分別為攝像機坐標系向空間三維坐標系變換的旋轉矩 陣和平移向量。
formula see original document page 5因此可得XW、YW、ZW分割點空間三維坐標，據此位置信息，機械臂控制器第二次對機 械臂末端運動進行規劃，由當前位置向(XW、YW、ZW)點運動，使得末端切刀能夠採摘分割點處 準確切割果柄，完成採摘，從而校正系統總體誤差，使得抓取分割更加準確。由以上實施例可以看出，本發明實施例針對溫室非結構環境下，基於近景彩色圖 像黃瓜採摘分割點提取識別方法，通過一種坐標轉化方法計算分割點在世界坐標下三維坐標值，從而求解採摘末端沿果實軸向位移微調補償，並將位移補償向採摘機械臂控制器反 饋，控制機械臂末端執行器的微調運動，實現採摘過程的二次精確微調定位。本發明採摘分 割點提取方法實現了溫室複雜光環境下的目標提取；具有很強的通用性，容易移植到其他 設備；空間三維坐標求解算法簡單、容易實現；硬體成本低廉。 以上所述僅是本發明的優選實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明技術原理的前提下，還可以做出若干改進和變型，這些改進和變型 也應視為本發明的保護範圍
權利要求
一種果蔬採摘點微調定位方法，其特徵在於，所述定位方法包括步驟S1，利用採摘機器人採集果蔬抓取區域近景三維位置信息，獲得第一次定位數據；S2，根據所述第一次定位數據，採摘機械臂控制器控制採摘末端執行器運動到所述第一次定位數據所限定的空間某一點，該點使得攝像機能正對果蔬上端區域拍攝到採摘點全景清晰圖像；S3，採摘機械臂控制器觸發攝像機採集當前圖像，並對採集到的圖像進行處理得到採摘點圖像坐標；S4，將上述採摘點圖像坐標轉化為採摘點空間三維坐標；S5，根據採摘點空間三維坐標，採摘機械臂控制器控制採摘末端執行器由當前位置運動至該空間三維坐標對應位置，完成定位。
2.如權利要求1所述的果蔬採摘點微調定位方法，其特徵在於，在步驟S3中，通過以下 步驟對採集到的圖像進行處理得到採摘點圖像坐標S3-1，將當前彩色圖像G通道由Sobel算子進行邊緣檢測，將灰度突變較大點處R、G、B 值分別置為0 ；S3-2，將步驟S3-1所得彩色圖像由RGB空間向HSV空間轉化；S3-3，根據背景和果蔬在HSV空間中H、S通道色彩差異，去除部分噪聲幹擾；53-4，通過面積、矩形度判斷提取黃瓜目標區域，取其中心線最上端邊界像素為採摘分 割點，從而確定其以像素為單位的圖像坐標(u，v)。
3.如權利要求1所述的果蔬採摘點微調定位方法，其特徵在於，在步驟S4中，通過以下 步驟將採摘點圖像坐標轉化為空間三維坐標54-1，通過下式將採摘點圖像坐標轉化為攝像機坐標系下的坐標值formula see original document page 2其中d為採摘點當前位置距攝像機坐標系X-y平面的物理距離，lx0>lxl>ly0>lyl為攝像 機內部參數，通過攝像機標定唯一確定，(x,y,z)為採摘點在攝像機坐標系下的坐標值；S4-2，通過下式將採摘點攝像機坐標系下的坐標值轉化為空間三維坐標， formula see original document page 2其中(x，y，z)為採摘點在攝像機坐標系下的坐標值，(XW、YW、XW)為採摘點空間三維坐 標，R、t分別為攝像機坐標系向空間三維坐標系變換的旋轉矩陣和平移向量。
全文摘要
本發明公開了一種果蔬採摘點微調定位方法，其包括步驟利用採摘機器人採集果蔬抓取區域近景位置信息，獲得第一次定位數據；根據所述第一次定位數據，控制採摘末端執行器運動到空間某一點；攝像機採集當前圖像，並對採集到的圖像進行處理得到採摘點圖像坐標；將上述採摘點圖像坐標轉化為採摘點空間三維坐標；根據採摘點空間三維坐標，採摘機械臂控制器控制採摘末端執行器由當前位置運動至該空間三維坐標對應的位置，完成採摘點定位。本發明通過二次精確定位，微調校正機械臂末端運動誤差，使得機器人目標定位系統形成閉環，從而精確定位採摘分割點，準確切割採摘黃瓜果實，提高採摘機器人工作可靠性。
文檔編號G06K9/00GK101807247SQ20101013089
公開日2010年8月18日 申請日期2010年3月22日 優先權日2010年3月22日
發明者馮青春, 張俊雄, 李偉, 紀超, 袁挺 申請人:中國農業大學