成熟菠蘿識別與定位系統的製作方法

2023-12-11 01:47:32 2

專利名稱：成熟菠蘿識別與定位系統的製作方法
技術領域：
本實用新型實施例涉及計算機識別與定位技術領域，尤其涉及一種成熟菠蘿識別 與定位系統。
背景技術：
近些年，國內外的很多專家學者對果蔬採收機器人進行了大量的研究。其中果蔬 採收機器人的視覺系統即識別與定位系統的作用是識別待採果蔬並獲取其具體位置信息， 以備後續控制系統根據位置信息，驅動機械臂和末端執行器移動到採摘的位置，對果蔬進 行採收。因此果蔬的識別和定位系統是實現果蔬採收自動化的一項非常重要的工作。菠蘿種植在我國南方地區，種植面積非常廣，在菠蘿採收季節，人們面臨著天氣炎 熱、在田間去一顆顆的對成熟菠蘿進行識別和定位採摘，其勞動強度是非常之大。如果能夠 設計一套成熟菠蘿的識別與定位系統，然後採用現有的控制系統根據定位得到的成熟菠蘿 的位置信息，對成熟菠蘿進行採摘，便可以大大地減少人們的勞動量。因此，如何對成熟菠 蘿的識別與定位成為亟待解決的技術問題。

實用新型內容本實用新型實施例提供一種成熟菠蘿識別與定位系統，用以彌補現有技術的不 足，能夠自動識別成熟菠蘿並進行三維定位，有助於通過控制系統實現對成熟菠蘿的採摘， 能夠有效地減少人們的勞動量。本實用新型實施例提供一種成熟菠蘿識別與定位系統，包括用於對成熟菠蘿進 行圖像採集的兩個攝像頭，所述兩個攝像頭設置分別在雙目雲臺兩側，所述雙目雲臺設置 在三角架上，還包括用於對所述兩個攝像頭採集到的成熟菠蘿圖像進行處理、以實現對所 述成熟菠蘿進行識別與定位的的圖像處理設備，所述圖像處理設備與所述兩個攝像頭連接。本實用新型實施例的成熟菠蘿識別與定位系統，通過圖像處理設備自動實現對成 熟菠蘿的識別與定位，通過本實用新型實施例的方案為通過控制系統實現對成熟菠蘿的採 摘提供了很好的條件，大大減少了人們的勞動量，提高了勞動效率。

為了更清楚地說明本實用新型實施例或現有技術中的技術方案，下面將對實施例 或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是 本實用新型的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提 下，還可以根據這些附圖獲得其它的附圖。圖1為本實用新型實施例提供的成熟菠蘿識別與定位系統的結構示意圖；圖2為本實用新型實施例提供的成熟菠蘿識別與定位系統的圖像處理設備的結 構示意圖；[0010]圖3為本實用新型實施例提供的成熟菠蘿識別與定位系統的實現步驟流程圖。
具體實施方式
為使本實用新型實施例的目的、技術方案和優點更加清楚，下面將結合本實用新 型實施例中的附圖，對本實用新型實施例中的技術方案進行清楚、完整地描述，顯然，所描 述的實施例是本實用新型一部分實施例，而不是全部的實施例。基於本實用新型中的實施 例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其它實施例，都屬於 本實用新型保護的範圍。
以下結合附圖和具體實施例進一步說明本實用新型實施例的技術方案。圖1為本實用新型實施例提供的成熟菠蘿識別與定位系統的結構示意圖；如圖1 所示，包括用於對成熟菠蘿進行圖像採集的兩個攝像頭10，兩個攝像頭10設置分別在雙 目雲臺11兩側，雙目雲臺11設置在三角架12上，用於對兩個攝像頭10採集到的成熟菠蘿 圖像進行處理、以實現對所述成熟菠蘿進行識別與定位的圖像處理設備13，圖像處理設備 13與兩個攝像頭10連接。本實施例為了減低該成熟菠蘿識別與定位系統的成本，使得該系統能夠得到廣 泛的推廣使用，其中兩個攝像頭10均採用互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,以下簡稱CMOS)攝像頭，且由於菠蘿是單株生長，具有個頭大，果眼 清晰等特性，這裡的兩個攝像頭10的像素可以不高於130萬像素，便可以準確採集到成熟 菠蘿的圖像，通常可以選取兩個攝像頭10的像素相等。圖2為本實用新型實施例提供的成熟菠蘿識別與定位系統的圖像處理設備的結 構示意圖；如圖2所示，本實施例的菠蘿識別與定位系統中的圖像處理設備13可以具體包 括接收模塊131、預處理模塊132、分割處理模塊133、共軛匹配模塊134、定位模塊135和 校正模塊136。其中接收模塊131用於接收兩個攝像頭10採集到的所述成熟菠蘿圖像；需要注 意的是，當第一次採集成熟菠蘿圖像，需要對兩個攝像頭10進行參數設置。預處理模塊132用於對兩個攝像頭10採集到的所述成熟菠蘿圖像進行預處理，這 裡的預處理包括對所述成熟菠蘿圖像進行中值濾波，腐蝕等預處理，以消除圖像噪聲；分割處理模塊133用於對預處理後的所述成熟菠蘿圖像進行分割，實現對成熟菠 蘿的識別和對所述成熟菠蘿果實圖像的提取，並計算和標記所述成熟菠蘿果實圖像的形 心；共軛匹配模塊134用於對兩個攝像頭10分別採集到的所述成熟菠蘿圖像進行分 割後的所述成熟菠蘿果實圖像進行共軛匹配；分割處理模塊133是對每個攝像頭的每幀 圖像做處理，最終標記出成熟菠蘿果實圖像的形心，然而兩個攝像頭10都在時刻對成熟菠 蘿圖像進行採集，需要確定兩個攝像頭採集到的成熟菠蘿圖像是否為同一個成熟菠蘿的圖 像，這裡採用共軛匹配的方法，獲取到兩個攝像頭10指代的同一個成熟菠蘿圖像。定位模塊135用於根據匹配後的所述成熟菠蘿果實圖像的形心點，運用三角測距 原理，獲取所述成熟菠蘿果實圖像的形心點的三維信息；該模塊根據共軛匹配模塊134獲 取到的成熟菠蘿圖像，並根據分割處理模塊133計算出的成熟菠蘿果實的形心，然後運用 三角測距原理，便可得到成熟菠蘿果實圖像的形心點的在空間中的三維信息，即空間坐標。[0021]校正模塊136用於根據獲取到的所述成熟菠蘿果實圖像的形心點的三維信息得 到的計算值、以及根據多個所述計算值和與所述計算值分別對應的實際值運用人工神經網 絡進行訓練得到的預測關係，實現對所述成熟菠蘿定位。該模塊採用了一種特殊的處理方 式，即利用人工神經網絡進行訓練得到的預測關係，這裡預測關係通過如下方式得到根據 定位模塊135獲取的成熟菠蘿果實的形心點的三維信息得到相應的三維計算值，然後通過 測量得到與所述相應計算值對應的實際值，通過多次對計算值和與實際值通過人工神經網 絡進行訓練，以克服計算值與實際值之間的誤差，便得到一個預測關係，這樣以後每次獲取 到一個成熟菠蘿果實圖像的形心點的三維信息的計算值，便可以根據預測關係獲取成熟菠 蘿的較準確的空間位置信息，以實現對成熟菠蘿的準確定位。需要說明的是，本實施例中的圖像處理設備13中還包括標定模塊(圖中未繪出)， 用於對雙目雲臺11上設置的兩個攝像頭進行標定的標定模塊。需要說明的是，本實施例的菠蘿識別與定位系統中的圖像處理設備13中的分割 處理模塊133，具體地可以包括四個單元(圖中未繪出)，其中第一單元用於從預處理後的 所述成熟菠蘿圖像中獲取一條經過所述菠蘿成熟果實區域和經過包括菠蘿青葉、土地的背 景區域的區分線；即從預處理的消除噪聲的成熟菠蘿圖像中選取一條經過成熟菠蘿果實和 菠蘿青葉、土地、深黃色枯葉等背景區域的區分線。第二單元用於以所述區分線為水平參考線，分別繪製所述成熟菠蘿圖像中所述菠 蘿成熟果實區域和所述背景區域的紅色、綠色和藍色的分量曲線；具體地，第二單元以上述第一單元獲取的區分線作為水平參考線，分別繪製經過 區分線的成熟菠蘿和各背景區域的紅色、綠色和藍色的分量曲線。第三單元用於根據公式H(i，j) = 10X(r(i, j)-g(i, j))/b(i, j)獲取一對比線， 並選取H(i，j) > 5&H(i，j) 5&H(i，j) 5&H(i，j) 5&H(i，j) < 40實現對成熟菠蘿的成功提取。第四單元用於計算和標記所述成熟菠蘿果實圖像的形心。該單元主要對第三單元 做中提取到的成熟菠蘿果實圖像進行計算標記其形心，以便後續對成熟菠蘿的具體定位。[0029]本實施例的菠蘿識別與定位系統，能夠自動識別和定位成熟菠蘿圖像，有助於通 過控制系統實現對成熟菠蘿的採摘工作，大大地減少了人們的工作量；而且該系統通過採 用不高於130萬像素的CMOS攝像頭，價格低廉，有效地保證了該系統的低成本，有助於推廣 和使用。以上所描述的實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是 或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即 可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的 部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞 動的情況下，即可以理解並實施。上述實施例中的圖像處理設備可以採用計算機實體來實現，具體地，圖像處理設 備中的各模塊以及模塊中包括的單元可以通過相應的計算機軟體來實現。圖3為本實用新型實施例提供的一種成熟菠蘿識別與定位系統的實現步驟流程 圖；如圖3所示，本實施例中採用計算機來實現圖像處理設備的功能為例，詳細說明採用本 實用新型的技術方案實現對成熟菠蘿的識別與定位過程。步驟100、系統的搭建；具體地，將兩個攝像頭10分別設置在雙目雲臺11的兩側，具體的兩個攝像頭10 可以是對稱的設置在雙目雲臺11的兩側，雙目雲臺11設置在三角架12上；圖像處理設備 13採用一臺計算機實體來實現，計算機與兩個攝像頭10均有連接，以實現對成熟菠蘿的是 識別與定位。這裡的攝像頭10可以採用像素不高於130萬的CMOS攝像頭，市場價格在RMB 100元/個左右，有效地保證整個系統的低成本，當在XP作業系統下，本實施例的攝像頭10 不需安裝驅動，即插即用，使用非常方便。步驟101、攝像頭的標定；具體地，採用現有的標定方法，在圖像採集窗口，對製作的棋盤格分別採用了基於 C++和Opencv 1. 1的自動標定方法和基於Matlab標定工具箱的兩種方法進行了試驗。發 現基於C++和Opencv 1. 1的自動標定方法對於CMOS攝像頭拍攝的圖像存在有一定的誤 差，而Matlab標定工具箱的標定效果則相對較好。因此，本實施例優選Matlab標定工具箱 對兩個攝像頭進行標定，實現上述實施例標定模塊的功能，通過該步驟標定後可以獲得兩 個攝像頭10的各個參數，以便於後續對成熟菠蘿的定位。步驟102、成熟菠蘿圖像的採集；在XP系統下，完成了基於Vc編程環境，調用Opencv庫函數的雙目圖像採集，並在 打開攝像頭過程中，實現了攝像頭參數的選擇設置。步驟103、成熟菠蘿圖像的預處理；具體地，採用圖像處理軟體，對兩個攝像頭10採集到的菠蘿圖像進行中值濾波， 腐蝕等預處理，以有效地去除圖像中的噪聲，實現預處理模塊132的功能。步驟104、成熟菠蘿果實圖像的分割；具體地，這裡採用圖像處理軟體實現分割處理模塊133及其包括的四個單元的功 能，以對成熟菠蘿果實圖像的分割提取，詳細參考上述實施例，在此不再贅述。在提取到成 熟菠蘿果實圖像後，需要對該果實圖像計算並能標記形心，以便於後續對成熟菠蘿果實的 定位。
6[0043]步驟105、共軛成熟菠蘿果實圖像的匹配；上述步驟103和步驟104的具體處理都是針對其中一個攝像頭採集到的圖像，為 了準確地對成熟菠蘿圖像的定位，需要對兩個攝像頭中表示採集到的同一個成熟菠蘿果實 圖像進行共軛匹配；具體對共軛圖像分別進行灰度的運算，實現了圖像興趣點的快速檢測、 良好的興趣點周圍區域的特徵描述，然後根據這些特徵，對兩個攝像頭採集到的成熟波羅 果實圖像進行快速匹配，實現共軛匹配模塊134的功能。步驟106、成熟菠蘿果實圖像的定位；具體地，根據對兩個攝像頭採集到的成熟菠蘿果實圖像進行共軛匹配後，獲取匹 配的成熟菠蘿果實圖像的形心，然後運用三角測距原理，採用下面的公式，計算成熟菠蘿果 實形心的三維信息，即該成熟菠蘿果實形心空間具體坐標X，y，Z。 其中x，y，Z分別表示成熟菠蘿果實形心的空間上的X方向的坐標值，y方向的坐 標值，z方向的坐標值；f, tx, ty，tz, rl, r2，r3，r4，r5, r6，r7，r8，r9 分別為攝像頭的內外參數，在進行 標定的時候，均已經通過矩陣形式求出。其中f為兩個攝像頭的焦距，本實用新型實施例約定兩攝像頭的焦距近似相等， 實際計算中可以取兩者的平均值；若以左攝像頭為世界坐標系的原點，右攝像頭相對於左攝像頭有一個平移矩陣， 其中tx，ty, tz，分別為x，y，z方向上的平移量；若以左攝像頭為世界坐標系的原點，右攝像頭相對於左攝像頭的旋轉矩陣，為一 個3X3矩陣，其中rl，r2，r3，r4，r5，r6，r7，r8，r9分別表示旋轉矩陣中的9個數值；因為 上述公式中的參數前述步驟均能夠得到，根據上述公式便可以得到成熟菠蘿果實的形心坐 標，初步實現對成熟菠蘿果實的定位，實現了定位模塊135的功能。步驟107、對定位得到的位置信息進行校正；具體地，通常採用一個運用人工神經網絡訓練得到的一個預測關係進行校正，對 計算得到的成熟菠蘿果實的形心位位置坐標進行校正。所述預測關係是通過以下方式得 到針對多次通過三角測距原理獲得的成熟菠蘿果實形心坐標的計算值，分別現場測距獲 取相應的成熟菠蘿果實形心坐標的實際值，然後通過人工神經網絡進行訓練，便得到一個 用來校正誤差的預測關係。這樣，以後每得到一個成熟菠蘿果實形心坐標的計算值，便可根 據預測關係對該計算值進行校正，便可得到一個比較準確的成熟菠蘿果實形心坐標的校正 值，實現了校正模塊136的功能。通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可 藉助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，上述技術方案本質上或
7者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品可以 存儲在計算機可讀存儲介質中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一臺計算 機設備(可以是個人計算機，伺服器，或者網絡設備等)執行各個實施例或者實施例的某些 部分所述的方法。結合本申請中所公開的實施例描述的各示例的模塊或單元，能夠以電子硬體、計 算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中 已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來 執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用 來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本實用新型的範圍。最後應說明的是以上實施例僅用以說明本實用新型的技術方案，而非對其限制； 儘管參照前述實施例對本實用新型進行了詳細的說明，本領域的普通技術人員應當理解: 其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等 同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本實用新型各實施例技術 方案的精神和範圍。
權利要求一種成熟菠蘿識別與定位系統，其特徵在於，包括用於對成熟菠蘿進行圖像採集的兩個攝像頭，所述兩個攝像頭分別設置在雙目雲臺兩側，所述雙目雲臺設置在三角架上；用於對所述兩個攝像頭採集到的成熟菠蘿圖像進行處理、以實現對所述成熟菠蘿進行識別與定位的圖像處理設備，所述圖像處理設備與所述兩個攝像頭連接。
2.根據權利要求1所述的成熟菠蘿識別與定位系統，其特徵在於，所述兩個攝像頭均 採用互補金屬氧化物半導體攝像頭。
3.根據權利要求1或2所述的成熟菠蘿識別與定位系統，其特徵在於，所述兩個攝像頭 的像素不高於130萬像素。
4.根據權利要求3所述的成熟菠蘿識別與定位系統，其特徵在於，所述兩個攝像頭的 像素相等。
專利摘要本實用新型實施例提供一種成熟菠蘿識別與定位系統，包括用於對成熟菠蘿進行圖像採集的兩個攝像頭，所述兩個攝像頭設置分別在雙目雲臺兩側，所述雙目雲臺設置在三角架上；還包括用於對所述兩個攝像頭採集到的成熟菠蘿圖像進行處理、以實現對所述成熟菠蘿進行識別與定位的的圖像處理設備，所述圖像處理設備與所述兩個攝像頭連接。本實用新型實施例通過圖像處理設備自動實現對成熟菠蘿的識別與定位，為通過控制系統實現對成熟菠蘿的採摘提供了很好的條件，能夠大大減少人們的勞動量，提高勞動效率。
文檔編號A01D46/30GK201600330SQ2009202461
公開日2010年10月6日 申請日期2009年9月23日 優先權日2009年9月23日
發明者李斌, 李莉, 汪懋華, 高瑞 申請人:中國農業大學