基於全景立體視覺的採摘對象的識別、分類和空間定位裝置及方法
2023-05-23 02:36:56 2
專利名稱：基於全景立體視覺的採摘對象的識別、分類和空間定位裝置及方法
技術領域：
本發明屬於全景立體視覺技術、採摘機器人技術、數字圖像處理技術和模式識別技術在顆粒狀農作物自動化採摘方面的應用，尤其適用於採摘機器人的自動採摘作業。
背景技術：
農作物採摘作業是農作物生產鏈中最耗時、最費力的一個環節。同時，採摘作業質量的好壞還直接影響到產品的後 續加工和儲存。如何以低成本獲得高品質的產品是農作物生產環節中必須重視和考慮的問題。由於採摘作業的複雜性，目前我國採摘作業的規模化、自動化和智能化程度仍然很低，基本上農作物採摘作業都是手工進行，就棉花採摘這一項來說每年約需要人工採摘成本8個億。隨著人口的老齡化和農業勞動力的減少，農業生產成本也相應提高，這樣會大大降低產品的市場競爭力。因此採摘機器人是未來智能農業機械的發展方向。採摘機器人工作在高度非結構化的環境下，採摘對象是有生命的生物體，具有以下的特點1)採摘對象嬌嫩、易脆，形狀複雜且個體之間的差異性大；2)採摘對象大多數被樹葉、樹枝等掩蓋，增大了機器人視覺定位難度，降低採摘成功率；3)採摘對象分布是隨機的，分布在採摘機器人的周圍，因此需要全方位的檢測方法；4)希望實現智能化自動分級技術邊採摘邊分級，即在採摘過程中進行分類，以提高採摘物的品質和減少後續的分揀工序。採摘對象的識別與定位，是實現採摘自動化的第一步。考慮到採摘對象的生長環境、空間位置和分布狀態等要素，採用三維視覺進行採摘對象的檢測是一種非常有前途的解決方案。所謂三維視覺信息包括從攝像機到物體之間的距離、物體的大小和形狀、各物體之間的關係等。對於採摘機器人視覺系統而言，在自然光條件下，不僅要探測到目標的存在，還要計算出採摘對象的空間坐標。目前，在園林生產和田間作業中，對於橙、橘、番茄、土豆、蘑菇、黃瓜、蘋果、西瓜、葡萄等果蔬的基於機器視覺的採摘技術，國內外已有一些相關報導，但尚未檢索到棉花採摘機器人的相關報導。顏色、大小和形狀是反映採摘對象的重要視覺特徵，是基於機器視覺的採摘對象的識別、分類的重要依據。每一種採摘對象都有其特有的顏色、大小和形狀特徵，這些視覺信息是識別採摘對象的重要屬性特徵；同時每一種採摘對象在其不同的生長期和不同的品質上，其顏色、大小和形狀均有較大的差別，這些差別是基於機器視覺的分類和分級中各種判定指標和閾值取值的根據。在採摘對象顏色測量中，應選用一定的顏色模型來對採摘對象表面的顏色特徵進行研究。通過該研究建立多種各具特色的顏色模型，在機器視覺研究中，常用的RGB和HIS顏色模型，HIS顏色模型的描述更接近人的視覺對顏色的感知方式，它包含色相、飽和度和亮度三要素。根據對顏色的研究結果，結合有關評級標準，就可選定區別不同色度等級的色相閾值，計算出此值下的累計頻度值，就可完成顏色分級。
利用被採摘對象的顏色色差信息進行圖像識別，對於有些被採摘對象，如果蔬的識別，採用HIS彩色模型用於顏色評價和圖像處理是非常有效的。對於棉桃的識別，主要是基於棉桃的R、G、B均值幾乎相等，而棉葉、棉枝的R、G、B均值相差較大。棉桃顏色差值絕大多數分布在45°線上，只有少量偏離45°線，且偏離程度較小；而棉葉和棉枝的顏色差值偏離45°線，且偏離程度較大，因此可以利用此特徵差異進行圖像識別。利用此色差模型可以有效地將棉桃從背景圖像中分離出來。機器視覺的作用是從三維環境圖像中獲得所需的信息並構造出觀察對象的明確而有意義的描述。視覺包括三個過程圖像增強、特徵提取和圖像理解。由視覺傳感器獲取數字圖像，經圖像增強後提取顏色、形狀和紋理特徵參數對棉花進行分類、識別和描述。目前獲取採摘對象的三維坐標的定位方法主要有下面4種類型1)多目立體視覺融合多個攝像機觀察到的目標特徵，重構這些特徵的三維原像，並計算出目標的空間坐標；2)時間差法利用一臺攝像機的多幅連續圖像序列實現「從運動得到結構」，由圖像匹 配估計匹配點的三維坐標；3)結構光法選擇雷射、微波或超聲波等光源，採用光柵法、移動投光法獲取距離圖像和反射圖像，經聯合分析測出物體的形狀和空間分布；4)傳感器融合由視覺傳感器獲取原始平面圖像，計算其形心坐標，再利用測距傳感器測量目標的深度信息。就上述4種定位方式來說，立體視覺具有投資小、能與採摘機器人的自動導航共用一套立體視覺系統、能與前期採摘對象的識別和分類等處理共用一種視頻源，因此是一種首選的解決方案。立體視覺系統一般可分為圖像採集、攝像系統標定、特徵選擇與提取、立體匹配、深度確定和內插6個步驟。雙目立體視覺運用兩個相同的攝像機對同一景物從不同位置成像，獲得景物的立體圖像對，通過各種算法匹配出相應像點，從而計算出視差，然後採用基於三角測量的方法恢復深度信息。目前的立體視覺系統，利用立體攝像機獲取不同距離的採摘對象的立體圖像對，通過對圖像進行灰度圖像處理，將彩色圖像轉換為灰度圖像.然後根據灰度圖像對中像素點的相關性進行立體匹配，計算像素點的位置信息而獲得一幅深度圖像。最後對照採摘對象在深度圖像中的位置，獲取採摘對象的三維位置信息。但是目前的立體視覺系統在農作物採摘的實際應用中還存在著不少問題，其主要問題在於立體成像範圍有限，由於採摘機器人行走在農田採摘作物環境中，採摘對象的生長區域是開放式的、隨機的、不規則的和全方位的，因此，需要轉動立體視覺系統來獲取周邊的採摘對象視頻信息；其次，立體成像攝像機標定、特徵提取和立體圖像匹配方面在實際應用上仍然存在著一些難以解決的問題。另外由於固定的焦距只能在一定景深範圍內清晰拍攝圖像，因而，它限制了在某些方面的應用。此外，還存在著以下不足之處1)由於標定技術不夠完善，立體視覺測量系統在採摘機器人運動中其攝像機的內外參數變化是不可避免的，因而限制了許多應用；2)在各種shape from X過程中，涉及多次坐標的轉換，造成計算量過大，難以進行實時處理，限制了對採摘對象的實時識別等應用；3)雙目視覺的對應點匹配歧異性大，造成了匹配的誤差，影響了匹配精度。立體匹配屬於典型的視覺「病態」計算問題，目前的技術還很難對圖像進行無歧義高準確率的立體匹配。近年發展起來的全方位視覺傳感器，以下簡稱0DVS，為實時獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點是視野廣(360度)，能把一個半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個場景圖像時，ODVS在場景中的安放位置更加自由，為感知採摘機器人自身周圍狀態提供了一種新的重要手段；0DVS技術是以人為中心觀察的圖像獲取技術，能使人產生身臨其境的沉浸感，將ODVS技術應用於採摘機器人的導航、採摘對象的識別、分類和定位，就相當給予了採摘機器人具備了以採摘機器人為中心觀察的圖像獲取技術，特別的是單視點的全景成像鏡面的設計為構建採摘機器人的雙目立體全景獲取技術提供了一個良好的技術基礎。
發明內容
為了克服已有的農作物採摘機器人的視覺系統難以同時完成自主導航、農作物的識別、分類和空間定位等不足，本發明提供一種既能用於採摘機器人的自主導航，又能用於農作物的識別、分類和空間定位的基於全景立體視覺的採摘對象的識別、分類和空間定位
>J-U ρ α 裝直。本發明解決其技術問題所採用的技術方案是一種基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，包括雙目立體全景視覺傳感器，用於對採摘對象的識別、分類和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數的固定單視點的全方位視覺裝置，全方位視覺裝置簡稱0DVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，並保證兩個ODVS的主軸在同一直線上；所述的微處理器包括視頻圖像讀取單元，用於讀取兩個相同成像參數的ODVS的視頻圖像，並保存在指定的存儲設備中，其輸出與視頻圖像展開單元連接；視頻圖像展開單元，用於對ODVS獲取的原始視頻圖像進行圖像預處理，圖像預處理中首先對全方位圖像進行展開，展開全景圖保存在指定的存儲單元中，其輸出與採摘對象識別模塊和比較標準特徵參數抽取模塊相連接；採摘對象識別模塊，用於根據採摘對象的顏色和外形特徵對採摘機器人周圍的展開全景圖中的採摘對象進行識別，其輸出與採摘對象分類模塊和採摘點匹配單元相連接；採摘對象分類模塊，用於根據各種不同的採摘對象的分類標準指標庫中相對應的採摘對象的分類標準對採摘對象進行分類分級，其輸出與採摘對象分類控制模塊相連接；各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫，用於存放各種不同的採摘對象的分類標準指標和顏色與外形特徵值；採摘點匹配單元，用於找出同一時刻兩個不同視點的圖像中同一採摘對象的中心點對應的兩個像點，其輸出與空間信息計算單元連接；空間信息計算單元，用於計算空間上的採摘對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角，其輸出與機械手空間位置計算單元連接；機械手空間位置計算單元，用於計算機械手的採摘端的空間位置，其輸出控制機械手的動作，完成米摘任務；採摘對象分類控制模塊，用於控制將分類分級後的採摘對象收集或分揀到相對應的採摘對象容器中。
進一步，所述的採摘對象識別模塊中，通過被採摘對象的顏色特徵進行識別，利用被採摘對象的顏色色差信息進行圖像識別，針對每種不同的採摘對象通過實驗研究，將能對某種採摘對象進行有效識別的特徵值寫入到各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中，每一種採摘對象在各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中都有其相對應的顏色或者外形特徵的描述，所述的採摘對象識別模塊根據某個規定的採摘對象的描述從ODVS獲取的全景圖像中檢索出相似的對象，以實現採摘對象識別的目的。更進一步，所述的採摘對象分類模塊，用於對識別出來的採摘對象進行分類分級，對所採收的採摘對象進行不同分級分倉歸類，以減少後續的人工分揀分級的勞動；所述的採摘對象分類模塊根據 採摘對象的分類分級標準進行判斷，本發明中主要是根據採摘對象的視覺特徵進行分類；因此從某種程度上說所述的採摘對象分類模塊是所述的採摘對象識別模塊的升級；每種採摘對象的分類分級標準在視覺特徵上都存在著相對應的描述表達；所述的採摘對象分類模塊，在採摘對象分類過程中，首先讀取所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中相對應的採摘對象特徵參數值或者指標值；接著採用數字圖像處理方法計算每個被採摘對象的各項指標，分別取各指標的平均值作為參考形狀的特徵參數；然後對被採摘對象作相應的參數計算，並與所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中相對應的採摘對象特徵參數值進行比較，其差值即為被採摘對象的識別特徵參數；最後根據識別特徵參數對採摘對象進行分類，分類的結果輸出給採摘對象分類控制模塊，採摘對象分類控制模塊控制機械手將採摘對象收集或分揀到相對應的分類分級容器中；關於半徑指標、曲率指標、連續性指標、半徑指標的對稱性、曲率指標的對稱性和連續性指標的對稱性的判斷均採用數字圖像處理和模式識別技術進行加工和處理。所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫，用於存放各種不同的採摘對象的分類標準指標和特徵參數，分類標準指標和特徵參數主要來源是O國家、行業的有關採摘對象的相關標準，對於棉花分級標準有《棉花顏色級檢驗技術規範》；2)按某一種採摘對象的不同等級，對其的顏色和外形進行圖像分析，得到該採摘對象的各種不同等級的特徵參數；因此，寫入所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫也有兩種對應的方法，一種方法是人工輸入，即以採摘對象為主鍵、以採摘對象的分類分級識別代碼為第二關鍵詞，將該採摘對象某等級的標準指標和特徵參數寫入資料庫中；另一種方法是採用圖像識別和分析的方式，從給定的採摘對象等級實物圖像中抽取出該採摘對象等級的特徵參數作為分類標準。所述的空間信息計算單元，依據所述的採摘對象識別模塊所得到的識別結果，通過全景立體ODVS所獲得的立體全景視頻圖像，從上ODVS圖像中所識別出的採摘對象通過物點的匹配找到下ODVS圖像中的對應點，然後計算空間上的採摘對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角；兩個ODVS的入射角，SP Φ1和Φ2和基線距AB的長度，就能計算出物點離視點中心的距離；基線距AB的長度d在設計雙目立體全方位視覺傳感器的結構時已經確定，公式
(7)為ODVS的入射角的計算方法，公式中的各參數是通過ODVS的標定來確定的；
權利要求
1.一種基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於包括雙目立體全景視覺傳感器，用於對採摘對象的識別、分類和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進行連接； 所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數的固定單視點的全方位視覺裝置，全方位視覺裝置簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，並保證兩個ODVS的主軸在同一直線上； 所述的微處理器包括 視頻圖像讀取單元，用於讀取兩個相同成像參數的ODVS的視頻圖像，並保存在指定的存儲設備中，其輸出與視頻圖像展開單元連接； 視頻圖像展開單元，用於對ODVS獲取的原始視頻圖像進行圖像預處理，圖像預處理中首先對全方位圖像進行展開，展開全景圖保存在指定的存儲單元中，其輸出與採摘對象識別模塊和比較標準特徵參數抽取模塊相連接； 採摘對象識別模塊，用於根據採摘對象的顏色和外形特徵對採摘機器人周圍的展開全景圖中的採摘對象進行識別，其輸出與採摘對象分類模塊和採摘點匹配單元相連接； 採摘對象分類模塊，用於根據各種不同的採摘對象的分類標準指標庫中相對應的採摘對象的分類標準對採摘對象進行分類分級，其輸出與採摘對象分類控制模塊相連接；各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫，用於存放各種不同的採摘對象的分類標準指標和顏色與外形特徵值； 採摘點匹配單元，用於找出同一時刻兩個不同視點的圖像中同一採摘對象的中心點對應的兩個像點，其輸出與空間信息計算單元連接； 空間信息計算單元，用於計算空間上的採摘對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角，其輸出與機械手空間位置計算單元連接； 機械手空間位置計算單元，用於計算機械手的採摘端的空間位置，其輸出控制機械手的動作，完成採摘任務； 採摘對象分類控制模塊，用於控制將分類分級後的採摘對象收集或分揀到相對應的採摘對象容器中。
2.如權利要求1所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的採摘對象識別模塊中，通過被採摘對象的顏色特徵進行識別，利用被採摘對象的顏色色差信息進行圖像識別，針對每種不同的採摘對象通過實驗研究，將能對某種採摘對象進行有效識別的特徵值寫入到各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中，每一種採摘對象在各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中都有其相對應的顏色或者外形特徵的描述，所述的採摘對象識別模塊根據某個規定的採摘對象的描述從ODVS獲取的全景圖像中檢索出相似的對象，以實現採摘對象識別的目的。
3.如權利要求1或2所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的採摘對象分類模塊，用於對識別出來的採摘對象進行分類分級，對所採收的採摘對象進行不同分級分倉歸類，以減少後續的人工分揀分級的勞動；所述的採摘對象分類模塊根據採摘對象的分類分級標準進行判斷，本發明中主要是根據採摘對象的視覺特徵進行分類；因此從某種程度上說所述的採摘對象分類模塊是所述的採摘對象識別模塊的升級；每種採摘對象的分類分級標準在視覺特徵上都存在著相對應的描述表達； 所述的採摘對象分類模塊，在採摘對象分類過程中，首先讀取所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中相對應的採摘對象特徵參數值或者指標值；接著採用數字圖像處理方法計算每個被採摘對象的各項指標，分別取各指標的平均值作為參考形狀的特徵參數；然後對被採摘對象作相應的參數計算，並與所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中相對應的採摘對象特徵參數值進行比較，其差值即為被採摘對象的識別特徵參數；最後根據識別特徵參數對採摘對象進行分類，分類的結果輸出給採摘對象分類控制模塊，採摘對象分類控制模塊控制機械手將採摘對象收集或分揀到相對應的分類分級容器中；關於半徑指標、曲率指標、連續性指標、半徑指標的對稱性、曲率指標的對稱性和連續性指標的對稱性的判斷均採用數字圖像處理和模式識別技術進行加工和處理。
4.如權利要求3所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫，用於存放各種不同的採摘對象的分類標準指標和特徵參數，分類標準指標和特徵參數主要來源是1)國家、行業的有關採摘對象的相關標準，對於棉花分級標準有《棉花顏色級檢驗技術規範》；2)按某一種採摘對象的不同等級，對其的顏色和外形進行圖像分析，得到該採摘對象的各種不同等級的特徵參數；因此，寫入所述的各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫也有兩種對應的方法，一種方法是人工輸入，即以採摘對象為主鍵、以採摘對象的分類分級識別代碼為第二關鍵詞，將該採摘對象某等級的標準指標和特徵參數寫入資料庫中；另一種方法是採用圖像識別和分析的方式，從給定的採摘對象等級實物圖像中抽取出該採摘對象等級的特徵參數作為分類標準。
5.如權利要求1或2所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的空間信息計算單元，依據所述的採摘對象識別模塊所得到的識別結果，通過全景立體ODVS所獲得的立體全景視頻圖像，從上ODVS圖像中所識別出的採摘對象通過物點的匹配找到下ODVS圖像中的對應點，然後計算空間上的採摘對象的中心點到立體視覺測量裝置中心點的距離、方位角以及入射角； 兩個ODVS的入射角，即Φ I和Φ 2和基線距AB的長度，就能計算出物點離視點中心的距離；基線距AB的長度d在設計雙目立體全方位視覺傳感器的結構時已經確定，公式(7)為ODVS的入射角的計算方法，公式中的各參數是通過ODVS的標定來確定的；
6.如權利要求1或2所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的空間信息計算單元，得到採摘對象的中心點P在高斯坐標系中的方位角βρ、入射角Φρ和採摘中心點的距離rp，根據高斯坐標系與笛卡爾坐標系的轉換關係，可以將採摘對象的中心點P用笛卡爾坐標系表達，如公式(9)所示， xP=rP X COS ΦρΧ COS β ρ yp=rpX cos ΦΡΧ sin β p(9) zp=rp X sin<jip 式中，xp、Y1^Pzp分別為採摘對象的中心點P在笛卡爾坐標系中的值，βρ、小1)和1'1)分別為採摘對象的中心點P在高斯坐標系中的值。
7.如權利要求1或2所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的機械手空間位置計算單元，用於計算機械手的採摘端的空間位置；這裡將所述的雙目立體ODVS的中點作為視覺坐標系的原點，並建立XV、YV和Zv構成的三維全景視覺坐標系；將機械手的固定點作為機械手的坐標原點，並建立\、1和Za構成的三維機械手運動坐標系；由於雙目立體ODVS和機械手均固定在採摘機器人的行走部分的上面，因此，用公式(10)建立三維全景視覺坐標系和三維採摘機械手運動坐標系的幾何關係； Xa = )CV + X^Κ,^Κ+y( ο)Ze =Zv +Z 式中，Xa、Ya和Za分別表示三維採摘機械手運動坐標系，Xv、Yv和Zv分別表示三維全景視覺坐標系，X、y和Z分別表示兩個坐標系原點之間在三維坐標上的投影距離。
8.如權利要求1或2所述的基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，其特徵在於所述的視頻圖像展開單元，採用柱狀展開方式，設展開的圖像尺寸為mXl，則展開算法中水平方向的計算步長為，Λ β=2π/1 ;垂直方向的計算步長為Am=cKax-D ;式中，Φ_為全景原圖最大有效半徑Rmax對應的場景光線入射角，Φ*為全景原圖最小有效半徑Rmin對應的場景光線入射角； 與用極坐標表示的全景原圖中的原像點Ρ(Φ，β )對應的球面展開方式中的P點坐標分別為 X= β / Δ β ；γ=φ-φηι η/ Am(6) 式中Λ β為水平方向的計算步長，β為方位角，Am為垂直方向的計算步長，φ全景原圖有效半徑R對應的場景光線入射角，為全景原圖最小有效半徑Rmin對應的場景光線入射角。
9.一種基於全景立體視覺的採摘對象的識別、分類和空間定位方法，其特徵在於在對採摘對象的識別、分類前，首先需要建立一個各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫，同時也需要完成全景立體 ODVS的柱狀展開參數設定、標定和極線校正的預備工作，設定、標定和極線校正的參數均保存在存儲單元中，以便下一次使用採摘機器人時調用；接著，進入採摘對象的識別、分類和空間定位處理流程； 步驟I):通過視頻圖像讀取單元讀取兩個相同成像參數的ODVS的兩幅全景視頻圖像；步驟2):根據保存在存儲單元中的設定、標定和極線校正的參數對兩幅全景視頻圖像進行柱狀展開處理； 步驟3):根據保存在各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中的採摘對象的特徵參數對上ODVS所獲取的全景圖像展開圖進行檢索和識別，得到在上ODVS所獲取的全景圖像展開圖中的採摘對象中心點； 步驟4):根據保存在各種不同的採摘對象的分類標準指標庫以及採摘對象的特徵庫中的採摘對象的分類標準指標以及在步驟3)中檢索和識別的結果進行分類分級處理，得到採摘對象的分級結果； 步驟5):根據在步驟3)中得到的在上ODVS所獲取的全景圖像展開圖中的採摘對象中心點對下ODVS所獲取的全景圖像展開圖進行匹配計算，得到在下ODVS所獲取的全景圖像展開圖中的相應匹配點； 步驟6):根據在步驟3)中得到的在上ODVS所獲取的全景圖像展開圖中的採摘對象中心點以及在步驟5)得到的在下ODVS所獲取的全景圖像展開圖中的相應匹配點進行採摘對象空間信息的計算，得到採摘對象的中心點到全景立體ODVS中心點的距離、方位角以及入射角；然後根據高斯坐標系和笛卡爾坐標系之間的轉換關係，將採摘對象的中心點用笛卡爾坐標系進行表達； 步驟7):根據在步驟6)計算得到的採摘對象的中心點到全景立體ODVS中心點的坐標值映射到採摘機器手的坐標系中，然後根據在採摘機器手的坐標系中的坐標 值控制採摘機器手的動作； 步驟8):根據在步驟4)計算得到採摘對象的分級結果，控制採摘機械手將採摘對象收集或分揀到相對應的分類分級容器中；跳轉到步驟2)。
全文摘要
一種基於全景立體視覺的採摘對象的識別、分類和空間定位裝置，包括雙目立體全景視覺傳感器，用於對採摘對象的識別、分類和空間定位進行分析處理的微處理器，所述的雙目立體全景視覺傳感器與所述的微處理器進行連接；所述的雙目立體全景視覺傳感器，包括兩臺具有相同參數的固定單視點的全方位視覺裝置，全方位視覺裝置簡稱ODVS，兩臺ODVS按照全方位的極線平面要求以垂直連接固定，並保證兩個ODVS的主軸在同一直線上。本發明具有採摘識別率高、邊採摘邊分級分類、空間定位計算量少、空間定位高等優點。
文檔編號A01D46/00GK102986372SQ20121036755
公開日2013年3月27日 申請日期2012年9月28日 優先權日2012年9月28日
發明者湯一平, 俞立 申請人:浙江工業大學