具有自動識別的機器夾爪的製作方法

2023-10-21 00:32:36 2

1.本發明涉及機器人識別算法領域，尤其涉及一種具有自動識別的機器夾爪。


背景技術：

2.在現有的生產活動中，機器夾爪是所發揮的作用也在逐步提高，由於機器夾爪的便利性以及其多功能，無論是在工業生產還是農業生產中，成為不可獲缺的工具之一。
3.現有的機器夾爪一般都僅僅具有夾持的作用，通過接收外部的指令信息從而實現對目標物的抓取，但是這些指令信息依舊為人工發出，也就是說現有的機器夾爪並不是完全的智能化設備，這對於實際使用過程中，依舊存在一些短板，例如需要利用機械夾爪進行果實採摘，就需要完全依靠人工來對果實進行識別定位，從而操控機器夾爪進行採集；而如何實現智能化控制，使得機器夾爪能夠自動識別和完成採集，這是我們目前所需要解決的難題。


技術實現要素：

4.針對上述技術中存在的不足之處，本發明提供一種具有自動識別的機器夾爪，通過利用相關的識別算法，實現對目標物進行準確識別和抓取，從而實現機器夾爪的自動控制，滿足不同的使用需求。
5.為實現上述目的，本發明提供一種具有自動識別的機器夾爪，其特徵在於，包括底座、機械臂和識別探頭，所述機械臂設置在底座與識別探頭之間，包括活動相連的第一機械臂和第二機械臂，所述第一機械臂和第二機械臂垂直相連，第一機械臂的一端與活動相連，第二機械臂的一端設有所述識別探頭，所述底座的下端設有固定孔，所述識別探頭上安裝有多個識別探頭。
6.作為優選，所述機械臂上設有多個微型電機，微型電機分別設置在第一機械臂與底座的連接位置、第一機械臂與第二機械臂的連接位置以及第二機械臂與識別探頭的連接位置。
7.作為優選，所述識別探頭內設有識別算法，所述識別算法的構建過程如下：
8.s1:從輸入的圖像樣本數據集中隨機選擇出c個類別的圖像樣本，在每個類別中再隨機選擇n個樣本；
9.s2:然後將該圖像序列送到特徵提取網絡中提取到特徵圖組，接著對特徵圖組使用全局平均池化後得到特徵向量組，
10.s3:對特徵向量組中的特徵向量兩兩進行相似度度量，根據度量結果生成新的混合圖像序列；
11.s4：最後將該新的混合圖像序列送到網絡中進行訓練，利用卷積神經網絡來進行特徵提取,進行比對得到結果。
12.作為優選，收集多個具有目標物的照片或圖片，對照片或圖片進行標註，構建數據集。
13.作為優選，還需要對數據集進行增廣，獲得數據量更多的數集，具體的過程為：對數據集中的圖片進行水平翻轉增強，垂直翻轉增強，鏡像對稱增強，仿射變化，旋轉，高斯加噪，對比度變化，尺度變換，平移來增廣數據集。
14.作為優選，最終在檢測網絡中利用softmax分類器對目標判段和識別，經過對候選框的位置進行校正，從而得到目標物在圖像坐標系中的高精準度坐標。
15.作為優選，還需要對坐標進行轉化，將二維坐標轉換為三維坐標，從而方便機械手對目標物進行準確夾持。
16.本發明的有益效果是：與現有技術相比，本發明提供的具有自動識別的機器夾爪，通過利用相關算法實現機器夾爪對目標物的準確識別，從而使得機器夾爪能夠穩定判斷是否有目標物的存在，當存在目標物後，再通過相關的處理了解目標物的所處位置，從而實現對目標物的穩定夾持，實現全智能化動作，無需再依賴於人工，達到降低企業用工成本的需求。
附圖說明
17.圖1為本發明的主體結構圖；
18.圖2為本發明的結構側視圖
19.主要元件符號說明如下：
20.1.底座2.機械臂3.探頭21、第一機械臂22.第二機械臂。
具體實施方式
21.下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的施例。基於本發明中的實施例，本領域技術人員在沒有作出創造性勞動前提下獲得的所有其他實施例，都屬於本發明保護的範圍。
22.在申請中，「示例性」一詞用來表示「用作例子、例證或說明」。本技術中被描述為示例性」的任何實施例不一定被解釋為比其它實施例更優選或更具優勢。為使本領域任何技術人員能夠實現和使用本發明，給出了以下描述。在以下描述，為了解釋的目的而列出了細節。應當明白的是，本領域普通技術人員可以認到，在不使用這些特定細節的情況下也可以實現本發明。在其它實例中，不會對已知的結構和過程進行詳細闡述，以避免不必要的細節使本發明的描述變得晦澀。因此，本發明並非旨在限於所示的實施例，而是與符合本技術所公開的原理的最廣範圍相一致。
23.請參閱圖1和圖2，本發明公開了一種具有自動識別的機器夾爪，包括底,1、機械臂2和識別探頭3，機械臂設置在底座與識別探頭之間，包括活動相連的第一機械臂21和第二機械臂22，第一機械臂21和第二機械臂22垂直相連，第一機械臂的一端與活動相連，第二機械臂的一端設有所述識別探頭，所述底座的下端設有固定孔，所述識別探頭上安裝有多個識別探頭，機械臂上設有多個微型電機，微型電機分別設置在第一機械臂與底座的連接位置、第一機械臂與第二機械臂的連接位置以及第二機械臂與識別探頭的連接位置。在本實施例中，利用底座方便對整個機器夾爪進行固定，識別探頭能有效對目標物進行識別和定位，而機械臂的特殊結構設置，使得機械臂能進行多個角度的旋轉，從而帶動識別探頭進行
不同方向上的運動，從而獲得不同角度的圖片或照片，滿足識別所需，在具體的使用過程中，識別探頭的外側可以安裝有機械手，這樣在識別完成後可以進行有效抓取，滿足使用需求。
24.為了實現上述目的，識別探頭內設有識別算法，識別算法的構建過程如下：
25.s1:從輸入的圖像樣本數據集中隨機選擇出c個類別的圖像樣本，在每個類別中再隨機選擇n個樣本；s2:然後將該圖像序列送到特徵提取網絡中提取到特徵圖組，接著對特徵圖組使用全局平均池化後得到特徵向量組，s3:對特徵向量組中的特徵向量兩兩進行相似度度量，根據度量結果生成新的混合圖像序列；s4：最後將該新的混合圖像序列送到網絡中進行訓練，利用卷積神經網絡來進行特徵提取,進行比對得到結果。收集多個具有目標物的照片或圖片，對照片或圖片進行標註，構建數據集。還需要對數據集進行增廣，獲得數據量更多的數集，具體的過程為：對數據集中的圖片進行水平翻轉增強，垂直翻轉增強，鏡像對稱增強，仿射變化，旋轉，高斯加噪，對比度變化，尺度變換，平移來增廣數據集。在本實施例中，在卷積神經網絡結構中，前面若干結構主要由卷積層跟池化層組成。卷積層作為卷積神經網絡中的重要組成結構，利用若干個遠小於輸入圖像尺寸的卷積核在空間上進行局部、稀疏運算，可以看成是對圖像進行窗口滑動計算的過程，且卷積核的權值共享，可以有效節約計算量和存儲空間。池化層是對卷積輸出特徵圖下採樣的操作，圖像經過卷積操作後，獲得的特徵圖由於維度較高，計算量過大，容易出現過擬合的情況，池化操作可以降低特徵圖維度，並減少過擬合情況，為了提高識別的準確率，本技術採用opairim算法，首先從輸入的圖像樣本數據集中隨機選擇出c個類別的圖像樣本，在每個類別中再隨機選擇n個樣本。然後將該圖像序列送到特徵提取網絡中提取到特徵圖組，接著對特徵圖組使用全局平均池化後得到特徵向量組，其次對特徵向量組中的特徵向量兩兩進行相似度度量，根據度量結果生成新的混合圖像序列，最後將該新的混合圖像序列送到網絡中進行訓練，利用卷積神經網絡來進行特徵提取，輸入一幅圖像到卷積神經網絡中後，特徵圖表示為f∈r h*w*c
,其中c代表特徵圖通道，h代表特徵圖高度，w代表特徵圖寬度.通過公式f＝g(i)提取該圖像的特徵信息，代表特徵圖寬度其中g(
·
)代表了從輸入圖像i到輸出的特徵表示f的映射函數，該函數包括了卷積、池化和非線性激活等函數。
26.而對於兩個圖像是否相似，採用相似度來表示，具體採用閔式距離來表示
[0027][0028]
其中x
′
與y
′
分別代表了兩個圖像樣本x和y的向量表示，xi′
與yi′
分別表示x
′
與y
′
的第i個值，n表示x
′
與y
′
向量表示的長度，p為常數。
[0029]
對於訓練中輸入的兩幅圖像ia和ib，通過特徵突出表示為fa∈r h*w*c
和fb∈r h*w*c
，兩者可以等價寫成fa＝[f
1 f
2 f3…
fc]∈r h*w*c
；fb＝[f
1 f
2 f3…
fc]∈r h*w*c
,經過全局平均池化獲得特徵向量za＝[z
1 z
2 z3…
zc]∈rc和zb＝[z
1 z
2 z3…
zc]∈rc,其中z的第l個元素通過下列公式計算得到
[0030]
[0031]
其中h代表特徵圖高度，w代表特徵圖寬度，f
l
∈r h*w
是特徵圖第l個通道，對於圖像ia和ib來說，使用最經典的歐式距離度量函數計算兩個圖像樣本的高級特徵之間的距離，用d(a,b)表示特徵描述向量za和zb之間的距離值。通過公式
[0032][0033]
計算該值，計算得到的d(a,b)越大，表示圖像ia和ib之間差異越大，計算得到的d(a,b)越小，表示圖像ia和ib之間相似度越高；其中z
ia
和z
ib
分別表示特徵描述向量za和zb的第i個元素，c代表元素的總數。
[0034]
對於訓練集中輸入到神經網絡中的一個批次內的訓練數據樣本，假設隨機選擇了m個類別，每一個類別中隨機選擇了n個樣本，那麼該批次內總共有m
×
n副圖像，該圖像序列可以寫成i＝[i
1 i
2 i3…imxn
]；d(i,p)表示任意兩張圖像之間的相似度的度量，對於圖像序列i＝[i
1 i
2 i3…imxn
]計算得到任意兩個圖像樣本之間的相似度，得到相似度量矩陣
[0035][0036]
其中d
i,j
表示第i張圖像與第j張圖像的相似度數值d(i,j)。
[0037]
將這個相似獨立矩陣輸入到對比模塊內，與mixup或cutmix算法混合得到用於識別的特徵向量，然後與輸入圖像模塊所獲取得到的照片，通過該計算模型對照片進行提取，將所提取的特徵向量送入到softmax分類器中得到分類向量，最後根據分類結果來判斷是否滿足要求，即通過上述方式來判斷是否存在目標物，從而方便進行後續的相關動作。
[0038]
在檢測網絡中利用softmax分類器對目標判段和識別，經過對候選框的位置進行校正，從而得到目標物在圖像坐標系中的高精準度坐標。還需要對坐標進行轉化，將二維坐標轉換為三維坐標，從而方便機械手對目標物進行準確夾持。在具體實施過程中，例如為了實現準確對果實進行採摘，當利用上文的算法得到得到存在果實時，利用機械臂帶動探頭掃描周圍環境，利用faster-rcnn算法定位出果實目標編輯的具體位置，而faster-rcnn模型框架是由卷積神經網絡特徵提取層vgg16、區域建議網絡rpn、感興區roi池化層劑分類和邊框回歸檢測層構成，首先利用rpn對數據集進行訓練生產含有目標的候選框，然後將識別探頭採集到的圖像輸入到vgg16網絡進行卷積和池化操作後得到含有果實的圖像的特徵圖，因為採用rpn獲得的候選框大小各異，再把候選框與特徵圖輸入到感興區roi池化層，映射成7
×
7固尺寸候選框的特徵圖，並映射到特徵圖中對應的位置，最終在檢測網絡中利用softmax分類器對目標判斷和識別，再通過非極大值抑制對目標預測框的概率評估，經過對候選框的位置進行校正，從而得到果實目標在圖像坐標系中的高精準度坐標，而由於探頭得到的是二維坐標系，機械夾爪處在三維世界中，因此需要進行坐標轉換，若果實在機械夾爪坐標系中的坐標點為(xw，yw，zw)，對應在探頭坐標系中的坐標為(xc,yc,zw),兩者可以通過旋轉與平移達到重合，變換關係表達式為：
[0039][0040]
式中：r為正交單位矩陣屬於坐標系旋轉矩陣；t為列向量屬於坐標系平移矩陣。
[0041]
以上公開的僅為本發明的幾個具體實施例，但是本發明並非局限於此，任何本領域的技術人員能思之的變化都應落入本發明的保護範圍。