基於雙目視覺和SIFT特徵匹配的機械臂控制系統及實現方法與流程

2023-04-30 11:44:51 3

本發明涉及機械臂控制技術領域，特別涉及一種基於雙目視覺和SIFT特徵匹配的機械臂控制系統及實現方法。

背景技術：

傳統物流有七大組成部分：運輸、倉儲、包裝、搬運裝卸、流通加工、配送以及相關的物流信息等環節。搬運裝卸作為物流中的重要環節，消耗大量的人力，造成不必要的人力與時間浪費，制約物流運輸速度的發展。在物流的搬運裝卸環節使用機械臂進行工作，可以減輕工人的勞動強度，也能大大提高勞動效率。同時使用攝像頭等視覺傳感器作為系統的主要傳感器，可以得到更多的信息，有利於系統高效、穩定地進行工作。

手眼系統(Hand-Eye System)是由攝像頭和機械臂構成的機器人視覺系統，其分為Eye-in-Hand系統(攝像頭隨機械臂末端運動)和Eye-to-Hand系統(攝像頭固定不動)。其中Eye-in-Hand系統在工業機器人中應用比較廣泛，但在實際應用中，系統的視野處在變化之中，不能保證目標一直在視場中，有時會存在丟失目標現象，實時性較差。

目前已有的機械臂多使用PC主機或是針對某一特殊需求、採用特定的軟硬體架構解決相應問題，不僅普適性差，而且往往成本高昂，需要大量的資源，並且功耗大。而且在運算與控制過程中，使用單目視覺來計算三維坐標，使用基於灰度的圖像匹配算法來識別目標，精度較低，易受光照幹擾，同時匹配算法需要預先存儲大量模板，匹配過程耗時長。

技術實現要素：

本發明的目的在於克服機械臂系統抓取過程中存在的技術不足，提供一種基於雙目視覺和SIFT特徵匹配的機械臂控制系統及實現方法,該系統以嵌入式SoC作為運算控制中心，融合基於雙目視覺的立體匹配算法和SIFT特徵匹配算法，實現實時精確控制。

本發明的基於雙目視覺和SIFT特徵匹配的機械臂控制系統，包括SoC嵌入式平臺、機械臂及雙目視覺傳感器；所述雙目視覺傳感器通過USB接口與所述SoC嵌入式平臺相連接，所述SoC嵌入式平臺通過I/O控制接口與所述機械臂相連接；所述機械臂與所述雙目視覺傳感器組成Eye-to-Hand系統，並同時與SoC嵌入式平臺連接，進行信息傳輸及控制；所述雙目視覺傳感器採集圖像信息並傳輸給所述SoC嵌入式平臺，所述SoC嵌入式平臺完成相應計算，控制所述機械臂抓取目標；所述雙目視覺傳感器為雙目攝像頭。

本發明的另一技術方案是基於雙目視覺和SIFT特徵匹配的機械臂控制系統的實現方法,包括以下步驟:

S1:攝像頭和機械臂參數標定；

S2：攝像頭採集機械臂圖像，截取機械臂末端圖像作為匹配模板；

S3：初始化機械臂，使機械臂末端處於機械臂坐標系原點位置；

S4：對圖像中的目標進行識別，攝像頭採集識別目標，並截取目標匹配模板；

S5：使用立體匹配算法，定位待抓取目標在圖像中的位置，以定位的待抓取目標上邊緣點為中心，確定抓取範圍；

S6：轉化坐標系信息，調節機械臂末端位置；

S7：採集圖像，使用立體匹配算法和SIFT特徵匹配算法，定位機械臂末端在圖像中的位置，將定位的機械臂末端的中心位置與上述S5中確定的抓取範圍作比較，若機械臂末端的中心位置處於抓取範圍內，則符合抓取條件，進入S8，否則回到上述S6；

S8：控制機械臂抓取目標採集抓取後的圖像；

S9：採集圖像，通過SIFT特徵匹配算法，定位待抓取目標在圖像中的位置，若判定成功抓取，則進行搬運，否則回到上述S4重新計算。

所述S1中參數標定包括圖像坐標系和機械臂坐標系兩部分，所述圖像坐標系和機械臂坐標系之間可相互轉換。

所述圖像坐標系以圖像左上角為坐標原點，向右為x軸正方向，向下為y軸正方向，攝像頭平面到待抓取物體方向為z軸正方向；所述機械臂坐標系以初始狀態下的機械臂末端為坐標原點，垂直向左為x軸正方向，垂直向上為y軸正方向，垂直向前為z軸正方向。

所述S2中截取的機械臂末端圖像作為匹配模板為系統中永久存儲的唯一模板。

所述S4中攝像頭實時採集待抓取目標的匹配模板，抓取完成後立即刪除。

所述S5中立體匹配算法是對識別出的抓取目標進行計算。

所述S6坐標系轉換關係函數為：

其中：x，y，z為機械臂坐標系；x′，y′，z′為圖像坐標系；x′min為圖像坐標系中心坐標；α，β，y′t標定後的轉換係數，與z′有關。

所述S7中立體匹配算法僅對機械臂末端進行計算,並通過SIFT匹配點計算平均距離。

所述S7中定位機械臂末端和S9中SIFT特徵匹配算法定位待抓取目標，所採用SIFT特徵匹配算法具體包括：

(1)在實時採集的圖像與模板圖像中尋找特徵點並匹配；

(2)根據匹配結果，尋找匹配最高的n個特徵匹配點；

(3)計算兩幅圖像的特徵代表點，計算公式為：

其中xi，yi為每個特徵匹配點在圖像坐標系中的坐標

(4)使用上述(3)步計算得到的代表點來判斷待識別物體或機械臂末端在圖像坐標系中的位置。

本發明的有益效果：

1、與PC主機和特定的軟硬體架構相比，使用SoC嵌入式系統作為整個系統的運算與控制中心，可以減少系統功耗，同時針對某一特殊需求可以對軟體或硬體進行調整、升級，較靈活。

2、與Eye-in-Hand系統相比，使用Eye-to-Hand系統，可以簡化坐標系轉換過程的計算複雜度，同時目標不易丟失，可以提高系統的實時性。

3、與單目視覺中常用的小孔模型相比，使用雙目視覺的立體匹配算法，可以獲得更高的精度。

4、與基於灰度的圖像匹配算法相比，使用sift特徵匹配算法對物體進行定位，一定程度上減少光照對運算結果的影響，提高計算的精度。

5、傳統的匹配算法需要事先存儲大量匹配模板，本發明在識別物體後，在線截取匹配模板，可以降低存儲空間需求，提高匹配速度。

附圖說明

圖1為本發明控制系統組成框圖。

圖2為本發明控制系統各部件相對位置示意圖

圖3為本發明控制方法流程圖。

圖4為本發明圖像坐標系示意圖。

圖5為本發明機械臂坐標系示意圖。

具體實施方式

下面通過具體實施例和附圖對本發明作進一步的說明。本發明的實施例是為了更好地使本領域的技術人員更好地理解本發明，並不對本發明作任何的限制。

如圖1所示，本發明的基於雙目視覺和SIFT特徵匹配的機械臂控制系統，包括SoC嵌入式平臺、機械臂及雙目視覺傳感器；所述雙目視覺傳感器通過USB接口與所述SoC嵌入式平臺相連接，所述SoC嵌入式平臺通過I/O控制接口與所述機械臂相連接；所述機械臂與所述雙目視覺傳感器組成Eye-to-Hand系統，並同時與SoC嵌入式平臺連接，進行信息傳輸及控制；所述雙目視覺傳感器採集圖像信息並傳輸給所述SoC嵌入式平臺，所述SoC嵌入式平臺完成相應計算，控制所述機械臂抓取目標；本發明的雙目視覺傳感器為雙目攝像頭，本發明的基於雙目視覺和SIFT特徵匹配的機械臂控制系統各部件相對位置示意圖如圖2所示。

如圖3所示，基於雙目視覺和SIFT特徵匹配的機械臂控制系統的實現方法,包括以下步驟:

S1:攝像頭和機械臂參數標定；參數標定包括圖像坐標系和機械臂坐標系兩部分，所述圖像坐標系和機械臂坐標系之間可相互轉換；如圖4所示，圖像坐標系以圖像左上角為坐標原點，向右為x軸正方向，向下為y軸正方向，攝像頭平面到待抓取物體方向為z軸正方向；如圖5所示，機械臂坐標系以初始狀態下的機械臂末端為坐標原點，垂直向左為x軸正方向，垂直向上為y軸正方向，垂直向前為z軸正方向。

S2：攝像頭採集機械臂圖像，截取機械臂末端圖像作為匹配模板；截取的機械臂末端圖像作為匹配模板為系統中永久存儲的唯一模板。

S3：初始化機械臂，使機械臂末端處於機械臂坐標系原點位置。

S4：對圖像中的目標進行識別，攝像頭採集識別目標，並截取目標匹配模板；攝像頭實時採集待抓取目標的匹配模板，抓取完成後立即刪除。

S5：使用立體匹配算法，定位待抓取目標在圖像中的位置，以定位的待抓取目標上邊緣點為中心，確定抓取範圍；該立體匹配算法是對識別出的抓取目標進行計算。

S6：轉化坐標系信息，調節機械臂末端位置；坐標系轉換關係為：圖像坐標系z軸和機械臂坐標系z軸正方向一致，且z軸原點距離保持不變；圖像坐標系x軸正方向與機械臂坐標系x軸正方向相反，圖像坐標系y軸正方向與機械臂坐標系y軸正方向相反。

所述S6坐標系轉換關係函數為：

其中：x，y，z為機械臂坐標系；x′，y′，z′為圖像坐標系；x′min為圖像坐標系中心坐標；α，β，y′t標定後的轉換係數，與z′有關。

S7：採集圖像，使用立體匹配算法和SIFT特徵匹配算法，定位機械臂末端在圖像中的位置，將定位的機械臂末端中心位置與上述S5中確定的抓取範圍作比較，若機械臂末端的中心位置處於抓取範圍內，則符合抓取條件，進入S8，否則回到上述S6；該立體匹配算法僅對機械臂末端進行計算，並通過SIFT匹配點計算平均距離。

S8：控制機械臂抓取目標採集抓取後的圖像。

S9：採集圖像，通過SIFT特徵匹配算法，定位待抓取目標在圖像中的位置，若判定成功抓取，則進行搬運，否則回到上述S4重新計算。

上述S7中定位機械臂末端和S9中定位待抓取目標，所採用SIFT特徵匹配算法具體包括：

(1)在實時採集的圖像與模板圖像中尋找特徵點並匹配；

(2)根據匹配結果，尋找匹配最高的n個特徵匹配點；

(3)計算兩幅圖像的特徵代表點，計算公式為：

其中xi，yi為每個特徵匹配點在圖像坐標系中的坐標

(4)使用上述(3)步計算得到的代表點來判斷待識別物體或機械臂末端在圖像坐標系中的位置。

應當理解的是，這裡所討論的實施方案及實例只是為了說明，對本領域技術人員來說，可以加以改進或變換，而所有這些改進和變換都應屬於本發明所附權利要求的保護範圍。