一種無人機及其基於視覺的抓取方法與流程
2023-05-28 23:38:26 3
本發明涉及無人機，尤其涉及一種無人機及其基於視覺的抓取方法。
背景技術：
伴隨著機器人技術的迅速發展，機器人已經在各個領域，如工業製造、軍事探險、以及日益興起的民用服務行業等，得到了廣泛的應用。無論軍事應用還是民用中，無人機運輸有著很重要的作用，是無人機應用的至關重要的組成部分，它們易操作，結構獨立完整，可垂直起飛、降落、懸停於指定點。逐漸地，無人機機械手將不僅局限於運輸方面，無人機機械臂系統將成為新一代空中操作機器人，最終將代替人類完成重複性的、高危險、複雜環境的空中交互操作。
近年來，無人機在航拍方面已經得到了廣泛的應用，但是遠遠滿足不了人們的需求。人們更需要無人機(空中機器人)能夠像人一樣用手臂去抓取環境中的物體，而無人機機械臂系統是一個複雜的欠驅動系統，無人機搭載多自由度機械臂在控制上具有極大的挑戰，目前世界也處於初步研究之中。而其中另外一個難點就是如何讓無人機進行自主抓取。本發明正是根據這種需求提出了一種無人機機械臂基於視覺的抓取和標定方法。目前國內相關無人機機械臂還只有較少的相關文獻，雖有少部分相關無人機機械臂的發明專利，但難以找到相關無人機視覺抓取和標定的描述。而其他相關機械臂的視覺伺服大多是基於工業機械臂的，和無人機機械臂有很大的區別。
中國發明專利《一種無人機機動目標定位跟蹤中的視覺伺服控制方法》(公開號：cn105353772a)。該發明通過建立大地坐標系、機體坐標系、攝像機坐標系、圖像坐標系、機體大地過渡坐標系，通過上述建立的坐標系之間的關係，根據目標的成像序列，進行目標的定位及目標跟蹤的姿態角給定值和航線跟蹤的姿態角給定值的計算，完成視覺伺服控制。在專利cn105014687a中，僅僅使用單一固定的攝像頭，優點是無需跟蹤雲臺和雷射測距設備，有效地降低了載荷的體積和成本，提高了偵察的隱蔽性，但由於其固定攝像頭，攝像頭不能自由活動的局限性，可視的伺服範圍或者精度上都有一定的影響。並且在專利cn105014687a中，只涉及到無人機的飛行控制，並沒有涉及無人機機械臂的伺服抓取。
技術實現要素：
為了解決現有技術中的問題，本發明提供了一種無人機及其基於視覺的抓取方法。
本發明提供了一種無人機，包括無人機機體、目標物、機械臂、舵機控制關節和攝像頭，所述機械臂固連於所述無人機機體的下方，所述舵機控制關節連接於所述無人機機體的上方前部，所述舵機控制關節為單自由度，所述舵機控制關節與所述攝像頭連接，所述無人機機體上貼有運動捕捉系統的第一定位標籤，所述舵機控制關節、攝像頭之間貼有運動捕捉系統的第二定位標籤，所述目標物(視覺標靶)貼有運動捕捉系統的第三定位標籤。
作為本發明的進一步改進，所述第一定位標籤為至少四個反光球體組成的剛體，所述第二定位標籤為至少四個反光球體組成的剛體，所述第三定位標籤為至少四個反光球體組成的剛體。
本發明還提供了一種無人機基於視覺的抓取方法，包括以下步驟：
s1、標定；
假設機械臂末端執行器相對於無人機的位置已知，給定機械臂關節位置，機械臂末端執行器位置相對於無人機已知，攝像機內參、畸變參數已經事先標定已知，目標物相對於攝像機坐標系的旋轉和平移已知，目標物相對於攝像機坐標系的旋轉和平移為攝像機外參，在獲得攝像機外參的過程中使用apriltags及其標靶，能夠實時的獲得目標標靶在攝像機坐標系下的旋轉和平移矩陣，採用optitrack的運動捕捉系統，可以獲得反光材質小球組成的標籤在運動捕捉系統坐標系下的位置，在無人機機體上貼有運動捕捉系統的定位標籤tag_body、在舵機控制關節之後貼有運動捕捉系統的定位標籤tag_link，在目標物(視覺標靶)上貼有運動捕捉系統的定位標籤tag_a，標定過程中需要保證各個標籤不同防止被運動捕捉系統誤識別，所以組成的反光材質小球的位置和個數不同，通過運動捕捉系統，可以得到已知的參數有：無人機機體在世界坐標系下的平移向量和旋轉矩陣舵機控制關節在世界坐標系下的平移向量和旋轉矩陣目標物在世界坐標系下的平移向量和旋轉矩陣通過攝像頭的apriltag捕捉，得到目標物在攝像機坐標系下的平移向量和旋轉矩陣繼而由以下關係可得：
其中，o代表平移向量，r代表旋轉矩陣，角標b代表機體坐標系，角標c代表攝像機坐標系，角標l代表舵機關節坐標系，和為機體坐標繫到攝像機坐標系的平移向量和旋轉矩陣，和為機體坐標繫到舵機關節坐標系的平移向量和旋轉矩陣，和為舵機關節坐標繫到攝像機坐標系的平移向量和旋轉矩陣，每一時刻以及舵機控制關節變化之後，都可以得到一組和的解，通過多組測量，由於為向量，對每個分量直接求平均值，而為旋轉矩陣，先將其轉換為四元素，然後使用多組四元素的均值算法進行四元素求均值，最後轉換迴旋轉矩陣得到最終的均值另外，舵機控制關節的控制角度的準確性需要通過舵機的輸入標定與運動捕捉系統下舵機關節定位標籤tag_link的俯仰角度保持一致，後續在無外部捕捉系統下就可直接通過正運動學求解目標在無人機坐標系下的位姿；
s2、視覺伺服抓取；
s21、無人機的機械臂系統檢測到任務，開始執行視覺伺服抓取或者投放任務；
s22、攝像機識別目標物，獲得像素坐標；
s23、根據目標物像素坐標偏差，進行攝像頭和無人機航向調節：
其像素縱軸上偏離攝像機像素中心的誤差錶針的是舵機控制關節的角度跟蹤誤差，用pd控制器進行舵機控制關節的控制，使得在俯仰方向上，在無人機或目標運動中，攝像機能夠準確對準目標物，進行俯仰追蹤；
其像素橫軸上偏離攝像機像素中心的誤差錶針的是無人機航向頭部對目標物的偏離，用pd控制器調整無人機航向，使得在水平方向上，能夠使得無人機頭部正對目標物；
s24、已知舵機關節姿態在無人機坐標系下的姿態、舵機關節到攝像機坐標系下的轉換關係、攝像機坐標系下的目標物位姿，通過正運動學求解得到目標物在無人機坐標系下的位姿，進一步可轉換到其他參考坐標系；
s25、根據得到的目標物在無人機坐標系下的位置，同步計算末機械臂端執行器需要的動作，執行基於位置伺服的飛行抓取或者投放任務。
本發明的有益效果是：實現了無人機機械臂的伺服抓取，具有低成本，高精度的特點，極具應用價值。
附圖說明
圖1是本發明一種無人機的示意圖。
圖2是本發明一種無人機的標定示意圖。
圖3是本發明一種無人機基於視覺的抓取方法的視覺伺服抓取的流程圖。
具體實施方式
下面結合附圖說明及具體實施方式對本發明作進一步說明。
如圖1至圖2所示，一種無人機，包括無人機機體1、機械臂2、舵機控制關節3和攝像頭4，所述攝像頭4為單目攝像頭，所述機械臂2固連於所述無人機機體1的下方，所述舵機控制關節3連接於所述無人機機體1的上方前部，所述舵機控制關節3為單自由度，所述舵機控制關節3與所述攝像頭4連接，所述無人機機體1上貼有運動捕捉系統的第一定位標籤5，所述舵機控制關節3、攝像頭4之間貼有運動捕捉系統的第二定位標籤6，所述目標物8(視覺標靶apriltag)上貼有運動捕捉系統的第三定位標籤7。此外，該無人機還包含有多個微型控制器如飛控、舵機控制器、視覺伺服控制器(圖中忽略)。
如圖2所示，所述第一定位標籤5為至少四個反光球體組成的剛體，所述第二定位標籤6為至少四個反光球體組成的剛體，第三定位標籤7為至少四個反光球體組成的剛體。
如圖1至圖3所示，一種無人機基於視覺的抓取方法，包括以下步驟：s1、標定；
如圖2所示，通過標定需要解決的問題是當舵機控制關節改變攝像機角度的時候，目標物體的位置在無人機坐標系下的位置是已知的。在這個環節中，需要通過標定求解得到的量是舵機控制關節到攝像機坐標系的旋轉和平移關係矩陣
首先機械臂末端執行器的標定在世界範圍內已有成熟的方法，其次，在計算機視覺中，在攝像機內外參的標定中已經可以較容易和準確的得到攝像機內參、畸變以及目標物的位置(即外參)。
假設機械臂末端執行器相對於無人機的位置已知，給定機械臂關節位置，機械臂末端執行器位置相對於無人機已知，攝像機內參、畸變參數已經事先標定已知，目標物相對於攝像機坐標系的旋轉和平移已知，目標物相對於攝像機坐標系的旋轉和平移為攝像機外參，在獲得攝像機外參的過程中使用apriltags及其標靶，能夠實時的獲得目標標靶在攝像機坐標系下的旋轉和平移矩陣，採用optitrack的運動捕捉系統，可以獲得反光材質小球組成的標籤在運動捕捉系統坐標系下的位置，在無人機機體上貼有運動捕捉系統的定位標籤tag_body、在舵機控制關節之後貼有運動捕捉系統的定位標籤tag_link，在目標物(視覺標靶)上貼有運動捕捉系統的定位標籤tag_a，標籤位置和結構如圖2中所示，圖中標籤的示意結構為陰隱填充所示的四個反光小球，實際標籤也可由五個或者六個組成，每組反光小球的組成視為一個剛體，剛體的幾何中心即為標籤的中心，標定過程中需要保證各個標籤不同防止被運動捕捉系統誤識別，所以組成的反光材質小球的位置和個數不同，通過運動捕捉系統，可以得到已知的參數有：無人機機體在世界坐標系下的平移向量和旋轉矩陣舵機控制關節在世界坐標系下的平移向量和旋轉矩陣目標物在世界坐標系下的平移向量和旋轉矩陣通過攝像頭的apriltag捕捉，得到目標物在攝像機坐標系下的平移向量和旋轉矩陣繼而由以下關係可得：
其中，o代表平移向量，r代表旋轉矩陣，角標b代表機體坐標系，角標c代表攝像機坐標系，角標l代表舵機關節坐標系，和為機體坐標繫到攝像機坐標系的平移向量和旋轉矩陣，和為機體坐標繫到舵機關節坐標系的平移向量和旋轉矩陣，和為舵機關節坐標繫到攝像機坐標系的平移向量和旋轉矩陣，每一時刻以及舵機控制關節變化之後，都可以得到一組和的解，通過多組測量，由於為向量，對每個分量直接求平均值，而為旋轉矩陣，先將其轉換為四元素，然後使用多組四元素的均值算法進行四元素求均值，最後轉換迴旋轉矩陣得到最終的均值另外，舵機控制關節的控制角度的準確性需要通過舵機的輸入標定與運動捕捉系統下舵機關節定位標籤tag_link的俯仰角度保持一致，後續在無外部捕捉系統下就可直接通過正運動學求解目標在無人機坐標系下的位姿；
s2、視覺伺服抓取；
視覺伺服抓取依賴於事先的視覺標定以及其他的機械臂等關節的運動學標定，需要準確的獲得從機體坐標系(圖2中tag_body定位標籤所在的坐標系)到舵機控制關節坐標系(圖2中tag_link定位標籤所在的坐標系)的轉換關係(關節、舵機標定並由dh參數獲得)、舵機控制關節坐標繫到攝像頭坐標系的轉換關係(視覺標定獲得)、機體坐標繫到機械臂末端執行器的轉換關係(機械臂關節標定並由dh參數獲得)、攝像機坐標系下目標物的位姿(攝像機標定及目標捕獲，本發明使用apriltags進行標靶捕獲和位置計算)。
如圖3所示，視覺伺服抓取具體包括以下流程：
s21、無人機的機械臂系統檢測到任務，開始執行視覺伺服抓取或者投放任務；
s22、攝像機識別目標物，獲得像素坐標；
s23、根據目標物像素坐標偏差，進行攝像頭和無人機航向調節：
其像素縱軸上偏離攝像機像素中心的誤差錶針的是舵機控制關節的角度跟蹤誤差，用pd控制器進行舵機控制關節的控制，使得在俯仰方向上，在無人機或目標運動中，攝像機能夠準確對準目標物，進行俯仰追蹤；
其像素橫軸上偏離攝像機像素中心的誤差錶針的是無人機航向頭部對目標物的偏離，用pd控制器調整無人機航向，使得在水平方向上，能夠使得無人機頭部正對目標物；
s24、已知舵機關節姿態在無人機坐標系下的姿態、舵機關節到攝像機坐標系下的轉換關係、攝像機坐標系下的目標物位姿，通過正運動學求解得到目標物在無人機坐標系下的位姿，進一步可轉換到其他參考坐標系；
s25、根據得到的目標物在無人機坐標系下的位置，同步計算末機械臂端執行器需要的動作，執行基於位置伺服的飛行抓取或者投放任務。
本發明提供的一種無人機及其基於視覺的抓取方法，通過利用外部準確的測量設備對無人機關節和攝像機坐標系進行測量，提出了一種視覺標定方法，在標定基礎上，提出了一種基於單目攝像機的視覺伺服抓取系統。該發明提出的系統具有低成本，高精度的特點，極具應用價值。
以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的保護範圍。