一種基於AR技術的機械裝配輔助引導系統及方法與流程
2023-10-20 23:28:45 1
一種基於ar技術的機械裝配輔助引導系統及方法
技術領域
1.本發明涉及工業裝配領域，尤其涉及一種基於ar技術的機械裝配輔助引導系統及方法。
背景技術：
2.隨著生產力提升，產線自動化以及智能化的不斷發展，協作機器人領域發展迅速，眾所周知協作機器人，是在傳統工業機器人的基礎上實現可以與人在生產線上協同生產的模式，充分發揮機器人的效率及人類的智能。其生產效率高且安全性強，能夠促進位企業生產的效率。保障了人和機器共同發揮生產環節中的特點，通過機器人來取代危險以及重複的操作。
3.在工業裝配領域，依靠師傅帶徒弟的培訓方式人力成本高、效率低下，依靠裝配圖紙或者教學視頻的培訓方式不夠直觀又紙上談兵。人工裝配的優點在於人腦十分靈活可以快速學習和隨機應變，缺點在於人會疲勞且負重有限；機器裝配的優點在於不會疲勞且具備高強度的負重，缺點在於無法快速學習和隨機應變。因此如何提高機械裝配在不同場景的拓展性和適配性成為亟待解決的技術問題。
技術實現要素：
4.為此，本發明提供一種基於ar技術的機械裝配輔助引導系統及方法，可以解決機械裝配在不同場景下的拓展性和適配性差的問題。
5.為實現上述目的，本發明一方面提供一種基於ar技術的機械裝配輔助引導系統，該系統包括：ar場景識別模塊，用於獲取目標場景信息，並根據所述目標場景信息得到場景方位信息，根據所述場景方位信息生成操作指令；ar指導模塊，其與所述ar場景識別模塊連接，用以根據所述操作指令匹配對應的操作工藝，並控制執行機構執行開始工作或暫停工作；ar協作模塊，其與所述ar指導模塊連接，用以根據所述操作指令和對應的操作工藝以生成所述場景方位信息的特定的操作流程，其中，所述操作流程為根據所述操作指令的指令序號按順序將操作指令中的指令信息與對應的操作工藝進行排序，將排序後的指令信息和對應的操作工藝與所述場景方位信息進行關聯，根據所述操作流程生成應答場景操作指令；ar運動引導模塊，其與所述ar協作模塊連接，用以根據所述應答場景操作指令中的操作流程和對應的場景方位信息生成特定的場景引導信息，根據所述場景引導信息匹配引導參數，並根據所述引導參數引導所述控制所述執行機構移動。
6.進一步地，所述ar場景識別模塊，還用於根據所述場景方位信息生成操作任務完成指令，將所述操作任務完成指令發送至ar指導模塊；所述ar指導模塊，還用於在接收到所述操作任務完成指令時，生成下一步操作指
令或恢復原點指令以使所述執行機構恢復工作；所述ar場景識別模塊根據所述場景方位信息判斷是否處於預設位置，當判斷處於預設位置時，則生成操作任務完成指令。
7.進一步地，所述ar運動引導模塊包括控制機構運動路徑規劃單元和操作單元；所述控制機構運動路徑規劃單元，用於根據所述操作指令獲取工藝信息，根據所述場景方位信息和工藝信息生成初始操作路徑；所述操作單元，其與所述控制機構運動路徑規劃單元連接，用於獲取輔助機構傳感器信息，根據所述輔助機構傳感器信息和初始操作路徑判斷下一步操作是否符合標準，在判定符合標準時，生成目標操作路徑；所述控制機構運動路徑規劃單元，還用於根據所述初始操作路徑和目標操作路徑生成操作引導路徑信息，根據所述操作引導路徑信息確定控制機構運動參數。
8.本發明提供的一種基於ar技術的機械裝配輔助引導系統，還包括：動作評估模塊；所述動作評估模塊在所述執行機構的移動任務達到預設方位或者移動任務達到預設距離時，生成安全操作指令；所述ar協作模塊接收所述安全操作指令並根據安全操作指令控制所述執行機構切換至預設安全姿態。
9.進一步地，所述ar協作模塊在根據所述安全操作指令控制所述執行機構切換至預設安全姿態時，ar協作模塊判斷所述執行機構中是否存在未抓取物料，在所述執行機構中存在未抓取物料時，ar協作模塊控制所述執行機構將所述未抓取物料存放至預設物料裝載區域，ar協作模塊根據所述安全操作指令控制執行機構切換至預設安全姿態。
10.進一步地，所述目標場景信息為待操作目標的信息，通過視覺檢測模塊獲取場景圖像信息，根據人員的身份信息鎖定所述場景圖像信息中的待操作目標，並通過視覺傳感器和距離檢測模塊得到待操作目標距離並生成待操作目標相對於ar協同平臺的坐標信息；所述場景方位信息為待操作目標的位置信息，所述位置信息為根據所述坐標信息生成。
11.進一步地，所述ar場景識別模塊在根據所述目標場景信息得到場景方位信息時，根據場景方位信息的坐標信息判斷待操作目標的是否處於預設操作範圍內，若判定待操作目標的處於預設操作範圍內，則根據場景方位信息生成操作指令，若判定待操作目標的未處於預設操作範圍內，則生成警示信息。
12.本發明另一方面還提供一種基於ar技術的機械裝配輔助引導方法，該方法包括：獲取目標場景信息，並根據所述目標場景信息得到場景方位信息，根據所述場景方位信息生成操作指令；根據所述操作指令匹配對應的操作工藝，並控制執行機構執行開始工作或暫停工作；根據所述操作指令和對應的操作工藝以生成所述場景方位信息的特定的操作流程，其中，所述操作流程為根據所述操作指令的指令序號按順序將操作指令中的指令信息與對應的操作工藝進行排序，將排序後的指令信息和對應的操作工藝與所述場景方位信息進行關聯，根據所述操作流程生成應答場景操作指令；根據所述應答場景操作指令中的操作流程和對應的場景方位信息生成特定的場
景引導信息，根據所述場景引導信息匹配引導參數，並根據所述引導參數引導所述控制所述執行機構移動。
13.進一步地，在所述執行機構的移動任務達到預設方位或者移動任務達到預設距離時，生成安全操作指令；接收所述安全操作指令並根據安全操作指令控制所述執行機構切換至預設安全姿態。
14.進一步地，在根據所述安全操作指令控制所述執行機構切換至預設安全姿態時，判斷所述執行機構中是否存在未抓取物料，在所述執行機構中存在未抓取物料時，控制所述執行機構將所述未抓取物料存放至預設物料裝載區域，根據所述安全操作指令控制執行機構切換至預設安全姿態。
15.與現有技術相比，本發明的有益效果在於，實現於一種協作機器人與增強現實一體化集成的一種模塊化ar協作平臺，該ar協作平臺從結構上採用了ar+協作機器人+輔助機構的結構，做到基於 5g 實時性和高速性的雲服務端一體化控制，將原有協作機器人和輔助機構獨立工控機從物理形式上去除，其計算能力和部署能力可以上升至雲端也可以進行本地運算，通過雲端計算輕量化場景負載，減少集成難度，讓ar協作平臺有了更廣闊的應用範疇。其中，本實施例主要應用於協作機器人與生產人員協同工作的過程中，由於生產地點並不是一成不變的，有可能隨著工藝流程改變發生生產位置的轉移，這時候如果操作人員進行轉移而機器人無法轉移則意味著生產的中斷，因此本實施例提出一種增強現實與協作場景相結合的場景識別與定位系統，實現協作場景與生產工藝跟著生產人員進行轉移以根據不同場景生成對應的操作和參數，提高了機械裝配的拓展性和適配性，同時提高生產效率。
16.尤其，通過ar動作評估模塊即為判定移動任務是複雜操作移動還是簡單操作移動的工作模塊，其中，在簡單操作移動的場景中，為了實現人機協同無縫生產，需要將執行機構保持原有狀態以提高生產效率，但在複雜操作移動的場景中，執行機構一直處於舒展狀態或者工作狀態可能產生碰撞風險，同時，物料也有掉落風險，因此在進行複雜操作移動時自動將執行機構進行收縮，有利於提高複合機器人的穩定性，例如在上下料時減少複合機器人的傾倒風險，減小碰撞面積，在即使空間狹小時也不會有碰撞風險。
17.尤其，通過所述ar動作評估模塊在移動任務達到預設方位或者移動任務達到預設距離時，生成下一步安全操作指令，將所述安全操作指令發送至運動到ar協作模塊，所述ar協作模塊在接收到所述安全操作指令時，根據所述安全操作指令控制執行機構切換至預設安全姿態，通過上述方式，實現了對操作任務的判斷，以在簡單操作移動時保證人機協同，無縫配合生產人員生產工作，進而提高ar協同平臺的機械裝配的拓展性和適配性以及工作效率，而在複雜操作移動時提高協作機器人的安全性，降低碰撞和物料掉落的風險。
附圖說明
18.圖1為本發明實施例提供的基於ar技術的機械裝配輔助引導系統的結構示意圖；圖2為本發明實施例提供的ar運動引導模塊的結構示意圖；圖3為本發明實施例提供的一種基於ar技術的機械裝配輔助引導方法的流程示意圖。
具體實施方式
19.為了使本發明的目的和優點更加清楚明白，下面結合實施例對本發明作進一步描述；應當理解，此處所描述的具體實施例僅僅用於解釋本發明，並不用於限定本發明。
20.下面參照附圖來描述本發明的優選實施方式。本領域技術人員應當理解的是，這些實施方式僅僅用於解釋本發明的技術原理，並非在限制本發明的保護範圍。
21.需要說明的是，在本發明的描述中，術語「上」、「下」、「左」、「右」、「內」、「外」等指示的方向或位置關係的術語是基於附圖所示的方向或位置關係，這僅僅是為了便於描述，而不是指示或暗示所述裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。
22.此外，還需要說明的是，在本發明的描述中，除非另有明確的規定和限定，術語「安裝」、「相連」、「連接」應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對於本領域技術人員而言，可根據具體情況理解上述術語在本發明中的具體含義。
23.請參閱圖1所示，本發明實施例提供的一種基於ar技術的機械裝配輔助引導系統，該系統包括：ar場景識別模塊110，用於獲取目標場景信息，並根據所述目標場景信息得到場景方位信息，根據所述場景方位信息生成操作指令；ar指導模塊120，其與所述ar場景識別模塊連接，用以根據所述操作指令匹配對應的操作工藝，並控制執行機構執行開始工作或暫停工作；ar協作模塊130，其與所述ar指導模塊連接，用以根據所述操作指令和對應的操作工藝以生成所述場景方位信息的特定的操作流程，其中，所述操作流程為根據所述操作指令的指令序號按順序將操作指令中的指令信息與對應的操作工藝進行排序，將排序後的指令信息和對應的操作工藝與所述場景方位信息進行關聯，根據所述操作流程生成應答場景操作指令；ar運動引導模塊140，其與所述ar協作模塊連接，用以根據所述應答場景操作指令中的操作流程和對應的場景方位信息生成特定的場景引導信息，根據所述場景引導信息匹配引導參數，並根據所述引導參數引導所述控制所述執行機構移動。
24.具體而言，本發明實施例實現於一種協作機器人與增強現實一體化集成的一種模塊化ar協作平臺，該ar協作平臺從結構上採用了ar+協作機器人+輔助機構的結構，做到基於 5g 實時性和高速性的雲服務端一體化控制，將原有協作機器人和輔助機構獨立工控機從物理形式上去除，其計算能力和部署能力可以上升至雲端也可以進行本地運算，通過雲端計算輕量化場景負載，減少集成難度，讓ar協作平臺有了更廣闊的應用範疇。其中，本實施例主要應用於協作機器人與生產人員協同工作的過程中，由於生產地點並不是一成不變的，有可能隨著工藝流程改變發生生產位置的轉移，這時候如果操作人員進行轉移而機器人無法轉移則意味著生產的中斷，因此本實施例提出一種增強現實與協作場景相結合的場景識別與定位系統，實現協作場景與生產工藝跟著生產人員進行轉移以根據不同場景生成對應的操作和參數，提高了機械裝配的拓展性和適配性，同時提高生產效率。
25.具體而言，所述ar場景識別模塊即為視覺檢測模塊以及相關3d建模模塊集成的ar
場景識別模塊，所述視覺檢測模塊可以為採集圖像的高幀數照相機、單目攝像機、雙目攝像機或者多種攝像設備相結合的圖像採集單元，ar場景識別模塊用於識別待操作場景目標，所述待操作場景目標主要為協同工作的技術人員以及技術人員所處的操作場景，通過場景檢測結合身份驗證以及3d建模比對可以鎖定待操作場景目標；所述ar指導模塊是控制機構和操作工藝信息匹配的樞紐，ar指導模塊根據所述場景方位信息和操作指令，將操作指令下發至對應的控制機構以匹配相應的操作工藝，並指導控制引導機構執行開始或暫停工作；所述ar協作模塊即為控制協作機器人執行機構的控制系統，其所控制的執行機構即為進行人機協同的機械結構，例如：機器手臂、刀具、夾具、輔助機構以及傳感器等等，本實施例對執行機構的表現形式不加以限定。例如：結合調度系統、生產管理執行系統等信息系統的指令，ar協同平臺與信息系統結合運作。調度人員通過系統，或者交互性動畫向協作機器人或者輔助機構下達指令後，協作機器人配合輔助機構，可自動抓取貨物，並執行協同操作。
26.其中，所述目標場景信息即為待操作目標的信息，所述目標場景信息可以通過ar協同平臺自帶的視覺檢測模塊獲取環境圖像信息，根據目標檢測結合技術人員的身份信息鎖定待操作目標，進而通過視覺傳感器融合距離檢測模塊得到較為精確的目標距離並生成相對於ar協同平臺坐標信息，距離檢測模塊可以為超聲波測距儀，也可以為雷射雷達，本實施例對此不加以限定。
27.具體而言，所述ar場景識別模塊在根據所述目標場景信息得到場景方位信息時，根據場景方位信息的坐標信息判斷待操作目標的是否處於預設操作範圍內，若判定待操作目標的處於預設操作範圍內，則根據場景方位信息生成操作指令，若判定待操作目標的未處於預設操作範圍內，則生成警示信息；其中，所述場景方位信息即為待操作目標的位置信息，所述位置信息為待操作目標與ar協同平臺的相對位置，保證ar協同平臺與待操作目標始終保持一個較短的安全距離，讓ar協同平臺能夠隨時重新進入工作狀態，由於兩者之間的距離會不同，在超出安全距離時，則ar協同平臺不能進行安全工作，則需要進行警示，以提高安全性。
28.具體而言，所述ar場景識別模塊，還用於根據所述場景方位信息生成操作任務完成指令，將所述操作任務完成指令發送至ar指導模塊；所述ar指導模塊，還用於在接收到所述操作任務完成指令時，生成下一步操作指令或恢復原點指令以使所述執行機構恢復工作；所述ar場景識別模塊根據所述場景方位信息判斷是否處於預設位置，當判斷處於預設位置時，則生成操作任務完成指令。
29.具體而言，所述ar協作模塊在接收到操作指令時，生成恢復原點指令，以使執行機構恢復原點工作，由於在移動操作過程中執行機構持續工作時非常容易造成物料掉落或者碰撞危險的，因此在執行操作指令時需要ar協作模塊暫停執行機構的工作。
30.具體而言，所述ar運動引導模塊在獲取應答場景操作指令信息時，協作機器人不能直接跟隨生產人員移動，這是因為有很多場景下，人是可以隨意變換操作場景的，而協作機器人需要找到一條適合運行的軌跡進行操作，例如：出現人員臨時離崗或技術員換崗的場景下，人可以隨意變換操作場景，但協作機器人如果直接跟隨人員變換場景就非常容易
出現工藝混亂和流程不連續的情況，因此需要結合當前位置、生產人員的位置和生產環境中的工藝信息自行規劃運行軌跡，需生成特定的場景引導信息並確定引導參數以引導控制機構移動。
31.其中，ar運動引導模塊可以集成於本地系統中，也可以存在於雲端伺服器中，本實施例提出一種優選方案，例如：ar協同平臺主要需要從物理構建、通信邏輯和場景應用及展示等方面，實現一對多（雲端伺服器對多個應用場景）的控制邏輯和整體軟硬體架構，達到邊端輕量化，去工控化，柔性化雲邊協同等效果。整體技術架構軟硬體分為三層，搭建本地化雲伺服器及系統環境搭建，實現協作機器人自主引導、智能識別複雜算法；基於 5g 網絡的技術特點，採用 5g 終端模塊化網關，搭建大數據、低時延的端到端通信應用，且滿足 5g 靈活切換，即插即用的技術條件；傳感、數採和微計算等硬體集成主要分布在協作機器人執行端，主要用於支持安全保障和傳感執行功能。做到基於 5g 實時性和高速性的雲服務端一體化控制。因此，將ar運動引導模塊中軌跡規劃的部分以及其他運算模塊設置在雲端可以將原有協作機器人和輔助機構獨立工控機從物理形式上去除，其計算能力和部署能力上升至雲端，通過雲端計算輕量化場景負載，減少集成難度。
32.可以理解的是，通過 5g 通信可以讓雲邊協同更加快速，如果將ar運動引導模塊設置在雲端通過雲端的ar運動引導模塊進行運算將控制電機運動的參數傳輸回本地，以保障符合機器人的實時操作。
33.請參閱圖2所示，所述ar運動引導模塊包括控制機構運動路徑規劃單元141和操作單元142；所述控制機構運動路徑規劃單元，用於根據所述操作指令獲取工藝信息，根據所述場景方位信息和工藝信息生成初始操作路徑；所述操作單元，其與所述控制機構運動路徑規劃單元連接，用於獲取輔助機構傳感器信息，根據所述輔助機構傳感器信息和初始跟操作徑判斷下一步操作是否符合標準，在判定符合標準時，生成目標操作路徑；所述控制機構運動路徑規劃單元，還用於根據所述初始操作路徑和目標操作路徑生成操作引導路徑信息，根據所述操作引導路徑信息確定控制機構運動參數。
34.具體而言，本發明實施例提供的一種基於ar技術的機械裝配輔助引導系統，該系統還包括：動作評估模塊150；所述動作評估模塊在所述執行機構的移動任務達到預設方位或者移動任務達到預設距離時，生成安全操作指令；所述ar協作模塊接收所述安全操作指令並根據安全操作指令控制所述執行機構切換至預設安全姿態。
35.具體而言，ar動作評估模塊即為判定移動任務是複雜操作移動還是簡單操作移動的工作模塊，其中，在簡單操作移動的場景中，為了實現人機協同無縫生產，需要將執行機構保持原有狀態以提高生產效率，但在複雜操作移動的場景中，執行機構一直處於舒展狀態或者工作狀態可能產生碰撞風險，同時，物料也有掉落風險，因此在進行複雜操作移動時自動將執行機構進行收縮，有利於提高複合機器人的穩定性，例如在上下料時減少複合機器人的傾倒風險，減小碰撞面積，在即使空間狹小時也不會有碰撞風險。是否複雜操作移動的判斷標準可以根據預先設置好的工藝或者場景進行判斷，當工藝涉及某些步驟或者場景
識別信息確定了相應工藝流程時認定為複雜操作移動。
36.具體而言，所述預設安全姿態為預先設定好的較為安全的執行機構姿態，例如：當執行機構為六軸機械手臂時，將機械手自動摺疊收縮至工作檯面以增加操作時的安全性。
37.具體而言，所述ar協作模塊在接收到所述安全操作指令時，根據所述安全操作指令控制執行機構切換至預設安全姿態，包括：ar協作模塊在接收到所述安全操作指令時，判斷所述執行機構中是否存在未抓取物料，在所述執行機構中存在未抓取物料時，控制所述執行機構將所述未抓取物料存放至預設物料裝載區域，根據所述安全操作指令控制執行機構切換至預設安全姿態。
38.具體而言，在生產過程中，可能操作時機械手臂或者工作檯上還存放有工作時的物料，在複雜操作移動工程中可能有跌落風險，例如：在上料時在符合機器人的工作檯上未固定的物料即容易滾落，因此可以將物料存放至預設物料裝載區域，例如：將物料都存放至複合機器人工作檯上的物料盤或者物料盒中以避免物料滾落。在安置好物料後，再將執行機構切換至預設安全姿態。
39.具體而言，本發明實施例通過所述ar動作評估模塊在移動任務達到預設方位或者移動任務達到預設距離時，生成下一步安全操作指令，將所述安全操作指令發送至運動到ar協作模塊，所述ar協作模塊在接收到所述安全操作指令時，根據所述安全操作指令控制執行機構切換至預設安全姿態，通過上述方式，實現了對操作任務的判斷，以在簡單操作移動時保證人機協同，無縫配合生產人員生產工作，進而提高ar協同平臺的機械裝配的拓展性和適配性以及工作效率，而在複雜操作移動時提高協作機器人的安全性，降低碰撞和物料掉落的風險。
40.請參閱圖3所示，本發明實施例提供的一種基於ar技術的機械裝配輔助引導方法，該方法包括：步驟s210，獲取目標場景信息，並根據所述目標場景信息得到場景方位信息，根據所述場景方位信息生成操作指令；步驟s220，根據所述操作指令匹配對應的操作工藝，並控制執行機構執行開始工作或暫停工作；步驟s230，根據所述操作指令和對應的操作工藝以生成所述場景方位信息的特定的操作流程，其中，所述操作流程為根據所述操作指令的指令序號按順序將操作指令中的指令信息與對應的操作工藝進行排序，將排序後的指令信息和對應的操作工藝與所述場景方位信息進行關聯，根據所述操作流程生成應答場景操作指令；步驟s240，根據所述應答場景操作指令中的操作流程和對應的場景方位信息生成特定的場景引導信息，根據所述場景引導信息匹配引導參數，並根據所述引導參數引導所述控制所述執行機構移動。
41.具體而言，本發明實施例實現於一種協作機器人與增強現實一體化集成的一種模塊化ar協作平臺，該ar協作平臺從結構上採用了ar+協作機器人+輔助機構的結構，做到基於 5g 實時性和高速性的雲服務端一體化控制，將原有協作機器人和輔助機構獨立工控機從物理形式上去除，其計算能力和部署能力可以上升至雲端也可以進行本地運算，通過雲端計算輕量化場景負載，減少集成難度，讓ar協作平臺有了更廣闊的應用範疇。其中，本實施例主要應用於協作機器人與生產人員協同工作的過程中，由於生產地點並不是一成不變
的，有可能隨著工藝流程改變發生生產位置的轉移，這時候如果操作人員進行轉移而機器人無法轉移則意味著生產的中斷，因此本實施例提出一種增強現實與協作場景相結合的場景識別與定位系統，實現協作場景與生產工藝跟著生產人員進行轉移以根據不同場景生成對應的操作和參數，提高了機械裝配的拓展性和適配性，同時提高生產效率。
42.具體而言，本發明實施例提供的一種基於ar技術的機械裝配輔助引導方法，該方法還包括：在所述執行機構的移動任務達到預設方位或者移動任務達到預設距離時，生成安全操作指令；接收所述安全操作指令並根據安全操作指令控制所述執行機構切換至預設安全姿態。
43.具體而言，在根據所述安全操作指令控制所述執行機構切換至預設安全姿態時，判斷所述執行機構中是否存在未抓取物料，在所述執行機構中存在未抓取物料時，控制所述執行機構將所述未抓取物料存放至預設物料裝載區域，根據所述安全操作指令控制執行機構切換至預設安全姿態。
44.至此，已經結合附圖所示的優選實施方式描述了本發明的技術方案，但是，本領域技術人員容易理解的是，本發明的保護範圍顯然不局限於這些具體實施方式。在不偏離本發明的原理的前提下，本領域技術人員可以對相關技術特徵做出等同的更改或替換，這些更改或替換之後的技術方案都將落入本發明的保護範圍之內。
45.以上所述僅為本發明的優選實施例，並不用於限制本發明；對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。