一種基於多傳感器信息融合的帶電作業機器人自主作業方法與流程
2023-07-27 01:00:31
本發明屬於電力技術領域，具體涉及一種基於多傳感器信息融合的帶電作業機器人自主作業方法。
背景技術：
隨著國民經濟的發展，技術的進步，以及人們對生活質量的要求越來越高，客戶對用電質量、服務的要求也越來越高，停電不但會給企業造成巨大經濟損失，也給人們的日常生活帶來很多不便。為了保持設備良好的運行狀況，常常需要作業人員進行人工帶電維護檢修作業，但這種帶電作業方式需要作業人員長時間處於高強度高危險的環境中，不僅給作業人員人身安全帶來風險，而且會使作業效率低下。將帶電作業機器人引入到電力產業中，代替人工進行電力維護檢修工作，可以有效避免帶電作業時人員傷亡事故的發生，並且能極大提高電力維護檢修的作業效率。
採用該方式進行帶電作業，機器人可以通過視覺系統採集並反饋的工作環境信息，自主完成作業。然而，在帶電作業現場，環境較為複雜，設備器具較多，不易與背景環境區分，單一採用視覺方式難以對作業環境和目標進行全方位高精度的測量。例如山東電力研究院發明的專利號201310033112的「一種用於高壓帶電作業機器人的視覺系統及工作方法」，該發明採用在左右機械臂上安裝雙目立體相機實現對目標位置和姿態的識別和測量，採用立體攝像機使圖像具有立體視覺效果，並在機械臂前側和後側分別安裝CCD相機以便對機器人作業進行監控。該發明雖然能在一定程度上對工作環境及目標進行識別和測量，但並不能處理複雜環境中的測量問題，也無法在機械臂防碰撞保護方面提供很好的監控。由此可見，採用單一視覺方式雖然能獲得較為完整的環境信息，但圖像信息量過大，難以用高效的算法對圖像去除幹擾成分，提取有用信息，這些會造成帶電作業機器人自主作業的困難。
技術實現要素：
本發明提出一種基於多傳感器信息融合的帶電作業機器人自主作業方法，不僅能獲得作業目標、機械臂與作業目標之間關係的信息，而且能獲取機械臂之間關係的信息，從而能更方便對機械臂與目標之間和機械臂之間的碰撞進行監測和保護。
為了解決上述技術問題，本發明提供一種基於多傳感器信息融合的帶電作業機器人自主作業方法，帶電作業機器人包括作業系統和監控系統；所述作業系統包括設置在帶電作業機器人平臺上的第一機械臂、第二機械臂、輔助機械臂、機械臂專用工具箱和第一工控機；所述監控系統包括雙目攝像頭、全景攝像頭、深度傳感器和第二工控機和顯示器；第一機械臂、第二機械臂和輔助機械臂末端均安裝有雙目攝像頭；全景攝像頭用於監控作業場景；深度傳感器為多個，用於獲取作業場景深度圖像信息；第二工控機和顯示器安裝在絕緣鬥臂車上；自主作業過程為：
步驟101，全景攝像頭拍攝包括帶電作業機器人平臺的在內的全景圖像，通過第二工控機送顯示器顯示，操作人員通過查看全景圖像將帶電作業機器人平臺送入作業區域；
步驟102，第一工控機控制第一機械臂和第二機械臂進入初始工作姿態，並確保第一機械臂和第二機械臂上的雙目攝像頭能拍攝到包含作業目標的雙目圖像；隨後控制輔助機械臂進入初始工作姿態，確保輔助機械臂上的雙目攝像頭能拍攝到包含作業目標、第一機械臂和第二機械臂的雙目圖像；
步驟103，三個雙目攝像頭將拍攝的雙目圖像數據傳送給第二工控機，第二工控機對所述雙目圖像進行處理，以識別出作業目標並判斷作業任務類別；
步驟104，第二工控機根據作業目標和作業類別判斷作業任務重是否是需要使用專用工具箱中的工具，若果需要獲取工具，則通過第一工控機控制第一機械臂和第二機械臂分別從專用工具箱中獲取工具，然後進行步驟5，如果不需要獲取工具，則直接進行步驟105；
步驟105，第二工控機根據第一機械臂和第二機械臂的位置以及作業任務規劃出機械臂空間運動路徑，並發送給第一工控機；
步驟106，第一工控機根據機械臂空間運動路徑控制第一機械臂和第二機械臂運動完成相應作業任務；在第一機械臂和第二機械臂進行作業過程中，第二工控機根據深度傳感器獲得的深度信息判斷判斷各機械臂之間以及各機械臂與周圍物體之間是否會發生碰撞，若是，則返回步驟5重新進行械臂空間運動路徑規劃；若否，則繼續進行作業任務直至完成作業任務。
進一步，帶電作業機器人包括四個深度傳感器，分別從帶電作業機器人平臺的上方、前方以及左右兩側獲取作業區域深度圖像；第二工控機根據深度傳感器獲得的深度信息判斷判斷各機械臂之間以及各機械臂與周圍物體之間是否會發生碰撞的方法為：
步驟201，對全景攝像頭拍攝的作業場景全景圖像進行處理將各機械臂與作業環境分離，即分離背景與機械臂，獲取各機械臂像素點位置信息；
步驟202，將作業場景全景圖像與四隻深度傳感器獲得的作業區域深度圖像進行信息匹配，即將全景圖像中的像素點與深度圖像中的像素點進行匹配，獲得空間中實際該點的三維坐標，從而獲取作業現場三維點雲並得到各機械臂位置的點雲，將第一機械臂、第二機械臂和輔助機械臂點雲分別記為第一點雲區、第二點雲區和輔助點雲區；
步驟203，計算各機械臂點雲上各點與作業環境點雲上各點之間的距離，若該距離小於閾值，則認為機械臂將要與環境物體碰撞；計算第一點雲區、第二點雲區和輔助點雲區上相互兩點間的距離，若該距離小於閾值，則認為機械臂之間將要發生碰撞。
進一步，第二工控機對雙目圖像進行預處理，剔除幹擾和噪聲；然後提取出作業目標，將作業目標與模型庫中的目標模型進行匹配，以判斷出作業任務類別。
本發明與現有技術相比，其顯著優點在於：
（1）本發明採用深度傳感器與視覺系統信息融合的方式，不僅能獲得作業目標、機械臂與作業目標之間關係的信息，而且能獲取機械臂之間關係的信息，從而能更方便對機械臂與目標之間和機械臂之間的碰撞進行監測和保護；
（2）本發明在輔助機械臂腕部安裝一組雙目攝像頭，可以通過靈活的輔助機械臂伸至目標設備的側面或背面，對正面視覺的死角進行觀測，使得帶電作業更容易完成。
附圖說明
圖1為本發明基於多傳感器信息融合的帶電作業機器人結構示意圖；
圖2為本發明基於多傳感器信息融合的帶電作業機器人自主作業流程圖。
具體實施方式
容易理解，依據本發明的技術方案，在不變更本發明的實質精神的情況下，本領域的一般技術人員可以想像出本發明基於多傳感器信息融合的帶電作業機器人自主作業方法的多種實施方式。因此，以下具體實施方式和附圖僅是對本發明的技術方案的示例性說明，而不應當視為本發明的全部或者視為對本發明技術方案的限制或限定。
結合附圖，基於多傳感器信息融合的帶電作業機器人，其硬體組成主要包括作業系統和監控系統。
所述作業系統包括第一機械臂43、第二機械臂44、輔助機械臂42、機械臂專用工具箱47和第一工控機48。第一機械臂43、第二機械臂44和輔助機械臂42均安裝於絕緣鬥中，第一機械臂43和第二機械臂44安裝於絕緣鬥前部，為系統主要操作手；輔助機械臂42安裝於左、右機械臂中間，主要用於輔助作業和輔助監控；機械臂專用工具箱47裝有便於視覺和傳感器識別的工具，方便作業過程中對作業工具進行更換；第一工控機48主要用於控制三個機械臂運動。
所述監控系統包括三組雙目攝像頭45、一隻全景攝像頭41、四隻深度傳感器和第二工控機。在三隻機械臂的腕部分別安裝一組雙目攝像頭45；在機械臂專用工具箱47後安裝支架，並在支架末端安裝全景攝像頭41和第二深度傳感器411；在機械臂專用工具箱47左右兩側分別安裝第三深度傳感器412和第四深度傳感器413；在機械臂前方的絕緣鬥邊緣安裝支架，並在支架末端安裝第一深度傳感器414 ；第二工控機安裝有圖像處理器，用於對各攝像頭圖像和深度傳感器信息進行處理和融合。
雙目攝像頭45均採用兩隻高清CCD攝像頭組合而成，分別安裝於三個機械臂腕部，第一機械臂43和第二機械臂44上的雙目攝像頭主要用於作業目標的識別、跟蹤及定位，輔助機械臂42上的雙目攝像頭主要用於輔助監控。每個CCD攝像頭均通過RJ45與第二工控機相連。
所述全景攝像頭41採用高清全景攝像頭，用於對整個作業區域進行監控，其通過RJ45與第二工控機相連。
所述深度傳感器採用3D結構光深度傳感器，用來採集作業場景深度數據，其所獲圖像為帶有深度信息的灰度圖，通過分析深度信息可以獲得機械臂姿態信息和作業環境物體相對位置，從而能實現機械臂的協調控制。其中，第一深度傳感器410從三隻機械臂前下方拍攝深度圖像；第二深度傳感器411從三隻機械臂後方拍攝深度圖像；第三深度傳感器412、第四深度傳感器413分別從三隻機械臂左後方和右後方拍攝深度圖像。深度傳感器通過USB與第二工控機相連。
基於多傳感器信息融合的帶電作業機器人自主作業過程為：
步驟1，調節帶電作業機器人平臺4的位置；
步驟2，通過全景攝像頭41拍攝包括帶電作業機器人平臺4的全景環境圖像，將圖像傳入第二工控機中進行處理，判斷機器人平臺是否進入合適的作業區域，若是，則執行步驟3；若否，返回步驟1；
所述判斷機器人平臺是否進入合適的作業區域的方法是通過分析全景攝像頭41拍攝圖像，得到作業區域與機械臂區域的相對高度差，當高度差小於一定閾值，則機器人平臺已進入合適區域，否則繼續調節帶電作業機器人平臺位置；
步驟3，通過第一工控機48控制三隻機械臂，初始化三隻機械臂位置；
所述初始化三隻機械臂位置是指分別用第一工控機48控制第一機械臂43和第二機械臂44使兩隻機械臂進入初始工作姿態，並確保兩隻機械臂上的雙目攝像頭45能拍攝到包含工作目標的圖像；接著控制輔助機械臂42進入初始工作姿態，確保該機械臂上的雙目攝像頭45能拍攝到包含工作目標、第一機械臂43和第二機械臂44的圖像，並能夠在後續動作中方便輔助帶電作業；
步驟4，通過機械臂上的雙目攝像頭45拍攝作業目標圖像，將圖像傳入第二工控機中進行處理，識別設備並判斷作業種類；其具體步驟為：
步驟4-1，獲取包含作業目標的圖像，傳入第二工控機；
步驟4-2，對圖像進行預處理，剔除幹擾和噪聲；
步驟4-3，對作業目標進行提取，自動與模型庫中的設備模型進行匹配，判斷作業目標的設備類型，並判斷作業種類；
步驟4-4，將得到的作業種類信息通過光纖通信傳輸給第一工控機48；
步驟5，判斷是否獲要取工具，若是，則第一工控機48控制第一機械臂43和第二機械臂44分別從機械臂專用工具箱47獲取工具，若否，則執行步驟6；所述自動獲取工具步驟如下：
步驟5-1，第一工控機48控制第一機械臂43和第二機械臂44轉至後方工具抓取區域；
步驟5-2，第一工控機48根據步驟4-4獲取的作業種類信息判斷需要使用的工具種類；
步驟5-3，通過兩隻機械臂上的雙目攝像頭45獲取工具圖像，判斷工具種類和位置；
步驟5-4，攝像頭跟蹤工具的位置並引導機械臂獲取工具；
步驟6，對機械臂空間路徑進行規劃；
步驟7，第一工控機48控制第一機械臂43和第二機械臂44進行自主作業動作，輔助機械臂42輔助作業並通過安裝於其上的雙目攝像頭45輔助監控；
步驟8，通過四隻深度傳感器從四個方向獲取整個作業區域深度信息，將圖像傳入第二工控機中進行處理和融合，判斷機械臂之間是否會發生碰撞以及機械臂與環境物體之間是否會發生碰撞，若是，則返回步驟6；若否，則執行步驟9；
所述判斷碰撞採用的方法步驟如下：
步驟8-1，由全景攝像頭41獲取包括帶電作業機器人平臺4的全景環境圖像，對圖像進行預處理；
步驟8-2，將機械臂與背景分離，獲取機械臂像素點位置；
步驟8-3，將全景攝像頭41圖像與四隻深度傳感器獲得的深度圖像信息匹配，即全景攝像頭41圖像中的一個像素點與深度圖像中一個像素點匹配，得到空間中實際該點的三維坐標，從而獲取作業現場三維點雲並得到機械臂位置的點雲，第一機械臂43、第二機械臂44和輔助機械臂42點雲分別記為第一點雲區、第二點雲區、輔助點雲區；
步驟8-4，計算機械臂點雲上各點與作業環境點雲上（除了作業目標點雲）各點距離，若小於閾值，則認為機械臂將要與環境物體碰撞，返回步驟6對機械臂路徑重新規劃；
步驟8-5，計算第一點雲區、第二點雲區和輔助點雲區上相互兩點間的距離，若小於閾值，則認為機械臂之間將要發生碰撞，返回步驟6對機械臂路徑重新規劃；
步驟8-6，若步驟8-4、步驟8-5計算距離均大於閾值，則認為不會發生碰撞，機械臂繼續工作；
步驟9，判斷是否完成作業，若是，則進入結束流程；若否，則返回步驟5。