一種視覺引導下的光學玻璃安裝裝置及安裝方法
2023-05-31 14:38:16
專利名稱:一種視覺引導下的光學玻璃安裝裝置及安裝方法
技術領域：
本發明涉及一種視覺引導下的光學玻璃安裝裝置及安裝方法。
背景技術：
雷射慣性約束核聚變實驗是目前國際上最前沿的研究課題之一，該實驗通過控制雷射的分階段放大，最後形成高能雷射壓縮氘氚靶內爆實現可控核聚變反應。雷射慣性約束核聚變實驗中，大型光學玻璃是放大器工作物質和核心材料，主要用於主雷射系統中，作為功率放大器和多路或主放大器使用。因而，光學玻璃的安裝質量對於雷射系統乃至聚變實驗都至關重要。光學玻璃的質量較重(每塊約50公斤)、造價昂貴，並且要求安裝過程中不能在光學玻璃表面留下痕跡，不能損失光學玻璃的邊緣。
目前國內神光三原型裝置中光學玻璃的安裝方式是人工結合氣動助力裝置通過 兩個技術人員將光學玻璃從工作檯上抬起來，放到助力裝置的支撐夾上，手工操作助力裝置的夾持機構並將其移動到機櫃前方，然後將光學玻璃從支撐夾上取出安放到機柜上。這種方式費時費力、效率低下；並且由於人手與光學玻璃的接觸會造成邊緣毛刺，在表面留下汙潰或表面的瑕疵，從而影響光學玻璃的光學性能，導致光學玻璃在實驗過程中爆裂，從而導致對試驗裝置造成破壞性的損失。
美國國家點火裝置中採用了潔淨型工業機器人安裝裝置在技術人員的操作下，三自由度機械臂從工作檯上抓取光學玻璃，並搬運到機架上，通過人工調整將光學玻璃安裝到機架上。文獻「Assembly and Maintenanceof Full Scale NIF Amplifiers inthe Amplifier Module PrototypeLaboratory(J. A. Horvath, Proc. SPIE Vol. 3492,pp. 601-608), 「Assemblingand Installing LRUs for NIF」(R. E.Bonanno, Proc.SPIEVol. 3492,pp. 137-145)等都報導了採用潔淨型三自由度的機械手，在人工操作機械手完成對大型光學玻璃操作，但是都沒有給出具體的操作流程。這種方式，需要通過人眼觀測光學玻璃位置，然後由技術人員控制機械臂抓取光學玻璃。在這個過程中，大型光學玻璃的調姿對安裝工藝過程複雜，安裝精度由操作人員控制，勞動量大，並且操作人員的疏忽會損壞大型光學玻璃。因而，如何增加工業機器人作業系統的檢測及自主操作功能，使其取代工人完成更多的任務是改進安裝質量、提高生產效率、提高系統安全性的一個關鍵問題。
發明內容
為了解決現有光學玻璃安裝系統在搬運、安裝過程效率低、並非常容易汙染光學玻璃甚至損壞光學元件，無法保證安裝精度，因而本發明的目的是提出一種視覺引導下的光學玻璃安裝方法及安裝裝置。
為達成所述目的，本發明的第一方面是提供一種利用視覺引導下的光學玻璃安裝裝置的光學玻璃安裝方法，該方法包括如下步驟
步驟a :將抓取裝置安裝在工業機器人的末端法蘭上；將上部視覺識別單元的兩個攝像頭安裝在工作檯上方的支架上，並將攝像頭的視頻信號線與控制機櫃連接；將前端視覺定位單元安裝在工業機器人的手臂上，啟動機器人系統；
步驟b :工業機器人通過上部視覺識別單元的兩個攝像頭同時採集工作檯上光學玻璃的圖像；
步驟c :在控制計算機中分別採用兩套獨立的第一識別算法和第二識別算法提取光學玻璃的邊緣輪廓，計算並提取光學玻璃頂點的位置數據信息；如果第一識別算法與第二識別算法的計算結果相近，則認為已經有效識別光學玻璃，則執行步驟山如果第一識別算法與第二識別算法的計算結果相差較大，則返回步驟b，重新採集光學玻璃圖像；
步驟d :根據控制計算機計算得到的光學玻璃中心點的位置數據信息，控制計算機在線規劃工業機器人的運動軌跡，並控制工業機器人末端運動到抓取作業的第一位置，此時前端視覺定位單元與工作檯平行；
步驟e :前端視覺定位單元提取光學玻璃圖像，在控制計算機中採用光學玻璃定位算法對光學玻璃進行定位，獲得光學玻璃在工業機器人坐標系下的坐標；在線規劃工業 機器人的抓取作業軌跡；在運動過程中前端視覺定位單元檢測光學玻璃的位置，實時調整作業軌跡；
步驟f:抓取裝置通過真空吸條吸附光學玻璃的四周邊緣，將光學玻璃搬運到玻璃框架正前方的安全位置，設定玻璃框架的安全位置的安全值，此時光學玻璃與玻璃框架的安裝面平行；
步驟g:前端視覺定位單元提取玻璃框架圖像，在控制計算機中採用玻璃框架定位算法對玻璃框架中心的位置進行定位，根據定位結果，在線規劃工業機器人的安裝作業路徑，將光學玻璃安裝到玻璃框架中。
為達成所述目的，本發明的第二方面是提供一種視覺引導下的光學玻璃安裝裝置，該裝置包括工業機器人、上部視覺識別單元、前端視覺定位單元、抓取裝置、控制機櫃、工作檯和支架，上部視覺識別單元安裝在支架水平端且位於在工作檯上方，支架的水平端平行於工作檯的工作面，用於採集位於工作檯上光學玻璃的圖像並識別得到光學玻璃的粗略位置；前端視覺定位單元安裝在工業機器人的手臂上並位於在工作檯上方，用於採集光學玻璃的圖像，並對光學玻璃精密定位；抓取裝置用於將光學玻璃搬運到玻璃框架上，抓取裝置的真空吸條位於底座的四邊，用於吸附光學玻璃的四周，法蘭與工業機器人手臂端固接；控制機櫃中的控制計算機的數據端與在工業機器人的數據端連接，並由控制計算機提取第一和第二光學玻璃的邊緣輪廓和光學玻璃頂點的位置，在線規劃工業機器人的抓取作業運動軌跡、安裝作業路徑運動軌跡。
其中，所述控制計算機包括灰度圖轉換模塊、圖像縮小模塊、圖像反畸變處理模塊、圖像濾波模塊、圖像分割模塊、圖像放大模塊、邊緣檢測模塊、直線檢測模塊、直線交點計算模塊、圖像微分模塊、角點檢測模塊、直線計算模塊、矩形擬合模塊、中心點計算模塊、坐標變換模塊、空間曲線擬合模塊、抓取作業或安裝作業模塊和識別光學玻璃模塊，其中灰度圖轉換模塊接收具有背景的輸入圖像並生成灰度圖像；圖像反畸變處理模塊與灰度圖轉換模塊連接，接收灰度圖像生成並輸出反畸變處理的灰度圖像；圖像濾波模塊與圖像反畸變處理模塊連接，接收反畸變處理的灰度圖像，生成並輸出濾波的灰度圖像；圖像縮小模塊與圖像濾波模塊連接，接收濾波的灰度圖像，生成並輸出縮小後的圖像；圖像分割模塊與圖像縮小模塊連接，接收縮小後的圖像，生成並輸出光學玻璃圖像；圖像放大模塊與圖像分割模塊連接，接收光學玻璃圖像，生成並輸出放大後的光學玻璃圖像；邊緣檢測模塊、圖像微分模塊和矩形擬合模塊分別與圖像放大模塊連接，接收放大後的光學玻璃圖像，生成並輸出3個邊緣圖像；直線檢測模塊與邊緣檢測模塊連接，接收邊緣圖像，生成並輸出光學玻璃的邊；直線交點計算模塊與直線檢測模塊連接，接收光學玻璃的邊，生成並輸出光學玻璃的頂點；角點檢測模塊與圖像微分模塊連接，接收灰度差值，生成並輸出光學玻璃的頂點；中心點計算模塊與矩形擬合模塊連接，接收玻璃框架矩形，生成並輸出玻璃框架的中心點；坐標變換模塊與中心點計算模塊連接，接收玻璃框架的中心點位置，生成並輸出工業機器人目標位置；空間曲線擬合模塊與坐標變換模塊連接，接收工業機器人目標位置，生成並輸出B樣條曲線；抓取作業或安裝作業模塊與空間曲線擬合模塊連接，接收B樣條曲線，生成並輸出工業機器人關節運動位置；識別光學玻璃模塊分別連接角點檢測模塊和直線計算模塊，接收光學玻璃的頂點和光學玻璃的邊生成並輸出光學玻璃輪廓。
本發明的有益效果在視覺引導下，工業機器人實現對 光學玻璃的識別、定位、吸附和安裝，提高了安裝過程中的可靠性和安全性，提高了生產效率。與美國國家點火裝置中的光學玻璃安裝系統相比，具有以下優點
a).視覺引導下，工業機器人識別、定位大型光學玻璃和機架的位置，在線規劃工業機器人的運動軌跡，與傳統的示教方法相比，提高了工業機器人安裝過程的靈活性。
b).採用冗餘攝像頭及其識別程序對大型光學玻璃進行識別和定位，並對兩個圖像處理程序計算出的結果進行比較，然後在線工業機器人的運動，避免由於圖像模糊、圖像處理算法計算偏差造成對光學玻璃的定位誤差，這種偏差會導致抓取裝置的真空吸條不能接觸到光學玻璃邊緣，使得光學玻璃在搬運過程中脫離。因而提高了基於視覺引導的工業機器人安裝裝置的可靠性和安全性。
c).對工作環境中工作人員的安全提供了保障。與示教方法相比，本發明能夠利用前端的視覺攝像頭監測工作環境中是否有人在工業機器人的運動路徑中，避免了工業機器人對人員的意外傷害。
圖I是本發明視覺引導下基於工業機器人的大型光學玻璃安裝裝置的構成圖；
圖2是本發明實施例中玻璃框架的結構圖；
圖3是本發明實施例中帶有真空吸條的抓取裝置的結構圖；
圖4是本發明實施例中控制機櫃的構成圖；
圖5是本發明控制計算機的結構示意圖；
圖6是本發明視覺引導下基於工業機器人的大型光學玻璃安裝方法的流程圖；
圖7是本發明實施例中第一識別單元的識別處理流程圖；
圖8是本發明實施例中第二識別單元的識別處理流程圖；
圖9是本發明實施例中光學玻璃定位的處理流程圖；
圖10是本發明實施例中玻璃框架定位的處理流程圖；
圖11是本發明實施例中規劃模塊在線規劃工業機器人運動軌跡的流程圖；
圖12是本發明實施例中規劃模塊在線規劃工業機器人的抓取作業軌跡的流程圖；[0032]圖13是本發明實施例中規劃模塊在線規劃工業機器人的安裝作業路徑的流程圖；
圖14為攝像頭的標定算法流程圖。
圖中主要元件說明
工業機器人I上部 視覺識別單元2
前端視覺定位單元3
抓取裝置4真空吸條40
底座41法蘭42
控制機櫃5控制計算機51
圖像採集卡52監視器53
工作檯6支架7
玻璃框架8光學玻璃9
具體實施方式
下面結合附圖對本發明的具體實施進行詳細說明。
如圖I示出視覺引導下基於工業機器人的大型光學玻璃安裝裝置包括工業機器人I、上部視覺識別單元2、前端視覺定位單元3、抓取裝置4、控制機櫃5、工作檯6、支架7、玻璃框架8、光學玻璃9。上部視覺識別單元2安裝在支架7水平端且位於在工作檯6上方，支架7的水平端平行於工作檯6的工作面，用於採集位於工作檯6上光學玻璃9的圖像並識別得到光學玻璃9頂點的粗略位置；前端視覺定位單元3安裝在工業機器人I的手臂上並位於在工作檯6上方，前端視覺定位單元3與工作檯6平行，用於採集光學玻璃9的圖像，並對光學玻璃9精密定位；抓取裝置4用於將光學玻璃9搬運到玻璃框架8上，抓取裝置4的真空吸條40位於底座41的四邊，用於吸附光學玻璃9的四周，法蘭42與工業機器人I手臂端固接；控制機櫃5中的控制計算機51的數據端與在工業機器人I的數據端連接，並由控制計算機51提取光學玻璃9的邊緣輪廓和光學玻璃9的位置，在線規劃工業機器人I的抓取作業運動軌跡、安裝作業路徑運動軌跡。控制計算機51固定在控制機櫃5的下方，控制計算機51中有圖像採集卡52。監視器53固定在控制機櫃5的上方，用於實時顯示上部視覺識別單元2和前端視覺定位單元3中獲取的光學玻璃9邊緣圖像信息，便於操作人員觀測；圖2示出玻璃框架8的結構。光學玻璃9為雷射釹玻璃(規格為長41cmX寬 36cmX 高 IOcm)。
工業機器人I為IRB6640潔淨室型工業機器人，工業機器人為潔淨型串聯機器人或是潔淨型並聯機器人。
上部視覺識別單元2中包括兩個DS-2CZ252P攝像頭或是其他攝像頭，兩個攝像頭同時採集光學玻璃9的圖像。需要標定的攝像頭參數包括攝像頭的內參數(鏡頭的焦距，徑向畸變參數，二維圖像的原點坐標和二維圖像X方向不確定尺度因子)，攝像頭的外參數，即攝像頭的坐標系和物體世界坐標系之間的變換關係(攝像頭坐標系與世界坐標系X軸的夾角，攝像頭坐標系與世界坐標系與I軸的夾角，攝像頭坐標系與世界坐標系與z軸的夾角，攝像頭坐標系與世界坐標系原點沿X方向的平移，攝像頭坐標系與世界坐標系原點沿y方向的平移，攝像頭坐標系與世界坐標系原點沿z方向的平移)。[0047]前端視覺定位單元3包括I個DS-2CZ252P攝像頭或是其他攝像頭。
圖3示出的為帶有真空吸條40的抓取裝置4的結構圖。真空吸條40固定在抓取裝置4的底座41的四周上。抓取裝置4的後端連接法蘭42用於和工業機器人I連接。真空吸條40的四個邊緣與光學玻璃9的四個邊緣接觸時，通過真空吸附力將大型光學玻璃9從工作檯6上吸附起來。
如圖4示出控制機櫃的結構示意圖，圖像採集卡52接受上部視覺識別單元2、前端視覺定位單元3採集的模擬圖像，並轉換為控制計算機51能夠識別的格式。監視器53顯示控制計算機51中的圖像處理算法提取的光學玻璃9的輪廓。圖像採集卡52可以選擇DS-4000HC圖像採集卡或其他圖像採集卡。
如圖5示出控制計算機51的結構示意圖，控制計算機51包括灰度圖轉換模塊511、圖像縮小模塊512、圖像反畸變處理模塊513、圖像濾波模塊514、圖像分割模塊515、圖 像放大模塊516、邊緣檢測模塊517、直線檢測模塊518、直線交點計算模塊519、圖像微分模塊520、角點檢測模塊521、直線計算模塊522、矩形擬合模塊523、中心點計算模塊524、坐標變換模塊525、空間曲線擬合模塊526、抓取作業或安裝作業527和識別光學玻璃模塊528。
由灰度圖轉換模塊511接收具有背景的輸入圖像並生成灰度圖像；圖像反畸變處理模塊513與灰度圖轉換模塊511連接，由圖像反畸變處理模塊513將灰度圖像生成並輸出反畸變處理的灰度圖像；圖像濾波模塊514與圖像反畸變處理模塊513連接，由圖像濾波模塊514將反畸變處理的灰度圖像生成濾波的灰度圖像；圖像縮小模塊512與圖像濾波模塊514連接，由圖像縮小模塊512將濾波的灰度圖像變為縮小後的圖像，並輸出縮小後的圖像；圖像分割模塊515與圖像縮小模塊512連接，圖像分割模塊515將縮小後的圖像變為光學玻璃圖像，並輸出光學玻璃圖像；圖像放大模塊516與圖像分割模塊515連接，圖像放大模塊516將光學玻璃圖像變為放大的光學玻璃圖像，並輸出放大後的光學玻璃圖像；邊緣檢測模塊517、圖像微分模塊520和矩形擬合模塊523分別與圖像放大模塊516連接，邊緣檢測模塊517、圖像微分模塊520和矩形擬合模塊523將放大後的光學玻璃圖像生成並輸出3個邊緣圖像；
直線檢測模塊518與邊緣檢測模塊517連接，接收邊緣圖像，生成並輸出光學玻璃9的邊；
直線交點計算模塊519與直線檢測模塊518連接，接收光學玻璃的邊，生成並輸出光學玻璃的頂點；
角點檢測模塊521與圖像微分模塊520連接，接收灰度差值，生成並輸出光學玻璃的頂點；
中心點計算模塊524與矩形擬合模塊523連接，接收玻璃框架矩形，生成並輸出玻璃框架的中心點；
坐標變換模塊525與中心點計算模塊524連接，接收玻璃框架的中心點位置，生成並輸出工業機器人目標位置；
空間曲線擬合模塊526與坐標變換模塊525連接，接收工業機器人目標位置，生成並輸出B樣條曲線；
抓取作業或安裝作業模塊527與空間曲線擬合模塊526連接，接收B樣條曲線，生成並輸出工業機器人關節運動位置；[0059]識別光學玻璃模塊528分別連接角點檢測模塊521和直線計算模塊522，接收光學玻璃的頂點和光學玻璃的邊生成並輸出光學玻璃輪廓」。
在運動過程中前端視覺定位單元3檢測光學玻璃9的位置，根據矩形擬合模塊523中計算出的光學玻璃的位置調整抓取作業軌跡。
直線檢測模塊518和直線計算模塊522從邊緣圖像中提取光學玻璃9的邊，計算得到光學玻璃9頂點的位置；如果直線交點計算模塊519與角點檢測模塊521的計算光學玻璃9頂點的位置結果相近，則識別光學玻璃模塊528認為已經有效識別並計算得到光學玻璃9的頂點的位置，如果直線交點計算模塊519與角點檢測模塊521的計算光學玻璃9頂點的位置結果不相近，識別光學玻璃模塊528將頂點的位置結果發送給灰度圖轉換模塊511，則重新採集光學玻璃9的圖像。
如圖6示出利用視覺引導下基於工業機器人的大型光學玻璃安裝裝置，實現本發 明基於視覺工業機器人的大型光學玻璃安裝方法流程圖，該方法包括如下步驟
步驟a :將抓取裝置4安裝在工業機器人I的末端法蘭上；將上部視覺識別單元2的兩個攝像頭安裝在工作檯6上方的支架7上，並將攝像頭的視頻信號線與控制機櫃5連接；將前端視覺定位單元3安裝在工業機器人I的手臂上，啟動機器人系統；
步驟b :工業機器人I通過上部視覺識別單元2的兩個攝像頭同時採集工作檯6上光學玻璃9的圖像；
步驟c :在控制機櫃5中的控制計算機51中分別採用兩套獨立的第一識別算法和第二識別算法提取光學玻璃9的邊緣輪廓，計算得到光學玻璃9的位置；如果第一識別算法與第二識別算法的計算結果相近，則認為已經有效識別並計算得到光學玻璃9的位置，則執行步驟d，如果第一識別算法與第二識別算法的計算結果相差較大，則返回步驟b，重新採集光學玻璃9的圖像；
步驟d :根據上部視覺識別單元2得到的光學玻璃9的位置數據信息，控制計算機51在線規劃工業機器人I的運動軌跡，並控制工業機器人I末端運動到光學玻璃9上方，此時前端視覺定位單元3與工作檯6平行；
步驟e :前端視覺定位單元3提取光學玻璃9局部直角輪廓，對光學玻璃9位置進行定位，獲得光學玻璃9在空間中的三維坐標；在線規劃工業機器人I的抓取作業軌跡；在運動過程中前端視覺定位單元3檢測光學玻璃9的位置，實時調整作業軌跡；
步驟f :抓取裝置4通過真空吸條40吸附光學玻璃9的四周邊緣，將光學玻璃9搬運到玻璃框架8正前方的安全位置，設定玻璃框架8的安全位置的安全值，此時光學玻璃9與玻璃框架8的安裝面平行；
步驟g :前端視覺定位單元3提取玻璃框架圖像，在控制計算機51中採用玻璃框架定位算法對玻璃框架8中心的位置進行定位，根據定位結果，在線規劃工業機器人I的安裝作業路徑，將光學玻璃8安裝到玻璃框架8中。
視覺引導下基於工業機器人I的光學玻璃9安裝方法採用上部視覺識別單元2對光學玻璃9進行識別。識別採用兩種算法。
圖7示出第一識別單元的識別流程圖，利用第一識別算法提取光學玻璃頂點的步驟如下
步驟cll :灰度圖轉換模塊511將具有背景的輸入圖像轉換為灰度圖像，圖像反畸變處理模塊513對灰度圖像進行反畸變處理，圖像濾波模塊514對反畸變處理的灰度圖像進行濾波，獲得濾波的灰度圖像；
步驟cl2 :圖像縮小模塊512對濾波的灰度圖像進行縮小處理，將濾波的灰度圖像的解析度由704X576縮小變為320X240，並對縮小後的圖像進行濾波，獲得縮小後的圖像；
步驟cl3 :圖像分割模塊515對縮小後的圖像進行圖像分割操作，從背景中提取出光學玻璃圖像；圖像放大模塊516將光學玻璃圖像放大回原來的解析度，並利用形態學算法運算平滑放大後的光學玻璃圖像；
步驟cl4 :邊緣檢測模塊571利用邊緣檢測算子(Canny)算法 提取放大後的光學玻璃圖像的邊緣；
步驟cl5 :直線檢測模塊518利用霍夫(Hough)直線檢測方法從提取出的邊緣上計算第一光學玻璃的邊；
步驟cl6 :直線交點計算模塊519計算出第一光學玻璃的邊之間的第一光學玻璃頂點的坐標，第一光學玻璃頂點的坐標記為C11、C12、C13和C14。
圖8示出本發明實施例中第二識別單元的識別流程圖，利用第二識別算法提取光學玻璃頂點的步驟如下
步驟c21 :灰度圖轉換模塊511將具有背景的輸入圖像轉換為灰度圖，圖像反畸變處理模塊對灰度圖像進行反畸變處理，圖像濾波模塊514對反畸變處理的灰度圖像進行濾波，得到濾波的灰度圖像；
步驟c22 :圖像微分模塊520對濾波的灰度圖像的每個圖像點計算與該圖像點相鄰的四個圖像點之間的灰度差值；角點檢測模塊521基於灰度差值，利用角點檢測算子檢測第二光學玻璃頂點，第二光學玻璃頂點記為C21、C22、C23和C24 ；
步驟c23 :直線計算模塊522根據計算出的四個角點的位置，選取連接角點的直線為第二光學玻璃的邊。
圖9是本發明實施例中光學玻璃定位的處理流程圖；利用光學玻璃定位算法定位光學玻璃的位置的步驟如下
步驟dl :灰度圖轉換模塊511將具有背景的輸入圖像轉換為灰度圖像，圖像反畸變處理模塊513對灰度圖像進行反畸變處理，圖像濾波模塊514對反畸變處理的灰度圖像進行濾波，獲得濾波的灰度圖；
步驟d2 :圖像分割模塊515對濾波的灰度圖進行圖像分割操作，從背景中提取出光學玻璃圖像；
步驟d3 :利用提取得到的光學玻璃9的圖像的邊緣點，矩形擬合模塊523將邊緣點擬合為光學玻璃矩形，基於擬合出的光學玻璃矩形，計算光學玻璃矩形在前端視覺定位單元3坐標系內的位置；
步驟d4 :坐標變換模塊525將光學玻璃9矩形在前端視覺定位單元3坐標系內的位置轉換為在工業機器人I坐標系下的位置。
圖10是本發明實施例中玻璃框架定位的處理流程圖；利用玻璃框架定位算法定位玻璃框架8的位置的步驟如下
步驟el :灰度圖轉換模塊511將具有背景玻璃框架圖像轉換為灰度圖像，圖像反畸變處理模塊513對灰度圖像進行反畸變處理，圖像濾波模塊514對反畸變處理的灰度圖像進行濾波，獲得濾波的灰度圖像；
步驟e2 :圖像分割模塊515對濾波的灰度圖像進行圖像分割操作，從背景中提取出玻璃框架8的圖像；
步驟e3 :利用提取得到的玻璃框架圖像的邊緣點，矩形擬合模塊523將邊緣點擬合為玻璃框架矩形，基於擬合出的玻璃框架矩形，計算玻璃框架矩形在前端視覺定位單元3坐標系內的位置；
步驟e4 :坐標變換模塊525將玻璃框架矩形在前端視覺定位單元3坐標系內的位置轉換為在工業機器人I的坐標系下的位置。
圖11示出規劃模塊在線規劃工業機器人運動軌跡的流程圖；控制計算機51在線 規劃工業機器人運動軌跡的步驟如下
步驟fl :控制計算機51的數據端從工業機器人I的數據端得到工業機器人I末端當前的位置Pl ;
步驟f2 :控制計算機51中光學玻璃定位算法或玻璃框架定位算法計算得到光學玻璃9或玻璃框架8的位置P2 ；
步驟f3 :控制計算機51中的空間曲線擬合模塊527預先存儲過渡點的位置P3 ；
步驟f4 :控制計算機51中的空間曲線擬合模塊527根據位置Pl、P2和P3的坐標，擬合出空間的非均勻有理B樣條曲線，並將曲線等分為數段區間；
步驟f5 :將多段區間的曲線起點和末點坐標，通過控制計算機51的數據端傳輸到工業機器人I的數據端，控制工業機器人I的各關節運動。
圖12示出規劃模塊在線規劃工業機器人的抓取作業軌跡的流程圖；在線規劃工業機器人I的抓取作業軌跡的步驟如下
步驟gl :中心點計算模塊524由第一識別算法計算得到的光學玻璃的頂點C11-C14計算並得到第一中心點C，由第二識別算法計算得到的光學玻璃的頂點C21-C24計算並得到第二中心點C'，根據第一中心點C和第二中心點C'的坐標的平均值，以及工作檯的安全高度再加上一個安全高度值，計算得到抓取作業的第一位置；
步驟g2 :將抓取作業的第一位置作為工業機器人I的目標位置，根據控制計算機51在線規劃工業機器人運動軌跡的在線規劃工業機器人I的末端的軌跡；工業機器人I的末端按照在線規劃的運動軌跡運動到抓取作業的第一位置，前端視覺定位單元3提取光學玻璃的圖像，利用光學玻璃定位算法計算出光學玻璃9的位置；
步驟g3 :由光學玻璃9的位置，工作檯6的高度，再加上光學玻璃9的厚度，計算得到抓取作業的目標位置；
步驟g4 :將抓取作業的目標位置和目標方位作為工業機器人I的目標位置，根據控制計算機51在線規劃工業機器人I的運動軌跡及在線規劃工業機器人I的末端的軌跡；
步驟g5 :抓取裝置4的四個真空吸條40接觸光學玻璃9的四邊，通過真空吸條40的吸附力將光學玻璃9吸起。
圖13示出規劃模塊在線規劃工業機器人的安裝作業路徑的流程圖；在線規劃工業機器人的安裝作業路徑的步驟如下
步驟hi :前端視覺定位單元3提取玻璃框架8的邊緣，由玻璃框架定位算法計算得到玻璃框架8的位置；
步驟h2 :將玻璃框架8的位置作為工業機器人I的目標位置，根據控制計算機51在線規劃工業機器人I的運動軌跡及在線規劃工業機器人I的末端的軌跡；
步驟h3 :抓取裝置4以I 2度的傾角，將光學玻璃9移到底部的外邊接觸玻璃框架8的內側，然後將調整抓取裝置4的傾角，直至抓取裝置4與玻璃框架8的四邊所在的平面平行；
步驟h4 :抓取裝置4釋放真空吸條40的吸附力，將光學玻璃9放入玻璃框架8內。
採用前端視覺定位單元3對光學玻璃9進行精密定位。首先將具有背景的輸入圖像變換為灰度圖，然後對灰度圖像進行濾波，獲得濾波的灰度圖；接著對濾波的灰度圖進行圖像分割操作，從背景中提取出光學玻璃圖像；從光學玻璃圖像中提取得到的光學玻璃9 的邊緣點，將邊緣點擬合為矩形；基於擬合出的矩形，確定光學玻璃9的位置。
採用前端視覺定位單元3對玻璃框架8進行定位，首先將具有背景玻璃框架的圖像變換為灰度圖，然後對灰度圖像進行濾波，獲得濾波的灰度圖；接著對濾波的灰度圖進行圖像分割操作，從背景中提取出玻璃框架圖像；從玻璃框架圖像中提取得到的玻璃框架8的邊緣點，將邊緣點擬合為矩形；基於擬合出的矩形，確定玻璃框架8的位置。。
進行實際的光學玻璃9輔助安裝作業任務前，根據工作人員設定的特定的軌跡點，由控制計算機51離線編程生成工業機器人I初始運動軌跡，控制工業機器人I運動到位置Home I。
在進行上部視覺識別單元2或前端視覺定位單元3提取光學玻璃9的圖像前，利用標定塊和標定算法對攝像頭進行標定，建立攝像頭坐標系和和工業機器人I坐標之間的轉換關係，採用的方法是基於徑向約束的兩步法標定方法，該方法的第一步是利用最小二乘法解超定線形方程，給出關於攝像頭坐標系與工業機器人I坐標系之間轉換關係的外部參數；第二步求解內部參數，在考慮攝像頭存在徑向畸變的情況下，結合非線性優化的方法獲得關於攝像頭焦距、徑向即便參數和尺度因子的全部參數。
進行實際的光學玻璃9輔助安裝作業任務時，由上部視覺識別單元2提取光學玻璃9的圖像，在控制計算機51中提取光學玻璃9的邊緣輪廓並計算其中心位置，轉換為工業機器人I的目標位置；在線規劃工業機器人I從位置Homel到抓取作業的第一位置的運動軌跡。
在線規劃工業機器人I的運動軌跡採用了空間的非均勻有理B樣條曲線擬合的方法，由三個以上的路徑點規劃出工業機器人I的運動軌跡。
工業機器人I運動到抓取作業的第一位置後，由前端視覺定位單元3提取大型光學玻璃9的圖像，在控制計算機51中計算光學玻璃9的精確位置並轉換為工業機器人I的目標位置；在線規劃工業機器人I從位置抓取作業的第一位置到目標位置的作業軌跡，並在運動過程中前端視覺定位單元3實時提取大型光學玻璃9局部輪廓並計算位置，根據位置實時修正工業機器人I運動軌跡。
抓取裝置4通過真空吸條10吸附光學玻璃9的邊緣，將光學玻璃9搬運到玻璃框架8前方的位置Home3 (玻璃框架的位置加上一個設置的安全距離)，由前端視覺定位單元3提取玻璃框架8的圖像，在控制計算機51中計算玻璃框架8的位置並轉換為工業機器人I的目標位置；在線規劃工業機器人I從位置Home3到玻璃框架8的運動軌跡。[0117]圖14示出所述攝像頭的標定算法流程圖，攝像頭的標定具體步驟如下
步驟A :設定攝像頭的成像模型採用小孔成像模型；
步驟B :確定攝像頭坐標系與世界坐標系的關係，標定塊與攝像頭成像平面的夾角約30度；
步驟C :測量標定塊上方塊之間在世界坐標系下的坐標；
步驟D :檢測標定塊上角點的圖像坐標；
步驟E :根據角點的世界坐標和圖像坐標的關係，求取攝像頭的內部參數和外部參數。
以上所述，僅為本發明中的具體實施方式
，但本發明的保護範圍並不局限於此，任何熟悉該技術的人在本發明所揭露的技術範圍內，可理解想到的變換或替換，都應涵蓋在本發明的包含範圍之內。
權利要求
1.一種利用視覺引導下的光學玻璃安裝裝置的光學玻璃安裝方法，其特徵在於，該方法包括如下步驟 步驟a :將抓取裝置安裝在工業機器人的末端法蘭上；將上部視覺識別單元的兩個攝像頭安裝在工作檯上方的支架上，並將攝像頭的視頻信號線與控制機櫃連接；將前端視覺定位單元安裝在工業機器人的手臂上，啟動機器人系統； 步驟b :工業機器人通過上部視覺識別單元的兩個攝像頭同時採集工作檯上光學玻璃的圖像； 步驟c :在控制計算機中分別採用兩套獨立的第一識別算法和第二識別算法提取光學玻璃的邊緣輪廓，計算並提取光學玻璃頂點的位置數據信息；如果第一識別算法與第二識別算法的計算結果相近，則認為已經有效識別光學玻璃，則執行步驟山如果第一識別算法與第二識別算法的計算結果相差較大，則返回步驟b，重新採集光學玻璃圖像； 步驟d :根據控制計算機計算得到的光學玻璃中心點的位置數據信息，控制計算機在線規劃工業機器人的運動軌跡，並控制工業機器人末端運動到抓取作業的第一位置，此時前端視覺定位單元與工作檯平行； 步驟e :前端視覺定位單元提取光學玻璃圖像，在控制計算機中採用光學玻璃定位算法對光學玻璃進行定位，獲得光學玻璃在工業機器人坐標系下的坐標；在線規劃工業機器人的抓取作業軌跡；在運動過程中前端視覺定位單元檢測光學玻璃的位置，實時調整作業軌跡； 步驟f :抓取裝置通過真空吸條吸附光學玻璃的四周邊緣，將光學玻璃搬運到玻璃框架正前方的安全位置，設定玻璃框架的安全位置的安全值，此時光學玻璃與玻璃框架的安裝面平行； 步驟g:前端視覺定位單元提取玻璃框架圖像，在控制計算機中採用玻璃框架定位算法對玻璃框架中心的位置進行定位，根據定位結果，在線規劃工業機器人的安裝作業路徑，將光學玻璃安裝到玻璃框架中。
2.如權利要求
I所述的光學玻璃安裝方法，其特徵在於，利用第一識別算法提取光學玻璃頂點的步驟如下 步驟cll :灰度圖轉換模塊將具有背景的輸入圖像轉換為灰度圖像，圖像反畸變處理模塊對灰度圖像進行反畸變處理，圖像濾波模塊對反畸變處理的灰度圖像進行濾波，獲得濾波的灰度圖像； 步驟cl2 :圖像縮小模塊對濾波的灰度圖像進行縮小處理，將濾波的灰度圖像的解析度由704X576縮小變為320X240，並對縮小後的圖像進行濾波，獲得縮小後的圖像； 步驟cl3:圖像分割模塊對縮小後的圖像進行圖像分割操作，從背景中提取出光學玻璃圖像；圖像放大模塊將光學玻璃圖像放大回原來的解析度，並利用形態學算法運算平滑放大後的光學玻璃圖像； 步驟cl4 :邊緣檢測模塊利用邊緣檢測算子算法提取放大後的光學玻璃圖像的邊緣； 步驟cl5 :直線檢測模塊利用霍夫直線檢測方法從提取出的邊緣上計算第一光學玻璃的邊； 步驟cl6 :直線交點計算模塊計算出第一光學玻璃的邊之間的第一光學玻璃頂點的坐標，第一光學玻璃頂點的坐標記為Cll、C12、C13和C14。
3.如權利要求
2所述的光學玻璃安裝方法，其特徵在於，利用第二識別算法提取光學玻璃頂點的步驟如下 步驟c21 :灰度圖轉換模塊將具有背景的輸入圖像轉換為灰度圖，圖像反畸變處理模塊對灰度圖像進行反畸變處理，圖像濾波模塊對反畸變處理的灰度圖像進行濾波，得到濾波的灰度圖像； 步驟c22 :圖像微分模塊對濾波 的灰度圖像的每個圖像點計算與該圖像點相鄰的四個圖像點之間的灰度差值；角點檢測模塊基於灰度差值，利用角點檢測算子檢測第二光學玻璃頂點，第二光學玻璃頂點記為C21、C22、C23和C24 ； 步驟c23:直線計算模塊根據計算出的四個角點的位置，選取連接角點的直線為第二光學玻璃的邊。
4.如權利要求
I所述的光學玻璃安裝方法，其特徵在於，利用光學玻璃定位算法定位光學玻璃的位置的步驟如下 步驟dl :灰度圖轉換模塊將具有背景的輸入圖像轉換為灰度圖像，圖像反畸變處理模塊對灰度圖像進行反畸變處理，圖像濾波模塊對反畸變處理的灰度圖像進行濾波，獲得濾波的灰度圖； 步驟d2 :圖像分割模塊對濾波的灰度圖進行圖像分割操作，從背景中提取出光學玻璃圖像； 步驟d3 :利用提取得到的光學玻璃圖像的邊緣點，矩形擬合模塊將邊緣點擬合為光學玻璃矩形，基於擬合出的光學玻璃矩形，計算光學玻璃矩形在前端視覺定位單元坐標系內的位置； 步驟d4 :坐標變換模塊將光學玻璃矩形在前端視覺定位單元坐標系內的位置轉換為在工業機器人坐標系下的位置。
5.如權利要求
I所述的光學玻璃安裝方法，其特徵在於，利用玻璃框架定位算法定位玻璃框架的位置的步驟如下 步驟el :灰度圖轉換模塊將具有背景玻璃框架圖像轉換為灰度圖像，圖像反畸變處理模塊對灰度圖像進行反畸變處理，圖像濾波模塊對反畸變處理的灰度圖像進行濾波，獲得濾波的灰度圖像； 步驟e2 :圖像分割模塊對濾波的灰度圖像進行圖像分割操作，從背景中提取出玻璃框架圖像； 步驟e3 :利用提取得到的玻璃框架圖像的邊緣點，矩形擬合模塊將邊緣點擬合為玻璃框架矩形，基於擬合出的玻璃框架矩形，計算玻璃框架矩形在前端視覺定位單元坐標系內的位置； 步驟e4 :坐標變換模塊將玻璃框架矩形在前端視覺定位單元坐標系內的位置轉換為在工業機器人坐標系下的位置。
6.如權利要求
I所述的光學玻璃安裝方法，其特徵在於，所述控制計算機在線規劃工業機器人運動軌跡的步驟如下 步驟fl :控制計算機的數據端從工業機器人數據端得到工業機器人末端當前的位置Pl ； 步驟f2 :控制計算機中光學玻璃定位算法或玻璃框架定位算法計算得到光學玻璃或玻璃框架的位置P2 ； 步驟f3 :控制計算機中的空間曲線擬合模塊預先存儲過渡點的位置P3 ； 步驟f4 :控制計算機中的空間曲線擬合模塊根據位置P1、P2和P3的坐標，擬合出空間的非均勻有理B樣條曲線，並將曲線等分為數段區間； 步驟f5 :將多段區間的曲線起點和末點坐標，通過控制計算機的數據端傳輸到工業機器人數據端，控制工業機器人各關節的運動。
7.如權利要求
3所述的光學玻璃安裝方法，其特徵在於，所述在線規劃工業機器人的抓取作業軌跡的步驟如下 步驟gI :中心點計算模塊由第一光學玻璃頂點的坐標C11-C14計算並得到第一中心點C，由第二光學玻璃頂點C21-C24計算並得到第二中心點C'，根據第一中心點C和第二中心點C'的坐標的平均值，以及工作檯的安全高度再加上一個安全高度值，計算得到抓取作業的第一位置； 步驟g2 :將抓取作業的第一位置作為工業機器人目標位置，根據控制計算機在線規劃工業機器人運動軌跡在線規劃工業機器人末端的軌跡；工業機器人末端按照在線規劃的運動軌跡運動到抓取作業的第一位置，前端視覺定位單元提取光學玻璃的圖像，利用光學玻璃定位算法計算出光學玻璃的位置； 步驟g3 :由光學玻璃的位置，工作檯的高度，再加上光學玻璃的厚度，計算得到抓取作業的目標位置； 步驟g4 :將抓取作業的目標位置和目標方位作為工業機器人目標位置，根據控制計算機在線規劃工業機器人運動軌跡在線規劃工業機器人末端的軌跡； 步驟g5 :抓取裝置的四個真空吸條接觸光學玻璃的四邊，通過真空吸條的吸附力將光學玻璃吸起。
8.如權利要求
I所述的光學玻璃安裝方法，其特徵在於，所述在線規劃工業機器人的安裝作業路徑的步驟如下 步驟hi :前端視覺定位單元提取玻璃框架的邊緣，由玻璃框架定位算法計算得到玻璃框架的位置； 步驟h2 :將玻璃框架的位置作為工業機器人目標位置，根據控制計算機在線規劃工業機器人運動軌跡在線規劃工業機器人末端的軌跡； 步驟h3 :抓取裝置以I 2度的傾角，將光學玻璃的底部的外邊接觸玻璃框架內側，然後將調整抓取裝置的傾角，直至抓取裝置與玻璃框架面平行； 步驟h4 :抓取裝置釋放真空吸條的吸附力，將光學玻璃放入玻璃框架內。
9.一種利用權利要求
I所述方法的視覺引導下的光學玻璃安裝裝置，其特徵在於，包括工業機器人、上部視覺識別單元、前端視覺定位單元、抓取裝置、控制機櫃、工作檯和支架，其中 上部視覺識別單元用於採集位於工作檯上光學玻璃的圖像，並識別得到光學玻璃的粗略位置；上部視覺識別單元安裝在支架水平端且位於工作檯上方，支架的水平端平行於工作檯的工作面； 前端視覺定位單元安裝在工業機器人的手臂上並位於在工作檯上方，用於採集光學玻璃的圖像，並對光學玻璃精密定位；抓取裝置用於將光學玻璃搬運到玻璃框架上，抓取裝置的真空吸條位於底座的四邊，用於吸附光學玻璃的四周，法蘭與工業機器人手臂端固接； 控 制機櫃中的控制計算機的數據端與工業機器人的數據端連接，並由控制計算機分別採用兩套獨立的第一識別算法和第二識別算法提取光學玻璃的邊緣輪廓，計算並提取光學玻璃頂點的位置數據信息，其中，利用第一識別算法提取的光學玻璃的邊緣輪廓和光學玻璃頂點的位置為第一光學玻璃的邊緣輪廓和光學頂點的位置；由第二識別算法提取的光學玻璃的邊緣輪廓和光學玻璃頂點的位置為第二光學玻璃的邊緣輪廓和光學頂點的位置；如果第一識別算法與第二識別算法的計算結果相近，認為已經有效識別光學玻璃，則在線規劃工業機器人的抓取作業運動軌跡、安裝作業路徑運動軌跡。
10.如權利要求
9所述視覺引導下的光學玻璃安裝裝置，其特徵在於，所述控制計算機包括灰度圖轉換模塊、圖像縮小模塊、圖像反畸變處理模塊、圖像濾波模塊、圖像分割模塊、圖像放大模塊、邊緣檢測模塊、直線檢測模塊、直線交點計算模塊、圖像微分模塊、角點檢測模塊、直線計算模塊、矩形擬合模塊、中心點計算模塊、坐標變換模塊、空間曲線擬合模塊、抓取作業或安裝作業模塊和識別光學玻璃模塊，其中 灰度圖轉換模塊接收具有背景的輸入圖像並生成灰度圖像； 圖像反畸變處理模塊與灰度圖轉換模塊連接，接收灰度圖像生成並輸出反畸變處理的灰度圖像； 圖像濾波模塊與圖像反畸變處理模塊連接，接收反畸變處理的灰度圖像，生成並輸出濾波的灰度圖像； 圖像縮小模塊與圖像濾波模塊連接，接收濾波的灰度圖像，生成並輸出縮小後的圖像； 圖像分割模塊與圖像縮小模塊連接，接收縮小後的圖像，生成並輸出光學玻璃圖像；圖像放大模塊與圖像分割模塊連接，接收光學玻璃圖像，生成並輸出放大後的光學玻璃圖像； 邊緣檢測模塊、圖像微分模塊和矩形擬合模塊分別與圖像放大模塊連接，接收放大後的光學玻璃圖像，生成並輸出3個邊緣圖像； 直線檢測模塊與邊緣檢測模塊連接，接收邊緣圖像，生成並輸出第一光學玻璃的邊；直線交點計算模塊與直線檢測模塊連接，接收第一光學玻璃的邊，生成並輸出第一光學玻璃的頂點； 角點檢測模塊與圖像微分模塊連接，接收灰度差值，生成並輸出第二光學玻璃的頂佔. 直線計算模塊，根據計算出的四個第二光學玻璃的頂點，選取連接第二光學玻璃頂點的直線為第二光學玻璃的邊；中心點計算模塊與矩形擬合模塊連接，接收玻璃框架矩形，生成並輸出玻璃框架的中心點； 坐標變換模塊與中心點計算模塊連接，接收玻璃框架的中心點位置，生成並輸出工業機器人目標位置； 空間曲線擬合模塊與坐標變換模塊連接，接收工業機器人目標位置，生成並輸出B樣條曲線； 抓取作業或安裝作業模塊與空間曲線擬合模塊連接，接收B樣條曲線，生成並輸出工業機器人關節運動位置； 識別光學玻璃模塊分別連接角點檢測模塊和直線計算模塊，及直線檢測模塊和直線交點計算模塊，接收第一光學玻璃的邊緣輪廓和光學頂點的位置，第二光學玻璃的邊緣輪廓和光學頂 點的位置；如果兩者結果相近，認為已經有效識別光學玻璃，則輸出光學玻璃輪廓。
專利摘要
本發明涉及一種視覺引導下的光學玻璃安裝方法及安裝裝置，所述方法採用安裝在工作檯上方的兩個攝像頭同時採集工作檯上光學玻璃圖像，在計算機中分別採用兩套的圖像處理算法計算得到光學玻璃的頂點的初略位置；通過安裝在工業機器人末端的攝像頭採集光學玻璃圖像，在計算機中採用圖像處理算法計算出光學玻璃的中心位置和方位；抓取裝置採用四個真空吸條與光學玻璃的四個邊緣接觸，通過吸附力將光學玻璃從工作檯上吸附起來並安放到玻璃框架中。所述裝置包括工業機器人、上部視覺識別單元、前端視覺定位單元、控制機櫃。工業機器人在零位面時面向工作檯，玻璃框架則位於機器人後側。前端視覺攝像頭能夠獲取玻璃框架的位置。
文檔編號G21B1/25GKCN101840736SQ201010171316
公開日2012年11月21日 申請日期2010年5月7日
發明者喬紅, 劉傳凱, 蘇建華 申請人:中國科學院自動化研究所導出引文BiBTeX, EndNote, RefMan專利引用 (3), 非專利引用 (6),