一種焊縫自動跟蹤系統的製作方法

2023-04-27 02:13:36

專利名稱：一種焊縫自動跟蹤系統的製作方法
技術領域：
本發明屬於焊接自動化中焊縫自動跟蹤技術領域，特別是一種利用圖像識別方法的焊縫自動跟蹤系統。
背景技術：
在大型鋼結構體(如:石油天然氣鋼管、船體、壓力容器等)的生產中，廣泛應用自動焊接技術。為了實現自動焊接，需要通過焊縫自動跟蹤方法使得焊槍與焊縫的相對位置穩定地保持準確。已有的焊縫自動跟蹤方法包括:靠模跟蹤方法、渦流跟蹤方法、電磁跟蹤方法、光電跟蹤方法、圖像跟蹤方法等。其中的圖像跟蹤方法是利用攝像機實時獲取焊縫圖像，利用模式識別的理論和方法在當前圖像中尋找焊縫，將焊縫當前位置傳輸給自動控制環節，再發出調整位置的命令，實現焊縫位置的自動跟蹤。圖像跟蹤方法又包括兩大類:一類是基於結構光方法。其原理是，發出一束與焊縫走向成垂直方向的窄條光線 ，保持攝像機的視線在一個平面上，該平面與包含焊縫中心線的切平面垂直，視線還要與焊縫走向呈一定角度，從而獲取反映焊縫橫截面形狀的圖像，這種形狀一般有V字形和U字形兩種。於是V字形或U字形就作為識別用的特徵。由於特徵簡單明顯，便於識別，在工藝條件保證的條件下，能保證可靠跟蹤。但是，這種方法容易受到幹擾。當焊縫不規則時，或較大的外部光線幹擾時，無法呈現明顯的V字形或U字形時，就會造成識別失敗。另一類是基於非結構光方法。其原理是，直接獲取焊縫圖像，提取焊縫的多種特徵，構成特徵向量，再構建複雜的識別方法，實現焊縫的尋找。這種方法的難點在於特徵向量的提取，最簡單的特徵提取方式是，在一幅標準的焊縫圖像中取一個包含焊縫的窗口作為模板，在當前圖像中進行窗口圖像匹配，當匹配誤差最小時，認為找到焊縫。由於焊縫表面並不平整和清潔，再加上外界光線的幹擾，實際上很難得到一個合適的「標準焊縫圖像」，所取模板圖像與當前圖像常常會有較大的差別，因而使識別失敗。

發明內容
針對上述已有兩類圖像跟蹤方法存在的問題，本發明提出了一種焊縫自動跟蹤系統，該系統同樣基於圖像跟蹤方法，利用自身模板與自身圖像做匹配尋找焊縫的當前位置，以提高跟蹤過程的抗幹擾能力。本發明採用的技術手段是:一種焊縫自動跟蹤系統，其特徵在於包括:置於焊槍臂上的攝像機組、圖像採集卡、圖像顯示和識別裝置、自動控制裝置；攝像機組採集焊縫圖像，圖像顯示和識別裝置通過圖像採集卡獲取該焊縫圖像，利用自身模板法在該焊縫圖像中搜索和匹配焊縫中心當前位置，根據匹配到的焊縫中心當前位置生成控制信號並輸出給自動控制裝置，自動控制裝置依據給定的控制信號調整焊槍臂的位置，以將焊槍移動到焊縫中心位置。本發明的系統利用自身模板法實現焊縫的中心定位；具體是，在攝像機組所獲得的圖像序列中，要保證在焊縫前進方向上的相鄰兩幀圖像有大約一半區域重疊，也就是說，在前一幀圖像的後半部分會移動到在當前幀圖像的前半部分；於是，在前一幀圖像的後半部取包含一定長度焊縫的一個窗口圖像並作為模板，在當前一幀圖像的前半部分進行匹配，當最好匹配時就找到了模板本身的圖像，則焊縫的橫向偏移值就被確定；由於在前一幅圖像中所取得模板內的圖像一定會在當前一幀的前半部圖像中重複出現，考慮到連續兩幀的時間間隔很小，外界環境不會有太大的變化，因此所做的是自身與自身的圖像匹配，提高了識別過程的抗幹擾能力，從而提高識別成功率。
以下結合附圖及實施例，對本發明進行進一步詳細說明:

圖1為本發明焊縫自動跟蹤系統原理圖；圖2為提取自身模板進行搜索匹配的示意圖；圖3為數據傳輸圖；圖4為實施例的示意圖。
具體實施例方式如圖1所示，本發明焊縫自動跟蹤系統包括:置於焊槍臂上的攝像機組1、圖像採集卡2、圖像識別裝置3、自動控制裝置4。攝像機組I採集焊縫圖像，圖像識別裝置3通過圖像採集卡2獲取該焊縫圖像，利用自身模板法在該焊縫圖像中搜索和匹配焊縫中心當前位置，根據匹配到的焊縫中心當前位置和隨動系統控制原理生成控制信號並輸出給自動控制裝置4，自動控制裝置4依據給定控制信號調整焊槍臂的位置，以將焊槍移動到焊縫中心位置。

其中攝像機組可以包含一個或二個，設一幀焊縫圖像視場的尺寸為Fv=aXb，a為垂直於焊縫前進方向的長度，其坐標方向定為X，b為沿焊縫前進方向的長度，其坐標方向定為1，選擇一個或二個攝像機的原則是:設焊縫移動速度Sw、一幀焊縫圖像持續時間Tv，當
Sw、b和Tv之間滿足關係\ 時，在一幀焊縫圖像的持續時間Tv內，焊縫僅在視場內移
動距離小於b/2，因此可只用一臺攝像機為自身模板法提供了足夠的圖像重疊部分。當Sw、
匕和!；之間滿足關係\ 時，需要採用兩臺攝像機分別採集兩幀相鄰的焊縫圖像，而為
了應用自身模板法，需要相鄰的兩幀焊縫圖像至少有一半的重疊，為此，兩個攝像機視場中心在焊縫走向上的距離為W，則有:LVF ( TvXsw。其中的Tv有兩種標準:在PAL制下，Tv=40ms ;在NTS制下，Tv=30ms。a、b、x和y的具體值由解析度和電視制式決定；解析度定義為焊縫圖像中一個像素代表實際焊件上的尺寸，其具體值由生產工藝對控制精度的要求；設PX為像素在X方向的解析度，允許的最大控制誤差為土Er。,則PX彡Er。/2，X的取值範圍為X=I,...,N ;設py為像素在y方向的解析度，Y的取值為y=l，…，Μ。常用圖像採集卡是Ν=768像素，Μ=572像素；於是a=N.ρχ，b=M *py ；常用攝像機的畫面長寬比是4.8/3.6,4.8/3.6 ^ 768/572 ^ 1.3，於是py=px/l.3 ;在現場確定實際位置時的辦法是靈活的，本發明推薦的方法是:根據上述原則計算出a、b的實際值，將一個標準的長度尺放置在攝像機下方，調整攝像機的位置和聚焦鏡頭，觀察顯示屏中的圖像，使a儘量充滿整個視頻顯示器的寬度。下面對圖像識別裝置3利用自身模板法在焊縫圖像中搜索和匹配焊縫中心當前位置的過程詳細說明如下:步驟一:設置三個圖像序列變量，記為QiXjig i=l,2,…，U，U=L/b，L為連續焊
接過程中焊縫經過視場的總長度。其中，當攝像機組I為一臺攝像機時，Qi(i=l，".，υ)為該攝像機組採集的連續幀焊縫圖像依次順序排列所得到的圖像序列；當攝像機組I為兩臺攝像機時，該圖像序列中的奇數幀為一臺攝像機採集的焊縫圖像，該圖像序列的偶數幀為另一臺攝像機採集的焊縫圖像，用Qi (X，y) (i=l,…，U)表示Qi中位於焊縫圖像中(x, y)坐標點上的像素灰度值序列A (i=l,…，U)為光標圖像序列，Ci (X，y) (i=l,…，U)表示焊縫圖像中
(x, y)坐標點的光標灰度值序列，光標的形狀由設計者決定，常用十字形； =
表示加上了光標的圖像序列，6/x,>9 G = I,...,/)表示4中位於焊縫圖像(x，y)坐標點
上的像素灰度值序列。對於一幀圖像中的所有的乂和7，執行0(01-，>，) = 0/尤>，沖0^,:^運算即可將光標序列疊加到焊縫圖像幀中， 表示異或運算。以下統稱^^和β +1分別為當前幀和下一幀，β在不同表示處可以分別代表Q、0和C ;需要說明的是，在算法的角度上，上述三個序列的層數可以由設計者根據焊接系統的工作周期設置，也即i的最大取值U可以有較大的變化。在實際實現中，如果用計算機實現，攝像機與圖像卡相連，計算機通過設置多線程從圖像卡的幀存儲器讀取數據，上述的三個序列組成隊列方式；如果自製由DSP和FPGA組成的處理器，則為了節省存儲器空間，上述圖像序列可以只設二層，即U=2，並採用傳統的雙體交叉結構的幀存取器來實現存儲器空間的壓縮，當一個攝像機時，用兩個存儲器的雙體交叉的結構，當二個攝像機時，用4個幀存取儲器組成兩對雙體交叉的結構(在多種存儲器結構的文獻中都有介紹);
步驟二:由操作者對焊縫中心進行初始化定位:操作者在視頻顯示器上通過如鍵盤、滑鼠之類的人工輸入設備移動光標至焊縫中心位置，圖像識別裝置3讀取光標指示的位置，將此位置作為焊縫中心的初始化定位。操作者做初始化定位可有兩種規則:第一，由一個操作者定位，又分為:1.具有長期操作經驗的操作者，可通過觀察視頻顯示器上的圖像，移動光標到所看到的焊縫中心；
2.在移動光標的同時圖像識別裝置3將光標的移動信號發送給自動控制裝置4，由自動控制裝置4控制焊槍對準焊縫中心；或者將圖像識別裝置3的視頻顯示器放到焊槍附近，由一個操作者一面調整焊槍位置，使其對準焊縫中心，一面在視頻顯示器上觀察並移動光標位置，完成初始光標定位的工作;第二，由兩個操作者的配合來定位:第一個操作者在焊槍附近直接測量焊槍與焊縫中心的相 對偏差，同時指揮顯示器前的第二個操作者移動光標向焊縫中心靠近，當第一個操作者確定焊槍對準焊縫中心時，同時指揮第二個操作者停止移動光標，則完成光標的初始定位，並將當如的光標值存儲。當然，完成初始光標定位後即啟動自動跟蹤系統。初始定位幀作為後續算法中的第一個當前幀的焊縫圖像Qj。步驟三:在當前幀的焊縫圖像Qj的後半部分取一個區域作為自身模板P」。Pj的中心定在焊縫中心上，將此中心坐標記錄在中間變量C。中；Ρ]的尺寸的確定原則是:設dpx為垂直於焊縫走向上的模板長度，滿足:dpx>dw+2(d』w-dw)，dw為焊縫的平均寬度，d』v為焊縫的最大寬度；dpy為沿焊縫走向上的模板長度，其取值焊縫的速度穩定性，本發明推薦
i/ >—b ο
py 6步驟四:用Pj在下一幀焊縫圖像Qj+1中的前半部分，通過使用搜索和匹配算法，完成對Qp1幀焊縫圖像中焊縫中心的當前位置的定位。其中的搜索指的是移動自身模板Pj,匹配指的是用自身模板匕與Qw幀焊縫圖像中搜索到的位置上的子圖像作比較並記錄比較結果。自身模板匕的移動要按一定的路徑順序進行，不同的設計者可採用不同路徑順序；多數採用採用先沿X方向移動再在I方向上移動一行，如此重複，形成「之」字形路徑順序；也可以採用X和y交換的順序；或者由設計者設計出特殊的路徑順序，本發明以「之」字形路徑順序為例；步驟四又包括的具體步驟:步驟1:在下一幀焊縫圖像Qj+1的前半部分中間區域，確定一個搜索匹配區，設搜索匹配區起點坐標為(Xstl, yj，終點坐標(Xstl+Lsx，ys(l+Lsy)。該搜索匹配區的大小按下述原則確定:搜索匹配區規定為矩形，其尺寸應保證在搜索匹配過程中做到過搜索，所說的過搜索指的是，在得到最佳匹配之後還要繼續做若干次搜索匹配，然後通過回朔，真正找到正確匹配位置；設X方向的長度為Lsx，為了保證做到過搜索，則要求Lsx彡d』 w+kxlAdwm+kx2，Δ (Iwm)O為在整個跟蹤過程中允許的最大焊縫偏差，設kxl和kx2作為可調參數設置在視頻顯示器上的人機界面中或特別設置調整鍵，由操作者調整kxl和kx2的值；kxl是為補償系統工作穩定性而設置的，在系統工作穩定的狀況下，kxl可小，在系統工作不太穩定的狀況下，kxl要取大的值；kx2是為保證實現過搜索而設置的，理論上只要令kx2=py，但考慮噪聲幹擾，要求kx2>py，在實際系統上可通過試運行將kx2調整到合理的值；y方向的長度為Lsy，Lsy取值與焊縫移動速度的穩定性有關，建議Lsy ^ dpy+2 Δ SwTv+3py, Δ Sw ^ O為焊縫移動速度的最大偏差，這個值在自動焊接系統設計和運行中是給定的。

步驟2:設置兩個中間數組變量M1 (Z)和M2(Z),其中，ζ=1，…，Ζ，分別記錄匹配運算之和，以及Qj+1幀焊縫圖像上當前匹配到的位置坐標。步驟3:將自身模板Pj的左上角放在(xsCI，ys0)上，從z=l開始，先X方向再y方向以一個像素為步距移動自身模板Pp每移動一步做z=z+l直到Z止去循環地做如下匹配運算:M1 (z) =Pj (X，y) -QJ+1 (x, y)這一運算產生一個數據序列M1 (ζ)，z=l,…，Z，Z的取值要保證自身模板Pj在移動過程中覆蓋整個搜索匹配區，即要保證自身模板Pj的右下角能最終到達坐標(xs0+Lsx, ys0+Lsy), Lsx和Lsy分別為x和y方向的長度。其中，自身模板？」移動的步距有兩種:一種是最小步距，即一個像素作為一個步距單位；另一種是大步距，是若干個像素為一個步距單位。在運算時間能夠滿足要求的情況下一般用最小步距，在運算時間過長時要大步距和最小步距相結合，稱為結合算法。結合算法是先用大步距做粗定位再用最小步距做精確定位。運算時間的長短由生產工藝和圖像處理裝置的能力決定；當圖像處理裝置的運算能夠以最小步距在生產工藝要求所要求兩次控制命令的間隔內完成一次搜索匹配運算時，就用最小步距，否則用結合算法。步驟4:求得序列M1 (z)，z=l,…，Z的最小值,這個最小值對應於準確匹配，同時記錄對應此最小值的匹配坐標點，即M2(z) = (X，y)給出焊縫圖像Qj+1上準確匹配的位置，則此位置上自身模板&的中心就是焊縫的中心。步驟5:做焊縫偏差運算AC=CtrM2(Z)，根據Λ C記錄的坐標值改變CJ+1(x, y)中光標的位置同時向控制裝置發出移動焊槍的控制命令，接著做運算
QjJx.y) = QJ+i(x>y) cj+1(x,y)，之後將送顯示器顯示。步驟五:檢查是否有停止命令，如有，則停止上述運算和操作，否則回到步驟三，重做取模板、搜索匹配、改寫光標位置、送顯示和發出控制命令等操作。發出停止命令有二種情況:(1)系統發出故障報警，(2)人為停止工作。如圖2給出了提取自身模板進行搜索匹配的示意圖，焊縫沿Y軸方向前進，沿X方向會出現偏差。圖中畫出了三個坐標平面，它們分別記為X(^yajH), χαρ，7αρ，X (tJ+1)，y (tJ+1)，在空間上，這三個平面實際上在一個平面上，只是在時間軸(記為t)上表示為三個平面，其時間坐標記分別為(t^)，(tj), (tj+1)。在三個坐標平面上分別畫出了三幀焊縫圖像Qh，Qj, Qj+1 ;圖 中焊縫邊緣在y方向上分成多段，各段用不同的線型表示，這是為了表明焊縫移動過程中位置變化的對應關係(由實線雙箭頭進一步指出)，從這種對應關係中可以看出，三幀焊縫圖像之間相鄰二幀有約一半圖像重疊；Ρ」和Pp1分別表示Qj和Qp1幀中的模板，+字符號表示匹配中心，其中Py1在Qy1後半部取得，在Qj的前半部做搜索匹配，Pj在後半部取得，在Qj+1的前半部做搜索匹配，這種搜索匹配的變化關係由虛線雙箭頭指出。圖中，Xj-!, Xj, Xjn分別表示焊縫中心的坐標。本發明的圖像識別裝置3是可以訂購或定製的，目前一般有兩種形式的結構，一種是基於工控機的通用結構，另一種是基於DSP、FPGA、單片機等器件的組成的專用結構。專用結構的具體構成方式多種多樣，但圖像的獲取和傳輸流與前述的通用結構基本一致。圖1展示了通用結構的示意圖，在結構示意圖中只畫出了與本發明有關的部件。在圖1中，將訂購或定製的帶有雙攝像機接口的圖像米集卡插入工控機相應的插槽中。圖像識別裝置3又包括:內存、視頻顯示器和處理器；內存又包括內存緩衝區1、內存緩衝區2和內存緩衝區3。內存緩衝區I存儲一臺攝像機採集的焊縫圖像幀Q2n+1，內存緩衝區2存儲另一臺攝像機採集的焊縫圖像幀Q2n,內存緩衝區3存儲光標圖像，圖形的更新由算法決定；處理器利用上述自身模板法在該焊縫圖像中搜索和匹配焊縫中心當前位置，根據匹配到的焊縫中心當前位置生成控制信號，並輸出給自動控制裝置4。如前面的敘述中所指出的那樣，內存緩衝器1、2、3的層數是可以減少到二層。上述的相關參數可放在其餘的存儲空間。圖3示出了圖像數據和識別結果產生的控制信號的傳輸路徑。圖4是一個實施例的演示圖。其中左圖是前一幀焊縫圖像，右圖是相鄰的後一幀圖像。右圖中可見前一幀圖像的下半部被模板所框的焊縫圖像在相鄰的後一幀圖像中移到了上半部，為了指明這一點，我們人為地在焊縫旁邊貼上一個白色三角。從圖中可以看出，焊縫中心大約向左偏移了 4毫米(注:這只是演示圖，而且沒有加控制反饋來調整偏差。實際中不可能允許相鄰兩幀焊縫偏移這麼多。)
權利要求
1.一種焊縫自動跟蹤系統，其特徵在於包括:置於焊槍臂上的攝像機組(1)、圖像採集卡(2)、圖像顯示和識別裝置(3)、自動控制裝置(4)； 攝像機組(1)採集焊縫圖像，圖像顯示和識別裝置(3)通過圖像採集卡(2)獲取該焊縫圖像並存於圖像顯示和識別裝置(3)中，在圖像顯示和識別裝置(3)中利用自身模板法在該焊縫圖像中搜索和匹配焊縫中心當前位置，根據匹配到的焊縫中心當前位置生成控制信號並輸出給自動控制裝置(4)，自動控制裝置(4)依據給控制信號調整焊槍臂的位置，以將焊槍移動到焊縫中心位置。
2.根據權利要求1所述的系統，其特徵在於一幀焊縫圖像視場的尺寸為Fv=aXb，a為垂直於焊縫前進方向的長度，其坐標方向定為X，b為沿焊縫前進方向的長度，其坐標方向定為y，一幀焊縫圖像持續時間Tv，焊縫在y方向移動速度Sw，當滿足關係
3.根據權利要求1述的系統，其特徵在於圖像顯示和識別裝置(3)利用自身模板法在焊縫圖像中搜索和匹配焊縫中心當前位置的步驟包括: 步驟一:設置三個圖像序列變量，記為Q1、Ci和
4.根據權利要求3所述的系統，其特徵在於步驟四還包括: 步驟1:在Qp1幀焊縫圖像上半部分的中間區域確定一個搜索匹配區，設搜索匹配區為矩形，左上角在圖象幀中的坐標為(xsCI，yj，右下角坐標(xsCI+Lsx，ys(l+Lsy)，Lsx和Lsy分別為X和y方向的長度，； 步驟2:設置兩個中間數組變量M1 (z)和M2 (z)，其中，z=l,...，Z，分別記錄匹配運算結果，以及Qj+1幀焊縫圖像上當前匹配到的位置坐標； 步驟3:將自身模板P」的左上角放在Qj+1巾貞焊縫圖像的(xs(l, ys0)上，從z=l開始,先X方向再I方向以一個像素為步距移動自身模板P」，每移動一步做z=z+l直到z=Z止去循環地做如下匹配運算: M1 (z) =Pj (X，y) -QJ+1 (X，y) 運算結果記錄在乂(2)中，Z的取值要保證自身模板？」的右下角能最終到達坐標(xs0+Lsx, ys0+Lsy),這一運算產生一個數據序列 M1 (z)，z=l,…，Z,； 步驟4:求得序列乂 (Z), z=l,…，Z的最小值，同時記錄對應此最小值的匹配坐標點，並用M2 (z)記錄，即令M2 (Z) = (x，y)，從而給出0」+1幀焊縫圖像上準確匹配的位置，則此位置上自身模板P」的中心就是焊縫的中心；步驟5:做焊縫偏差運算AC=Ctj-M2(Z)，根據AC記錄的偏差值改變CJ+1(x, y)中光標的位置同時向控制裝置發出移動焊槍的控制命令，接著做運算4.+1 ι,Μ = υλ-，仞十之後將l/xj)送顯示器顯示。
5.根據權利要求4所述的系統，其特徵在於步驟I中搜索匹配區的大小和位置按下述原則確定:搜索匹配區滿足Lsx彡d』 +kxl Δ cL+kx2和Lsy彡dpy+2 Δ SwTv+3py, Δ dwm>0為在整個跟蹤過程中允許的最大焊縫偏差，kxl和kx2為設置的可調參數，其位置在一幀圖像的前半部分的中央即可，ASw >0為焊縫移動速度的最大偏差。
全文摘要
本發明公開了一種焊縫自動跟蹤系統。該系統中，攝像機組(1)採集焊縫圖像，圖像識別裝置(3)通過圖像採集卡(2)獲取該焊縫圖像，利用自身模板法在該焊縫圖像中搜索和匹配焊縫中心當前位置，根據匹配到的焊縫中心當前位置生成控制信號並輸出給自動控制裝置(4)，自動控制裝置(4)依據給定的控制信號調整焊槍臂的位置，以將焊槍移動到焊縫中心位置。該系統由於是採用了自身模板法，提高了識別過程的抗幹擾能力，從而提高識別成功率。
文檔編號B23K37/00GK103170778SQ20131011181
公開日2013年6月26日 申請日期2013年4月1日 優先權日2013年4月1日
發明者梁德群 申請人:大連海事大學