機器視覺焊錫定位檢測方法與流程

2023-12-04 09:14:41

本發明屬於圖像檢測領域，涉及一種對焊錫定位時的圖像採集及定位方法。

背景技術：

目前，大部分廠家都是單純基於光學原理來對焊接生產中遇到的常見缺陷進行檢測，通過CCD攝像機得到元件的二維圖像，經過圖像處理、圖像分析和計算機視覺方法進行處理，得到對圖像的理解，進而實現物體的識別、定位和物體的狀態表達。隨著半導體、晶片等微電子元件行業的發展，晶片向著尺寸更加微小，電路更加複雜，功能更加強大的方向發展。貼裝引腳的間距越來越小，精度要求越來越高，這樣就給檢測提出了更高的要求。但如今現有的AOI檢測模式僅僅只是機器通過攝像頭自動掃描PCB，採集圖像，測試的焊點與資料庫中的合格的參數進行比較檢查出PCB上缺陷並通過顯示器或自動標誌把缺陷顯示/標誌出來，供維修人員修整，這樣單一的檢測模式僅能執行物件的表面檢查，但對於零件邊緣的焊點檢測的效果便不盡理想，當然現在有許多的AOI能夠做到多角度的攝影來增加對於IC腳翹的檢出能力，並增加某些被遮蔽的元件的攝影角度，以提供更多的檢出率。AOI最主要的不足就是有些灰階或者遇到外界環境幹擾較大光線不足或者被檢測元件陰影明暗不明顯時機器無法準確找到匹配區域導致檢測準確率降低或出現誤報。

Korhonen於1981年提出了自組織特徵映射(SOFM)神經網絡，該網絡主要由輸入層和競爭層構成的兩層網絡，輸入層用於接收樣本，而競爭層完成對輸入樣本進行分類，這種模式已經廣泛的應用於決策制定、機器學習、數據挖掘、文件恢復、圖像分割和模式分類等領域。在這些問題中，很少有數據的先驗信息可用，而用戶又要儘可能少的對數據的可能性進行假設，所以在這種限定下，自組織特徵映射神經網絡算法特別適用於查看數據點的內在關係，能夠更加具體的對他們的組成結構進行評估。

在電路板的製作過程中，作為電路組件與電路板間銜接橋梁的焊點佔有舉足輕重的位置。焊點的製作過程必須經過錫量控制、定位與焊錫凝固等程序，而此程序比較難於控制，故在電路板的製作過程裡，焊接的技術要求相對較高，繼而可能發生的缺陷也相對較多。如果不能及時將缺陷發現和修復，將對整個系統能否可靠運行產生很大的影響。

由上可知，焊錫定位是一項對產品質量保證的重要工序，然而，在焊錫定位基本是基於圖像進行的，可見，對於在流水線工程中，如何能夠獲取該產品的採集圖像以作為焊錫定位的圖像使用，也顯得非常重要。

技術實現要素：

為了能夠在流水線上對PCB進行圖像採集，並且實現定位檢測，本發明提出如下技術方案：機器視覺焊錫定位檢測方法，包括圖像預處理、圖像配準、對定位點焊錫檢測；圖像預處理主要指對圖像進行幾何畸變校正和噪聲點的抑制，減小參考圖像和待拼接圖像的幾何畸變；圖像配準主要指對參考圖像和待拼接圖像中的匹配信息進行提取，在提取出的信息中尋找匹配，完成圖像間的對齊；對測量範圍內的定位焊點進行焊錫檢測，應用模式匹配的方法將標準焊錫圖像作為模板保存，運行時，將模板與一系列位置上的圖像形態外觀相似的子集進行比較，不斷調整初始閾值，量化選取標準，分別統計每個樣本圖像在色調(H)、飽和度(S)和亮度(I)平面的直方圖，同時得到與之相互對應的閾值結果，隨即對多個樣本的初始閾值進行修正，得到統一閾值用於圖像二值化，標準灰度相關性運算作為一種形式的卷積，用來匹配的模板相當於卷積核，一個包含N像素的模板與檢測圖像內的N像素相乘隨即求和，卷積核計算求出的測量圖像內的每一個像素值，其結果最大的位置是與模板最相近的地方；該機器視覺焊錫定位檢測方法，使用一種機器視覺焊錫定位檢測系統，對圖像進行採集，所述系統包括包括：包括：工業相機、球積分光源、蜂鳴器、光源控制器、傳送帶、工業計算機、傳感器、顯示器、嵌入式系統、圖像採集卡；工業相機與圖像採集卡連接，圖像採集卡與工業計算機相連，工業計算機與光源控制器連接，光源控制器與球積分光源相連，所述球積分光源置於工業相機的下方，且位於傳送帶的上方，所述圖像採集卡與計算機的連線引出兩路，一路連接顯示器，另一路分別連接傳感器和嵌入式系統，所述傳感器位於傳送帶的上方。

有益效果：使用本檢測系統，可以在流水線上對PCB圖像進行採集，並且，該圖像可以被使用在焊錫定位的基礎圖像使用。

附圖說明

圖1為本發明所述系統的結構示意圖。

具體實施方式

實施例1：一種機器視覺焊錫定位檢測系統，包括：工業相機1、球積分光源2、蜂鳴器3、光源控制器4、傳送帶5、工業計算機6、傳感器7、顯示器8、嵌入式系統9、圖像採集卡10；工業相機1與圖像採集卡10連接，圖像採集卡10與工業計算機6相連，工業計算機6與光源控制器4連接，光源控制器4與球積分光源2相連，所述球積分光源2置於工業相機的下方，且位於傳送帶的上方，所述圖像採集卡10與計算機的連線引出兩路，一路連接顯示器8，另一路分別連接傳感器7和嵌入式系統9，所述傳感器7位於傳送帶的上方。

在本實施例中，涉及一種機器視覺焊錫定位檢測方法，使用上述檢測系統進行圖像採集，包括圖像預處理、圖像配準、對定位點焊錫檢測；圖像預處理主要指對圖像進行幾何畸變校正和噪聲點的抑制，減小參考圖像和待拼接圖像的幾何畸變；圖像配準主要指對參考圖像和待拼接圖像中的匹配信息進行提取，在提取出的信息中尋找匹配，完成圖像間的對齊；對測量範圍內的定位焊點進行焊錫檢測，應用模式匹配的方法將標準焊錫圖像作為模板保存，運行時，將模板與一系列位置上的圖像形態外觀相似的子集進行比較，不斷調整初始閾值，量化選取標準，分別統計每個樣本圖像在色調(H)、飽和度(S)和亮度(I)平面的直方圖，同時得到與之相互對應的閾值結果，隨即對多個樣本的初始閾值進行修正，得到統一閾值用於圖像二值化，標準灰度相關性運算作為一種形式的卷積，用來匹配的模板相當於卷積核，一個包含N像素的模板與檢測圖像內的N像素相乘隨即求和，卷積核計算求出的測量圖像內的每一個像素值，其結果最大的位置是與模板最相近的地方。

實施例2：作為實施例1中所述定位檢測方法方案的補充：為了克服現有的AOI不能在有些灰階或者遇到外界環境幹擾較大光線不足被檢測元件陰影明暗不明顯時不能準確定位的缺陷或不足，基於原有算法編入自組織競爭人工神經網絡，這種算法依賴於測量範圍的起始位置和被測量物的方向。將依賴數據對應成二值型硬函數輸入神經網絡科荷倫層，採用無指導的訓練方法對輸入數據進行自組織競爭的分類與壓縮，自組織神經網絡的輸入模式用向量表示，比較不同模式的相似性可轉化為比較兩個向量的距離，也就是說選擇模式向量兩者相距的數值當做聚類判據，本實施例使用的聚類判據為歐氏最小距離法。通過學習確定出一個比較合適的可以在該PCB板上檢測所有焊錫的測量範圍的大小，然後利用這個尺寸輸出限定正確測量範圍在需要測量的焊錫上，在學習得到的範圍尺寸內找到焊錫的邊界，隨之求出測量坐標系原點，其精度可以達到亞像素精度。

對在檢測過程中由於遇到灰階或者遇到外界環境幹擾較大光線不足或者被檢測元件陰影明暗不明顯時採集的圖像質量過低，首先對圖像的質量進行增強以改進圖片的質量，將拍攝圖片對比度增高去掉模糊和噪聲，修正幾何畸變，使用頻率域法，把圖像看成一種二維信號，對其進行基於二維傅立葉變換的信號增強。對由神經網絡給出的測量區域使用面積最大法進行再次定位。

定位之前根據已學習的人工數據標定訓練樣本中的焊錫焊盤位置，對自動獲取的焊盤區域中的主要顏色閾值進行統計，定位進行中利用此閾值對測量範圍內的圖像進行二值化，使用優化後的圖像進行焊點定位。

對測量範圍內的定位焊點進行焊錫檢測，應用模式匹配的方法將標準焊錫圖像作為模板保存，運行時，將模板與一系列位置上的圖像形態外觀相似的子集進行比較，初始閾值經過人工不斷調節規範，達到焊點最佳抽出效果為止，量化選取標準，分別統計每個樣本圖像在色調(H)、飽和度(S)和亮度(I)平面的直方圖，同時得到與之相互對應的閾值結果，隨即對多個樣本的初始閾值進行修正，得到統一閾值用於圖像二值化，標準灰度相關性運算能夠作為一種形式的卷積，在系統中用來匹配的模板相當於卷積核，普通相關性與以上卷積形式相同，一個包含N像素的模板與正常圖像內的N像素相乘隨即求和。卷積核計算求出的測量圖像內的每一個像素值，結果最大的位置是與模板最相近的地方，標準化向量為：

以檢測圖像左上角為原點，水平與豎直方向分別為X和Y軸，搜索窗的尺寸為wi和hj，定位焊點坐標為Si(xi,yi)，保持原點相對位置不變，w取值範圍為[-min(0，x21),xi-max(x2,x21+x1)],h取值範圍為[0,yj-(y21+y1)].假設焊錫定位點屬於閾值範圍的像素數S(x,y),xs＝-min(0,w21),xe＝ws-max(w2,w21+w1),ys＝0,ye＝hs-(h21+h1).則存在點(xp,yp)使得S(xp,yp)＝maxS(x,y),運算次數為(xe-xs)(ye-ys)(w1hi+w2h2)。

但當圖像全部為白色或者黑色是系統將會達到一個最大值，這個最大值使得該點不再與模板相似，這種情況下相關性函數的標準化向量應改為：

使用上述表達式結果將不會收到圖像或是模板中像素值的線性變化的影響，若測量目標與模板完全匹配時結果會達到最大峰值1，反之為0，如相似性出現負值，系統對負值自動消減為零，r2替代r規避了開放運算的速率緩慢，最終結果匹配分表示為百分數。

Score＝max(r,0)2×100％

該實施例中所述的定位檢測方法，極大提高了AOI中焊錫焊點定位的精度，隨著SMT行業技術的日新月異，晶片的尺寸也會越來越小，引腳焊線的精度為題勢必將成為亟待解決的問題，與神經網絡以及模式匹配技術相結合也解決了模板選取時的精度問題，將這些技術應用於半導體封裝以及工業生產的視覺定位系統中將給領域內工藝的迅猛發展提供迅速有效的支持。

以上所述，僅為本發明創造較佳的具體實施方式，但本發明創造的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明創造披露的技術範圍內，根據本發明創造的技術方案及其發明構思加以等同替換或改變，都應涵蓋在本發明創造的保護範圍之內。