一種利用CCD相機檢測連接器PIN針位置偏差的方法與流程

2023-12-02 17:44:42 3

一種利用ccd相機檢測連接器pin針位置偏差的方法
技術領域
1.本技術涉及檢測連接器pin針加工領域，特別涉及一種利用ccd相機檢測連接器pin針位置偏差的方法。


背景技術：

2.作為連接兩個或多個有源器件的媒介，連接器廣泛應用於電子領域中，以用來傳輸電流或信號。連接器的基本結構包括接觸件、絕緣體和外殼等，其中，接觸件是連接器完成電連接功能的核心零件，其排列位置精度是衡量連接器機械性能、電氣性能的重要指標；絕緣體即為基座，以使接觸件按所需要的位置和間距排列，並保證接觸件之間以及接觸件與外殼之間的絕緣性能；外殼作為連接器的外罩，為內裝的接觸件和絕緣體提供機械保護。
3.一些連接器的接觸件是以pin針形式存在的，在連接器生產過程中，如經衝壓、注塑、組裝時，pin針的排列位置精度難免會受到影響，因此，在出廠前需要對連接器的pin針的排列位置進行測量。
4.在測量時會存在一下問題：
5.1、現有的檢測方法中由於pin針針尖組周圍環境存在幹擾源不同，從而導致模板匹配精度以及圖像處理速度慢的問題；
6.2、由於pin針組來料針面切割不均勻，導致針面反光光斑呈現形狀過小、針尖裂開等不良現象，從而無法識別針尖質心，產生漏抓誤判現象，誤檢率過高。
7.3、不同生產工藝流程中，pin針針組周圍檢測環境不同，造成的幹擾源也不相同，除了普遍存在的注塑面上的反光外，還存在銅面發光產生的反射光斑就可能會造成pin針斑點的誤識別。
8.4、不同生產工藝流程中，pin針針組周圍檢測環境不同，造成的幹擾源也不相同，除了之前普遍存在的注塑面上的反光以及銅面側面金屬發光產生的反射光斑以外，還產生一種由於pin針針組來料底部注塑不完整產生反射光斑，造成pin針斑點的誤識別。


技術實現要素：

9.本發明的目的是提供一種可以提高pin針正位度檢測精度和提高各個檢測pin針環節的過檢率的利用ccd相機檢測連接器pin針位置偏差的方法。
10.為了實現上述目的，本技術提供如下技術方案：
11.一種利用ccd相機檢測連接器pin針位置偏差的方法，包括以下步驟：
12.採集每組pin針圖像；
13.基於局部特徵採用roi匹配定位與分區，先利用所有針組圖像邊緣點及其方向向量來描述針組的形狀特徵；
14.針尖端面roi圖像粗劃分，劃分時選擇局部pin針斑點進行匹配定位；
15.圖像濾波與圖像分割，其中選用雙邊濾波作為主要的圖像濾波方式，利用基於中值濾波的二維otsu圖像分割算法進行圖像分割處理；
16.基於連通域的針尖端面定位，首先搜索圖像中多個針尖端面連通域，然後獲取各連通域外圍輪廓的垂直邊界最小矩形，即矩形與圖像上下邊界的平行的，最後以最小矩形的中心坐標作為引腳端面的中心坐標，然後以這多個坐標連線進行定位；
17.基於相對位置的針尖端面位置檢測，其中包括以下檢測：(1)計算多個針尖端面y軸方向上兩兩之間的相對距離，判斷有無pin針針尖間距位置異常；
18.(2)計算五個針尖端面x軸方向上兩兩之間的偏移距離，通過角度判斷位置異常；
19.(3)計算多個針尖x軸方向的最大橫坐標偏移量；橫坐標最大偏移量容許偏移得的範圍，在此範圍內即為ok品，反之為ng品。
20.進一步地，所述採集每組pin針圖像前，先確定像素標定，確定時選用標準刻線尺作為標定工件，標準刻線尺的刻線間距為1mm，標定過程如下：將刻線尺放置在工作平臺上，調整相機到刻線尺距離，使該距離與測量的工作距離一致，調節環形光源到合適的亮度，採集刻線尺圖像，分別從圖像中選取五條刻線並記錄其對應的圖像坐標值，通過最小二乘法來計算像素當量，來進行系統的標定工作。
21.進一步地，利用所有針組圖像邊緣點及其方向向量來描述針組的形狀特徵時，首先設pin針針組邊緣模板定義點集pi＝(ri，ci)
t
,利用sobel算子計算出模板中各個點對應的方向變量di＝(ti，ui)
t
,i＝1,
…
,n和待匹配圖像中每個點(r,c)的方向向量e
r,c
＝(v
r,c
,w
r,c
)
t
,為了得到精確的匹配位置，首先要對模板進行平移變換，選擇變換可以通過點p'i＝api及相應的變換後的方向向量d'i＝(a-1
)
tdi
得出，a為二階旋轉矩陣：
[0022][0023]
在搜索圖像某個特定點q＝(r,c)
t
，計算變換後模板中點的方向向量與搜索圖像中對應點的方向向量的點積總和，歸一化後記為匹配分數。與基於ncc灰度匹配類似，計算歸一化相關係數的目的是為了消除光照變化的影響，相似度計算如下：
[0024][0025]
進一步地，所述圖像分割選擇全局閾值法對粗劃分roi進行初步的二值化分割；
[0026]
令原始圖像為f(x，y)，分割結果圖像為g(x，y)，則全局閾值法的數學表達式如下：
[0027][0028]
式中：x，y分別表示像素的橫、縱坐標，t表示設定的分割閾值。
[0029]
本技術的有益效果為：
[0030]
本技術首先採集每組pin針圖像，然後根據每組pin針圖像待匹配目標所在區域進行roi分區，並對針尖端面roi圖像粗劃分，接著對roi區域進行圖像分割處理；然後基於局部特徵進行模板匹配定位，如果匹配失敗返回定位異常結果，否則根據定位到的位置進一步獲取pin局部圓弧邊緣特徵的二值圖；再使用基於blob分析的插針檢測算法獲得pin針端面，最後計算針尖端面中心之間的間距，同時對pin針端面連線的角度進行統計分析，實現更為魯棒的pin針位置檢測；從而為解決模板匹配精度以及圖像處理速度問題。
[0031]
另外本技術提出來一種基於中值濾波的二維ostu圖像分割算法，該算法充分將中
lhr50。
[0052]
設置工位條件：如圖2所示的，
[0053]
工作距離(wd)：190mm
±
40mm
[0054]
景深(dov):40mm
±
10mm
[0055]
ccd尺寸為：3.45um*3.45um
[0056]
鏡頭焦距：16mm
[0057]
wd與視野的大小由鏡頭的焦距及ccd尺寸決定
[0058]
x方向視野為：35mm
[0059]
最小精度：0.014
[0060]
快門速度：1/500ms,相機靈敏度：4.4。
[0061]
2.像素標定：
[0062]
像素當量的標定需要藉助標定工件來進行，在對本系統的標定中，選用標準刻線尺作為標定工件，標準刻線尺的刻線間距為1mm。標定過程如下：將刻線尺放置在工作平臺上，調整相機到刻線尺距離，使該距離與測量的工作距離一致，調節環形光源到合適的亮度，採集刻線尺圖像，分別從圖像中選取五條刻線並記錄其對應的圖像坐標值，通過最小二乘法來計算像素當量，來進行系統的標定工作。
[0063]
將每條刻線的圖像縱坐標與實際刻度值記為(x，y)，那麼其存在如下線性關係：
[0064]
y＝a+bx
[0065]
其中x代表刻線的圖像縱坐標，y代表刻線的實際刻度值，式中有兩個待定參數a，b。使用最小二乘法進行參數的解算時，要求yi值的偏差平方和最小，即使得下式最小：
[0066][0067]
對a，b求偏導得到如下公式：
[0068][0069]
整理後得到方程組：
[0070][0071]
直線參數a和b的最佳估計值可由上述方程組解算：
[0072][0073]
其中b的估計值即為系統的像素當量。
[0074]
按照上述標定過程進行標定工作，採集的刻線尺寸圖像如圖3所示，對系統進行三次標定，標定結果如下。
[0075]
表1-1像素當量標定結果
ꢀꢀꢀꢀ
(單位：mm/px)
[0076]
第一次第二次第三次平均值像素當量0.016420.016410.016420.01642
[0077]
取三次標定結果的平均值0.01642mm/px作為本系統的像素當量，三次標定結果穩定，重複性好。
[0078]
1.roi匹配定位與分區
[0079]
1.1roi全局模板匹配
[0080]
本節利用基於邊緣形狀特徵的快速匹配方法檢測連接器pin針針組。形狀匹配就是按照一定的準則來衡量兩個目標之間形狀的相似程度。由圖4模板圖像可以看出，這些連接器pin針針組形狀相似性較高，每個針組區域與周圍圖像亮度有較大差異，即針組的邊緣特徵十分明顯。因此，利用所有針組圖像邊緣點及其方向向量來描述針組的形狀特徵。
[0081]
設pin針針組邊緣模板定義點集pi＝(ri，ci)
t
,利用sobel算子計算出模板中各個點對應的方向變量di＝(ti，ui)
t
,i＝1,
…
,n和待匹配圖像中每個點(r,c)的方向向量e
r,c
＝(v
r,c
,w
r,c
)
t
,為了得到精確的匹配位置，首先要對模板進行平移變換，選擇變換可以通過點p'i＝api及相應的變換後的方向向量d'i＝(a-1
)
tdi
得出，a為二階旋轉矩陣：
[0082][0083]
在搜索圖像某個特定點q＝(r,c)
t
，計算變換後模板中點的方向向量與搜索圖像中對應點的方向向量的點積總和，歸一化後記為匹配分數。與基於ncc灰度匹配類似，計算歸一化相關係數的目的是為了消除光照變化的影響，相似度計算如下：
[0084][0085]
式(2-2)中，歸一化相似性度量將返回1個小於1的數值，分值越接近1說明相似度越大，如果分值為1，則表示模板完全匹配。
[0086]
可以採取一些策略加速終止來加快匹配速度。以sj表示累計到模板的第j個元素時點積的總和，s
min
表示匹配得分閾值，
[0087]
匹配度變為：
[0088][0089]
1.2 roi粗劃分
[0090]
在連接器pin針圖像中，由於待匹配目標僅為圖像中的局部區域，如果保留過多待匹配目標之外的圖像處理速度和匹配精度，因此需要對採集到的連接器pin針圖像進行匹配目標roi粗劃分。針對電連接器pin針，選擇局部pin針斑點進行匹配定位。可選取圖像橫向截取左參數為1150，右參數為1500，粗劃分結果如圖6所示：
[0091]
1.3圖像分割
[0092]
圖像分割的主要目的是將目標與背景分割開，能夠更準確的進行匹配定位。與局部閾值相比，全局閾值法更加高效、簡單，可以更好地滿足檢測實時性的需求。因此，這裡選擇全局閾值法對粗劃分roi進行初步的二值化分割。
[0093]
令原始圖像為f(x，y)，分割結果圖像為g(x，y)，則全局閾值法的數學表達式如下：
[0094][0095]
式中：x，y分別表示像素的橫、縱坐標，t表示設定的分割閾值。
[0096]
局部pin針斑點匹配粗劃分roi的灰度直方圖如圖7所示，由於目標區域與背景區域的對比度較高，因此可以在灰度直方圖中兩個波峰之間的波谷區域選取閾值t。這裡最終選擇t＝99，對粗劃分roi原圖進行全局閾值分割，分割處理後的二值化圖像如圖8所示：
[0097]
1.4局部圓弧特徵匹配定位
[0098]
由於產品在生產過程中受熱脹冷縮影響導致產品在載盤上存在微小範圍的晃動問題，導致pin針端面roi圖像中的pin針斑點位置在水平方向上會發生小範圍內的偏移，而綠框內的局部圓弧並未發生明顯變化。
[0099]
模板匹配是指在一幅圖像中以滑窗的方式遍歷尋找與模板圖像最相似部分的方法，假設模板圖像t(m，n)在被搜索圖s(w，h)上做窗口滑動，t在s中所覆蓋的窗口即為子圖s
ij
(i、j為子圖左上角點在被搜索圖s上的坐標)。常用來衡量t和s
ij
相似性的方法是差值平方和法，數學表達式如下：
[0100][0101]
式中，m，n分別表示像素的橫、縱坐標，s
ij
(m,n)、t(m,n)為圖像中各個像素的灰度值。
[0102]
將差值平方和d(i，j)歸一化，得到模板匹配的相關係數：
[0103][0104]
差值平均和法的最佳匹配結果在r(i，j)＝0處，r(i,j)越大相似度越低。
[0105]
2.圖像預處理
[0106]
2.1圖像濾波
[0107]
pin針針組除了自身由於來料底部注塑不完整產生反射光斑現象，還存在完成注塑工藝的工件注塑面上的高光以及銅面側面金屬發光產生的反射光斑現象。這些幹擾現象
都會影響最終的圖像採集質量。根據上述圖像特點，選用雙邊濾波作為主要的圖像濾波方式，以保證在抑制圖像噪聲的同時，儘可能保留圖像中的邊緣信息。
[0108]
2.2圖像分割
[0109]
從雙邊濾波處理後的圖像可以看出，雖然圖像中的孤立噪點幹擾得到了有效抑制，但是依然存在難以處理的注塑面高光和背景幹擾。本節提出了利用基於中值濾波的二維otsu圖像分割算法進行圖像分割處理，進一步降低圖像幹擾對後續圖像分析與缺陷檢測的影響，
[0110]
3.針尖端面相對位置檢測
[0111]
針對圖13所示的針尖端面定位區域二值圖像，首先搜索圖像中5個針尖端面連通域，然後獲取各連通域外圍輪廓的垂直邊界最小矩形，即矩形與圖像上下邊界的平行的，最後以最小矩形的中心坐標作為引腳端面的中心坐標，然後以這5個坐標連線，如下圖14所示。
[0112]
(1)計算五個針尖端面y軸方向上兩兩之間的相對距離，判斷有無pin針針尖間距位置異常，數學描述為：
[0113]
distance_min《l
12
《distance_max
[0114]
distance_min《l
23
《distance_max
[0115]
distance_min《l
34
《distance_max
[0116]
distance_min《l
45
《distance_max
[0117]
式中：l
12
為第一個針尖斑點與第二個針尖斑點的連線，此後以此類推，設置的最小間距為2.35mm，最大間距為3.25mm，在此範圍內即為ok品，反之為ng品。
[0118]
(2)計算五個針尖端面x軸方向上兩兩之間的偏移距離，通過角度判斷位置異常，數學描述為：
[0119]
θ
min
《θ1《θ
max
[0120]
θ
min
《θ2《θ
max
[0121]
θ
min
《θ3《θ
max
[0122]
式中：θ1為l
12
與l
13
之間的夾角，θ2為l
12
與l
14
之間的夾角，θ3為l
12
與l
15
之間的夾角,設置的最小角度-3.1
°
,最大角度是3.1
°
，在此範圍內即為ok品，反之為ng品。
[0123]
(3)計算5個針尖x軸方向的最大橫坐標偏移量
[0124]
δ
ij
＝|x
i-xj|(i,j∈{1,2,3,4,5},且i≠j)
[0125]
式中：橫坐標最大偏移量容許偏移得的範圍為(0，2.5)，在此範圍內即為ok品，反之為ng品。
[0126]
1.本發明提供的利用ccd相機檢測連接器pin針位置偏差的方法，為解決模板匹配精度以及圖像處理速度問題，本發明設計了roi定位與分區算法。首先根據待匹配目標所在區域進行roi分區，並對roi區域進行圖像分割處理；然後基於局部特徵進行模板匹配定位，如果匹配失敗返回定位異常結果，否則根據定位到的位置進一步獲取pin局部圓弧邊緣特徵的二值圖；再使用基於blob分析的插針檢測算法獲得pin針端面，最後計算針尖端面中心之間的間距，同時對pin針端面連線的角度進行統計分析，實現更為魯棒的pin針位置檢測。
[0127]
2.本發明為解決在含噪聲較多的圖像應用中呈現圖像分割效果差的現象，提出來一種基於中值濾波的二維ostu圖像分割算法，該算法充分將中值濾波和二維otsu算法結合
起來，彌補了傳統otsu算法去噪性能不足。該算法首先利用自適應加權中值濾波對噪聲圖像進行濾波處理；然後再將濾波後的中值圖像的二維直方圖區域劃分由原來的四分法改為二分法，充分考慮了二維直方圖內的每一個像素點的信息，利用改進的二維otsu算法對圖像進行精準分割，大大降低了計算複雜度，提高了算法的實用性。
[0128]
3.本發明提出基於blob分析檢測針尖斑點，在進行blob分析前，先對原圖像進行中值濾波、簡單閾值分割等操作，得到初步分割的二值圖像，對於產生的blobs(連通區域)，其形態並不固定，包括許多幹擾噪聲斑點，因此還需要進行形態學閉合處理，填充前景區域內小的孔洞，融合狹窄間斷及細長溝壑。這樣，就可以對所有連通封閉區域進行blobs分析，獲取roi區域的特徵信息，包括面積、長寬大小、矩形度等，並把標準針尖斑點圖像的blob特徵信息進行比較，排出雜質區域。
[0129]
在本技術實施例的描述中，需要說明的是，除非另有明確的規定和限定，術語「安裝」、「相連」、「連接」應作廣義理解，例如，可以是固定連接，也可以是通過中間媒介間接相連，可以是兩個元件內部的連通或者兩個元件的相互作用關係。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本技術實施例中的具體含義。
[0130]
在本技術實施例或者暗示所指的裝置或者元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本技術實施例的限制。在本技術實施例的描述中，「多個」的含義是兩個或兩個以上，除非是另有精確具體地規定。
[0131]
本技術實施例的說明書和權利要求書及上述附圖中的術語「第一」、「第二」、「第三」、「第四」等(如果存在)是用於區別類似的對象，而不必用於描述特定的順序或先後次序。應該理解這樣使用的數據在適當情況下可以互換，以便這裡描述的本技術實施例的實施例例如能夠以除了在這裡圖示或描述的那些以外的順序實施。此外，術語「可以包括」和「具有」以及他們的任何變形，意圖在於覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元，而是可可以包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
[0132]
最後應說明的是：以上各實施例僅用以說明本技術實施例的技術方案，而非對其限制。儘管參照前述各實施例對本技術實施例進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分或者全部技術特徵進行等同替換。而這些修改或者替換，並不使相應技術方案的本質脫離本技術實施例各實施例技術方案的範圍。