一種印刷電路板貼片缺陷檢測方法與流程
2024-04-04 02:42:05
本發明涉及機器視覺領域和印刷電路板檢測領域,尤其涉及一種基於機器視覺技術的印刷電路板貼片缺陷檢測方法。
背景技術:
電路板是現代工業產品的重要組成部分,印刷電路板的製作工藝中,產品檢測是重要的工序之一。貼片是現代電路板實現功能的基本單元之一。當前貼片的發展趨勢是精密化和小型化,需要準確、高效率的印刷電路板(PCB)的檢測方法。
普通相機拍攝的圖片為二維圖像,但是貼片兩端焊錫的表層性質是三維的檢測目標。現代PCB檢測行業廣泛採用RGB三色光源照射貼片,對不同傾斜度的焊錫反射不同的色彩,從而反應了焊錫表面性質。
印刷電路板貼片在貼片位置、角度、焊點形狀等特徵上存在著細微的差別,但是相對於貼片的尺寸,這種細微差別的影響是不可忽略的。而傳統的圖像識別方法,如圖像對比法,對細微差別過於敏感,容易造成誤判。但另一些形態學的圖像識別算法,如小波變換、哈夫變換,則存在計算量大,受背景幹擾影響大等缺點,檢測結果不能完全滿足要求。
基於上述問題,本發明提出了一種檢測貼片缺陷的方法,使用RGB三色光源照射焊錫獲取的圖像進行圖像識別,可以檢測貼片常見缺陷,如缺件、錯件、元件偏移、立碑、焊點缺陷等。使用者使用模板貼片,根據算法程序計算閾值,可實現貼片缺陷的檢測。
技術實現要素:
本發明是一種印刷電路板貼片缺陷檢測方法,主要解決在標準工業檢測平臺環境下,印刷電路板貼片缺陷的識別問題,可以檢測缺件、錯件、元件偏移、立碑、焊點缺陷等缺陷。
本發明的目的是通過以下技術方案實現的:
一種印刷電路板貼片缺陷檢測方法,包括如下步驟:
1)貼片定位和尺寸計算:
1a)根據PCB貼片位置信息,通過圖像定位技術,定位整體貼片位置並截取貼片圖像;分離圖像紅色通道,對分離出的紅色通道圖像進行二值化操作,選取指標閾值,並對圖像進行一次去噪聲處理。
1b)根據上述貼片位置與圖像的紅色分量,使用選取的指標閾值,利用閾值分割技術,分割出貼片兩端焊點的紅色區域,即為平坦區域。
1c)對分割出的區域內的所有連通區域進行標記,左側白色區域記為1區,右側白色區域記為2區;1區的水平和垂直坐標中最小值和最大值分別記為minx1、miny1、maxx1、maxy1;2區的水平和垂直坐標中最小值和最大值分別記為minx2、miny2、maxx2、maxy2;根據公式1分別計算指標t1、t2、t3、t4、t5、t6,並與對應的指標上限閾值和指標下限閾值進行比較。
如果指標在指標上限閾值和指標下限閾值的範圍內,則判定貼片尺寸正確,否則記錄為不符合指標閾值上下限的項目。
1d)根據圖像左上角和右下角的角點坐標,進行圖像截取,截取方法為:以圖像左上角作為坐標系原點,橫坐標為y方向,裁剪後的貼片y方向長度為y1;縱坐標為x方向,裁剪後的貼片x方向長度為x1;其中,截取的角點坐標選取(miny1-2,minx1-2)和(maxy2+2,maxx2+2),截取區域面積為(maxy2-miny1+4)×(maxx2-minx1+4)。
2)貼片區域色彩分析:
2a)從步驟1d)截取後的貼片圖像上截取6塊特徵區域,分別記為區域A、區域B、區域C、區域D、區域E、區域F,記錄截取的區域起始點坐標和面積。
2b)對步驟2a)中6塊特徵區域分別進行色彩分析,採用區域內像素點紅色分量的平均值(mcol)作為指標,公式如下:
其中,col為區域內每個像素點紅色分量值;n為區域內像素點個數。
根據公式2計算出每塊區域紅色分量平均值。
當每塊區域內像素點紅色分量平均值(mcol)均符合紅色分量上限閾值和紅色分量下限閾值時,則判定焊點無缺陷;如果出現不符合紅色分量上限閾值和紅色分量下限閾值的情況,則判定焊點有缺陷,並記錄缺陷區域。
3)貼片型號識別:
3A.數字識別:在完成貼片區域色彩分析中的焊點檢測後,進行數字識別。
3a)在步驟1d)中截取後的貼片圖像的基礎上,根據模板圖像的尺寸在待測圖像中截取數字區域圖像;對數字區域圖像進行二值化處理,確定指標閾值,並對圖像進行一次去噪聲處理。
3b)使用區域標記的方法,將圖像中三個數字區域分別標記為1』區、2』區、3』區。計算每個連通域的y、x坐標值中最大和最小值,記為(max1』y,max1』x)、(max2』y,max2』x)、(max3』y,max3』x)、(min1』y,min1』x)、(min2』y,min2』x)、(min3』y,min3』x);根據對應的y、x坐標的最大值和最小值作為左上角和右下角坐標截取對應的數字區域;截取的數字區域大於計算得到的區域;對於連通域標記為1』的區域,角點坐標為(max1』y+2,max1』x+2)和(min1』y-2,min1』x-2);對於連通域標記為2』的區域,角點坐標為(max2』y+2,max2』x+2)和(min2』y-2,min2』x-2);對於連通域標記為3』的區域,角點坐標為(max3』y+2,max3』x+2)和(min3』y-2,min3』x-2)。
取圖像的左上、左下、右上、右下的白色區域,分別標記為A』、B』、C』、D』,每個區域白色像素點數量分別記作NA』、NB』、NC』、ND』。
然後,對單個數字圖像進行識別;以數字區域為背景的圖像中連通域數量為指標對圖像可能表徵的數字進行分類,分類方法如下:
3b1)若連通域數量為3,則圖像表徵的數字為8;
3b2)若連通域數量為2,則圖像表徵的數字為9、6、0之一,此時進行進一步數字識別,將NA』、NB』、NC』、ND』與公式3-5的模板閾值相比較,從而判斷圖像表徵的數字,具體判斷流程為:當NA』、NB』、NC』、ND』符合公式3時,則判定數字為9;當NA』、NB』、NC』、ND』不符合公式3而符合公式4時,則判定數字為6;當NA』、NB』、NC』、ND』不符合公式3和4而符合公式5時,則判定數字為0。
其中,公式3、4、5如下:
(NA』+NC』+ND』)/3-NB』>φ1 公式3
(NA』+NB』+ND』)/3-NC』>φ2 公式4
|NA』-(NA』+NB』+NC』+ND』)|+|NB』-(NA』+NB』+NC』+ND』)|+|NC』-(NA』+NB』+NC』+ND』)|+|ND』-(NA』+NB』+NC』+ND』)|>φ3
公式5
其中,φ1、φ2、φ3分別為公式3、4、5的模板閾值。
根據上述流程及公式,依次通過模板匹配判斷數字是否為9、6、0;如果上述公式均不滿足,則判定圖像無法識別。
3b3)若連通域數量為1,則圖像表徵的數字為1、2、3、4、5、7之一,此時進行進一步數字識別,將圖像寬度以及NA』、NB』、NC』、ND』與公式6-12的模板閾值相比較,從而判斷圖像表徵的數字,具體判斷流程為:
當圖像寬度符合公式6時,則判定數字為1;當圖像寬度不符合公式6時,根據NA』、NB』、NC』、ND』繼續進行判斷;當NC』符合公式7時,繼續判斷NA』、NC』、ND』是否符合公式8;當NA』、NC』、ND』符合公式8時,則判定數字為4;當NA』、NC』、ND』不符合公式8而符合公式9時,則判定數字為7;當NC』符合公式7而NA』、NC』、ND』不符合公式8和公式9時,則圖像未能識別。
當NC』不符合公式7時,繼續判斷NA』、NC』、ND』是否符合公式10;符合公式10時,則判定數字為5;當NA』、NC』、ND』不符合公式10而NA』、NB』、NC』、ND』符合公式11時,則判定數字為2;當NA』、NB』、NC』、ND』不符合公式10和公式11而符合公式12時,則判定數字為3;當NA』、NB』、NC』、ND』不符合公式7、公式10、公式11和公式12時,則圖像未能識別。
其中公式6-12如下:
width<η1 公式6
NC』<η2 公式7
|NA』-(NA』+NC』+ND』)/3|η4 公式9
|NA』-(NA』+NC』+ND』)/3|η6 公式11
NB』+ND』-NA』-NC』>η7 公式12
其中,width為圖像寬度;η1、η2、η3、η4、η5、η6、η7分別為公式6到公式12的模板閾值。
根據上述流程及公式,依次通過圖像寬度計算、模板匹配等步驟,判斷數字是否是1、2、3、4、5、7;如果上述公式均不滿足,則判定圖像無法識別。
3B.與模板數字進行比對,判定數字是否正確,從而判定元件型號是否正確。
所述的一種印刷電路板貼片缺陷檢測方法的貼片型號識別步驟中數字識別次數為每個數字重複識別三次。
所述的一種印刷電路板貼片缺陷檢測方法的二值化操作採用雙峰法,指標閾值與模板閾值確定方法採用正態分布法。
本發明的有益效果在於:
本方法適應性較強,可檢測貼片缺陷種類比較全面。
本方法使用符合閾值條件的像素點個數的位置、色彩和數量為基礎進行識別,使用較少的計算量實現了識別算法。
本方法簡便,按照流程分別對元件整體、焊點、和貼片數字進行識別,檢測項目全面,可以適應不同的檢測工況,可針對不同的貼片設計檢測程序。
附圖說明
圖1是本發明的硬體設備組成示意圖;
圖2是本發明一種印刷電路板貼片缺陷檢測方法的流程圖;
圖3是本發明待處理貼片圖像;
圖4是本發明待處理圖像分割後的紅色區域圖像;
圖5是本發明待處理圖像裁剪後貼片圖像;
圖6是本發明待處理貼片特徵區域圖像;
圖7是本發明待處理圖像裁剪後的數字區域圖像;
圖8是本發明數字識別流程圖;
圖9是本發明待處理圖像數字區域圖像截取後的區域示意圖;
圖10是本發明印刷體數字角點典型圖例;
圖11是本發明數字識別流程中連通域為2時的檢測流程圖;
圖12是本發明數字識別流程中連通域為1時的檢測流程圖;
圖13是本發明二值化操作雙峰法示意圖;
圖14是本發明實施例待處理貼片特徵區域圖像;
圖15是本發明實施例待處理圖像分割後的紅色區域圖像;
圖16是本發明實施例待處理貼片特徵區域圖像;
圖17是本發明實施例待處理圖像數字區域圖像截取後的區域示意圖。
附圖標記
11 計算機 12 工業相機
13 遠心鏡頭 14 光源
1 連通區域1區 2 連通區域2區
A 特徵區域A B 特徵區域B
C 特徵區域C D 特徵區域D
E 特徵區域E F 特徵區域F
1』 數字區域1』 2』 數字區域2』
3』 數字區域3』 A』 截取的白色區域A』
B』 截取的白色區域B』 C』 截取的白色區域C』
D』 截取的白色區域D』 15 工作檯
具體實施方式
下面結合附圖和實施例,對本發明的具體實施方式作進一步詳細描述。
本發明的重點為缺陷識別方法,基於Blob分析法和色彩分析法,通過對相關目標的尺寸、像素點數量、顏色分量值等特徵的分析,使用正態分布模型基於多幅模板圖像計算相關閾值,然後將待檢測目標與相關閾值進行比對,通過特徵匹配的方法,識別貼片缺陷。
本發明的硬體設備組成如圖1所示,使用計算機11通過千兆網控制工業相機12對印刷電路板進行圖像採集。工業相機12連接遠心鏡頭13。光源14使用獨立光源控制機進行控制,為AOI檢測專用的RGB環形光源,照射到焊錫表面可以使得不同傾斜角的平面反射紅、綠、藍三種顏色的光。
本發明的硬體設備工作過程:
(1)裝置調試:調節工業相機12相關參數(白平衡,曝光時間)和光源光照顏色組合(本發明中通過RGB三種顏色的組合將視野中心區域顏色調節成白色);
(2)將待測PCB貼片置於工作檯15上,與其上方的光源14對應。使用計算機控制工業相機12採集PCB貼片圖像並存儲於計算機11中;
(3)進行圖像處理,識別貼片缺陷。
如圖2所示,本發明一種印刷電路板貼片缺陷檢測方法,包括如下步驟:
1)貼片定位和尺寸計算:
待測貼片如圖3所示。
1a)根據PCB貼片位置信息,通過圖像定位技術,定位整體貼片位置並截取貼片圖像。分離圖像紅色通道,對分離出的紅色通道圖像進行二值化操作,選取指標閾值,並對圖像進行一次去噪聲處理。
其中,二值化操作採用雙峰法,指標閾值確定方法採用正態分布法。
二值化操作採用雙峰法:
圖13為圖像某顏色通道或灰度的坐標圖,其中,x軸表徵色彩分量值,y軸表徵圖像中對應x軸色彩分量的像素點的數量,分割閾值選擇背景和前景雙峰之間的最低點,即像素數量最少的點。
優選地,上述二值化操作的二值化閾值為0.233×255。
指標閾值確定方法採用正態分布法:
(1)選擇多個模板圖像,使用算法計算閾值判別處的樣本值(a1,a2,a3……an)(可以是尺寸,也可以是符合條件的點的數量);
(2)使用正態分布模型,計算正態分布的均值μ和方差ε;
(3)分析待檢測圖像,計算出指標閾值判別處數值a,並與正態分布模型比較,如a落在u±3ε範圍內,則判定符合指標閾值條件,否則,判定此處計算指標不符合指標閾值。
1b)根據上述貼片位置與圖像的紅色分量,使用選取的指標閾值,利用閾值分割技術,分割出貼片兩端焊點的紅色區域,即為平坦區域。分割後的紅色區域如圖4所示。
1c)對分割出的區域內的所有連通區域進行標記,左側白色區域記為1區,右側白色區域記為2區。1區的水平和垂直坐標中最小值和最大值分別記為minx1、miny1、maxx1、maxy1;2區的水平和垂直坐標中最小值和最大值分別記為minx2、miny2、maxx2、maxy2。然後根據公式1分別計算指標t1、t2、t3、t4、t5、t6,並與對應的指標上限閾值和指標下限閾值進行比較,如果指標在指標上限閾值和指標下限閾值的範圍內,則判定貼片尺寸正確,否則記錄為不符合指標閾值上下限的項目。
1d)根據圖像左上角和右下角的角點坐標,進行圖像截取,截取方法為:以圖像左上角作為坐標系原點,橫坐標為y方向,裁剪後的貼片y方向長度為y1,縱坐標為x方向,裁剪後的貼片x方向長度為x1。截取後貼片圖像如圖5所示。基於算法魯棒性考慮,其中,截取的角點坐標選取(miny1-2,minx1-2)和(maxy2+2,maxx2+2),截取區域面積為(maxy2-miny1+4)×(maxx2-minx1+4)。
2)貼片區域色彩分析
2a)如圖6所示,從步驟1d)截取後的貼片圖像上截取6塊特徵區域,分別記為區域A、區域B、區域C、區域D、區域E、區域F,記錄截取的區域起始點坐標和面積。截取的圖片起始點和面積如表1所示。
表1圖像典型區域截取的起始點和面積截取方法
2b)對步驟2a)中的6塊特徵區域分別進行色彩分析,採用區域內像素點紅色分量的平均值(mcol)作為指標,公式如下:
其中,col為區域內每個像素點紅色分量值;n為區域內像素點個數。
根據公式2計算出每塊區域紅色分量平均值。紅色分量閾值確定方法採用正態分布法,與指標閾值的確定步驟相同。
當每塊區域內像素點紅色分量平均值(mcol)均符合紅色分量上限閾值和紅色分量下限閾值時,則判定焊點無缺陷;如果出現不符合紅色分量上限閾值和紅色分量下限閾值的情況,則判定焊點有缺陷,並記錄缺陷區域。
3)貼片型號識別:
3A.數字識別:在完成貼片區域色彩分析中的焊點檢測後,進行數字識別,數字識別流程圖如圖8所示。
3a)在步驟1d)中截取後的貼片圖像的基礎上,根據模板圖像的尺寸在待測圖像中截取數字區域圖像,截取後的數字區域圖像如圖7所示。對數字區域圖像進行二值化處理,確定指標閾值,並對圖像進行一次去噪聲處理。
其中,二值化處理和指標閾值的確定方法與步驟1a)中相同。
3b)使用區域標記的方法,將圖像中數字區域分別標記。如圖7所示,三個數字區域標記為1』區、2』區、3』區。計算每個連通域的y、x坐標值中的最大和最小值,記為(max1』y,max1』x)、(max2』y,max2』x)、(max3』y,max3』x)、(min1』y,min1』x)、(min2』y,min2』x)、(min3』y,min3』x)。根據對應的y、x坐標的最大值和最小值作為左上角和右下角坐標截取對應的數字區域。考慮到算法魯棒性,截取的數字區域大於計算得到的區域。如圖9所示,對於連通域標記為1』的區域,角點坐標為(max1』y+2,max1』x+2)和(min1』y-2,min1』x-2);對於連通域標記為2』的區域,角點坐標為(max2』y+2,max2』x+2)和(min2』y-2,min2』x-2);對於連通域標記為3』的區域,角點坐標為(max3』y+2,max3』x+2)和(min3』y-2,min3』x-2)。
截取圖9中圖像的左上、左下、右上、右下的白色區域,分別標記為A』、B』、C』、D』,截取方法如下:如圖9所示,以圖像左上角作為坐標系原點,橫坐標為y方向,裁剪後的貼片y方向長度為y2,縱坐標為x方向,裁剪後的貼片x方向長度為x2,剪裁區域的起始點坐標以及面積如表2所示:
表2剪裁區域的起始點坐標以及面積
每個區域白色像素點數量分別記作NA』、NB』、NC』、ND』。
由印刷體數字的形狀特徵可知,數字圖像的四個角可能出現的形狀為如圖10所示的三種類型:a型、b型和c型,按白色像素點的數量排序,c型最多,b型次之,a型最少。不同類型的角點間白色像素點數量相差較大,而相同類型的角點之間的白色像素數量差別較小。
然後,對單個數字圖像進行識別。以數字區域為背景的圖像中連通域數量n為指標(例如,圖9中,數字是0,連通域數量則為2),對圖像可能表徵的數字進行分類,分類方法如下:
3b1)若連通域數量n為3,則圖像表徵的數字為8;
3b2)若連通域數量n為2,則圖像表徵的數字為9、6、0之一,此時進行進一步數字識別,流程如圖11所示,將NA』、NB』、NC』、ND』與公式3-5的模板閾值相比較,從而判斷圖像表徵的數字,具體判斷流程為:當NA』、NB』、NC』、ND』符合公式3時,則判定數字為9;當NA』、NB』、NC』、ND』不符合公式3而符合公式4時,則判定數字為6;當NA』、NB』、NC』、ND』不符合公式3和4而符合公式5時,則判定數字為0。
其中,公式3、4、5如下:
(NA』+NC』+ND』)/3-NB』>φ1 (公式3)
(NA』+NB』+ND』)/3-NC』>φ2 (公式4)
|NA』-(NA』+NB』+NC』+ND』)|+|NB』-(NA』+NB』+NC』+ND』)|+|NC』-(NA』+NB』+NC』+ND』)|+|ND』-(NA』+NB』+NC』+ND』)|>φ3
(公式5)
其中,φ1、φ2、φ3,分別為公式3、4、5的模板閾值。模板閾值確定方法採用正態分布法,與指標閾值的確定步驟相同。
根據上述流程及公式,依次通過模板匹配判斷數字是否為9、6、0。如果上述公式均不滿足,則判定圖像無法識別。
3b3)若連通域數量n為1,則圖像表徵的數字為1、2、3、4、5、7之一,此時進行進一步數字識別,流程如圖12所示,將圖像寬度以及NA』、NB』、NC』、ND』與公式6-12的模板閾值相比較,從而判斷圖像表徵的數字,具體判斷流程為:
當圖像寬度符合公式6時,則判定數字為1;當圖像寬度不符合公式6時,根據NA』、NB』、NC』、ND』繼續進行判斷;當NC』符合公式7時,繼續判斷NA』、NC』、ND』是否符合公式8;當NA』、NC』、ND』符合公式8時,則判定數字為4;當NA』、NC』、ND』不符合公式8、符合公式9時,則判定數字為7;當NC』符合公式7而NA』、NC』、ND』不符合公式8和公式9時,則圖像未能識別。
當NC』不符合公式7時,繼續判斷NA』、NC』、ND』是否符合公式10;符合公式10時,則判定數字為5;當NA』、NC』、ND』不符合公式10而NA』、NB』、NC』、ND』符合公式11時,則判定數字為2;當NA』、NB』、NC』、ND』不符合公式10和公式11而符合公式12時,則判定數字為3;當NA』、NB』、NC』、ND』不符合公式7、公式10、公式11和公式12時,則圖像未能識別。
其中公式6-12如下:
width<η1 (公式6)
NC』<η2 (公式7)
|NA』-(NA』+NC』+ND』)/3|η4 (公式9)
|NA』-(NA』+NC』+ND』)/3|η6 (公式11)
NB』+ND』-NA』-NC』>η7 (公式12)
其中,width為圖像寬度;η1、η2、η3、η4、η5、η6、η7分別為公式6到公式12的模板閾值。模板閾值確定方法採用正態分布法,與指標閾值的確定步驟相同。
根據上述流程及公式,依次通過圖像寬度計算、模板匹配等步驟,判斷數字是否是1、2、3、4、5、7。如果上述公式均不滿足,則判定圖像無法識別。
3B.根據上述流程,每個數字重複識別三次,分別對圖7的三個數字識別,然後與模板數字進行比對,判定數字是否正確,從而判定元件型號是否正確。
最終,經過貼片定位和尺寸計算、貼片區域色彩分析、貼片型號識別三個步驟,完成對貼片的檢測。
實施例
以下通過具體實施例說明本發明的實施過程:
按照如圖2所示的一種印刷電路板貼片缺陷檢測方法,經過貼片定位和尺寸計算、貼片區域色彩分析、貼片型號識別三個步驟,實現貼片缺陷檢測。
本實施例檢測對象是尺寸0402(公制)、貼片型號數字為「002」的貼片,如圖14所示。檢測步驟如下:
1)貼片定位和尺寸計算:
1a)根據PCB貼片位置信息,通過圖像定位技術,定位整體貼片位置並截取貼片圖像。分離圖像紅色通道,對分離出的紅色通道圖像進行二值化操作,選取指標閾值,並對圖像進行一次去噪處理。
其中,二值化操作採用雙峰法,指標閾值確定方法採用正態分布法。
二值化操作採用雙峰法:
圖13為圖像某顏色通道或灰度的坐標圖,其中,x軸表徵色彩分量值,y軸表徵圖像中對應x軸顏色分量的像素點的數量,分割閾值選擇背景和前景雙峰之間的最低點,即像素數量最少的點。
優選地,所述二值化閾值選擇為0.233×255。
指標閾值確定方法採用正態分布法:
(1)選擇多個模板圖像,使用算法計算閾值判別處的樣本值(a1,a2,a3……an)(可以是尺寸,也可以是符合條件的點的數量);
(2)使用正態分布模型,計算正態分布的均值μ和方差ε;
(3)分析待檢測圖像,計算出指標閾值判別處數值a,並與正態分布模型比較,如a落在u±3ε範圍內,則判定符合指標閾值條件,否則,判定此處計算指標不符合指標閾值。
1b)根據上述貼片位置與圖像的紅色分量,使用選取的指標閾值,利用閾值分割技術,分割出貼片兩端焊點的紅色區域,即為平坦區域。
1c)對分割出的區域內的所有連通區域進行標記,左側白色區域記為1區,右側白色區域記為2區。1區的水平和垂直坐標中最小值和最大值分別記為minx1、miny1、maxx1、maxy1;2區的水平和垂直坐標中最小值和最大值分別記為minx2、miny2、maxx2、maxy2。然後根據公式1分別計算指標t1、t2、t3、t4、t5、t6,並與對應的指標上限閾值和指標下限閾值進行比較,如果指標在指標上限閾值和指標下限閾值的範圍內,則判定貼片尺寸正確,否則記錄為不符合指標閾值的項目。
本例中使用50幅模板圖像為樣本,基於正態分布模型,計算出的指標閾值和計算值如表3。
表3指標閾值
1d)根據圖像左上角和右下角的角點坐標,進行圖像截取,截取方法如表1所示。截取後貼片圖像如圖14所示。基於算法魯棒性考慮,其中,截取的角點坐標選取(miny1-2,minx1-2)和(maxy2+2,maxx2+2),截取區域面積為(maxy2-miny1+4)×(maxx2-minx1+4),圖像長和寬記錄為y1、x1。本例中y1是271,x1是55。
2)貼片區域色彩分析:
2a)如圖16所示,從步驟1d)截取後的貼片圖像上截取6塊特徵區域,分別記為區域A、區域B、區域C、區域D、區域E、區域F。本例中截取的區域起始點和面積如表4所示。
表4圖像典型區域截取的起始點和面積
2b)對上述6塊特徵區域分別進行色彩分析。
根據公式2計算出每塊區域紅色分量平均值。本例中使用50幅模板圖像為樣本,基於正態分布模型,計算出的紅色分量閾值和平均值如表5。
表5特徵區域紅色分量閾值和平均值
*註:本例中E區和F區僅使用圖像紅色分量上限閾值進行判斷
由表3可知,本例每塊區域內像素點紅色分量平均值(mcol)均符合紅色分量上限閾值和紅色分量下限閾值,因此可判定焊點無缺陷。
3)貼片型號識別:
3A.數字識別:在完成貼片區域色彩分析中的焊點檢測後,進行數字識別,數字識別流程如圖8所示。
3a)在步驟1d)中截取後的貼片圖像的基礎上,根據模板圖像的尺寸在待測圖像中截取數字區域圖像。對數字區域圖像進行二值化處理,確定指標閾值,本實施例中的指標閾值為57,並對圖像進行一次去噪聲處理。
其中,二值化處理和指標閾值的確定方法與步驟1a)中相同。
然後,使用區域標記的方法,將圖像中數字區域分別標記。如圖17所示,三個數字區域標記為1』區、2』區、3』區。計算每個連通域的y、x坐標值中最大和最小值,記錄為(max1』y,max1』x)、(max2』y,max2』x)、(max3』y,max3』x)、(min1』y,min1』x)、(min2』y,min2』x)、(min3』y,min』3x)。本例中依次為(53,113),(117,113),(182,113),(3,21),(64,18),(128,18)。根據對應的y、x坐標的最大值和最小值作為左角上和右下角坐標截取對應的數字區域。考慮到算法魯棒性,截取的數字區域比計算得到的區域略大。對於連通域標記為1』的區域,角點坐標為(max1』y+2,max1』x+2)和(min1』y-2,min1』x-2);對於連通域標記為2』的區域,角點坐標為(max2』y+2,max2』x+2)和(min2』y-2,min2』x-2);對於連通域標記為3』的區域,角點坐標為(max3』y+2,max3』x+2)和(min3』y-2,min3』x-2);本例中1』區域角點坐標為(55,115)和(1,19);2』區域角點坐標為(119,115)和(62,16);3』區域角點坐標為(184,115)和(126,16),根據上述角點坐標進行圖像截取。
取圖像的左上、左下、右上、右下的白色區域,分別標記為A』、B』、C』、D』,每個區域白色像素點數量分別記作NA』、NB』、NC』、ND』。截取規則如表2。本實施例中,貼片包含三個數字,y2分別為52、53、54;x2分別為94、95、95。各個數字圖像的截取起始點坐標和面積如表6-8。
表6第一個數字「0」的圖像截取起始點坐標和面積
表7第二個數字「0」的圖像截取起始點坐標和面積
表8第三個數字「2」的圖像截取起始點坐標和面積
由印刷體數字的特徵可知,圖像的四個角的可能形狀分為如圖10所示的三種類型:a型、b型和c型,按白色像素點的數量排序,c型最多,b型次之,a型最少。不同類型的角點間白色像素點數量相差較大,而相同類型的角點之間的白色像素數量差別較小。本實施例中,各數字對應的白色像素點個數如表9。
表9不同數字白色區域的白色像素點數量
然後,對單個數字圖像進行識別。以數字區域為背景的圖像中連通域數量為指標。
本例中,貼片數字分別為「0」、「0」和「2」,因此連通域n分別為2、2和1。
當連通域數量為2時,根據流程圖11進一步判斷數字。
本例中使用50幅模板圖像為樣本,基於正態分布模型,計算出的模板閾值如表10(僅計算所需的單側閾值)。
表10連通域數量為2時的模板閾值
由公式3、公式4和公式5可知,白色區域的白色像素點數量(NA』、NB』、NC』、ND』)與模板閾值的關係不滿足公式3和公式4,滿足公式5,則可判斷數字圖像為「0」。
當連通域數量為1時,根據圖12進一步判斷數字。本例中使用50幅模板圖像為樣本,基於正態分布模型,計算出的模板閾值如表11(僅計算所需的單側閾值)。
表11連通域數量為1時的模板閾值
由公式6-12可知,白色區域的圖像寬度不滿足公式6、白色像素點數量(NA』、NB』、NC』、ND』)與模板閾值的關係不滿足公式7以及公式10,滿足公式11,則可判斷數字圖像為「2」。
根據上述流程,每個數字重複識別三次,分別對圖17的三個數字識別,然後與模板數字閾值進行比對,判定數字是否正確,從而判定元件型號是否正確。
最終,經過貼片定位和尺寸計算、貼片區域色彩分析、貼片型號識別三個步驟,實現對貼片的檢測。