一種泡沫鎳表面缺陷的檢測方法與流程

2024-03-31 04:18:05

本發明涉及圖像識別處理技術領域，尤其是涉及一種泡沫鎳表面缺陷的檢測方法。

背景技術：

泡沫鎳是通過對鎳金屬進行一系列物理化學加工後得到的一種新型功能材料，作為車用電池的基材，泡沫鎳對電池性能的影響極大。泡沫鎳表面呈銀灰色的金屬光澤，形態類似於金屬海綿，質量上要求表面平整、無劃傷、無裂紋、無破損、無油汙和無氧化。

然而，在泡沫鎳製備過程中，由於原料，加工工藝(PVD、電鍍、燒結等)等方面因素，導致泡沫鎳表面出現汙染，壓痕，摺痕，鎳皮，裂紋，劃線，漏鍍等多種不同類型的缺陷，這些缺陷嚴重影響最終成品的性能和質量。比如，圖1A給出了無表面缺陷的泡沫鎳表面示意圖，泡沫鎳的表面平整、無劃傷、無裂紋、無破損、無油汙和無氧化；圖1B給出了表面有裂紋缺陷的泡沫鎳表面示意圖，裂紋指泡沫鎳的表面紋理存在肉眼明顯可見或輕施外力可見的斷裂情況；圖1C給出了表面有漏鍍缺陷的泡沫鎳表面示意圖，漏鍍缺陷為泡沫鎳製備過程中電鍍工藝不合格的反應；圖1D給出了表面有汙染缺陷的泡沫鎳表面示意圖，汙染缺陷時泡沫鎳表面受油、塵、蚊蠅或爐膛內冷凝水等其他物質沾汙而引起的表面局部顏色變化。

目前對泡沫鎳表面缺陷的檢測和識別主要採用人工檢測手段，即在製備過程中操作人員通過肉眼觀察傳送帶上的泡沫鎳，憑經驗對泡沫鎳的缺陷進行人工判決，進而進行相應的手動處理。該方式存在勞動強度大，效率低，主觀性強和檢錯率高。由於質量檢測分析滯後，也難以有效在線優化泡沫鎳的生產過程。

技術實現要素：

本發明提出一種泡沫鎳表面缺陷的檢測方法，利用圖像處理技術準確提取泡沫鎳表層視覺特徵，進而完成過程泡沫鎳表面缺陷的識別判斷，以解決目前依靠人工視覺檢測存在漏檢、準確率不高等缺陷。

一種泡沫鎳表面缺陷的檢測方法，其包括：

步驟S1.獲取泡沫鎳表面圖像，進行下採樣處理得到圖像A；

步驟S2.對圖像A進行NSCT變換，得到若干子圖像；

步驟S3.對子圖像在多個方向上求取灰度共生矩陣GLCM，並計算Haralick特徵統計量得到特徵統計向量；

步驟S4.採用KPCA對特徵統計向量進行降維處理；

步驟S5.將降維後的特徵統計向量作為模型輸入，採用最優有向無環圖支持向量機DAG-SVM算法對泡沫鎳的表面缺陷進行識別。

其中，步驟S5具體包括：

步驟S51.計算不同類別樣本的重心

步驟S52.計算每個類別的重心到其他類重心的距離的均值

步驟S53.對各類別計算的距離按從大到小順序進行排列得到新類別序列；

步驟S54.對新類別序列按照平均距離從大到小，以數列的兩端為起始位置交替地向中間排列，得到最優排序序列，使得最優序列中越靠近數列兩端的類別平均距離越大，越靠近中間位置的類別平均距離越小；

步驟S55.根據最優排序序列生成最優有向無環圖多分類器，實現多類別的區分；

其中，M表示泡沫鎳表面缺陷的類別數量，N為每類缺陷的樣本個數，(也就是每類缺陷圖像數目)。xik表示第i類中第k個樣本的特徵統計向量，k＝1,2,…N。

其中，步驟S2是對圖像A進行三級NSCT變換，得到得到21個子圖像。

其中，步驟S3是選取像素間的距離度量d＝5，分別對其計算0°、45°、90°及135°四個方向上求取灰度共生矩陣GLCM。

其中，Haralick特徵統計量包括熵S、逆差矩D、能量E和對比度I；

其中，從圖像f(m,n)中灰度為u的像素出發，與偏角θ、距離為d、灰度為v的像素m+Δm,n+Δn同時出現的概率為P(u,v,d,θ)，

P(u,v,d,θ)＝{(m,n)|f(m,n)＝u,

f(m+d cosθ,n+d sinθ)＝v}

u,v＝0,1,…L-1,L

L是圖像f(m,n)的灰度級數，θ為兩像素順時針與m軸的夾角，其取值通常為0°、45°、90°和135°；d表示2個像素之間的距離；P稱為空間灰度相關矩陣。

與現有技術相比，本發明具有如下有益效果：

本申請提出了一種基於多尺度紋理分析的泡沫鎳表面缺陷特徵提取方法。首先採用非下採樣Contourlet變換對泡沫鎳圖像進行多尺度幾何分解，利用分解後得到的低頻分量和各高頻分量表徵不同缺陷的細節信息；然後計算各子帶上度量泡沫鎳圖像紋理信息的Haralick特徵值。最後分別採用KPCA和最優有向無環圖支持向量機(Directed acyclic graph-SVM,DAG-SVM)進行特徵數據的降維和缺陷分類識別，為泡沫鎳生產過程的自動檢測和優化控制奠定基礎。通過實驗表明，對現場採集到的泡沫鎳表面圖像樣本進行試驗，結果表明本申請能夠提取到不同細節上的紋理信息，使缺陷的識別率達到85％以上，能夠有效的識別泡沫鎳表面缺陷，為類似工業過程提供借鑑。

附圖說明

圖1A、圖1B、圖1C和圖1D分別是無表面缺陷的泡沫鎳表面示意圖、表面有裂紋缺陷的泡沫鎳表面示意圖、表面有漏鍍缺陷的泡沫鎳表面示意圖以及表面有汙染缺陷的泡沫鎳表面示意圖。

圖2是本發明的流程示意圖。

具體實施方式

由於泡沫鎳表面呈銀灰色的金屬光澤，形態類似於金屬海綿，質量上要求表面平整、無劃傷、無裂紋、無破損、無油汙和無氧化。從不同缺陷的成因其表徵可知，缺陷信息表現為複雜的紋理狀，因此有效的提取泡沫鎳紋理特徵是缺陷識別的基礎。本申請是通過提取泡沫鎳表面的紋理特徵作為識別泡沫鎳表面的依據。

結合圖2所示，本發明的一個實施方式包括如下實現步驟：

步驟S1.獲取泡沫鎳表面圖像，進行下採樣處理得到圖像A。

下採樣是為了降低原始圖像的解析度，在低解析度下可以降低後續圖像處理的計算量。假設原始圖像可能是4096×4096像素大小的，也可能2048×2048像素大小的，無論原始圖像的解析度大小都對其進行下採樣，下採樣為128像素×128像素的解析度以方便進行一下步處理。

步驟S2.對經過下採樣處理得到圖像A進行多尺度NSCT變換(即非下採樣Contourlet變換)，將NSCT變換分解得到的各子圖像用係數矩陣表示。

NSCT是Cunha等於2006年提出的一種圖像二維表示方法，是一種多尺度，多方向的過完備圖像表示方法，可以準確地捕捉圖像中的邊緣輪廓信息和紋理細節信息，適於表達具有豐富細節及方向信息的多傳感器圖像。

Contourlet變換濾波器組結構由拉普拉斯塔式濾波器(LP)和方向濾波器(DFB)兩部分組成。為了保持Contourlet變換的頻帶分割特性，並使其具有平移不變性，NSCT去掉了Contourlet兩級變換中的下採樣過程，構造了相應的非下採樣濾波器。NSCT包括非下採樣的塔形分解(NSP)和非下採樣的方向濾波器組(NSDFB)兩部分。首先由非下採樣塔式濾波器(NSP)把輸入圖像作尺度分解，在每個尺度上，DFB在將分解後得到的帶通信號分解到幾個帶通子帶方向上，方向子帶的數目可以是2的任意次冪。

經非下採樣Contourlet變換(又稱為NSCT變換)後，分解為不同尺度上的子帶圖像(高頻分量，低頻分量)，其中低頻分量主要為背景平滑區域信息，高頻分量反映泡沫鎳表面缺陷的邊緣，紋理細節等特徵。以圖1B表面存在裂紋缺陷的泡沫鎳表面圖像A為例，進行多尺度幾何分析。參數設置如下，LP濾波器為pfilter＝'9-7'，DFB為dfilter＝'pk-va'，分解級數為nlevels＝[2,3,3]，得到1個低頻子帶和20個高頻子帶，這樣圖1B經過NSCT三級分解後共得到21個子圖像。也就是說，每一個待識別的表面圖像A經過NSCT三級分解後共得到21個子圖像。

上述分解圖像可知裂紋缺陷在第一層高頻分量中某一方向特徵明顯。因此，若能利用好缺陷圖像高頻分量的細節信息，將有效提高缺陷識別的準確性。為此，以表面存在裂紋、漏鍍和汙染三種缺陷為例進行實驗分析：各取典型樣本圖像50幅，對每幅圖像按上述步驟S1進行下採樣後再按前述參數進行NSCT變換，每一幅圖像都被分解為低頻分量x{1,1}和20個高頻子帶圖像(其中，第一層的四個高頻子帶圖像分別記為(x{1,2}{1},x{1,2}{2},x{1,2}{3},x{1,2}{4})，第二層八個高頻子帶圖像分別記為(x{1,3}{1},x{1,3}{2},x{1,3}{3},x{1,3}{4},x{1,3}{5},x{1,3}{6},x{1,3}{7},x{1,3}{8})，第三層八個高頻子帶圖像分別記為(x{1,4}{1},x{1,4}{2},x{1,4}{3},x{1,4}{4},x{1,4}{5},x{1,4}{6},x{1,4}{7},x{1,4}{8})。低頻分量反映缺陷樣本的主要信息，需要保留。以前5個高頻分量為例進行實驗，不同子帶圖像上裂紋、漏鍍和汙染三種缺陷的紋理識別結果如表1所示。

表1不同子帶分量對缺陷識別的影響

從表1可以看出，經過NSCT三級分解後，各高頻分量可以反映缺陷的邊緣和細節信息，但是對缺陷識別的貢獻不同。如裂紋缺陷一般呈細長狀，至少有一段為尖狀，平行或者垂直於邊緣。經過Contourlet變換後缺陷特徵信息一般會集中於某個方向的高頻分量中，如表1中的(x{1,2}{1},x{1,3}{2})。而漏鍍通常為球狀，大小位置均不固定，邊界相對光滑，經過NSCT多尺度分解後缺陷特徵信息在高頻各個方向上分布相對均勻。因此實際分析中，需要根據缺陷樣本進行訓練，選取能夠充分表徵缺陷信息的高頻分量，消除冗餘信息。

步驟S3.對圖像A分解後的21幅子圖像在4個方向上求取灰度共生矩陣GLCM，計算Haralick特徵統計量(包括熵、逆差矩、能量、對比度)，得到特徵統計向量。

灰度共生矩陣GLCM計算21幅子圖像的紋理參數。選取像素間的距離度量d＝5，分別對其計算0°、45°、90°及135°四個方向上GLCM，利用計算得到的每一個矩陣求取包括提取熵S、逆差矩D、能量E和對比度I這4個特徵統計值，每個紋理特徵參數用四個方向上計算的平均值作為最終獲得的特徵值輸出，因此共得到84維的特徵統計向量。

紋理是由灰度分布在空間位置上反覆交替變化而形成，在圖像空間中相隔某距離的兩像素之間會存在一定的灰度關係，稱為圖像的灰度空間相關特性。灰度共生矩陣(GLCM)反映了圖像灰度關於方向、相鄰間隔、變化幅度的綜合信息，從圖像f(m,n)中灰度為u的像素出發，與偏角θ、距離為d、灰度為v的像素m+Δm,n+Δn同時出現的概率為P(u,v,d,θ)，如下

式中L是圖像的灰度級數，θ為兩像素順時針與m軸的夾角，其取值通常為0°、45°、90°和135°。通常d＝1，表示2個像素之間的距離為1。P稱為空間灰度相關矩陣。

同一圖像由於紋理尺度的不同其灰度共生矩陣可以有很大的差別。因此本申請採用Haralick定義的特徵統計量進行分析，常用的有角二階矩、對比度、相關、方差、熵等，計算公式如下。

能量(二階矩)E的計算公式:

二階矩反映了圖像灰度分布均勻程度和紋理粗細度。分布越不均勻，P(u,v)相差越大，則E越大；當P(u,v)相差不大且較分散時，則熵S較大；當P(u,v)較集中於主對角線附近時，(u-v)的值較小，所以對比度I也較小。

熵S的計算公式:

圖像所包含的信息量是用熵值來進行度量的。熵值可以直接對圖像中紋理的非均勻度或紊亂度進行反映，熵值越大則表示紋理越複雜。

對比度(慣性矩)I的計算公式:

對比度I可理解為圖像的清晰度。對比度大時，紋理的溝紋深，效果清晰；反之對比度小則溝紋淺，效果模糊。

逆差矩D的計算公式:

逆差矩D是數字圖像局部均勻性的直接度量。圖像局部紋理越均勻，則其對應的逆差矩值越大，反之亦然。

步驟S4.採用KPCA對特徵統計向量進行降維處理。

採用KPCA進行參數降維，要求累計貢獻率大於85％，通過計算後優選特徵維數為5。

步驟S5.將降維後的特徵統計向量作為模型輸入，採用最優有向無環圖支持向量機(Directed acyclic graph-SVM,DAG-SVM)算法對泡沫鎳的表面缺陷進行識別。

支持向量機(Support vector machine,SVM)實現多分類的方法主要有一對多(OVR)和一對一(OVO)，其中OVR訓練樣本不均衡所以分類精度不高，而OVO雖比OVR精度高，但由於採用投票機制，可能會出現拒分的情況。本申請採用最優有向無環圖支持向量機(Directed acyclic graph-SVM,DAG-SVM)算法對缺陷進行識別。DAG-SVM是Platt提出的一種解決硬間隔支持向量機多類別分類問題的新方法，能夠高效地將SVM用於多分類問題，繼承了SVM算法良好的分類能力，但是DAG-SVM算法存在誤差累計效應，也就是會把上層的誤差延續要下層節點。尤其當分類錯誤越靠近根節點的地方累計誤差就越嚴重，分類性能降低。因此需要將容易區分的兩類缺陷分類器優先放在有向無環圖中靠近上層的節點位置。

本申請採用最優節點拓撲排序策略組織多個兩分類支持向量機，構成最優DAG-SVM分類器對泡沫鎳缺陷進行分類。

設共有M個類別，每類有N個樣本，xik表示第i類中第k個樣本的特徵統計向量，其計算步驟如下：

步驟S51：計算不同類別樣本的重心

步驟S52：計算每個類別的重心到其他類重心的距離的均值

步驟S53：對各類別計算的距離按從大到小順序進行排列，即y1,y2,…,yM-1,yM；

步驟S54：對新類別序列按照平均距離從大到小，以數列的兩端為起始位置交替地向中間排列，得到最優排序序列y1,y3,…,yM-1,yM,…,y4,y2(假設M為偶數)，這樣最優序列中越靠近數列兩端的類別平均距離越大，越靠近中間位置的類別平均距離越小。

步驟S55：根據最優排序序列生成最優有向無環圖多分類器，實現多類別區分。

針對上述技術方案，發明人進行了實驗與仿真來測試對泡沫鎳表面缺陷的識別情況。

實驗中整理了汙染、裂紋和漏鍍三類缺陷共計300幅圖像進行實驗，圖像大小均為128x128像素。先利用NSCT對泡沫圖像進行多尺度幾何分解，經試驗參數設置如下，LP濾波器為pfilter＝'9-7'，DFB為dfilter＝'pk-va'，分解級數為nlevels＝[2,3,3]，得到1個低頻子帶和20個高頻子帶，這樣每一幅樣本經過NSCT三級分解後共得到21個子圖像。這些子圖像由NSCT分解後的係數矩陣來表示。

然後採用灰度共生矩陣計算泡沫鎳圖像經多尺度分解後子帶圖像的紋理參數。選取像素間的距離度量d＝5，分別對其計算0°、45°、90°、135°四個方向上GLCM，利用計算得到的每一個矩陣求取特徵統計值，包括提取熵、逆差矩、能量和對比度，每個紋理特徵參數用四個方向上計算的平均值作為最終獲得的特徵值輸出，因此共得到84維特徵數據。採用KPCA進行參數降維，要求累計貢獻率大於85％，通過計算後選取特徵維數為5。上述實驗開發環境為MATLAB2013，作業系統為windows XP。

為了比較算法識別率和效率，本申請分別用多種不同識別方法算法對測試樣本進行識別，分別採用BP神經網絡，ELM神經網絡和1v1SVM，最優DAG-SVM進行缺陷識別分析。其中極限學習機神經網絡參數如下：選取Morlet小波函數形式的隱層輸出函數，輸入層神經元個數為降維後組合的特徵向量，個數為5個，輸出個數為缺陷類別，個數為3個，隱含層個數根據誤差最小原則確定。1v1SVM和最優DAGSVM的參數設置為：RBF，σ2＝100，C＝10。利用300幅泡沫鎳圖像的缺陷樣本數據進行模型的訓練，然後用108幅泡沫鎳圖像缺陷數據進行分類測試(每一類缺陷36個樣本)，不同算法的各種缺陷識別結果如表2所示。

表2各識別算法的正確識別數

從表2可看出，對於裂紋、漏鍍、汙染幾種泡沫鎳表面缺陷，經特徵提取、分類器分類，採用本申請方法的正確識別數分別為31，32和33。採用四種不同識別方法的平均識別率為84.3％，86.1％，87.0％，88.9％。

對現有的圖像特徵描述方法，如灰度共生矩陣，Garber和NSCT，提取泡沫圖像的紋理特徵，統一採用最優DAGSVM算法進行缺陷識別，與本申請方法的比較如表3所示，參數設置同上。

表3不同特徵描述方法缺陷識別準確率

從表3可以看出，相比於其他幾種特徵提取方法，本申請融合後的特徵提取方法，正確識別和分類個數明顯提高。分析原因是本申請採用NSCT，使得缺陷圖像的方向性有了更好的表達，缺陷紋理信息更為顯著。

綜上，本申請提出了一種基於多尺度紋理分析的泡沫鎳表面缺陷特徵提取方法。首先採用非下採樣Contourlet變換對泡沫鎳圖像進行多尺度幾何分解，利用分解後得到的低頻分量和各高頻分量表徵不同缺陷的細節信息；然後計算各子帶上度量泡沫鎳圖像紋理信息的Haralick特徵值。最後分別採用KPCA和最優有向無環圖支持向量機(Directed acyclic graph-SVM,DAG-SVM)進行特徵數據的降維和缺陷分類識別，為泡沫鎳生產過程的自動檢測和優化控制奠定基礎。通過實驗表明，本申請提出的方法能夠有效的識別泡沫鎳表面缺陷，為類似工業過程提供借鑑。

以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。