一種基於多尺度特徵的免錨框表面缺陷檢測方法
2024-04-15 08:06:05 1
1.本發明屬於目標檢測技術領域，具體涉及一種基於多尺度特徵的免錨框表面缺陷檢測方法。
背景技術：
2.製造業的迅速發展離不開高質量、數位化的新生態模式，在集成電路等高新產業的生產製造過程中，其表面缺陷會嚴重影響電子產品的性能，導致安全隱患。為此，缺陷檢測作為工業生產和質量控制中的關鍵步驟，及時檢測和識別出工業缺陷可以有效保證產品的生產質量。
3.隨著深度學習的發展，越來越多的缺陷檢測方法被引入進行缺陷檢測，其通常分為兩種：一種是基於錨框，而另一種是基於免錨框。由於錨框的引入往往會帶來一些不利影響，如現有的基於anchor-based模型的實現，需要基於先驗知識給檢測網絡模型預設一組目標框，然後模型輸出目標框微調參數，最終通過微調參數和目標框預設參數計算出最終模型輸出的目標框，因此預設目標框的尺度和形狀直接影響模型訓練效果，並且由於預設目標框的尺度和形狀與輸入數據相關，所以模型設計依賴設計者對先驗知識的了解，檢測尺度過於死板，泛化能力有限。此外，還會產生正負樣本不均衡並引入了更多的超參數，大大增加了設計難度和計算量。其極大的限制了如微電子器件集成電路(ic)表面頻繁出現條線形比例缺陷的檢測問題的精度與魯棒性。因此，考慮到傳統模型基於錨框方法的局限性，如檢測速度慢、檢測尺度局限、調參困難等，本發明提出了一種基於多尺度特徵的免錨框表面缺陷檢測方法。
技術實現要素：
4.本發明的目的在於針對上述問題，提出一種多尺度特徵的免錨框表面缺陷檢測方法，可實現高效、適應多尺度的目標表面缺陷檢測，既均衡了目標框內的正負樣本，又能更好地表示形狀變化較大的目標，尤其是對小尺寸缺陷目標和極端橫縱比的條形缺陷目標有著較好的檢測精度和魯棒性。
5.為實現上述目的，本發明所採取的技術方案為：
6.本發明提出的一種基於多尺度特徵的免錨框表面缺陷檢測方法，包括如下步驟：
7.s1、建立表面缺陷檢測模型，表面缺陷檢測模型包括swin transformer模型、第一特徵提取單元、n層特徵金字塔網絡、第二特徵提取單元和n個fcos檢測頭，其中：
8.第一特徵提取單元包括多個並行的第一卷積層，swin transformer模型的各階段分別通過第一卷積層與前n-1層特徵金字塔網絡一一對應順序連接，第二特徵提取單元包括多個並行的第二卷積層，特徵金字塔網絡與fcos檢測頭通過第二卷積層一一對應連接，將swin transformer模型的最末階段對應的特徵金字塔網絡視為基準層，從基準層開始通過逐步上採樣操作自頂向下融合對應特徵金字塔網絡的輸入特徵圖，並將基準層的輸出特徵圖經過第三卷積層後輸入第n層特徵金字塔網絡；
9.fcos檢測頭包括分類分支和回歸分支，分類分支包括類別預測分支和center-ness分支，通過各fcos檢測頭進行對應第二卷積層的輸出特徵圖的回歸和分類，fcos檢測頭基於fcos中心採樣優化方法更新目標框；
10.s2、採集零件圖片作為數據集訓練表面缺陷檢測模型；
11.s3、將待檢測零件圖片輸入訓練好的表面缺陷檢測模型，預測出目標框的中心點(c
x
,cy)及該中心點到真實框的四條邊的距離(l
*
,t
*
,r
*
,b
*
)，計算出預測框的左上角坐標(c
x
+l
*
,cy+t
*
)和右下角坐標(c
x
+r
*
,cy+b
*
)作為表面缺陷檢測結果，其中，l
*
為目標框的中心點(c
x
,cy)到真實框的左邊框的距離，t
*
為目標框的中心點(c
x
,cy)到真實框的上邊框的距離，r
*
為目標框的中心點(c
x
,cy)到真實框的右邊框的距離，b
*
為目標框的中心點(c
x
,cy)到真實框的下邊框的距離。
12.優選地，fcos中心採樣優化方法，具體如下：
13.以目標框的中心點為圓心取出一個小於目標框的圓外接子矩形，並更新目標框為子矩形，將落入子矩形內的採樣點視為正樣本，其他採樣點視為負樣本，子矩形的位置參數為(c
x-rs,c
y-rs,c
x
+rs,cy+rs)，其中，(c
x
,cy)為目標框的中心點坐標，s為對應fcos檢測頭的輸入特徵圖的下採樣倍率，r為超參數。
14.優選地，swin transformer模型包括依次連接的patch partition操作模塊、第一階段、第二階段、第三階段和第四階段，第一階段包括依次連接的linear embedding操作模塊和多個swin transformer模塊，第二階段、第三階段和第四階段均包括依次連接的patch merging操作模塊和多個swin transformer模塊。
15.優選地，第一階段、第二階段和第四階段的swin transformer模塊均為2個，第三階段的swin transformer模塊為6個。
16.優選地，第一卷積層的卷積核尺寸為1
×
1，通道為256維。
17.優選地，第二卷積層的卷積核尺寸為3
×
3。
18.優選地，第三卷積層的卷積核尺寸為3
×
3，步長為2。
19.與現有技術相比，本發明的有益效果為：
20.該方法融合應用了基於視覺領域自注意力機制的swin transformer模型和特徵金字塔網絡(fpn模型)對圖像特徵進行編碼、融合和表示，並利用免錨框逐像素回歸編碼方式fcos重新定義目標檢測頭以獲得目標檢測下遊任務的結果，同時採用了中心採樣策略對fcos檢測頭進行優化，實現了高效、適應多尺度的目標表面缺陷檢測，既均衡了目標框內的正負樣本，又能更好地表示形狀變化較大的目標，尤其是對小尺寸缺陷目標和極端橫縱比的條形缺陷目標有著較好的檢測精度和魯棒性，可應用於包括集成電路晶片、工業零件等領域的檢測。
附圖說明
21.圖1為本發明基於多尺度特徵的免錨框表面缺陷檢測方法的流程圖；
22.圖2為本發明表面缺陷檢測模型的結構示意圖。
具體實施方式
23.下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行清楚、完
整地描述，顯然，所描述的實施例僅是本技術一部分實施例，而不是全部的實施例。基於本技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本技術保護的範圍。
24.需要說明的是，當組件被稱為與另一個組件「連接」時，它可以直接與另一個組件連接或者也可以存在居中的組件。除非另有定義，本文所使用的所有的技術和科學術語與屬於本技術的技術領域的技術人員通常理解的含義相同。本文中在本技術的說明書中所使用的術語只是為了描述具體的實施例的目的，不是在於限制本技術。
25.如圖1-2所示，一種基於多尺度特徵的免錨框表面缺陷檢測方法，包括如下步驟：
26.s1、建立表面缺陷檢測模型，表面缺陷檢測模型包括swin transformer模型、第一特徵提取單元、n層特徵金字塔網絡、第二特徵提取單元和n個fcos檢測頭，其中：
27.第一特徵提取單元包括多個並行的第一卷積層，swin transformer模型的各階段分別通過第一卷積層與前n-1層特徵金字塔網絡一一對應順序連接，第二特徵提取單元包括多個並行的第二卷積層，特徵金字塔網絡與fcos檢測頭通過第二卷積層一一對應連接，將swin transformer模型的最末階段對應的特徵金字塔網絡視為基準層，從基準層開始通過逐步上採樣操作自頂向下融合對應特徵金字塔網絡的輸入特徵圖，並將基準層的輸出特徵圖經過第三卷積層後輸入第n層特徵金字塔網絡；
28.fcos檢測頭包括分類分支和回歸分支，分類分支包括類別預測分支和center-ness分支，通過各fcos檢測頭進行對應第二卷積層的輸出特徵圖的回歸和分類，fcos檢測頭基於fcos中心採樣優化方法更新目標框。
29.在一實施例中，fcos中心採樣優化方法，具體如下：
30.以目標框的中心點為圓心取出一個小於目標框的圓外接子矩形，並更新目標框為子矩形，將落入子矩形內的採樣點視為正樣本，其他採樣點視為負樣本，子矩形的位置參數為(c
x-rs,c
y-rs,c
x
+rs,cy+rs)，其中，(c
x
,cy)為目標框的中心點坐標，s為對應fcos檢測頭的輸入特徵圖的下採樣倍率，如下採樣倍率stride為2，r為超參數，如r＝1.5。
31.在一實施例中，swin transformer模型包括依次連接的patch partition操作模塊、第一階段、第二階段、第三階段和第四階段，第一階段包括依次連接的linear embedding操作模塊和多個swin transformer模塊，第二階段、第三階段和第四階段均包括依次連接的patch merging操作模塊和多個swin transformer模塊。
32.在一實施例中，第一階段、第二階段和第四階段的swin transformer模塊均為2個，第三階段的swin transformer模塊為6個。
33.在一實施例中，第一卷積層的卷積核尺寸為1
×
1，通道為256維。
34.在一實施例中，第二卷積層的卷積核尺寸為3
×
3。
35.在一實施例中，第三卷積層的卷積核尺寸為3
×
3，步長為2。
36.如圖2所示，本方法所採用的特徵提取主幹網絡為swintransformer模型中的swin-tiny版本，大大提高了模型檢測速度，第一階段至第四階段依次對應swin transformer stage1至swin transformer stage4，在4個階段中分別使用了2,2,6,2個swin transformer模塊，輸入圖片(images)切分為8
×
8個窗口，對每個窗口的7
×
7像素劃分小圖像塊patch並將其輸入swin transformer模塊進行自注意力計算，各個窗口計算的參數共享，因此輸入swin transformer模塊的序列長度統一為49。具體地：
37.在前向傳播流程中，首先輸入尺寸為h
×w×
3的圖像(images)通過patch partition操作拆分為4
×
4的大小，共h/4
×
w/4個小圖像塊patch。
38.緊接著通過堆疊的swin transformer模塊進行編碼，第一階段通過patch embedding操作模塊將向量維度變為swin transformer模塊所接受的序列長度c(如為96)並展平。
39.第一階段、第二階段和第三階段進入時通過patch merging操作模塊，其類似於卷積神經網絡中池化下採樣，將每個2
×
2相鄰的小圖像塊patch特徵合併後長寬減半通道數擴張為四倍，同時為了和卷積形式統一使用1
×
1卷積將其通道減半為二倍。
40.主幹網絡最後輸出4個分別為下採樣4、8、16、32倍和通道數96、192、384、768維度的採樣特徵圖，結束主幹網絡的特徵表示學習過程。
41.為了解決檢測目標尺度大範圍變化的情形，需要將不同尺度的特徵信息融合到不同縮放比的特徵圖上，以提前自適應目標框回歸的大小信息。因此，本實施例採用5層特徵金字塔網絡(feature pyramid network，fpn)將主幹網絡swintransformer模型及fcos檢測頭進行前後對接，第1至5層依次對應feature pyramid p3至feature pyramid p7，具體如下：
42.首先在特徵金字塔網絡的輸入側構建4個1
×
1通道為256維的卷積(第一卷積層)以改變採樣特徵圖通道數，主幹網絡提取出的4個不同層級的採樣特徵圖分別通過第一卷積層輸入對應的特徵金字塔網絡。
43.將主幹網絡第四階段對應的特徵金字塔網絡視為基準層，將第四階段所提取的32倍採樣特徵圖通過逐步三次上採樣操作自頂向下地融合第三階段至第一階段所提取出的16倍、8倍、4倍採樣特徵圖，並且讓第四階段所提取的32倍採樣特徵圖通過3
×
3且步長為2的卷積層(第三卷積層)得到更小的特徵圖，以產生更強的語義信息。
44.通過上述方法可以自然地將不同大小尺度的目標框分配到由上述5層特徵金字塔網絡輸出的5個特徵圖中，進一步通過fcos檢測頭對不同特徵圖中的目標進行回歸和分類。同時採用的fpn網絡與fcos中心採樣優化能夠很好的適應具有多尺度變換的檢測領域，且基於免錨框也能降低調參難度。
45.fcos檢測頭(fcos head)將對應的第二卷積層的輸出特徵圖作為輸入，並分為兩路(分類分支和回歸分支)進一步對對應特徵圖進行回歸和分類。在兩路中繼續採用4個3
×
3的卷積進行進一步的編碼以提取出分類和回歸特徵表示，在卷積的編碼過程中不改變特徵圖的長寬尺度，並保持特徵圖的通道數為256。5個fcos檢測頭特徵級別共享。
46.第一路為分類分支，包括類別預測分支和center-ness分支，類別預測分支輸出h
×w×
c，即對特徵圖上每一個點預測一個c維向量確定其類別，center-ness分支輸出h
×w×
1，即對特徵圖上每一個點只預測一個值代表其離目標中心的距離權重。
47.第二路為回歸分支，負責對目標框的位置進行回歸(regression)，回歸分支輸出h
×w×
4，即對特徵圖上每一個點視為檢測點回歸此點到目標框的4個距離參數。
48.fcos檢測頭不需要先驗框，大大降低了樣本量和參數量，從而降低計算量，且對於小目標檢測的效果也不錯，並可通過多尺度檢測，增加了可以預測的框的數量。
49.通過目標框中心採樣(center sample)以對目標框內的預測點預先進行篩選優化。center sample的核心思想是預先篩選擁有更高概率落在真實正樣本上的預測點，首先
在目標框內找到中心點，並以中心點為圓心取出一個比目標框更小的圓外接矩形，並將子矩形重新定義為正樣本區域，只有落在子矩形內的採樣點才是正樣本，其他採樣點視為負樣本。通過篩選後，大多數在目標框內部邊緣但實際落在背景部分的採樣點就被合理去除，使得fcos檢測頭的收斂速度和訓練結果均會有性能優化。具體來說，中心採樣將中心區域定義為標註框的子矩形，子矩形的位置參數為(c
x-rs,c
y-rs,c
x
+rs,cy+rs)，其中，(c
x
,cy)為目標框的中心點坐標，s為對應fcos檢測頭的輸入特徵圖的下採樣倍率，如下採樣倍率stride為2，r為超參數，如r＝1.5，或可根據實際需求調整。
50.s2、採集零件圖片作為數據集訓練表面缺陷檢測模型。
51.s3、將待檢測零件圖片輸入訓練好的表面缺陷檢測模型，預測出目標框的中心點(c
x
,cy)及該中心點到真實框的四條邊的距離(l
*
,t
*
,r
*
,b
*
)，計算出預測框的左上角坐標(c
x
+l
*
,cy+t
*
)和右下角坐標(c
x
+r
*
,cy+b
*
)作為表面缺陷檢測結果，其中，l
*
為目標框的中心點(c
x
,cy)到真實框的左邊框的距離，t
*
為目標框的中心點(c
x
,cy)到真實框的上邊框的距離，r
*
為目標框的中心點(c
x
,cy)到真實框的右邊框的距離，b
*
為目標框的中心點(c
x
,cy)到真實框的下邊框的距離。採用免錨框的方式，不必輸出多個候選框後再進行後處理得到檢測結果，而是直接輸出預測框的坐標得到表面缺陷檢測結果。
52.該方法融合應用了基於視覺領域自注意力機制的swin transformer模型和特徵金字塔網絡(fpn模型)對圖像特徵進行編碼、融合和表示，並利用免錨框逐像素回歸編碼方式fcos重新定義目標檢測頭以獲得目標檢測下遊任務的結果，同時採用了中心採樣策略對fcos檢測頭進行優化，實現了高效、適應多尺度的目標表面缺陷檢測，既均衡了目標框內的正負樣本，又能更好地表示形狀變化較大的目標，尤其是對小尺寸缺陷目標和極端橫縱比的條形缺陷目標有著較好的檢測精度和魯棒性，可應用於包括集成電路晶片、工業零件等領域的檢測。
53.以上所述實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各技術特徵所有可能的組合都進行描述，然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。
54.以上所述實施例僅表達了本技術描述較為具體和詳細的實施例，但並不能因此而理解為對申請專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本技術構思的前提下，還可以做出若干變形和改進，這些都屬於本技術的保護範圍。因此，本技術專利的保護範圍應以所附權利要求為準。