基於卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法與流程

2023-06-26 15:26:16

本發明屬於目標檢測與識別領域，涉及從圖像中檢測特定目標，具體是檢測手機屏幕缺陷的方法。

背景技術：

傳統的用人工檢測屏幕瑕疵方法存在諸多不足之處，在工業生產高速發展的今天，它已經完全無法適應當今工業生產高效、準確的要求。對手機屏幕產商而言，尋找一種高效、準確的自動化檢測設備用以替代人工檢測環節，成為了迫切的需求。隨著計算機視覺、圖像處理等領域的發展，基於機器視覺的自動化檢測系統成為了一種良好的解決方案。該方案通過高解析度工業相機採集手機屏幕圖像，然後將圖像信息通過圖像分析模塊進行實時的處理，從而判斷手機屏幕是否合格。

傳統的基於機器視覺的屏幕缺陷檢測算法，大多是針對一種或幾種類別的屏幕缺陷進行設計的，不具有通用性，所以對於特殊的瑕疵，需要寫專門的算法。由於屏幕的特殊性，拍照時在成像上的摩爾紋是不可避免的，而傳統算法不能很好地解決摩爾紋問題。另外，傳統的算法雖然可以檢測較明顯的線狀、點狀缺陷，但是對於成像上很淡的團狀MURA缺陷，準確率很低。最後，傳統的屏幕缺陷檢測算法需要調節大量參數，尤其是在屏幕產品換型時，調整大量參數會導致時間的浪費。因此，設計一個具有良好泛化性的算法具有非常實用的價值。

近年來，深度學習方法在計算機視覺領域產生了巨大的影響。深度學習採用多層網絡結構，模擬人腦中神經系統的層次關係和傳遞方式，它已經在模式識別的多個領域得到了廣泛的應用並取得了良好的成績。本方法採用基於深度卷積神經網絡的分類算法，使用預處理後的手機屏幕局部圖像塊作為分類器的輸入，然後抽取卷積神經網絡的特徵圖作為檢測結果，將缺陷檢測問題轉變成一個圖像塊分類問題，通過此方法得到的深度模型不僅能夠有效地學習到圖像的背景紋理模式，從含有背景紋理的圖像塊中準確地定位缺陷的位置，而且對於團狀MURA缺陷有很高的準確率。此外，使用卷積神經網絡算法相比傳統算法，參數設置更少，由於算法具有良好的通用性，尤其適用於屏幕產品的快速換型，縮短換型時間，提高產線效率。

技術實現要素：

本發明要克服基於機器視覺的屏幕缺陷檢測算法的上述缺陷，提供一種基於卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法。

為實現上述目的，本發明所述的基於卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法包括如下步驟：

1)自定義卷積神經網絡，通過訓練數據訓練該網絡直到收斂並且有較高準確率；

2)通過自適應模板匹配的方法來進行卷積神經網絡的剪枝，縮小網絡規模和網絡參數；

3)採集手機屏幕圖片數據，生成圖片金字塔，分割成圖片塊，用於測試階段數據生成，送入到步驟2)獲得的剪枝後的卷積神經網絡中進行運算；

4)取中間隱層的特徵圖之和作為響應圖，採用閾值分割的方法獲得缺陷最終位置並圈出，該方法尤其用於檢測MURA缺陷。

步驟2)所述的自適應模板匹配的剪枝具體是：把網絡中間隱層的特徵圖有響應的部分對應到原圖中，該部分作為前景，剩下部分作為背景，計算前景和背景的平均亮度差異；取差異最大的若干個特徵圖進行保留；把剩下的特徵圖和與之相關的卷積核從網絡上剪枝。

步驟3)所述的圖片金字塔具體是：將原始高解析度圖片縮小成不同尺度的圖片，這些不同尺度的圖片合起來稱為一組圖片金字塔。使用圖片金字塔的目的是來檢測不同尺度上、不同大小的瑕疵。

步驟4)所述的響應圖具體是：採用的是第4個卷積層的輸出，把剪枝後網絡該層的特徵圖之和作為缺陷的響應圖。

本發明的有益效果如下：

本發明是一種基於卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法。它基於深度學習的卷積神經網絡算法，採用自適應模板匹配的方法進行網絡剪枝，壓縮網絡模型和參數，以達到接近實時的效果。另外，由於卷積神經網絡算法能夠自動地學習到背景紋理信息，可以較好地處理成像中的摩爾紋幹擾。在屏幕產品換型時，只需要少量的訓練圖片進行網絡微調，就可以重新保證網絡的準確率達標。

與傳統方法相比，本發明能夠更有效地檢測成像較淡的缺陷，如團狀MURA缺陷。此外，傳統方法需要設置大量參數，每次換型都需要調整參數才能保證算法的準確性。本發明採用的神經網絡算法具有良好的自適應和泛化特性，能夠快速進行屏幕產品換型，節省產線部署時間。

附圖說明

圖1是本發明的自適應模板匹配剪枝算法框架圖。

圖2是本發明的圖片金字塔到分割成圖片小塊的圖示。

具體實施方式

下面對本發明的技術方案進行清晰、完整的解釋和描述。

本發明提出了基於卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法，該方法在已經拍攝的手機屏幕圖片上，利用卷積神經網絡算法確定瑕疵在圖片上的位置並圈出。

本發明基於卷積神經網絡剪枝算法的手機屏幕MURA缺陷檢測方法包括如下步驟：

步驟1，訓練階段數據採集：分別採集包含瑕疵和正常圖片小塊，進行標記(1表示包含瑕疵圖片，0表示正常圖片)。按照9：1的比例分成訓練集和驗證集；自定義卷積神經網絡，利用上述的訓練數據，訓練卷積神經網絡直到收斂，並且能夠在驗證集上達到較高的分類準確率。通過觀察可視化卷積神經網絡中間隱層的特徵圖，可以分析網絡是否很好的學到了瑕疵特徵。

步驟2，利用自適應模板匹配的方法對卷積神經網絡進行剪枝，縮小網絡規模和網絡參數。具體地，在第L個卷積層上的所有N個特徵圖，將第i個(i＜N)特徵圖學到的響應位置對應回原圖，該部分位置作為前景模板，原圖的剩餘位置作為背景模板，計算前景模板和背景模板的平均亮度差異Di。對所有的Di進行降序排序，取前K個(K＜N)平均亮度差異Di最大的特徵圖之和作為響應圖。剩餘的特徵圖和其對應的卷積核直接被剪枝，如圖1所示。剪枝後整個網絡再重新訓練，確保剪枝後的網絡仍有較高的準確率。

步驟3，測試階段數據生成：採集手機屏幕圖片數據，圖片包含且僅包含完整的手機屏幕位置。利用不同比例的縮放尺度將圖片展成圖像金字塔，用於多尺度檢測。對於每個尺度的圖片，分割成固定大小的圖片塊，將所有的圖片塊作為一組，作為卷積神經網絡的一次輸入數據，如圖2所示。

步驟4，每一個圖片塊選取第4個卷積層的所有特徵圖之和作為響應圖，將響應圖重新對應到原圖，通過閾值分割的方法，獲得瑕疵的最終位置，並且圈出。