應用於工業網際網路的產品質量異常檢測方法及其系統與流程
2024-04-15 07:45:05
1.本技術涉及智能製造領域，且更為具體地，涉及一種應用於工業網際網路的產品質量異常檢測方法及其系統。
背景技術：
2.工業網際網路是新一代信息通信技術與現代工業技術深度融合的產物，是製造業數位化、網絡化、智能化的重要載體，也是全球新一輪產業競爭的制高點。並且工業網際網路是一種開放的、全球化的網絡，其將人、數據和機器連接了起來，屬於泛網際網路的目錄分類，其本質是通過構建精準、實時、高效的數據採集互聯體系，建立面向工業大數據存儲、集成、訪問、分析、管理的開發環境，實現工業技術、經驗、知識的模型化、標準化、軟體化、復用化，不斷優化研發設計、生產製造、運營管理等資源配置效率，形成資源富集、多方參與、合作共贏、協同演進的製造業新生態。
3.近年來，隨著工業網際網路的不斷發展，數位化設備也越來越多，為了滿足各類數位化設備的控制和顯示功能，數位化顯示器屏幕就被廣泛的應用於各種數位化設備以及各種電子產品中。但是在產品的製造過程中，由於生產環境、生產設備和生產工藝等因素的影響，產品缺陷的出現是不可避免的。這些產品缺陷會嚴重影響到整合產品的質量，因此，為了保證產品的綜合質量，就需要對生產出的產品進行質量檢測。但是，現有的技術中，常用的方式是通過人工來進行對比檢測，而人工檢測不僅需要消耗大量的勞動力，還會使得檢測的效率和準確率較低。
4.電子屏幕的質量是否過關，這取決於實際生產出屏幕的亮度均勻性、受壓指數、汙點涵蓋率、質量缺陷等因素，但是現有的儀器在對屏幕的某些具體因素進行檢測時，只能檢測出一項內容，例如，在對屏幕亮度的均勻性進行檢測時，只能通過色彩分析儀與電子設備連接來進行均勻性的檢測，這樣整體檢測的過程耗時較長，且各個因素整合的整體質量的準確度較低，從而也就會嚴重影響到電子屏幕的生產效率和生產質量。因此，期望一種應用於工業網際網路的產品質量異常檢測方法。
技術實現要素：
5.為了解決上述技術問題，提出了本技術。本技術的實施例提供了一種應用於工業網際網路的產品質量異常檢測方法及其系統，其通過第一到第n缺陷檢測模型的第一到第n卷積神經網絡分別提取出電子屏幕的圖像的局部高維特徵分布以獲得第一到第n特徵向量，進一步基於這些所述特徵向量構造聯合高斯概率密度模型，以通過聯合高斯概率密度模型的模型學習來對各個所述卷積神經網絡的參數進行聯合更新，從而整體上生成具有更強的特徵表徵能力的更優的聯合概率分布，並且對於第一到第n分類器，對其中的每個權重矩陣進行本徵值分解，以更新所述分類器的權重矩陣，從而保留所述各個原分類器在主邏輯回歸方向上的參數結構，以提高分類器訓練的效率和分類效果。
6.根據本技術的一個方面，提供了一種應用於工業網際網路的產品質量異常檢測方
法，其包括：訓練階段，包括：獲取待檢測電子屏幕的圖像；將所述待檢測電子屏幕的圖像分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型，其中，所述高斯概率密度模型的均值向量為所述第一到第n特徵向量中對應的特徵向量，所述高斯概率密度模型的協方差矩陣為所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量的轉置乘以所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量；構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型，其中，所述聯合高斯概率密度模型的均值向量為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的均值向量的按位置加權和，所述聯合高斯概率密度模型的協方差矩陣為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的協方差矩陣的按位置加權和；對所述聯合高斯概率密度模型進行高斯離散化處理以獲得分類特徵矩陣；分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量；分別提取按照降維序列排列的前m/n個本徵值對應的本徵向量後對所述前m個本徵值對應的本徵向量進行二維排列作為所述第一到第缺陷檢測模型的第一到第n分類器的初始權重矩陣；將所述分類特徵矩陣分別通過所述第一到第缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值；以及計算所述第一到第n分類損失函數值的加權和作為損失函數值對所述第一到第n缺陷檢測模型進行訓練；以及檢測階段，包括：獲取待檢測電子屏幕的圖像；將所述待檢測電子屏幕的圖像分別通過經訓練階段訓練完成的所述用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；將所述第一到第n特徵向量分別通過所述第一到第n缺陷檢測模型的第一到第n分類器以獲得n個分類結果，所述分類結果用於表示各個特徵向量歸屬於各個缺陷標籤的概率值。
7.根據本技術提供的應用於工業網際網路的產品質量異常檢測方法及其系統，其通過第一到第n缺陷檢測模型的第一到第n卷積神經網絡分別提取出電子屏幕的圖像的局部高維特徵分布以獲得第一到第n特徵向量，進一步基於這些所述特徵向量構造聯合高斯概率密度模型，以通過聯合高斯概率密度模型的模型學習來對各個所述卷積神經網絡的參數進行聯合更新，從而整體上生成具有更強的特徵表徵能力的更優的聯合概率分布，並且對於第一到第n分類器，對其中的每個權重矩陣進行本徵值分解，以更新所述分類器的權重矩陣，從而保留所述各個原分類器在主邏輯回歸方向上的參數結構，以提高分類器訓練的效率和分類效果。
附圖說明
8.通過結合附圖對本技術實施例進行更詳細的描述，本技術的上述以及其他目的、特徵和優勢將變得更加明顯。附圖用來提供對本技術實施例的進一步理解，並且構成說明書的一部分，與本技術實施例一起用於解釋本技術，並不構成對本技術的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。
9.圖1為根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法的場景示意圖。
10.圖2a為根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中訓練階段的流程圖。
11.圖2b為根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中檢測階段的流程圖。
12.圖3a為根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中訓練階段的架構示意圖。
13.圖3b為根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中檢測階段的架構示意圖。
14.圖4為根據本技術實施例的應用於工業網際網路的產品質量異常檢測系統的框圖。
具體實施方式
15.下面，將參考附圖詳細地描述根據本技術的示例實施例。顯然，所描述的實施例僅僅是本技術的一部分實施例，而不是本技術的全部實施例，應理解，本技術不受這裡描述的示例實施例的限制。
16.場景概述
17.如前所述，近年來，隨著工業網際網路的不斷發展，數位化設備也越來越多，為了滿足各類數位化設備的控制和顯示功能，數位化顯示器屏幕就被廣泛的應用於各種數位化設備以及各種電子產品中。但是在產品的製造過程中，由於生產環境、生產設備和生產工藝等因素的影響，產品缺陷的出現是不可避免的。這些產品缺陷會嚴重影響到整合產品的質量，因此，為了保證產品的綜合質量，就需要對生產出的產品進行質量檢測。但是，現有的技術中，常用的方式是通過人工來進行對比檢測，而人工檢測不僅需要消耗大量的勞動力，還會使得檢測的效率和準確率較低。
18.電子屏幕的質量是否過關，這取決於實際生產出屏幕的亮度均勻性、受壓指數、汙點涵蓋率、質量缺陷等因素，但是現有的儀器在對屏幕的某些具體因素進行檢測時，只能檢測出一項內容，例如，在對屏幕亮度的均勻性進行檢測時，只能通過色彩分析儀與電子設備連接來進行均勻性的檢測，這樣整體檢測的過程耗時較長，且各個因素整合的整體質量的準確度較低，從而也就會嚴重影響到電子屏幕的生產效率和生產質量。因此，期望一種應用於工業網際網路的產品質量異常檢測方法。
19.本技術的申請人發現，由於電子屏幕具有的缺陷通常共享相同的高維圖像語義特徵，因此可以通過卷積神經網絡模型的聯合訓練，來實現端到端的多缺陷檢測模型，在此基礎上，如果可以在特徵提取層面和分類回歸層面上提高各單獨模型之間的協同，可以有效地提高檢測效果。
20.基於此，在本技術的技術方案中，首先將獲取的待檢測電子屏幕的圖像分別通過用於分別缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡，以獲得第一到第n特徵向量v1到vn。
21.基於該第一到第n特徵向量構造聯合高斯概率密度模型，首先，第i個特徵向量對應的高斯概率密度模型表示為n(μi,∑i)，其中μi＝vi，，且為v1到vn的按位置均值構成的向量。
22.則n個特徵向量的聯合高斯概率密度模型為：
[0023][0024]
其中：
[0025][0026]
再將該聯合高斯概率密度模型進行高斯離散化，得到分類特徵矩陣。這樣，可以通過聯合高斯概率密度模型的模型學習來對各個卷積神經網絡的參數進行聯合更新，從而整體上生成具有更強的特徵表徵能力的更優的聯合概率分布。
[0027]
此外，對於第一到第n缺陷檢測模型的第一到第n分類器，可以獲取每個分類器的全連接權重矩陣m1到mn，並對每個權重矩陣進行本徵值分解，獲取其按照降序排列的前m/n個本徵值對應的本徵向量，其中m為權重矩陣的維度。
[0028]
然後，將n個分類器中的每個分類器的m/n本徵向量二維排列以作為新分類器的初始權重矩陣，從而保留各個原分類器在主邏輯回歸方向上的參數結構(相當於保留分類回歸中對於各個不同缺陷的主分類因素)，以提高分類器訓練的效率和分類效果。
[0029]
基於此，本技術提出了一種應用於工業網際網路的產品質量異常檢測方法，其包括訓練階段，包括：獲取待檢測電子屏幕的圖像；將所述待檢測電子屏幕的圖像分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型，其中，所述高斯概率密度模型的均值向量為所述第一到第n特徵向量中對應的特徵向量，所述高斯概率密度模型的協方差矩陣為所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量的轉置乘以所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量；構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型，其中，所述聯合高斯概率密度模型的均值向量為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的均值向量的按位置加權和，所述聯合高斯概率密度模型的協方差矩陣為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的協方差矩陣的按位置加權和；對所述聯合高斯概率密度模型進行高斯離散化處理以獲得分類特徵矩陣；分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量；分別提取按照降維序列排列的前m/n個本徵值對應的本徵向量後對所述前m個本徵值對應的本徵向量進行二維排列作為所述第一到第缺陷檢測模型的第一到第n分類器的初始權重矩陣；將所述分類特徵矩陣分別通過所述第一到第缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值；以及，計算所述第一到第n分類損失函數值的加權和作為損失函數值對所述第一到第n缺陷檢測模型進行訓練；以及，檢測階段，包括：獲取待檢測電子屏幕的圖像；將所述待檢測電子屏幕的圖像分別通過經訓練階段訓練完成的所述用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；將所述第一到第n特徵向量分別通過所述第一到第n缺陷檢測模型的第一到第n分類器以獲得n個分類結果，所
述分類結果用於表示各個特徵向量歸屬於各個缺陷標籤的概率值。
[0030]
圖1圖示了根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法的場景示意圖。如圖1所示，在該應用場景中，在訓練階段中，首先，通過部署於數位化設備(例如，如圖1中所示意的t)中的攝像頭(例如，如圖1中所示意的c)獲取待檢測電子屏幕的圖像。然後，將獲得的所述待檢測電子屏幕的圖像輸入至部署有應用於工業網際網路的產品質量異常檢測算法的伺服器(例如，如圖1中所示意的s)中，其中，所述伺服器能夠應用於工業網際網路的產品質量異常檢測算法以所述待檢測電子屏幕的圖像對應用於工業網際網路的產品質量異常檢測的所述第一到第n缺陷檢測模型進行訓練。
[0031]
在訓練完成後，在檢測階段中，首先，通過部署於數位化設備(例如，如圖1中所示意的t)中的攝像頭(例如，如圖1中所示意的c)獲取待檢測電子屏幕的圖像。然後，將所述待檢測電子屏幕的圖像輸入部署有應用於工業網際網路的產品質量異常檢測算法的伺服器(例如，如圖1中所示意的s)，其中，所述伺服器能夠應用於工業網際網路的產品質量異常檢測算法對所述待檢測電子屏幕的圖像進行處理，以生成用於表示各個特徵向量歸屬於各個缺陷標籤的概率值的分類結果。
[0032]
在介紹了本技術的基本原理之後，下面將參考附圖來具體介紹本技術的各種非限制性實施例。
[0033]
示例性方法
[0034]
圖2a圖示了根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中訓練階段的流程圖。圖2b圖示了根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中檢測階段的流程圖。如圖2a所示，根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法，包括：訓練階段，包括：s110，獲取待檢測電子屏幕的圖像；s120，將所述待檢測電子屏幕的圖像分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；s130，構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型，其中，所述高斯概率密度模型的均值向量為所述第一到第n特徵向量中對應的特徵向量，所述高斯概率密度模型的協方差矩陣為所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量的轉置乘以所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量；s140，構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型，其中，所述聯合高斯概率密度模型的均值向量為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的均值向量的按位置加權和，所述聯合高斯概率密度模型的協方差矩陣為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的協方差矩陣的按位置加權和；s150，對所述聯合高斯概率密度模型進行高斯離散化處理以獲得分類特徵矩陣；s160，分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量；s170，分別提取按照降維序列排列的前m/n個本徵值對應的本徵向量後對所述前m個本徵值對應的本徵向量進行二維排列作為所述第一到第缺陷檢測模型的第一到第n分類器的初始權重矩陣；s180，將所述分類特徵矩陣分別通過所述第一到第缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值；以及，s190，計算所述第一到第n分類損失函數值的加權和作為損失函數值對所述第一到第n缺陷
檢測模型進行訓練。
[0035]
如圖2b所示，根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法，還包括：檢測階段，包括：s210，獲取待檢測電子屏幕的圖像；s220，將所述待檢測電子屏幕的圖像分別通過經訓練階段訓練完成的所述用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；s230，將所述第一到第n特徵向量分別通過所述第一到第n缺陷檢測模型的第一到第n分類器以獲得n個分類結果，所述分類結果用於表示各個特徵向量歸屬於各個缺陷標籤的概率值。
[0036]
圖3a圖示了根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中訓練階段的架構示意圖。如圖3a所示，在訓練階段中，在該網絡架構中，首先，將獲得的所述待檢測電子屏幕的圖像(例如，如圖3中所示意的p)分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡(例如，如圖3中所示意的cnn1-cnnn)以獲得第一到第n特徵向量(例如，如圖3中所示意的vf1-vfn)；接著，構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型(例如，如圖3中所示意的gpd1-cpdn)；然後，構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型(例如，如圖3中所示意的hgp)；接著，對所述聯合高斯概率密度模型進行高斯離散化處理以獲得分類特徵矩陣(例如，如圖3中所示意的mf)；然後，分別對所述第一到第缺陷檢測模型的第一到第n分類器(例如，如圖3中所示意第一的分類器)的全連接權重矩陣(例如，如圖3中所示意的mf1)進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量(例如，如圖3中所示意的v1)；接著，分別提取按照降維序列排列的前m/n個本徵值對應的本徵向量(例如，如圖3中所示意的v2)後對所述前m個本徵值對應的本徵向量進行二維排列作為所述第一到第缺陷檢測模型的第一到第n分類器的初始權重矩陣(例如，如圖3中所示意的mf2)；然後，將所述分類特徵矩陣分別通過所述第一到第缺陷檢測模型的第一到第n分類器(例如，如圖3中所示意的第二分類器)以獲得第一到第n分類損失函數值(例如，如圖3中所示意的clv)；以及，最後，計算所述第一到第n分類損失函數值的加權和作為損失函數值對所述第一到第n缺陷檢測模型進行訓練。
[0037]
圖3b圖示了根據本技術實施例的應用於工業網際網路的產品質量異常檢測方法中檢測階段的架構示意圖。如圖3b所示，在檢測階段中，在該網絡結構中，首先，將獲取的所述待檢測電子屏幕的圖像(例如，如圖3中所示意的q)分別通過經訓練階段訓練完成的所述用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡(例如，如圖3中所示意的cn1-cnn)以獲得第一到第n特徵向量(例如，如圖3中所示意的vf1-vfn)；然後，將所述第一到第n特徵向量分別通過所述第一到第n缺陷檢測模型的第一到第n分類器(例如，如圖3中所示意的圈s)以獲得n個分類結果，所述分類結果用於表示各個特徵向量歸屬於各個缺陷標籤的概率值。
[0038]
更具體地，在訓練階段中，在步驟s110和步驟s120中，獲取待檢測電子屏幕的圖像，並將所述待檢測電子屏幕的圖像分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量。如前所述，電子屏幕的質量是否過關，這取決於實際生產出屏幕的亮度均勻性、受壓指數、汙點涵蓋率、質量缺陷等因素，但是現有的儀器在對屏幕的某些具體因素進行檢測時，只能檢測出一項內容，例如，在對屏幕亮度的均勻性進行檢測時，只能通過色彩分析儀與所述電子設備連接來進行均勻性的檢測，這
樣整體檢測的過程耗時較長，且各個因素整合的整體質量的準確度較低，從而也就會嚴重影響到電子屏幕的生產效率和生產質量。
[0039]
並且考慮到由於所述電子屏幕具有的缺陷通常共享相同的高維圖像語義特徵，因此可以通過卷積神經網絡模型的聯合訓練，來實現端到端的多缺陷檢測模型，在此基礎上，如果可以在特徵提取層面和分類回歸層面上提高各單獨模型之間的協同，可以有效地提高檢測效果。
[0040]
因此，在本技術的技術方案中，首先，通過部署於數位化設備中的攝像頭獲取待檢測電子屏幕的圖像。然後，將所述待檢測電子屏幕的圖像分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡中進行處理，以分別提取出所述待檢測電子屏幕的圖像的局部高維關聯特徵分布信息，從而獲得第一到第n特徵向量v1到vn。相應地，在一個具體示例中，所述第一到第n卷積神經網絡的各層在層的正向傳遞中對輸入數據進行卷積處理、沿通道維度的池化處理和激活處理以由所述第一到第n卷積神經網絡的最後一層生成所述第一到第n特徵向量，其中，所述第一到第n卷積神經網絡的第一層的輸入為所述待檢測電子屏幕的圖像。
[0041]
更具體地，在訓練階段中，在步驟s130中，構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型，其中，所述高斯概率密度模型的均值向量為所述第一到第n特徵向量中對應的特徵向量，所述高斯概率密度模型的協方差矩陣為所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量的轉置乘以所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量。應可以理解，為了融合這n個所述特徵向量，考慮到這些所述特徵向量總體的概率分布相同或類似，而所述待檢測電子屏幕圖像的不同深度特徵在高維空間中的特徵表現不同。因此，為了在特徵提取層面提高各單獨模型之間的協同以提高檢測效果，在本技術的技術方案中，進一步基於所述第一到第n特徵向量構造聯合高斯概率密度模型。也就是，具體地，首先，第i個所述特徵向量對應的高斯概率密度模型表示為n(μi,∑i)，其中μi＝vi，且為v1到vn的按位置均值構成的向量。
[0042]
具體地，在本技術實施例中，構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型的過程，包括：以如下公式構造所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型；
[0043]
其中，所述公式為：
[0044]
n(μi,∑i)
[0045]
其中μi＝vi，且為v1到vn的按位置均值構成的向量。
[0046]
更具體地，在訓練階段中，在步驟s140中，構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型，其中，所述聯合高斯概率密度模型的均值向量為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的均值向量的按位置加權和，所述聯合高斯概率密度模型的協方差矩陣為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的協方差矩陣的按位置加權和。也就是，在本技術的技術方案中，在得到所述第一到第n高斯
概率密度模型後，進一步構造這n個高斯密度模型的聯合高斯概率密度模型，以融合所述第一到第n特徵向量的特徵關聯信息。
[0047]
更具體地，在本技術實施例中，構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型的過程，包括：以如下公式構造所述第一到第n高斯概率密度模型的聯合高斯概率密度模型；其中，所述公式為：
[0048][0049]
其中：
[0050][0051]
更具體地，在訓練階段中，在步驟s150中，對所述聯合高斯概率密度模型進行高斯離散化處理以獲得分類特徵矩陣。也就是，在本技術的技術方案中，進一步將所述聯合高斯概率密度模型進行高斯離散化處理，以在特徵的融合增廣時不產生信息的損失，從而獲得分類特徵矩陣。應可以理解，這樣，可以通過所述聯合高斯概率密度模型的模型學習來對各個卷積神經網絡的參數進行聯合更新，從而整體上生成具有更強的特徵表徵能力的更優的聯合概率分布。相應地，在一個具體示例中，首先，對所述聯合高斯概率密度模型中各個位置的高斯分布進行高斯離散化處理以將所述聯合高斯概率密度模型中各個位置的高斯分布降維為一維的特徵向量；然後，將所述各個位置的一維的特徵向量進行二維排列以生成所述分類特徵矩陣。
[0052]
更具體地，在訓練階段中，在步驟s160和步驟s170中，分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量，並分別提取按照降維序列排列的前m/n個本徵值對應的本徵向量後對所述前m個本徵值對應的本徵向量進行二維排列作為所述第一到第缺陷檢測模型的第一到第n分類器的初始權重矩陣。應可以理解，為了在特徵提取層面和分類回歸層面上提高各單獨模型之間的協同，以有效地提高檢測效果，在本技術的技術方案中，還需進一步對於所述第一到第n缺陷檢測模型的第一到第n分類器，獲取每個所述分類器的全連接權重矩陣m1到mn，並對所述每個權重矩陣進行本徵值分解，獲取其按照降序排列的前m/n個本徵值對應的本徵向量，其中m為權重矩陣的維度。然後，將n個所述分類器中的每個分類器的m/n本徵向量二維排列以作為新分類器的初始權重矩陣，從而保留各個所述原分類器在主邏輯回歸方向上的參數結構(相當於保留分類回歸中對於各個不同缺陷的主分類因素)，以提高所述分類器訓練的效率和分類效果。
[0053]
具體地，在本技術實施例中，分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量的過程，包括：以如下公式分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量；
[0054]
其中，所述公式為：
[0055]
m＝qλq
t
[0056]
其中m為所述全連接權重矩陣，λ＝diag(λ1,λ2,
…
,λn),λ1≥λ2≥
…
≥λn，是有序的對角本徵值矩陣，λ1,λ2,
…
,λn為所述n個特徵值，且q＝[q1,q2,
…
,qn]是包含相應本徵向量作為列的本徵向量矩陣。
[0057]
更具體地，在訓練階段中，在步驟s180和步驟s190中，將所述分類特徵矩陣分別通過所述第一到第缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值，並計算所述第一到第n分類損失函數值的加權和作為損失函數值對所述第一到第n缺陷檢測模型進行訓練。也就是，在本技術的技術方案中，就可以進一步將所述分類特徵矩陣分別通過所述第一到第缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值，以計算其加權和對所述第一到第n缺陷檢測模型進行訓練，這樣能夠提高分類器訓練的效率和分類效果。
[0058]
具體地，在本技術實施例中，將所述分類特徵矩陣分別通過所述第一到第n缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值的過程，包括：所述分類器以如下公式對所述分類特徵矩陣進行處理以生成分類結果，其中，所述公式為：softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示將所述分類特徵矩陣投影為向量，w1至wn為各層全連接層的權重矩陣，b1至bn表示各層全連接層的偏置矩陣；以及，計算所述分類結果與真實值之間的交叉熵值作為所述分類損失函數值。
[0059]
在訓練完成後，進入推斷階段。也就是，在對所述第一到第n缺陷檢測模型進行訓練後，將訓練完成後的所述第一到第n缺陷檢測模型用於實際的推斷階段中。
[0060]
具體地，在推斷階段中，首先，獲取待檢測電子屏幕的圖像；然後，將所述待檢測電子屏幕的圖像分別通過經訓練階段訓練完成的所述用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；最後，將所述第一到第n特徵向量分別通過所述第一到第n缺陷檢測模型的第一到第n分類器以獲得n個分類結果，所述分類結果用於表示各個特徵向量歸屬於各個缺陷標籤的概率值。
[0061]
綜上，基於本技術實施例的應用於工業網際網路的產品質量異常檢測方法被闡明，其通過第一到第n缺陷檢測模型的第一到第n卷積神經網絡分別提取出電子屏幕的圖像的局部高維特徵分布以獲得第一到第n特徵向量，進一步基於這些所述特徵向量構造聯合高斯概率密度模型，以通過聯合高斯概率密度模型的模型學習來對各個所述卷積神經網絡的參數進行聯合更新，從而整體上生成具有更強的特徵表徵能力的更優的聯合概率分布，並且對於第一到第n分類器，對其中的每個權重矩陣進行本徵值分解，以更新所述分類器的權重矩陣，從而保留所述各個原分類器在主邏輯回歸方向上的參數結構，以提高分類器訓練的效率和分類效果。
[0062]
示例性系統
[0063]
圖4圖示了根據本技術實施例的應用於工業網際網路的產品質量異常檢測系統的框圖。如圖4所示，根據本技術實施例的應用於工業網際網路的產品質量異常檢測系統400，包括：訓練模塊410和推斷模塊420。
[0064]
如圖4所示，所述訓練模塊410，包括：待檢測圖像獲取單元411，用於獲取待檢測電子屏幕的圖像；特徵提取單元412，用於將所述待檢測圖像獲取單元411獲得的所述待檢測電子屏幕的圖像分別通過用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經
網絡以獲得第一到第n特徵向量；高斯概率密度模型構造單元413，用於構造所述特徵提取單元412獲得的所述第一到第n特徵向量中各個特徵向量的高斯概率密度模型以獲得第一到第n高斯概率密度模型，其中，所述高斯概率密度模型的均值向量為所述第一到第n特徵向量中對應的特徵向量，所述高斯概率密度模型的協方差矩陣為所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量的轉置乘以所述第一到第n特徵向量中對應的特徵向量與所述第一到第n特徵向量中所有特徵向量的均值向量之間的差分向量；聯合高斯概率密度模型構造單元414，用於構造所述高斯概率密度模型構造單元413獲得的所述第一到第n高斯概率密度模型的聯合高斯概率密度模型，其中，所述聯合高斯概率密度模型的均值向量為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的均值向量的按位置加權和，所述聯合高斯概率密度模型的協方差矩陣為所述第一到第n高斯概率密度模型中各個高斯概率密度模型的協方差矩陣的按位置加權和；高斯離散化單元415，用於對所述聯合高斯概率密度模型構造單元414獲得的所述聯合高斯概率密度模型進行高斯離散化處理以獲得分類特徵矩陣；矩陣分解單元416，用於分別對所述第一到第n缺陷檢測模型的第一到第n分類器的全連接權重矩陣進行基於本徵值的矩陣分解以分別獲得n個特徵值和與所述n個特徵值對應的n個本徵向量；二維排列單元417，用於分別提取按照降維序列排列的前m/n個本徵值對應的本徵向量後對所述前m個本徵值對應的本徵向量進行二維排列作為所述第一到第n缺陷檢測模型的第一到第n分類器的初始權重矩陣；分類損失函數值計算單元418，用於將所述高斯離散化單元415獲得的所述分類特徵矩陣分別通過所述二維排列單元417獲得的所述第一到第n缺陷檢測模型的第一到第n分類器以獲得第一到第n分類損失函數值；以及，訓練單元419，用於計算所述分類損失函數值計算單元418獲得的所述第一到第n分類損失函數值的加權和作為損失函數值對所述第一到第n缺陷檢測模型進行訓練。
[0065]
如圖4所示，所述推斷模塊420，包括：推斷圖像獲取單元421，用於獲取待檢測電子屏幕的圖像；特徵向量生成單元422，用於將所述推斷圖像獲取單元421獲得的所述待檢測電子屏幕的圖像分別通過經訓練階段訓練完成的所述用於缺陷檢測的第一到第n缺陷檢測模型的第一到第n卷積神經網絡以獲得第一到第n特徵向量；分類單元423，用於將所述特徵向量生成單元422獲得的所述第一到第n特徵向量分別通過所述第一到第n缺陷檢測模型的第一到第n分類器以獲得n個分類結果，所述分類結果用於表示各個特徵向量歸屬於各個缺陷標籤的概率值。
[0066]
這裡，本領域技術人員可以理解，上述應用於工業網際網路的產品質量異常檢測系統400中的各個單元和模塊的具體功能和操作已經在上面參考圖1到圖3b的應用於工業網際網路的產品質量異常檢測方法的描述中得到了詳細介紹，並因此，將省略其重複描述。
[0067]
如上所述，根據本技術實施例的應用於工業網際網路的產品質量異常檢測系統400可以實現在各種終端設備中，例如應用於工業網際網路的產品質量異常檢測算法的伺服器等。在一個示例中，根據本技術實施例的應用於工業網際網路的產品質量異常檢測系統400可以作為一個軟體模塊和/或硬體模塊而集成到終端設備中。例如，該應用於工業網際網路的產品質量異常檢測系統400可以是該終端設備的作業系統中的一個軟體模塊，或者可以是針對於該終端設備所開發的一個應用程式；當然，該應用於工業網際網路的產品質量異常檢測系統400同樣可以是該終端設備的眾多硬體模塊之一。
[0068]
替換地，在另一示例中，該應用於工業網際網路的產品質量異常檢測系統400與該終端設備也可以是分立的設備，並且該應用於工業網際網路的產品質量異常檢測系統400可以通過有線和/或無線網絡連接到該終端設備，並且按照約定的數據格式來傳輸交互信息。
[0069]
以上結合具體實施例描述了本技術的基本原理，但是，需要指出的是，在本技術中提及的優點、優勢、效果等僅是示例而非限制，不能認為這些優點、優勢、效果等是本技術的各個實施例必須具備的。另外，上述公開的具體細節僅是為了示例的作用和便於理解的作用，而非限制，上述細節並不限制本技術為必須採用上述具體的細節來實現。
[0070]
本技術中涉及的器件、裝置、設備、系統的方框圖僅作為例示性的例子並且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領域技術人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設備、系統。諸如「包括」、「包含」、「具有」等等的詞語是開放性詞彙，指「包括但不限於」，且可與其互換使用。這裡所使用的詞彙「或」和「和」指詞彙「和/或」，且可與其互換使用，除非上下文明確指示不是如此。這裡所使用的詞彙「諸如」指詞組「諸如但不限於」，且可與其互換使用。
[0071]
還需要指出的是，在本技術的裝置、設備和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本技術的等效方案。
[0072]
提供所公開的方面的以上描述以使本領域的任何技術人員能夠做出或者使用本技術。對這些方面的各種修改對於本領域技術人員而言是非常顯而易見的，並且在此定義的一般原理可以應用於其他方面而不脫離本技術的範圍。因此，本技術不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特徵一致的最寬範圍。
[0073]
為了例示和描述的目的已經給出了以上描述。此外，此描述不意圖將本技術的實施例限制到在此公開的形式。儘管以上已經討論了多個示例方面和實施例，但是本領域技術人員將認識到其某些變型、修改、改變、添加和子組合。