一種基於孿生網絡的變電站設備異常檢測方法和系統與流程
2023-06-09 16:20:28 2
1.本發明涉及變電站異常檢測技術領域，具體而言，涉及一種基於孿生網絡的變電站設備異常檢測方法和系統。
背景技術：
2.變電站通過高低壓的轉換實現發電廠至用戶側的傳輸，是電力系統中不可或缺的部分，其運行狀態異常檢測更是維持電網穩定運行的關鍵。通常變電站內布置有多個攝像頭，以對變電站的運行狀態進行監視，及時發現變電站的異常情況，並作出維護。然而，進行異常情況的判斷是人工作出的，由於工作量巨大，使得誤判情況和主觀偏差的情況時有發生，造成檢測結果不準確，監測效率、異常情況處理效率低等問題。
3.有鑑於此，本說明書提出了一種基於孿生網絡的變電站設備異常檢測方法和系統，以通過孿生網絡處理變電站的圖像，提高監測效率和準確率，對變電站的異常情況及時作出反應，避免耽誤維護時間。
技術實現要素：
4.本發明的目的在於提供一種基於孿生網絡的變電站設備異常檢測方法,包括：獲取變電站的原始圖像；對所述原始圖像進行預處理，得到預處理圖像；將所述預處理圖像和對比圖像輸入檢測模型，模型輸出所述變電站的異常情況；所述檢測模型為包括第一子檢測模型和第二子檢測模型的孿生神經網絡模型，所述檢測模型輸出所述變電站的異常情況，包括：將所述預處理圖像和所述對比圖像分別輸入所述第一子檢測模型和第二子檢測模型；分別對輸入的所述預處理圖像和所述對比圖像進行第一特徵提取，得到第一初始特徵向量和第二初始特徵向量；分別對所述第一初始特徵向量和所述第二初始特徵向量進行注意力特徵提取，得到第一區分特徵和第二區分特徵；分別對所述第一區分特徵和所述第二區分特徵進行第二特徵處理，得到第一特徵向量和第二特徵向量；所述第二特徵處理為多通道處理；所述第一初始特徵向量和所述第二初始特徵向量的維度高於所述第一特徵向量和所述第二特徵向量的維度；對所述第一特徵向量和所述第二特徵向量進行全連接，得到所述原始圖像的預測分類；基於所述預測分類，確定所述變電站是否異常。
5.進一步的，所述預處理為將所述原始圖像和所述對比圖像輸入配準模型，模型輸出將所述原始圖像配準到所述對比圖像的預處理圖像，包括：對所述原始圖像和所述對比圖像進行特徵檢測，得到第一匹配特徵集合和第二匹配特徵集合；基於所述第一匹配特徵集合和所述第二匹配特徵集合中的特徵進行匹配，確定屬於同一特徵的特徵點；基於多個同一特徵的特徵點，確定將所述原始圖像變換到所述對比圖像的變換方式；基於所述變換方式對所述原始圖像進行變換，得到所述預處理圖像。
6.進一步的，所述第一特徵提取為將所述預處理圖像或所述對比圖像依次輸入128x128、64x64和32x32的卷積層，最終得到所述第一初始特徵向量和所述第二初始特徵向量。
7.進一步的，所述注意力特徵提取，包括：輸入所述第一初始特徵向量和所述第二初始特徵向量；分別對輸入的所述第一初始特徵向量和所述第二初始特徵向量進行空間特徵壓縮，得到僅與所述變電站相關的第一壓縮特徵向量和第二壓縮特徵向量；對所述第一壓縮特徵向量和所述第二壓縮特徵向量進行通道特徵學習，得到第一學習特徵向量和第二學習特徵向量；將所述第一學習特徵向量和所述第二學習特徵向量分別與所述第一初始特徵向量和所述第二初始特徵向量進行注意力結合，得到所述第一區分特徵和所述第二區分特徵。
8.進一步的，所述通道特徵學習採用動態卷積核實現，其中，所述動態卷積核的大小的表達式為：
[0009][0010]
其中，k表示所述動態卷積核的大小；c表示通道數；ψ(c)表示所述通道數與所述卷積核的大小的函數關係；
′
γ和b表示所述通道數與卷積核的大小的比例係數；|*|
odd
表示取奇數。
[0011]
進一步的，進行所述第二特徵處理的通道有兩個，所述第二特徵處理，包括：將區分特徵輸入第一通道中大小為32x32的卷積層，得到第一子特徵向量；將所述第一子特徵向量分別輸入第一通道中大小為16x16的卷積層和第二通道中32x32的卷積層，分別得到第二子特徵向量和第一輔特徵向量；將所述第二子特徵向量輸入第一通道中大小為8x8的卷積層，得到第三子特徵向量；將所述第二子特徵向量和所述第一輔特徵向量輸入第二通道中大小為16x16的卷積層，得到第二輔特徵向量；將所述第三子特徵向量和所述第二輔特徵向量輸入第二通道中大小為8x8的卷積層，得到第三輔特徵向量；將所述第三子特徵向量和所述第三輔特徵向量輸入8x8的卷積層中，得到第一/第二特徵向量。
[0012]
進一步的，所述第二通道中多個卷積層通過下採樣的方式進行數據傳輸，所述下採樣選用雙線性插值；所述第一通道和所述第二通道中的卷積層採用逐元素相加的方式進行通道間數據傳輸。
[0013]
進一步的，所述全連接，包括：將所述第一特徵向量和所述第二特徵向量進行融合，得到融合特徵向量；將所述融合特徵向量依次輸入兩個8x8的閾值限制層，得到限制特徵向量；將所述限制特徵向量輸入全連接層，得到所述預測分類。
[0014]
進一步的，所述全連接層，包括1024、256和64個神經元的神經網絡層，所述得到所述預測分類為將所述限制特徵向量依次輸入1024、256和64個神經元的神經網絡層，最後輸出所述預測分類。
[0015]
本發明的目的在於提供一種基於孿生網絡的變電站設備異常檢測系統,包括獲取模塊、預處理模塊和異常情況確定模塊；所述獲取模塊用於獲取變電站的原始圖像；所述預處理模塊用於對所述原始圖像進行預處理，得到預處理圖像；所述異常情況確定模塊用於將所述預處理圖像和對比圖像輸入檢測模型，模型輸出所述變電站的異常情況；所述檢測模型為包括第一子檢測模型和第二子檢測模型的孿生神經網絡模型，所述檢測模型輸出所述變電站的異常情況，包括：將所述預處理圖像和所述對比圖像分別輸入所述第一子檢測模型和第二子檢測模型；分別對輸入的所述預處理圖像和所述對比圖像進行第一特徵提
取，分別得到第一初始特徵向量和第二初始特徵向量；分別對所述第一初始特徵向量和所述第二初始特徵向量進行注意力特徵提取，分別得到第一區分特徵和第二區分特徵；分別對所述第一區分特徵和所述第二區分特徵進行第二特徵處理，分別得到第一特徵向量和第二特徵向量；所述第二特徵處理為多通道處理；所述第一初始特徵向量和所述第二初始特徵向量的維度高於所述第一特徵向量和所述第二特徵向量的維度；對所述第一特徵向量和所述第二特徵向量進行全連接，得到所述原始圖像的預測分類；基於所述預測分類，確定所述變電站是否異常。
[0016]
本發明實施例的技術方案至少具有如下優點和有益效果：
[0017]
本說明書中的一些實施例通過採用動態卷積核做1x 1卷積，學習不同通道之間的重要性，使得可以對不同的輸入特徵圖，提取不同範圍的特徵。
[0018]
本說明書中的一些實施例通過提取圖像的高維特徵，並通過計算其距離來判斷兩個輸入圖像的相似程度，使得可以在有效提取變電站圖像的信息的情況下，減少網絡的計算量，提高運行速度。
[0019]
本說明書中的一些實施例通過在孿生網絡中加入注意力特徵提取，可以使得模型的網絡特徵提取部分能更好地聚焦在變電站設備上，特徵向量能更好地表徵變電站設備的信息，減少背景變化對計算結果帶來的幹擾。
[0020]
本說明書中的一些實施例通過採用全連接計算特徵向量的距離，解決了針對光影變化情況下傳統距離計算方法無法明確閾值的問題，擴大了正負樣本之間的特徵差距，明確了閾值選擇。
[0021]
本說明書中的一些實施例通過在孿生網絡中加入高低層特徵疊加方法，在相鄰特徵層進行相加時，下層通道下採樣的採樣方式為雙線性插值，特徵疊加方式為逐元素相加，將相鄰層聚合起來，使得減小了目標尺寸變化的影響，大大提高了目標檢測的準確度。
附圖說明
[0022]
圖1為本發明一些實施例提供的一種基於孿生網絡的變電站設備異常檢測方法的示例性流程圖；
[0023]
圖2為本發明一些實施例提供的一種基於孿生網絡的變電站設備異常檢測系統的示例性模塊圖。
具體實施方式
[0024]
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。
[0025]
在一些實施例中，可以將變電站設備的圖像和對比圖像輸入孿生網絡，通過孿生網絡來比較兩幅圖片的相似度，採用兩個權重相等的網絡提取輸入的特徵信息並進行比對，通過計算其距離來判斷兩個輸入圖像的相似程度。例如，通過求特徵的範數得到距離量。
[0026]
圖1為本發明一些實施例提供的一種基於孿生網絡的變電站設備異常檢測方法的
示例性流程圖。在一些實施例中，流程100可以由系統200執行。如圖1所示，流程100可以包括以下內容：
[0027]
步驟110，獲取變電站的原始圖像。在一些實施例中，步驟110可以由獲取模塊210執行。
[0028]
原始圖像可以是指圖像獲取設備獲取的變電站的圖像。例如，可以通過設置在變電站內的攝像頭獲取原始圖像，也可以通過其他可行的方式獲取原始圖像。
[0029]
步驟120，對原始圖像進行預處理，得到預處理圖像。在一些實施例中，步驟120可以由預處理模塊220執行。
[0030]
預處理可以包括對圖像進行降噪處理、圖像配準等中的一種或多種。其中，降噪處理可以包括中值濾波、直方圖均衡化、幾何校正等一種或多種處理圖像的方法。
[0031]
為了避免其他因數對圖像識別造成影響，還可以將原始圖像配準到對比圖像。例如，由於拍攝角度、拍攝時間、拍攝焦距等的不同，造成目標識別不準確或識別失敗的問題，通過對圖像進行配準，可以保留兩幅圖像中相同的區域，將視角不同，焦距不同的圖像優化對齊到對應的對比圖像。對比圖像可以是指變電站的設備處於正常狀態時的圖像。在一些實施例中，可以將原始圖像和對比圖像輸入配準模型，模型輸出將原始圖像配準到對比圖像的預處理圖像。例如，對原始圖像和對比圖像進行特徵檢測，得到第一匹配特徵集合和第二匹配特徵集合；第一匹配特徵集合可以是指原始圖像的特徵組成的特徵集合，第二匹配特徵集合可以是指對比圖像的特徵組成的特徵集合，例如，特徵集合可以包括圖像中的邊緣、角點、直線等中的一種或多種。基於第一匹配特徵集合和第二匹配特徵集合中的特徵進行匹配，確定屬於同一特徵的特徵點；可以通過將第一匹配特徵集合中的特徵與第二匹配特徵集合中的特徵一一匹配，以確定兩者是否為同一特徵的特徵點。基於多個同一特徵的特徵點，確定將所述原始圖像變換到所述對比圖像的變換方式。將同一特徵的特徵點相互對應，基於相互對應的特徵點的變化，確定變換方式。變換方式可以包括但不限於裁剪、仿射等操作。基於變換方式對原始圖像進行變換，得到預處理圖像。
[0032]
步驟130，將所述預處理圖像和對比圖像輸入檢測模型，模型輸出所述變電站的異常情況。
[0033]
步驟140，所述檢測模型為包括第一子檢測模型和第二子檢測模型的孿生神經網絡模型。
[0034]
在一些實施例中，步驟130、140可以由異常情況確定模塊230執行。
[0035]
異常情況可以是指變電站的設備發生異常的情況。變電站的異常包括變電站設備滲油、破損、裂紋、著火、放電痕跡、大面積髒汙、有動物停歇等情況。可以將訓練樣本輸入初始檢測模型，基於初始檢測模型的輸出和標籤構建損失函數，基於損失函數調整初始檢測模型的參數，以此迭代訓練，得到訓練好的檢測模型。訓練樣本可以為變電站的圖像。在一些實施例中，為了擴充樣本圖像，可以採用旋轉、鏡像、對稱等數據增強的方法對原始的樣本圖像進行處理，得到新的樣本圖像。並對樣本圖像中異常的變電站設備用矩形框進行框選標註。將樣本圖像和對比圖像兩兩組合，當樣本圖像和對比圖像為同一設備的圖像時，標籤為0；當樣本圖像和對比圖像為不同設備的圖像時，標籤為1。在進行訓練時，對於標籤為0的樣本圖像，初始檢測模型需要使得輸入圖像之間的距離儘量小；對於標籤為1的樣本圖像，初始檢測模型需要使得輸入圖像之間的距離儘量大。例如，當標籤為0的距離小於最小
閾值(如，小於0.01)，且標籤為1的距離大於最大閾值(如，0.9)時，可以認為初始檢測模型訓練完成。
[0036]
在一些實施例中，還可以對訓練好的檢測模型進行模型測試。例如，選用參數為wi ndows 11，cpu為i nte l(r)core(tm)i5-12500h，gpu為6gb顯存的geforce gtx 3060的作業系統，框架選用pytorch。將訓練樣本按7：3的比例隨機劃分為訓練集、測試集。設置初始學習速率和訓練輪數，採用sgd(隨機梯度下降)方法用於優化訓練過程中的學習速率。例如，可以輸入圖像尺寸為640x640的樣本圖像和對比圖像，設置模型的初始學習率為0.01，一次傳入模型的圖片數為8張，訓練輪數為300。在一些實施例中，可以通過邊框將變電站設備框出，並確定被框出的變電站設備是否異常。通過將框表示為變電站正常設備和變電站設備異常可以產生四種潛在的預測：真陽性(tp)、假陽性(fp)、真陰性(tn)和假陰性(fn)。如果檢測框與邊界框的iou(交並比intersection over union)大於0.5，則將該檢測框標記為tp，否則框標記為fp。如果邊界框沒有匹配的檢測框，則標記為fn。tp和fp分別是正確和錯誤檢測到的變電站設備正常數量，tn和fn分別是正確和錯誤檢測到的變電站設備異常數量。則精準率p和召回率r的計算公式為：
[0037][0038][0039]
在一些實施例中，為了評估檢測精度，引入了平均精度ap來表示檢測精度。ap是指茶葉嫩芽檢測的平均精準度，map表示ap的平均值，是對多個類別求平均ap值，由於變電站設備情況檢測識別是二分類，在檢測識別時只需區分正常和異常，所以此處ap＝map，因此，更高的ap意味著更高的檢測精度。
[0040][0041]
其中，p(r)表示預測精度。
[0042]
本說明書中一些實施例提出的檢測模型與傳統的孿生網絡模型相比，精確率、召回率和平均精確率均超過了傳統的孿生網絡模型,分別比傳統模型提高了11.9％、5.4％和14％，並且改進後的模型相識別效果有明顯的提升，能檢測到輸入圖片近乎全部的異常。
[0043]
檢測模型輸出變電站的異常情況，包括：將預處理圖像和對比圖像分別輸入第一子檢測模型和第二子檢測模型。
[0044]
分別對輸入的預處理圖像和對比圖像進行第一特徵提取，分別得到第一初始特徵向量和第二初始特徵向量。第一初始特徵向量和第二初始特徵向量分別為對預處理圖像進行特徵提取後得到的高緯度的特徵向量圖。在一些實施例中，第一特徵提取為將預處理圖像或對比圖像依次輸入128x128、64x64和32x32的卷積層，最終得到第一初始特徵向量和所述第二初始特徵向量。例如，採用兩個權重相等的網絡分別提取輸入的特徵信息。
[0045]
分別對第一初始特徵向量和第二初始特徵向量進行注意力特徵提取，得到第一區分特徵和第二區分特徵。第一區分特徵和第二區分特徵分別為提取預處理圖像和對比圖像
的較低維度的特徵向量圖的特徵，得到的與變電站相關的特徵向量圖。在一些實施例中，所述注意力特徵提取，包括：
[0046]
注意力特徵提取可以選用eca注意力提取。輸入第一初始特徵向量和第二初始特徵向量。例如，輸入的第一初始特徵向量和第二初始特徵向量可以為維度為h x w x c的特徵圖。
[0047]
分別對輸入的第一初始特徵向量和第二初始特徵向量進行空間特徵壓縮，得到僅與變電站相關的第一壓縮特徵向量和第二壓縮特徵向量。空間特徵壓縮可以是指對初始特徵向量進行壓縮，得到僅與變電站設備相關的特徵的過程。例如，可以對h x w x c的特徵圖在空間維度使用全局平均池化gap，得到1x 1x c的壓縮特徵圖。
[0048]
對第一壓縮特徵向量和第二壓縮特徵向量進行通道特徵學習，得到第一學習特徵向量和第二學習特徵向量。例如，可以通過1x1卷積，學習不同通道之間的重要性，輸出維度為1x1xc的學習特徵向量。
[0049]
在一些實施例中，通道特徵學習採用動態卷積核實現，其中，動態卷積核的大小的表達式為：
[0050][0051]
其中，k表示動態卷積核的大小；c表示通道數；ψ(c)表示通道數與卷積核的大小的函數關係；
′
υ和b表示通道數與卷積核的大小的比例係數，通常被設置為2或1；|*|
odd
表示取奇數。
[0052]
本說明書中的一些實施例通過採用動態卷積核做1x1卷積，學習不同通道之間的重要性，使得可以對不同的輸入特徵圖，提取不同範圍的特徵。例如，在通道數較大的層，使用較大的卷積核，做1x1卷積，使得更多地進行跨通道交互；在通道數較小的層，使用較小的卷積核，做1x1卷積，使得較少地進行跨通道交互。
[0053]
將第一學習特徵向量和第二學習特徵向量分別與第一初始特徵向量和第二初始特徵向量進行注意力結合，得到第一區分特徵和第二區分特徵。例如，將通道注意力的學習特徵向量1x1xc和特徵圖hxwxc進行逐通道乘，最終輸出具有通道注意力的區分特徵圖。
[0054]
本說明書中的一些實施例通過提取圖像的高維特徵，並通過計算其距離來判斷兩個輸入圖像的相似程度，使得可以在有效提取變電站圖像的信息的情況下，減少網絡的計算量，提高運行速度。
[0055]
本說明書中的一些實施例通過在孿生網絡中加入注意力特徵提取，可以使得模型的網絡特徵提取部分能更好地聚焦在變電站設備上，特徵向量能更好地表徵變電站設備的信息，減少背景變化對計算結果帶來的幹擾。
[0056]
分別對第一區分特徵和第二區分特徵進行第二特徵處理，分別得到第一特徵向量和第二特徵向量。在一些實施例中，進行所述第二特徵處理的通道有兩個，所述第二特徵處理，包括：
[0057]
將區分特徵輸入第一通道中大小為32x32的卷積層，得到第一子特徵向量。將第一子特徵向量分別輸入第一通道中大小為16x16的卷積層和第二通道中32x32的卷積層，分別得到第二子特徵向量和第一輔特徵向量。將第二子特徵向量輸入第一通道中大小為8x8的
卷積層，得到第三子特徵向量。將第二子特徵向量和第一輔特徵向量輸入第二通道中大小為16x16的卷積層，得到第二輔特徵向量。將第三子特徵向量和第二輔特徵向量輸入第二通道中大小為8x8的卷積層，得到第三輔特徵向量。將第三子特徵向量和第三輔特徵向量輸入8x8的卷積層中，得到第一/第二特徵向量。
[0058]
第二特徵處理為多通道處理；第一初始特徵向量和第二初始特徵向量的維度高於第一特徵向量和第二特徵向量的維度。
[0059]
在一些實施例中，第二通道中多個卷積層通過下採樣的方式進行數據傳輸，下採樣選用雙線性插值；第一通道和第二通道中的卷積層採用逐元素相加的方式進行通道間數據傳輸。
[0060]
對第一特徵向量和第二特徵向量進行全連接，得到原始圖像的預測分類。在一些實施例中，全連接，包括：
[0061]
將第一特徵向量和第二特徵向量進行融合，得到融合特徵向量。將融合特徵向量依次輸入兩個8x8的閾值限制層，得到限制特徵向量。將限制特徵向量輸入全連接層，得到預測分類。
[0062]
在一些實施例中，全連接層，包括1024、256和64個神經元的神經網絡層，得到預測分類為將限制特徵向量依次輸入1024、256和64個神經元的神經網絡層，最後輸出預測分類。
[0063]
基於預測分類，確定變電站是否異常。
[0064]
本說明書中的一些實施例通過採用全連接(兩層8x8的卷積層)計算特徵向量的距離，解決了針對光影變化情況下傳統距離計算方法無法明確閾值的問題，擴大了正負樣本之間的特徵差距，明確了閾值選擇。
[0065]
本說明書中的一些實施例通過在孿生網絡中加入高低層特徵疊加方法，在相鄰特徵層進行相加時，下層通道下採樣的採樣方式為雙線性插值，特徵疊加方式為逐元素相加，將相鄰層聚合起來，使得減小了目標尺寸變化的影響，大大提高了目標檢測的準確度。
[0066]
本說明書中的檢測模型在變電站設備異常識別上的平均準確率達到了95.3％，對比於其他孿生網絡模型獲得了較好的成績，對變電站設備異常識別有更好的檢測效果。
[0067]
圖2為本發明一些實施例提供的一種基於孿生網絡的變電站設備異常檢測系統的示例性模塊圖。如圖1所示，系統200可以包括獲取模塊210、預處理模塊220和異常情況確定模塊230。
[0068]
獲取模塊210用於獲取變電站的原始圖像。關於獲取模塊210的更多內容，參見圖1及其相關描述。
[0069]
預處理模塊220用於對原始圖像進行預處理，得到預處理圖像。關於預處理模塊220的更多內容，參見圖1及其相關描述。
[0070]
異常情況確定模塊230用於將預處理圖像和對比圖像輸入檢測模型，模型輸出變電站的異常情況；檢測模型為包括第一子檢測模型和第二子檢測模型的孿生神經網絡模型，檢測模型輸出變電站的異常情況，包括：將預處理圖像和對比圖像分別輸入第一子檢測模型和第二子檢測模型；分別對輸入的預處理圖像和對比圖像進行第一特徵提取，分別得到第一初始特徵向量和第二初始特徵向量；分別對第一初始特徵向量和第二初始特徵向量進行注意力特徵提取，分別得到第一區分特徵和第二區分特徵；分別對第一區分特徵和所
述第二區分特徵進行第二特徵處理，分別得到第一特徵向量和第二特徵向量；第二特徵處理為多通道處理；第一初始特徵向量和第二初始特徵向量的維度高於第一特徵向量和第二特徵向量的維度；對第一特徵向量和第二特徵向量進行全連接，得到原始圖像的預測分類；基於預測分類，確定變電站是否異常。關於異常情況確定模塊230的更多內容，參見圖1及其相關描述。
[0071]
以上僅為本發明的優選實施例而已，並不用於限制本發明，對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。