南水北調工程安全數據異常模式發現方法及系統與流程
2023-05-28 11:07:46 1
本發明涉及安全監測技術領域，特別是一種南水北調工程安全數據異常模式發現方法及系統。
背景技術：
南水北調中線幹線工程是緩解京、津、冀、豫等北部地區水資源短缺緊張，優化我國水資源配置的一項戰略性基礎設施工程。該工程南起湖北丹江口水庫，直達北京的團城湖和天津市外環河，工程全長1432km，是世界上最大的跨流域調水工程。南水北調中線幹線工程沿線地質及氣象條件的複雜性使南水北調工程安全受到嚴峻挑戰。為保障工程安全，目前南水北調工程沿線已布設傳感器六萬多個，用於實時採集工程安全數據，達到全時段、全方位了解工程安全的目的。然而，傳感器採集的海量數據同樣存在數據量大但信息量小的問題，如何從海量數據中分析挖掘出有價值信息，並預測數據變化趨勢，對保證南水北調中線幹線工程安全具有重要意義。
目前，在利用多傳感器對南水北調中線幹線進行工程安全數據採集、分析、預警和決策的工作中還存在一些問題，包括：
1)在傳感和通信系統中，工作環境的複雜性導致監測數據存在大量缺失及異常現象；
2)傳統的基於水利工程機理分析的模型能夠針對簡單狀況下的工程實體進行機理分析，但在分析處理複雜問題時有一定的局限性。同時，機理模型在使用過程中通常需要對數據有一定的要求或假設，而模型本身也必須有明確的數學形式。但真實世界數據的分布通常較為複雜，很難做出任何假定。
3)傳統數理統計方法通過對工程安全數據的分析，能夠得到工程安全數據的產生機理，但對監測數據本身沒有預測能力。
從以上存在的實際問題出發，本發明選取南水北調中線幹線中的典型建築物為研究對象，針對同一建築物的多類型傳感器探測數據，針對多類型，多維度南水北調工程安全監測數據，進行數據預處理、數據建模、數據預測和工程安全數據預警等問題進行研究。
技術實現要素：
鑑於此，本發明提供一種南水北調工程安全數據異常模式發現方法及系統，圍繞傳感器安全閾值確定、監測數據預測和異常模式發現機制構建三個方面，展開基於「自助法」的傳感器安全閾值計算、基於機器學習和多模型方法的監測數據預測、基於智能信息處理的異常模式發現機制構建的研究，為南水北調工程安全異常模式發現提供科學的理論依據和輔助決策。
為了達到上述目的，本發明是通過以下技術方案實現的：
本發明提供一種南水北調工程安全數據異常模式發現方法，包括：將傳感器進行分組；確定每個傳感器的安全閾值；確定每組傳感器的既定閥值；判斷任一傳感器收到數據是否超出該傳感器的安全閾值：若不超過安全閾值，則記錄該數據；若超過安全閾值，則判斷該傳感器為發生異常，並進行下一步；判斷該傳感器所在組內所發生異常的傳感器比率是否超過既定閥值：若超過既定閥值，則進行報警；若不超過既定閥值，則對該傳感器數據進行預測，並重新確定該傳感器的安全閾值。
進一步地，將傳感器進行分組，包括：根據傳感器的時空序列對傳感器進行自動聚類分組。
進一步地，確定每個傳感器的安全閾值，包括：對每個傳感器的數據樣本進行抽樣；對抽樣樣本進行計算得到各個傳感器的置信區間，即傳感器的安全閾值。
進一步地，確定每組傳感器的既定閥值，包括：預先設定每組傳感器中發生異常的傳感器的比例上限，超出上限即超出既定閥值。
進一步地，重新確定該傳感器的安全閾值，包括：建立該傳感器與該傳感器所在組傳感器的數據的非線性回歸模型；利用非線性回歸模型對該傳感器的數據進行預測；根據預測結果重新確定該傳感器的安全閾值。
進一步地，重新確定該傳感器的安全閾值之後，還包括：根據重新確定的傳感器安全閾值對該傳感器所收到的數據進行判斷：若不超過新的安全閾值，則記錄該數據；若超過新的安全閾值，則判斷該傳感器為發生異常，並在該傳感器所在組內進行判斷是否超出既定閥值。
本發明還提供一種南水北調工程安全數據異常模式發現系統，包括：多個傳感器，用於收集工程安全數據；傳感器分組模塊，用於將傳感器進行分組；安全閾值確定模塊，用於確定每個傳感器的安全閾值；既定閥值確定模塊，用於確定每組傳感器的既定閥值；第一判斷模塊，用於判斷傳感器收到數據是否超出該傳感器的安全閾值；第二判斷模塊，用於判斷每組傳感器內所發生異常的傳感器比率是否超過既定閥值。
進一步地，所述傳感器分組模塊根據傳感器的時空序列對傳感器進行自動聚類分組。
進一步地，還包括：安全閾值重新確定模塊，用於利用非線性回歸模型對該傳感器的數據進行預測，並根據預測結果重新確定該傳感器的安全閾值。
本發明提供一種南水北調工程安全數據異常模式發現方法，具有如下有益效果：
本發明方法將機器學習、複雜系統參數估計、時-空序列挖掘方法交叉聚集於「時空序列智能聚類」、「時空序列參數預測」、「時空序列異常模式發現」等複雜前沿科學問題，最終完成南水北調工程安全異常模式預警。既體現了現代機器學習方法與複雜系統參數估計的深度交叉和融合，更是試圖通過現代計算機智能方法解決時空序列的精確預測與序列異常模式發現的大膽嘗試，本發明方法的優點主要體現在以下幾個方面：
1.基於時空序列挖掘理論，研究時空序列自適應分割方法和序列聚類方法，完成監測傳感器的自動分組；
2.擺脫傳統機理模型在數據處理之前需要建立多個假設和精確數據模型的約束，拓寬水利信息數據處理方法。僅關注原始監測數據本身的數據特點，利用高維數據回歸分析理論和現代機器學習方法，構建時空序列參數間的關聯模型，達到對時空序列參數精確預測的目標；
3.深化現代智能信息處理方法融合複雜系統參數估計技術，構建時空序列異常模式發現方法，完成對南水北調工程安全及時預警的目標。
南水北調工程安全數據異常模式發現系統的有益效果與南水北調工程安全數據異常模式發現方法類似，不再贅述。
附圖說明
圖1為本發明實施例所提供的南水北調工程安全數據異常模式發現方法的流程示意圖；
圖2為本發明實施例所提供的南水北調工程安全數據異常模式發現系統的結構框架圖。
具體實施方式
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
以下結合具體情況說明本發明的示例性實施例：
本發明提供一種南水北調工程安全數據異常模式發現方法，主要包括以下步驟：
將傳感器進行分組；
確定每個傳感器的安全閾值；
確定每組傳感器的既定閥值；
判斷任一傳感器收到數據是否超出該傳感器的安全閾值：若不超過安全閾值，則記錄該數據；若超過安全閾值，則判斷該傳感器為發生異常，並進行下一步；
判斷該傳感器所在組內所發生異常的傳感器比率是否超過既定閥值：若超過既定閥值，則進行報警；若不超過既定閥值，則對該傳感器數據進行預測，並重新確定該傳感器的安全閾值。
請參考圖1，圖1為本發明實施例所提供的南水北調工程安全數據異常模式發現方法的流程示意圖；本實施例提供一種南水北調工程安全數據異常模式發現方法，具體包括以下步驟：
步驟s101、根據傳感器的時空序列對傳感器進行自動聚類分組。基於時空序列挖掘理論，研究時空序列自適應分割方法和序列聚類方法，對監測傳感器進行自動分組。
步驟s102、確定每個傳感器的安全閾值。對每個傳感器的數據樣本進行抽樣；對抽樣樣本進行計算得到各個傳感器的置信區間，即傳感器的安全閾值。
在本實施例中，針對南水北調工程安全監測數據，利用「自助法」對數據樣本進行有放回的隨機抽樣100次，每次抽樣樣本規模為單個傳感器監測總數據量的60%，然後對100個抽樣樣本進行計算得到各個傳感器的置信區間，建立傳感器安全閾值區間，為下一步的數據異常模式發現提供判斷依據。
作為一種可實施方式，在計算置信區間時，置信度選取為95%。
步驟s103、確定每組傳感器的既定閥值。預先設定每組傳感器中發生異常的傳感器的比例上限，超出上限即超出既定閥值。
步驟s104、判斷任一傳感器收到數據是否超出該傳感器的安全閾值：若不超過安全閾值，則記錄該數據，即按正常數據處理；若超過安全閾值，則判斷該傳感器為發生異常，並進行下一步；
步驟s105、判斷該傳感器所在組內所發生異常的傳感器比率是否超過既定閥值：若超過既定閥值，則進行報警；若不超過既定閥值，則進行下一步。
步驟s106、建立該傳感器與該傳感器所在組傳感器的數據的非線性回歸模型；
步驟s107、利用非線性回歸模型對該傳感器的數據進行預測；
步驟s108、根據預測結果重新確定該傳感器的安全閾值。
步驟s109、根據重新確定的傳感器安全閾值對該傳感器所收到的數據進行判斷：若不超過新的安全閾值，則記錄該數據；若超過新的安全閾值，則判斷該傳感器為發生異常，並在該傳感器所在組內進行判斷是否超出既定閥值。
利用「自助法」得到各個傳感器的安全閾值；當有新的數據來臨，首先判斷是否超出了傳感器安全閾值，如果沒有，則按照正常數據處理，如果超出了安全閾值，則選擇與當前傳感器聚類為同組的傳感器組進行考察；對於相關傳感器組，如果該時間段內，該組中發生異常的傳感器比率大於既定閥值，則進行工程級報警；如果該事件段內相關傳感器組中發生異常的傳感器比率小於既定閥值，則利用機器學習方法建立當前傳感器與相關傳感器組之間的非線性回歸模型，並利用傳感器組的監測數據對當前傳感器數據進行預測，並生成該時刻下的數據安全空間；在新的安全區間下，如果該傳感器的當前監測值存在於新的安全區間中，則作為正常數據處理，否則進行傳感器級別報警。
本發明實施例還提供一種南水北調工程安全數據異常模式發現系統，包括：
多個傳感器，用於收集工程安全數據；
傳感器分組模塊，用於將傳感器進行分組；
安全閾值確定模塊，用於確定每個傳感器的安全閾值；
既定閥值確定模塊，用於確定每組傳感器的既定閥值；
第一判斷模塊，用於判斷傳感器收到數據是否超出該傳感器的安全閾值；
第二判斷模塊，用於判斷每組傳感器內所發生異常的傳感器比率是否超過既定閥值。
進一步地，所述傳感器分組模塊根據傳感器的時空序列對傳感器進行自動聚類分組。
進一步地，還包括：
安全閾值重新確定模塊，用於利用非線性回歸模型對該傳感器的數據進行預測，並根據預測結果重新確定該傳感器的安全閾值。
最後，還需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。
以上對本發明所提供的具體實施方式進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。