一種用於光纖安防大數據存儲的方法與流程
2023-09-21 02:40:50 2
本發明涉及光纖探測領域，尤其是涉及一種用於光纖安防大數據存儲的方法。
背景技術：
當今世界，恐怖組織和恐怖分子活動日益頻繁，各種社會不穩定因素不斷上升，國家安全和國民財產安全面臨極大的挑戰，各種可以預見和難以預見的風險因素明顯增多。
伴隨著安全國家、安全城市以及智慧城市的建設，當前周界安全呈現出越來越重要的地位。以分布式光纖傳感為基礎的周界安防監測系統，正顯示出比傳統周界安防更加優越的性能。
當前的光纖周界安防系統，需要7X24小時連續不中斷的進行工作，如實記錄周界覆蓋範圍發生的一切信息。如果採樣點是5000（覆蓋50Km），採樣頻率為2k，即2048byte/s，每個採樣數據是一個SHORT類型（2位元組），那麼對於2個通道，每秒鐘產生的數據量為：5000*2048*2*2=40960000位元組=40000k字節；
每天的數據量為：
40000*3600*24=3456000000k=3TB；
每月的數據量為：
3TB*30=90TB。
如果由於安防的需要，增加採樣頻率，以便於能更加準確的採集到現場的原始數據，那麼這些數據量將是非常驚人的。客觀上，龐大的數據不僅增加了硬體的成本，而且也不便於數據管理以及進行後期的查詢。
即使是龐大的數據，但是對於客戶來講可能大部分信息是無效，有效信息可能只分布在一個較短的時間段內。按照數學統計的說法，信息是呈現冪律分布的，也稱之為信息的密度，往往越高密度的信息對客戶價值越大。所以，這種海量數據和實際的有效數據之間存在著突出的矛盾。
大數據背景下，這種飛速增長的監控數據，使得傳統監控體系架構、數據的管理方式、數據分析應用等面臨新的困境。
技術實現要素：
為了解決上述現有技術中存在的不足,本發明提供一種用於光纖安防大數據存儲的方法,能夠只保存用戶需要的有效數據,有效地提高了同等硬體存儲條件下進行數據存儲的天數,不僅方便用戶查詢,同時降低了成本。
為實現上述發明目的，本發明提供的技術方案如下：
一種用於光纖安防大數據存儲的方法，該方法包括以下步驟：
一、採集信號並進行緩存：在光纖上選取若干個節點，對每個節點的信號進行採集，並將各個節點的信號按照時間順序進行緩存；
二、確定有效數據：對上一步驟中緩存的信號進行分析處理，檢測其中是否存在擾動信號，若存在擾動信號，則為有效數據，若不存在擾動信號，則為無效數據；
三、保存有效數據：將上一步驟中得到的有效數據保存至存儲設備中。
進一步地，步驟二中所述的確定有效數據的方法包括以下步驟：
Ⅰ、信號處理：對步驟一中緩存的信號進行處理，處理的方式包括計算信號差值、計算信號方差和標準差、計算信號相關度值和計算FFT變換後某個頻段的功率；
Ⅱ、製成瀑布圖：將步驟Ⅰ中所得的信號數據作為特徵量數值，分別以距離和時間為X、Y軸形成二維的瀑布圖；
Ⅲ、確定保存數據範圍：根據二維圖像的斑點形態確定需要保存的原始OTDR數據的範圍。
進一步地，步驟Ⅲ中確定保存數據範圍的方法包括以下步驟：
①、二值化處理：對瀑布圖做二值化處理，使其變成由0和1組成的黑白圖像；
②、獲取輪廓：獲取步驟②中黑白圖像中所有擾動信號的輪廓；
③、記錄及計算輪廓指標：記錄和計算步驟③中得到的各項輪廓指標；
④、確定保存區域：設定輪廓各項指標的閾值，將輪廓對應的起始時間、結束時間、起始位置和結束位置作為需要保存的數據區域。
進一步地，在進行所述步驟①前對瀑布圖進行二維平滑處理
進一步地，所述輪廓指標包括輪廓自身指標和輪廓最小外接矩形的形狀信息，輪廓自身指標包括輪廓點數、輪廓周長和輪廓包圍面積，最小外接矩形的形狀信息包括最小外接矩形的寬度、長度和面積。
進一步地，在進行步驟③之前，通過輪廓膨脹技術將輪廓區域做放大處理。
進一步地，在進行步驟⑤之後作外接矩形的交叉性判斷,判斷瀑布圖中任意兩個外接矩形是否有交叉,若有交叉,則將兩個外接矩形合併成一個更大的新矩形區域。
進一步地，所述新矩形區域的起始點位置為兩個外接矩形的起始點的最小值；所述新矩形區域的終點位置為兩個外接矩形的終點位置的最大值；所述新矩形區域的開始時刻為兩個外接矩形的開始時刻的最小值；所述新矩形區域的結束時刻為兩個外接矩形的結束時刻的最大值。
進一步地，根據瀑布圖確定並存儲擾動信號的起始時刻、結束時刻、起始位置和結束位置的數據信息，其中起始時刻：
=-，其中為擾動信號實際發生時刻，為預存儲時間；
結束時刻：
t，其中為擾動信號實際結束時刻，為額外存儲時間。
根據上述技術方案，相比於現有技術本發明具有以下優點：
1、本發明只存儲用戶需要的有效數據信息，從而使得用戶在使用時更加方便快捷地查找；
2、本發明剔除了大量的無效數據的存儲，大大減少了存儲設備的佔用空間，從而使得存儲設備能夠存儲更多的有效數據，減少了存儲設備的使用數目，因此降低了成本；
3、本發明能夠根據需要設定閾值的大小，進而調整靈敏度，進而實現監控數據的靈活性。
附圖說明
圖1是本發明的工作流程圖。
具體實施方式
下面根據附圖和具體的實施例對本發明一種用於光纖安防大數據存儲的方法做進一步地詳細闡述，以求更為清楚明了地理解其工作方式和使用步驟，但不能以此來限制本發明專利的保護範圍。
一種用於光纖安防大數據存儲的方法，該方法包括以下步驟：
一、採集信號並進行緩存：在光纖上選取若干個節點，對每個節點的信號進行採集，並將各個節點的信號按照時間順序進行緩存，以長度為5000m的光纖為例，每1秒採樣100次，採樣點個數為5000，那麼相當於每個數據點代表1m，第i次t時刻採樣得到1*5000的一個數組x[t][5000]；
二、確定有效數據：對上一步驟中緩存的信號進行分析處理，檢測其中是否存在擾動信號，若存在擾動信號，則為有效數據，若不存在擾動信號，則為無效數據；
三、保存有效數據：將上一步驟中得到的有效數據保存至存儲設備中。
步驟二中所述的確定有效數據的方法包括以下步驟：
Ⅰ、信號處理：對步驟一中緩存的信號進行處理，處理的方式包括計算信號差值、計算信號方差、計算信號相關度值和計算FFT變換後某個頻段的功率；
1）信號的差值，即本時刻的數據減去上一個時刻的數據：
d[t][1:5000]=x[t][1:5000]-x[t-1][1:5000] ；
x[t][1:5000]表示5000個採樣點在t時刻的信號，
x[t-1][1:5000]表示5000個採樣點在t-1時刻的信號，
d[t][1:5000]表示5000個採樣點在t時刻的信號差值，即特徵量的值。
2）信號的方差，任一光纖位置的信號差值計算公式如下：
n表示在某個位置計算方差數據的個數，表示第i個數據，表示n個數據的均值
3）相關度，任一光纖位置的信號相關度計算公式如下：
其中 表示(i-1)T時刻的原始信號數值，
表示(i-1-k)T時刻的原始信號數值，
k表示延遲的採樣周期數；
4）FFT變換的頻點係數，任一光纖位置的信號FFT變換計算公式如下：
輸入x(n)為當前t時刻之前的第n個信號數據。
對於N點序列的離散傅立葉變換（DFT）為：
其中e 是自然對數的底數，i是虛數單位，輸出量為傅立葉變換後各個頻點的係數。
Ⅱ、製成瀑布圖：將步驟Ⅰ中所得的信號數據作為特徵量數值，分別以距離和時間為X、Y軸形成二維的瀑布圖；
Ⅲ、確定保存數據範圍：根據二維圖像的斑點形態確定需要保存的原始OTDR數據的範圍。
步驟Ⅲ中確定保存數據範圍的方法包括以下步驟：
①、平滑處理：對瀑布圖進行二維平滑處理；
②、二值化處理：採用閾值對瀑布圖做二值化處理，使其變成由0和1組成的黑白圖像；
③、獲取輪廓：獲取步驟②中黑白圖像中所有擾動信號的輪廓；
④、記錄及計算輪廓指標：記錄和計算步驟③中得到的輪廓的各項指標；
⑤、確定保存區域：設定輪廓各項指標的閾值，將輪廓對應的起始時間、結束時間、起始位置和結束位置作為需要保存的數據區域，
輪廓的點數超過閾值Th1，和/或；
輪廓的周長超過閾值Th2，和/或；
輪廓包圍的面積超過閾值Th3，和/或；
輪廓最小外接矩形的寬度超過閾值Th4，和/或；
輪廓最小外接矩形的高度超過閾值Th5，和/或；
輪廓最小外接矩形的面積超過閾值Th6，和/或；
可以通過設置Th1～Th6的閾值，來調節待保存的數據量，如果小的擾動也不保存的話，則可以提高這些數值，那麼數據保存量會更加減少，即：可以設置的非常靈敏，可以剛剛超過底噪，此時保存的數據較全面；可以設置的中等靈敏，即過濾掉很小的擾動，例如1~2級風產生的擾動，保存的有效數據量就會減小。
所述輪廓指標包括輪廓自身指標和輪廓最小外接矩形的形狀信息，輪廓自身指標包括輪廓點數、輪廓周長和輪廓包圍面積，最小外接矩形的形狀信息包括最小外接矩形的寬度、長度和面積。
在進行步驟③之前，通過輪廓膨脹技術將輪廓區域做放大處理。
在進行步驟⑤之後作外接矩形的交叉性判斷,判斷瀑布圖中任意兩個外接矩形是否有交叉,若有交叉,則將兩個外接矩形合併成一個更大的新矩形區域。
所述新矩形區域的起始點位置為兩個外接矩形的起始點的最小值；所述新矩形區域的終點位置為兩個外接矩形的終點位置的最大值；所述新矩形區域的開始時刻為兩個外接矩形的開始時刻的最小值；所述新矩形區域的結束時刻為兩個外接矩形的結束時刻的最大值。
根據瀑布圖確定並存儲擾動信號的起始時刻、結束時刻、起始位置和結束位置的數據信息，其中起始時刻：
=-，其中為擾動信號實際發生時刻，為預存儲時間；
結束時刻：
t，其中為擾動信號實際結束時刻，為額外存儲時間。
就是瀑布圖中矩形區域第一個點對應的OTDR緩存數據的第一個數據，相應的，就是瀑布圖中矩形區域最後一個點對應的OTDR緩存數據的最後一個數據，起始位置和結束位置就是瀑布圖矩形區域的起始位置和結束位置。
毫無疑問，本發明一種用於光纖安防大數據存儲的方法除了上述實施例中講述的類型和方式以外，還包括其他類似的工作方式和使用方法。總而言之，本發明還包括其他對於本領域技術人員顯而易見的變換和替代。