基於NoSQL資料庫的錄波文件存儲方法與流程
2023-10-17 14:24:44
本發明涉及錄波數據文件的存儲和分析，是一種大數據環境下，基於NoSQL資料庫的一種存儲方法。
背景技術：
：：隨著數字信息化時代的迅猛發展，信息量也呈爆炸性增長態勢。在人類充分享受信息化帶來的資訊、方便和快捷時，也使得全球的數字信息資源正進入到一個前所未有的快速增長期。據IDC統計，2011年全球數據量已達到1.8ZB，相當於全世界人均產生200GB以上的數據，並且還將以每年50％的速度繼續增長。在這洶湧來襲的數據浪潮下，社會各個領域也將開始其數據化進程。無論學術界、商界還是政府，都將不可避免的進入「大數據時代」。作為全球第二大經濟體的基礎能源支撐體系，中國電力工業概莫能外。電力行業中數據量的增長也呈現出相似的態勢。近幾年，電力行業信息化也得到了長足的發展，我國電力企業信息化起源於20世紀60年代，從初始電力生產自動化到80年代以財務電算化為代表的管理信息化建設，再到近年大規模的企業信息化建設，特別伴隨著下一代智能化電網的全面建設，以物聯網和雲計算為代表的新一代IT技術在電力行業中的廣泛應用，電力數據資源開始急劇增長並形成了一定的規模。從長遠來看，作為中國經濟社會發展的「晴雨表」，電力數據以其與經濟發展緊密而廣泛的聯繫，將會呈現出無以倫比的正外部性，對我國經濟社會發展以至人類社會進步也將形成更為強大的推動力。技術實現要素：本發明的目的在於提供一種基於NoSQL資料庫的錄波文件存儲方法，本發明採用關係型資料庫和NoSQL資料庫相結合的方式對錄波文件進行存儲，關係型資料庫存儲錄波配置文件，NoSQL資料庫採用HBase資料庫存儲錄波數據文件。本發明的技術方案如下：一種基於NoSQL資料庫的錄波文件存儲方法，包括如下內容：1)錄波配置文件的存儲1.1)錄波配置文件表結構定義錄波配置文件名以「.cfg」結尾，其存儲的錄波配置文件為結構化數據，具體包括採樣頻率、信道數、行頻以及信道信息等內容。這些內容採用關係庫存儲，為此定義了四個表，分別為「錄波文件描述表、錄波文件頻率表、狀態量點表、模擬量點表」，各表具體內容如下表1-1、1-2、1-3、1-4所示，對應的表結構及其關係如圖1所示：在圖1中所示，CFG_FILE_Desc,Sample_Rate_List,Analog_Channel,Status_Channel為關係庫中定義的四個表，存儲配置文件信息；TimesDig和TimesAna為列族資料庫(HBase)中定義的數據表，存儲數據文件信息。配置文件描述表和其它幾個表是一對多的關係，具體各個欄位描述如下表所示：表1-1表1-2表1-3表1-41.2)對錄波配置文件進行存儲，具體流程為：(a1)創建關係資料庫中步驟1.1中的四種表；(b1)讀取配置文件，並且解析為各個表結構的數據；(c1)按照先父表後子表的順序將數據插入，插入表CFG_File_Desc結構的數據後會產生全局唯一GUID，GUID作為其它表的關鍵欄位進行輸入，否則依據表的「參照完整性」定義，會存儲數據失敗。2)錄波數據文件的存儲2.1)錄波數據文件存儲定義錄波數據文件包含了各個遙測和遙信通道壓縮後的採樣值，遙測和遙信通道在錄波配置文件中定義。錄波數據文件的查詢經常為一個數據文件的一個信道的完整數據，採用NoSQL資料庫的一種列族資料庫進行存儲。依據固定了遙測遙信兩種通道，列族資料庫創建兩個數據表：遙測表TimesDig和遙信表TimesAna，如圖1所示。這兩個表主鍵採用版本號+GUID+通道號的方式，方便按通道查找數據；每個錄波配置文件中定義的的信道數量不一，因此將信道名+結束的點數為列名，存儲為多列；由於列族數據按byte數組存儲數據，因此將數據轉化成byte數組進行存儲。具體結構如下表2：表22.2)對錄波數據文件進行存儲，具體流程為：(a2)按通道讀取錄波數據文件內容；(b2)根據信道數產生分割數據形成多個數據的數組；(c2)在列族資料庫中按行健設置列名，存儲數據。本發明對比現有技術，有如下優點：1.錄波文件存儲到資料庫中，集中管理，增加了索引，方便了查詢，改變了文件存儲查詢較慢的問題。2.錄波文件存儲到資料庫中，形成了集中、統一的存儲方式，方便了存儲容量的擴充，改變了本地存儲的限制。3.本發明提供一種大數據的存儲方式，通過可擴展的列族數據，能夠存儲非常大量的錄波文件。通過這些大量的錄波數據，可以進行機器學習，智能分析，產生更大的價值，改變了錄波文件遠程調取，人為分析的舊的模式。附圖說明圖1錄波文件E-R圖。具體實施方式以下是按照方法流程的一個實際案例，解析的文件為「DRL600C_DRec_119313_20140531_065437_121.cfg」，包含了資料庫表的創建，數據的插入等內容。利用資料庫所建立的索引，方便了數據的查詢，對於大數據下的智能分析，不在本方法描述範圍內。1.依照E-R圖設計，創建關係庫表，以sql語句為標準，通過創建具有相互關聯的資料庫表，具體為：a)創建表CFG_File_Desc：CreatetableCFG_File_Desc(Station_Namevarchar(64)NOTNULL,Recording_Device_IDvarchar(64)notnull,Revision_Yearinteger,Tatal_Channel_Countinteger,Analog_Channel_Countinteger,Status_Channel_Countinteger,Line_FrequencyFLOAT,Sample_Rate_Countinteger,File_Start_TimeTIMESTAMP,Trigger_TimeTIMESTAMP,File_Typeinteger,Time_Multiplierinteger,GUIDserialunique,HDR_FileTEXT,INF_FileTEXT,PRIMARYKEY(Station_Name,Recording_Device_ID,Trigger_Time))b)創建表：Sample_Rate_ListCreatetablesample_rate_list(GUIDintegerreferencesCFG_File_Desc(GUID),Numberinteger,Samp_Ratefloat,Start_Sampinteger,End_Sampinteger,PRIMARYKEY(GUID,Number))c)創建表Analog_ChannelCreatetableanalog_channel(GUIDintegerreferencesCFG_File_Desc(GUID),Channel_IDinteger,Channel_Namevarchar(64),Phase_IDvarchar(2),Monitored_Componentvarchar(64),Channel_Unitsvarchar(32),Channel_Multiplierfloat,Channel_Offsetfloat,Channel_Skewfloat,Range_Min_Limit_Valueinteger,Range_Max_Limit_Valueinteger,Channel_Ratio_Primaryfloat,Channel_Ratio_Secondaryfloat,Data_Primary_Secondaryinteger,PRIMARYKEY(GUID,Channel_ID))d)創建表Status_ChannelCreatetabletest1.status_channel(GUIDintegerreferencestest1.CFG_File_Desc(GUID),Channel_IDinteger,Channel_Namevarchar(64),Phase_IDvarchar(2),Monitored_Componentvarchar(64),Normal_Stateinteger,PRIMARYKEY(GUID,Channel_ID))2.讀取配置文件*.cfg，獲取相關內容，形成sql插入語句：a)插入CFG_File_Desc表中數據：insertintocfg_file_desc(station_name,recording_device_ID,revision_year,tatal_channel_count,analog_channel_count,status_channel_count,line_frequency,sample_rate_count,file_start_time,trigger_time,file_type,time_multiplier,file_name)values('浙江.半山廠','#8號發變組故錄DRL600A',1999,288,96,192,50.000000,2,'2014-05-3106:05:37.001000','2014-05-3106:05:37.121000',1,1.000000,'DRL600C_DRec_119313_20140531_065437_121.cfg')b)獲取自動生成的GUID，執行下面sql後得到guid＝3658selectstation_device_idfromcfg_file_descwhereStation_Name＝'浙江.半山廠'andRecording_Device_ID＝'#8號發變組故錄DRL600A'andtrigger_time＝'2014-05-3106:05:37.121000'c)插入Sample_Rate_List表中數據：這裡有兩個頻率段，顧插入兩條記錄insertintosample_rate_list(station_device_id,number,samp_rate,start_samp,end_samp)values(3658,1,4800.000000,0,576)insertintosample_rate_list(station_device_id,number,samp_rate,start_samp,end_samp)values(3658,2,4800.000000,577,45504)d)插入Analog_Channel表中數據，以下是一條通道內容，實際會循環插入所有通道數據。insertintoanalog_channel(station_device_id,channel_id,channel_name,phase_id,monitored_Component,channel_units,channel_multiplier,channel_offset,channel_skew,range_min_limit_value,range_max_limit_value,channel_ratio_primary,channel_ratio_secondary,data_primary_secondary)values(3658,0,'發電機機端電壓Ua','A','發電機','V',0.006200,0.000000,0.000000,-32767,32767,1.000000,1.000000,2)e)插入Status_Channel表中數據，以下是一條通道內容，實際會循環插入所有通道數據。insertintostatus_channel(station_device_id,channel_id,channel_name,phase_id,monitored_component,normal_state)values(3658,0,'主變保護AB櫃主變差動保護動作',」,」,69317296)3.創建列族資料庫表按定義的表名TimesDig和TimesAna，調用系統接口創建數據表。4.插入列族資料庫a)根據定義產生行健：1003658001,1是版本號，003658是guid，001為通道號b)根據配置文件定義兩個列名：i.4800.000000,576ii.4800.000000,45504c)為每個列存儲數據d)再循環到下一個通道繼續存儲。本發明的實施方式不限於此，在本發明上述基本技術思想前提下，按照本領域的普通技術知識和慣用手段對本
發明內容所做出其它多種形式的修改、替換或變更，均落在本發明權利保護範圍之內。當前第1頁1 2 3 當前第1頁1 2 3