電網實時數據集成與共享平臺的製作方法

2023-10-04 14:30:19 2

專利名稱：電網實時數據集成與共享平臺的製作方法
技術領域：
本發明涉及數據集成與共享領域，尤其涉及一種電網實時數據集成與共享平臺。
背景技術：
在電網越來越大、越來越複雜的形勢下，電網運行的安全穩定，尤其是電網的優化 運行已不僅是調度運行人員責任，而是企業管理層、決策層人員共同的責任。電網運行的 實時數據不僅調度人員需要，而且企業各級管理人員都需要。在電網企業的遺留系統普遍 缺乏統一數據規劃的形勢下，如何把當前企業各應用子系統中的數據進行規範化的處理和 轉儲形成視圖，建立數據倉庫，再在數據倉庫的基礎上，針對企業的應用需求建立主題數據 庫，進行數據挖掘，提供一個統一、透明的數據共享服務，以滿足企業的各種數據應用需求， 成為電網實時數據整合的關鍵問題。現有的技術都是通過編寫專門的計算機接口程序或者 人工匯總錄入的方式實現電網數據的整合，數據的一致性、完整性和時效性現有技術都難 以得到保障。

發明內容
本發明的目的在於提供一種實現一個多源異構數據的集成與共享的電網實時數 據集成與共享平臺。為了實現上述目的本發明採用的技術方案如下本發明電網實時數據集成與共享平臺包含兩個子系統實時數據的信息集成平臺 和基於所述的集成平臺的數據共享平臺，兩個子系統之間通過軟體總線相聯；所述的信息集成平臺包含源資料庫分散於電網企業的電網數據系統中，負責存儲電網數據系統採集的原 始數據；適配器負責接收所述源資料庫中的原始數據，包括三種類型關係型資料庫通 用數據集成適配器，負責處理各類關係型數據；文本型數據適配器，負責處理文本類型的數 據源文件；實時數據適配器，負責採集實時數據的收集；目標庫為分布式的資料庫，負責暫時存儲所述實時數據適配器收集的數據；數據倉庫為用於集中存儲所述各適配器採集的數據的資料庫；歸檔程序對所述目標庫中的實時數據進行處理，把處理過的數據存入所述數據 倉庫；所述的數據共享平臺包括源數據管理模塊用來管理系統平臺中的源數據，包括 實時數據源和需要採集的測點的配置，適配器的配置以及適配器對應的目標庫配置、歸檔 信息配置；所述的信息集成平臺還包括任務分配和負載平衡模塊根據所述的源數據管理模 塊預先定義好的各類元數據信息，初始化執行環境，生成各項任務；對電網實時數據的採集 任務進行分配和負載平衡，為各項任務分配合適的數據訪問適配器和目標庫，把所述的關係型資料庫通用數據集成適配器和文本型數據適配器採集的數據直接通過軟體總線存入 所述數據倉庫，把所述實時數據適配器採集的數據送到分配好的目標庫。所述的關係型資料庫通用數據集成適配器包括數據源配置模塊根據用戶的指令添加數據源配置、修改數據源配置、新添數據類 型；方案配置模塊用來實現添加數據採集、傳輸、處理方案、刪除方案、管理方案、執 行方案功能；任務調度及監控模塊負責調用方案配置模塊定義的任務，並監控任務的整個執 行過程；日誌模塊用來記錄系統日誌、報警日誌、歷史日誌，系統日誌包含平臺啟動後的 所有日誌信息；報警日誌包含所有報警方案的信息；歷史日誌查看中包括查看歷史系統日 志和歷史報警日誌；所有的日誌信息，是以天為單位，進行分類寫入文本文件；所述的實時數據適配器包含緩衝管理器和通訊控制模塊，所述通訊控制模塊接受 來自所述的任務分配和負載平衡模塊指令，控制緩衝管理器的寫、讀線程。所述的數據倉庫存儲測點基本信息的基本信息表採用靜態表結構數據表；存儲測 點的記錄數據採用至少一張橫縱表結構、動態數據存儲模式的數據表，數據表的每一列對應 一個測點、存儲該測點的記錄數據，數據表的每一行存儲某個時刻所有列對應的測點的數據。所述的數據共享平臺還包括統一權限控制模塊，用來實現統一的數據訪問控制，所述的統一權限控制模塊中 設置多個角色，每個角色對應一定的功能，每個用戶沒有或者擁有一個或者擁有多個角色， 子角色繼承父角色擁有的所有功能；所屬的統一權限控制模塊中還設置IP訪問控制列表，用來配置允許訪問的IP和 允許訪問部分功能的IP，如果某個IP不允許訪問，則不再該表中出現；或者先配置一個網 段可以訪問，然後再禁止其中某一個需要禁止的IP。本發明的有益效果如下本發明實現了一個多源異構數據集成與共享平臺，提供對不同數據類型、不同時 間響應要求、不同數據源的數據進行規約化處理、標準化傳輸、同一性存儲的數據集成功 能；同時提供高性能數據存取調度功能，滿足各種響應速度的應用要求，為不同類型的數據 源提供相應的「數據適配器」，為不同的數據採集提供實時的處理響應，為不同的數據訪問 提供訪問接口。同時，提供統一的數據訪問控制，提供標準的元數據管理，實時監視平臺的 運行狀況和合理配置和管理平臺資源。


圖1為本發明電網實時數據集成與共享平臺體系結構圖；圖2為主細表遷移模式圖；圖3為分布式目標庫結構圖。
具體實施例方式參見附圖1，本發明包括兩大部分實時數據的信息集成平臺和基於集成平臺的數據共享平臺，兩個平臺子系統之間通過軟體總線相聯；其中，所述的信息集成平臺包含 源資料庫、適配器、目標庫、歸檔程序、數據倉庫、任務分配和負載平衡模塊，所述的源數據 庫可以是文本庫、關係庫、實時庫，針對不同的資料庫，適配器包含關係型資料庫通用數據 集成適配器、文本型數據適配器、實時數據適配器；所述的數據共享平臺包括源數據管理 模塊，統一權限控制模塊，報表和其他業務模塊可以按需開發，通過軟體總線方便快捷的集 成到系統中。系統工作時，源數據管理模塊接受用戶的指令，配置實時數據源和需要採集的測 點的配置，適配器的配置以及適配器對應的目標庫配置、歸檔信息配置一系列信息，任務分 配和負載平衡模塊根據源數據管理模塊中的配置信息，初始化執行環境，生成各項任務，並 為各項任務分配合適的數據訪問適配器和目標庫，關係型資料庫通用數據集成適配器和文 本型數據適配器根據所述任務分配和負載平衡模塊的指令將採集到的數據通過軟體總線 直接存儲到數據倉庫，實時數據適配器採集的數據則在任務分配和負載平衡模塊的指令 下，首先存入目標庫，歸檔程序在對目標庫中的實時數據處理以後存入數據倉庫。所述的關係型資料庫通用數據集成適配器處理的關係型數據可以是ORACLE、 SQLSERVER、Access、DB2、SYSBASE 等類型。所述的關係型適配器中方案配置模塊可以配置的方案包括三類，分別是通用單 表映射方案、通用多表映射方案和單獨映射方案，用戶可以選擇方案的類型，方案的執行周 期，平臺可以根據欄位的名稱，匹配源表與目的表欄位間的映射關係，也能夠人工地進行配置。所述的通用單表映射方案包括全量更新模式、增量模式、主細表模式。所述的全量更新模式是將源數據表中的數據整體向目的表遷移，主要用於靜態數 據表的更新，通過關鍵欄位「逐條比對」，如果關鍵欄位值在目的表中已存在，則更新目的表 對應記錄的相應值，否則插入記錄。全量模式自定義表達式如下Total = {key = #，Condition = # ;#}其中」 #」代表默認不設置情況；key對應目的表的主鍵ID的生成規則，比如針對 Oracle資料庫可設定一個序列名key = seq_salt, condition為源表的數據篩選條件，用 於「逐條比對」，通過「；」分隔可設置多個條件，比如Condition = name ；age，其中name和 age代表源表的兩個條件欄位。所述的增量模式，即保證在上一次已經傳輸過的數據只要在這期間沒有任何變 動，下一次傳輸時將被忽略，由於數據源的異構性，當前的技術難以實現通用的增量數據抽 取。針對電網數據的特點，本發明通過增量標識欄位逐條比對的的方式來實現，所述的增量 標識欄位是時間戳欄位或者ID自增欄位或者任何具有增量性質的欄位，如果數據源表不 含具有增量性質的欄位，則採用關鍵欄位「逐條比對」的方式實現數據遷移，所述的關鍵字 段為組合成主鍵的欄位，如果關鍵欄位值在目的表中已存在則忽略此記錄，否則插入新記 錄。增量模式表達式如下Incremental = {key = #，Condition = # ；#，Inc = #}式中「he」用來標識增量欄位，比如「Inc = YMD」，表示將「YMD」時間欄位作為 增量標識欄位；任務執行完畢後，系統將記錄「YMD」欄位的當前值以供下次任務執行時生 成 sqli吾句。比如 「select*from saltreal where YMD > 2009-02—26083020」，其中「2009-02-2608 30:20」就是系統記錄的「YMD」欄位的值。所述的主細表遷移模式，在資料庫應用系統的開發過程中，往往用外碼來保證參 照實體間的數據一致性，這種有參照關係的表稱為主細表。主細表模式可以保證數據的完 整性，一致性，可用性，避免「髒」數據的產生，具有很高的實用意義。主細表模式表達式如 下Main-sub = {Key = #，Inc = #，condition = # ;#MT = #，SF = #:#;#:#，RF = #:#}MT對應的是主表名(靜態信息表)；SF對應源表欄位與主表欄位的映射關係；RF 對應主表欄位與細表欄位的映射關係；在向細表進行數據遷移執行過程中將根據SF的設 置查詢主表，並根據RF的設置將查詢結果集映射到細表中。參見附圖2，如上圖例所示:"MT = TOWERLEANINFOR, SF =線路號=LINE ；Sim PHONE, RF = ID :PRIMARY_ID, Key = seq_email. nextval, Inc = B^ |1]， condition = TIME ； 」 TOWERLEANINFOR是主表名；線路號LINE表示源表的線路號欄位和動態表的LINE 欄位對應；ID :PRIMARY_ID表示靜態表ID與動態表PID的對應；seq_email. nextval是目 的表資料庫中的序列；TIME是目的表的條件欄位，判斷該數據是否已經導入；「時間」是源 表增量欄位。所述的通用多表映射方案是為了提高系統的應用性能而對通用單表任務的一個 擴展，多表方案是將更新頻度相近且實時性要求不高的若干任務組成一個組方案，組方案 中的各個任務共享一個線程順序執行。所述的單獨映射方案，是指對於系統中尚未定義的某種類型的數據遷移與同步任 務，用戶可以編寫獨立的程序，並將其打成jar包供系統調用執行。所述的目標庫為分布式的資料庫，保存經實時數據適配器處理過的數據，提供給 上層的應用系統和歸檔程序使用。目標庫設計為分布式的資料庫，可以快速響應業務系統 的實時性要求和歸檔程序的歸檔請求。參見附圖3，目標庫在邏輯上是分布式的資料庫，其物理上可以是一個或幾個數據 庫系統構成，可以通過元數據管理來動態調整和分配每個適配器對應的目標資料庫。其目 的是滿足應用系統對實時數據的高實時性要求，以及防止網絡故障情況下直接存儲數據倉 庫而造成歷史數據的丟失，對實時數據進行「暫存」。目標庫通常存儲5分鐘內的電網運行 實時數據(具體時間通過元數據進行配置)，數據歸檔程序將其處理處理完畢後立即清除， 數據檢索具有很高的響應速度。所述的數據倉庫存儲測點基本信息的基本信息表採用靜態表結構數據表，所謂 靜態表是指數據表及表結構、表中的內容相對不變的數據表。在實時數據存儲設計中，用 靜態表描述和記錄各個監測點的基本信息。所述的基本信息表可以分為Measeure表和 MeasureClass表兩類。Measure表記錄了測點的基本信息測點的名稱，測點的編碼，測點 分類，測點值的上下限、單位及數據精度，測點值對用的表ID及欄位ID。MeasureClass表 將系統的各類測點進行了歸類。所述的數據倉庫存儲測點的記錄數據採用至少一張橫縱表結構數據表，數據表的 每一列對應一個測點、存儲該測點的記錄數據，數據表的每一行存儲某個時刻所有列對應 的測點的數據。通常電網實時數據管理系統所採用的表結構是縱表結構，即每一行對應一個測點，一條記錄存儲一個測點的信息。在沒有歷史數據存儲的的情況下，採用縱向表結構 是方便的，但在以歷史數據存儲為重點的實時數據應用系統中，採用縱向表結構就會使數 據存儲、數據使用，尤其是數據挖掘帶來困難。而且，在本發明這種存儲模式下，消除了數據 冗餘，資料庫存儲空間的利用率高。在存儲測點數據之前，通過所述的元數據管理模塊配置測點數據所存儲的表號和 列號。所述的歸檔程序將目的庫中的實時數據按照橫縱表結構規則進行歸檔，存入數據 倉庫，為數據挖掘提供保障。歸檔任務可以手工執行和自動執行，實現數據的自動複製，批 量處理，定時處理。所述的統一權限控制模塊中設置多個角色，每個角色對應一定的功能，每個用戶 可以擁有一個或者多個角色，子角色繼承父角色擁有的所有功能。所屬的統一權限控制模塊中還設置IP訪問控制列表，用來配置允許訪問的IP和 允許訪問部分功能的IP，如果某個IP不允許訪問，則不再該表中出現；或者先配置一個網 段可以訪問，然後再禁止其中某一個需要禁止的IP ；所有IP只有在該表中出現且允許才能 訪問，如果某個IP出現在該表中但某個功能ID被禁止，則該功能無法訪問；IP訪問控制列 表如表1所示表IIP訪問控制列表
權利要求
1.電網實時數據集成與共享平臺，其特徵在於包含兩個子系統實時數據的信息集 成平臺和基於所述的集成平臺的數據共享平臺，兩個子系統之間通過軟體總線相聯；所述的信息集成平臺包含源資料庫分散於電網企業的電網數據系統中，負責存儲電網數據系統採集的原始數據；適配器負責接收所述源資料庫中的原始數據，包括三種類型關係型資料庫通用數 據集成適配器，負責處理各類關係型數據；文本型數據適配器，負責處理文本類型的數據源 文件；實時數據適配器，負責採集實時數據的收集；目標庫為分布式的資料庫，負責暫時存儲所述實時數據適配器收集的數據；數據倉庫為用於集中存儲所述各適配器採集的數據的資料庫；歸檔程序對所述目標庫中的實時數據進行處理，把處理過的數據存入所述數據倉庫；所述的數據共享平臺包括源數據管理模塊用來管理系統平臺中的源數據，包括實時 數據源和需要採集的測點的配置，適配器的配置以及適配器對應的目標庫配置、歸檔信息 配置；所述的信息集成平臺還包括任務分配和負載平衡模塊根據所述的源數據管理模塊預 先定義好的各類元數據信息，初始化執行環境，生成各項任務；對電網實時數據的採集任務 進行分配和負載平衡，為各項任務分配合適的數據訪問適配器和目標庫，把所述的關係型 資料庫通用數據集成適配器和文本型數據適配器採集的數據直接通過軟體總線存入所述 數據倉庫，把所述實時數據適配器採集的數據送到分配好的目標庫。
2.權利要求1所述的電網實時數據集成與共享平臺，其特徵在於所述的關係型數據 庫通用數據集成適配器包括數據源配置模塊根據用戶的指令添加數據源配置、修改數據源配置、新添數據類型； 方案配置模塊用來實現添加數據採集、傳輸、處理方案、刪除方案、管理方案、執行方 案等功能；任務調度及監控模塊負責調用方案配置模塊定義的任務，並監控任務的整個執行過程；日誌模塊用來記錄系統日誌、報警日誌、歷史日誌，系統日誌包含平臺啟動後的所有 日誌信息；報警日誌包含所有報警方案的信息；歷史日誌查看中包括查看歷史系統日誌和 歷史報警日誌；
3.權利要求2所述的電網實時數據集成與共享平臺，其特徵在於所述的關係型適配 器中方案配置模塊的配置方案包括通用單表映射方案，所述的通用單表映射方案採用全量 更新模式用於靜態數據表的更新，將關鍵欄位「逐條比對」，如果關鍵欄位值在目的表中已 存在，則更新目的表對應記錄的相應值，否則插入記錄。
4.權利要求2所述的電網實時數據集成與共享平臺，其特徵在於所述的通用單表映 射方案的更新模式包括增量模式，通過增量標識欄位逐條比對的的方式來實現，所述的增 量標識欄位是時間戳欄位或者ID自增欄位或者任何具有增量性質的欄位，如果數據源表 不含具有增量性質的欄位，則採用關鍵欄位「逐條比對」的方式實現數據遷移，所述的關鍵 欄位為組合成主鍵的欄位，如果關鍵欄位值在目的表中已存在則忽略此記錄，否則插入新記錄。
5.權利要求2所述的電網實時數據集成與共享平臺，其特徵在於所述的通用單表映 射方案的更新模式包括主細表模式。
6.權利要求2所述的電網實時數據集成與共享平臺，其特徵在於所述的關係型適配 器中方案配置模塊的配置方案包括通用多表映射方案，所述的通用多表映射方案將更新頻 度相近且實時性要求不高的若干任務組成一個組方案，組方案中的各個任務共享一個線程 順序執行。
7.權利要求1所述的電網實時數據集成與共享平臺，其特徵在於所述的實時數據適 配器包含緩衝管理器和通訊控制模塊，所述通訊控制模塊接受來自所述的任務分配和負載 平衡模塊指令，控制緩衝管理器的寫、讀線程。
8.權利要求1所述的電網實時數據集成與共享平臺，其特徵在於所述的數據倉庫存 儲測點基本信息的基本信息表採用靜態表結構數據表；存儲測點的記錄數據採用至少一張 橫縱表結構、動態數據存儲模式的數據表，數據表的每一列對應一個測點、存儲該測點的記 錄數據，數據表的每一行存儲某個時刻所有列對應的測點的數據。
9.權利要求8所述的電網實時數據集成與共享平臺，其特徵在於所述的基本信息表 分為Measeure表和MeasureClass表兩類，Measure表記錄了測點的基本信息測點的名 稱，測點的編碼，測點分類，測點值的上下限、單位及數據精度，測點值對用的表ID及欄位 ID, MeasureClass表將系統的各類測點進行了歸類。
10.權利要求1所述的電網實時數據集成與共享平臺，其特徵在於所述的數據共享平 臺還包括統一權限控制模塊，用來實現統一的數據訪問控制，所述的統一權限控制模塊中設置 多個角色，每個角色對應一定的功能，每個用戶沒有或者擁有一個或者擁有多個角色，子角 色繼承父角色擁有的所有功能；所屬的統一權限控制模塊中還設置IP訪問控制列表，用來配置允許訪問的IP和允許 訪問部分功能的IP，如果某個IP不允許訪問，則不再該表中出現；或者先配置一個網段可 以訪問，然後再禁止其中某一個需要禁止的IP。
全文摘要
本發明公開了一種電網實時數據集成與共享平臺，該平臺包含兩個子系統實時數據的信息集成平臺和基於所述的集成平臺的數據共享平臺，兩個子系統之間通過軟體總線相聯；所述的信息集成平臺通過適配器採集設置在各電網企業的源資料庫中的數據，存入數據倉庫，供所述的共享平臺使用。本發明為不同類型的源數據配置不同的適配器，解決了目前電網企業數據不統一難以整合的問題，同時數據倉庫採用橫縱表結構，將數據表的每一列對應一個測點、存儲該測點的記錄數據，這種存儲方式消除了數據冗餘，資料庫存儲空間的利用率提高，有利於數據挖掘。
文檔編號G06F17/30GK102096684SQ200910250789
公開日2011年6月15日 申請日期2009年12月11日 優先權日2009年12月11日
發明者吳克河 申請人:華大天元(北京)電力科技有限公司