多維度電力市場交易數據交互統一監控方法
2023-07-20 05:40:26
專利名稱：多維度電力市場交易數據交互統一監控方法
技術領域：
本發明屬於數據交互統一監控技術領域，涉及多維度、全過程、可視化的數據交互 統一監控技術，特別涉及一種多維度電力市場交易數據交互統一監控方法。針對電力市場 業務開展所需數據與所提供數據的多類型、多源、多口徑、多維度等特性，基於可視化的實 現原則，本發明應用了數據屬性抽象建模技術，構建了多維度的可視化數據監控平臺，實現 了對模型數據、業務數據、從縱向貫通到橫向集成的全過程監控與管理。
背景技術：
電力市場改革有助於打破壟斷、解除管制、引入競爭，以更合理地配置資源，提高 資源利用率，促進電力工業與社會、經濟、環境的協調發展。電力市場交易是改革的基礎，需 要通過「電力市場交易運營系統」進行，而正常的交易業務與系統的運行，均需要與外部數 據或系統進行大量的數據交互，由於電力市場交易所需數據類型多樣，數據交互實現技術 不同，並且數據交互建設的周期長，因此就形成了數據交互的多源性、多口徑性。多源性是指與電力市場交易形成數據交互的數據源頭多；多口徑性是指這些多源 頭的數據內容有可能會有部分重疊，對於同一類型的業務數據會有不同的統計口徑。同時， 數據從交互對象上又存在了縱向貫通與橫向集成，因此也就存在了多種維度的交互。原有 的數據交互監控管理技術，僅僅實現了數據交互過程中日誌的記錄與描述，且日誌記錄分 散在不同的交互通道中，當面對現今的複雜的數據交互時，原有技術就無法滿足對數據交 互的統一監控，且其所記錄的數據交互信息也無法實現可視化的監控技術，從而導致無法 從總體上監控數據交換平臺的數據交互情況與數據狀態。因此需要一種多維度、全過程、 可視化的數據交互統一監控技術來解決這些問題，並實現對數據交互全過程可視化監控管 理。市場交易數據交換分為縱向貫通和橫向集成。縱向貫通是指與國家電網公司、省 (市)電力公司的數據交換，通過公司信息交換平臺實現。橫向集成是指與公司調度通信中 心、科技信息部、發展計劃部、生產部等部門的數據交換。通過縱向貫通和集成能實現對市 場交易和能量的全程管理，滿足各種業務的數據需求。按照國家電網目前的要求，華東電網公司向國家電網公司報送25種數據，分非周 期性數據、年度數據、季度數據、月度數據、日數據五類，省市電力公司向華東電網公司上報 數據類型全集與華東電網公司向國網公司上報數據類型一致。縱向貫通中，省市電力公司 上報華東電網，通過國電南瑞平臺上的觸發器實現，當數據進入南瑞平臺後，觸發器啟動， 自動將業務數據同步到電力市場交易系統。華東電網上報國網數據需要經過抽取、校驗、發 送環節，發送後通過中電普華平臺將數據傳輸至國家電網交易運營系統。橫向數據集成主要的數據來源是華東電網公司信息中心UIP系統，其數據內容來 自調度中心、發展策劃部、生產部、科信部、財務部，按數據周期共分為兩類月度數據與日 數據，其中日數據中也包含了分鐘級的數據。橫向集成通過Web Service技術實現，同時也 具備了消息通知機制，即當數據源數據發生變更或者遲到補入時，數據源方會發送相應的消息通知接收方，接收方收到消息通知後，對此條消息進行反饋，已確認消息通知收到。為能儘快適應國家政策、法律法規、市場規則的變化，電力市場交易需要不斷地對 自身進行調整，在自身調整中，為了適應這些多源性、多維度、多類型的數據交互，有效地 對數據的交互狀態進行監控管理，對數據交互的統一監控平臺就顯得尤為迫切和重要，因 此，統一的監控平臺不但要能夠包含數據交互的狀態信息，還要能夠簡便操作，容易理解， 因此，對數據交互統一監控的視圖，在模型設計上要儘可能地將所交換的數據進行分類、分 源、分周期。同時對交互數據的監管還要能夠清楚地定義數據交互的狀態，並對數據內容進 行查看管理，對數據質量做出評價，對數據交互的及時性做出判斷。如此種種才能夠滿足多 維度數據交互的統一監控要求，對電力市場交易的分析，判斷給出強有力的支持。有鑑於此，尋求一種多維度電力市場交易數據交互統一監控方法成為該領域技術 人員的追求目標。
發明內容
本發明針對電力市場交易業務中，所需數據與所供數據的交互平臺的多維度、多 類型、多源頭、多口徑的複雜特性，以及決策管理人員對數據交互狀態、總體情況和具體到 數據內容上的監控管理需求，提供了一種多維度電力市場交易數據交互統一監控技術進行 解決。本發明目的之一使用數據建模技術對數據交互平臺與各個數據源頭進行交換的 數據建模，並對數據類型進行分析，從數據方向維度、時間周期維度、數據源維度、口徑維度 上對交互的數據進行分類，並建立統一的監控平臺。本發明目的之二通過多維度的數據交互統一監控平臺對數據交互的及時性、完 整性、準確性做出監管、評價，為業務人員提供數據交互的狀態全景圖，對其做出正確的判 斷和決策提供支持。本發明的技術解決方案如下
一種多維度電力市場交易數據交互統一監控方法，對數據交互平臺上交互的數據從交 互方向上、時間周期上、數據類型上進行多維度建模，並對各個方向上的數據交互的狀態進 行定義，包括以下步驟
(1)根據數據交互監控的整體結構圖，電力市場交易數據交互監控平臺中的數據交換 方向按照數據源的級別和數據交互的目的，分為縱向和橫向；
所述縱向數據交換為基級單位上報中級單位，中級單位上報高級單位，高級單位下發 中級單位；
所述橫向數據交換為信息中心通過webservice接口通信方式，交易運營系統從數據 中心獲取自身所需數據；調度中心通過交易運營系統自動觸發，從電能計劃及合同管理系 統取得雙邊交易合同信息與雙邊交易調度執行信息；
(2)實現縱向維度的數據統一監控，數據在發生交互前，先要在系統中經過邏輯處理與 整合，然後通過數據監控平臺發送至高級單位，數據監控平臺需要對數據從抽取到人工校 驗，再到發送的過程進行實時監控；
(3)實現橫向維度統一監控，橫向維度包括信息中心與調度中心數據，其中信息中心數 據通過webservice實現數據同步，調度中心通過FTP文件讀取方式實現數據同步。
所述調度中心還包括備用系統，在數據交互平臺與其它數據中心無法通信的情況 下，通過備用功能，將業務數據用Excel的方式導入進交易運營系統，以保證交易運營系統 的正常業務使用。所述交互數據類型有數據周期性、報表名稱、時間要求。所述數據周期性中數據包括日數據、月度數據、季度數據、年度數據以及非周期性 數據。所述步驟(2)中，根據高級單位的標準數據表格把交易運營系統裡的數據從複雜 的各類業務報表進行整合提煉，最終抽取存入到交易運營系統資料庫中與高級單位一致的 數據表即映像表裡，等待數據校驗；在數據抽取已經存入映像表的同時也做後臺記錄日誌； 其中映像表裡儲存有每次點擊數據獲取時的所有「快照」，用戶在此時即可進行數據校驗操 作；數據校驗模塊對映像表進行數據質量驗證，對不合格的映像表把校驗失敗原因存入交 易運營系統日誌，而對於校驗成功的映像表也存入系統日誌；用戶在頁面選擇所需要的數 據類型點擊發送，如此類數據從日誌表裡查出在映像表裡最新的數據是校驗通過的，系統 立即把此類數據存入縱向數據交互平臺的實際表，同時插入縱向數據交互平臺的歷史表; 縱向數據交互平臺的實際表等待發送指令發布成功後高級單位會通過服務來取得實際表 裡的數據，歷史表裡的數據是給予用戶在頁面查詢校驗成功的歷史數據。所述步驟(2)中，所述實時監控包括總體監控模式和明細監控模式。本發明的多維度電力市場交易數據交互統一監控方法的主要特點有
1、通過對數據交互平臺中的數據，從數據方向、數據源頭、數據周期、數據類型維度出 發，將數據進行梳理、分類監控管理，從而實現了多維度的統一數據監控，使用本發明的技 術，能夠將原先無法整體表現、統一監控的數據交互平臺的數據交互信息，進行統一的整合 與管理。2、建立多維度電力市場交易數據交互統一監控平臺，不但提供了對數據交互狀態 的多維度建模，同時對各個維度靈活地提供了數據交互狀態的定義，從而使得各個方向上 的數據交互能夠統一監視管理。本發明由於採用了以上技術方案，使之與現有技術相比，本發明的多維度電力市 場交易數據交互統一監控方法具有如下優點
(1)除了對數據本身建模之外，創新性地從數據交互方向、源頭、時間周期、數據類型等 維度進行建模，在模型複雜的基礎之上提供了簡單明了的業務決策參考，將原本由於海量 數據交互而無法實現的統一監控管理變成現實。(2)對數據交互的過程進行了詳細的定義和記錄，從而使得對數據交互不僅能夠 實現監控，還能夠對以往的歷史數據進行分析整理，為當前的和未來的數據交互平臺提供 運行與決策支持。
圖1為本發明的一種多維度電力市場交易數據交互統一監控方法的數據交互整 體結構圖。圖2為本發明的實例中華東電網上報國網的業務流程圖。圖3為本發明的實例中上報國網抽取邏輯示意圖。
圖4為本發明的實例中華東電網上報國網統一監控示意圖。圖5為本發明的實例中縱向數據交互流程圖。
具體實施例方式下面結合附圖和實施例對本發明的多維度電力市場交易數據交互統一監控方法 進行詳細說明。參看圖1至圖5，本發明採用了多維度的建模技術，對數據交互平臺上交互的數據 從交互方向上、時間周期上、數據類型上進行了建模，並對各個方向上的數據交互的狀態進 行了定義。一、根據數據交互監控的整體結構圖(圖1所示)，電力市場交易數據交互監控平臺 中的數據交換方向按照數據源的級別和數據交互的目的，可以分為縱向和橫向，其中，縱向 數據交換包括了省市電力公司上報華東電網、華東電網上報國網、國網下發華東電網。省市電力公司上報華東電網公司，華東交易運營系統數據交換平臺自動接收省市 上報的數據，共包括年度數據2個，季度數據2個，月度數據10個(因各省市業務不同數量 不一)，日數據1個，非周期數據5個。華東電網上報國家電網，數據上報實現自動抽取，自動上報，人工校驗，其中年度 數據2個，季度數據2個，月度數據7個，日數據2個，非周期數據8個。這兩個方向上共包括以下數據類型。
權利要求
1.一種多維度電力市場交易數據交互統一監控方法，其特徵在於，對數據交互平臺上 交互的數據從交互方向上、時間周期上、數據類型上進行多維度建模，並對各個方向上的數 據交互的狀態進行定義，包括以下步驟(1)根據數據交互監控的整體結構圖，電力市場交易數據交互監控平臺中的數據交換 方向按照數據源的級別和數據交互的目的，分為縱向和橫向；所述縱向數據交換為基級單位上報中級單位，中級單位上報高級單位，高級單位下發 中級單位；所述橫向數據交換為信息中心通過webservice接口通信方式，交易運營系統從數據 中心獲取自身所需數據；調度中心通過交易運營系統自動觸發，從電能計劃及合同管理系 統取得雙邊交易合同信息與雙邊交易調度執行信息；(2)實現縱向維度的數據統一監控，數據在發生交互前，先要在系統中經過邏輯處理與 整合，然後通過數據監控平臺發送至高級單位，數據監控平臺需要對數據從抽取到人工校 驗，再到發送的過程進行實時監控；(3)實現橫向維度統一監控，橫向維度包括信息中心與調度中心數據，其中信息中心數 據通過webservice實現數據同步，調度中心通過FTP文件讀取方式實現數據同步。
2.根據權利要求1所述的多維度電力市場交易數據交互統一監控方法，其特徵在於， 所述調度中心還包括備用系統，在數據交互平臺與其它數據中心無法通信的情況下，通過 備用功能，將業務數據用Excel的方式導入進交易運營系統，以保證交易運營系統的正常 業務使用。
3.根據權利要求1所述的多維度電力市場交易數據交互統一監控方法，其特徵在於， 所述交互數據類型有數據周期性、報表名稱、時間要求。
4.根據權利要求3所述的多維度電力市場交易數據交互統一監控方法，其特徵在於， 所述數據周期性中數據包括日數據、月度數據、季度數據、年度數據以及非周期性數據。
5.根據權利要求1所述的多維度電力市場交易數據交互統一監控方法，其特徵在於， 所述步驟(2)中，根據高級單位的標準數據表格把交易運營系統裡的數據從複雜的各類業 務報表進行整合提煉，最終抽取存入到交易運營系統資料庫中與高級單位一致的數據表即 映像表裡，等待數據校驗；在數據抽取已經存入映像表的同時也做後臺記錄日誌；其中映 像表裡儲存有每次點擊數據獲取時的所有「快照」，用戶在此時即可進行數據校驗操作；數 據校驗模塊對映像表進行數據質量驗證，對不合格的映像表把校驗失敗原因存入交易運營 系統日誌，而對於校驗成功的映像表也存入系統日誌；用戶在頁面選擇所需要的數據類型 點擊發送，如此類數據從日誌表裡查出在映像表裡最新的數據是校驗通過的，系統立即把 此類數據存入縱向數據交互平臺的實際表，同時插入縱向數據交互平臺的歷史表；縱向數 據交互平臺的實際表等待發送指令發布成功後高級單位會通過服務來取得實際表裡的數 據，歷史表裡的數據是給予用戶在頁面查詢校驗成功的歷史數據。
6.根據權利要求1所述的多維度電力市場交易數據交互統一監控方法，其特徵在於， 所述步驟(2)中，所述實時監控包括總體監控模式和明細監控模式。
全文摘要
本發明涉及一種多維度電力市場交易數據交互統一監控方法，對數據交互平臺上交互的數據從交互方向上、時間周期上、數據類型上進行多維度建模，並對各個方向上的數據交互的狀態進行定義，包括以下步驟根據數據交互監控的整體結構圖，電力市場交易數據交互監控平臺中的數據交換方向按照數據源的級別和數據交互的目的，分為縱向和橫向；實現縱向維度的數據統一監控，數據在發生交互前，先要在系統中經過邏輯處理與整合，然後通過數據監控平臺發送至高級單位，數據監控平臺需要對數據從抽取到人工校驗，再到發送的過程進行實時監控；實現橫向維度統一監控。本發明創新性地從數據交互方向、源頭、時間周期、數據類型等維度進行建模，實現統一監控管理。
文檔編號G06Q30/00GK102129646SQ20111005626
公開日2011年7月20日 申請日期2011年3月9日 優先權日2011年3月9日
發明者劉福斌, 承林, 李 燦, 楊立兵, 洪元瑞, 蘆越 申請人:上海華東電集能源信息有限公司, 華東電網有限公司