一種用電信息採集系統的海量數據存儲方法及系統的製作方法
2024-03-03 02:24:15
一種用電信息採集系統的海量數據存儲方法及系統的製作方法
【專利摘要】本發明涉及一種用電信息採集系統的海量數據存儲方法及系統，屬於用電信息採集數據存儲【技術領域】。本發明通過在每個存儲子節點上配置有監測客戶端，將各節點的CPU負載、系統內存的餘量、網絡的流量、當前已建立的連接數等相關運行負載信息實時傳遞到調度和管理節點，經由調度與管理節點的分配，前置機集群中的某個節點與一個存儲子節點直接建立通訊鏈路進行數據傳輸和入庫，數據流並不通過調度和管理節點。通過合理調度可建立起由多個點對點通信鏈路構成的用於數據存儲的通信網絡，可有效避免數據熱點的產生，最大化利用系統的網絡傳輸資源，分布式存儲子節點集群的部署成本較低、擴展性好。
【專利說明】一種用電信息採集系統的海量數據存儲方法及系統
【技術領域】
[0001]本發明涉及一種用電信息採集系統的海量數據存儲方法及系統，屬於用電信息採集數據存儲【技術領域】。
【背景技術】
[0002]在現有用電信息採集系統的入庫過程中，其數據流向主要是:首先，由前置機通過與終端的通信，獲取原始的採集數據並進行相應的規約解析，生成可以入庫的數據文件；然後，由一個數據採集服務節點與前置機集群建立socket連接，來收集這些數據文件。最後，根據不同的存儲方案(集中式存儲或分布式資料庫)，由數據採集服務節點轉發數據文件至一臺資料庫伺服器或多臺數據存儲子節點。
[0003]隨著智能電網建設規模的擴大，現在各網省電力公司用電信息採集系統的用戶規模，基本處於百萬甚至千萬級用戶以上，由此將產生海量的量測數據。入庫時，如果無法在以15min為一個採集周期的時間內處理完本周期內大量數據，就會造成隊列堆積和後續數據處理的延遲，因此用電信息採集系統在數據存儲上將面臨著千萬級數據潮湧的巨大壓力。然而，在現有體系下，由於大量的數據文件都要經過數據採集服務節點的轉發，該節點容易產生數據熱點，並成為入庫過程中的網絡瓶頸，影響整個系統的實時性和可靠性。
【發明內容】
[0004]本發明的目的是提供一種用電信息採集系統的海量數據存儲方法及系統，以解決現有用電信息採集系統入庫過程中出現的網絡瓶頸問題。
[0005]本發明為解決上述技術問題而提供一種用電信息採集系統的海量數據存儲方法，該存儲方法包括以下步驟:
[0006]I)採集各存儲子節點的CPU負載、系統內存餘量、網絡流量和當前已建立的連接數的運行負載信息；
[0007]2)根據上述採集到各存儲子節點的運行負載信息分配能夠與前置機建立通信的存儲子節點；
[0008]3)將分配的存儲子節點與需要傳輸數據的前置機建立通信連接，使前置機中的數據直接傳輸到存儲子節點。
[0009]所述步驟I)是通過在各存儲子節點上配置監測客戶端實現的。
[0010]所述步驟2)存儲子節點的分配是由調度和管理節點實現，該調度和管理節點與各存儲子節點通過專用線通信連接，所述調度和管理節點與前置機通信連接，用於接收前置機的寫入請求。
[0011]在存儲子節點出現故障時，所述調度和管理節點能夠對存儲子節點進行更換和重新接入操作。
[0012]所述存儲方法還能夠進行系統擴容，具體過程如下:
[0013]A.添加新的存儲伺服器到分布式存儲子節點集群；
[0014]B.在調度和管理節點中註冊該伺服器；
[0015]C.調度和管理節點將該伺服器納入管理，獲取其運行信息；
[0016]D.調度和管理節點將該伺服器加入到可分配的服務節點列表，該伺服器正式成為分布式存儲子節點。
[0017]本發明還提供一種用電信息採集系統的海量數據存儲系統，該存儲系統包括存儲子節點、前置機以及調度和管理節點，所述存儲子節點上配置有監測客戶端，採集存儲子節點的CPU負載、系統內存餘量、網絡流量和當前已建立的連接數的運行負載信息，所述調度和管理節點與存儲子節點通信連接，用於接收存儲子節點的運行負載信息並根據該信息分配能夠與前置機建立通信的存儲子節點，所述調度和管理節點還與前置機通信連接，用於接收前置機的寫入請求。
[0018]所述存儲子節點和前置機均為集群設置。
[0019]在存儲子節點出現故障時，所述調度和管理節點能夠對存儲子節點進行更換和重新接入操作。
[0020]所述存儲系統還能夠進行系統擴容，具體過程如下:
[0021]a.添加新的存儲伺服器到分布式存儲子節點集群；
[0022]b.在調度和管理節點中註冊該伺服器；
[0023]c.調度和管理節點將該伺服器納入管理，獲取其運行信息；
[0024]d.調度和管理節點將該伺服器加入到可分配的服務節點列表，該伺服器正式成為分布式存儲子節點。
[0025]所述的調度和管理節點採用主節點和備用節點相結合的方式進行部署，負責與前置機集群以及存儲子節點集群進行雙向通信。
[0026]本發明的有益效果是:本發明通過在每個存儲子節點上配置有監測客戶端，將各節點的CPU負載、系統內存的餘量、網絡的流量、當前已建立的連接數等相關運行負載信息實時傳遞到調度和管理節點，經由調度與管理節點的分配，前置機集群中的某個節點與一個存儲子節點直接建立通訊鏈路進行數據傳輸和入庫，數據流並不通過調度和管理節點。通過合理調度可建立起由多個點對點通信鏈路構成的用於數據存儲的通信網絡，可有效避免數據熱點的產生，最大化利用系統的網絡傳輸資源，分布式存儲子節點集群的部署成本較低、擴展性好。
【專利附圖】
【附圖說明】
[0027]圖1是是用電信息採集系統的海量數據存儲系統的結構示意圖；
[0028]圖2是用電信息採集系統的海量數據存儲方法的流程圖。
【具體實施方式】
[0029]下面結合附圖對本發明的【具體實施方式】作進一步的說明。
[0030]本發明的一種用電信息採集系統的海量數據存儲方法的實施例
[0031]本發明通過在每個存儲子節點上配置有監測客戶端，將該節點的CPU負載、系統內存的餘量、網絡的流量、當前已建立的連接數等相關運行負載信息實時傳遞到調度和管理節點，經由調度與管理節點的分配，前置機集群中的某個節點與一個存儲子節點直接建立通訊鏈路進行數據傳輸和入庫，數據流並不通過調度和管理節點。該方法的流程如圖2所示，具體步驟如下:
[0032]1.前置機生成入庫文件並向管理與調度節點發送寫入請求。
[0033]2.管理與調度節點上的分布式存儲調度服務接收寫入請求，向前置機發送回復，要求等待。
[0034]3.匯集監測客戶端傳來的各存儲子節點的運行信息和負載情況。
[0035]4.分布式存儲調度服務根據調度策略，這裡選擇負載量最小的存儲子節點進行分配，指定若干相關存儲子節點同時執行相應的數據存儲任務。
[0036]5.分布式存儲調度服務將建立連接所需的通信信息分發給前置機和相關存儲子節點。
[0037]6.由前置機發送請求向各相關存儲子節點建立通信連結，如果成功則將連接成功的信息返回給分布式存儲調度服務，否則請求分布式調度服務重新執行步驟3。
[0038]7.存儲子節點執行存儲任務，進行數據存儲。
[0039]該存儲方法還能夠進行系統擴容，具體過程如下:
[0040]A.添加新的存儲伺服器到分布式存儲子節點集群；
[0041]B.在調度和管理節點中註冊該伺服器；
[0042]C.調度和管理節點將該伺服器納入管理，獲取其運行信息；
[0043]D.調度和管理節點將該伺服器加入到可分配的服務節點列表，該伺服器正式成為分布式存儲子節點。
[0044]本發明一種用電信息採集系統的海量數據存儲系統的實施例
[0045]如圖1所示，本發明的用電信息採集系統海量數據存儲系統包括前置機集群、調度和管理節點以及存儲子節點集群，存儲子節點集群中各存儲節點上均配置有監測客戶端，用於採集相應存儲節點的CPU負載、系統內存的餘量、網絡的流量、當前已建立的連接數等相關運行負載信息，調度和管理節點通過「心跳」專用線通信連接，用於接收各存儲子節點上的相關運行負載信息，調度和管理節點與前置機集群通信連接，用於接收前置機的寫入請求，同時根據各存儲子節點上的相關運行負載信息分配合適的存儲子節點，建立該存儲子節點與前置機的通信，使前置機中的信息直接存儲到存儲子節點上。
[0046]前置機集群是N臺相互獨立、通過高速網絡互聯的計算機，它們構成一個組，統一用於收集採集終端上傳的量測數據，根據一定的負載均衡策略，該集群以單一系統模式加以管理。存儲子節點集群是由分布式存儲調度服務同時管理的多個分布式存儲子節點。存儲子節點按照分布式存儲調度服務的要求，在本地保存數據。
[0047]該系統的工作過程如下:前置機生成入庫文件後，向調度和管理節點發送寫入請求並等待確認；同時，各存儲子節點的實時負載經過集群與調度和管理節點之間的「心跳」專用線傳輸。調度和管理節點上提供分布式存儲調度服務，在獲得寫入請求後，結合當前負載情況根據一定的規則負責建立前置機與存儲子節點的通信。另外，該節點上具備通信故障處理機制，在存儲子節點出現故障時能夠進行存儲子節點更換、重新連入等操作。
[0048]上述存儲系統還能夠進行系統擴容，具體過程如下:
[0049]a.添加新的存儲伺服器到分布式存儲子節點集群；
[0050]b.在調度和管理節點中註冊該伺服器；
[0051]c.調度和管理節點將該伺服器納入管理，獲取其運行信息；
[0052]d.調度和管理節點將該伺服器加入到可分配的服務節點列表，該伺服器正式成為分布式存儲子節點。
【權利要求】
1.一種用電信息採集系統的海量數據存儲方法，其特徵在於，該存儲方法包括以下步驟: 1)採集各存儲子節點的CPU負載、系統內存餘量、網絡流量和當前已建立的連接數的運行負載信息； 2)根據上述採集到各存儲子節點的運行負載信息分配能夠與前置機建立通信的存儲子節點； 3)將分配的存儲子節點與需要傳輸數據的前置機建立通信連接，使前置機中的數據直接傳輸到存儲子節點。
2.根據權利要求1所述的用電信息採集系統的海量數據存儲方法，其特徵在於，所述步驟1)是通過在各存儲子節點上配置監測客戶端實現的。
3.根據權利要求2所述的用電信息採集系統的海量數據存儲方法，其特徵在於，所述步驟2)存儲子節點的分配是由調度和管理節點實現，該調度和管理節點與各存儲子節點通過專用線通信連接，所述調度和管理節點與前置機通信連接，用於接收前置機的寫入請求。
4.根據權利要求3所述的用電信息採集系統的海量數據存儲方法，其特徵在於，在存儲子節點出現故障時，所述調度和管理節點能夠對存儲子節點進行更換和重新接入操作。
5.根據權利要求4所述的用電信息採集系統的海量數據存儲方法，其特徵在於，所述存儲方法還能夠進行系統擴容，具體過程如下: A.添加新的存儲伺服器到分布式存儲子節點集群； B.在調度和管理節點中註冊該伺服器； C.調度和管理節點將該伺服器納入管理，獲取其運行信息； D.調度和管理節點將該伺服器加入到可分配的服務節點列表，該伺服器正式成為分布式存儲子節點。
6.一種用電信息採集系統的海量數據存儲系統，其特徵在於，該存儲系統包括存儲子節點、前置機以及調度和管理節點，所述存儲子節點上配置有監測客戶端，採集存儲子節點的CPU負載、系統內存餘量、網絡流量和當前已建立的連接數的運行負載信息，所述調度和管理節點與存儲子節點通信連接，用於接收存儲子節點的運行負載信息並根據該信息分配能夠與前置機建立通信的存儲子節點，所述調度和管理節點還與前置機通信連接，用於接收前置機的寫入請求。
7.根據權利要求6所述的用電信息採集系統的海量數據存儲系統，其特徵在於，所述存儲子節點和前置機均為集群設置。
8.根據權利要求7所述的用電信息採集系統的海量數據存儲系統，其特徵在於，在存儲子節點出現故障時，所述調度和管理節點能夠對存儲子節點進行更換和重新接入操作。
9.根據權利要求8所述的用電信息採集系統的海量數據存儲系統，其特徵在於，所述存儲系統還能夠進行系統擴容，具體過程如下: a.添加新的存儲伺服器到分布式存儲子節點集群； b.在調度和管理節點中註冊該伺服器； c.調度和管理節點將該伺服器納入管理，獲取其運行信息； d.調度和管理節點將該伺服器加入到可分配的服務節點列表，該伺服器正式成為分布式存儲子節點。
10.根據權利要求6-9中任一項所述的用電信息採集系統的海量數據存儲系統，其特徵在於，所述的調度和管理節點採用主節點和備用節點相結合的方式進行部署，負責與前置機集群以及存儲子節點集群進行雙向通信。
【文檔編號】H04L29/08GK104320495SQ201410647064
【公開日】2015年1月28日 申請日期:2014年11月13日 優先權日:2014年11月13日
【發明者】雷鳴, 周逢權, 徐大青, 張展國, 謝學徵, 王林, 賀彪 申請人:許繼電氣股份有限公司, 許昌許繼軟體技術有限公司