一種電動汽車及充換電設施系統海量數據處理方法
2023-04-29 01:08:41
專利名稱：一種電動汽車及充換電設施系統海量數據處理方法
技術領域：
本發明涉及一種計算機應用的海量數據處理方法，尤其是涉及一種專用於電動汽車系統海量數據處理方法。
背景技術：
2009年初國家電網曾經做了汽車充電站的十年長期發展規劃。根據規劃，到2015年我國汽車充電站數量將達到1700座；到2020年我國汽車充電站數量有望達到10000座。這一規劃在電動公交車和PHEV (插電式混合動力汽車)、EV (電動汽車)乘用車的共同拉動下，有望成為現實。汽車充電站的管理需要用到電動汽車管理系統，電動汽車管理系統需要採集數
據，其涉及的數據採集主要通過汽車充電站的站級系統採集充電站數據，將數據集中起來。對於實時採集的數據類型包括I)電能數據包括表碼、需量等。2)模擬量包括電壓、電流、有功功率等。3)電能質量統計數據包括電壓、功率因數、諧波等數據。4)事件記錄數據包括終端和表計的事件記錄數據。5)開關量數據、監控數據。而運營管理方希望展示的分析數據包括工況統計、計量點電量、功率因數、對象電量、負荷統計、極值分析數據、採集完整率、流量數據。再深入的分析包括涉及決策支持、運營效益、充電設備利用率等。由於電動汽車管理系統實時採集的數據相當龐大，一般的處理方式已經很難滿足系統管理的要求。現有的應用系統直接依靠採集的基礎數據提供用戶所需的結果需要藉助資料庫的SQL統計分組等語句和應用伺服器的實時計算能力，在數據量海量情況下對資料庫系統和應用系統都有很大的壓力，且某些應用功能要多種業務數據的綜合分析才能得出最終結果，此時實時計算更是耗時巨大，對資料庫、應用伺服器的軟硬體也提出了很高的要求，由於統計的耗時很長，用戶的體驗也很差，特別在多用戶並發查詢操作的情況下，系統不能再處理用戶的請求，甚至造成系統內存不足而宕機。
發明內容
本發明所要解決的技術問題，就是提供一種電動汽車及充換電設施系統海量數據處理方法，其既能滿足系統管理的要求，且實時計算費時較短，統計耗時也不長，用戶體驗較好，對資料庫、應用伺服器的軟硬體要求不高，即便在多用戶並發查詢操作的情況下，系統也能很好地處理用戶的請求，不會造成系統內存不足而宕機。解決上述技術問題，本發明採用的技術方案如下一種電動汽車及充換電設施系統海量數據處理方法，包括以下步驟
SI前置採集系統通過GPRS(通用無線分組業務)網絡或應用程式接口、WebService(在線應用服務)服務其中之一的方式採集充電站的實時數據，根據實時數據的屬性和業務特徵按時間分表的方式錄入基礎數據採集庫；S2根據實時數據的屬性，調用策略庫的對應處理策略，對採集的實時數據進行預處理，形成基礎數據；S3根據基礎數據的屬性和業務特徵，調度系統啟動自動計算任務，並賦予自動計算任務對應的屬性值；S4調度系統對自動計算任務按照綜合權重值的優先級排序，通過策略庫中配置的權重閥值動態分配雙線程池運行，分析處理基礎數據得到以計量點對象為基礎的基礎計算數據；S5計算服務向C0MCACHE(緩存系統)緩存以計量點對象為基礎的基礎計算數據；S6計算服務對C0MCACHE緩存中以計量點對象為基礎的基礎計算數據二次處理，分析並計算出以充電樁、充電站、地區、全省為屬性的高級計算數據；S7DBSERVER存儲系統向計算結果資料庫存儲基礎計算數據和高級計算數據。所述的步驟SI中，實時數據是指電動汽車充電站運營中產生的一系列不同種類的實時數據，包含I)電能數據包括表碼、需量等；2)模擬量包括電壓、電流、有功功率等；3)電能質量統計數據包括電壓、功率因數、諧波等數據；4)事件記錄數據包括終端和表計的事件記錄數據；5)開關量數據、監控數據；實時數據的屬性和業務特徵是指屬性是實時數據的不同種類，如表碼、瞬時量、諧波、功率因素等；業務特徵是每個種類實時數據的採集密度、採集時間、數據項屬性、所屬上級對象。所述的步驟S2中的實時數據預處理至少包含以下內容之一數據的合併、合理性檢查、表碼飛走、表碼反走、數據滿量程、缺數統計、缺數的線性擬合；所述的步驟S2中的策略庫是指一組可配置屬性和方法的集合，詳細定義了各種業務的參數及每種採集數據需要處理的過程和方法，存放於資料庫；所述的步驟S3中的基礎數據是實時數據經過預處理後形成的新數據；所述的步驟S3中的基礎數據的屬性和業務特徵是屬性是實時數據的種類表碼、瞬時量、諧波、功率因素等，業務特徵是每個種類包含的採集密度、採集時間、數據項屬性、統計周期、所屬上級對象；所述的步驟S3的調度系統啟動自動計算任務是自動計算任務包含屬性值為計算類型、計算時間、計算方案、對象類型、對象編碼、計算開始時間、計算結束時間、是否計算子項和進度百分比；所述的計算類型的內容包括計量點電量、對象電量、負荷分析、採集完整率、極值分析、工況統計、在線率、工程統計；所述的步驟S4中的計算任務的優先級排序順序指策略庫中每種計算任務屬性和業務特徵都中配置有加權值，是某個具體的浮點數；根據配置的加權值的大小我們對計算類型權重有如下優先級定義計量點電量 > 工況統計 > 功率因數分析 > 負荷分析 > 對象電量；計算方案權重優先級日方案 > 月方案；對象類型權重優先級表計 > 充電樁 > 充電站 > 地市局 > 省局；計算任務綜合權重值=Σ計算任務屬性*加權值；計算任務按照綜合權重值從大到小排序，形成排序後的計算隊列；所述的步驟S4中的雙線程池是立即計算的線程池和等待隊列的線程池；配置參數包括置等待線程數量、最大線程數量、線程空閒時間、等待隊列大小；立即計算的線程池分配的計算任務立即開始運行，等待隊列的線程池當它分配的計算任務數量小於配置的等待線程數量時任務會立即分配線程運行，當計算任務數量大於配置的等待線程數量小於配置的最大線程數量時，計算任務進入等待隊列待調度；當計算任務數量大於配置的當最大線程數量時，此計算任務會被取消，計算任務會狀態設置為待調度，在延遲一段時間後再次被調度服務識別加載。所述的步驟S4中的動態分配雙線程池是指根據排序後的計算任務綜合權重值當綜合權重值大於或等於策略庫中配置的閥值時，計算任務分配給立即計算的線程池，當綜合權重值小於策略庫中配置的閥值時，計算任務分配等待隊列的線程池。所述的步驟S5中緩存的基礎計算數據是以計量點對象為基本單位，向緩存伺服器存儲計量的業務數據包括計量點編碼、當前計算方案、計算時間、電量值、負荷值、採集數據值等數據。所述的步驟S6中基礎計算數據二次處理包括調用緩存服務中的電動汽車業務檔案模型，對基礎計量點數據統計、求和、極值分析，分析出全省、地區、充電站、充電樁等區域的統計數據。所述的步驟S7中的數據DBSERVER存儲服務是指提供統一調用指令訪問資料庫中的業務數據，存儲高級計算數據。有益效果本發明的核心是由獨立的計算服務系統按照特定的策略和方法對實時數據進行處理，按照特定的邏輯存儲符合業務要求的計算數據，業務系統直接訪問計算數據，這樣對業務系統和海量基礎數據之間進行了隔離，大大降低了應用系統處理數據的數量級，降低對資料庫的計算壓力，能夠很大程度降低系統的軟硬體配置費用；和海量的基礎的實時數據相比，計算數據對用戶業務更加友好，應用開發難度相應降低，提高業務系統的開發效率，降低了開發成本；計算服務靈活的配置策略保證了計算結構的正確性和完整性；通過共享計算數據，保證多用戶的並發訪問，也能為其他外部系統提供數據支持。
圖I是本發明的專用於電動汽車業務的海量數據處理方法的系統邏輯示意圖；圖2是本發明的專用於電動汽車業務的海量數據處理方法的任務計算服務示意圖；圖3是本發明的專用於電動汽車業務的海量數據處理方法的業務流程圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明作進一步地詳細描述。圖I是本發明的專用於電動汽車業務的海量數據處理方法實施例的系統邏輯示意圖，它包括系統的總體解決方案，以及和各個服務間的調用關係。
任務調度服務根據系統生成的自動計算任務，權重判斷優先級排序，提交計算服務處理(手工計算任務和業務模塊發起任務系統同樣能夠處理，但不在本文討論之列)。緩存服務會根據電動汽車管理系統模型自動構建業務數據，提供調用的數據接口指令。計算服務是多線程、雙線程池的核心單元，負責判斷計算任務的計算類型、計算時間、計算方案、對象類型、對象編碼等信息，啟動業務邏輯計算。計算任務在計算中可以調用緩存服務中的接口指令緩存中間計算結果數據，或調用業務模型數據。當數據處理完畢後交由數據存儲服務接口指令存儲計算結果數據。圖2是本發明的專用於電動汽車業務的海量數據處理方法的任務計算服務示意圖。任務計算服務由雙線程池構成一個是立即計算的線程池，另一個是可配置參數的等待隊列線程池，配置參數包括置等待線程數量、最大線程數量、線程空閒時間、等待隊列大小。它分配的計算任務當數量小於等待線程數量時任務會立即分配線程計算，當計算
任務數量大於等待線程數量小於最大線程數量時，計算任務進入等待隊列待調度，計算任務數量大於當最大線程數量時，此計算任務會被取消，計算任務會將狀態設置為待調度，在延遲一段時間後再次被任務調度加載。圖3是本發明的專用於電動汽車業務的海量數據處理方法的流程圖。本發明的專用於電動汽車業務的海量數據處理方法，包括下列步驟SI前置採集系統通過GPRS(通用無線分組業務)網絡或應用程式接口、WebService(在線應用服務)服務其中之一的方式採集充電站的實時數據，根據實時數據的屬性和業務特徵按時間分表的方式錄入基礎數據採集庫。在步驟SI中的實時數據是指電動汽車充電站運營中產生的一系列不同種類的實時數據，包含1)電能數據包括表碼、需量等；2)模擬量包括電壓、電流、有功功率等；3)電能質量統計數據包括電壓、功率因數、諧波等數據；4)事件記錄數據包括終端和表計的事件記錄數據；5)開關量數據、監控數據；實時數據的屬性是指實時數據的不同種類，如表碼、瞬時量、諧波、功率因素等；實時數據的業務特徵是每個種類實時數據的採集密度、採集時間、數據項屬性、所屬上級對象。S2根據實時數據的屬性，調用策略庫的對應處理策略，對採集的實時數據進行預處理，形成基礎數據。策略庫是指一組可配置屬性和方法的集合，詳細定義了各種業務的參數及每種採集數據需要處理的過程和方法，存放於資料庫。實時數據預處理至少包含以下內容之一數據的合併、合理性檢查、表碼飛走、表碼反走、數據滿量程、缺數統計、缺數的線性擬合。S3根據基礎數據的屬性和業務特徵，調度系統啟動自動計算任務，並賦予自動計算任務對應的屬性值。基礎數據是指實時數據經過預處理後形成的新數據，基礎數據的屬性和業務特徵分別是屬性指實時數據的種類表碼、瞬時量、諧波、功率因素等，業務特徵是每個種類包含的採集密度、採集時間、數據項屬性、統計周期、所屬上級對象。調度系統啟動自動計算任務是自動計算任務包含屬性值為計算類型、計算時間、計算方案、對象類型、對象編碼、計算開始時間、計算結束時間、是否計算子項和進度百分比；計算類型的內容包括計量點電量、對象電量、負荷分析、採集完整率、極值分析、工況統計、在線率、工程統計。S4調度系統對自動計算任務按照綜合權重值的優先級排序，通過策略庫中配置的權重閥值動態分配雙線程池運行，分析處理基礎數據得到以計量點對象為基礎的基礎計算數據；計算任務的優先級排序順序指策略庫中每種計算任務屬性和業務特徵都中配置有加權值，是某個具體的浮點數；根據配置的加權值的大小我們對計算類型權重有如下優先級定義計量點電量〉工況統計〉功率因數分析〉負荷分析〉對象電量；計算方案權重優先級日方案〉月方案；對象類型權重優先級表計 > 充電樁〉充電站 > 地市局 > 省局；計算任務綜合權重值=Σ計算任務屬性*加權值；計算任務按照綜合權重值從大到小排序，
形成排序後的計算隊列；雙線程池是立即計算的線程池和等待隊列的線程池；配置參數包括置等待線程數量、最大線程數量、線程空閒時間、等待隊列大小；立即計算的線程池分配的計算任務立即開始運行，等待隊列的線程池當它分配的計算任務數量小於配置的等待線程數量時任務會立即分配線程運行，當計算任務數量大於配置的等待線程數量小於配置的最大線程數量時，計算任務進入等待隊列待調度；當計算任務數量大於配置的當最大線程數量時，此計算任務會被取消，計算任務會狀態設置為待調度，在延遲一段時間後再次被調度服務識別加載。動態分配雙線程池是指根據排序後的計算任務綜合權重值當綜合權重值大於或等於策略庫中配置的閥值時，計算任務分配給立即計算的線程池，當綜合權重值小於策略庫中配置的閥值時，計算任務分配等待隊列的線程池。S5計算服務向C0MCACHE(緩存系統)緩存以計量點對象為基礎的基礎計算數據。基礎計算數據是以計量點對象為基本單位，向緩存伺服器存儲計量的業務數據包括計量點編碼、當前計算方案、計算時間、電量值、負荷值、採集數據值等數據。S6計算服務對C0MCACHE緩存中以計量點對象為基礎的基礎計算數據二次處理，分析並計算出以充電樁、充電站、地區、全省為屬性的高級計算數據；基礎計算數據二次處理包括調用緩存服務中的電動汽車業務檔案模型，對基礎計量點數據統計、求和、極值分析，分析出全省、地區、充電站、充電樁等區域的統計數據。S7DBSERVER存儲系統向計算結果資料庫存儲基礎計算數據和高級計算數據，指提供統一調用指令訪問資料庫中的業務數據，存儲高級計算數據。存儲數據是基於ORACLE資料庫系統的MERGE語句上的封裝，能高性能實現批量數據的新增和修改操作。
權利要求
1.一種電動汽車及充換電設施系統海量數據處理方法，包括以下步驟 SI前置採集系統通過GPRS網絡或應用程式接口、WebService服務其中之一的方式採集充電站的實時數據，根據實時數據的屬性和業務特徵按時間分表的方式錄入基礎數據採集庫； S2根據實時數據的屬性，調用策略庫的對應處理策略，對採集的實時數據進行預處理，形成基礎數據； S3根據基礎數據的屬性和業務特徵，調度系統啟動自動計算任務，並賦予自動計算任務對應的屬性值； S4調度系統對自動計算任務按照綜合權重值的優先級排序，通過策略庫中配置的權重閥值動態分配雙線程池運行，分析處理基礎數據得到以計量點對象為基礎的基礎計算數據； S5計算服務向COMCACHE緩存以計量點對象為基礎的基礎計算數據； S6計算服務對COMCACHE緩存中的基礎計算數據二次處理，分析並計算出以充電樁、充電站、地區、全省為屬性的高級計算數據； S7DBSERVER存儲系統向計算結果資料庫存儲基礎計算數據和高級計算數據。
2.根據權利要求I所述的電動汽車及充換電設施系統海量數據處理方法，其特徵是所述的步驟SI中的實時數據是指電動汽車充電站運營中產生的一系列不同種類的實時數據，包含1)電能數據包括表碼、需量；2)模擬量包括電壓、電流、有功功率；3)電能質量統計數據包括電壓、功率因數、諧波數據；4)事件記錄數據包括終端和表計的事件記錄數據；5)開關量數據、監控數據； 實時數據的屬性和業務特徵分別指實時數據的不同種類，如表碼、瞬時量、諧波、功率因素；業務特徵指每個種類實時數據的採集密度、採集時間、數據項屬性、所屬上級對象。
3.根據權利要求2所述的電動汽車及充換電設施系統海量數據處理方法，其特徵是所述的步驟S2中的實時數據預處理至少包含以下內容之一數據的合併、合理性檢查、表碼飛走、表碼反走、數據滿量程、缺數統計、缺數的線性擬合； 所述的策略庫是指一組可配置屬性和方法的集合，詳細定義了各種業務的參數及每種採集數據需要處理的過程和方法，存放於資料庫。
4.根據權利要求3所述的電動汽車及充換電設施系統海量數據處理方法，其特徵是所述的步驟S3中的基礎數據是實時數據經過預處理後形成的新數據；所述的基礎數據的屬性和業務特徵是屬性是實時數據的種類表碼、瞬時量、諧波、功率因素；業務特徵是每個種類包含的採集密度、採集時間、數據項屬性、統計周期、所屬上級對象； 所述的調度系統啟動自動計算任務是自動計算任務包含屬性值為計算類型、計算時間、計算方案、對象類型、對象編碼、計算開始時間、計算結束時間、是否計算子項和進度百分比； 所述的計算類型的內容包括計量點電量、對象電量、負荷分析、採集完整率、極值分析、工況統計、在線率、工程統計。
5.根據權利要求4所述的電動汽車及充換電設施系統海量數據處理方法，其特徵是所述的步驟S4中的計算任務的優先級排序順序指策略庫中每種計算任務屬性和業務特徵都中配置有加權值，是某個具體的浮點數；根據配置的加權值的大小對計算類型權重有如下優先級定義計量點電量 > 工況統計 > 功率因數分析 > 負荷分析 > 對象電量；計算方案權重優先級日方案 > 月方案；對象類型權重優先級表計 > 充電樁 > 充電站 > 地市局>省局；計算任務綜合權重值=Σ計算任務屬性*加權值；計算任務按照綜合權重值從大到小排序，形成排序後的計算隊列； 所述的雙線程池是立即計算的線程池和等待隊列的線程池；配置參數包括置等待線程數量、最大線程數量、線程空閒時間、等待隊列大小；立即計算的線程池分配的計算任務立即開始運行，等待隊列的線程池當它分配的計算任務數量小於配置的等待線程數量時任務會立即分配線程運行，當計算任務數量大於配置的等待線程數量小於配置的最大線程數量時，計算任務進入等待隊列待調度；當計算任務數量大於配置的當最大線程數量時，此計算任務會被取消，計算任務會狀態設置為待調度，在延遲一段時間後再次被調度服務識別加載； 所述的動態分配雙線程池是指根據排序後的計算任務綜合權重值當綜合權重值大於或等於策略庫中配置的閥值時，計算任務分配給立即計算的線程池，當綜合權重值小於策略庫中配置的閥值時，計算任務分配等待隊列的線程池。
6.根據權利要求5所述的電動汽車及充換電設施系統海量數據處理方法，其特徵是所述的步驟S5中緩存的基礎計算數據是以計量點對象為基本單位，向緩存伺服器存儲計量的業務數據包括計量點編碼、當前計算方案、計算時間、電量值、負荷值、採集數據值等數據；所述的步驟S6中基礎計算數據二次處理包括調用緩存服務中的電動汽車業務檔案模型，對基礎計量點數據統計、求和、極值分析，分析出全省、地區、充電站、充電樁等區域的統計數據；所述的步驟S7中的數據DBSERVER存儲服務是指提供統一調用指令訪問資料庫中的業務數據，存儲高級計算數據。
全文摘要
一種電動汽車及充換電設施系統海量數據處理方法S1採集充電站的實時數據並錄入基礎數據採集庫；S2調用策略庫的對應處理策略進行預處理；S3調度系統啟動自動計算任務；S4對自動計算任務按照綜合權重值的優先級排序，通過策略庫中配置的權重閥值動態分配雙線程池運行；S5緩存基礎計算數據；S6基礎計算數據二次處理；S7存儲基礎計算數據和高級計算數據。本發明大大降低了應用系統處理數據、計算壓力和系統的軟硬體配置費用，對用戶業務更加友好，應用開發難度相應降低，提高業務系統的開發效率，降低開發成本；保證了計算結構的正確性和完整性;通過共享計算數據，保證多用戶的並發訪問,也能為其他外部系統提供數據支持。
文檔編號G06F17/30GK102855293SQ20121028687
公開日2013年1月2日 申請日期2012年8月10日 優先權日2012年8月10日
發明者趙偉, 陳銳民, 張永旺, 丁國茂, 周黎 申請人:廣東電網公司電力科學研究院