電能質量指標95概率大值的獲取方法
2023-08-06 09:05:51
電能質量指標95概率大值的獲取方法
【專利摘要】本發明涉及電氣自動化【技術領域】，尤其涉及電能質量指標95概率大值的獲取方法。該方法包括：映射規約MapReduce庫將電能質量指標數據劃分為M份數據子文件；調度主機將M份數據子文件的映射任務分配到多個映射主機中；映射主機對自身分配到的映射任務所對應的數據子文件中的電能質量指標數據進行映射Map運算；調度主機根據所有映射主機Map運算的結果，向多個規約主機分配預設的規約任務；規約主機對自身分配到的規約任務所對應的電能質量指標數據進行規約運算，得到每個規約任務所對應的95概率大值。本發明的電能質量指標95概率大值的獲取方法，能夠縮短處理大量電能質量指標原始數據的時間。
【專利說明】電能質量指標95概率大值的獲取方法
【技術領域】
[0001] 本發明涉及電氣自動化【技術領域】，具體而言，涉及電能質量指標95概率大值的獲 取方法。
【背景技術】
[0002] 電能作為一種特殊的產品，與一般的產品質量相比，電能的產品質量具有動態波 動性的特點。正是因為電能質量的動態波動性，國內外大多採用95概率大值作為衡量的依 據。早在IEC61000-4-7(1991)標準中就提到將95概率大值作為電能質量參數評估指標， 後來EN50160、IEC 61000-4-30、國標也陸續提到並豐富了用95概率大值對不同電能質量 指標進行評估的理念。在電能質量監測評估分析體系中，95概率大值扮演的角色愈發重要， 現在國內外大多數取95概率大值作為電能質量指標衡量依據。
[0003] 目前主流的95概率大值的獲取採用排序篩選的方式，具體為：將採集到的電能質 量指標的原始數據按從大到小的順序依次排列，去掉前5%的數據，然後取剩餘數據的最大 值作為該電能質量指標的95概率大值。當電能質量資料庫內存在海量原始數據時，上述排 序篩選的方式在排序上會耗費較多時間。
【發明內容】
[0004] 本發明的目的在於提供電能質量指標95概率大值的獲取方法，以縮短處理大量 電能質量指標原始數據的時間。
[0005] 本發明實施例提供了一種電能質量指標95概率大值的獲取方法，包括：映射規約 MapReduce庫將電能質量指標數據劃分為M份數據子文件；調度主機將M份所述數據子文 件的映射任務分配到多個映射主機中；所述映射主機對自身分配到的映射任務所對應的數 據子文件中的電能質量指標數據進行映射Map運算；所述調度主機根據所有所述映射主機 Map運算的結果，向多個規約主機分配預設的規約任務；所述規約主機對自身分配到的所 述規約任務所對應的電能質量指標數據進行規約運算，得到每個所述規約任務所對應的95 概率大值。
[0006] 優選地，所述映射主機對自身分配到的映射任務所對應的數據子文件中的電能質 量指標數據進行映射Map運算，包括：所述映射主機根據所述電能質量指標數據中包括的 設備標識及電能監測值，將自身分配到的所述電能質量指標數據映射成新的鍵值對。
[0007] 優選地，所述映射主機根據所述電能質量指標數據中包括的設備標識及電能監測 值，將自身分配到的所述電能質量指標數據映射成新的鍵值對，包括：所述映射主機將具有 相同設備標識的電能質量指標數據中的電能監測值與設備標識映射，得到新的鍵值對；或， 所述映射機將所述電能質量指標數據中的設備標識映射為聯合鍵，所述聯合鍵與對應的電 能監測值組成新的鍵值對，其中所述聯合鍵包括所述設備標識及對應的電能監測值。
[0008] 優選地，該方法還包括：所述映射主機將自身Map運算得到的新的鍵值對存儲到 既定存儲區域中。
[0009] 優選地，該方法還包括：所述映射主機將自身Map運算得到的新的鍵值對的存儲 位置上報給所述調度主機。
[0010] 優選地，所述調度主機根據所有所述映射主機Map運算的結果，向多個規約主機 分配預設的規約任務，包括：所述調度主機按照預設規約任務的劃分、每個所述規約任務所 涉及的鍵值對以及涉及鍵值對的存儲位置通知執行相應規約任務的規約主機。
[0011] 優選地，所述規約主機對自身分配到的所述規約任務所對應的電能質量指標數據 進行規約運算，得到每個所述規約任務所對應的95概率大值，包括：所述規約主機從所述 調度主機通知的存儲位置調取相應鍵值對；所述規約主機對調取的所述鍵值對進行規約運 算，得到其分配的規約任務所對應的95概率大值。
[0012] 優選地，所述規約主機對調取的所述鍵值對進行規約運算，得到其分配的規約任 務所對應的95概率大值，包括：當所述規約主機調取的所述鍵值對中的電能監測值具有相 同設備標識時，對調取的所有所述電能監測值進行降序排列；降序排列後所述鍵值對的數 量乘以5%取整後所對應位置的電能監測值為該設備標識所對應設備的95概率大值。
[0013] 優選地，所述規約主機對調取的所述鍵值對進行規約運算，得到其分配的規約任 務所對應的95概率大值，包括：當所述規約主機調取的所述鍵值對中包括聯合鍵時，按照 所述聯合鍵中的設備標識，對調取的所有所述鍵值對升序排列；按照所述聯合鍵中的電能 監測值，對每個設備標識下的電能監測值降序排列；降序排列後所述鍵值對的數量乘以 5%取整後所對應位置的電能監測值為目標監測點的95概率大值。
[0014] 優選地，當所述規約主機調取的所述鍵值對中包括聯合鍵時，調取的所有所述聯 合鍵中的設備標識分為多個，多個所述設備標識所對應的設備從屬於同一個電網監測點。
[0015] 本發明實施例的電能質量指標95概率大值的獲取方法，利用MapReduce模型將電 能質量指標數據劃分為M份，多個映射主機對M份數據子文件並行映射運算，且調度主機根 據映射運算的結果形成多個規約任務，並由多個規約主機並行計算每個規約任務對應的電 能質量指標數據的95概率大值，由此降低了每臺設備運算的數據量，且本方法採用並行運 算方式提高了運算效率，與相關技術中，對所有電能質量指標數據進行排序，獲取電能質量 指標95概率大值的方法相比，在電能質量指標數據量不變的條件下，本發明實施例的電能 質量指標95概率大值的獲取方法有效縮短了處理大量電能質量指標原始數據的時間。 [0016] 為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合 所附附圖，作詳細說明如下。
【專利附圖】
【附圖說明】
[0017] 為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附 圖作簡單地介紹，應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對 範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這 些附圖獲得其他相關的附圖。
[0018] 圖1示出了本發明實施例所提供的電能質量指標95概率大值獲取方法的流程 圖；
[0019] 圖2示出了 MapReduce算法的框架結構圖；
[0020] 圖3示出了本發明實施例所提供的實例計算示意圖。
【具體實施方式】
[0021] 下面將結合本發明實施例中附圖，對本發明實施例中的技術方案進行清楚、完整 地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在 此處附圖中描述和示出的本發明實施例的組件可以以各種不同的配置來布置和設計。因 此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的 範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做 出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0022] 為了解決相關技術中對海量電能質量指標原始數據進行處理時，由於排序問題而 耗時較多的技術問題，本發明基於MapReduce並行計算模型設計了一種95概率大值分布式 計算方法。MapReduce是一種並行計算模型，用於大規模數據集（大於1TB)的並行運算。 一個MapReduce作業（job)通常會把輸入的數據集切分為若干獨立的數據塊，由映射map 任務（task)以完全並行的方式處理它們。框架會對map的輸出先進行排序，然後把結果輸 入給規約reduce任務。通常作業的輸入和輸出都會被存儲在文件系統中。
[0023] 基於上述思想，本發明實施例提供了一種電能質量指標95概率大值的獲取方法， 如圖1所示，主要處理步驟包括：
[0024] 步驟SI 1 :映射規約MapReduce庫將電能質量指標數據劃分為M份數據子文件；
[0025] 步驟S12 :調度主機將M份數據子文件的映射任務分配到多個映射主機中；
[0026] 步驟S13 :映射主機對自身分配到的映射任務所對應的數據子文件中的電能質量 指標數據進行映射Map運算；
[0027] 步驟S14 :調度主機根據所有映射主機Map運算的結果，向多個規約主機分配預設 的規約任務；
[0028] 步驟S15 :規約主機對自身分配到的規約任務所對應的電能質量指標數據進行規 約運算，得到每個規約任務所對應的95概率大值。
[0029] 該方法中，MapReduce模型將電能質量指標數據劃分為M份，多個映射主機對M份 數據子文件並行映射運算，且調度主機根據映射運算的結果形成多個規約任務，並由多個 規約主機並行計算每個規約任務對應的電能質量指標數據的95概率大值，由此降低了每 臺設備運算的數據量，且本方法採用並行運算方式提高了運算效率，與相關技術中，對所有 電能質量指標數據進行排序，獲取電能質量指標95概率大值的方法相比，在電能質量指標 數據量不變的條件下，本發明實施例的電能質量指標95概率大值的獲取方法有效縮短了 處理大量電能質量指標原始數據的時間。
[0030] 本發明中，每個映射主機根據接收到的映射任務處理一份或多份數據子文件。映 射主機在對自身分配到的映射任務所對應的數據子文件中的電能質量指標數據進行映射 Map運算時，映射主機根據電能質量指標數據中包括的設備標識及電能監測值，將自身分配 到的電能質量指標數據映射成新的鍵值對。
[0031] 映射主機在對電能質量指標數據進行Map運算時，可以有多種映射規則，例如映 射主機將具有相同設備標識的電能質量數據映射為新的鍵值對，或映射主機將其負責Map 運算的每個電能質量指標數據映射為新格式的數據，【具體實施方式】為：映射主機將具有相 同設備標識的電能質量指標數據中的電能監測值與設備標識映射，得到新的鍵值對；或，映 射機將電能質量指標數據中的設備標識映射為聯合鍵，聯合鍵與對應的電能監測值組成新 的鍵值對，其中聯合鍵包括設備標識及對應的電能監測值。
[0032] 映射主機對電能質量指標數據進行Map運算得到新的鍵值對，並將自身Map運算 得到的新的鍵值對存儲到既定存儲區域中。
[0033] 映射主機可以採用多種規則對Map運算得到的新的鍵值對進行存儲，例如將具有 相同設備標識的鍵值對存儲到同一個存儲區域中，或根據設備標識對得到的所有鍵值對進 行分組，將分為一組的鍵值對存儲到同一個存儲區域中，其中具有相同設備標識的鍵值對 分到同一組中，每組鍵值對中包括多個不同的設備標識；或，按照映射主機進行存儲，每個 或既定幾個映射主機對應一個存儲區域。
[0034] 映射主機將Map運算得到的新的鍵值對存儲在既定區域後，映射主機將自身Map 運算得到的新的鍵值對的存儲位置上報給調度主機。
[0035] 調度主機根據所有映射主機Map運算的結果，向多個規約主機分配預設的規約任 務，具體可以為調度主機按照預設規約任務的劃分，將相關鍵值對的存儲位置通知執行規 約任務的規約主機。
[0036] 規約主機對自身分配到的規約任務所對應的電能質量指標數據進行規約運算，得 到每個規約任務所對應的95概率大值，包括：規約主機從調度主機通知的存儲位置調取相 應鍵值對；規約主機對調取的鍵值對進行規約運算，得到其分配的規約任務所對應的95概 率大值。
[0037] 本發明中，預設的規約任務可以為對具有相同設備標識的鍵值對進行規約運算， 從而得到與該設備標識對應設備的電能質量指標95概率大值；或，預設的規約任務可以為 對既定監測點涉及的多個電能監測設備所對應的電能質量指標數據進行規約運算，從而得 到既定監測點的電能質量指標95概率大值。
[0038] 規約主機對調取的鍵值對進行規約運算，得到其分配的規約任務所對應的95概 率大值，包括：當規約主機調取的鍵值對中的電能監測值具有相同設備標識時，對調取的所 有電能監測值進行降序排列；降序排列後鍵值對的數量乘以5%取整後所對應位置的電能 監測值為該設備標識所對應設備的95概率大值，按照此方式可以得到每臺設備的電能質 量指標95概率大值。
[0039] 當規約主機調取的鍵值對中包括聯合鍵時，按照聯合鍵中的設備標識，對調取的 所有鍵值對升序排列；按照聯合鍵中的電能監測值，對每個設備標識下的電能監測值降序 排列；降序排列後鍵值對的數量乘以5 %取整後所對應位置的電能監測值為目標監測點的 95概率大值，按照此方式能夠得到每個監測點的電能質量指標95概率大值。
[0040] 其中，當規約主機調取的鍵值對中包括聯合鍵時，調取的所有聯合鍵中的設備標 識分為多個，多個設備標識所對應的設備從屬於同一個電網監測點。
[0041] 本發明實施例中，還進一步提供了電能質量指標95概率大值獲取方法的具體實 施方式。
[0042] 如圖2所示，利用MapReduce模型獲取電能質量指標95概率大值時，由最上方的 用戶程序開始，其中用戶程序連結了 MapReduce庫，能夠實現最基本的map函數和reduce 函數,執行順序如圖2中的數字所標記。
[0043] 如圖2中，（l)MapReduce庫把用戶程序輸入的電能質量指標數據劃分為M份（M為 用戶定義）數據子文件，每一份數據子文件通常有16MB到64MB。如圖2所示，電能質量指 標數據被分為了數據塊〇?數據塊M ;然後使用fork進程將用戶程序進程相關任務複製到 到集群內的相應主機。
[0044] (2)用戶程序的副本中有一個稱為調度主機，其餘稱為計算主機，調度主機是負責 調度的，為空閒計算主機分配作業（Map作業或者Reduce作業），計算主機的數量由用戶指 定。
[0045] (3)被分配了 Map作業的計算主機（即映射主機），讀取對應分片的輸入數據（即 讀取數據子文件），Map作業數量是由M決定的；Map作業從讀取的電能質量指標數據中抽 取出鍵值對，其中電能質量指標數據的鍵值對包括設備標識及電能監測值，每一個鍵值對 作為參數傳遞給map函數，map函數對抽取的鍵值對進行映射，生成中間鍵值對（即生成新 的鍵值對），中間鍵值對被緩存在內存中。
[0046] (4)緩存的中間鍵值對作為中間結果被定期寫入本地磁碟，而且被分為R個區，R 的大小由用戶定義，其中每個區會對應一個Reduce作業；存儲在R區的中間鍵值對的位置 被上報給調度主機，調度主機負責將信息轉發給分配了 Reduce任務的計算主機。
[0047] (5)調度主機通知分配了 Reduce任務的計算主機（即規約主機）其負責的分區的 位置（一般會包括多個位置，每個Map作業產生的中間鍵值對都可能映射到所有R個不同 分區），當規約主機將自身負責的中間鍵值對讀取完畢後，首先對讀取的中間鍵值對進行排 序，使得具有相同鍵的鍵值對聚集在一起。因為不同的鍵可能會映射到同一個分區也就是 同一個Reduce作業，所以排序是必須的。
[0048] (6)規約主機遍歷排序後的中間鍵值對，對於每個唯一的鍵，都將鍵與關聯的值傳 遞給reduce函數，reduce函數產生的輸出會添加到這個分區的輸出文件中。
[0049] (7)當所有的Map和Reduce作業都完成了，調度主機喚醒正版的用戶程序， MapReduce函數調用返回用戶程序的代碼。
[0050] 所有執行完畢後，MapReduce輸出放在了 R個分區的輸出文件中（分別對應一 個Reduce作業），該R個分區的文件一般不需要進行合併，可以將其作為輸入交給另一個 MapReduce程序處理。
[0051] 該獲取電能質量指標95概率大值的整個過程中，輸入數據是來自底層分布式文 件系統（GFS)的，中間數據是放在本地文件系統的，最終輸出數據是寫入底層分布式文件 系統（GFS)的。其中，Map/Reduce作業和map/reduce函數的區別是：Map作業處理一個輸 入數據的分片，可能需要調用多次map函數來處理每個輸入鍵值對；Reduce作業處理一個 分區的中間鍵值對，期間要對每個不同的鍵調用一次reduce函數，Reduce作業最終也對應 一個輸出文件。
[0052] 對於該【具體實施方式】，其實現的原理是，將存放在分布式資料庫HBase中的達TB 級的電能質量實時監測數據，根據設定一個特殊KEY值將數據分成N份，將這N份數據分布 到M(1〈M)臺主機上分別進行排序（即執行Map函數從大到小排序）並產生KEY/VALUELIST 的中間結果集，Reduce作業通過執行reduce函數對中間結果進行合併篩選某設備的95概 率大值，並將最終的排序結果輸入到HBase -個保存統計結果的表中。
[0053]HBase(HadoopDatabase)是一個高可靠性、高性能、面向列、可伸縮的分布式數據 庫。HBase利用HadoopHDFS作為其文件存儲系統，利用HadoopMapReduce來處理HBase 中的海量數據。
[0054] HBase數據模型Table&ColumnFamily如表 1 所不：
[0055] 表 1HBase數據模型中Table&ColumnFamily表
【權利要求】
1. 電能質量指標95概率大值的獲取方法，其特徵在於，包括： 映射規約MapReduce庫將電能質量指標數據劃分為M份數據子文件； 調度主機將M份所述數據子文件的映射任務分配到多個映射主機中； 所述映射主機對自身分配到的映射任務所對應的數據子文件中的電能質量指標數據 進行映射Map運算； 所述調度主機根據所有所述映射主機Map運算的結果，向多個規約主機分配預設的規 約任務； 所述規約主機對自身分配到的所述規約任務所對應的電能質量指標數據進行規約運 算，得到每個所述規約任務所對應的95概率大值。
2. 根據權利要求1所述的方法，其特徵在於，所述映射主機對自身分配到的映射任務 所對應的數據子文件中的電能質量指標數據進行映射Map運算，包括： 所述映射主機根據所述電能質量指標數據中包括的設備標識及電能監測值，將自身分 配到的所述電能質量指標數據映射成新的鍵值對。
3. 根據權利要求2所述的方法，其特徵在於，所述映射主機根據所述電能質量指標數 據中包括的設備標識及電能監測值，將自身分配到的所述電能質量指標數據映射成新的鍵 值對，包括： 所述映射主機將具有相同設備標識的電能質量指標數據中的電能監測值與設備標識 映射，得到新的鍵值對； 或， 所述映射機將所述電能質量指標數據中的設備標識映射為聯合鍵，所述聯合鍵與對應 的電能監測值組成新的鍵值對，其中所述聯合鍵包括所述設備標識及對應的電能監測值。
4. 根據權利要求2或3所述的方法，其特徵在於，該方法還包括：所述映射主機將自身 Map運算得到的新的鍵值對存儲到既定存儲區域中。
5. 根據權利要求4所述的方法，其特徵在於，該方法還包括： 所述映射主機將自身Map運算得到的新的鍵值對的存儲位置上報給所述調度主機。
6. 根據權利要求5所述的方法，其特徵在於，所述調度主機根據所有所述映射主機Map 運算的結果，向多個規約主機分配預設的規約任務，包括： 所述調度主機按照預設規約任務的劃分，將相關鍵值對的存儲位置通知執行相應規約 任務的規約主機。
7. 根據權利要求6所述的方法，其特徵在於，所述規約主機對自身分配到的所述規約 任務所對應的電能質量指標數據進行規約運算，得到每個所述規約任務所對應的95概率 大值，包括： 所述規約主機從所述調度主機通知的存儲位置調取相應鍵值對； 所述規約主機對調取的所述鍵值對進行規約運算，得到其分配的規約任務所對應的95 概率大值。
8. 根據權利要求7所述的方法，其特徵在於，所述規約主機對調取的所述鍵值對進行 規約運算，得到其分配的規約任務所對應的95概率大值，包括： 當所述規約主機調取的所述鍵值對中的電能監測值具有相同設備標識時，對調取的所 有所述電能監測值進行降序排列； 降序排列後所述鍵值對的數量乘以5%取整後所對應位置的電能監測值為該設備標識 所對應設備的95概率大值。
9. 根據權利要求7所述的方法，其特徵在於，所述規約主機對調取的所述鍵值對進行 規約運算，得到其分配的規約任務所對應的95概率大值，包括： 當所述規約主機調取的所述鍵值對中包括聯合鍵時，按照所述聯合鍵中的設備標識， 對調取的所有所述鍵值對升序排列； 按照所述聯合鍵中的電能監測值，對每個設備標識下的電能監測值降序排列； 降序排列後所述鍵值對的數量乘以5%取整後所對應位置的電能監測值為目標監測點 的95概率大值。
10. 根據權利要求9所述的方法，其特徵在於，當所述規約主機調取的所述鍵值對中包 括聯合鍵時，調取的所有所述聯合鍵中的設備標識分為多個，多個所述設備標識所對應的 設備從屬於同一個電網監測點。
【文檔編號】G06Q10/06GK104392335SQ201410775943
【公開日】2015年3月4日 申請日期:2014年12月15日 優先權日:2014年12月15日
【發明者】孫建, 錢光超, 顧廣宇, 王瀟, 張淑娟 申請人:國家電網公司, 國網安徽省電力公司電力科學研究院, 國網安徽省電力公司六安供電公司