一種電力系統中並行計算的在線校核方法
2023-05-30 18:21:06 1
一種電力系統中並行計算的在線校核方法
【專利摘要】本發明公開了一種電力系統中並行計算的在線校核方法，該方法包括以下步驟：（1）搭建Hadoop環境；（2）基於Hadoop的在線校核任務的初始化；（3）在線校核任務的分解；（4）在線校核任務的並行執行；（5）對各項在線校核任務進行組合計算。由於本方法將Hadoop這個能夠對大量數據進行分布式處理的軟體框架應用到電力系統中並行計算的在線校核中，所以解決了大數據量數值運算耗時過多的問題，大大提高了在線校核計算的速度。
【專利說明】一種電力系統中並行計算的在線校核方法
【技術領域】
[0001]本發明屬於電力系統自動化的【技術領域】，具體地涉及一種電力系統中並行計算的在線校核方法。
【背景技術】
[0002]隨著電力工業的不斷發展，電力系統的規模日益擴大，電網的結構日益複雜,計算量及計算複雜度急劇增加。傳統的計算方法在運算速度及空間上已經不能滿足電力系統的要求。而在傳統的並行計算中，HPC (High Performance Computing,即高性能計算)集群將數據從數據節點通過數據總線或網絡傳給計算節點，又容易造成I/O瓶頸。
[0003]Had00p(Had00p這個名字不是一個縮寫，它是一個虛構的名字。該項目的創建者，Doug Cutting解釋Hadoop的得名:「這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標準就是簡短，容易發音和拼寫，沒有太多的意義，並且不會被用於別處。小孩子恰恰是這方面的高手。」)是一個能夠對大量數據進行分布式處理的軟體框架。Hadoop上的並行應用程式開發是基於MapReduce (映射規約)編程框架的。簡而言之就是將大數據集分解為成百上千個小數據集，每個(或若干個)數據集分別由集群中的一個節點(一般就是一臺普通的計算機)進行處理並生成中間結果，然後這些中間結果又由大量的節點合併，形成最終結果。
[0004]我們將Hadoop這個能夠對大量數據進行分布式處理的軟體框架應用到電力系統中並行計算的在線校核中，將大大地提高校核速度。
【發明內容】
[0005]本發明的技術解決問題是:克服現有技術的不足，提供一種電力系統中並行計算的在線校核方法，其解決了大數據量數值運算耗時過多的問題，大大提高了在線校核計算的速度。
[0006]本發明的技術解決方案是:這種電力系統中並行計算的在線校核方法，該方法包括以下步驟:
[0007](I)搭建 Hadoop 環境；
[0008](2)基於Hadoop的在線校核任務的初始化；
[0009](3)在線校核任務的分解；
[0010](4)在線校核任務的並行執行；
[0011](5)對各項在線校核任務進行組合計算。
[0012]由於本方法將Hadoop這個能夠對大量數據進行分布式處理的軟體框架應用到電力系統中並行計算的在線校核中，所以解決了大數據量數值運算耗時過多的問題，大大提高了在線校核計算的速度。
【專利附圖】
【附圖說明】[0013]圖1為MapReduce的工作原理圖；
[0014]圖2為根據本發明的電力系統中並行計算的在線校核方法的流程圖。
【具體實施方式】
[0015]如圖1所示，做了如下定義:
[0016]JobTracker:校核總任務調度中心
[0017]TaskTrackerl:校核子任務I執行者
[0018]TaskTracker2:校核子任務2執行者
[0019]:
[0020]:
[0021]:
[0022]TaskTrackerN:校核子任務N執行者
[0023]校核開始時，為每次校核定義一個唯一的校核標識，並根據一定的規則將校核任務劃分為不同的子任務。這些子任務在執行過程中是相對獨立的，且具有相同的校核標識。Hadoop中主控的JobTracker將這些子任務分發給空閒的TaskTracker (分為校
核子任務執行者TaskTrackerl、校核子任務執行者TaskTracker2......校核子任務執行者
TaskTrackerN)，讓這些任務並行運行。並行計算完成後，將結果中有相同校核標識的結果整合在一起，做為最終的結果。數據整合的過程與MapReduce編程類似。
[0024]MapReduce編程模型的原理是:Hadoop將接收到的數據整體劃分成多個等長的數據片段，每個數據片段傳遞給一個Map函數,Map函數會產生一個中間的key/value對集合，MapReduce把所有具有相同key值的value集合在一起,傳給Reduce, Reduce函數將這些值合併成一個小的Key值相同的Value集合，將其輸出。
[0025]如圖2所示，這種電力系統中並行計算的在線校核方法，該方法包括以下步驟:
[0026](I)搭建 Hadoop 環境；
[0027](2)基於Hadoop的在線校核任務的初始化；
[0028](3)在線校核任務的分解；
[0029](4)在線校核任務的並行執行；
[0030]( 5 )對各項在線校核任務進行組合計算。
[0031]由於本方法將Hadoop這個能夠對大量數據進行分布式處理的軟體框架應用到電力系統中並行計算的在線校核中，所以解決了大數據量數值運算耗時過多的問題，大大提高了在線校核計算的速度。
[0032]優選地，步驟(I)中通過非對稱加密算法實現Hadoop的無密鑰通信。在保證信息絕對安全的同時，也實現了多臺計算機間不用登陸即可訪問的目標。
[0033]優選地，步驟(2)中為本次校核產生一個唯一的校核標識，統計電力系統中的區域及廠站數量，用M表示，集群中計算機的數量用N表示，那麼每臺計算機最多可執行的任務數為:M/N ;若某個區域含有的廠站數量小於M/N，那麼所對應的計算機只執行這個區域內所有廠站的任務，當該區域的所有任務執行完畢後，此計算機處於空閒狀態，方可執行其他區域的任務。這些子任務具有校核標識相同且相互之間獨立運行，互不影響的特點。
[0034]優選地，步驟(4)中將此次校核總任務的調度中心作為Hadoop中主控的JobTracker,該JobTracker運行在集群中的任意一臺預設計算機上，JobTracker將校核子任務分發給空閒的TaskTracker, TaskTracker分為校核子任務執行者TaskTrackerl、
校核子任務執行者TaskTracker2......校核子任務執行者TaskTrackerN),這些任務並行運
行，並負責監控任務的運行情況；如果某一個校核子任務的執行者TaskTracker出了故障，JobTracker會將其負責的任務轉交給另一個空閒的TaskTracker重新運行。這樣可以減少數據在網絡上的傳輸，降低對網絡帶寬的需求，避免了 I/O阻塞。
[0035]優選地，步驟(5)中當同一校核標識下的子任務都執行完畢後，此次並行計算完成，對校核中間結果進行數據合併，將結果中有相同校核標識的合併成完整的校核結果。
[0036]以上所述，僅是本發明的較佳實施例，並非對本發明作任何形式上的限制，凡是依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬本發明技術方案的保護範圍。
【權利要求】
1.一種電力系統中並行計算的在線校核方法，其特徵在於:該方法包括以下步驟: (1)搭建Hadoop環境； (2)基於Hadoop的在線校核任務的初始化； (3)在線校核任務的分解； (4)在線校核任務的並行執行； (5)對各項在線校核任務進行組合計算。
2.根據權利要求1所述的電力系統中並行計算的在線校核方法，其特徵在於:步驟(I)中通過非對稱加密算法實現Hadoop的無密鑰通信。
3.根據權利要求2所述的電力系統中並行計算的在線校核方法，其特徵在於:步驟(2)中為本次校核產生一個唯一的校核標識，統計電力系統中的區域及廠站數量，用M表示，集群中計算機的數量用N表示，那麼每臺計算機最多可執行的任務數為:M/N;若某個區域含有的廠站數量小於M/N，那麼所對應的計算機只執行這個區域內所有廠站的任務，當該區域的所有任務執行完畢後，此計算機處於空閒狀態，方可執行其他區域的任務。
4.根據權利要求3所述的電力系統中並行計算的在線校核方法，其特徵在於:步驟(4)中將此次校核總任務的調度中心作為Hadoop中主控的JobTracker,該JobTracker運行在集群中的任意一臺預設計算機上，JobTracker將校核子任務分發給空閒的TaskTracker,TaskTracker分為校核子任務執行者TaskTrackerl、校核子任務執行者TaskTracker2......校核子任務執行者TaskTrackerN)，這些任務並行運行，並負責監控任務的運行情況；如果某一個校核子任務的執行者TaskTracker出了故障,JobTracker會將其負責的任務轉交給另一個空閒的TaskTracker重新運行。
5.根據權利要求4所述的電力系統中並行計算的在線校核方法，其特徵在於:步驟(5)中當同一校核標識下的子任務都執行完畢後，此次並行計算完成，對校核中間結果進行數據合併，將結果中有相同校核標識的合併成完整的校核結果。
【文檔編號】G06F9/46GK103955400SQ201410152048
【公開日】2014年7月30日 申請日期:2014年4月17日 優先權日:2014年4月17日
【發明者】溫靖華, 王小立, 羅美玲, 王輝, 郝翠威, 王康, 夏芸, 龔仁敏 申請人:國網寧夏電力公司, 北京中恆博瑞數字電力科技有限公司