一種基於雲架構的電網地理信息系統及容錯方法與流程
2023-05-31 07:02:46 1
本發明涉及雲架構存儲領域，並且更具體地，涉及一種基於雲架構的電網地理信息系統及容錯方法。
背景技術：
：雲環境為海量數據提供了高效快速的計算、存儲功能，雲計算建立的是具有高可擴展性的數據管理系統，能為用戶提供良好的數據可獲取性、數據統一性和安全性等特性。利用雲平臺進行數據的存儲管理，能有效的利用雲計算平臺的各種優勢，從而更好的為用戶提供服務。雲環境下，作業在並行執行過程中會產生一定的結果數據，該數據是由一個階段產生並作為下一個階段的輸入，這樣的數據被認為是中間數據。對中間數據的研究是非常必要的，例如在一個小規模應用中，一個伺服器上的中間數據丟失會導致作業運行時間加長50％。因此中間數據的容錯處理技術關係到電網GIS雲平臺的穩定運行。技術實現要素：為了解決上述問題，本發明提供一種基於雲架構的電網地理信息系統和容錯方法。根據本發明的一個方面，提供一種基於雲架構的電網地理信息系統，所述系統由多個數據中心組成，其特徵在於，每個數據中心包括：多個用於存放實際數據資源以及滿足實際計算的服務請求的節點以及用於連接每個數據中心內多個節點的交換器，所述節點分為：主節點MN，用於接收作業請求信息、進行任務的分配以及工作節點故障時根據中間數據的類型進行相應的容錯處理；工作節點WN，用於執行主節點分配的作業任務，並將存儲資源的使用情況以及任務的執行狀況上報至主節點；子任務容錯數據管理節點MFMN，用於存放任務中映射Map子任務產生的中間數據的備份信息，並維護子任務備份信息表STask-list；以及任務容錯數據管理節點TFMN，用於存放任務產生的中間數據的容錯數據信息，並維護任務備份信息表Task-list。優選地，每個數據中心採用機架的方式來組織拓撲結構，每個機架承載多個節點，每個機架上的多個節點通過交換器連接。優選地，所述主節點分為內部的任務調度器和資源管理器，任務調度器負責任務的調度和執行，以及資源管理器負責整個數據中心的所有節點的存儲資源信息的維護，主節點還包括節點有效信息表EN-Cloud和存儲資源選擇表SR-Cloud。優選地，所述中間數據具有文件名作為文件標識FN，以及一個或多個與文件名對應的存儲伺服器的物理地址FPA。優選地，所述STask-list表的信息包括：作業標識JobID、執行任務標識TaskID、子任務標識MapID、文件標識FN、物理地址FPA、文件大小FileSize以及冗餘數Re-num。優選地，所述Task-list表的信息包括:作業標識JobID、執行任務標識TaskID、文件標識FN、物理地址FPA、文件大小FileSize以及冗餘數Re-num。優選地，所述在相同的機架內網絡帶寬的總和大於不同機架之間的帶寬，同一個數據中心內的傳輸帶寬要大於不同數據中心傳輸帶寬。本發明通過設計實現了一種基於雲架構的電網地理信息系統，通過所需實現功能的不同，將系統中的伺服器節點分為不同的類別，並搭建系統，使得所述系統可以通過不同節點的特性進行中間數據的備份處理以及容錯處理，以保證系統運行時的穩定性和可用性。根據本發明的另一個方面，提供一種基於雲架構的電網地理信息系統的容錯方法，包括：主節點判斷任務所在的工作節點是否出現故障；如果任務所在的工作節點出現故障，所述主節點根據中間數據的類型在本數據中心的子任務容錯數據管理節點MFMN或任務容錯數據管理節點TFMN中查找相應的備份信息進行不同的數據容錯處理：所述中間數據分為任務內MR中間數據和任務間RM中間數據。優選地，當MR中間數據丟失時，在子任務容錯數據管理節點MFMN內查找子任務備份信息表STask-list中丟失MR中間數據的子任務對應的備份信息，MFMN根據STask-list中子任務對應的備份信息確定是否完成所述子任務，如果未完成所述子任務，則通過廣播方式將任務分配在響應時間最快的節點上；如果已經完成所述子任務，則直接讀取備份的子任務產生的MR中間數據；如果STask-list表中沒有子任務對應的備份信息，則由MN重新分配子任務執行。優選地，當RM中間數據丟失時，在TFMN的任務備份信息表Task-list中根據任務ID查找丟失RM中間數據的任務對應的備份信息；如果表中有備份信息，則通過廣播方式獲得響應時間最快的節點信息，將獲取不到RM中間數據的任務分配到該節點上；如果Task-list信息表中沒有備份信息則查找子任務備份信息表STask-list，根據表中信息產生丟失的中間數據。優選地，所述MR中間數據是由Map子任務產生的數據，且作為規約Reduce子任務的輸入數據，MR中間數據可表示為MDS＝{m1.d,m2.d,...,mm.d}，其中單個數據集mi.d由多個屬性組成，mi.d＝，其中，size為數據集mi.d的大小，flag為數據集mi.d在系統中是否需要進行存儲，num表示mi.d需要存放容錯數據的數據，taski表示mi.d是由哪個任務產生的。優選地，所述RM中間數據是Reduce子任務輸出的結果數據集，用tiD表示任務taski內產生的結果數據集，該數據作為其後續任務suc(taski)的輸入，且所述RM中間數據丟失後由taski任務重新執行產生。優選地，在進行MR中間數據容錯處理之前，還包括對MR中間數據進行數據部署，所述方法為：步驟1，在MN中查找存儲資源選擇表SR-Cloud，在本機架內選擇存儲資源信息，如果本機架內有空節點信息，則將存儲設備名發送給工作節點WN，並進行步驟3，如果本機架內沒有空節點信息，則進行步驟2；步驟2，如果在本機架內沒有空節點信息，則在不同機架內選擇存儲資源替代，並將該機架內節點相對應的存儲設備名發送給工作節點WN；步驟3，WN根據存儲設備名信息將Map子任務產生的中間數據以同步方式寫入該節點的本地文件系統中，同時WN向MFMN發出容錯數據信息MessM告知MFMN有新的容錯數據信息；步驟4，MFMN收到容錯數據信息MessM後，取出MessM中的FN與子任務備份信息表STask-list中信息進行比對，如果表中有所述容錯數據信息MessM中的FN，則將備份信息添加到表中相應項後面，否則，則創建新的條目。優選地，在進行RM中間數據數據容錯處理之前，還包括對RM中間數據進行數據部署，所述方法為：步驟1，WN在執行子任務時讀取任務列表中信息，如果還有其它任務需要執行，則進行步驟2，否則，進行步驟7；步驟2，在MN的資源管理器中查找存儲資源選擇表SR-Cloud，在本機架內選擇存儲資源信息，如果本機架內有空節點信息，則將存儲設備名發送給工作節點WN，並進行步驟5，如果本機架內沒有空節點信息，則進行步驟3；步驟3，如果在本機架內沒有空節點信息，則在本數據中心中不同機架內選擇存儲資源替代，並將該機架內節點相對應的存儲設備名發送給工作節點WN，若本數據中心的不同機架中沒有空節點信息，則進行步驟4；步驟4，查詢其他數據中心MN位置信息，並發送請求信息；其他數據中心接收到請求消息後，根據請求消息查找該數據中心SR-Cloud並將空節點信息對應的存儲設備名發送返回至原數據中心，並進行步驟5，如果在該數據中心中沒有空節點，則重複步驟2；步驟5，WN根據存儲設備名信息將任務產生的RM中間數據以同步方式寫入該節點的本地文件系統中，並向TFMN發出容錯數據信息MessR告知TFMN有新的容錯數據信息；步驟6，TFMN收到容錯數據信息MessR後，取出MessR中的FN與任務備份信息表Task-list中信息進行比對，如果表中有所述容錯數據信息MessR中的FN，則將備份信息添加到表中相應項後面，否則，則創建新的條目；步驟7，WN將任務輸出的數據寫入到電網地理信息系統的存儲系統中。優選地，如果任務所在的工作節點沒有故障，則數據中心處理待存儲數據的具體過程為：步驟1，MN接收到作業信息後，MN的任務調度器從作業的配置文件中讀取劃分信息，並根據該劃分信息為每個作業創建一個Map子任務以及若干Reduce子任務，並指定子任務標識MapID；步驟2，WN通過發送心跳包告知MN是否已做好接受任務的準備，並將節點資源信息作為心跳包的內容發送給MN；步驟3，MN分配Map子任務，並根據該子任務是任務間的子任務還是任務內的子任務，查找資源管理器中存儲資源選擇表；步驟4，WN節點接收到子任務後開始執行，並根據中間數據的類型進行中間數據的複製，並將所述中間數據的備份信息發送給MFMN或者TFMN；步驟5，MFMN和TFMN接收到中間數據的備份信息表後，將所述信息存儲至STask-list或Task-list中。本發明通過設計了一種數據的容錯方法，根據不同任務類型產生的不同中間數據類型進行不同的數據部署方法，同時當伺服器故障導致中間數據丟失時，可以通過進行丟失數據的類型判斷，進行快速的備份數據調度或者任務重新分配以保證地理信息系統的運行性能以及數據容錯能力，提高基於雲計算的電網GIS平臺的健壯性與可用性。附圖說明通過參考下面的附圖，可以更為完整地理解本發明的示例性實施方式：圖1為根據本發明優選實施例的數據中心的結構示意圖；圖2為根據本發明優選實施例的電網地理信息系統的容錯方法的流程圖；圖3為根據本發明優選實施例的MR中間數據部署方法的流程圖；以及圖4為根據本發明優選實施例的RM中間數據部署方法的流程圖。具體實施方式現在參考附圖介紹本發明的示例性實施方式，然而，本發明可以用許多不同的形式來實施，並且不局限於此處描述的實施例，提供這些實施例是為了詳盡地且完全地公開本發明，並且向所屬
技術領域：
的技術人員充分傳達本發明的範圍。對於表示在附圖中的示例性實施方式中的術語並不是對本發明的限定。在附圖中，相同的單元/元件使用相同的附圖標記。除非另有說明，此處使用的術語(包括科技術語)對所屬
技術領域：
的技術人員具有通常的理解含義。另外，可以理解的是，以通常使用的詞典限定的術語，應當被理解為與其相關領域的語境具有一致的含義，而不應該被理解為理想化的或過於正式的意義。圖1為根據本發明優選實施例的數據中心的結構示意圖。如圖1所示，根據數據中心所實現的功能的不同，將數據中心中的節點劃分為主節點MN、工作節點WN、子任務容錯數據管理節點MFMN以及任務容錯數據管理節點TFMN。優選地，作業請求信息MSG來自於用戶或者其他數據中心，這些消息以隊列的形式發送給數據中心，由數據中心進行處理，並將處理後的信息發送至用戶或其他數據中心。優選地，主節點用於接收作業請求信息、進行任務的分配以及工作節點故障時進行容錯處理調度，且主節點分為內部的任務調度器和資源管理器。其中任務調度器負責任務的調度的執行，資源管理器負責整個數據中心的所有節點的存儲資源信息的維護。主節點還包括節點有效信息表EN-Cloud和存儲資源選擇表SR-Cloud。應當了解的是，主節點每隔周期時間會對每個工作節點進行ping操作，以探測工作節點是否出現機器故障，故而，主節點會佔用大量的內存資源的CPU資源，因此，每個數據中心使用一個專用的伺服器作為主節點負責請求任務的執行，並維護其他數據中心的主節點位置信息表。優選地，工作節點是數據中心中執行主節點分配任務的節點，並對任務產生的數據進行存儲。其中，工作節點通過周期的心跳包與主節點進行通信，以表示自己處於正常的連接狀態與工作狀態，並且將工作節點的存儲資源的使用情況以及任務執行情況作為心跳包的信息上報至主節點。子任務容錯數據管理節點MFMN用於存放子任務產生的中間數據信息，即MR中間數據的備份信息，當工作節點產生了一個或多個Map子任務的中間數據的備份後，即向MFMN註冊容錯數據信息，MFMN在收到該信息後，會根據該子任務的中間數據信息，對子任務備份信息表STask-list進行維護。優選地，所述子任務備份信息表STask-list包含的信息如表1所示：JobIDTaskIDMapIDFNFPAFileSizeRe-num表1其中，JobID是每個作業的唯一標識，在主節點內記錄了每個作業的ID信息，一個作業可分為一個或多個任務；TaskID是執行任務的唯一標識；MapID是每個任務內的Map子任務執行時分配的ID，用於標識執行每一個Map子任務；FN為文件標識，用於標識一個文件的符號，是文件的唯一標識，每一個中間數據均具有唯一的文件標識；FPA(FilePhysicalAddress)為中間數據文件對應的存儲伺服器的物理地址；FileSize表示一個中間數據文件對應的存儲大小；Re-num(RedundancyNumber)為冗餘數，表示Map子任務產生的中間數據存放的數目。優選地，任務容錯數據管理節點TFMN用於存放任務間產生的中間數據信息，即RM中間數據的備份信息，當工作節點產生了一個或多個任務的中間數據的備份後，即向TFMN註冊容錯數據信息，TFMN在收到該信息後，會根據該任務的中間數據信息，對任務備份信息表Task-list進行維護。優選地，所述任務備份信息表Task-list包含的信息如表2所示：JobIDTaskIDFNFPAFileSizeRe-num表2其中，信息表Task-list與信息表STask-list的不同在於表中存放的任務對應的中間數據的信息不同，信息表STask-list主要存放的是子任務的中間數據信息，信息表Task-list存放的是任務的中間數據信息。本發明設計的支持數據容錯處理的基於雲架構的電網地理信息系統利用系統所需要完成的不同功能，將節點劃分為不同類型，並根據中間數據的不同類型，將其備份文件的信息存入到不同節點所管理的信息表上，在伺服器出現故障時，可使系統快速響應以減少作業運行時間。圖2為根據本發明優選實施例的電網地理信息系統的容錯方法的流程圖。如圖2所示，容錯處理方法200從步驟21開始。在步驟21中，主節點MN每隔周期時間會對每個工作節點WN進行ping操作，以判任務所在的WN是否出現故障，當任務所在的WN出現故障時，會導致伺服器上所產生的中間數據丟失，此時進行步驟22。優選地，在步驟22中，MN首先對丟失的中間數據的類型進行判斷，當Map子任務所在伺服器出現故障時，判定丟失的中間數據為MR中間數據，如果所述故障的伺服器上有正在執行的Map子任務，則該任務為時效任務，並進行步驟231；若MN判斷某一任務taski的前置任務pre(taski)所在的伺服器出現故障或該任務本身所在的伺服器故障，則判定丟失的中間數據為RM中間數據，並進行步驟241。優選地，在步驟231中，當判定丟失的數據為MR中間數據時，MN向本數據中心的MFMN發送容錯請求MessF1，其中MessF1中包含出現故障的WN中正在執行的Map子任務的MapID。優選地，在步驟232中，MFMN在接收到MN發送的MessF1後，根據MessF1中包含的MapID，在MFMN管理的STask-list中查找是否有與MessF1中包含的MapID相同的備份信息，如果STask-list中有與MessF1中包含的MapID相同的備份信息，則進行步驟233，否則進行步驟236。優選地，在步驟233後，MN判斷出現故障的WN內的失效子任務是否完成，當失效子任務未完成時，進行步驟234，否則，進行步驟235。優選地，在步驟234中，失效子任務未完成，則MN通過廣播方式將該未完成的失效子任務發送給響應最快的工作節點，以繼續進行任務。優選地，在步驟235中，失效子任務完成，並存在備份信息，則WN直接將失效子任務的備份數據信息告知還未來得及讀取該數據的工作節點，使任務可以繼續進行。優選地，當STask-list中沒有與MessF1中包含的MapID相同的備份信息時，MN重新執行分配該任務給正常的WN。優選地，在步驟241中，當判定丟失的數據為RM中間數據時，MN向本數據中心的TFMN發送容錯請求MessF2，其中MessF2中包含出現故障的WN中正在執行的任務的TaskID以及任務taski的子任務標識MapID。優選地，在步驟242中，TFMN在接收到MN發送的MessF2後，根據MessF2中包含的TaskID，在TFMN管理的Task-list中查找是否有與MessF2中包含的TaskID相同的備份信息，如果Task-list中有與MessF2中包含的TaskID相同的備份信息，則進行步驟243，否則進行步驟244。優選地，在步驟243中，TFMN管理的Task-list中存在與MessF2中包含的TaskID相同的備份信息，TFMN將備份信息告知WN，WN將備份信息告知給還未來得及讀取該信息的後續任務suc(taski)。優選地，在步驟244中，Task-list中沒有與MessF2中包含的TaskID相同的備份信息，則將MessF2發送給MFMN，並查找MFMN管理的STask-list中與MessF2中包含的MapID相同的備份信息，並將該Map子任務的備份信息和Reduce子任務分配到響應時間最快的節點上，以完成任務taski。圖3為根據本發明優選實施例的MR中間數據部署方法的流程圖。如圖3所示，MR中間數據部署方法300從步驟301開始。在步驟301中，在MN中查找存儲資源選擇表SR-Cloud，在本機架內選擇存儲資源信息，若本機架內有空節點可以進行信息存儲，則進行步驟302，否則進行步驟303。優選地，在步驟302中，本機架內存在可以進行數據存儲的空節點信息，則將所述空節點的存儲設備名發送給Map子任務執行的工作節點。優選地，在步驟303中，本機架內沒有空節點可以進行信息存儲，則在本數據中心中的不同的機架內選擇存儲資源替代，並將所述其他機架內空節點相對應的存儲設備名發送給Map子任務執行的工作節點。優選地，在步驟304中，工作節點根據接收到的存儲設備名將Map子任務產生的MR中間數據以同步方式寫入到所述空節點的本地文件系統中，同時WN向MFMN發出容錯數據信息MessM以告知MFMN有新的容錯數據信息需要進行處理。其中，MessM中至少包含子任務標識MapID、子任務產生的中間數據的文件標識FN以及中間數據文件對應的存儲伺服器的物理地址FPA。優選地，在步驟305中，MFMN接收到容錯數據信息MessM後，取出MessM中的FN與STask-list中信息進行比對，若STask-list中包含MessM中的FN，則將備份信息添加到STask-list中相應項後；若STask-list中不包含MessM中的FN信息，則在表中新增一個條目，以保存接收到的容錯數據信息。圖4為根據本發明優選實施例的RM中間數據部署方法的流程圖。如圖4所示，RM中間數據部署方法400從步驟401開始。在步驟401中，WN在執行子任務時，同時讀取任務列表中信息，如果所述任務還有其他子任務需要執行，則進行步驟402，否則執行步驟407。優選地，在步驟402中，在本機架的MN的資源管理器中查找存儲資源選擇表SR-Cloud，在本機架中選擇空節點信息，如果本機架中存在空節點，則進行步驟405，若本機架中不存在空節點，則進行步驟403。優選地，在步驟403中，當本機架內不存在空節點時，則在本數據中心內搜索其他機架中是否有空節點信息，若本數據中心內其他機架中有空節點信息，則進行步驟405，否則進行步驟404。優選地，在步驟404中，當本數據中心內其他機架中也不存在空節點信息時，查詢其他數據中心的主節點位置信息，並通過廣播的方式發送請求信息，其他數據中心接收到原數據中心發送的請求後，根據請求信息搜索本數據中心的SR-Cloud並將空節點信息對應的存儲設備名發送返回至原數據中心，並進行步驟405，如果在該數據中心中沒有空節點，則重複步驟402，直到在本數據中心或其他數據中心中搜索到可用的空節點信息為止。優選地，在步驟405中，MN在本數據中心或其他數據中心獲取到空節點信息後，將所述空節點對應的存儲設備名發送給任務執行的WN，WN根據存儲設備名信息將任務產生的RM中間數據以同步方式寫入該節點的本地文件系統中，並向TFMN發出容錯數據信息MessR告知TFMN有新的容錯數據信息。其中，所述MessR至少包含任務標識TakID、任務產生的中間數據的文件標識FN以及中間數據文件對應的存儲伺服器的物理地址FPA。優選地，在步驟406中，TFMN收到容錯數據信息MessR後，取出MessR中的FN與任務備份信息表Task-list中信息進行比對，如果表中有所述容錯數據信息MessR中的FN，則將備份信息添加到表中相應項後面，否則，則創建新的條目。優選地，在步驟407中，當WN執行的任務沒有其他子任務需要執行時，直接將任務輸出的數據寫入到地理信息系統的存儲系統中。已經通過參考少量實施方式描述了本發明。然而，本領域技術人員所公知的，正如附帶的專利權利要求所限定的，除了本發明以上公開的其他的實施例等同地落在本發明的範圍內。通常地，在權利要求中使用的所有術語都根據他們在
技術領域：
的通常含義被解釋，除非在其中被另外明確地定義。所有的參考「一個/所述/該[裝置、組件等]」都被開放地解釋為所述裝置、組件等中的至少一個實例，除非另外明確地說明。這裡公開的任何方法的步驟都沒必要以公開的準確的順序運行，除非明確地說明。當前第1頁1 2 3