MapReduce分布式系統的作業診斷方法及設備的製作方法
2023-10-08 19:35:44 2
MapReduce分布式系統的作業診斷方法及設備的製作方法
【專利摘要】本發明提供一種MapReduce分布式系統的作業診斷方法及設備。本發明實施例通過獲得MapReduce分布式系統中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業標識，進而利用所述對象標識，獲得至少一個作業運行的日誌文件，使得能夠根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果，全部流程為自動化操作流程，無需操作人員進行手動控制，操作簡單，且正確率高，從而提高了作業診斷的效率和可靠性。
【專利說明】MapReduce分布式系統的作業診斷方法及設備
【【技術領域】】
[0001]本發明涉及通信技術，尤其涉及一種MapReduce分布式系統的作業診斷方法及設備。
【【背景技術】】
[0002]近年來，隨著寬帶網絡技術與並行計算理論的快速發展，一種更簡化的分布式系統即映射和匯總(MapReduce)分布式系統應運而生，以為多種應用提供服務，例如，為搜尋引擎提供服務。在MapReduce分布式系統,也可以成為MapReduce分布式集群,例如,Hadoop系統，中，一個數據處理過程稱為一個作業(Job)，Job提交之後，將待處理數據分為N份，每份待處理數據由一個映射(Map)任務進行處理,Map任務運行在該MapReduce分布式系統中的一個節點設備上，一個節點設備上可以運行一個或多個Map任務；所有Map任務的輸出結果由匯總(Reduce)任務進行匯總，輸出對應的結果。其中，Hadoop是阿帕奇軟體基金下的一個開源項目。
[0003]然而，在作業運行過程中，作業的運行狀態的監控、作業的運行控制參數的調整等諸多作業診斷均需要操作人員進行手動控制，操作複雜，且容易出錯，從而導致了作業診斷的效率和可靠性的降低。
【
【發明內容】
】
[0004]本發明的多個方面提供一種MapReduce分布式系統的作業診斷方法及設備，用以提高作業診斷的效率和可靠性。
[0005]本發明的一方面,提供一種MapReduce分布式系統的作業診斷方法，包括:
[0006]獲得MapReduce分布式系統中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業標識；
[0007]利用所述對象標識，獲得至少一個作業運行的日誌文件；
[0008]根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果。
[0009]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述利用所述對象標識，獲得至少一個作業運行的日誌文件，包括:
[0010]利用所述對象標識，獲得所述日誌文件的URL ；
[0011 ] 根據所述日誌文件的URL，獲得所述日誌文件。
[0012]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，包括:
[0013]根據所述日誌文件，提取作業信息；
[0014]根據預先設置的數據格式，對所述作業信息進行封裝；
[0015]根據所述診斷規則，對封裝之後的作業信息進行診斷。
[0016]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果之後，還包括:
[0017]根據所述診斷結果，調整所述至少一個作業的運行控制參數。
[0018]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述日誌文件包括配置文件和狀態文件。
[0019]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述方法還包括:
[0020]對所述至少一個作業的運行狀況進行統計，以獲得統計信息。
[0021]本發明的另一方面，提供一種MapReduce分布式系統的作業診斷設備，包括:
[0022]獲得單元，用於獲得MapReduce分布式系統中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業標識；
[0023]所述獲得單元，還用於利用所述對象標識，獲得至少一個作業運行的日誌文件；
[0024]診斷單元，用於根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果。
[0025]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述獲得單元，具體用於
[0026]利用所述對象標識，獲得所述日誌文件的URL ；以及根據所述日誌文件的URL，獲得所述日誌文件。
[0027]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述診斷單元，具體用於
[0028]根據所述日誌文件，提取作業信息；根據預先設置的數據格式，對所述作業信息進行封裝；以及根據所述診斷規則，對封裝之後的作業信息進行診斷。
[0029]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述設備還包括調整單元，用於
[0030]根據所述診斷結果，調整所述至少一個作業的運行控制參數。
[0031]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述獲得單元所獲得的所述日誌文件包括配置文件和狀態文件。
[0032]如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述設備還包括統計單元，用於
[0033]對所述至少一個作業的運行狀況進行統計，以獲得統計信息。
[0034]由上述技術方案可知，本發明實施例通過獲得MapReduce分布式系統中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業標識，進而利用所述對象標識，獲得至少一個作業運行的日誌文件，使得能夠根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果，全部流程為自動化操作流程，無需操作人員進行手動控制，操作簡單，且正確率高，從而提高了作業診斷的效率和可靠性。
【【專利附圖】
【附圖說明】】
[0035]為了更清楚地說明本發明實施例中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0036]圖1為本發明一實施例提供的MapReduce分布式系統的作業診斷方法的流程示意圖；
[0037]圖2為本發明另一實施例提供的MapReduce分布式系統的作業診斷設備的結構示意圖；
[0038]圖3為本發明另一實施例提供的MapReduce分布式系統的作業診斷設備的結構示意圖；
[0039]圖4為本發明另一實施例提供的MapReduce分布式系統的作業診斷設備的結構示意圖。
【【具體實施方式】】
[0040]為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0041 ] 另外，本文中術語「和/或」，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示:單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字符「/」，一般表示前後關聯對象是一種「或」的關係。
[0042]圖1為本發明一實施例提供的MapReduce分布式系統的作業診斷方法的流程示意圖。
[0043]101、獲得MapReduce分布式系統中待診斷對象的對象標識,所述對象標識包括集群標識，或者集群標識和作業標識。
[0044]例如，所述集群標識可以為集群名稱(Cluster Name)。
[0045]再例如，所述作業標識可以為作業標識符(Job ID)。
[0046]102、利用所述對象標識，獲得至少一個作業運行的日誌文件。
[0047]其中，所述日誌文件可以包括但不限於配置文件(例如，conf.xml文件)和狀態文件(例如，log文件)，本實施例對此不進行限定。
[0048]103、根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果。
[0049]需要說明的是，101~103的執行主體可以是一診斷設備。
[0050]這樣,通過獲得MapReduce分布式系統中待診斷對象的對象標識,所述對象標識包括集群標識，或者集群標識和作業標識，進而利用所述對象標識，獲得至少一個作業運行的日誌文件，使得能夠根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果，全部流程為自動化操作流程，無需操作人員進行手動控制，操作簡單，且正確率高，從而提高了作業診斷的效率和可靠性。
[0051]可選地，在本實施例的一個可能的實現方式中，在102中，診斷設備具體可以利用所述對象標識，獲得所述日誌文件的統一資源定位符(Uniform Resource Locator, URL)。例如，所述日誌文件的URL可以通過拼接字符串的方式生成，具體方式的詳細描述可以參見現有技術中的相關內容，此處不再贅述。然後，所述診斷設備則可以根據所述日誌文件的URL，獲得所述日誌文件。
[0052]可選地，在本實施例的一個可能的實現方式中，在103中，診斷設備具體可以根據所述日誌文件，提取作業信息。具體地，所述診斷設備具體可以根據用戶指定，或者所述診斷規則的需要，從所述日誌文件中提取有用的部分內容，作為作業信息。然後，所述診斷設備則可以根據預先設置的數據格式，對所述作業信息進行封裝，以及根據所述診斷規則，對封裝之後的作業信息進行診斷。
[0053]可選地，在本實施例的一個可能的實現方式中，在103之後，診斷設備還可以進一步根據所述診斷結果，調整所述至少一個作業的運行控制參數。這樣，可以縮短所述至少一個作業的執行時間，從而提高了 MapReduce分布式系統的作業執行效率。
[0054]另外，還可以優化所述至少一個作業的執行策略，從而提高了 MapReduce分布式系統的資源利用率。
[0055]具體地，所述診斷規則可以有很多種，下面將舉幾個例子進行簡單說明。簡單來說，可以將所述診斷規則分為三類，一類是Map任務相關的一些規則，另一類是Reduce任務相關的一些規則，還有一類是其它規則。
[0056]第一類、Map任務相關的一些規則
[0057]1、Map 階段磁碟溢寫(Map Side Disk Spill)
[0058]當Map任務開始運行，並產生中間數據時，其產生的中間數據並非直接就簡單的寫入磁碟。這中間的過程比較複雜，並且利用到了內存(buffer)來進行產生的中間數據的緩存，並在buffer中進行一些預排序(sort)來優化整個Map任務的性能。每一個Map任務都會對應存在一個buffer (MapOutputBuffer), Map任務會將產生的中間數據先寫入到該buffer中，這個buffer默認是100兆字節(MB)大小,但是這個大小是可以根據作業提交時的參數設定來調整的，該參數即為:1.sort, mb。當Map任務產生的中間數據非常大時，並且把1.sort, mb調大,那麼Map任務在整個計算過程中溢寫(spill)的次數就勢必會降低，Map任務對磁碟的操作就會變少，如果Map任務的瓶頸在磁碟上，這樣調整就會大大提高Map任務的計算性能。
[0059]Map任務在運行過程中，不停的向該buffer中寫入產生的中間數據，但是該buffer並不一定能將全部的Map任務產生的中間數據緩存下來,當Map任務產生的中間數據超出一定閾值(例如，100MB)，那麼Map任務就必須將該buffer中的數據寫入到磁碟中去，這個過程在MapReduce分布式系統中叫做溢寫(spill)。Map任務並不是要等到將該buffer全部寫滿時才進行spill,因為如果全部寫滿了再去寫spill,勢必會造成Map任務的計算部分等待buffer釋放空間的情況。所以，Map任務其實是當buffer被寫滿到一定程度(例如，80%)時，就開始進行spill。這個閾值也是可以根據作業提交時的參數設定來調整的由，該參數即為:1.sort, spill, percent,默認為0.80或80%。這個參數同樣也是影響spill頻繁程度，進而影響Map任務運行周期對磁碟的讀寫頻率的。
[0060]具體的診斷規則可以參見公式(I):
[0061]
【權利要求】
1.一種MapReduce分布式系統的作業診斷方法,其特徵在於，包括:獲得MapReduce分布式系統中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業標識； 利用所述對象標識，獲得至少一個作業運行的日誌文件； 根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果。
2.根據權利要求1所述的方法，其特徵在於，所述利用所述對象標識，獲得至少一個作業運行的日誌文件,包括: 利用所述對象標識，獲得所述日誌文件的URL ； 根據所述日誌文件的URL，獲得所述日誌文件。
3.根據權利要求1或2所述的方法，其特徵在於，所述根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，包括: 根據所述日誌文件，提取作業信息； 根據預先設置的數據 格式，對所述作業信息進行封裝； 根據所述診斷規則，對封裝之後的作業信息進行診斷。
4.根據權利要求1~3任一權利要求所述的方法，其特徵在於，所述根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果之後，還包括: 根據所述診斷結果，調整所述至少一個作業的運行控制參數。
5.根據權利要求1~4任一權利要求所述的方法，其特徵在於，所述日誌文件包括配置文件和狀態文件。
6.根據權利要求1~5任一權利要求所述的方法，其特徵在於，所述方法還包括: 對所述至少一個作業的運行狀況進行統計，以獲得統計信息。
7.—種MapReduce分布式系統的作業診斷設備,其特徵在於,包括: 獲得單元，用於獲得MapReduce分布式系統中待診斷對象的對象標識，所述對象標識包括集群標識，或者集群標識和作業標識； 所述獲得單元，還用於利用所述對象標識，獲得至少一個作業運行的日誌文件； 診斷單元，用於根據所述日誌文件和預先配置的診斷規則，對所述至少一個作業進行診斷，以獲得診斷結果。
8.根據權利要求7所述的設備，其特徵在於，所述獲得單元，具體用於 利用所述對象標識，獲得所述日誌文件的URL ；以及根據所述日誌文件的URL，獲得所述日誌文件。
9.根據權利要求7或8所述的設備，其特徵在於，所述診斷單元，具體用於 根據所述日誌文件，提取作業信息；根據預先設置的數據格式，對所述作業信息進行封裝；以及根據所述診斷規則，對封裝之後的作業信息進行診斷。
10.根據權利要求7~9任一權利要求所述的設備，其特徵在於，所述設備還包括調整單元，用於 根據所述診斷結果，調整所述至少一個作業的運行控制參數。
11.根據權利要求7~10任一權利要求所述的設備，其特徵在於，所述獲得單元所獲得的所述日誌文件包括配置文件和狀態文件。
12.根據權利要求7~11任一權利要求所述的設備，其特徵在於，所述設備還包括統計單元，用於
對所述至少一個作業的運行狀況進行統計，以獲得統計信息。
【文檔編號】G06F17/30GK104077328SQ201310109756
【公開日】2014年10月1日 申請日期:2013年3月29日 優先權日:2013年3月29日
【發明者】楊斐, 劉旭 申請人:百度在線網絡技術（北京）有限公司