任務信息分析方法及裝置與流程

2023-05-29 17:07:26 1

本發明涉及數據處理
技術領域：
：，特別是指一種任務信息分析方法及裝置。
背景技術：
：：Hadoop是一種分布式系統基礎架構，用戶可以在不了解分布式底層細節的情況下開發分布式程序，從而充分利用集群的威力進行高速運算和存儲。Hadoop實現了一個分布式文件系統(HadoopDistributedFileSystem)，簡稱HDFS。HDFS有高容錯性的特點，並且設計用來部署在低廉的硬體上；而且它提供高吞吐量來訪問應用程式的數據，適合那些有著超大數據集的應用程式。HDFS放寬了POSIX(PortableOperatingSystemInterface，可移植作業系統接口)的要求，可以以流的形式訪問文件系統中的數據。Hadoop的框架最核心的設計就是：HDFS和MapReduce(可譯為「映射與化簡」)。MapReduce是一種編程模型，用於大規模數據集的並行運算。HDFS為海量的數據提供了存儲，MapReduce則為海量的數據提供了計算。hive是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張資料庫表，並提供sql(StructuredQueryLanguage，結構化查詢語言)查詢功能，可以將sql語句轉換為MapReduce任務進行運行。在hadoop2.x中，資源調度管理器是yarn。ApacheHadoopYARN(YetAnotherResourceNegotiator，另一種資源協調者)是一種新的Hadoop資源管理器，它是一個通用資源管理系統，可為上層應用提供統一的資源管理和調度，它的引入為集群在利用率、資源統一管理和數據共享等方面帶來了巨大好處。在hive任務中，某些情況下任務會失敗，而任務失敗會有許多原因，對於初學者或者單純的數據分析人員來說，很多時候hive給出的報錯提示太少了，而不能幫助這些人員來分析他們的任務失敗的原因。發明人在實現本發明的過程中發現，現有的方案，對於hive失敗的任務，需要用戶自己去查看logserver(日誌記錄伺服器)上的hive運行的日誌。但是logserver上保存的日誌是有時間和數量限制的。並且，想要查看日誌還需要配置集群所有的機器在本地的hosts映射，當集群節點發生改變時，還需要更新相關的配置，對於數據分析人員造成很多的不便。而且，在很多情況下，處於對於安全因素的考慮，Hadoop的相關機器並不能夠被外網地址訪問，這樣就看不到具體的分布式運算節點上的信息。此外，hive直接在控制臺上列印的日誌，往往信息不足，無法直接用來定位錯誤的原因。技術實現要素：有鑑於此，本發明的目的在於提出一種任務信息分析方法及裝置，能夠自動分析任務的運行情況，無需手動操作。基於上述目的本發明實施例提供的任務信息分析方法，包括：對提交的任務的運行狀態進行監測；若監測到所述任務的報錯信息，獲取所述報錯信息對應的報錯任務的日誌；對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；所述報錯原因分析表中包括預存的報錯原因信息以及與所述報錯原因信息相對應的報錯分析結果。在一些實施方式中，所述的方法，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述對提交的任務的運行狀態進行監測的步驟之後還包括：創建map隊列和reduce隊列，根據所述任務的運行狀態，將報錯的map任務和報錯的reduce任務分別存儲在所述map任務報錯列表和reduce任務報錯列表中；在所述map任務報錯列表中記錄報錯的map任務的任務ID和執行所述map任務的機器的列表；在所述reduce任務報錯列表中記錄報錯的reduce任務的任務ID和執行所述reduce任務的機器的列表；所述獲取報錯任務的日誌的步驟具體包括：採用隨機算法，從所述map任務報錯列表和reduce任務報錯列表中選取出報錯任務進行分析。在一些實施方式中，所述的方法，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述對提交的任務的運行狀態進行監測的步驟之後還包括：監測所述reduce任務的處理進度；所述處理進度包括需要抓取文件數、已經抓取文件數和文件抓取速度；在與所述reduce任務有關聯的map任務結束後，啟動從零開始的計時；判斷計時時長超過第一預設時間閾值時是否存在未結束文件抓取的reduce任務；若存在未結束文件抓取的reduce任務，判斷所述文件抓取速度是否低於預設文件抓取速度；若所述文件抓取速度低於預設文件抓取速度，判定當前網絡狀態不佳。在一些實施方式中，所述的方法，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述對提交的任務的運行狀態進行監測的步驟之後還包括：對於聯接的所述reduce任務，監測所述reduce任務的日誌；判斷聯接的所述reduce任務中，未完成的reduce任務佔聯接的全部所述reduce任務的比例是否低於預設未完成比例；若未完成的reduce任務佔聯接的全部所述reduce任務的比例低於預設未完成比例，則判斷所述未完成的reduce任務的持續時間是否超過第三預設時間閾值；若所述未完成的reduce任務的持續時間超過第三預設時間閾值，則判斷所述reduce任務的同一鍵的數據量是否超出預設鍵數據量閾值；若所述reduce任務的同一鍵的數據量超出預設鍵數據量閾值，判定所述reduce任務屬於數據傾斜，並發出數據傾斜警告信息。在一些實施方式中，所述的方法，應用於hive任務；所述對提交的任務的運行狀態進行監測的步驟之後還包括：監測所述任務的失敗信息；根據所述任務的失敗信息，判斷所述任務是否連續請求分配AM失敗達到預設失敗次數；若所述任務連續請求分配AM失敗達到預設失敗次數，則判定所述任務請求分配AM失敗並輸出AM的IP位址。本發明實施例的另一方面，還提供了一種任務信息分析裝置，包括：監測模塊，用於對提交的任務的運行狀態進行監測；日誌獲取模塊，用於若監測到所述任務的報錯信息，獲取所述報錯信息對應的報錯任務的日誌；日誌解析模塊，用於對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；分析比對模塊，用於將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；所述報錯原因分析表中包括預存的報錯原因信息以及與所述報錯原因信息相對應的報錯分析結果。在一些實施方式中，所述的裝置，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述任務信息分析裝置還包括報錯列表創建模塊，具體用於：創建map隊列和reduce隊列，根據所述任務的運行狀態，將報錯的map任務和報錯的reduce任務分別存儲在所述map任務報錯列表和reduce任務報錯列表中；在所述map任務報錯列表中記錄報錯的map任務的任務ID和執行所述map任務的機器的列表；在所述reduce任務報錯列表中記錄報錯的reduce任務的任務ID和執行所述reduce任務的機器的列表；所述日誌獲取模塊，具體用於：採用隨機算法，從所述map任務報錯列表和reduce任務報錯列表中選取出報錯任務進行分析。在一些實施方式中，所述的裝置，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述監測模塊，還用於監測所述reduce任務的處理進度；所述處理進度包括需要抓取文件數、已經抓取文件數和文件抓取速度；所述任務信息分析裝置還包括：計時模塊，用於在與所述reduce任務有關聯的map任務結束後，啟動從零開始的計時；未結束任務判斷模塊，用於判斷計時時長超過第一預設時間閾值時是否存在未結束文件抓取的reduce任務；抓取速度判斷模塊，若存在未結束文件抓取的reduce任務，用於判斷所述文件抓取速度是否低於預設文件抓取速度；網絡狀態判斷模塊，若所述文件抓取速度低於預設文件抓取速度，用於判定當前網絡狀態不佳。在一些實施方式中，所述的裝置，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述監測模塊，還用於對於聯接的所述reduce任務，監測所述reduce任務的日誌；所述任務信息分析裝置還包括：未完成比例判斷模塊，用於判斷聯接的所述reduce任務中，未完成的reduce任務佔聯接的全部所述reduce任務的比例是否低於預設未完成比例；持續時間判斷模塊，若未完成的reduce任務佔聯接的全部所述reduce任務的比例低於預設未完成比例，用於判斷所述未完成的reduce任務的持續時間是否超過第三預設時間閾值；數據量判斷模塊，若所述未完成的reduce任務的持續時間超過第三預設時間閾值，用於判斷所述reduce任務的同一鍵的數據量是否超出預設鍵數據量閾值；數據傾斜判斷模塊，若所述reduce任務的同一鍵的數據量超出預設鍵數據量閾值，用於判定所述reduce任務屬於數據傾斜；警告模塊，用於發出數據傾斜警告信息。在一些實施方式中，所述的裝置，應用於hive任務；所述監測模塊，還用於監測所述任務的失敗信息；所述任務信息分析裝置還包括：AM請求判斷模塊，用於根據所述任務的失敗信息，判斷所述任務是否連續請求分配AM失敗達到預設失敗次數；請求失敗判斷模塊，若所述任務連續請求分配AM失敗達到預設失敗次數，用於判定所述任務請求分配AM失敗並輸出AM的IP位址。從上述實施例可以看出，本發明實施例提供的所述任務信息分析方法及裝置，通過設置任務守護線程對任務進行監控並得到報錯任務，對報錯任務的日誌進行文本分析並提取得到報錯原因信息，將所述報錯原因信息與預先設置的報錯原因分析表進行比對，最終得到並輸出報錯分析結果，使得在出現任務報錯時，無需技術人員進行人工排查，就能自動得出報錯任務的錯誤原因(即報錯分析結果)，從而大大提高了技術人員的工作效率。附圖說明圖1為本發明提供的任務信息分析方法的第一個實施例的流程示意圖；圖2為本發明提供的任務信息分析方法的第二個實施例中步驟103的具體流程示意圖；圖3為本發明提供的任務信息分析方法的第三個實施例的流程示意圖；圖4為本發明提供的任務信息分析裝置的第一個實施例的模塊結構示意圖；圖5為本發明提供的任務信息分析裝置的第二個實施例的模塊結構示意圖。具體實施方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。需要說明的是，本發明實施例中所有使用「第一」和「第二」的表述均是為了區分兩個相同名稱非相同的實體或者非相同的參量，可見「第一」「第二」僅為了表述的方便，不應理解為對本發明實施例的限定，後續實施例對此不再一一說明。在本文的一開始，先大致介紹hive任務的運算大體流程，其主要包括以下幾個步驟：首先，向Resourcemanager(資源管理器，簡稱RM，是yarn資源控制框架的中心模塊，負責集群中所有的資源的統一管理和分配)提交任務請求。然後，RM分配一個ApplicationMaster給這個任務；這裡，ApplicationMaster簡稱AM，可譯為「應用主控器」，是一個具體的框架庫，它的任務是與RM協商獲取應用所需資源，以及，與Nodemanager(簡稱ND，節點管理器)合作，以完成執行和監控所述任務。對於MapReduce計算模型而言有它自己的AM實現，對於其他的想要運行在yarn上的計算模型而言，必須得實現針對該計算模型的AM用以向RM申請資源運行任務。比如運行在yarn上的spark(可譯為「火花」)框架也有對應的AM實現，這裡，spark是UCBerkeleyAMPlab(加利福尼亞大學伯克利分校安普實驗室)所開源的類HadoopMapReduce的通用並行框架，其擁有HadoopMapReduce所具有的優點。歸根結底，yarn是一個資源管理的框架，並不是一個計算框架，要想在yarn上運行應用程式，還得有特定的計算框架來實現，例如AM。最後，AM負責給這個任務在空閒的ND上分配相關的計算資源，根據執行計算啟動與該任務相應的map任務或reduce任務。其中，計算任務的日誌被保存到任務各自的本地。在hive任務的運算過程中，影響hive任務運行進度以及可能導致失敗或報錯的原因主要有以下幾類：(1)AM所在的機器節點發生故障，導致AM分配失敗，需要重新分配AM，每次重新分配就會導致任務需要全部重新計算；如果AM連續兩次分配失敗，則任務失敗；(2)當前用戶所在的資源隊列資源不足，導致任務運行緩慢；(3)當發生數據傾斜問題時，會導致其中某幾個reduce任務運行特別緩慢；(4)由於數據異常，或者自定義的udf函數(User-DefinedFunction，用戶定義函數)、udaf函數(User-DefinedAggregationFuncation，用戶自定義聚合函數)等自身的問題，會導致map任務或者reduce任務報錯。基於上述錯誤原因，本發明實施例的第一個方面，提出了一種能夠自動分析任務的運行情況且無需手動操作的任務信息分析方法的第一個實施例。如圖1所示，為本發明提供的任務信息分析方法的第一個實施例的流程示意圖。所述任務信息分析方法，包括以下步驟：步驟101：對提交的任務的運行狀態進行監測；可選的，可通過啟動任務守護線程的方式來進行監測，所述守護線程則用於對提交的任務進行跟蹤並獲取所述任務的運行狀態；舉例來說，在Hadoop中，每一個hive任務都會被解析成MapReduce任務，每一個MapReduce任務都會有一個唯一的applicationid(應用ID)；在hive啟動過程中，則會啟動所述任務守護線程，當hive每提交一個MapReduce任務時，所述任務守護線程則會對所述MapReduce任務進行跟蹤，從而在yarn中可以監測到所述MapReduce任務的運行狀態；步驟102：若監測到所述任務的報錯信息；獲取所述報錯信息對應的報錯任務的日誌；這裡，對於hive任務，可以通過yarn相關的API(ApplicationProgrammingInterface，應用程式編程接口)，監測到任務的報錯信息，以及獲取到報錯任務的日誌；步驟103：對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；這裡，通過對報錯任務的日誌進行文本分析，能夠得到所述報錯任務的報錯原因信息，所述報錯原因信息中包含了所述報錯任務為什麼會報錯的關鍵信息；所述日誌中遵循一定的格式，經過文本分析之後，可以提取出具體報錯的數據的樣本信息以及詳細的報錯信息，能夠用於幫助分析人員更快的定位錯誤原因；步驟104：將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；所述報錯原因分析表中包括預存的報錯原因信息以及與所述報錯原因信息相對應的報錯分析結果，所述報錯分析結構最終可以輸出到Hadoop的控制臺；可選的，所述報錯原因分析表，是在程序內部維護的一個已知的哈希表，其中，鍵(key)代表經常報錯的報錯原因信息，值(value)代表已經定義好的與所述報錯原因信息相對應的報錯分析結果；然後，根據抓取到的報錯原因信息跟這個哈希表進行比對，從而得出診斷的信息，即報錯分析結果。從上述實施例可以看出，本發明實施例提供的所述任務信息分析方法，通過設置任務守護線程對任務進行監控並得到報錯任務，對報錯任務的日誌進行文本分析並提取得到報錯原因信息，將所述報錯原因信息與預先設置的報錯原因分析表進行比對，最終得到並輸出報錯分析結果，使得在出現任務報錯時，無需技術人員進行人工排查，就能自動得出報錯任務的錯誤原因(即報錯分析結果)，從而大大提高了技術人員的工作效率。本發明實施例的第二個方面，提出了一種能夠自動分析任務的運行情況且無需手動操作的任務信息分析方法的第二個實施例。結合參照附圖1和附圖2，所述任務信息分析方法，應用於Hadoop，可包括以下步驟：步驟101：對提交的任務的運行狀態進行監測；可選的，可通過啟動任務守護線程的方式來進行監測，所述守護線程則用於對提交的任務進行跟蹤並獲取所述任務的運行狀態；步驟102：若監測到所述任務的報錯信息；獲取所述報錯信息對應的報錯任務的日誌；步驟103：對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；這裡，通過對報錯任務的日誌進行文本分析，能夠得到所述報錯任務的報錯原因信息，所述報錯原因信息中包含了所述報錯任務為什麼會報錯的關鍵信息；步驟104：將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；所述報錯原因分析表中包括預存的報錯原因信息以及與所述報錯原因信息相對應的報錯分析結果，所述報錯分析結構最終可以輸出到Hadoop的控制臺；進一步的，在一些可選實施方式中，所述任務信息分析方法，所述對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息的步驟103還可以具體包括以下步驟：步驟1031：在啟用yarn的日誌聚集的情況下，選取出報錯任務；步驟1032：根據MapReduce任務的applicationid和container(容器)獲取詳細的所述報錯任務的日誌信息；容器中封裝了機器資源，如內存，CPU,磁碟，網絡等，每個任務都會被分配一個容器，該任務只能在該容器中執行，並使用該容器封裝的資源；步驟1033：通過HadoopHDFSAPI(ApplicationProgrammingInterface，應用程式編程接口)來讀取所述報錯任務的日誌信息；步驟1034：通過grep、awk和/或正則等文本分析算法，對所述報錯任務的日誌信息中包含的標準化錯誤進行抓取和分析；步驟1035：得到所述報錯任務的報錯原因信息；其中，grep(GloballysearchaRegularExpressionandPrint，全局搜索正則表達式和列印)是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行列印出來；AWK(沃克)是一個優良的文本處理工具，Linux及Unix環境中現有的功能最強大的數據處理引擎之一；正則，在各種程式語言中，正則代表「正則表達式」，從最早的Perl(PracticalExtractionandReportLanguage，實用報表提取語言)到後來的Java、.NET，都提供了這種文本分析的高級工具；正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個「規則字符串」，這個「規則字符串」用來表達對字符串的一種過濾邏輯。通過上述實施例，使得在Hadoop中，能夠通過上述方法完成對所述報錯任務的日誌進行文本分析以及得到所述報錯任務的報錯原因信息。本發明實施例的第三個方面，提出了一種能夠自動分析任務的運行情況且無需手動操作的任務信息分析方法的第三個實施例。如圖3所示，為本發明提供的任務信息分析方法的第三個實施例的流程示意圖。所述任務信息分析方法，包括以下步驟：步驟201：啟動任務守護線程；舉例來說，在Hadoop中，每一個hive任務都會被解析成MapReduce任務，每一個MapReduce任務都會有一個唯一的applicationid(應用ID)；在hive啟動過程中，則會啟動所述任務守護線程，當hive每提交一個MapReduce任務時，所述任務守護線程則會對所述MapReduce任務進行跟蹤，從而在yarn中可以監測到所述MapReduce任務的運行狀態；可選的，所述任務信息分析方法，應用於MapReduce運算，所述任務包括map任務和reduce任務；一個hive任務，會被解析成若干個MapReducejob(工作)來執行，利用yarn相關的API，可以監聽到正在運行的這個MapReducejob對應的任務的具體的情況；比如，這個job啟動了多少個map任務，多少個reduce任務，以及各個任務的狀態(包括啟動、正在運行、報錯、失敗)；MapReduce是一種編程模型，用於大規模數據集(大於1TB)的並行運算；概念"Map(映射)"和"Reduce(化簡)"，是它們的主要思想，都是從函數式程式語言裡借來的，還有從矢量程式語言裡借來的特性；當前的軟體實現是指定一個Map(映射)函數，用來把一組鍵值對映射成一組新的鍵值對，指定並發的Reduce(化簡)函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組；在一些實施方式中，所述任務信息分析方法，可包括以下步驟：步驟202：創建map隊列和reduce隊列，分別用於存儲map任務報錯列表和reduce任務報錯列表；步驟203：根據所述任務的運行狀態，將報錯的map任務和報錯的reduce任務分別存儲在所述map任務報錯列表和reduce任務報錯列表中；舉例來說，在Hadoop中，每一個hive任務都會被解析成MapReduce任務，每一個MapReduce任務都會有一個唯一的applicationid(應用ID)；在hive啟動過程中，則會啟動所述任務守護線程，當hive每提交一個MapReduce任務時，所述任務守護線程則會對所述MapReduce任務進行跟蹤，從而在yarn中可以監測到所述MapReduce任務的運行狀態；根據這個監測到的任務運行狀態，能夠知道報錯的任務是map任務還是reduce任務，從而將報錯的map任務和報錯的reduce任務區別開來，因此，通過這種方法，可以將報錯的map任務和報錯的reduce任務進行分別存儲；步驟204：在所述map任務報錯列表中記錄報錯的map任務的任務ID和執行所述map任務的機器的列表；步驟205：在所述reduce任務報錯列表中記錄報錯的reduce任務的任務ID和執行所述reduce任務的機器的列表；由於報錯任務的數量較多，因此，還可具體包括以下步驟：步驟206：採用隨機算法，從所述map任務報錯列表和reduce任務報錯列表中選取出報錯任務進行分析；步驟207：對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；步驟208：將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；這裡，通過創建map隊列用於存儲map任務報錯列表、報錯的map任務的任務ID和執行所述map任務的機器的列表，創建reduce隊列用於存儲reduce任務報錯列表、報錯的reduce任務的任務ID和執行所述reduce任務的機器的列表，並採用隨機算法選取報錯任務進行分析，從而能夠較為規範的管理報錯任務，並能根據需要從中選取報錯任務進行分析，使得報錯任務處理結果更加準確，技術人員的工作量大大減少，工作效率大大提高；可選的，在另一些實施方式中，所述任務信息分析方法，還可包括以下步驟：步驟209：通過yarn監測所述reduce任務的處理進度；所述處理進度包括需要抓取文件數、已經抓取文件數和文件抓取速度；可選的，在所述reduce任務開始的時候，首先會從所有的map任務的輸出的數據中拉取與所述map任務對應的reduce任務的數據；通過監測reduce任務的抓取數據的子任務，能夠知道當前reduce任務的處理進度，即，共需要抓取多少個文件，已經抓取到了多少個文件，以及抓取文件的速度；其中，每隔第二預設時間閾值(例如1s)，監測一下文件抓取速度；步驟210：在與所述reduce任務有關聯的map任務結束後，啟動從零開始的計時；步驟211：判斷計時時長超過第一預設時間閾值時是否存在未結束文件抓取的reduce任務；這裡，在與所述reduce任務有關聯的map任務結束後，對於超過第一預設時間閾值(例如5分鐘)還沒有結束文件抓取的reduce任務，則說明這些reduce任務遠遠落後於其他reduce任務；步驟212：若計時時長超過第一預設時間閾值後，還存在未結束文件抓取的reduce任務，說明這些reduce任務遠遠落後於其他reduce任務，因此，進一步判斷所述文件抓取速度是否低於預設文件抓取速度，用於分析這些reduce任務緩慢的原因；步驟213：若所述文件抓取速度低於預設文件抓取速度，判定當前網絡狀態不佳，並可發出網絡狀態不佳的提示信息，說明任務進度正在受到網絡狀態不佳的影響；步驟214：若所述文件抓取速度不低於預設文件抓取速度，判定當前網絡狀態正常；其中，所述第一預設時間閾值、第二預設時間閾值、預設文件抓取速度均可以根據實際需要進行設置，在此不進行數值限制；通過上述實施例，能夠自動判斷是否出現了因為網絡狀態不佳而引起的任務進度緩慢的問題，若出現了這種問題，還可以在判定當前網絡狀態不佳後發出網絡狀態不佳的提示信息，用於提醒相關人員及時處理；可選的，在另一些實施方式中，所述任務信息分析方法，還可包括以下步驟：通過hive提交的任務中，MapReduce任務的日誌都會按照一定的格式進行輸出，之前的步驟中，可以監測所有reduce任務的運行狀態；步驟215：對於聯接(join)的所述reduce任務，監測所述reduce任務的日誌；步驟216：判斷聯接的所述reduce任務中，未完成的reduce任務佔聯接的全部所述reduce任務的比例是否低於預設未完成比例；步驟217：若未完成的reduce任務佔聯接的全部所述reduce任務的比例低於預設未完成比例，當reduce任務絕大部分任務已經結束，只剩餘幾個reduce任務還在運行時，說明可能出現了數據傾斜的情況；因此，進一步判斷所述未完成的reduce任務的持續時間是否超過第三預設時間閾值(例如，5分鐘)；若這些未完成的reduce任務超過第三預設時間閾值還沒有結束，則說明有極大可能性會出現數據傾斜的情況；步驟218：若所述未完成的reduce任務的持續時間超過第三預設時間閾值，則判斷所述reduce任務的同一鍵(key)的數據量是否超出預設鍵數據量閾值；這裡，可以通過監測reduce任務輸出的日誌來獲取所述reduce任務的同一鍵(key)的數據量，通常，在reduce任務輸出的日誌中會有類似以下格式輸出：org.apache.hadoop.hive.ql.exec.CommonJoinOperator:table0has8000rowsforjoinkey[c80e779e25d4,2,20]；步驟219：若所述reduce任務的同一鍵的數據量超出預設鍵數據量閾值(例如3萬)，判定所述reduce任務屬於數據傾斜，並發出數據傾斜警告信息；一般情況下，當單個鍵(key)的記錄數超過了3w，基本上就可以判定是發生了數據傾斜，這個時候可以把這些導致數據傾斜的key輸出，使相關人員能夠清楚的明白髮生了數據傾斜，以及是由哪些key導致的數據傾斜；通過上述實施例，能夠自動判斷是否出現了數據傾斜的問題，若出現了這種問題，還可以在出現了數據傾斜後發出數據傾斜警告信息，用於提醒相關人員及時處理；有的時候，若AM所在的機器節點發生故障，將導致分配AM失敗，此時通常需要重新分配AM，若重新分配AM成功，則任務可繼續進行，而通常情況下，如果AM連續兩次分配失敗，則表示任務失敗，此時，根據任務的失敗信息中出現的請求分配AM失敗的失敗信息，即可進行相應的失敗原因的判斷；因此，在一些可選實施方式中，所述任務信息分析方法，應用於hive任務，還可包括以下步驟：步驟220：監測所述任務的失敗信息；步驟221：根據所述任務的失敗信息，判斷所述任務是否連續請求分配AM失敗達到預設失敗次數；所述預設失敗次數可根據需要進行設定，為了保證系統的正常運行，通常可設定為2次，當然，根據實際需要，也可以設置為3次或更多次；步驟222：若所述任務連續請求分配AM失敗達到預設失敗次數，則判定所述任務請求分配AM(ApplicationMaster)失敗並輸出AM的IP位址，供集群維護人員查詢；通過上述實施例，對任務的失敗信息進行監測，從而判斷是否因請求分配AM失敗而失敗，若是，則輸出AM的IP位址，供集群維護人員查詢，從而方便了集群維護人員對失敗原因的判斷和對系統的維護。需要說明的是，上述步驟202～208、步驟209～214、步驟215～219、步驟220～222各自所實現的實施例互相之間可以是並列關係，也可以具有先後關係，具體搭配關係可以根據實際需要進行調整，顯然，這些調整後得到的實施方式，也應當屬於本發明的保護範圍；從上述實施例可以看出，本發明實施例提供的所述任務信息分析方法，通過設置任務守護線程對任務進行監控，並能自動得到並輸出分析結果，使得在任務運行過程中出現問題時，無需技術人員進行人工排查，就能自動得出問題原因，從而大大提高了技術人員的工作效率。此外，在一些可選實施方式中，所述任務信息分析方法，應用於hive任務；所述對提交的任務的運行狀態進行監測的步驟101之後還可進一步包括以下步驟：監測本地運行的hive任務的報錯，例如數據路徑權限錯誤的權限問題、mapjoin(映射聯接)的小表序列化、sql語法格式錯誤等等；與在分布式環境下進行的MapReduce任務監測不同，某些hive任務會在運行hive任務的客戶端進行，比如說mapjoin的第一步操作；獲取報錯hive任務的日誌；通過grep、awk和/或正則等文本分析算法，對所述報錯hive任務的日誌進行文本分析，並得到所述報錯hive任務的hive任務報錯原因信息；將所述hive任務報錯原因信息與預存的hive任務報錯原因分析表進行比對，得到與所述hive任務報錯原因信息相對應的hive任務報錯分析結果並輸出到Hadoop的控制臺；這裡，所述hive任務報錯原因分析表，也可採用哈希表，將一些基本的hive任務報錯類型進行總結，鍵是經常報錯的hive任務報錯原因信息，值是已經定義好的診斷信息，即hive任務報錯分析結果。通過上述實施例，能夠自動得出並輸出本地運行的hive任務報錯分析結果，從而大大提高了技術人員的工作效率。基於上述任務運行過程中的各種錯誤原因，本發明實施例的第四個方面，提出了一種能夠自動分析任務的運行情況且無需手動操作的任務信息分析裝置的第一個實施例。如圖4所示，為本發明提供的任務信息分析裝置的第一個實施例的模塊結構示意圖。所述任務信息分析裝置，包括：監測模塊301，用於對提交的任務的運行狀態進行監測；可選的，可通過啟動任務守護線程的方式來進行監測，所述守護線程則用於對提交的任務進行跟蹤並獲取所述任務的運行狀態；舉例來說，在Hadoop中，每一個hive任務都會被解析成MapReduce任務，每一個MapReduce任務都會有一個唯一的applicationid(應用ID)；在hive啟動過程中，則會啟動所述任務守護線程，當hive每提交一個MapReduce任務時，所述任務守護線程則會對所述MapReduce任務進行跟蹤，從而在yarn中可以監測到所述MapReduce任務的運行狀態；日誌獲取模塊302，用於若監測到所述任務的報錯信息，獲取所述報錯信息對應的報錯任務的日誌；這裡，對於hive任務，可以通過yarn相關的API(ApplicationProgrammingInterface，應用程式編程接口)，監測到任務的報錯信息，以及獲取到報錯任務的日誌；日誌解析模塊303，用於對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；這裡，通過對報錯任務的日誌進行文本分析，能夠得到所述報錯任務的報錯原因信息，所述報錯原因信息中包含了所述報錯任務為什麼會報錯的關鍵信息；所述日誌中遵循一定的格式，經過文本分析之後，可以提取出具體報錯的數據的樣本信息以及詳細的報錯信息，能夠用於幫助分析人員更快的定位錯誤原因；分析比對模塊304，用於將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；所述報錯原因分析表中包括預存的報錯原因信息以及與所述報錯原因信息相對應的報錯分析結果，所述報錯分析結構最終可以輸出到Hadoop的控制臺；可選的，所述報錯原因分析表，是在程序內部維護的一個已知的哈希表，其中，鍵(key)代表經常報錯的報錯原因信息，值(value)代表已經定義好的與所述報錯原因信息相對應的報錯分析結果；然後，根據抓取到的報錯原因信息跟這個哈希表進行比對，從而得出診斷的信息，即報錯分析結果。從上述實施例可以看出，本發明實施例提供的所述任務信息分析裝置，通過設置任務守護線程對任務進行監控並得到報錯任務，對報錯任務的日誌進行文本分析並提取得到報錯原因信息，將所述報錯原因信息與預先設置的報錯原因分析表進行比對，最終得到並輸出報錯分析結果，使得在出現任務報錯時，無需技術人員進行人工排查，就能自動得出報錯任務的錯誤原因(即報錯分析結果)，從而大大提高了技術人員的工作效率。基於上述任務運行過程中的各種錯誤原因，本發明實施例的第五個方面，提出了一種能夠自動分析任務的運行情況且無需手動操作的任務信息分析裝置的第二個實施例。如圖5所示，為本發明提供的任務信息分析裝置的第二個實施例的模塊結構示意圖。所述任務信息分析裝置，包括：監測模塊301，用於對提交的任務的運行狀態進行監測；可選的，可通過啟動任務守護線程的方式來進行監測，所述守護線程則用於對提交的任務進行跟蹤並獲取所述任務的運行狀態；舉例來說，在Hadoop中，每一個hive任務都會被解析成MapReduce任務，每一個MapReduce任務都會有一個唯一的applicationid(應用ID)；在hive啟動過程中，則會啟動所述任務守護線程，當hive每提交一個MapReduce任務時，所述任務守護線程則會對所述MapReduce任務進行跟蹤，從而在yarn中可以監測到所述MapReduce任務的運行狀態；日誌獲取模塊302，用於若監測到所述任務的報錯信息，獲取所述報錯信息對應的報錯任務的日誌；這裡，對於hive任務，可以通過yarn相關的API(ApplicationProgrammingInterface，應用程式編程接口)，監測到任務的報錯信息，以及獲取到報錯任務的日誌；日誌解析模塊303，用於對所述報錯任務的日誌進行文本分析並得到所述報錯任務的報錯原因信息；這裡，通過對報錯任務的日誌進行文本分析，能夠得到所述報錯任務的報錯原因信息，所述報錯原因信息中包含了所述報錯任務為什麼會報錯的關鍵信息；所述日誌中遵循一定的格式，經過文本分析之後，可以提取出具體報錯的數據的樣本信息以及詳細的報錯信息，能夠用於幫助分析人員更快的定位錯誤原因；分析比對模塊304，用於將所述報錯原因信息與預存的報錯原因分析表進行比對，得到與所述報錯原因信息相對應的報錯分析結果；所述報錯原因分析表中包括預存的報錯原因信息以及與所述報錯原因信息相對應的報錯分析結果，所述報錯分析結構最終可以輸出到Hadoop的控制臺；進一步的，在一些可選實施方式中，所述任務信息分析方法，應用於Hadoop，所述日誌解析模塊303，還可以具體用於：在啟用yarn的日誌聚集的情況下，選取出報錯任務；根據MapReduce任務的applicationid和container(容器)獲取詳細的所述報錯任務的日誌信息；容器中封裝了機器資源，如內存，CPU，磁碟，網絡等，每個任務都會被分配一個容器，該任務只能在該容器中執行，並使用該容器封裝的資源；通過HadoopHDFSAPI來讀取所述報錯任務的日誌信息；通過grep、awk和/或正則等文本分析算法，對所述報錯任務的日誌信息中包含的標準化錯誤進行抓取和分析；得到所述報錯任務的報錯原因信息；其中，grep(GloballysearchaRegularExpressionandPrint，全局搜索正則表達式和列印)是一種強大的文本搜索工具，它能使用正則表達式搜索文本，並把匹配的行列印出來；AWK(沃克)是一個優良的文本處理工具，Linux及Unix環境中現有的功能最強大的數據處理引擎之一；正則，在各種程式語言中，正則代表「正則表達式」，從最早的Perl(PracticalExtractionandReportLanguage，實用報表提取語言)到後來的Java、.NET，都提供了這種文本分析的高級工具；正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個「規則字符串」，這個「規則字符串」用來表達對字符串的一種過濾邏輯。通過上述實施例，使得在Hadoop中，能夠通過上述方法完成對所述報錯任務的日誌進行文本分析以及得到所述報錯任務的報錯原因信息。可選的，在一些實施方式中，所述任務信息分析裝置，應用於MapReduce運算，所述任務包括map任務和reduce任務；一個hive任務，會被解析成若干個MapReducejob(工作)來執行，利用yarn相關的API，可以監聽到正在運行的這個MapReducejob對應的任務的具體的情況；比如，這個job啟動了多少個map任務，多少個reduce任務，以及各個任務的狀態(包括啟動、正在運行、報錯、失敗)；MapReduce是一種編程模型，用於大規模數據集(大於1TB)的並行運算；概念"Map(映射)"和"Reduce(化簡)"，是它們的主要思想，都是從函數式程式語言裡借來的，還有從矢量程式語言裡借來的特性；當前的軟體實現是指定一個Map(映射)函數，用來把一組鍵值對映射成一組新的鍵值對，指定並發的Reduce(化簡)函數，用來保證所有映射的鍵值對中的每一個共享相同的鍵組；所述任務信息分析裝置還包括報錯列表創建模塊305，具體用於：創建map隊列和reduce隊列，分別用於存儲map任務報錯列表和reduce任務報錯列表；根據所述任務的運行狀態，將報錯的map任務和報錯的reduce任務分別存儲在所述map任務報錯列表和reduce任務報錯列表中；舉例來說，在Hadoop中，每一個hive任務都會被解析成MapReduce任務，每一個MapReduce任務都會有一個唯一的applicationid(應用ID)；在hive啟動過程中，則會啟動所述任務守護線程，當hive每提交一個MapReduce任務時，所述任務守護線程則會對所述MapReduce任務進行跟蹤，從而在yarn中可以監測到所述MapReduce任務的運行狀態；根據這個監測到的任務運行狀態，能夠知道報錯的任務是map任務還是reduce任務，從而將報錯的map任務和報錯的reduce任務區別開來，因此，通過這種方法，可以將報錯的map任務和報錯的reduce任務進行分別存儲；在所述map任務報錯列表中記錄報錯的map任務的任務ID和執行所述map任務的機器的列表；在所述reduce任務報錯列表中記錄報錯的reduce任務的任務ID和執行所述reduce任務的機器的列表；由於報錯任務的數量較多，因此，所述日誌獲取模塊302，具體用於：採用隨機算法，從所述map任務報錯列表和reduce任務報錯列表中選取出報錯任務進行分析。通過創建map隊列用於存儲map任務報錯列表、報錯的map任務的任務ID和執行所述map任務的機器的列表，創建reduce隊列用於存儲reduce任務報錯列表、報錯的reduce任務的任務ID和執行所述reduce任務的機器的列表，並採用隨機算法選取報錯任務進行分析，從而能夠較為規範的管理報錯任務，並能根據需要從中選取報錯任務進行分析，使得報錯任務處理結果更加準確，技術人員的工作量大大減少，工作效率大大提高。可選的，在另一些實施方式中，所述任務信息分析裝置，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述監測模塊301，還用於通過yarn監測所述reduce任務的處理進度；所述處理進度包括需要抓取文件數、已經抓取文件數和文件抓取速度；可選的，在所述reduce任務開始的時候，首先會從所有的map任務的輸出的數據中拉取與所述map任務對應的reduce任務的數據；通過監測reduce任務的抓取數據的子任務，能夠知道當前reduce任務的處理進度，即，共需要抓取多少個文件，已經抓取到了多少個文件，以及抓取文件的速度；其中，每隔第二預設時間閾值(例如1s)，監測一下文件抓取速度；所述任務信息分析裝置還包括：計時模塊306，用於在與所述reduce任務有關聯的map任務結束後，啟動從零開始的計時；未結束任務判斷模塊307，用於判斷計時時長超過第一預設時間閾值時是否存在未結束文件抓取的reduce任務；這裡，在與所述reduce任務有關聯的map任務結束後，對於超過第一預設時間閾值(例如5分鐘)還沒有結束文件抓取的reduce任務，則說明這些reduce任務遠遠落後於其他reduce任務；抓取速度判斷模塊308，若存在未結束文件抓取的reduce任務(說明這些reduce任務遠遠落後於其他reduce任務)，用於判斷所述文件抓取速度是否低於預設文件抓取速度；網絡狀態判斷模塊309，若所述文件抓取速度低於預設文件抓取速度，用於判定當前網絡狀態不佳，並可發出網絡狀態不佳的提示信息，說明任務進度正在受到網絡狀態不佳的影響；其中所述第一預設時間閾值、第二預設時間閾值、預設文件抓取速度均可以根據實際需要進行設置，在此不進行數值限制。通過上述實施例，能夠自動判斷是否出現了因為網絡狀態不佳而引起的任務進度緩慢的問題，若出現了這種問題，還可以在判定當前網絡狀態不佳後發出網絡狀態不佳的提示信息，用於提醒相關人員及時處理。可選的，在另一些實施方式中，所述任務信息分析裝置，應用於MapReduce運算，所述任務包括map任務和reduce任務；所述監測模塊301，還用於對於聯接的所述reduce任務，監測所述reduce任務的日誌；通過hive提交的任務中，MapReduce任務的日誌都會按照一定的格式進行輸出，之前的步驟中，可以監測所有reduce任務的運行狀態；所述任務信息分析裝置還包括：未完成比例判斷模塊310，用於判斷聯接(join)的所述reduce任務中，未完成的reduce任務佔聯接的全部所述reduce任務的比例是否低於預設未完成比例；持續時間判斷模塊311，若未完成的reduce任務佔聯接的全部所述reduce任務的比例低於預設未完成比例，當reduce任務絕大部分任務已經結束，只剩餘幾個reduce任務還在運行時，說明可能出現了數據傾斜的情況；因此，用於判斷所述未完成的reduce任務的持續時間是否超過第三預設時間閾值(例如，5分鐘)；若這些未完成的reduce任務超過第三預設時間閾值還沒有結束，則說明有極大可能性會出現數據傾斜的情況；數據量判斷模塊312，若所述未完成的reduce任務的持續時間超過第三預設時間閾值，用於判斷所述reduce任務的同一鍵(key)的數據量是否超出預設鍵數據量閾值；這裡，可以通過監測reduce任務輸出的日誌來獲取所述reduce任務的同一鍵(key)的數據量，通常，在reduce任務輸出的日誌中會有類似以下格式輸出：org.apache.hadoop.hive.ql.exec.CommonJoinOperator:table0has8000rowsforjoinkey[c80e779e25d4,2,20]；數據傾斜判斷模塊313，若所述reduce任務的同一鍵的數據量超出預設鍵數據量閾值，用於判定所述reduce任務屬於數據傾斜；警告模塊314，用於發出數據傾斜警告信息；一般情況下，當單個鍵(key)的記錄數超過了3w，基本上就可以判定是發生了數據傾斜，這個時候可以把這些導致數據傾斜的key輸出，使相關人員能夠清楚的明白髮生了數據傾斜，以及是由哪些key導致的數據傾斜。通過上述實施例，能夠自動判斷是否出現了數據傾斜的問題，若出現了這種問題，還可以在出現了數據傾斜後發出數據傾斜警告信息，用於提醒相關人員及時處理。有的時候，若AM所在的機器節點發生故障，將導致分配AM失敗，此時通常需要重新分配AM，若重新分配AM成功，則任務可繼續進行，而通常情況下，如果AM連續分配失敗達到預設失敗次數，則表示任務失敗，此時，根據任務的失敗信息中出現的請求分配AM失敗的失敗信息，即可進行相應的失敗原因的判斷；因此，在一些可選實施方式中，所述任務信息分析裝置，應用於hive任務；所述監測模塊301，還用於監測所述任務的失敗信息；所述任務信息分析裝置還包括：AM請求判斷模塊315，用於根據所述任務的失敗信息，判斷所述任務是否連續請求分配AM(ApplicationMaster)失敗達到預設失敗次數；所述預設失敗次數可根據需要進行設定，為了保證系統的正常運行，通常可設定為2次，當然，根據實際需要，也可以設置為3次或更多次；請求失敗判斷模塊316，若所述任務連續請求分配AM失敗達到預設失敗次數，用於判定所述任務請求分配AM失敗並輸出AM的IP位址，供集群維護人員查詢。通過上述實施例，對任務的失敗信息進行監測，從而判斷是否因請求分配AM失敗而失敗，若是，則輸出AM的IP位址，供集群維護人員查詢，從而方便了集群維護人員對失敗原因的判斷和對系統的維護。此外，在一些可選實施方式中，所述任務信息分析方法，應用於hive任務；所述監測模塊301，還用於監測本地運行的hive任務的報錯，例如數據路徑權限錯誤的權限問題、mapjoin(映射聯接)的小表序列化、sql語法格式錯誤等等；與在分布式環境下進行的MapReduce任務監測不同，某些hive任務會在運行hive任務的客戶端進行，比如說mapjoin的第一步操作；所述日誌獲取模塊302，還用於獲取報錯hive任務的日誌；所述日誌解析模塊303，還用於通過grep、awk和/或正則等文本分析算法，對所述報錯hive任務的日誌進行文本分析，並得到所述報錯hive任務的hive任務報錯原因信息；所述分析比對模塊304，用於將所述hive任務報錯原因信息與預存的hive任務報錯原因分析表進行比對，得到與所述hive任務報錯原因信息相對應的hive任務報錯分析結果並輸出到Hadoop的控制臺；這裡，所述hive任務報錯原因分析表，也可採用哈希表，將一些基本的hive任務報錯類型進行總結，鍵是經常報錯的hive任務報錯原因信息，值是已經定義好的診斷信息，即hive任務報錯分析結果。通過上述實施例，能夠自動得出並輸出本地運行的hive任務報錯分析結果，從而大大提高了技術人員的工作效率。所屬領域的普通技術人員應當理解：以上任何實施例的討論僅為示例性的，並非旨在暗示本公開的範圍(包括權利要求)被限於這些例子；在本發明的思路下，以上實施例或者不同實施例中的技術特徵之間也可以進行組合，步驟可以以任意順序實現，並存在如上所述的本發明的不同方面的許多其它變化，為了簡明它們沒有在細節中提供。另外，為簡化說明和討論，並且為了不會使本發明難以理解，在所提供的附圖中可以示出或可以不示出與集成電路(IC)晶片和其它部件的公知的電源/接地連接。此外，可以以框圖的形式示出裝置，以便避免使本發明難以理解，並且這也考慮了以下事實，即關於這些框圖裝置的實施方式的細節是高度取決於將要實施本發明的平臺的(即，這些細節應當完全處於本領域技術人員的理解範圍內)。在闡述了具體細節(例如，電路)以描述本發明的示例性實施例的情況下，對本領域技術人員來說顯而易見的是，可以在沒有這些具體細節的情況下或者這些具體細節有變化的情況下實施本發明。因此，這些描述應被認為是說明性的而不是限制性的。儘管已經結合了本發明的具體實施例對本發明進行了描述，但是根據前面的描述，這些實施例的很多替換、修改和變型對本領域普通技術人員來說將是顯而易見的。例如，其它存儲器架構(例如，動態RAM(DRAM))可以使用所討論的實施例。本發明的實施例旨在涵蓋落入所附權利要求的寬泛範圍之內的所有這樣的替換、修改和變型。因此，凡在本發明的精神和原則之內，所做的任何省略、修改、等同替換、改進等，均應包含在本發明的保護範圍之內。當前第1頁1&nbsp2&nbsp3&nbsp當前第1頁1&nbsp2&nbsp3&nbsp