一種Hadoop平臺時序數據增量計算方法及系統的製作方法

2023-05-15 14:05:41 1

一種Hadoop平臺時序數據增量計算方法及系統的製作方法
【專利摘要】本發明公開了一種Hadoop平臺時序數據增量計算方法及系統，其中，該方法包括：當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態；根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算；其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；ReduceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護。通過採用本發明公開的方法及系統，通過增量計算可以節省大量不必要的重複計算，從而提高了數據處理的效率。
【專利說明】一種Hadoop平臺時序數據增量計算方法及系統

【技術領域】
[0001]本發明涉及計算機【技術領域】，尤其涉及一種Hadoop平臺時序數據增量計算方法。

【背景技術】
[0002]隨著當今網際網路技術的飛速發展，信息採集技術等的廣泛應用，在電信、氣象、地質、電力、金融等諸多科學工業領域中產生和積累了海量的以時間序列形式存在的各種數據。傳統的時間序列處理方法一般是選擇Matlab等相關數學計算工具進行，但是當處理的問題規模變大時，問題計算時間往往讓人難以忍受的。
[0003]當前，隨著大數據處理逐漸被人們重視，一些公司、研究機構也開始了這方面的研究，相關工作主要集中在Hadoop開源分布式計算平臺上。Hadoop作為一個分布式框架，可以分布式的操作大量數據，在處理海量數據上具有很多優勢，比如具有高容錯性、高擴展性、高可靠性等特點。
[0004]目前，Hadoop平臺並沒有對時間序列數據處理提供很好的支持，並且對時序數據的增量計算相關研究比較少，導致時間序列數據新增時需要重複計算，從而降低數據處理的效率。


【發明內容】

[0005]本發明的目的是提供一種Hadoop平臺時序數據增量計算方法及系統，通過增量計算可以節省大量不必要的重複計算，從而提高了數據處理的效率。
[0006]本發明的目的是通過以下技術方案實現的:
[0007]—種Hadoop平臺時序數據增量計算方法，該方法包括:
[0008]當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態；
[0009]根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算；
[0010]其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；RedUceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護。
[0011]一種Hadoop平臺時序數據增量計算系統，該系統包括:
[0012]時序數據增量處理模塊TSI，用於當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態；根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算；其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；ReduceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護；
[0013]緩存伺服器，用於保存時序數據的歷史計算狀態。
[0014]由上述本發明提供的技術方案可以看出，通過緩存伺服器緩存時序數據的歷史計算狀態，當啟動增量計算時，根據獲取到的歷史計算狀態，直接進行增量數據的計算，再快速的復用歷史計算結果，避免了不必要的重複計算，從而提高了數據處理的效率。

【專利附圖】

【附圖說明】
[0015]為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。
[0016]圖1為本發明實施例一提供的一種Hadoop平臺時序數據增量計算方法的流程圖；
[0017]圖2為本發明實施例一提供的一種時序數據分段機制的示意圖；
[0018]圖3為本發明實施例一提供的一種分段時序數據增量計算方法的示意圖；
[0019]圖4為本發明實施例一提供的一種帶有狀態的固定窗口寬度的滑動窗口增量計算方法的示意圖；
[0020]圖5為本發明實施例一提供的一種帶有狀態的起始點固定的單調遞增窗口的增量計算方法的示意圖；
[0021]圖6為本發明實施例二提供的一種Hadoop平臺時序數據增量計算系統的示意圖；
[0022]圖7為本發明實施例二提供的現有Hadoop平臺與增量計算系統相集成的示意圖。

【具體實施方式】
[0023]下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明的保護範圍。
[0024]實施例一
[0025]圖1為本發明實施例一提供的一種Hadoop平臺時序數據增量計算方法的流程圖。如圖1所示，該方法主要包括如下步驟:
[0026]步驟11、當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態。
[0027]其中，所述時序數據，以某一時間段為單位把連續的時序數據劃分為多個分段，則每一個單位時間段內的時序數據運算為一個子運算；而分段後的時序數據需要滿足么半群性質。
[0028]所述時序數據增量計算任務則表示有新增的分段時序數據。
[0029]步驟12、根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算。
[0030]其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；RedUceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護。
[0031]進一步的，所述分段時序數據增量計算方法包括:
[0032]帶有狀態的固定窗口寬度的滑動窗口增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，所述窗口寬度固定表示包含的時間段個數固定；設窗口的寬度固定為n，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併，並減去第I個時間段的時序數據；
[0033]帶有狀態的起始點固定的單調遞增窗口的增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，其窗口起始時間點固定，窗口的大小隨時間遞增；設窗口的起始點為第I個時間段的時序數據，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併。
[0034]為了便於理解，下面結合附圖2-5對本發明做進一步的介紹。
[0035]如圖2所示，為便跟發明提供的時序數據分段機制的示意圖。如圖2所示，對於時間序列數據，可以以某一時間段為單位把連續的時間序列數據劃分為多個段，這樣每個單位時間段內的時序數據運算是一個子運算。其中，劃分後的子運算需要滿足么半群性質，即可對相應的子運算進行歸併運算。
[0036]如圖3所示，為分段時序數據增量計算流程圖，此過程利用了圖2的分段時序數據機制，該計算方法包括兩個子運算:SubCp子運算和ReduceCP子運算,其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；示例性的，統計以天為單位的分段時序數據中，每一時間段內網站某個頁面訪問流量。ReduceCP為運算合併階段，根據自定義的操作對分段數據的計算結果歸併操作；示例性的，歸併以天為單位的分段時序數據中，最近η天該網站某個頁面總的訪問流量。且上述SubCp子運算和ReduceCP子運算的狀態由緩存伺服器(Cache Server)維護。
[0037]本發明實施例通過增量計算可以節省大量不必要的重複計算，從而提高了數據處理的效率；本發明實施例中結合分段時序數據增量計算方法與分段時序數據的相關特性，提出兩種帶有狀態的滑動窗口增量計算方法:固定寬度窗口，窗口包含的時間段個數固定；單調遞增窗口，窗口起始時間點固定，隨時間推移窗口大小遞增。具體如下:
[0038]圖4所示，為帶有狀態的固定窗口寬度的滑動窗口增量計算，所述的狀態指CacheServer所維護的相關計算狀態。結合圖2、3中分段時序數據的相關特性及增量計算方法，如圖4所示，這裡假設窗口的寬度固定為n，當有第η+1個新增時序數據到達時，根據CacheServer中的歷史計算狀態得知左側的數據(第I至第η個分段數序數據)已經計算過，此時只需計算增量數據(第η+1個新增時序數據)並和部分歷史結果歸併就可以得到所需結果，由於窗口的寬度固定為η在歸併後還需要減去第I個分段數序數據；最終結合新增數序數據和歷史計算結果可以得到和進行全局數據計算一樣的結果，這種方法可以避免大量不必要的重複計算，從而提高了數據處理的效率。
[0039]如圖5所示，為帶有狀態的起始點固定的單調遞增窗口的增量計算，所述狀態指Cache Server所維護的相關計算狀態。結合圖2、3中分段時序數據的相關特性及增量計算方法，如圖5所示，假設窗口的起始點為1，當有第η+1個新增數序數據到達時，根據CacheServer中的歷史計算狀態得知左側的數據(第I至第η個分段數序數據)已經計算過，此時只需計算增量數據(第η+1個新增時序數據)並和部分歷史結果歸併就可以得到所需結果，最終結合新增數據和歷史計算結果可以得到和進行全局數據計算一樣的結果，這種方法可以避免大量不必要的重複計算，從而提高了數據處理的效率。
[0040]另一方面，本發明實施例中的緩存伺服器還可對插入的數據設置定時機制，其在某一時間段後識別和清除無用的舊數據以確保內存資料庫不會不斷膨脹。
[0041]同時，還可以將時序數據計算算法與本發明提供的增量計算方法相結合；其中，時序數據計算算法包括如下常用時間序列計算的算法:時間序列預測算法，包括簡單時序平均數法、移動平均數法、加權移動平均數法等；時間序列相似性度量算法，包括ED，DTff,FastDTff 等。
[0042]本發明實施例所提供的技術方案與現有技術相比，具有以下有益效果:
[0043]I)基於Hadoop平臺，不改變Hadoop底層架構結構,方便編程人員編寫程序；
[0044]2) Hadoop平臺之上支持時序數據的處理；
[0045]3)支持Hadoop平臺的時序數據的增量計算，減少不必要的重複計算，提高增量數據計算效率。
[0046]實施例二
[0047]圖6為本發明實施例二提供的一種Hadoop平臺時序數據增量計算系統的示意圖。如圖6所示,該系統主要包括:
[0048]時序數據增量處理模塊TSI11，用於當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態；根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算；其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；RedUceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護；
[0049]緩存伺服器12，用於保存時序數據的歷史計算狀態。
[0050]進一步的，所述分段時序數據增量計算方法包括:
[0051]帶有狀態的固定窗口寬度的滑動窗口增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，所述窗口寬度固定表示包含的時間段個數固定；設窗口的寬度固定為n，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併，並減去第I個時間段的時序數據；
[0052]帶有狀態的起始點固定的單調遞增窗口的增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，其窗口起始時間點固定，窗口的大小隨時間遞增；設窗口的起始點為第I個時間段的時序數據，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併。
[0053]進一步的，所述時序數據，以某一時間段為單位把連續的時序數據劃分為多個分段，則每一個單位時間段內的時序數據運算為一個子運算；其中，分段後的時序數據滿足么半群性質。
[0054]由於本系統可基於Hadoop平臺實現，為便於理解，可將上述模塊與現有的Hadoop平臺相結合。如圖7所示,基於Hadoop平臺擴展了緩存伺服器Cache Server和時序數據增量處理模塊TSI ;緩存伺服器為緩存資料庫模塊，其緩存了必要的計算狀態結果，相比Hadoop自身提供的緩存服務有著更豐富的數據結構表示功能；TSI模塊主要用於時序數據增量計算。
[0055]需要說明的是，上述系統中包含的各個功能模塊所實現的功能的具體實現方式在前面的各個實施例中已經有詳細描述，故在這裡不再贅述。
[0056]所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，僅以上述各功能模塊的劃分進行舉例說明，實際應用中，可以根據需要而將上述功能分配由不同的功能模塊完成，即將系統的內部結構劃分成不同的功能模塊，以完成以上描述的全部或者部分功倉泛。
[0057]通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例可以通過軟體實現，也可以藉助軟體加必要的通用硬體平臺的方式來實現。基於這樣的理解，上述實施例的技術方案可以以軟體產品的形式體現出來，該軟體產品可以存儲在一個非易失性存儲介質(可以是⑶-ROM，U盤，移動硬碟等)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。
[0058]以上所述，僅為本發明較佳的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明披露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應該以權利要求書的保護範圍為準。
【權利要求】
1.一種Hadoop平臺時序數據增量計算方法，其特徵在於，該方法包括: 當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態； 根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算； 其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；ReduceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護。
2.根據權利要求1所述的方法，其特徵在於，所述分段時序數據增量計算方法包括: 帶有狀態的固定窗口寬度的滑動窗口增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，所述窗口寬度固定表示包含的時間段個數固定；設窗口的寬度固定為n，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併，並減去第I個時間段的時序數據； 帶有狀態的起始點固定的單調遞增窗口的增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，其窗口起始時間點固定，窗口的大小隨時間遞增；設窗口的起始點為第I個時間段的時序數據，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併。
3.根據權利要求1或2所述的方法，其特徵在於，所述時序數據，以某一時間段為單位把連續的時序數據劃分為多個分段，則每一個單位時間段內的時序數據運算為一個子運算；其中，分段後的時序數據滿足么半群性質。
4.一種Hadoop平臺時序數據增量計算系統，其特徵在於，該系統包括: 時序數據增量處理模塊TSI，用於當啟動時序數據增量計算任務時，從緩存伺服器中獲取該時序數據的歷史計算狀態；根據所述歷史計算狀態利用包含SubCp和ReduceCP子運算的分段時序數據增量計算方法進行增量計算；其中，SubCp子運算為分別對分段時序數據進行自定義的子運算並把中間結果保存；ReduceCP子運算為運算合併階段，根據自定義的操作對已分段時序數據的計算結果歸併操作，且所述SubCp和ReduceCP子運算的計算狀態均由緩存伺服器維護； 緩存伺服器，用於保存時序數據的歷史計算狀態。
5.根據權利要求4所述的系統，其特徵在於，所述分段時序數據增量計算方法包括: 帶有狀態的固定窗口寬度的滑動窗口增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，所述窗口寬度固定表示包含的時間段個數固定；設窗口的寬度固定為η，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併，並減去第I個時間段的時序數據； 帶有狀態的起始點固定的單調遞增窗口的增量計算方法:所述狀態表示緩存伺服器所維護的時序數據的歷史計算狀態，其窗口起始時間點固定，窗口的大小隨時間遞增；設窗口的起始點為第I個時間段的時序數據，且第I至η個時間段的時序數據已完成計算並存入所述緩存伺服器中，當有第η+1個新增時序數據到達時，根據緩存伺服器中該時序數據的歷史計算狀態，利用SubCp子運算僅進行第η+1個新增時序數據的計算，再利用ReduceCP子運算進行第η+1個新增時序數據與歷史計算狀態中的結果歸併。
6.根據權利要求4或5所述的系統，其特徵在於，所述時序數據，以某一時間段為單位把連續的時序數據劃分為多個分段，則每一個單位時間段內的時序數據運算為一個子運算；其中，分段後的時序數據滿足么半群性質。
【文檔編號】G06F17/30GK104199942SQ201410456262
【公開日】2014年12月10日 申請日期:2014年9月9日 優先權日:2014年9月9日
【發明者】孫廣中, 王丹 申請人:中國科學技術大學