分布式實時計算系統及其數據處理方法
2023-09-12 03:30:15 1
分布式實時計算系統及其數據處理方法
【專利摘要】本發明提供了一種分布式實時計算系統及其數據處理方法。其中分布式實時計算系統的數據處理方法包括以下步驟：將父節點分配的數據寫入備份文件；將備份文件同步至系統中所有子節點的存儲裝置中；監控子節點對數據的處理進程；當出現子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原。利用本發明的技術方案，在某個子節點出現處理進程崩潰的情況時，及時利用其他子節點對已經同步的備份數據文件進行數據還原，彌補了崩潰中丟失數據的損失，實現了分布式實時計算系統的數據持久化，從而滿足了某些應用環境對數據完整性較高的要求。
【專利說明】分布式實時計算系統及其數據處理方法
【技術領域】
[0001]本發明涉及網際網路，特別是涉及分布式實時計算系統及其數據處理方法。
【背景技術】
[0002]伴隨著信息科技日新月異的發展，信息呈現出爆發式的膨脹，人們獲取信息的途徑也更加多樣、更加便捷，同時對於信息的時效性要求也越來越高。在網頁安全分析、大型網絡購物平臺、搜尋引擎等應用環境下，需要在事件出現後必須儘快地對數據進行處理，最好的方式為數據出現時便立刻對其進行處理，發生一個事件進行一次處理，而不是緩存起來成一批處理。
[0003]這種實時性要求較高的應用，數據以一個或多個連續數據流的形式進行傳輸，傳統的資料庫管理系統的設計並非為了快速連續地存放單獨的數據單元，而且也不支持持續快速處理。因此為了實現實時大數據的分析要求，現有技術中迅速出現多種實時數據流計算系統，例如雅虎公司的S4、推特公司的Storm、IBM公司的StreamBase以及學術界開源的Borealis 等。
[0004]其中，Storm以簡單的編程模型、支持各種程式語言和較好的容錯性能的特點，在多種環境下都有應用。Storm是一種自由的，分布式的、容錯的開源實時計算系統。Storm對數據流做連續查詢，在計算時就將結果以流的形式輸出給用戶，每秒可以處理數以百萬計的消息。
[0005]Storm集群由一個主節點和多個工作節點組成。主節點用於分配代碼、布置任務及故障檢測。各個工作節點用於監聽工作，開始並終止工作進程。在進行數據處理過程中，如果工作節點出現故障，可以實現快速重啟恢復，從而容錯性能較高。
[0006]在某些應用環境下，使用storm技術，在工作節點出現故障丟失的數據可以忽略不計，並不影響整個數據流的分析過程，然而在另一些應用環境下，如網站安全分析系統中，需要對形成分析報表，丟失的數據可能導致報表的準確性和連續性。針對storm系統工作節點快速恢復過程中丟失數據的問題，現有技術中尚沒有提出有效的解決方案。
【發明內容】
[0007]鑑於上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的分布式實時計算系統和相應的分布式實時計算系統的數據處理方法。本發明一個進一步的目的是要解決使用分布式實時計算系統進行數據處理時，部分數據丟失的問題。
[0008]依據本發明的一個方面，提供了分布式實時計算系統的數據處理方法。該分布式實時計算系統的數據處理方法，包括:將父節點分配的數據寫入備份文件；將備份文件同步至系統中所有子節點的存儲裝置中；監控子節點對數據的處理進程；當出現子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原。
[0009]可選地，在將父節點分配的數據寫入備份文件之前還包括:由父節點將外部數據源的數據導入分布式實時計算系統，並將導入的數據進行拆分後分配子節點。
[0010]可選地，分布式實時計算系統為網站請求實時分析系統，外部數據源的數據為向網站伺服器發送的訪問請求。
[0011]可選地，將父節點分配的數據寫入備份文件包括:接收由父節點分配的數據，並存入緩存區；將存入緩存區的數據寫入預設的存儲模型，形成備份文件。
[0012]可選地，將備份文件同步至系統中所有子節點的存儲裝置中包括:利用布置在各個子節點的客戶端監控備份文件的變化；將變化的數據同步到所有子節點的存儲裝置中。
[0013]可選地，在利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原之後還包括:使用處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。
[0014]根據本發明的另一個方面，還提供了一種分布式實時計算系統。該分布式實時計算系統，包括一個父節點和和多個子節點，其中，父節點用於將數據分配給多個子節點；每個子節點用於將父節點分配的數據寫入備份文件，並執行預設的處理進程對分配的數據進行處理；所述分布式實時計算系統還包括:同步裝置，用於將每個子節點備份文件同步至系統中所有子節點的存儲裝置中；監控裝置，用於監控子節點對數據的處理進程；數據還原裝置，用於當出現子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原。
[0015]可選地，父節點還用於:將外部數據源的數據導入分布式實時計算系統，並將導入的數據進行拆分後，以分配子節點。
[0016]可選地，分布式實時計算系統用於對向網站伺服器發送的訪問請求進行分析。
[0017]可選地，子節點被配置為:接收由父節點分配的數據，並存入緩存區；將存入緩存區的數據寫入預設的存儲模型，形成備份文件。
[0018]可選地，同步裝置被配置為:利用布置在各個子節點的客戶端監控備份文件的變化；將變化的數據同步到所有子節點的存儲裝置中。
[0019]可選地，子節點還用於:在利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原之後，使用處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。
[0020]本發明的分布式實時計算系統及其數據處理方法在分布式實時計算系統中某個子節點出現處理進程崩潰的情況時，及時利用其他子節點對已經同步的備份數據文件進行數據還原，彌補了崩潰中丟失數據的損失，實現了分布式實時計算系統的數據持久化，從而滿足了某些應用環境對數據完整性較高的要求。
[0021]進一步地，本發明的分布式實時計算系統及其數據處理方法應用於對網站請求實時分析中，在保證數據實時性的前提下，避免了數據丟失引起的報表異常，提高了報表的準確性和客觀性，滿足了用戶需求。
[0022]上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其它目的、特徵和優點能夠更明顯易懂，以下特舉本發明的【具體實施方式】。
[0023]根據下文結合附圖對本發明具體實施例的詳細描述，本領域技術人員將會更加明了本發明的上述以及其他目的、優點和特徵。【專利附圖】
【附圖說明】
[0024]通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對於本領域普通技術人員將變得清楚明了。附圖僅用於示出優選實施方式的目的，而並不認為是對本發明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0025]圖1是根據現有技術中的分布式實時計算系統100的網絡拓撲圖；
[0026]圖2是根據本發明一個實施例的分布式實時計算系統200的示意圖；
[0027]圖3是根據本發明一個實施例的分布式實時計算系統的數據處理方法的示意圖；以及
[0028]圖4是根據本發明一個實施例的分布式實時計算系統作為網站請求實時分析系統的系統架構圖。
【具體實施方式】
[0029]在此提供的算法和顯示不與任何特定計算機、虛擬系統或者其它設備固有相關。各種通用系統也可以與基於在此的示教一起使用。根據上面的描述，構造這類系統所要求的結構是顯而易見的。此外，本發明也不針對任何特定程式語言。應當明白，可以利用各種程式語言實現在此描述的本發明的內容，並且上面對特定語言所做的描述是為了披露本發明的最佳實施方式。
[0030]本發明實施例中提供了一種分布式實時計算系統和相應的分布式實時計算系統的數據處理方法，該分布是實時計算系統優選為Storm系統。
[0031]Storm是一種自由的，分布式的、容錯的開源實時計算系統。圖1是根據現有技術中的分布式實時計算系統10 0的網絡拓撲圖，Storm系統把數據處理抽象成由一個個邏輯單元組成的拓撲結構，每個邏輯單元由運算和輸入輸出組成，按照Storm的術語，其中父節點(spout)llO是應用中產生源數據流的組件。通常情況下spoutllO會從外部數據源中讀取數據，然後轉換為Storm內部的數據流。Spout運行了一個名為「Nimbus」的進程，用於為各子節點(bolt) 121、122、123……分配代碼、布置任務，以拆分數據並分配給bolt進行處理。
[0032]Bolt在一個系統中為接受數據然後執行處理的組件。Bolt可以執行過濾、函數操作、合併、寫資料庫等任何操作。用戶可以在其中執行自己需要的操作。
[0033]Storm將大量的數據及時地分配給多個子節點進行處理,根據storm系統特性，當任一個bolt出現進程崩潰的情況時，可以進行迅速重啟，相對於巨大的數量而言，丟失的數據可以忽略不計，但是在某些特殊的應用環境下，這部分丟失的數據的影響可能會比較大。例如在Strom平臺作為網絡安全系統的數據分析系統，如果出現短時的數據丟失，有可能會造成對某個網站的請求分析統計報表在某個時點突然出現下降的問題，這會影響網站用戶的使用。
[0034]這對以上問題，本實施例的分布式實時計算系統對各個子節點的數據進行了持久化處理，將子節點的數據模型轉換為存儲模型，並進行數據同步，在出現節點崩潰的情況下，可以及時利用其他子節點將數據進行恢復並繼續進行處理。
[0035]圖2是根據本發明一個實施例的分布式實時計算系統200的示意圖，該分布式實時計算系統200 —般性地可以包括以下部件:一個父節點210，多個子節點221、222、223……，同步裝置230，數據還原裝置240，數據還原裝置250。
[0036]在以上部件中父節點210用於將數據分配給多個子節點221、222、223……；每個子節點用於將父節點分配給各自的數據寫入各自的備份文件，並執行預設的處理進程對分配的數據進行處理。
[0037]另外，同步裝置230用於將每個子節點221、222、223……的備份文件同步至系統中所有子節點的存儲裝置中；監控裝置240用於監控子節點221、222、223……對數據的處理進程；數據還原裝置250用於當出現子節點21、222、223……中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原。
[0038]例如，在以上子節點221、222、223……中進行數據處理過程中，監控裝置240檢測到子節點222的處理進程出現了崩潰，此時，數據還原裝置可以利用子節點221或者子節點223將同步裝置230同步的備份文件進行數據還原，將在崩潰期間在子節點222中處理數據進行恢復，並繼續處理。保證了數據的完整性。
[0039]父節點210還可以將外部數據源的數據導入分布式實時計算系統200，並將導入的數據進行拆分後，以分配子節點221、222、223……。例如，當前處理的數據為網站訪問日誌數據，父節點210可以將訪問日誌按照子節點的數量和工作狀態進行拆分，快速及時地分配給子節點進行處理，子節點按照預設的分析算法，對網站的請求進行處理，得到需要的分析結果，用於對網站的請求量、安全性、請求類型等進行統計和分析，並生成相應的報表，供網站使用者使用。本實施例的分布式實時計算系統200優先使用於對向網站伺服器發送的訪問請求進行分析。
[0040]子節點進行數據持久化的一種配置方式為:接收由父節點210分配的數據，並存入緩存區；將存入緩存區的數據`寫入預設的存儲模型，形成備份文件。同步裝置230利用布置在各個子節點的客戶端監控備份文件的變化；將變化的數據同步到所有子節點的存儲裝置中。
[0041]在利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原之後，進行數據還原的子節點使用處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。
[0042]藉助於Storm框架的強大實時處理能力，本實施例的分布式實時計算系統對日誌的分析可以迅速產生實時報表，並保證了數據的完整性。
[0043]本發明實施例還提供了一種以上分布式實時計算系統200的數據處理方法，該數據處理方法由以上實施例中介紹的分布式實時計算系統200執行，以解決針對storm系統工作節點快速恢復過程中丟失數據的問題。圖3是根據本發明一個實施例的分布式實時計算系統的數據處理方法的示意圖，該分布式實時計算系統的數據處理方法包括以下步驟:
[0044]步驟S302，將父節點分配的數據寫入備份文件；
[0045]步驟S304，將備份文件同步至系統中所有子節點的存儲裝置中；
[0046]步驟S306，監控子節點對數據的處理進程；
[0047]步驟S308，判斷是否出現子節點中的任意一個出現處理進程崩潰；
[0048]步驟S310，當出現子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將存儲裝置中保存的備份文件進行數據還原。
[0049]其中，在步驟S302之前，由父節點將外部數據源的數據導入分布式實時計算系統，並將導入的數據進行拆分後分配子節點。在本實施例的數據處理方法用於對網絡請求分析時，父節點將接收到的向不同目標主機發送的訪問請求拆分為Storm平臺內部的數據流格式，分配給各個子節點，由各個子節點按照目標主機、URL、請求源ip對訪問請求進行分類和分析，將分析結果存儲對應資料庫中。
[0050]步驟S302的存儲過程可以採用一種數據持久化的操作，具體包括:接收由父節點分配的數據，並存入緩存區；將存入緩存區的數據寫入預設的存儲模型，形成備份文件。備份文件使用的存儲模型可以是關係模型、XML、二進位流等。
[0051]步驟S304進行了數據同步，具體可以包括:利用布置在各個子節點的客戶端監控備份文件的變化；將變化的數據同步到所有子節點的存儲裝置中。文件同步機制可以通過一個可共享的分層數據註冊命名空間來協調分布部署的各個進程。以上命名空間非常像一個標準文件系統。每個名稱都是用「/」分隔的一系列路徑。每個空間都被用一個路徑標示，每個路徑都以「/」也就是根路徑開始。數據讀請求由它所連接的那個子節點處理。假如讀請求在某個空間註冊了一個監視事件，這個監視也由這個子節點來負責。寫請求會被發給多個子節點，在所有子節點都完成之後才會返迴響應，從而保證子節點的一致性。
[0052]步驟S306可以利用Iinux的內核監控文件系統，並且及時向專門的應用程式發出相關的事件警告。一種實現方式為:首先創建一個文件描述符，附加一個或多個監視器，然後使用讀方法從描述符獲取事件。
[0053]在步驟S308確定出子節點的的任意一個出現處理進程崩潰的情況時，數據同步機制可以有一個子節點讀取已經同步的備份文件，實現數據還原。然後使用該子節點的處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。彌補了進程崩潰的子節點在崩潰過程中丟失的數據
[0054]本實施例的分布式實時計算系統及其數據處理方法可以優選作為網站請求實時分析系統，圖4是根據本發明一個實施例的分布式實時計算系統作為網站請求實時分析系統的系統架構圖。
[0055]按照圖4示出的架構，父節點完成在線流量實時採集的步驟，首先導入網站請求數量，實時進行數據拆分，分配給各個子節點進行分布式數據處理，子節點將各個子節點按照請求源，請求目標主站進行分類，並將分析結果存儲應用資料庫中。
[0056]子節點在接收來自於父節點的分配數據寫入緩存的過程中，將緩存的數據寫入備份文件，並進行數據同步處理，將備份文件備份到所有子節點對應的存儲裝置中。其中，子節點I對應備份文件1，子節點2對應備份文件2，所有備份文件中的數據是同步的。
[0057]若在處理過程中，出現某一子節點的處理進程崩潰，例如子節點I出現崩潰，如果不使用本實施例的分布式實時計算系統和數據處理方法，有可能丟失掉某一主機在某一時段的請求數據，後續利用資料庫中的處理結果生成報表或曲線時，會導致某一時刻的數據異常。如果利用本實施例的分布式實時計算系統，系統可以由子節點2從備份文件中讀取子節點I正在處理的數據，並進行處理，從而彌補了丟失的數據，保證了報表數據的完整性以及曲線的平滑。
[0058]本實施例的分布式實時計算系統及其數據處理方法在某個子節點出現處理進程崩潰的情況時，及時利用其他子節點對已經同步的備份數據文件進行數據還原，彌補了崩潰中丟失數據的損失，實現了分布式實時計算系統的數據持久化，從而滿足了某些應用環境對數據完整性較高的要求。
[0059]進一步地，本發明的分布式實時計算系統及其數據處理方法應用於對網站請求實時分析中，在保證數據實時性的前提下，避免了數據丟失引起的報表異常，提高了報表的準確性和客觀性，滿足了用戶需求。
[0060]本發明的實施例公開了:
[0061]Al.一種分布式實時計算系統的數據處理方法，包括:
[0062]將父節點分配的數據寫入備份文件；
[0063]將所述備份文件同步至系統中所有子節點的存儲裝置中；
[0064]監控所述子節點對所述數據的處理進程；
[0065]當出現所述子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原。
[0066]A2.根據Al所述的方法，其中，在將父節點分配的數據寫入備份文件之前還包括:
[0067]由所述父節點將外部數據源的數據導入所述分布式實時計算系統，並將導入的數據進行拆分後分配所述子節點。
[0068]A3.根據A2所述的方法，其中，所述分布式實時計算系統為網站請求實時分析系統，所述外部數據源的數據為向網站伺服器發送的訪問請求。
[0069]A4.根據Al至A3中任一項所述的方法，其中，將父節點分配的數據寫入備份文件包括:
[0070]接收由所述父節點分配的數據，並存入緩存區；
[0071]將存入緩存區的所述數據寫入預設的存儲模型，形成所述備份文件。
[0072]A5.根據Al至A4中任一項所述的方法，其中，將所述備份文件同步至系統中所有子節點的存儲裝置中包括:
[0073]利用布置在各個所述子節點的客戶端監控備份文件的變化；
[0074]將變化的數據同步到所述所有子節點的存儲裝置中。
[0075]A6.根據Al至A5中任一項所述的方法，其中，在利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原之後還包括:
[0076]使用所述處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。
[0077]B7.一種分布式實時計算系統，包括一個父節點和和多個子節點，其中，
[0078]所述父節點，用於將數據分配給多個子節點；
[0079]每個所述子節點用於將父節點分配的數據寫入備份文件，並執行預設的處理進程對所述分配的數據進行處理；
[0080]所述分布式實時計算系統還包括:
[0081]同步裝置，用於將每個所述子節點備份文件同步至系統中所有所述子節點的存儲裝置中；
[0082]監控裝置，用於監控所述子節點對所述數據的處理進程；
[0083]數據還原裝置，用於當出現所述子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原。
[0084]B8.根據B7所述的系統，其中，所述父節點還用於:
[0085]將外部數據源的數據導入所述分布式實時計算系統，並將導入的數據進行拆分後，以分配所述子節點。
[0086]B9.根據B7所述的系統，其中，所述分布式實時計算系統用於對向網站伺服器發送的訪問請求進行分析。
[0087]B10.根據B7至B9中任一項所述的系統，其中，所述子節點被配置為:接收由所述父節點分配的數據，並存入緩存區；將存入緩存區的所述數據寫入預設的存儲模型，形成所述備份文件。
[0088]Bll.根據B7至BlO中任一項所述的系統，其中，所述同步裝置被配置為:
[0089]利用布置在各個所述子節點的客戶端監控備份文件的變化；將變化的數據同步到所述所有子節點的存儲裝置中。
[0090]B12.根據B7至Bll中任一項所述的系統，其中，所述子節點還用於:
[0091]在利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原之後，使用所述處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。
[0092]在此處所提供的說明書中，說明了大量具體細節。然而，能夠理解，本發明的實施例可以在沒有這些具體細節的情況下實踐。在一些實例中，並未詳細示出公知的方法、結構和技術，以便不模糊對本說明書的理解。
[0093]類似地，應當理解，為了精簡本公開並幫助理解各個發明方面中的一個或多個，在上面對本發明的示例性實施例的描述中，本發明的各個特徵有時被一起分組到單個實施例、圖、或者對其的描述中。然而，並不應將該公開的方法解釋成反映如下意圖:即所要求保護的本發明要求比在每個權利要求中所明確記載的特徵更多的特徵。更確切地說，如下面的權利要求書所反映的那樣，發明方面在於少於前面公開的單個實施例的所有特徵。因此，遵循【具體實施方式】的權利要求書由此明確地併入該【具體實施方式】，其中每個權利要求本身都作為本發明的單獨實施例。
[0094]本領域那些技術人員可以理解，可以對實施例中的設備中的模塊進行自適應性地改變並且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單元或組件組合成一個模塊或單元或組件，以及此外可以把它們分成多個子模塊或子單元或子組件。除了這樣的特徵和/或過程或者單元中的至少一些是相互排斥之外，可以採用任何組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特徵以及如此公開的任何方法或者設備的所有過程或單元進行組合。除非另外明確陳述，本說明書(包括伴隨的權利要求、摘要和附圖)中公開的每個特徵可以由提供相同、等同或相似目的的替代特徵來代替。
[0095]此外，本領域的技術人員能夠理解，儘管在此所述的一些實施例包括其它實施例中所包括的某些特徵而不是其它特徵，但是不同實施例的特徵的組合意味著處於本發明的範圍之內並且形成不同的實施例。例如，在權利要求書中，所要求保護的實施例的任意之一都可以以任意的組合方式來使用。
[0096]本發明的各個部件實施例可以以硬體實現，或者以在一個或者多個處理器上運行的軟體模塊實現，或者以它們的組合實現。本領域的技術人員應當理解，可以在實踐中使用微處理器或者數位訊號處理器(DSP)來實現根據本發明實施例的分布式實時計算系統中的一些或者全部部件的一些或者全部功能。本發明還可以實現為用於執行這裡所描述的方法的一部分或者全部的設備或者裝置程序(例如，電腦程式和電腦程式產品)。這樣的實現本發明的程序可以存儲在計算機可讀介質上，或者可以具有一個或者多個信號的形式。這樣的信號可以從網際網路網站上下載得到，或者在載體信號上提供，或者以任何其他形式提供。
[0097]應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制，並且本領域技術人員在不脫離所附權利要求的範圍的情況下可設計出替換實施例。在權利要求中，不應將位於括號之間的任何參考符號構造成對權利要求的限制。單詞「包含」不排除存在未列在權利要求中的元件或步驟。位於元件之前的單詞「一」或「一個」不排除存在多個這樣的元件。本發明可以藉助於包括有若干不同元件的硬體以及藉助於適當編程的計算機來實現。在列舉了若干裝置的單元權利要求中，這些裝置中的若干個可以是通過同一個硬體項來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名稱。
[0098]至此，本領域技術人員應認識到，雖然本文已詳盡示出和描述了本發明的多個示例性實施例，但是，在不脫離本發明精神和範圍的情況下，仍可根據本發明公開的內容直接確定或推導出符合本發明原理的許多其他變型或修改。因此，本發明的範圍應被理解和認定為覆蓋了所有這些其他變型或修改。
【權利要求】
1.一種分布式實時計算系統的數據處理方法，包括: 將父節點分配的數據寫入備份文件； 將所述備份文件同步至系統中所有子節點的存儲裝置中； 監控所述子節點對所述數據的處理進程； 當出現所述子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原。
2.根據權利要求1所述的方法，其中，在將父節點分配的數據寫入備份文件之前還包括: 由所述父節點將外部數據源的數據導入所述分布式實時計算系統，並將導入的數據進行拆分後分配所述子節點。
3.根據權利要求2所述的方法，其中，所述分布式實時計算系統為網站請求實時分析系統，所述外部數據源的數據為向網站伺服器發送的訪問請求。
4.根據權利要求1至3中任一項所述的方法，其中，將父節點分配的數據寫入備份文件包括: 接收由所述父節點分配的`數據，並存入緩存區； 將存入緩存區的所述數據寫入預設的存儲模型，形成所述備份文件。
5.根據權利要求1至4中任一項所述的方法，其中，將所述備份文件同步至系統中所有子節點的存儲裝置中包括: 利用布置在各個所述子節點的客戶端監控備份文件的變化； 將變化的數據同步到所述所有子節點的存儲裝置中。
6.根據權利要求1至5中任一項所述的方法，其中，在利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原之後還包括: 使用所述處理進程對還原後的數據進行處理，將處理結果保存到資料庫中。
7.一種分布式實時計算系統，包括一個父節點和和多個子節點，其中， 所述父節點，用於將數據分配給多個子節點； 每個所述子節點用於將父節點分配的數據寫入備份文件，並執行預設的處理進程對所述分配的數據進行處理； 所述分布式實時計算系統還包括: 同步裝置，用於將每個所述子節點備份文件同步至系統中所有所述子節點的存儲裝置中； 監控裝置，用於監控所述子節點對所述數據的處理進程； 數據還原裝置，用於當出現所述子節點中的任意一個出現處理進程崩潰的情況，利用除處理進程崩潰的子節點之外的子節點將所述存儲裝置中保存的備份文件進行數據還原。
8.根據權利要求7所述的系統，其中，所述父節點還用於: 將外部數據源的數據導入所述分布式實時計算系統，並將導入的數據進行拆分後，以分配所述子節點。
9.根據權利要求7所述的系統，其中，所述分布式實時計算系統用於對向網站伺服器發送的訪問請求進行分析。
10.根據權利要求7至9中任一項所述的系統，其中，所述子節點被配置為:接收由所述父節點分配的數據， 並存入緩存區；將存入緩存區的所述數據寫入預設的存儲模型，形成所述備份文件。
【文檔編號】H04L29/08GK103701906SQ201310741313
【公開日】2014年4月2日 申請日期:2013年12月27日 優先權日:2013年12月27日
【發明者】董方 申請人:北京奇虎科技有限公司, 奇智軟體（北京）有限公司