一種數據批量處理的方法和裝置製造方法
2023-04-27 02:54:51
一種數據批量處理的方法和裝置製造方法
【專利摘要】本申請涉及一種數據批量處理的方法和裝置，包括：接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。本申請提出了一種標準化的數據批量處理的系統結構，包含一套數據批量處理的標準化語義，只需通過配置不同參數和調用數據匯總插件，就可以實現各種業務類型的數據批量處理，其提高了數據批量處理的效率。
【專利說明】一種數據批量處理的方法和裝置
【技術領域】
[0001]本申請涉及計算機數據處理領域，尤其涉及一種數據批量處理的方法和裝置。
【背景技術】
[0002]在計算機領域中，為了處理大批量的數據，產生了數據批量處理任務，S卩，在計算機上預先設置程序或者命令，執行系列程序的作業。利用數據批量處理，能夠很好的利用計算機資源，減少了計算開銷，並且不需要時刻有人工監事和幹預，從而降低了人工開銷。依靠上述優點，數據批量處理在計算機領域中得到了廣泛的應用。
[0003]在現有技術中，常用的數據批量處理，基本上是針對某一業務特性或者某一處理特性通過系統編碼進行系統設計和研發，並逐個實現批量處理。如需要實現不同帳戶之間的數據轉移匯總，則對一批轉出帳戶相同、轉入帳戶相同、業務相同的數據進行一次帳戶數據批量轉移；又如需要對用戶繳費數據進行批量匯總，則要對轉出帳戶相同、業務相同的數據進行一次用戶繳費數據批量匯總；再如帳戶數據批量轉移處理需要在指定時間執行，則通常需要啟動一個定時任務，在指定時間觸發這個操作，執行帳戶數據批量轉移。
[0004]在實際的數據批量處理中，隨著業務類型和需求不斷擴大，需求場景多變，匯總數據類型多變，匯總類型更加多樣化，而且匯總執行的時間點多變且不盡相同，使用上述處理方式來支撐多種業務、多種方式匯總，導致系統越來越龐大，維護難度越來越大。
[0005]所以需要提供一套標準化的數據批量處理系統結構，使不同業務類型、不同處理時間的數據通過該系統結構快捷的進行數據批量處理，節約計算機資源和人工成本。
【發明內容】
[0006]鑑於上述問題，本申請的主要目的在於提供一種數量批量處理的方法和裝置，以解決現有數據批量處理技術，在支撐多業務、多方式批量處理時導致系統難管理、難維護的問題。
[0007]為了解決上述技術問題，本申請的目的是通過以下技術方案實現的:
[0008]本申請公開了一種數據批量處理的方法，包括以下步驟:接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。
[0009]優選的，在根據本申請所述的方法中，所述在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻還包括:基於所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件；以及設置所述匯總維度並設置所述可執行時刻。
[0010]優選的，在根據本申請所述的方法中，所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及所述解析每一個所述數據匯總模板中的配置文件包括:解析所述匯總維度的描述方式和所述可執行時刻的描述方式。
[0011]優選的，在根據本申請所述的方法中，所述當多個所述匯總維度相同時批量處理多個用戶請求數據還包括:在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，並批量處理多個用戶請求數據。
[0012]優選的，在根據本申請所述的方法中，所述組裝成一個或多個匯總批次還包括:基於預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次；其中，如果用戶請求數據的數量大於所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，並對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及如果用戶請求數據的數量小於或者等於處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。
[0013]優選的，在根據本申請所述的方法中，所述批量處理多個用戶請求數據還包括:在可執行時刻，調用資料庫中的數據操作項，並依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。
[0014]優選的，根據本申請所述的方法還可以包括:在所述數據操作項中，至少包括如下操作項信息:所述匯總維度、所述可執行時刻、所述匯總批次序號。
[0015]優選的，在根據本申請所述的方法中，所述批量處理多個用戶請求數據還包括同步地調用數據匯總插件。
[0016]本申請還公開了一種數據批量處理的裝置，包括:接收與選擇模塊，用於接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；配置模塊，用於在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及執行模塊，用於當多個匯總維度相同時，批量處理所述多個用戶請求數據。
[0017]優選的，根據所述的裝置所述配置模塊，還可以包括:解析模塊，用於基於所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件；以及設置模塊，設置所述匯總維度並設置所述可執行時刻。
[0018]優選的，在所述的裝置中，所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及所述解析模塊包括:解析所述匯總維度的描述方式和所述可執行時刻的描述方式。
[0019]優選的，在所述的裝置中，所述執行模塊還被配置成:在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據，依照所述可執行時刻組裝成一個或多個匯總批次，並批量處理多個用戶請求數據。
[0020]優選的，在所述的裝置中，所述執行模塊還被配置成:基於預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次；其中，如果用戶請求數據的數量大於所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，並對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及如果用戶請求數據的數量小於或者等於處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。
[0021]優選的，在所述的裝置中，所述執行模塊還可以包括:在可執行時刻，調用資料庫中的數據操作項，並依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。
[0022]優選的，在所述的裝置中，還可以包括:在所述數據操作項中，至少包括如下操作項信息:所述匯總維度、所述可執行時刻、所述匯總批次序號。
[0023]優選的，在所述的裝置中，所述執行模塊還被配置成同步地調用數據匯總插件。[0024]與現有技術相比，本申請的數據批量處理方法和裝置有如下優點:提出了一種標準化的數據批量處理的系統結構，包含一套數據批量處理的標準化語義，只需通過配置不同參數和調用數據匯總插件，就可以實現各種業務類型的數據批量處理，其提高了數據批量處理的效率；並且所述數據批量處理系統結構中的請求數據、數據匯總模塊、數據匯總插件、匯總維度、可執行時刻、匯總類型均可進行橫向擴展，即數據批量處理系統結構具有可配置性，節省了計算機資源和維護成本。
【專利附圖】
【附圖說明】
[0025]此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用於解釋本申請，並不構成對本申請的不當限定。在附圖中:
[0026]圖1是本申請實施例的數據批量處理的方法的流程圖；
[0027]圖2是本申請實施例的數據批量處理的帳戶數據轉移的配置文件的示意圖；以及
[0028]圖3是本申請實施例的數據批量處理的裝置的模塊圖。
【具體實施方式】
[0029]本申請的主要思想在於，接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板；在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。
[0030]在上述思想中，不同業務類型的需要匯總的用戶請求數據的數據模型存在相同之處也同時存在不同之處，相同之處可以稱作數據匯總模板，不同之處可以稱作數據匯總插件。
[0031]匯總維度:匯總一般按照一定條件進行，這些匯總需要的條件組合為一個欄位，抽象成為匯總維度。
[0032]可執行時刻:可以執行請求處理的時間，即可進行匯總處理的時間。
[0033]在數據匯總模板中包含配置文件，所述配置文件中的參數包括匯總維度的描述方式和可執行時刻的描述方式。匯總維度的描述方式用來描述匯總所需要的條件的組合，可執行時刻的描述方式用來描述可以進行匯總處理的具體時刻。當多個用戶請求數據的匯總維度相同時，可以進行數據批量處理，數據批量處理的時間通過可執行時刻進行設置。
[0034]另外，所述匯總維度中包含匯總類型，匯總類型規定了數據批量處理的處理方式，如，不匯總、批次匯總、分批匯總等等。
[0035]數據操作項:是數據操作共有特徵的抽象，其包含了匯總維度、可執行時刻、匯總批次序號以及狀態等數據。每個具體數據會對應有一個數據操作項。數據操作如:轉移、提取等。
[0036]基於用戶請求數據，解析配置文件，設置匯總維度和設置可執行時刻。根據用戶請求數據和配置文件，產生數據操作項。通常，一個配置文件與多個(N個)數據，可以產生多個(N個)數據操作項。
[0037]為使本申請的目的、技術方案和優點更加清楚，以下結合附圖及具體實施例，對本申請作進一步地詳細說明。
[0038]根據本申請的實施例，提供了 一種數據批量處理的方法。[0039]圖1所示為本申請實施例的數據批量處理的方法的流程圖，該方法可以包括以下步驟。
[0040]在步驟101處，接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板。
[0041]在本實施例中，所述接收多個用戶請求數據可以包括多種業務類型，如:數據轉移，數據運算、數據提取或數據插入等等。根據所述多個用戶請求數據的業務類型可以查詢到與之匹配的一個或多個數據匯總模板。
[0042]換言之，使用多種數據匯總模板可以組成一個標準化的數據批量處理模型，供不同業務類型的用戶請求數據調用，將數據批量處理模板作為中間介質，實現數據的批量處理。
[0043]在步驟102處，在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻。
[0044]在每一個數據處理模板中均包含配置文件，並且在所述配置文件中又包含了匯總維度的描述方式和可執行時刻的描述方式。
[0045]進一步的，以接收一個用戶請求數據為例說明步驟102，在接收用戶請求數據後，基於所述用戶請求數據，解析與之匹配的數據處理模板中的配置文件:將所述配置文件中的描述語言(如:配置文件中的匯總維度的描述方式和可執行時刻的描述方式)，根據業務參數或環境變化(如用戶請求數據導致的參數或環境的變化)，轉化為能夠被計算機識別的語言。由於解析所述配置文件時對配置文件中的匯總維度的描述方式和可執行時刻的描述方式進行解析，從而確定了兩種參數描述方式的語義。
[0046]所述匯總維度的描述方式和可執行時刻的描述方式是指用程式語言定義這兩個參數的定義、內容、執行方式等等。
[0047]基於上述解析過程，設置所述匯總維度和設置所述可執行時刻，解析和設置過程可參見圖2的所示具體實施例，在這一過程中可以得到已設置的匯總維度和可執行時刻。由此，可通過配置文件和用戶請求數據生成相應的數據操作項。
[0048]在實際應用中會接收多個用戶請求數據，每一個用戶請求數據都要執行上述步驟。
[0049]在步驟103處，當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。
[0050]在本實施例中，在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，並批量處理多個用戶請求數據。由於系統性能問題，需要在構建數據批量處理模型時，預先對系統進行處理閾值設置，保證數據批量處理在系統性能最優的情況下進行。在可執行時刻，基於預設的處理閾值判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次:如果用戶請求數據的數量大於所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，並對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及如果用戶請求數據的數量小於或者等於處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。
[0051]需要進行批量處理所述多個用戶請求數據還需要在可執行時刻，調用資料庫中的數據操作項，並依照所述數據操作項中的操作項信息處理所述多個用戶請求數據，所述數據操作項包括操作項信息，如:所述匯總維度、所述可執行時刻、所述匯總批次序號等等。所以需要將設置完成的匯總維度和可執行時刻保存至資料庫，且將匯總批次序號保存至資料庫中，並全都作為操作項信息記錄於數據操作項中。另外，所述多個用戶請求數據也需要保存至資料庫中，用於在可執行時刻，調用所述數據操作項對多個用戶請求數據執行批量處理。
[0052]需要說明的是，一個數據操作項對應一種業務類型，並且一個數據操作項對應一條批次記錄，所述批次記錄中包含批次記錄序號、業務類型、匯總批次的數量等等。在將所述用戶請求數據分成多個匯總批次進行處理時，需要對所述多個匯總批次進行編碼，得到匯總批次序號，將所述匯總批次序號記錄在數據操作項中，匯總批次的數量記錄在所述批次記錄中，以此實現多個匯總批次之間的關聯。
[0053]例如:對於一組匯總維度相同的用戶請求數據，一共1300條，可執行時刻設置為13:30，並且處理閾值預設為500條，則系統會在13:30把這1300條用戶請求數據組裝為3個匯總批次，這樣可以得到兩個500條用戶請求數據，一個300條用戶請求數據，對3個匯總批次進行編碼，得到匯總批次序號，如序號為001、002、003，假設，在001中包含500條用戶請求數據，在002中包含500條用戶請求數據，在003中包含300條用戶請求數據，將這3個匯總批次序號記錄在數據操作項中，並將匯總批次的數量3記錄在一條匯總批次記錄當中，接著對這個匯總的信息進行處理。這樣在一個數據操作項對應處理一條批次記錄時，如處理序號001的匯總批次時，知道還需要處理002和003這兩個匯總批次，才算完成一條批次記錄的處理，從而實現了對3個批次的關聯。[0054]由於匯總維度相同的一個或多個用戶請求數據還存在一定差別(不同部分)，因此將所述的差別抽象為一個或多個數據匯總插件，則對應的數據匯總模板可以去除這些不同部分使得數據批量處理模型更簡單。而在執行數據批量處理時，同步地調用數據匯總插件，可以用來補充和完善不同業務類型的用戶請求數據，在執行數據批量處理時，能靈活的調用數據匯總插件，使數據批量處理結果更具準確性。因而，數據匯總插件的運用既簡化了數據批量處理模型，又使得數據批量處理模塊更具可維護性。
[0055]需要說明的是，在步驟101、步驟102和步驟103中，所述用戶請求數據、數據匯總模板、數據匯總插件、匯總維度的描述方式、可執行時刻的描述方式可以進行無限擴展，其中，對用戶請求數據的橫向擴展為可以對業務類型的擴展，對數據匯總模板、數據匯總插件、匯總維度的描述方式、可執行時刻的描述方式進行橫向擴展為可以對參數進行擴充，這樣在業務類型不斷增加、用戶請求數據不斷增長的情況下，數據批量處理模型具有可配置性。
[0056]圖2所示為本申請實施例的數據批量處理的數據轉移的配置文件的示意圖，在圖1的基礎上進一步解釋步驟102中所述通過所述數據匯總模板設置匯總維度和設置可執行時刻這一過程。在設置可執行時刻和設置匯總維度之前，首先基於用戶請求數據解析可執行時刻的描述方式和解析匯總維度的描述方式，用來根據業務參數或環境的變化，將配置文件中的描述方式轉化成計算機可以識別的具體內容，然後再設置可執行時刻和設置匯總維度，具體可以包括以下2個步驟。
[0057]1.解析可執行時刻的描述方式和解析匯總維度的描述性方式，在圖2中配置文件按照計劃任務(CR0N表達式)方式配置有可執行時刻，如00/304-23**?*〈/executeProX/execSchedule>語句，表示為每天4點到23點之間，每隔半個小時作為一個匯總時間點即可執行時刻，當接收用戶請求數據時，將通過所述配置文件找到離當前時間點最近的後一個時間點，並將該最近的後一個時間點設置為可執行時刻。在圖2中，配置文件可以使用一個欄位來描述匯總維度，在配置文件中可以看到如下語句:〈su_aryDimension>> IgPosPayTIPaySum|，+$transln$.concat ( 『I，).concat($transOut$),該語句表示配置ID 「 lgPosPayTlPaySum」+轉入帳戶+轉出帳戶，換言之，匯總維度即描述為前綴「lgPosPayTlPaySuml 」拼接轉入帳戶，拼接「 I 」，再拼接轉出帳戶。若在當前時間14:17接收到用戶請求數據，需要將轉出帳戶(2088101119039098)中的數據轉移到轉入帳戶(2088101117829158)中，則可執行時刻應當轉化為14:30，匯總維度應當轉化為
[0058]「lgPosPayTlPaySuml2088101117829158 I 2088101119039098」。
[0059]2.設置可執行時刻和設置匯總維度，基於步驟1，根據上述表達式的描述含義，將用戶請求數據的可執行時刻設置為14:30，而匯總維度欄位設置為「lgPosPayTlPaySuml 2088101117829158|2088101119039098」。
[0060]當多個用戶請求數據的匯總維度相同時，就可以利用圖1中的步驟103，將所述轉出帳戶中的數據批量的轉移到轉入帳戶中了。
[0061]本申請還提供了一種數據批量處理的裝置，參照圖3所示為根據本申請實施例的數據批量處理的裝置的模塊圖。
[0062]根據本申請的裝置，可以包括接收與選擇模塊301、配置模塊302、執行模塊303。
[0063]在該裝置中，接收與選擇模塊301可以用來接收多個用戶請求數據並確定數據匯總模板。具體可參見步驟101。
[0064]配置模塊302可以用來接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板。具體可參見步驟102。
[0065]在本實施例中，所述配置模塊302還可以包括解析模塊(未示出)和設置模塊(未示出)，在所述數據匯總模板中含有配置文件，其中解析模塊可以用來基於所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件，又因為所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式，所述解析模塊可以包括解析所述匯總維度的描述方式和所述可執行時刻的描述方式。設置模塊可以用來設置所述匯總維度並設置所述可執行時刻。
[0066]執行模塊303可以用來當多個匯總維度相同時，批量處理所述多個用戶請求數據。具體可參見步驟103。
[0067]所述執行模塊303還可以被配置成在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據，依照所述可執行時刻組裝成一個或多個匯總批次，並批量處理多個用戶請求數據。
[0068]進一步的，所述執行模塊303還被配置成基於預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次:如果用戶請求數據的數量大於所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，並且使用與所述匯總批次相對應的多個匯總批次序號進行關聯；以及如果用戶請求數據的數量小於或者等於處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。
[0069]在批量處理多個用戶請求數據時，所述執行模塊303調用資料庫中的數據操作項，並依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。在所述數據操作項中，至少包括如下操作項信息:所述匯總維度、所述可執行時刻、所述匯總批次序號等。由於匯總維度相同的用戶請求數據還存在一定差別，所以在執行數據批量處理時，還需所述執行模塊303同步的調用數據匯總插件。。
[0070]根據圖3所描述的本申請的系統所包括的各個模塊的具體實施與本申請的方法中的步驟的具體實施是相對應的，由於之前已經詳細描述了圖1所示的數據批量處理的方法實施例和圖2所示的數據批量處理的數據轉移的配置文件的示意圖，為了不模糊本申請，在此省略不再對各個模塊的具體細節進行描述。
[0071]本說明書中的各個實施例一般採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。
[0072]本申請可以在由計算機執行的計算機可執行指令的一般上下文中描述，例如程序模塊或單元。一般地，程序模塊或單元可以包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構等等。一般來說，程序模塊或單元可以由軟體、硬體或兩者的結合來實現。也可以在分布式計算環境中實踐本申請，在這些分布式計算環境中，由通過通信網絡而被連接的遠程處理設備來執行任務。在分布式計算環境中，程序模塊或單元可以位於包括存儲設備在內的本地和遠程計算機存儲介質中。
[0073]最後，還需要說明的是， 術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。
[0074]本領域內的技術人員應明白，本申請的實施例可提供為方法、系統、或電腦程式產品。因此，本申請可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本申請可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、CD-ROM、光學存儲器等)上實施的電腦程式產品的形式。
[0075]本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本申請的方法及其主要思想；同時，對於本領域的一般技術人員，依據本申請的思想，在【具體實施方式】及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本申請的限制。
【權利要求】
1.一種數據批量處理的方法，其特徵在於，包括: 接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板； 在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及 當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。
2.根據權利要求1所述的方法，其特徵在於，所述在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻的還包括: 基於所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件，並設置所述匯總維度並設置所述可執行時刻。
3.根據權利要求2所述的方法，其特徵在於:所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及 所述解析每一個所述數據匯總模板中的配置文件包括:解析所述匯總維度的描述方式和所述可執行時刻的描述方式； 所述設置所述匯總維度並設置所述可執行時刻包括:根據所述匯總維度的描述方式設置所述匯總維度，根據所述可執行時刻的描述方式設置可執行時刻。
4.根據權利要求1所述的方法，其特徵在於，所述當多個所述匯總維度相同時，批量處理多個用戶請求數據還 包括: 在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，並批量處理多個用戶請求數據。
5.根據權利要求4所述的方法，其特徵在於，所述組裝成一個或多個匯總批次還包括:基於預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次；其中， 如果用戶請求數據的數量大於所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，並對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及 如果用戶請求數據的數量小於或者等於處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。
6.根據權利要求1所述的方法，其特徵在於，所述批量處理多個用戶請求數據還包括: 在可執行時刻，調用資料庫中的數據操作項，並依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。
7.根據權利要求6所述的方法，其特徵在於，還包括: 在所述數據操作項中，至少包括如下操作項信息:所述匯總維度、所述可執行時刻、所述匯總批次序號。
8.根據權利要求1所述的方法，其特徵在於，所述批量處理多個用戶請求數據還包括同步地調用數據匯總插件。
9.一種數據批量處理的裝置，包括: 接收與選擇模塊，用於接收多個用戶請求數據並確定與所述多個用戶請求數據相關的一個或多個數據匯總模板； 配置模塊，用於在所述一個或多個數據匯總模板的每一個中設置匯總維度和設置可執行時刻；以及 執行模塊，用於當多個所述匯總維度相同時，批量處理所述多個用戶請求數據。
10.根據權利要求9所述的裝置，其特徵在於，所述配置模塊還包括: 基於所述用戶請求數據，解析每一個所述數據匯總模板中的配置文件，並設置所述匯總維度並設置所述可執行時刻。
11.根據權利要求10所述的裝置，其特徵在於:所述配置文件包括匯總維度的描述方式和可執行時刻的描述方式；以及 配置模塊還包括解析模塊:用於解析所述匯總維度的描述方式和所述可執行時刻的描述方式； 配置模塊還包括設置模塊:用於根據所述匯總維度的描述方式設置所述匯總維度，根據所述可執行時刻的描述方式設置可執行時刻。
12.根據權利要求9所述的裝置，其特徵在於，所述執行模塊還包括: 在所述可執行時刻，將多個所述匯總維度相同的用戶請求數據組裝成一個或多個匯總批次，並批量處理多個用戶請求數據。
13.根據權利要求12所述的裝置，其特徵在於，所述執行模塊還被配置成: 基於預設的處理閾值，來判斷用戶請求數據的數量是否需要組裝成一個或多個匯總批次;其中， 如果用戶請求數據的數量大於所述處理閾值，則將所述用戶請求數據分成多個匯總批次進行處理，並對所述多個匯總批次進行編碼，使用得到的多個匯總批次序號關聯多個匯總批次；以及 如果用戶請求數據的數量小於或者等於處理閾值，則將所述用戶請求數據作為一個匯總批次進行處理。
14.根據權利要求9所述的裝置，其特徵在於，所述執行模塊還包括: 在可執行時刻，調用資料庫中的數據操作項，並依照所述數據操作項中的操作項信息處理所述多個用戶請求數據。
15.根據權利要求14所述的裝置，其特徵在於，還包括: 在所述數據操作項中，至少包括如下操作項信息:所述匯總維度、所述可執行時刻、所述匯總批次序號。
16.根據權利要求9所述的裝置，其特徵在於，所述執行模塊還包括同步地調用數據匯總插件。
【文檔編號】G06F17/30GK103927314SQ201310016209
【公開日】2014年7月16日 申請日期:2013年1月16日 優先權日:2013年1月16日
【發明者】張濤, 唐凱 申請人:阿里巴巴集團控股有限公司