一種數據處理的方法和設備的製作方法

2023-05-28 16:21:06

一種數據處理的方法和設備的製作方法
【專利摘要】本發明實施例提供一種數據處理的方法和設備，涉及計算機【技術領域】，通過調用圖形處理器對應功能，減輕中央處理器的數據處理負擔，提高了數據處理質量。該方法包括：通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器；由所述第一緩存器中調用所述數據，並進行多層洗牌，所述多層洗牌為根據所述數據的共同特徵對所述數據進行分組以及統計整理，其中，所述多層洗牌包括內層洗牌和外層洗牌；將進行多層洗牌的所述數據進行統計存入第二緩存器中；將所述第二緩存器中的所述數據通過合併函數進行合併，並將所述合併後的數據緩存入結果緩存器。本發明的實施例應用於計算機數據處理技術。
【專利說明】一種數據處理的方法和設備

【技術領域】
[0001]本發明涉及計算機【技術領域】，尤其涉及一種數據處理的方法和設備。

【背景技術】
[0002]隨著網際網路產業對於數據的需求量越來越大，計算機科學的發展進入了 「大數據時代」，呈現出:數據量大、產生的速度快、數據多樣性明顯、數據可信度無法保證的四大特徵，這些特徵導致計算機在面對大量數據進行處理和分析時，必須提高對「大數據」進行高效處理的能力。但是由於計算機體系結構推進到了多核/眾核時代，並直接導致了晶片的多元化，使得在集群環境呈現出異構性的特點，其一，節點內部的異構性，即中央處理器CPU (Central Processing Unit)、圖形處理器GPU (Graphic Processing Unit)或其他加速部件的異構性；其二，節點間的異構性，即不同處理能力節點的繼承。
[0003]其中，現有技術中為解決在計算機異構性的基礎上實現高效處理數據的方法包括:其一，計算機中GPU上只執行映射Mapper操作，再將Mapper的輸出傳輸至宿主CPU，再由CPU執行分區與洗牌的操作。這裡GPU和宿主CPU間數據傳輸量大，同時分區和洗牌操作在宿主CPU上完成，沒有充分利用GPU的執行計算能力。其二，通過提供一個新的編程模型，從而在GPU上用一個函數同時執行映射Mapper和化簡Reducer的操作。這裡通過使用新的編程模型將MapReduce中的很多內容暴露給用戶，導致用戶編程壓力大。


【發明內容】

[0004]本發明的實施例提供一種數據處理的方法和設備，通過調用圖形處理器對應功能，減輕中央處理器的數據處理負擔，提高了數據處理質量。
[0005]為達到上述目的，本發明的實施例採用如下技術方案:
[0006]第一方面，通過一種數據處理的方法，包括:
[0007]通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器；
[0008]由所述第一緩存器中調用所述數據，並進行多層洗牌，所述多層洗牌為根據所述數據的共同特徵對所述數據進行分組以及統計整理，其中，所述多層洗牌包括內層洗牌和外層洗牌；
[0009]將進行多層洗牌的所述數據進行統計存入第二緩存器中；
[0010]將所述第二緩存器中的所述數據通過合併函數進行合併，並將所述合併後的數據緩存入結果緩存器。
[0011]在第一種可能的實現方式中，結合第一方面具體包括，所述通過多層分區對數據進行分區整理，包括:
[0012]將當前分區中的數據按照預設分區策略由當前一個分區分成多個子分區。
[0013]在第二種可能的實現方式中，結合第一方面或第一種可能的實現方式具體包括，所述由所述第一緩存器中調用所述數據，並進行多層洗牌，包括:
[0014]通過所述內層洗牌將所述數據根據所述數據的共同特徵進行分組，將具有所述共同特徵的數據分入相同的子分區，所述內層洗牌為將所述數據按照所述數據的共同特徵進行分類；
[0015]根據所述內層洗牌得到的多個子分區的數據通過所述外層洗牌進行統計整理，所述外層洗牌為根據所述預設的分區策略統計所述內層洗牌後的多個子分區中的數據。
[0016]在第三種可能的實現方式中，結合第一方面具體包括，所述通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器之前，還包括:
[0017]調用圖形處理器中的函數組，並根據所述函數組處理對應的所述數據，所述函數組包括:映射函數Mapper、分區函數Partit1ner、洗牌函數Shuffler和合成函數Combiner。
[0018]第二方面，提供一種數據處理設備，包括:
[0019]分區單元，用於通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器；
[0020]洗牌單元，用於由所述第一緩存器中調用所述數據，並進行多層洗牌，，所述多層洗牌為根據所述數據的共同特徵對所述數據進行分組以及統計整理，其中，所述多層洗牌包括內層洗牌和外層洗牌；
[0021]緩存單元，用於將進行多層洗牌的所述數據進行統計存入第二緩存器中；
[0022]合併單元，用於將所述第二緩存器中的所述數據通過合併函數進行合併，並將所述合併後的數據緩存入結果緩存器。
[0023]在第一種可能的實現方式中，結合第二方面具體包括，所述分區單元，還用於將當前分區中的數據按照預設的分區策略由當前一個分區分成多個子分區。
[0024]在第二種可能的實現方式中，結合第二方面或第一種可能的實現方式具體包括，所述洗牌單元，包括:
[0025]內部洗牌子單元，用於通過所述內層洗牌將所述數據根據所述數據的共同特徵進行分組，將具有所述共同特徵的數據分入相同的子分區，所述內層洗牌為將所述數據按照所述數據的共同特徵進行分類；
[0026]外部洗牌子單元，用於根據所述內層洗牌得到的多個子分區的數據通過所述外層洗牌進行統計整理，所述外層洗牌為根據所述預設的分區策略統計所述內層洗牌後的多個子分區中的數據。
[0027]在第三種可能的實現方式中，結合第二方面具體包括，所述設備還包括:
[0028]調用單元，用於在通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器之前，調用圖形處理器中的函數組，並根據所述函數組處理對應的所述數據，所述函數組包括:映射函數Mapper、分區函數Partit1ner、洗牌函數Shuffler和合成函數Combiner。
[0029]本發明實施例提供的數據處理的方法和設備，通過調用圖形處理器中的函數組，將當前分區中的一組數據按照該分區策略分成多組數據，並將該多組數據分別分配至多個子分區中，然後通過多層洗牌，將多個子分區中的數據進行統計整理，在多層分區以及多層洗牌的數據處理下體現了圖形處理器高效的數據處理能力，從而通過調用圖形處理器對應功能，減輕中央處理器的數據處理負擔，提高了數據處理質量。

【專利附圖】

【附圖說明】
[0030]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0031]圖1為本發明實施例提供的一種數據處理的方法的流程示意圖；
[0032]圖2為本發明實施例提供的一種數據處理的方法中多層分區的結構示意圖；
[0033]圖3為本發明實施例提供的一種數據處理的方法中多層洗牌的流程示意圖；
[0034]圖4為本發明實施例提供的一種數據處理的方法中對數據進行多層分區及多層洗牌的流程示意圖；
[0035]圖5為本發明實施例提供的一種數據處理設備的結構示意圖；
[0036]圖6為本發明實施例提供的另一種數據處理設備的結構示意圖；
[0037]圖7為本發明實施例提供的又一種數據處理設備的結構示意圖。

【具體實施方式】
[0038]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0039]本發明實施例提供的一種數據處理的方法，以圖形處理器GPU (GraphicProcessing Unit)為例，通過依次調用圖形處理器中的映射函數Mapper、分區函數Partit1ner、洗牌函數ShuffIer和合成函數Combiner作為內核Kernel處理原CPU中的數據，降低了 CPU與GPU之間的數據傳輸需求，具體實現方式如本發明提供一種數據處理的方法所述，參照圖1所示，包括以下流程:
[0040]101、圖形處理器通過多層分區對數據進行分區整理，並將該分區整理後的數據存入第一緩存器。
[0041]這裡在圖形處理器通過多層分區時對數據進行分區管理，並將該數據存入第一緩存器之前，調用圖形處理器中的函數組，並根據該函數組處理對應的所述數據，該函數組包括:映射函數Mapper、分區函數Partit1ner、洗牌函數Shuffler和合成函數Combiner。
[0042]其中，GPU從系統中獲得GPU任務槽，並啟動GPU的執行引擎，GPU的任務引擎首先調用用戶提供的映射函數Mapper Kernel對執行緩存Working Buffer中的數據進行處理。然後對數據進行分區，此時若用戶沒有提供自定義的分區Partit1ner函數，則自動調用GPU內嵌的多層Partit1ner對數據進行分區，否則在用戶指定的Partit1ner基礎上自定義一個子分區sub-partit1ner函數對數據進行多層分區，並將分區後的數據存入一個臨時的緩存器bufferl中。
[0043]具體的，GPU在多層分區時的處理方法如下所述:
[0044]在多層分區Partit1ner階段，通過增加GPU中的分區數目，將分區數目由P個擴展為M*P(其中M為擴展因子)，並設置一個自動生成的子分區sub-partit1ner函數。在設置子分區sub-partit1ner函數時，需要保證:(I)P^是Pi的一個子集，即根據預設的分區擴展策略將原有的一個分區分為多個子分區；(2)的排序方法與Pi相同，即分好的子分區中的排序與原有Pi的排序保持一致；⑶對於任意一個中的元素A，以及中的任意一個元素B，子分區的策略需要保證A <= B，並且jl<= j2。具體的如圖2中的多層分區後子分區sub-partit1ner結構所示。
[0045]102、圖形處理器由該第一緩存器中調用數據，並進行多層洗牌。
[0046]其中，該多層洗牌為根據該數據的共同特徵對該數據進行分組以及統計整理，其中，多層洗牌包括內層洗牌和外層洗牌。
[0047]這裡根據步驟101中所述，GPU對緩存入緩存器bufferl中已經分區完畢的數據進行洗牌操作，其中，內層的洗牌Shuffler將數據按照子分區sub-partit1ner進行洗牌，然後外層的洗牌Shuffler將不同的子分區sub-partit1ner中的數據進行合併,並將該數據存入緩存器buffer2中。
[0048]具體的，GPU在多層洗牌時的處理方法如下所述:
[0049]多層洗牌包括兩層，其中內層洗牌時，每個線程warp處理一個子分區，並對其進行洗牌，同時按照特徵Key值相同的進行分組；
[0050]在外層洗牌時，將子分區按預設的分區策略進行統計合併成分區，由於在子分區時已經按照原有分區的排序進行了分區，因此外層洗牌僅需要進行簡單的合併操作，不需要改變數據的順序，僅將同屬於一個分區的子分區合併放入到中間數據中。
[0051]參照圖3所示:這裡圖3所示為多層洗牌後由子分區合併入分區的過程，該過程中子分區Ph、Pm、Pu、Pm、P2-2、P3-2> P1-1和P1-2通過內層洗牌先將特徵值相同的分入同一個分區，在通過外層洗牌將多個子分區合併成若干分區。
[0052]103、圖形處理器將進行多層洗牌的數據進行統計存入第二緩存器中。
[0053]104、圖形處理器將第二緩存器中的數據通過合併函數進行合併，並將合併後的數據緩存入結果緩存器。
[0054]這裡GPU通過多次分區操作以及多層洗牌操作並行的自動調用用戶提供的合成Combiner函數,並將合成後的數據存入結果緩存器result buffer中。
[0055]其中，在GPU在處理數據的過程中，在洗牌Shuffler階段，通過使用多層分區進而採用多層洗牌的方法滿足了數據傳輸充足的並行度以及避免了數據競爭。
[0056]具體的，本方案中可以以字母參數為例，如圖4所示:
[0057]這裡如圖4所示，以字母參數Wordcount為例，統計每個單詞出現的次數，通過分區函數定義初始字母a?d之間的為分區l，e?h之間為分區2，其他的為分區3。這樣根據這一分區函數定義，將分區中進行進一步分區，即按照子分區函數繼續分區，將初始字母在a?b之間的單詞定義為分區I中的子分區I，初始字母在c?d之間的單詞定義為分區I中的子分區2，初始字母為e的單詞分為分區2中的子分區I，初始字母為f?h的單詞為分區2中的子分區2，初始字母為i?η的單詞分為分區3中的子分區I，其他的單詞為分區3中的子分區2。具體如圖4所示，通過統計單詞發現，初始字母a?d之間的單詞包括:Apple和class ;初始字母e?h之間的單詞包括:egg和friend ;其他的單詞包括:mother和pie ;其中，在多層分區之前,分區I中，Apple和class在各自的分區中各出現2次；分區2中，egg和friend在各自的分區中出現I次；分區3中,mother和pie在各自的分區中各自出現I次。
[0058]在多層分區之後，分區I的子分區I中初始字母在a?b之間的單詞為Apple，記作:P1-1 ;分區I的子分區2中初始字母在C?d之間的單詞為class，記作:P1_2 ;分區2的子分區I中初始字母為e的單詞為egg，記作:P2-1 ;分區2的子分區2中初始字母為f?h的單詞為friend,記作:P2_2 ;分區3的子分區I中初始字母為i?η的單詞為mother,記作:P3-1 ;分區3的子分區2中其他的單詞為pie，記作:P3-2。
[0059]多層分區根據上述定義的子分區函數將分區分為3個分區(6個子分區)。然後多層洗牌的內層洗牌對每一個子分區進行洗牌，得到每個子分區洗牌後的數據；再經過外層洗牌將不同分區進行統計合併，得到最終的統計結果。具體如圖4所示，通過內層洗牌，得到多個多層分區後的子分區中的統計數據，即根據初始字母的分區方式進行統計多層分區後的多個子分區中Pl-1，Pl-2，P2-1，P2-2，P3-1和P3-2的單詞個數，再由外層洗牌，將多個子分區中的數據合併為分區。
[0060]本發明實施例提供的數據處理的方法，通過調用圖形處理器中的函數組，將當前分區中的一組數據按照該分區策略分成多組數據，並將該多組數據分別分配至多個子分區中，然後通過多層洗牌，將多個子分區中的數據進行統計整理，在多層分區以及多層洗牌的數據處理下體現了圖形處理器高效的數據處理能力，從而通過調用圖形處理器對應功能，減輕中央處理器的數據處理負擔，提高了數據處理質量。
[0061 ] 本發明實施例進一步給出實現上述方法實施例中的方法或步驟的裝置實施例。
[0062]本發明實施例提供一種數據處理設備2，該數據處理設備具體為計算機架構中任一種模塊，如圖形處理器GPU (Graphic Processing Unit)在計算機架構中這種能夠實現數據處理的方法，以可以實現本發明的實施例所提供的上述任一數據處理的方法為準，參照圖5所示,包括:
[0063]分區單元21，用於通過多層分區對數據進行分區整理，並將該分區整理後的數據存入第一緩存器；
[0064]洗牌單元22，用於由第一緩存器中調用所述數據，並進行多層洗牌，該多層洗牌為根據該數據的共同特徵對該數據進行分組以及統計整理，其中，多層洗牌包括內層洗牌和外層洗牌；
[0065]緩存單元23，用於將進行多層洗牌的數據進行統計存入第二緩存器中；
[0066]合併單元24，用於將第二緩存器中的數據通過合併函數進行合併，並將合併後的數據緩存入結果緩存器。
[0067]本發明實施例提供的數據處理設備，通過調用圖形處理器中的函數組，將當前分區中的一組數據按照該分區策略分成多組數據，並將該多組數據分別分配至多個子分區中，然後通過多層洗牌，將多個子分區中的數據進行統計整理，在多層分區以及多層洗牌的數據處理下體現了圖形處理器高效的數據處理能力，從而通過調用圖形處理器對應功能，減輕中央處理器的數據處理負擔，提高了數據處理質量。
[0068]進一步的，分區單元21，分區子單元211，還用於將當前分區中的數據按照預設的分區策略由當前一個分區分成多個子分區將當前分區按照預設分區策略分成多個子分區。
[0069]可選的，洗牌單元22，參照圖6所示，包括:
[0070]內部洗牌子單元221，用於通過內層洗牌將數據根據數據的共同特徵進行分組，將具有共同特徵的數據分入相同的子分區，該內層洗牌為將數據按照數據的共同特徵進行分類；
[0071]外部洗牌子單元222，用於根據內層洗牌得到的多個子分區的數據通過外層洗牌進行統計整理，該外層洗牌為根據預設的分區策略統計內層洗牌後的多個子分區中的數據。
[0072]可選的，數據處理設備2，參照圖7所示，還包括:
[0073]調用單元25，用於在通過多層分區對數據進行分區整理，並將分區整理後的數據存入第一緩存器之前，調用圖形處理器中的函數組，並根據函數組處理對應的所述數據，該函數組包括:映射函數Mapper、分區函數Partit1ner、洗牌函數Shuffler和合成函數Combiner。
[0074]本發明實施例提供的數據處理設備，通過調用圖形處理器中的函數組，將當前分區中的一組數據按照該分區策略分成多組數據，並將該多組數據分別分配至多個子分區中，然後通過多層洗牌，將多個子分區中的數據進行統計整理，在多層分區以及多層洗牌的數據處理下體現了圖形處理器高效的數據處理能力，從而通過調用圖形處理器對應功能，減輕中央處理器的數據處理負擔，提高了數據處理質量。
[0075]以上所述，僅為本發明的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應所述以權利要求的保護範圍為準。
【權利要求】
1.一種數據處理的方法，其特徵在於，包括: 通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器； 由所述第一緩存器中調用所述數據，並進行多層洗牌，所述多層洗牌為根據所述數據的共同特徵對所述數據進行分組以及統計整理，其中，所述多層洗牌包括內層洗牌和外層洗牌； 將進行多層洗牌的所述數據進行統計存入第二緩存器中； 將所述第二緩存器中的所述數據通過合併函數進行合併，並將所述合併後的數據緩存入結果緩存器。
2.根據權利要求1所述的方法，其特徵在於，所述通過多層分區對數據進行分區整理，包括: 將當前分區中的數據按照預設的分區策略由當前一個分區分成多個子分區。
3.根據權利要求1或2所述的方法，其特徵在於，所述由所述第一緩存器中調用所述數據，並進行多層洗牌，包括: 通過所述內層洗牌將所述數據根據所述數據的共同特徵進行分組，將具有所述共同特徵的數據分入相同的子分區，所述內層洗牌為將所述數據按照所述數據的共同特徵進行分類； 根據所述內層洗牌得到的多個子分區的數據通過所述外層洗牌進行統計整理，所述外層洗牌為根據所述預設的分區策略統計所述內層洗牌後的多個子分區中的數據。
4.根據權利要求1所述的方法，其特徵在於，所述通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器之前，還包括: 調用圖形處理器中的函數組，並根據所述函數組處理對應的所述數據，所述函數組包括:映射函數Mapper、分區函數Partit1ner、洗牌函數Shuffler和合成函數Combiner。
5.一種數據處理設備，其特徵在於，包括: 分區單元，用於通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器； 洗牌單元，用於由所述第一緩存器中調用所述數據，並進行多層洗牌，所述多層洗牌為根據所述數據的共同特徵對所述數據進行分組以及統計整理，其中，所述多層洗牌包括內層洗牌和外層洗牌； 緩存單元，用於將進行多層洗牌的所述數據進行統計存入第二緩存器中； 合併單元，用於將所述第二緩存器中的所述數據通過合併函數進行合併，並將所述合併後的數據緩存入結果緩存器。
6.根據權利要求5所述的設備，其特徵在於， 所述分區單元，還用於將當前分區中的數據按照預設的分區策略由當前一個分區分成多個子分區。
7.根據權利要求5或6所述的設備，其特徵在於，所述洗牌單元，包括: 內部洗牌子單元，用於通過所述內層洗牌將所述數據根據所述數據的共同特徵進行分組，將具有所述共同特徵的數據分入相同的子分區，所述內層洗牌為將所述數據按照所述數據的共同特徵進行分類； 外部洗牌子單元，用於根據所述內層洗牌得到的多個子分區的數據通過所述外層洗牌進行統計整理，所述外層洗牌為根據所述預設的分區策略統計所述內層洗牌後的多個子分區中的數據。
8.根據權利要求5所述的設備，其特徵在於，所述設備還包括: 調用單元，用於在通過多層分區對數據進行分區整理，並將所述分區整理後的數據存入第一緩存器之前，調用圖形處理器中的函數組，並根據所述函數組處理對應的所述數據，所述函數組包括:映射函數Mapper、分區函數Part it 1ner、洗牌函數Shuff Ier和合成函數Combiner。
【文檔編號】G06F9/44GK104252338SQ201310256673
【公開日】2014年12月31日 申請日期:2013年6月25日 優先權日:2013年6月25日
【發明者】崔慧敏, 馮曉兵 申請人:華為技術有限公司, 中國科學院計算技術研究所