數據區域重疊的邊界數據零通信並行計算方法和系統的製作方法
2023-05-17 07:55:21 1
專利名稱：數據區域重疊的邊界數據零通信並行計算方法和系統的製作方法
技術領域：
本發明涉及大量數據處理，尤其是涉及一種數據區域重疊的邊界數據零通信並行計算方法和系統。
背景技術：
在對大量數據處理時，可以將數據分割成多個較小的數據塊，分別同時由多個處理單元並行處理，然後將處理後的結果匯總，可以大大提高數據處理效率。傳統的並行處理中，多個相鄰數據塊之間需要互通有無，由於相鄰數據塊之間的通信，所需數據尚未到達時，會造成並行進程的等待，降低並行處理的效率。
發明內容基於此，有必要提供一種能夠提高並行處理效率的數據並行處理方法。一種數據區域重疊的邊界數據零通信並行計算方法，包括如下步驟將待處理的母數據分割成多個子塊數據，其中每個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據；將多個子塊數據進行並行處理。優選地，所述將待處理的母數據分割成多個子塊數據的步驟中，對母數據採用冗餘切割，使切割後的子塊數據包含冗餘的邊界數據。優選地，所述將待處理的母數據分割成多個子塊數據的步驟具體包括將母數據進行無冗餘切割；相鄰的子塊數據之間相互獲取邊界數據並進行冗餘存儲。優選地，所示並行處理是並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算的子步驟。此外還提供一種數據區域重疊的邊界數據零通信並行計算系統。一種數據區域重疊的邊界數據零通信並行計算系統，包括數據分割模塊，用於將母數據進行冗餘切割，使每個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據；並行處理單元，用於接受調度，並行處理子塊數據。優選地，所述並行處理單元用於進行並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算。以及一種數據區域重疊的邊界數據零通信並行計算系統，包括數據分割模塊，用於將母數據進行無冗餘切割；數據交換模塊，用於將相鄰的子塊數據的邊界數據相互交換並進行冗餘存儲；並行處理單元，用於接受調度，並行處理子塊數據。優選地，所述並行處理單元用於進行並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算。上述數據區域重疊的邊界數據零通信並行計算方法和系統，由於子塊數據冗餘存儲了並行處理時所需的其他子塊數據的邊界數據，在並行處理時不需要從其他子塊數據獲得，因此可以節約數據傳輸時等待的時間，提高並行處理的效率。
圖1為一實施例的數據區域重疊的邊界數據零通信並行計算方法流程圖；圖2為傳統的數據分割示意圖；圖3為圖1實施例的數據區域重疊的邊界數據零通信並行計算方法的分割示意圖；圖4為一實施例的數據區域重疊的邊界數據零通信並行計算系統模塊圖；圖5為另一實施例的數據區域重疊的邊界數據零通信並行計算系統模塊圖。
具體實施方式如圖1所示，為一實施例的數據區域重疊的邊界數據零通信並行計算方法流程圖。該數據區域重疊的邊界數據零通信並行計算方法包括如下步驟SlOO 將待處理的母數據分割成多個子塊數據。母數據分割成的多個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據。其中母數據是數據並行處理中單次處理需要較長處理時間的數據，子塊數據是單次處理較為簡單因此耗時較短的數據。邊界數據是指對於相鄰的子塊數據來說，並行處理時都需要用到的數據。母數據切割得到的子塊數據，各自被並行處理單元處理所需的時間應該基本相同，以使並行處理後能夠以最快的速度得到最終結果，儘量避免並行處理單元的等待。如圖2所示，為傳統的數據分割示意圖。母數據10被分割成多個子塊數據20，其中每個子塊數據20都有邊界數據30。其中，相鄰的子塊數據20在並行處理時，需要互相獲取邊界數據30。如圖3所示，為本實施例的數據區域重疊的邊界數據零通信並行計算方法的分割示意圖。以相鄰的兩個子塊數據202、204說明冗餘存儲。傳統的分割方式中，子塊數據202具有邊界數據a，子塊數據204具有邊界數據b。本實施例中，子塊數據202冗餘存儲邊界數據b，子塊數據204冗餘存儲邊界數據a。即子塊數據202、204均包括邊界數據a、b。邊界數據a、b在子塊數據202、204各自對應並行處理中都要用到。實現上述冗餘存儲的方式包括冗餘切割和無冗餘切割後的數據交換。冗餘切割是指在數據分割時，將分割的邊界拓展預設的寬度，這樣就能包含其他子塊數據包含的邊界數據。數據分割採用諸如文件分割、數據表分割以及數據矩陣分割等方式。無冗餘切割是指按照傳統的數據分割方式對母數據進行分割，被分割成的子塊數據之間無數據冗餘。同樣可採用諸如文件分割、數據表分割以及數據矩陣分割等方式。之後各子塊數據之間相互傳遞交換邊界數據並整合到自己的邊界數據中。其中數據交換可採用消息傳遞技術、文件傳輸技術等。S200 將多個子塊數據進行並行處理。並行處理單元各自得到冗餘存儲的子塊數據後，進行並行處理。上述並行數據處理方法，由於子塊數據冗餘存儲了並行處理時所需的其他子塊數據的邊界數據，在並行處理時不需要從其他子塊數據獲得，因此可以節約數據傳輸時等待的時間，提高並行處理的效率。如圖4所示，為一實施例的並行處理系統。該系統包括數據分割模塊100和並行處理單元200。數據分割模塊100將母數據進行冗餘切割，使每個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據。其中冗餘切割是指在數據分割時，將分割的邊界拓展預設的寬度。數據分割採用諸如文件分割、數據表分割以及數據矩陣分割等方式。並行處理單元200接受調度，並行處理子塊數據。並行處理單元300是進行並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算。如圖5所示，為另一實施例的並行處理系統。該系統包括數據分割模塊100』、數據交換模塊200』以及並行處理單元300。數據分割模塊100』將母數據進行無冗餘切割，無冗餘切割是指按照傳統的數據分割方式對母數據進行分割，被分割成的子塊數據之間無數據冗餘。分割方式可採用諸如文件分割、數據表分割以及數據矩陣分割等方式。數據交換模塊200』將相鄰的子塊數據的邊界數據相互交換並進行冗餘存儲。各子塊數據之間相互傳遞交換邊界數據並整合到自己的邊界數據中，其中數據交換可採用消息傳遞技術、文件傳輸技術等。並行處理單元300接受調度，並行處理子塊數據。並行處理單元300是進行並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算。以上所述實施例僅表達了本發明的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變形和改進，這些都屬於本發明的保護範圍。因此，本發明專利的保護範圍應以所附權利要求為準。
權利要求
1.一種數據區域重疊的邊界數據零通信並行計算方法，包括如下步驟將待處理的母數據分割成多個子塊數據，其中每個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據；將多個子塊數據進行並行處理。
2.如權利要求1所述的數據區域重疊的邊界數據零通信並行計算方法，其特徵在於，所述將待處理的母數據分割成多個子塊數據的步驟中，對母數據採用冗餘切割，使切割後的子塊數據包含冗餘的邊界數據。
3.如權利要求1所述的數據區域重疊的邊界數據零通信並行計算方法，其特徵在於，所述將待處理的母數據分割成多個子塊數據的步驟具體包括將母數據進行無冗餘切割；相鄰的子塊數據之間相互獲取邊界數據並進行冗餘存儲。
4.如權利要求1所述的數據區域重疊的邊界數據零通信並行計算方法，其特徵在於，所示並行處理是並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算的子步驟。
5.一種數據區域重疊的邊界數據零通信並行計算系統，包括數據分割模塊，用於將母數據進行冗餘切割，使每個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據；並行處理單元，用於接受調度，並行處理子塊數據。
6.如權利要求5所示的數據區域重疊的邊界數據零通信並行計算系統，其特徵在於，所述並行處理單元用於進行並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算。
7.一種數據區域重疊的邊界數據零通信並行計算系統，包括數據分割模塊，用於將母數據進行無冗餘切割；數據交換模塊，用於將相鄰的子塊數據的邊界數據相互交換並進行冗餘存儲；並行處理單元，用於接受調度，並行處理子塊數據。
8.如權利要求7所示的數據區域重疊的邊界數據零通信並行計算系統，其特徵在於，所述並行處理單元用於進行並行計算、分布式計算、網絡計算、網格計算、雲計算或海計算。
全文摘要
本發明公開一種數據區域重疊的邊界數據零通信並行計算方法，包括將待處理的母數據分割成多個子塊數據，其中每個子塊數據冗餘存儲與之相鄰的子塊數據中的邊界數據；將多個子塊數據進行並行處理。還公開一種數據區域重疊的邊界數據零通信並行計算系統，包括數據分割模塊，用於將母數據進行冗餘切割；並行處理單元，用於並行處理子塊數據。以及一種數據區域重疊的邊界數據零通信並行計算系統，包括數據分割模塊，用於將母數據進行無冗餘切割；數據交換模塊，用於將相鄰的子塊數據的邊界數據相互交換並進行冗餘存儲；並行處理單元，用於並行處理子塊數據。上述方法和系統可以節約數據傳輸時等待的時間，提高並行處理的效率。
文檔編號H04L12/56GK102393851SQ20111020904
公開日2012年3月28日 申請日期2011年7月25日 優先權日2011年7月25日
發明者朱定局, 李朝暉 申請人:中國科學院深圳先進技術研究院, 北京大學