數據布局方法及其裝置的製作方法
2023-04-24 22:42:46 3
專利名稱：數據布局方法及其裝置的製作方法
技術領域：
本發明涉及異構眾核處理器技術，特別涉及一種數據布局方法和裝置。
背景技術：
異構眾核處理器包含一個主處理器核(主核)和多個從處理器核(從核)，通過集成不同類型的內核來提升效率和性能。一般來說，主核負責資源管理和調度，從核負責加速應用，每個從核通常擁有一個容量有限的片上局部存儲，用來存儲和處理所需數據。在異構眾核處理器中，某些規則的應用程式映射到多個從核上後，在程序的執行過程中，多個從核之間需要進行邊界通訊來獲取邊界數據。目前，大部分異構眾核編譯器是基於共享存儲編程模型將程序映射到異構眾核處理器上。這種模式無法充分利用從核的片上局部存儲空間，並導致額外的訪存開銷。 具體地，在共享存儲模型中，共享數據在主存存放，從核處理所需的私有數據在從核的片上局部存儲中存放，編譯器通過插入DMA操作使每個協處理器核訪問主存中的共享數據，由於在共享存儲模型中，邊界數據被看作共享數據放在主存，因此大量的邊界數據會產生繁重的主存訪問開銷，從而降低程序性能。例如，在模板處理(stencil computation)這類問題中，多維網格中每個點的值都需要被反覆更新，而更新某個元素時需要相鄰元素來進行輔助處理，從核在處理時需要進行邊界通訊來獲取位於邊界的相鄰元素，如果採用共享存儲模型，將模板處理映射到異構眾核上會產生大量的訪存，導致程序性能下降。因此，有待提出一種新的數據布局方法和裝置，以充分利用從核的片上局部存儲空間，減少訪存開銷，從而提高程序的執行速度和性能。
發明內容
本發明解決的問題是提出一種新的數據布局方法和裝置，以充分利用從核的片上局部存儲空間，減少訪存開銷，從而提高程序的執行速度和性能。為解決上述問題，本發明的實施例提供了一種數據布局方法，所述方法包括將第一代碼所處理的第一數據塊劃分成多個第二數據塊，其中每一個第二數據塊和一個處理器核對應；根據所述第一代碼確定每一個第二數據塊對應的邊界數據，所述邊界數據是根據所述第一代碼的處理邏輯完成對第二數據塊的處理時所需要的但不被所述第二數據塊包含的數據；為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間；以及根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。可選地，當所述第一數據塊為所述第一代碼中參與並行循環的數組時，將所述第一數據塊劃分成多個第二數據塊的方法包括確定所述數組中參與並行循環的維度；以及根據所述數組中參與並行循環的維度將所述數組劃分成多個第二數據塊。可選地，所述方法還包括根據目標機中處理器核的數量以及所述第二數據塊的預定大小確定所述第一數據塊被劃分的個數。可選地，為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間的方法包括確定所述每一個第二數據塊和對應的邊界數據的大小；以及根據每一個第二數據塊和對應的邊界數據的大小在對應的處理器核中申請局部存儲空間。可選地，第二代碼包括第三代碼、第四代碼和第五代碼，所述第三代碼用於將與所述第二代碼對應的第二數據塊以及邊界數據從主存導入對應處理器核的局部存儲空間，所述第四代碼根據所述第一代碼的處理邏輯對所述第二代碼對應的第二數據塊進行處理，所述第五代碼用於將與所述第二代碼對應的第二數據塊的處理結果從對應處理器核的局部存儲空間寫回主存。可選地，所述第三代碼和第五代碼為直接內存存取操作代碼(DMA)。本發明的實施例還提供了一種數據布局裝置，所述裝置包括數據劃分單元，用於 將第一代碼所處理的第一數據塊劃分成多個第二數據塊，其中每一個第二數據塊和一個處理器核對應；邊界數據確定單元，用於根據所述第一代碼確定每一個第二數據塊對應的邊界數據，所述邊界數據是根據所述第一代碼的處理邏輯完成對第二數據塊的處理時所需要的但不被所述第二數據塊包含的數據；數據映射單元，用於為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間；以及處理劃分單元，用於根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。可選地，所述第一數據塊為所述第一代碼中參與並行循環的數組，在將所述第一數據塊分成多個第二數據塊的過程中，所述數據劃分單元用於確定所述數組中參與並行循環的維度，以及根據所述數組中參與並行循環的維度將所述數組劃分成多個第二數據塊。可選地，所述數據劃分單元還用於根據目標機中處理器核的數量以及所述第二數據塊的預定大小確定所述第一數據塊被劃分的個數。可選地，在為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間的過程中，所述數據映射單元用於確定所述每一個第二數據塊和對應的邊界數據的大小，以及根據每一個第二數據塊和對應的邊界數據的大小在對應的處理器核中申請局部存儲空間。可選地，第二代碼包括第三代碼、第四代碼和第五代碼，所述第三代碼用於將與所述第二代碼對應的第二數據塊以及邊界數據從主存導入對應處理器核的局部存儲空間，所述第四代碼根據所述第一代碼的邏輯對所述第二代碼對應的第二數據塊進行處理，所述第五代碼用於將與所述第二代碼對應的第二數據塊的處理結果從對應處理器核的局部存儲空間與回主存。可選地，所述第三代碼和第五代碼為直接內存存取操作代碼(DMA)。與現有技術相比，本發明的實施例具有以下優點在本發明的實施例中，將異構眾核的協處理器核抽象為分布式存儲系統，採用數據分布技術，不僅為每個第二數據塊在對應的處理器核中申請了局部存儲空間，而且為每一個第二數據塊對應的邊界數據對應的處理器核中申請了局部存儲空間，也就是說，每一個第二數據塊將和對應的邊界數據一同被導入對應的處理器核，使得處理器核根據所述第一代碼的處理邏輯對第二數據塊進行處理時無需通過訪存獲取邊界數據，而是直接從局部存儲空間獲取，減小了共享存儲模型下由邊界通訊導致的主存訪問開銷，從而提高了處理器的程序執行速度。
圖I是現有技術中共享存儲模型的結構示意圖；圖2是本發明一實施例中數據布局方法的流程圖；圖3是本發明一實施例中數據布局的過程示意圖；圖4是本發明一實施例中劃分第一數據塊的過程示意圖；圖5是本發明另一實施例中劃分第一數據塊的過程示意圖；圖6是本發明再一實施例中劃分第一數據塊的過程示意圖；圖7是本發明再一實施例中確定邊界數據的過程示意圖；以及圖8是本發明一實施例中數據布局裝置的結構示意圖。
具體實施例方式現有技術中，如圖I所示，異構眾核各從處理器核擁有各自的片上局部存儲空間， 所有的從處理器核通過片上通訊網絡(on-chip network)從主存獲取邊界數據。經研究發明人發現，在共享存儲模型下過大的邊界數據會導致繁重的主存訪問開銷，從而較大地影響整個處理器的程序執行速度，如果採用分布式存儲模型，通過確定各處理器核的邊界數據和將所述邊界數據私有化至各個處理器核來，則能夠減少邊界通訊帶來的主存訪問開銷，從而提高整個處理器的程序執行速度。針對上述問題，本發明的實施例提供了一種數據布局方法。圖2是本發明一實施例中數據布局方法的流程圖。為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖對本發明的具體實施方式
做詳細的說明。在下面的描述中闡述了很多具體細節以便於充分理解本發明，但是本發明還可以採用其他不同於在此描述的其它方式來實施，因此本發明不受下面公開的具體實施例的限制。首先，請參考圖2，執行步驟SI，將第一代碼所處理的第一數據塊劃分成多個第二數據塊，每一個所述第二數據塊和一個處理器核對應。在本發明的實施例中，用戶可以根據目標機中處理器核的數量以及第二數據塊的預定大小將所述第一數據塊劃分成特定數量的第二數據塊。例如，在本發明的一實施例中，如圖3所示，目標機擁有4個處理器核處理器核
0、處理器核I、處理器核2和處理器核3，因此，所述第一代碼處理的第一數據塊可以被劃分成四個第二數據塊第二數據塊O、第二數據塊I、第二數據塊2和第二數據塊3，且所述第二數據塊O、第二數據塊I、第二數據塊2和第二數據塊3分別對應處理器核O、對應處理器核I、對應處理器核2和對應處理器核3，也就是說後續將由對應處理器核O、對應處理器核
1、對應處理器核2和對應處理器核3分別根據所述第一代碼的處理邏輯完成對所述第二數據塊O、第二數據塊I、第二數據塊2和第二數據塊3的處理。在本發明的其他實施例中，一個處理器核也可以對應多個第二數據塊。例如當所述第一數據塊被劃分成8個第二數據塊，而目標機只擁有4個處理器核，那麼可以通過輪轉將所述8個第二數據塊分配至4個處理器核，也就是說，一個處理器核被分配到兩個第二數據塊。在本發明的一實施例中，所述第一數據塊可以為所述第一代碼中參與並行循環的數組，例如，所述第一數據塊為所述第一代碼中參與並行循環的二維數組A[i][j]。需要說明的是，當所述第一數據塊為所述第一代碼中參與並行循環的數組時，將所述第一數據塊劃分成多個第二數據塊的方法包括需要先確定所述數組中參與並行循環的維度，然後根據所述數組中參與並行循環的維度將所述數組劃分成多個第二數據塊。下面仍以所述第一數據塊為所述第一代碼中參與並行循環的二維數組A[i][j]為例進行說明，當A[i][j]中的i參與並行循環時，可以對A[i][j]的第一維進行劃分，從而將A[i] [j]劃分成多個第二數據塊，如圖4所示；當A[i] [j]中的j參與並行循環時，可以對A[i][j]的第二維進行劃分，從而將A[i][j]劃分成多個第二數據塊，如圖5所示。也就是說，當所述第一數據塊為所述第一代碼中參與並行循環的η維數組，且所述η維數組的第k維參與並行循環，就對所述η維數組的第k進行劃分，從而將所述η數組劃分成多個第二數據塊。另外，當所述η維數組的第k維和第h維同時參與並行循環時，可以對第k維和第h維同時進行劃分。例如，數組A[i][j]的第一維和第二維都參與並行循環，我們可以同時對數組A[i] [j]的第一維和第二維進行劃分，從而將數組A[i] [j]劃分成多個第二數據塊，如圖6所示。接著，請繼續參考圖2，執行步驟S2，根據所述第一代碼確定每一個第二數據塊對應的邊界數據。需要說明的是，所述邊界數據是根據所述第一代碼的處理邏輯完成對第二數據塊的處理時所需要的但不被所述第二數據塊包含的數據。下面將通過舉例來對所述邊界數據進行說明。 例如，在本發明的一實施例中，當所述第一代碼為下列程序Int a[4096], b[4096];for (i=0; i<N; i++){a[i] = b[i-1]+b[i]+b[i+2] ;}其中，如圖7所示，數組a[4096]和b[4096]分別按照第二數據塊預定大小為64被劃分成多個第二數據塊，每個第二數據塊對應一個從處理器核，如果從處理器核按照所述第一代碼的處理邏輯a[i]=b[i_l]+b[i]+b[i+2]來處理a[64ra[127]時，需要用到數據b [63]飛[129]，因此需要訪問包含數據b [64]飛[127]的第二數據塊，然而剩餘的三個數據b[63]、b[128]和b[129]並不包含在包含數據b[64]飛[127]的第二數據塊中，因此需要訪問相鄰處理器核上的第二數據塊來獲得，由此可見，所述剩餘的三個數據b[63]、b[128]和b[129]是包含數據b[64] b[127]的第二數據塊的邊界數據。接著，請繼續參考圖2，執行步驟S3，為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間。在本發明的實施例中，為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間方法包括確定每一個第二數據塊和對應的邊界數據的大小，以及根據所述每一個第二數據塊和對應的邊界數據的大小在對應的處理器核中申請局部存儲空間。下面將繼續以圖7中的例子來進行說明，在圖7中，由於數組a[4096]和b [4096]分別被按照第二數據塊預定大小為64劃分成多個第二數據塊，因此可以確定第二數據塊的大小為64，又由於在處理a[nra[n+63]的時候需要用到邊界數據a[n_l]、a[n+64]和a[n+65]，因此可以確定邊界數據的大小為3，最終可以確定每一個第二數據和對應的邊界數據的總大小為67，那麼就可以每一個第二數據塊對應的處理器核上申請大小為67的局部存儲空間。需要說明的是，在此只是以邊界數據的大小為3作示例性說明，在本發明的其他實施例中，所述邊界數據的大小可能是非常大，如前所述，如果利用現有技術，過大的邊界數據將導致繁重的主存訪問開銷，而在本發明的實施例中，邊界數據將和第二數據塊一同導入對應的處理器核，使得從處理器無需通過訪問主存來獲取邊界數據。接著，請繼續參考圖2，執行步驟S4，根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。例如，在圖3中，第二代碼O、第二代碼I、第二代碼2和第二代碼3分別對應第二數據塊O、第二數據塊I、第二數據塊2和第二數據塊3，並分 別根據所述第一代碼的處理邏輯完成對第二數據塊O、第二數據塊I、第二數據塊2和第二數據塊3的處理。需要說明的是，所述第二代碼包含第三代碼、第四代碼和第五代碼。所述第三代碼用於將與所述第二代碼對應的第二數據塊以及邊界數據從主存導入對應處理器核的局部存儲空間。例如，如圖3所示，第二代碼O包含的第三代碼用於將第二數據塊O和對應的邊界數據導入處理器核O的局部存儲空間。所述第四代碼能夠根據所述第一代碼的邏輯對所述第二代碼對應的第二數據塊進行處理，例如，如圖3所示，第二代碼O包含的第四代碼用於根據所述第一代碼的邏輯對所述第二代碼O對應的第二數據塊O進行處理。所述第五代碼用於將與所述第二代碼對應的第二數據塊的處理結果從對應處理器核的局部存儲空間寫回主存，例如，如圖3所示，第二代碼O包含的第五代碼用於將所述第二代碼O對應的第二數據塊O的處理結果寫回主存。在本發明的實施例中，所述第三代碼和第五代碼可以為直接內存存取操作代碼(DMA)，例如，可以通過dma_get操作將第二數據塊和對應的邊界數據從主存導入對應處理器核的局部存儲空間，可以通過dma_put操作將第二代碼對對應的第二數據塊的處理
結果寫回主存。本發明的實施例還提供了一種數據分布裝置，如圖8所示，所述裝置包括數據劃分單元100，用於將第一代碼所處理的第一數據塊劃分成多個第二數據塊，其中每一個第二數據塊和一個處理器核對應；邊界數據確定單元200，用於根據所述第一代碼確定每一個第二數據塊對應的邊界數據，所述邊界數據是根據所述第一代碼的處理邏輯完成對第二數據塊的處理時所需要的但不被所述第二數據塊包含的數據；數據映射單元300，用於為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間；以及處理劃分單元400，用於根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。在本發明的一實施例中，所述第一數據塊為所述第一代碼中參與並行循環的數組，且在將所述第一數據塊分成多個第二數據塊的過程中，所述數據劃分單元100用於確定所述數組中參與並行循環的維度，以及根據所述數組中參與並行循環的維度將所述數組劃分成多個第二數據塊。在本發明的一實施例中，在為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間的過程中，所述數據映射單元300用於確定所述每一個第二數據塊和對應的邊界數據的大小，以及根據每一個第二數據塊和對應的邊界數據的大小在對應的處理器核中申請局部存儲空間。在本發明的實施例中，所述第二代碼包括第三、第四和第五代碼，所述第三代碼用於將與所述第二代碼對應的第二數據塊以及邊界數據從主存導入對應處理器核的局部存儲空間，所述第四代碼能夠根據所述第一代碼的邏輯對所述第二代碼對應的第二數據塊進行處理，所述第五代碼用於將與所述第二代碼對應的第二數據塊的處理結果從對應處理器核的局部存儲空間寫回主存。在本發明的一實施例中，所述第三代碼和第五代碼可以為直接內存存取操作代碼(DMA)0 綜上所述，本發明的實施例具有以下優點在本發明的實施例中，將異構眾核的協處理器核抽象為分布式存儲系統，採用數據分布技術，不僅為每個第二數據塊在對應的處理器核中申請了局部存儲空間，而且為每一個第二數據塊對應的邊界數據在對應的處理器核中申請了局部存儲空間，也就是說，每一個第二數據塊將和對應的邊界數據一同被導入對應的處理器核，使得處理器核根據所述第一代碼的處理邏輯對第二數據塊進行處理時無需通過訪存來獲取邊界數據，而是直接從局部存儲空間獲取，減小處理器因邊界通訊帶來的主存訪問開銷，從而提高了處理器的程序執行速度。以上所述，僅是本發明的較佳實施例而已，並非對本發明作任何形式上的限制。任何熟悉本領域的技術人員，在不脫離本發明技術方案範圍情況下，都可利用上述揭示的方法和技術內容對本發明技術方案作出許多可能的變動和修飾，或修改為等同變化的等效實施例。因此，凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所做的任何簡單修改、等同變化及修飾，均仍屬於本發明技術方案保護的範圍內。
權利要求
1.一種數據布局方法，其特徵在於，包括 將第一代碼所處理的第一數據塊劃分成多個第二數據塊，其中每一個第二數據塊和一個處理器核對應； 根據所述第一代碼確定每一個第二數據塊對應的邊界數據，所述邊界數據是根據所述第一代碼的處理邏輯完成對第二數據塊的處理時所需要的但不被所述第二數據塊包含的數據； 為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間；以及 根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。
2.如權利要求I所述的方法，其特徵在於，當所述第一數據塊為所述第一代碼中參與並行循環的數組時，將所述第一數據塊劃分成多個第二數據塊的方法包括確定所述數組中參與並行循環的維度；以及根據所述數組中參與並行循環的維度將所述數組劃分成多個第二數據塊。
3.如權利要求I所述的方法，其特徵在於，還包括根據目標機中處理器核的數量以及所述第二數據塊的預定大小確定所述第一數據塊被劃分的個數。
4.如權利要求I所述的方法，其特徵在於，為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間的方法包括確定所述每一個第二數據塊和對應的邊界數據的大小；以及根據每一個第二數據塊和對應的邊界數據的大小在對應的處理器核中申請局部存儲空間。
5.如權利要求I所述的方法，其特徵在於，第二代碼包括第三代碼、第四代碼和第五代碼，所述第三代碼用於將與所述第二代碼對應的第二數據塊以及邊界數據從主存導入對應處理器核的局部存儲空間，所述第四代碼根據所述第一代碼的處理邏輯對所述第二代碼對應的第二數據塊進行處理，所述第五代碼用於將與所述第二代碼對應的第二數據塊的處理結果從對應處理器核的局部存儲空間寫回主存。
6.如權利要求5所述的方法，其特徵在於，所述第三代碼和第五代碼為直接內存存取操作代碼(DMA)。
7.一種數據布局裝置，其特徵在於，包括 數據劃分單元，用於將第一代碼所處理的第一數據塊劃分成多個第二數據塊，其中每一個第二數據塊和一個處理器核對應； 邊界數據確定單元，用於根據所述第一代碼確定每一個第二數據塊對應的邊界數據，所述邊界數據是根據所述第一代碼的處理邏輯完成對第二數據塊的處理時所需要的但不被所述第二數據塊包含的數據； 數據映射單元，用於為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間；以及 處理劃分單元，用於根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。
8.如權利要求7所述的裝置，其特徵在於，所述第一數據塊為所述第一代碼中參與並行循環的數組，在將所述第一數據塊分成多個第二數據塊的過程中，所述數據劃分單元用於確定所述數組中參與並行循環的維度，以及根據所述數組中參與並行循環的維度將所述數組劃分成多個第二數據塊。
9.如權利要求7所述的裝置，其特徵在於，所述數據劃分單元，還用於根據目標機中處理器核的數量以及所述第二數據塊的預定大小確定所述第一數據塊被劃分的個數。
10.如權利要求7所述的裝置，其特徵在於，在為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間的過程中，所述數據映射單元用於確定所述每一個第二數據塊和對應的邊界數據的大小，以及根據每一個第二數據塊和對應的邊界數據的大小在對應的處理器核中申請局部存儲空間。
11.如權利要求7所述的裝置，其特徵在於，第二代碼包括第三代碼、第四代碼和第五代碼，所述第三代碼用於將與所述第二代碼對應的第二數據塊以及邊界數據從主存導入對應處理器核的局部存儲空間，所述第四代碼根據所述第一代碼的邏輯對所述第二代碼對應的第二數據塊進行處理，所述第五代碼用於將與所述第二代碼對應的第二數據塊的處理結果從對應處理器核的局部存儲空間寫回主存。
12.如權利要求11所述的裝置，其特徵在於，所述第三代碼和第五代碼為直接內存存取操作代碼(DMA)。
全文摘要
本發明提供了一種數據分布方法以及裝置，所述方法包括將第一代碼所處理的第一數據塊劃分成多個第二數據塊，其中每一個第二數據塊和一個處理器核對應；根據所述第一代碼確定每一個第二數據塊對應的邊界數據；為每一個第二數據塊和對應的邊界數據在對應的處理器核中申請局部存儲空間；以及根據所述第一代碼生成與每一個第二數據塊對應的第二代碼，所述第二代碼能在第二數據塊對應的處理器核中根據所述第一代碼的處理邏輯完成對所述第二數據塊的處理。所述方法能夠減少訪存開銷，從而提高處理器的程序執行速度。
文檔編號G06F12/08GK102968388SQ20121041758
公開日2013年3月13日 申請日期2012年10月26日 優先權日2012年10月26日
發明者王淼, 孫俊, 尤洪濤, 姜小成, 張立博, 金星, 毛智輝 申請人:無錫江南計算技術研究所