一種處理數據系統的製作方法
2023-04-24 13:14:36 1
一種處理數據系統的製作方法
【專利摘要】本發明提供一種處理數據系統，方法包括以下步驟：S1：在CPU端，獲取待處理的超材料參數數據；S2：在CPU端，將超材料參數數據存入固定內存；S3：在GPU端內存中聲明超材料單元結構的指針，指針映射到CPU端的固定內存；S4：CPU控制GPU內核函數調用指針，將多個超材料參數數據並行轉換成相應的超材料單元結構。同時本發明還提供一種數據處理系統實現上述方法。利用圖形處理單元GPU強大的圖形計算能力，實現真正意義上多線程並行轉換的方法，從根本上解決了現有方法存在的系統內存不足的問題，極大地減少了系統內存的消耗，提高了數據轉換速度。本發明常運用於超材料領域。
【專利說明】一種處理數據系統
【【技術領域】】
[0001]本發明涉及一種處理數據系統，特別涉及一種大規模數據處理方法。
【【背景技術】】
[0002]超材料的設計與應用遠超出一般材料，其複雜性和大規模數據的級別比一般材料高出幾個數量級。如何快速地將超大規模的超材料單元結構的設計數據轉化成工業標準的dxf或gerber文件,對超材料設計生產有著重大作用。
[0003]由於超材料的加工製作涉及電路板加工技術，電路板生產製造行業在加工製造中使用最通用最廣泛的電路板加工文件的格式包括dxf-Drawing Exchange File (圖形交換文件)和gerber文件。dxf是Autodesk公司開發的用於AutoCAD與其它軟體之間進行CAD數據交換的CAD數據文件格式，是一種基於矢量的ASCII文本格式，因此不同類型的計算機可通過交換dxf文件來達到交換圖形的目的，由於dxf文件可讀性好，用戶可方便地對它進行修改，編程，達到從外部圖形進行編輯，修改的目的。其作為基於CAD系統的加工信息文件而得到行業的廣泛應用。gerber文件是一種國際標準的光繪格式文件，它包含RS-274-D和RS-274-X兩種格式，它能夠控制用於繪圖的光束的狀態，形狀，粗細及在感光膜上具體的X，Y坐標感光，從而產生圖像。
[0004]目前，生成超大規模的dxf或gerber文件的方法是採用多線程技術。多線程技術是一種同時對多個任務進行控制的技術，可以同時進行多個轉換任務，從而縮短轉換設計數據所需時間。現有的採用多線程技術的轉換方法正是將數據轉換環節劃分成多個子任務來完成，每個線程獨立處理一個單元結構體，完成轉換後將數據存入相應的數組，最後，再調用文件的IO函數將數組按dxf或gerber文件的標準寫入一個文件。
[0005]基於CPU (中央處理器，Central Processing Unit)的多線程雖然使得生成文件速度有一定提高，但對於CPU這種串行模擬並行的體系結構，要實現更大的加速是不太可能的，並行線程是由多個不同的CPU時間片模擬並執行的，不是真正意義上的並行執行，雖然多核處理器中可以做到真正的並行，但由於CPU核心數有限，加速效果相比多線程沒有太多提高，從而限制了超材料設計的規模。這是由於CPU的特殊架構決定的。
[0006]以往專注於3D圖形處理的GPU(圖形處理器，Graphic Processing Unit),由於其在浮點運算、並 行計算等通用計算方面，可以提供數十倍乃至於上百倍於CPU的性能而越來越受到通用計算與科學計算領域的重視。GPU加速的優勢來自於GPU自身的硬體結構設計，如一定的並行性；高密集，高帶寬的計算能力；同時減少GPU與CPU之間的數據通信。GPU計算的模式就是，在異構協同處理計算模型中將CPU與GPU結合起來加以利用。應用程式的串行部分在CPU上運行，而計算任務繁重的部分則由GPU來加速。從用戶的角度來看，應用程式只是運行得更快了。因為應用程式利用了 GPU的高性能來提升性能。
[0007]根據圖1以及圖2所示，可以根據CPU與GPU(圖形處理器，GraphicProcessingUnit)的結構進行對比，GPU作為圖形處理器，如圖2所示,每一行結構中,第一列均為控制器和緩衝器，緊跟後面所有列為算術邏輯單元。可以得出GPU具有高度的並行性，相比CPU具有更多的算術邏輯單元，具有強大的單一運算能力。
[0008]目前,如何利用計算機技術提高dxf和gerber文件的生成速度成了超材料設計生產環節中一個重要指標，對提高超材料設計效率有著至關重要的意義。
【
【發明內容】
】
[0009]本發明針對現有技術只能對小規模數據量進行轉化，無法做到對大規模數據量處理，提供一種可以進行大規模數據轉化的方法。
[0010]本發明提供一種數據處理方法，方法包括以下步驟:
[0011]S1:在CPU端，獲取待處理的超材料參數數據；
[0012]S2:將超材料參數數據存入CPU端的固定內存；
[0013]S3:在GPU端內存中聲明超材料單元結構的指針，該指針映射到CPU端的固定內存；
[0014]S4 =CPU控制GPU內核函數使其調用指針，將多個超材料參數數據並行轉換成相應的超材料單元結構。
[0015]在本發明的優選實施方式中，還包括步驟S5:將S4中得到的超材料單元結構保存至實體數組。
[0016]在本發明的優選實施方式中，還包括步驟S6:將實體數組輸出至一個或多個標準文件中。
[0017]在本發明的優選實施方式中，固定內存始終存在於物理內存中。
[0018]在本發明的優選實施方式中，超材料參數數據為結構體，結構體的數據結構包括:超材料單元結構的參數信息，以及超材料坐標信息。
[0019]在本發明的優選實施方式中，標準文件為工業標準的dxf或gerber文件。
[0020]在本發明的優選實施方式中，dxf文件為AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024格式中的一種或幾種。
[0021 ] 在本發明的優選實施方式中，gerber文件為RS-274-X格式或RS-274-D格式。
[0022]本發明還涉及一種生成超材料單元結構的系統，包括以下模塊:
[0023]數據獲取模塊:用於在CPU端，獲取待處理的多個超材料參數數據；
[0024]數據載入模塊:與數據獲取模塊連接，用於將超材料參數數據存入CPU端的固定內存；
[0025]數據映射模塊:與數據載入模塊連接，用於在GPU端內存中聲明超材料單元結構的指針，該指針映射到CPU端的固定內存；
[0026]數據轉換模塊:與數據映射模塊連接，實現CPU控制GPU內核函數使其調用指針，將多個超材料參數數據並行轉換成相應的超材料單元結構。
[0027]本發明針對現有技術的不足，利用圖形處理單元GPU強大的圖形計算能力實現真正意義上多線程並行轉換的方法，從根本上解決了現有方法存在的系統內存不足的問題，極大地減少了系統內存的消耗，和提高了數據轉換速度。
【【專利附圖】
【附圖說明】】
[0028]圖1為CPU的結構示意圖；[0029]圖2為GPU的結構示意圖；
[0030]圖3是本發明數據處理方法的數據轉換關係圖；
[0031]圖4是本發明數據處理方法的具體流程圖；
[0032]圖5是本發明單個超材料參數數據的數據結構示意圖。
【【具體實施方式】】
[0033]下面結合附圖和實施例對本發明進行詳細說明。
[0034]圖3、4是本發明數據處理方法的流程圖；
[0035]圖3、4所示的數據處理方法包括以下步驟:
[0036]S1:在CPU端，獲取待處理的超材料參數數據；
[0037]在步驟SI中，超材料參數數據包括參數長，寬，高，介電常數以及磁導率也不僅僅限於上述參數，超材料參數數據的數據結構示意圖如圖5所示，本發明的創新點在於設計了一種便於轉換的超材料數據結構，較現有方法，更有效的對超材料參數數據進行管理，減少了不同單元結構數據的出錯率。
[0038]S2:在CPU端，將超材料參數數據存入固定內存；
[0039]在步驟S2中，固定內存(pinned memory)始終存在於物理內存中。
[0040]S3:在GPU端內存中聲明超材料單元結構的指針，指針映射到CPU端的固定內存；
[0041]S4 =CPU控制GPU內核函數調用指針，將多個超材料參數數據並行轉換成相應的超材料單元結構。
[0042]本發明的創新點在於，使用CPU端的分頁內存，並設置與GPU內存映射，避免了 GPU內存不足的缺點，使得轉換超大超材料單元結構也能順利完成；在GPU端，聲明超材料結構單元的指針，並調用GPU的內核函數設置GPU內存與CPU內存的映射關係。接著，利用GPU的低開銷線程對每個單元結構進行一一轉換。例如，假設GPU可以一次處理10組超材料參數數據，倘若在CPU中運行，為串行運行一次只能處理一組超材料參數數據，即串行處理時間約為10個單位時間，而致使效率低下。倘若在在GPU中運行，預設GPU端內存至CPU端內存的映射，GPU端內存存儲超材料參數數據在CPU端內存的物理位置，GPU調用內核函數，可並行的對10組超材料參數數據進行運算，大大減低了處理時間。
[0043]轉換過程結束後，將所得的超材料單元結構保存至實體數組。將實體數組輸出至一個或多個工業標準文件中。工業標準文件可以按照dxf或gerber文件的標準生成，但也不僅僅限於上述文件。
[0044]其中，可生成不同版本的標準dxf文件，dxf文件為AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024格式中的一種或幾種；也可生成標準gerber文件如RS-274-X格式或RS-274-D格式，但也不僅僅限於上述格式。
[0045]本發明還涉及一種生成超材料單元結構的系統，包括以下模塊:
[0046]數據獲取模塊:用於在CPU端，獲取待處理的多個超材料參數數據；超材料參數數據的數據結構示意圖如圖5所示，超材料參數數據包括參數長，寬，高，介電常數以及磁導率也不僅僅限於上述參數；
[0047]數據載入模塊:與數據獲取模塊連接，用於在CPU端，將超材料參數數組存入固定內存；固定內存始終存在於物理內存中；[0048]數據映射模塊:與數據載入模塊連接，用於在GPU端內存中聲明超材料單元結構的指針，指針映射到CPU端的固定內存；運用這種映射方法，可以將參數數據存入CPU內存中，而GPU內存只需存入映射的指針即可，也可以達到調用GPU內核函數來進行並行轉換超材料參數數據的效果。
[0049]數據轉換模塊:與所屬數據映射模塊連接，用於控制GPU將超材料參數數組轉換成相應的超材料單元結構。
[0050]數據存儲模塊:與數據轉換模塊連接，用於將從數據轉換模塊得到的超材料單元結構保存至實體數組；
[0051]數據輸出模塊:與數據存儲模塊連接，用於將將實體數組輸出至一個或多個工業標準文件中。工業標準文件可以為dxf或gerber.文件，也不僅僅限於上述類型文件。
[0052]本發明針對現有技術的不足，利用圖形處理單元GPU強大的圖形計算能力實現真正意義上多線程並行轉換的方法，從根本上解決了現有方法存在的系統內存不足的問題，極大地減少了系統內存的消耗，和提高了數據轉換速度。填補了市場上沒有任何一款軟體產品能夠生成超大規模的dxf和gerber文件的空白，極具應用意義。
[0053]在上述實施例中，僅對本發明進行了示範性描述，但是本領域技術人員在閱讀本專利申請後可以在不脫離本發明的精神和範圍的情況下對本發明進行各種修改。
【權利要求】
1.一種數據處理方法，其特徵在於，所述方法包括以下步驟:S1:在CPU端，獲取待處理的多個超材料參數數據；S2:將所述超材料參數數據存入CPU端的固定內存；S3:在GPU端內存中聲明超材料單元結構的指針，所述指針映射到所述CPU端的所述固定內存；S4:CPU控制GPU內核函數使其調用所述指針，將所述多個超材料參數數據並行轉換成相應的超材料單元結構。
2.根據權利要求1所述的數據處理方法，其特徵在於，所述步驟S4後還包括步驟S5:將S4中得到的所述超材料單元結構保存至實體數組。
3.根據權利要求2所述的數據處理方法，其特徵在於，所述步驟S5後還包括步驟S6:將所述實體數組輸出至一種或多種格式的標準文件中。
4.根據權利要求1所述的數據處理方法，其特徵在於，所述固定內存始終存在於物理內存中。
5.根據權利要求1所述的數據處理方法，其特徵在於，所述超材料參數數據為結構體，所述結構體的數據結構包括:超材料單元結構的參數信息，以及超材料單元結構的坐標信肩、O
6.根據權利要求3所述的數據處理方法，其特徵在於，所述標準文件為工業標準的dxf或gerber文件。
7.根據權利要求6所述的數據處理方法，其特徵在於，所述dxf文件為AC1006、AC1009、AC1012、AC1015、AC1018、AC1021、AC1024 格式中的一種或幾種。
8.根據權利要求6所述的數據處理方法，其特徵在於，所述個gerber文件為RS-274-X格式或RS-274-D格式。
9.一種數據處理系統，其特徵在於，所述系統包括:數據獲取模塊:用於在CPU端，獲取待處理的多個超材料參數數據；數據載入模塊:與所述數據獲取模塊連接，用於將所述超材料參數數據存入CPU端的固定內存；數據映射模塊:與所述數據載入模塊連接，用於在GPU端內存中聲明超材料單兀結構的指針，所述指針映射到所述CPU端的所述固定內存；數據轉換模塊:與所述數據映射模塊連接，實現CPU控制GPU內核函數使其調用所述指針，將所述多個超材料參數數據並行轉換成相應的超材料單元結構。
【文檔編號】G06F17/50GK103745020SQ201310062376
【公開日】2014年4月23日 申請日期:2013年2月28日 優先權日:2013年2月28日
【發明者】王新 申請人:王新