一種非規則流中高維數據流的gpu處理方法
2023-06-01 08:39:21 1
一種非規則流中高維數據流的gpu處理方法
【專利摘要】本發明公開了一種非規則流中高維數據流的GPU處理方法，屬於高維數據流的處理方法，採用基於GPU的數據流並行計算模型對數據源的非規則流中高維數據流進行並行計算處理，處理後傳給客戶端；CPU主機是邏輯判斷和控制的核心，並負責串行計算；概要數據結構的全部或者部分轉移到GPU設備的顯存中；當客戶端提出查詢請求時，CPU主機負責調用GPU設備的內核程序，在GPU設備顯存中的概要數據結構上執行查詢算法內核，並將查詢結果返回CPU主機，最後再由CPU主機將結果轉換為可讀的最終查詢結果返回給客戶端。本發明能夠在線精確地識別同步滑動窗口模式下高維數據流之間的相關性，具有顯著的速度優勢，很好地滿足了高維數據流的實時性需求。
【專利說明】一種非規則流中高維數據流的GPU處理方法
【技術領域】
[0001]本發明涉及一種高維數據流的處理方法，具體地說是一種非規則流中高維數據流的GPU處理方法。
【背景技術】
[0002]GPU (Graphic Processing Unit),中文翻譯為「圖形處理器」。GPU是顯卡的「心臟」，也就相當於CPU在電腦中的作用。GPU具有相當高的內存帶寬，以及大量的執行單元，它可幫助CPU進行一些複雜的計算工作，使顯卡減少了對CPU的依賴。
[0003]傳統上，GPU的應用被局限於處理圖形渲染計算任務，無疑是對計算資源的極大浪費。隨著GPU可編程性的不斷提高，利用GPU完成通用計算的研究漸漸活躍起來。將GPU用於圖形值染以外領域的計算成為GPGPU (General-purpose computing on graphicsprocessing units,基於GPU的通用計算)。GPGPU計算通常採用CPU+GPU異構模式，由CPU負責執行複雜邏輯處理和事務管理等不適合數據並行的計算，由GPU負責計算密集型的大規模數據並行計算。這種利用GPU強大處理能力和高帶寬彌補CPU性能不足的計算方式在發掘計算機潛在的性能，在成本和性價比方面有顯著優勢。但是傳統的GPGPU受硬體可編程和開發方式的制約，應用領域受到了限制，開發難度也很大。
[0004]2007 年，由 NVIDIA 推出的 CUDA (Compute Unified Device Architecture,統一計算設備架構)，這一編程接口彌補了傳統GPGPU的不足。利用CUDA編程接口，可以用C語言直接調用GPU資源，而無需將其映射到圖形API，為GPU的非圖形編程普及消除了障礙。
[0005]CUDA模型將CPU作為主機(Host)，GPU作為協處理器(co-processor )或設備(device).兩者協同工作。CPU負責進行邏輯性強的事物處理和串行計算，GPU則專注於執行高度線程化的並行處理任務。CPU、GPU各自擁有相互獨立的存儲器地址空間:主機端內存和設備端顯存。一旦確定了程序中的並行計算函數(kernel)，就考慮把這部分計算交給GPU。
[0006]現實生活中，高速網絡故障診斷，零售業務中的交易數據流、在線拍賣、交易日誌、Web跟蹤和個性化、醫學監測、通信領域中的電話記錄數據流、網絡監測中的數據包流、環境溫度的監測數據以及衛星傳回的圖像數據流等形成了一種與傳統資料庫中靜態數據不同的數據形態。數據流中的數據到達是快速、時變、不可預測和無限的數據流形式，不可能完全存儲原始數據。而且這些數據流產生的數據量在多個應用領域中快速增長，而且產生數據流的應用通常要求在線實時處理。如何及時有效地處理數據流，從中挖掘出有用的知識，將對多個應用領域產生重大意義。
[0007](數據流的定義)數據流實際上就是連續移動的元素隊伍，其中的元素是由相關數據的集合組成。令t表示任一時間戳，at表示在該時間戳到達的數據，流數據可以表示成{--?，at-l，at，at+l，…區別於傳統應用模型，流數據模型具有以下4點共性:(I)、數據實時到達；(2)、數據到達次序獨立，不受應用系統所控制；(3)、數據規模宏大且不能預知其最大值；(4)、數據一經處理，除非特意保存，否則不能被再次取出處理，或者再次提取數據代價昂貴
同時，流是以雙重身份出現的:(1)、作為一個軟體可見的程序變量存在。(2)、作為一個硬體可見的管理單位存在。實際應用中流往往具有很多屬性，當流被映射到硬體中時，這些屬性仍然被保持或者變個形式被硬體所見。
[0008]一維順序訪問的定長流稱為規則流，除此之外的流稱為非規則流。
[0009]無論單維數據流還是多維數據流，數據流應遵循的約束包括:(I)、數據流始終是大量數據聚合成的一維連續數據結構，其訪問的索引可以不連續，但流中的數據始終是連續成批組織的。(2)、流具有方向性。在對流的一次引用期間，對流不能既作為輸入流又作為輸出流。(3)、流作為一個完整的整體，在生命周期內是不可以切割或者合併的，但可以允許派生和複製，派生流和複製的流與原來的流是不同的流。(4)、流具有唯一標誌。(5)、流具有長度屬性，長度屬性有兩個含義，一個是其初始長度，一個是其當前訪問長度，但無論如何對流元素的任何訪問包括索引訪問不能越界。(6)、流本身具有類型屬性，流體系結構以及流處理模塊都能識別流的類型，並根據類型做出不同的反應。
[0010]非規則流則部分的鬆弛了這些約束。(I)、非規則流中元素的訪問序列可能是間斷的、跳躍或重複的。(2)、非規則流中元素的訪問序列可能是動態產生的，還可能依據條件取捨。(3)、由於非規則流中元素的訪問序列的不確定性，使得其實際長度和訪問長度並無特殊關係，且兩者都有可能是不確定的。(4)、非規則流中元素的結構可能是多種多樣的，不同元素所佔的存儲空間可以不一樣。(5)、規則流中，對流中每個元素上的計算是相同的，而非規則流中，可以針對各個流元素的位置、值的不同的計算處理。
[0011]傳統的數據處理技術將所有數據存放到資料庫或者數據倉庫中；系統響應用戶提交的DML語句，搜索數據存儲媒介，返回查詢結果。當數據規模很大時，數據往往以磁碟或者磁帶為介質，因而執行查詢操作需要大量的I/O交換，效率低下，不能適應實時系統的需求。
[0012]由於數據流本身不斷變化且難以預測的特點，以及數據流突發(Burst)的產生對數據流負載能力提出了更高的要求，同時數據流處理的串行精確算法因為時間開銷過大而難以滿足實時性需求，因此研究和利用高速的流處理器提高數據流處理吞吐量成為數據流處理研究領域的熱點問題之一。
【發明內容】
[0013]本發明的技術任務是提供一種能夠在線精確地識別同步滑動窗口模式下高維數據流之間的相關性，具有顯著的速度優勢，很好地滿足了高維數據流的實時性需求，可以作為通用的分析方法廣泛應用於高維數據流挖掘領域的一種非規則流中高維數據流的GPU處理方法。
[0014]本發明的技術任務是按以下方式實現的，
一種非規則流中高維數據流的GPU處理方法，採用基於GPU的數據流並行計算模型對數據源的非規則流中高維數據流進行並行計算處理，處理後傳給客戶端；基於GPU的數據流並行計算模型包括CPU主機和GPU設備，CPU主機是邏輯判斷和控制的核心，並負責串行計算；計算密集和數據密集的部分轉移到GPU設備上計算，將概要數據結構的全部或者部分轉移到GPU設備的顯存中； (PU主機負責從流數據源端獲取數據，對數據進行流速率調節，屬性包裝和數據過濾，進而進行緩衝，根據流速率調節後的情況，CPU主機調度將負責負載平衡和決定何時啟動GPU設備；
在GPU設備上，負責存儲數據流的概要數據結構，並不斷將數據流轉換為概要數據結構，實時處理新流入的數據流，過期的數據流將在GPU設備的顯存上直接拋棄；
當客戶端提出查詢請求時，CPU主機負責調用GPU設備的內核程序，在GPU設備顯存中的概要數據結構上執行查詢算法內核，並將查詢結果返回CPU主機，最後再由CPU主機將結果轉換為可讀的最終查詢結果返回給客戶端。
[0015]基於GPU的數據流並行計算模型包括六層架構:
(I )、時序數據處理層:時序數據處理層中的數據是符合非規則流的一些約束的含高維屬性的元組，該層的任務是由CPU主機進行處理的，對原數據流分三次處理:流速率調節、屬性包裝和數據過濾；
(2)數據映射層:對於圖像相關的數據流，將CPU主機內的數組結構映射為GPU設備的紋理結構，事先建立對應表達式C(X)=G(y)，通過數據CU)屬性和紋理數據屬性G(y)建立映射關係，找出CPU主機和GPU設備內兩類數據的一一對應關係，利用通用計算數據結構對應紋理在GPU存放紋理各個屬性的方式；
(3)數據緩衝層:包含兩級數據緩衝池，維護如下幾類數據緩衝的存儲:註冊的查詢計劃緩衝、同步數據查詢操作工作區緩衝、數據流歷史概要緩衝、數據流緩衝；數據緩衝藉助兩種類型的隊列實現傳感器數據操作(推式隊列)和傳統關係數據操作(拖式隊列)，減少CPU主機和GPU設備間的數據交換頻率，提高高維數據流並行計算的密集程度；數據緩衝層是圖形處理器對高維數據流並行處理的基本單位；經過數據清理以及映射處理的緩衝窗口作為普通的子窗口更新到滑動窗口中；
(4)滑動窗口層:矩陣流以隊列的方式實現，隊列中存放數據流的高維屬性，進入滑動窗口 ；更新矩陣流時(即時間窗前滾)，用新元組替換掉最舊的元組，實現同步高維數據流概要數據結構增量歸一化；
(5)概要數據抽取層:生成高維數據流的概要數據結構，存放概要數據的層次；實際上，高維數據流最便於用二維矩陣表示，每行或每列表示一條數據流，每個元素表示各個維度的屬性；對於高維數據流此層分三個區域，根據高維數據流的特點分別採用不等概行向兼列向採樣技術、小波技術、數據立方技術進行概要數據抽取；
(6)查詢分析處理層:完成各種基本查詢和複雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續查詢請求；複雜分析處理操作則是在信息提取層生成的概要信息基礎上，進一步研究數據流中各種因素的性質和相互之間的關係，基本查詢操作既可以直接在預處理過的數據流上執行，也可以在概要上執行。
[0016]時序數據處理層中，對原數據流的處理如下:
流速率調節負責負載平衡和決定何時啟動GPU設備的內核；當數據流的流量達到一定規模時，可以啟動GPU設備的內核對數據流進行處理，作為一種提高數據流處理性能的手段；如果啟動GPU設備的內核協處理數據流，CPU主機每次以較大的分塊將數據交換到GPU設備，利用GPU設備的圖形處理器密集的數據計算能力和高內存帶寬的特性對數據流進行高速處理； 屬性包裝和數據過濾負責對數據流進行加工以改善數據流的質量，為數據流的連續查詢和複雜分析打下基礎，對數據流進行加工包括對數據流進行去噪、壓縮編碼、修正以減少存儲空間和傳輸時間；在整個時序數據處理層中元組按時間t有序，如果任一高維數據流在時刻t未接收到元組，則以全O的元組代替，即允許稀疏數據流矩陣存在。
[0017]GPU設備中包括增量維護緩衝及滑動窗口內核、統一化內核、近似降維處理內核、挖掘類內核；增量維護緩衝及滑動窗口內核特別適合高維流的處理，與高維數據流模式的定義十分吻合，負責生成和增量維護緩衝窗口和滑動窗口摘要信息；統一化內核負責執行調整高維數據流格式任務；近似降維處理內核是在滑動窗口的模式下進行概要結構生成，完成低階近似降維處理；挖掘類內核以摘要二維概要矩陣為輸入執行多數據流挖掘算法。
[0018]滑動窗口層的數據流採用數據流立方結構，將η條高維數據流組織成一個數據流立方結構，為了分析η條數據流中任意兩條中任意維度上的相關性，每層代表一條高維數據流，每一層上的分塊代表各維度上的屬性，若某條數據流的某維屬性為空，則數據立方中對應的分塊置為O。
[0019]將數據流立方結構抽象到一個計算網格上，並通過線程塊索引(blockldx)訪問滑動窗口中的二維概要數據矩陣；每條數據流對應一個窗口，每個窗口上映射為一個二維矩陣，在該矩陣上進行不等概行向兼列向採樣，得到標有矩陣行和列的重要測度。
[0020]本發明的一種非規則流中高維數據流的GPU處理方法具有以下優點:
1、能夠在線精確地識別同步滑動窗口模式下高維數據流之間的相關性，具有顯著的速度優勢，很好地滿足了高維數據流的實時性需求，可以作為通用的分析方法廣泛應用於高維數據流挖掘領域；
2、適合於圖形處理器並行計算的數據流管理模型，選取適合圖形處理器並行計算的數據概要結構和相應模型，從而形成一個擴展性好，具有通用意義的數據流實時處理的計算模型；
3、由於基於GPU的數據流並行計算模型使用二維概要數據矩陣對多條高維數據流進行密集組織和統一索引，使得該框架同時適合對多數據流其他的並行計算要求，具有較強通用性；
4、採用數據流立方結構，在計算的時候，單維數據流那樣組織成η階矩陣，而實際上只需要計算該矩陣的上三角或者下三角即可，從而造成了存儲器空間的浪費，而本數據流立方，可以每層代表的是不同的數據流，所以節省了存儲空間；
5、數據流處理算法具有數據密集，計算耗時，應用於每一個數據的算法一致這三個特點，完全可以映射到SMT模型中編寫並行程序，具有圖像處理器並行計算的優勢。
【專利附圖】
【附圖說明】
[0021]下面結合附圖對本發明進一步說明。
[0022]附圖1為一種非規則流中高維數據流的GPU處理方法的基於GPU的數據流並行計算模型的框架圖；
附圖2為一種非規則流中高維數據流的GPU處理方法的GPU設備中高維數據流的框架圖；
附圖3為一種非規則流中高維數據流的GPU處理方法的數據流立方結構的框架圖。
【具體實施方式】
[0023]參照說明書附圖和具體實施例對本發明的一種非規則流中高維數據流的GPU處理方法作以下詳細地說明。
[0024]實施例1:
本發明的一種非規則流中高維數據流的GPU處理方法，採用基於GPU的數據流並行計算模型對數據源的非規則流中高維數據流進行並行計算處理，處理後傳給客戶端；基於GPU的數據流並行計算模型包括CPU主機和GPU設備，CPU主機是邏輯判斷和控制的核心，並負責串行計算；計算密集和數據密集的部分轉移到GPU設備上計算，將概要數據結構的全部或者部分轉移到GPU設備的顯存中；
(PU主機負責從流數據源端獲取數據，對數據進行流速率調節，屬性包裝和數據過濾，進而進行緩衝，根據流速率調節後的情況，CPU主機調度將負責負載平衡和決定何時啟動GPU設備；
在GPU設備上，負責存儲數據流的概要數據結構，並不斷將數據流轉換為概要數據結構，實時處理新流入的數據流，過期的數據流將在GPU設備的顯存上直接拋棄；
當客戶端提出查詢請求時，CPU主機負責調用GPU設備的內核程序，在GPU設備顯存中的概要數據結構上執行查詢算法內核，並將查詢結果返回CPU主機，最後再由CPU主機將結果轉換為可讀的最終查詢結果返回給客戶端。
[0025]基於GPU的數據流並行計算模型包括六層架構:
(I )、時序數據處理層:時序數據處理層中的數據是符合非規則流的一些約束的含高維屬性的元組，該層的任務是由CPU主機進行處理的，對原數據流分三次處理:流速率調節、屬性包裝和數據過濾；
(2)數據映射層:對於圖像相關的數據流，將CPU主機內的數組結構映射為GPU設備的紋理結構，事先建立對應表達式C(X)=G(y)，通過數據CU)屬性和紋理數據屬性G(y)建立映射關係，找出CPU主機和GPU設備內兩類數據的一一對應關係，利用通用計算數據結構對應紋理在GPU存放紋理各個屬性的方式；
(3)數據緩衝層:包含兩級數據緩衝池，維護如下幾類數據緩衝的存儲:註冊的查詢計劃緩衝、同步數據查詢操作工作區緩衝、數據流歷史概要緩衝、數據流緩衝；數據緩衝藉助兩種類型的隊列實現傳感器數據操作(推式隊列)和傳統關係數據操作(拖式隊列)，減少CPU主機和GPU設備間的數據交換頻率，提高高維數據流並行計算的密集程度；數據緩衝層是圖形處理器對高維數據流並行處理的基本單位；經過數據清理以及映射處理的緩衝窗口作為普通的子窗口更新到滑動窗口中；
(4)滑動窗口層:矩陣流以隊列的方式實現，隊列中存放數據流的高維屬性，進入滑動窗口 ；更新矩陣流時(即時間窗前滾)，用新元組替換掉最舊的元組，實現同步高維數據流概要數據結構增量歸一化；
(5)概要數據抽取層:生成高維數據流的概要數據結構，存放概要數據的層次；實際上，高維數據流最便於用二維矩陣表示，每行或每列表示一條數據流，每個元素表示各個維度的屬性；對於高維數據流此層分三個區域，根據高維數據流的特點分別採用不等概行向兼列向採樣技術、小波技術、數據立方技術進行概要數據抽取； (6)查詢分析處理層:完成各種基本查詢和複雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續查詢請求；複雜分析處理操作則是在信息提取層生成的概要信息基礎上，進一步研究數據流中各種因素的性質和相互之間的關係，基本查詢操作既可以直接在預處理過的數據流上執行，也可以在概要上執行。
[0026]實施例2:
本發明的一種非規則流中高維數據流的GPU處理方法，採用基於GPU的數據流並行計算模型對數據源的非規則流中高維數據流進行並行計算處理，處理後傳給客戶端；基於GPU的數據流並行計算模型包括CPU主機和GPU設備，CPU主機是邏輯判斷和控制的核心，並負責串行計算；計算密集和數據密集的部分轉移到GPU設備上計算，將概要數據結構的全部或者部分轉移到GPU設備的顯存中；
(PU主機負責從流數據源端獲取數據，對數據進行流速率調節，屬性包裝和數據過濾，進而進行緩衝，根據流速率調節後的情況，CPU主機調度將負責負載平衡和決定何時啟動GPU設備；
在GPU設備上，負責存儲數據流的概要數據結構，並不斷將數據流轉換為概要數據結構，實時處理新流入的數據流，過期的數據流將在GPU設備的顯存上直接拋棄；
當客戶端提出查詢請求時，CPU主機負責調用GPU設備的內核程序，在GPU設備顯存中的概要數據結構上執行查詢算法內核，並將查詢結果返回CPU主機，最後再由CPU主機將結果轉換為可讀的最終查詢結果返回給客戶端。
[0027]基於GPU的數據流並行計算模型包括六層架構:
(I )、時序數據處理層:時序數據處理層中的數據是符合非規則流的一些約束的含高維屬性的元組，該層的任務是由CPU主機進行處理的，對原數據流分三次處理:流速率調節、屬性包裝和數據過濾；
(2)數據映射層:對於圖像相關的數據流，將CPU主機內的數組結構映射為GPU設備的紋理結構，事先建立對應表達式C(X)=G(y)，通過數據CU)屬性和紋理數據屬性G(y)建立映射關係，找出CPU主機和GPU設備內兩類數據的一一對應關係，利用通用計算數據結構對應紋理在GPU存放紋理各個屬性的方式；
(3)數據緩衝層:包含兩級數據緩衝池，維護如下幾類數據緩衝的存儲:註冊的查詢計劃緩衝、同步數據查詢操作工作區緩衝、數據流歷史概要緩衝、數據流緩衝；數據緩衝藉助兩種類型的隊列實現傳感器數據操作(推式隊列)和傳統關係數據操作(拖式隊列)，減少CPU主機和GPU設備間的數據交換頻率，提高高維數據流並行計算的密集程度；數據緩衝層是圖形處理器對高維數據流並行處理的基本單位；經過數據清理以及映射處理的緩衝窗口作為普通的子窗口更新到滑動窗口中；
(4)滑動窗口層:矩陣流以隊列的方式實現，隊列中存放數據流的高維屬性，進入滑動窗口 ；更新矩陣流時(即時間窗前滾)，用新元組替換掉最舊的元組，實現同步高維數據流概要數據結構增量歸一化；
(5)概要數據抽取層:生成高維數據流的概要數據結構，存放概要數據的層次；實際上，高維數據流最便於用二維矩陣表示，每行或每列表示一條數據流，每個元素表示各個維度的屬性；對於高維數據流此層分三個區域，根據高維數據流的特點分別採用不等概行向兼列向採樣技術、小波技術、數據立方技術進行概要數據抽取； (6)查詢分析處理層:完成各種基本查詢和複雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續查詢請求；複雜分析處理操作則是在信息提取層生成的概要信息基礎上，進一步研究數據流中各種因素的性質和相互之間的關係，基本查詢操作既可以直接在預處理過的數據流上執行，也可以在概要上執行。
[0028]時序數據處理層中，對原數據流的處理如下:
流速率調節負責負載平衡和決定何時啟動GPU設備的內核；當數據流的流量達到一定規模時，可以啟動GPU設備的內核對數據流進行處理，作為一種提高數據流處理性能的手段；如果啟動GPU設備的內核協處理數據流，CPU主機每次以較大的分塊將數據交換到GPU設備，利用GPU設備的圖形處理器密集的數據計算能力和高內存帶寬的特性對數據流進行高速處理；
屬性包裝和數據過濾負責對數據流進行加工以改善數據流的質量，為數據流的連續查詢和複雜分析打下基礎，對數據流進行加工包括對數據流進行去噪、壓縮編碼、修正以減少存儲空間和傳輸時間；在整個時序數據處理層中元組按時間t有序，如果任一高維數據流在時刻t未接收到元組，則以全O的元組代替，即允許稀疏數據流矩陣存在。
[0029]GPU設備中包括增量維護緩衝及滑動窗口內核、統一化內核、近似降維處理內核、挖掘類內核；增量維護緩衝及滑動窗口內核特別適合高維流的處理，與高維數據流模式的定義十分吻合，負責生成和增量維護緩衝窗口和滑動窗口摘要信息；統一化內核負責執行調整高維數據流格式任務；近似降維處理內核是在滑動窗口的模式下進行概要結構生成，完成低階近似降維處理；挖掘類內核以摘要二維概要矩陣為輸入執行多數據流挖掘算法。
[0030]滑動窗口層的數據流採用數據流立方結構，將η條高維數據流組織成一個數據流立方結構，為了分析η條數據流中任意兩條中任意維度上的相關性，每層代表一條高維數據流，每一層上的分塊代表各維度上的屬性，若某條數據流的某維屬性為空，則數據立方中對應的分塊置為O。
[0031]將數據流立方結構抽象到一個計算網格上，並通過線程塊索引(blockldx)訪問滑動窗口中的二維概要數據矩陣；每條數據流對應一個窗口，每個窗口上映射為一個二維矩陣，在該矩陣上進行不等概行向兼列向採樣，得到標有矩陣行和列的重要測度。如圖3中，利用線程塊計算S3和SI的某一維度屬性的相關性，通過線程塊索引到窗口 3和窗口 I上概要矩陣上，進行處理；在計算網格中的每一個線程塊中，利用塊內的512個線程，每次並行增量更新的方式維護兩個數據流樣本矩陣的協差陣S21，S22和各自的方差陣Sll，S12；然後對高維的矩陣進行列向和行向上的採樣實現維數約簡，最後並行計算特徵值及其特徵向量，得到最終結果；如果線程塊的行索引小於或等於列索引，則說明該線程塊不在下數據流立方內，直接返回。
[0032]以上說明僅為本發明較佳的【具體實施方式】，但本發明的保護範圍並不局限於此，任何熟悉本【技術領域】的技術人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應該以權力要求書的保護範圍為準。
【權利要求】
1.一種非規則流中高維數據流的GPU處理方法，其特徵在於採用基於GPU的數據流並行計算模型對數據源的非規則流中高維數據流進行並行計算處理，處理後傳給客戶端；基於GPU的數據流並行計算模型包括CPU主機和GPU設備，CPU主機是邏輯判斷和控制的核心，並負責串行計算；計算密集和數據密集的部分轉移到GPU設備上計算，將概要數據結構的全部或者部分轉移到GPU設備的顯存中； (PU主機負責從流數據源端獲取數據，對數據進行流速率調節，屬性包裝和數據過濾，進而進行緩衝，根據流速率調節後的情況，CPU主機調度將負責負載平衡和決定何時啟動GPU設備； 在GPU設備上，負責存儲數據流的概要數據結構，並不斷將數據流轉換為概要數據結構，實時處理新流入的數據流，過期的數據流將在GPU設備的顯存上直接拋棄； 當客戶端提出查詢請求時，CPU主機負責調用GPU設備的內核程序，在GPU設備顯存中的概要數據結構上執行查詢算法內核，並將查詢結果返回CPU主機，最後再由CPU主機將結果轉換為可讀的最終查詢結果返回給客戶端。
2.根據權利要求1所述的一種非規則流中高維數據流的GPU處理方法，其特徵在於基於GPU的數據流並行計算模型包括六層架構: (1)、時序數據處理層:時序數據處理層中的數據是符合非規則流的一些約束的含高維屬性的元組，該層的任務是由CPU主機進行處理的，對原數據流分三次處理:流速率調節、屬性包裝和數據過濾； (2)數據映射層:對於圖像相關的數據流，將CPU主機內的數組結構映射為GPU設備的紋理結構，事先建立對應表達式，通過數據屬性和紋理數據屬性建立映射關係，找出CPU主機和GPU設備內兩類數據的 對應關係； (3)數據緩衝層:包含兩級數據緩衝池，維護如下幾類數據緩衝的存儲:註冊的查詢計劃緩衝、同步數據查詢操作工作區緩衝、數據流歷史概要緩衝、數據流緩衝；經過數據清理以及映射處理的緩衝窗口作為普通的子窗口更新到滑動窗口中； (4)滑動窗口層:矩陣流以隊列的方式實現，隊列中存放數據流的高維屬性，進入滑動窗口 ；更新矩陣流時，用新元組替換掉最舊的元組； (5)概要數據抽取層:生成高維數據流的概要數據結構，存放概要數據的層次；對於高維數據流此層分三個區域，根據高維數據流的特點分別採用不等概行向兼列向採樣技術、小波技術、數據立方技術進行概要數據抽取； (6)查詢分析處理層:完成各種基本查詢和複雜分析；基本查詢處理操作完成一般的選擇、連接、投影和聚集連續查詢請求；複雜分析處理操作則是在信息提取層生成的概要信息基礎上，進一步研究數據流中各種因素的性質和相互之間的關係，基本查詢操作既可以直接在預處理過的數據流上執行，也可以在概要上執行。
3.根據權利要求2所述的一種非規則流中高維數據流的GPU處理方法，其特徵在於時序數據處理層中，對原數據流的處理如下: 流速率調節負責負載平衡和決定何時啟動GPU設備的內核；如果啟動GPU設備的內核協處理數據流，CPU主機每次以較大的分塊將數據交換到GPU設備，利用GPU設備的圖形處理器密集的數據計算能力和高內存帶寬的特性對數據流進行高速處理； 屬性包裝和數據過濾負責對數據流進行加工以改善數據流的質量，對數據流進行加工包括對數據流進行去噪、壓縮編碼、修正以減少存儲空間和傳輸時間。
4.根據權利要求2所述的一種非規則流中高維數據流的GPU處理方法，其特徵在於GTO設備中包括增量維護緩衝及滑動窗口內核、統一化內核、近似降維處理內核、挖掘類內核；增量維護緩衝及滑動窗口內核負責生成和增量維護緩衝窗口和滑動窗口摘要信息；統一化內核負責執行調整高維數據流格式任務；近似降維處理內核是在滑動窗口的模式下進行概要結構生成，完成低階近似降維處理；挖掘類內核以摘要二維概要矩陣為輸入執行多數據流挖掘算法。
5.根據權利要求2所述的一種非規則流中高維數據流的GPU處理方法，其特徵在於滑動窗口層的數據流採用數據流立方結構，將η條高維數據流組織成一個數據流立方結構，每層代表一條高維數據流，每一層上的分塊代表各維度上的屬性，若某條數據流的某維屬性為空，則數據立方中對應的分塊置為O。
6.根據權利要求5所述的一種非規則流中高維數據流的GPU處理方法，其特徵在於將數據流立方結構抽象到一個計算網格上，並通過線程塊索引訪問滑動窗口中的二維概要數據矩陣；每條數據流對應一個窗口，每個窗口上映射為一個二維矩陣，在該矩陣上進行不等概行向兼列向採樣，得到標有矩陣行和列的重要測度。
【文檔編號】G06F9/48GK104391679SQ201410656028
【公開日】2015年3月4日 申請日期:2014年11月18日 優先權日:2014年11月18日
【發明者】盧曉偉, 張廣勇, 周勇 申請人:浪潮電子信息產業股份有限公司