一種適應協處理器的混合olap查詢處理方法
2023-05-28 20:51:36
一種適應協處理器的混合olap查詢處理方法
【專利摘要】本發明涉及一種適應協處理器的混合OLAP查詢處理方法，採用MOLAP模型將多維數據集組織為空間CUBE，每一個存儲單元對應唯一的多維空間坐標；構建虛擬多維數據CUBE；將事實數據壓縮存儲；將n個維坐標ID和度量屬性存儲為列數組；在semi-MOLAP模型中多維查詢的處理過程被分解為構建虛擬數據CUBE、n維過濾和聚集計算，通過創建維過濾向量、維坐標ID列在維過濾向量上的過濾操作以及基於度量索引的聚集計算實現基於數組和向量的簡單計算過程，並將其中數據量少但計算量較大的n維過濾操作分配給Coprocessor執行；在並發查詢處理時，CPU與Coprocessor上的計算能夠實現流水並行處理。本發明支持多維查詢處理，能有效提高大數據存儲、訪問和處理效率，可以廣泛在GPU、GPGPU以及新的Intel Phi Coprocessor平臺中應用。
【專利說明】—種適應協處理器的混合0查詢處理方法
【技術領域】
[0001]本發明涉及一種資料庫領域中01^9(聯機分析處理)查詢處理方法，特別是關於一種基於數組存儲和向量計算的適應協處理器'，包括⑶II圖形處理器和英特爾？卜1協處理器)的混合0「？查詢處理方法。
【背景技術】
[0002]性能是資料庫最重要的指標，也是資料庫研究長期關注的目標。硬體技術的飛速發展促進了資料庫性能的提升，硬體對資料庫性能提升的推動作用主要體現在兩個方面:大容量內存開始取代傳統的磁碟成為新的高性能數據存儲設備；多核及眾核協處理器(￠01)1-0068801-)提供高達幾百至幾千的並行計算資源實現高並行數據處理。在新的硬體技術支持下，內存計算⑶卹此丨叩，頂0成為企業級數據處理的主流技術。但是，單純的數據存儲從磁碟向內存的升級受到新的「111611101*7 ^11 (內存牆制約，需要在多級緩存、多通道內存訪問、多/眾核並行計算等技術的共同支持下才能充分地發揮先進硬體的作用，提升資料庫的性能。因此，內存計算的高性能不僅僅取決於內存，還取決於現代多/眾核處理器的強大並行計算能力，即內存計算需要擴展為內存多/眾核並行計算(111-1611101-7血11:1-/1冊7-⑶!"61110)。以附(通用圖形處理器)和1111:61 ？111 031)1X1068801'為代表的協處理器計算技術是當前眾核並行計算的代表性技術，由於其強大的硬體級並行計算能力和不同於通用處理器的硬體架構使其成為新興的高性能內存計算研究領域的熱點技術。由於1111:61 ？111 001)1X1(368801'技術較新，資料庫技術在其上的研究剛剛起步，當前學術界的研究主要集中在0^/0^混合平臺上的關係操作優化技術，尤其是0「？(分析型查詢處理)中計算代價較高的哈希連接在上的優化技術，主要技術路線是根據與0^之間的通道數據傳輸性能、並行計算性能等相關因素對混合平臺上的查詢操作基於代價模型分析創建分布式查詢優化任務，提高整體01八？查詢處理性能。從關係操作符算法實現層面上看，上的查詢優化技術大多屬於一種「調優(⑶11-(30118(310118〖皿丨叩)」技術，即在[01^0(36880:^端創建相應的內存數據結構，根據硬體特性優化配置線程等參數，根據存儲結構特性優化算法實現技術等。關係操作模型是一種迭代處理模型，需要較多的分支指令，是面向數據密集型任務而優化設計的，而中幾百甚至幾千的流處理器能夠提供強大的向量計算能力，但對於複雜分支指令、迭代處理、線程間數據同步、大數據高延遲訪問等操作的效率弱於通用處理器，客觀地說，關係操作模型並不是適合向量計算特徵的理想的0「？查詢處理。
【發明內容】
[0003]針對上述問題，本發明的目的是提供一種適應協處理器的混合01八？查詢處理方法，該方法能實現多維查詢處理，實現簡單，不依賴複雜的數據結構，能有效提高大數據存儲效率。
[0004]為實現上述目的，本發明採取以下技術方案:一種適應協處理器的混合01八？查詢處理方法，其包括以下步驟:1)採用101八？模型將多維數據集組織為數據⑶冊，每一個存儲單元對應唯一的多維空間坐標，即多維數組下標；事實數據存儲所使用的隱式的多維數組下標，代表其在多維數組中的物理位置採用861111-101^？模型將多維數據集用邏輯多維數組建模，構建虛擬多維數據:3)採用關係存儲方式將事實數據壓縮存儲，只存儲虛擬多維數組地址空間中實際的事實數據，並附加上邏輯多維數組地址空間中各維的坐標，與如「？模型中事實表採用外鍵和度量屬性的存儲方式相同，區別在於虛擬數據⑶82的序列化存儲中的維坐標10代表了事實數據在虛擬數據⑶冊各維上的坐標位置；幻將!1個維坐標10和度量屬性存儲為列數組，即用列數組存儲各事實數據屬性；低勢集的字符串類型屬性採用輕量字典表壓縮，數組中存儲其較短的壓縮編碼；內存資料庫和資料庫採用完全的數組物理存儲，將維表和事實表存儲為數組族，數組下標用作數組間關聯訪問的索引進行多維查詢，多維查詢是在多維數據集上按用戶指定的維或維層次抽取多維數據子集並對其進行聚集計算的過程；在10仏？模型中為在以多維數組存儲的多維數據集上按維或維層次的映射以多維數組坐標訪問數據並進行聚集計算；在如1八？模型中將事實表和相關的維表連接後按查詢條件選擇記錄並按指定的屬性進行分組聚集計算；在861111-101^？模型中，多維查詢包括單查詢處理過程和並發查詢處理過程，將多維查詢結果數據⑶82還原為原始分組屬性結果集。
[0005]所述步驟2)中，所述虛擬多維數據⑶冊構建方法為:保留數據⑶冊的邏輯空間結構，將虛擬數據⑶冊中的實際事實數據進行序列化，將其隱式的多維數組下標序列化，將一個事實數據轉換為II個維坐標10和度量屬性序列結構；實現事實數據與各個維之間所構成的邏輯多維數組地址映射。
[0006]所述步驟5)中，所述單查詢處理過程包括以下步驟:(1)根據查詢中維表的數量動態創建虛擬的II維數據⑶冊，多維查詢轉換為在各維軸上的過濾條件並生成維過濾器，多維查詢中II個過濾條件語句定義了一個虛擬的II維數據⑶冊，並根據查詢中的維表過濾及分組子句創建II個維過濾向量；通過定義維上的過濾器實現多維索引計算；(2) =維過濾:將壓縮事實數據劃分為兩個部分:維坐標10屬性組和度量屬性組，維坐標10屬性組用作多維索引計算，負責在虛擬數據⑶82上完成II維數據過濾；在II維過濾中對度量索引的更新過程是一個迭代計算查詢結果數據⑶82多維坐標的過程，並生成基於位圖或向量結構的度量索引；度量屬性組用於在度量數組中按度量索引中指示的數組下標隨機訪問多維查詢相關的數據，並根據度量索引中的多維坐標值確定其聚集計算在所依賴的查詢結果數據⑶冊中多維數組的下標；(3)根據II維過濾所生成的度量索引訪問相應的度量屬性值，實現基於數據⑶82的聚集計算；度量索引中記錄了滿足最終連接條件的事實記錄的位置和其在多維分組聚集數組中的多維坐標，實現對事實數據高效率的按位置隨機訪問並度量屬性值按度量索引中記錄的多維分組聚集數組的坐標對其直接進行聚集計算，最後，將多維查詢結果數據⑶冊通過維向量字典數組還原為原始分組屬性結果集。
[0007]所述步驟(1)中，各維上過濾器的定義依據策略如下:(I )當維上沒有分組屬性時，維過濾器簡化為一個位圖，用以標識每個維記錄位置是否滿足該維上的謂詞條件；(II )當維上有分組屬性時，將滿足過濾條件的分組屬性投影出來並建立一個數組字典表，並且以分組屬性字典表數組下標作為值建立維過濾向量，維過濾向量預設了每一個滿足維過濾器的維表記錄在多維查詢結果數據⑶冊中當前維度上的坐標；(III)當維表上有多個分組屬性時，將多個分組屬性組合起來作為一個超級分組屬性進行處理，維過濾向量中記錄的值為該分組屬性組在字典表數組中的下標；(IV )當維上沒有過濾條件而只有分組屬性時，該維不參與多維過濾操作，但分組語句對應的基於字典表壓縮的屬性為多維查詢結果數據提供一個聚集維度。
[0008]所述步驟5)中，所述並發查詢處理過程為上操作是完全串行執行的；在構建虛擬數據⑶冊、！1維過濾和聚集計算三個執行階段，兩個執行時間較短的維表處理和度量計算階段分解為獨立的查詢子任務，由0^異步完成；不同查詢之間的三個執行階段在⑶!!和03即0。68801~處理器上為流水並行。
[0009]本發明由於採取以上技術方案，其具有以下優點:1、本發明由於將多維數據集用邏輯多維數組建模，創建虛擬的多維數據⑶冊(立方體)，實現事實數據與各個維之間的多維數組地址映射；事實數據採用關係存儲方式對事實數據進行壓縮存儲，只存儲虛擬多維數組地址空間中實際的事實數據，並附加上虛擬多維數組地址空間中各維的坐標，與如1八？中事實表採用外鍵和度量屬性的存儲方式相同，提高大數據存儲效率。2、本發明由於事實數據採用列數組存儲，將壓縮事實數據劃分為多維索引和度量數據，多維索引計算是通過維坐標地址映射到多維查詢對應的虛擬事實數據⑶冊，並生成度量數組位圖或向量用於標識查詢對應的多維數據集在度量屬性數組中的下標位置的過程，實現基於虛擬10仏？模式的直接多維數組訪問。3、本發明是面向001)1X1(368801'數組存儲和向量計算特點而建立的01八？查詢處理方法，採用完全數組存儲和數組(向量)計算方式實現多維查詢處理，算法實現簡單，不依賴複雜的數據結構，對於數據倉庫應用中典型的星形和雪花形模型具有良好的適應性，同時在多核處理器平臺也具有突出的性能。4、本發明採用將如「？和10「？相結合的多維查詢方法，通過虛擬數據⑶82建立了數組存儲和數組計算模型，消除如「？中計算複雜度較高的關係操作符，同時採用如仏？高效率的存儲模型解決純10仏？模型稀疏數據所造成的存儲空間效率低下的問題。5、本發明將一個多維查詢劃分為在不同數據集上獨立的處理階段，各階段可以異步在地異構計算平臺上執行，具有較好的分布式和流水並行處理能力，能夠實現平臺和￠01^0(368801'平臺的協同計算，提高平臺的綜合效率和性能。本發明可以廣泛在6？11、696911(通用圖形處理器)以及新的1111:61 ？111 001)1-0068801-平臺中應用。
【專利附圖】
【附圖說明】
[0010]圖1是本發明中10「？、861111-101^？和861111-101^？存儲模型示意圖；圖1⑷是101^？模型示意圖；圖1⑶是861111-101^？模型示意圖；圖1 (0是861111-101^？存儲模型示意圖；
[0011]圖2是本發明的基於II維過濾的0仏？查詢處理示意圖；
[0012]圖3是本發明方法在實施例中861111-101^？執行框架示意圖；
[0013]圖4是本發明實施例中基於03即0068801~的的流水執行框架示意圖。
【具體實施方式】
[0014]下面結合附圖和實施例對本發明進行詳細的描述。
[0015]如圖1所示，本發明提供一種適應協處理器的混合01八？查詢處理方法，其包括以下步驟:
[0016]1)採用10「？模型將多維數據集組織為數據⑶82，每一個存儲單元對應唯一的多維空間坐標，即多維數組下標；事實數據存儲所使用的隱式的多維數組下標，代表其在多維數組中的物理位置。
[0017]其中，10仏？多維查詢是一個在龐大的多維數組空間中直接訪問的過程，多維數組大小對皿查詢性能影響不大，主要取決於內存隨機訪問性能。例如，在現實的企業級數據倉庫應用中，數據⑶冊通常非常稀疏，如圖1 (八)所示，其中三個維上4 X 4 X 4的多維空間中只有7個實際數據，數據存儲效率非常低，而且數據⑶冊決定了數據的物理存儲位置，一旦維發生改變，則需要對數據⑶冊進行重構。
[0018]2)如圖1(8)所示，採用86--101^？模型(準多維0仏？模型)將多維數據集用邏輯多維數組建模，構建虛擬多維數據0^82)；
[0019]虛擬多維數據⑶冊構建方法為:保留數據⑶82的邏輯空間結構，將虛擬數據0^82中的實際事實數據進行序列化，將其隱式的多維數組下標序列化，將一個事實數據轉換為II個維坐標10和度量屬性序列結構；維坐標10列實現事實數據與各個維之間所構成的邏輯多維數組地址映射。
[0020]3)事實數據並不真正存儲在巨大的多維數組地址空間中，而是採用關係存儲方式將事實數據壓縮存儲，只存儲虛擬多維數組地址空間中實際的事實數據，並附加上邏輯多維數組地址空間中各維的坐標，與如「？ ￠61^101181 01^？,關係聯機分析處理)模型中事實表採用外鍵和度量屬性的存儲方式相同，區別在於如仏？模型中的事實表外鍵屬性只需要滿足關係資料庫的主-外鍵參照完整性約束條件即可，而虛擬數據⑶82的序列化存儲中的維坐標10則代表了事實數據在虛擬數據⑶冊各維上的坐標位置，既符合如「？模型中主-外鍵參照完整性約束關係，又滿足了顯模型中事實數據與各維的空間位置映射關係。這樣的規則可以提高大數據存儲和訪問效率。
[0021]由於虛擬數據⑶冊中的事實數據序列化沒有特殊的要求，因此不需要參照多維坐標軸的順序(如2-01x1610等限制條件，在實際應中首先需要將維表映射為虛擬數據⑶冊的多個維軸，事實數據遵循數據的物理存儲順序即可。
[0022]4)為提高多維數據訪問性能，將II個維坐標10和度量屬性存儲為列數組，即用列數組存儲各事實數據屬性；低勢集的字符串類型屬性採用輕量字典表壓縮，數組中存儲其較短的壓縮編碼。內存資料庫和資料庫採用完全的數組物理存儲，將維表和事實表存儲為數組族17)，數組下標用作數組間關聯訪問的索引。
[0023]5)進行多維查詢，多維查詢(11111:11)16 011116118101181是在多維數據集上按用戶指定的維或維層次抽取多維數據子集並對其進行聚集計算的過程。在101^？模型中表現為在以多維數組存儲的多維數據集上按維或維層次的映射以多維數組坐標訪問數據並進行聚集計算；在如1^？模型中表現為將多維查詢轉換為3亂命令，將事實表和相關的維表連接後按查詢條件選擇記錄並按指定的屬性進行分組聚集計算。在861111-101^？模型中，多維查詢包括單查詢處理過程和並發查詢處理過程。其中，單查詢處理過程包括以下步驟:
[0024](1)構建虛擬數據⑶冊。根據查詢中維表的數量動態創建虛擬的II維數據⑶冊，多維查詢轉換為在各維軸上的過濾條件並生成維過濾器，多維查詢中II個維上的過濾條件語句定義了一個虛擬的II維數據⑶冊，並根據查詢中的維表過濾及分組子句創建II個維過濾向量；通過定義維上的過濾器實現多維索引計算，各維上過濾器的定義依據如下策略:
[0025]( I )當維上沒有分組屬性時，維過濾器(05111:610簡化為一個位圖(化飽叩)，用以標識每個維記錄位置是否滿足該維上的謂詞條件，滿足謂詞條件的維過濾位圖位置設置為1，否則為0 ；
[0026]( II )當維上有分組屬性時，將滿足過濾條件的分組屬性投影出來並建立一個數組字典表，並且以分組屬性字典表數組下標011個成員的字典表數組下標映射為作為值建立維過濾向量(滿足謂詞條件的維過濾向量位置取值為分組屬性字典表數組下標，否則置為-1)，維過濾向量預設了每一個滿足維過濾器的維表記錄在多維查詢結果數據⑶82中當前維度上的坐標；
[0027](III)當維表上有多個分組屬性時，將多個分組屬性組合起來作為一個超級分組屬性進行處理，維過濾向量中記錄的值為該分組屬性組在字典表數組中的下標；
[0028]( IV )當維上沒有過濾條件而只有分組屬性時，該維不參與多維過濾操作，但分組語句對應的基於字典表壓縮的屬性為多維查詢結果數據^82提供一個聚集維度。
[0029](2)=維過濾。如圖1(0所示，將壓縮事實數據進一步劃分為兩個部分:維坐標10屬性組和度量屬性組，維坐標10屬性組用作多維索引計算，負責在虛擬數據⑶冊上完成II維數據過濾。在維過濾向量構建階段已經按查詢中的分組屬性預構建了查詢結果數據⑶冊的各個維，並將維下標記錄在維過濾向量中作為分組聚集多維數組在各個維上的坐標分量。在維過濾中對度量索引的更新過程是一個迭代計算查詢結果數據⑶冊多維坐標的過程，並生成基於位圖或向量結構的度量索引；度量屬性組用於在度量數組中按度量索引中指示的數組下標隨機訪問多維查詢相關的數據，並根據度量索引中的多維坐標值確定其聚集計算在所依賴的多維數組(查詢結果數據⑶冊)中的下標。通過這種數據劃分，多維查詢可以分解為在較小的維坐標10屬性組上計算密集型的多維過濾操作和在較大的度量屬性組上數據密集型的聚集計算兩個處理階段，使兩個處理階段分別適合於￠01^0(36880:^較小內存上的高性能並行計算和較大內存上的高性能隨機數據訪問，實現￠01^0(36880:^與在數據和計算上的協同處理。
[0030]⑶聚集計算。根據II維過濾所生成的度量索引16218111*6訪問相應的度量屬性值，實現基於數據⑶82的聚集計算。度量索引中記錄了滿足最終連接條件的事實記錄的位置和其在多維分組聚集數組中的多維坐標，可以實現對事實數據高效率的按位置隨機訪問，並且對度量屬性值按度量索引中記錄的多維分組聚集數組的坐標對其直接進行聚集計算，最後，將多維查詢結果數據⑶冊通過維向量字典數組還原為原始分組屬性結果集。
[0031]例如:如圖2所示，首先根據維表上的過濾條件投影出相應的分組屬性(或分組屬性組)，然後為其建立分組屬性字典表並將其字典編碼寫入維過濾向量對應的位置。維10數組(?)首先在維過濾器上進行過濾，並將過濾結果記錄在度量索引(16381^6111(161)中，然後根據度量索引中指示的數組位置訪問維10數組02並在維過濾器0？11七61~2上進行過濾，同時更新度量索引中滿足當前過濾條件的數組位置，當完成維10數組(09在維過濾器0？11^1~3上的過濾操作後，度量索引構造了滿足當前多維查詢條件的度量數據數組坐標集合，由於多維查詢的選擇率通常非常低，根據度量索引按位置訪問數據量較大的度量數據和聚集計算可以高效地執行。
[0032]實施例:
[0033]如圖3所示，按?:0131~0068801~內存大小將內存數據集中事實表維10列的全部或[01^0(368801內存可以容納的最大水平分片複製到￠01^0(368801內存，構建多維索引加速器。由⑶口創建查詢相關的維過濾向量，通過？016通道傳輸到內存；￠01)1-0068801-根據維過濾向量完成基於(^01^0(368801高並行處理線程的並行多維索引計算，事實表10列在維表過濾向量的過濾操作過程中迭代地計算出多維查詢結果數據⑶冊的多維數組坐標，生成度量索引向量；當度量索引向量具有較低的選擇率時，可以對其進行壓縮以減少傳輸代價，然後再將度量索引向量通過？016通道傳輸回內存，由0^完成對度量屬性的隨機訪問和根據維過濾向量構建的查詢結果數據⑶冊上的聚集計算；最後通過在維過濾向量生成階段創建的分組字典表對查詢結果數據⑶82解碼，還原為標準的查詢輸出結果。
[0034]上述步驟5)中，並發查詢處理過程如下:對於多個查詢並發處理過程，￠01)1-0068801-上操作是完全串行執行的。在構建虛擬數據0182、11維過濾和聚集計算三個執行階段中，兩個執行時間較短的維表處理和度量計算階段可以分解為獨立的查詢子任務，由⑶口異步完成。不同查詢之間的三個執行階段在⑶口和(?即0(36880^處理器上可以流水並行。
[0035]例如:如圖4所示，顯示了基於的861111-101^？的流水執行框架。查詢在執行時％的維表處理和％的度量計算階段可以流水並行地在⑶口上執行。將查詢分解為三個獨立的處理過程，每個過程只依賴於獨立的向量數據結構，與03即0068801'平臺上的計算採用的是異步執行方式，最小化的等待時間。
[0036]綜上所述,在本發明中，￠01^0(36880:^內存被最大限度利用，001)1*0(368801'並行計算資源被最大化利用，因此在多個查詢處理過程中⑶8801'上是完全串行執行。本發明採用的處理方法是一個鬆耦合的基於數據交換的執行框架，維表處理階段可以採用已有的內存資料庫作為維表查詢處理引擎，負責複雜數據類型的存儲、壓縮、更新等資料庫通用功能，不需要完全自主開發，只需要提供輸出維過濾向量的仙I即可。0)1^0⑶8801'多維索引計算和度量聚集計算是完全基於數值型數組的計算過程，數據管理和計算模型簡單，易於多核⑶!!和￠01^0(36880:^平臺上的並行計算,適合⑶II以及1111:61 ？111協處理器計算平臺等通過通道連接的高性能計算硬體，是一種高可擴展的眾核高並行算法。
[0037]上述各實施例僅用於說明本發明，其中各部件的結構、連接方式和製作工藝等都是可以有所變化的，凡是在本發明技術方案的基礎上進行的等同變換和改進，均不應排除在本發明的保護範圍之外。
【權利要求】
1.一種適應協處理器的混合OLAP查詢處理方法，其包括以下步驟: 1)採用MOLAP模型將多維數據集組織為數據CUBE，每一個存儲單元對應唯一的多維空間坐標，即多維數組下標；事實數據存儲所使用的隱式的多維數組下標，代表其在多維數組中的物理位置； 2)採用sem1-MOLAP模型將多維數據集用邏輯多維數組建模，構建虛擬多維數據CUBE ； 3)採用關係存儲方式將事實數據壓縮存儲，只存儲虛擬多維數組地址空間中實際的事實數據，並附加上邏輯多維數組地址空間中各維的坐標，與ROLAP模型中事實表採用外鍵和度量屬性的存儲方式相同，區別在於虛擬數據CUBE的序列化存儲中的維坐標ID代表了事實數據在虛擬數據CUBE各維上的坐標位置； 4)將η個維坐標ID和度量屬性存儲為列數組，即用列數組存儲各事實數據屬性；低勢集的字符串類型屬性採用輕量字典表壓縮，數組中存儲其較短的壓縮編碼；內存資料庫和Coprocessor資料庫採用完全的數組物理存儲,將維表和事實表存儲為數組族,數組下標用作數組間關聯訪問的索引； 5)進行多維查詢，多維查詢是在多維數據集上按用戶指定的維或維層次抽取多維數據子集並對其進行聚集計算的過程；在MOLAP模型中為在以多維數組存儲的多維數據集上按維或維層次的映射以多維數組坐標訪問數據並進行聚集計算；在ROLAP模型中將事實表和相關的維表連接後按查詢條件選擇記錄並按指定的屬性進行分組聚集計算；在sem1-MOLAP模型中，多維查詢包括單查詢處理過程和並發查詢處理過程，將多維查詢結果數據CUBE還原為原始分組屬性結果集。
2.如權利要求1所述的一種適應協處理器的混合OLAP查詢處理方法，其特徵在於:所述步驟2)中，所述虛擬多維數據CUBE構建方法為:保留數據CUBE的邏輯空間結構，將虛擬數據CUBE中的實際事實數據進行序列化，將其隱式的多維數組下標序列化，將一個事實數據轉換為η個維坐標ID和度量屬性序列結構；實現事實數據與各個維之間所構成的邏輯多維數組地址映射。
3.如權利要求1或2所述的一種適應協處理器的混合OLAP查詢處理方法，其特徵在於:所述步驟5)中，所述單查詢處理過程包括以下步驟: (1)根據查詢中維表的數量動態創建虛擬的η維數據CUBE，多維查詢轉換為在各維軸上的過濾條件並生成維過濾器，多維查詢中η個過濾條件語句定義了一個虛擬的η維數據CUBE，並根據查詢中的維表過濾及分組子句創建η個維過濾向量；通過定義維上的過濾器實現多維索引計算； (2)η維過濾:將壓縮事實數據劃分為兩個部分:維坐標ID屬性組和度量屬性組，維坐標ID屬性組用作多維索引計算，負責在虛擬數據CUBE上完成η維數據過濾；在η維過濾中對度量索引的更新過程是一個迭代計算查詢結果數據CUBE多維坐標的過程，並生成基於位圖或向量結構的度量索引；度量屬性組用於在度量數組中按度量索引中指示的數組下標隨機訪問多維查詢相關的數據，並根據度量索引中的多維坐標值確定其聚集計算在所依賴的查詢結果數據CUBE中多維數組的下標； (3)根據η維過濾所生成的度量索引訪問相應的度量屬性值，實現基於數據CUBE的聚集計算；度量索引中記錄了滿足最終連接條件的事實記錄的位置和其在多維分組聚集數組中的多維坐標，實現對事實數據高效率的按位置隨機訪問並度量屬性值按度量索引中記錄的多維分組聚集數組的坐標對其直接進行聚集計算，最後，將多維查詢結果數據CUBE通過維向量字典數組還原為原始分組屬性結果集。
4.如權利要求3所述的一種適應協處理器的混合OLAP查詢處理方法，其特徵在於:所述步驟(I)中，各維上過濾器的定義依據策略如下: (I )當維上沒有分組屬性時，維過濾器簡化為一個位圖，用以標識每個維記錄位置是否滿足該維上的謂詞條件； (II )當維上有分組屬性時，將滿足過濾條件的分組屬性投影出來並建立一個數組字典表，並且以分組屬性字典表數組下標作為值建立維過濾向量，維過濾向量預設了每一個滿足維過濾器的維表記錄在多維查詢結果數據CUBE中當前維度上的坐標； (III)當維表上有多個分組屬性時，將多個分組屬性組合起來作為一個超級分組屬性進行處理，維過濾向量中記錄的值為該分組屬性組在字典表數組中的下標； (IV )當維上沒有過濾條件而只有分組屬性時，該維不參與多維過濾操作，但分組語句對應的基於字典表壓縮的屬性為多維查詢結果數據CUBE提供一個聚集維度。
5.如權利要求1或2所述的一種適應協處理器的混合OLAP查詢處理方法，其特徵在於:所述步驟5)中，所述並發查詢處理過程為fop1cessor上操作是完全串行執行的；在構建虛擬數據CUBE、η維過濾和聚集計算三個執行階段，兩個執行時間較短的維表處理和度量計算階段分解為獨立的查詢子任務，由CPU異步完成；不同查詢之間的三個執行階段在CPU和Coprocessor處理器上為流水並行。
【文檔編號】G06F17/30GK104361118SQ201410720029
【公開日】2015年2月18日 申請日期:2014年12月1日 優先權日:2014年12月1日
【發明者】張延松, 張宇, 王珊 申請人:中國人民大學