一種基於行存儲資料庫的數據處理方法和設備的製作方法

2023-06-10 15:53:21 2

專利名稱：：一種基於行存儲資料庫的數據處理方法和設備的製作方法
技術領域：
：本發明涉及網際網路
技術領域：
，尤其涉及一種基於行存儲資料庫的數據處理方法和設備。
背景技術：
：行存儲方式是目前主流的關係資料庫存儲技術實現方式，其基本思路是:將數據按照行為單位進行存儲，並通過索引技術提高查詢的效率。該方式很適合OLTP(On-LineTransactionProcessing,聯機事務處理)的場景,在頻繁的插入、刪除、更新操作，以及小數據量(若干行)的查詢方面優勢較為突出。但是，隨著PB(PetaByte，千萬億字節)級別的超大型數據倉庫的出現，行存儲方式的不足逐漸顯現。由於傳統的數據倉庫產品是以行為單位進行存儲的，且數據倉庫查詢操作多而更新和插入操作較少，而多數查詢分析都是基於某些特定列進行操作。因此，通過行存儲方式實現的數據倉庫不可避免的會帶來非必要的IO(Input/Output,輸出/輸入)操作。同時，行存儲方式實現的數據倉庫存儲單元中的數據的共性較少，不利於數據壓縮。正是針對上述行存儲數據倉庫的不足，列存儲數據倉庫應運而生。其基本實現思路是將數據按照列為單位進行存儲，並通過連結表示不同的列值之間的關係。因為它是基於列進行存儲的，可以很好的克服上述行存儲數據倉庫的缺陷。但是，列存儲數據倉庫同樣也有不足:首先，雖然數據倉庫的多數操作是針對某些特定的列而非全部列，但是多數的操作是針對某幾列而非某一列，這些操作在以單個列為單位進行存儲的列存儲數據倉庫產品中，必然會增加更多的查詢開銷。其次，由於列存儲數據倉庫出現的時間較短，雖然基本的數據倉庫功能已經很好的滿足，但是很多傳統的行存儲數據倉庫功能比如存儲過程等，還無法兼容，這增加了用戶遷移數據倉庫系統的難度。另外，讓用戶放棄多年的數據倉庫產品投資，而轉向全新的列存儲數據倉庫產品，本身也是一個艱難的抉擇。
發明內容本發明實施例提供一種基於行存儲資料庫的數據處理方法和設備，以實現基於行存儲資料庫的列存儲技術。為了達到上述目的，本發明實施例提供一種行存儲資料庫的數據處理方法，包括:資料庫系統接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建對應的統一視圖；其中，所述數個列表分別與所述目標數據表的各列一一對應；當所述資料庫系統接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。本發明實施例還提供一種資料庫系統，包括:接收模塊，用於接收用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句以及對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求；模擬器模塊，用於當所述接收模塊接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建對應的統一視圖；其中，所述數個列表分別與所述目標數據表的各列--對應；處理模塊，用於當所述接收模塊接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。與現有技術相比，本發明實施例提供的技術方案中，資料庫系統根據接收到在行存儲資料庫中創建目標數據表的SQL語句後，在行存儲資料庫中創建與目標數據表對應的數個列表；當接收到對行存儲資料庫中的目標數據表中的數據的處理請求時，對相應列表中的數據進行相應處理，實現了在現有行存儲資料庫產品的基礎上模擬列存儲資料庫產品，使用戶在不需要更換資料庫產品的前提下獲得列存儲技術的優點。圖1為本發明實施例中提供的資料庫系統的工作原理示意圖；圖23為本發明實施例提供的一種基於行存儲資料庫的數據處理方法的流程示意圖；圖4為本發明實施例提供的一種資料庫系統的結構示意圖。具體實施例方式針對現有技術中行存儲技術和列存儲技術各自的缺陷，本發明實施例提供了一種數據處理的技術方案，在現有行存儲資料庫的基礎上，模擬列存儲資料庫，以使行存儲資料庫產品用戶無需進行存儲資料庫產品更換即可獲得列存儲技術的優點。為了實現基於行存儲資料庫的列存儲技術，本發明實施例提供的技術方案通過在現有的行存儲資料庫系統(以下簡稱「資料庫系統」)中設置列存儲模擬器(以下簡稱「模擬器」)，並通過該模擬器對資料庫系統接收到的建表/刪表SQL語句進行相應的處理，實現行存儲資料庫中的列表創建和刪除。下面將結合本申請中的附圖，對本申請中的技術方案進行清楚、完整的描述，顯然，所描述的實施例是本申請的一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。如圖1所示，為本發明實施例中提供的資料庫系統的工作原理示意圖，其中:通過利用本發明實施例提供的資料庫系統中設置的模擬器，DBA(DatabaseAdministrator,資料庫管理員)只需要直接輸入標準的建表/刪表SQL(StructuredQueryLanguage，結構化查詢語言)語句即可實現列表的創建和刪除。其中，當資料庫系統接收到建表SQL語句時，通過模擬器將其分解為相應的列表創建SQL語句，並根據該列表創建SQL語句創建相應的列表；同時，模擬器根據接收到的建表SQL創建對應的統一視圖。其中，統一視圖即為對應所述建表SQL語句的數據表的虛擬映射表，該統一視圖與現有行存儲資料庫中的數據表的形式一樣。通過統一視圖，用戶可以使用現有行存儲資料庫的數據操作和訪問方式實現對上述列表的操作和訪問。相應地，當資料庫系統接收到刪表SQL語句時，可以通過模擬器根據該刪表SQL語句刪除相應的統一視圖；同時，模擬器對接收到的刪表SQL進行解析，將其分解為相應的列表刪除SQL語句，並根據該列表刪除SQL語句刪除相應的列表。在本發明實施例中，當接收到建表SQL語句時，模擬器通常先創建列表後建立統一視圖；當接收到刪表SQL語句時，模擬器通常先刪除統一視圖後刪除列表。當列表創建後，用戶可以直接根據統一視圖對相應的列表進行操作(包括插入數據、刪除數據和更新數據)和訪問(包括查詢數據)。由於模擬器對用戶輸入的標準SQL語句的轉換對用戶來說是完全透明的，用戶對表的操作和訪問與傳統對行存儲資料庫產品的訪問一樣，對訪問相應的表的應用所造成的影響較低。基於上述資料庫系統的工作原理，本發明實施例提供了一種基於行存儲資料庫的數據處理方法，如圖2所示，可以包括以下步驟:步驟201、資料庫系統接收用戶提交的在行存儲資料庫中創建目標數據表的建表SQL語句。具體的，用戶可以在模擬器的輸入界面上輸入建表SQL語句，並根據實際情況選擇目標行存儲資料庫的類型。其中，目標行存儲資料庫類型可以包括目標行存儲資料庫產品的型號和版本。步驟202、資料庫系統在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建統一視圖。具體的，資料庫系統接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，可以通過模擬器對該建表SQL語句進行解析，得到所建表的表名和該表中各列的列名。對於每一個列名，模擬器可以創建一個對應的列表。其中，列表的表名與所建表的表名以及相應列的列名相對應。例如，列表的表名可以為「表名列名」。每個列表至少可以包括兩列，其中一列用於存儲行標識(RowID)，另一列用於存儲數據表中相應列的數據。對應於同一個數據表的不同列表(由同一個建表SQL語句分解成的列表創建SQL語句對應的列表)之間通過RowID相互關聯。例如,資料庫系統接收到建立一個20行*4列(分別為id、name、age以及salary)的員工基本信息表(表名為t)的建表SQL語句，資料庫系統通過模擬器對該SQL語句進行解析，獲取相應的表名(t)和列名(id、name、age以及salary),並對應每一個列名，分別創建一個列表，即共建立4個列表，分別記載相應20個員工的id、name、age以及salary(表名可以分別為id_t、name_t、age_t以及salary_t)。其中，每一個列表可以包含2列,其中一列用於存儲行標識(row_idl20)，另一列用於存儲相應的數據，對應數據表t的4個列表之間通過RowID相互關聯。同時，資料庫系統還可以通過模擬器對建表SQL語句進行解析，生成創建統一視圖SQL語句，並根據該創建統一視圖SQL語句創建相應的統一視圖。例如，模擬器可以以RowID為連接標識將同一數據表的列表進行關聯，並創建對應於該數據表的統一視圖。其中，在本發明實施例中，統一視圖即為對應同一數據表的不同列表聯合映射成的一張虛擬的表，統一視圖的名字可以為表名。步驟203、當所述資料庫系統接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。具體的，生成統一視圖後，用戶可以根據該統一視圖對相應數據表中的數據發起處理請求，該數據處理請求包括數據查詢、數據插入、數據刪除或數據更新。當資料庫系統接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。以數據查詢為例，假設一個表有50列，一個匯總查詢的結果集有5萬行，且該數據表一行需要3個數據塊存儲。如果是傳統的行存儲，那麼需要加載50000*3=150000個數據塊才能得到匯總結果，而通過使用本發明實施例提供的技術方案，只需要加載50000個數據塊即可，提高了數據查詢的效率。由於創建了與數據表對應的統一視圖，用戶對數據表中數據的處理請求都是基於統一視圖上進行，整個列存儲的轉換和訪問對用戶完全透明，對訪問相應數據表的應用所造成的影響較低。用戶僅需要使用現有行存儲資料庫的相應操作和訪問指令對相應的目標行存儲資料庫中的數據進行操作和訪問，即可獲得列存儲的技術的優點。在本發明實施例提供的技術方案中，刪除表的過程與創建表的流程相類似，如圖3所示，本發明實施例提供的數據處理方法還可以包括以下步驟:步驟204、資料庫系統接收用戶提交的刪除行存儲資料庫中目標數據表的刪表SQL語句。具體的，用戶可以在模擬器的輸入界面上輸入刪表SQL語句，並選擇目標行存儲資料庫的類型。其中，目標行存儲資料庫類型可以包括目標行存儲資料庫產品的型號和版本。步驟205、資料庫系統刪除對應的統一視圖，並刪除行存儲資料庫中與所述目標數據表對應的列表。具體的資料庫系統接收到用戶提交的刪除行存儲資料庫中目標數據表的刪表SQL語句後，可以通過模擬器解析接收到的刪表請求，生成刪除統一視圖的SQL語句，以刪除相應的統一視圖。同時，資料庫系統可以通過模擬器解析刪表SQL語句，得到所刪表的表名，並根據該表名獲取對應的列名(如根據表名在資料庫的數據字典中獲取所有對應的列名)，並根據該表名和列名將刪表SQL語句分解為相應的刪除列表SQL語句，以刪除相應的列表。通過以上描述可以得知，在本發明實施例提供的技術方案中，通過模擬器對接收到的建表SQL語句進行處理，實現了在現有行存儲資料庫產品的基礎上模擬列存儲資料庫產品，使用戶在不需要更換資料庫產品的前提下獲得列存儲技術的優點。同時，由於模擬器對用戶輸入的標準SQL語句的轉換對用戶來說是完全透明的，用戶對數據表中相應數據的操作和訪問與傳統對行存儲資料庫產品的訪問一樣，對訪問相應的表的應用所造成的影響較低。下面以將一個簡單的建表SQL語句分解成若干列表的建表SQL語句和統一視圖創建SQL語句為例對本發明實施例提供的技術方案進行更加清楚的描述。創建過程:DBA只需輸入如下建表SQL語句:createtablet(idvarchar(10),namevarchar(20),rankvarchar(2),salarydouble(2))；模擬器接收到上述建表SQL語句後，將其分解為如下創建列表的SQL語句和統一視圖創建SQL語句:createtableid—t(row_idvarchar(20),idvarchar(lO));createtablename_t(row_idvarchar(20),namevarchar(20));createtablerank_t(row_idvarchar(20),rankvarchar(2));createtablesalary_t(row_idvarchar(20),salarydouble(2));createviewtasselectid,name,rank,salaryformid_t,name_t.rank_t,salary_twhereid_t.rowid—name_t.rowidandname_t.rowid—rank_t.rowidandname_t.rowid=rank_t.rowidandrank_t.rowid—salaryt.rowid;模擬器根據上述列表創建SQL語句在目標行存儲資料庫中創建相應列表，並根據上述統一視圖創建SQL語句創建相應的統一視圖。刪除過程:當需要刪除上一步創建的表時，DBA只需輸入以下刪表SQL語句:deletetablet；模擬器接收到該刪表SQL語句後，將其分解為:deleteviewt；deletetableid—t；deletetablename—t；deletetablerank—t；deletetablesalary_t；模擬器根據上述刪除統一視圖SQL語句以及刪除列表SQL語句刪除相應的統一視圖，以及目標行存儲資料庫中的相應列表。通過以上描述可以看出，通過本發明實施例提供的模擬器，資料庫管理人員只需要使用標準的建表/刪表SQL語句即可實現在行存儲資料庫產品上的列存儲。基於上述方法實施例相同的技術構思，本發明實施例提供了一種資料庫系統，可以應用於上述方法流程。如圖4所示，為本發明實施例提供的一種資料庫系統的結構示意圖，可以包括:接收模塊41，用於接收用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句以及對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求；模擬器模塊42，用於當所述接收模塊41接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建對應的統一視圖；其中，所述數個列表分別與所述目標數據表的各列對應；處理模塊43，用於當所述接收模塊41接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。其中，所述模擬器模塊42可以具體用於，通過解析所述建表SQL語句，得到目標數據表的表名和該表中各列的列名；在所述行存儲資料庫中創建與所述目標數據表的列數量相同數量的列表；其中，所述列表至少包括兩列，其中一列用於存儲行標識，另一列用於存儲目標數據表的相應列中的數據；所述列表的表名與所述目標數據表的表名以及相應列的列名相對應。其中，所述模擬器模塊42還可以用於，當所述接收模塊41接收到用戶提交的刪除行存儲資料庫中目標數據表的刪表SQL語句後，刪除對應的統一視圖，並刪除行存儲資料庫中與所述目標數據表對應的列表。其中，所述模擬器模塊42還可以具體用於，通過解析所述刪表SQL語句，得到目標數據表的表名，並根據所述目標數據表的表名獲取對應的列名；刪除所述行存儲資料庫中所述列名對應的列表。其中，所述接收模塊41接收到的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求包括:數據查詢請求、數據插入請求、數據刪除請求或數據更新請求。通過以上實施方式的描述，本領域的技術人員可以清楚地了解到本發明可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體，但很多情況下前者是更佳的實施方式。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。本領域技術人員可以理解附圖只是一個優選實施例的示意圖，附圖中的模塊或流程並不一定是實施本發明所必須的。本領域技術人員可以理解實施例中的裝置中的模塊可以按照實施例描述分布於實施例的裝置中，也可以進行相應變化位於不同於本實施例的一個或多個裝置中。上述實施例的模塊可以合併為一個模塊，也可以進一步拆分成多個子模塊。上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。以上公開的僅為本發明的幾個具體實施例，但是，本發明並非局限於此，任何本領域的技術人員能思之的變化都應落入本發明的保護範圍。權利要求1.一種基於行存儲資料庫的數據處理方法，其特徵在於，包括:資料庫系統接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建對應的統一視圖；其中，所述數個列表分別與所述目標數據表的各列一一對應；當所述資料庫系統接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。2.如權利要求1所述的方法，其特徵在於，所述資料庫系統在行存儲資料庫中創建與所述目標數據表對應的數個列表，具體為:所述資料庫系統通過解析所述建表SQL語句，得到目標數據表的表名和該表中各列的列名；所述資料庫系統在所述行存儲資料庫中創建與所述目標數據表的列數量相同數量的列表；其中，所述列表至少包括兩列，其中一列用於存儲行標識，另一列用於存儲目標數據表的相應列中的數據；所述列表的表名與所述目標數據表的表名以及相應列的列名相對應。3.如權利要求1所述的方法，其特徵在於，還包括:所述資料庫系統接收到用戶提交的刪除行存儲資料庫中目標數據表的刪表SQL語句後，刪除對應的統一視圖，並刪除行存儲資料庫中與所述目標數據表對應的列表。4.如權利要求3所述的方法，其特徵在於，所述資料庫系統刪除行存儲資料庫中與所述目標數據表對應的列表，具體為:所述資料庫系統通過解析所述刪表SQL語句，得到目標數據表的表名，並根據所述目標數據表的表名獲取對應的列名；所述資料庫系統刪除所述行存儲資料庫中所述列名對應的列表。5.如權利要求1-4之一所述的方法，其特徵在於，所述對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求包括:數據查詢請求、數據插入請求、數據刪除請求或數據更新請求。6.一種資料庫系統，其特徵在於，包括:接收模塊，用於接收用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句以及對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求；模擬器模塊，用於當所述接收模塊接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建對應的統一視圖；其中，所述數個列表分別與所述目標數據表的各列一一對應；處理模塊，用於當所述接收模塊接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。7.如權利要求6所述的資料庫系統，其特徵在於，所述模擬器模塊具體用於，通過解析所述建表SQL語句，得到目標數據表的表名和該表中各列的列名；在所述行存儲資料庫中創建與所述目標數據表的列數量相同數量的列表；其中，所述列表至少包括兩列，其中一列用於存儲行標識，另一列用於存儲目標數據表的相應列中的數據；所述列表的表名與所述目標數據表的表名以及相應列的列名相對應。8.如權利要求6所述的資料庫系統，其特徵在於，所述模擬器模塊還用於，當所述接收模塊接收到用戶提交的刪除行存儲資料庫中目標數據表的刪表SQL語句後，刪除對應的統一視圖，並刪除行存儲資料庫中與所述目標數據表對應的列表。9.如權利要求8所述的資料庫系統，其特徵在於，所述模擬器模塊具體用於，通過解析所述刪表SQL語句，得到目標數據表的表名，並根據所述目標數據表的表名獲取對應的列名；刪除所述行存儲資料庫中所述列名對應的列表。10.如權利要求6-9任一項所述的資料庫系統，其特徵在於，所述接收模塊接收到的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求包括:數據查詢請求、數據插入請求、數據刪除請求或數據更新請求。全文摘要本發明公開了一種基於行存儲資料庫的數據處理方法和設備，該方法包括資料庫系統接收到用戶提交的在行存儲資料庫中創建目標數據表的建表結構化查詢語言SQL語句後，在行存儲資料庫中創建與所述目標數據表對應的數個列表，並創建對應的統一視圖；其中，所述數個列表分別與所述目標數據表的各列一一對應；當所述資料庫系統接收到用戶提交的對所述行存儲資料庫中的所述目標數據表中的數據進行處理的請求時，所述資料庫系統根據所請求處理的目標數據表所對應的統一視圖，對相應列表中的數據進行相應處理。在本發明中，實現了在現有行存儲資料庫產品的基礎上模擬列存儲資料庫產品，使用戶在不需要更換資料庫產品的前提下獲得列存儲技術的優點。文檔編號G06F17/30GK103177046SQ201110447629公開日2013年6月26日申請日期2011年12月26日優先權日2011年12月26日發明者隋琪,袁向陽申請人:中國移動通信集團公司