海量歸檔流數據存儲方法
2023-04-29 09:00:11
專利名稱：海量歸檔流數據存儲方法
技術領域：
本發明涉及計算機領域數據存儲方法，尤其是一種建立在計算機集群系統之上
的海量歸檔流數據存儲方法。
背景技術：
隨著計算機網絡和存儲技術的發展，在網絡安全管理、網絡搜索、通信、金 融、科學實驗等諸多領域出現了一類海量數據存儲分析的新興需求，這類需求需要存儲 持續高速產生的海量結構化數據，並挖掘該類數據中隱藏的規律性知識。例如，在網絡 安全應用中，對網絡通信的報文頭信息進行實時存儲、查詢和分析是常見的網絡安全管 理手段，該類數據具有典型的寫一次讀多次的歸檔特性，且由於其持續產生，生成速度 快( 一個普通的Gbit的網絡連接產生的報文數可達每秒10萬，其數據生成速度達幾十MB 每秒)，所以形成的系統規模很大。類似的應用還有在網絡搜尋引擎，需要依據用戶個 人信息如以往搜索的習慣和關注點等，為其提供更符合其喜好的搜索結果；在電信行業 中，日常電話通信過程會產生大量的通話詳細信息，如通信雙方的電話號碼，通話開始 時間和結束時間，通話雙方的地點等。這類信息被廣泛用於用戶個人事後查詢，運營商 分析消費模式或發現盜打行為，以及公共安全部門偵查等用途。 資料庫技術是當前存儲管理海量數據的主流技術，但由於歸檔流數據龐大的數 據規模和極快的產生速度，現有資料庫技術在存儲管理海量歸檔流數據方面存在三個方 面的問題難以解決數據規模、訪問性能、數據可靠性。 l)數據規模。現有的典型關係資料庫的數據規模一般在10GB(GigaBytes， 19Bytes)或100GB級別，較少達到TB(TeraBytes， 1012Bytes)級別，規模有限。而歸檔 流數據存儲系統規模動輒幾十TB，甚至達到PB(PeraBytes， 1(^Bytes)級，在系統規模達 到一定程度後如此規模時，系統組件數目很大(可能是數千節點組成)導致故障率較高， 現有的基於日誌的數據訪問模式和故障恢復模式難以滿足數據訪問性能需求和故障恢復 性能需求，需要考慮採用新的存儲方法來管理這類海量數據。 2)訪問性能。現有的資料庫技術主要用於處理關係型的數據，強調數據操作的 事物特性，為此引入了基於事務的提交、回滾、加鎖、日誌管理等開銷較大的管理機制 (研究表明，該機制佔整個請求處理近70%的時間開銷)；而歸檔流數據具有獨特的寫一 次不再更新的特性，無需複雜繁瑣的事務管理機制，可以考慮採用新的存儲手段來提高 數據訪問性能。 3)數據可靠性。現有的資料庫技術一般採用基於日誌的方法，通過每個資料庫 對應一組日誌文件進行串行邏輯導出導入的方式來恢復數據。但歸檔流數據存儲系統規 模龐大，存在故障率高、待恢復數據規模大的問題，傳統的邏輯串行數據恢復方法難以 滿足大規模系統的數據恢復需求，因此需要新的數據恢復方法。 因此，如何依據歸檔流數據的特性解決海量歸檔流數據的存儲，提高歸檔流數 據的管理規模、訪問性能和可靠性是本領域技術人員極為關注的技術問題。
發明內容
本發明要解決的技術問題是提供一種海量歸檔流數據的存儲方法，將歸檔流 數據存儲系統分割為實時存儲和歸檔存儲兩部分，在兩個部分分別縮短故障恢復時間來 提高存儲系統可靠性，使得存儲系統在規模較大(如達到PB(PB二 P10"Bytes)級別)時， 仍具有較高的可靠性。在實時存儲部分(以下稱加載池)，通過減小在線存儲規模來提高 非歸檔資料庫的恢復速度；在歸檔存儲部分(以下稱歸檔池)，通過採用隨機分布歸檔數
據庫副本和分布並行恢復方法來縮短歸檔數據的恢復時間。
本發明的技術方案是由加載池存儲實時數據，從實時數據中周期性生成只讀 的資料庫MiniRDB，採用隨機分布方法將MiniRDB的多副本分布存儲到歸檔池中，最後 在歸檔池中採用分布式恢復方法對MiniRDB進行恢復。
本發明具體步驟如下 第一步，構建加載池和歸檔池，加載池實時存儲高速產生的歸檔流數據，歸檔 池存儲從加載池轉移出來的更大規模的歸檔數據 l.l加載池設計方法是加載池由m個資料庫集群串聯組成，m必須是偶數，這 些資料庫集群並發處理加載和查詢請求，每個資料庫集群存儲部分數據，由於實時數據 加載的性能壓力較大，每個資料庫集群實時數據存儲規模控制在a以下(a約為主流磁碟帶 寬*60，以保證數據恢復可以在分鐘級別完成，據當前磁碟帶寬50MBps計算)。每個數 據庫集群由一組互為備份的資料庫節點和一個協調節點通過乙太網連接組成。協調節點 是一個計算機，它將用戶的加載請求按負載均衡的策略分發到所有資料庫節點，將用戶 的查詢請求轉發到某一個資料庫節點。資料庫節點是包含磁碟、內存、網卡等基本硬體 設備和資料庫的計算機，它負責處理來自協調節點的加載和查詢請求。
由於單個資料庫規模小於a，即使採用普通的歸檔日誌(指資料庫在線日誌的歸 檔文件)恢復方法的恢復時間亦在分鐘級別，故當資料庫節點出現故障時，可採用基於歸 檔日誌的恢復方法對故障資料庫節點進行恢復，方法是當某個資料庫節點的磁碟存儲 出現故障時，採用相關資料庫的管理軟體來實現數據恢復；當存儲歸檔日誌的設備出現 故障時，通過資料庫的備份恢復管理軟體從其它完好的資料庫節點上將數據導出到故障 節點來恢復數據。 1.2歸檔池設計方法是歸檔池由一組歸檔資料庫節點， 一個元數據服務節點， 一個查詢服務分解節點組成。歸檔資料庫節點是帶較大存儲容量磁碟的伺服器，用於存 儲 一 組MiniRDB ，並記錄存儲到本節點的MiniRDB的名稱。MiniRDB是由加載池中 的周期性轉移出的數據形成的只讀資料庫文件。元數據服務節點是擁有較大內存和較高 處理性能的伺服器，負責記錄MiniRDB的元信息即MiniRDB所在的節點、數據時間範 圍；查詢服務分解節點是擁有較大內存和較高處理性能的伺服器，當接收到用戶的查詢 請求時，依據元數據服務節點的MiniRDB的元信息，將查詢請求分發到查詢所涉及的 MiniRDB所在的歸檔資料庫節點。第二步，周期性生成MiniRDB，並將MiniRDB存儲到歸檔池。在歸檔流數據持續存儲到存儲系統的過程中，歸檔數據規模會從小於a增長到大
於a，此時，加載池中的數據需要周期性地導入到歸檔池，以保證加載池數據規模不大於m^a : 2.1確定周期C，將包含加載池和歸檔池的存儲系統的運行過程按照周期C進行 劃分。周期C的確定方法是 C =」■ ^- -
、/(2-巧)(A^(卜^) i.l)+2_《 Ns是加載池和歸檔池中的節點數目總和，T是存儲系統存儲數據在線時間，& 是將數據從原始狀態壓縮成MiniRDB的壓縮比。 2.2按周期C實時將數據加載到加載池中。在第一個周期T" k個資料庫集群 N2、 ......， Nk提供數據實時加載和查詢服務，k = m/2。當加載時長達到一個周期C
後，進入第二個周期T2，新的k個資料庫集群NkM、 Nk+2.......， Nm投入加載，同時，L
中加載的數據從Np N2、 ......， Nk導出後壓縮成為MiniRDB"將MiniRDBi拷貝到歸檔
池。在第三個周期L，將Np N2.......， Nk中的數據刪除，再次投入到加載業務，同時
將l中Nw、 Nk+2、 ......， Nm存儲的數據導出壓縮後形成MiniRDB^並將MiniRDB2拷
貝到歸檔池。類似的，在第s個周期T,中，將T^中投入的k個節點的數據刪除，再次 投入到加載業務，同時將L中的另外k個節點存儲的數據導出壓縮後形成MiniRDB^， s是存儲系統運行期中的某一個周期的編號。 將第i個周期1中壓縮成的MiniRDBi存儲到歸檔池採用隨機分布方法，i為正 整數，包括以下步驟 步驟1 :將MiniRDBi拷貝形成p個副本，p是依據可靠性要求確定的文件副本 數。 步驟2:為每個副本在歸檔池分配不同的歸檔資料庫節點對於有N個歸檔數 據庫節點的歸檔池，使用[l， N]上均勻分布的隨機函數nmdom來確定每個副本分布的 節點編號j，其中j二randomO， 1勾'《N。若隨機函數的輸出值導致同一文件的兩個副本 位於同一個歸檔資料庫節點，則重新使用該隨機函數為副本分配新的歸檔資料庫節點， 直至p個副本分別分布在p個不同的歸檔資料庫節點上。
2.3將每個副本存儲到對應的歸檔資料庫節點。 2.4將MiniRDBi的p個副本的名稱、所在歸檔資料庫節點編號註冊到元數據服務
節點，同時將p個副本分別註冊到所在的歸檔資料庫節點，然後由資料庫引擎以只讀方
式打開p個副本。當查詢請求達到時，查詢服務分解節點將查詢請求轉發到查詢所涉及 的副本所在的歸檔資料庫節點。 第三步，當歸檔池中多個歸檔資料庫節點出現故障(可能是多個節點出現故障， 也可能是一個節點多個文件出現故障)時，採用並行分布恢復方法進行恢復，方法是按如 下只讀數據塊恢復方法並行恢復該故障節點上所有MiniRDB。
對出現故障的只讀資料庫MiniRDBi進行恢復的方法是 3.1選擇歸檔池中某個可用的歸檔資料庫節點作為臨時目標節點，將MiniRDBi 副本拷貝到臨時目標節點上，具體過程如下 l)使用均勻隨機函數確定該故障歸檔資料庫節點上的MiniRDBi的臨時目標節 點，節點編號t為t = random， 1《t《N， N是歸檔池中歸檔資料庫節點的個數；
2)依據MiniRDBi的分布信息，和其它p-1個副本所在節點的帶寬佔用情況，選
6擇帶寬最為空閒的歸檔資料庫節點作為源節點； 3)按照選取的源節點和臨時目標節點，將文件MiniRDBi從源節點拷貝到臨時目 標節點。 3.2當故障節點修復或被替換成新節點後，將臨時目標節點上的MiniRDBi拷貝 到已修復的故障節點上，源節點仍然從包含待恢復副本的p個節點中選擇帶寬最大的節 點。 3.3當所有副本恢復到已修復的故障節點上後，將臨時目標節點上的MiniRDBi 刪除。 對於該故障節點上的其它文件，採用3.1 3.3中的方法為每個文件選擇源節點 和臨時目標節點，按照相同的流程同時進行恢復，從而實現並發恢復。
與現有技術相比，採用本發明可達到以下技術效果 l)可存儲管理的數據規模更大。現有的典型的關係資料庫的數據存儲規模一 般在10GB或100GB級別，較少達到TB或PB級別，其原因是在數據規模達到一定程 度後，系統故障率增高，原有的經典的基於日誌的邏輯恢復方式難以應付頻繁出現的故 障，導致系統可用性和數據可靠性急劇下降。本發明通過將數據存儲到加載池和歸檔池 兩個部分，在不同部分採取不同的數據存儲和恢復方法， 一方面縮小了實時加載系統規 模，保證了數據加載性能，另一方面將歸檔數據切割成只讀的小規模資料庫，為保證查 詢性能和數據可靠性提供了支持。因此，採用本發明可管理的數據規模更大，可達到PB 級甚至更大，該規模是現有常見資料庫規模的3個數量級以上。 2)數據存儲和查詢性能更高。本發明依據歸檔流數據在寫入後不再更新的特 性，將數據分為實時加載數據和歸檔數據分別進行處理。在實時數據的加載和查詢性能 方面，通過周期性生成MiniRDB，使實時加載和查詢性能得到優化；在歸檔數據的查詢 和加載性能方面，由於歸檔池中的數據都是以只讀形式存儲，免除了鎖管理、日誌操作 等開銷較高的操作，節約開銷高達約67%，有效提高了數據訪問性能。
3)數據的可靠性更高。本發明在歸檔池節點出現故障時採用並行分布恢復方 法，該方法較傳統的對等物理恢復或邏輯恢復方式有顯著改善。傳統的對等物理恢復或 邏輯恢復速度受限於單個存儲節點的IO帶寬，最大僅能達到存儲節點的IO帶寬；而本發 明中的並行分布恢復方法，在系統中節點越多的情況下，恢復並發度可能越高(最大時可 達到節點總數)，從而恢復速度可能越高。研究表明，其恢復性能最大可達到原有的n倍 (n為歸檔池中節點總數)，數據可靠性可提高一個數量級。
圖1是本發明的總體流程圖； 圖2是本發明第一步設計的加載池中資料庫集群的結構圖； 圖3是本發明第一步設計的歸檔池的結構圖； 圖4是本發明第二步周期性生成MiniRDB示例圖； 圖5是本發明第二步中MiniRDB分布存儲到歸檔池的示例圖； 圖6是本發明第三步MiniRDB在歸檔池中的分布恢復流程示例圖；具體實施方案 圖l是本發明的總體流程圖，具體分為以下步驟
l.構建加載池和歸檔池。 2.周期性生成MiniRDB，並將MiniRDB存儲到歸檔池。
3.採用並行分布恢復方法恢復MiniRDB。 圖2是本發明第一步設計的加載池中資料庫集群的結構圖；用於實時存儲歸檔 流數據的加載池由多個串聯的資料庫集群組成。每個資料庫集群由一組互為備份的數據 庫節點和一個協調節點通過乙太網連接組成。協調節點是一個計算機，它將用戶的加載 請求按負載均衡的策略分發到所有資料庫節點，將用戶的查詢請求轉發到某一個資料庫 節點。資料庫節點是包含磁碟、內存、網卡等基本硬體設備和資料庫的計算機，它負責 處理來自協調節點的加載和查詢請求。歸檔日誌是資料庫在線日誌的歸檔文件。多個數 據庫集群通過乙太網連接後就組成了加載池。 圖3是本發明第一步設計的歸檔池的結構圖。歸檔池由一個元數據服務節點，
一個查詢服務分解節點， 一組歸檔資料庫節點組成。歸檔池中的節點通過乙太網進行連
接。歸檔資料庫節點是擁有較大存儲容量磁碟的伺服器，元數據服務節點和查詢服務分
解節點都是擁有較大內存和較高處理性能的伺服器。 圖4是本發明第二步周期性生成MiniRDB示例圖。 步驟1 :確定周期C，將包含加載池和歸檔池的存儲系統運行過程按照周期C進 行劃分。 步驟2:按照周期C加載數據。圖4中每個周期投入k二 3個資料庫集群參與 加載任務。在第一個周期，Np N2、 N3三個資料庫集群提供數據實時加載和查詢服務。 當加載時長達到一個周期C後，進入第二個周期，N4、 N5、 Ne三個資料庫集群投入加 載，與此同時，前一個周期中加載的數據從Np N2、 Ns導出後壓縮成為MiniRDB"臨 時存儲於ND，將MiniRDB工轉移存儲到歸檔池中，轉移完畢後刪除臨時存儲於K中的 MiniRDB^在第三個周期，Np N2、 N3再次投入到加載業務，前一個周期中加載的數 據從Np N5、 Ne導出後壓縮成為MiniRDB2(臨時存儲於N4)，將MiniRDB2轉移存儲到歸 檔池中，轉移完畢後刪除臨時存儲於N4中的MiniRDBp如此按照周期滾動加載數據。
圖5是本發明第二步中MiniRDB分布存儲到歸檔池的示例圖。
步驟l :基於隨機分布方法確定多個MiniRDB工副本的分布節點。依據均勻隨機 函數確定MiniRDB的p = 3個副本的歸檔資料庫存儲節點編號是AD5， AD6， AD7。
步驟2 :實施存儲操作。 l)將MiniRDB！拷貝存儲到AD5， AD6， AD 上。 2)將MiniRDBi使用資料庫打開，處於可查詢狀態，並將MiniRDB!的名稱在 AD5， AD6， A。7上登記。 3)AD5， AD6， AD7分別向元數據服務節點註冊MiniRDB"並註銷MiniRDB!位 於K的信息，通知K刪除MiniRDB" 圖6是本發明第三步MiniRDB在歸檔池中的分布恢復流程示例圖。圖6給出了 隨機分布於9個節點的包含3個副本的MiniRDB故障恢復示意。圖中9個節點之間互相 獨立。其過程如下
l)如圖所示，當NodeO出現故障進行恢復時，文件(即MiniRDB)l， 0， 6分別 由Node2-> Nodel， Node3-> Node4， Node7-> Node6三對節點同時並行恢復。參與 恢復的並發節點對的數目是3。 2)當故障節點NodeO被新的正常節點替換後，需要將臨時目標節點上原有的 MiniRDB拷貝到新替換的節點上，即將文件l， 0， 6分別恢復到新Node0上，恢復的源 節點仍然選擇3個副本所在節點中帶寬最大的節點，可以選擇Node2上的文件0， Node6 上的文件l， Node7上的文件6，恢復到新Node0上。 3)當所有副本恢復到新替換節點上後，將臨時節點上的文件刪除。刪除圖中的 Nodel上的文件1， Node4上的文件0， Node6上的文件6。
權利要求
一種海量歸檔流數據存儲方法，其特徵在於包括如下步驟第一步，構建加載池和歸檔池，加載池實時存儲高速產生的歸檔流數據，歸檔池存儲從加載池轉移出來的更大規模的歸檔數據1.1加載池設計方法是加載池由m個資料庫集群串聯組成，m是偶數，每個資料庫集群由一組互為備份的資料庫節點和一個協調節點通過乙太網連接組成；協調節點是一個計算機，它將用戶的加載請求按負載均衡的策略分發到所有資料庫節點，將用戶的查詢請求轉發到某一個資料庫節點；資料庫節點是包含磁碟、內存、網卡和資料庫的計算機，它負責處理來自協調節點的加載和查詢請求；1.2歸檔池設計方法是歸檔池由一組歸檔資料庫節點，一個元數據服務節點，一個查詢服務分解節點組成；歸檔資料庫節點是帶磁碟的伺服器，用於存儲一組MiniRDB，並記錄存儲到本節點的MiniRDB的名稱，所述MiniRDB是由加載池中的周期性轉移出的數據形成的只讀資料庫文件；元數據服務節點是伺服器，負責記錄MiniRDB的元信息即MiniRDB所在的節點、數據時間範圍；查詢服務分解節點也是伺服器，當接收到用戶的查詢請求時，依據元數據服務節點的MiniRDB的元信息，將查詢請求分發到查詢所涉及的MiniRDB所在的歸檔資料庫節點；第二步，周期性生成MiniRDB，並將MiniRDB存儲到歸檔池2.1確定周期C，將包含加載池和歸檔池的存儲系統的運行過程按照周期C進行劃分，周期C的確定方法是 C= T ( 1 - R1 ) (2- R 1) ( N s ( 1 - R1 )+1) +2- R 1 NS是加載池和歸檔池中的節點數目總和，T是存儲系統存儲數據在線時間，R1是將數據從原始狀態壓縮成MiniRDB的壓縮比；2.2按周期C實時將數據加載到加載池中在第一個周期T1，k個資料庫集群N1、N2、......，Nk提供數據實時加載和查詢服務，k＝m/2；當加載時長達到一個周期C後，進入第二個周期T2，新的k個資料庫集群Nk+1、Nk+2、......，Nm投入加載，同時，T1中加載的數據從N1、N2、......，Nk導出後壓縮成為MiniRDB1，將MiniRDB1拷貝到歸檔池；在第三個周期T3，將N1、N2、......，Nk中的數據刪除，再次投入到加載業務，同時將T2中Nk+1、Nk+2、......，Nm存儲的數據導出壓縮後形成MiniRDB2，將MiniRDB2拷貝到歸檔池；類似的，在第s個周期Ts中，將Ts-2中投入的k個節點的數據刪除，再次投入到加載業務，同時將Ts-1中的另外k個節點存儲的數據導出壓縮後形成MiniRDBs-1，s是存儲系統運行期中的某一個周期的編號；2.3將每個副本存儲到對應的歸檔資料庫節點；2.4將MiniRDBi的p個副本的名稱、所在歸檔資料庫節點編號註冊到元數據服務節點，同時將p個副本分別註冊到所在的歸檔資料庫節點，然後由資料庫引擎以只讀方式打開p個副本；當查詢請求達到時，查詢服務分解節點將查詢請求轉發到查詢所涉及的副本所在的歸檔資料庫節點；p是依據可靠性要求確定的文件副本數，i為正整數；第三步，當歸檔池中多個歸檔資料庫節點出現故障時，採用並行分布恢復方法進行恢復，即按只讀數據塊恢復方法並行恢復該故障節點上所有MiniRDB對出現故障的只讀資料庫MiniRDBi進行恢復的方法是3.1選擇歸檔池中某個可用的歸檔資料庫節點作為臨時目標節點，將MiniRDBi副本拷貝到臨時目標節點上，具體過程如下1)使用均勻隨機函數確定該故障歸檔資料庫節點上的MiniRDBi的臨時目標節點，節點編號t為t＝random，1≤t≤N，N是歸檔池中歸檔資料庫節點的個數；2)依據MiniRDBi的分布信息，和其它p-1個副本所在節點的帶寬佔用情況，選擇帶寬最為空閒的歸檔資料庫節點作為源節點；3)按照選取的源節點和臨時目標節點，將文件MiniRDBi從源節點拷貝到臨時目標節點；3.2當故障節點修復或被替換成新節點後，將臨時目標節點上的MiniRDBi拷貝到已修復的故障節點上，源節點仍然從包含待恢復副本的p個節點中選擇帶寬最大的節點；3.3當所有副本恢復到已修復的故障節點上後，將臨時目標節點上的MiniRDBi刪除；對於該故障節點上的其它文件，採用3.1～3.3中的方法為每個文件選擇源節點和臨時目標節點，按照相同的流程同時進行恢復，從而實現並發恢復。
2. 如權利要求1所述的海量歸檔流數據存儲方法，其特徵在於所述加載池的每個資料庫集群實時數據存儲規模控制在a以下，a為主流磁碟帶寬*60。
3. 如權利要求1所述的海量歸檔流數據存儲方法，其特徵在於所述加載池的資料庫集群中資料庫節點出現故障時，採用基於歸檔日誌即資料庫在線日誌的歸檔文件的恢復方法對其進行恢復，方法是當某個資料庫節點的磁碟存儲出現故障時，採用相關資料庫的管理軟體來實現數據恢復；當存儲歸檔日誌的設備出現故障時，通過資料庫的備份恢復管理軟體從其它完好的資料庫節點上將數據導出到故障節點來恢復數據。
4. 如權利要求1所述的海量歸檔流數據存儲方法，其特徵在於在按周期C實時將數據加載到加載池中時，採用隨機分布方法將第i個周期Tt中壓縮成的MiniRDBi拷貝到歸檔池步驟1 :將MiniRDBi拷貝形成P個副本，p是依據可靠性要求確定的文件副本數；步驟2:為每個副本在歸檔池分配不同的歸檔資料庫節點對於有N個歸檔資料庫節點的歸檔池，使用[l， N]上均勻分布的隨機函數nmdom來確定每個副本分布的節點編號j，其中j二random0， 1勾、N;若隨機函數的輸出值導致同一文件的兩個副本位於同一個歸檔資料庫節點，則重新使用該隨機函數為副本分配新的歸檔資料庫節點，直至p個副本分別分布在p個不同的歸檔資料庫節點上。
全文摘要
本發明公開了一種海量歸檔流數據存儲方法，目的是依據歸檔流數據的特性解決海量歸檔流數據的存儲，提高歸檔流數據的管理規模、訪問性能和可靠性。技術方案是先構建加載池和歸檔池，加載池實時存儲高速產生的歸檔流數據，歸檔池存儲從加載池轉移出來的更大規模的歸檔數據；周期性生成只讀資料庫文件MiniRDB，並將MiniRDB存儲到歸檔池；當歸檔池中多個歸檔資料庫節點出現故障時，採用並行分布恢復方法進行恢復。與現有技術相比，採用本發明可存儲管理的數據規模更大，數據存儲和查詢性能更高，數據的可靠件更高。
文檔編號G06F17/30GK101692226SQ20091004440
公開日2010年4月7日 申請日期2009年9月25日 優先權日2009年9月25日
發明者杜凱, 楊樹強, 王懷民 申請人:中國人民解放軍國防科學技術大學