一種元數據節點的內存鏡像方法、裝置與流程
2023-07-14 23:20:56
本申請涉及分布式存儲系統，具體地說，涉及一種元數據節點的內存鏡像方法、裝置。
背景技術：
在大規模分布式存儲系統中，為了實現集中權限認證、配額控制，大部分採用了集中式元數據管理的方法，即將整個存儲系統中所有數據的元數據集中存放在若干個元數據節點(NameNode)進行存儲。這樣的架構中，元數據節點的可用性直接關係到整個存儲系統的可用性。當元數據節點出現升級或者是進程重啟時，快速恢復元數據節點的內存數據成為主要的需求點，因此，在存儲系統中會採用定期將元數據節點中的內存數據寫到磁碟中(即dump內存鏡像)，並記錄數據操作日誌來做到儘快恢復元數據節點中的內存數據，也就是說將磁碟中的保存的內存鏡像讀出來重新加載到內存中，其中，數據操作日誌是對真正存儲的數據的修改(如增加或刪除等)記錄。例如在Hadoop分布式文件系統中，元數據節點每次收到數據節點(真正存儲數據的節點)寫數據操作成功之前，修改元數據節點的數據操作日誌並且同步到數據節點的文件系統。
發明人在實現本發明的過程中發現：隨著元數據的指數級增長，現有的dump內存鏡像時，磁碟成為內存鏡像的瓶頸，大量的元數據節點在dump內存鏡像時需要佔用的磁碟空間大，給磁碟造成較大的空間壓力問題。
技術實現要素：
有鑑於此，本申請提供一種元數據節點的內存鏡像方法、裝置，可以解決現有的dump內存鏡像時磁碟空間壓力較大問題。
為了解決上述技術問題，本申請第一方面提供一種元數據節點的內存鏡像方法，包括：
在檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊，每個數據塊的大小不超過所述第一閾值；
對每個數據塊進行壓縮，並將壓縮後的數據塊寫入磁碟。
可選地，所述的方法還包括：
在檢測到內存數據的大小等於預設的第一閾值時，對所述內存數據進行壓縮，並將壓縮後的內存數據寫入磁碟。
可選地，所述的方法還包括：
在檢測到內存數據的大小小於預設的第二閾值時，將小於所述第二閾值的內存數據寫入磁碟。
可選地，在檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊之後，若存在小於所述第二閾值的數據塊時，則所述方法還包括：
將小於所述第二閾值的數據塊寫入磁碟。
可選地，將小於所述第二閾值的內存數據或數據塊寫入磁碟，包括：
將小於所述第二閾值的內存數據或數據塊連續寫入磁碟，且記錄每個小於所述第二閾值的內存數據或數據塊的起始位置和數據長度，即小於所述第二閾值的內存數據或數據塊之間不存在大於等於所述第二閾值的數據塊或內存數據。
可選地，對每個數據塊或內存數據進行壓縮，包括：
採用多個線程對每個需要壓縮的數據塊或內存數據進行壓縮。
可選地，採用多個線程對每個需要壓縮的數據塊或內存數據進行壓縮，包括：
在對每個需要壓縮的數據塊或內存數據進行壓縮，生成每個需要壓縮的數據塊或內存數據對應的校驗值。
本發明還提供一種元數據節點的內存鏡像裝置，包括：
數據拆分模塊，用於在檢測模塊檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊，每個數據塊的大小不超過所述第一閾值；
壓縮模塊，用於對所述數據拆分模塊拆分後的每個數據塊進行壓縮，並將壓縮後的數據塊通過寫入模塊寫入磁碟。
可選地，所述壓縮模塊，還用於在所述檢測模塊檢測到內存數據的大小等於預設的第一閾值時，對所述內存數據進行壓縮，並將壓縮後的內存數據通過所述寫入模塊寫入磁碟。
可選地，所述寫入模塊，還用於所述檢測模塊在檢測到內存數據的大小小於預設的第二閾值時，將小於所述第二閾值的內存數據寫入磁碟。
可選地，所述寫入模塊，還用於在所述檢測模塊檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊之後，若存在小於所述第二閾值的數據塊時，將小於所述第二閾值的數據塊寫入磁碟。
可選地，所述寫入模塊，具體用於將小於所述第二閾值的內存數據或數據塊連續寫入磁碟，且記錄每個小於所述第二閾值的內存數據或數據塊的起始位置和數據長度，即小於所述第二閾值的內存數據或數據塊之間不存在大於等於所述第二閾值的數據塊或內存數據。
可選地，所述壓縮模塊，具體用於採用多個線程對每個需要壓縮的數據塊或內存數據進行壓縮。
可選地，所述壓縮模塊，具體用於在對每個需要壓縮的數據塊或內存數據進行壓縮，生成每個需要壓縮的數據塊或內存數據對應的校驗值。
本發明還提供一種元數據節點，包括：上述的內存鏡像裝置。
本發明實施例通過在dump內存鏡像時，當內存數據較大時，對內存數據進行拆分為數據塊，且對每個拆分後的數據塊進行多線程的壓縮，不僅可以加快dump內存鏡像速度，而且可以提高磁碟的空間利用率。
附圖說明
此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用於解釋本申請，並不構成對本申請的不當限定。在附圖中：
圖1為一種分布式存儲系統的構架圖；
圖2為本發明實施例提供的一種元數據節點的內存鏡像方法的流程圖；
圖3為本發明實施例提供的一種元數據節點的內存鏡像方法的流程圖；
圖4為本發明實施例提供的一種元數據節點的內存鏡像方法的流程圖；
圖5為本發明實施例提供的一種元數據節點的內存鏡像裝置的結構圖。
具體實施方式
以下將配合附圖及實施例來詳細說明本申請的實施方式，藉此對本申請如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。
在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出接口、網絡接口和內存。
內存可能包括計算機可讀介質中的非永久性存儲器，隨機存取存儲器(RAM)和/或非易失性內存等形式，如只讀存儲器(ROM)或快閃記憶體(flash RAM)。內存是計算機可讀介質的示例。
計算機可讀介質包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現信息存儲。信息可以是計算機可讀指令、數據結構、程序的模塊或其他數據。計算機的存儲介質的例子包括，但不限於相變內存(PRAM)、靜態隨機存取存儲器(SRAM)、動態隨機存取存儲器(DRAM)、其他類型的隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內存技術、只讀光碟只讀存儲器(CD-ROM)、數字多功能光碟(DVD)或其他光學存儲、磁盒式磁帶，磁帶磁磁碟存儲或其他磁性存儲設備或任何其他非傳輸介質，可用於存儲可以被計算設備訪問的信息。按照本文中的界定，計算機可讀介質不包括非暫存電腦可讀媒體(transitory media)，如調製的數據信號和載波。
如在說明書及權利要求當中使用了某些詞彙來指稱特定組件。本領域技術人員應可理解，硬體製造商可能會用不同名詞來稱呼同一個組件。本說明書及權利要求並不以名稱的差異來作為區分組件的方式，而是以組件在功能上的差異來作為區分的準則。如在通篇說明書及權利要求當中所提及的「包含」為一開放式用語，故應解釋成「包含但不限定於」。「大致」是指在可接收的誤差範圍內，本領域技術人員能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，「耦接」一詞在此包含任何直接及間接的電性耦接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表所述第一裝置可直接電性耦接於所述第二裝置，或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書後續描述為實施本申請的較佳實施方式，然所述描述乃以說明本申請的一般原則為目的，並非用以限定本申請的範圍。本申請的保護範圍當視所附權利要求所界定者為準。
還需要說明的是，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的商品或者系統不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種商品或者系統所固有的要素。在沒有更多限制的情況下，由語句「包括一個……」限定的要素，並不排除在包括所述要素的商品或者系統中還存在另外的相同要素。
圖1為一種分布式存儲系統的構架圖，如圖1所示，其中，datanodes是真正存儲數據的數據節點，本發明所述的數據節點不限於圖1所示，可以有多個；namenodes是存儲數據的元數據的節點(簡稱元數據節點)，本發明的元數據節點不限於圖1所示，可以包括多個。
基於圖1所示的系統架構圖，例如，當終端想在數據節點中寫數據時，數據節點首先向元數據節點發起寫請求(如圖1中的DFSclient，一種請求消息)，元數據節點接收到寫請求之後，元數據節點的內存中保存有該寫請求中包括的待寫入數據的大小、存儲位置、名稱或標識等元數據信息，記錄本次寫數據的日誌，之後向數據節點返回寫請求的響應消息並攜帶本次寫數據的日誌，以使數據節點根據元數據節點返回的響應消息將待寫入數據真正保存到數據節點中。
又例如，終端向從數據節點中讀數據時，數據節點首先向元數據節點發起讀請求，元數據節點的內存接收到讀請求之後，獲取讀請求中攜帶的待讀取數據的名稱或標識等信息，元數據節點查詢元數據信息庫，獲取到與待讀取數據的名稱或標識匹配的元數據信息，將獲取的元數據信息返回給數據節點，數據節點根據元數據節點返回的元數據信息，其中，元數據信息中有待讀取數據的存儲位置等信息，數據節點根據元數據信息可以將待讀取數據讀出展示給終端用戶。
因此，當數據節點每操作一次數據時，元數據節點都保存了該次操作數據的元數據信息以及操作日誌，這樣元數據節點中保存有大量的元數據信息。元數據節點的可用性直接關係到整個存儲系統的可用性。當元數據節點出現升級或者是進程重啟時，快速恢復元數據節點的內存數據成為主要的需求點。
發明人在實現本發明的過程中發現：現有技術中，在dump內存鏡像時，是直接將內存的數據拷貝到磁碟中，隨著元數據的指數級增長，磁碟成為內存鏡像的瓶頸，大量的元數據節點在dump內存鏡像時需要佔用的磁碟空間大，給磁碟造成較大的空間壓力問題。
本發明實施例採用的方案是：在dump內存鏡像時，根據內存數據的大小採取不同的壓縮策略的方法，當內存數據小於一定閾值時，不對內存數據壓縮，當內存數據大於一定閾值時，對內存數據進行壓縮。
本發明人在實現本發明的過程中發現：
對於小於4k的數據，如果每次都組成一個512k的緩存(buffer)進行壓縮，並不能很多的減少數據大小，反而浪費了處理器的處理資源，增加了內存拷貝的時間，造成dump內存鏡像的速度降低。因此，對於小於4k的數據，採用將這部分小於4k的數據放置到一個非壓縮的buffer中，而這個buffer中存放的小於4k的數據一定是連續的，就是說相鄰的小於4k的數據塊間不能出現大於等於4k的數據。
例如，一個buffer是512k，那麼buffer中的數據放置的過程可能是1k，2k，3k，不可能是1k，5k，2k，因為出現5k時，會換一個buffer來寫，這個buffer就將1k的數據寫下去。
進一步地，Buffer中會記錄這段小於4k的數據的起始位置以及長度，通常，每一個buffer還有一個附屬記錄的變量，來記錄這個數據的起始位置。
對於大於等於4k的數據：首先會將大於等於4k的數據拆包，一個數據最大為512k，在將拆包後的數據進行壓縮時，會自動識別數據的大小，將小於4k數據的buffer解鎖掉，即直接進行寫磁碟，然後將這部分小於4k的數據存放到buffer中。對於大於等於4k的數據採用多個線程進行壓縮，每個線程會不斷的從需要壓縮的隊列中取出需要壓縮的大於等於4k的數據，然後對大於等於4k的數據進行壓縮。之後，將壓縮後的數據放到需要寫的隊列中，寫線程會不斷的從寫隊列中取出需要寫的壓縮後的數據，寫到寫數據的buffer中。
需要注意的是，在寫數據到磁碟時，為減少磁碟的輸入和輸出操作，寫數據時，每2M數據寫一次磁碟，這樣就不會浪費磁碟的輸入和輸出資源，也減少了對磁碟的操作壓力。
因此，本發明的技術方案中對內存數據進行壓縮後再寫磁碟，可以緩解dump內存鏡像時的磁碟空間壓力，提高磁碟空間利用率；而且對內存數據採用多線程進行壓縮，提高dump內存鏡像的速度和效率。
圖2為本發明實施例提供的一種元數據節點的內存鏡像方法的流程圖，如圖2所示，包括：
201、檢測內存數據大小；
具體應用場景是，元數據節點每隔一定時間去檢查內存數據(如fsimage文件，該文件其實是元數據信息的文件)，在每個檢查時間點(checkpoint)寫下內存數據(如fsimage文件)。根據本發明的技術方案，在每個檢查時間點(checkpoint)寫下內存數據(如fsimage文件)之前，需要檢測內存數據大小，且根據內存數據(如fsimage文件)的大小進行不同的壓縮策略。
202、在檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊；
其中，每個數據塊的大小不超過所述第一閾值，本發明實施例中，第一閾值例如可以設置為512k；
例如，當檢測到fsimage文件的大小大於512k時，將fsimage文件拆 分為多個子文件，每個子文件的大小不超過512k。
需要說明的是，為了能夠識別子文件，每個拆分後的子文件攜帶有拆分前的母文件的標識。
203、對每個數據塊進行壓縮，並將壓縮後的數據塊寫入磁碟。
具體地，為了減少寫磁碟的空間壓力，本發明實施例對每個數據塊進行壓縮，並將壓縮後的數據塊寫入磁碟；
進一步地，為了提高寫磁碟的速度，節省寫磁碟的時間，本發明實施例可以採用多個線程對每個需要壓縮的數據塊或內存數據進行壓縮；
進一步地，在對每個需要壓縮的數據塊進行壓縮，生成每個需要壓縮的數據塊對應的校驗值，這裡的校驗值可以根據每個需要壓縮的數據塊內容生成的一串字符，用這個來校驗值對每個數據塊內容做校驗，從而可以保證數據正確性，防止錯誤數據的發生。
在發明另一個可選的實施方式中，在檢測到內存數據的大小等於預設的第一閾值時(例如，當檢測到fsimage文件的大小剛好等於512k時)，對該內存數據採用多線程進行壓縮，並且生成該內存數據的校驗值，並將壓縮後的內存數據寫入磁碟。
本發明實施例通過在dump內存鏡像時，當內存數據較大時，對內存數據進行拆分為數據塊，且對每個拆分後的數據塊進行多線程的壓縮，不僅可以加快dump內存鏡像速度，而且可以提高磁碟的空間利用率。
圖3為本發明實施例提供的一種元數據節點的內存鏡像方法的流程圖，如圖3所示，包括：
301、檢測內存數據大小；
參考圖2所示實施例的步驟201；
302、在檢測到內存數據的大小小於預設的第二閾值時，將小於所述第二閾值的內存數據寫入磁碟；
其中，發明人在實現本發明的過程中發現：對於小於4k的數據，如果每次都組成一個512k的緩存進行壓縮，並不能減少很多的內存數據的大小，反而浪費了因為壓縮需要消耗的處理資源，增加了內存拷貝的時間，造成寫 checkpoint會比較慢，即導致dump內存鏡像速度的降低，因此，本發明實施例中，將4k設置為第二閾值，小於4k的內存數據不進行壓縮。
進一步地，在如圖2所示實施例的步驟202中，當將內存數據拆分為一個以上的數據塊，其中存在小於第二閾值的數據塊時，將小於第二閾值的數據塊寫入磁碟。
進一步地，本發明實施例中，將小於第二閾值的內存數據或數據塊連續寫入磁碟，且記錄每個小於所述第二閾值的內存數據或數據塊的起始位置和數據長度，即小於所述第二閾值的內存數據或數據塊之間不存在大於等於所述第二閾值的數據塊或內存數據。具體實現時，例如，會將小於4k的數據放置到一個非壓縮的緩存(buffer)中，而這個非壓縮的buffer中存放的數據一定是連續的，就是說相鄰的小於4k的數據塊間不能出現大於等於4k的數據塊，這個非壓縮的Buffer中會記錄這段小於4k的數據塊的起始位置以及長度。
本發明實施例通過在dump內存鏡像時，當內存數據或數據塊較小，即小於4k時，對小於4k的數據塊不進行壓縮，而是採用將小於4k的數據塊連續存放非壓縮的緩存中，不會消耗額外的處理資源，保證dump內存鏡像速度，可以實現dump內存鏡像速度和處理資源的平衡。
下面通過具體應用對本發明實施例所述的方法進行說明：
圖4為本發明實施例提供的一種元數據節點的內存鏡像方法的流程圖，如圖4所示，包括：
401、檢測內存數據大小；
在內存數據的大小大於512k時執行步驟402，在內存數據小於4k時執行步驟405。
402、將內存數據拆分為多個數據塊；
假設內存數據大小為10M(即10000k)，每個數據塊的大小最大不超過512k，這樣，可以拆分為19個512k大小的數據塊，1個272k大小的數據塊；
假設內存數據大小為1025k，按照每個數據塊的大小最大不超過512k，這樣，可以拆分為2個512k大小的數據塊，1個1k的數據塊；
當數據塊的大小超過4k時，執行步驟403，當數據塊的大小小於等於4k時，執行步驟404；
403、對於大於4k的數據塊採用多線程進行壓縮；
例如，本發明實施例中設置一個512k的壓縮緩存(buffer)，即給壓縮緩存打上需要壓縮的標籤，對於超過4k的數據塊，將這些數據放入這個512k的壓縮緩存，然後放入到壓縮隊列中等待壓縮；為了加快壓縮速度，採用多線程進行壓縮。
進一步地，在壓縮每個數據塊時，可以根據每個數據塊內容產生該壓縮數據塊的校驗值，用於保證該壓縮數據塊的正確性。
404、對壓縮後的數據塊寫入磁碟；
將每個壓縮後的數據塊放入到寫磁碟隊列中，在寫磁碟時，為減少磁碟的輸入和輸出操作，每2M數據寫一次磁碟，也就是說，當壓縮後的數據塊到2M時才進行一次寫磁碟，這樣就不會浪費磁碟的輸入和輸出資源，也減少了對磁碟的操作壓力。
405、對小於4k的數據塊不壓縮寫入磁碟。
例如，對小於4k的數據塊，將這些小於4k的數據塊放入512k的非壓縮緩存中，對於非壓縮緩存需要解鎖壓縮標籤，即不放入壓縮隊列中，而是直接放入寫磁碟隊列中；
需要說明的是，在將小於4k的數據塊放入非壓縮的buffer中時，存放的小於4k的數據塊在非壓縮的buffer中一定是連續的，就是說相鄰的小於4k的數據塊間不能出現大於等於4k的數據塊，這個非壓縮的Buffer中會記錄每一段小於4k的數據塊的起始位置以及長度。
在寫磁碟時，為減少磁碟的輸入和輸出操作，每2M數據寫一次磁碟，也就是說，當小於4k的數據塊放入非壓縮的buffer中達到2M時才進行一次寫磁碟，這樣就不會浪費磁碟的輸入和輸出資源，也減少了對磁碟的操作壓力。
如果沒有數據可以壓縮，那麼線程會處於等待(condition wait)的狀態，當有新的數據需要壓縮時寫線程會發信號給(signal)壓縮線程。
本發明的技術方案中對內存數據進行壓縮後再寫磁碟，可以緩解dump內存鏡像時的磁碟空間壓力，提高磁碟空間利用率；而且對內存數據採用多線程進行壓縮，提高dump內存鏡像的速度和效率。
圖5為本發明實施例提供的一種元數據節點的內存鏡像裝置的結構圖，如圖5所示，包括：
檢測模塊51，用於檢測到內存數據的大小
數據拆分模塊52，用於在檢測模塊檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊，每個數據塊的大小不超過所述第一閾值；
壓縮模塊53，用於對所述數據拆分模塊拆分後的每個數據塊進行壓縮，並將壓縮後的數據塊通過寫入模塊54寫入磁碟。
可選地，所述壓縮模塊53，還用於在所述檢測模塊51檢測到內存數據的大小等於預設的第一閾值時，對所述內存數據進行壓縮，並將壓縮後的內存數據通過所述寫入模塊54寫入磁碟。
可選地，所述寫入模塊54，還用於所述檢測模塊51在檢測到內存數據的大小小於預設的第二閾值時，將小於所述第二閾值的內存數據寫入磁碟。
可選地，所述寫入模塊54，還用於在所述檢測模塊51檢測到內存數據的大小大於預設的第一閾值時，將所述內存數據拆分為一個以上的數據塊之後，若存在小於所述第二閾值的數據塊時，將小於所述第二閾值的數據塊寫入磁碟。
可選地，所述寫入模塊54，具體用於將小於所述第二閾值的內存數據或數據塊連續寫入磁碟，且記錄每個小於所述第二閾值的內存數據或數據塊的起始位置和數據長度，即小於所述第二閾值的內存數據或數據塊之間不存在大於等於所述第二閾值的數據塊或內存數據。
可選地，所述壓縮模塊53，具體用於採用多個線程對每個需要壓縮的數據塊或內存數據進行壓縮。
可選地，所述壓縮模塊53，具體用於在對每個需要壓縮的數據塊或內存數據進行壓縮，生成每個需要壓縮的數據塊或內存數據對應的校驗值。
圖5所示裝置可以執行上述圖2-圖3任一實施例所述的方法，其實現原理和技術效果不再贅述。
本發明實施例還提供一種元數據節點，包括圖3所示實施例所述的內存鏡像裝置。
上述說明示出並描述了本發明的若干優選實施例，但如前所述，應當理解本發明並非局限於本文所披露的形式，不應看作是對其他實施例的排除，而可用於各種其他組合、修改和環境，並能夠在本文所述發明構想範圍內，通過上述教導或相關領域的技術或知識進行改動。而本領域人員所進行的改動和變化不脫離本發明的精神和範圍，則都應在本發明所附權利要求的保護範圍內。