一種基於對象的集群文件系統管理方法及集群文件系統的製作方法

2023-05-07 04:44:16

專利名稱：一種基於對象的集群文件系統管理方法及集群文件系統的製作方法
技術領域：
本發明涉及集群文件系統，尤其涉及一種基於對象的集群文件系統管理方法及集 群文件系統。
背景技術：
文件系統是作業系統的一個重要組成部分，通過對作業系統所管理的存儲空間的 抽象，向用戶提供統一的、對象化的訪問接口，屏蔽對物理設備的直接操作和資源管理。文 件系統可劃分為四個層次，從低到高依次是單處理器單用戶的本地文件系統，如DOSFS 的文件系統；多處理器單用戶的本地文件系統，如OS/2的文件系統；多處理器多用戶的文 件系統，如Unix的本地文件系統；多處理器多用戶的分布式文件系統。分布式文件系統 (Distributed File System)是指文件系統管理的物理存儲資源不一定直接連接在本地節 點上，而是通過計算機網絡與節點相連。集群是指通過計算機網絡內的有效協同，使多臺計算機對外提供統一的功能和強 大處理能力服務的特性。集群文件系統是在分布式文件系統基礎上發展而來，具備高性能、 高可用性、負載均衡、數據共享使用等集群自身特點。目前，集群文件系統主要有包括兩種GFS (Global File System)系統和 Lustre (Linux Cluster)文件系統。GFS文件系統中吸取了對稱多處理器(SMP)系統設計和 實現原理，將系統中的每一個客戶機類比於SMP中的一個處理器，客戶機間沒有任何區別， 可以平等地訪問系統中的所有存儲設備，與處理器可以機會均等地訪問主存同理。GFS實現 了元數據在不同節點的分布式管理，並且要求存儲數據集中共享。Lustre文件系統是一個 透明的全局文件系統，客戶端可以透明地訪問集群文件系統中的數據，而無需知道數據的 實際存儲位置。Lustre文件系統內部設計也採用了基於對象的設計方式，在統一構建的支 持多種通信方式的底層通信平臺(LNET)上，所有對象的訪問和工作都基於客戶機_伺服器 的工作模式。Lustre實現了存儲數據的分布式管理，每個數據對象可管理多個物理設備。現有集群文件系統，對於功能和擴展性都有一些局限。比如GFS文件系統要求 數據共享管理，但文件系統自身不提供額外的數據管理，數據擴容和備份恢復較為困難。 Lustre文件系統中執行元數據集中管理，對於元數據的訪問較容易形成瓶頸。兩個文件系 統內部功能都與物理設備位置固定相關，無法自動與其它節點實現資源或功能的分擔，資 源復用的可能性較小。另外，兩個文件系統提供了數據並行訪問的功能，但沒有有效的節點 訪問負荷均衡方案。在日益大型化和複雜化的存儲網絡應用中，存在頻繁訪問的節點容易 出現訪問瓶頸而局部空閒節點利用率不高的問題。

發明內容
本發明要解決的技術問題是提供一種基於對象的集群文件系統管理方法及集群 文件系統，實現系統資源與物理設備無關的靈活配置和部署。為了解決上述技術問題，本發明提供了一種基於對象的集群文件系統管理方法，包括在集群文件系統中設置管理對象，管理對象對各系統節點進行監控並對系統節點的 負荷進行自動均衡配置。進一步地，上述方法還可以具有以下特點所述管理對象對元數據對象和/或存儲數據對象在不同的系統節點上進行創建、 刪除、備份和負荷均衡。進一步地，上述方法還可以具有以下特點管理對象根據系統節點的業務訪問處理能力、傳輸能力和存儲容量判斷系統節點 為過負荷節點或非過負荷節點，將過負荷節點上的元數據對象的服務轉移到非過負荷節點 上的備份元數據對象上，將過負荷節點上的存儲數據對象的服務轉移到非過負荷節點上的 備份存儲數據對象上。進一步地，上述方法還可以具有以下特點新的系統節點加入時，管理對象在此新的系統節點上執行對過負荷節點上元數據 對象和/或存儲數據對象的備份，並通過負荷均衡使此新的系統節分擔過負荷節點上元數 據對象和/或存儲數據對象的功能。進一步地，上述方法還可以具有以下特點需創建新存儲數據對象時，管理對象收到元數據對象發起的創建新存儲數據對象 請求後，為此新存儲數據對象確定節點，並通知至元數據對象；管理對象響應超時情況下， 由元數據對象為此新存儲數據對象確定節點，並以此上報管理對象。進一步地，上述方法還可以具有以下特點管理對象存在備份，管理對象異常後，由備份管理對象提供管理功能；備份管理對 象有多個時，選擇備份管理對象所在節點中的負荷最輕的節點上的備份管理對象作為新的 管理對象。進一步地，上述方法還可以具有以下特點管理對象所在節點的負荷超過預設門限時，重新選擇管理對象所在節點。進一步地，上述方法還可以具有以下特點選擇管理對象所在節點時選擇元數據對象所在節點中負荷最輕的節點。為了解決上述技術問題，本發明還提供了一種基於對象的集群文件系統管理系 統，包括承擔管理對象功能的節點；所述管理對象，用於對各系統節點進行監控並對系統節 點的負荷進行自動均衡配置。進一步地，上述系統還可以具有以下特點所述管理對象，還用於對元數據對象和/或存儲數據對象在不同的系統節點上進 行備份；還用於根據系統節點的業務訪問處理能力、傳輸能力和存儲容量判斷系統節點為 過負荷節點或非過負荷節點，將過負荷節點上的元數據對象的服務轉移到非過負荷節點上 的備份元數據對象上，將過負荷節點上的存儲數據對象的服務轉移到非過負荷節點上的備 份存儲數據對象上。本發明通過管理對象、元數據對象和存儲數據對象分離，實現系統資源與物理設 備無關的靈活配置和部署，並且對系統節點的負荷進行自動均衡配置，使系統內各對象存 儲和訪問的動態均衡，消除數據訪問瓶頸；通過對象備份，實現自適應的功能擴展和有效的 故障恢復。與現有的集群文件系統相比，增強了集群文件系統的可擴展性和可用性，實現了
4自適應的負載均衡，提高了文件系統並行處理能力和系統整體的處理性能。


圖1是實施例中典型的應用網絡拓撲圖；圖2是實施例中集群文件系統內部組件的結構示意圖；圖3是實施例中集群文件系統對象設計示意圖；圖4是實施例中集群文件系統運行過程中對象申請的流程圖；圖5是實施例中集群文件系統運行過程中數據均衡的流程圖；圖6是實施例中集群文件系統運行過程中對象異常後恢復的流程圖。
具體實施例方式基於對象的集群文件系統管理系統包括系統節點，系統節點中包括承擔管理對象 功能的節點；所述管理對象用於對各系統節點進行監控並對系統節點的負荷進行自動均衡 配置。管理對象還用於對元數據對象和/或存儲數據對象在不同的系統節點上進行備 份；還用於根據系統節點的業務訪問處理能力、傳輸能力和存儲容量判斷系統節點為過負 荷節點或非過負荷節點，將過負荷節點上的元數據對象的服務轉移到非過負荷節點上的備 份元數據對象上，將過負荷節點上的存儲數據對象的服務轉移到非過負荷節點上的備份存 儲數據對象上。如圖1所示，本系統中，同一節點上可維護不同類型的對象。存儲和業務功能可以 部署在同一個伺服器上，比如存儲節點1和業務節點2同時部署在伺服器2上。內部存儲 節點間通信可以和外部業務網絡共享，內部存儲集群通信採用單獨網絡協議，和業務應用 訪問的網絡協議區分；也可以部署在不同物理網絡上，物理上就將內部存儲集群通信和業 務應用訪問通信區隔開。圖1實線箭頭線表示業務應用訪問，虛線箭頭線表示存儲集群通如圖2所示，本系統將集群文件系統的功能高度抽象，按功能組件劃分為管理對 象、元數據對象和存儲數據對象，使功能分離，位置靈活部署。管理對象負責分布式文件系統的配置管理功能，包括人機互動，配置下發、系統監 控和第三方決策等管理功能。元數據對象負責管理文件系統的目錄層次結構，以及具體文件節點和存儲數據對 象位置的對應關係，文件數據的存儲和管理。元數據對象採用分布式管理方式，各自承擔部 分元數據管理功能，內部統一編址。元數據對象位置不固定，功能可遷移，對用戶不可見。元 數據對象存在多個，以分布式工作方式對外體現元數據管理的完整功能，對每個元數據對 象系統內都存在備份。存儲數據對象負責維護存儲的數據。本系統中可以對上述對象進行備份。例如，採用現有RAID技術實現數據存儲的可
靠和安全。上述集群文件系統中，集群文件系統各組成部分——管理對象、元數據對象和存 儲數據對象只是邏輯功能獨立，事實上對其分布的物理位置沒有要求，甚至不同類型的對象可以分布在同一物理節點上。並且所有對象的設計都考慮到功能可以在不同節點間遷 移。如圖3所示，集群文件系統的對外功能通過客戶端體現，當客戶端通過元數據交 互確定目標文件數據位置後(S001)，就只需要和存儲數據對象交互(S002)，進行正常的文 件訪問。而管理對象的作用是通過內部通信網絡對集群內元數據對象和數據對象的監控和 管理(S003和S004)，使集群內部各組件的分工協作更加高效。管理對象對系統平時的操作 很少，但作用非常關鍵。實施例中，基於對象的集群文件系統管理方法包括在集群文件系統中設置管理 對象，管理對象對各系統節點進行監控並對系統節點的負荷進行自動均衡配置。本方法中，將集群文件系統的功能高度抽象，按功能組件劃分為管理對象、元數據 對象和存儲數據對象，使功能分離，位置靈活部署。管理對象負責分布式文件系統的配置管 理功能，包括人機互動，配置下發、系統監控和第三方決策等管理功能。元數據對象負責管 理文件系統的目錄層次結構，以及具體文件節點和存儲數據對象位置的對應關係，文件數 據的存儲和管理。元數據對象採用分布式管理方式，各自承擔部分元數據管理功能，內部統 一編址。元數據對象位置不固定，功能可遷移，對用戶不可見。元數據對象存在多個，以分 布式工作方式對外體現元數據管理的完整功能，對每個元數據對象系統內都存在備份。存 儲數據對象負責維護存儲的數據。管理對象對元數據對象或存儲數據對象在不同的系統節點上進行創建、刪除、備 份和負荷均衡。此備份功能防止內部少數物理節點崩潰導致的系統功能異常。可以採用現 有技術，假定同一時刻損壞的最大對象數量N個，則備份因子為N+1。對象及其備份儘量分 布在不同物理節點上，防止單個物理節點崩潰。如果管理對象監控中發現備份對象數量大 於N+1，不會立即刪除，只是將冗餘對象記錄在待更新數據列表中等待更新。備份對象可以 採用直接鏡像備份，也可以考慮更高效率的多種RAID方式備份。本系統中，採用現有的分 布式文件系統一般提供日誌功能，日誌中記錄了本地節點的存儲操作歷史記錄，防止本地 存儲掉電等異常導致的對象損壞，為故障發生後文件系統的恢復提供依據。本方法中管理 對象、元數據對象和存儲數據對象的日誌實時與定期同步，比對最新的修改記錄，對備份管 理對象、備份元數據對象和備份存儲數據對象發起更新維護。管理對象的選擇方式包括選擇管理對象所在節點時選擇元數據對象所在節點中 負荷最輕的節點。管理對象的個數一般為一個，可以同時有多個備份管理對象。選擇備份 管理對象時也可以採用上述方式。管理對象所在節點的負荷超過預設門限時，重新選擇管 理對象所在節點。還可以設置管理周期，每管理周期結束時，檢測管理對象所在節點的負荷 是否超過預設門限，超過預設門限時，則重新選擇管理對象所在節點。管理對象設計做方式 達到位置不固定，功能可遷移，對用戶不可見。兩個管理對象以主備方式工作，即其中只有 一個管理對象對外提供接口和服務，即圖中存儲節點1上的管理對象(A)，保證用戶接口是 唯一的，而存儲節點2上的管理對象(S)以備份方式存在。管理對象中使用的用戶配置以 存儲數據對象方式存放。將系統節點的業務訪問處理能力、傳輸能力和存儲容量的加權值構成綜合均衡因 子用於進行負荷均衡。訪問處理能力和傳輸能力對應於處理能力權值，存儲容量對應於存 儲權值。處理能力和傳輸能力強的節點對應的處理能力權值較高，使此節點可以承擔更多
6的處理任務；存儲容量大的節點對應的存儲權值較高，使該節點可以容納更多的元數據對 象或存儲數據對象。一種典型的處理能力權值是使用處理能力加權因子乘以CPU剩餘處理 能力(100% -當前節點CPU佔有率)；而存儲權值根據剩餘磁碟空間大小計算得到。管理對象進行負荷均衡處理的方法包括管理對象根據系統節點的業務訪問處理 能力、傳輸能力和存儲容量判斷系統節點為過負荷節點或非過負荷節點，將過負荷節點上 的元數據對象的服務轉移到非過負荷節點上的備份元數據對象上(即將過負荷節點上的 元數據對象關閉，啟動非過負荷節點上的備份元數據對象)，將過負荷節點上的存儲數據對 象的服務轉移到非過負荷節點上的備份存儲數據對象上(即將過負荷節點上的存儲數據 對象關閉，啟動非過負荷節點上的備份存儲數據對象)。管理對象進行負荷均衡處理的方法還包括以下處理方式(1)在文件系統擴充時，由管理對象選擇創建的新對象所在的節點，選擇策略包括 根據系統節點的業務訪問處理能力、傳輸能力和存儲容量綜合選擇負荷滿足要求的節點， 例如選擇負荷最輕的節點。(2)新的系統節點加入時，管理對象在此新的系統節點上執行對過負荷節點上元 數據對象和/或存儲數據對象的備份，並通過負荷均衡使此新的系統節分擔過負荷節點上 元數據對象和/或存儲數據對象的功能。(3)將失效的節點所承載的對象分配給負荷滿足要求的節點。例如，分配給負荷低 於預設門限的節點。(4)針對在預設時間段內維持的負荷均處於預設區間的節點，在此節點上執行對 過負荷節點上元數據對象和/或存儲數據對象的備份。(5)回收數據時，優先回收存儲容量低的節點上的數據，其次回收業務訪問處理能 力和傳輸能力低的節點上的數據。由於一般文件系統文件數據刪除只是標記數據長度和回 收數據塊索引，所以此方式較高效，可以在很短時間內完成回收。上述均衡處理方式將功能抽象，按處理能力、傳輸能力和存儲容量加權後進行負 荷均衡，使待訪問的數據對象儘量均勻分布在系統上的可用節點上，以實現負荷均衡，可達 到處理能力、訪問帶寬和存儲容量的均衡，適應各種網絡資源的實際情況，滿足多樣的用戶 需求，可消除數據訪問瓶頸，提高系統並行處理能力，進而提升整體處理性能。管理對象存在備份，管理對象異常時，由備份管理對象提供管理功能；備份管理對 象有多個時，選擇備份管理對象所在節點中的負荷最輕的節點上的備份管理對象作為新的 管理對象。元數據對象異常後，由備份的元數據對象恢復對元數據的訪問。存儲數據對象 異常後，由管理對象對損壞的存儲數據對象進行恢復。一定時間段時未完成對主用對象的 恢復，則可以重新生成備份對象。如圖4所示，在文件系統對象擴充需創建新存儲數據對象時，管理對象收到元數 據對象發起的創建新存儲數據對象請求後，為此新存儲數據對象確定節點，並通知至元數 據對象；管理對象響應超時情況下，由元數據對象為此新存儲數據對象確定節點，並以此上 報管理對象。具體包括步驟4. 1 元數據對象接受了用戶的新數據對象申請請求(一般發生在文件寫入 長度超過原有數據對象容量)。步驟4. 2 元數據對象根據本地已知的節點各節點上平衡因子結果首先決策新對象節點。步驟4. 3 元數據對象上報管理對象並設置超時定時器，如果管理對象根據全局 的節點信息做出新對象決策，則發布給元數據對象。步驟4. 4 如果管理對象響應超時，則元數據對象保留原來自己的新對象決策，將 決策的新對象結果發布給數據節點創建新數據對象。步驟4.5 定時器超時後管理對象將其確定的節點通知至元數據對象，元數據對 象將管理對象所在節點確定的新對象節點上的新對象作為主用對象，將元數據確定的新對 象節點上的新對象作為備用對象。步驟4. 6 數據對象創建工作結束，開啟工作，並通報更新元數據對象。此集群文件系統中，採用現有文件系統一般技術，刪除對象時只是將對象記錄在 待更新數據列表中。只有在寫存儲數據空間不足時或需要啟動存儲空間壓縮時發起更新數 據列表請求，對冗餘數據對象進行回收。如圖5所示，系統運行過程中，管理對象進行負荷均衡的維護，及時主動關閉熱點 節點部分對象服務，啟動備份對象服務。具體包括步驟5. 1 通過管理對象監控功能實時監控系統節點的業務訪問處理能力、傳輸 能力和存儲容量，判斷系統節點為過負荷節點或非過負荷節點。步驟5. 2 管理對象發起負荷均衡。步驟5. 3 主動關閉過負荷節點部分對象服務，並將這些對象上關鍵信息及時同 步到備份對象上。步驟5. 4:同步成功後，將倒換結果上報給管理對象，開始啟動備份對象服務。步驟5. 5 由原備份對象開始對外提供服務，原主用對象停止對外服務，轉為備 份。上述集群文件系統中，由於數據對象分布在不同物理節點上，在響應外部數據訪 問請求時各節點負荷不均衡，本方法通過管理對象的定期檢測，將一定數量的數據對象從 過負荷節點遷移到非過負荷節點上的備份對象上，使待訪問的數據對象儘量均勻分布在系 統上的可用節點上，以實現負荷均衡。如圖6所示，存儲數據對象異常後的恢復流程中，採用本地恢復和遠程數據恢復 相結合的方式，並通過文件系統的校驗將恢復後數據納入文件系統。存儲數據對象需要 和元數據對象通信獲取本地存儲對應的元數據，根據本地存儲數據對象日誌以及對象備份 (或RAID對象)進行校驗和恢復處理，恢復後的數據對象需要和元數據對象校驗，最後才將 恢復成功後的存儲數據對象納入文件系統。具體包括步驟6. 1 根據本地存儲數據對象日誌進行本地存儲恢復。步驟6. 2 本地恢復不成功，在管理對象控制下由對象備份(或RAID對象)進行 校驗和恢復處理。步驟6. 3 管理對象發起遠程數據恢復。步驟6. 4 恢復成功後，存儲數據對象和元數據對象通信獲取本地存儲對應的元 數據。步驟6. 5 恢復後的數據對象需要和元數據對象校驗，以確認文件系統內元數據 和存儲數據是一致的。
8
步驟6.6 恢復成功後的存儲數據對象納入文件系統，更新元數據對象。本發明所述的系統和方法由於在集群文件系統中採用差異化的對象設計，實現功 能靈活配置和部署，集群內的負荷均衡以及高效的備份和恢復。與現有文件系統相比，更適 合於複雜的實際存儲網絡中的應用，可以有效協調集群內各節點工作，均衡數據訪問熱點， 提高集群文件系統的擴展性和性能。並且提供數據備份恢復機制，對損壞的節點進行有效 的修復，提高文件系統的可用性。當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟 悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變 形都應屬於本發明所附的權利要求的保護範圍。本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令 相關硬體完成，所述程序可以存儲於計算機可讀存儲介質中，如只讀存儲器、磁碟或光碟 等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現。相應 地，上述實施例中的各模塊/單元可以採用硬體的形式實現，也可以採用軟體功能模塊的 形式實現。本發明不限制於任何特定形式的硬體和軟體的結合。
權利要求
一種基於對象的集群文件系統管理方法，其特徵在於，在集群文件系統中設置管理對象，管理對象對各系統節點進行監控並對系統節點的負荷進行自動均衡配置。
2.如權利要求1所述的方法，其特徵在於，所述管理對象對元數據對象和/或存儲數據對象在不同的系統節點上進行創建、刪 除、備份和負荷均衡。
3.如權利要求2所述的方法，其特徵在於，管理對象根據系統節點的業務訪問處理能力、傳輸能力和存儲容量判斷系統節點為過 負荷節點或非過負荷節點，將過負荷節點上的元數據對象的服務轉移到非過負荷節點上的 備份元數據對象上，將過負荷節點上的存儲數據對象的服務轉移到非過負荷節點上的備份 存儲數據對象上。
4.如權利要求3所述的方法，其特徵在於，新的系統節點加入時，管理對象在此新的系統節點上執行對過負荷節點上元數據對象 和/或存儲數據對象的備份，並通過負荷均衡使此新的系統節分擔過負荷節點上元數據對 象和/或存儲數據對象的功能。
5.如權利要求1所述的方法，其特徵在於，需創建新存儲數據對象時，管理對象收到元數據對象發起的創建新存儲數據對象請求 後，為此新存儲數據對象確定節點，並通知至元數據對象；管理對象響應超時情況下，由元 數據對象為此新存儲數據對象確定節點，並以此上報管理對象。
6.如權利要求1所述的方法，其特徵在於，管理對象存在備份，管理對象異常後，由備份管理對象提供管理功能；備份管理對象有 多個時，選擇備份管理對象所在節點中的負荷最輕的節點上的備份管理對象作為新的管理 對象。
7.如權利要求1所述的方法，其特徵在於，管理對象所在節點的負荷超過預設門限時，重新選擇管理對象所在節點。
8.如權利要求1所述的方法，其特徵在於，選擇管理對象所在節點時選擇元數據對象所在節點中負荷最輕的節點。
9.一種基於對象的集群文件系統管理系統，包括承擔管理對象功能的節點，其特徵在於，所述管理對象，用於對各系統節點進行監控並對系統節點的負荷進行自動均衡配置。
10.如權利要求9所述的系統，其特徵在於，所述管理對象，還用於對元數據對象和/或存儲數據對象在不同的系統節點上進行備 份；還用於根據系統節點的業務訪問處理能力、傳輸能力和存儲容量判斷系統節點為過負 荷節點或非過負荷節點，將過負荷節點上的元數據對象的服務轉移到非過負荷節點上的備 份元數據對象上，將過負荷節點上的存儲數據對象的服務轉移到非過負荷節點上的備份存 儲數據對象上。
全文摘要
本發明公開了一種基於對象的集群文件系統管理方法及集群文件系統，此方法包括在集群文件系統中設置管理對象，管理對象對各系統節點進行監控並對系統節點的負荷進行自動均衡配置。本發明通過管理對象、元數據對象和存儲數據對象分離，實現系統資源與物理設備無關的靈活配置和部署，並且對系統節點的負荷進行自動均衡配置，使系統內各對象存儲和訪問的動態均衡，消除數據訪問瓶頸；通過對象備份，實現自適應的功能擴展和有效的故障恢復。與現有的集群文件系統相比，增強了集群文件系統的可擴展性和可用性，實現了自適應的負載均衡，提高了文件系統並行處理能力和系統整體的處理性能。
文檔編號G06F17/30GK101980192SQ201010516978
公開日2011年2月23日 申請日期2010年10月15日 優先權日2010年10月15日
發明者劉忱, 吳應祥, 周自春 申請人:中興通訊股份有限公司