一種面向雲作業系統的數據存儲架構及其負載均衡方法
2023-04-28 12:20:26 1
專利名稱：一種面向雲作業系統的數據存儲架構及其負載均衡方法
技術領域：
本發明涉及雲計算領域，尤其是一種面向雲作業系統的數據存儲架構及其負載均衡方法。
背景技術：
雲作業系統能對包括處理器、存儲、網絡在內的硬體資源進行統一管理。在當前的雲作業系統應用部署中，數據存儲主要有兩種用途(1)用戶接口存儲，即提供給用戶所使用的存儲；(2)系統所需存儲，例如虛擬機鏡像存儲，當前，雲作業系統的數據存儲存在性能不高、擴展性不好、不穩定、安全性不夠等問題。發明內容
本發明解決的技術問題之一在於提供一種面向雲作業系統的數據存儲架構，可以解決元數據服務的可用性、可擴展性。
本發明解決的技術問題之二在於提供一種面向雲作業系統的數據負載均衡方法， 可以充分利用元數據伺服器的計算資源。
本發明解決上述技術問題之一的技術方案是
採用分布式存儲架構將元數據和數據進行分離，使用專門的元數據伺服器存儲元數據和處理客戶端對元數據的請求；
當客戶端欲獲取某文件數據時，將首先和元數據伺服器通信，獲取描述該文件數據的元數據，即獲取數據在數據伺服器集群的存儲位置以及其他信息；然後客戶端和數據伺服器集群通信，獲取其想要的數據。
所述的元數據服務系統架構採用了多臺元數據伺服器。
所述的元數據指描述數據及其環境的數據，特指描述文件信息或文件目錄信息的數據，這些信息包括文件大小、存放位置等。
元數據存儲介質為固態硬碟、高速緩存。
本發明解決上述技術問題之二的技術方案是
以目錄為操作的最小單位；對大目錄，則進行目錄劃分，即將大目錄劃分為合適大小的目錄；然後，採用哈希的方式來進行負載的均勻分配。
對熱點數據，提供元數據副本機制，即根據文件或目錄的流行度，設置相應數量的副本數。
本發明多元架構具有如下優點(1)無單點故障，當部分元數據伺服器失效時，其他元數據伺服器會接管元數據服務，保證元數據服務的高可用性；( 可擴展性好，存儲規模需要不斷擴展，可能擴展到PB甚至EB級存儲量，當存儲量擴充時，可相應增加元數據伺服器數量，以適應元數據服務的速度要求。針對雲作業系統數據存儲的元數據服務應用場景，提出獨特的在多個元數據伺服器上進行負載均衡的方法，平攤負載，從而充分利用元數據伺服器的計算資源。將元數據與數據進行分離的優點在於(1)功能劃分清楚，邏輯簡單；讓數據伺服器專門存儲數據和處理數據請求，而將存儲和處理元數據的任務交給專門的伺服器，各司其職，讓處理邏輯變的簡單清晰。( 元數據服務佔數據讀寫總量的30%到 70%，而且元數據讀寫中絕大部分為小數據量隨機讀寫，將佔高比重的元數據服務與數據服務相分離，可以提高處理速度。
用固態硬碟和高速緩存的方式存儲元數據雖然成本較傳統SATA硬碟高，但是由於固態硬碟在讀寫數據時沒有尋道時間和旋轉時間，特別適合於進行頻繁的小數據量的數據讀寫，而且，元數據的數據量不大，故在關鍵性能點採用適合應用場景的成本較高的固態硬碟是可取的。為進一步提高元數據讀寫速度，對熱點較高的數據，採用高速緩存的方式進行緩存，從而進一步提高元數據服務的讀取性能。
下面結合附圖對本發明進一步說明
圖1是本發明元數據服務系統架構示意圖2是本發明多元數據伺服器負載均衡示意圖。
具體實施方式
如圖1所示，本發明引入了多元數據伺服器架構，分布式存儲架構將元數據和數據進行分離，使用專門的元數據伺服器來存儲元數據和處理客戶端對元數據的請求。當客戶端欲獲取某文件數據時，將首先和元數據伺服器通信，獲取描述該文件數據的元數據，即獲取數據在數據伺服器集群的存儲位置以及其他信息；然後客戶端和數據伺服器集群通信，獲取其想要的數據。針對佔比高達30%到70%的元數據服務流量，提出引入多個元數據伺服器來進行負載均衡，同時針對關鍵數據，採用固態硬碟和高速緩存的方式來存儲，從而解決熱點數據的輸入輸出速度。
元數據，指描述數據及其環境的數據；在本發明的數據存儲背景下，特指描述文件信息或文件目錄信息的數據，這些信息包括文件大小、存放位置等。
多元數據伺服器，是雲作業系統數據存儲元數據服務的核心，負責響應元數據服務請求，進行相應的元數據響應，返回文件的元數據信息。
針對關鍵數據，採用固態硬碟加高速緩存的方式進行存儲，以提高熱點數據的輸入輸出速度。
在元數據服務中，通常會有局部性要求，例如顯示某一目錄下所有文件信息的命令1s，就要獲取某一目錄下的文件信息；同時，負載均衡一般要求能將負載通過適當的方式分攤到多臺伺服器上。為兼顧這兩種要求，本發明以目錄為操作的最小單位(圖幻，但對大目錄，還需要進行目錄劃分，即將大目錄劃分為合適大小的目錄；然後，採用哈希的方式來進行負載的均勻分配，做到兼顧局部性的負載儘量分攤，其中，以目錄為操作的最小單位可以保證同一目錄下文件元數據的局部性，同時，哈希函數的引入可以打散對應不同目錄的元數據分配，從而保證負載在多臺元數據伺服器上的均勻分配。同時，提供元數據副本機制，根據文件或目錄的流行度，設置相應數量的副本數，以應對熱點數據的突發請求。
權利要求
1.一種面向雲作業系統的數據存儲架構，其特徵在於採用分布式存儲架構將元數據和數據進行分離，使用專門的元數據伺服器存儲元數據和處理客戶端對元數據的請求；當客戶端欲獲取某文件數據時，將首先和元數據伺服器通信，獲取描述該文件數據的元數據，即獲取數據在數據伺服器集群的存儲位置以及其他信息；然後客戶端和數據伺服器集群通信，獲取其想要的數據。
2.根據權利要求1所述的數據存儲架構，其特徵在於所述的元數據服務系統架構採用多臺元數據伺服器。
3.根據權利要求1或2所述的數據存儲架構，其特徵在於所述的元數據指描述數據及其環境的數據，特指描述文件信息或文件目錄信息的數據，這些信息包括文件大小、存放位置等。
4.根據權利要求1或2所述的數據存儲架構，其特徵在於元數據存儲介質為固態硬碟、高速緩存。
5.根據權利要求4所述的數據存儲架構，其特徵在於元數據存儲介質為固態硬碟、高速緩存。
6.一種權利要求1-5任一項數據存儲架構的負載均衡方法，其特徵在於以目錄為操作的最小單位；對大目錄，則進行目錄劃分，即將大目錄劃分為合適大小的目錄；然後，採用哈希的方式來進行負載的均勻分配。
7.根據權利要求6所述的負載均衡方法，其特徵在於對熱點數據，提供元數據副本機制，即根據文件或目錄的流行度，設置相應數量的副本數。
全文摘要
本發明涉及雲計算領域，尤其是一種面向雲作業系統的數據存儲架構及其負載均衡方法。採用分布式存儲架構將元數據和數據進行分離，使用專門的元數據伺服器存儲元數據和處理客戶端對元數據的請求；以目錄為操作的最小單位；對大目錄，則進行目錄劃分，即將大目錄劃分為合適大小的目錄；然後，採用哈希的方式來進行負載的均勻分配。本發明有效解決了雲作業系統數據的高效、穩定存儲問題，可應用於雲作業系統的數據存儲。
文檔編號G06F17/30GK102523258SQ20111039122
公開日2012年6月27日 申請日期2011年11月30日 優先權日2011年11月30日
發明者劉祥濤, 季統凱, 嶽強 申請人:廣東電子工業研究院有限公司