基於虛擬化平臺的分布式存儲管理方法
2023-05-30 06:55:56
基於虛擬化平臺的分布式存儲管理方法
【專利摘要】本發明涉及一種基於虛擬化平臺的分布式存儲管理方法，該方法用於伺服器集群中，所述的管理方法具體包括以下步驟：1)在伺服器集群的每臺伺服器節點上安裝虛擬化平臺，並在虛擬化平臺上部署一個存儲管理虛擬機；2)存儲管理虛擬機把節點上的直連磁碟匯聚成存儲資源池；3)建立各臺伺服器節點上的存儲管理虛擬機之間通信機制；4)將每個節點上的存儲資源池，匯聚成一個分布式存儲資源池；5)通過虛擬網絡將分布式存儲資源池，提供給虛擬化平臺，作為虛擬化應用的基礎資源。與現有技術相比，本發明具有提高了存儲管理虛擬機和各種虛擬化應用系統的可靠性和可用性，優化IO處理機制、提高存儲資源的擴展性等優點。
【專利說明】基於虛擬化平臺的分布式存儲管理方法
【技術領域】
[0001]本發明涉及一種計算機存儲【技術領域】，尤其是涉及一種基於虛擬化平臺的分布式存儲管理方法。
【背景技術】
[0002]當前，整個世界發生了非常巨大的變化:虛擬化技術出現，公有雲和私有雲也風起雲湧，數據的規模變得越來越大，相應的數據項也變得更大，訪問這些對象需要的帶寬也變得更大了。所以，傳統的存儲系統設計時，針對的局面和現在完全不一樣，已經無法應對上述挑戰。伺服器、存儲、網絡、能源與管理等交錯在一起，令很多企業承受著巨大的成本壓力和管理難題。如何將伺服器與存儲相連，如何實現物理環境和虛擬環境的溝通？
[0003]虛擬化平臺使用的傳統存儲資源大都是通過外部FC/IP網絡獲取的SAN或NAS資源，在此虛擬化平臺上，運行著各種應用VM，環境比較複雜:虛擬化中的數據存放分散、粒度細化、導致1PS不理想，單次操作路徑長、時間延遲大；存儲資源可擴展性差；虛擬化平臺與存儲資源各自分開管理，導致管理複雜。
[0004]綜上可知，在虛擬化平臺上使用傳統存儲的方法，在實際使用上顯然存在不便與缺陷。
【發明內容】
[0005]本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種基於虛擬化平臺的分布式存儲管理方法，提高了存儲管理虛擬機和各種虛擬化應用系統的可靠性和可用性，優化1處理機制、提高存儲資源的擴展性、簡化存儲資源的配置管理。
[0006]本發明的目的可以通過以下技術方案來實現:
[0007]—種基於虛擬化平臺的分布式存儲管理方法，該方法用於伺服器集群中，其特徵在於，所述的管理方法具體包括以下步驟:
[0008]I)在伺服器集群的每臺伺服器節點上安裝虛擬化平臺，並在虛擬化平臺上部署一個存儲管理虛擬機；
[0009]2)存儲管理虛擬機把節點上的直連磁碟匯聚成存儲資源池；
[0010]3)建立各臺伺服器節點上的存儲管理虛擬機之間通信機制；
[0011]4)將每個節點上的存儲資源池，匯聚成一個分布式存儲資源池；
[0012]5)通過虛擬網絡將分布式存儲資源池，提供給虛擬化平臺，作為虛擬化應用的基礎資源。
[0013]所述的存儲管理虛擬機把節點上的直連磁碟匯聚成存儲資源池具體為:
[0014]21)修改虛擬化平臺上SAS/SATA HBA卡的模式為直通模式，把HBA卡直接呈現給虛擬化平臺上的存儲管理虛擬機；
[0015]22)存儲管理虛擬機將HBA卡匯聚成存儲資源池。
[0016]所述的分布式存儲資源池為構建體現性能的條帶化資源卷、或構建增強可用性的冗餘資源卷。
[0017]本地節點上的應用虛擬機與本地存儲管理虛擬機進行數據交互的同時，也與其他節點上的存儲管理虛擬機進行數據交互。
[0018]本地節點上的應用虛擬機通過內部虛擬網絡與外部網絡，以條帶化的形式寫入本地節點和其他節點的存儲資源池中，或者以條帶化的形式從本地節點或其他節點的存儲資源池中讀取數據。
[0019]某節點上的應用虛擬機通過內部虛擬網絡，把數據寫入本地節點的存儲資源池，同時通過虛擬網口連接外部網絡，拷貝數據到其他節點，使其他節點上保持一份完整副本。
[0020]當本地節點上的存儲管理虛擬機出現異常後，本地節點上應用虛擬機產生的1數據，通過其他節點上的存儲管理虛擬機，把數據寫入其他節點上的存儲資源池，或者從其他節點上的存儲資源池讀取應用虛擬機所取1數據；
[0021]並且，當本地節點上的存儲管理虛擬機恢復正常後，其他節點會同步增量數據到本地節點，保持本地節點與其他節點上數據的一致性。
[0022]當本地節點上的某個應用虛擬機異常後，啟動其他節點上的對應本地節點的異常應用虛擬機副本，來恢復本地節點上的應用虛擬機。
[0023]當本地節點的伺服器異常後，啟動其他節點上所有對應本地節點上的異常應用虛擬機的副本，來恢復本地節點上的所有應用虛擬機。
[0024]獲取本地節點和其他節點上的1操作數，把兩個節點上的1操作數相減得到差值，如果差值大於某個閾值，在1操作數大的節點上，關閉部分應用VM，然後，在1操作數小的節點上，啟動對應的應用虛擬機副本，用1操作數小的節點接替1操作數大的節點運行部分應用虛擬機。
[0025]與現有技術相比，本發明具有以下優點:
[0026](I)在虛擬化應用下，縮短1數據流操作的時間延遲，優化了 1數據處理；
[0027](2)當存儲空間不足時，擴展非常方便，直接在虛擬化的集群平臺中，加入伺服器節點，達到按需擴展的要求，為企業節省成本；
[0028](3)虛擬化平臺與存儲資源的配置管理，已經融合到一個物理伺服器中，因此，簡化了虛擬化平臺與存儲資源的配置管理，消除了虛擬化平臺配置管理員與存儲資源配置管理之間的鴻溝。
【專利附圖】
【附圖說明】
[0029]圖1是基於虛擬化平臺的分布式存儲管理示意圖；
[0030]圖2是1數據流示意圖；
[0031]圖3a是資源池一種1數據流示意圖；
[0032]圖3b是資源池另一種1數據流示意圖；
[0033]圖4是存儲管理VM異常後1數據流示意圖；
[0034]圖5是應用虛擬機異常後1數據流示意圖；
[0035]圖6是虛擬化平臺所在伺服器節點異常後1數據流示意圖。
【具體實施方式】
[0036]下面將結合本發明實施例中的附圖，對本發明的技術方案進行清楚、完整地描述。此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
[0037]本發明在每臺伺服器節點的虛擬化平臺上創建一個虛擬機，虛擬機裡面運行存儲管理VM ;對每臺伺服器節點上的直連磁碟，通過直通模式呈現給存儲管理VM ;存儲管理VM把伺服器節點上的直連磁碟匯聚成存儲資源池；每個伺服器節點上的存儲管理VM建立通信機制，使各節點能夠探測到其他節點上的存儲資源池，把各節點上的存儲資源池匯聚成一個大的分布式存儲資源池，讓存儲資源池具有高可靠、高可用、高性能的特性；存儲管理VM把所述存儲資源池通過內部虛擬化網絡提供給虛擬化平臺，做為虛擬化應用的基礎存儲資源；各種應用VM所涉及的1數據流，與分布式存儲資源池進行交互，對每個伺服器節點上的存儲管理VM的1操作數進行排序，根據排序均衡所有伺服器節點上的應用VM。在虛擬化環境下，本發明提高了存儲管理VM和各種虛擬化應用系統的可靠性和可用性，優化了1數據處理，簡化存儲設施管理和部署。
[0038]如圖1所示，本實施例提供一種基於虛擬化平臺的分布式存儲管理方法，應用在虛擬化平臺中，該方法具體包括:
[0039](I).在節點I和節點2上的系統盤上，安裝虛擬化平臺，如VMware、KVM、Hyper_V、XEN 等；
[0040](2).在虛擬化平臺中，設置掛載物理磁碟的SAS/SATA HBA卡，該HBA卡為PCI設備，使能該PCI設備的pass through模式；
[0041](3).在節點I和節點2的虛擬化平臺上分別部署一個虛擬機，存儲管理VM運行在該虛擬機中，此時，存儲管理VM可以直接探測到各自節點HBA卡上的物理磁碟，虛擬化平臺已經使用不了 HBA卡上的磁碟；
[0042](4).節點I上的存儲管理VM把節點I上的所有直連磁碟匯聚成一個存儲資源池，節點2上的存儲管理VM把節點2上的所有直連磁碟匯聚成一個存儲資源池；
[0043](5).通過虛擬化平臺的虛擬網絡，建立節點I與節點2管理虛擬機的通信機制，使節點I與節點2的存儲管理VM可以彼此探測到對方的存儲資源池；
[0044](6).在節點I或節點2上,把節點I與節點2的存儲資源池,匯聚成一個大的分布式存儲資源池，因此，該分布式存儲資源池包括節點1、節點2上的存儲資源池，並且，在節點I和節點2上都可以使用這個分布式存儲資源池；
[0045](7).通過虛擬化平臺的虛擬網絡，把上述分布式存儲資源池掛載到節點I或節點2上的虛擬化平臺，做為應用VM的基礎資源；
[0046](8).如圖2所示，節點I的應用VM 1數據流，與本地存儲管理VM進行數據交互的同時，也可以與節點2存儲管理VM進行數據交互；
[0047](9).如圖3a所示，根據存儲策略，為了提高分布式存儲資源池的性能，應用VM 1數據流，通過內部虛擬網絡與外部網絡，以條帶化的形式寫入節點I和節點2的存儲資源池中，或者以條帶化的形式從節點I和節點2的存儲資源池中讀取數據；
[0048](10).如圖3b所示，根據存儲策略，為了增加分布式存儲資源池的高可用特性，應用VM產生的1數據流，通過內部虛擬網絡，把數據寫入本地的存儲資源池，同時，通過虛擬網口連接外部網絡，拷貝數據到節點2，使節點2上保持一份完整副本。
[0049](11).如圖4所示，當節點I上的存儲管理VM出現異常後，節點I上應用VM產生的1數據，通過節點2上的存儲管理VM，把數據寫入節點2上的存儲資源池，或者從節點2上的存儲資源池讀取應用VM所取1數據。並且，當節點I上的存儲管理VM恢復正常後，節點2會同步增量數據到節點1，保持節點I與節點2上數據的一致性。
[0050](12).如圖5所示，當節點I上的某個應用VM異常後，啟動節點2上的對應節點I的異常應用VM副本，來恢復節點I上的應用VM。
[0051](13).如圖6所示，當節點I伺服器異常後，啟動節點2上所有對應節點I上的異常應用VM的副本，來恢復節點I上的所有應用VM。
[0052](14).獲取節點I和節點2上的1操作數，把兩個節點上的1操作數相減得到差值，如果差值大於某個閾值，在1操作數大的節點上，關閉部分應用VM，然後，在1操作數小的節點上，啟動對應的應用VM副本，用1操作數小的節點接替1操作數大的節點運行部分應用VM。
[0053]綜上所述，本發明通過分布式存儲管理方法，在虛擬化平臺中，優化了 1處理機制、提高存儲資源的擴展性，簡化存儲資源的配置管理。
[0054]當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的變化，但這些相應的變化都應屬於本發明所附的權利要求的保護範圍。
【權利要求】
1.一種基於虛擬化平臺的分布式存儲管理方法，該方法用於伺服器集群中，其特徵在於，所述的管理方法具體包括以下步驟: 1)在伺服器集群的每臺伺服器節點上安裝虛擬化平臺，並在虛擬化平臺上部署一個存儲管理虛擬機； 2)存儲管理虛擬機把節點上的直連磁碟匯聚成存儲資源池； 3)建立各臺伺服器節點上的存儲管理虛擬機之間通信機制； 4)將每個節點上的存儲資源池，匯聚成一個分布式存儲資源池； 5)通過虛擬網絡將分布式存儲資源池，提供給虛擬化平臺，作為虛擬化應用的基礎資源。
2.根據權利要求1所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，所述的存儲管理虛擬機把節點上的直連磁碟匯聚成存儲資源池具體為: 21)修改虛擬化平臺上SAS/SATAHBA卡的模式為直通模式，把HBA卡直接呈現給虛擬化平臺上的存儲管理虛擬機； 22)存儲管理虛擬機將HBA卡匯聚成存儲資源池。
3.根據權利要 求1所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，所述的分布式存儲資源池為構建體現性能的條帶化資源卷、或構建增強可用性的冗餘資源卷。
4.根據權利要求1所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，本地節點上的應用虛擬機與本地存儲管理虛擬機進行數據交互的同時，也與其他節點上的存儲管理虛擬機進行數據交互。
5.根據權利要求4所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，本地節點上的應用虛擬機通過內部虛擬網絡與外部網絡，以條帶化的形式寫入本地節點和其他節點的存儲資源池中，或者以條帶化的形式從本地節點或其他節點的存儲資源池中讀取數據。
6.根據權利要求4所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，某節點上的應用虛擬機通過內部虛擬網絡，把數據寫入本地節點的存儲資源池，同時通過虛擬網口連接外部網絡，拷貝數據到其他節點，使其他節點上保持一份完整副本。
7.根據權利要求4所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，當本地節點上的存儲管理虛擬機出現異常後，本地節點上應用虛擬機產生的1數據，通過其他節點上的存儲管理虛擬機，把數據寫入其他節點上的存儲資源池，或者從其他節點上的存儲資源池讀取應用虛擬機所取1數據； 並且，當本地節點上的存儲管理虛擬機恢復正常後，其他節點會同步增量數據到本地節點，保持本地節點與其他節點上數據的一致性。
8.根據權利要求6所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，當本地節點上的某個應用虛擬機異常後，啟動其他節點上的對應本地節點的異常應用虛擬機副本，來恢復本地節點上的應用虛擬機。
9.根據權利要求6所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，當本地節點的伺服器異常後，啟動其他節點上所有對應本地節點上的異常應用虛擬機的副本，來恢復本地節點上的所有應用虛擬機。
10.根據權利要求6所述的一種基於虛擬化平臺的分布式存儲管理方法，其特徵在於，獲取本地節點和其他節點上的1操作數，把兩個節點上的1操作數相減得到差值，如果差值 大於某個閾值，在1操作數大的節點上，關閉部分應用VM，然後，在1操作數小的節點上，啟動對應的應用虛擬機副本，用1操作數小的節點接替1操作數大的節點運行部分應用虛擬機。
【文檔編號】G06F3/06GK104049912SQ201410221808
【公開日】2014年9月17日 申請日期:2014年5月23日 優先權日:2014年5月23日
【發明者】曹少坤, 趙德祥, 盧波 申請人:上海愛數軟體有限公司