一種混合存儲陣列的構建方法與流程

2023-06-16 01:52:46

本發明屬於計算機存儲技術領域，更具體地，涉及一種混合存儲陣列的構建方法。

背景技術：

隨著固態盤技術的發展，給整個存儲領域的應用和研究帶來了不小的影響。相對於機械磁碟，固態盤因其不需要磁頭的尋道和旋轉定位時間，有更好的隨機訪問性能，從而為從根本上解決傳統磁碟低的隨機訪問性能問題提供了可能。此外作為電子器件的固態盤還具備功耗低、體積小、重量輕和抗震等優勢。然而，由於價格、容量等方面的原因,在未來很長一段時間內固態硬碟仍然不可能在存儲應用領域完全取代磁碟，因此利用磁碟和固態硬碟構建混合存儲系統，充分利用兩者各自的優勢來提高存儲系統的整體性能，成為目前主流的研究方向。

磁碟陣列(Redundant Arrays of Independent Disks，RAID)，有「獨立磁碟構成的具有冗餘能力的陣列」之意。它是由很多價格較便宜的磁碟，組合成一個容量巨大的磁碟組，利用個別磁碟提供數據所產生加成效果提升整個磁碟系統效能。利用這項技術，將數據切割成許多區段，分別存放在各個硬碟上。

現有的磁碟陣列分為三類：由硬碟驅動器(Hard Disk Drive，HDD)構建的傳統RAID、由固態硬碟(Solid State Disk，SSD)構建的RAID以及由HDD和SSD混合的RAID。隨著SSD價格的降低，由SSD組成大容量的陣列已經成為可能，並被越來越多的人所接受。但是正如之前提到的SSD在價格和容量上仍然和HDD有著較大的差距，況且其自身的擦寫以及壽命問題，使得將SSD和HDD共同組成大容量、高性能、高可靠性的混合陣列成為一種理想的解決思路。

目前主要的混合陣列性能優化方法有以下幾種：

HP公司提出了一種混合陣列AutoRAID。不過，AutoRAID做的是基於HDD的RAID1和SSD的RAID5的混合。AutoRAID提出了兩層的存儲架構，上層組建RAID1來存放active數據來保證高性能，而下層組建RAID5來存放inactive數據以性能換取冗餘度，降低存儲成本。其主要思路是利用active數據的規模小但訪問頻度高對性能要求高的特點，和inactive數據規模大但訪問度低、只要保證可靠性的特點，分別採用不同級別的RAID方式組織數據，從而兼顧性能和存儲成本，但是僅僅是在HDD級的混合。

謝濤等人提出了PEARL混合模型，在PEARL中，SSD和HDD一一對應組成混合磁碟對，所有HDD按某一RAID方式組織成陣列。PEARL將數據分為三類：讀密集型、寫密集型和讀寫混合型，寫密集型放在HDD中，讀密集型數據放在SSD，而讀寫混合型數據根據性能、能耗以及可靠性公式決定放在HDD還是SSD。該方案能夠對性能、能耗和可靠性進行折衷考慮，但在性能優化上和很多方案一樣忽略了SSD更好的隨機讀寫性能優勢。

毛波等人提出的HPDA將若干個SSD(數據盤)和一個HDD的部分空間(parity盤)組成RAID4，剩餘的HDD空間和另一個HDD組成一個RAID1作為寫buffer來優化對SSD陣列的小寫。該方案利用HDD緩存一些隨機小寫請求來提高SSD陣列的寫性能，但是為區分數據的冷熱，所有數據的寫操作都要進行兩次。

因此，採用上述方式在提高混合存儲陣列的性能方面存在一定的局限性。

技術實現要素：

針對現有技術的以上缺陷，本發明提供了一種混合存儲陣列的構建方法，其目的在於構建一種高性能的基於RAID5的混合陣列。通過將順序讀寫請求數據放在zone-Ⅰ(一個HDD存儲區域)，將熱的隨機小讀和小寫請求分別放在zone-Ⅱ(SSD隨機小讀存儲區域)和zone-Ⅲ(SSD隨機小寫存儲區域)，充分利用HDD高的順序讀寫性能和SSD的隨機讀寫性能來提高混合存儲陣列的I/O性能，由此解決現有的提高混合存儲陣列的性能存在一定局限性的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種混合存儲陣列的構建方法，包括以下步驟：

S1：將混合陣列劃分為三個區域zone-Ⅰ、zone-Ⅱ以及zone-Ⅲ，其中，zone-Ⅰ是由RAID5構成的一個HDD存儲區域、zone-Ⅱ是由RAID0構成的一個SSD隨機小讀存儲區域、zone-Ⅲ是由RAID5構成的一個SSD隨機小寫存儲區域；

S2：利用參數request size、frequency以及seek distance計算出條帶的性能收益值；

S3：計算條帶在預設時間內的讀寫比例，根據讀寫比例以及條帶的性能收益值將數據按條帶分為三類S-Ⅰ、S-Ⅱ以及S-Ⅲ，其中S-Ⅰ表示冷數據以及順序讀寫類型的熱數據、S-Ⅱ表示隨機小讀類型的熱數據、S-Ⅲ表示隨機小寫類型的熱數據；

S4：按條帶動態遷移數據，將S-Ⅰ類數據重定位到zone-Ⅰ，S-Ⅱ類數據重定位到zone-Ⅱ，S-Ⅲ重定位到zone-Ⅲ。

優選地，步驟S2具體包括以下子步驟：

S2-1：將文件系統下發的請求分為若干個物理地址連續的子請求；

S2-2：獲取各子請求的request size和seek distance，利用公式：△P＝(2Lp*[max(0,k-m)/k])*(1+t*S)計算出各子請求所涉及的條帶的性能收益增量值△P，然後由公式P＝P1+F*△P計算出各子請求所涉及的條帶的性能收益值，其中，m表示request size，S表示seek distance，Lp、k和t分別為預設的參數，2Lp表示預設的P的最大增量，2k表示預設的最大請求大小，t為seek distance的權重因子，P1表示原始值，F表示訪問頻率frequency；

S2-3：更新各子請求涉及到的所有條帶的性能收益值。

優選地，步驟S3具體包括以下子步驟：

S3-1：統計條帶在預設時間內的讀寫比例，若讀寫比例大於預設讀操作閾值，則確定該條帶為讀密集型，否則為寫密集型；

S3-2：將性能收益值P低於第一預設值的條帶作為S-Ⅰ類數據，將性能收益值P高於第一預設值的讀密集型條帶作為S-Ⅱ類數據，將性能收益值P高於第二預設值的寫密集型條帶作為S-Ⅲ類數據。

優選地，步驟S4具體包括以下子步驟：

S4-1：將zone-Ⅲ中的S-Ⅰ類和S-Ⅱ類數據遷往zone-Ⅰ；

S4-2：將zone-Ⅰ中的S-Ⅱ類數據採用拷貝式方式遷往zone-Ⅱ，S-Ⅲ類數據採用交換式方式遷往zone-Ⅲ；

S4-3：將zone-Ⅱ中的S-Ⅰ類數據遷回zone-Ⅰ，S-Ⅲ類數據遷往zone-Ⅲ。

總體而言，通過本發明所構思的以上技術方案與現有技術相比，主要有以下的技術優點：

(1)採用request size、frequency和seek distance參數識別隨機小請求數據，提高了識別的準確度，同時識別策略充分考慮到數據的條帶性，更適合於混合陣列環境。

(2)通過數據分類識別，根據設備自身的性能特性合理對數據進行布局，充分利用存儲資源，最大程度地優化了系統的I/O性能，做到對下層物理設備的感知存儲。

(3)多種RAID模式混合，在保證可靠性的同時降低存儲開銷。將zone-Ⅰ和zone-Ⅲ上的數據按RAID5組織，而zone-Ⅱ按RAID0組織，其條帶數據的可靠性需要配合該條帶在zone-Ⅰ上的其他數據和parity來保證，因為zone-Ⅱ區域上的I/O多為讀操作，所以很少會訪問條帶的其他數據和parity。

(4)將隨機小請求數據分為讀密集型和寫密集型，並將其分別存放在不同的flash晶片上，既保證了性能和可靠性，又降低了成本。同時針對這兩類數據的特性採用了不同的數據遷移策略，有效降低了遷移的開銷。

附圖說明

圖1是本發明實施例公開的一種混合存儲陣列的構建方法的流程示意圖；

圖2是本發明實施例公開的一種混合存儲陣列的架構示意圖；

圖3是本發明實施例公開的一種數據類型識別方法的流程示意圖；

圖4是本發明實施例公開的一種將zone-Ⅰ中的S-Ⅱ類數據以及S-Ⅲ類數據進行遷移的示意圖；

圖5是本發明實施例公開的一種可選的按條帶進行動態遷移數據的示意圖；

圖6是本發明實施例公開的另一種可選的按條帶進行動態遷移數據的示意圖；

圖7是本發明實施例公開的一種數據遷移過程的結構示意圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。此外，下面所描述的本發明各個實施方式中所涉及到的技術特徵只要彼此之間未構成衝突就可以相互組合。

圖1為本發明實施例公開的一種混合存儲陣列的構建方法的流程示意圖，包括以下步驟：

S1：將混合陣列劃分為三個區域zone-Ⅰ、zone-Ⅱ以及zone-Ⅲ，其中，zone-Ⅰ是由RAID5構成的一個HDD存儲區域，zone-Ⅱ是由RAID0構成的一個SSD隨機小讀存儲區域，zone-Ⅲ是由RAID5構成的一個SSD隨機小寫存儲區域；

S2：利用參數request size、frequency和seek distance計算出條帶的性能收益值；

S3：計算條帶在預設時間內的讀寫比例，根據讀寫比例以及條帶的性能收益值將數據按條帶分為三類S-Ⅰ、S-Ⅱ以及S-Ⅲ，其中，S-Ⅰ表示冷數據以及順序讀寫類型的熱數據，S-Ⅱ表示隨機小讀類型的熱數據，S-Ⅲ表示隨機小寫類型的熱數據；

S4：按條帶動態遷移數據，將S-Ⅰ類數據重定位到zone-Ⅰ，S-Ⅱ類數據重定位到zone-Ⅱ，S-Ⅲ重定位到zone-Ⅲ。

上述步驟S1中，區域的劃分主要是依據具體存儲設備的特性和數據訪問的特點：

A、SSD和HDD在讀寫性能上存在很大差異。相比於HDD，SSD在順序讀寫的情況下並沒有明顯的性能優勢，甚至對於低端的SSD產品而言還沒有HDD的順序性讀寫性能高；但是對於隨機訪問負載而言，SSD比HDD表現出較為明顯的性能優勢。因此從I/O性能的角度出發，將隨機讀寫請求定位到SSD區，將順序讀寫請求定位到HDD區，能夠提高系統的I/O帶寬。

B、同時考慮到SSD的讀寫不平衡特性，將SSD區進一步分為讀密集型區(zone-Ⅱ)和寫密集型區(zone-Ⅲ)，zone-Ⅱ由MLC型flash晶片構成RAID0，而zone-Ⅲ採用可擦除次數更高的SLC型flash晶片RAID5,這裡zone-Ⅱ採用RAID0以節省存儲空間，而其條帶數據的可靠性需要配合該條帶在zone-Ⅰ上的其他數據和奇偶校驗位parity來保證。

如圖2所示為本發明實施例公開的一種混合存儲陣列的架構示意圖，存儲空間劃分為三個區域zone-Ⅰ(HDD存儲區域)、zone-Ⅱ(SSD隨機小讀存儲區域)和zone-Ⅲ(SSD隨機小寫存儲區域)。需要說明的是，整個地址空間由zone-Ⅰ和zone-Ⅲ構成，zone-Ⅱ作為預留空間用於存儲遷移過來的隨機小請求的讀密集型數據。

在文件系統下發請求時，首先按照從低到高的順序分配地址，然後在位圖bitmap上標記該地址已經分配，同時完成數據項的初始化，記錄從邏輯地址到物理地址的映射，接著向下轉發請求。

該步驟給出的數據分布策略是根據設備自身的性能特性對混合陣列中的數據進行合理布局，充分利用存儲資源最大程度地優化了系統的I/O性能，做到對下層物理設備的感知存儲。

上述步驟S2中，計算條帶的性能收益值的步驟如下：

將文件系統下發的請求按照物理地址，分為若干個地址連續的子請求q1，q2，q3…qn。其中每一個子請求還要滿足只映射到一個zone。這裡每一個zone可以看做是一個邏輯設備；

對每個子請求qi(i＝1,2,3…n)獲取其request size和seek distance參數,這裡的request size以chunk為基本單位計算，表示請求指令請求訪問的數據塊的大小，而seek distance則以stripe為基本單位計算，表示請求指令訪問的具體的數據塊；

將相關參數代入公式：△P＝(2Lp*[max(0,k-m)/k])*(1+t*S)，計算出各子請求所涉及的條帶的性能收益增量值△P，然後由公式P＝P1+F*△P計算出各子請求所涉及的條帶的性能收益值，其中，m表示request size，S表示seek distance，Lp、k、t分別為預設的參數，2Lp表示預設的P的最大增量，2k表示預設的最大請求大小，t為seek distance的權重因子，P1表示原始值，F表示相應的條帶被訪問的頻率frequency；

需要說明的是，性能收益值P表示將條帶放在SSD上比放在HDD上訪問I/O性能的提升程度。

更新該請求qi涉及到的所有條帶的性能收益值。

例如，若q1＝(R，D)，其中R表示該請求為讀操作，D代表要讀的數據域，D＝(chunck0，chunck1，chunck2，chunck3，chunck4)，當前所在zone的條帶數據長度為3個chunck，則請求q1涉及條帶stripe0和條帶strip1，因此將q1計算的P加到stripe0和strip1上。

若子請求為讀操作，則所涉及到的所有條帶的read_count值加1；否則write_count值加1。

該步驟給出的條帶性能收益值的分析是以條帶為單位，識別策略充分考慮到數據的條帶性，與以往的分析方法相比，更適合於應用在陣列環境下的I/O行為分析。

上述步驟S3中，數據分類按照條帶的性能收益值P以及讀寫比例將條帶分為S-Ⅰ類、S-Ⅱ類和S-Ⅲ類。其中S-Ⅰ類適合於放在容量大、順序訪問性能高的HDD上，S-Ⅱ類和S-Ⅲ類適合於放在容量小、隨機訪問性能高的SSD上。

如圖3所示為本發明實施例公開的一種數據類型識別方法的流程示意圖，包括以下步驟：

301：將文件系統下發的請求Q分為若干個物理地址連續的子請求；

302：獲取各子請求的request size、seek distance以及數據塊的訪問頻率frequency；

303：計算各子請求所涉及的條帶的性能收益值P；

304：統計條帶在預設時間內的讀寫比例Rw，並更新子請求涉及到的條帶的性能收益值；

305：判斷條帶qi的讀寫比例是否大於預設讀操作閾值threshold-read，若是，則執行步驟306，否則執行步驟307；

306：判斷條帶qi的性能收益值P是否高於第一預設值Pii；若是，則執行步驟308，否則執行步驟309；

307：判斷條帶qi的性能收益值是否高於第二預設值Piii，若是，則執行步驟310，否則執行步驟309；

308：將該條帶qi作為S-Ⅱ類數據；

309：將該條帶qi作為S-Ⅰ類數據；

310：將該條帶qi作為S-Ⅲ類數據；

311：檢測是否完成所有條帶的數據類型劃分操作，若完成，則結束流程，否則執行步驟305。

上述步驟S4中，根據對數據分類的結果以條帶為單位進行數據重分布。這裡，我們重點講將zone-Ⅰ上影響系統性能的數據遷到SSD區域進行優化。具體的，將zone-Ⅰ中的S-Ⅱ類數據採用拷貝式遷往zone-Ⅱ，將zone-Ⅰ中的S-Ⅲ類數據採用交換式遷往zone-Ⅲ。之所以採用兩種不同的遷移方式，主要是考慮到了S-Ⅱ和S-Ⅲ類數據在訪問特性上的本質區別。如圖4所示，表示將zone-Ⅰ中的S-Ⅱ類數據以及S-Ⅲ類數據進行遷移的示意圖。

圖4的上面部分表示的是將讀密集型S-Ⅱ型數據遷往zone-Ⅱ；下面部分表示將寫密集型S-Ⅲ型數據遷往zone-Ⅲ。對於S-Ⅱ型數據A來說，將其遷往zone-Ⅱ後，因為進行的基本上都是讀操作，數據不被修改的可能性很大，當數據A需要被遷出zone-Ⅱ時僅僅將髒數據部分寫回即可，所以採用拷貝方式遷移數據，雖然造成了數據的冗餘，增加了存儲開銷；但有效保存了源數據副本，降低了數據遷回的I/O開銷。

而對於S-Ⅲ型數據B來說，將其遷往zone-Ⅲ後，因為I/O中有很多寫操作，數據不被修改的可能性很小，當數據需要被遷出zone-Ⅲ時，源數據等同於無效，此時數據的寫回量等同於遷入的量，所以採用交換式的數據遷移方式，即遷移的源地址和目的地址的數據進行交換，而不保存源數據副本以節約存儲空間。

另外，在數據進行重分布時，考慮到數據的條帶性，遷移操作以條帶為基本單位，也就是說要將整個條帶的數據包括校驗部分數據作為整體進行遷移。如圖5所示，表示一種可選的按條帶進行動態遷移數據的示意圖。

圖5中，條帶stripe0被識別為S-Ⅱ型遷往zone-Ⅱ，條帶stripe1被識別為S-Ⅲ型遷往zone-Ⅲ。現在假設D0、D1、D3和D4為熱數據，而其他的為冷數據，因此對D2和D5的遷移並不是我們想要的。在圖4的描述中對於S-Ⅲ型數據的遷移採用交換式遷移以節約存儲空間。如果只遷移D3和D4，為了保證條帶的可靠性，必須要重新計算P1，因為此時stripe1中的數據已經發生變化，這與遷移整個條帶模式相比並不見得減少I/O開銷，反而增加了遷移操作的複雜度。對於S-Ⅱ型數據的遷移我們可以採用copy-on-write方式解決條帶中冷數據的遷移問題。具體來講，可以將D2的遷移推遲到stripe0進行寫操作的時候，在對條帶進行讀操作時通常並不會涉及到對條帶中冷數據部分的操作，而只有在對條帶進行寫操作時才可能需要遷移條帶剩餘的冷數據部分：1)對於冷數據的寫操作；2)對於熱數據的寫操作採用重構寫。考慮到S-Ⅱ型數據的讀操作比例很大，在數據遷回去之前很可能只會進行讀取條帶熱數據的操作，並不需要將冷數據部分遷回，該策略可以有效降低了S-Ⅱ型數據的遷移開銷，不過仍需要為條帶中的冷數據預留空間，大大降低了zone-Ⅱ空間的利用率。

另一種方法是將zone-Ⅱ按RAID0組織數據。如圖6所示，表示另一種可選的按條帶進行動態遷移數據的示意圖。

圖6中stripe0和stripe2被識別為S-Ⅱ型，可以只將條帶中的熱數據部分D0、D1、D6和D7遷移到zone-Ⅱ，並以RAID0方式組成一個條帶(條帶內數據塊的邏輯地址可以不連續)。相對於copy-on-write方式，該方法大大提高了SSD的空間利用率。由於條帶stripe0的數據可靠性需要配合該條帶在zone-Ⅰ上的其他數據和parity來保證，也就是說zone-Ⅰ上的D2和P0以及zone-Ⅱ上的D0和D1構成了一個邏輯上的stripe。當D0或D1執行寫操作時，除了自身數據部分的修改，還要更新zone-Ⅰ上stripe0的P0，由於zone-I由HDD組成對於P0的更新可能會影響整個的寫操作，但是考慮到zone-Ⅱ上數據為讀密集型並不會經常涉及條帶寫操作，因此並不會對系統的寫性能產生明顯的影響。

具體來說，將zone-Ⅰ上的S-Ⅱ型數據採用拷貝式遷往zone-Ⅱ(減少遷回的開銷)，S-Ⅲ型數據採用交換式遷往zone-Ⅲ；將zone-Ⅱ的S-Ⅰ型數據遷回zone-Ⅰ，S-Ⅲ型數據遷往zone-Ⅲ；將zone-Ⅲ上S-Ⅰ型和S-Ⅱ型數據遷往zone-Ⅰ。注意到zone-Ⅲ上的數據只能遷往zone-Ⅰ而不能直接遷往zone-Ⅱ，這是為了zone-Ⅱ上的數據在zone-Ⅰ上均有副本以保證其可靠性，如圖7所示，表示一種數據遷移過程的結構示意圖。

該步驟給出的數據重分布策略根據不同類型數據的訪問特性採用針對性的遷移方式，有效降低了遷移的開銷；依據S-Ⅱ型數據的讀密集型特性將zone-Ⅱ按RAID0組織數據，並採用部分條帶遷移策略，在保證了性能和可靠性的同時提高了SSD的空間利用率。

本領域的技術人員容易理解，以上所述僅為本發明的較佳實施例而已，並不用於限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。