混合儲存集合塊跟蹤的製作方法
2023-04-26 13:45:16
混合儲存集合塊跟蹤的製作方法
【專利摘要】提供用於操作混合儲存集合的方法和設備。在一個實施例中，這樣的方法包括將混合儲存集合中的物理儲存的第一層作為混合儲存集合中的物理儲存的第二層的緩存。物理儲存的第一層包括多個被分配塊。該方法還包括更新被分配塊的元數據以響應與至少一個被分配塊相關聯的事件。元數據包括塊使用信息，每塊被分配塊跟蹤兩個以上可能的使用狀態。該方法可以進一步包括處理所述元數據，用以確定被分配塊的緩存特性。
【專利說明】混合儲存集合塊跟蹤
[0001]相關申請的交叉引用
[0002]本申請要求美國專利申請號N0.13/413,877，申請日為2012年3月7日的優先權，這裡通過引用將該公開全部內容結合於此。
【技術領域】
[0003]本申請的多個實施例通常與運行數據存儲系統的領域的相關。更具體地，本申請的多個實施例涉及在混合儲存集合中分配存儲空間的方法與系統。
【背景技術】
[0004]計算機和計算系統的普及導致了對電子數據的可靠及高效存儲的需求不斷增長。存儲伺服器是提供與數據的組織與存儲相關的存儲服務的專用計算機。由存儲伺服器管理的數據通常被儲存於可寫入的持久性存儲介質，例如非易失性存儲器和磁碟。存儲伺服器可以被配置為根據信息傳遞的客戶端/伺服器模型操作，使許多客戶端或應用訪問該系統提供的數據。存儲伺服器可以使用在文件級下運用隨機和流媒體訪問模式提供數據的存儲架構，如附網存儲(NAS)環境下，或在塊級別下如在存儲區域網絡(SAN)下。
[0005]用於存儲伺服器的各種類型的非易失性存儲介質可具有不同的延遲。訪問時間(或延遲)是從存儲介質中獲取數據所需的時間。在很多情況下，數據被儲存於具有相對高延遲的硬碟驅動器(HDD)中。在HDD中，磁碟訪問時間包括磁碟啟動時間、尋道時間、旋轉延遲時間和數據傳輸時間。在其他情況下，數據被儲存於固態硬碟(SSD)中。SSD相較HDD通常具有較低的延遲，因為SSD不存在操作HDD時固有的機械延遲。HDD通常在讀取順序存儲在物理介質中的大塊數據時具有較好的性能。但是，在隨機訪問時，HDD的表現也不佳，因為該裝置的機械組件需要頻繁地移動到介質上的不同物理位置。
[0006]SSD使用固態存儲器，如非易失性閃速存儲器以儲存數據。由於沒有移動部件，SSD通常在隨機和頻繁的訪問中提供更好的性能，因為它們具有較低的延遲。然而，SSD通常比HDD更加昂貴，並且有時因為磨損或別的退化原因使其具有較短的運行壽命。這些額外的前期和更換成本對具有使用數千個存儲裝置的存儲伺服器的數據中心可以很大。
[0007]混合儲存集合結合了 HDD和SSD的優點。存儲「集合」是物理存儲的邏輯集合體，即存儲池的邏輯容器，它結合了一種或多個物理大容量存儲設備或其零件成為單個邏輯存儲對象，其包含或提供儲存給一個或多個處於更高級別抽象的邏輯數據集(例如卷)。在一些混合儲存集合中，SSD作為混合儲存集合的一部分並提供高性能，而相對廉價的HDD構成存儲陣列的剩餘部分。在某些情況下，具有各種延遲的存儲設備的其他組合也可被用於替代HDD和SSD或與HDD和SSD結合。這些其他存儲設備包括非易失性隨機存取存儲器(NVRAM)，磁帶驅動器，光碟，及微機電(MEMS)存儲設備。由於低延遲(即SSD)存儲空間在混合儲存集合中是有限的，與低延遲儲存設備相關聯的好處通過運用其存儲訪問最頻繁的(即，「熱的」)數據得到了最大化。剩下的數據被存儲在較高延遲的設備中。因為數據和數據的用量隨著時間改變，所以確定哪些數據是熱的並且應被存儲在低延遲的設備中就是一個持續的過程。將數據在高延遲和低延遲的設備中移動是一個多步驟地過程，需要更新指針和其他標識數據位置的信息。
[0008]更低的延遲存儲通常被用作高延遲存儲的緩存。在一些情況下，最頻繁訪問的數據副本存儲在緩存中。當執行數據存取時，將會先檢查更高速的緩存以確認所需要的數據是否存於其中，如果是的，那麼數據將從緩存中被訪問。在這樣的模式下，緩存通過減少高延遲設備必須被訪問的次數來減少了總的數據訪問次數。在一些情況下，緩存空間被用於存儲被頻繁寫入的數據(即，寫緩存)。備選地，或額外地，緩存空間被用於存儲被頻繁讀取的數據(即，讀緩存)。對於讀緩存和寫緩存的管理與運作方法往往是不同的。
[0009]由於存儲數據的數量、存儲數據的種類、數據被訪問頻次以及其他的原因，對存儲系統的需求往往會隨著時間改變。存儲系統的性能也通常會在這些變化的條件下發生變化。在混合儲存集合的情況下，改變低延遲層的配置和/或分配通常對滿足系統變化的需求是有幫助的。這允許低延遲層的有限的資源被動態分配，以滿足存儲系統變化的需求。例如，一個特定大小的讀緩存，對於滿足存儲系統的需求來說曾經是足夠大，而現在由於對系統的不斷改變的需求，它可能不再足夠大了。目前，雖然混合儲存集合可以跟蹤一個特定的塊是否已被分配，但是它們不能跟蹤充分的信息以使這些種類的分配決策最有效。
【發明內容】
[0010]混合儲存集合的性能可通過動態分配可用的存儲空間來提高。存儲集合的低延遲層中可被存取的存儲空間可被重新分配以滿足系統變化的需求。跟蹤有關低延遲層的塊如何被使用的歷史信息，對未來的關於如何使用低延遲層的可用空間的決策制定有所幫助。因此，跟蹤混合儲存集合中的詳細的塊使用信息將在此介紹。在一個例子中，這樣的方法包括操作混合儲存集合中的物理儲存的第一層作為所述混合儲存集合中的物理儲存的第二層的緩存。物理儲存的所述第一層包括多個被分配塊。這樣的方法包括更新所述被分配塊的元數據以響應與至少一個所述被分配塊相關聯的事件。所述元數據包括塊使用信息，所述塊使用信息每塊被分配塊跟蹤兩個以上可能的使用狀態，例如，跟蹤每塊不僅僅是「空閒」或「佔用」狀態信息。例如，該系統可以跟蹤關於所述塊如何被使用的信息，例如每個塊被用於作為讀緩存，寫緩存或是被用於其他用途。所述方法也包括處理所述元數據以確定所述被分配塊的緩存特性。
[0011]在另一個例子中，一個存儲伺服器系統包括處理器和存儲器。存儲器與處理器耦接，並包括一個存儲管理器。所述存儲管理器指示處理器操作一個混合儲存集合，該集合包括物理存儲介質的第一層和物理儲存介質的第二層。物理存儲介質的所述第一層具有相比所述物理存儲介質的所述第二層的延遲較小的延遲。所述存儲管理器指示處理器分配物理儲存的所述第一層的多個塊。所述被分配塊的第一部分被作為物理儲存的所述第二層的讀緩存，所述被分配塊的第二部分被作為物理儲存的所述第二層的寫緩存。所述存儲管理器還指示處理器更新所述被分配塊的元數據以響應與至少一個所述被分配塊相關聯的事件。其中所述元數據包括塊使用信息，塊使用信息每塊被分配塊跟蹤兩個以上可能的使用狀態。所述存儲管理器還指示處理器處理元數據以確定所述被分配塊的緩存特性並基於所述緩存特性改變所述被分配塊的分配。
[0012]在混合儲存集合中，讀緩存與寫緩存常用來優化相關聯的存儲系統的性能。一部分存儲集合的低延遲層中可用的數據存儲塊通常被用於作為緩存。這些被分配塊可被用為讀緩存、寫緩存或者是結合起來。由於對存儲系統的要求一直在變化，系統的性能可通過改變如何分配低延遲層的塊而獲得提升。在一個實例中，改變系統的使用是這樣的，如果至少一個緩存的尺寸得到增大，可以整個系統的性能得到改善。與此同時，至少一個緩存的當前使用情況可以是，它的大小減小但是對存儲系統的性能沒有顯著影響。這些類型的確定需要執行一個與構成這些緩存相關的塊的使用情況相關的核算活動。這個核算涉及跟蹤塊的使用情況以及處理使用信息來確定塊的使用特性。
[0013]低延遲設備中的可用存儲空間可以被分配用於讀緩存、寫緩存或讀緩存和寫緩存的結合。此外，在用於存儲多個卷的混合儲存集合中，這些塊可以被分配到不同的卷上。隨著時間的推移，存儲系統的使用模式和使用特性是這樣的，例如低延遲層的塊的不同的分配可能更適合併/或提供更好的系統性能。然而，目前混合儲存集合併不跟蹤低延遲層中正在使用的塊的使用情況。目前混合儲存集合跟蹤低延遲層中的塊是否被分配使用(即數據塊是被分配還是未被分配)。在一些情況下，對於未分配的塊的額外信息被追蹤，以隨著時間的推移平衡塊的使用情況或者實現被選中塊的回收算法。有關未被分配塊的信息可被追蹤以實施一個先進先出(FIFO)的使用模式，實施一個最近最少使用(LRU)算法，或實施其他的回收算法。然而，關於被分配塊如何被使用的額外信息是不被跟蹤的。這些不被跟蹤的信息的例子如塊被正在使用於的緩存類型以及塊被訪問的頻次。沒有這個信息，很難做出與如何改變塊的分配以提高系統性能有關的策略性的決定。
[0014]這裡介紹的技術通過跟蹤每塊低延遲層中的被分配塊兩個以上可能的使用狀態解決了這些以及其他的一些問題。例如，與塊相關的元數據被更新以指示這些塊是如何被使用的。所述元數據包括指示每個塊被用作讀緩存、寫緩存或其他用途的信息。元數據還包括其他類型的信息比如塊被分配至哪個卷以及塊被訪問的頻率。很多其他類型的使用信息也被包括在元數據中，並且這些提供於此的例子不是作為限制的。所述元數據可以被處理，以確定塊分配將被如何改變。在一些實施例中，改變分配可以包括改變讀緩存或寫緩存的大小。在其他例子中，在混合儲存集合的多個卷之間的塊的分配可以被修改。
[0015]這些技術提供了對塊如何被使用的更具體的分析的能力，並使得混合儲存集合中的緩存隨著操作環境和系統改變需要被動態分配。動態分配減輕了硬劃分不易被改變的剛性。
[0016]本發明的實施例還包括其他的方法、具有各種組件的系統和非臨時性計算機可讀存儲介質，它存儲的指令在被一個或多個處理器執行的情況下，指示所述一個或多個處理器執行所述方法、方法的變形或其他在如本文所述的操作。雖然有多個實施例被公開，其它實施例通過下面的詳細介紹，對於本領域的技術人員還是明顯的，這些都將在示意性實施例中得到展現和說明。將被理解到的是，本發明可以在各個方面進行修改，且都沒有脫離本發明的精神和範圍。因此，附圖和具體實施例都應被視為在本質上是具有示例性的而不是限制性的。
【專利附圖】
【附圖說明】
[0017]本發明的【具體實施方式】將使用附圖進行描述和解釋:
[0018]圖1所示是本發明的一些實施例可以使用的操作環境。
[0019]圖2所示是本發明的一些實施例可以使用的存儲伺服器系統。
[0020]圖3A所示是混合儲存集合中讀取緩存的一個示例。
[0021]圖3B所示是混合儲存集合中寫入緩存的一個示例。
[0022]圖4所示是根據本發明的一個實施例的操作混合儲存集合的一種方法的示例。
[0023]圖5所示是對混合儲存集合中存儲塊的分配。
[0024]圖6所示是對具有多個卷的混合儲存集合中存儲塊的分配。
[0025]附圖不一定是按比例繪製的。比如，附圖中的某些元件尺寸可以擴大或縮小以幫助對本發明實施例的理解。類似地，為了討論本發明的一些實施例，一些部件和/或操作可以被分成不同的塊或組合成一個單獨的塊。此外，雖然本發明可以修改為各種修改和替換的形式，具體的實施例將通過附圖中例子的形式顯示並在下面進行詳細描述。但是這意圖不是限制本發明於所述的具體實施例內。與此相反，本發明意在覆蓋由所附權利要求限定的所有修改、等價物和替換，這些都在由所附的權利要求所限定的本發明的範圍之內。
具體實施例
[0026]一些數據存儲系統，諸如混合儲存集合，包括由不同類型的具有不同延遲時間的儲存設備組成的持久性存儲空間。具有低延遲的設備通常提供更好的性能，但是通常具有成本和/或其他缺點。實現只有一部分採用低延遲設備的存儲系統通常可以改善一些系統性能，而且是在不產生全部低延遲設備的高費用或是與整個系統全部採用低延遲存儲設備相關的其它限制。系統性能的改善可以通過選擇性地緩存那些訪問最頻繁的數據(即，熱數據)儲存於低延遲設備中。這種配置使得發生在更快的低延遲設備中的系統的讀寫操作數量最大化。在很多情況下，存儲系統中的可用存儲空間是在塊級別被分配的。如在本文中所使用的，一「塊」數據是一組長度已知的起始於一個特定地址值的連續的數據。在一些實施例中，每個塊是4位元組的長度。然而，這些塊也可以是其它大小的。
[0027]低延遲存儲設備的已被分配塊通常可以用作存儲系統的讀緩存或是寫緩存。如本文中所使用的，一個「讀緩存」通常是指在存儲系統的低延遲層中的至少一個數據塊，它包含一個存儲於存儲系統中一個更高延遲的層中的「讀的已緩存」數據的更高性能的副本。「寫緩存」通常指位於較低延遲層的用於寫入性能的至少一個數據塊。寫緩存塊可以不具有包含存儲在所述較高延遲層的對應的數據副本。此外，所述較低延遲層的塊可用於其它目的。例如，較低延遲層的塊可以用於存儲元數據，用於對不包括在已分配存儲空間中的特殊讀緩存(如，未分配的讀緩存)，或用於其它目的。
[0028]圖1所示是一操作環境100，其中一些在此介紹的技術實施例中也可以使用。操作環境100包括存儲伺服器系統130，客戶端180A和180B，以及網絡190。
[0029]存儲伺服器系統130包括存儲伺服器140，HDD 150A, HDD 150B, SSD 160A，和SSD160B。存儲伺服器系統130也可以包括其它設備或其它不同種類的存儲部件，它們被用於管理、包含或提供訪問數據或數據存儲資源。存儲伺服器140是一個包括一個實現了一個或多個文件系統的存儲作業系統的計算裝置。存儲伺服器140也可以是一個伺服器級的計算機，它提供與可寫的、持久性存儲介質的信息組織相關的存儲服務給，可寫的、持久性存儲介質如 HDD 150A，HDD 150B，SSD 160A，和 SSD 160B。HDD 150A 和 HDD 150B 是硬碟驅動器，而SSD 160A和SSD 160B是固態驅動器(SSD)。
[0030]一個典型的存儲伺服器系統可以包括比圖1所示更多的HDD和/或SSD。應當被理解的是，存儲伺服器系統130也可以通過使用了其它種類的持久性存儲設備來替代或與HDD和SSD結合被實現。這些其它類型的持久性存儲設備可以包括，例如，快閃記憶體，NVRAM, MEM存儲設備或它們的組合。存儲伺服器系統130還可以包括其它設備，包括一個用於訪問和管理所述持久性存儲設備的存儲控制器。存儲伺服器系統130被示出為一個單塊系統，但是可以包括分布在不同的地理位置的系統和設備。存儲伺服器系統130還可以包括額外的存儲伺服器，使用與存儲伺服器140相同或不同的存儲作業系統進行操作。
[0031]存儲伺服器140管理存儲在HDD 150A, HDD 150B, SSD 160A，和SSD 160B內的數據。存儲伺服器140也可以使客戶端例如客戶端180A和客戶端180B訪問儲存在這些設備中的數據。根據本文所述的技術，存儲伺服器140還可以更新與被分配塊SSD 160A和SSD160B相關聯的元數據，所述元數據包括這些塊如何被使用的信息。存儲伺服器140處理元數據以確定所述塊的緩存特性。本說明書的教導可用於各種存儲伺服器架構，包括但不限於網絡附加儲存(NAS)，存儲區域網絡(SAN)或直接連接到一個客戶端或主機電腦的磁碟組件。所述術語「存儲伺服器」因此應包括這些廣泛的安排方式。
[0032]圖2所示是存儲伺服器系統200，其中在這裡介紹的一些技術有關的實施例也可以使用。存儲伺服器系統200包括存儲器220，處理器240，網絡接口 292和混合儲存集合280。混合儲存集合280包括HDD陣列250，HDD控制器254，SSD陣列260，SSD控制器264和RAID模塊270。HDD陣列250和SSD陣列260是持久性存儲介質的異構層。HDD陣列250包括相對便宜同時較高延遲的磁存儲介質，它使用磁碟和可機械移動到磁碟不同位置的讀/寫磁頭。HDD 150A和HDD 150B是組成HDD陣列250的設備的例子。SSD陣列260包括相對昂貴同時較低延遲的電子存儲介質340，它用非易失性的快閃記憶體器件陣列構成。SSD 160A和SSD 160B是組成SD陣列260的設備的例子。混合儲存集合280也可包括其它種類不同延遲的存儲介質。此處所描述的實施例不限於HDD/SSD的配置，也不限於只有兩層持久性存儲介質的實現。混合儲存集合可能包括三層或更多層的存儲層。在這些實現中，每一層都可通過層級的方式被操作為另一層的緩存。
[0033]混合儲存集合280是HDD陣列250和SSD陣列260存儲中的邏輯集合。在這個例子中，混合儲存集合280是RAID組的集合，它可能包括一個或多個卷。RAID模塊270將一個特定卷內的HDD和SSD組織為一個或多個奇偶校驗組(例如，RAID組)，並管理HDD和SSD內數據的位置。在至少一個實施例中，數據以邏輯容器，例如卷、目錄和文件的形式被混合儲存集合280儲存。一個「卷」是一組與例如磁碟的大容量存儲設備相關的存儲數據的集合，它從(即，包含在)一個集合中獲取其儲存，並被作為一個獨立的管理單元進行管理，例如一個完整的文件系統。每個卷可以以一個或多個文件、目錄、子目錄、邏輯單元(LUN)或其它類型的邏輯容器的形式包含數據。
[0034]RAID模塊270根據一個或多個RAID實現來配置RAID組，以給一個或多個HDD或SSD的故障事件提供保護。RAID實現通過寫入數據「條(stripe)」增強了數據存儲的可靠性和完整性，該數據「條」穿過RAID組中的給定數量的HDD和/或SSD，該RAID組包括冗餘信息(如奇偶校驗)。HDD控制器254和SSD控制器264對分布在在各自陣列上的多個物理設備的數據採取低級別管理。RAID模塊270採用HDD控制器254和SSD控制器264以響應HDD陣列250和SSD陣列260中的數據訪問的請求。
[0035]存儲器220包括由處理器240可尋址的、用以存儲執行此處所述的技術的軟體程序和數據結構的存儲位置。處理器240包括電路，被配置用來執行所述軟體程序和操做數據結構。存儲管理器224就是這類軟體程序的一個例子。存儲管理器224指示處理器240在其它事項外，實現一個或多個文件系統。處理器240同時與網絡接口 292相互連接。網絡接口 292允許例如客戶端180A和客戶端180B這樣的設備或系統從混合儲存集合280中讀取或寫入數據。
[0036]在一個實施例中，存儲管理器224實現提高混合儲存集合280的讀寫性能的數據放置和數據布局算法。SSD陣列260中的數據塊被分配用於存儲數據。這些塊可被用作讀緩存、寫緩存或用於其它目的。一般地，目標是用SSD陣列260中的塊存儲混合儲存集合280中訪問最頻繁的數據。在一些情況下，經常被隨機訪問的數據塊也可能被緩存於SSD陣列260中。在此解釋的上下文中，涉及到一塊數據時，術語「隨機」訪問，涉及這塊數據是否與存儲在與在存儲介質中的該塊數據在同一個物理環境中其它塊中的數據一同被連同訪問。具體地說，隨機訪問塊是一種不與存儲於與在存儲介質中的該塊數據在同一物理環境下的塊中的數據連同訪問的塊。雖然訪問的隨機性通常對固態存儲介質的性能幾乎或沒有影響，但是它對於基於磁碟的存儲介質的性能影響很顯著，因為機械驅動部件需要移動到磁碟的不同的物理位置。通過重新安置被隨機訪問的數據塊至較低的延遲層，會帶來顯著的性能提升，即使所述塊沒有被訪問得足夠頻繁可以衡量其為熱數據。因此，訪問的頻率和訪問的性質(即，訪問是否是隨機的)可以被一起考慮用於確定哪些數據應被置於較低的延遲層。
[0037]存儲管理器224可以被配置為隨著時間的推移修改SSD陣列260的塊如何被分配和被使用以提高系統性能。例如，存儲管理器224可以改變實施在SSD陣列260中的緩存大小，以提升系統性能或者更好地利用一些塊。存儲管理器224可以在沒有系統管理員手動配置系統進行硬性分配的情況下動態修改這些分配。在一些情況下，硬性或固定分配可以不被使用，並且這些塊在被使用時被進行分配。
[0038]圖3A所示是一個混合儲存集合中的讀緩存的例子，例如混合儲存集合280。讀緩存是存儲在較高延遲層中的數據塊被創建在一個較低延遲層中的拷貝，並經常被讀取的(即，該數據塊是熱度數據塊)。在其它情況下，高延遲層中的塊可以被讀緩存，因為它常被隨機讀取。通過將被隨機讀取的數據塊重新安置到一個較低延遲層，即使該塊可能沒有被讀取得足夠頻繁可以達到熱數據的程度，對於性能還是有很顯著的提升。因此，訪問的頻率和訪問的性質(即，訪問是否是隨機的)可以被一起考慮用於確定哪些數據應被置於較低的延遲層。
[0039]關於儲存於混合儲存集合中的文件的數據塊的位置可以以緩衝器樹的形式布置。緩衝器樹是包含關於一文件的元數據的分層數據結構，所述元數據包括用於定位構成文件的數據塊的位置的指針。這些數據塊通常不儲存在連續的物理位置上並且可能分布在存儲陣列的不同的物理位或區域。隨著時間的推移，一些數據塊可能被移動到其它位置而文件的其它數據塊則不被移動。因此，緩衝器樹作為一個查找表來定位文件的所有塊。
[0040]一個緩衝器樹包括一個索引節點和一級或更多級的間接塊，間接塊包含引用較低級別的間接塊和/或存儲數據的直接塊的指針。一個索引節點也可以存儲關於文件的元數據，比如文件的所有者、文件的訪問權限、文件大小、文件類型，除了直接塊和間接塊的指針。該索引節點通常存儲與一個單獨的索引節點文件中。索引節點是找尋所有組成文件的相關數據塊的起始點。確定塊的實際物理位置，可能需要通過索引節點和一級或多級的間接塊。
[0041]圖3A示出了兩個緩衝器樹，一個與索引節點322A相關聯，另一個與索引節點322B相關聯。索引節點322A指向或引用一級間接塊324A和324B。每個間接塊都指向存儲數據的數據塊的實際物理存儲位置。在某些情況下，多層次的間接塊都被使用。間接塊可以指向另一個間接塊，其中後者間接塊指向數據的物理存儲位置。間接塊的額外層也是可能的。
[0042]圖3A所示的數據塊的填充圖案表示數據塊的內容。例如，數據塊363和數據塊383包含相同的數據。在之前的時間點，數據塊363被確定為是熱數據並且在SSD陣列370中創建數據塊363的拷貝(即數據塊383)。在間接塊324B中與數據塊363相關的元數據被更新，使讀取數據塊363的請求被指向數據塊383。HDD陣列350在讀該塊時被繞過。相比從數據塊363中讀取數據，數據可以從數據塊383中更快地被讀取，因此存儲系統的性能得到改善。通常有更多的數據將被包括在讀緩存中。出於闡釋的目的，只有一個塊被示於圖3A中。在該例子中，沒有與索引節點322B相關聯的數據塊被緩存。
[0043]圖3B所示的是混合儲存結合中的寫緩存的一個例子，例如混合儲存集合280。在圖3B中，數據塊393是一個寫緩存。數據塊393的數據在先前被認定為相對於其它塊來說具有高寫入頻率(即熱數據)，並且是寫入SSD陣列370而不是HDD陣列360。當數據塊393被寫入SSD陣列370時，間接塊324B被改變以指示數據塊的新的物理位置。每一個後續的向數據塊393的寫入都被更快地完成因為所述塊位於一個較低延遲的SSD陣列370。在這個寫緩存的例子中，數據塊393中緩存的數據的副本不保留在HDD陣列360中。也就是說，在圖3B所示的寫緩存的例子中，不存在與圖3A中的數據塊363相類似的數據塊。該結構是優選的寫入高速緩存，因為HDD陣列360中的數據塊393的副本在數據塊393被寫入時同時被寫入。這將消除或顯著減少將數據塊393存儲在SSD陣列370中的性能上的好處。通常會有更多的數據塊被包括在寫緩存中。出於解釋的目的，只有一個塊被示於圖3B。該例子中沒有一個數據塊與索引節點322B相關聯被緩存。
[0044]圖4示出根據本發明的一個實施例的操作混合儲存集合的方法400。方法400在此相對於圖2的存儲系統200進行描述，但是方法400可以用於許多其它系統。方法400包括處理器240，其將混合儲存集合280的物理儲存的第一層操作為混合儲存集合280的物理儲存的第二層的緩存(步驟410)。在這個例子中，物理儲存的第一層是SSD陣列260，物理儲存的第二層是HDD陣列250。該物理儲存的第一層包括多個已被分配使用的數據存儲塊。方法400包括處理器240更新這些被分配塊的元數據以響應與至少一個所述被分配塊相關聯的事件(步驟420)。所述元數據包括塊使用信息，每塊被分配塊跟蹤兩個以上可能的使用狀態。方法400還包括處理元數據以確定所述被分配塊的緩存特性(步驟430)。
[0045]步驟430中所確定的緩存特性可包括指示塊被用作讀緩存塊或寫緩存塊的信息。所述緩存特性還可以包括指示塊的讀取頻率、寫入頻率和/或塊的溫度信息。塊的溫度是塊是否比預設的閥值讀取更頻繁的分類指示。例如，一塊在指定期間的讀取次數多於一特定次數的就可以被指定為一個「熱」塊，而在指定期間讀取次數少於一特定次數的就可被指定為「冷」。塊溫度超過兩個等級的分類也是可能的。緩存特性還包括塊的分配信息。緩存特性還可以包括其它類型的關於指示被分配塊在系統中如何被使用的信息。
[0046]在方法400的變型中，處理器240還可以基於所描述的至少一個緩存特性改變SSD陣列260中的被分配塊的分配。例如，處理器240可以基於緩存特性增加或減少SSD陣列260中的讀緩存或寫緩存的大小。在多個卷存儲於存儲系統200的情況下，元數據可能基於每卷被分析，以確定分配到多個卷中的一個特定卷的被分配塊的至少一個緩存特性。為響應該分析，多個卷中的被分配塊的分配可以被改變。這可以包括改變讀緩存和/或寫緩存的相對於彼此的大小。換言之，卷與卷間緩存的大小可以基於分析而得到平衡。
[0047]圖5示出了混合儲存集合280中的存儲塊的分配。如前所述，混合儲存集合280包括HDD陣列250和SSD陣列260。SSD陣列260的較低延遲存儲設備被操作為HDD陣列250的較高延遲存儲設備的緩存，以提升存儲系統200的響應速度和性能。SSD陣列260中的一些存儲空間也可以被用於其它目的，如存儲元數據，緩衝器樹，和/或存儲包括系統管理數據在內的其它類型的數據。
[0048]SSD陣列260包括被分配塊580和未被分配塊570。被分配塊580和未被分配塊570不是物理上不同或是物理上分離的。它們的區別僅在於它們在混合儲存集合280中是如何分類並且使用的。被分配塊580已被分配用於存儲數據，未被分配塊570還未被分配使用。未被分配塊570通常不能夠被RAID模塊270和/或SSD陣列260使用。在一些情況下，SSD陣列260中的所有塊都將被分配並且未被分配塊570將不包含任何塊。在其它情況下，未被分配塊570中的塊可能會被保留以適應未來的系統增長或適應系統用量的高峰時期。處理器240連同存儲管理器224，管理被分配塊580和未被分配塊570的分配和使用。
[0049]在圖5的例子中，SSD陣列260的被分配塊580包括元數據581存儲以及讀緩存582和寫緩存586。被分配塊580中的可用空間也可以被用於其它目的。被分配塊580也可被用於存儲多個讀緩存和/或多個寫緩存。元數據581包括在每個塊的基礎上描述被分配塊580的用量的塊使用信息。應當被理解的是，元數據581也可被存儲於其它位置，包括HDD 陣列 250。
[0050]圖5的HDD陣列250包括數據塊591，數據塊592，數據塊593和數據塊594。具有更多的數據塊都是常見的，但是出於說明的目的，只有一小數目的塊被包括進來。雖然每個數據塊都被示出為單個的塊，組成各個塊的數據可能分布於HDD的各個部分。讀緩存582和寫緩存586每個包含數據塊。讀緩存582和寫緩存586不是物理設備或結構。這些說明了 SSD陣列260中的塊的分配和之間的邏輯關係。具體來說，這些說明了處理器240和存儲管理器224出於緩存的目的，是如何使用SSD陣列260中的被分配塊580的。
[0051]在圖5中，讀緩存582的塊583是HDD陣列250的塊591的讀緩存。一般地，塊583被描述為一個讀緩存塊，塊591被描述為一個被讀取的被緩存塊。塊583包含了塊591數據的副本。當存儲系統200收到讀取塊591的請求時，該請求通過讀取塊583得到滿足。塊584和塊593具有類似的讀緩存關係。塊584是塊593的讀緩存，它包含塊593的數據副本。寫緩存586的塊587和塊588是寫緩存塊。在某個時間點，塊587和塊588被存儲於HDD陣列250，但是是被寫緩存並將數據遷移至寫緩存586。通常情況下，寫緩存塊，如塊587和塊588，在HDD陣列250中不具有相應的副本。
[0052]在一個先前的時間點，用於存儲數據塊583、584、587和588的存儲塊被分配使用。這些存儲塊先前被包含於未被分配塊570中，並投入使用，從而在邏輯上成為被分配塊580的一部分。如所示的，該被分配塊可以被用作讀緩存，寫緩存，或存儲元數據。所述被分配塊還可被用於其它用途例如存儲系統管理數據或管理數據。現有技術的系統跟蹤組成SSD陣列260的塊的兩種可能的使用狀態。這兩種可能的使用狀態即被分配或未被分配。
[0053]在圖5中，處理器240和存儲管理器224跟蹤被分配塊的塊使用信息。塊使用信息包括具有比現用技術系統中的兩個狀態更詳細的信息。所述塊使用信息包含於元數據581中。塊使用數據可以指出緩存塊的種類(即讀緩存或寫緩存)，塊讀取/寫入的頻率，塊的溫度，塊的總的讀和/或寫得次數，塊的所有者，塊被分配至哪個卷，或其它的使用信息。
[0054]在一個例子中，元數據581包括SSD陣列260中的每個被分配塊的時間和溫度圖(TT圖)。TT圖可以是包括塊類型、溫度、池ID和引用計數的條目。塊類型和溫度已在上文描述。池ID和引用計數進一步描述了塊的使用情況。池指的是SSD陣列260的塊的邏輯分區。池可以被創建用於特定的用途，如寫緩存、讀緩存、特定的容量、特定的文件、其它特定用途或者是這些的組合。池可以作為特定卷的讀緩存被使用。池也可以被分配用於存儲元文件。池ID是一個池的標識。
[0055]在另一個例子中，元數據581可以包括一個計數器地圖，包括與TT圖的各種元素相關的統計數據。這些統計數據可以包括，例如與特定類型的塊的特徵相關的數據，引用這些塊的數目，這些塊的溫度或是其它相關信息。元數據581還可以包括一個所有者圖。一個所有者圖包括有關被分配塊的所有權信息。
[0056]組成元數據581的不同域隨著被分配塊被使用而被更新。在一個例子中，元數據被更新以響應與其中一被分配塊相關的事件。一個事件可以包括寫入塊、讀取塊、釋放塊或塊讀取頻率的變化。當一個塊不再被經常使用用於存儲數據且仍未被未分配處理時，這個塊可以被釋放。一個事件也可以包括其它與塊的交互或在塊上進行的操作。元數據581被處理用於確定被分配塊580中任何獨立塊或組合塊的使用或緩存特性。處理的結果可以被用於創建一個關於讀緩存582和/或寫緩存586是如何被使用的具體核算。
[0057]處理器240和存儲管理器224可以使用上述的核算來改變被分配塊580的分配。在一個例子中，元數據581的處理可能指示所有或者大部分的被分配塊被大量使用。在這種情況下，未被分配塊570的額外的塊的分配可以提高系統性能。這些額外的塊可以用於提高讀緩存582、寫緩存586或兩者的大小。
[0058]在另一個例子中，元數據581可以一種方式處理，通過這種方式，讀緩存582和寫緩存586的使用信息和緩存特性可以被分別辨識。讀緩存582和寫緩存586的集體使用信息可以通過分別對組成各個緩存的各自塊的塊使用信息聚合起來得到。處理所述聚合的塊的使用信息可以指示在其它緩存的大小不改變的情況下，其中一個緩存的大小需要被更改以保持或提高系統的性能。所述緩存的大小是通過分配額外的塊給緩存利用得以實現。
[0059]在另一個例子中，分別處理聚合塊使用信息可能指示一個緩存被大量使用，而另一個不是。在這種情況下，讀緩存582或寫緩存586中的塊可能將一個塊解除分配，並重新分配至另一個緩存。這在當其中的一個緩存未被充分利用而另一個緩存被過度使用時，可能是適當的。緩存的大小也將基於其相對大小、它們的使用頻率或基於其它因素被調節。元數據581，其中包括各個塊的使用信息，使得各種類型的塊的使用信息的核算和/或分析變得可能實現，從而更好地理解被分配塊是被如何地使用。它也可以被用來分配決策以優化使用或提升SSD陣列260的使用或性能。
[0060]圖6所示是配置了存儲了多個卷的混合儲存集合280中存儲塊的分配。在本例中，卷691、卷692和卷693被存儲於混合存儲集合280中。所有與卷691相關聯的數據都存儲於HDD陣列250中，卷692和卷693都是使用SSD陣列260中的塊的讀緩存和寫緩存。所述的讀取和寫入的操作如之前的例子一樣。在本例中，元數據存儲於HDD陣列250而不是圖5所示的SSD陣列260。在本例中，元數據681還包括指示哪個卷(即擁有)各個被分配塊的信息。在一些情況下，指示被分配塊指向特定卷的信息以所有者圖的形式存儲於元數據681中。所有者圖是元數據681的裡面的文件，其包括被分配塊的所有者信息。
[0061]如前面的例子所述，很多不同類型的分配決策可以基於通過處理元數據581或元數據681獲得的緩存特性得到。在圖6所示的情況下，元數據681中的信息指示了使用塊的是哪個卷的信息，它可以包括如前面的例子所述的塊的其它緩存特性。這些緩存特性可以與卷的使用信息結合使用以做出分配決策。在一些情況下，元數據681還可以包括未被卷所有或使用的塊的塊使用信息。
[0062]在一個實例中，讀緩存582中被卷692使用的所有塊的塊使用信息都被相對於被卷693使用的讀緩存582中的所有塊的塊使用信息而進行共同分析。該分析可能表明，相比與卷692相關聯的讀緩存，與卷692相關聯的讀緩存被更頻繁地使用。通過分配更多的讀緩存塊至卷693可以提升性能。因為與卷692相關聯的讀緩存塊沒有被用得這麼頻繁，其中的一些塊可以由卷693進行重新分配以供使用。
[0063]在其它實例中，附加塊可以從寫緩存586或未被分配塊570分配至讀緩存582。在另一個例子中，讀緩存582和/或寫緩存586相對低的用量可以調整分配其中一個或兩個緩存中的塊以供卷691使用，即使當前不被緩存。這些類型的塊的分配可以基於元數據681跟蹤的塊使用信息的許多不同的排列進行動態決定。基於塊使用信息的許多不同的性能增強策略是可能的。
[0064]本發明的實施例包括各種步驟和操作，這些已經在上文進行描述。各種步驟與操作可以由硬體組件或者可以在機器可執行指令中呈現，其可用於利用指令編程以執行這些步驟的一個或多個的通用或專用處理器。或者，所述步驟可以通過硬體、軟體和/或固件的組合來執行。
[0065]本發明的實施例可以被提供作為一個電腦程式產品，它包括一個機器可讀介質，其上存儲有可用於對計算機或其它電子設備進行編程以實現本文所述的一些或全部操作的非臨時性指令。所述機器可讀介質可包括但不限於光碟，光碟只讀存儲器(CD-ROM)，磁光碟，軟盤，只讀存儲器，隨機存取存儲器(RAM)，可擦可編程只讀存儲器(EPROM)，電可擦除可編程只讀存儲器(EEPROM)，磁卡或光卡，快閃記憶體或其它類型的適合存儲電子指令的機器可讀介質。此外，本發明的實施例還可以下載為電腦程式產品，其中所述程序可通過一個通信鏈路以體現為載波或其它傳播介質的數據信號的方式從遠程計算機傳送到請求的計算機。
[0066]如「在某些實施例中」，「根據一些實施例」，「如該實施例所示」，「在其它實施例中」，「在一些例子中」以及一些相似的短語，其指的一般是下文所述的特定的特徵、結構或特性被包括在本發明的至少一個實施例中，並且可以包括在一個以上的本發明的實施例中。此外，這樣的短語不一定指的是相同的實施例或使不同的實施例。
[0067]雖然本發明的一個或多個實施例的詳細描述已經在上文給出，各種替換、修改和等價，在不脫離本發明的精神的前提下，對於本領域的技術人員是顯而易見的。例如，雖然上文所描述的實施例涉及具體的特徵，本發明的範圍也包括具有不同特徵組合的實施例以及不具有任何所描述的特徵的實施例。因此，本發明的範圍旨在涵蓋在權利要求書範圍內的所有這樣的替換，修改和變式，以及所有的等價變換。因此，上文的描述不應被視為限制本發明的範圍，範圍應由權利要求書限定。
【權利要求】
1.一種方法，包括: 操作混合儲存集合中的物理儲存的第一層作為所述混合儲存集合中的物理儲存的第二層的緩存，物理儲存所述的第一層包括多個被分配塊； 更新所述被分配塊的元數據以響應與至少一個所述被分配塊相關聯的事件，其中所述元數據包括塊使用信息，所述元數據每塊被分配塊跟蹤兩個以上可能的使用狀態；以及處理所述元數據以確定所述被分配塊的緩存特性。
2.根據權利要求1所述的方法，進一步包括根據所述緩存特性改變所述被分配塊的分配。
3.根據權利要求1所述的方法，其中物理儲存的所述第一層的持久性存儲介質包括一種固態儲存裝置，物理儲存的所述第二層的持久性存儲介質包括一種基於磁碟的儲存裝置。
4.根據權利要求1所述的方法，其中所述多個被分配塊包括作為物理儲存的所述第二層的讀緩存的塊和作為物理儲存的所述第二層的寫緩存的塊。
5.根據權利要求4所述的方法，進一步包括根據所述緩存特性改變所述被分配塊的分配，其中改變所述分配包括改變所述讀緩存的大小或改變所述寫緩存的大小。
6.根據權利要求4所述的方法，進一步包括根據所述緩存特性改變所述被分配塊的分配，其中改變所述分配包括基於所述讀緩存大小與寫緩存大小間的關係改變所述讀緩存或基於所述讀緩存的大小與寫緩存大小間的關係改變所述寫緩存的大小。
7.根據權利要求4所述的方法，進一步包括根據所述緩存特性改變所述被分配塊的分配，其中: 所述元數據包括一個所述讀緩存的訪問頻率和所述寫緩存的訪問頻率；以及改變所述分配包括基於至少一個所述訪問頻率改變所述讀緩存的大小或基於至少一個所述訪問頻率改變所述寫緩存的大小。
8.根據權利要求1所述的方法，其中所述混合儲存集合包括多個跨越物理儲存的所述第一層和所述第二層的卷。
9.根據權利要求8所述的方法，其中: 所述被分配塊的子集與所述多個卷的一個卷相關聯； 處理所述元數據包括確定所述被分配塊的所述子集的卷使用信息；以及 改變所述分配包括根據所述卷使用信息改變所述被分配塊的所述子集的大小。
10.根據權利要求1所述的方法，其中所述元數據包括所述被分配塊的一塊的訪問頻率。
11.根據權利要求10所述的方法，其中所述事件包括分配所述塊、讀取所述塊、寫入所述塊、釋放所述塊或改變所述塊的訪問頻率中的至少一件。
12.—種儲存伺服器系統,包括: 處理器；以及 與所述處理器耦合的存儲器，包括一個存儲管理器，其指示所述處理器: 操作一個混合儲存集合，所述混合儲存集合包括物理存儲介質的第一層和物理儲存介質的第二層，物理存儲介質的所述第一層具有一個延遲，該延遲比物理存儲介質的所述第二層的延遲小； 分配物理儲存的所述第一層的多個塊，其中所述被分配塊的第一部分被作為物理儲存的所述第二層的讀緩存，所述被分配塊的第二部分被作為物理儲存的所述第二層的寫緩存； 更新所述被分配塊的元數據以響應與至少一個所述被分配塊相關聯的事件，其中所述元數據包括塊使用信息，所述使用信息每塊被分配塊跟蹤兩個以上可能的使用狀態； 處理所述元數據以確定所述被分配塊的緩存特性；以及 基於所述緩存特性改變所述被分配塊的分配。
13.根據權利要求12所述的儲存伺服器系統，其中物理存儲介質的所述第一層包括固態儲存裝置，物理儲存的所述第二層包括基於磁碟的儲存裝置。
14.根據權利要求12所述的儲存伺服器系統，其中改變所述分配包括改變所述讀緩存的大小或改變所述寫緩存的大小。
15.根據權利要求12所述的儲存伺服器系統，其中改變所述分配包括基於所述讀緩存大小與寫緩存大小間的關係改變所述讀緩存的大小或基於所述讀緩存大小與寫緩存大小間的關係改變所述寫緩存的大小。
16.根據權利要求12所述的儲存伺服器系統，其中: 所述元數據包括所述讀緩存的訪問頻率和所述寫緩存的訪問頻率；以及改變所述分配包括基於至少一個所述訪問頻率改變所述讀緩存的大小或基於至少一個所述訪問頻率改變所述寫緩存的大小。
17.根據權利要求12所述的儲存伺服器系統，其中所述混合儲存集合包括多個跨越物理儲存的所述第一層和所述第二層的卷。
18.根據權利要求17所述的儲存伺服器系統，其中: 所述被分配塊的子集與所述多個卷的一個卷相關聯； 處理所述元數據包括確定所述被分配塊的所述子集的卷使用信息；以及 改變所述分配包括根據所述卷使用信息改變所述子集的大小。
19.根據權利要求12所述的儲存伺服器系統，其中所述元數據包括所述被分配塊的一塊的訪問頻率。
20.根據權利要求19所述的儲存伺服器系統，其中所述事件包括分配所述塊、讀取所述塊、寫入所述塊、釋放所述塊或改變所述塊的訪問頻率中的至少一個。
21.一種非臨時性計算機可讀介質，包括非臨時性指令，當由一個或多個處理器執行時，其指示所述一個或多個處理器: 分配固態存儲陣列的多個塊作為基於磁碟的存儲陣列的緩存，所述多個被分配塊的第一部分被分配為所述基於磁碟的存儲陣列的讀緩存，所述多個被分配塊的第二部分被分配為所述基於磁碟的存儲陣列的寫緩存； 更新所述被分配塊的元數據以響應與至少一個所述被分配塊相關聯的事件，其中所述元數據包括塊使用信息，所述塊使用信息每塊被分配塊跟蹤兩個以上可能的使用狀態；處理所述元數據以確定所述被分配塊的緩存特性；以及基於所述緩存特性改變所述被分配塊的分配。
22.根據權利要求21所述的非臨時性計算機可讀介質，其中改變所述分配包括改變所述讀緩存的大小或改變所述寫緩存的大小。
23.根據權利要求21所述的非臨時性計算機可讀介質，其中改變所述分配包括基於所述讀緩存大小與所述寫緩存大小間的關係改變所述讀緩存的大小或基於所述讀緩存大小與所述寫緩存大小間的關係改變所述寫緩存的大小。
24.根據權利要求21所述的非臨時性計算機可讀介質，其中: 所述元數據包括所述讀緩存的訪問頻率和所述寫緩存的訪問頻率；以及改變所述分配包括基於至少一個所述訪問頻率改變所述讀緩存的大小或基於至少一個所述訪問頻率改變所述寫緩存的大小。
25.根據權利要求21所述的非臨時性計算機可讀介質，其中: 多個卷儲存於混合儲存集合，所述混合儲存集合包括所述基於磁碟的存儲陣列和所述固態存儲陣列； 處理所述元數據包括基於被用於儲存多個卷中的一個卷的所述被分配塊的一個子集確定卷使用信息； 改變所述分配包括根據所述卷使用信息改變所述被分配塊的所述子集的大小。
26.根據權利要求21所述的非臨時性計算機可讀介質，其中所述元數據包括所述被分配塊的一塊的訪問頻率。
27.根據權利要求26所述的非臨時性計算機可讀介質，其中所述事件包括分配所述塊、讀取所述塊、寫入所述塊、釋放所述塊或改變所述塊的訪問頻率中的至少一件。
28.—種方法,包括: 將混合儲存集合的物理儲存的第一層作為所述混合儲存集合的物理儲存的第二層的緩存，物理儲存的所述第一層包括多個塊； 更新描述一個或多個所述塊的使用狀態的元數據以響應所述一個或多個塊的使用；基於處理描述所述一個或多個塊的所述使用狀態的所述元數據確定所述一個或多個塊的緩存特性； 基於所述緩存特性改變所述多個塊的分配。
29.根據權利要求28所述的方法，其中物理儲存的所述第一層的第一部分被作為物理儲存的所述第二層的讀緩存，物理儲存的所述第一層的第二部分被作為物理儲存的所述第二層的寫緩存。
30.根據權利要求29所述的方法，其中改變所述分配包括改變所述讀緩存的大小或改變所述寫緩存的大小。
【文檔編號】G06F13/14GK104285214SQ201380023476
【公開日】2015年1月14日 申請日期:2013年3月6日 優先權日:2012年3月7日
【發明者】克爾恩·常, 拉傑什·桑達拉姆, 道格拉斯·P·杜塞特, 拉維坎特·德羅納拉朱 申請人:網絡裝置公司