冗餘儲存虛擬化子系統的製作方法
2023-08-13 15:23:31
專利名稱：冗餘儲存虛擬化子系統的製作方法
技術領域：
本發明涉及一冗餘儲存虛擬化子系統，特別是涉及一具有使用串列附 接小型計算機系統介面(SAS, Serial Attached SCSI)裝置端輸出入裝置連 結通道(device-s ide 10 device interconnect channel)以連接於一主機 系統與 一直接存取儲存裝置之間的冗餘儲存虛擬化控制器子系統。
背景技術：
儲存虛擬化(s torage vir tua 1 izat ion)是一種將實體儲存空間虛擬化 的技術，其是將實體儲存裝置(PSDs)的不同區段結合成可供一主機系統存 取使用的邏輯儲存體(logical storage entity),在此稱為"邏輯媒體單 元"(logical media units, LMU)。該技術主要用於磁碟陣列(RAID)儲存 虛擬化，經由此磁碟陣列技未，可將較小實體儲存裝置結合成為容量較大、 可容錯、高效能的邏輯媒體單元。
儲存虛擬化控制器(storage virtualization controller, SVC)的主 要目的是將實體儲存媒體的各區段的組合映射(map)形成一 主機系統可見 的邏輯媒體單元。由該主機系統發出的輸出入(IO)請求於接收之後會先被 剖析並解譯,且相關的操作及資料會被編譯成實體儲存裝置的輸出入請求。 這個過程可以是間接地，例如運用快取、延遲(如回寫(write-back))、預 期(anticipate)(先讀(read-ahead))、群集(group)等操作來加強效能及 其他的操作特性，因而一主機輸出入請求並不一定是以一對一的方式直接 對應於實體儲存裝置輸出入請求。
外接式(或可稱為獨立式(stand-alone))儲存虛擬化控制器是一種經 由輸出入介面連接於主機系統的儲存虛擬化控制器，且其可連接至位於主 機系統外部的裝置， 一般而言，外接式的儲存虛擬化控制器通常是獨立於主
機進行運作。
外接式(或獨立式)直接存^^茲石乘陣列控制器(external direct-access RAID controller)是外接式儲存虛擬化控制器的一個例子。磁碟陣列控制 器是將一或多個實體直4矣存取4諸存裝置(direct access storage devices, DASDs)的區段組合以構成邏輯媒體單元，而它們的構成方式由所採用的特定磁碟陣列型態(RAID level)決定，其所構成的邏輯媒體單元對於可利用其 的主機系統而言，為可連續尋址的。典型地， 一個單一的磁碟陣列控制器 (single RAID controller)可支援多種》茲碟陣列型態，因此，不同的邏輯々某 體單元可以由直接存取儲存裝置的各個區段藉由不同的磁碟陣列型態而以 不同的方式組合而成，所組合成的各個不同的邏輯i某體單元則具有各該石茲 碟陣列型態的特性。
另一個外接式儲存虛擬化控制器的例子是JBOD (Just a Bunch of Drives)模擬控制器。JBOD為"僅是一捆碟機"之縮寫，是一組實體直接存 取儲存裝置，並經由一或多個多裝置輸出入裝置連結(multiple-device 10 device interconnect)直接連接於一主才幾系統上。^S/f吏用點對點輸出入裝 置連結連接至該主機系統的直接存取儲存裝置(如串列先進技術接取介面 (SATA， Serial Advanced Technology Attachment)硬碟、平行先進技術接 耳又介面(PATA, Parallel Advanced Technology Attachment)硬碟等)，無法 通過直接連結而構成如前述的JBOD系統，因為這些直接存取儲存裝置並不 允許多個裝置直接連接至輸出入裝置通道上。至於智慧型的JBOD模擬器， 是藉由將輸出入請求映射到實體直接存取儲存裝置的方式，而用來模擬多 個多裝置輸出入裝置連結直接存取儲存裝置，而其中該實體直接存取儲存 裝置是個別地經由點對點輸出入裝置連結通道連接至JBOD模擬器。
另 一個外接式儲存虛擬化控制器(縮寫為SVC)的例子為一種用於外接 式磁帶備份子系統的控制器。
儲存虛擬化控制器最主要的功能是管理、結合及操控實體儲存裝置，並 將其以一組邏輯媒體單元的形式呈現於主機端，使各個邏輯媒體單元在主
機端看來，都像是直接連接至一個實體儲存裝置，而該邏輯媒體單元則是該 實體儲存裝置在邏輯上的等效物。為了要達到這個目的，由主機輸出且由儲 存虛擬化控制器處理的輸出入請求，若在一等效實體儲存裝置中通常會產 生某些行為，則這些輸出入請求會在儲存虛擬化控制器關於所定址的邏輯 媒體單元的部份上產生邏輯上等效的行為。其結果是，該主機會認為它是直 接連接至一實體儲存裝置且與之通訊，雖然賣際上，該主機是連接至一僅是 模擬該實體儲存裝置行為的儲存虛擬化控制器上，而其所定址的邏輯媒體
單元乃該實體儲存裝置的邏輯上的等效物。
為了要實現上述的行為模擬，儲存虛擬化控制器將自主機接收來的輸 出入請求映射至邏輯上相等的內部操作，其中有部份的操作不需要產生任 何裝置端輸出入請求至裝置端實體儲存裝置便可以完成；這些操作僅需要 在內部進行即可，並不需要對裝置端實體儲存裝置進行存取。這類的輸出入 請求所產生的操作在此將稱為"內部模擬操作(internally emulated operation)，，。然而，有些操作是無法單單經由內部模擬而執行的，但也並未直接造成
對裝置端實體儲存裝置進行存取。舉例來說，此等操作包括快取操作；譬如 資料讀取操作時，對應於輸出入請求所定址的々某體區段(media section)的 資料目前剛好完全存在於儲存虛擬化控制器的資料快取記憶體中；或是在 資料寫入操作時，當該儲存虛擬化控制器的快取記憶體是操作於回寫模式， 則使資料僅先寫入快取記憶體中，而後才傳送至適當的實體儲存裝置。這些 操作都可稱為"非同步裝置搡作(asynchronous device operation)"，亦 即為了使所請求的操作發生以達到其原來目的而傳至裝置端實體儲存裝置 的所有實際的輸出入請求都是間接地於所請求的操作之前或之後進行，而 不是直接地回應於所請求的操作而進行。
另外還有一類由直接產生裝置端輸出入請求至實體儲存裝置來完成的 操作所構成的操作，這種操作一般可稱做"同步裝置操作(synchronous device operation)，，。
此外，有 一 些主機端輸出入請求可以映射至由多個不同類的子操作所 組成的組合操作，這些子操作可以包括內部模擬操作、非同步裝置操作及/ 或同步裝置操作。 一個映射至非同步裝置操作及同步裝置操作組合的主機 端輸出入請求的例子是， 一個資料讀取請求，其在邏輯媒體單元中所定址的 媒體區段所對應的資料，目前一部份存在於快取記憶體當中， 一部份不存在 於快取記憶體當中，因而必須從實體儲存裝置當中讀取。這些從快取記憶體 當中讀取資料的子操作是非同步裝置操作，因為這種子操作並不需要直接 從裝置端實體儲存裝置存取來完成此輸出入請求，但是卻間接依賴先前所 執行的裝置端實體儲存裝置存取的結果而完成；而直接至實體儲存裝置讀
取資料的子操作則為同步裝置操作，因為它所需要的是直接且立即的對裝 置端實體儲存裝置進行資料存取來完成此輸出入請求。
一對儲存虛擬化控制器可組態設定為一對冗餘儲存虛擬化控制器，其 主要動機在於讓一主機(或多個主機)即使在一單一儲存虛擬化控制器故障 或失效時，可以連續無間斷的存取資料。此是藉由將一控制器在另一個控制 器發生問題或完全失效時接管該另一個控制器的功能加入該等儲存虛擬化 控制器中來達成。在其後稱具有此種組態設定的一儲存虛擬化子系統為一 冗餘儲存虛擬化子系統。
在裝置端來說，需要該等控制器兩者皆可存取到所有正被該等儲存虛 擬化控制器管理的該等實體儲存裝置，不論任一個實體儲存裝置起先是被 指定給哪一個儲存虛擬化控制器管理的。在主機端來說，需要各個儲存虛擬 化控制器具有對該主機呈現所有的可存取資源並使主機可利用所有的可存 取資源的能力，包括在其同伴儲存虛擬化控制器最初沒有上線或在某些時 刻下線的情況下(例如因機能失常/故障、保養操作等)原先指定給另一儲存虛擬化控制器管理之可存取資源。
其一典型的裝置端實作為一其中的裝置端輸出入裝置連結為多重啟動
器(multiple-initiator)的多重裝置(multiple-device)種類的(如光纖、 平行小型計算機系統介面(Parallel SCSI, P-SCSI))，且全部的裝置端輸 出入裝置連結被連接至該等儲存虛擬化控制器兩者，如此任一儲存虛擬化 控制器可存取任何被連接在一裝置端輸出入裝置連結上的實體儲存裝置。 當該等儲存虛擬化控制器兩者皆為上線且為可操作的，各個實體儲存裝置 將被其一或另一儲存虛擬化控制器管理，其典型地由使用者設定或組態設 定資訊來決定。其一例為由實體儲存裝置的獨立冗餘磁碟陣列組合所構成 的一邏輯媒體單元的所有實體儲存裝置成員，將被該邏輯媒體單元自身被 指定的該特定儲存虛擬化控制器所管理。
一典型的主機端實作^括連接該主機以及該等儲存虛擬化控制器兩者 的多重裝置輸出入裝置連結，且對各個連結來說，各個儲存虛擬化控制器將 呈現其自身擁有的該等邏輯媒體單元所映射至的獨特裝置識別碼組。假如
一特定儲存虛擬化控制器不為上線或為下線時，該上線儲存虛擬化控制器 在該主機端連結上呈現兩組的裝置識別碼，其為其自身擁有的識別碼組連 同正常情況下指定給其同伴儲存虛擬化控制器的識別碼組，並且以與邏輯 媒體單元在該等儲存虛擬化控制器兩者皆為上線且完全為可操作的時候被
映射的同樣映射方式來映射邏輯々某體單元至該等識別碼。在此種實作中，在 一儲存虛擬化控制器不為上線時，就主機的部分來說，從一裝置/路徑轉換 至另一裝置/路徑時不需要特別的功能以維持對所有邏輯媒體單元的存取。 此種實作通常被稱為"通透，，冗餘。
冗餘儲存虛擬化控制器的組態設定典型地被分為兩個種類。第一種是 "主動-待命，，，其中一儲存虛擬化控制器對該儲存虛擬化子系統中的所有邏 輯媒體單元呈現、管理以及處理所的輸出入要求，然另一儲存虛擬化控制器
僅準備好在該作動的儲存虛擬化控制器為發生問題或完全失效時接管。第 二種是"主動-主動"，其中該等儲存虛擬化控制器兩者皆對同時呈現在該 儲存虛擬化子系統中的不同的邏輯媒體單元呈現、管理和處理輸出入要求。 在主動-主動組態設定中，該等儲存虛擬化控制器兩者皆為總是準備好在另 一個故障使其發生問題或完全失效時接管以取代另一個儲存虛擬化控制 器。主動-主動組態設定典型地提供較佳程度的效能，因為該等儲存虛擬化 控制器兩者的資源(例如中央處理單元時間、內部總線帶寬等)皆可拿來 支持輸出入要求服務而不是僅一個儲存虛擬化控制器的資源。
一冗餘儲存虛擬化系統的另 一必要元素為各個儲存虛擬化控制器監測 另 一儲存虛擬化控制器狀態的能力。典型地，此藉由實作一介於兩個儲存虛 擬4b4空制器間的4空制器間通！關通道(inter—controller communications
8channel,縮寫ICC )而達成，在其上該等儲存虛擬化控制器可交換操作狀態。 此通聯通道可為專用的，其單一功能為交換關於該冗餘儲存虛擬化子系統 操作的參數和資料，或者其可為一個或多個主機端或裝置端的輸出入裝置 連結，在其上的操作參數和資料的交換是與在該等連結上的主機-儲存虛擬 化控制器或裝置-儲存虛擬化控制器的輸出入要求相關的資料在一起被多 工傳輸。
然一冗餘儲存虛擬化系統的另 一重要元素為一儲存虛擬化控制器使另 一儲存虛擬化控制器完全無作用以便其可沒有阻礙的完全接管該另 一儲存 虛擬化控制器的能力。例如，為了要讓該存活的儲存虛擬化控制器承接其同 伴的識別碼，其可需要承接該下線的儲存虛擬化控制器原先在該主機端輸 出入裝置連結上呈現的各個裝置識別碼，如此需要該下線的儲存虛擬化控 制器交出其對該等識別碼的控制。
此種"使完全無作用"典型地藉由在該正被下線的控制器上拉啟重設 訊號線路而使所有對外連接的訊號線路成為一預先定義狀態來排除與該存 活的儲存虛擬化控制器衝突的可能來達成。 一常見的達成方法為，於該等儲 存虛擬化控制器之間連結重設線路(reset 1 ines)，以便在此種情況下其一 儲存虛擬化控制器可重設另 一儲存虛擬化控制器。另 一達成的方法為，在一 儲存虛擬化控制器中內建偵測何時其自身可能故障以及藉由拉啟其自身擁 有的重設訊號來"殺死"自己的能力(例如在儲存虛擬化控制器中包含一 "監視器"計時器("watchdog" timer),而當運作於該儲存虛擬化控制器上的 一程式在無法於一預先定義時間間隔內輪詢(poll)該"監視器"計時器時 將拉啟其自身的重設訊號來殺死自己，以使所有對外連接的訊號線路設定 成一預先定義狀態以排除與該存活的儲存虛擬化控制器衝突的可能。
請參考圖22，其說明一習知冗餘外接式儲存虛擬化計算機系統的一方 塊圖。請注意主機端輸出入裝置連結的連結，其是容許一儲存虛擬化控制器 藉由"接管在正常情形下被其同伴呈現在該連結上的輸出入裝置連結識別 碼和以與其同伴相同的方式來映射邏輯媒體單元至該等識別碼"來接管替 代該同伴。又,請注意，該等裝置端輸出入裝置連結的連接，其是使得該等儲 存虛擬化控制器兩者皆可存取所有連接至該裝置端輸出入裝置連結上的實 體儲存裝置。在此例當中，可用在主機端或裝置端的任一的典型輸出入裝置 連結可為平行小型計算機系統介面或光纖通道仲裁迴路(Fibre FC-AL)，該 兩者皆為多重啟動器(multiple-initiator)的多重裝置 (multiple-device)輸出入裝置連結。因此，該等操作在目標模式中(即裝置 模式)的儲存虛擬化控制器兩者皆連接至一主機端上的單一連結並容許該 等儲存虛擬化控制器兩者皆可操作於一啟動器模式(與複數裝置一同)而被 連結在裝置端上。顯示於圖22中之組態設定的缺點為，單一實體儲存裝置的故障潛在地可使整個裝置端輸出入裝置連結下線，而使所有其他連接在 相同連結上的實體儲存裝置不可存取。
圖23為此問題的改良方案的圖示，其是藉由使用雙埠儲存實體儲存裝 置以及對各個實體儲存裝置增加一額外的連結，而有效防止其他連接在相 同裝置端輸出入裝置連結上的實體儲存裝置的存取，可能因造成單一裝置 端連結失效，故障而被中斷的可能性。此方法中，因為該連接至各個實體儲 存裝置的第二連結可用來存取該等實體儲存裝置而無阻礙，因此該單一裝 置端，出人裝置連結，可能由一實體儲f裝置上的，結控，器積體電J故
的不可存取。
顯示於圖23中的組態設定所具有的更進一步的優點為，輸出入要求負 載可被分散在該等冗餘裝置端連結之間，從而相較於顯示於圖22中的該每 實體儲存裝置單一連結設定的組態設定，為有效地加倍該裝置端輸出入裝 置連結子系統的總帶寬。此方法中，因為目前在市場上光纖通道仲裁迴路實 體儲存裝置的雙埠本質以及多纖協定的元件容許一啟動器，例如一儲存虛 擬化控制器，決定在不同連結上的哪一個連結識別碼對應到相同的實體儲 存裝置，該裝置端輸出入裝置連結的選擇典型地為光纖通道仲裁迴路。
雖然在裝置端輸出入裝置連結失效時，描繪於圖23中的組態設定相較 於描繪於圖22中的組態設定確實極為強固，其仍有當一實體儲存裝置故障 時，可能會使兩個連接至其雙埠埠對的輸出入裝置連結皆下線的機率。若其 真的發生時，再一次，連接在同一對連結上的其他實體儲存裝置的存取將被 中斷。在由實體儲存裝置的標準單一冗餘磁碟陣列組合(例如磁碟陣列型 態5)所構成的一邏輯媒體單元中，此保證會是一場大災難，因為其可導致在 該組合中的複數個實體儲存裝置下線，因而導致整個邏輯^!某體單元下線。
由此可見，上述現有的儲存虛擬化系統在結構與使用上，顯然仍存在有 不便與缺陷，而亟待加以進一步改進。為了解決儲存虛擬化系統存在的問 題，相關廠商莫不費盡心思來謀求解決之道，但長久以來一直未見適用的設 計被發展完成，而一般產品又沒有適切的結構能夠解決上述問題，此顯然是 相關業者急欲解決的問題。因此如何能創設一種新的儲存虛擬化系統，便成 了當前業界急需改進的目標。
有鑑於上述現有的儲存虛擬化系統存在的缺陷，本發明人基於從事此 類產品設計製造多年豐富的實務經驗及專業知識，並配合學理的運用，積極 加以研究創新，以期創設一種新的儲存虛擬化系統，能夠改進一般現有的儲 存虛擬化系統，使其更具有實用性。經過不斷的研究、設計，並經反覆試作 樣品及改進後，終於創設出確具實用價值的本發明。
發明內容
本發明的目的在於，克服現有的儲存虛擬化系統存在的缺陷，而提供串
列附接小型計算機系統'介面(SAS)儲存虛擬化控制器(Storage Visualization Controller)以及使用一對以1更在一控制器故障時，另一控 制器將接管所有原先由該控制器執行的操作而冗餘組態設定的外接式串列 附接小型計算機系統介面儲存虛擬化控制器對經由標準主機-儲存介面，例 如連接的主機提供儲存虛擬化的子系統。該實體儲存裝置可為原生的串列 附接小型計算機系統介面裝置、原生的串列先進技術接取介面(SATA, Serial Advanced Technology Attachment)裝置、或者經由一平行先進技 術才妾取介面(PATA， Parallel Advanced Technology Attachment)只十串歹寸先 進技術接取介面轉換電路而連接至該裝置端串列先進技術接取介面輸出入 裝置連結的平行先進技術接取介面裝置，從而更加適於實用。
本發明的目的及解決其技術問題是採用以下技術方案來實現的。依據 本發明提出的一種計算機系統包括 一主機單元以發送輸出入要求； 一對冗 餘外接式儲存虛擬化控制器以執行輸出入操作來回應主機單元所發送的輸 出入要求，包含耦接至該主機單元的 一第 一和一第二外接式儲存虛擬化控 制器； 一組至少一個實體儲存裝置以提供資料儲存空間至該計算機系統，該 組的至少一個實體儲存裝置的至少一個成員包含通過一點對點串列訊號連 結而耦接至該對冗餘儲存虛擬化控制器以利用串列附接小型計算機系統介 面(SAS， Serial Attached SCSI)協定傳送訊號的一實體儲存單元；以及其 中當該對冗餘儲存虛擬化控制器中的 一儲存虛擬化控制器不為上線或在上 線後為下線時，該對冗餘儲存虛擬化控制器中的另 一儲存虛擬化控制器將 自動地接管原先由該對冗餘儲存虛擬化控制器中的該儲存虛擬化控制器所 執行的功能。
本發明的目的及解決其技術問題還採用以下技術措施來進一步實現。 前述的計算機系統，其中對該至少一個實體儲存裝置來說，該計算機系 統更包含一耦接於該實體儲存裝置以及該對冗餘儲存虛擬化控制器間的存 取控制交換器以選擇性地在該第一和該第二儲存虛擬化控制器之間交換該 實體儲存裝置對該對冗餘儲存虛擬化控制器的連接。
前述計算機系統，其中在金對冗餘儲存虛擬化控制器中各個該等儲存 虛擬化控制器更包含 一 中央處理電路以執行輸出入操作來回應該主機單 元的輸出入要求；至少一個耦接至該中央處理電路的輸出入裝置連結控制 器；至少一個主機端輸出入裝置連結埠被提供於一該至少一個輸出入裝置 連結控制器中以耦接至該主機單元；且至少一個串列附接小型計算機系統 介面(SAS, Serial Attached SCSI)裝置端輸出入裝置連結埠被提供於一該 至少一個輸出入裝置連結控制器中並通過一點對點串列訊號連結而耦接至該至少 一個實體儲存單元之一 。
前述的儲存虛擬化計算機系統，其中一該主機端輸出入裝置連結埠和 一該裝置端輸出入裝置連結埠被提供於相同的該輸出入裝置連結控制器 中。
前述的儲存虛擬化計算機系統，其中 一該主機端輸出入裝置連結埠和 一該裝置端輸出入裝置連給埠被提供於不同的該輸出入裝置連結控制器 中。
本發明的目的及解決其技術問題是採用以下技術方案來實現的。依據
本發明提出的一種提供資料儲存空間的冗餘儲存虛擬化子系統，包含 一對 冗餘外接式儲存虛擬化控制器用以執行輸出入操作來回應一主機單元所發 送的輸出入要求，是包含一第一和一第二儲存虛擬化控制器用以耦接至該 主機單元； 一組至少一個實體儲存裝置以提供資料儲存空間給該主機單元， 該組的至少一個實體儲存裝置的至少一個成員包含通過一點對點串列訊號 連結而耦接至該對冗餘儲存虛擬化控制器以利用串列附接小型計算機系統 介面(SAS， Serial Attached SCSI)協定傳送訊號的一實體儲存單元；以及 其中當該對冗餘儲存虛擬化控制器中的一儲存虛擬化控制器不為上線或在 上線之後為下線時，該對冗餘儲存虛擬化控制器中的另 一儲存虛擬化控制 器將自動地接管原先由該對冗餘儲存虛擬化控制器中的該儲存虛擬化控制 器所執行的功能。 ，.
本發明的目的及解決其技^問題還採用以下技術措施來進一步實現。 前述的冗餘儲存虛擬化子系統，其中對各個該至少一個實體儲存裝置 來說，該冗餘儲存虛擬化子系統更包含一耦接於該實體儲存裝置以及該對 冗餘儲存虛擬化控制器間的存取控制交換器以選擇性地在該第 一和該第二 儲存虛擬化控制器之間交換該實體儲存裝置對該對冗餘儲存虛擬化控制器 的連接。
前述的冗餘儲存虛擬化子系統，其中在該存取控制交換器的一第 一配接 狀態時，該耦接於一該實體儲存裝置和該對冗餘儲存虛擬化控制器之間的存 取控制交換器，容許該實體儲存裝置的該串列訊號至且自該第一儲存虛擬化 控制器配接通過，且在該存取控制交換器的一第二通過狀態時，該耦接於一 該實體儲存裝置和該對冗餘儲存虛擬化控制器之間的存取控制交換器容許 該實體儲存裝置的該串列訊號至且自該第二儲存虛擬化控制器配接通過。
前述的冗餘儲存虛擬化子系統，其中在該對冗餘儲存虛擬化控制器中， 該等儲存虛擬化控制器的各個儲存虛擬化控制器更包含 一 中央處理電路 以執行輸出入操作來回應該主機單元的輸出入要求；至少一個輸出入裝置 連結控制器耦接到該中央處理電路；至少一個主機端輸出入裝置連結埠被 提供於一該至少一個輸出入裝置連結控制器中以耦接至該主機單元；且至少一個串列附接小型計算機系統介面(SAS, Serial Attached SCSI)裝置端 輸出入裝置連結埠被提供於一該至少一個輸出入裝置連結控制器中並通過 一點對點串列訊號連結而耦接至該至少一個實體儲存單元之一。
前述的冗餘儲存虛擬化子系統，其中一該主機端輸出入裝置連結埠以 及一該串列附接小型計算機系統介面(SAS， Serial Attached SCSI)裝置端 輸出入裝置連結埠^皮提供於相同的該輸出入裝置連結控制器中。
前述的冗餘儲存虛擬化子系統，其中 一該主機端輸出入裝置連結埠以 及一該串列附接小型計算機系統介面(SAS, Serial Attached SCSI)裝置端 輸出入裝置連結埠被提供於不同的該輸出入裝置連結控制器中。
前述的冗餘儲存虛擬化子系統，其中經由一第 一該主機端輸出入裝置 連結埠被呈現給該主機單元的一邏輯媒體單元也冗餘地經由一第二該主機 端輸出入裝置連結埠被呈現。
前述的冗餘儲存虛擬化子系統，其中該第 一該主機端輸出入裝置連結 埠以及該第二該主機端輸出入裝置連結埠為該對冗餘儲存虛擬化控制器中 的同樣一個儲存虛擬化控制器的輸出入裝置連結埠。
前述的冗餘儲存虛擬化子系統，其中該第 一輸出入裝置連結埠為該對 冗餘儲存虛擬化控制器中的一儲存虛擬化控制器的一輸出入裝置連結埠以 及該第二該主機端輸出入裝置連結埠為該對冗餘儲存虛擬化控制器中的另 一儲存虛擬化控制器的 一輸出入裝置連結埠。
前述的冗餘儲存虛擬化子系統，其中該第一主機端輸出入裝置連結埠 和該第二主機端輸出入裝置連結埠為耦接至同樣的主機端輸出入裝置連 結。
前述的冗餘儲存虛擬化子系統，其中該第 一主機端輸出入裝置連結埠 以及該第二主機端輸出入裝置連結埠為經由 一交換電路而耦接至該同樣的 主機端輸出入裝置連結。
前述的冗餘儲存虛擬化子系統，其中該第 一主機端輸出入裝置連結埠 以及該第二主機端輸出入裝置連結埠為各個耦接至一不同的主機端輸出入 裝置連結。
前述的冗餘儲存虛擬化子系統，其中該主機端輸出入裝置連結埠包含 以下形式之一在目標模式中支援點對點連線的光纖通道(Fibre Channel)、 在目標模式中支援公用迴路連線的光纖通道(Fibre Channel),在目標模式 中支援私用迴路連線的光纖通道(Fibre Channel)、操作在目標模式中的平 行小型計算機系統介面(Parallel SCSI, P-SCSI)、操作在目標模式中支援 網際網路小型計算機系統介面(iSCSI)協定的乙太網路(ethernet)、操作在 目標模式中的串列附接小型計算機系統介面(SAS)、操作在目標模式中的串 歹'J先進才支術"I妻取介面(SATA, Serial Advanced Technology Attachment)、
13美國電機電子工程師協會1394A介面(IEEE 1394A)/美國電機電子工程師協 會1394B介面(IEEE 1394B)、以及萬用串列總線介面(USB)/萬用串列總線 2. 0介面(USB 2. 0)。
前述的冗餘儲存虛擬化子系統，其中 一控制器間通聯通道被提供於介 在該對冗餘儲存虛擬化控制器中的該等儲存虛擬化控制器之間以通聯狀態 同步資訊。
前述的冗餘儲存虛擬化子系統，其中該控制器間通聯通道為一現存的 輸出入裝置連結，藉以多工傳輸控制器間通聯交換的輸出入要求與相關資料。
前述的冗餘儲存虛擬化子系統，其中該控制器間通聯通道為一專用的 通道，其主要功能為交換該狀態同步資訊。
前述的冗餘儲存虛擬化子系統，其中該控制器間通聯通道包含如下型 態之一光纖通道(Fibre Channel)、串列先進技術接取介面(SATA， Serial Advanced Technology Attachment),平行小型計算機系統介面(Paral lei SCSI, P-SCSI)、乙太網路(ethernet)、串列附接小型計算機系統介面(SAS， Serial Attached SCSI)、晶片間總線(I2C bus)、以及周邊周邊元件連結 快捷介面(PCI-Express)。
前述的冗餘儲存虛擬化子系統，其中該對冗餘儲存虛擬化控制器可執 行繞送輸出入要求的功能。
前述的冗餘儲存虛擬化子系統，其中該對冗餘儲存虛擬化控制器的至 少一成員儲存虛擬化控制器包含至少一個擴展埠用以耦接至一第二組的至 少一個實體儲存裝置。
前述的冗餘儲存虛擬化子系統，其中一組該至少一個擴展埠的成員為 相互耦接在一起的且經由 一 交換電路耦接至該第二組的至少 一個實體儲存 裝置。
前述的冗餘儲存虛擬化子系統，其中來自 一冗餘擴展埠組以相互執行 繞送輸出入要求的功能藉此輸出入要求正常地經由該冗餘擴展埠組的 一第 一成員埠被傳送至一實體儲存裝置的一組該至少一個擴展埠可經由該冗餘 擴展埠組的一第二成員埠被繞送。
前述的冗餘儲存虛擬化子系統，其中該第二組的至少一個實體儲存裝 置的一成員具有一對冗餘埠，該對冗餘埠的一成員埠為被耦接至一組的至 少一該個擴展埠。
前述的冗餘儲存虛擬化子系統，其中繞送輸出入要求的功能可經由該
至少一個實體儲存裝置的第二組的該成員的該冗餘埠而被執行以藉此正常 地經由該對冗餘埠的一第一成員埠而被傳送至一實體儲存裝置的輸出入要 求可被繞送為經由該對冗餘埠的一第二成員埠至該實體儲存裝置。前述的冗餘儲存虛擬化子系統，其中一組至少二個該擴展埠形成一冗 餘擴展埠組以互相執行繞送輸出入要求的功能，藉此輸出入要求正常地經 由該冗餘擴展埠組的一第一成員埠而被傳送至一實體儲存裝置者，可以被 繞送為經由該冗餘擴展埠組的 一第二成員埠。
前述的冗餘儲存虛擬化子系統，其中該對實體儲存裝置冗餘埠的各個 成員埠為耦接至一不同組的至少 一個擴展埠。
前述的冗餘儲存虛擬化子系統，其中該對實體儲存裝置冗餘埠的該成 員埠以及該組的至少一個擴展埠為經由一交換電路而相互耦接在一起的。
前述的冗餘儲存虛擬化子系統，其中該組的至少 一個擴展埠包含一第 一和一第二擴展埠子組並形成一對互補子組的且每子組中有至少一個成員
擴展埠。
前述的冗餘儲存虛擬化子系統，其中藉由該交換電路所實施的連結訊 號線路交換機制之一為該對互補子組的該第一子組對該對實體儲存裝置冗 餘埠的一第一成員埠的耦接以及該互補子組對的該第二子組對該對實體儲 存裝置冗餘埠的一第二成員埠的耦接。
前述的冗餘儲存虛擬化子系統，其中藉由該交換電路所實施的該連結 訊號線交換機制之一為該對互補子組的兩子組皆對該對實體儲存裝置冗餘 埠的一第一成員埠的耦接。
前述的冗餘儲存虛擬化子系統，其中藉由該交換電路所實施的該連結 訊號線交換機制之一為該對互補子組的該第一子組對該對實體儲存裝置冗 餘埠的一第一成員埠的耦接。
前述的冗餘儲存虛擬化子系統，其中該對冗餘儲存虛擬化控制器的一 成員儲存虛擬化控制器更包含至少兩個形成一冗餘擴展埠組的該擴展埠。
前述的冗餘儲存虛擬化子系統，其中在該冗餘擴展埠組中的一第一和 一第二成員埠為各個被耦接至該第二組的至少一個實體儲存裝置的一成員 實體儲存裝置的實體儲存裝置冗餘埠對中的 一不同的成員埠。
前述的冗餘儲存虛擬化子系統，其中在該冗餘擴展埠組中的 一第 一和 一第二成員埠為皆被耦接至該第二組的至少一個實體儲存裝置的一成員實 體儲存裝置的實體儲存裝置冗餘埠對中的 一相同的成員埠。
前述的冗餘儲存虛擬化子系統包含 一第一擴展埠組包含該至少一個 擴展埠在該對冗餘儲存虛擬化控制器中的第一儲存虛擬化控制器上； 一第
二擴展埠組包含該至少 一個擴展埠在該對冗餘儲存虛擬化控制器中的第二
儲存虛擬化控制器上；其中該第一擴展埠組以及該第二擴展埠組一起形成 一對冗餘擴展埠組。
前述的冗餘儲存虛擬化子系統，其中該第 一擴展埠組和該第二擴展埠 組為各個被耦接至該第二組至少一個實體儲存裝置的各個實體儲存裝置的實體儲存裝置冗餘埠對中的一不同的成員埠。
前述的冗餘儲存虛擬化子系統，其中該第一擴展埠組和該第二擴展埠 組為各個被耦接至該第二組至少 一個實體儲存裝置的各個實體儲存裝置的 實體儲存裝置冗餘埠對中的 一相同的成員埠。
前述的冗餘儲存虛擬化子系統，其中該至少一個擴展埠為光纖通道
(Fibre Channel)、串列先進技術接取介面(SATA, Serial Advanced Technology Attachment)、 平行小型計算機系統介面(Parallel SCSI, P-SCSI)、乙太網路(ethernet)、串列附接小型計算機系統介面(SAS， Serial Attached SCSI)、晶片間總線(I2C bus)、以及周邊周邊元件連結 快捷介面(PCI-Express)。
前述的冗餘儲存虛擬化子系統，其中該至少一個實體儲存裝置包含如 下實體儲存裝置型態之一 一串列附接小型計算機系統介面(SAS， Serial Attached SCSI)實體儲存裝置、 一 串列先進技術接取介面(SATA, Serial Advanced Technology Attachment)實體4諸存裝置、以及一平4亍先進^支術接-耳又介面(PATA, Parallel Advanced Technology Attachment)實體儲存裝置。
前述的冗餘儲存虛擬^於.系統，其中該對冗餘儲存虛擬化控制器中的 各個儲存虛擬化控制器包含一狀態定義電路以迫使該對冗餘儲存虛擬化控 制器中的另 一儲存虛擬化控制器的對外連接訊號線至一預先決定的狀態。
前述的冗餘儲存虛擬化子系統，其中該對冗餘儲存虛擬化控制器中的 各個儲存虛擬化控制器包含一 自殺電路以迫使其自身擁有的對外連接訊號 線至一預先決定的狀態。
本發明的目的及解決其技術問題是採用以下技術方案來實現的。依據 本發明提出的一種外接式儲存虛擬化控制器，是使用於一對冗餘儲存虛擬 化控制器中，包含 一中央處理電路以執行輸出入操作來回應一主機單元的
輸出入要求；至少一個輸出入裝置連結控制器被耦接至該中央處理電路；至
少一個主機端輸出入裝置連結埠被提供於一該至少一個輸出入裝置連結控
制器中以耦接至該主機單元；至少一個串列附接小型計算機系統介面(SAS， Serial Attached SCSI)輸出入裝置連結埠被提供於一該至少一個輸出入裝 置連結控制器中用於以串列附接小型計算機系統介面(SAS， Serial Attached SCSI)協定來執行與至少一個實體儲存裝置的點對點串列訊號傳 送；以及其中當該對冗餘儲存虛擬化控制器中的另一外接式儲存虛擬化控 制器不為上線或在上線之後為下線時，該外接式儲存虛擬化控制器將自動 地接管原先由該另 一外接式儲存虛擬化控制器執行的功能。
本發明的目的及解決其技術問題還採用以下技術措施來進一步實現。 前述的儲存虛擬化控制器，其中一該主機端輸出入裝置連結埠以及一 該串列附接小型計算機系統介面(SAS， Serial Attached SCSI)裝置端輸出入裝置連結埠被提供於相同的該輸出入裝置連結控制器中。
前述的儲存虛擬化控制器，其中 一該主機端輸出入裝置連結埠以及一
該串列附接小型計算機系統介面(SAS， Serial Attached SCSI)裝置端輸出 入裝置連結埠被提供於不同的該輸出入裝置連結控制器中。
前述的儲存虛擬化控制器更包含一偵測機制以偵測該另 一儲存虛擬化 控制器的 一 下線或失效狀態。
前述的儲存虛擬化控制器，其中該儲存虛擬化控制器包含一狀態定義 電路以迫使該對冗餘儲存虛擬化控制器中的另 一儲存虛擬化控制器的對外 連接訊號線路至一預先決定的狀態。
前述的儲存虛擬化控制器，其中該儲存虛擬化控制器包含一 自殺電路 以迫使其自身擁有的對外連接訊號線路至一預先決定的狀態。
前述的儲存虛擬化控制器，其中一控制器間通聯埠被提供以在該對冗 餘儲存虛擬化控制器中的該儲存虛擬化控制器以及另 一儲存虛擬化控制器 間通聯狀態同步資訊。
前述的儲存虛擬化控制器，e:該控制器間通聯埠為一現存的輸出入
前述的儲存虛擬化控制器，其中該控制器間通聯埠為一專用埠，其主要 功能為交換該狀態同步資訊。'
前述的儲存虛擬化控制器，其中該控制器間通聯埠包含如下型態之其 一光纖通道(Fibre Channel)、串列先進技術接取介面(SATA, Serial Advanced Technology Attachment),平行小型計算機系統介面(Paral lei SCSI, P-SCSI)、乙太網路(ethernet)、串列附接小型計算機系統介面 (SAS， Serial Attached SCSI)、晶片間總線(I2C bus)、以及周邊周邊元件 連結快捷介面(PCI-Express)。
前述的儲存虛擬化控制器，其中該儲存虛擬化控制器可執行繞送輸出 入要求的功能。
前述的儲存虛擬化控制器，其中該儲存虛擬化控制器包含一擴展埠以 耦接至 一 第二組的至少 一個實體儲存裝置。
前述的儲存虛擬化控制器，其中該至少一個主機端輸出入裝置連結埠 包含如下型態之一在目標模式中支援點對點連線的光纖通道(Fibre Channel)、在目標模式中支援公用迴路連線的光纖通道(Fibre Channel), 在目標模式中支援私用迴路連線的光纖通道(Fibre Channel)、操作在目標 模式中的平行小型計算機系統介面(Parallel SCSI, P-SCSI)、操作在目標 模式中支援網際網路小型計算機系統介面(iSCSI)協定的乙太網路 (ethernet)、操作在目標模式中的串列附接小型計算機系統介面 (SAS, Serial Attached SCSI)、操作在目標模式中的串列先進技術接取介面(SATA， Serial Advanced Technology At.t.achm—ent)、美國電機電子工程 師協會1394A介面(IEEE 1394A)/美國電機電子工程師協會1394B介面(IEEE 1394B)、以及萬用串列總線介面(USB)/萬用串列總線2. O介面(USB 2.0)。
本發明的目的及解決其技術問題是採用以下技術方案來實現的。依據 本發明提出的一種在一具有l且態設定為 一對冗餘儲存虛擬化控制器的 一第 一和第二外接式儲存虛擬化i制器的計算機系統中用以執行儲存虛擬化的 一方法，該方法包括回應由該計算機系統的一主機單元所發送的輸出入要 求，由該對冗餘儲存虛擬化控制器的一儲存虛擬化控制器以串列附接小型 計算機系統介面(SAS, Serial Attached SCSI)協定使用點對點串列訊號傳 送來對該計算機系統的至少 一個實體儲存裝置執行輸出入操作；當該對冗 餘儲存虛擬化控制器中的該一儲存虛擬化控制器不為上線或上線之後為下 線時，由該對儲存虛擬化控制器中的另 一儲存虛擬化控制器來執行該輸出 入操作以回應由該主機單元發送的輸出入要求以存取該計算機系統的該至 少一個實體儲存裝置。
本發明的目的及解決其技術問題還採用以下技術措施來進一步實現。 前述的方法，其中當該一儲存虛擬化控制器不為上線或上線後為下線
時，該另 一儲存虛擬化控制器將自動地接管原先由該一儲存虛擬化控制器
所執行的功能。
前述的方法，更包含提供一繞送機制給該對冗餘儲存虛擬化控制器以 執行繞送輸出入要求的功能。
前述的方法，更包含提供一存取擁有權轉換機制給該對冗餘儲存虛擬 化控制器中的該儲存虛擬化控制器以及該另 一儲存虛擬化控制器以合作地 在其中來迴轉移存取擁有權。
本發明與現有技術相比具有明顯的優點和有益效果。 由以上技術方案可知，本發明的主要技術內容如下本發明是有關於一 種儲存虛擬化控制器、子系統及系統與方法。 一冗餘外接式儲存虛擬化計 算機系統。該冗餘儲存虛擬化計算機系統包含一發出輸出入(I0)要求的主 機單元、 一對耦接至該主機單元以執行輸出入操作來回應由該主機發出的 該輸出入要求的串列附接小型計算機系統介面(SAS， Serial Attached SCSI)冗餘外接式儲存虛擬化控制器、以及為了對該計算機系統提供儲存空 間的複數個實體儲存裝置(PSD， physical storage device)。各個實體儲 存裝置皆經由 一 串列附接小,f!計算機系統介面連結耦接至該對冗餘虛擬化 控制器。該對冗餘儲存虛擬化控制器包含兩者皆耦接至該主機單元的一第 一和一第二串列附接小型計算機系統介面儲存虛擬化控制器。在該對冗餘
儲存虛擬化控制器中，當該第二儲存虛擬化控制器不為上線時，該第一儲存 虛擬化控制器將接管原先由該第二儲存虛擬化控制器執行的功能。藉由上述技術方案，本發明儲存虛擬化控制器、子系統及系統與方法至
少具有下列優點
本發明的 一優點為在使用串列附接小型計算機系統介面(SAS， Serial Attached SCSI)為主要裝置端輸出入裝置的冗餘外接式儲存虛擬化計算機 系統中，各個實體儲存裝置對該對儲存虛擬化控制器來說具有一專用連結。
本發明的另 一優點為不僅資訊的有效負載資料部分而且控制資訊也被 該串列附接小型計算機系統介面(SAS， Serial Attached SCSI)裝置連結保護。
綜上所述，本發明特殊的儲存虛擬化控制器、子系統及系統與方法，提 供串列附接小型計算機系統介面(SAS)儲存虛擬化控制器(Storage Vi r tua 1 izat ion Contro 11 er)以及^f吏用 一對控制器以便在一控制器故障時， 另 一控制器將接管所有原先由該控制器執行的操作而冗餘組態設定的外接 式串列附接小型計算機系統介面儲存虛擬化控制器對經由標準主機-儲存 介面。其具有上述諸多的優點及實用價值，並在同類產品及方法中未見有類 似的設計及方法公開發表或使用而確屬創新，其不論在產品結構、方法或功 能上皆有較大的改進，在技術上有較大的進步，並產生了好用及實用的效 果，且較現有的儲存虛擬化系統具有增進的多項功效，從而更加適於實用， 而具有產業的廣泛利用價值，誠為一新穎、進步、實用的新設計。
上述說明僅是本發明技術方案的概述，為了能夠更清楚了解本發明的 技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其 他目的、特徵和優點能夠更明顯易懂，以下特舉較佳實施例，並配合附圖，詳 細i兌明3口下。
圖l為一根據本發明包括一系統的實施例的一主要結構的方塊圖2A為一根據本發明一儲存虛擬化控制器200以及其對主機和直接存 取儲存裝置的連接的 一第 一 實施例的方塊圖2B顯示一根據本發明的一儲存虛擬化控制器200以及其對主機和直 接存取儲存裝置的連接的 一第二實施例的方塊圖2C顯示一根據本發明的一儲存虛擬化控制器200以及其對主機和直 接存取儲存裝置的連接的第三實施例的方塊圖3A至3D顯示各個不同的方塊圖示以示例才艮據本發明的該介於該 (等)主機/一冗餘儲存虛擬化控制器間、該主機端輸出入裝置連結控制器、 以及該中央處理電路的連接配置；
圖4為一描述一根據本發明的該中央處理單元晶片組/同位引擎(CPU chipset/parity engine)的——實施例的方塊圖；圖5A例示一用於圖2B中的該串列附接小型計算機系統介面裝置端輸
出入裝置連結控制器的 一第 一 實施例的方塊圖5B例示一用於圖2A中的該串列附接小型計算機系統介面(SAS)輸出 入連結控制器的 一 第二實施例的方塊圖5C例示一用於圖2C中的該串列附接小型計算機系統介面輸出入連 結控制器的 一第三實施例的方塊圖6A為一描述該周邊元件連結延伸介面對串列附接小型計算機系統介 面控制器(PCI-X to SAS controller) 310的一實施例的方塊圖;
圖6B為一描述該周邊元件連結延伸介面對串列附接小型計算機系統介 面控制器310的一第二實施例的方塊圖6C為一描述於圖6A中的該直接存取儲存裝置陣列400對該周邊元 件連結延伸介面對串列附接小型計算機系統介面控制器310的連接配置的 一第一實施例的方塊圖6D為一描述一於圖6A/6B/6C中的該串列附接小型計算機系統介面 埠的一實施例的方塊圖6E為一描述一用於圖6B/6C中的該串列附接小型計算機系統介面擴 展電路340的該串列附接小型計算機系統介面擴展器裝置315的一實施例 的方塊圖6F為一描述該周邊元件連結延伸介面對串列附接小型計算機系統介 面控制器310的一第三實施例的方塊圖6G為一說明於圖6A中的該直接存取儲存裝置陣列400對該周邊元 件連結延伸介面對串列附接小型計算機系統介面控制器310的連接配置的 一第二實施例的方塊圖7A至7F顯示不同的方塊圖，其示例該根據本發明的中央處理電路 與其對該儲存虛擬化控制器的其他功能器方塊的連接；
圖8A為一更詳細描述於圖2B中該介於串列附接小型計算機系統介面 輸出入裝置連結控制器300和直接存取儲存裝置陣列400之間的連接的方 塊圖8B為一更為詳細說明圖2A中的介於該擴展電路和其他功能方塊的 連接；
圖8C為一更為詳細說明圖2C中的介於該背板、該擴展電路以及其他
功能性方塊之間連接配置的方塊圖9描述一符合於串列附接小型計算機系統介面協定的一傳送結構； 圖10示例一介於該直接存取儲存裝置陣列與該儲存虛擬化控制器間的
連接結構；
圖IIA至圖IIB揭示一於圖10中的該多工器以及介於儲存虛擬化控制器以及直接存取儲存裝置陣列的橋接器的細節；
圖12為一根據本發明的冗餘外接式儲存虛擬化計算機系統的一方塊
圖13為當該儲存虛擬化控制器對中的一儲存虛擬化控制器故障時的一 強制切換過程的一流程圖14為一輸出入要求繞送的一流程圖15A為實施連結擴展埠的一冗餘儲存虛擬化控制器的一方塊圖； 圖15B和圖15C為又一顯示連結擴展埠的冗餘儲存虛擬化控制器實施 的方塊圖16A為 一 實施連結冗餘擴展埠的冗餘儲存虛擬化控制器的 一方塊圖； 圖16B和圖16C為又一顯示連結擴展埠的冗餘儲存虛擬化控制器實施 的方塊圖17A為另一實施連結擴展埠的冗餘儲存虛擬化控制器的一方塊圖； 圖17B為顯示連結擴展埠的冗餘儲存虛擬化控制器的又一實施例的一 方塊圖18為一實施連結擴展埠的冗餘儲存虛擬化控制器中的一輸出入要求 繞送的一流程圖19為一包含兩個在各個連接至兩個完全獨立的主機端輸出入裝置連 結和主機埠的儲存虛擬化控制器上的獨立主機端埠的冗餘外接式儲存虛擬 化計算機系統的 一方塊圖20為一顯示一可用以達到圖19的該主機端連結的交換電路的一實 施例的方塊圖21為一包含一在各個連接至一主機端輸出入裝置連結和主機埠的儲 存虛擬化控制器上的主機端埠的冗餘外接式儲存虛擬化計算機系統的 一方 塊圖22為一習知冗餘外接式儲存虛擬化計算機系統的一方塊圖；且
圖23為另一習知冗餘外接式儲存虛擬化計算機系統的一方塊圖。10、12:主機20:儲存虛擬化子系統
120:光纖交換器200:儲存虛擬化控制器
220:主機端輸出入裝置連結控制器236:冗餘控制器通if,吉控制器
240:中央處理電鴻^242:中央處理單元
244:中央處理單元晶片組/同位引擎246:唯讀記憶體
248:非揮發記憶體250:資料保護引擎
260:同位引擎280:記憶體
300:裝置端輸出入裝置連結控制器
310:周邊元件連結延伸介面對串列附接'l、型計算機系統介面控制器
21312:周邊元件連結延伸介面對串列附接小型計算機系統介面介面 315:串列附接小型計算機系統介面邊緣擴展裝置
316:組態設定電路 320:背板
350:液晶顯示才莫組 400:直接存取儲存裝置陣列 450:可移除容置匣
460:串列先進技術接取介面多工電路
466:裝置端實體層
480:串列先進技術接取介面橋接器
484:鏈結層
487:協定轉換器
600:串列附接小型計算機系統介面埠 700:串列附接小型計算機系統介面埠層 710:串列附接小型計算機系統介面鏈結層 720:串列附接小型計算機系統介面實體層 730:串列附接小型計算機系統介面物理層 800:第二儲存虛擬化控制器 920:記憶體介面 9 32:周邊元件連結延伸介面 950:內部主要總線 980:傳輸控制協定直接記憶體存取 986:通用非同步收發傳輸器
具體實施例方式
318:總線介面
340:擴展電路
360:箱體管理服務電路
420:直接存取儲存裝置
462、 464:主機端實體層
470:多工電路控制器 482:實體層 486:傳輸層 488:總線介面 690:傳輸層
910:中央處理單元介面 930:周邊元件連結延伸介面 940: X-總線介面 982:仲裁器 984:內部暫存器 990:內部區域總線
為更進一步闡述本發明為達成預定發明目的所採取的技術手段及功 效，以下結合附圖及較佳實施例，對依據本發明提出的儲存虛擬化控制器、 子系統及系統與方法其具體實施方式
、結構、方法、步驟、特徵及其功效， i羊細i兌明i口後。
請參閱圖1至圖IIB,是本發明的主要架構。本發明的更詳細的操作流 程與確切的詳細結構將根據圖12至圖21更進一步說明。
圖1顯示一根據本發明包含一儲存虛擬化子系統以及儲存虛擬化控制 器的實施例的一主要結構的方塊圖。根據本發明的系統包含一主機計算機 10和一連接其上儲存虛擬化子系統(Storage Virtual ization Subsystem) 20。雖然圖1僅例示一個主機10與一儲存虛擬化子系統20連接，可有多 個儲存虛擬化子系統20附接於該主機10;或者，多個主機IO可附接於該儲存虛擬化子系統20。或者，多個主機10可附接於多個儲存虛擬化子系統20。 該主機10可為一伺服系統， 一工作站，或者一個人計算才幾系統，或諸如 此類。另，該主機10可為另一儲存虛擬化控制器。該儲存虛擬化子系統20 包含一乂於^f諸存虛擬^i控制器(Storage Virtualization Controller) 200， 其可為一磁碟陣列控制器或一 JB0D模擬器，以及一直接存取儲存裝置陣列 400。雖此處僅描述一直接存取儲存裝置陣列400，多個直接存取儲存裝置陣 列400可附接於該儲存虛擬化控制器200。
該儲存虛擬化控制器200是一串列附接小型計算機系統介面(SAS)儲存 虛擬化控制器，意即 一 遵照串列附接小型計算機系統介面協定實行的 一 儲 存虛擬化控制器。該儲存虛擬化控制器200接收來自該主機10的輸出入要
^至該直接存取儲存裝置陣列400:以該主機10的觀點而言，該:^虛擬化 控制器200可用來加強單一邏輯媒體單元(logical media unit)(例如一 邏輯磁碟)的效能及/或增進其資料可用性及/或增加其的儲存容量。該直接 存取儲存裝置陣列400包含複數個直接存取儲存裝置420，例如硬碟，其包含 串列附接小型計算機系統介面直接存取儲存裝置42OA或串列先進技術接取 介面(SATA)直接存取儲存裝置420S的其一或兩種兼具。
當該儲存虛擬化子系統20中的一邏輯4某體單元^皮設定為型態0或1之 外的磁碟陣列型態時，例如型態3至6，該直接存取儲存裝置420包含至少一 個同位直接存取儲存裝置，亦即一 包含同位資料於其中的直接存取儲存裝 置，並且資料可用性可因此而增進。另外，因存取的資料分布在多個直接存 取儲存裝置中，執行一輸出入操作的效能亦可增進。更甚，因該邏輯媒體單 元為複數個直接存取儲存裝置的各區段結合，在單一邏輯媒體單元中可存 取的儲存容量可大為增加。例如，在磁碟陣列型態5的磁碟陣列子系統中， 上述的功能皆可達成。在磁碟陣列型態6的磁碟陣列子系統中，其類似於磁
存裝置所造成資料流失的同°位資料、且因°而增加儲^系統的資料可用性。
當該儲存虛擬化子系統20中的一邏輯媒體單元被設定為磁碟陣列型態 1時，相同的資料將儲存於兩個分別的直接存取儲存裝置，且在雙倍的直接 存取儲存裝置成本之下，資枓可用性可因而大幅加強。
當該儲存虛擬化子系統20中的一邏輯媒體單元被設定為磁碟陣列型態 0時，主要議題是效能增進而非可用性考量，且如此沒有提高資料可用性。然 而，可大幅增進效能。例如，一磁碟陣列型態0並具有兩個硬碟的磁碟陣列 子系統，相較於一僅具有一硬碟的儲存裝置來說，理論上是擁有200%的效 能，因其相異資料區段可在儲存虛擬化控制器200的控制之下同時儲存於兩 分別的硬碟。
23圖2A顯示一根據本發明儲存虛擬化控制器200以及其對主機和直接存 取儲存裝置的連接的一第一實施例的一方塊圖。本實施例中，該儲存虛擬化 控制器200A包含一主機端輸出入裝置連結控制器220、 一中央處理電路 (CPC) 240、 一記憶體280、 一串列附接小型計算機系統介面(SAS， Serial Attached SCSI)輸出入裝置連結控制器(或裝置端輸出入裝置連結控制器) 300 、以及一 冗餘控制器通聯連結控制器(redundant controller communicating (RCC) interconnect controller) 236。 雖然敘述為獨立 的功能性方塊，在實際施行中，兩個或多個甚至全部所有的功能性方塊可統 合為一晶片。
該主機端輸出入裝置連結控制器220連接到該主才幾10以及該中央處理 電路240。該主機端輸出入裝置連結控制器220為一介於該儲存虛擬化控制 器200A與該主機10間的介面與緩衝器，並接收從主機來的輸出入要求和相 關資料且映射且/或傳送其等至該中央處理電路240。
當該中央處理電路240接收該從主機端輸出入裝置連結控制器220來 的主機10的輸出入要求時，該中央處理電路240剖析其等並執行若干個操 作以回應該輸出入要求，且經由該主機端輸出入裝置連結控制器220發送要 求的資料且/或報告且/或該儲存虛擬化控制器200A的資訊給該主機10。
在剖析一來自主機10的接收到要求後，當接收到一讀取要求且執行一 個或多個操作以回應時，該中央處理電路240不是在內部就是從該記憶體 280或以兩者兼具的方法得到該要求的資料並且傳送其等給該主機10。假 使在內部無法得到該資料時或是該資料不存在於記憶體中之時，將經由該 串列附接小型計算機系統介面輸出入裝置連結控制器300發送輸出入要求 給直接存取儲存裝置陣列400,並且從該直接存取儲存裝置陣列400傳送該 要求資料至該記憶體280，然後經由該主機端輸出入裝置連結控制器220傳 遞糹合該主糹幾10。
當從該主機10接收到一寫入要求時，在剖析該要求且執行一個或多個 操作之後，該中央處理電路240經由該主機端輸出入裝置連結控制器220得 到從該主機10而來的資料，儲存其等於該記憶體280中然後經由該中央處 理電路240移動其等至該直接存取儲存裝置陣列400。當該寫入要求為一回 寫要求時，該輸出入完成報告可先發送至該主機10然後該中央處理電路240 才於稍後執行實際的寫入操作。除此之外，當該寫入要求為一徑寫要求時， 在被要求的資料實際的寫入該直接存取儲存裝置陣列400後， 一輸出入完 成報告才發送至該主機10。
該記憶體280連接到該中央處理電路240並扮演一緩沖器以緩沖經由 該中央處理電路240傳送於該主機10和該直接存取儲存裝置陣列400之間 的資料。在一實施例中，該記憶體280可為一動態隨機存取記憶體(DRAM);特別是該動態隨機存取記憶體可為一同步動態隨機存取記憶體(SDRAM)。
該串列附接小型計算機系統介面輸出入裝置連結控制器300為連接至 該中央處理電路240與該直接存取儲存裝置陣列400的裝置端輸出入裝置 連結控制器。該串列附接小型計算機系統介面輸出入裝置連結控制器300 為一介於該儲存虛擬化控制器200A與該直接存取儲存裝置陣列400間的介 面及緩沖器，並接收從該中央處理電路240發送的輸出入要求與相關資料且 映射且/或傳送其等至該直接存取儲存裝置陣列400。該串列附接小型計算 機系統介面輸出入裝置連結控制器300從該中央處理電路240接收的資料 與控制訊號重新編排格式(re-format)以使其符合串列附接小型計算機系 統介面協定並傳送其等至該直接存取儲存裝置陣列4 00。
當於該直接存取儲存裝置陣列400中的該直接存取儲存裝置420經由 該串列附接小型計算機系統介面輸出入裝置連結控制器300接收到該中央 處理電路240的輸出入要求時，其執行若干個操作以回應該輸出入要求且傳
存裝置陣列:00可^供多種的i接存取儲存裝置420。例如，該直接存取儲 存裝置陣列400包含串列附接小型計算機系統介面直接存取儲存裝置420A 和串列先進技術接取介面直接存取儲存裝置420S的兩者。
該冗餘控制器通聯連結控制器236是實作於儲存虛擬化控制器200A中 以使該中央處理電路240連接至一第二儲存虛擬化控制器800。此外，該串 列附接小型計算機系統介面輸出入裝置連結控制器300是通過一擴展電路 340而連接到該直接存取儲存裝置陣列400。該擴展電路340也連接至該第 二儲存虛擬化控制器8 00。在此配置中， 一冗餘的第二儲存虛擬化控制器8 00 可附加於該儲存虛擬化控制器200B。該直接存取儲存裝置陣列400是通過 該擴展電路340而可被該等儲存虛擬化控制器200A和800存取。並且，來 自該主機10的該控制/資料資訊是可從該中央處理電路240通過該冗餘控 制器通聯連結控制器236而被傳送至該儲存虛擬化控制器800，且在需要時 可更進一步傳至一的第二直接存取儲存裝置陣列(未示)。因有多於一個的 儲存虛擬化控制器，在該等儲存虛擬化控制器和該串列先進技術接取介面 直接存取儲存裝置420S之間是提供一串列先進技術接取介面多工電路460 當作在多於一個儲存虛擬化控制器連接至該串列先進技術接取介面直接存 取儲存裝置420S時的埠選擇器。此將發生於，例如，在一包含該串列先進技 術接取介面(SATA)直接存取儲存裝置420S的儲存虛擬化子系統中當該等儲 存虛擬化控制器200A和800被組態設定為一對冗餘儲存虛擬化控制器時。
一箱體管理服務電路(EMS, enclosure management service circuitry) 360可附接於該中央處理電路240以作為一容納該直接存取儲存裝置陣列 400箱體上的管理電路。在該儲存虛擬化子系統的另一配置中，是可視各式
25產品功能的實際需求，而省略該箱體管理服務電路360。
圖2B為一方塊圖，其顯示一根據本發明的一儲存虛擬化控制器200以 及其與該主機10和該直接存取儲存裝置陣列400經由位於該儲存虛擬化控 制器200外的一擴展電路340的連接配置的一第二實施例。在此實施例中， 該儲存虛擬化控制器200B包含一主機端輸出入裝置連結控制器220、 一中 央處理控制器240、 一記憶體280、以及一串列附接小型計算機系統介面輸 出入裝置連結控制器300。雖然以獨立的功能性方塊描述之，一些或全部這 些功能性方塊可結合至單一晶片中。
和該儲存虛擬化控制器200A相較，此實施例中，在儲存虛擬化控制器 200B中省略了該冗餘控制器通聯連結控制器236。因此，該儲存虛擬化控制 器2OOB必須利用其他的輸出入裝置連結控制器以作為該冗餘控制器通聯連 結控制器的功能來與另 一個儲存虛擬化控制器(未示)通聯。
圖10示例該直接存取儲存裝置陣列對該等儲存虛擬化控制器200與 800的一連接配置，其中有複數類型的直接存取儲存裝置設置於該直接存取 儲存裝置陣列400中，如串列先進技術接取介面硬碟420S和串列附接小型 計算機系統介面硬碟420A。在本例子中，該直接存取儲存裝置420包含有一 串列附接小型計算機系統介面硬碟420A與一串列先進技術接取介面硬碟 42OS 。因其串列附接小型計算機系統介面協定對一 串列先進技術接取介面 硬碟的相容性，該單一埠串列先進技術接取介面硬碟420S可經由一串列先 進技術接取介面多工電路(SATA MUX) 460連接至該等儲存虛擬化控制器。 該直接存取儲存裝置420可容置於一可移除容置匣(removable canister) 450中。該可移除容置匣使該直接存取儲存裝置以及任何相關的電路在 一直接存取儲存裝置420且/或相關電路需要服務時可輕易替換。藉由置放 該轉換電路於容置匣中，該直接存取儲存裝置的整個容置匣內容物，例如一 平行先進技術接取介面(PATA)硬碟及其相關電路，很容易就可以用另 一型 態的直接存取儲存裝置，例如一串列先進技術接取介面(SATA)硬碟，替換 之。
圖11A揭示一該串列先進技術接取介面多工電路460的範例。來自該 儲存虛擬化控制器200的串列先進技術接取介面格式的資料是由主機端實 體層一 (PHY1) 462所接收，而來自該儲存虛擬化控制器800的串列先進技術 接取介面格式的資料是由主機端實體層二(PHY2) 464所接收。 一多工電路 控制器470在分別來自該等儲存虛擬化控制器200與800的控制訊號 CTRL-1-2與CTRL-2-2的控制之下決定該等儲存虛擬化控制器200與800中 哪一個可經由該裝置端實體層(device-side PHY) 466存取該直接存取儲存 裝置420S。然而，根據串列先進技術接取介面2 (SATA"協定，可省略該等 控制訊號CTRL-1-2與CTRL-2-2。於又一實施例中，該直接存取儲存裝置"OP可為一平行先進技術接取介面硬碟420P,且在該串列先進技術接取介 面多工電路460與該平行先進技術接取介面硬碟420P之間是設置有一橋接 器(bridge) 480以轉換串列先進技術接取介面訊號為可被該平行先進技術 接取介面硬碟控制器接受與處理的平行先進技術接取介面訊號。圖11B揭 露該橋接器480的一範例。來自該串列先進技術接取介面多工電路(SATA 畫X) 460的資料訊號是為實體層(PHY layer) 482所接收，且經由鏈結層 (link layer) 484轉移至傳輸層(transport layer) 486。該串列先進技術 接取介面格式的訊號是由該協定轉換器487轉換為符合平行先進技術接取 介面格式的訊號然後經由一總線介面488傳送至該平行先進技術接取介面 直接存取儲存裝置42GP。
該冗餘控制器通聯連結控制器236可與該主機端輸出入裝置連結控制 器220整合為一單一晶片積體電路,其包含複數個輸出入埠，該複數個輸出 入埠包含一個或多個主機端埠以及一個或多個裝置端埠。在另一種實施例 中，該冗餘控制器通聯連結控制器236可與該裝置端輸出入裝置連結控制器 300整合為一單一晶片積體電路。更有甚者，該主機端輸出入裝置連結控制 器220、該裝置端輸出入裝置連結控制器300、以及該冗餘控制器通聯連結 控制器236全部可整合為一單一晶片積體電路。在此種實施態樣中，該單一 晶片輸出入裝置連結控制器可包含輸出入埠，其可作為主機端埠、裝置端埠 與用以連接在該等儲存虛擬化控制器200與800間的輸出入埠。
圖2C為一方塊圖，其顯示一根據本發明的一儲存虛擬化控制器200以 及其通過一背板320和一擴展電路340與該主機和該直接存取儲存裝置陣 列的連結的第三實施例。於此實施例中，該儲存虛擬化控制器200C包含一 主機端輸出入裝置連結控制器220、 一中央處理電路240、 一記憶體280、 一串列附接小型計算機系統介面輸出入裝置連結控制器300、 一箱體管理服 務電路360以及一冗餘控制器通聯連結控制器236。雖其描述為分別的功能 性方塊，若干個或全部這些功能性方塊可整合為一晶片。
與該儲存虛擬化控制器200A相較，於該儲存虛擬化控制器200C中，該 串列附接小型計算機系統介面輸出入裝置連結控制器300經由該背板 (backplane) 320連4妾至該擴展電3各(switching circuit) 340,然後連至該 直接存取儲存裝置陣列400。該背板320為一具有連接線鴻、提供其中用以連 接在該儲存虛擬化控制器200C與該擴展電路340之間以使該連接更強固且 使該等儲存虛擬化控制器及/或該直接存取儲存裝置的附接與移除容易實 行的電路板，例如一印刷電路板。圖2A所示的配置中，該介於該串列附接 小型計算機系統介面輸出入裝置連結控制器300與該擴展電路340間的實 體電性連接例如可為一電纜(cable)，則其就不若背板電路板320這般強固。 另夕卜，該箱體管理服務電路360提供於該儲存虛擬化控制器200中而非設於該儲存虛擬化控制器200之外。
在此配置中，該介於冗餘控制器通聯連結控制器236與該第二儲存虛擬 化控制器800間的實體電性連接提供於該背板320中。
在圖2A至2C的該等實施例中，該主機端輸出入裝置連結控制器220和 該裝置端輸出入裝置連結控制器300 (串列附接小型計算機系統介面輸出入 裝置連結控制器300)可以相同種類的積體電路晶片來實施，而將該主機端 輸出入裝置連結控制器220中的輸出入裝置連結埠組態設定為主機端輸出 入裝置連結埠，且將該裝置端輸出入裝置連結控制器30G中的輸出入裝置連 結埠組態設定為裝置端輸出入裝置連結埠。在另 一種實施例中， 一單一晶片 可組態設定為包含主機端輸出入裝置連結埠與裝置端輸出入裝置連結埠的 兩者以同時分別地耦接至該主機單元10以及該實體儲存裝置陣列400。再 者， 一單一晶片可組態設定為同時分別地包含所有該主機端輸出入裝置連 結埠以耦接至該主機單元10、該裝置端輸出入裝置連結埠以耦接至該實體 儲存裝置陣列400、以及用於耦接至虛擬儲存化控制器800的埠。
在另一種實施例中，該箱體管理服務電路360可整合至中央處理電路 240中。甚且，該箱體管理服務電路36Q亦可實施在該裝置端輸出入裝置連 結控制器300中。
圖3A至3D顯示各個不同的方塊圖以示例根據本發明的該介於該主機、 該冗餘儲存虛擬化控制器間、該主機端輸出入裝置連結控制器220、以及該 中央處理電路間的連接配置。在圖3A中的第一實施例中，一主機IO通過分 別的各埠連接至兩個主機端輸出入裝置連結控制器220，其等皆連接至該相 同的中央處理電路240。在圖示3B的一第二實施例中，兩個分別的主機10 和12其各個皆連接至一分別的主機端輸出入裝置連結控制器220，其各個皆 連接至相同的該中央處理電路240。在圖3C所示的一第三實施例中，一主機 10連接至一主機端輸出入裝置連結控制器220然後連接至該中央處理電路 240，然而一第二儲存虛擬化控制器800連接至一冗餘控制器通聯連結控制 器236然後連接至相同的該中.央處理電路240。在圖3D所示的一第四實施 例中，揭示一光纖對串列附接小型計算機系統介面(fibre-to-SAS)儲存虛 擬化控制器結構。兩個分別的主機10和12和一儲存虛擬化控制器800其 各個皆連接至一光纖交換器(fibre switch) 120以及一主機端輸出入裝置 連結控制器220且一冗餘控制器通聯連結控制器236連接至該光纖交換器 120。該主機端輸出入裝置連結控制器220和該冗餘控制器通聯連結控制器 236是連接至相同的該中央處理電路240。該開關可以一多工器為其實施。 當該主機端輸出入裝置連結控制器220實施為其中包含有一串列附接小型
計算機系統介面埠以連接該主機單元的主機埠時，其是類似於設置在該裝 置端輸出入裝置連結控制器中300的該串列附接小型計算機系統介面埠的
28情形，但其配組態是被設定為目標模式而非啟動者模式。
圖4描述根據本發明的該中央處理單元晶片組/同位引擎(CPU
chipset/parity engine) 244的一實施例的方塊圖。在本實施例中，該中央 處理單元晶片組/同位引擎2"A主要包含同位引擎260、中央處理單元介面 910、記憶體控制器920、周邊元件連結延伸(PCI-X)介面930、 932、 X-總 線(X-BUS)介面940、傳輸控制協定直接記憶體存取(TCP/IP DMA) 980、仲 裁器(Arbiter) 982、內部主要總線(IM BUS, Internal Main BUS) 950、 以及內部區域總線(IL Bus, Internal Local Bus) 990。舉例來說，該內部 主要總線950為一 128位元、133Mhz總線且使該同位引擎260、中央處理 單元介面910、記憶體控制器920、周邊元件連結延伸(PCI-X)介面930.、 932、 X-總線(X-BUS)介面940整個連接在一起以使資料訊號與控制訊號通 聯於其中。
來自主機端輸出入裝置連結控制器220的資料和控制訊號經由周邊元 件連結延伸介面930進入中央處理單元晶片組/同位引擎244A。舉例來說， 對該主機端輸出入裝置連結控制器220的周邊元件連結延伸介面930可為 64位元帶寬、133MHz。當該周邊元件連結延伸介面930擁有該內部主要總 線950時，該資料與控制訊號袂傳送至該記憶體控制器和該中央處理單 元介面910的其一。
來自該該內部主要總線950由中央處理單元介面910接收的該資料與 控制訊號被傳送至中央處理單元242以進行更進一步處理。例如，該中央處 理單元介面910與該中央處理單元242之間的通聯可經由一 64位元資料線 路和一 32位元位址線路4丸行。該資料和控制訊號可傳送至該一 64位元帶 寬、133Mhz的記憶體控制器920。
一4晉誤更正碼(Error Correction Code)電3各也i殳置於該記憶體介面 920中以產生錯誤更正碼。例如，該錯誤更正碼可由將8位元資料互斥或 (XOR)運算後產生1位元的錯誤更正碼。然後該記憶體控制器920儲存該資 料與錯誤更正碼於該記憶體280中，舉例來說，一同步動態隨機存取記憶體 中。該存於該記憶體280中的資料被傳送至內部主要總線950。該記憶體控 制器920具有一位元自動改正以及多位元錯誤偵測的功能且當該從該記憶 體280傳送至內部主要總線950的資料時執行此等功能於該資料上。
該同位引擎260可執行某些磁碟陣列型態的同位功能以回應該中央處 理單元242的指示。當然，在某些情況下該同位引擎260可關掉而不執行同 位功能，例如，在磁碟陣列型態0的情況下。 一內部區域總線990將連接至 該中央處理單元介面910以及其他低速元件介面。
一內部暫存器984是設置於其中以暫存中央處理單元晶片組/同位引擎 244A的狀態且控制該內部主要總線950上的訊號流動。另設置由一對通用非同步收發傳輸器(UART)功能方塊986，因此該中央處理單元晶片組/同位 引擎244A可經由RS232介面溝通至外界。
該傳輸控制協定直接記憶體存取980區塊提供核對和(checksum)的運 算功能以及直接記憶體存取的才喿作。該仲裁器982仲裁內部主要總線950 的使用權。
在另一實施例當中，周邊元件連結快捷介面可代換該周邊元件連結延 伸介面930、 932。在另一實施例當中，周邊零件連接介面(PCI)可用來代換 該周邊元件連結延伸介面930、 932。在該技術領域中具有通常知識者可知 其等代換可簡易達成而無任何困難。
圖5A描述一於圖2A中的該串列附接小型計算機系統介面(SAS)裝置端 輸出入裝置連結控制器300的一第一實施例的一方塊圖。根據本實施例，該 串列附接小型計算機系統介面裝置端輸出入裝置連結控制器中300包含兩 個周邊元件連結延伸介面對串列附接小型計算機系統介面控制器(PCI-X to SAS controller) 310。該串列附接小型計算機系統介面(SAS)裝置端輸出 入裝置連結控制器300是通過該等周邊元件連結延伸介面對串列附接小型 計算機系統介面控制器(PCI-X to SAS controller) 310而連接至該直接存 取儲存裝置陣列400及/或該儲存虛擬化控制器800。
圖6A描述於圖5A中的該周邊元件連結延伸介面對串列附接小型計算 機系統介面控制器310的一實施例的方塊圖。如6A圖所示，其各個周邊元 件連結延伸介面對串列附接小型計算機系統介面控制器310皆包含一連接 至該中央處理單元240的周邊元件連結延伸介面312以及一連4妻至該周邊 元件連結延伸介面312的串列附接小型計算機系統介面埠600。該周邊元件 連結延伸介面312包含一連接至串列附接小型計算機系統介面埠600的總 線介面318以及一儲存該周邊元件連結延伸介面對串列附接小型計算機系 統介面控制器310組態設定的組態設定電路316。該串列附接小型計算機系 統介面埠600可連接至該直接存取儲存裝置陣列400及/或該儲存虛擬化控 制器800。
圖8A為更詳細闡明於圖2B中該介於串列附接小型計算機系統介面輸 出入裝置連結控制器300和直接存取儲存裝置陣列400之間的連接的方塊 圖。資料訊號和控制訊號通過該周邊元件連結延伸介面對串列附接小型計 算機系統介面控制器的一串列附接小型計算機系統介面埠600傳送至 該直接存取儲存裝置420。該串列附接小型計算機系統介面埠600可直接連 接至一串列附接小型計算機系統介面直接存取儲存裝置420A的一串列附接
小型計算機系統介面埠以及一串列先進技術接取介面直接存取儲存裝置 420S的一串列先進技術接取介面埠兩者的其一上。另外，因在各個串列附接 小型計算機系統介面直接存取儲存裝置"0A上有兩個分別的埠，埠1和埠2，在該周邊元件連結延伸介面對串列附接小型計算機系統介面控制器310
上的兩個不同串列附接小型計算機系統介面埠(甚或在不同的周邊元件連
結延伸介面對串列附接小型計算機系統介面控制器310上，其未示於圖8A 中)可通過兩個不同的埠連接至一 串列附接小型計算機系統介面直接存取 儲存裝置420A,該二埠對單一串列附接小型計算機系統介面直接存取儲存 裝置420A來說，形成連接至該儲存虛擬化控制器200的一具有冗餘連結的 冗餘埠對。
在另 一實施例中， 一周邊元件連結快捷介面對串列先進技術接取介面 控制器(PCI-E to SATA controller)(圖中未示)可用以代換該周邊元件連 結延伸介面對串列附接小型計算機系統介面控制器310。在該周邊元件連結 快捷介面對串列先進技術接取介面控制器中， 一周邊元件連結快捷介面(圖 中未示)用以代換該周邊元件連結延伸介面312。在更一實施例中，一周邊零 件連接介面對串列先進技術接取介面控制器(PCI to SATA controller)可 用以代替該周邊元件連結延伸介面對串列附接小型計算機系統介面控制器 310。在該周邊零件連接介面對串列先進技術接取介面控制器中， 一周邊零 件連接介面用以代換該周邊元件連結延伸介面312。在該技術領域中具有通 常知識者可知其等代換可簡易達成而無任何困難。
圖6B描述5A中的該周邊元件連結延伸介面對串列附接小型計算機系 統介面控制器310的 一第二實施例的方塊圖，其包含一結合其中的串列附接 小型計算機系統介面擴展電路(SAS expanding circuit) 340。 一串列附接 小型計算機系統介面擴展電路340可以一邊緣擴展器裝置(edge expander device) 315為其實施，如圖6E所示，其可連接至其他一個或二個邊緣擴展 器裝置且/或多數個末端裝置(end device)，例如 一個或多個直接存取儲存 裝置420的串列附接小型計算機系統介面埠。且，一串列附接小型計算機系 統介面擴展電路340可以包含一個或多個邊緣擴展器裝置組(edge expander device set)為其實施，其中，該等邊緣擴展器裝置組各個設置為 包含複數個串列附接小型計算機系統介面擴展器裝置315。另外，一串列附 接小型計算機系統介面擴展電路340可以一包含複數個邊緣擴展器裝置組 的扇出擴展器裝置(fanout expander device)為其實施，該等邊緣擴展器裝 置組各個包含複數個串列附接小型計算機系統介面擴展器裝置315。
該串列附接小型計算機系統介面擴展器裝置315包含一擴展連接方塊， 一管理功能方塊，以及複數個實體層(PHY)。該擴展連接方塊提供多工功能 以連接各個實體層(PHY)以輸出輸入訊號。該管理功能方塊執行擴展裝置的 串歹i)管理協定操作(SMP (Serial Management Protocol) operation)。通 過該擴展器裝置315，複數個直接存取儲存裝置可連接至一串列附接小型計 算機系統介面控制器310,其改善該儲存虛擬化子系統儲存容量的擴充性，當通過該扇出擴展器裝置時，大量邊緣擴展器裝置組可附接其上，此大舉加 強該虛擬儲存化子系統容量的擴充性。
圖6D描述一圖6A/6B/6C的該串列附接小型計算機系統介面埠600的 一實施例的方塊圖。如6D圖中所示，該串列附接小型計算機系統介面埠包 含五部分該傳輸層(transport layer) 690、串列附接小型計算機系統介 面埠層(SAS port layer) 700、串列附接小型計算機系統介面鏈結層(SAS link layer) 710、串列附接小型計算機系統介面實體層(SAS PHY layer) 720、以及串列附接小型計算機系統介面物理層(SAS physical layer) 730。 該串列附接小型計算機系統介面物理層730包含該串列附接小型計算機系 統介面連接器、電纜、以及串列附接小型計算機系統介面傳送接收電路。 該串列附接小型計算^i系統介面實體層720涵蓋編碼^/L制(encoding scheme)以及包含帶外發訊(OOB signaling)標誌和速度協調的實體層重設 序列(PHY reset sequence)。該串列附接小型計算機系統介面鏈結層710 控制該串列附接小型計算機系統介面實體層以管理與其他串列附接小型計 算機系統介面裝置的連接。該串列附接小型計算機系統介面埠層700位在 介於一個或多個串列附接小型計算機系統介面鏈結層和一個或多個串列附 接小型計算機系統介面傳輸層之間以接收並剖析要求且藉由正確的串列附 接小型計算機系統介面鏈結層以建立連接。該串列附接小型計算機系統介 面傳輸層690包含為了串列小型計算機系統介面應用的串列小型計算機系 統介面協定傳llT層(SSP (Serial SCSI Protocol) transport layer)、為 了串列先進技術接取介面控制器應用的串列ATA(先進技術接取介面)隧穿 協定傳輸層(STP (Serial ATA Tunneling Protocol) transport layer)以 及為了管理應用的串列管理協定傳輸層(SMP (Serial Management Protocol) transport layer)。
一串列附接小型計算機系統介面埠600包含一個或多個實體層。假使 在該埠中有多於一個的實體層時，其可為一寬廣埠("wide" port)，或其僅 有一個實體層時其為一狹窄埠("narrow" port)。介於串列附接小型計算 機系統介面輸出入裝置連結控制器300和擴展電路340或直接存取儲存裝 置陣列400之間的鏈結可為狹窄鏈結或寬廣鏈結。 一寬廣鏈結可組態為介
於兩端為寬廣埠的鏈結以擴大傳送的帶寬。
該物理層730通過一對差動訊號線(differential signal line)，LTX+、 LTX-傳輸線路傳送訊號且經由另一對差動訊號線LRX+、 LRX-從該直接存取 儲存裝置420中的直接存取儲存裝置420控制器接收訊號。該任一訊號線 對的兩訊號線，例如為LTX+ZLTX-時，以反相電壓同步傳送訊號TX+/TX-,舉 例來說+V/-V或-V/+V，該等電壓是分別相對一參考電壓Vref因此該電壓差 將為+2V或_ 2V且幾乎不會為環境因素所影響，因此可加強其訊號品質。此
32理同樣可應用接收線LRX+、 LRX-在接收訊號RX+ZRX-的傳送上。
該實體層720定義8位元/10位元編碼以及帶外訊號。從該物理層730 接收到的所有資料位元將被解碼為該8位元/10位元字元並移除S0F、 CR、 E0F。 一串列附接小型計算機系統介面實體層720使用該帶外訊號以辨識且 開啟該連接至另一串列附接小型計算機系統介面實體層720的該操作性鏈 結。在串列附接,j、型計算機系統介面鏈結為可操作之後，該串列附接'j、型計
算機系統介面實體層720發送訊號給該串列附接小型計算機系統介面鏈結 層且該串列附接小型計算機系統介面鏈結層取得該串列附接小型計算機系 統介面實體層720的控制以通聯訊號，其包含辨識序列、連接管理、以及 框架(frame)傳輸。串列附接小型計算機系統介面鏈結層是使用兩個重要的 結構(structure)，是為串列附接小型計算機系統介面原素(SAS primitive) 與串列附接小型計算機系統介面框架(SAS frame)。
一原素包含單一雙字元組(double-word)且其為通聯於一主機和一裝 置之間資訊的最簡單位。當一原素中的位元被編碼時，其產生的式樣 (pattern)不容易被誤解為其他原素或亂數式樣。原素主要用以運送即時狀 態訊息、控制介於該主機和該裝置間的資訊傳送以及通^:的協調。 一原素 的第一位元組(byte)為一特別字元(special character)。
一框架包含複數個雙字元組(double-words)以及以一開始原素(start primitive)開始以一結束原素(end primitive)結束。當一連接沒有建立時， 使用該串列附接小型計算機系統介面位址框架(SAS address frarae),且以 位址開始框架(SOAF, Start of Address Frame)開始且以位址結束框架 (E0AF, End of Address Frame)結束。
該串列附接小型計算機系統介面支援三種類型的連接，其包含用於串 列附接小型計算機系統介面裝置的串列小型計算機系統介面協定框架(SSP frame)、用於串列先進技術接取介面裝置的串列先進技術接取介面隧穿協 定框架(STP frame)、以及用於管理的多重處理器框架(SMP frame)。串列 小型計算機系統介面協定框架和多重處理器框架以SOF (Start of Frame) 開始且以EOF (End of Frame)結束。串列先進技術接取介面隧穿協定框架 以SATA_S0F開始且以SATA_E0F結束。這些符合於串列附接小型計算機系 統介面協定的框架與傳輸結構闡示於圖9中。
一循環冗餘檢查碼(CRC， Cyclic-Redundancy Check Code)為結束原素 緊接在其後的最後的非原素雙字元組。循環冗餘檢查碼以整個該框架的內
容計算，所有通過該周邊元件連結延伸介面對串列附接小型計算機系統介 面控制器310通聯於中央處理電路240和該直接存取儲存裝置420之間的 輸出入要求資訊將執行循環冗餘檢查碼核對。因此，在從該儲存虛擬化控制 器至實體儲存裝置的傳遞中不慎發生的資料毀壞(如因雜訊)可被偵測出且恢復，防止了潛在的資料寫入錯誤媒體區段的災難性資料毀壞情形的可 能，此種資料寫入錯誤媒體區段的情形可能是因為包含於初始輸出入要求 資料中的目的地媒體區段基礎位址及/或媒體區段長度的毀壞而造成。
圖6F描述一圖5A中周邊元件連結延伸介面對串列附接小型計算機系
統介面控制器的 一 第三實施例的方塊圖。此實施例中，部份串列附接小型計
算機系統介面埠600連接至該擴展電路340以及部份串列附接小型計算機 系統介面埠600直接連接至該直接存取儲存裝置420，且/或部份串列附接小 型計算機系統介面埠600連接至該儲存虛擬化控制器800。另外，該擴展電 路340可更進一步連接至該直接連接至該直接存取儲存裝置420以及/或儲 存虛擬化控制器800。
圖5B描述一根據本發明的圖2A中該串列附接小型計算機系統介面控 制器的一第二實施例的方塊圖，其中該擴展電路340是設置於介於該周邊元 件連結延伸介面對串列附接小型計算機系統介面控制器310與該直接存取 儲存裝置陣列400之間。
圖6C說明於圖5B或圖6A中的該直接存取儲存裝置陣列400對該周邊 元件連結延伸介面對串列附接小型計算機系統介面控制器310的連接配置
的一第一實施例的方塊圖，其中在該周邊元件連結延伸介面對串列附接小 型計算機系統介面控制器310中不提供該串列附接小型計算機系統介面擴 展電路340，但以一可附加於周邊元件連結延伸介面對串列附接小型計算機 系統介面控制器310的獨立裝置提供的作為一對於該直接存取儲存裝置陣 列400或另一串列附接小型計算機系統介面擴展電路340的介面/控制。
圖6G說明於圖5B或圖6A中的該直接存取儲存裝置陣列400對該周邊 元件連結延伸介面對串列附接小型計算機系統介面控制器310的連接配置 的一第二實施例的方塊圖，其中在該周邊元件連結延伸介面對串列附接小 型計算機系統介面控制器310中不提供該串列附接小型計算機系統介面擴 展電路340，但提供其作為一獨立裝置。在此實施例中，部份該等串列附接小 型計算機系統介面埠600連4妄至該擴展電路340以及部份該等串列附接小 型計算機系統介面埠600用以直接連接至該直接存取儲存裝置420,且/或 部份該等串列附接小型計算機系統介面埠600連接至該儲存虛擬化控制器 800。另外，該擴展電路340可更進一步連接至該直接存取儲存裝置且/ 或該儲存虛擬化控制器800。
圖8B為一更為詳細闡描述圖2A以及圖5B、或圖6B/6C/6G中的介於該 擴展電路340和其他功能方塊連接的方塊圖。該擴展電路340可接收來自 該串列附接小型計算機系統介面輸出入裝置連結控制器300的命令/資料且 傳送其等至該直接存取儲存裝置陣列400且/或至該儲存虛擬化控制器800。
圖5C說明一根據本發明的圖2C中該串列附接小型計算機系統介面控
34制器的 一第三實施例的方塊圖，其中該周邊元件連結延伸介面對串列附接
小型計算機系統介面控制器310連接至一背板320然後再連接至該擴展電 路340並且最終至該直接存取儲存裝置陣列400。圖8C為一更為詳細說明 圖2C和圖5C中的介於該背板、該擴展電路以及其他功能性方塊之間連接 的方塊圖。在此種配置下，該擴展電路340和其在圖5B中的相同，然而該背 板320提供一其上電氣布線和連接器的強固電路板，以增強介於該串列附接 小型計算機系統介面輸出入裝置連結控制器300和該擴展電路340之間的 連接，且使與該串列附接小型計算機系統介面輸出入裝置連結控制器300有 關的附接和分離更為便利。
雖然根據本發明揭露於圖5A到5C中的該串列附接小型計算機系統介 面控制器300的該等實施例包含有兩個周邊元件連結延伸介面對串列附接 小型計算機系統介面控制器310,根據本發明的該串列附接小型計算機系統 介面控制器300也可包含一個或多於兩個的控制器310於其中，端賴效能 考量、工程考量、及/或成本或市場考量。在該技術領域中具有通常知識者
可知其等代換可簡易達成而無,何困難。
圖7A至7F顯示不同的方塊圖，其示例該根據本發明的中央處理電路與 其對該儲存虛擬化控制器的其他功能器方塊的連接。
在圖7A中，該中央處理電路方塊的第一實施例是以該中央處理電路 240A表示，其包含該中央處理單元晶片組/同位引擎24"、該中央處理單元 242 、 一唯讀記憶體(ROM， Read Only Memory) 246、 一非揮發性記憶體 (NVRAM, Non-volatile RAM) 248、 一液晶顯示才莫組350以及一箱體管理月良 務電路360。該中央處理單元可以為一 PowerPC中央處理單元。該唯讀記憶 體246可為一快閃記憶體(FLASH)以儲存基本輸出入系統(BIOS)且/或其他 程式，例如:控制器的核心程式(kernel)以及各程式模組，其中核心程式 (kernel)用以在開機後執行以控制子系統的操作。該非揮發性記憶體儲存 若干個關於該磁碟輸出入操作執行狀態的資訊，其可於一不正常電力中斷 發生後且同時該輸出入操作發生執行尚未結束的情況下被檢驗。該液晶顯 示模組350顯示該子系統的操作。箱體管理服務電路360可控制該直接存 取儲存裝置陣列的電源且做一些其他的管理。該唯讀記憶體246、該非揮發 記憶體248、該液晶顯示模組350以及該箱體管理服務電路36Q通過一 X-總線連接至該中央處理單元晶片組/同位引擎244A。該中央處理單元晶片組 /同位引擎244A已於較早的圖4解釋過。
圖7B中，該中央處理電路方塊的一第二實施例是以該中央處理電路 240B顯示的，其包含一中央處理單元晶片組244B、該同位引擎260、該中央 處理單元242、 一唯讀記憶體246, —非揮發記憶體248， 一液晶顯示才莫組 350以及一箱體管理服務電路360。該第二實施例的中央處理電路240B與該中央處理電路24OA，除了在中央處理電路24 0B中該中央處理單元晶片組 244B和同位引擎260為兩個獨立晶片外，其餘皆相同。
圖7C中，該中央處理電路方塊的一第三實施例是以該中央處理電路 240C顯示的，其主要包含該中央處理單元晶片組244C、該中央處理單元242、 以及該唯讀記憶體246。雖然在圖7C中省略了該非揮發記憶體248以及該 液晶顯示模組350,其各個可為該中央處理電路240C的一部份。在此實施例 中省略了該同位引擎。假設該儲存虛擬化控制器200或儲存虛擬化子系統 20不需該種同位引擎功能時，該中央處理電路240可在不需一同位引擎下實 行。例如，對一無同位引擎的JBOD模擬控制器或其儲存虛擬化子系統、或 一磁碟陣列型態1的控制器或其儲存虛擬化子系統來說，不需要同位功能， 且因此可省略同位功能。在另一情況下，其中該執行若干個同位功能程式或 程式碼的中央處理單元執行該同位功能，而非由一專用硬體，像是一同位引 擎，因此可省略同位引擎。對於該同位功能來說，其可為一低效能但低成本 的解決方式。
圖7D中，該中央處理電^各方塊以該中央處理電^各240D為一第四實施例 的顯示，其主要包含該中央處理單元晶片組244D、 一資料保護引擎250、該 中央處理單元242、以及該唯讀記憶體246。雖然於圖7D中省略該非4軍發 性記憶體248與該液晶顯示模組350,其各個可為該中央處理電路240D的一 部份。與該中央處理電路240(T相較，中央處理電路MOD更包含有一資料保 護引擎250,相較於圖7B中所示的該同位引擎，其可執行一較同位功能更強 及/或不同的資料保護功能。例如說該資料保護引擎250可具有一錯誤更正 碼功能。
圖7E中，該中央處理電路方塊的一第五實施例是以該中央處理電路 240E顯示的，其主要包含該中央處理單元晶片組/唯讀記憶體244E、該同位 引擎260、該中央處理單元242、以及該唯讀記憶體246。雖然於圖7E中省 略該非揮發性記憶體248以及該液晶顯示模組350，其各個可為該中央處理 電路240E的一部份。與中央處理電路240C相較，中央處理電路240E更包 含該同位引擎260。該唯讀記憶體嵌入式製造於該中央處理單元晶片組/唯 讀記憶體244E晶片內。或者，該唯讀記憶體整合設置於該中央處理單元晶 片組/唯讀記憶體244E晶片內。
圖7F中，該中央處理電路方塊的一第六實施例是以該中央處理電路 240F顯示的，其主要包含該嵌入式中央處理單元/中央處理單元晶片組 242F、該同位引擎260、以及該唯讀記憶體246。雖然於圖7F中省略該非 揮發性記憶體248以及該液晶顯示模組350，其各個可為該中央處理電路 240F的一部份。和中央處理電路240E相較，該中央處理電路2MF更包含該 同位引擎260以及該唯讀記憶體246，其各個獨立於該嵌入式中央處理單元/中央處理單元晶片組242F之外。該中央處理單元嵌入式製造於該嵌入式中 央處理單元晶片組/唯讀記憶體242F晶片內。
圖7A至7F僅顯示幾個示例該中央處理電路240的方塊圖，其餘可為該 技術領域中具有通常知識者變化且/或修改者應視為本發明的一部。例如， 根據系統單晶片(SOC， System On Chip)的潮流，所有該功能性方塊可整合形 成或嵌入在單一晶片中。
本發明的操作流程以及若干個詳細結構的更進一 步細節於隨後的圖12 至圖21中解釋。
請參考圖12,其為根據本發明的包含一冗餘外接式串列附接小型計算 機系統介面儲存虛擬化子系統20的儲存虛擬化計算機系統的一實施例的又 一示圖。如同顯示於圖12中，該儲存虛擬化計算機系統10包含一主機單元 10以及該冗餘外接式串列附接小型計算機系統介面儲存虛擬化子系統20。 該冗餘外接式串列附接小型計算機系統介面儲存虛擬化子系統20包含一對 儲存虛擬化控制器，儲存虛擬化控制器一和儲存虛擬化控制器二，該對儲存 虛擬化控制器是被組態設定為一對冗餘儲存虛擬化控制器以便當該等儲存 虛擬化控制器的一有問題時，例如被阻塞了 、故障了或失效時，另一儲存虛 擬化控制器將自動接管有問題的儲存虛擬化控制器的功能。
大部分硬體結構的細節以在先前衝艮據圖1到圖12B解釋過。
在圖12中有兩種型態的直接存取儲存裝置連接至該等儲存虛擬化控制 器。第一種型態是串列附接小型計算機系統介面直接存取儲存裝置，其藉由 原本即有的串列附接小型計算機系統介面雙埠而可直接連接至儲存虛擬化 控制器兩者。第二種型態是串列先進技術接取介面直接存取儲存裝置，其藉 由一存取控制交換器342可連接至該等儲存虛擬化控制器的兩者。
串列附接小型計算機系統介面輸出入裝置中的存取控制交換器342的 設計可為一埠選擇器。 一儲存虛擬化控制器可發送命令至一實體儲存裝置 420且該埠選擇器可自動交換自該儲存虛擬化控制器至實體儲存裝置420的 正確路徑。
一儲存虛擬化控制器的存取擁有權是為讓該儲存虛擬化控制器可存取 一實體儲存裝置的擁有權。 一種會使存取擁有權的轉換為強制轉換的情形 是為，當該存取擁有權擁有者(簡稱"存取權擁有者")儲存虛擬化控制器200 的故障情形導致另一儲存虛擬化控制器200必須接管其功能的時。圖13圖 示在此狀況中該存取擁有權的轉換過程。當偵測到該故障的儲存虛擬化控 制器200故障時，另一儲存虛擬化控制器200拉啟該故障儲存虛擬化控制器 200的重設訊號(reset signal)以使其完全無作用且迫使所有的對外連接訊 號線路進入預先定義狀態。沐種對外連接訊號線路之一為該故障的儲存虛 擬化控制器200的存取控制交換器的控制訊號。當該儲存虛擬化控制器重
37設訊號拉啟時，此訊號線路被設為使該存活的儲存虛擬化控制器到該實體
儲存裝置420的為配接致能(patching enable)的狀態。隨著在該故障中的 儲存虛擬化控制器重設訊號的拉啟，該存活的儲存虛擬化控制器200是設 定其存取控制交換器控制訊號的狀態以使其啟始通過自身而配接到該實體 儲存裝置420。如此完成該轉換過程。
該存取控制交換器342將保持在於此狀態中，直至該正在故障中的儲存 虛擬化控制器200被更換或重為上線並要求擁有權轉移給它。對各個在重 設、開機、以及在初始化期間的控制器來說，該存取控制交換器訊號線路的 狀態保持在使其通過自身到該實體儲存裝置420為配接禁能(patching disable)的狀態，以確保其不會由於不慎使該存取控制交換器342進入一中 斷此存取的狀態而與該上線儲存虛擬化控制器200有可能正在進行的實體 儲存裝置42 0存取發生衝突。
處理在該等儲存虛擬化控制器200並未正常具有該實體儲存裝置420 的存取擁有權的部分的"偶爾的"存取需要的另一方法為，使該存取擁有者 扮演為一代理人的角色以發送需要存取的儲存虛擬化控制器200 (被以存取 要求者的辭稱呼)的必須執行的輸出入要求， 一個此處以"輸出入要求繞送" 的辭來稱呼的操作。如此典型地必須傳送所有的必需輸出入要求資訊至該 存取擁有者以讓該擁有者為了該存取要求者去建構一輸出入要求以發送至 該實體儲存裝置420。除了該輸出入要求資訊以外，該存取要求者在輸出要
求的發送和執行之前或其期間，將傳送任何待寫入至該實體儲存裝置的有 效負載資料至該存取擁有者。任何從該實體儲存裝置讀取而來的有效負載 資料在輸出入要求執行期間或之後將被傳送回該存取要求者。該操作的完 成狀態，典型地是為指出是否該操作"成功，，或"失敗，，以及為了甚麼原因 的資訊，將於該輸出入要求執行完成時被傳回至該存取要求者。圖l4描述 此一流程圖。
輸出入要求繞送功能可經由一對冗餘輸出入裝置連結埠來執行。該對 輸出入裝置連結埠的每一成員埠是被設置於在該對冗餘儲存虛擬化控制器 的一單獨但通過該輸出入裝置連結被連接至同樣的實體儲存裝置的儲存虛 擬化控制器上。該對冗餘輸出入裝置連結埠的一成員埠可為一裝置端輸出 入裝置連結埠，或為對某些輸出入操作來說作為一裝置端輸出入裝置連結 埠且對其他輸出入操作來說作為 一主機端輸出入裝置連結埠的 一混合輸出
入裝置連結埠(hybrid. 10 device interconnect port)。就這一點而言，該 對冗餘輸出入裝置連結埠的該等成員埠可包含點對點輸出入裝置連結埠， 例如串列附接小型計算機系統介面連結，或者在另 一 實施例中，可包含多重 裝置輸出入裝置連結埠，例如光纖通道或平行小型計算機系統介面的連結。 另外，此般輸出入要求繞送功能也可適用於通過該對冗餘儲存虛擬化控制器的互補擴展埠來執行輸出入要求的情況。該對冗餘儲存虛擬化控制器的 互補擴展埠將於稍後以圖15至圖18更為詳細的敘述之。
為了增加可連接至該儲存虛擬化控制器的實體儲存裝置數量，本發明 選擇性地包含一個或多個擴展裝置端多裝置輸出入裝置連結，在此被稱為 裝置端擴展埠，例如在該儲存虛擬化控制器上的平行小型計算機系統介面 或光纖通道仲裁迴路。典型地該等連結連的布線方式是使得外部擴展機座 的得以於外部連接於其上。該等機座可為直接連接至該連結而無任何介於
中間轉換電路的簡單的"原生"JB0Ds或可為智慧型JB0Ds模擬子系統，該 智慧型JB0Ds模擬子系統是以串列附接小型計算機系統介面或串列先進技 術接取介面的實體儲存裝置的組合以及一單一或冗餘組的儲存虛擬化控制 器來模擬原生JB0Ds，其中該儲存虛擬化控制器提供從多裝置輸出入裝置連 結到裝置端輸出入裝置連結(串列附接小型計算機系統介面或串列先進技 術接取介面)的轉換，而該多裝置輸出入裝置連結是提供該JBOD子系統到該 主要儲存虛擬化子系統的連接，該裝置端輸出入裝置連結(串列附接小型計 算機系統介面或串列先進技術接取介面)則提供介於該JB0D儲存虛擬化控 制器以及其所管理的實體儲存裝置間的連接。
對該裝置端擴展埠的布線，本發明介紹三個可能的選擇。在圖15A所描 述的 一 實作方案之中， 一儲存虛擬化控制器上的各個裝置端擴展埠被連結 到其在另 一儲存虛擬化控制器上的互補埠，此處稱為冗餘儲存虛擬化控制 器連結擴展埠實作方案。實作方案容許該等儲存虛擬化控制器兩者皆共享 該裝置端連結及其於正常操作期間所提供的帶寬，並且容許該等儲存虛擬 化控制器兩者皆經由連接元件(作用類似於一個集線器(Hub))而完全地存 取各個儲存單元埠。此實作方案更容許任一儲存虛擬化控制器在對全部的 儲存單元保留完全的存取能力，包含那些原本指定給另一儲存虛擬化控制 器的儲存單元，即便是在另 一儲存虛擬化控制器故障的情況下。
圖15B和圖15C顯示類似於圖15A但其使用一擴展電路以代替該連接 元件的實作方案。在圖15B所顯示的實作方案中，對各對冗餘擴展埠(來自 於不同儲存虛擬化控制器且連接至相同連接元件的該二擴展埠)提供有一 擴展電路。在圖15C所顯示的實作中，所有的冗餘擴展埠皆為連接至一相同 的擴展電路。
圖16A中描述一被加強的此般實作方案，此處稱作被連結冗餘擴展埠的 冗餘儲存虛擬化控制器實作方案，其具有冗餘擴展埠對而非具有獨立埠以 防止在儲存虛擬化控制器的擴展埠的一連結的斷裂或故障造成該儲存虛擬 化控制器對連接在該連接上的儲存單元完全喪失其存取。在此組態設定中， 在一冗餘對中的每一埠將連接至每一連接在該連結上的雙埠實體儲存裝置 中的該等埠的 一者，或連接至一模擬連接在該連結上的複數實體儲存裝置
39的雙埠儲存虛擬化子系統(例如JB0D模擬儲存虛擬化子系統)中的該等埠 的 一者。若當在一儲存虛擬化控制器上的該等擴展埠或該等被連接的連結 的一故障時，輸出入要求將被繞送通過其他的擴展埠/連結。
圖16B和16C顯示類似於圖16A但以使用一擴展電路來代替該連接元 件的實作方案。在圖16B的實作方案中，以一擴展電路來提供各對冗餘擴展 埠(來自不同的儲存虛擬化控制器並且連接至同樣的連接元件的該二擴展 埠)。在圖16C的實作方案中，所有的冗餘擴展埠被連接至一相同的擴展電 路。
圖17A描述又一可能的實作方案，其中在一儲存虛擬化控制器上的各個 擴展埠具有在另一儲存虛擬化控制器上的一冗餘互補埠。在一儲存虛擬化
控制器上的該擴展埠以及其在另一儲存虛擬化控制器上的冗餘互補埠被連 接至各個雙埠儲存單元的兩個埠，其以一儲存虛擬化控制器的擴展埠被連 接至該雙埠對中的一埠且其在另一儲存虛擬化控制器上的互補埠被連接至 該雙埠對中的另一埠的方式連接。該等互補的擴展埠非為連結在一起的但 藉由各個儲存單元的雙埠本質以達成冗餘。然而，在面對該等儲存虛擬化控 制器的一者上的一擴展埠故障，或者把在該等儲存虛擬化控制器的一者上 的擴展埠連接至儲存單元的一者上的連結故障時，單有該儲存單元為雙埠 的特性，是不足以支持該等儲存虛擬化控制器兩者皆可維持存取的冗餘性。 為了達到此點，在一儲存虛擬化控制器所擁有的擴展埠或連接其至該等儲 存單元的連結故障時，必需提供某些機制以在連接另一儲存虛擬化控制器 至該儲存單元的連結上繞送輸出入要求。
圖17B顯示一類似於圖17A的實作方案，但特別指出一擴展電路的使 用。在圖17B中所顯示的實作方案中，每一個冗餘擴展埠為與一擴展電路連 接。
描述於圖17A和17B的組態設定中的裝置擴展埠布線的又一選擇為完 全不用任何連結。在此實例中，可將輸出入要求從一儲存虛擬化控制器繞送 至另 一儲存虛擬化控制器且在正常被用於使該二儲存虛擬化控制器的相互 狀態為同步的儲存虛擬化控制器間通聯連結的上從該存活的互補擴展埠/ 裝置端連結輸出以達成冗餘。
當 一儲存虛擬化控制器偵測到連接在一連接至其擴展埠的 一 的輸出入 裝置連結上的一儲存單元為不再可被存取時，不論其是因為在該擴展埠/連 結中所偵測到的斷裂/故障或某些其他原因，該偵測的儲存虛擬化控制器將 該輸出入要求傳給另 一儲存虛擬化控制器以給另 一儲存虛擬化控制器通過 該互補擴展埠/連結以及另一儲存單元埠來發送至同樣的儲存單元。任何相 關於該輸出入要求的資料/狀態是於該輸出入要求執行期間被傳送在該二 儲存虛擬化控制器之間。假設在另一儲存虛擬化控制器上的擴展埠/連結顯然在工作狀態中且功能正常，然而在另一儲存虛擬化控制器上對該儲存單 元的存取卻還是失敗，該儲存單元將被認為是已經失效或已被移除的。假設 存取成功，則該存取的失效將被認為是局部性的而僅限於該原先的儲存虛 擬化控制器，而且相關於將來對該儲存單元的存取的輸出入要求將自動地 被繞送至另 一儲存虛擬化控制器以在該互補的擴展埠/連結上發送。在此時 期，該原先的儲存虛擬化控制器典型地藉由周期性地發送確認該連結以及 儲存單元狀態的內部產生的輸出入要求來監測該儲存單元通過其擴展埠/ 連結的可存取性。假設在某些時刻，該原先的儲存虛擬化控制器發現該儲存 單元現在可在其擴展埠/連結上被存取，其將停止至另一儲存虛擬化控制器 的輸出入要求繞送且直接在其擁有的擴展埠/連結上再次開始發送該等輸 出入要求。圖18顯示此過程的一流程圖。
一儲存虛擬化控制器典型地可能實用的另 一特色為冗餘的主機端連 結，其中在該儲存虛擬化控制器的上包含複數個主機端連結埠且在兩個或 多個該等連結上呈現給該主機的邏輯媒體單元為完全相同。此種經設計的 特色使該主機具有即使在該等連結及/或埠的其一斷裂、被阻塞或其他故障 時維持對該邏輯^ 某體單元存取的能力。
對串列附接小型計算機系統介面直接存取儲存裝置來說，該操作過程 非常類似於串列先進技術接取介面直接存取儲存裝置事例的過程。主要區 別為該等儲存虛擬化控制器的兩者皆可藉由該串列附接小型計算機系統介 面直接存取儲存裝置的串列附接小型計算機系統介面雙埠來連接至該串列 附接小型計算機系統介面直接存取儲存裝置。任一得到串列附接小型計算 機系統介面直接存取儲存裝置的存取擁有權的儲存虛擬化控制器不需存取
控制交換器342。該儲存虛擬化控制器僅需具體指定連接至此儲存虛擬化控 制器的正確串列附接小型計算機系統介面位址以及對該串列附接小型計算 機系統介面直接存取儲存裝置執行操作。然，根據本發明的一另一實施例， 該等儲存虛擬化控制器在一串列附接小型計算機系統介面直接存取儲存裝 置上的存取擁有權可以經由對一 串列附接小型計算機系統介面直接存取儲 存裝置的存取控制交換器為其實施。
對串列附接小型計算機系統介面與串列先進技術接取介面直接存取儲 存裝置兩者皆連接至該等儲存虛擬化控制器的事例來說，該具有目前存取 擁有權的儲存虛擬化控制器必須識別該目標直接存取儲存裝置的類型以為 了如上述的對串列附接小型計算機系統介面與串列先進技術接取介面直接 存取儲存裝置的不同的存取過程。
圖19描繪在各個連接至兩個完全獨立的主機端輸出入裝置連結以及主 機埠的儲存虛擬化控制器上包含有兩個獨立主機端埠的一冗餘外接式儲存 虛擬化計算機系統。 一儲存虛擬化控制器的每一埠在其互相連結的另一儲存虛擬化控制器上具有一互補埠。在主機端連結中支持冗餘的一典型實施 中，各個儲存虛擬化控制器將以 一 完全相同的方式在其埠的兩者上呈現同 樣的邏輯媒體單元組。
在正常操作下，主機的存取一邏輯媒體單元，是可通過一被組態設定為 在一主機連結上呈現該邏輯媒體單元的儲存虛擬化控制器來進行。此可為 在對冗餘儲存虛擬化控制器中的一儲存虛擬化控制器或兩者。假設一儲存 虛擬化控制器為故障時，已經由該等儲存虛擬化控制器的兩者正被呈現給
存取的，且在主機上的特定目的的"多重冗餘路徑"功能的幫助的下，在偵 測到經由該等儲存虛擬化控制器的 一者的輸出入要求處理為中斷時，該輸
出入要求將被完全地繞送(reroute)至該正常作用的儲存虛擬化控制器。
原本僅由現今為故障中的儲存虛擬化控制器來呈現至該主機的該等邏 輯媒體單元，將馬上地被該正常作用的儲存虛擬化控制器在連接其至該主 機的主機端連結上呈現給該主機。對該等邏輯媒體單元來說，該正常作用的 儲存虛擬化控制器將可通透地接管主機輸出入要求的處理，其僅是藉由在 每一個連結上以該故障中的儲存虛擬化控制器在其故障前的完全相同的方 式，呈現其自身並連同所有的重新指定的邏輯媒體單元。以此種"通透接 管"，該主機不需要實施特別的功能以使其察覺儲存虛擬化控制器的故障且 以繞送其自身的輸出入來回應》
除了儲存虛擬化控制器的冗餘的外，該兩組的互補埠也形成一冗餘埠 互補。 一具有兩個使用兩個獨立的輸出入裝置連結以連接至此兩個互補冗 餘埠組的獨立埠的一主機，是具有兩個在其上其可發送輸出入要求至各個 邏輯媒體單元的獨立路徑。當該主機或一儲存虛擬化控制器上的一埠故障
時或當該主機裝置連結的本身斷裂或被阻塞時，該等實施多重冗餘路徑功 能的主機可繞送輸出入要求於另一冗餘路徑上。另外，當該等路徑的兩者皆 正常作用時，該主機可選擇在該等路徑的兩者上皆發送輸出入要求以收在 該等路徑間的負載平衡的效，此處稱一技術為"負載平衡"。
為了達到上述的通透接管功能，每一個儲存虛擬化控制器上各一個而 形成一互補埠對的該對埠的每一個埠是為實體地連結的。對總線型式的多 重裝置輸出入裝置連結來說，例如平行小型計算機系統介面，該連結僅由將 該等裝置用線路直接連接在一起來構成而不用任何居中的電路。對其他型 態的連結來說，也許需要特別的交換電路以達到該需求的實體連結。圖20
態的轉i的光纖/串列附接小型計算機系統介面的此種i結的交換電i^一例。
在其中該等主機實施多重冗餘路徑功能的配置中，有一另一需求較少
42連結以達成如顯示於圖21中的類似程度的冗餘的主機端連結配置。請注意 連接一儲存虛擬化控制器至該等主機的主機端連結沒有連結到另 一儲存虛 擬化控制器。在此配置中，藉由使各個邏輯媒體單元對該等主機在一儲存虛 擬化控制器的一主機端連結上來說為可存取時，在通過另一儲存虛擬化控 制器上的一另一主機端連結亦為可存取的，而以此達成連結冗餘。當該等連 結的一斷裂、被阻塞，或者其他方式的故障時，該等主機將仍可通過另一儲 存虛擬化控制器經由另一連結以存取該邏輯媒體單元。同樣地，當該等儲存 虛擬化控制器的一故障時，另一儲存虛擬化控制器可接管且，再一次地，該
等主機將仍可通過該正常作用的儲存虛擬化控制器經由另一連結以存取該 邏輯媒體單元。
以上所述，僅是本發明的較佳實施例而已，並非對本發明作任何形式上 的限制，雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發明， 任何熟悉本專業的技術人員，在不脫離本發明技術方案範圍內，當可利用上 述揭示的方法及技術內容作出些許的更動或修飾為等同變化的等效實施 例，但是凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上 實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的 範圍內。
權利要求
1、一種提供資料儲存空間的冗餘儲存虛擬化子系統，其特徵在於包括一對冗餘外接式儲存虛擬化控制器用以執行輸出入操作來回應一主機單元所發送的輸出入要求，是包括一第一和一第二儲存虛擬化控制器用以耦接至該主機單元；一組至少一個實體儲存裝置以提供資料儲存空間給該主機單元，該組的至少一個實體儲存裝置的至少一個成員包括通過一點對點串列訊號連結而耦接至該對冗餘外接式儲存虛擬化控制器以利用串列附接小型計算機系統介面協定傳送訊號的一實體儲存裝置，所述的至少一個實體儲存裝置通過兩個埠而分別連接至所述的一對冗餘外接式儲存虛擬化控制器中一儲存虛擬化控制器的串列附接小型計算機系統介面輸出入裝置連結控制器，且也連接至所述的一對冗餘外接式儲存虛擬化控制器中另一個儲存虛擬化控制器的串列附接小型計算機系統介面輸出入裝置連結控制器；以及其中當該對冗餘外接式儲存虛擬化控制器中的一儲存虛擬化控制器不為上線或在上線後為下線時，該對冗餘外接式儲存虛擬化控制器中的另一儲存虛擬化控制器將自動地接管原先由該對冗餘外接式儲存虛擬化控制器中的該儲存虛擬化控制器所執行的功能，其中該對冗餘外接式儲存虛擬化控制器的至少一成員儲存虛擬化控制器包括至少一個擴展埠用以耦接至一第二組的至少一個實體儲存裝置，其中一組至少二個該擴展埠形成一冗餘擴展埠組以互相執行繞送輸出入要求的功能，藉此輸出入要求正常地經由該冗餘擴展埠組的一第一成員埠而被傳送至一實體儲存裝置，可以被繞送為經由該冗餘擴展埠組的一第二成員埠。
2、 一種提供資料儲存空間的冗餘儲存虛擬化子系統，其特徵在於包括 一對冗餘外接式儲存虛擬化控制器用以執行輸出入操作來回應 一主機 單元所發送的輸出入要求，是包括一第一和一第二儲存虛擬化控制器用以 耦接至該主機單元；一組至少 一個實體儲存裝置以提供資料儲存空間給該主機單元，該組 的至少一個實體儲存裝置的至少一個成員包括通過一點對點串列訊號連結 而耦接至該對冗餘外接式儲存虛擬化控制器以利用串列附接小型計算機系 統介面協定傳送訊號的一實體儲存裝置，所述的至少一個實體儲存裝置通 過兩個埠而分別連接至所述的一對冗餘外接式儲存虛擬化控制器中一儲存 虛擬化控制器的串列附接小型計算機系統介面輸出入裝置連結控制器，且 也連接至所述的一對冗餘外接式儲存虛擬化控制器中另一個儲存虛擬化控 制器的串列附接小型計算機系統介面輸出入裝置連結控制器；以及其中當該對冗餘外接式儲存虛擬化控制器中的 一儲存虛擬化控制器不 為上線或在上線後為下線時，該對冗餘外接式儲存虛擬化控制器中的另一 儲存虛擬化控制器將自動地接管原先由該對冗餘外接式儲存虛擬化控制器 中的該儲存虛擬化控制器所執行的功能，其中該對冗餘外接式儲存虛擬化控制器的至少一成員儲存虛擬化控制器包括至少一個擴展埠用以耦接至一第二組的至少一個實體儲存裝置，其中該第二組的至少一個實體儲存裝置的一成員具有一對冗餘埠，該對冗餘埠的一成員埠為被耦接至一組的擴展埠，該組的擴展埠包含有至少 一個擴展埠。
3、 根據權利要求2所述的冗餘儲存虛擬化子系統，其特徵在於其中繞 送輸出入要求的功能可經由該至少一個實體儲存裝置的第二組的該成員的 該冗餘埠而被執行以藉此正常地經由該對冗餘埠的一第一成員埠而被傳送 至一實體儲存裝置的輸出入要求可被繞送為經由該對冗餘埠的一第二成員埠至該實體儲存裝置。
4、 根據權利要求3所述的冗餘儲存虛擬化子系統，其特徵在於其中一 組至少二個該擴展埠形成一冗餘擴展埠組以互相執行繞送輸出入要求的功 能，藉此輸出入要求正常地經由該冗餘擴展埠組的一第一成員埠而被傳送 至一實體儲存裝置，可以被繞送為經由該冗餘擴展埠組的一第二成員埠。
5、 根據權利要求2所述的冗餘儲存虛擬化子系統，其特徵在於其中所 述的成員儲存虛擬化控制器各具有不同組的擴展埠，每一組擴展埠包含有 至少一個擴展埠，該對實體儲存裝置冗餘埠的各個成員埠為耦接至該不同 組的至少一個擴展埠。
6、 根據權利要求2所述的冗餘儲存虛擬化子系統，其特徵在於其中該 對實體儲存裝置冗餘埠的該成員埠以及該組的擴展埠為經由一交換電路而相互耦接在一起的。
7、 根據權利要求6所述的冗餘儲存虛擬化子系統，其特徵在於其中該 組的擴展埠包括一第一和一第二擴展埠子組並形成一對互補子組，且每子 組中有至少 一個成員擴展埠。
8、 根據權利要求7所述的冗餘儲存虛擬化子系統，其特徵在於其中藉 由該交換電路所實施的連結訊號線路交換機制之一為該對互補子組的該第 一子組對該對實體儲存裝置冗餘埠的一第一成員埠的耦接以及該互補子組 對的該第二子組對該對實體儲存裝置冗餘埠的一第二成員埠的耦接。
9、 根據權利要求7所述的冗餘儲存虛擬化子系統，其特徵在於其中藉 由該交換電路所實施的一連結訊號線交換機制之一為該對互補子組的兩子 組皆對該對實體儲存裝置冗餘埠的一第一成員埠的耦接。
10、 根據權利要求7所述的冗餘儲存虛擬化子系統，其特徵在於其中藉由該交換電路所實施的一連結訊號線交換機制之一為該對互補子組的該第 一子組對該對實體儲存裝置冗餘埠的一第一成員埠的耦接。
11 、根據權利要求2所迷的冗餘儲存虛擬化子系統，其特徵在於其中該對冗餘外接式儲存虛擬化控制器的 一成員儲存虛擬化控制器更包括至少兩 個形成一冗餘擴展埠組的該擴展埠。
12、 根據權利要求11所述的冗餘儲存虛擬化子系統，其特徵在於其中 在該冗餘擴展埠組中的一第 一和一第二成員埠為各個被耦接至該第二組的 至少一個實體儲存裝置的一成員實體儲存裝置的實體儲存裝置冗餘埠對中 的一不同的成員埠。
13、 根據權利要求11所述的冗餘儲存虛擬化子系統，其特徵在於其中 在該冗餘擴展埠組中的一第 一和一第二成員埠為皆被耦接至該第二組的至 少一個實體儲存裝置的一成員實體儲存裝置的實體儲存裝置冗餘埠對中的一相同的成員埠。
14、 根據權利要求2所述的冗餘儲存虛擬化子系統，其特徵在於包括 一第一擴展埠組包括該至少一個擴展埠在該對冗餘外接式儲存虛擬化控制器中的第 一儲存虛擬化控制器上；一第二擴展埠組包括該至少一個擴展埠在該對冗餘外接式儲存虛擬化控制器中的第二儲存虛擬化控制器上；其中該第一擴展埠組以及該第二擴展埠組""^形成一對冗餘擴展埠組。
15、 根據權利要求14所述的冗餘儲存虛擬化子系統,其特徵在於其中該 第一擴展埠組和該第二擴展埠組為各個被耦接至該第二組至少一個實體儲存 裝置的各個實體儲存裝置的實體儲存裝置冗餘埠對中的 一不同的成員埠。
16、 根據權利要求14所述的冗餘儲存虛擬化子系統，其特徵在於其中該 第 一擴展埠組和該第二擴展埠組為各個被耦接至該第二組至少 一個實體儲存 裝置的各個實體儲存裝置的實體儲存裝置冗餘埠對中的一相同的成員埠。
全文摘要
一種提供資料儲存空間的冗餘儲存虛擬化子系統其包括一對冗餘外接式儲存虛擬化控制器是包括一第一和一第二儲存虛擬化控制器用以耦接至一主機單元；一組至少一個實體儲存裝置，所述的至少一個實體儲存裝置通過兩個埠而分別連接至所述的一對儲存虛擬化控制器的串列附接小型計算機系統介面輸出入裝置連結控制器；以及其中當該對冗餘外接式儲存虛擬化控制器中的一儲存虛擬化控制器不為上線或在上線後為下線時，該對冗餘外接式儲存虛擬化控制器中的另一儲存虛擬化控制器將自動地接管原先由該對冗餘外接式儲存虛擬化控制器中的該儲存虛擬化控制器所執行的功能。
文檔編號G06F3/06GK101470587SQ200810189419
公開日2009年7月1日 申請日期2005年12月21日 優先權日2004年12月21日
發明者龐景德, 施明文, 李正宇, 蘇獻文 申請人:普安科技股份有限公司