如何計算raid5的容量（RAID5寫帶寬11.7GBs）

2023-07-27 21:10:49 1

引言：在SAS/SATA RAID卡開始轉向Tri-Mode即支持NVMe之後，關於軟硬RAID哪個更好的討論還在繼續。而Broadcom和Microchip這兩家大廠的手裡，正好都掌握著PCIe Switch晶片技術。不知是否有朋友考慮過，如果把傳統RAID卡與PCIe Switch相結合（比如下圖），會有什麼樣的結果呢？

-Microchip 24G SAS/PCIe Gen4三模RAID卡

-RAID 5/6帶寬優秀，但IOPS相對一般？

-RAID晶片嵌入PCIe Switch：Bypass vs. 協議棧改良

-ROC應用示例與SAS的前景

這幾天我看到有技術同行討論RAID卡的RAID 5/6順序寫帶寬（對應XOR異或計算處理性能），而Broadcom（原LSI）最近2代產品都沒在公開資料裡給出這個指標，或許全SSD配置在應用中面對隨機I/O負載偏多吧？（工作站和Isilon類文件存儲還是更看重帶寬的）《350萬IOPS：NVMe SSD RAID卡性能測試解析》一文裡我介紹過Dell PERC 11 卡在RAID 10寫帶寬測試中跑到5,908 MB/s，按常規理解RAID 5應該要低一些。

至於Broadcom最新一代能跑到多少我還不清楚，但他們的競爭對手MicroChip（其存儲業務即之前被MicroSemi收購的PMC-Sierra）卻公布了相關性能指標。

Microchip 24G SAS/PCIe Gen4三模RAID卡

其實Microchip也發布了支持24G SAS和PCIe Gen4 NVMe驅動器的、新一代Tri-Mode三模RAID控制晶片和陣列卡。上面照片就是其中的一款Adaptec SmartRAID Ultra 3258p-32i，它除了使用PCIe Gen4 x16插槽連接伺服器主板之外，還提供了4個SFF-8654（x8 lane）連接器，也就是支持32個連接SAS或PCIe設備的下行信道，不經過SAS Expander/PCIe Switch即可支持32塊SAS/SATA盤或者8個PCIe x4完整帶寬連接的NVMe SSD。

相比之下，Broadcom最新一代RAID卡的下行SAS/PCIe信道最多是24 lane。當然需要指出的是，這裡的無論24還是32 lane並不能同時跑滿全速，因為上行帶寬受PCIe Gen4 x16插槽制約，實際測試中30GB/s左右基本就很不錯了。

註：上面截圖中的CBE指的是基於控制器的加密（Controller-Based Encryption）

拿硬體陣列卡做RAID 0的用戶畢竟不多，所以大家更關心RAID 5/6的表現。如上圖，SmartRAID 3200資料中的最大帶寬是29.6GB/s；RAID 5寫帶寬最高能達到11.7GB/s。這大致達到了GPU加速mdraid方案GRAID的一半水平（擴展閱讀《110 GB/s、1900萬 IOPS：使用GPU的RAID卡及其背後》），應該說比較優秀了，畢竟傳統RAID卡有掉電緩存保護，數據一致性比較放心。

（圖片點開後可放大查看）雖然我們在這裡討論高性能，但出貨最多的RAID卡型號還是PCIe x8、連接SAS、SATA盤的為主，畢竟x16高lane帶寬的貴哦

上圖是SmartRAID 3200系列的型號規格表，Microchip支持的RAID級別多了一種Triple（即三重鏡像），由於容量損失較多，實用價值似乎不太大。另外這裡列出的Cache Width緩存位寬128/64-bit指的是刨除ECC校驗之後的實際數據寬度。

RAID 5/6帶寬優秀，但IOPS相對一般？

Microchip還指出，帶有144-bit DDR4 3200MHz內存（雙通道ECC Cache）的高端RAID卡與配置72-bit單通道緩存的型號相比，在RAID 5寫帶寬上能高出45%。其實在上一篇中，我也提到了Broadcom的高端型號「MegaRAID 9670W -16i配備了8GB雙通道緩存」。

主機界面PCIe Gen4 x16的SmartRAID 3200 Ultra系列RAID卡，最高讀/寫帶寬性能達到29.6GB/s，應該是指RAID 0或者直通；而不帶Ultra的3200系列都是PCIe x8，只有一半的帶寬即15GB/s。

順便說一下隨機讀IOPS。Microchip列出的350萬看上去與Broadcom上一代RAID卡差不多，但具體是什麼RAID級別下實現的，我們還要結合下一張圖來看。

Microchip在上圖中寫出RAID 5 4K隨機讀IOPS是85萬，與Broadcom新發布的24G SAS Tri-Mode MegaRAID相比看上去沒差太多。但別忘了後者可是90-110萬4K寫（如下圖），Microchip卻並沒給出隨機寫性能（我估計他們可能還沒有像Broadcom那樣做RAID 5算法上的變革），另外Broadcom上一代可是能做到RAID 5隨機讀IOPS 350萬哦。

下面我再列出Adaptec HBA 1200系列（SmartIOC 2200晶片）直通卡做個參考：

從這裡可以再次看出，Microchip的3.5M IOPS是針對的HBA直通的性能，最多包括RAID 0/1。

這裡我多聊一句，關注大文件順序I/O性能的用戶，也有不少用的是HDD機械硬碟，而上面寫的11.7GB/s應該是用SSD RAID5測出來的。如果換成HDD，按照單盤最高250MB/s（實際上多數情況達不到）來計算至少也要50-60塊盤、做多組RAID才可能接近這一帶寬水平。還有一點，大容量機械盤您敢不用RAID 6嗎？R6性能應該比R5要低一些哦。

如上圖，SmartROC/SmartRAID 3200系列的RAID 6最大寫帶寬可達10.5GB/s，這也是個不錯的數字。

RAID晶片嵌入PCIe Switch：Bypass vs. 協議棧改良

DirectPath技術的示意圖就是我在本文開頭列出那張。從Host主機上驅動與NVMe SSD之間的I/O路徑，傳統Tri-Mode RAID卡應該要經過「硬體控制&加速單元」——但實際上面對高速NVMe SSD，ROC晶片已經出現了瓶頸。

DirectPath相當於在ROC中嵌入一顆整合的PCIe Switch，這樣數據路徑就可以Bypass之前影響到性能和延時之處。我理解Microchip的350萬IOPS可能就是走的DirectPath；而RAID 5 IOPS 85萬應該還是經過ROC上的傳統處理路徑。

那麼思考題來了：Broadcom24G SAS/PCIe 4 RAID卡的600萬隨機讀IOPS，以及上一代的350萬，是不是也在ROC晶片中集成PCIe Switch做了「直通」處理呢？雖然我現在還沒有答案，而類似地，RAID 5 90萬-110萬IOPS這個數字也是走的傳統XOR等處理單元——但Broadcom這一代的協議棧/算法做了改良。

如上圖：如果只看性能，強如GRAID其RAID 5隨機寫IOPS也只能跑到150萬，和順序寫一樣都是經過NVIDIA GPU來處理的；GRAID的讀路徑顯然沒有經過GPU，就是CPU直接走PCIe訪問SSD，所以（這種軟RAID）數據看來很漂亮。

ROC應用示例與SAS的前景

下面再簡單看看SmartRAID 3200陣列卡對應的SmartROC晶片型號。

圖表供參考

上圖是SmartROC資料中列出的一種用例：RAID卡上每個x8 Tri-Mode連接器，可以在連接到背板後拆分到8個SFF-TA-1001通用驅動器槽位，支持NVMe/SAS/SAS（此時都是x1 lane）；也可以拆分為2個x4 NVMe或者連接MultiLink SAS目標設備。

我記得有些24Gb/s和12Gb/s SAS SSD的雙埠也支持合併（即MultiLink）使用，但在伺服器上它們的性價比似乎沒有NVMe SSD高。好處有哪些呢？24G（22.5Gb/s）單個lane的速率暫時比PCIe 4.0的16GT/s高，但PCIe 5.0也快來了，所以SAS（SCSI）技術除了在存量的SAN/NAS存儲陣列市場，未來走勢已經註定了吧？我看到快閃記憶體越來越便宜，而NVMe HDD不是也有人在搞了…

另有3種參考用例如下。大家應該都不難理解，我就不一一贅述了。

High-Performance NVMe RAID

Caching HBA

Externally Connected JBOD with DCM

綜上，截至今天最新一代RAID卡Microchip對比Broadcom輸了IOPS卻可能贏了帶寬。我在這兩篇聊的SAS/SATA/NVMe（即Tri-Mode）RAID/HBA領域，雖然不像FC HBA卡的兩家Emulex和QLogic那樣「勢均力敵」，但一個有競爭的市場，至少我們能看到參數指標競爭和不同的報價，總是比一家壟斷要好吧：）

註：本文只代表作者個人觀點，與任何組織機構無關，如有錯誤和不足之處歡迎在留言中批評指正。如果您想在這個公眾號上分享自己的技術乾貨，也歡迎聯繫我：）

尊重知識，轉載時請保留全文。感謝您的閱讀和支持！