網絡系統方案的可靠性測試
2023-07-04 14:04:52
網絡的可靠性是設計出來的基於網絡系統可靠性的設計思想，其相應的測試應如何考慮與實施？本文對網絡方案可靠性測試的分類及內容做詳細闡述。
網絡系統方案的可靠性主要包括：網絡系統的可持續性、可維護性、快速恢復機制。相應的，組網方案的可靠性測試，可歸納為以下幾大類：
1、網絡系統持續長時間、大壓力高負荷、高頻率震蕩條件下的持續運行能力，即Duration測試。
2、網絡系統告警管理功能、系統故障定位手段能力評估。
3、單點故障情況下系統自動恢復時間。
4、驗證鏈路聚合、MSTP、RRPP、BFD、GR、VRRP、ECMP、IRF等HA（High Availability）特性的組合部署功能，並通過調整達到非常好的的組合應用效果。
5、構造各類攻擊，從端到端對網絡系統進行攻擊。此類測試往往可以融合在Duration測試中共同完成。
1 網絡系統持續運行能力測試
網絡系統持續運行能力測試的目標是要通過更惡劣環境的測試，以確保網絡系統在客戶的網絡環境中上線後，在各種衝擊和壓力下，仍舊能夠保持穩定運行。測試方法很明確：在組網測試環境中對運營商或者行業客戶網絡的控制平面和數據平面模型進行模擬，保持環境在大壓力並且震蕩的條件下持續運行，同時監控網絡各個整體運行狀況作為測試結果數據。
測試參數的設計是保證測試效果的重點。其內容主要包括以下幾部分。
1、 測試組網設備參數。
以客戶的原始組網模型進行組網測試是最理想的環境。但是考慮成本因素，實際測試投入中往往難以搭建相對真實網絡1：1的測試網絡環境。為實現測試目的，充分驗證系統的可靠性，測試組網的抽象和取捨是重點。抽象簡化組網規模的原則是：充分分析暴露網絡系統的性能壓力瓶頸，重點保留系統中的瓶頸關鍵節點。
例如，針對一個接入至核心層結構明晰的樹形網絡，常用的可行方案是在業務流量壓力最大的核心層採用1：1組網測試。樹形結構網絡的核心層的設備數量較少，這也為測試環境的1：1組網提供了可能性。匯聚和接入層設備數量逐層遞減，接入層設備採用幾個分支模擬真實應用，其餘分支使用高性能測試儀器的多個埠直接連接在匯聚層設備上模擬拓撲和流量。可根據被測試網絡的控制平明和數據平面路徑，靈活調整測試組網。
2、 控制平面和數據平面參數。
即協議模型和流量模型。協議模型可以通過客戶的組網的規劃和行業抽象，得到較為明確的數據參數。由於應用系統與網絡系統的維護技術人員之間的業務理解往往存在壁壘，並且在網絡規劃設計階段，無法通過流量監控獲取模型，所以流量模型難以準確界定，因此成為困擾組網方案測試的主要因素。比較有效的手段是針對行業特徵進行分析，並結合以往的經驗來設定普遍意義的參數。參數還可根據不同類型客戶的實際上線預期進行加權預估。
3、 振蕩係數與方法。
針對控制平面和數據平面的振蕩是Duration測試的基本要求之一。網絡系統是一個動態的環境。來自網絡系統邊緣與出口的各類輸入輸出變化，會產生更大的壓力和暴露更多的瓶頸。而通過劇烈高頻度的振蕩，營造比客戶實際環境更加惡劣的網絡，能夠更快更充分暴露較深或者需要較長時間才能夠發現的缺陷。通過振蕩在測試網絡中掀起的狂風巨浪，會讓我們更加明確了解網絡系統的健康可靠程度。
網絡系統測試的振蕩係數常用經驗值為30%，即加載在測試系統的協議表項和流量在已設定的參數基礎上，周期性上下浮動30%。並可根據需要調整以觀察不同頻率條件下的振蕩結果，例如可分別以5分鐘、10分鐘、30分鐘、1小時為一個周期。以路由條數為例，路由振蕩導致整個網絡系統中各個節點大量發布、刪除路由信息，並引發流量路徑的遷移，給予測試系統更大的不穩定性壓力。實際測試時，還需要根據行業客戶應用特徵網絡對係數進一步分析，靈活調整。例如，網際網路行業客戶，普遍存在搜索類業務突發，對流量振蕩的要求更高。
振蕩的模擬可通過業界常用測試儀器較為方便實現，本文不再贅述。
2 網絡系統告警管理功能、系統故障定位手段能力評估
網絡系統必須具備系統風險預警功能和便利的故障定位維護功能。
網管系統對網絡的實時監控，預先告警功能主要包括網絡節點CPU、內存、埠流量、埠狀態等參數的監控告警。當佔用率或者埠流量持續超過閾值，即可觸發告警，使管理員提前預知風險，進行分析維護。
系統故障定位手段為事後維護。一旦網絡系統產生故障點，網絡管理系統需記錄網絡切換事件，方便快速幫助管理員找到故障點，並保存故障信息和系統狀態，便於後期缺陷復現定位。
維護類測試以功能測試為主，通過打入攻擊CPU的流量、製造流量擁塞等方法構造各類預警條件，通過shutdown或者重啟設備等命令行，插拔埠、關閉電源等手段檢驗網絡系統對故障點的定位和告警信息是否完備。若設備支持可維護性測試特性，還可通過設備軟體的可維護性測試命令，構造設備節點系統軟硬體故障，查看系統保存的故障狀態信息是否完備，以復現定位缺陷。
測試時，同樣需在大壓力複雜條件下執行，以檢測告警、故障信息是否得到高優先級處理。
3 單點故障情況下系統自動恢復時間
網絡系統在出現單點故障情況下可快速恢復是高可靠網絡設計的重點。恢復時間的要求在各類行業和各網絡層有差異。目前，網絡系統平均恢復時間低於500ms已經逐步成為主流要求。
與網絡切換相關的各種組網模型故障模擬主要包括：鏈路故障、節點設備故障、單板故障、節點設備主備倒換、主備設備倒換、設備升級等。各類故障還需進一步細分，例如節點設備故障包含：設備命令行執行軟體重啟，設備斷電、設備上電、主備控板全部拔出/插入等等。
為精確計算各類故障導致的網絡中斷/恢復時間，組網如圖1所示，測試方法如下：
圖1 網絡系統恢復時間測試示意
1、 基於網絡測試環境，接入測試儀器，將流量發生器端到端接入網絡系統。儀器埠分別連接網絡系統的接入層和出口，以保證被測流量路徑貫通整個網絡。
2、 在測試儀器的Port A埠設定速率穩定的流量，目的地址為Port B埠。在Port B埠設定速率穩定的流量，目的地址為Port A埠。由於上下行路徑遷移時，上下行的路由等各類協議的熱備表項不同，涉及的協議收斂也可能不同，所以務必設定雙向流量，以檢測上行和下行流量路徑的恢復時間。
3、 確保設定的上下行流量路徑通過需要模擬的故障點節點，避免測試無效。
4、 啟動流量發送與接收，開始統計發送的流量和接收的流量。
5、 模擬節點故障，網絡系統自動檢測並恢復。
6、 停止發送流量。根據發送和接收的流量，計算得出系統流量路徑恢復時間。
公式為：Time=(發送報文數量-接收報文數量)/報文發送速率(pps)。
注意：報文發送速率以M/G為單位時，計算需考慮乙太網報文的前導碼和幀間隙，公式為：Time=(發送報文數量-接收報文數量)*( 報文字節*8+8*8+96)/報文發送速率(M/G)。通過計算得出上下行流量路徑的恢復時間。
測試時還需注意以下細節：
1、 故障模擬操作方式要考慮全面。例如用命令行shutdown埠和拔掉網線操作導致的測試結果往往會不同；光纖的單通與通常的鏈路down表現也會不同等。
2、 不僅要測試主設備/鏈路切換到備用，還要測試主設備/鏈路恢復正常後，網絡系統的表現。
3、 每項測試需至少測試三次得到平均值。並對得到尖峰和低谷進行分析，需要時重複更多測試以獲取穩定數據。
4、 始終關注測試流量路徑是否經過故障節點，是否按照預期切換，保證測試結果的準確性。
4 驗證HA（High Availability）特性的組合部署功能
網絡系統中的協議配置對系統的穩定性、負荷和恢復時間有重大影響。例如對OSPF的hello time設置過小，會加重網絡中控制平面處理負擔，並容易產生路由振蕩。但是過大也會導致故障時系統恢復時間無法達到要求。因此在測試中可根據不同網絡的要求，取得一個性價比高的平衡。
當各類為保證網絡系統高可靠運行的協議在一個網絡系統中應用時，就使這種組合更加複雜，這些特性包括鏈路聚合、MSTP、RRPP、BFD、GR、VRRP、ECMP、IRF等。
因此，測試不僅僅需要驗證這些特性是否在發揮作用，同時測試過程也是一個網絡參數調優過程。在測試中通過不斷調整協議配置參數，以獲取網絡系統可靠性非常好的配置。這個調優過程既要計算獲取網絡故障恢復時間，又要監控網絡系統各個節點的運行狀況。例如在滿足網絡恢復時間要求基礎上，監控參數配置會影響的CPU佔用率、內存是否正常，Console是否能響應，轉發是否正常，OSPF收斂及路由變化等等，綜合得出結論。
5 從端到端對網絡系統進行各類攻擊測試
此類測試往往融合在Duration測試中共同完成。使用測試儀器公司、開源軟體、自行開發的各類異常報文攻擊工具，可以實現對網絡系統的安全漏洞、健壯性的綜合測試。
結束語
網絡系統方案的可靠性測試的所有測試內容，都需要在整網環境下執行，以保證網絡系統的複雜關聯性，互相影響得到充分驗證。網絡系統的可靠性測試是一種灰盒測試，不僅僅要進行端到端的測試，還要深入關注到各個節點的運行狀態，流量和協議控制層面的脈絡運行狀態。要做好各類故障的分類分析，充分考慮客戶環境的複雜性和客戶行為，對網絡系統的高可靠相關特性深入理解，在驗證中優化配置參數，得到最優最可靠的網絡系統。
