基於網絡處理器和cpu陣列的交換架構的安全過濾分流器的製作方法

2023-05-06 13:20:26 2

專利名稱：基於網絡處理器和cpu陣列的交換架構的安全過濾分流器的製作方法
技術領域：
本發明涉及一種高速網絡流量環境下的數據處理裝置，特別是一種基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，用於網絡信息技術領域。
背景技術：
近年來，我國在寬帶骨幹網絡方面的發展較快，目前大部分區域骨幹網的帶寬達到2.5G，部分骨幹網的帶寬達到10G甚至40G。從過去近10年網際網路的發展來看，處理器的速度每18個月翻一番，但網際網路骨幹連接的帶寬每12個月就要翻一番。可見，如何基於現有處理器性能達到寬帶網絡的高速數據處理需求是保障網絡服務質量的關鍵。負載均衡和數據分流技術是當前提高網絡數據處理性能的一種解決方案，許多安全產品都藉助這些技術來擴展伺服器帶寬和增加吞吐量。根據實現原理的不同，負載均衡和數據分流設備主要包括以下類型1.採用通用CPU(中央處理單元，或中央處理器或微處理器)配合軟體的技術方案實現。這種基於X86單機和網卡的架構實現，由於受到CPU處理能力和PCI總線速度的制約，已經難以滿足千兆以上骨幹網絡的高速數據處理需求。
2.採用ASIC(專用集成電路)實現。在高速數據處理方面，雖然ASIC仍是當前網絡設備的主流處理核心技術，它通過把指令或計算邏輯固化到硬體中以實現很高的處理速度，從而很好滿足了網絡設備對性能的要求，但ASIC缺乏靈活性，研製周期長，研發費用高，前期投入風險高，特別是在數據「智能化處理」和對用戶定製化服務方面有缺陷，成為限制其進一步發展的主要因素。
目前通常是將分發各種服務請求所需要的處理時間作為衡量負載均衡和數據分流設備的重要性能指標，而不關心這些請求數據包對後端處理器的安全性和有效性，事實上很多設備把大量的攻擊包和無效數據包也都一併轉發給了後端應用系統，這使得後端應用和安全系統不得不面對較大的數據處理負擔和安全威脅。
經對現有技術文獻的檢索發現，朱奮起等人在《計算機應用研究》2004年vol.21，No.5，p.149-151上發表「基於數據分流實現高速網入侵檢測的研究與實踐」中，提出一種數據分流的方法，將捕獲的網絡數據按某種規則分流轉發至多臺檢測設備進行處理，以達到提高整個系統的檢測性能，解決高速網絡下網絡入侵檢測設備因性能缺陷而帶來的丟包問題。但該文提出的分流設備採用普通PC機作為前端機，使用千兆網卡獲取網絡數據，是典型的「單機+網卡」的結構，僅適用於千兆網絡環境，根本無法滿足10G高流量網絡環境下數據處理要求。由此可見，在網絡帶寬和安全威脅不斷增加的情況下，對網絡設備在數據轉發處理上的實時性、安全性和有效性等方面都提出了更高的要求，而現有的技術和產品還無法滿足寬帶網絡對海量數據處理提出的較高實時性和可靠性的要求。

發明內容
本發明的目的在於克服現有數據分流系統在寬帶網絡環境中存在的缺陷，提出一種基於網絡處理器和CPU陣列的交換架構的安全過濾分流器。使其針對10G以上寬帶網絡環境下的數據處理需求，根據網絡處理器和通用CPU處理器在海量數據處理上的特性，將對網絡數據的過濾分流處理工作進行合理分解，對請求數據包在不同的處理器上進行分層次的數據轉發處理和安全審查，使二種處理器能夠充分地發揮各自的優勢，並採用數據分流策略制定與數據轉發相分離的架構，從而減輕了安全過濾分流器的核心處理單元的工作負擔，在寬帶網絡環境下能夠達到安全高效的數據過濾分流處理性能，能夠為各種寬帶網絡應用提供較高的數據接入質量。
本發明是通過以下技術方案實現的，本發明由接入單元、主控單元、安全審查單元、交換輸出單元組成，接入單元與主控單元互連，主控單元與交換輸出單元互連，安全審查單元與主控單元互連。
接入單元由10G(千兆位)光電信號轉換模塊，2.5G POS光電信號轉換模塊和成幀晶片組成，10G光電信號轉換模塊和光電信號轉換模塊不能同時使用，兩種模塊通過SFI(並串/串並轉換器和成幀晶片接口)和成幀晶片連接，成幀晶片通過高速SPI-4.2(系統包接口4.2類型)接口與主控單元連接；所述10G光電信號轉換模塊可兼容10G POS(基於同步數位階層光纖網絡的數據包)、10G LAN(區域網)、WAN(廣域網絡)。
接入單元對來自網絡中各種類型的數據流進行光電轉換、串/並轉換，幀處理，按照PPP/HDLC Over SONET/SDH(基於同步光網絡協議/同步數位階層光纖網絡的點到點/高級數據鏈路控制)協議規範從SONET/SDH(同步光網絡協議/同步數位階層光纖網絡)將數據流還原為PPP(點到點協議)數據包，然後通過高速SPI-4.2接口傳遞給主控單元處理。
主控單元由網絡處理器單元和4路千兆物理接口組成，網絡處理器單元包括幀頭信息處理模塊、分類查找處理模塊、轉發決策處理模塊；幀頭信息處理模塊通過SPI-4.2接口與接入單元相連，分類查找處理模塊與幀頭信息處理模塊相連，轉發決策處理模塊與分類查找處理模塊相連，轉發決策處理模塊通過GMII(千兆位媒體獨立接口)與安全審查單元相連，轉發決策處理模塊通過XAUI(附件單元接口)與交換輸出單元相連。
主控單元是本發明的核心處理單元，主要負責對接入單元接收並處理過的數據包進行粗過濾(通過預先設置粗粒度數據包內容檢查規則)和數據分流策略的判定。
所述幀頭信息處理模塊按照標準協議規範檢驗接入單元發送過來的數據包的完整性並處理基本的協議連接；分類查找處理模塊按照預先設置的過濾規則對數據包進行七層線速匹配，過濾項主要依據七層協議的頭信息進行過濾，屬於粗粒度過濾，主要的過濾項包括規則號、源MAC地址、目的MAC地址、源IP位址、源IP掩碼、目的IP位址、目的IP掩碼、源埠號、目的埠號、URL地址、相應過濾操作，其中「相應過濾操作」選項中包括細粒度處理、丟棄、轉發三種選擇，分類查找處理模塊根據規則匹配結果，過濾掉標籤為「丟棄」的非法數據包和異常數據包，將需要進一步細粒度處理的數據包和直接轉發數據包分別打上「細粒度處理」標籤和「轉發處理」標籤，發送到轉發決策處理模塊；轉發決策處理模塊將標籤為「細粒度處理」的數據包通過內置的千兆口轉發到安全審查單元，將標籤為「轉發處理」的數據包按通用負載均衡算法，如最小響應時間法，最小連接法進行分發策略的計算，要保證所有的數據在任意一條鏈路上保持其TCP完整連接，轉發決策處理模塊將計算得到的分發策略通過SPI-4.2接口發送到交換輸出單元。
安全審查單元由4個帶千兆電口接口的標準CPU處理模塊組成，所述4個CPU處理模塊採用並行處理的工作模式，實現對數據包內容的細粒度檢查，大大提高了系統對數據包進行細粒度檢查的處理效率。細粒度檢查主要是針對不同種類應用的審查需要，根據應用層協議規範中的定義，通過設置要匹配內容的欄位偏移量、欄位長度、欄位內容以及過濾操作，利用關鍵字匹配的方法對數據包進行內容審查。安全審查單元具有基於會話的數據包內容審查功能，將從一個會話中的多個數據包提取出的信息進行拼接，再進行內容匹配，可以發現分散在多個數據包中的異常情況。安全審查單元將檢查結果反饋給主控單元，主控單元根據細粒度過濾結果為該數據包製定分流策略，並將制定好的數據分流策略下發給交換輸出單元執行具體的數據轉發操作。
交換輸出單元主要由千兆交換主控模塊、千兆電口接口模塊、千兆光口接口模塊組成，交換輸出單元共8個千兆電口和4個千兆光口，千兆交換主控模塊通過GMII(千兆位媒體獨立接口)接口分別與千兆電口接口模塊和千兆光口接口模塊相連，交換輸出單元根據主控單元制定的分發策略完成數據轉發操作。
對區域網內的服務請求的轉發處理，為了緩解主控單元的處理負擔，主控單元僅對每個會話的第一個數據包進行數據分流策略的判定，對於屬於同一個會話的後續數據包由交換輸出單元根據主控單元制定並下發的轉發策略執行具體的策略判斷與數據轉發處理操作。
本發明具有實質性特點和顯著進步(1)採用多級架構設計，將海量數據處理任務合理拆解，分配到不同的處理單元負責，緩解了核心的數據分流處理單元的工作壓力，提高了系統整體的處理性能；(2)採用高性能的網絡處理器技術實現數據分流處理，支持萬兆的數據處理性能；(3)採用交換架構的設計，使區域網內的服務請求的數據分流策略的制定與數據轉發的具體實施相分離，提高了系統核心處理單元的工作效率；(4)利用通用CPU陣列進行數據包內容的細粒度過濾，提高了所述安全過濾分流器在應用層的安全處理性能，使網絡處理器能夠更好的發揮其在網絡層以下的包處理優勢，深入的應用層數據分析提高了數據轉發策略的安全性和有效性。
本發明提出的安全過濾分流器能夠實現對2.5G、10G高流量背景下網絡數據的線速無遺漏的獲取，充分利用網絡處理器技術結合通用處理器技術實現對數據包的七層線速預處理和智能的內容安全過濾，有效的解決了高速網絡環境下對海量數據進行集群處理在實時性和安全性上的需求，適用於高速骨幹網上的網絡監測、入侵檢測、流量統計、內容審計等多種安全應用的實施。


圖1本發明結構框2接入單元組成結構框3主控單元組成結構框4安全審查單元組成結構框5交換輸出單元組成結構框圖具體實施方式
如圖1所示，所述系統採用多路輸入輸出接口結構設計，接入單元1包括2.5GPOS接口，10G POS接口和千兆接口，接入單元1與主控單元2之間通過SPI(系統包接口)總線互連，SPI總線的帶寬資源為10G，主控單元2與安全審查單元3之間通過PCI(外部設備接口)總線進行數據通信，PCI總線的帶寬資源為1000MBps，主控單元2與交換輸出單元4之間通過SPI(系統包接口)總線互連，SPI總線的帶寬資源為10G。
如圖2所示，接入單元由10G光電信號轉換模塊，2.5G POS光電信號轉換模塊CP-3395和成幀晶片IXF19301組成，10G光電信號轉換模塊和2.5G轉換模塊不能同時使用，兩種模塊通過SFI接口和成幀晶片連接，成幀晶片通過高速SPI-4.2接口與主控單元連接；所述10G光電信號轉換模塊可兼容10G POS(基於同步數位階層光纖網絡的數據包)、10G LAN(區域網)、WAN(廣域網絡)。
如圖3所示，主控單元由網絡處理器單元NP-1322和4路千兆物理接口c8304組成，網絡處理器單元包括幀頭信息處理模塊、分類查找處理模塊、轉發決策處理模塊；幀頭信息處理模塊通過SPI-4.2接口與接入單元相連，分類查找處理模塊與幀頭信息處理模塊相連，轉發決策處理模塊與分類查找處理模塊相連，轉發決策處理模塊通過GMII(千兆位媒體獨立接口)與安全審查單元相連，轉發決策處理模塊通過XAUI(附件單元接口)與交換輸出單元相連。主控單元是所述安全過濾分流器的核心處理單元，主要負責對接入單元接收並處理過的數據包進行粗過濾(通過預先設置粗粒度數據包內容檢查規則)和數據分流策略的判定。主控單元採用網絡處理器實現，由於網絡處理器具有可編程的特性，因此可以根據實際應用的需要靈活選擇適用的負載均衡算法。
如圖4所示，安全審查單元由4個帶千兆電口接口的標準CPU處理模塊組成，所述4個CPU處理模塊採用並行處理的工作模式，實現對數據包內容的細粒度檢查。雖然網絡處理器與通用處理器相比在數據處理上具有明顯的優勢，但是網絡處理器的優勢主要在於網絡層以下的包處理上，由於對數據包進行應用層的細粒度過濾具有一定的複雜性，若是採用網絡處理器進行應用層的內容處理則會導致網絡處理器性能的下降，因此安全審查單元採用通用CPU處理器實現。
如圖5所示，交換輸出單元主要由千兆交換主控模塊、千兆電口接口模塊、千兆光口接口模塊組成，交換輸出單元共8個千兆電口和4個千兆光口，千兆交換主控模塊通過GMII接口分別與千兆電口接口模塊和千兆光口接口模塊相連，交換輸出單元根據主控單元制定的分發策略完成數據轉發操作。
本發明的主要工作流程如下由接入單元1對來自網絡中的各種類型的數據流進行光電轉換、串/並轉換，幀處理，數據流按照PPP/HDLC Over SONET/SDH規範從SONET/SDH數據流還原為PPP數據包，然後通過高速接口傳遞給主控單元2；主控單元2按照標準協議規範檢驗接入單元發送過來的數據包的完整性，然後，按照預先設置的過濾規則對數據包進行七層線速過濾，過濾掉非法數據包和異常數據包；主控單元2把需要進行深度內容檢查的數據包提交給安全審查單元作進一步的細粒度的內容分析，對於不需要進行細粒度內容審查的數據包，有主控單元2根據負載均衡算法運算得出該數據包的分流策略，並將制定好的數據分流策略下發給交換輸出單元4執行具體的數據轉發操作；安全審查單元3按照細粒度過濾規則對數據包的內容進行深入過濾，將過濾結果反饋給主控單元2，主控單元2根據細粒度過濾結果為該數據包製定分流策略，並將制定好的數據分流策略下發給交換輸出單元4執行具體的數據轉發操作；對區域網內的服務請求的轉發處理，由交換輸出單元4通過檢驗數據包頭中「SYN」欄位的值來判斷該的數據包是否為新建立會話的第一個報文段，將新建立的會話的第一個數據包發送給主控單元2進行新會話的分流策略判定。主控單元2僅對每個會話的第一個數據包進行數據分流策略的判定，由交換輸出單元4通過檢驗數據包結束標誌「FIN」的值來判斷當前的會話是否結束，對於屬於同一個會話的後續數據包由交換輸出單元4根據主控單元2制定並下發的數據分流策略執行具體的策略判斷與數據轉發處理操作。
權利要求
1.一種基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，由接入單元、主控單元、安全審查單元、交換輸出單元組成，其特徵在於，接入單元與主控單元互連，主控單元與交換輸出單元互連，安全審查單元與主控單元互連，其中所述的接入單元由10G光電信號轉換模塊，2.5G POS光電信號轉換模塊和成幀晶片組成，10G光電信號轉換模塊和光電信號轉換模塊通過SFI和成幀晶片連接，成幀晶片通過高速SPI-4.2接口與主控單元連接；所述的主控單元由網絡處理器單元和4路千兆物理接口組成，網絡處理器單元包括幀頭信息處理模塊、分類查找處理模塊、轉發決策處理模塊，幀頭信息處理模塊通過SPI-4.2接口與接入單元相連，分類查找處理模塊與幀頭信息處理模塊相連，轉發決策處理模塊與分類查找處理模塊相連，轉發決策處理模塊通過GMII與安全審查單元相連，轉發決策處理模塊通過XAUI與交換輸出單元相連；所述的安全審查單元由4個帶千兆電口接口的標準CPU處理模塊組成，安全審查單元將檢查結果反饋給主控單元，主控單元根據細粒度過濾結果為該數據包製定分流策略，並將制定好的數據分流策略下發給交換輸出單元執行具體的數據轉發操作；所述的交換輸出單元由千兆交換主控模塊、千兆電口接口模塊、千兆光口接口模塊組成，交換輸出單元共8個千兆電口和4個千兆光口，千兆交換主控模塊通過GMII接口分別與千兆電口接口模塊和千兆光口接口模塊相連。
2.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的10G光電信號轉換模塊，其兼容10G POS、10G LAN、WAN。
3.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的接入單元，對來自網絡中各種類型的數據流進行光電轉換、串/並轉換，幀處理，按照PPP/HDLC Over SONET/SDH協議規範從SONET/SDH將數據流還原為PPP數據包，然後通過高速SPI-4.2接口傳遞給主控單元處理。
4.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的主控單元，主要負責對接入單元接收並處理過的數據包進行粗過濾和數據分流策略的判定。
5.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的幀頭信息處理模塊，按照標準協議規範檢驗接入單元發送過來的數據包的完整性並處理基本的協議連接。
6.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的分類查找處理模塊，按照預先設置的過濾規則對數據包進行七層線速匹配，過濾項主要依據七層協議的頭信息進行過濾，屬於粗粒度過濾，主要的過濾項包括規則號、源MAC地址、目的MAC地址、源IP位址、源IP掩碼、目的IP位址、目的IP掩碼、源埠號、目的埠號、URL地址、相應過濾操作，其中「相應過濾操作」選項中包括細粒度處理、丟棄、轉發三種選擇，分類查找處理模塊根據規則匹配結果，過濾掉標籤為「丟棄」的非法數據包和異常數據包，將需要進一步細粒度處理的數據包和直接轉發數據包分別打上「細粒度處理」標籤和「轉發處理」標籤，發送到轉發決策處理模塊。
7.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的轉發決策處理模塊，將標籤為「細粒度處理」的數據包通過內置的千兆口轉發到安全審查單元，將標籤為「轉發處理」的數據包按通用負載均衡算法進行分發策略的計算，保證所有的數據在任意一條鏈路上保持其TCP完整連接，轉發決策處理模塊將計算得到的分發策略通過SPI-4.2接口發送到交換輸出單元。
8.根據權利要求1所述的基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，其特徵是，所述的4個標準CPU處理模塊，採用並行處理的工作模式，實現對數據包內容的細粒度檢查，細粒度檢查主要是針對應用的審查需要，根據應用層協議規範中的定義，通過設置要匹配內容的欄位偏移量、欄位長度、欄位內容以及過濾操作，利用關鍵字匹配的方法對數據包進行內容審查，安全審查單元基於會話的數據包內容審查，將從一個會話中的多個數據包提取出的信息進行拼接，再進行內容匹配，發現分散在多個數據包中的情況。
全文摘要
一種基於網絡處理器和CPU陣列的交換架構的安全過濾分流器，由接入單元、主控單元、安全審查單元、交換輸出單元組成，接入單元與主控單元互連，主控單元與交換輸出單元互連，安全審查單元與主控單元互連，其中，接入單元由10G光電信號轉換模塊，2.5G POS光電信號轉換模塊和成幀晶片組成，主控單元由網絡處理器單元和4路千兆物理接口組成，安全審查單元由4個帶千兆電口接口的標準CPU處理模塊組成；交換輸出單元由千兆交換主控模塊、千兆電口接口模塊、千兆光口接口模塊組成，安全審查單元將檢查結果反饋給主控單元，主控單元根據細粒度過濾結果為該數據包製定分流策略，並將制定好的數據分流策略下發給交換輸出單元執行具體的數據轉發操作。
文檔編號H04L12/24GK1610335SQ200410084539
公開日2005年4月27日 申請日期2004年11月25日 優先權日2004年11月25日
發明者張世永, 嚴明, 郭巍 申請人:上海復旦光華信息科技股份有限公司