一種多埠流量採集自動切換的分流系統與方法
2023-06-09 17:02:01
一種多埠流量採集自動切換的分流系統與方法
【專利摘要】本發明公開了一種多埠流量採集自動切換的分流系統和分流方法，系統包括一個流量採集分流設備(10)和至少兩個流量處理伺服器(21～2n)，流量採集分流設備(10)與位於網絡內的網絡數據交換機(R)連接，用於獲取網絡數據交換機(R)的總的數據流後分流至流量處理伺服器(21～2n)中的至少一個；每個流量處理伺服器(21～2n)用於接收流量採集分流設備(10)分流的數據流，以及控制各流量處理伺服器(21～2n)的狀態，定期將處於「需求態」且分流完畢的流量處理伺服器的狀態設置為「採集態」。本發明實現了在流量閒時對流量處理伺服器進行復用，防止流量處理伺服器的計算資源的浪費。
【專利說明】一種多埠流量採集自動切換的分流系統與方法
【技術領域】
[0001]本發明涉及通信網絡【技術領域】，尤其涉及一種多埠流量採集自動切換的分流系統及方法。
【背景技術】
[0002]近年來，隨著網絡技術的普及和發展，網絡帶寬和流量呈指數級的速度增長，根據CNNIC發布的《第27次中國網際網路發展狀況統計報告》，中國國際出口帶寬2010年底達到1，098，956.82Mbps，年增長率為26.8%。面對日益增長的龐大網絡流量，安全系統中需要處理的數據量也越來越大，流量的實時處理要求更高的性能。
[0003]通常網絡內容安全檢測和分析系統監控模式可以分為串聯監控模式和旁路監控模式。旁路監控模式一般是指通過網絡交換機等網絡設備的「埠鏡像」功能來實現監控，在此模式下，監控設備只需要連接到交換機的指定鏡像埠 ；而串聯監控模式一般是通過網關或者網橋的模式來進行監控，監控設備串聯在網絡中。相對於串聯監控模式，旁路監控模式部署起來比較靈活方便，不會影響現有的網絡結構，同時旁路監控模式分析的是鏡像埠拷貝過來的數據，對原始傳遞的數據包不會造成延時，不會對網速造成任何影響，另外旁路監控設備一旦故障或者停止運行，不會影響現有網絡的正常運行。
[0004]但是在旁路監控模式下，單個流量處理伺服器處理的網絡流量大致範圍在IG左右，無法滿足對骨幹網的海量的埠鏡像數據的處理需求。為了使網絡內容安全檢測和分析系統能夠處理骨幹網的海量數據，一方面需設計更好的算法提高系統性能，另一方面需將海量數據分流成若干份，交由不同的處理機處理。
[0005]目前，基於純鏈路層的交換機可以接收包含多個目的MAC地址的混合數據流，但是無法分流。而基於網絡層的設備可以接收混合數據流並且分流，但是只能處理混合數據流中的一路數據流，不適用於多路埠鏡像混合數據流。因而，為了及時對網絡內各節點單位的流量進行流量的檢測和分析，需要採用基於多埠混合流量分流並區分流量的方式。
[0006]但傳統的分流方法要麼是基於協議，要麼基於地址哈希，以及修改目的埠地址來實現負擔均衡等，這都需要多埠專門為接受流量所用，導致流量處理伺服器的計算資源的浪費。
【發明內容】
[0007]有鑑於此，本發明提出了一種多埠流量採集自動切換的分流系統與分流方法，以解決當前的分流系統效率不高，造成各流量處理伺服器計算資源浪費的問題。
[0008]為此，本發明提出一種多埠流量採集自動切換的分流系統，包括一個流量採集分流設備和至少兩個流量處理伺服器，其中，所述流量採集分流設備與位於網絡內的網絡數據交換機連接，用於獲取網絡數據交換機的總的數據流後分流至所述流量處理伺服器中的至少一個；每個所述流量處理伺服器用於接收所述流量採集分流設備分流的數據流；所述流量採集分流設備還用於控制各流量處理伺服器的狀態，所述狀態包括「採集態」和「需求態」，「採集態」表示流量處理伺服器可以接受任何數據流，「需求態」表示流量處理伺服器能夠且只能夠接受符合當前分流規則的數據流。
[0009]根據本發明的【具體實施方式】，所述流量採集分流設備定期將處於「需求態」且分流完畢的流量處理伺服器的狀態設置為「採集態」。
[0010]根據本發明的【具體實施方式】，在初始化時，所述流量採集分流設備向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「米集態」。
[0011]根據本發明的【具體實施方式】，所述流量採集分流設備根據預定的流量匹配策略，在所有處於「採集態」的流量處理伺服器範圍內設定用於分流所述總的數據流的分流規則，並將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」。
[0012]根據本發明的【具體實施方式】，所述流量採集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理伺服器並持續一段時間，然後判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長，所述「到期」是指流量處理伺服器處於「需求態」的時長超過所述期限時長。
[0013]根據本發明的【具體實施方式】，所述流量採集分設設備包括流量匹配模塊、流量轉發模塊和狀態控制模塊，所述流量匹配模塊用於從所述網絡數據交換器接收需要分流的總的數據流，並對接收到總的數據流進行分析以進行流量匹配計算，從而獲得分流規則；所述流量轉發模塊用於按照所述分流規則對所述總的數據流進行分流後轉發到相應的流量處理伺服器；所述狀態控制模塊用於控制所述流量處理伺服器的所述狀態。
[0014]根據本發明的【具體實施方式】，在初始化時，所述狀態控制模塊向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」。
[0015]根據本發明的【具體實施方式】，當所述流量匹配模塊完成流量匹配計算並獲得分流規則之後，所述狀態控制模塊將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」。
[0016]根據本發明的【具體實施方式】，當所述流量轉發模塊將所述總的數據流分流到相應的流量處理伺服器並持續一段時間後，所述狀態控制模塊判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長，所述「到期」是指流量處理伺服器處於「需求態」的時長超過所述期限時長。
[0017]本發明還提出一種多埠流量採集自動切換的分流方法，用於多埠流量採集自動切換的分流系統中，所述系統包括一個流量採集分流設備和至少兩個流量處理伺服器，所述方法包括如下步驟:
[0018]S1、流量採集分流設備獲取網絡數據交換器的總的數據流；
[0019]S2、流量採集分流設備向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」，所述「採集態」表示流量處理伺服器可以接受任何數據流；
[0020]S3、流量採集分流設備根據預定的流量匹配策略，在所有處於「採集態」的流量處理伺服器範圍內設定用於分流所述總的數據流的分流規則；
[0021]S4、流量採集分流設備將根據所述分流規則，將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」，所述「需求態」表示流量處理伺服器能夠且只能夠接受符合當前分流規則的數據流；
[0022]S5、流量採集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理伺服器並持續一段時間；
[0023]S6、流量採集分流設備判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長，所述「到期」是指流量處理伺服器處於「需求態」的時長超過所述期限時長；
[0024]S7、重複執行步驟S3?S6，直到完成所述總的數據流的分流，返回步驟SI。
[0025]本發明根據流量在不同時間段的大小差別，實現了在流量閒時對流量處理伺服器進行復用，防止了流量處理伺服器的計算資源的浪費。
【專利附圖】
【附圖說明】
[0026]圖1是本發明的多埠流量採集自動切換的分流系統的模塊架構圖；
[0027]圖2是本發明的多埠流量採集自動切換的分流系統的操作流程圖；
[0028]圖3是本發明的流量採集分流設備的模塊架構圖。
【具體實施方式】
[0029]為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明作進一步的詳細說明。
[0030]本發明通過引入流量處理伺服器的狀態切換機制，使得流量處理伺服器在數據採集態與需求態之間實現自動切換。在採集態，流量處理伺服器可以接受任何數據流；在需求態，流量處理伺服器只能接受符合流量匹配結果的流據流。
[0031 ]圖1是本發明的多埠流量採集自動切換的分流系統的模塊架構圖。如圖1所示，該分流系統包括一個流量採集分流設備10和至少兩個流量處理伺服器。在圖1中示出了具有η個流量處理伺服器21、22、…、2η的情況。
[0032]流量採集分流設備10與位於網絡內的網絡數據交換機R連接，用於獲取網絡數據交換機R的總的數據流後分流至所述流量處理伺服器21?2η中的至少一個。優選地，所述總的數據流是實際數據流的鏡像數據流，所述流量採集分設備10從網絡數據交換機R的鏡像埠獲取鏡像數據流。通常，從鏡像埠獲取的鏡像數據流是網絡數據交換機R的實際處理的多埠數據流，即鏡像埠是多對一的鏡像輸出埠。這種情況下，流量採集設備10並聯於所述網絡中，不會對網絡的速度造成影響。但是，本發明並不排除應用於其他接入方式獲得的網絡節點的總的數據流。
[0033]所述流量處理伺服器21?2η是能夠對數據流進行分析、監控、存儲等處理的計算設備。每個流量處理伺服器21?2η均連接於流量採集分流設備10的輸出埠，用於接收流量採集分流設備10進行分流後輸出的數據流。
[0034]根據本發明，所述流量採集分流設備10還用於控制各流量處理伺服器21?2η的狀態，所述狀態包括「採集態」和「需求態」。「採集態」表示流量處理伺服器可以接受任何數據流。「需求態」表示流量處理伺服器能夠且只能夠接受符合當前分流規則的數據流。
[0035]為了提高流量採集分流設備的效率，流量採集分流設備定期將處於「需求態」且分流完畢的流量處理伺服器的狀態設置為「採集態」。具體來說:
[0036]在初始化時，流量採集分流設備10向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」。
[0037]在運行時，流量採集分流設備10根據預定的流量匹配策略，在所有處於「採集態」的流量處理伺服器範圍內設定用於分流所述總的數據流的分流規則，並將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」。
[0038]另一方面，流量採集分流設備10還根據當前的分流規則將所述總的數據流分流到相應的流量處理伺服器並持續一段時間，然後判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長。所述「到期」是指流量處理伺服器處於「需求態」的時長超過期限時長。
[0039]在具體實施時，流量處理伺服器21?2η可通過網絡適配器(網卡)與流量採集分流設備10進行連接。這樣，網絡適配器的地址即可視為流量處理伺服器21?2η的地址。但是，本發明並不限於具體的連接方式，現有的其他各種連接方式均可應用於本發明中。
[0040]下面參照圖2來說明本發明的分流系統的具體操作方法的流程。如圖2所示，分流方法包括依次執行的如下步驟:
[0041]S1、流量採集分流設備獲取網絡數據交換器的總的數據流。
[0042]該總的數據流可以是鏡像數據流，但不限於此。獲取總的數據流的方法是現有技術，因此在此不再詳述。
[0043]S2、流量採集分流設備向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」。
[0044]如前所述，「採集態」表示流量處理伺服器可以接受任何數據流。
[0045]S3、流量採集分流設備根據預定的流量匹配策略，在所有處於「採集態」的流量處理伺服器範圍內設定用於分流所述總的數據流的分流規則。
[0046]所述流量匹配策略是指待分流的數據流與在流量處理伺服器之間進行分配的規則。
[0047]通常可通過分析所述總的數據流中包含的地址信息來分流各數據流。具體來說，網絡數據交換設備R處理大量的數據流，每個數據流均包含源地址和目的地址信息，一個數據流中的源地址和目的地址相同，並構成一個地址對。該地址可以是IP位址，也可以是MAC地址。
[0048]本發明可以採用現有的各中流量匹配策略，例如，除了有IP位址及MAC地址匹配，還有流匹配，即四元組(源ΙΡ，目的ΙΡ，源埠，目的埠 )都匹配，還有協議類型匹配等，以及申請公布號是CNl02916896Α的中國發明專利申請中採用的流量匹配策略。
[0049]分流規則指定了各流量處理伺服器是否分流數據流以及分流哪些數據流。
[0050]S4、流量採集分流設備將根據所述分流規則，將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」。
[0051]「需求態」表示流量處理伺服器能夠且只能夠接受符合當前分流規則的數據流。
[0052]S5、流量採集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理伺服器並持續一段時間。
[0053]S6、流量採集分流設備判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長。
[0054]如前所述，所述「到期」是指流量處理伺服器處於「需求態」的時長超過一個期限時長。可見，本發明為每個流量處理伺服器設計了一個老化回收機制。流量採集分流設備定時檢查流量處理伺服器的分流狀態，若其已完成當前的分流，則可對其重新分配。
[0055]S7、重複執行步驟S3?S6，直到完成所述總的數據流的分流，返回步驟SI。
[0056]圖3是本發明的流量採集分流設備的模塊架構圖。
[0057]如圖3所示，流量採集分設設備10包括流量匹配模塊11、流量轉發模塊12和狀態控制模塊13。
[0058]流量匹配模塊11用於從網絡數據交換器R接收需要分流的總的數據流，如前所述，其可以是鏡像數據。流量匹配模塊11在接收到總的數據流時，對其進行分析以進行流量匹配計算，從而獲得分流規則。根據本發明，在流量匹配時，流量匹配模塊11需要從狀態控制模塊13獲得各流量處理伺服器的狀態，並且只在狀態為「採集態」的流量處理伺服器範圍內進行流量匹配計算。
[0059]流量轉發模塊12按照流量匹配模塊11計算的分流規則對總的數據流進行分流後轉發到相應的流量處理伺服器。圖3中僅顯示了一個流量處理伺服器21，但其只是代表性的，實際上，流量轉發模塊12連接到所有可連接的流量處理伺服器。
[0060]狀態控制模塊13也與所有流量處理伺服器連接，以控制各流量處理伺服器21?2n的當前狀態。具體來說，如前所述，在初始化時，狀態控制模塊13向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」。在運行時，一方面，當流量匹配模塊11完成流量匹配計算並獲得分流規則之後，該狀態控制模塊13將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」。另一方面，當流量轉發模塊12將總的數據流分流到相應的流量處理伺服器並持續一段時間後，狀態控制模塊13判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長。
[0061]以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，應理解的是，以上所述僅為本發明的具體實施例而已，並不用於限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
【權利要求】
1.一種多埠流量採集自動切換的分流系統，包括一個流量採集分流設備(10)和至少兩個流量處理伺服器(21?2η)，其中， 所述流量採集分流設備(10)與位於網絡內的網絡數據交換機(R)連接，用於獲取網絡數據交換機(R)的總的數據流後分流至所述流量處理伺服器(21?2η)中的至少一個； 每個所述流量處理伺服器(21?2η)用於接收所述流量採集分流設備(10)分流的數據流；其特徵在於: 所述流量採集分流設備(10)還用於控制各流量處理伺服器(21?2η)的狀態，所述狀態包括「採集態」和「需求態」，「採集態」表示流量處理伺服器可以接受任何數據流，「需求態」表示流量處理伺服器能夠且只能夠接受符合當前分流規則的數據流。
2.如權利要求1所述的多埠流量採集自動切換的分流系統，其特徵在於，所述流量採集分流設備(10)定期將處於「需求態」且分流完畢的流量處理伺服器的狀態設置為「採集態」。
3.如權利要求1所述的多埠流量採集自動切換的分流系統，其特徵在於，在初始化時，所述流量採集分流設備(10)向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」。
4.如權利要求1所述的多埠流量採集自動切換的分流系統，其特徵在於，所述流量採集分流設備(10)根據預定的流量匹配策略，在所有處於「採集態」的流量處理伺服器範圍內設定用於分流所述總的數據流的分流規則，並將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」。
5.如權利要求1-4中任一項所述的多埠流量採集自動切換的分流系統，其特徵在於，所述流量採集分流設備(10)根據當前的分流規則將所述總的數據流分流到相應的流量處理伺服器並持續一段時間，然後判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長，所述「到期」是指流量處理伺服器處於「需求態」的時長超過所述期限時長。
6.如權利要求1所述的多埠流量採集自動切換的分流系統，其特徵在於，所述流量採集分設設備(10)包括流量匹配模塊(11)、流量轉發模塊(12)和狀態控制模塊(13)， 所述流量匹配模塊(11)用於從所述網絡數據交換器(R)接收需要分流的總的數據流，並對接收到總的數據流進行分析以進行流量匹配計算，從而獲得分流規則； 所述流量轉發模塊(12)用於按照所述分流規則對所述總的數據流進行分流後轉發到相應的流量處理伺服器(21?2η)； 所述狀態控制模塊(13)用於控制所述流量處理伺服器(21?2η)的所述狀態。
7.如權利要求6所述的多埠流量採集自動切換的分流系統，其特徵在於，在初始化時，所述狀態控制模塊(13)向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」。
8.如權利要求7所述的多埠流量採集自動切換的分流系統，其特徵在於，當所述流量匹配模塊(11)完成流量匹配計算並獲得分流規則之後，所述狀態控制模塊(13)將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「米集態」。
9.如權利要求8所述的多埠流量採集自動切換的分流系統，其特徵在於，當所述流量轉發模塊(12)將所述總的數據流分流到相應的流量處理伺服器並持續一段時間後，所述狀態控制模塊(13)判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長，所述「到期」是指流量處理伺服器處於「需求態」的時長超過所述期限時長。
10.一種多埠流量採集自動切換的分流方法，用於多埠流量採集自動切換的分流系統中，所述系統包括一個流量採集分流設備(10)和至少兩個流量處理伺服器(21?2η)，其特徵在於，所述方法包括如下步驟: s1、流量採集分流設備獲取網絡數據交換器的總的數據流； s2、流量採集分流設備向各流量處理伺服器發出分流請求，如果收到回應，則將發出所述回應的流量處理伺服器的狀態設置為「採集態」，所述「採集態」表示流量處理伺服器可以接受任何數據流； s3、流量採集分流設備根據預定的流量匹配策略，在所有處於「採集態」的流量處理伺服器範圍內設定用於分流所述總的數據流的分流規則； s4、流量採集分流設備將根據所述分流規則，將分配了數據流的流量處理伺服器的狀態設置為「需求態」，未分配數據流的流量處理伺服器保持為「採集態」，所述「需求態」表示流量處理伺服器能夠且只能夠接受符合當前分流規則的數據流； s5、流量採集分流設備根據當前的分流規則將所述總的數據流分流到相應的流量處理伺服器並持續一段時間； s6、流量採集分流設備判斷處於「需求態」的流量處理伺服器是否已到期，對於已到期的流量處理伺服器，繼續判斷其是否分流完畢，如果已分流完畢，則將其狀態設置為「採集態」，否則將其「需求態」的期限時長延長一個指定時長，所述「到期」是指流量處理伺服器處於「需求態」的時長超過所述期限時長； s7、重複執行步驟S3?S6，直到完成所述總的數據流的分流，返回步驟SI。
【文檔編號】H04L12/801GK104270319SQ201410476534
【公開日】2015年1月7日 申請日期:2014年9月18日 優先權日:2014年9月18日
【發明者】黃友俊, 李星, 吳建平, 郝健, 王飛 申請人:賽爾網絡有限公司