一種乙太網數據匯聚方法
2024-02-13 15:40:15
一種乙太網數據匯聚方法
【專利摘要】本發明公開了一種用於網絡通信的乙太網數據匯聚方法，其將從N個輸入埠輸入的數據匯聚後，再從L個輸出埠輸出，包括下列步驟：A1：N個輸入埠分別接收數據；A2：N個輸入埠將其接收的數據一一對應地存儲到N個fifo緩存中；A3：仲裁選擇器從N個fifo緩存中讀取數據，並將這些數據寫入外部緩衝存儲器；A4：外部緩衝存儲器存儲仲裁選擇器寫入的數據；A5:L個輸出埠輸出外部緩衝存儲器中的數據；單個輸入埠的實際數據流量M與單個輸出埠的帶寬J2之間的關係必須滿足：J2×L-M×N≥M×N。其技術效果是：能夠在保證乙太網數據匯聚的同時，節省輸出埠的帶寬資源，並採用fifo緩存來降低乙太網數據匯聚的成本。
【專利說明】一種乙太網數據匯聚方法
【技術領域】
[0001]本發明涉及一種用於網絡通信領域的乙太網數據匯聚方法。
【背景技術】
[0002]隨著信息業務的發展，網絡數據採集和分析越來越受各個運營商的重視，同時也利於設備提供商掌握網絡數據模型，測試自己設備的漏洞，即bug。
[0003]現有的千兆乙太網匯聚方案有兩種，一種是間接匯聚，即通過在網絡上串接網絡TAP設備，將該TAP設備的多個copy埠分別連接伺服器的乙太網輸入埠，進行數據採集和匯聚。這些數據放在該伺服器硬碟上或者通過該伺服器上的萬兆乙太網輸出埠輸出。但這個方案的缺點是數據沒有直接匯聚輸出，數據的輸出需要中間TAP設備，同時伺服器上還必須配備多塊網卡,成本很高。
[0004]另一種方案是直接匯聚，即在網絡上串接帶有匯聚功能的網絡TAP設備，網絡TAP設備內部有一個萬兆的Switch晶片，直接將多個千兆輸入埠輸入的數據經過Switch晶片轉到萬兆輸出埠輸出，但該方案成本也很高。
[0005]此外，由於現階段在運營商的設備環境中很多設備之間雖然用的是千兆乙太網通信，但其流量只有百兆，造成了帶寬資源的浪費。
【發明內容】
[0006]本發明的目的是為了克服現有技術的不足，提供一種乙太網數據匯聚方法，其能夠在保證乙太網數據匯聚的同時，節省輸出埠的帶寬資源，降低乙太網數據匯聚的成本。
[0007]實現上述目的的一 種技術方案是:一種乙太網數據匯聚方法，其將從N個輸入埠輸入的數據匯聚後，再從L個輸出埠輸出，包括下列步驟:
[0008]Al:N個輸入埠分別接收數據；
[0009]A2:N個輸入埠將其接收的數據一一對應地存儲到N個fifo緩存中；
[0010]A3:仲裁選擇器從N個fifo緩存中讀取數據，並將這些數據寫入外部緩衝存儲器；
[0011]A4:外部緩衝存儲器存儲仲裁選擇器寫入的數據；
[0012]A5:L個輸出埠輸出外部緩衝存儲器中的數據；
[0013]單個輸入埠的實際數據流量M與單個輸出埠的帶寬J2之間關係必須滿足:
[0014]J2XL-MXN ≤ MXN。
[0015]進一步的，所述乙太網數據匯聚方法是通過一塊FPGA晶片或者一塊ASIC晶片實現的。
[0016]進一步的，所述輸入埠設置在輸入Mac控制器上，所述輸出埠設置在輸出Mac控制器上。
[0017]進一步的，所述A3步驟和所述A5步驟均是通過外部緩存讀寫控制單元進行的。
[0018]進一步的，單個fifo緩存的容量至少為3036位元組。[0019]進一步的，所述fifo緩存的寫入速率SI和所述fifo緩存的讀取速率S2之間的關係必須滿足:
[0020] NXSl SS2。
[0021]進一步的，A3步驟中仲裁選擇器讀取fifo緩存中數據的方法為:所述仲裁選擇器依次輪詢N個fifo緩存，若被輪循到的fifo緩存中有數據，所述仲裁選擇器讀取該fifo緩存中的數據以及該fifo緩存的埠號，反之所述仲裁選擇器輪詢下一個fifo緩存。
[0022]進一步的，所述外部緩衝存儲器的容量S必須滿足:
[0023]S ≥ NXM。
[0024]進一步的，所述外部緩衝存儲器的速率V必須滿足:
[0025]V ^ NXJ1+LXJ2 ；
[0026]其中Jl為單個輸入埠的帶寬。
[0027]進一步的，所述A3步驟和所述A5步驟是分步進行的。
[0028]採用了本發明的一種乙太網數據匯聚方法的技術方案，即通過N個fifo緩存暫存從N個輸入埠輸入的數據，再由仲裁選擇器將這些數據寫入外部緩衝存儲器，完成匯聚，再由L個輸出埠將外部緩衝存儲器中的數據輸出，所述輸入埠的實際數據流量M與所述輸出埠的帶寬J2之間的關係必須滿足J2 X L-MXN > MXN的技術方案。其技術效果是:能夠在保證乙太網數據匯聚的同時，節省輸出埠的帶寬資源，並採用fifo緩存來降低乙太網數據匯聚的成本。
【專利附圖】
【附圖說明】
[0029]圖1為本發明的一種乙太網數據匯聚方法的流程圖。
[0030]圖2為本發明的一種乙太網數據匯聚方法的第一實施例的模塊結構圖。
[0031]圖3為本發明的一種乙太網數據匯聚方法的第二實施例的模塊結構圖。
【具體實施方式】
[0032]請參閱圖1至圖3，本發明的發明人為了能更好地對本發明的技術方案進行理解，下面通過具體地實施例，並結合附圖進行詳細地說明:
[0033]第一實施例:
[0034]請參閱圖1和圖2，本發明的一種乙太網數據匯聚方法的第一實施例，是將從四個輸入埠 10輸入的數據匯聚後，再將數據從一個輸出埠 20輸出。該實施例是在一塊FPGA晶片上實現的。該FPGA晶片包括四個輸入Mac控制器1、四個fifo緩存3、一個仲裁選擇器4、一個外部緩存讀寫控制單元5和一個輸出Mac控制器2。四個輸入Mac控制器I分別連接一個fifo緩存3，四個fifo緩存3同時連接所述仲裁選擇器4，所述仲裁選擇器4連接所述外部緩存讀寫控制單元5。所述外部緩存讀寫控制單元5連接所述輸出Mac控制器2，所述外部緩存讀寫控制單元5還外接外部緩衝存儲器6。
[0035]每個所述輸入Mac控制器I上都設有一個輸入埠 10，輸入埠 10的帶寬為1000Mbit，輸入埠 10的實際數據流量M為100Mbit。所述輸入埠 10的實際數據流量就是所述輸入埠 10每秒的實際數據流量。所述輸出Mac控制器2上設有一個輸出埠20。所述輸出埠 20的帶寬也為1000Mbit。由於每個輸入Mac控制器I上都設有一個輸入埠 10，因此每個輸入埠 10都被其所在的輸入Mac控制器I分配了唯一的Mac地址。與之對應，每個輸入Mac控制器I所連接的fifo緩存3也都有唯一的埠號。相應的，輸出埠 20被輸出Mac控制器2分配了唯一的Mac地址。
[0036]本實施例中，所述乙太網數據匯聚方法是通過下列步驟進行的。
[0037]Al:四個輸入埠 10分別接收數據。
[0038]A2:四個輸入埠 10分別將其接收的數據，通過其所在的Mac控制器1，寫入與該輸入Mac控制器I連接的fifo緩存3，所述fifo緩存3用來暫存從所述輸入埠 10輸入的數據。
[0039]由於fifo緩存3是先入先出存儲器，fifo緩存3在本實施例中的容量取決於乙太網幀長度的最大值(1518位元組)。因為所述fifo緩存3要能同時完成讀取和寫入的操作，因此單個fifo緩存3的容量需要達到2倍的乙太網幀長度，即1518X2 = 3036位元組。這樣可以保證對於fifo緩存3的讀取和寫入的操作互不幹擾。本實施例中，所述fifo緩存3的容量為4096位元組，大於3036位元組。
[0040]所述fifo緩存3的寫入速率SI和所述fifo緩存3的讀取速率S2之間的關係必須滿足:
[0041]NXSl SS2。
[0042]其中fifo緩存3的寫入速率SI是指從所述輸入埠 10輸入的數據寫入單個fifo緩存3的速率。
[0043]A3:仲裁選擇器4讀取這四個fifo緩存3中的數據，並將這些數據寫入外部緩衝存儲器6。
[0044]所述仲裁選擇器4從所述fifo緩存3中讀取數據，並將這些數據寫入外部緩衝存儲器6。因此fifo緩存3的讀取速率S2是指所述仲裁選擇器4從單個fifo緩存3中讀取數據的速率。
[0045]本實施例中，fifo緩存3的寫入速率SI為1000Mbps，而讀取速率S2為83MHz X 64=5312Mbps，其中83Hz為讀取時鐘的頻率，64為總線位寬。因此fifo緩存3讀取速率S2大於4000Mbps，滿足要求。
[0046]本實施例中，所述仲裁選擇器4從四個所述fifo緩存3讀取數據的方法是目前最為常用的輪詢法。即所述仲裁選擇器4依次輪詢四個fifo緩存3，若被輪循到的fifo緩存3中有數據，則所述仲裁選擇器4讀取該fifo緩存3中的數據以及該fifo緩存3的埠號，反之所述仲裁選擇器4輪詢下一個fifo緩存3。
[0047]所述外部緩衝存儲器6的容量要求SNXM, N為輸入埠 10的個數，M為輸入埠 10的實際數據流量。本實施例中N = 4。
[0048]所述外部緩衝存儲器6的速率V要求必須滿足VNXJ1+L X J2，其中外部緩衝存儲器6的速率包括外部緩衝存儲器6的寫入速率和讀取速率。其中，N = 4，L=l。Jl為輸入埠 10的帶寬，J2為輸出埠 20的帶寬，可求得本實施例中所述外部緩衝存儲器6的速率至少為5000Mbps。
[0049]本實施例中，所述外部緩衝存儲器6選擇的是容量為512Mbit的DDR2內存，其容量大於400Mbit，滿足要求。當前的DDR2晶片的速率為5328Mbps，大於5000Mbps。也滿足要求。[0050]A4:外部緩衝存儲器6存儲所述仲裁選擇器4寫入的數據。
[0051]A5:輸出埠 20輸出外部緩衝存儲器6中的數據。
[0052]A3步驟中，仲裁選擇器4讀取的數據，以及數據上附加的fifo緩存3的埠號被發送到外部緩存讀寫控制單元5，然後這些數據以及這些數據上附加的fifo緩存3的埠號通過外部緩存讀寫控制單元5所發出的相應讀寫指令，寫入所述外部緩衝存儲器6。當所述仲裁選擇器4不執行A3步驟的時候，所述外部緩存讀寫控制單元5就自動執行A5步驟，讀取所述外部緩衝存儲器6中的數據，並將這些數據發給輸出Mac控制器2，然後這些數據從所述輸出埠 20輸出。
[0053]最後說明本實施例中採用輸入埠 10數量和輸出埠 20數量之間的關係:一個輸入埠 10每秒最大流量是1000Mbit,故每Ims最大流量是IMbit,由此可計算IOOms最大流量是100Mbit，200ms最大流量是200Mbit。300ms最大流量是300Mbit，400ms最大流量是400Mbit。所以要想把從不同輸入埠 10輸入的數據進行匯聚，必須先緩存這些數據，同時還必須在相應的時間內輸出這些數據。
[0054]以本實施例為例，四個輸入埠 10每秒分別傳輸IOOMbit流量，匯聚到輸出埠
20。由計算可知在IOOms內，四個輸入埠 10能輸入400Mbit流量，而每個輸入埠 10的實際數據流量是100Mbit，故在IOOms時，所有數據已輸入完畢，那麼剩下900ms，四個輸入埠 10將處於空閒狀態，所以只需在剩下的900ms內將四個所述fifo緩存3內的數據匯聚到輸出埠 20並輸出即可。由於輸出埠 20每IOOms能傳輸100Mbit，計算可知400Mbit的數據，只需400ms即可輸出，而現在有900ms時間進行輸出，故從四個輸入埠 10輸入的數據能夠輕鬆匯聚到一個輸出埠 20並輸出。表I列出在輸入埠 10和輸出埠 20的帶寬皆為IOOOMbit情況下，N個輸入埠 20輸入的數據匯聚到一個輸出埠 20的可行性。
[0055]當兩個輸入埠 10分別輸入400Mbit流量，匯聚到一個輸出埠 20時，由計算可知，400ms時，每個輸入埠 10可輸入400Mbit數據，一共是800Mbit數據。但是輸入800Mbit數據花費了 400ms，所述輸入埠 10隻剩下600ms空閒時間，讓輸出埠 20將800Mbit數據匯聚並輸出，而在600ms內輸出埠 20最多只能輸出600Mbit的數據，不可能完成800Mbit數據的輸出，故是不可行的。
[0056]本實施例中，四個輸入Mac控制器I和一個輸出Mac控制器2還通過數據線依次串接，其作用是便於對所述輸入Mac控制器I和所述輸出Mac控制器2的參數進行設置。
[0057]當然，本實施例，還可以在ASIC晶片上實現。採用ASIC晶片，小批量成本要比採用FPGA晶片貴很多。但當出貨量達到10萬片以上，採用ASIC晶片成本反而小於採用FPGA晶片的成本。
[0058]表IN個輸入埠的數據匯聚到一個輸出埠的可行性列表[0059]
【權利要求】
1.一種乙太網數據匯聚方法，其將從N個輸入埠( 10)輸入的數據匯聚後，再從L個輸出埠(20)輸出，其特徵在於包括下列步驟: Al:N個輸入埠(10)分別接收數據； A2:N個輸入埠(10)將其接收的數據一一對應地存儲到N個fifo緩存(3)中； A3:仲裁選擇器(4)從N個fifo緩存(3)中讀取數據，並將這些數據寫入外部緩衝存儲器(6); A4:外部緩衝存儲器(6)存儲仲裁選擇器(4)寫入的數據； A5:L個輸出埠(20)輸出外部緩衝存儲器(6)中的數據； 單個輸入埠(10)的實際數據流量M與單個輸出埠(20)的帶寬J2之間的關係必須滿足: J2XL-MXN ≤ MXN。
2.根據權利要求1所述的一種乙太網數據匯聚方法，其特徵在於:所述乙太網數據匯聚方法是通過一塊FPGA晶片(100)或者一塊ASIC晶片實現的。
3.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:所述輸入埠(10)設置在輸入Mac控制器(I)上，所述輸出埠(20)設置在輸出Mac控制器(2)上。
4.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:所述A3步驟和所述A5步驟均是通過外部緩存讀寫 控制單元(5)進行的。
5.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:單個fifo緩存(3)的容量至少為3036位元組。
6.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:所述fifo緩存(3)的寫入速率SI和所述fifo緩存(3)的讀取速率S2之間的關係必須滿足: NXSl ( S2。
7.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:A3步驟中仲裁選擇器(4)讀取fifo緩存(3)中數據的方法為，所述仲裁選擇器(4)依次輪詢N個fifo緩存(3)，若被輪循到的fifo緩存(3)中有數據，所述仲裁選擇器(4)讀取該fifo緩存(3)中的數據以及該f ifo緩存(3 )的埠號，反之所述仲裁選擇器(4 )輪詢下一個f ifo緩存(3 )。
8.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:所述外部緩衝存儲器(6)的容量S必須滿足: S ≥ NXM。
9.根據權利要求1或2所述的一種乙太網數據匯聚方法，其特徵在於:所述外部緩衝存儲器(6)的速率V必須滿足: V ≥ NXJ1+LXJ2 ； 其中Jl為單個輸入埠(10)的帶寬。
10.根據權利要求1所述的一種乙太網數據匯聚方法，其特徵在於:所述A3步驟和所述A5步驟是分步進行的。
【文檔編號】H04L12/861GK103581050SQ201210254707
【公開日】2014年2月12日 申請日期:2012年7月23日 優先權日:2012年7月23日
【發明者】胡正東, 陳鵬 申請人:上海粱江通信系統股份有限公司