一種路由器設備的製作方法
2023-10-17 18:30:14 1
專利名稱：一種路由器設備的製作方法
技術領域：
本發明涉及數據通信技術領域，尤其涉及一種路由器設備。
背景技術：
近年來，多核處理器成為計算機和信息通信領域中一種主流的處理器技術，已經應用得非常普及，同時技術本身也在飛速發展之中。目前多核處理器具有下列特點:(I)處理能力很強，單核處理能力很強，主頻達到2GHz ；(2)集成CPU核越來越多，CPU核個數在2 100之間，乃至更多；(2)伸縮特性很好，主頻和核個數可以根據性能需求自由選擇；(3)高速的I/O接口，以太和PCIE等高速接口成為標準配置；
(4)集成網絡加速和安全加速處理能力；(5)價格下降很快，目前一個2/4核的多核處理器價格和2-3年前的單核處理器價格相當，但處理能力卻2 3倍地增長。正因為多核處理器具有這些技術優勢，數據通信領域現在普遍使用多核處理器來實現路由器和各種安全設備，特別是高性能的多核分布式路由器和安全設備。長期以來，業界在實現基於分布式轉發的高端路由器設備時，絕大多數採用分布式數據轉發以及分布式協議控制的系統架構。圖1是現有業界典型的多核分布式路由器設備的硬體系統結構示意圖。參見圖1，該分布式路由器設備中包括兩個互為備份的主控卡(MPU)、兩個或多個互為備份的交換卡(SFU)、以及至少一個接口線卡(LPU)，其中所述兩個MPU中一個為主用一個為備用，所述兩個或多個SFU相互冗餘備份和流量均衡。所述MPU中包括控制處理器和以太交換晶片，所述SFU中包括控制處理器和交換網絡晶片(Fabric)，所述LPU包括多核處理器、接口 ASIC以及三態內容尋址存儲器(TCAM)和靜止存取存儲器
(SRAM)。路由器設備中的其他部分如機箱管理部分在本圖1中省略。圖1中的「--------」
為控制總線，「——」為數據總線，「............」為高有效性(HA)通道。所述主用MPU和備用
MPU中的控制處理器通過HA通道連接，用於完成主備切換；所述MPU的以太交換晶片通過控制總線與SFU的控制處理器以及LPU的多核處理器連接；所述SFU中的交換網絡晶片通過數據總線與LPU中的多核處理器連接。在圖1的這種完全分布式架構的路由器設備中，數據平面通過內部高速數據總線連接LPU和SFU實現分布式數據交換；同時，控制平面通過內部以太控制總線連接MPU和LPU、SFU上的處理器組成一個分布式控制系統；為了節約成本，業界通常在LPU上採用一個多核處理器系統，通常分配一個核來實現協議控制功能，其它核來實現數據轉發功能。從軟體使用環境來看，當前業界多在MPU、SFUJP LPU上採用實時作業系統(RTOS)作為基礎軟體平臺來實現分布式軟體設計。從表面來看，這種結構是似乎合理，但事實上，這種多核路由器架構都會導致一個嚴重的性能問題，嚴重的情況下，實際數據轉發性能達不到處理器處理能力指標的30%。這個問題的根本原因是在LPU上的多核處理器的應用上。在這種架構中，LPU上多核處理器中的控制平面轉發控制和數據平面數據轉發兩大功能上相互競爭，相互影響，最終導致嚴重的性能問題。當前大多數面向網絡應用的多核處理器多採用共享內存架構實現，高速緩存(Cache)是所有處理器中寶貴的資源，所有處理器的內部Cache是有限的，層二 /層三(L2/L3) Cache共享是所有多核處理器實現的技術選擇，Cache的競爭和衝突都導致性能的下降，控制平面轉發控制和數據平面數據轉發的競爭和衝突主要表現在Cache的競爭。而在路由器應用中，數據平面轉發性能是系統的關鍵指標，從系統的角度來看，要想達到良好的路由轉發性能，首先要從物理上隔離控制平面的轉發控制和數據平面的數據轉發的相互影響，這需要通過新的硬體架構來實現。另外，軟體架構也是影響處理器Cache性能的一個重要原因，其中Linux或實時作業系統(RTOS)對系統性能的影響也是很大的，事實上，同樣是Cache共享的原因，導致在多核中一個核上運行Linux或RTOS都會對其它核的轉發性能產生較大的影響，所以把路由器控制平面轉發控制的功能從硬體和軟體上都和數據平面數據轉發分離出來，才可能得到一個高性能的數據轉發性能。當然在軟體架構時，也要充分考慮軟體的並行性設計，才能充分利用提高多核處理器的並發處理能力。圖2是現有技術中的一種實現了控制平面轉發控制和數據平面數據轉發分離的路由器設備的結構示意圖。在圖2所示的結構中，其中LPU引入了一個獨立的控制平面處理器系統即控制處理器，它和負責數據轉發的多核處理器完全從物理上分離。從硬體的角度看，由於引入了一個額外的控制處理器，增加了 LPU的成本，而且也增加了硬體設計的複雜性，和圖1所示的系統相比，存在著性能優勢，但成本方面存在一定的不足，特別是和圖1所示的設備競爭時，成本要高20-30%，因此，對這種架構優化成本是十分必要的。從軟體的角度來看，圖2所述的結構和圖1所示的結構都存在一個共同的問題:SP都需要相應的控制軟體分布式架構來實現，這就導致了在此路由器設備上所需運行軟體的實現複雜度過高的問題以及效率低下的問題，具體如下:(a)這種硬體架構上所需要的分布式控制軟體的實現複雜度增大，無論是二層轉發表項還是三層轉發表項的同步、控制報文的收發、控制協議的分布式處理，還是分布式的錯誤處理，都讓軟體設計的複雜程度明顯增大；(b)由於LPU和SFU控制處理器的存在，導致整個系統啟動時間大大增加，也導致軟體系統升級更新時所用的時間大大增加，相應地，這也導致這種系統的故障恢復時間也大大增加，導致處理效率低下，實質上是降低了整個系統的可靠性指標。
發明內容
有鑑於此，本發明的主要目的在於提供一種路由器設備，即可以提高路由轉發性能和處理效率，又可以降低此路由器設備上軟體的複雜度。本發明的技術方案是這樣實現的:一種路由器設備，包括主控卡、交換卡和線卡，所述主控卡包括控制處理器和PCIE交換晶片；所述交換卡包括PCIE交換晶片和交換網絡晶片；所述線卡包括PCIE交換晶片和多核處理器；在所述主控卡中，所述PCIE交換晶片通過上行PCIE接口與所述控制處理器連接，通過下行PCIE接口和控制總線與所述線卡和所述交換卡的PCIE交換晶片的上行PCIE接口連接；所述交換卡PCIE交換晶片的PCIE下行接口與本板卡的交換網絡晶片連接，所述交換網絡晶片通過數據總線與所述線卡上的多核處理器連接；所述線卡PCIE交換晶片的PCIE下行接口與本板卡的多核處理器連接，所述多核處理器通過數據總線與所述交換卡上的交換網絡晶片連接。優選的，所述主控卡為兩個，其中一個為主用主控卡，另一個為備用主控卡；所述每個主控卡的PCIE交換晶片至少有兩個支持雙根或多根的上行PCIE接口，其中一個上行PCIE接口連接本主控卡的控制處理器，另一個上行PCIE接口連接另一主控卡的控制處理器；所述交換卡為至少兩個，所述每個交換卡的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用主控卡PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用主控卡PCIE交換晶片的下行PCIE接口 ；所述線卡的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用主控卡PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用主控卡PCIE交換晶片的下行PCIE接口。優選的，所述主控卡的控制處理器中包括高有效性HA引擎，用於執行所述主用主控卡和備用主控卡之間的HA同步、故障檢測和故障恢復處理。優選的，所述線卡的多核處理器中的各處理器核的運行環境為裸核或輕量級執行環境；且所述線卡中進一步包括:包分發調度器，用於分發來自主控卡的控制包或數據包到多核處理器的特定硬體裝置或特定的一個或多個處理器核；共享內存空間，用於進行各處理器核之間的通信；每個處理器核的專用地址空間，用於本處理器核的數據處理。優選的，所述線卡的多核處理器中的各處理器核都為包轉發核，所述包轉發核由所述主控卡的控制處理器進行控制；或者，所述線卡的多核處理器中，有一個處理器核為控制核，其他處理器核為包轉發核，所述包轉發核由所述控制核進行控制。優選的，所述主控卡的控制處理器為多核處理器，其運行環境為實時作業系統；所述控制處理器包括多個處理引擎，其中每一個處理引擎由至少一個處理器核執行。優選的，所述處理引擎包括以下處理引擎中的至少一種:硬體維護引擎，用於機箱設備管理；硬體控制引擎，用於提供對線卡和交換卡的控制數據交換和管理；保護引擎，用於提供控制平面協議保護處理；控制引擎，用於提供控制平面協議和設備管理；檢測引擎，用於提供快速故障檢測處理、以及網絡業務的快速保護切換和快速收斂處理；HA引擎，用於執行所述主用主控卡和備用主控卡之間的HA同步、故障檢測和故障
恢復處理。
一種路由器設備，包括主控卡和線卡，所述主控卡包括控制處理器、PCIE交換晶片和交換網絡晶片；所述線卡包括PCIE交換晶片和多核處理器；在所述主控卡中，所述PCIE交換晶片通過上行PCIE接口與所述控制處理器連接，通過下行PCIE接口和控制總線與所述線卡PCIE交換晶片的上行PCIE接口連接，通過下行PCIE接口與所述交換網絡晶片連接；所述線卡PCIE交換晶片的PCIE下行接口與本板卡的多核處理器連接，所述多核處理器通過數據總線與所述交換網絡晶片連接。優選的，所述主控卡為兩個，其中一個為主用主控卡，另一個為備用主控卡；所述每個主控卡的PCIE交換晶片至少有兩個支持雙根或多根的上行PCIE接口，其中一個上行PCIE接口連接本主控卡的控制處理器，另一個上行PCIE接口連接另一主控卡的控制處理器；所述線卡的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用主控卡PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用主控卡PCIE交換晶片的下行PCIE接口。優選的，所述主控卡的控制處理器中包括高有效性HA引擎，用於執行所述主用主控卡和備用主控卡之間的HA同步、故障檢測和故障恢復處理。與現有技術相比，本發明具有如下有益效果:(I)由於本發明採用了 PCIE總線實現了 MPU可以直接控制LPU上的用於路由轉發的多核處理器，相對於圖1所示的現有技術，實現了協議控制和數據轉發的分離，大大提高多核分布式路由器的路由轉發性能。(2)相對於圖2所示的現有技術，由於本發明在LPU和SFU上不再需要單獨的控制處理器，去掉了控制平面的分布式控制；而是採用PCIE作為控制總線，線卡和交換卡通過PCIE交換晶片連接到MPU的控制處理器，MPU通過PCIE接口和總線集中控制LPU和SFU。因此採用這種硬體架構可以將控制平面的所有處理集中到主控卡上，基於這種硬體架構可以實現由分布式控制改為主控卡集中式控制，而數據平面還可以採用分布式數據轉發，因此本發明可以降低此路由器設備上軟體的複雜度。(3)相對於圖2所示的現有技術，由於本發明的LPU和SFU上不存在控制處理器，MPU可以基於PCIE總線進行集中控制所有LPU和SFU，因此路由器設備系統的啟動和軟體的更新等操作只會涉及MPU系統，減少了軟體系統啟動時間，也減少軟體更新和維護的時間，提高了處理效率；相應地，故障恢復時間大大縮短，提高了系統可靠性。(4)相對於圖2所示的現有技術，由於本發明的LPU和SFU上取消了控制處理器，引入的PCIE交換晶片的成本僅為原有的控制處理器成本的幾十分之一，所以，本發明也降低了 LPU和SFU的硬體實現成本和硬體設計複雜性，進一步降低了整個路由器設備的成本和複雜度。(5)由於本發明在LPU上只提供數據平面轉發功能，所以LPU上所有核的軟體環境將不再使用Linux或RT0S，原則上只運行在裸核或輕量級執行環境(LWE)之上，進一步提高了數據轉發性能。(6)由於本發明採用PCIE作為控制總線，LPU上的多核處理器作為PCIE端點(EndPoint)通過PCIE接口連接PCIE交換晶片，以充分利用多核處理器針對PCIE接口提供的數據轉發加速等特性，提高了多核處理器對控制報文的處理能力，也提高了系統的轉發性能。同時，MPU通過PCIE總線集中控制所有LPU和SFU，並利用PCIE交換晶片的高有效性(HA)特性提供主從MPU的HA支持。(7)本發明在MPU上採用高性能多核處理器，針對路由器實現的主要業務和功能特性需求分別分配不同的處理器核作為相應的處理引擎，實現了硬體維護平面、硬體控制平面、控制平面、檢測平面、HA平面以及硬體實現的高性能轉發平面相互分離，從而把各個功能平面的功能耦合和相互影響降到最低，各功能平面各司其職，進一步降低了軟體實現的複雜性，提高了的高端路由器設備的可用性、可靠型、性能、以及易維護性等。
圖1是現有業界典型的多核分布式路由器設備的硬體系統結構示意圖；圖2是現有技術中的一種實現了控制平面轉發控制和數據平面數據轉發分離的路由器設備的結構示意圖；圖3是本發明所述路由器設備的第一種實施例的結構示意圖；圖4是本發明所述路由器設備的第二種實施例的結構示意圖；圖5為本發明所述路由器的一種軟體邏輯結構實施例的示意圖；圖6為本發明所述路由器的又一種軟體邏輯結構實施例的示意圖。
具體實施例方式下面結合附圖及具體實施例對本發明再作進一步詳細的說明。本發明主要採用PCIE技術實現路由器設備控制平面的通信連接和信息交互。PCIE作為一種高速串行I/O總線技術，它隨著處理器的發展也發展很快，目前PCIE 3.0的每Lane帶寬最高可達8.0Gbps，最多可以支持xl6Lane ;值得注意的是，在PCIE總線技術發展的過程中，不僅僅是總線帶寬速率的提高，同時，在功能特性方面也大大增強；在？(:^ 2.1和3.0標準中，對高有效性(HA)或故障切換(FailOver)能力、多根I/O虛擬化能力的增強，使得PCIE總線具備了在高可靠性要求很高的設備中應用的能力。總之，多核處理器和PCIE技術的協同發展使得設計一個能力強大的計算和處理系統成為可能，而且相對於傳統設計具有更強的伸縮能力、更強的處理能力和更高的性價比。在本發明的實施例中，運用PCIE技術來實現一個集中式控制的高端路由器設備，從而解決當前高端路由器設備分布式控制設計中普遍存在的軟體複雜性問題以及帶來的一系列效率和可使用性問題。圖3是本發明所述路由器設備的第一種實施例的示意圖，參見圖3，該實施例中的路由器設備包括:兩個主控卡(MPU)、至少兩個交換卡(SFU)和至少兩個線卡(LPU)。所述兩個MPU中的其中一個為主用MPU，另一個為備用MPU ;所述至少兩個SFU相互冗餘備份和
流量均衡。所述MPU包括控制處理器和PCIE交換晶片；所述SFU包括PCIE交換晶片和交換網絡晶片(Fabric);所述LPU包括PCIE交換晶片和 多核處理器，當然還包括接口 ASIC以及TCAM和SRAM等器件。所述接口 ASIC以及TCAM和SRAM等器件與本發明的關聯不大，本發明並不具體限定和說明。圖3中，路由器設備中的其他部分如機箱管理部分在本圖中省略。圖3中的
「--------」為控制總線，「一」為數據總線，「............」為HA通道。在所述MPU中，所述
PCIE交換晶片通過上行PCIE接口與所述控制處理器連接，通過下行PCIE接口和控制總線與所述SFU和LPU的PCIE交換晶片的上行PCIE接口連接。所述SFU的PCIE交換晶片的下行PCIE接口與本板卡的交換網絡晶片連接(本發明所述交換網絡晶片具有標準的PCIE接口，具體是通過PCIE接口與所述PCIE交換晶片連接)，所述SFU中的交換網絡晶片通過數據總線與各LPU的多核處理器連接。所述LPU的PCIE交換晶片的PCIE下行接口與本板卡的多核處理器連接(本發明所述多核處理器具有標準的PCIE接口，具體是通過PCIE接口與所述PCIE交換晶片連接)。為了支持主用和備用MPU的HA同步倒換特性，所述每個MPU的PCIE交換晶片至少有兩個支持雙根(Dual-Root)或多根(Mult1-root)的上行PCIE接口，所述其中一個上行PCIE接口連接本MPU的控制處理器的PCIE接口，另一個上行PCIE接口連接另一 MPU的控制處理器的PCIE接口，形成HA通道。同時，所述每個SFU的PCIE交換晶片至少有兩個支持非透明特性(NTNon-Transparent)的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用MPU的PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用MPU的PCIE交換晶片的下行PCIE接口。同時，所述每個LPU的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用MPU的PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用MPU的PCIE交換晶片的下行PCIE接口。所述MPU的控制處理器中還包括高有效性HA引擎，用於執 行所述主用MPU和備用MPU之間的HA同步、故障檢測和故障恢復處理。 在圖3所示的實施例中，從數據平面來看，每張LPU的上行內部數據交換總線分別連接到至少兩張互為備份且負載均衡的SFU上的交換網絡晶片上，從而構成一個雙星形結構的、互為備份的分布式數據轉發系統，這和當前的大多數高端路由器設備的設計是一致的。但從控制平面來看，LPU和SFU不再需要單獨的控制處理器。為了構成一個雙星型結構的控制系統，在LPU和SFU上引入了 PCIE交換晶片，所述LPU的PCIE交換晶片的下行PCIE接口連接本板卡的多核處理器，所述SFU的PCIE交換晶片的下行PCIE接口連接本板卡的交換網絡晶片；所述LPU和SFU的PCIE交換晶片的上行提供兩個PCIE接口，這兩個上行PCIE接口分別通過路由器設備背板的控制總線連接到不同的MPU上的PCIE交換晶片，再通過PCIE交換晶片連接到MPU上的控制處理器的PCIE接口。所述MPU的控制處理器可以採用高性能多核處理器，並通過PCIE接口和總線直接控制分布在各LPU和SFU上的多核處理器和交換網絡晶片。圖3所示的實施例中，PCIE總線系統採用兩級PCIE交換結構分別連接MPU和LPU、SFU,從PCIE總線邏輯來看，MPU作為PCIE交換系統的根(root)，LPU、SFU作為PCIE交換系統的端點(Endpoint) ；LPU和SFU的兩個上行PCIE接口分別連接到兩個互為備份的MPU上的PCIE交換晶片，從而構成一個雙星型結構的控制面系統，簡化了在此路由器設備上所需運行軟體的實現複雜度，提高了處理效率。
圖4是本發明所述路由器設備的第二種實施例的示意圖，參見圖4，該實施例中的路由器設備包括:兩個MPU和至少兩個LPU。所述MPU包括控制處理器、PCIE交換晶片、交換網絡晶片(Fabric)。所述LPU包括PCIE交換晶片和多核處理器，當然還包括接口 ASIC以及TCAM和SRAM等器件。圖4所示實施例與圖3所示實施例的區別是:該實施例是一個MPU和SFU集成的路由器設備，即在MPU上集成SFU(交換網絡晶片即Fabric晶片直接集成在MPU上)，此時的MPU可以同時提供協議控制和數據轉發兩大核心功能。圖4中，路由器設備中的其他部分如機箱管理部分在本圖中省略。圖4中的
「--------」為控制總線，「——」為數據總線。所述兩個MPU的其中一個為主用MPU，另一個
為備用MPU。為了支持主用和備用MPU的HA同步倒換特性，所述每個MPU的PCIE交換晶片至少有兩個支持雙根(Dual-Root)或多根(Mult1-root)的上行PCIE接口，所述其中一個上行PCIE接口連接本MPU的控制處理器的PCIE接口，另一個上行PCIE接口連接另一 MPU
的控制處理器的PCIE接口，形成HA通道；所述HA通道如圖4中的「............」所示。所述
每個MPU的PCIE交換晶片通過下行PCIE接口與本板卡的交換網絡晶片連接(本發明所述交換網絡晶片具有標準的PCIE接口，具體是通過PCIE接口與所述PCIE交換晶片連接)。同時，所述LPU的PCIE交換晶片至少有兩個支持非透明特性(NTNon-Transparent)的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用MPU的PCIE交換晶片的下行PCIE接口，另一個上行PCIE 接口通過控制總線連接所述備用MPU的PCIE交換晶片的下行PCIE接口。所述LPU的PCIE交換晶片的PCIE下行接口與本板卡的多核處理器連接(本發明所述多核處理器具有標準的PCIE接口，具體是通過PCIE接口與所述PCIE交換晶片連接)，所述多核處理器通過數據總線分別與所述主用MPU和備用MPU上的交換網絡晶片連接。所述MPU的控制處理器中包括高有效性HA引擎，用於執行所述主用MPU和備用MPU之間的HA同步、故障檢測和故障恢復處理。在圖4所示的實施例中，從數據平面來看，每張LPU的上行內部數據交換總線分別連接到兩張互為備份的MPU上的交換網絡晶片，從而構成一個雙星形結構的、互為備份的分布式數據轉發系統，這和當前的大多數高端路由器設備的設計是一致的。但從控制平面來看，LPU不再需要單獨的控制處理器。為了構成一個雙星型結構的控制系統，在LPU上引入了一個PCIE交換晶片，其下行PCIE接口連接本板卡的多核處理器，上行PCIE接口提供兩個PCIE交換接口，這兩個上行PCIE接口分別通過路由器設備背板的控制總線連接到兩個主備MPU上的PCIE交換晶片，再通過PCIE交換晶片連接到MPU上的控制處理器的PCIE接口。所述控制處理器通過PCIE接口、PCIE交換晶片和控制總線直接控制分布在各LPU上的多核處理器。圖4所示的實施例中，從PCIE總線邏輯來看，MPU作為PCIE交換系統的根，LPU作為PCIE交換系統的端點；LPU的兩個上行PCIE接口分別連接到兩個互為備份的MPU上的PCIE交換晶片，構成一個雙星型結構的控制面系統，簡化了在此路由器設備上所需運行軟體的實現複雜度，提高了處理效率。本發明中，將現有技術中SFU和LPU上控制處理器的分布控制功能，全部由MPU的控制處理器集中執行，MPU的控制處理器將對應的控制指令依次通過本處理器的PCIE接口、本MPU上的PCIE交換晶片、控制總線、SFU或LPU上的PCIE交換晶片轉發給SFU的交換網絡晶片或LPU上的多核處理器，從而實現集中控制，以達到本發明降低軟體複雜度和提聞效率的目的。由於MPU需要集中所有的控制功能，因此在硬體上，本發明所述MPU的控制處理器需要採用高性能多核處理器，來實現多個處理引擎，其中每一個處理引擎由至少一個處理器核執行。上述的各個實施例中，MPU的主控處理器都可以採用高性能的多核處理器，並可能根據高端路由器設備的業務特性和需求，分配不同和不同數量的處理器核((PU核)來專門執行對應的處理引擎功能。圖5為本發明所述路由器的一種軟體邏輯結構實施例的示意圖。圖5的右側是LPU中的軟體邏輯結構。由於多核分布式路由器系統的性能主要取決於LPU上多核處理器的轉發性能，所以，針對多核處理器的硬體特點選擇相應的高性能軟體架構是本發明的一個重要思路。首先為減少多核處理器的內部Cache的競爭和衝突，選擇了裸核或者輕量級執行環境(LWE)作為數據平面轉發的運行環境。在此基礎上，針對路由器需要在各CPU核之間共享各種轉發表項的業務特點，首先在LPU的內存中分配一部分地址空間作為共享內存空間，用於進行各處理器核之間的通信，其中包括存放路由轉發表項(FIB)，所有處理器核都可以訪問，容量大小可以根據具體規格確定；同時為每個處理器核分配了專用的地址空間，用於本處理器核的數據處理。其它處理器核無法訪問和使用。為提高轉發性能，圖5所示的實施例中選擇了最大限度增加並發能力的軟體模型，分配所有的處理器核均作為包轉發核(也稱為數據轉發核)，所有轉發核均使用相同的軟體映像。所述包轉發核由所述MPU的控制處理器進行控制。具體的，是由MPU側的硬體控制引擎直接通過PCIE總線訪問LPU上多核處理器的共享內存空間，來組織、下發和維護路由轉發所需的各種表項，同時收集LPU上各CPU核的運行狀態和數據。為確保包轉發核上的業務轉發軟體訪問路由表的性能，還可實現路由表的無鎖(lock-free)訪問機制，同時運行在轉發核上的業務轉發軟體應儘可能利用多核處理器的各種硬體加速器，特別是包分發調度器。所述包分發調度器可以由硬體或軟體來實現，目前大多數多核處理器集成硬體包分發調度器，對於沒有集成硬體包分發調度器的多核處理器，可以利用外部網絡控制器提供的同等機制或分配獨立的處理核通過軟體來實現。在本發明中，包分發調度器用於分發各種報文(包括控制報文和或業務數據報文)到多核處理器的特定硬體裝置或特定的一個或多個處理器核，即包分發調度器通過報文解析(Parser)、分類、保序等動作後判斷出數據報文的目的地所處的處理器核，並進行報文調度，同時實現數據流的負載均衡。圖5的左側是MPU軟體的邏輯結構圖。MPU的主控處理器採用高性能的多核處理器和通用的Linux或其他實時作業系統(RTOS)。在此基礎上，根據高端路由器的業務特性和需求，分配不同和不同數量的CPU核來專門負責相應的功能實現。多核處理器中都包括標準的PCIE接口，可以在處理器內部與各處理引擎進行信號交互。所述多核處理器中可以包括以下處理引擎中的至少一種:硬體維護引擎:用於與路由器設備中的智能機箱管理系統(CMM)配合在一起提供硬體板卡加載控制、電源智能管理、設備內部溫度監控、板卡在線狀態檢查等功能保證設備的正常運行。硬體控制引擎:用於提供對LPU的多核處理器和SFU的網絡交換晶片的管理、配置、控制和狀態收集。由於在高端路由器設備上可能使用的晶片的數量比較多，所以可能需要分配多個處理器核來滿足硬體控制的性能要求。在這種情況下，可以根據硬體控制功能邏輯來分配和使用這些處理器核。保護引擎:用於提供控制面協議保護功能，通過實現報文精細控制，為系統提供完善的抗協議報文攻擊能力。控制引擎:提供控制平面協議和設備管理兩大核心功能，處理各種協議報文及控制報文；在一些可靠性要求比較高的系統中，可以把控制平面協議和設備管理兩大功能分開在不同的處理器核上實現，以增強系統性能和可靠性。檢測引擎:用於提供BFD、OAM等快速故障檢測功能，並與控制平面的協議配合，支持網絡業務的快速保護切換和快速收斂，可以實現50ms的故障檢測，保障業務不中斷。HA引擎:用於提供高可靠性和高有效性所需要的主用和備用MPU之間的HA同步、HA故障檢測和HA故障恢復功能。本發明通過在MPU上分配不同的處理器核，實現了硬體維護平面、硬體控制平面、控制平面、檢測平面、HA平面以及硬體實現的高性能轉發平面相互分離，從而把各個功能平面的功能耦合和相互影響降到最低，各平面各司其職，降低了軟體實現的複雜性，真正實現聞端路由器設備所需的聞可用、聞可罪、聞性能、易維護。圖6為本發明所述路由器的又一種軟體邏輯結構實施例的示意圖。參見圖6右側，該圖6所示實施例與圖5所示實施例的區別在於LPU的多核處理器的分配。主要的原因是在圖5所示的實施例中，需要MPU直接通過內存訪問的形式來下發和維護路由轉發所需的各種表項，這和業界習慣於在MPU和LPU之間實現一個通信協議來實現MPU和LPU之間通信的習慣有所不一致，另外，現在支持PCIE接口數據加速的多核處理器越來越多。為了充分利用這些硬體加速特性，在圖6所示的實施例中，分配LPU的多核處理器中的一個處理器核為控制核，其餘所有的處理器核均作為包轉發核，同圖5所示的實施例一樣，所有轉發核均使用相同的軟體映像，這樣，可以利用現有的通信方式和硬體加速特性。所述包轉發核由所述控制核進行控制，控制核的主要功能是:(I)負責和MPU之間的通信，包括接收MPU發來的各種轉發表項；(2)組織和維護共享內存空間的路由轉發表項；(3)收集其他各核的運行狀態數據。同樣，在控制核和轉發核之間還可實現路由表的無鎖(lock-free)共享訪問機制。但這裡需要注意的是，為減少控制核和轉發核之間的相互影響，需要對控制核的功能和規模嚴格加以限制，控制核也運行在裸核或輕量級運行環境(LWE)之上，同時，在MPU和LPU的之間通信協議也需要簡單、輕量級的定義和實現。以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
權利要求
1.一種路由器設備，包括主控卡、交換卡和線卡，其特徵在於， 所述主控卡包括控制處理器和PCIE交換晶片；所述交換卡包括PCIE交換晶片和交換網絡晶片；所述線卡包括PCIE交換晶片和多核處理器； 在所述主控卡中，所述PCIE交換晶片通過上行PCIE接口與所述控制處理器連接，通過下行PCIE接口和控制總線與所述線卡和所述交換卡的PCIE交換晶片的上行PCIE接口連接; 所述交換卡PCIE交換晶片的PCIE下行接口與本板卡的交換網絡晶片連接，所述交換網絡晶片通過數據總線與所述線卡上的多核處理器連接； 所述線卡PCIE交換晶片的PCIE下行接口與本板卡的多核處理器連接，所述多核處理器通過數據總線與所述交換卡上的交換網絡晶片連接。
2.根據權利要求1所述的路由器設備，其特徵在於，所述主控卡為兩個，其中一個為主用主控卡，另一個為備用主控卡；所述每個主控卡的PCIE交換晶片至少有兩個支持雙根或多根的上行PCIE接口，其中一個上行PCIE接口連接本主控卡的控制處理器，另一個上行PCIE接口連接另一主控卡的控制處理器； 所述交換卡為至少兩個，所述每個交換卡的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用主控卡PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用主控卡PCIE交換晶片的下行PCffi接口 ； 所述線卡的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用主控卡PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用主控卡PCIE交換晶片的下行PCIE接口。
3.根據權利要求1所述的路由器設備，其特徵在於，所述主控卡的控制處理器中包括高有效性HA引擎，用於執行所述主用主控卡和備用主控卡之間的HA同步、故障檢測和故障恢復處理。
4.根據權利要求1-3任一項所述的路由器設備，其特徵在於，所述線卡的多核處理器中的各處理器核的運行環境為裸核或輕量級執行環境；且所述線卡中進一步包括: 包分發調度器，用於分發來自主控卡的控制包或數據包到多核處理器的特定硬體裝置或特定的一個或多個處理器核； 共享內存空間，用於進行各處理器核之間的通信； 每個處理器核的專用地址空間，用於本處理器核的數據處理。
5.根據權利要求4所述的路由器設備，其特徵在於， 所述線卡的多核處理器中的各處理器核都為包轉發核，所述包轉發核由所述主控卡的控制處理器進行控制； 或者，所述線卡的多核處理器中，有一個處理器核為控制核，其他處理器核為包轉發核，所述包轉發核由所述控制核進行控制。
6.根據權利要求1所述的路由器設備，其特徵在於，所述主控卡的控制處理器為多核處理器，其運行環境為實時作業系統；所述控制處理器包括多個處理引擎，其中每一個處理弓I擎由至少一個處理器核執行。
7.根據權利要求6所述的路由器設備，其特徵在於，所述處理引擎包括以下處理引擎中的至少一種: 硬體維護引擎，用於機箱設備管理； 硬體控制引擎，用於提供對線卡和交換卡的控制數據交換和管理； 保護引擎，用於提供控制平面協議保護處理； 控制引擎，用於提供控制平面協議和設備管理； 檢測引擎，用於提供快速故障檢測處理、以及網絡業務的快速保護切換和快速收斂處理； HA引擎，用於執行所述主用主控卡和備用主控卡之間的HA同步、故障檢測和故障恢復處理。
8.—種路由器設備，包括主控 卡和線卡，其特徵在於， 所述主控卡包括控制處理器、PCIE交換晶片和交換網絡晶片；所述線卡包括PCIE交換晶片和多核處理器； 在所述主控卡中，所述PCIE交換晶片通過上行PCIE接口與所述控制處理器連接，通過下行PCIE接口和控制總線與所述線卡PCIE交換晶片的上行PCIE接口連接，通過下行PCIE接口與所述交換網絡晶片連接； 所述線卡PCIE交換晶片的PCIE下行接口與本板卡的多核處理器連接，所述多核處理器通過數據總線與所述交換網絡晶片連接。
9.根據權利要求8所述的路由器設備，其特徵在於，所述主控卡為兩個，其中一個為主用主控卡，另一個為備用主控卡；所述每個主控卡的PCIE交換晶片至少有兩個支持雙根或多根的上行PCIE接口，其中一個上行PCIE接口連接本主控卡的控制處理器，另一個上行PCIE接口連接另一主控卡的控制處理器； 所述線卡的PCIE交換晶片至少有兩個支持非透明特性的上行PCIE接口，其中一個上行PCIE接口通過控制總線連接所述主用主控卡PCIE交換晶片的下行PCIE接口，另一個上行PCIE接口通過控制總線連接所述備用主控卡PCIE交換晶片的下行PCIE接口。
10.根據權利要求8或9所述的路由器設備，其特徵在於，所述主控卡的控制處理器中包括高有效性HA引擎，用於執行所述主用主控卡和備用主控卡之間的HA同步、故障檢測和故障恢復處理。
全文摘要
本發明公開了一種路由器設備，包括主控卡、交換卡和線卡，所述主控卡包括控制處理器和PCIE交換晶片；所述線卡包括PCIE交換晶片和交換網絡晶片；所述線卡包括PCIE交換晶片和多核處理器；在所述主控卡中，所述PCIE交換晶片通過上行PCIE接口與所述控制處理器連接，通過下行PCIE接口和控制總線與所述線卡和交換卡PCIE交換晶片的上行PCIE接口連接，所述線卡和交換卡PCI交換晶片的下行PCIE接口分別與所在板卡上的多核處理器晶片和的交換網絡晶片連接，上述PCIE交換網絡組成設備的控制平面；所述線卡的多核處理器通過內部數據總線與所述交換卡的交換網絡晶片連接，組成設備的數據平面。利用本發明，可以有效地提供多核路由器的路由轉發性能，有效降低控制面軟體的實現複雜度，提高路由器設備的處理效率。
文檔編號H04L12/771GK103188157SQ20111044710
公開日2013年7月3日 申請日期2011年12月28日 優先權日2011年12月28日
發明者戴俊文 申請人:邁普通信技術股份有限公司