一種實現在光網絡中傳輸InfiniBand數據的設備及方法
2023-10-30 01:35:57 1
專利名稱：一種實現在光網絡中傳輸InfiniBand數據的設備及方法
技術領域：
本發明涉及光網絡中的數據傳輸技術，特別涉及一種實現在光網絡中傳輸InfiniBand數據的設備及方法。
背景技術：
InfiniBand(以下簡稱IB)技術是一種交換式的串行總線技術，其技術標準規定了從物理層到傳輸層的所有操作協議，並且由硬體來實現從一層到四層的功能，從而大大減輕了CPU的負荷，同時IB技術還制定了詳細的流控策略和安全機制，可以實現埠級和連接級的流控和點對點的安全保護。
IB技術的網絡構成參見圖1，圖1為現有技術IB技術的網絡構成示意圖。如圖1所示，IB網絡中包含的設備有主通道適配器(HCA)105、目標通道適配器(TCA)106、IB交換機(Switch)107、IB路由器(Router)108等。IB網絡通過連接了系統內存104的系統內存控制器103和系統總線102與CPU101相連。圖1中將Switch 107與HCA 105和TCA 106和Router 108連接在一起的是IB鏈路(IB Link)。
HCA和TCA是InfiniBand體系結構中的末端(EndNode)設備，HCA主要是連接CPU和IB鏈路的設備，而TCA主要是連接I/O設備和IB鏈路；Switch是InfiniBand鏈路層設備，可以實現InfiniBand報文在同一個IB子網內的轉發功能；Router是InfiniBand網絡層設備，可以實現IB子網間或者IB子網和不同IB網絡的報文轉發功能；IB Link則是具體的物理鏈路，傳輸介質可以是印刷電路板(PCB)、銅纜和光纖。
目前，在通信系統中利用IB技術能夠實現板間、框間和設備間的互聯。IB技術作為一種新興的交換式串行總線技術，將在未來的數據存儲域網(SAN)、高性能集群以及數據通信等領域有廣泛的應用。
然而，目前IB規範中描述的利用銅纜聯接的最遠距離為17m，光纖聯接的最遠距離也只在十幾公裡左右，因此，IB技術主要應用於伺服器集群、本地存儲，其局限於系統區域網絡，不能實現廣域的IB互聯。這樣，就制約了IB技術的廣泛應用和進一步的發展。
在光網絡傳輸技術中，同步數字序列(SDH)/同步光網絡(SONET)是一種非常成熟的技術，具有安全性好，可靠性高的優點，在電信網中獲得大規模的應用。SDH/SONET本身是一個透明的傳輸通道，可以實現多種協議數據的遠距離傳輸。
發明內容
有鑑於此，本發明的主要目的在於提供一種實現在光網絡中傳輸InfiniBand數據的設備，使用該設備可以實現IB協議在SDH/SONET上的可靠傳輸。
本發明的另一個主要目的在於提供一種實現在光網絡中傳輸InfiniBand數據的方法，利用廣泛使用的SDH/SONET網絡，實現IB在廣域範圍的可靠傳輸。
根據上述發明目的的一個方面，本發明提供了一種實現在光網絡中傳輸InfiniBand數據的設備，該設備位於InfiniBand埠與光網絡埠之間，包含InfiniBand接口模塊，其用於收發InfiniBand埠與映射和流控模塊之間傳輸的數據；映射和流控模塊，其用於將從InfiniBand接口模塊接收的InfiniBand數據包加上流控信息後，發送給數據處理模塊；或將從數據處理模塊接收的數據包去掉流控信息後，發送給InfiniBand接口模塊；數據處理模塊，其用於將從映射和流控模塊接收的數據包加上頭信息後發送給光網絡接口模塊，或將從光網絡接口模塊接收的數據包去掉頭信息後發送給映射和流控模塊；光網絡接口模塊，其用於收發數據處理模塊與光網絡埠之間傳輸的數據；管理模塊，其用於向其它各模塊發送管理信息和接收其它各模塊的上報信息。
其中，所述的InfiniBand接口模塊可以包含InfiniBand接口電路、虛通道收發送緩存；InfiniBand接口電路接收InfiniBand埠發送的數據並將其發送給虛通道發送緩存，或接收虛通道接收緩存發送的數據並將其發送到InfiniBand埠；虛通道發送緩存將從InfiniBand接口電路接收的數據暫存後發送給映射和流控模塊；虛通道接收緩存將從映射和流控模塊接收的數據暫存後發送給InfiniBand接口電路。
所述的虛通道發送緩存還可以進一步包含虛通道發送隊列和虛通道發送復用模塊，虛通道發送緩存接收的數據先暫存到虛通道隊列中，再通過虛通道復用模塊發送給映射和流控模塊。虛通道接收緩存還可以進一步包含虛通道接收隊列和虛通道接收復用模塊，虛通道接收緩存接收的數據先暫存到虛通道隊列中，再通過虛通道復用模塊發送給InfiniBand接口電路。
所述的虛通道發送緩存還可以進一步通過向InfiniBand接口電路發送發送緩衝器狀態信號與InfiniBand接口電路相連；所述的虛通道接收緩存也可以進一步通過向映射和流控模塊發送接收緩衝器狀態信號與映射和流控模塊相連。
所述的數據處理模塊可以進一步包含數據計算校驗和模塊，其對從映射和流控模塊接收的數據計算校驗和；數據處理模塊還可以進一步包含檢查計算校驗和模塊，其對從光網絡接口模塊接收的數據檢查計算校驗和。
所述的管理模塊向其它各模塊發送的管理信息可以包括向InfiniBand接口模塊發送埠的控制信息、向映射和流控模塊發送的流控策略信息、向數據處理模塊發送的控制信息、向光網絡接口模塊發送埠的控制信息。管理模塊接收其它各模塊的上報信息可以包括InfiniBand接口模塊發送的埠狀態上報信息、映射和流控模塊發送的流控狀態上報信息、數據處理模塊發送的數據包統計上報信息、光網絡接口模塊發送的埠狀態上報信息。
所述的InfiniBand埠可以為InfiniBand交換機，或InfiniBand路由器，或InfiniBand通道適配器。
所述的光網絡埠可以為分插復用器。
根據上述發明目的的另一個方面，本發明提供了一種實現在光網絡中傳輸InfiniBand數據的方法，在InfiniBand數據發送端，將InfiniBand數據幀作為光網絡可以傳輸的高級數據鏈路控制協議數據幀的淨荷，封裝在高級數據鏈路控制協議數據幀中，並將該數據幀發送到光網絡埠，該數據幀通過光網絡傳輸到數據接收端的光網絡埠，在數據接收端將封裝在高級數據鏈路控制協議數據幀中的InfiniBand數據幀取出發送給數據InfiniBand接收端。
該方法中所述的數據幀的淨荷可以進一步設置一個用於標識流控狀態的流控消息頭。
該方法可以採用InfiniBand通信協議中基於信用度的流控機制進行流控。
由上述技術方案可見，本發明實現在光網絡中傳輸InfiniBand數據的設備及方法利用廣泛使用的SDH/SONET網絡，實現了IB在廣域範圍的可靠傳輸。相對於現有技術，本發明很好的解決了IB遠距離傳輸的問題，可以實現基於IB的伺服器遠程集群、遠程存儲，大大擴展了IB的應用範圍。
圖1為現有技術IB技術的網絡構成示意圖；圖2為本發明實現在光網絡中傳輸InfiniBand數據的設備一個實施例的框圖；圖3為圖2所示實施例的傳輸設備連接IB網和SDH網的連接示意圖；圖4為本發明的傳輸方法中使用的HDLC數據幀的幀結構示意圖；圖5為IB數據幀的結構示意圖。
具體實施例方式
為使本發明的目的、技術方案和優點更加清楚明白，下面結合實施例並參照附圖，對本發明進一步詳細說明。
圖2為本發明實現在光網絡中傳輸InfiniBand數據的設備一個實施例的框圖。如圖2所示，該傳輸設備位於InfiniBand埠與光網絡埠之間，包含InfiniBand接口模塊201、映射和流控模塊202、數據處理模塊203、光網絡接口模塊204和管理模塊205。
其中，InfiniBand接口模塊201包含InfiniBand接口電路2011、虛通道發送緩存2012和虛通道接收緩存2013；InfiniBand接口模塊201通過InfiniBand接口電路2011與InfiniBand埠相連，InfiniBand接口電路2011接收InfiniBand埠發送的數據並將其發送給虛通道發送緩存2012，或接收虛通道接收緩存2013發送的數據並將其發送到InfiniBand埠；虛通道發送緩存2012將從InfiniBand接口電路2011接收的數據暫存後發送給映射和流控模塊202；虛通道接收緩存2013將從映射和流控模塊202接收的數據暫存後發送給InfiniBand接口電路2011；本實施例中，虛通道發送緩存2012還包含了虛通道(VL)發送隊列VL0-VLn和虛通道發送復用模塊VL MUX，虛通道發送緩存2012接收的數據先暫存到虛通道發送隊列VL0-VLn中，再通過虛通道發送復用模塊VLMUX發送給映射和流控模塊202；虛通道接收緩存2013也進一步包含了虛通道接收隊列VL0-VLn和虛通道接收復用模塊VL MUX，虛通道接收緩存2013接收的數據先暫存到虛通道接收隊列VL0-VLn中，再通過虛通道接收復用模塊VL MUX發送給InfiniBand接口電路2011。虛通道發送緩存2012還通過向InfiniBand接口電路發送發送緩衝器狀態信號TXBS與InfiniBand接口電路相連；虛通道接收緩存2013還通過向映射和流控模塊202發送接收緩衝器狀態信號RXBS與映射和流控模塊202相連，本發明的傳輸設備根據TXBS和RXBS來實現流控。
映射和流控模塊202接收InfiniBand接口模塊201的虛通道發送緩存2012發送的數據，並根據虛通道發送緩存2012當前的狀態，在InfiniBand數據包加上相應的流控信息發送給數據處理模塊203；或接收數據處理模塊203發送的數據，從該數據的數據包中取出流控信息，把去掉流控信息的數據包發送到InfiniBand接口模塊201。
數據處理模塊203接收映射和流控模塊202發送的數據，將該數據的數據包加上頭信息並計算校驗和後發送給光網絡接口模塊204，或接收光網絡接口模塊204發送的數據，將該數據的數據包去掉頭信息並檢查計算校驗和後發送給映射和流控模塊202。
光網絡接口模塊204接收數據處理模塊203發送的數據發送給光網絡埠，或接收光網絡埠發送的數據發送給數據處理模塊203。
管理模塊205通過向其它各模塊發送管理信息和接收其它各模塊的上報信息與其它各模塊相連。管理模塊205向InfiniBand接口模塊201發送埠控制信息，接收InfiniBand接口模塊201發送的埠狀態上報信息、向映射和流控模塊202發送流控策略信息，接收映射和流控模塊202發送的流控狀態上報信息、向數據處理模塊203發送控制信息，接收數據處理模塊203發送的數據包統計上報信息、向光網絡接口模塊204發送埠控制信息，接收光網絡接口模塊204發送的埠狀態上報信息。
圖3為圖2所示實施例的傳輸設備連接IB網和SDH網的連接示意圖。如圖3所示，本實施例的基於光網絡的IB傳輸設備302一端與SDH環網中的分插復用器303相連，另一端與IB網的IB交換機/IB路由器/IB通道適配器301相連。
本發明實現在光網絡中傳輸InfiniBand數據的方法為在InfiniBand數據發送端，將InfiniBand數據幀作為光網絡可以傳輸的高級數據鏈路控制協議(HDLC)數據幀的淨荷，封裝在HDLC數據幀中，並將該數據幀發送到光網絡埠，該數據幀通過光網絡傳輸到數據接收端的光網絡埠，在數據接收端將封裝在HDLC數據幀中的InfiniBand數據幀取出發送給數據InfiniBand接收端。
圖4為本發明的實現方法中使用的HDLC數據幀的幀結構示意圖。如圖4所示，該數據幀是將IB數據幀增加一個6位元組(byte)的流控信息頭，再作為HDLC數據幀的淨荷封裝到HDLC數據幀中後形成的。
其中，IB數據幀包含信息頭、IB數據淨荷、不變循環冗餘碼校驗(ICRC)和可變循環冗餘碼校驗(VCRC)。其具體結構參見圖5，圖5為IB數據幀的結構示意圖，如圖5所示，IB數據幀的信息頭包含局部路由頭部信息(LRH)、全局路由頭部信息(GRH)、基本傳輸層頭部信息(BTH)、傳輸層擴展頭(ETHs)和立即數(ImmData)。IB數據幀的各個欄位的簡要說明參見表一。
表一其它欄位的說明如下◆標誌(Flag)，佔用1 byteFlag用於標識一個幀的起始和結束，固定為0x7E。如果有兩個連續的幀，那麼前一幀和後一幀之間只需要一個Flag標誌，而不需要兩個連續的0x7E去區分連續的幀；當沒有數據要發送的時候，就發送連續的Flag到SDH/SONET上，即連續的Flag被認為是一個空的幀。
◆地址(Address)，佔用1 byte地址欄位用來標識一個HDLC幀的目的地址。當該欄位為0xFF時，表示是廣播地址，所有節點都會接收該幀數據。如果該地址是無效地址，那麼該幀數據就不會被接收或被忽略掉了。
◆控制(Control)，佔用1 byteControl欄位用來標識一個HDLC幀的類型，表明該幀是HDLC協議中的Information、Supervisory或Unnumbered類型。
◆協議(Protocol)，佔用2 bytesProtocol欄位用來標識Payload中的協議類型，在本發明中它用於表示淨荷(Payload)中包含的是基於IB的SDH/SONET數據，該欄位的定義來源於網際網路標準——RFC1661，用戶自定義的欄位需要向網際網路數據分配局Internet Assigned Numbers Authority(IANA)申請，本實施例中該欄位暫定為0xC031。
◆流控信息頭(Flow Control Header)，佔用6 bytes用於兩臺實現在光網絡中傳輸InfiniBand數據的設備之間實現流控，本發明方法採用與InfiniBand協議相同的基於信用度的流控機制。
◆保留(Reserved)，佔用1 byte保留欄位，未來擴展用。
◆校驗和(FCS)，佔用4 bytes從Address欄位開始到Payload欄位結束的校驗和。
上述方法可以通過使用上述的基於SDH的IB傳輸設備來具體實現，其過程仍參見圖2。其中，發送方向是指從InfiniBand到SDH/SONET埠的方向，接收方向是指從SDH/SONET到InfiniBand埠的方向。
其發送流程如下第一步IB接口模塊201的IB接口電路2011從IB埠收到數據後，根據該數據相應的VL號，把接收到的數據放入VL接收緩衝器2012中相應的VL緩衝隊列VL0-VLn中，同時要根據VL接收緩衝器2012回送給IB接口電路2011的VL緩衝器的狀態TXBS，實現IB接口側基於VL的流控，該流控機制的實現符合IB協議採用的基於信用度的流控機制的規定，再根據管理模塊205發送來的調度機制，例如VL間採用加權輪詢調度方式(WRR)，通過VL MUX把VL緩衝隊列中的數據輸出到映射和流控模塊202。
第二步映射和流控模塊202收到IB接口模塊發來的數據後，根據VL接收緩存器當前的狀態，在IB數據包加上相應的流控信息，再將該數據發送給數據處理模塊203。
第三步數據處理模塊203接收到包含流控信息的數據包，將其作為光網絡可以傳輸的HDLC數據幀的淨荷，封裝在HDLC數據幀中，完成數據的成幀、校驗和的計算工作，然後將該數據通過SDH接口模塊204發送到SDH埠。
其接收流程如下第一步SDH接口模塊204從SDH埠接收數據並發送給數據處理模塊203。
第二步數據處理模塊203將接收到的數據去掉HDLC的FLAG、Address、Control、Protocol等頭信息，檢查校驗和並將處理後的數據發送給映射和流控模塊202。
第三步映射和流控模塊202從數據中取出中6位元組的流控信息，把去掉流控信息的數據包發送給IB接口模塊201，同時要根據VL發送緩衝器2013回送給映射和流控模塊202的VL接收緩衝器的狀態RXBS，實現基於VL的流控。
第四步IB接口模塊201根據收到的數據的VL號不同，把數據放入VL接收緩存中VL隊列中相應的位置，根據管理模塊205發送來的調度機制，例如VL間採用加權輪詢調度方式(WRR)，通過VL MUX把VL緩衝隊列中的數據通過IB接口電路2011輸出到IB埠。
由此可見，本發明的基於光網絡的InfiniBand通信協議的傳輸設備及傳輸方法利用廣泛使用的SDH/SONET網絡，實現了IB在廣域範圍的可靠傳輸。相對於現有技術，本發明很好的解決了IB遠距離傳輸的問題，可以實現基於IB的伺服器遠程集群、遠程存儲等功能，大大擴展了IB的應用範圍。
權利要求
1.一種實現在光網絡中傳輸InfiniBand數據的設備，其特徵在於該設備位於InfiniBand埠與光網絡埠之間，包含InfiniBand接口模塊，其用於收發InfiniBand埠與映射和流控模塊之間傳輸的數據；映射和流控模塊，其用於將從InfiniBand接口模塊接收的InfiniBand數據包加上流控信息後，發送給數據處理模塊；或將從數據處理模塊接收的數據包去掉流控信息後，發送給InfiniBand接口模塊；數據處理模塊，其用於將從映射和流控模塊接收的數據包加上頭信息後發送給光網絡接口模塊，或將從光網絡接口模塊接收的數據包去掉頭信息後發送給映射和流控模塊；光網絡接口模塊，其用於收發數據處理模塊與光網絡埠之間傳輸的數據；管理模塊，其用於向其它各模塊發送管理信息和接收其它各模塊的上報信息。
2.如權利要求1所述的傳輸設備，其特徵在於所述的InfiniBand接口模塊包含InfiniBand接口電路、虛通道收發送緩存；InfiniBand接口電路接收InfiniBand埠發送的數據並將其發送給虛通道發送緩存，或接收虛通道接收緩存發送的數據並將其發送到InfiniBand埠；虛通道發送緩存將從InfiniBand接口電路接收的數據暫存後發送給映射和流控模塊；虛通道接收緩存將從映射和流控模塊接收的數據暫存後發送給InfiniBand接口電路。
3.如權利要求2所述的傳輸設備，其特徵在於所述的虛通道發送緩存進一步包含虛通道發送隊列和虛通道發送復用模塊，虛通道發送緩存接收的數據先暫存到虛通道隊列中，再通過虛通道復用模塊發送給映射和流控模塊。
4.如權利要求2所述的傳輸設備，其特徵在於所述的虛通道接收緩存進一步包含虛通道接收隊列和虛通道接收復用模塊，虛通道接收緩存接收的數據先暫存到虛通道隊列中，再通過虛通道復用模塊發送給InfiniBand接口電路。
5.如權利要求2所述的傳輸設備，其特徵在於所述的虛通道發送緩存進一步通過向InfiniBand接口電路發送發送緩衝器狀態信號與InfiniBand接口電路相連；所述的虛通道接收緩存進一步通過向映射和流控模塊發送接收緩衝器狀態信號與映射和流控模塊相連。
6.如權利要求1所述的傳輸設備，其特徵在於所述的數據處理模塊進一步包含數據計算校驗和模塊，其對從映射和流控模塊接收的數據計算校驗和；和檢查計算校驗和模塊，其對從光網絡接口模塊接收的數據檢查計算校驗和。
7.如權利要求1所述的傳輸設備，其特徵在於所述的管理模塊向其它各模塊發送的管理信息包括向InfiniBand接口模塊發送埠的控制信息、向映射和流控模塊發送的流控策略信息、向數據處理模塊發送的控制信息、向光網絡接口模塊發送埠的控制信息。
8.如權利要求1所述的傳輸設備，其特徵在於所述的管理模塊接收其它各模塊的上報信息包括InfiniBand接口模塊發送的埠狀態上報信息、映射和流控模塊發送的流控狀態上報信息、數據處理模塊發送的數據包統計上報信息、光網絡接口模塊發送的埠狀態上報信息。
9.如權利要求1所述的傳輸設備，其特徵在於所述的InfiniBand埠為InfiniBand交換機，或InfiniBand路由器，或InfiniBand通道適配器。
10.如權利要求1所述的傳輸設備，其特徵在於所述的光網絡埠為分插復用器。
11.一種實現在光網絡中傳輸InfiniBand數據的方法，其特徵在於在InfiniBand數據發送端，將InfiniBand數據幀作為光網絡可以傳輸的高級數據鏈路控制協議數據幀的淨荷，封裝在高級數據鏈路控制協議數據幀中，並將該數據幀發送到光網絡埠，該數據幀通過光網絡傳輸到數據接收端的光網絡埠，在數據接收端將封裝在高級數據鏈路控制協議數據幀中的InfiniBand數據幀取出發送給數據InfiniBand接收端。
12.如權利要求11所述的方法，其特徵在於所述的高級數據鏈路控制協議數據幀的淨荷進一步設置一個用於標識流控狀態的流控消息頭。
13.如權利要求11或12所述的方法，其特徵在於該方法採用InfiniBand通信協議中基於信用度的流控機制進行流控。
全文摘要
本發明公開了一種實現在光網絡中傳輸InfiniBand數據的設備，該設備位於InfiniBand埠與光網絡埠之間，包含InfiniBand接口模塊、映射和流控模塊、數據處理模塊、光網絡接口模塊和管理模塊，使用該設備可以實現InfiniBand協議在SDH/SONET上的可靠傳輸。本發明同時公開了一種實現在光網絡中傳輸InfiniBand數據的方法，該方法將InfiniBand數據幀作為光網絡可以傳輸的高級數據鏈路控制協議數據幀的淨荷，封裝在高級數據鏈路控制協議數據幀中，這樣就可以實現InfiniBand數據幀在光網絡中的傳輸。利用廣泛使用的SDH/SONET網絡，實現在InfiniBand廣域範圍的可靠傳輸。相對於現有技術，本發明很好地實現了基於InfiniBand的伺服器遠程集群、遠程存儲等功能，大大擴展了InfiniBand的應用範圍。
文檔編號H04L29/06GK1492643SQ02146528
公開日2004年4月28日 申請日期2002年10月21日 優先權日2002年10月21日
發明者顧冰, 舒曦輝, 餘洲, 顧 冰 申請人:華為技術有限公司