用於網絡業務流的無狀態負載平衡的方法、系統和計算機可讀介質的製作方法

2023-12-06 08:22:16

專利名稱：用於網絡業務流的無狀態負載平衡的方法、系統和計算機可讀介質的製作方法
技術領域：
本文描述的主題涉及負載平衡。更具體地，本文描述的主題涉及用於網絡業務流的無狀態負載平衡的方法、系統和計算機可讀介質。
背景技術：
負載平衡(本文中也稱作伺服器負載平衡(SLB))是一種在多個裝置中分配工作量以便提高生產率的方法。例如，可使用多個伺服器為網絡中的客戶節點(諸如計算機、行動電話等)提供服務。SLB的當前實現通常落入到兩個主要範疇內:有狀態和無狀態。有狀態實現可以追蹤和記錄關於每個網絡流(例如，相關分組的流)的狀態(例如，協議、埠、地址、每天的時間、序列號、分組大小、流的持續時間等)，這樣能夠提供最精確的、粒度級的且特徵豐富的負載平衡方案。特別地，有狀態實現可以提供內容過濾和內容感知交換。例如，有狀態負載平衡器可以阻止某些流(例如，基於協議標識符或埠號)被負載平衡，並且有狀態負載平衡器可以識別流中的某些事件(例如，建立會話、已發生超時、會話已結束等)或可以識別流中的內容(例如，被傳送的文件)，並且，利用該狀態信息，可以執行適當的動作(例如，將流鎖定到用於給定應用、會話或服務的特定伺服器)。雖然有狀態實現能夠提供各種特徵，但是有狀態實現通常是資源昂貴的且會受限於可擴展性和性能問題。相反地，無狀態實現通常是資源廉價的。無狀態實現典型地利用基於分組的散列法來分配業務，而不存儲關於每個網絡流的狀態或信息。例如，可將分組欄位信息(例如，源網際網路協議(IP)地址和目的地IP位址)輸入到散列方案中用於確定哪個伺服器接收每個分組。由於散列值對於計算而言通常是資源廉價的，所以這些無狀態實現一般實現起來更快且更容易。雖然無狀態實現能夠比有狀態實現提供更好的性能(例如，更大的分組吞吐量)，但是無狀態實現缺乏特徵並且具有局限性。例如，無狀態實現可能缺乏cookie或會話感知。另外，通常無狀態實現中的流持續性較不可靠。也就是說，無狀態實現在將網絡業務流的分組分配到相同伺服器方面通常較不一致。此外，傳統的無狀態負載平衡器需要嚴格的尋址方案，這會限制分派負載平衡工作量的粒度。因此，需要改善網絡業務流的無狀態負載平衡的方法、系統和計算機可讀介質。

發明內容
根據一個方面，本文描述的主題包括一種用於執行網絡業務流的無狀態負載平衡的方法。所述方法發生在層3分組轉發和層2交換裝置處。所述方法包括以所述裝置的介質訪問控制(MAC)地址響應來自客戶端的地址解析協議(ARP)請求，所述ARP請求包括由所述裝置和耦合到所述裝置上的多個伺服器所分配的虛擬IP (VIP)地址。所述方法還包括從所述客戶端接收發往所述VIP位址且具有所述裝置的所述MAC地址的分組。所述方法還包括利用對所述客戶端而言表現為層2交換操作的層3轉發操作在所述伺服器中負載分配所述分組。根據另一方面，本文描述的主題包括一種用於執行網絡業務流的無狀態負載平衡的層3分組轉發和層2交換裝置。層3分組轉發和層2交換裝置包括:地址解析協議(ARP)代理功能模塊，用於以所述裝置的介質訪問控制(MAC)地址響應來自客戶端的ARP請求，所述ARP請求包括由所述裝置和耦合到所述裝置的多個伺服器分配的虛擬IP(VIP)地址。層3分組轉發和層2交換裝置還包括負載平衡模塊，其從所述客戶端接收發往所述VIP位址且具有所述裝置的所述MAC地址的分組，並且所述負載平衡模塊利用對所述客戶端而言表現為層2交換操作的層3轉發操作在所述伺服器中負載分配所述分組。本文描述的用於網絡業務流的無狀態負載平衡的主題可以在硬體、軟體、固件或其各種組合中得以實現。這樣，本文中使用的術語「功能」或「模塊」指的是用於實現所描述的特徵的硬體、軟體和/或固件。在一個示例性實現中，可以利用其上存儲的具有計算機可執行指令的非瞬態計算機可讀介質來實現本文描述的主題，當計算機控制的處理器執行所述指令時，所述計算機執行步驟。適於實現本文描述的主題的示例性計算機可讀介質包括非瞬態計算機可讀介質，例如磁碟存儲設備、晶片存儲設備、可編程邏輯設備和專用集成電路。另外，實現本文描述的主題的計算機可讀介質可以位於單個設備或計算平臺上，或者可以分布到多個設備或計算平臺。


圖1為根據本文描述的主題的實施例的用於無狀態負載平衡的示例性系統的網絡圖；圖2為根據本文描述的主題的實施例的示例性層3轉發表和ECMP數據結構的圖；圖3為示出了與執行用於網絡業務流的無狀態負載平衡相關的示例性消息的消息流程圖；圖4為用於執行本文描述的無狀態負載平衡的具有層3功能的層2轉發裝置的示例性內部體系結構的框圖；以及圖5為根據本文描述的主題的實施例的用於執行網絡業務流的無狀態負載平衡的示例性過程的流程圖。
具體實施例方式如本文所使用的，負載平衡(在本文中也稱為伺服器負載平衡(SLB))指的是在一個或者多個裝置(例如伺服器)之間分配、平衡、分割或者以其他方式劃分網絡負載或業務。如在本文中所使用的，網絡負載、網絡業務、負載或者業務指的是在網絡中傳輸、傳向網絡或者傳自網絡的分組。如本文所使用的，網絡業務流、業務流、網絡流、流等指的是在網絡中傳輸、傳向網絡或者傳自網絡的一個或多個相關分組(例如，會話中的分組、來自源或目的地或者通向源或目的地的分組的單向流、或者來自或通向特定實體的分組)。如本文所使用的，網絡節點、客戶節點等指的是用於和一個或多個伺服器進行通信的裝置。如本文所使用的，伺服器指的是用於提供服務或處理客戶端的消息的任意裝置。如本文所使用的，層2域或層2廣播域指的是能夠利用層2地址(例如，介質訪問控制(MAC)地址)接收通信的節點。例如，層2域可以包括在相同物理網絡或區域網路(LAN)內的節點(例如，使用相同子網掩碼的節點)和/或在相同虛擬LAN (VLAN)內的節點。圖1為用於無狀態負載平衡的示例性系統的網絡圖。參見圖1，網絡100包括連接到一起的多個裝置，其中所述裝置的組位於相同VLAN和IP子網中。例如，網絡100可以包括網絡裝置或客戶端106、層3分組轉發和層2交換裝置或L3PF/L2S裝置102以及伺服器104。客戶端106和伺服器104可以連接到L3PF/L2S裝置102的一個或多個埠上。在圖1示出的實施例中，客戶端106和伺服器104被分組到兩個層2域中。由於L3PF/L2S裝置102能夠從圖1的所有節點處接收分組，所以L3PF/L2S裝置102被分組到所述兩個域中。在該實施例中，層2域包括位於相同子網和相同VLAN內的節點。在第二實施例中，層2域可以包括位於相同物理LAN內的節點，例如，由具有共同子網掩碼的節點或由直接地或通過一跳(例如，L3PF/L2S裝置102)連接到一起的節點表示的網絡。在第三實施例中，每個層2域可以包括位於相同VLAN內但是部分在不同物理LAN內的節點。在圖1中，層2域1108包括具有在IP版本4 (v4)地址範圍為192.154.234.01-192.154.234.254內的IP位址的一組客戶端和伺服器節點。域1108的節點與VLANl相關。層2域2108為具有在IP v4地址範圍為192.128.10.01-192.128.10.254內的地址的一組客戶端和伺服器。域2108的節點與VLAN2相關。在圖1所示的實施例中，每個子網與唯一的VLAN (或者VLAN標識符)相關。在第二實施例中，多個子網可以與一個VLAN相關。在第三實施例中，一個子網可以與多個VLAN相關。VLAN允許不同的物理區域網利用層2交換機而不是層3路由器來彼此進行通信。層2交換機可以被配置為基於VLAN標識符控制業務。例如，可以通過將VLAN標識符插入到層2幀中來實現VLANJP /或可以基於L3PF/L2S裝置102處的埠來實現VLAN。也就是說，當層2業務到達L3PF/L2S裝置102特定埠處和/或具有特定VLAN標識符時，如果層2轉發資料庫條目並不存在於用於層2業務的轉發表中，則層2業務僅在L3PF/L2S裝置102的與相同VLAN標識符相關的埠處和/或入站埠處泛洪。因此，VLAN用於控制層2業務的分配和泛洪。L3PF/L2S裝置102提供客戶端106和伺服器104之間的分組轉發。L3PF/L2S裝置102可以提供與客戶端106進行通信的一個或多個埠(本文中稱為面向網絡埠、網絡埠或者客戶端埠)以及與伺服器104進行通信的一個或多個埠(本文中稱為面向伺服器埠或伺服器埠)。L3PF/L2S裝置102還為網絡業務流提供負載平衡功能。在一個實施例中，L3PF/L2S裝置102可被配置為利用虛擬IP尋址和代理地址解析協議(ARP)來提供SLB。另外，L3PF/L2S裝置102可被配置為利用層3功能(例如ECMP路由硬體或模塊)來負載平衡位於層2域內的網絡業務流。在圖1所示的實施例中，域1108的三個客戶端106連接到L3PF/L2S裝置102處的第一網絡埠上。如圖所示，域1108的客戶端106和第一網絡埠與VLANl相關。域2108的三個客戶端106連接到L3PF/L2S裝置102處的第二網絡埠上。如圖所示，域2108的客戶端106和第二網絡埠與VLAN2相關。伺服器104連接到L3PF/L2S裝置102處的伺服器埠上。在有些實施例中，多個伺服器104可以連接到單個埠。在圖1所示的實施例中，每個伺服器104連接到單獨的埠。伺服器104和伺服器埠也可以與VLAN相關。在一個實施例中，伺服器104是相同VLAN的成員。在第二實施例中，伺服器104是多個VLAN的成員。如圖所示，域1108的伺服器104及其相關伺服器埠與VLANl相關。域2108的伺服器104及其相關伺服器埠與VLAN2相關。可將伺服器104組織到負載平衡組110中。例如，網絡運營商可以經由所附的伺服器將伺服器埠配置為用於負載平衡與特定節點或節點組(例如，層2域內的節點)相關的網絡業務。在一個實施例中，伺服器104可以與相同的VLAN相關。為了允許在分派負載平衡責任中更大的粒度，每個LB組110可以與不同的虛擬IP (VIP)地址相關。與LB組110相關的每個VIP位址可以由其成員(例如伺服器)分配。例如，L3PF/L2S裝置102可以配置兩個LB組110用於負載平衡與VLANl相關的網絡業務流。一個LB組110可以與192.154.234.2的VIP位址相關。第二 LB組110可以與192.128.10.2的VIP位址相關。每個相應LB組110的每個伺服器104可以使用被配置為接收發往特定VIP位址的分組的迴環接口(例如，第一 LB組110內的伺服器104可以使用192.154.234.2，並且在第二 LB組110內的伺服器可以使用192.128.10.2)。L3PF/L2S裝置102可以使用用於負載平衡發往VIP位址的分組的選擇機制。例如，L3PF/L2S裝置102可以基於分組內的VIP位址確定LB組110，並且可以利用分組散列方案來確定LB組110的哪個伺服器104將接收分組。在伺服器104是多個VLAN的成員的實施例中，L3PF/L2S裝置102可以按每LAN的基礎來執行負載分配。按每LAN的基礎的負載分配可以包括在作為特定VLAN的成員的伺服器之中負載分配發往VIP位址的分組。在一個實施例中，L3PF/L2S裝置102可以用不同VLAN的不同VIP位址配置LB組110。例如，L3PF/L2S裝置102可以配置兩個LB組110用於負載平衡網絡業務流。一個LB組110可以與VLANl和VIP位址192.154.264.2相關。第二 LB組110可以與VLAN2和VIP位址192.128.10.2相關。在該示例中，L3PF/L2S裝置102可以負載分配從VLANl中的客戶端向第一 LB組110發送的VIP位址192.154.234.2的分組，並負載分配從VLAN2中的客戶端向第二 LB組110發送的VIP位址192.128.10.2的分組。在另一實施例中，L3PF/L2S裝置102可以配置具有一個或多個相同VIP位址的LB組110來用於不同VLAN。例如，L3PF/L2S裝置102可以負載分配從VLANl中的客戶端到第一LB組110 (或者與客戶端分配相同VLAN的一個或多個其它LB組)的分組分配相同VLAN作為客戶端的一個或多個其它LB組)，而不管使用哪個VIP位址。在又一實施例中，如果將分組發往與不同VLAN相關的VIP位址，L3PF/L2S裝置102可以通知客戶端(例如，利用錯誤消息或者其它消息)。在一個實施例中，每個伺服器104可以與其自身唯一的MAC地址以及與伺服器104和交換機102所分配的VIP位址相關。伺服器104還可以具有其自身唯一的IP位址和VLAN標識符。在一個實施例中，L3PF/L2S裝置102可以轉發發往伺服器104的唯一 IP位址的分組，而不執行負載平衡。例如，如果利用伺服器唯一的IP位址和唯一的MAC地址(例如，不是VIP位址的IP位址和不是L3PF/L2S裝置的MAC地址的MAC地址)將分組發往伺服器，L3PF/L2S裝置102可以使用層2轉發操作來確定用於將分組轉發到待發往的伺服器的適當的轉發信息。在圖1所示的實施例中，LB組1110包括連接到L3PF/L2S裝置102上用於處理L2域2108的網絡業務的兩個伺服器104。如LB組1110內所示，伺服器1104具有唯一的IPv4 地址 192.154.234.5 和 MAC 地址 10-F3-27-51-22-7A，並且伺服器 2104 具有唯一的 IPv4 地址 192.154.234.12 和 MAC 地址 02-11-34-4E-4B-47。LB 組 2110 包括連接到 L3PF/L2S裝置102上用於處理L2域1108的網絡業務的兩個伺服器104。如圖所示，在LB組2110中，伺服器3104具有唯一的IP v4地址192.128.10.6和MAC地址00-53-23-C0-FE-FF，月艮務器 4104 具有唯一的 IP v4 地址 192.128.10.4 和 MAC 地址 00-23-13-D0-3B-FF。應理解的是，圖1所示的IP v4地址、VLAN標識符和MAC地址表示連接信息的可能形式，並且可以使用其它形式。例如，在本文描述的無狀態負載平衡中可以使用其它或額外的連接信息，例如不同IP版本(例如，IP V6)或者來自一個或多個OSI層的額外信息(例如，UDP/TCP埠號、應用層信息)。圖2為根據本文公開的主題的實施例的用於執行無狀態負載平衡的示例性層3ECMP轉發表和ECMP數據結構的圖。根據RFC2991和2992 (其全部內容以引用方式併入本文)，ECMP是層3轉發裝置或路由器使用的利用多路由或下一跳來路由分組的路由實現。因此，ECMP路由傳統上被用於利用多個等價路由將分組路由到(例如，通過域間網絡)相同目的地(或目的地網絡)。根據本主題的一個方面，層2轉發裝置能夠利用層3功能(例如，層3轉發表(在本文中也稱作層3轉發資料庫(FDB))和ECMP路由硬體)來實現層2交換操作。在一個實施例中，層2轉發裝置利用ECMP路由功能來實現層2域內(例如相同子網和相同VLAN內的目的地)的負載平衡。為了利用ECMP路由功能實現負載平衡，層2轉發裝置可以包括具有LB組信息和相關轉發信息的一個或多個層3轉發數據結構。參見圖2，負載平衡組和相關轉發信息(例如，下一跳信息)可以存儲在一個或多個路由查找表中。路由表200表示用於維持VIP位址和LB組之間的關聯的數據結構(例如，轉發表)。在一個實施例中，LB組指的是ECMP組。例如，負載平衡組的伺服器可以是發往與負載平衡組相關的VIP位址的分組的等價下一跳。ECMP組下一跳散列表(NHHT) 202表示用於維持與LB組或ECMP組的伺服器相關的轉發信息的數據結構(例如，利用散列值執行查找的轉發表)。將理解的是，路由表200和NHHT202是表示負載平衡和相關轉發信息的多種可能方式中的一種。還將理解的是，數據結構、格式以及使用中的變型是可能的且是預期的。例如，可以使用多個路由表200，例如為每個層2域使用一個路由表200。另外，可以使用多個NHHT202表示一個或多個LB組。例如，NHHT202可以包括來自一個或多個網絡、VLAN等的LB組。此外，數據結構(例如，路由表200和NHHT202)可以包括額外的信息，可以被連結或被結合(例如，在路由表200和NHHT202中的信息可以在單個數據結構中，如層3轉發表或資料庫)，並且可以位於各個位置(例如，在L3PF/L2S裝置的I/O模塊處或者在單獨的負載平衡(LB)模塊中)。路由表200和NHHT202可以使用相同的或者單獨的硬體資源，例如第一存儲器和第二存儲器(例如，隨機存取存儲器(RAM))。在圖2所示的實施例中，路由表200和NHHT202包括與層2域(例如LAN或VLAN)相關的負載平衡數據。例如，路由表200和NHHT202可以包括關於與特定VLAN相關的LB組的信息。在路由表200中，每個表條目204包括VIP位址和與VIP位址相關的LB組。例如，路由表200示出具有VIP位址值為「192.154.234.2」和ECMP組值為「LB1」的條目204。ECMP組可以與一個或多個VIP位址相關。在一個實施例中，VIP位址與單個ECMP組相關。在第二實施例中，VIP位址可以與多個ECMP組相關。例如，VIP位址可以與兩個ECMP組相關。取決於額外參數(例如，起源IP位址、消息類型、有效載荷類型、接收到的埠號等)，一些業務流可以由第一 ECMP組處理，而其它業務流可以由第二 ECMP組處理。在該示例中，L3PF/L2S裝置可以利用策略用於確定在做出ECMP組確定時使用哪個額外參數。VIP位址和/或其它參數可以用於一個或多個數據結構的查找函數中。在圖2所示的實施例中，VIP位址可以用作路由表200的查找值。利用VIP位址作為路由表200的查找值，可以確定、選擇或提供LB組和/或相關轉發信息。例如，路由表200可以包括到額外數據或數據結構的連結(例如存儲器指針或引用)，例如，路由表200中的ECMP組欄位可以包括到包含轉發信息的一個或多個數據結構(例如，NHHT202 )的引用或指針。在一個實施例中，路由表200包括指向ECMP條目(例如，NHHT條目206)的32位(/32)條目(例如，IP或VIP位址)。在第二示例中，路由表200可以包括轉發信息(例如，路由表200的每個條目可以包括類似於NHHT202的下一跳信息)。在第三示例中，路由表200可以提供與其他數據結構(例如NHHT202) —起使用的信息(例如關鍵值)。在圖2中，NHHT202提供用於將分組轉發到LB組卿，ECMP組)「LB1」的伺服器的轉發信息。轉發信息包括用於朝向目的地(例如，伺服器)轉發分組的下一跳信息。在一個實施例中，轉發信息可以包括目的地MAC地址和出站埠(例如，用於傳輸來自L3PF/L2S裝置102的分組的埠)。額外的相關信息也可以被包含。例如，VIP位址、VLAN標識符、子網相關信息(例如，子網掩碼)、埠列表也可以包含於NHHT202中。為了查找，可以對NHHT202中的轉發信息進行索引。例如，NHHT202的條目206可以包括用於選擇下一跳信息的唯一索引值。在一個實施例中，通過比較計算出的散列值和與NHHT202中的條目206相關的索引值，L3PF/L2S裝置可以選擇包含轉發信息(例如，下一跳信息)的條目206 (在本文中也稱作存儲桶(bucket))。散列值可以通過將分組相關信息輸入到一個或多個散列函數而產生。如在本文中使用的，散列函數指的是將多個潛在的大小可變的數據(例如，分組的一個或多個參數或者欄位值)轉換成較小數據集(例如，整數)的數學函數，所述數據集可以用作陣列或者其它數據結構中(例如，NHHT202)的索引。散列實現可以包括一個或多個散列函數。在一個實施例中，通過使用與分組相關的一個或多個變量的散列實現來計算散列值。變量可以包括分組中的各個欄位，例如源IP位址、目的地IP位址、層3信息、層2信息、層4信息；SIP信息、層4源埠、層4目的地埠、傳輸控制協議(TCP)埠信息、用戶數據報協議(UDP)埠信息，以及一個或多個隧道欄位參數。根據本主題的一個方面，散列值可以用於確定或選擇用於接收或處理給定網絡流(即，相關分組)的伺服器。例如，散列函數可以利用來自分組中的源地址和目的地地址以及TCP或UDP埠信息來計算散列值。比較所述散列值與NHHT202中的索引值，可以選擇包含與伺服器相關的轉發信息的存儲桶。將理解的是，基於分組的散列函數通常應該為網絡業務流中每個分組選擇相同的伺服器，因而將每個網絡業務流提供給相同的伺服器。在圖2所示的實施例中，NHHT202包括包含與負載平衡伺服器相關的信息(例如，VIP位址和下一跳信息)的條目206。每個條目206具有索引值、出站埠、出站VLAN標識符、MAC地址，以及VIP位址。如NHHT202中所示出的，每個條目206具有唯一的索引值。每個條目還具有相同的VIP位址值「192.154.234.2」，表示ECMP組「LB1」中的每個伺服器可以接收發往該VIP位址的分組。每個條目206還具有出站VLAN標識符值「VLAN1」，表示每個下一跳(例如，ECMP組的伺服器)位於相同的VLAN中。在一個實施例中，具有相同MAC地址的條目206還將包括用於出站VLAN和出站埠的相同值。在第二實施例中，具有相同MAC地址的條目206可以具有用於出站埠或出站VLAN的各種值。例如，可以將L3PF/L2S裝置配置為通過伺服器的不同接口轉發不同種類的業務。在一些實施例中，多個MAC地址可以使用相同的出站埠或出站VLAN。例如，伺服器可以具有多個MAC地址。每個MAC地址可用於不同的接口或用於不同的業務。NHHT202可以包括多個存儲桶或條目206。在一個實施例中，一個或多個伺服器可以與多個條目206相關。例如，可以對伺服器加權來比LB組的其它伺服器處理更多或更少部分的網絡業務。這樣，如果伺服器將要處理較多部分的網絡業務，則伺服器可以與更多的存儲桶(即，條目206)相關；而如果伺服器將要處理較少部分的網絡業務，則伺服器可以與更少的存儲桶相關。換句話說，NHHT202中與伺服器相關的條目206越多，通常將要轉發給伺服器的網絡業務(例如，流)也就越多。確定與伺服器相關的加權可以包括利用各種度量或變量。在一個實施例中，確定加權可以基於計算和網絡度量，例如與帶寬和計算資源(例如，CPU處理速度和存儲器)相關的度量。加權確定可以是動態的或靜態的。例如，基於CPU處理速度和安裝在伺服器上的總共存儲器(例如，RAM)可以在初始時間確定與伺服器相關的加權。在第二示例中，加權可以被周期性地確定或者隨著資源的可用性改變而動態地確定(例如，如果伺服器出現問題或者如果連結到伺服器上的網絡失靈，則可以改變加權)。由於加權可能會影響NHHT202中條目206的數量，所以與伺服器相關的條目206可能改變。在一個實施例中，L3PF/L2S裝置可以延遲或等待來調整伺服器的加權，從而維持流的持久性(即，因為條目206和散列值關聯改變，所以相關的分組不會被發送到不同的伺服器)。在一個實施例中，L3PF/L2S裝置可以確定是否以及何時調整加權或條目206。例如，當新伺服器「在線」(即，被配置用於負載平衡)時或當伺服器變得不可用時，L3PF/L2S裝置可以為所有的伺服器調整加權以便減少被中斷的流的數量。如可從圖2看出的，NHHT202的一部分未被示出。特別地，豎直橢圓用於表示索引值範圍在相鄰條目206的索引值之間的條目。在NHHT202中，索引範圍208可以包括在索引值為「0」的條目和索引值為「100」的條目之間的垂直橢圓。在該示例中，垂直橢圓表示99個條目，其每一個具有包含於I和99之間的唯一索引值。每個範圍208可以與下一跳或目的地(例如，伺服器)相關。這樣，給定索引範圍208的條目206可以包括冗餘(S卩，重複)信息。在一個實施例中，索引範圍208對應於伺服器加權。例如，如果NHHT202具有256個存儲桶或條目206並且每個條目具有唯一的索引值(例如，在0至255之間)，則包括101個條目206的範圍208通常表示接收定向到給定LB組或VIP位址的網絡業務的101/256或超過39%的目的地(例如，伺服器)，所述101個條目206中的每一個具有相同的下一跳信息和唯一的索引值(例如，包含於0至100之間)。雖然圖2中的範圍208由具有如圖所示相同轉發信息的條目206表示，但是也可以使用其它方式表不範圍208或重複轉發信息或下一跳信息。在一個實施例中，L3PF/L2S裝置一次(例如，在NHHT202的單個條目206中)可以存儲唯一的下一跳或轉發信息。與存儲的轉發信息相關的額外條目可以包括到所述信息的存儲器指針或引用，由此允許轉發裝置有效地利用存儲器資源並避免多次存儲相同的數據。
圖3為示出了與執行用於網絡業務流的無狀態負載平衡相關的示例性消息的消息流程圖。參見圖3，在消息流程圖的線I中，客戶端1106制定用於獲悉與VIP位址(圖3中用「VIP」表示)相關的MAC地址的ARP請求消息，並將該請求廣播到其層2域內的節點(例如，到相同子網和VLAN內的節點)。在線2，L3PF/L2S裝置102接收ARP請求。在一個實施例中，L3PF/L2S裝置102被配置為用作一個或多個VIP位址的ARP代理。例如，L3PF/L2S裝置102或其中的軟體(例如，作業系統(OS))可以利用代理ARP來響應用於VIP位址的ARP請求。在線3，L3PF/L2S裝置102用包含作為L3PF/L2S裝置的MAC地址的由「X」表示的MAC地址的ARP應答來響應ARP請求，並將ARP應答發送到客戶端1106。在線4，客戶端1106制定發往在目的地MAC地址欄位中的L3PF/L2S裝置102的MAC地址的分組，並將所述分組發送到L3PF/L2S裝置102。如圖3所示，所述分組包括分別由「S」和「X」表示的源MAC地址和目的地MAC地址。另外，所述分組包括由「I」表示的VLAN標識符。雖然在圖3中未示出，但是所述分組還可以包括額外信息，例如層3和層4信息。例如，分組可以包括具有客戶端1106的IP位址(由「A.C」表示)的源IP位址欄位以及具有VIP位址(由「VIP」表示)的目的地IP位址欄位。在線5，分組在L3PF/L2S裝置102處被接收。L3PF/L2S裝置102可以確定如何處理分組。在一個實施例中，L3PF/L2S裝置102或其中的軟體可以使用用於覆寫或抑制分組的負載平衡的觸發器或條件。例如，L3PF/L2S裝置102可以使用訪問控制列表(ACL)。如果相關分組中的信息與一些ACL準則(例如，TCP或UDP埠號)匹配，則L3PF/L2S裝置102可以將流轉發到特定伺服器104或者以特定方式處理分組(例如，丟棄可疑的或未經驗證的分組)。在第二示例中，如果分組未並發往VIP位址(或者如果分組未被發往L3PF/L2S裝置102的MAC地址)，則L3PF/L2S裝置102可以抑制負載平衡分組。如果分組未被負載平衡，則L3PF/L2S裝置102可以將分組轉發到與L3PF/L2S裝置102的轉發表中的目的地地址對應的埠。如果分組將被分組平衡(例如，分組的目的地MAC地址與L3PF/L2S裝置102的MAC地址相同，或者分組的目的地IP位址是VIP位址)，則L3PF/L2S裝置102在執行負載分配時可以使用層3功能(例如ECMP路由表和相關硬體)或其中的一部分。在一個實施例中，ECMP路由硬體可以用於實現用於確定接收分組的伺服器104的選擇算法。為了確定適當的伺服器104，L3PF/L2S裝置102可以檢查分組的VIP位址。如果發現了 VIP位址，則所述VIP位址可以用於確定執行負載平衡的伺服器組。例如，VIP位址可以用作包含VIP位址和ECMP組卿LB組)之間的關聯的層3數據結構(例如，如圖2所示的路由表200)中的查找值。基於分組信息的散列值可以確定伺服器104和用於將分組轉發給伺服器104的相關轉發信息。在一個實施例中，散列函數(例如，ECMP散列函數或者如RFC2991中所公開的方案)可以用於計算用於相關分組的相同散列值。例如，可以通過輸入分組的特定欄位(例如，源地址和目的地地址)來計算散列值。散列值可以與具有轉發信息的數據結構(例如，NHHT)的索引值相比較。如果找到了索引匹配(例如，散列值與和伺服器1104相關的存儲桶的索引匹配)，則可以使用條目中的轉發信息。如上所述，L3PF/L2S裝置102 —般應該為相關分組計算相同的散列值，由此向相同的伺服器104提供網絡業務流，而不需要為流存儲狀態信息。在線6，L3PF/L2S裝置102修改分組來包括與伺服器1104相關的轉發信息，並將分組轉發給伺服器1104。例如，L3PF/L2S裝置102可以使用來自NHHT的伺服器1104的轉發信息。L3PF/L2S裝置102可以將分組的目的地MAC地址欄位替換為伺服器1104的唯一MAC地址。L3PF/L2S裝置102還可以將分組的源MAC地址欄位替換為L3PF/L2S裝置102的MAC地址。另外，可以將分組的出站VLAN欄位替換為與伺服器1104相關的VLAN標識符。在圖3中，將理解的是，由於分組在相同的域內轉發，所以將VLAN標識符替換為相同的值。如圖3所示，分組包括與伺服器1104相關的目的地MAC地址(由「 Y」表示)和L3PF/L2S裝置102的源MAC地址(由「X」表示)。在線7，伺服器1104接收分組並相應處理所述分組。在線8，伺服器1104響應於接收到的分組而制定分組並將其向客戶端1106傳輸(例如，所述分組可以經由其在伺服器1104處被接收到的埠向客戶端1106傳輸)。在一個實施例中，響應分組可以包括具有伺服器1104的唯一 MAC地址的源MAC地址欄位。隨後客戶端106可以利用伺服器的MAC地址將額外的相關分組(例如，在相同網絡業務流中的分組)發往伺服器。如果將分組發往伺服器104的唯一 MAC地址，則L3PF/L2S裝置102可以執行直接伺服器轉發(例如，利用層2轉發資料庫而不利用負載平衡算法，將分組轉發到客戶端請求的伺服器104)。在第二實施例中，響應分組可以在源MAC地址欄位中包括L3PF/L2S裝置102的MAC地址。在圖3所示的實施例中，響應分組包括分別由「V，和「S」表示的源MAC地址和目的地MAC地址。另外，響應分組包括由「 I」表示的VLAN標識符。雖然在圖3中未示出，但是分組還可以包括諸如層3和層4信息的額外信息。例如，分組可以包括具有VIP位址(由「VIP」表示)的源IP位址欄位和具有客戶端1106的IP位址(由「A.C」表示)的目的地IP位址欄位。在線8，客戶端1106制定用於獲悉與伺服器2104的IP位址(由「A.B」表示)相關的MAC地址的ARP請求消息，並將該請求廣播到其層2域(例如，其物理LAN或VLAN)內的節點。L3PF/L2S裝置102接收ARP請求並向伺服器2104轉發分組。雖然L3PF/L2S裝置102具有執行用於層3地址(例如VIP位址)的代理ARP的功能，但是L3PF/L2S裝置102可以轉發未配置用於代理ARP的層3地址的ARP請求，而不發送應答。換句話說，到所有非VIP位址(例如，伺服器2104的IP位址)的ARP請求可以經過層2處的L3PF/L2S裝置102而轉向其目的地。例如，L3PF/L2S裝置102可以利用層2轉發表來向目的地轉發APR請求，或者如果未能獲悉目的地則可以將ARP請求廣播到層2域。圖4為根據本文描述的主題的實施例的適於無狀態負載平衡的示例性轉發裝置的框圖。應理解的是，雖然圖4所示的層3分組轉發和層2交換裝置表示適於無狀態負載平衡的轉發裝置的一個可能的實現，但是可以利用其它轉發裝置實現本文描述的主題。市場上可獲得的適於與本文描述的主題的實施例一起使用的分組轉發裝置的一個示例是可從加利福尼亞，聖克拉拉的極進網絡公司獲得的Summit# X450系列交換機。參見圖4，L3PF/L2S裝置102可以利用在硬體、固件和/或軟體中實現的模塊來執行無狀態負載平衡。例如，L3PF/L2S裝置102可以包括用於發送和接收分組的多個輸入/輸出(I/O)模塊400。每個I/O模塊400可以包括用於連接到外部網絡的一個或多個I/0埠 402。在一個實施例中，每個I/O模塊400可以包括查找引擎404、埠列表(和/或下一跳)數據結構406，以及一個或多個層3轉發資料庫408。埠列表數據結構406包括用於向目的地轉發分組的埠標識符。在一個實施例中，與負載平衡伺服器相關的下一跳信息(例如，如圖2的NHHT202中所示)可以與埠列表信息一起被包含。層3轉發資料庫408可以包括VIP位址和相關的ECMP組數據。在一個實施例中，層3轉發資料庫408還可以包括下一跳信息(例如，如圖2的NHHT202中所示)。查找引擎404可以基於VIP位址在資料庫408中執行查找來確定在下一跳數據結構406中的匹配ECMP組。負載平衡(LB)模塊410可以提供在一組伺服器中對分組進行負載平衡的功能。在一個實施例中，LB模塊410可以包括用於無狀態負載平衡的ECMP路由模塊。LB模塊410可以為給定分組確定LB組(例如，ECMP組)。另外，LB模塊410可以確定在LB組中哪個伺服器轉發分組，並確定利用相關的下一跳信息轉發分組的功能。特別地，模塊410可以包括用於計算在選擇負載平衡網絡業務流的伺服器時使用的散列值的散列實現。模塊410還可以包括用於以下一跳信息修改分組以及向適當伺服器轉發分組(例如，經由在數據結構406中所公開的出站埠)的功能。在替換實施例中，LB模塊410可以包括一個或多個層3模塊或組件，例如，模塊410可以包括諸如查找表和數據結構(其在圖4中被分別示出)的組件或模塊。雖然在圖4中示出單個查找引擎404用於執行層3轉發查找，但是本文描述的主題並不限於這種實現。例如，可以包括額外的表、查找引擎以及其它組件。特別地，可以呈現層2轉發資料庫或相關模塊用於執行正常(即，非負載平衡)層2交換操作。交換結構412在I/O模塊400和交換機管理模塊414之間交換分組。交換機管理模塊414可以包括層3軟體獲悉引擎416、主層3轉發資料庫418、軟體查找引擎420和代理ARP功能422。交換機管理模塊414及其內部的組件(例如，軟體獲悉引擎416、主層3轉發資料庫418、軟體查找引擎420和代理ARP功能422)可以存儲在存儲器424中並由CPU426執行。交換機管理模塊414可以包括用於執行伺服器的正常檢查的軟體(例如，作業系統)，以及用於允許在層2經由層3模塊(例如，LB模塊)進行無狀態負載平衡的組件和其它功能。獲悉引擎416可以包括用於與其它節點交換路由協議信息的路由協議軟體。因此，獲悉引擎416可以將已被獲悉的條目增加到主軟體FDB418。獲悉引擎416或其它模塊可以使用一個或多個協議(例如，網際網路控制消息協議(ICMP)、ARP等)，或者可以出於正常檢查的目的而試圖連接到伺服器的應用或服務上。例如，利用諸如ICMP的控制路徑協議(例如，發送Ping命令)，為了負載平衡的目的，L3PF/L2S裝置102可以確定伺服器是可用還是不可用。基於該確定，L3PF/L2S裝置102可以使得伺服器「在線」或「離線」。主層3轉發資料庫418可以包括一份在由I/O模塊400維持的基於硬體的層3轉發資料庫408中所有的條目，以及由利用通過軟體416實現的層3路由協議獲悉的任何額外條目的拷貝。軟體查找引擎420可以在主層3轉發資料庫418中執行查找這樣的分組:其由I/O模塊400接收並且不能利用每個I/O模塊在本地維持的層3轉發數據進行轉發(「慢路徑」處理)。如上所述，期望的是，通過保存埠列表硬體資源406來限制查找引擎420執行的分組的「慢路徑」處理的量。代理ARP功能422可以提供以裝置的介質訪問控制(MAC)地址響應來自客戶端的ARP請求的功能，所述ARP請求包括由裝置和耦合到該裝置上的多個伺服器所分配的虛擬IP (VIP)地址。例如，代理ARP功能422可以包括以下功能:檢查VIP位址接收到的每個ARP請求，並且如果ARP請求包括VIP位址則以其自己的MAC地址(S卩，L3PF/L2S裝置102的MAC地址)進行應答。
圖5為根據本文描述的主題的實施例的用於執行網絡業務流的無狀態負載平衡的示例性過程的流程圖。示例性過程可發生在層3分組轉發和層2交換裝置(例如，包括LB模塊的層2交換機)處。參見圖5，在步驟500處，層3分組轉發和層2交換裝置以該裝置的介質訪問控制(MAC)地址響應來自於客戶端的地址解析協議(ARP)請求，所述ARP請求包括由裝置和耦合到該裝置上的多個伺服器所分配的虛擬IP (VIP)地址。例如，客戶端節點可以廣播用於VIP位址的ARP請求。層3分組轉發和層2交換裝置可以被配置為以包含其MAC地址的應答來確認用於VIP的ARP請求。在步驟502處，層3分組轉發和層2交換裝置從客戶端接收發往VIP位址且具有所述裝置的MAC地址的分組。例如，位於一個VIP位址的相同子網內且與相同的VLAN相關的客戶端節點可以構造發往所述VIP位址的分組，所述VIP位址包括作為分組的目的地MAC地址的轉發裝置的MAC地址。客戶端節點響應於發送用於VIP位址的ARP請求而已經接收到L3PF/L2S裝置的MAC地址。在步驟504，層3分組轉發和層2交換裝置利用層3轉發操作(其對於客戶端而言表現為層2交換操作)在伺服器之間負載分配分組。在一個實施例中，層3轉發操作對客戶端或網絡而言可以表現為層2交換操作，這是因為來自客戶端節點且待被負載分配的分組被轉發到在相同層2域中作為客戶端節點或表現為客戶端節點的伺服器節點。例如，被發往相同物理和/或虛擬LAN中的節點或來自所述節點(例如，在相同子網和相同VLAN內的源節點和目的地節點)的分組在網絡或客戶級別可能表現為層2交換的。將理解的是，雖然在層2域內的分組輸送對於客戶端而言表現為層2交換操作，但是層3分組轉發和層2交換裝置仍可被配置為為了負載平衡的目的而使用層3轉發功能。例如，層3分組轉發和層2交換裝置可以使用LB模塊用於向與VIP位址相關的負載平衡伺服器傳輸分組。在一個實施例中，對分組執行層2交換操作包括在一個或多個層3轉發資料庫中利用VIP位址執行查找，以確定用於選擇下一跳信息的負載平衡組。在對分組執行了散列(例如，將一個或多個分組欄位輸入到散列函數中並輸出散列值)之後，將散列值用於確定或選擇負載平衡組中用於接收分組的伺服器。可以用與所選伺服器相關的下一跳信息修改分組，並且將所述分組向用於處理的目的地轉發。將理解的是，相關分組(例如，在相同網絡業務流內的分組)應該產生相同的散列值，並且這樣所述分組應該被轉發到相同的伺服器。因此，可以執行向相同的伺服器轉發相同網絡業務流的分組，而不為所述流存儲狀態信息，並且層3分組轉發和層2交換裝置可以使用層3轉發功能(例如，ECMP路由模塊)以用於網絡業務流的無狀態負載平衡。應理解的是，在不偏離當前公開主題的範圍的情況下，可改變當前公開主題的各種細節。此外，前述描述僅是用於說明的目的，而不是為了限制的目的。
權利要求
1.一種用於執行網絡業務流的無狀態負載平衡的方法，所述方法包括: 在層3分組轉發和層2交換裝置處: 以所述裝置的介質訪問控制(MAC)地址響應來自客戶端的地址解析協議(ARP)請求，所述ARP請求包括由所述裝置和耦合到所述裝置的多個伺服器所分配的虛擬IP (VIP)地址； 從所述客戶端接收發往所述VIP位址且具有所述裝置的所述MAC地址的分組；以及利用對所述客戶端而言表現為層2交換操作的層3轉發操作在所述伺服器中負載分配所述分組。
2.根據權利要求1所述的方法，其中，利用層3轉發操作來負載分配所述分組包括: 確定對應於所述VIP位址的等價多路徑(ECMP)組，並且在所述ECMP組中的伺服器中負載分配所述分組。
3.根據權利要求1所述的方法，其中，所述伺服器具有不同的MAC地址。
4.根據權利要求1所述的方法，其中，所述伺服器是相同虛擬區域網(VLAN)的成員。
5.根據權利要求1所述的方法，其中所述伺服器是不同虛擬區域網(VLAN)的成員，並且其中，所述層3分組轉發和層2交換裝置被配置為按每個VLAN的基礎，利用用於不同VLAN的不同VIP位址來執行所述負載分配。
6.根據權利要求1所述的方法，包括向相同的伺服器轉發相同的網絡業務流的分組，而不為所述流存儲狀態信息 。
7.根據權利要求1所述的方法，其中，所述層3分組轉發和層2交換裝置被配置為主動檢查所述伺服器的狀態，並基於所述狀態更新負載分配信息。
8.根據權利要求1所述的方法，其中，發往個體伺服器的分組被所述層3轉發和層2交換裝置轉發到所述伺服器，而不執行負載分配。
9.根據權利要求1所述的方法，其中，所述層3分組轉發和層2交換裝置將面向網絡的埠和面向伺服器的埠配置到單個VLAN。
10.根據權利要求1所述的方法，其中，所述層3分組轉發和層2交換裝置將面向網絡的埠和面向伺服器的埠配置到多個VLAN，其中，每個VLAN包括一個或多個面向網絡的埠以及一個或多個面向伺服器的埠。
11.根據權利要求1所述的方法，其中，所述伺服器接收與和所述伺服器相關的加權對應的量的網絡業務。
12.根據權利要求11所述的方法，其中，所述加權是利用一個或多個因素確定的，所述因素包括中央處理單元(CPU)資源、存儲器資源以及相對於其它伺服器的可用資源。
13.根據權利要求1所述的方法，其中，利用層3轉發操作來對所述分組進行負載分配包括:利用所述分組中的參數來訪問等價多路徑(ECMP)路由表以執行負載分配。
14.根據權利要求1所述的方法，其中，所述IP分組轉發裝置利用訪問控制列表(ACL)確定是否負載平衡網絡業務流。
15.一種用於執行無狀態負載平衡的層3分組轉發和層2交換裝置，所述裝置包括: 代理地址解析協議(ARP)功能模塊，用於以所述裝置的介質訪問控制(MAC)地址響應來自客戶端的ARP請求，所述ARP請求包括由所述裝置和耦合到所述裝置的多個伺服器分配的虛擬IP (VIP)地址；以及負載平衡模塊，用於從所述客戶端接收發往所述VIP位址且具有所述裝置的所述MAC地址的分組，並且所述負載平衡模塊用於利用對所述客戶端而言表現為層2交換操作的層3轉發操作在所述伺服器中負載分配所述分組。
16.根據權利要求15所述的裝置，其中，所述伺服器具有不同的MAC地址。
17.根據權利要求15所述的裝置，其中，所述伺服器是相同虛擬區域網(VLAN)的成員。
18.根據權利要求15所述的裝置，其中，所述伺服器是不同虛擬區域網(VLAN)的成員，並且其中，所述負載平衡模塊被配置為按每個VLAN的基礎利用用於不同VLAN的不同VIP位址來執行所述負載分配。
19.根據權利要求15所述的裝置，其中，所述負載平衡模塊被配置為向相同的伺服器轉發相同的網絡業務流的分組，而不為所述流存儲狀態信息。
20.根據權利要求15所述的裝置，其中，所述裝置被配置為主動檢查所述伺服器的狀態，並基於所述狀態更新負載分配信息。
21.根據權利要求15所述的裝置，其中，所述裝置被配置為轉發發往個體伺服器的分組，而不執行負載分配。
22.根據權利要求15所述的裝置，其中，所述裝置被配置為將面向網絡的埠和面向伺服器的埠分組到單個VLAN。
23.根據權利要求15所述的裝置，其中，所述裝置被配置為將面向網絡的埠和面向伺服器的埠 分組到多個VLAN，其中每個VLAN包括一個或多個面向網絡的埠以及一個或多個面向伺服器的埠。
24.根據權利要求15所述的裝置，其中，所述負載平衡模塊被配置為對應於與所述伺服器相關的加權而在所述伺服器中間對分組進行負載分配。
25.根據權利要求24所述的裝置，其中，所述加權是利用一個或多個因素確定的，所述因素包括中央處理單元(CPU)資源、存儲器資源以及相對於其它伺服器的可用資源。
26.根據權利要求15所述的裝置，其中，所述負載平衡模塊被配置為利用所述分組中的參數來訪問等價多路徑(ECMP)路由表以執行負載分配。
27.根據權利要求15所述的裝置，包括: 訪問控制列表(ACL)，用於確定是否負載平衡網絡業務流。
28.一種包含電腦程式的非瞬態計算機可讀介質，所述電腦程式包括計算機可執行指令，當由計算機的處理器執行所述指令時，執行包括以下的步驟: 在層3分組轉發和層2交換裝置處: 以所述裝置的介質訪問控制(MAC)地址響應來自客戶端的地址解析協議(ARP)請求，所述ARP請求包括由所述裝置和耦合到所述裝置的多個伺服器所分配的虛擬IP (VIP)地址； 從所述客戶端接收發往所述VIP位址且具有所述裝置的所述MAC地址的分組；以及 利用對所述客戶端而言表現為層2交換操作的層3轉發操作在所述伺服器中對所述分組進行負載分配。
全文摘要
公開了用於執行網絡業務流的無狀態負載平衡的方法、系統和計算機可讀介質。根據一個方案，本文描述的主題包括用於執行網絡業務流的無狀態負載平衡的方法。所述方法發生在層3分組轉發和層2交換裝置處。所述方法包括以所述裝置的介質訪問控制(MAC)地址響應來自客戶端的地址解析協議(ARP)請求，所述ARP請求包括由所述裝置和耦合到所述裝置上的多個伺服器所分配的虛擬IP(VIP)地址。所述方法還包括從所述客戶端接收發往所述VIP位址且具有所述裝置的所述MAC地址的分組。所述方法還包括利用對所述客戶端而言表現為層2交換操作的層3轉發操作在所述伺服器中負載分配所述分組。
文檔編號H04L29/12GK103155500SQ201180034314
公開日2013年6月12日 申請日期2011年5月16日 優先權日2010年5月14日
發明者D·B·小格羅塞爾, H·L·小理查森 申請人:極進網絡公司