用於意識到內容的負載均衡的系統和方法

2023-04-28 12:42:36

專利名稱：用於意識到內容的負載均衡的系統和方法
技術領域：
本發明大體涉及信息系統，並且更具體地涉及用於在這種信息系 統中進行意識到內容的負栽均衡的技術。
背景技術：
一般說來，信息系統是根據用戶的請求對用戶提供某種形式的響
應的數據處理系統。網際網路或全球資訊網(WWW或"web，，)就是目前存 在的很普及的信息系統。
與網際網路相關聯的可擴展的網站一般包括一個或多個負栽均衡 器，用於將請求路由到多個伺服器。用於負栽均衡這些請求的技術對 整個系統的性能具有相當大的影響。如果請求被以意識到內容的方式 路由，那麼負栽均衡器就能夠意識到請求的內容並可作出更智能的路 由決定。
與非意識到內容的路由相比，意識到內容的路由的一個缺陷是意 識到內容的路由經常帶來相當多的開銷。因此，用於執行意識到內容 的路由的好處必須足夠多，以為較高的開銷辨護。
意識到內容的路由技術已經被提出，例如由V. Pai等人在1998 年10月的ASPLOS-VIII會議記錄"在基於集群的網絡伺服器中意識 到位置的請求分酉己 (Locality-Aware Request Dstribution in Cluster-Based Network Servers )"中描述的那樣，其公開內容在此被 結合進來作為參考。然而，在上述網絡中公開的意識到內容的路由主 要用於靜態請求，因此使用用於選擇不總是很好地適用於動態請求的 伺服器的技術。在C. S. Yang等人的第二屆關於網際網路技術和系統的 USENIX/IEEE討論會(USITS ，99)會議記錄"用於在網絡伺服器集
群中進行基於內容的路由的有效支持(Efficient Support for Content-Based Routing in Web Server Clusters )，，中描述的技術提供 了僅用於靜態內容的意識到內容的路由，其公開內容在此被結合進來 作為參考。因此，意識到內容的路由中的現有網絡並不能有效處理出 現在主要部署中的數據分區問題。
因此，存在對這樣一種技術的需求，該技術能夠克服上述提到的 和其他的與現有意識到內容的路由技術相關聯的局限性。

發明內容
本發明提供了改善的負栽均衡技術。
例如，在本發明的第一方面，用於在包括多個伺服器的系統中滿 足請求的方法包括以下步驟。至少一個負栽均衡器被提供用於將請求 路由到所述多個伺服器。在該至少一個負栽均衡器處，從客戶端發送 的請求被獲得。在該至少一個負栽均衡器處，該請求被檢查。由所述 多個伺服器中的至少兩個伺服器來滿足該請求的成本被估計。該估計 是基於用於滿足該請求的至少一個遠程訪問的數量和成本中的至少 一個的。將該請求路由到所述多個伺服器中具有低的估計出的滿足該 請求的成本的一個伺服器。
所述路由步驟可通過將請求分類到分區中並將該請求路由到掌 管該分區的伺服器來完成。在所述提供至少一個負栽均衡器的步驟 中，該至少一個負載均衡器可包括至少一個將請求路由到多個意識到 內容的負栽均衡器的非意識到內容的負載均衡器。此外，在所述提供 至少一個負栽均衡器的步驟中，所述多個意識到內容的負載均衡器中 的至少一個可駐存在所述多個伺服器中的至少一個上。
所述估計成本的步驟可進一步包括檢查包括在該請求中的至少 一個參數以及使用關於數據如何在所述多個伺服器間被分區的信息 來估計用於滿足該請求的遠程訪問的數量和成本中的至少一個的步 驟。所述獲取請求的步驟可進一步包括獲取使用傳輸控制協議/網際網路 協議被發送的請求，並且所述檢查該請求的步驟可進一步包括接受
TCP連接。所述估計成本的步驟可包括估計資源利用率的測量值和用 於滿足該請求的期望服務級別中的至少一個。此外，所述估計成本的 步驟可隨著伺服器數量和時間中的至少一個而變化。而且，在該在所 述至少一個負栽均衡器處獲取來自客戶端的請求的步驟中，該請求可 包括對動態數據的請求。
在本發明的第二方面，在包括多個伺服器的系統中滿足請求的方 法包括以下步驟。至少一個負栽均衡器被提供用於將請求路由到所述 多個伺服器。在所述至少一個負栽均衡器處，從客戶端發送的請求被 獲取。在所述至少一個負栽均衡器處，該請求被檢查.由所述多個服 務器中的至少兩個伺服器來滿足該請求的成本被估計。在估計步躁中 獲取的信息和該請求一起被從該負栽均衡器發送到所述多個伺服器 中的一個伺服器。在該伺服器處，該信息被用來滿足該請求。
在本發明的第三方面，用於滿足來自至少一個客戶端的請求的系 統包括多個伺服器、至少 一個用於將請求路由到所述多個伺服器的意 識到內容的負栽均衡器、以及至少一個與該至少一個意識到內容的負 栽均衡器相關聯的成本分析器，其中所述成本分析器用於基於用於滿 足請求的遠程訪問的數量和成本中的至少 一個來估計由不同伺服器 滿足請求的成本。
在本發明的第四方面，用於在包括多個伺服器的系統中滿足來自 至少一個客戶端的請求的裝置包括存儲器和至少一個處理器，該處理
器耦合到該存儲器並操作用於(i)獲取來自客戶端的請求；(ii) 檢查該請求的內容；以及(iii)基於估計用於滿足該請求的至少一個 遠程訪問的數量和成本中的至少 一個來估計由所述多個伺服器中的 至少兩個伺服器來滿足該請求的成本。然後該請求可以被路由到所述 多個伺服器中的具有低的估計出的滿足該請求的成本的一個路由器。 在本發明的第五方面，在包括多個伺服器的系統中滿足來自至少 一個客戶端的請求的方法包括以下步驟。從客戶端獲取請求。該請求 的內容被檢查。由所述多個伺服器中的至少兩個伺服器滿足該請求的 成本被估計。該估計是基於用於滿足該請求的至少一個遠程訪問的數
量和成本中的至少一個的。然後該請求可以被路由到所述多個伺服器 中具有低的估計出的滿足該請求的成本的一個伺服器。
在本發明的第六方面， 一種用於在包括多個伺服器的系統中滿足 來自至少一個客戶端的請求的製品包括包含有一個或多個程序的機
器可讀媒體，該一個或多個程序被執行時實施以下步驟獲取來自客
戶端的請求，檢查該請求的內容，以及基於估計用於滿足該請求的至 少一個遠程訪問的數量和成本中的至少一個來估計由所述多個服務
器中的至少兩個伺服器來滿足該請求的成本。然後該請求可以被路由 到所述多個伺服器中具有低的估計出的滿足該請求的成本的 一個路 由器。
在本發明的第七方面， 一種提供負栽均衡服務的方法包括服務提 供商向顧客提供服務的步驟，其包括獲取來自客戶端的請求，檢查 該請求的內容，以瓦基於估計用於滿足該請求的至少一個遠程訪問的 數量和成本中的至少一個來估計由所述多個伺服器中的至少兩個服 務器來滿足該請求的成本。然後該請求可以被路由到所述多個伺服器 中具有低的估計出的滿足該請求的成本的一個伺服器。
本發明的這些和其他目的、特徵和優點將從以下結合附圖閱讀的 對本發明說明性實施例的詳細描述中變得明顯。


圖l是根據本發明的一個實施例圖示伺服器系統架構的圖2是根據本發明的一個實施例圖示用於分級意識到內容的負 栽均衡器的系統的圖3是根據本發明的一個實施例圖示其中意識到內容的負載均 衡器與伺服器相集成的系統的圖4是根據本發明的一個實施例圖示用於負載均衡請求的方法
的圖5是根據本發明的一個實施例圖示用於基於成本選擇伺服器 的方法的圖；以及
圖6是根據本發明的一個實施例圖示負栽均衡系統的一個或多 個組件/步驟可按照其實施的計算系統的圖。
具體實施例方式
本發明將在下面在說明性的基於網際網路或web的客戶端-服務 器環境的上下文中被解釋。然而，應當理解本發明並不局限於這種因 特網或web的實施方式。而應是，本發明更一般性地適用於其中期望 提供增強的負栽均衡性能的任何基於請求的環境中。
此外，響應於請求而將被服務的內容在此一般被稱作"對象"。"對 象"可採用多種形式，並且應當理解本發明並不局限於任何特定形式。 例如，對象可以是電子文檔，比如一個或多個網頁。本領域技術人員 可以以各種不同的電子文檔格式使用本發明，其中該文檔格式包括但 不局限於HTML (超文本標記語言)文檔、XML (可擴展標記語言) 文檔、其他格式的文本文檔、以及二進位文檔。同樣，短語"電子文 檔"也應被理解為包括文本數據、二進位數據、 一個或多個字節流等 等中的一個或多個。因此，本發明並不局限於數據對象的任何特定類 型。而且，應當理解術語"開銷，，可包括但不局限於計算機CPU(中央 處理單元)循環、網絡帶寬消耗、盤、I/O (輸入/輸出)等等。
首先參考圖1，圖示了一種根據本發明一個實施例的一種伺服器 系統架構。如圖所示， 一個或多個客戶端(例如102-1......102-M)
發送一個或多個請求到伺服器系統103。應當明白客戶端(僅作為示 例，可以是個人計算機、個人數字助理、蜂窩電話等等)可經由因特 網或一些其他有線和/或無線通信網絡被耦合到伺服器系統103。本發 明並不局限於任何特定的通信網絡。同樣，應當理解術語"請求"並不 僅僅局限於對從該伺服器系統返回數據內容的請求。根據特定應用， 請求可具有不同目的和/或尋求不同結果。本發明並不局限於任何特定 類型的請求。
伺服器系統103包括負栽均衡器104、成本分析器106、以及多 個伺服器108-1......108-N。成本分析器106協助負栽均衡器104
確定請求應當被路由到所述多個伺服器中的哪一個。該負載均衡器可
以是意識到內容的。換句話說，負載均衡器104可具有確定請求的內 容的能力以作出更智能的路由決定。
意識到內容的負載均衡器比非意識到內容的負載均衡器在處理 請求中會帶來多得多的開銷。例如，如果通信經由傳輸控制協議/因特 網協議(TCP/IP)發生，那麼意識到內容的負載均衡器一般會接受 TCP連接以檢查請求的內容。該步猓帶來可觀的開銷並且一般是非意 識到內容的負栽均衡器所不需要的。
本發明的原理提供了按比例增加意識到內容的負栽均衡器的特 徵以處理高請求率。圖2描述了這一特徵。
現在參考圖2，其根據本發明一個實施例圖示了用於擴張意識到 內容的負載均衡器的系統。如圖所示，伺服器系統202包括非意識到 內容的負栽均衡器204和多個意識到內容的負栽均衡器206 -1......206-P。
從一個或多個客戶端(未示出)接收到的請求初始被路由到非意 識到內容的負載均衡器204，然後非意識到內容的負載均衡器204將 請求路由到所述多個意識到內容的負載均衡器206-1......206-P中
的一個或多個。意識到內容的負栽均衡器比任何一個單獨的意識到內 容的負栽均衡器具有更高的吞吐量。非意識到內容的負載均衡器可使 用各種方案來發送請求到意識到內容的負栽均衡器，包括但不局限於 循環法或考慮到意識到內容的負栽均衡器上的負栽的方法。
現在參考圖3，其描述了圖2的一般性，其中意識到內容的負栽 均衡器被集成於(例如，駐存於) 一個或多個伺服器。也就是，如圖 所示，伺服器系統302包括非意識到內容的負栽均衡器304和分別集 成於多個伺服器308-1......308-R的多個意識到內容的負栽均衡器
306-1......306-R。
現在參考圖4，其根據本發明的一個實施例圖示了用於負栽均衡 請求的方法400。圖1的伺服器系統架構將被參考以說明方法400的 步驟。然而，應當明白也可以使用其他伺服器系統架構(例如，在圖
2和3中所顯示的，以及其他沒有明確顯示的)。
在步驟402，負載均衡器(例如圖1中的104)接收請求。在步 驟404，成本分析器(例如圖1中的106)檢查該請求並識別將有可 能帶來較低的用於滿足該請求的成本的伺服器(例如108-1......108
-N)。在步驟406，該請求被路由到步驟404中所識別的伺服器。
步驟404可以通過多種方式來實施。圖5描述了一種說明性方法。
現在參考圖5，其根據本發明的一個實施例圖示了用於基於成本 選擇伺服器的方法500。在步驟502,該請求被檢查。如果正在使用 TCP/IP進行通信，那麼步驟502可以包括接受TCP連接。該請求可 包含一個或多個參數。
在一個實施例中，數據在伺服器108-1......108 - N間被非對稱
分區。用於處理請求的合適的伺服器依賴於該請求。例如，假設數據 基於名稱參數被分區。如果有三個伺服器，那麼一個伺服器可處理以 A到I開頭的名稱，第二伺服器可處理以J到R開頭的名稱，而第三 伺服器可處理以S到Z開頭的名稱。
當請求被該負載均衡器接收時(例如，圖4的步驟402),在上 述情景中，對應於該請求的參數將包含該名稱。例如，如果名稱為 "Smith",那麼該請求將被路由到第三伺服器。如果該名稱為"Jones"， 那麼該請求將被路由到第二伺服器。
在另一個情景中，數據在伺服器(108-1......108-N)間以更
複雜的方式被分區。被路由到伺服器的請求根據該請求如何被路由可 導致對非本地數據的多種不同訪問。對於"非本地"，其意為所尋求的 數據並不存儲在最初接收該請求的伺服器上，而是存儲在距離該服務 器遠程的伺服器或其他網絡元件上。例如，如果該請求被路由到笫一 伺服器，這將導致三個遠程訪問。如果該請求被路由到第二伺服器， 這將導致一個遠程訪問。如果該請求被路由到第三伺服器，這將導致 八個遠程訪問。這些判決可在步驟504中基於該請求的內容被作出。
應當明白本發明區別於比如上面提到的ASPLOS-VIII和 USITS，99文件的現有技術的一個特徵(但並不是唯一的特徵)，是
本發明的技術既可用於對動態數據的請求也可用於對靜態數據的請 求。作為對比，上面參考的文件描述了意識到內容的路由技術，其僅 適用於靜態數據。對靜態數據的請求是對數據的請求，該數據比如文 件，其存在於作出請求的時候。對動態數據的請求是其中程序代碼被 執行以滿足該請求的請求。例如，在電子商務網站訂購物品一般被實 施為至少一個動態請求。該訂購可導致多個資料庫訪問，在伺服器處
的持續狀態改變，以及響應於該訂購無線(on-the-fly)產生的並被發 回到該客戶端的確認。
滿足動態請求一般比滿足靜態請求複雜得多。用於動態請求的開 銷也通常高得多.因此，用於選擇伺服器的本發明的方法不同於那些 已經提出的用於選擇用於靜態內容的伺服器的方法。
應用可被分析以確定如何使其能夠被最好地分區以運行在一組 伺服器上。分區經常被定義為與其他分區很少有交互，並且因此需要 被分享的狀態被最小化。邏輯上，每個分區可被關聯於計算任務的一 部分，該計算任務的一部分可包括用於處理請求的特定組的代碼和狀 態。
分區可以通過分析該應用的商業邏輯而被靜態完成。這些分區可 在運行時基於在線工作負栽統計進一步被精簡。因此，成本分析器不 僅優選地意識到初始分區，而且也可實施對該應用進行在線重分區的 邏輯。
成本分析器可查看該應用的整體情況以確定如何對該應用進行 分區以最小化處理特定請求組的成本。處理請求的成本一般包括中央 處理單元(CPU)開銷還有同步可能由多個後端伺服器共享的底層 (underlying)狀態的通信開銷。因此，成本分析器還可確定一條數 據應在多廣泛的範圍內被複製。雖然廣泛地複製一條數據可能增加處 理與該份數據相關聯的請求的整體能力，但其也會增加在所有副本中 同步該數據的成本。因此，所期望的是成本分析器能夠均衡數據的一 致性需求、請求速率和同步模式。
相反，成本分析器也可考慮不複製數據。將對特定數據的請求路
由到服務於所述數據的一個或幾個伺服器以避免數據複製成本可能 是更有利的。此外， 一組伺服器的總高速緩存能力可被更好地利用。 例如，構成伺服器組的每個都同樣能夠服務於任何一個請求的三個服 務器中的每一 個由於大小限制在任何一 個時間都只能高速緩存三個 經常使用的大對象中的一個。成本分析器可以選擇在伺服器1上放置
大對象A，在伺服器2上放置大對象B，以及在伺服器3上放置大對 象C。接下來，對每個對象的請求可根據其高速緩存位置被路由到服 務器。在本例中，每一個大對象能夠被高速緩存在至少一個伺服器上， 這導致總體性能的改善。因此，成本分析器通過才艮據請求內容作出關 於對服務的請求以及在哪裡對其服務的智能決定來提高應用的水平 可擴性。
由伺服器保存的底層數據在請求路由能夠被改變前可能需要被 移植。移植底層數據通常帶來成本。因此，成本分析器還可把狀態移 植的成本考慮到優化路由當中。
因為遠程訪問是耗費成本的，所以所期望的是將其最小化。在步 驟506，該系統基於在步驟504確定的成本選擇一個將請求路由到的 伺服器。在前面段落的例子中，第二伺服器一般會是所選擇的那個服 務器，因為其只需要一個遠程訪問。然而，如果該第二伺服器相比於 第 一伺服器來說具有更高的負栽，那麼在特定情況中將選擇笫 一服務
當在步驟504中，該系統確定將請求路由到不同伺服器的成本 時，該確定不一定必須是完全準確的。在許多情況下，估計就足夠了。 在執行該確定時，該系統可執行確定該請求的參數、哪些伺服器需要 被聯繫以滿足該請求、或能夠幫助滿足該請求的其他信息的代碼。一 種直接的方法是由成本分析器確定一次該信息以及由該請求被路由 到的伺服器第二次確定該信息。該方法因為冗餘計算而帶來開銷。減 輕這些冗餘計算的一種優化是由成本分析器存儲該請求中的相關信 息並發送擴張的請求到伺服器。然後該伺服器訪問由成本分析器存儲 在擴張的請求中的信息以獲取用於滿足該請求並避免冗餘計算的相
關信息。編譯器能夠對程序代碼執行程序轉換技術以滿足該請求來完 全或部分地使該優化自動進行。
成本分析器可考慮分區定義、分區到伺服器指派、以及期望優化。
分區定義是將請求分類到分區中的過程。分區到伺服器指派是決定所 分類的請求將在哪個伺服器上被處理(換句話說，分區將在放置在哪 個伺服器上)的過程。期望優化考慮的是如何在可用的伺服器間最好 地分配分區。獨立分區可根據需要被從一個伺服器移動到另一個。
成本分析器可對每一個控制變量作出動態決定。例如，成本分析
器對系統利用率的離線分析可推薦不同的分類到分區方案中；或推薦 分區的不同分配給伺服器。此外，成本分析結果對於伺服器組中變化 數量的伺服器可以是不同的，並且可隨著時間變化。
對於變化數量的伺服器， 一個分區到伺服器分配方案可能對兩個 伺服器是優化的，而另一個對三個伺服器是優化的，另一個對四個服
務器是優化的，等等。例如，比方說分區被命名為{0，1，2,3，...9}。對於 兩個伺服器，成本分析可確定優化指派是分區0 - 6被指派到伺服器1 ， 而7-9被指定到伺服器2。對於三個伺服器，成本分析器可推薦分區 0 - 3被指派到伺服器1，分區4 - 7被指派到伺服器2以及分區8-9 被指派到伺服器3。
隨著時間的變化，所期望的成本優化函數可在8AM到5PM期 間指定分區到伺服器的一種指派，而在5PM到8AM期間指定另一種 指派。
從系統的觀點出發，成本分析器不需要對資源的"最佳"利用率進 行優化。 一種簡單的利用系統的服務請求負栽均衡技術是將請求循環 (round robin)到伺服器組中的每一個；或選擇具有最少利用的CPU 的伺服器。可替換地，成本分析器可將請求分類並基於所述分類結果 將其路由，儘管從系統的觀點出發，這可能不是"最佳，，利用率下的結果。
成本分析可考慮服務需求的質量。例如，"金"顧客可被引導到 "快"速分區，"銀"顧客可被引導到"中"速分區，而"銅"顧客可被引導
到"慢"速分區。也就是，成本分析器不總是尋求從系統的觀點出發來 進行優化，而是相對於請求的重要性來進行優化。
還應明白本發明還包括用於提供負載均衡服務的技術。作為示 例，內容提供商與顧客或客戶達成協議(例如，經由服務級別協定或 某些非正式協定或商定)以提供內容。然後，基於內容提供商和該內 容顧客之間的服務合同的條款，內容提供商根據在此所描述的本發明 的一個或多個負載均衡方法為內容顧客提供內容。
最後參考圖6，其根據本發明的一個實施例圖示了可按照其實施 負栽均衡系統的一個或多個組件/步稞(例如，在圖l至5的情境中描 述的組件和方法)的計算系統。應當明白單獨的組件/步驟可被實施在 一個這種計算機系統上，或更優選地，實施在多於一個這種計算機系 統上。在分布式計算系統上實施的情況下，單獨的計算機系統和/或設 備可經由合適的網絡被連接，合適的網絡例如是網際網路或全球資訊網。然 而，該系統可以經由專用或本地網絡來實現。本發明並不局限於任何 特定網絡。
因此，圖6中顯示的計算系統表示了用於負栽均衡器、伺服器、 成本分析器、和/或其組合的說明性計算系統架構，本發明的負栽均衡 技術的一個或多個步驟可在其中被執行。
如圖所示，該計算機系統600可被按照經由計算機總線610或可 選連接設置被連接的處理器602、存儲器604、 I/O設備606、以及網 絡接口 608來實施。
應當理解這裡使用的術語"處理器，，意為包括任何處理設備，比如 包括CPU和/或其他處理電路的設備。還應理解術語"處理器"可以涉 及多於一個的處理設備並且與處理設備相關聯的各種元件可被其他 處理設備共享。
這裡使用的術語"存儲器"意為包括與處理器或CPU相關聯的存 儲器，比如RAM、 ROM、固定存儲器設備(例如硬碟)、可移除存 儲器設備(例如碟片)、快閃記憶體等等。
此外，這裡使用的短語"輸入/輸出設備"或"I/0設備"意為包括例
如一個或多個用於輸入數據到處理單元的輸入設備(例如鍵盤、滑鼠 等等)，和/或一個或多個用於呈現與處理單元相關聯的結果的輸出設 備(例如揚聲器、顯示器等等)。
而且，這裡使用的短語"網絡接口 "意為包括例如一個或多個收發 信機以允許計算機系統經由合適的通信協議與另一個計算機系統進 行通信。
因此，包括用於執行這裡所描述的方法的指令或代碼的軟體組件
可被存儲在一個或多個相關的存儲器設備(例如，ROM、固定或可 移除存儲器)中，並且當準備好被利用時，被部分或全部加栽(例如 到RAM中)並由CPU執行。
儘管本發明的說明性實施例已經在此參照附圖被描述，但應理解 本發明並不局限於那些準確的實施例，並且各種其他改變和修改可以 由本領域技術人員在不脫離本發明的精神或範圍的情況下作出。
權利要求
1.一種方法，用於在包括多個伺服器的系統中滿足請求，該方法包括步驟提供至少一個用於將請求路由到所述多個伺服器的負載均衡器；在所述至少一個負載均衡器處獲取來自客戶端的請求；在所述至少一個負載均衡器處檢查該請求；基於估計用於滿足該請求的至少一個遠程訪問的數量和成本中的至少一個來估計由所述多個伺服器中的至少兩個伺服器滿足該請求的成本；以及將該請求路由到所述多個伺服器中具有低的所估計的滿足該請求的成本的伺服器。
2. 如權利要求l所述的方法，其中所述路由步驟是通過將請求 分類到分區中並將該請求路由到掌管該分區的伺服器來完成的。
3. 如權利要求l所述的方法，其中在所述提供至少一個負栽均 衡器的步驟中，該至少一個負栽均衡器包括至少一個將請求路由到多 個意識到內容的負栽均衡器的非意識到內容的負栽均衡器。
4. 如權利要求3所述的方法，其中在所述提供至少一個負載均 衡器的步驟中，所述多個意識到內容的負載均衡器中的至少一個駐存 在所述多個伺服器中的至少一個上。
5. 如權利要求l所述的方法，其中所述估計成本的步驟進一步 包括步驟檢查包括在該請求中的至少一個參數；以及 使用關於數據在所述多個伺服器間如何被分區的信息來估計用 於滿足該請求的遠程訪問的數量和成本中的至少一個。
6. 如權利要求l所述的方法，其中所述獲取請求的步驟進一步 包括獲取使用傳輸控制協議/網際網路協議發送的請求，並且其中所述檢 查步驟進一步包括接受TCP連接。
7. 如權利要求l所述的方法，其中所述估計成本的步驟包括估 計用於滿足該請求的期望服務級別的資源利用率的測量值中的至少 一個。
8. 如權利要求l所述的方法，其中所述估計成本的步驟可隨著 伺服器數和時間中的至少 一個而變化。
9. 如權利要求l所述的方法，其中在所述在所述至少一個負栽 均衡器處獲取來自客戶端的請求的步驟中，該請求包括對動態數據的 請求。
10. —種在包括多個伺服器的系統中滿足請求的方法，該方法包 括步驟提供至少一個用於將請求路由到所述多個伺服器的負栽均衡器； 在所述至少一個負栽均衡器處獲取來自客戶端的請求； 在所述至少一個負栽均衡器處檢查該請求； 估計由所述多個伺服器中的至少兩個伺服器滿足該請求的成本；從該負栽均衡器將在所述估計步驟中所獲取的信息連同該請求 一起發送到所述多個伺服器中的伺服器；以及 在所述伺服器處使用該信息來滿足該請求。
11. 一種系統，用於滿足來自至少一個客戶端的請求，該系統包括多個伺服器；至少一個意識到內容的負載均衡器，用於將請求路由到所述多個 伺服器；以及與所述至少一個意識到內容的負栽均衡器相關聯的至少一個成 本分析器，其基於用於滿足請求的遠程訪問的數量和成本中的至少一 個來估計由不同伺服器來滿足請求的成本。
12. 如權利要求11所述的系統，其中該至少一個意識到內容的 負載均衡器包括多個意識到內容的負栽均衡器，並且其中該系統進一 步包括至少一個非意識到內容的負載均衡器，其用於將請求路由到所 述多個意識到內容的負載均衡器。
13. 如權利要求12所述的系統，其中所述多個意識到內容的負 栽均衡器中的至少一個駐存在所述多個伺服器的至少一個上。
14. 如權利要求11所述的系統，其中請求通過將該請求分類到 分區中並將該請求路由到掌管該分區的伺服器而被路由。
15. 如權利要求11所述的系統，其中所述至少一個成本分析器 通過檢查包括在該請求中的至少一個參數，並使用關於數據在所述多 個伺服器間如何被分區的信息來估計用於滿足該請求的遠程訪問的 數量和成本中的至少一個來估計成本。
16. 如權利要求11所述的系統，其中請求使用傳輸控制協議/ 網際網路協議^L送，並且當檢查該請求時，接受TCP連接。
17. 如權利要求ll所述的系統，其中該至少一個成本分析器估 計用於滿足該請求的期望服務級別和資源利用率的測量值中的至少 一個。
18. 如權利要求11所述的系統，其中估計成本的過程可隨著服 務器數和時間中的至少一個而變化。
19. 一種用於在包括多個伺服器的系統中滿足來自至少一個客戶 端的請求的裝置，該裝置包括存儲器；以及至少一個處理器，耦合到該存儲器並操作用於(i)獲取來自 客戶端的請求；(ii)檢查該請求的內容；以及(iii)基於估計用於 滿足該請求的至少一個遠程訪問的數量和成本中的至少一個來估計 由所述多個伺服器中的至少兩個伺服器滿足該請求的成本。
20. —種方法，用於在包括多個伺服器的系統中滿足來自至少一 個客戶端的請求，該方法包括步猓獲取來自客戶端的請求；檢查該請求的內容；以及基於估計用於滿足該請求的至少一個遠程訪問的數量和成本中 的至少 一個來估計由所述多個伺服器中的至少兩個伺服器滿足該請 求的成本。
21. —種製品，用於在包括多個伺服器的系統中滿足來自至少一 個客戶端的請求，該製品包括包含有一個或多個程序的機器可讀媒體，其中當該一個或多個程序被執行時實施步驟獲取來自客戶端的請求；檢查該請求的內容；以及基於估計用於滿足該請求的至少 一個遠程訪問的數量和成本中 的至少 一個來估計由所述多個伺服器中的至少兩個伺服器滿足該請 求的成本。
22. —種方法，用於提供負栽均衡服務，該方法包括步驟 向顧客提供服務的服務提供商，所述向顧客提供服務的動作包括獲取來自客戶端的請求； 檢查該請求的內容；以及基於估計用於滿足該請求的至少一個遠程訪問的數量和 成本中的至少 一個來估計由所述多個JI艮務器中的至少兩個服務 器滿足該請求的成本。
全文摘要
公開了改善的負載均衡技術。例如，在本發明的一個示例性方面，一種在包括多個伺服器的系統中滿足請求的方法包括以下步驟。至少一個負載均衡器被提供用於將請求路由到所述多個伺服器。在該至少一個負載均衡器處，從客戶端發送的請求被獲取。在該至少一個負載均衡器處，檢查該請求。由所述多個伺服器中的至少兩個伺服器來滿足該請求的成本被估計。該估計基於用於滿足該請求的至少一個遠程訪問的數量和成本中的至少一個。該請求被路由到所述多個伺服器中具有低的估計出的滿足該請求的成本的一個。
文檔編號H04L29/06GK101116056SQ200680004598
公開日2008年1月30日 申請日期2006年3月29日 優先權日2005年3月31日
發明者鑑 殷, 路易斯·德根內拉羅, 阿拉恩·K.·埃延加, 磊 高 申請人:國際商業機器公司