一種基於單埠的DNS負載均衡性能優化方案的製作方法
2024-04-15 12:03:05
一種基於單埠的dns負載均衡性能優化方案
技術領域
1.本發明涉及dns負載均衡性能優化方案領域，特別是涉及一種基於單埠的dns負載均衡性能優化方案。
背景技術：
2.負載均衡，其意思就是分攤到多個操作單元上進行執行。負載就是問題，高並發問題，均衡就是解決手段，高並發請求對單一微服務造成極大的壓力，要使這個高並發請求能夠平穩地處理，需要增加節點，直到能處理並發量問題為止。dns負載均衡，其原理就是針對同一個域名設置多條a記錄，指向不同的ip地址。當用戶訪問時，dns伺服器就會根據權重或者地理位置為用戶返回不同的ip。這樣就實現了對訪問流量的分攤，既減輕了單個伺服器的負載壓力，也提升了用戶的訪問速度。
3.rss是將接收的網絡報文分發到網卡隊列中的網卡驅動技術。該策略通過將rss負載均衡後的網卡隊列、特定的cpu邏輯核和應用程式進程或線程三者進行綁定來提高數據報文採集處理效率。
4.對單一服務埠，dns負載均衡過程中的基於rss技術實施負載分流，當網卡多隊列接收到網絡數據時，存在多個線程同時訪問一個網卡隊列的問題以及cpu邏輯核調度帶來較多性能消耗的問題。如何最大化地提升伺服器性能是需要重點解決的問題。
5.因此，基於rss技術實施的負載分流中，存在多個線程同時訪問一個網卡隊列的問題以及cpu邏輯核調度帶來較多性能消耗的問題，為此，我們提出一種基於單埠的dns負載均衡性能優化方案。
技術實現要素：
6.本發明的目的在於提供一種基於單埠的dns負載均衡性能優化方案，可以有效解決背景技術中提出的基於rss技術實施的負載分流中，存在的多個線程同時訪問一個網卡隊列的問題以及cpu邏輯核調度帶來較多性能消耗的問題。
7.為解決上述技術問題，本發明是通過以下技術方案實現的：
8.本發明為一種基於單埠的dns負載均衡性能優化方案，包括以下步驟：
9.步驟一、對單一服務埠使用對稱rss技術對網絡數據進行分流：將接收的網絡數據分發到網卡隊列中，平衡cpu多個邏輯核的處理壓力；
10.rss技術中，如果同一網絡流量連接的往返網絡數據被分發到不同的cpu邏輯核上時，並會造成資源跨核訪問，導致數據處理效率變低。這裡通過對稱rss技術來彌補這一缺陷。該技術可以實現多個不同cpu邏輯核中的進程並發訪問不同的網卡隊列，提高網卡接收數據的效率。
11.步驟二、利用cpu親和性對多核多線程綁定分離：在網絡數據分發到多個網卡接收隊列後，利用dpdk的cpu親和機制進行線程綁定，同時使用dpdk的邏輯核分配技術將cpu邏輯核上運行的線程從指定的網卡接收隊列進行網絡數據接收；
12.在多核心處理器上，由於進程或線程被系統調度到其他cpu核心上，會導致緩存失效，並帶來性能損耗。這裡利用cpu親和性進行線程或進程綁定，能夠減小由於系統調度帶來的性能影響，提高cpu緩存命中率。此外，使用cpu親和機制可以將關鍵進程進行隔離，保證進程的實時調度，避免其他進程帶來的幹擾。
13.在將網絡數據分發到多個網卡接收隊列後，利用dpdk的cpu親和機制進行線程綁定，有效避免了處理數據的線程頻繁在cpu邏輯核間遷移的問題，提高了線程執行效率。同時使用dpdk的邏輯核分配技術將cpu邏輯核上運行的線程從指定的網卡接收隊列進行網絡數據接收，充分利用了cpu多核和網卡多隊列資源。
14.步驟三、對收到的實時數據按同源同溯機制分流：對基於udp的業務，無需保留會話表，直接計算哈希值進行分流；基於tcp的業務，建立會話表，做相關的映射，進行分流。
15.本發明最大化地利用內存親和性，訪問相對應的內存數據，解決了單一埠高性能分流的問題，對伺服器性能進行了提升和優化。
16.優選地，步驟一中，在流量數據分配時採用多重hash計算。
17.dpdk框架中接收到的流量數據在進行多次hash計算後能夠被更均勻地分配至多核處理器的核心中，採用多次hash計算能夠避免單次hash時所產生的碰撞問題。該方案能夠避免網絡流量隨機性差而導致hash碰撞的問題，避免出現大多數的流量數據被分配至少數的cpu核心中的情況，有效解決了對稱rss可能使多核處理器出現負載不均衡的問題。能夠使得進行流量處理任務所分配的cpu以更加均衡的方式對流量進行處理，從而提高cpu的整體效率。
18.優選地，對數據包的hash進行計算時，首先通過toeplitz hash算法計算hash值得到相應cpu核心並寫入對應核心的key-core hash表，接著通過輸入四元組輸出hash值得到相應流表中具體tcp會話流並寫入key-stream hash表。
19.優選地，針對流量包中四元組的hash算法需要實現使得輸入數據在完成hash計算後得到的哈希值能夠平均散落在某一區域內的算法，該算法輸入的值為tcp連接四元組：源ip(sip)、目的ip(dip)、源埠(sport)、目的埠(dport)，該算法的描述如公式所示：
20.f
index
＝four_tuple_hash(sip,dip,sport,dport)；
21.並採用如下算法來計算四元組hash值：
[0022][0023][0024]
hres＝hkey1hkey2。
[0025]
優選地，多重hash算法的具體流程如下：
[0026]
s1.首先將dpdk中rss所採用的hash key修改為s-rss算法所需要的對應值，當數據包到達網絡接口層之後，dpdk將會執行toeplitz hash計算，並根據不同的hash計算結果將網絡數據包分配至不同capture core所對應的rx隊列中；
[0027]
s2.在對應的cpu core中獲取到數據後，首先查找當前core中對應數據流重組核中的key-stream hash表，並判斷對應的流表中是否已經存在當前數據包對應的網絡流，若能夠查詢到對應的網絡流則將該網絡流數據添加到流表對應項中；
[0028]
s3.若在相應的流表中沒有查詢到對應的網絡流，則查詢key-core hash表中該流
數據是否已通過負載均衡方案分配到其他cpu核心處理，若在key-core hash表中能夠查詢到該網絡流，則將流數據交付至對應cpu核心的rte_ring環形隊列中，否則表示該流數據針對流量採集模塊以及重組模塊來說對應的是一條新的tcp連接。tcp是一種面向連接的、可靠的、基於字節流的傳輸層通信協議；
[0029]
s4.在處理新的tcp連接時，需要對cpu的整體負載均衡度進行計算。若cpu的負載均衡度超過閾值，則剔除cpu核心中負載過重的核，並重新計算toeplitz hash值，在計算完畢後將該數據流以及根據hash結果得到的cpu核心的映射關係添加到key-core hash表中，並將流量數據發送至對應cpu核心的rte_ring，且在對應核心中的key-stream hash表中追加數據流的信息。
[0030]
在對cpu的負載均衡度進行評估時，使用面向會話完整性的負載均衡評價指標作為負載均衡的評估指標。該指標根據負載均衡度進行考量，負載均衡度體現了各個核心之間處理數據的工作均衡程度，此處的負載均衡度的值越大代表多核處理器各個核之間工作量的差異越大。在一般的多核處理器中各個核的處理能力可以看作是相同的水平，由此可得在t時刻多核處理器各個核心間的負載均衡度具體公式如下：
[0031][0032]
式中，pi(t)表示在t時刻cpu第i個核的利用效率，n為cpu多核處理器的核心數量。經過實驗得出當負載均衡度的值大於0.2時對處理器的負載值做出調整可以得到較好的效果。即當負載均衡值高於0.2時，剔除負載最大的cpu核心，重新進行hash計算並分配至相應cpu核心，由此達到cpu多核處理器之間的數據處理流負載均衡的目的。
[0033]
在本實施例的實現中，兩個capture_core上捕獲到的數據均衡分配至四個stream_reassembly_core中，在cpu均衡度未達到閾值，即負載均衡模塊未介入的情況下，每個capture_core上的流量數據將會被分配至兩個stream_reassembly_core；當cpu均衡度達到閾值，即負載均衡模塊介入的情況下，每個capture_core上的流量都可能被輸出至任意stream_reassembly_core所運行的cpu核心中。
[0034]
優選地，步驟二中，當網卡多隊列接收到負載均衡後的網絡數據時，dpdk的輪詢模式會對綁定網卡的所有環形隊列進行輪詢遍歷，並接收所有數據包。
[0035]
優選地，步驟三中，會話表由會話項組成，會話項是從數據包到節點伺服器的一個映射。
[0036]
優選地，會話保持具體為：當負載均衡器接收到一個數據包時，先根據用戶定義的規則，從數據包取出表示會話信息的內容，然後依據會話信息查找會話表，若找到匹配的會話項，則將該數據包轉發給會話項中記錄的節點伺服器；否則運行負載均衡算法為該數據包選擇一個節點伺服器，同時依照這個新的映射關係生成一個會話項並插入會話表中。
[0037]
本發明具有以下有益效果：
[0038]
1、本發明，通過對稱rss技術，對網絡數據分發進行優化，平衡cpu多個邏輯核的處理壓力，實現負載均衡，提高網絡流量採集性能。該技術可以實現多個不同cpu邏輯核中的
進程並發訪問不同的網卡隊列，提高網卡接收數據的效率。
[0039]
2、本發明，通過cpu親和性進行線程或進程綁定，能夠減小由於系統調度帶來的性能影響，提高cpu緩存命中率；並有效避免了處理數據的線程頻繁在cpu邏輯核間遷移的問題，提高了線程執行效率。同時使用dpdk的邏輯核分配技術將cpu邏輯核上運行的線程從指定的網卡接收隊列進行網絡數據接收，充分利用了cpu多核和網卡多隊列資源。
[0040]
3、本發明，對於dns負載均衡過程中的基於rss技術實施負載分流，最大化地利用內存親和性，訪問相對應的內存數據，解決了多個線程同時訪問一個網卡隊列的問題以及cpu邏輯核調度帶來較多性能消耗的問題，解決了單一埠高性能分流的問題，對伺服器性能進行了提升和優化。
附圖說明
[0041]
為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0042]
圖1為本發明的一種基於單埠的dns負載均衡性能優化方案的流程圖；
[0043]
圖2為本發明的一種基於單埠的dns負載均衡性能優化方案的多重hash結構以及不同hash表之間的對應關係；
[0044]
圖3為本發明的一種基於單埠的dns負載均衡性能優化方案的劉表框架圖；
[0045]
圖4為本發明的一種基於單埠的dns負載均衡性能優化方案的會話保持功能示意圖；
具體實施方式
[0046]
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0047]
實施例：
[0048]
請參閱圖1-4所示，一種基於單埠的dns負載均衡性能優化方案，包括以下步驟：
[0049]
步驟一、對單一服務埠使用對稱rss技術對網絡數據進行分流：將接收的網絡數據分發到網卡隊列中，平衡cpu多個邏輯核的處理壓力；
[0050]
rss技術中，對於同一網絡流量連接的往返網絡數據被分發到不同的cpu邏輯核上時，造成資源跨核訪問，導致數據處理效率變低的問題，這裡通過對稱rss技術來彌補這一缺陷。對稱rss是指在網卡驅動開啟rss功能後，相同連接的雙向數據報文能夠分配到多核處理器的同一個核中，因為在不同核中共享連接信息會產生死鎖的現象，即使得對稱rss對於保存連接信息的網絡應用在減少性能開銷上獲得了大幅提升。對稱rss技術對網絡數據分發進行優化，平衡cpu多個邏輯核的處理壓力，實現負載均衡，提高網絡流量採集性能。該技術可以實現多個不同cpu邏輯核中的進程並發訪問不同的網卡隊列，提高網卡接收數據的效率。
[0051]
步驟二、利用cpu親和性對多核多線程綁定分離：在網絡數據分發到多個網卡接收隊列後，利用dpdk的cpu親和機制進行線程綁定，同時使用dpdk的邏輯核分配技術將cpu邏輯核上運行的線程從指定的網卡接收隊列進行網絡數據接收；
[0052]
在多核心處理器上，由於進程或線程被系統調度到其他cpu核心上，會導致緩存失效，並帶來性能損耗。這裡利用cpu親和性進行線程或進程綁定，能夠減小由於系統調度帶來的性能影響，提高cpu緩存命中率。此外，使用cpu親和機制可以將關鍵進程進行隔離，保證進程的實時調度，避免其他進程帶來的幹擾。
[0053]
在將網絡數據分發到多個網卡接收隊列後，利用dpdk的cpu親和機制進行線程綁定，有效避免了處理數據的線程頻繁在cpu邏輯核間遷移的問題，提高了線程執行效率。同時使用dpdk的邏輯核分配技術將cpu邏輯核上運行的線程從指定的網卡接收隊列進行網絡數據接收，充分利用了cpu多核和網卡多隊列資源。
[0054]
步驟三、對收到的實時數據按同源同溯機制分流：對基於udp的業務，無需保留會話表，直接計算哈希值進行分流；基於tcp的業務，建立會話表，做相關的映射，進行分流。
[0055]
本發明中，對於dns負載均衡過程中的基於rss技術實施負載分流，最大化地利用內存親和性，訪問相對應的內存數據，解決了多個線程同時訪問一個網卡隊列的問題以及cpu邏輯核調度帶來較多性能消耗的問題，解決了單一埠高性能分流的問題，對伺服器性能進行了提升和優化。
[0056]
其中，步驟一中，在流量數據分配時採用多重hash計算。
[0057]
採用多次hash計算，dpdk框架中接收到的流量數據在進行多次hash計算後能夠被更均勻地分配至多核處理器的核心中，能夠避免單次hash時所產生的碰撞問題。該方案能夠避免網絡流量隨機性差而導致hash碰撞的問題，避免出現大多數的流量數據被分配至少數的cpu核心中的情況，有效解決了對稱rss可能使多核處理器出現負載不均衡的問題。能夠使得進行流量處理任務所分配的cpu以更加均衡的方式對流量進行處理，從而提高cpu的整體效率。
[0058]
其中，對數據包的hash進行計算時，首先通過toeplitz hash算法計算hash值得到相應cpu核心並寫入對應核心的key-core hash表，接著通過輸入四元組輸出hash值得到相應流表中具體tcp會話流並寫入key-streamhash表。
[0059]
其中，針對流量包中四元組的hash算法需要實現使得輸入數據在完成hash計算後得到的哈希值能夠平均散落在某一區域內的算法，該算法輸入的值為tcp連接四元組：源ip(sip)、目的ip(dip)、源埠(sport)、目的埠(dport)，該算法的描述如公式所示：
[0060]findex
＝four_tuple_hash(sip,dip,sport,dport)；
[0061]
並採用如下算法來計算四元組hash值：
[0062][0063][0064]
hres＝hkey1hkey2。
[0065]
其中，多重hash算法的具體流程如下：
[0066]
s1.首先將dpdk中rss所採用的hash key修改為s-rss算法所需要的對應值，當數據包到達網絡接口層之後，dpdk將會執行toeplitz hash計算，並根據不同的hash計算結果
將網絡數據包分配至不同capture core所對應的rx隊列中；
[0067]
s2.在對應的cpu core中獲取到數據後，首先查找當前core中對應數據流重組核中的key-stream hash表，並判斷對應的流表中是否已經存在當前數據包對應的網絡流，若能夠查詢到對應的網絡流則將該網絡流數據添加到流表對應項中；
[0068]
s3.若在相應的流表中沒有查詢到對應的網絡流，則查詢key-core hash表中該流數據是否已通過負載均衡方案分配到其他cpu核心處理，若在key-core hash表中能夠查詢到該網絡流，則將流數據交付至對應cpu核心的rte_ring環形隊列中，否則表示該流數據針對流量採集模塊以及重組模塊來說對應的是一條新的tcp連接；
[0069]
s4.在處理新的tcp連接時，需要對cpu的整體負載均衡度進行計算。若cpu的負載均衡度超過閾值，則剔除cpu核心中負載過重的核，並重新計算toeplitz hash值，在計算完畢後將該數據流以及根據hash結果得到的cpu核心的映射關係添加到key-core hash表中，並將流量數據發送至對應cpu核心的rte_ring，且在對應核心中的key-stream hash表中追加數據流的信息。
[0070]
在對cpu的負載均衡度進行評估時，使用面向會話完整性的負載均衡評價指標作為負載均衡的評估指標。該指標根據負載均衡度進行考量，負載均衡度體現了各個核心之間處理數據的工作均衡程度，此處的負載均衡度的值越大代表多核處理器各個核之間工作量的差異越大。在一般的多核處理器中各個核的處理能力可以看作是相同的水平，由此可得在t時刻多核處理器各個核心間的負載均衡度具體公式如下：
[0071][0072]
式中，pi(t)表示在t時刻cpu第i個核的利用效率，n為cpu多核處理器的核心數量。經過實驗得出當負載均衡度的值大於0.2時對處理器的負載值做出調整可以得到較好的效果。即當負載均衡值高於0.2時，剔除負載最大的cpu核心，重新進行hash計算並分配至相應cpu核心，由此達到cpu多核處理器之間的數據處理流負載均衡的目的。
[0073]
在本實施例的實現中，兩個capture_core上捕獲到的數據均衡分配至四個stream_reassembly_core中，在cpu均衡度未達到閾值，即負載均衡模塊未介入的情況下，每個capture_core上的流量數據將會被分配至兩個stream_reassembly_core；當cpu均衡度達到閾值，即負載均衡模塊介入的情況下，每個capture_core上的流量都可能被輸出至任意stream_reassembly_core所運行的cpu核心中。
[0074]
其中，步驟二中，當網卡多隊列接收到負載均衡後的網絡數據時，dpdk的輪詢模式會對綁定網卡的所有環形隊列進行輪詢遍歷，並接收所有數據包。
[0075]
其中，步驟三中，會話表由會話項組成，會話項是從數據包到節點伺服器的一個映射。
[0076]
其中，會話保持具體為：當負載均衡器接收到一個數據包時，先根據用戶定義的規則，從數據包取出表示會話信息的內容，然後依據會話信息查找會話表，若找到匹配的會話項，則將該數據包轉發給會話項中記錄的節點伺服器；否則運行負載均衡算法為該數據包
選擇一個節點伺服器，同時依照這個新的映射關係生成一個會話項並插入會話表中。
[0077]
這樣當屬於該會話的後續數據包到達負載均衡器時，會話表中就記錄了該數據包應該被發往哪一個節點伺服器。對應於網絡應用中會話的超時概念，負載均衡中的會話項也設置超時，負載均衡器會定期刪除長時間未使用的會話項。
[0078]
在本說明書的描述中，參考術語「一個實施例」、「示例」、「具體示例」等的描述意指結合該實施例或示例描述的具體特徵、結構、材料或者特點包含於本發明的至少一個實施例或示例中。在本說明書中，對上述術語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特徵、結構、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結合。
[0079]
以上公開的本發明優選實施例只是用於幫助闡述本發明。優選實施例並沒有詳盡敘述所有的細節，也不限制該發明僅為所述的具體實施方式。顯然，根據本說明書的內容，可作很多的修改和變化。本說明書選取並具體描述這些實施例，是為了更好地解釋本發明的原理和實際應用，從而使所屬技術領域技術人員能很好地理解和利用本發明。本發明僅受權利要求書及其全部範圍和等效物的限制。