多核並行無鎖的qos流量控制方法
2023-08-09 02:02:56 1
專利名稱：多核並行無鎖的qos流量控制方法
技術領域：
本發明涉及一種多核並行無鎖的QOS流量控制方法，尤其涉及一種在多CPU系統平臺上實現高效的各CPU並行計算運行、無鎖的QOS流量控制新方法及系統。
背景技術：
隨著信息化技術的深入和網際網路的迅速發展，整個世界正在迅速地融為一體，計算機網絡已經成為國家的經濟基礎和命脈。眾多的企業、組織與政府部門都在組建和發展自己的網絡，並連接到hternet上，以充分共享、利用網絡的信息和資源。伴隨著網際網路的廣泛應用，網絡建設已成為衡量一個單位信息化、現代化的重要標誌。近幾年來，網絡建設發展突飛猛進，各單位都投入大量資金建成了內部網和網際網路。由於缺乏有效的網絡流量分析和管理控制手段，網絡的發展正面臨諸多問題和挑戰，由此引發了一系列安全、效率和法律問題。不可預知的、突發的性能瓶頸會影響關鍵應用的運作效率。目前在大部分組織中，用戶數量龐大、網絡應用環境複雜，各種P2P和在線視頻應用佔用了大量網絡帶寬(如 FLV, BitTorrent, Kazza, Emule等)，隨之而來的是，由網絡鏈路擁塞引發的應用性能下降問題也日益嚴重，極大地影響了組織正常業務的開展及用戶正常網絡應用的服務質量，網絡帶寬資源惡性佔用現象嚴重。此外，網絡關鍵業務及應用的運營得不到保障。所謂關鍵應用是指與用戶生產經營、信息安全、關鍵用戶息息相關的各類網絡應用，包括ERP、資料庫、 中間件、電子商務、視頻會議等。目前大部分組織中都缺乏有效的網絡管理策略，對核心業務應用(如ERP、資料庫、 OA、郵件等)、時延敏感的應用(VOIP、視頻會議)、即時通訊、P2P、在線視頻、網路遊戲等應用一視同仁，網絡的使用不是根據業務應用的優先級以及重要程度來支配的，最終導致網絡帶寬資源被搶佔比較厲害的諸如網路遊戲、P2P、在線視頻應用毫無節制的使用。由於P2P、網路遊戲、在線視頻等軟體的使用佔用了網絡至少50%的帶寬資源，並且仍然在毫無節制地加速吞噬著寶貴的帶寬資源，不僅降低了企業的生產率，帶來網絡擁塞等嚴重影響網絡使用的棘手問題，將嚴重影響組織中關鍵應用的正常運行和使用，最終會造成直接的經濟損失。在中國網際網路飛速發展的同時，P2P和在線視頻應用也迅速普及開來，同時也造成了許多麻煩。據權威部門統計，當前P2P與在線視頻流量已經佔整個網際網路流量的約70%， 並且正在以每年350%的速度增長。在網絡中，P2P與在線視頻流量消耗了巨大的網絡帶寬， 提高了網絡運營成本，使網絡基礎設施不堪重負。P2P和在線視頻流量的暴增，可以通過部署在網絡上的流控設備進行有效的控制。 但是，普通網絡用戶的網絡使用體驗卻因此得不到保障，造成用戶體驗急劇下降。
發明內容
為了解決上述問題，本發明提供了一種多核並行無鎖的QOS流量控制方法。相應地，本發明的一種多核並行無鎖的QOS流量控制方法包括以下步驟一種多核並行無鎖的QOS流量控制的方法，包括以下步驟
51、接收數據包；
52、識別所述數據包；
53、通過QoS流控系統的調度器處理所述數據包。作為本發明的進一步改進，所述S2步驟包括通過DPI&DFI對所述數據包進行識別，並打上相應的VC和其來自的用戶的ID標籤。作為本發明的進一步改進，所述調度器處理包括排隊過程和出隊過程，其中，所述排隊過程將收到的數據包入隊緩存或者丟棄；所述出隊過程負責找出系統中緩存的可以發送的數據包並交給Rm0n&Rm0n2模塊處理，直到將所有緩存的數據包都發送出去或找不到符合限速條件的數據包為止。作為本發明的進一步改進，所述排隊過程具體包括以下步驟
S10、根據所述數據包上所標識的her ID和VC ID，到相應的VC通道下尋找對應用戶所屬的動態通道；
S20、如果找不到，則創建該通道，並且檢查該VC通道是否存在Shared VC ； S30、如果存在，則確認Smred VC下對應的子動態通道的父動態通道是否存在； S40、如果過不存在，則需要創建Siared VC下相應的父動態通道； S50、如果存在，則增加其父動態通道的引用計數；同時確認和創建Pipe和^ared Pipe下對應的各父動態通道，從而形成一條針對每個用戶的通道通道限速鏈，與已經存在的VC/Shared VC/Pipe/Shared Pipe靜態限速鏈相對應，協同工作，並將靜態和動態的通道通過子通道指向父通道的指針連成一條自下而上的單向的鍊表； S60、從最底層的VC下的子動態通道開始，逐級檢查其令牌；
S70、如果為負數，則按照單速/雙速三色令牌桶算法進行令牌的填充，如果填充只有的令牌值仍然為賦值，則將收到的該數據包做丟棄處理，排隊過程結束；
S80、如果所有的動態限速鏈上的動態通道的令牌檢查都通過，則將所述數據包放入緩存隊列中排隊，等待發送，並根據該數據包的長度，逐級減去各個動態通道相應的令牌值， 排隊過程結束。作為本發明的進一步改進，所述出隊過程包括
5100、檢查當前整個QoS流控系統緩存的數據包的數量是否為1？
5101、如果是，進入快速路徑從QoS調度器的排隊過程中VC通道下出隊數據包；
5102、如果可以成功出隊一個數據包，則QoS調度器的出隊過程就此結束；
5103、如果不可以成功出隊一個數據包，則進入慢速路徑，
其中，在所述慢速路徑中，採用的是自上而下的輪詢查找的機制，出隊遍歷的順序是從最頂級的Glared Pipe通道開始，依次遍歷各下級子通道，直到將系統中存在的所有的通道都遍歷一遍或者在某個VC下面可以成功的出隊到一個數據包，則結束此次出隊過程。相對於現有技術，本發明的優勢在於可基於業務應用優先級的劃分、多級多層次的帶寬通道，實現靈活、高效、可靠的帶寬控制能力。
圖1是本發明一實施方式多核並行無鎖的QOS流量控制方法的流程圖； 圖2為本發明一實施方式調度器排隊過程的流程圖；圖3為本發明一實施方式的調度器出隊過程的流程圖。
具體實施方式
為了使本發明的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本發明進行詳細描述。本發明一實施方式中多核並行無鎖的QOS流量控制系統，通過DPI為核心的深度包檢測技術和DFI為核心的深度流行為檢測技術，能夠精確到對每個session的數據包的檢測和控制，同時結合PFQ技術、三速率雙色令牌桶算法，提供自定義Pipe通道、自定義 VC (Virtual Channel)通道、保證帶寬設置、最大帶寬限制、帶寬租借、Per-IP帶寬控制、 Per-User帶寬控制、共享帶寬控制、權重設置以及應用優先級等一系列的應用優化和帶寬管理控制功能，支持hbound以及Outbound雙向的帶寬管理與控制。其中，根據自身出口帶寬的大小以及流量的使用情況，用戶可以自行定義虛擬的帶寬通道，如用戶可基於自身業務應用的情況，定義不同的Pipe和VC帶寬通道，並將不同優先級的協議或業務應用加入到不同的VC通道中，達到多層次的帶寬通道管理；通過基於優先級的、多通道的應用優先級管理功能，從而保證在組織的各種帶寬使用的環境中，都能實現帶寬的有效利用和控制。一條虛擬鏈路可以擁有獨立的VC配置。VC是和網絡數據包的應用類型密切相關， 一種或者幾種類似的網絡應用類型可以劃分為一個vc，VC是系統中最底層的節點類型。Pipe是定義在VC之上的一個一定數量VC的集合，是為了體現立體的流量控制而引入的概念，以滿足用戶希望對某幾種業務類型同時加以控制和約束的需求。一個VC只能屬於一個確定的Pipe。Shared VC是定義在Pipe之下、VC之上的一個一定數量VC的集合。是為了體現交叉的流量控制而引入的概念，以滿足用戶希望某幾種業務類型之間進行帶寬資源的競爭使用的需求。一個Siared VC也只能屬於一個確定的Pipe。Shared Pipe是定義在Pipe之上的一定數量的Pipe的集合。是為了體現更高層次的立體、交叉流控特性而引入的概念。Glared Pipe是最頂級的控制節點。其中，Vc、Pipe、Shared Vc,Shared Pipe都統稱為「節點」，節點的節點屬性包括 NONE 也稱為Normal屬性，擁有該屬性的節點的帶寬控制是全局的，不分用戶或者IP
地址單獨控制；並且該節點設置的帶寬就是流經該節點的所有流量的總的帶寬，即該節點下的所有用戶共享這一個總帶寬。PER-H0ST/PER-USER 擁有該屬性的節點的帶寬控制不是全局的，而是分IP、分用戶的，即對每個IP或者用戶進行單獨控制。並且該節點需設置節點的最大帶寬，以及流經該節點的每個IP或者每個用戶所享有的帶寬。如該節點帶寬最大帶寬為100Mbps， PER-HOST配置為1Mbps，那麼，在該節點總帶寬為100Mbps的前提下，每個主機都可以擁有 IMbps的帶寬。權重只有可以加入到Siared類型節點下面作為子節點的節點類型才擁有該屬性。因此在4種節點類型中，只有Pipe和Vc兩種節點擁有此屬性，並且只有其父節點是 Shared類型的節點時，該屬性才起作用。其本質含義是表示該節點在其父節點上可以分得的帶寬(保證帶寬和最大帶寬)。當VC或者Pipe加入到Siared VC或者Siared Pipe時， VC和Pipe能夠分得的帶寬是由權重比來決定的。
默認通道即系統運行後，為了能夠進行數據包的轉發，自動創建的通道。包括 Default Pipe和Default VC。在每條鏈路的每個方向Gn-bound/Out_bound)下都有一個 Default Pipe，每個Default Pipe下面都有一個Default VC。此外，每個Pipe下面也都有一個 Default VC。Default Pipe和Default VC和普通的Pipe/VC類似，其帶寬等配置參數都可以修改，但不能被刪除。如圖1所示，本發明一實施方式中的多核並行無鎖的QOS流量控制的系統採用包驅動的機制運行，QoS流控系統作為整個系統的重要組成部分，其核心就是對流入本系統的每個數據包都進行相應的處理，包括數據包所屬用戶和通道的識別、CAR (Committed Access Rate)令牌的計算、包的丟棄與緩存、包的選擇和發送。其中，該多核並行無鎖的QOS 流量控制的方法包括
51、接收數據包；
52、識別所述數據包；優選地，每個從網卡上接收到的數據包，通過DPI&DFI進行識別， 打上相應的VC和其來自的用戶的ID標籤；
53、通過QoS流控系統的調度器處理所述數據包。優選地，QoS調度器處理包括排隊 (Enqueue)過程和出隊(Dequeue)過程兩大部分，排隊過程負責將收到的數據包入隊緩存或者丟棄，而出隊過程負責找出系統中緩存的可以發送的數據包並交給Rm0n&Rm0n2模塊，進行相關的統計只有再將其轉發出去，並且只要能夠找到符合條件的數據包，將一直持續下去，直到將所有緩存的數據包都發送出去或者找不到符合限速條件的數據包為止。如圖2所示，本發明一實施方式調度器排隊過程，以每用戶進行流量管控為例，包括以下步驟
S10、根據該數據包上所標識的her ID和VC ID，到相應的VC通道下尋找對應用戶所屬的動態通道；
S20、如果找不到，則創建該通道，並且檢查該VC通道是否存在Shared VC ； S30、如果存在，則確認Smred VC下對應的子動態通道的父動態通道是否存在； S40、如果過不存在，則需要創建Siared VC下相應的父動態通道； S50、如果存在，則增加其父動態通道的引用計數；同理，確認和創建Pipe和Smred Pipe下對應的各父動態通道，從而形成一條針對每個用戶的通道通道限速鏈，與已經存在的VC/Shared VC/Pipe/Shared Pipe靜態限速鏈相對應，協同工作(靜態限速鏈針對所有的用戶做整體限速控制；動態限速鏈針對每個用戶做特定限速控制)，並且，這些靜態和動態的通道通過子通道指向父通道的指針連成一條自下而上的單向的鍊表； S60、從最底層的VC下的子動態通道開始，逐級檢查其令牌；
S70、如果為負數，則首先按照單速/雙速三色令牌桶算法進行令牌的填充，如果填充只有的令牌值仍然為賦值，則說明目前該用戶的流量已經超過其限速值，因此，將收到的該數據包做丟棄處理，排隊過程就此結束。S80、如果所有的動態限速鏈上的動態通道的令牌檢查都通過，則說明當前該用戶的流量並未超過其限速值，因此，收到的該數據包可以接受放入系統的緩存隊列中排隊，等待發送，並且，根據該數據包的長度，逐級減去各個動態通道相應的令牌值，排隊過程結束。如圖3所示，本發明一實施方式調度器出隊過程，包括以下步驟5100、檢查當前整個QoS流控系統緩存的數據包的數量是否為1？
5101、如果是，那麼就進入快速路徑直接從之前QoS調度器的排隊過程中剛剛入包的那個VC通道下面試圖出隊出一個包；
5102、如果可以成功出隊出一個數據包，則QoS調度器的出隊過程就此結束；
5103、如果不可以成功出隊出一個數據包，則進入慢速路徑。在出隊的慢速路徑中，採用的是自上而下的輪詢查找的機制，出隊遍歷的順序是從最頂級的Siared Pipe通道開始，依次遍歷各下級子通道，直到將系統中存在的所有的通道都遍歷一遍或者在某個VC下面可以成功的出隊到一個數據包，則結束此次出隊過程。每次找到一個通道，則需要判斷其令牌是否為正？如果不為正，則根據單速/雙速三色令牌桶算法填充其令牌，如果填充之後令牌仍為負數，則表明當前該通道已經超過了限速值，放棄該通道，尋找下一個同級的通道；如果其令牌符合條件，則進一步檢查其 DRR(Deficit round robin)是否為正(DRR是為了保證所有的通道都能夠公平的得到發送機會而引入的機制任何一個通道，其可以連續發送的數據包的字節總和是有限制的，達到該限制值，則系統將自動切換到另外一個同級的通道，防止系統中出現某個通道一直在出包而其他的通道處於「飢餓」狀態的不公平現象)？如果不為正，則填充其DRR值，並且切換到下一個同級的通道，繼續尋找符合條件的通道。當找到VC通道時，則試圖從該VC出隊一個數據包，如果可以成功的出隊到一個數據包，結束此次出隊過程。如果遍歷完系統中的所有通道，仍然不能夠成功的出隊出一個數據包，則結束此次出隊過程。綜上所述，相對於現有技術，本發明的優勢在於可基於業務應用優先級的劃分、 多級多層次的帶寬通道，實現靈活、高效、可靠的帶寬控制能力。其中，對帶寬控制能力包括
利用系統的帶寬分級功能，為組織中某種特定應用或某些重點客戶指定最小的保留帶寬，以保證用戶在不同時間段、不同的網絡使用環境中都能得到同樣的帶寬管理服務和網絡使用感受；
為特定應用或某些客戶指定最大使用帶寬，從而限制非關鍵應用毫無節制的消耗寶貴的帶寬資源，從而保證關鍵應用的服務質量；
基於保證帶寬和最大帶寬的控制，結合應用優先級的控制，高優先級協議可租借空閒或低優先級協議通道的帶寬，從而保證帶寬得到合理的、高效的使用和管理；
可以通過設置某個流量通道的動態子通道參數來控制進入此通道的每個IP位址/用戶的保證帶寬與最大帶寬；
網管人員可以根據需求，可以將若干個Pipe (或者VC)放入一個共享通道中，並設置不同的權重，以達到多樣化的流量控制目的。通過Pipe、VC的相關從屬關係以及Share Rate Pool通道和權重的設定可以實現多級帶寬嵌套的功能。為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本申請時可以把各單元的功能在同一個或多個軟體和/或硬體中實現。通過以上的實施方式的描述可知，本領域的技術人員可以清楚地了解到本申請可藉助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解，本申請的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品可以存儲在存儲介質中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一臺計算機設備 (可以是個人計算機，伺服器，或者網絡設備等)執行本申請各個實施方式或者實施方式的某些部分所述的方法。以上所描述的裝置實施方式僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施方式方案的目的。本領域普通技術人員在不付出創造性勞動的情況下，即可以理解並實施。本申請可用於眾多通用或專用的計算系統環境或配置中。例如個人計算機、伺服器計算機、手持設備或可攜式設備、平板型設備、多處理器系統、基於微處理器的系統、置頂盒、可編程的消費電子設備、網絡PC、小型計算機、大型計算機、包括以上任何系統或設備的分布式計算環境等等。本申請可以在由計算機執行的計算機可執行指令的一般上下文中描述，例如程序單元。一般地，程序單元包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構等等。也可以在分布式計算環境中實踐本申請，在這些分布式計算環境中，由通過通信網絡而被連接的遠程處理設備來執行任務。在分布式計算環境中，程序單元可以位於包括存儲設備在內的本地和遠程計算機存儲介質中。應當理解，雖然本說明書按照實施方式加以描述，但並非每個實施方式僅包含一個獨立的技術方案，說明書的這種敘述方式僅僅是為清楚起見，本領域技術人員應當將說明書作為一個整體，各實施方式中的技術方案也可以經適當組合，形成本領域技術人員可以理解的其他實施方式。上文所列出的一系列的詳細說明僅僅是針對本發明的可行性實施方式的具體說明，它們並非用以限制本發明的保護範圍，凡未脫離本發明技藝精神所作的等效實施方式或變更均應包含在本發明的保護範圍之內。
權利要求
1.一種多核並行無鎖的QOS流量控制的方法，其特徵在於，所述方法包括以下步驟S1、接收數據包；S2、識別所述數據包；S3、通過QoS流控系統的調度器處理所述數據包。
2.根據權利要求1所述的方法，其特徵在於，所述S2步驟包括通過DPI&DFI對所述數據包進行識別，並打上相應的VC和其來自的用戶的ID標籤。
3.根據權利要求1所述的方法，其特徵在於，所述調度器處理包括排隊過程和出隊過程，其中，所述排隊過程將收到的數據包入隊緩存或者丟棄；所述出隊過程負責找出系統中緩存的可以發送的數據包並交給Rm0n&Rm0n2模塊處理，直到將所有緩存的數據包都發送出去或找不到符合限速條件的數據包為止。
4.根據權利要求3所述的方法，其特徵在於，所述排隊過程具體包括以下步驟S10、根據所述數據包上所標識的her ID和VC ID，到相應的VC通道下尋找對應用戶所屬的動態通道；S20、如果找不到，則創建該通道，並且檢查該VC通道是否存在Shared VC ；S30、如果存在，則確認Smred VC下對應的子動態通道的父動態通道是否存在；S40、如果過不存在，則需要創建Siared VC下相應的父動態通道；S50、如果存在，則增加其父動態通道的引用計數；同時確認和創建Pipe和^ared Pipe下對應的各父動態通道，從而形成一條針對每個用戶的通道通道限速鏈，與已經存在的VC/Shared VC/Pipe/Shared Pipe靜態限速鏈相對應，協同工作，並將靜態和動態的通道通過子通道指向父通道的指針連成一條自下而上的單向的鍊表；S60、從最底層的VC下的子動態通道開始，逐級檢查其令牌；S70、如果為負數，則按照單速/雙速三色令牌桶算法進行令牌的填充，如果填充只有的令牌值仍然為賦值，則將收到的該數據包做丟棄處理，排隊過程結束；S80、如果所有的動態限速鏈上的動態通道的令牌檢查都通過，則將所述數據包放入緩存隊列中排隊，等待發送，並根據該數據包的長度，逐級減去各個動態通道相應的令牌值， 排隊過程結束。
5.根據權利要求3或4所述的方法，其特徵在於，所述出隊過程包括S100、檢查當前整個QoS流控系統緩存的數據包的數量是否為1？S101、如果是，進入快速路徑從QoS調度器的排隊過程中VC通道下出隊數據包；S102、如果可以成功出隊一個數據包，則QoS調度器的出隊過程就此結束；S103、如果不可以成功出隊一個數據包，則進入慢速路徑，其中，在所述慢速路徑中，採用的是自上而下的輪詢查找的機制，出隊遍歷的順序是從最頂級的Glared Pipe通道開始，依次遍歷各下級子通道，直到將系統中存在的所有的通道都遍歷一遍或者在某個VC下面可以成功的出隊到一個數據包，則結束此次出隊過程。
全文摘要
本發明提供了一種多核並行無鎖的QOS流量控制的方法，包括以下步驟S1、接收數據包；S2、識別所述數據包；S3、通過QoS流控系統的調度器處理所述數據包。相對於現有技術，本發明的優勢在於可基於業務應用優先級的劃分、多級多層次的帶寬通道，實現靈活、高效、可靠的帶寬控制能力。
文檔編號H04L12/56GK102355422SQ201110315458
公開日2012年2月15日 申請日期2011年10月17日 優先權日2011年10月17日
發明者張慶, 王俊華, 胡斌 申請人:蘇州邁科網絡安全技術股份有限公司