一種基於流量特徵分析的網絡中間節點緩存優化方法
2023-08-06 04:40:36 1
專利名稱：一種基於流量特徵分析的網絡中間節點緩存優化方法
技術領域：
本發明屬於計算機網絡通信領域，具體涉及一種基於流量特徵分析的網絡中間節點緩存優化方法。
背景技術：
網絡中間節點緩存是一種非常傳統的用以解決網絡資源不足的方法，通過將可能會被重複訪問的數據緩存在網絡中間節點中，可以很大程度上減輕網絡負載，合理利用網絡資源從而得到更好地網絡服務質量。就傳統的網絡中間節點緩存策略而言，其設計沒有符合中間節點編程透明性的重要原則，一般的設計模式都是針對於某一項已知的用戶層協議規則進行相應的設計。然而，隨著網絡應用的爆炸式發展，網絡當中存在了大量的私有協議以及公共協議的協議復用情況，這樣導致傳統的網絡中間節點緩存策略無法覆蓋目前數量眾多的網絡應用，其相應的 效果也大打折扣。流量特徵分析技術在信息安全領域已經有非常多的應用與研究，從深度包解析的角度而言，目前已經提出了自動的生成協議狀態機的算法，從而可以對非公有協議構建初步的協議狀態機，還原協議交互過程；流量分類技術也漸漸引入了很多方法解決私有協議問題，其通過分析數據流的特徵，將數據流進行聚類，從而判別數據流中的數據屬於什麼協議。以上的研究成果表明可以在中間節點實現編程透明化，即使得緩存策略的設計與優化不再依賴於某種特定協議的特性。
發明內容
本發明主要解決的問題是讓網絡中間節點緩存策略具有透明性，主要通過分析不同流量的不同特徵，調整緩存資源分配策略，從而提升緩存命中率。本發明提供的基於流量特徵分析的網絡中間節點緩存優化方法，不針對於某一種特定的用戶層協議，而是通過分析經過中間節點的流量的特徵信息，結合緩存的命中率情況，建立相應的流量特徵緩存預測模型，預測擁有某種類型特徵的流量集合的緩存權重，從而分配該集合相應的緩存大小。當流量經過中間節點時，首先對流量進行分類，然後在為該類別所分配的緩衝區空間中，根據該空間的緩存狀況，結合LRU算法確定流量應該如何被處理。定期的，系統會更新流量分類模型並重新分配緩存空間給新的不同分類，從而保證緩存策略與近期節點的流量狀況有很強的相關性。本發明提供的一種網絡中間節點流量緩存優化方法，主要根據擁有不同特徵的流量具有不同的緩存需求的特點，對具有類似流量特徵的數據流量進行聚類，分析每個聚類的緩存價值並進行相應的量化，再根據相應的量化值，調整對於不同聚類流量的緩存資源，從而實現緩存資源利用的最大化。本發明提供的一種基於流量特徵分析的網絡中間節點緩存優化方法，具體步驟如下
1)存的網絡中間節點，，並設置系統的參數分類數目、命中率閾值和時間閾值，用戶可以根據實際的需要，在系統部署時對這些關鍵的參數進行更改；
2)根據步驟I)所述的系統的分類數目，將緩存區平均分配為等大小緩存空間，當流量經過中間節點時，系統的流量統計模塊開始統計數據的流量特徵信息，對其進行量化和標準化，形成相應的向量存入資料庫中；此時，系統會根據LRU算法來確定當前階段的流量是否會被存入緩衝區當中；
3)在流量不斷的經過中間節點並緩存的過程中，用戶也不斷的向緩存請求數據，當整個緩存的命中率達到步驟I)中預設的命中率閾值時，系統開始將資料庫中的量化後的數據特徵向量進行分類，得到多個流量分類，建立相應的流量分類模型；再將每個流量分類的緩存權重進行運算，根據運算得到的分類權重結果，建立緩存空間分配模型； 4)模型建好之後，系統根據建模的結果，重新分配緩存空間；當新的流量進入系統時，系統便依據新的流量分類模型確定該流量進入哪一個分類；當確定所屬類別後，便在相應的緩存空間中，依據LRU算法，確定流量如何被處理；
5)系統進入正常運行後，用戶可以通過對之前設定的命中率和時間閾值進行動態的調整，從而確定建模頻率，定期對經過中間節點的流量進行分類，更新流量分類模型，再將每個流量分類的緩存權重進行運算，更新緩存空間分配模型，從而保證緩存分配策略與近期節點的流量情況緊密相關，實現緩存資源利用的最大化。本發明中，對於網絡中間節點無論是網關代理還是路由器等，其主要的任務都是提供相應的網絡服務，因此其緩存功能不能夠消耗掉太多的運算資源，影響到其它主要的服務功能。本發明中，系統架構圖如
圖1，整個系統主要由模型生成模塊、預測模塊和流量統計模塊三部分構成。模型生成模塊，其主要利用採集的歷史流量特徵數據與歷史分類的命中率數據生成相應的流量分類模型和緩存空間分配模型。預測模塊用於對新的流量進行測算，看它屬於哪一個分類，並根據域內緩存策略決定是否將該流量裝入緩存，或者用其替換現有的使用較少的流量。流量統計模塊主要負責建模所需要的數據統計，主要包括流量特徵的提取量化以及每個緩存的數據流量的命中率信息。這些信息需要儘快的從流量中提取存儲，以便後續建立模型及利用模型對流量進行分類之用。本發明中，聚類流程圖如圖2所示。本發明中利用聚類算法獲得相應的流量分類模型，聚類算法模塊的主要作用在於將流量統計模塊統計的量化後的數據特徵向量。其中，非常重要的是選取什麼特徵進行量化和利用什麼樣的算法進行聚類模型的構建。本發明採用目前較為流行的K-means聚類算法，該算法時間複雜度低，實現簡單。本發明中，所述流量特徵信息通過網絡測量工具進行採集，所選取的流量特徵向量元組包括連接交互時間統計、佔用帶寬、流量中數據包長度、流量數據量大小和交互間隔。這些元組的數值與流量的緩存價值息息相關。其直接反映了流量對於網絡帶寬資源的佔用情況以及流量當中數據的多少。實驗表明，帶寬資源佔用越高且單次連接中平均傳輸的數據量越多的流量擁有更高的緩存價值。鑑於模型的建立與相應的建模數據採集周期有關，不同的建模周期會影響到聚類模型建立的精準度，即如果周期過長，建模所採用的數據可能並非近期有效地流量統計數據，而建模周期過短則可能會讓有些原本有效地數據無法發揮作用，並且頻繁建模也會損耗相當大的運算效率。因此，在這裡我們通過設定時間閾值與命中率閾值，即在給定時間周期建模的同時，當命中率低於一定的時候系統也會自動的重新建模，從而可以讓系統建模頻率更加具有適應性。本發明中，步驟3)中將每個聚類中平均加權的特徵向量值通過計算，得到流量特徵決定的緩存權重。首先，將所有等待輸入模型的數據進行標準化處理，假設等待輸入模型的的數據有n組，每組向量中有m個元組，利用以下公式對每一個元組數據進行標準化
權利要求
1.一種基於流量特徵分析的網絡中間節點緩存優化方法，其特徵在於，通過分析經過中間節點的流量的特徵信息，結合緩存的命中率情況，建立相應的流量特徵緩存預測模型， 分配相應的緩存空間，具體步驟如下1)將系統部署在需要緩存的網絡中間節點中，同時對分類數目，默認命中率，時間閾值等系統運行中將要用到的系統參數進行設置；2)根據步驟I)所述的系統的分類數目，將緩存區平均分配為等大小的緩存空間，當流量經過中間節點時，流量統計模塊開始統計流量特徵信息，對其進行量化和標準化，形成相應的向量存入資料庫中；此時，系統會根據最近最少使用LRU算法來確定當前階段的流量是否會被存入緩衝區當中；3)在流量不斷的經過中間節點並緩存的過程中，用戶也不斷的向緩存請求數據，當整個緩存的命中率達到步驟I)中預設的命中率閾值時，系統開始將資料庫中的量化後的數據特徵向量進行分類，得到多個流量分類，建立相應的流量分類模型；再將每個流量分類的緩存權重進行運算，根據運算得到的分類權重結果，建立緩存空間分配模型；4)模型建好之後，系統根據建模的結果，重新分配緩存空間；當新的流量進入系統時， 系統便依據新的流量分類模型確定該流量進入哪一個分類；當確定所屬類別後，便在相應的緩存空間中，依據LRU算法，確定流量如何被處理；5)系統進入正常運行後，用戶可以通過對之前設定的命中率和時間閾值進行動態的調整，從而確定建模頻率，定期對經過中間節點的流量進行分類，更新流量分類模型，再將每個流量分類的緩存權重進行運算，更新緩存空間分配模型，從而保證緩存分配策略與近期節點的流量情況緊密相關，提高緩存資源利用率。
2.根據權利要求1所述的方法，其特徵在於所述系統主要由模型生成模塊、預測模塊及系統數據模塊組成。
3.根據權利要求1所述的方法，其特徵在於所述中間節點為路由器或者網關代理。
4.根據權利要求1所述的網絡中間節點緩存優化方法，其特徵在於，步驟I)中所述流量特徵信息包括連接交互時間統計，佔用帶寬，流量中數據包長度，流量數據量大小，交互間隔；所述流量特徵信息通過網絡測量工具進行採集。
5.根據權利要求1所述的網絡中間節點緩存優化方法，其特徵在於步驟2)中所述對數據的流量特徵進行量化和標準化，其利用以下公式進行數據處理
6.根據權利要求1所述的網絡中間節點緩存優化方法，其特徵在於步驟3)、步驟5) 中對流量進行分類採用k-means聚類算法。
7.根據權利要求1所述的網絡中間節點緩存優化方法，其特徵在於步驟3)中所述對每個流量分類的緩存權重進行運算，其公式如下
8.根據權利要求1所述的網絡中間節點緩存優化方法，其特徵在於步驟5)中緩存分配權重算法採用流量特徵決定的緩存權重與流量命中率結合決定分類緩存比例的算法，具體數學公式如下
全文摘要
本發明屬於計算機網絡通信領域，具體為一種基於流量特徵分析的網絡中間節點緩存優化方法。本發明中當流量經過中間節點時，首先對流量進行分類，然後根據流量所屬的類別，在該類別所被劃分的緩衝區空間中，根據該區域的緩存狀況，結合最近最少使用(LRU)算法確定流量應該如何被處理。定期的，系統會更新流量分類模型並重新分配緩存區空間給新的不同分類。本發明主要著眼於解決網絡中間節點緩存策略的透明性問題，即設法保證網絡中間節點緩存的算法設計與特定的用戶層協議設計無關，並設法使得這種滿足編程透明性的策略其效率到最優。
文檔編號H04L12/811GK103023801SQ20121050602
公開日2013年4月3日 申請日期2012年12月3日 優先權日2012年12月3日
發明者趙進, 餘浩淼, 王新 申請人:復旦大學