基於數據挖掘技術的拒絕服務攻擊防禦方法和系統的製作方法

2023-07-01 02:15:31 1

專利名稱：基於數據挖掘技術的拒絕服務攻擊防禦方法和系統的製作方法
技術領域：
本發明涉及網際網路技術，具體涉及一種基於數據挖掘技術的拒絕服務攻擊防禦方法和系統。
背景技術：
拒絕服務攻擊(DoS)和分布式拒絕服務攻擊(DDoS)是目前常見的網絡攻擊方式。這種 攻擊通過發送大量偽造的服務請求，消耗被攻擊網絡的帶寬和受攻擊主機的服務資源，從而 淹沒合法的正常服務。特別是DDoS攻擊，由於其受控主機自身具有分布性，且攻擊數據包採 用偽隨機IP，使得攻擊者具有更強的隱蔽性，DDOS攻擊更加難以防禦。因此研究一種能夠有 效抵禦DDoS攻擊的防禦模型和機制具有很迫切的現實需要。
數據挖掘技術在檢測和防禦分布式拒絕服務攻擊領域有一定的應用。目前，數據挖掘技 術主要應用在攻擊檢測領域。針對DDoS進行防禦有多種機制和方法。對DDoS攻擊防禦方法 有很多，比如有基於源可信IP過濾、擁塞控制等方案。基於擁塞控制的防禦機制只能解決 網絡擁塞的問題，該機制無法正確區分惡意攻擊流量和合法流量。有研究者提出了一種根據 歷史流量提取可信源IP方法，並針對源IP進行過濾來防禦DDoS攻擊。該方案能在保護合法 流量的情況下對DDoS進行防禦，過濾偽造的攻擊數據包，但如果攻擊數據包源IP位址存在 於可信IP列表中，該方法則失效。有研究者提出了一種大規模防禦分布式拒絕服務攻擊的模 型，模型主要分為分布在受保護伺服器前端的DCA(Data Collection Agent)和位於控制中心 的DFA(Data Fusion Agent)兩部分。DFA採用貝葉斯分類算法對數據塊進行危險度的劃分， 若來自某個DCA的數據塊危險度較高，則通知對應DCA進行防禦。系統具有較好的防禦效果， 但需要大規模部署，實際應用性較差。

發明內容
本發明針對現有DoS/DDoS攻擊防禦的不足，提出了一種基於數挖掘技術的拒絕服務攻擊 防禦方法和系統。該系統主要採用數據挖掘技術中的關聯分析方法和貝葉斯分類算法構架了 一個有效的防禦體系。可信IP列表過濾器與流量控制模塊相互配合，可信度較高的可信IP 列表使可信流量儘快通過防禦模型，也為流量控制模塊分擔一部分壓力。流量控制組件對可 信IP列表組件不能處理的流量按照危險度等級的不同進行不同概率丟包，這樣有選擇概率的
丟包，使正常流量極大限度地通過防禦模型，從而保障了網絡的正常訪問。 該防禦系統主要解決了兩個問題
(1) 基本解決了傳統IP列表某些情況失效的問題，提取IP列表的方式使可信源IP更 真實，更可靠。
(2) 提取的屬性分值表、分值映射到危險等級的方法使流量控制模塊可以根據危險等級 來進行選擇性丟包，從而區分了正常流量和異常流量。
該防禦系統具有以下特點
(1) 檢測算法具有高效性和實時性，能實時檢測當前網絡流量的異常狀態；
(2) 具有自學習性，減少了人工幹預；
(3) 彌補了傳統的基於可信IP過濾的缺點，使得基於可信IP的過濾機制更可靠；
(4) 能夠有效區分正常流量和異常流量；
(5) 提取、傳輸可信IP列表具有高效性，使防禦模型進行實時防禦。


圖1為本發明防禦系統數據流圖2為本發明異常檢測模塊具體流程圖3為本發明提取可信IP列表具體流程圖4為本發明提取屬性分值表具體流程圖5為本發明將分數映射為危險等級具體流程具體實施例方式
為使本發明的目的、技術方案、及優點更加清楚明白，以下參照附圖，對本發明的技術 方案進一步詳細說明。
如圖1所示，本發明防禦系統的系統流程圖。
該防禦系統是建立在對DoS/DDoS攻擊的異常檢測(101)的基礎上的。異常檢測(101) 採用協方差的分析方法，並對檢測結果進行二次評估，使判斷結果更準確，對DoS/DDoS攻擊 進行有效、實時的檢測，並根據隨機抽樣理論和系統異常狀態標誌將網絡流量隨機抽樣至數 據庫伺服器的正常流量庫和異常流量庫，從而為防禦模型提供了可靠的數據來源。
防禦系統除了異常檢測模塊(101)，還由數據挖掘引擎(102)、可信IP過濾器(103)、
流量控制(104)三大模塊構成。其中數據挖掘引擎(102)以資料庫伺服器中的正常與異常 流量庫作為數據來源，採用關聯分析方法和貝葉斯分類算法，將生成的可信源IP與數據包屬 性分值表分別傳送給可信IP過濾器(103)與流量控制組件(104)。當異常檢測模塊(101) 認為當前流量正常時，則放行流量。當異常檢測模塊(101)檢測當前流量發生異常時，網絡 數據包會首先經過可信IP過濾器(103)，若數據包中的源IP位址與可信IP過濾器中存儲的 可信IP列表匹配，認為該數據包為合法數據包，則放行該數據包，否則數據包將流入流量控 制模塊(104)，流量控制模塊(104)利用數據包屬性分值表對數據包進行危險度的評估，若 數據包的危險等級越高，則被丟棄的概率就越大，若相反，則被丟棄的概率就越小。
如圖2所示，本發明異常檢測模塊算法包括
步驟201、定時提取TCP包頭的標誌欄位和IP包頭的分片標誌；
在防禦系統中每r(r-5)秒中，隨機抽取n(w-20)個TCP數據包，提取數據包中的DF，
URG， ACK， PSH， RST， SYN， FIN標誌位，每個數據包提取其中= 7)個特徵，這樣構成一 個隨機向量X 所以在3"的時間間隔就會形成《,...義 個向量，令第/個向量為=(《',...,《)。若r(7^5)秒時間內隨機抽樣的數據包的個數小於n("二20)，則抽樣失敗，
繼續在下一個r(r = 5)秒進行抽樣。
步驟202、構造r(r-5)秒內的協方差矩陣；
定義y;"為在第/個單位時間內，特徵《在向量義,中的值。定義變量少,和M^ ，其中
formula see original document page 6步驟203、計算當前時間的協方差矩陣與協方差矩陣序列的均值的距離； 定義D,為M^與五(M^)之間的歐式距離D,HIM^,-五(M^11，所以定義兩矩陣的距離formula see original document page 6
步驟204、構造存儲大量距離值的歷史窗口，計算距離值的置信區間； 設歷史窗口維持時間為m個單位時間的A，在每個單位時間內，同時維護一個三元組
(D,，C,，cr,)l《/《m，其中Z),表示第/個時間單位時間內計算的距離值，C,表示前/個單位
時間z,的累加和c,-土z,。巧表示前/個單位時間z,的平方累加和巧-tz,2。計算第w+l 個單位時間內的距離值D^。令0_+1—c;-c, + a^ct^—t^-巧+z二；矩估計的樣本均
Cmj_，,.、/- l ■丄一 、/a 、, - I^z7mj_， 一 Cra
值為Cm+1=^;樣本標準差為Sm=、p"+1 、 1 ，所以構造的置信區間為
m V 附
《-^1^^^^;+//^，其中/z為正態分布的一個分位數。
步驟205、進行異常檢測的初次判斷
如果Z)，^落在置信區間外，則認為2^+1有異常，且不更新歷史窗口；如果D^落在置信 區間內，則認為i^:沒有發生異常，同時更新歷史窗口。
步驟206、對異常檢測的初次判斷進行二次評估。
二次評估的特點是若初次判斷為系統正常，二次評估算法內的一些參數會發生變化， 但輸出一定為正常。本系統採用的基於可信度的二次評估算法描述如下7;^7"分別表示 兩個時間間隔的閾值，如果兩次報警的時間間隔大於r^，則認為兩次報警沒有關聯；如果 報警時間間隔大於r,小於等於7;m，則認為兩次報警之間的關聯不緊密，可信度應該衰減； 若報警時間間隔小於7;,,,，則認為兩次報警關聯緊密，可信度應該遞增。
脅fine r醒，rmm
flag = 0;〃報警出現標誌，O表示沒有過，l表示出現過 x=0,y = l;〃x,y為控制可信度衰減或遞增的參數 while (i ++){
if ( c= = no ) 〃分類結果為正常
if (flag != 0 ) 7++;〃出現過報警y增加1 else 〃分類結果為攻擊
{if (flag = = 0 )〃第一次報警認為是誤報 = no;flag = l;x = O;y = 1;}
if ( ( y - x ) ^ 7_ )〃與以前的報警沒有關聯 k = no; flag = l;x = 0; y = 1;}〃記為第一次報警 else if ( (y - x )》rmin )〃關聯不緊密，可信度應該衰減 {x++;y++;^ = no + (yes -no ) ; } 〃k為係數
else 〃關聯緊密，可信度遞增 { y++;x=y-l;
= no + (yes - no ) (fe)一('-力)}
如圖3所示，本發明提供的提取可信IP列表包括 步驟301、按照訪問頻度排序提取IP列表
在正常訪問情況下，同一個源IP位址會較為頻繁地訪問被保護網絡，所以在網絡流量正
常時，可以將具有一定訪問頻度的源IP位址近似認為被保護網絡的可信IP位址。在該防禦 模型中維護一個按照訪問密度降序排序的IP位址列表，^-b,，A,A，...，/^ ("為IP位址
個數)。
步驟302、用關聯分析方法提取合法IP列表；
以隨機抽樣的正常流量庫作為數據源，基於IP數據包的TTL和數據包長度兩個屬性生成
頻繁項集Z，取出頻繁項集工對應的源IP，按照訪問密度進行降序排序，得到一個IP位址列 表S,"，/2，/3，…，/j (/為Z的項數)。
步驟303、用關聯分析方法提取可疑IP列表；
以隨機抽樣的異常流量庫作為數據源，基於IP數據包的TTL和數據包長度兩個屬性生成 頻繁項集似，取出^中的源IP，得到一個1 地址列表&=—,，附2,附3,...,附"(j為M的項數)。
步驟304、計算可信IP列表。
取4c&，^c&,且V/7^^,V/^4， A、 /,的訪問次數大於1，則可信IP列表 r = ^ - & 。其中4 n^表示結合訪問密度和頻繁項集兩種方法獲取更為可信的IP列表， 同時，為了避免攻擊源IP出現在可信IP列表中，在其取交集後IP列表中去掉&，使得r能 夠更有效地基於源IP過濾進行防禦。
如圖4所示，本發明提供屬性分值表的方法包括
步驟401、將源IP前綴(16比特)和TTL屬性值等寬離散化；
步驟402、計算屬性分值表；
對正常流量庫和異常流量庫IP數據包的屬性值進行頻率統計，再根據貝葉斯定理計算 IP數據包屬性值在特定值的情況下，數據包為正常包的概率(為了降低計算複雜度，假設IP
數據包各屬性是獨立同分布的，所以引入log算子將乘除運算改進為加減運算，加快了運算速+
度)。計算公式如下Z0g[CZP(/ )] = .[l0g(iJ (5 = ~))-log(i>m(S = 6p))] + +.
其中戶 04=^)表示在正常流量庫中，屬性^值等於flp的概率，屍 04 = ^)表示在異常流 量庫中，屬性^值等於^的概率，以此類推。0^07)表示數據包/7屬性45，(:,...值等於 ^,~,^...的情況下為正常數據包的概率。 一個數據包/ 的分數由各個屬性的分數值相加得 到。對於屬性^的分數值表示為log(《(J = ap)) —log(Pm(^ = ))，以此類推。
步驟403、得出正常流量和異常流量分值的平均值和標準差。
根據資料庫伺服器的正常和異常流量庫得到屬性分值表後，對正常和異常流量庫中的數 據進行評分，分別計算正常和異常流量分值的標準差(3 ,&)和平均值值得注意 的是，若^<^則表明提取屬性分值表失敗，進入下一次的提取過程。若提取成功，在網絡 處理器中定時更新3",&， w"，^與屬性分值表。 '
如圖5所示，本發明將分數映射為危險等級的方法包括
當有數據包經過流量控制組件時，對數據包進行評分，再將分數根據3 ，~， " ，^四個 參數映射到0-9的危險等級，其中9表示的危險等級最高。在流量控制組件規定數據包的 危險等級越高，則以更高的概率丟包。為了減少貝葉斯分類誤差率對映射關係的影響，分數
映射為危險等級的方法如下
步驟50K計算稠密係數; = 3 /^;
步驟502、計算相對分數刻度^;=//) (/ = 0，1,2，...，10);
步驟503、計算絕對分數刻度A-( -、)"^i + (/ = 0,1，2，...，10);
步驟504 、對每一個數據包，根據屬性分值表計算其分數v，則其危險等級formula see original document page 10
權利要求
1、一種基於數據挖掘技術的拒絕服務攻擊防禦方法和系統，該系統需部署在被保護網絡的網絡入口，並為該系統配置資料庫伺服器以存儲系統抽樣的實時流量；其特徵在於，所述系統包括有異常檢測模塊，負責檢測當前網絡流量的狀態以判斷當前系統是否異常，並根據當前系統的狀態將當前網絡流量隨機抽樣至資料庫伺服器的正常流量庫和異常流量庫。數據挖掘引擎模塊，負責利用資料庫伺服器中的正常流量庫和異常流量庫提取可信源IP列表和屬性分值表，並將可信源IP列表和屬性分值表分別傳遞給可信IP過濾器和流量控制模塊。可信IP過濾器模塊，負責根據可信源IP列表對數據包的源IP進行匹配，如果匹配則放行流量，否則將流量交給流量控制模塊處理。流量控制模塊，負責根據屬性分值表對流經流量控制模塊的網絡數據包進行打分，並將分值映射成數據包危險等級，該模塊根據危險度等級的高低進行選擇性的丟包。
2、 如權利要求l所述的異常檢測模塊，其特徵在於，所述異常檢測算法包括 定時提取TCP包頭的標誌欄位和IP包頭的分片標誌；構造協方差矩陣，並計算協方差矩陣與協方差矩陣序列的均值的距離；構造存儲大量距離值的歷史窗口，在假設距離值獨立同分布的情況下，計算距離值的 置信區間；對判斷結果進行二次評估，使檢測算法的檢測結果更準確。
3、 如權利要求l所述的網絡流量隨機抽樣，其特徵在於，所述方法包括隨機生成16比特匹配串，與IP數據包Identification欄位16比特進行匹配，若匹 配成功則抽樣該數據包。
4、 如權利要求1所述的提取可信源IP列表，其特徵在於，所述方法包括 對正常流量庫中的源IP進行訪問頻度排序，得到集合^ ;在正常流量庫中，根據IP數據包TTL屬性和IP包長度屬性提取頻繁項集，並得到頻 繁屬性集對應的IP列表，得到集合52;在異常流量庫中，根據IP數據包TTL屬性和IP包長度屬性提取頻繁項集，並得到頻 繁屬性集對應的IP列表，得到集合&;根據前三個集合得到可信IP列表。
5、 如權利要求1所述的提取屬性分值表方法，其特徵在於，所述提取方法包括 根據IP數據包的TTL屬性和源IP前綴(16比特)兩屬性，對正常流量庫和異常流量庫中的數據包進行頻率統計；按照貝葉斯定理生成屬性分值表；根據屬性分值表計算正常流量庫和異常流量庫中的數據包分值的平均值和標準差。
6、 如權利要求l所述的將分值映射成數據包危險等級，其特徵在於，所採用的映射方 法充分考慮了貝葉斯分類誤差，並減少映射關係對數據包危險度劃分的影響。
7、 如權利要求l所述的根據危險度等級的高低進行選擇性的丟包，其特徵在於根據 危險等級與丟包概率的對應關係，對高危險度的數據包進行高概率丟包，對於低危險度的 數據包進行低概率丟包。
8、 如權利要求7所述的危險等級與丟包概率的對應關係，其特徵在於當危險等級為 0時，丟包概率為0%，當危險等級為9時，丟包概率為10%，其他危險等級可以按照線性或 指數函數關係來設定丟包率。
全文摘要
本發明公開了一種基於數據挖掘技術的拒絕服務攻擊防禦方法和系統。該系統由異常檢測、數據挖掘引擎、可信IP列表過濾器、流量控制四大模塊組成。異常檢測模塊採用高效的協方差分析方法對當前網絡流量進行分析以判斷當前系統是否異常，數據挖掘引擎模塊利用關聯分析法提取可信IP列表用於數據包的過濾。該防禦系統彌補了傳統基於可信IP列表過濾的缺點，並在防禦攻擊時能有效區分正常流量與異常流量。系統的數據挖掘引擎模塊提取、傳輸IP可信列表和屬性分值表具有高效性，使該模型能對拒絕服務攻擊(DoS/DDoS)進行實時防禦。
文檔編號H04L12/56GK101383694SQ20071004992
公開日2009年3月11日 申請日期2007年9月3日 優先權日2007年9月3日
發明者何興高, 周世傑, 秦志光, 彬 童, 天 藍, 洋 趙 申請人:電子科技大學