一種基於廣義傑卡德相似係數Web應用層DDoS攻擊檢測方法及裝置與流程
2023-08-10 03:44:36
本發明涉及Web應用層DDoS攻擊檢測問題，將傑卡德相似係數應用到Web應用層DDoS攻擊檢測中。
背景技術：
：分布式拒絕服務(DistributedDenialofService，DDoS)攻擊，一直是影響網際網路安全的一個重大威脅。而近些年，應用層DDoS逐漸顯示出其攻擊威力來。應用層DDoS攻擊與傳統的DDoS攻擊最大的不同就是前者是在與伺服器建立連接完全正確的情況下，以消耗系統資源為目的從而達到拒絕服務。隨著網絡技術發迅速發展和Internet的廣泛普及，Web服務已成為人們生活中的重要組成部分，針對Web應用層的DDoS攻擊也日益增多，主要分為兩類：一類是HTTP-Flood攻擊，另一類是HTTP-Post攻擊。目前，對於檢測Web應用層DDoS攻擊方法主要有：Kandula等人提出的基於「PUZZLE」的檢測和防禦方法，當伺服器的資源超過預先設定的閾值時，可以懷疑是否受到攻擊。由於攻擊由程序生成的，不具有智能性，這時就會要求用戶回答一些簡單的問題判斷用戶的合法性，回答錯誤，則可確定為攻擊源。但是這種方法不僅會影響合法用戶的體驗，且不能有效的區分突發流。Mahajan等人提出利用源地址IP熵值來判斷是否發生DDoS攻擊，該方法能夠有效的區分突發流和HTTP-Flood洪泛攻擊，但並未考慮HTTP-Post慢速連接攻擊，謝逸等人提出了一種基於用戶訪問行為的異常方法，採用隱馬爾科夫模型描述用戶的正常訪問行為，通過判斷用戶訪問行為的正常程度來判斷是惡意攻擊程序還是合法用戶的正常訪問，該方法訓練過程繁瑣，計算複雜度很高且在線實時性較差。技術實現要素：根據上文中本文提出的現有技術對DDoS攻擊檢測的不足，提出一種基於傑卡德相似係數的Web應用層DDoS攻擊檢測方法，分析發生HTTP-Flood洪泛攻擊和HTTP-Post慢速攻擊流量特徵選取合理的多種特徵建立相似性模型，以單位時間內的數據量作為計算項，通過比較與正常流量情況下的相似性閾值來判斷是否發生攻擊，通過實驗表明該方法不僅能夠有效的檢測HTTP-Flood攻擊和HTTP-Post慢速連接攻擊，還能較好的區分出突發流，且在線實時檢測性強。本發明為解決上述技術問題採用以下技術方案：傑卡德相似係數由jaccard提出用來度量兩個集合之間的相似性，狹義的傑卡德相似係數集合元素的取值只能是0或者1，而廣義的傑卡德相似係數的元素取值可以是實數，能夠表達豐富的信息。而在DDoS攻擊檢測中我們需要用到多種屬性，並且各個屬性的特徵值都不同，所以狹義的傑卡德相似係數並不適合用於本文中。本文使用廣義傑卡德相似係數計算當前單位時間屬性集合和歷史正常屬性集合的相似性。計算公式如下：Sim(x,xi)=(x*xi)(||x||2+||xi||2-x*xi)(0其中:x表示多次取不同歷史正常數據計算各個屬性特徵取平均值組成的屬性向量；xi表示當前t時間內計算出的各個屬性特徵組成的屬性向量；當Sim(x,xi)的值越接近於1時，代表x與xi越相似，即越接近於正常流量；若且唯若x＝xi時等號成立，代表x與xi完全相似即相似值為1。為了更好的反應正常流、攻擊流的相似性和識別不同攻擊，在屬性特徵的選取上不僅需要選取攻擊流與正常流有差異性，還要考慮到在發生不同攻擊時，不同攻擊在各個屬性上的取值也要有所差異性，根據上文的分析，我們選取以下三種屬性特徵組成屬性向量：a、源ip地址熵值1)當發生針對Web伺服器的HTTP-Flood洪泛攻擊時，會出現大量新IP位址，因而新IP位址的增長率會急劇增加，造成源IP位址熵值低於正常流IP熵值；而發生突發流時，大量IP位址會重複的出現，源IP熵值會高於正常流。2)發生HTTP-Post慢速連接攻擊時，由於持續的保持多個連接，則源IP位址在單位時間內會重複出現，源地址IP熵值會高於正常流。計算源ip地址熵值得步驟如下：步驟a1，定義IP_all＝{IP1,IP2,...IPi,...IPn}，IP_all代表t時間間隔內源IP位址集合；步驟a2，定義P＝{p1,p2,...,pi,...,pn}，pi表示IPi的概率分布；步驟a3，由步驟a1，a2得出t時間間隔內源IP位址的熵值為：b、數據包大小的熵值1)攻擊者為了盡最大能力消耗目標主機的資源，減少攻擊數據包的複雜程度，由殭屍機發出的攻擊數據包大小相似程度大，數據包大小分布集中，而正常情況下數據包的大小是比較隨機的，因此發生攻擊時數據包大小的熵值小於正常流；2)而突發流往往是由正爆炸性新聞或者流行產品的發布所引發大量用戶同時訪問的結果，因此在該段時間內，正常用戶發出的數據包在大小上基本相似，所以數據包的熵值也會低於正常流。計算數據包大小的熵值步驟如下：步驟b1，將流向目標主機的第i個數據流定義為flowi，則t時間間隔內採集到的流向目標主機的數據流flow_all就可以表示為：flow_all＝{flow1,flow2,...flowi,...flown}；步驟b2，設P(flowi)為第i個流上數據包的數量，用pi表示其概率分布為：其中P(flow_all)=Σi=1nP(flowi);]]>步驟b3，由步驟b1，b2得出數據包大小的熵值為：c、TCP連接數與HTTP請求數比值1)發生HTTP-Flood洪泛攻擊時，攻擊者為了儘快的消耗主機資源，建立連接後單位時間內會發送大量的HTTP請求；2)發生HTTP-Post慢速連接攻擊時，建立連接後，以較長的時間才發送一個HTTP請求；3)而發生突發流時，開始階段會使用戶的請求數會增大，但由於網絡性能下降，每個用戶對資源的請求數會減小。4)因此，統計周期內一個TCP連接，HTTP的請求數的比值，如果一個周期內比值過大有可能是HTTP-Post慢速連接攻擊，過小有可能是HTTP-Flood洪泛攻擊，而由於突發流有個逐漸減小的過程，比值會大於洪泛攻擊而小於正常流。計算TCP連接數與HTTP請求數比的步驟如下：步驟c1，定義tcpnum為t時間間隔內總的TCP連接數；步驟c2，定義http_reqnum為t時間間隔內總的HTTP請求數；步驟c3，由步驟c1，c2得到連接請求比為：理論上：rateHDDoS＜rateFC＜rateNorm＜rateLDDoS在此，rateLDDoS表示發生HTTP-Post慢速連接攻擊時TCP連接數與HTTP請求數比值；rateHDDoS表示發生HTTP-Flood洪泛攻擊時TCP連接數與HTTP請求數比值；rateFC發生突發流時TCP連接數與HTTP請求數比值；rateNorm表示正常情況下TCP連接數與HTTP請求數比值；rateLDDoS遠大於正常值。所以，綜上所述，在發生突發流時只會在數據包熵值與正常流有明顯的差別，而在其他兩種屬性上相比於發生攻擊時要小，因此相似度的值會比較大。發生洪泛攻擊與慢速連接攻擊時，在三種屬性的值上與正常情況下相比都有差距，相似性值會比較小。因此理論上可以很好的從異常流中區分出突發流且能很好的對洪泛攻擊和慢速連接攻擊作出檢測。具體技術方案如下：本發明涉及一種基於廣義傑卡德相似係數Web應用層DDoS攻擊檢測方法，包括如下步驟：步驟一：設置時間間隔t；步驟二：以t時間間隔內的數據量作為計算項，通過使用廣義傑卡德相似係數計算公式計算當前t時間間隔內屬性集合和歷史正常屬性集合的相似性；步驟三：將步驟二中計算出的傑卡德相似係數與預先設定的相似閾值γ比較，以此為依據判斷是否發生DDoS攻擊。本發明還涉及一種基於廣義傑卡德相似係數Web應用層DDoS攻擊檢測裝置，包括：時間間隔設置模塊：用於設置時間間隔t；相似性比較模塊：用於以t時間間隔內的數據量作為計算項，通過使用廣義傑卡德相似係數計算公式計算當前t時間間隔內屬性集合和歷史正常屬性集合的相似性；攻擊識別模塊：將步驟二中計算出的傑卡德相似係數與預先設定的相似閾值γ比較，以此為依據判斷是否發生DDoS攻擊。本發明採用以上技術方案與現有技術相比，具有以下技術效果：該方法可以一次使用多種屬性特徵進行相似性比較，它不僅能夠有效檢測出HTTP-Flood洪泛攻擊和HTTP-Post慢速連接攻擊，還能準確的區分出突發流量，具有在線檢測實時性強和準確率高等特點。附圖說明圖1是本發明中基於廣義傑卡德相似係數的應用層DDoS攻擊檢測算法示意圖；圖2是本發明實施例中捕獲的正常流量列表。圖3是本發明實施例中正常連接下使用libpcap捕獲的流量特徵向量(或稱屬性向量)列表；圖4是本發明實施例中HTTP-Post攻擊時使用libpcap捕獲的流量特徵向量(或稱屬性向量)列表；圖5是本發明實施例中HTTP-Flood攻擊時使用libpcap捕獲的流量特徵向量(或稱屬性向量)列表；圖6是本發明實施例中捕獲的突發流量列表；圖7是本發明實施例中相似性比較結果圖；具體實施方式下面結合附圖和實例對本發明進一步描述。實施例一本發明涉及一種基於廣義傑卡德相似係數Web應用層DDoS攻擊檢測方法，包括如下步驟：步驟一：設置時間間隔t。步驟二：以t時間間隔內的數據量作為計算項，通過使用廣義傑卡德相似係數計算公式計算當前t時間間隔內屬性集合和歷史正常屬性集合的相似性。所述的屬性集合為若干屬性特徵組成的屬性向量，所述的廣義傑卡德相似係數計算公式如下：Sim(x,xi)=(x*xi)(||x||2+||xi||2-x*xi)(0其中:x表示若干次取t時間間隔內不同歷史正常數據計算各個屬性特徵取平均值組成的屬性向量；xi表示當前t時間間隔內計算出的各個屬性特徵組成的屬性向量；具體包括如下步驟：步驟2.1：將若干次t時間間隔內不同歷史正常數據取平均值計算x；步驟2.2：計算當前t時間間隔內的xi值；步驟2.3：計算傑卡德相似係數Sim(x,xi)。所述的屬性特徵包括源IP位址熵值、數據包大小的熵值以及TCP連接數與HTTP請求數比值。所述源IP位址熵值的計算步驟如下：步驟a1：定義IP_all＝{IP1,IP2,...IPi,...IPn}，IP_all代表t時間間隔內源IP位址集合；步驟a2：定義P＝{p1,p2,...,pi,...,pn}，pi表示IPi的概率分布；步驟a3：由步驟a1，a2得出t時間間隔內源IP位址的熵值為：E(IPsrc)=-1lnnΣi=1npilogpi---(1).]]>所述數據包大小的熵值的計算步驟如下：步驟b1：將流向目標主機的第i個數據流定義為flowi，則t時間間隔內採集到的流向目標主機的數據流flow_all表示為：flow_all＝{flow1,flow2,...flowi,...flown}；步驟b2：設P(flowi)為第i個流上數據包的數量，用pi表示其概率分布為：其中P(flow_all)=Σi=1nP(flowi);]]>步驟b3：由步驟b1，b2得出數據包大小的熵值為：E(P)=-1lnnΣi=1npilogpi---(2).]]>所述TCP連接數與HTTP請求數比值的計算步驟如下：步驟c1：定義tcpnum為t時間間隔內總的TCP連接數；步驟c2：定義http_reqnum為t時間間隔內總的HTTP請求數；步驟c3：由步驟c1，c2得到連接請求比為：rate=tcpnumhttp_reqnum,0步驟三：將步驟二中計算出的傑卡德相似係數與預先設定的相似閾值γ比較，以此為依據判斷是否發生DDoS攻擊。具體包括如下步驟：步驟3.1：將步驟二中計算出的傑卡德相似係數Sim(x,xi)與預先設定的相似閾值γ比較，若Sim(x,xi)＞γ則進行步驟3.2後進入步驟3.4，否則則進行步驟3.3後進入步驟3.4；步驟3.2：將xi加入歷史正常數據；步驟3.3：報警，作出攻擊響應；步驟3.4：回到步驟二。所述的相似閾值γ通過如下步驟設置：步驟1：採集目標Web伺服器正常情況下若干小時以來每個時間間隔t內HTTP請求作為歷史正常數據，取不同歷史正常數據各個屬性特徵平均值組成屬性向量，此屬性向量作為傑卡德相似係數計算公式中的x；步驟2：模擬DDoS攻擊，捕獲若干個時間間隔t內流量數據作為樣本，計算各個時間間隔t內流量數據的屬性向量作為傑卡德相似係數計算公式中的xi，計算其傑卡德相似係數Sim(x,xi)；可用DDOSIM和SlowHTTPTest分別模擬HTTP-Flood和HTTP-Post攻擊後，分別捕獲若干個時間間隔t內流量數據作為樣本，計算各個時間間隔t內流量數據的屬性向量作為傑卡德相似係數計算公式中的xi，計算其傑卡德相似係數Sim(x,xi)；步驟3：取一個大於所有作為樣本的DDoS攻擊流量數據的傑卡德相似係數Sim(x,xi)的值作為相似閾值γ。該相似閾值γ最好儘可能接近所有作為樣本的DDoS攻擊流量數據的傑卡德相似係數Sim(x,xi)的最大值。本發明還涉及一種基於廣義傑卡德相似係數Web應用層DDoS攻擊檢測裝置，其特徵在於，包括：時間間隔設置模塊：用於設置時間間隔t；相似性比較模塊：用於以t時間間隔內的數據量作為計算項，通過使用廣義傑卡德相似係數計算公式計算當前t時間間隔內屬性集合和歷史正常屬性集合的相似性；攻擊識別模塊：將相似性比較模塊中計算出的傑卡德相似係數與預先設定的相似閾值γ比較，以此為依據判斷是否發生DDoS攻擊。所述的屬性集合為若干屬性特徵組成的屬性向量，相似性比較模塊中所述的廣義傑卡德相似係數計算公式如下：Sim(x,xi)=(x*xi)(||x||2+||xi||2-x*xi)(0其中:x表示若干次取t時間間隔內不同歷史正常數據計算各個屬性特徵取平均值組成的屬性向量；xi表示當前t時間間隔內計算出的各個屬性特徵組成的屬性向量；所述相似性比較模塊具體包括：x屬性向量計算模塊：將若干次t時間間隔內不同歷史正常數據取平均值計算x；xi屬性向量計算模塊：計算當前t時間間隔內的xi值；相似係數計算模塊：計算傑卡德相似係數Sim(x,xi)。所述的屬性特徵包括源IP位址熵值、數據包大小的熵值以及TCP連接數與HTTP請求數比值。所述源IP位址熵值的計算步驟如下：步驟a1：定義IP_all＝{IP1,IP2,...IPi,...IPn}，IP_all代表t時間間隔內源IP位址集合；步驟a2：定義P＝{p1,p2,...,pi,...,pn}，pi表示IPi的概率分布；步驟a3：由步驟a1，a2得出t時間間隔內源IP位址的熵值為：E(IPsrc)=-1lnnΣi=1npilogpi---(1).]]>所述數據包大小的熵值的計算步驟如下：步驟b1：將流向目標主機的第i個數據流定義為flowi，則t時間間隔內採集到的流向目標主機的數據流flow_all表示為：flow_all＝{flow1,flow2,...flowi,...flown}；步驟b2：設P(flowi)為第i個流上數據包的數量，用pi表示其概率分布為：其中P(flow_all)=Σi=1nP(flowi);]]>步驟b3：由步驟b1，b2得出數據包大小的熵值為：E(P)=-1lnnΣi=1npilogpi---(2).]]>所述TCP連接數與HTTP請求數比值的計算步驟如下：步驟c1：定義tcpnum為t時間間隔內總的TCP連接數；步驟c2：定義http_reqnum為t時間間隔內總的HTTP請求數；步驟c3：由步驟c1，c2得到連接請求比為：rate=tcpnumhttp_reqnum,0所述攻擊識別模塊包括：攻擊識別比較模塊：用於將相似比較模塊中計算出的傑卡德相似係數Sim(x,xi)與預先設定的相似閾值γ比較，若Sim(x,xi)＞γ則連入攻擊識別存儲模塊後連入攻擊識別循環模塊，否則則連入攻擊識別報警模塊後連入攻擊識別循環模塊；攻擊識別存儲模塊：用於將xi加入歷史正常數據後進入攻擊識別循環模塊；攻擊識別報警模塊：用於報警，作出攻擊響應後進入攻擊識別循環模塊；攻擊識別循環模塊：用於回到相似比較模塊。本發明還涉及一個相似閾值設置模塊，包括：平均值計算模塊：用於採集目標Web伺服器正常情況下若干小時以來每個時間間隔t內HTTP請求作為歷史正常數據，取不同歷史正常數據各個屬性特徵平均值組成屬性向量，此屬性向量作為傑卡德相似係數計算公式中的x；攻擊樣本相似係數計算模塊：用於模擬DDoS攻擊，捕獲若干個時間間隔t內流量數據作為樣本，計算各個時間間隔t內流量數據的屬性向量作為傑卡德相似係數計算公式中的xi，計算其傑卡德相似係數Sim(x,xi)；可用DDOSIM和SlowHTTPTest分別模擬HTTP-Flood和HTTP-Post攻擊後，分別捕獲若干個時間間隔t內流量數據作為樣本，計算各個時間間隔t內流量數據的屬性向量作為傑卡德相似係數計算公式中的xi，計算其傑卡德相似係數Sim(x,xi)；相似閾值計算模塊：用於取一個大於所有作為樣本的DDoS攻擊流量數據的傑卡德相似係數Sim(x,xi)的值作為相似閾值γ，該相似閾值γ最好儘可能接近所有作為樣本的DDoS攻擊流量數據的傑卡德相似係數Sim(x,xi)的最大值。實施例二為了驗證該DDoS攻擊檢測方法的有效性，本發明使用DDOSIM和SlowHTTPTest模擬HTTP-Flood攻擊和HTTP-Post攻擊。DDOSIM是一款可用於實驗環境的分布式局部伺服器攻擊模擬器，其可以對伺服器對於DDOS攻擊流量的處理和負載能力進行測試。DDOSIM通過模擬殭屍主機，並與目標伺服器建立完整的TCP連接，在完成連接後，DDOSIM開始進行測試。SlowHTTPTest是一個可配置的應用層拒絕服務攻擊測試，這個工具可以模擬低帶寬耗費下的DDoS攻擊，比如HTTP-Post慢速連接攻擊。為了體驗數據的真實性，具體實驗步驟如下：1.獲取正常流量。步驟101，採集校園網Web伺服器8小時以來的HTTP請求，作為正常數據。步驟102，經過處理後的正常流量如圖2所示。2.建立正常連接，並捕獲流量。步驟201，取1中數據的平均值作為正常流量情況下的特徵向量(或稱屬性向量)x。步驟202，在區域網內的每臺機器Linux環境下，安裝DDOSIM工具。步驟203，在命令行輸入以下命令：./ddosim-d192.168.1.2-p80-c10-rHTTP_INVALID-ieth0表示使用隨機IP位址與伺服器建立10個TCP連接。步驟204，發送有效的HTTP請求。步驟205，使用libpcap捕獲每10s內的數據，得到流量特徵向量(或稱屬性向量)如圖3所示。3.發動DDoS攻擊，並捕獲流量。步驟301，在每臺PC的linux環境下安裝SlowHTTPTest工具,模擬HTTP-Post攻擊。步驟302，在命令行輸入以下命令：./slowhttptest-c1000-B-g-omy_body_stats-i110-r20-s8100-tFAKEVERB–u表示每隔110秒與伺服器建立一個連接，連接速度為20每秒，且內容長度為8100。步驟303，使用libcap捕獲每10s內的數據，得到流量特徵向量(或稱屬性向量)如圖4所示。步驟304，在每臺PC的linux環境下安裝DDOSIM工具。步驟305，在命令行輸入以下命令：./ddosim-d192.168.1.2-p80-c10-rHTTP_INVALID-ieth0表示使用隨機IP位址與伺服器建立10個TCP連接，並且發送有效的HTTP請求。步驟306，使用libcap捕獲每10s內的數據，得到流量特徵向量(或稱屬性向量)如圖5所示。4.突發流量的獲取。步驟401，選取該校園網某年某月，學生選課時，大量用戶訪問伺服器，作為突發流數據，得到的流量特徵向量(或稱屬性向量)如圖6所示。5.實驗結果。步驟501，我們選取每種攻擊及突發流量的1000組數據，進行相似性計算，得到的結果如圖7所示。步驟502，根據圖7得知發生不同攻擊時，相似性的值也有所差異，發生突發流Flash-Crowed時，sim的取值在0.65～0.83之間。步驟503，發生HTTP-Flood攻擊時，sim的取值在0.6～0.68之間。步驟504，發生HTTP-Post攻擊時，sim的取值在0.43～0.63之間。步驟505，當sim的取值為0.7時，本發明的檢測性能達到最大化，不僅能夠有效的識別突發流，還能有效的檢測出其他兩種攻擊，準確率達到93.8％，漏報率為2.4％，誤報率為3.1％，相比較其他方法的檢測準確率為88％，誤報率為3％，本發明檢測性能有著較大的提高。當前第1頁1 2 3