殭屍網絡惡意域名的分布式協同檢測系統和方法
2023-09-20 16:46:55 2
殭屍網絡惡意域名的分布式協同檢測系統和方法
【專利摘要】本發明公開了一種殭屍網絡的分布式協同檢測系統和方法，所述檢測系統由多個協同檢測的對等節點組成，並通過HDFS來共享文件；每個節點包括DNS日誌分割模塊、域名查詢周期性分析模塊、白名單過濾模塊、協同分析模塊、HDFS模塊和黑名單查詢模塊。檢測方法是以各DNS伺服器的DNS日誌作為輸入，在各節點對本地DNS日誌按查詢者IP位址進行分割，並通過HDFS進行共享文件，使得同一IP位址的所有DNS行為都能夠被一個節點所獲取，易於判斷對應的IP位址查詢的每個域名的查詢周期性，從而在白名單過慮後能夠判斷其是否屬於惡意域名，該查詢者IP是否屬於殭屍網絡主機。同時，本發明還提供完整IP黑名單和域名黑名單的查詢。
【專利說明】殭屍網絡惡意域名的分布式協同檢測系統和方法
【技術領域】
[0001]本發明涉及一種計算機網絡安全領域的殭屍網絡惡意域名檢測系統和方法，尤其涉及一種殭屍網絡惡意域名的分布式協同檢測系統和方法。
【背景技術】
[0002]計算機網絡是當今社會最為重要的信息設施，隨著社會的高速發展，人們對計算機網絡安全的要求也越來越高。殭屍網絡(Botnet)是指攻擊者製造並傳播殭屍程序以控制大量主機(通常所說的殭屍機或肉雞)，利用命令和控制(Co_and and Control,C&C)通道組織成的網絡，殭屍網絡經常被用於發起分布式拒絕服務(DistributedDenial-of-Service, DDoS)攻擊、發送垃圾郵件、傳播或託管惡意代碼和釣魚網站,或者實施身份信息竊取等攻擊。近年來，殭屍網絡已對計算機網絡安全和社會經濟構成了極大的威脅，成為網絡安全領域的重要問題，殭屍網絡攻擊相關的網絡刑事案件也頻頻出現於各種媒體之上。
[0003]現有的基於網絡通信監測的殭屍網絡檢測技術和方法，大多基於對殭屍網絡C&C通信常用的網際網路中繼聊天 IRC (Internet Relay Chat)和 HTTP (hypertext transportprotocol)協議分析，以及殭屍網絡感染主機的攻擊等異常行為的檢測。總體看來，在現有的技術中，殭屍網絡檢測機制大多是對於特定監測點的流量特徵和行為特徵進行分析，局限於殭屍網絡在特定區域的活動。然而，殭屍網絡普遍具有克隆和遷移的現象，在一個監測點的殭屍網絡可能通過作業系統和軟體漏洞等途徑，傳播到另一個監測點的網絡中。因此，將分布在不同地區的監測點聯合起來進行協同檢測是快速、準確地發現和跟蹤殭屍網絡的有效手段。
[0004]Hadoop 分布式文件系統 HDFS (Hadoop Distributed File System)被設計成適合運行在通用硬體(commodity hardware)上的分布式文件系統。HDFS是一個高容錯性的系統，適合部署在廉價的機器上。HDFS能夠提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。
[0005]因此，本發明致力於提供一種結合特定監測點的流量特徵與行為特徵的殭屍網絡惡意域名分布式協同檢測系統與檢測方法。
【發明內容】
[0006]有鑑於現有的殭屍網絡檢測方法的缺陷，本發明提出了一種殭屍網絡的分布式協同檢測系統和方法，利用HDFS將分布在不同監測點通過分析域名查詢周期性的殭屍網絡檢測程序結合，實現分布式協同檢測，從而提高殭屍網絡檢測和跟蹤的效率和準確性。
[0007]為實現上述目的，本發明提供了一種殭屍網絡惡意域名的分布式協同檢測系統，其特徵在於，所述檢測系統包括多個協同檢測的對等節點，所述節點通過HDFS分布式文件系統共享文件；所述節點包括:
[0008]DNS日誌分割模塊:用於將相同IP的查詢者的DNS日誌分割到所述HDFS分布式文件系統的同一 DNS日誌文件中；
[0009]域名查詢周期性分析模塊:分析DNS日誌文件中對某一域名的查詢是否具有周期性；
[0010]白名單過濾模塊:過濾已知的合法域名；
[0011]協同分析模塊:通過所述HDFS分布式文件系統實現獲取其他所述節點的分析結果，協同分析判斷:某一域名是否是惡意域名和某一 IP位址是否是殭屍主機地址；
[0012]HDFS模塊:用於實現所述HDFS分布式文件系統；
[0013]黑名單查詢模塊:用於查詢發布的黑名單。
[0014]一種使用所述檢測系統的殭屍網絡的分布式協同檢測方法，其特徵在於，所述檢測系統的每個所述節點通過共享所述HDFS分布式文件系統進行殭屍網絡的分布式協同檢測，所述檢測系統的一個所述節點通過所述HDFS分布式文件系統的檢測方法包括:
[0015]步驟一，將通過所述節點輸入的DNS日誌通過所述節點內的所述DNS日誌分割模塊進行分割，並且根據域名查詢者的IP位址，將IP位址相同的DNS日誌通過所述HDFS模塊分類存儲到所述HDFS分布式文件系統的同一 DNS日誌文件中；
[0016]步驟二，對存儲到所述HDFS分布式文件系統中的DNS日誌文件進行分配和標識，以達到一個DNS日誌文件由所述檢測系統中的一個所述節點負責處理分析；
[0017]步驟三，過濾已知的合法域名:通過所述白名單過濾模塊對DNS日誌文件中的合法域名進行過濾；
[0018]步驟四，在所述域名查詢周期性模塊中生產查詢行為對象:對過濾後的DNS日誌文件，將每一條DNS日誌生成一個查詢行為；
[0019]步驟五，在所述域名查詢周期性模塊中，對所述查詢行為以查詢者的IP位址為關鍵字進行分析，得出該查詢者IP位址的主機活動時間；
[0020]步驟六，在所述域名查詢周期性模塊中，對所述節點中的所有所述查詢行為以查詢者IP位址和查詢域名為關鍵字進行統計分析，得出查詢行為中的可疑查詢，並將所述可疑查詢的查詢行為通過所述HFDS模塊記錄入所述HDFS分布式文件系統的灰名單中；
[0021]步驟七，在所述協同分析模塊中判斷所述HDSF分布式文件系統中的灰名單中的查詢行為是否是殭屍主機對惡意域名的查詢，並將判斷出的查詢，並將判斷出的查詢域名和查詢IP寫入黑名單。
[0022]進一步地，所述步驟二中，有負責節點的DNS日誌文件使用負責節點名稱來進行文件標識，沒有負責節點的DNS日誌文件使用NULL來進行文件標識。
[0023]進一步地，所述查詢行為包括查詢者IP位址、查詢域名和查詢時間。
[0024]進一步地，所述步驟五中，所述IP位址的主機活動時間確定是通過對同一查詢者IP位址的域名查詢行為按照查詢時間進行排序，通過計算相鄰查詢行為的時間間隔，根據選定的時間間隔Λ τ，相鄰查詢行為的時間間隔大於ΛΤ所對應的查詢行為的查詢時間作為已排序的域名查詢行為的分割點，分割出所述IP位址的主機的活動時間。
[0025]進一步地，選定的所述時間間隔Λ T的值位於所述相鄰查詢行為的最小時間間隔和最大時間間隔之間。
[0026]進一步地，所述步驟六中，對所述節點中的所有查詢行為以查詢者IP位址和查詢域名為關鍵字進行的統計分析包括:統計同一所述關鍵字中的查詢行為的數量，得到一段活動期內查詢一個域名的次數；對所述IP位址的主機活動時間內的同一組所述關鍵字的查詢行為按查詢時間排序；計算排序後的相鄰查詢行為的查詢時間間隔、平均查詢時間間隔、標準差和變異係數；通過所述排序後的相鄰查詢行為的查詢時間間隔、所述平均查詢時間間隔、所述標準差和變異係數判斷出所述可疑查詢。
[0027]進一步地，在所述步驟七中，所述協同分析模塊通過統計每五分鐘內灰名單中對域名進行查詢的所有IP位址數量nip,和所在網段數nnet,計算重複係數r=nip/nnet,來判斷所述HDSF分布式文件系統中的灰名單中的查詢行為是否是殭屍主機對惡意域名的查詢。
[0028]進一步地，在所述步驟七中，還包括選定常數NIP、NNET、R，當域名的nip>NIP且nnetR時，所述域名和查詢所述域名的IP位址被判定為惡意域名和殭屍主機。
[0029]進一步地，所述HDFS分布式文件系統對黑名單的處理是滿足過期機制的。
[0030]本發明的基於域名查詢周期性的殭屍網絡惡意域名分布式協同檢測系統和方法，將分布在不同節點的殭屍網絡檢測程序利用HDFS聯繫起來。本發明以DNS日誌文件為輸入，進行按查詢者IP位址為key的日誌文件劃分，使同一查詢者IP的記錄被劃分在同一文件中，並通過HDFS來實現單個分割結果的共享，從而，同一查詢者IP位址的DNS日誌記錄將匯聚到同一個節點進行分析，該節點掌握了該IP位址主機的全部行為，易於判斷檢測該IP主機查詢的域名是否存在周期性，從而發現該IP位址的主機是否屬於殭屍網絡主機，查詢的域名是否是惡意域名。同時，本發明通過HDFS進行文件共享，在任意一個節點上都能方便查詢到黑名單的全部內容。本發明基於域名查詢周期性實現多個節點的協同檢測，可提供更廣泛和全面的主機行為辨識，提高殭屍網絡檢測和跟蹤的效率和準確性。
[0031]以下將結合附圖對本發明的構思、具體結構及產生的技術效果作進一步說明，以充分地了解本發明的目的、特徵和效果。
【專利附圖】
【附圖說明】
[0032]圖1是本發明的一個較佳實施例中的基於域名查詢周期性的殭屍網絡惡意域名分布式協同檢測系統的結構示意圖；
[0033]圖2是本發明的一個較佳實施例中的基於域名查詢周期性的殭屍網絡惡意域名分布式協同檢測系統節點結構示意圖。
【具體實施方式】
[0034]下面結合附圖對本發明的實施例作詳細說明:本實施例在以本發明技術方案前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發明的保護範圍不限於下述的實施例。
[0035]本發明的殭屍網絡惡意域名的分布式協同檢測系統的一個較佳實施例中，檢測系統由多個協同檢測的對等節點組成，通過HDFS分布式文件系統來進行文件共享，其結構如圖1所示。本發明的檢測系統的每個節點以DNS日誌為輸入；與每個節點接口可以接口多個查詢客戶端，也可以不連接查詢客戶端。節點在不連接查詢客戶端時，該節點僅用於數據存儲和協同檢測。
[0036]本發明的一個較佳實施例的的分布式協同檢測系統的節點結構如圖2所示，包括:
[0037]DNS日誌分割模塊:用於將從查詢客戶端輸入的DNS日誌，按照查詢者的IP位址，將IP位址相同的DNS日誌分割到HDFS分布式文件系統的同一 DNS日誌文件中；
[0038]域名查詢周期性分析模塊:用於判斷DNS日誌文件中對某一域名的查詢是否具有周期性；
[0039]白名單過濾模塊:用於對DNS日誌文件中的合法域名進行過濾；
[0040]協同分析模塊:節點可以利用HDFS分布式文件系統獲取其他節點的分析結果，協同分析判斷IP位址是否為殭屍主機地址，某一域名是否為惡意域名，生成黑名單；
[0041 ] HDFS模塊:用於實現HDFS分布式文件系統；
[0042]黑名單查詢模塊:用於查詢發布的黑名單。
[0043]進一步地，本發明的殭屍網絡的分布式協同檢測方法是利用本發明的殭屍網絡的分布式協同檢測系統，檢測系統的每個節點通過共享HDFS分布式文件系統進行殭屍網絡的分布式協同檢測，檢測系統的一個節點通過HDFS分布式文件系統的檢測方法包括:
[0044]步驟一，查詢客戶端通過各個節點輸入DNS日誌，節點通過各自的DNS日誌分割模塊對DNS日誌進行分割，按照域名查詢者的IP位址，將IP位址相同的DNS日誌分類通過HDFS模塊分類存儲到HDFS分布式文件系統的同一 DNS日誌文件中。
[0045]步驟二，對存儲到所述HDFS分布式文件系統中的DNS日誌文件進行分配和標識，以達到一個DNS日誌文件由所述檢測系統中的一個所述節點負責處理分析:
[0046]HDFS分布式文件系統將DNS日誌文件分配給對應的節點來負責分析，並將該DNS日誌文件的文件標識為對應的節點名稱，如果DNS日誌文件沒有對應的負責節點，則將該DNS日誌文件標識為NULL。各個節點在自身的DNS日誌輸入操作時，DNS日誌分割模塊添加原來沒有的文件記錄，把文件標識設為該節點名稱，執行完畢後，對所有修改過的HDFS中的DNS日誌文件，修改原有的記錄把其文件標識改為NULL ；
[0047]對於檢測系統中存在的空閒節點，即節點沒有對應的負責分析的DNS日誌文件，那麼如果檢測系統中的DNS日誌文件均有對應節點負責分析，那麼空閒節點保持空閒狀態；如果檢測系統中的存在有沒有對應節點負責的DNS日誌文件，則將該沒有對應節點負責的DNS日誌文件分配給該空閒節點負責，並將該DNS日誌文件標識改為空閒節點名稱。
[0048]步驟三，過濾已知的合法域名:通過節點內的白名單過過濾模塊對DNS日誌文件中的合法域名進行過濾。
[0049]步驟四，在域名查詢周期性模塊中生產查詢行為對象:對過濾後的DNS日誌文件，在域名查詢周期性模塊中，將每一條DNS記錄生成一個有查詢者IP位址、查詢域名和查詢時間組成的查詢行為。
[0050]步驟五，在域名查詢周期性模塊中，對查詢行為以查詢者的IP位址為關鍵字進行分析，得出該查詢者IP位址的主機活動時間:
[0051]首先，對同一查詢者IP位址的一組域名查詢行為的所有查詢域名按照查詢時間進行排序；
[0052]其次，對排序後的這組域名查詢行為計算查詢間隔時間，相鄰的查詢行為的時間間隔為Λ T[i]=Ti+1 - Ti，其中i是排序後的查詢行為的序號，i=l, 2，3...，Ti為第i個查詢行為的查詢時間，Ti+1為第i+Ι個查詢行為的查詢時間；[0053]最後，選定一個時間間隔Λ T:Δ T是一個經驗產值，通過調查計算機用戶兩次使用計算機的間隔時間，選取一個較小的時間作為Λ T0本發明的Λ T的值位於相鄰查詢行為的最小時間間隔和最大時間間隔之間。將計算出的相鄰查詢行為的時間間隔Λ T[i]與Δ T相比較，當相鄰查詢行為的時間間隔大於Λ T時，該IP位址的主機處於關機狀態，因此把得到的所有相鄰查詢行為的時間間隔大於ΛΤ所對應的查詢行為的序號作為已排序的域名查詢行為的分割點，分割出該IP位址的主機的活動時間。
[0054]步驟六，在域名查詢周期性模塊中，對查詢行為以查詢者IP位址和查詢域名為關鍵字進行統計分析，得出查詢行為中的可疑查詢，並將可疑查詢的查詢行為通過HFDS模塊記錄入HDFS分布式文件系統的灰名單:
[0055]首先，對節點中的所有域名查詢行為重新以查詢者IP位址，查詢域名為關鍵字，統計同一關鍵字的查詢行為的數量，得到一段活動期內查詢一個域名的次數count ；
[0056]其次，在相對應的查詢IP位址的主機活動時間內，對同一組關鍵字的所有查詢行為按查詢時間進行排序，排序後計算查詢同一域名的查詢間隔時間，相鄰的查詢同一域名的查詢行為的查詢時間間隔:Λ Tl[m]=Tffl+1 - Tm，其中m是排序後的查詢同一域名的查詢行
為的序號，m=0, 1, 2，3...n，計算平均查詢時間間隔
【權利要求】
1.一種殭屍網絡惡意域名的分布式協同檢測系統，其特徵在於，所述檢測系統包括多個協同檢測的對等節點，所述節點通過HDFS分布式文件系統共享文件；所述節點包括: DNS日誌分割模塊:用於將相同IP的查詢者的DNS日誌分割到所述HDFS分布式文件系統的同一 DNS日誌文件中； 域名查詢周期性分析模塊:分析DNS日誌文件中對某一域名的查詢是否具有周期性； 白名單過濾模塊:過濾已知的合法域名； 協同分析模塊:通過所述HDFS分布式文件系統實現獲取其他所述節點的分析結果，協同分析判斷:某一域名是否是惡意域名和某一 IP位址是否是殭屍主機地址； HDFS模塊:用於實現所述HDFS分布式文件系統； 黑名單查詢模塊:用於查詢發布的黑名單。
2.一種使用如權利要求1所述檢測系統的殭屍網絡的分布式協同檢測方法，其特徵在於，所述檢測系統的每個所述節點通過共享所述HDFS分布式文件系統進行殭屍網絡的分布式協同檢測，所述檢測系統的一個所述節點通過所述HDFS分布式文件系統的檢測方法包括: 步驟一，將通過所述節點輸入的DNS日誌通過所述節點內的所述DNS日誌分割模塊進行分割，並且根據域名查詢者的IP位址，將IP位址相同的DNS日誌通過所述HDFS模塊分類存儲到所述HDFS分布式文件系統的同一 DNS日誌文件中； 步驟二，對存儲到所述HDFS分布式文件系統中的DNS日誌文件進行分配和標識，以達到一個DNS日誌文件由所述檢測系統中的一個所述節點負責處理分析； 步驟三,過濾已知的合法域名:通過所述白名單過濾模塊對DNS日誌文件中的合法域名進行過濾；` 步驟四，在所述域名查詢周期性模塊中生產查詢行為對象:對過濾後的DNS日誌文件，將每一條DNS日誌生成一個查詢行為； 步驟五，在所述域名查詢周期性模塊中，對所述查詢行為以查詢者的IP位址為關鍵字進行分析，得出該查詢者IP位址的主機活動時間； 步驟六，在所述域名查詢周期性模塊中，對所述節點中的所有所述查詢行為以查詢者IP位址和查詢域名為關鍵字進行統計分析，得出查詢行為中的可疑查詢，並將所述可疑查詢的查詢行為通過所述HFDS模塊記錄入所述HDFS分布式文件系統的灰名單中； 步驟七，在所述協同分析模塊中判斷所述HDSF分布式文件系統中的灰名單中的查詢行為是否是殭屍主機對惡意域名的查詢，並將判斷出的查詢，並將判斷出的查詢域名和查詢IP寫入黑名單。
3.如權利要求2所述的一種殭屍網絡的分布式協同檢測方法，其中，所述步驟二中，有負責節點的DNS日誌文件使用負責節點名稱來進行文件標識，沒有負責節點的DNS日誌文件使用NULL來進行文件標識。
4.如權利要求2所述的一種殭屍網絡的分布式協同檢測方法，其中，所述查詢行為包括查詢者IP位址、查詢域名和查詢時間。
5.如權利要求2所述的一種殭屍網絡的分布式協同檢測方法，其中，所述步驟五中，所述IP位址的主機活動時間確定是通過對同一查詢者IP位址的域名查詢行為按照查詢時間進行排序，通過計算相鄰查詢行為的時間間隔，根據選定的時間間隔AT，相鄰查詢行為的時間間隔大於Λτ所對應的查詢行為的查詢時間作為已排序的域名查詢行為的分割點，分割出所述IP位址的主機的活動時間。
6.如權利要去5所述的一種殭屍網絡的分布式協同檢測方法，其中，選定的所述時間間隔Λ T的值位於所述相鄰查詢行為的最小時間間隔和最大時間間隔之間。
7.如權利要求6所述的一種殭屍網絡的分布式協同檢測方法，其中，所述步驟六中，對所述節點中的所有查詢行為以查詢者IP位址和查詢域名為關鍵字進行的統計分析包括:統計同一所述關鍵字中的查詢行為的數量，得到一段活動期內查詢一個域名的次數；對所述IP位址的主機活動時間內的同一組所述關鍵字的查詢行為按查詢時間排序；計算排序後的相鄰查詢行為的查詢時間間隔、平均查詢時間間隔、標準差和變異係數；通過所述排序後的相鄰查詢行為的查詢時間間隔、所述平均查詢時間間隔、所述標準差和變異係數判斷出所述可疑查詢。
8.如權利要求2所述的一種殭屍網絡的分布式協同檢測方法，其中，在所述步驟七中，所述協同分析模塊通過統計每五分鐘內灰名單中對域名進行查詢的所有IP位址數量nip，和所在網段數nnet,計算重複係數r=nip/nnet,來判斷所述HDSF分布式文件系統中的灰名單中的查詢行為是否是殭屍主機對惡意域名的查詢。
9.如權利要求8所述的一種殭屍網絡的分布式協同檢測方法，其中，在所述步驟七中，還包括選定常數NIP、NNET、R，當域名的nip>NIP且nnet〈NNET且r>R時，所述域名和查詢所述域名的IP位址被判定為惡意域名和殭屍主機。
10.如權利要求2所述的一種殭屍網絡的分布式協同檢測方法，其中，所述HDFS分布式文件系統對黑名單的處 理是滿足過期機制的。
【文檔編號】H04L29/12GK103685230SQ201310534381
【公開日】2014年3月26日 申請日期:2013年11月1日 優先權日:2013年11月1日
【發明者】鄒福泰, 潘思遠, 易平, 李建華 申請人:上海交通大學