一種高效發現用戶異常訪問行為的裝置及方法與流程

2024-04-16 09:12:05

1.本發明涉及網際網路數據流領域，尤其是一種高效發現用戶異常訪問行為的裝置及方法。
背景技術：
：2.現在常規發現用戶異常訪問行為流程：3.1、數據採集，主要包括：4.系統通過ftp/sftp、webservice、jdbc/odbc等協議採集數據，採集的數據包括訪問日誌數據、挖礦應用ip地址池、網際網路用戶接入號信息、涉詐域名庫、idc/isp基礎數據等。將訪問日誌寫入大數據平臺分布式文件系統hdfs。其它數據寫入關係型資料庫。5.idc的中文名：網際網路數據中心6.isp的中文名稱：網際網路接入業務7.2、數據分析處理，主要包括：8.(1)通過全量訪問日誌按多種維度分組如域名、目的ip、目的埠等。分析出各機房的活躍資源數據，如一天內某源ip訪問域名和目的ip的訪問次數等。作為各種用戶行為分析的源數據。9.(2)挖礦行為分析，通過活躍資源目的ip和挖礦ip地址池ip做匹配，得到用戶的挖礦行為。10.(3)涉詐域名庫分析，通過活躍資源域名和涉詐域名庫、idcisp基礎數據做匹配，得到用戶訪問涉詐網站的行為。11.總結來說：讀取hdfs中數據，進行相關的數據計算，計算過程會關聯基礎數據，例如：關聯挖礦的ip地址池基礎數據，獲得挖礦的異常行為日誌。關聯涉詐域名庫的基礎數據，獲取涉詐的異常行為日誌。基礎數據是存放在關係型資料庫中，在數據計算的過程中，為了提升性能，通常是批量查詢基礎數據，然後緩存起來，進行數據的關聯，避免每條記錄都去查詢資料庫，對資料庫造成很大的性能壓力。12.每當有新增的異常行為需要識別，則修改程序代碼，對新的異常行為進行識別。13.常規解決方案問題：14.1、基礎數據都是靜態數據，無法實時感知數據的實時更新。由於基礎數據是定期查詢資料庫，進行緩存，但是無法預知何時基礎數據發生更新，只能定期加載資料庫中的數據。15.2、如果有新增的異常行為，則需要重新修改代碼實現，進行相應的程序邏輯的修改，修改代碼容易出錯，修改完成後，通常需要回歸測試，完成系統所有功能點的驗證。16.3、對開發人員要求比較高，需要同時了解整個流程的業務和代碼。技術實現要素：17.為克服現有技術存在的缺陷，本發明提供一種高效發現用戶異常訪問行為的裝置及方法，基於活躍資源數據，通過非法挖礦、涉詐域名等用戶行為控制項，識別出非法挖礦、涉詐域名等異常行為，相應行為控制項的基礎數據可實時更新，實現對異常行為的實時攔截。新增異常行為數據獲取可通過行為控制項的模板進行動態擴展。18.為實現上述目的，本發明採用下述技術方案：19.在本發明一實施例中，提出了一種高效發現用戶異常訪問行為的裝置，包括：控制識別模塊、基礎數據讀取模塊、資料庫模塊與基礎數據緩存模塊，所述控制識別模塊單向連接基礎數據讀取模塊，所述基礎數據讀取模塊單向連接資料庫模塊，所述基礎數據讀取模塊單向連接基礎數據緩存模塊。20.進一步地，所述控制識別模塊：控制識別資料庫模塊更新狀態,資料庫模塊需要更新,則發起基礎數據讀取模塊並更新基礎數據緩存模塊。21.進一步地，所述控制識別模塊控制識別資料庫模塊更新狀態方法包括：22.s1011、指定判斷資料庫模塊是否有效的標記語句，例如：selectagefromt_tablewhereid＝3；23.s1012、基礎數據緩存模塊讀取查詢的語句的結果；24.s1013、控制識別模塊每隔1秒，查詢標記語句，將標記語句查詢的結果和基礎數據緩存模塊中的結果對比；25.s1014、s1013結果一致，則不需要更新基礎數據緩存模塊；26.s1015、s1013結果不一致，則需要發起更新基礎數據緩存模塊的操作。27.配置文件結構如下：28.29.[0030][0031]進一步地，所述基礎數據讀取模塊:基於配置信息，從資料庫模塊中讀取數據,讀取數據的方式需要動態擴展。[0032]進一步地，所述配置信息為異常行為控制項的配置信息，包括：[0033]定義控制項名稱；定義控制項的key欄位和value欄位；定義基礎數據的連接信息、資料庫、表；指定基礎資料庫表是否有更新。[0034]主要內容有：[0035]name：定義控制項名稱。[0036]structure：定義控制項的key欄位和value欄位，使用key欄位和活躍資源日誌的欄位進行關聯。value欄位返回基礎數據中相應欄位值的結果。[0037]source：定義基礎數據的連接信息、資料庫、表等。[0038]lifetime：指定基礎資料庫表是否有更新。[0039]示例如下：[0040][0041][0042][0043]進一步地，所述基礎數據緩存模塊：基於讀取的數據，更新基礎數據緩存。[0044]在本發明一實施例中，還提出了一種高效發現用戶異常訪問行為的方法，該方法包括：[0045]s01、使用spark讀取hdfs的數據，讀取後的數據加載為分布式數據集；[0046]s02、讀取的數據，作為異常行為控制項1的輸入，異常行為控制項1對數據進行處理；[0047]s03、異常行為控制項2將異常行為控制項1處理後的分布式數據集，作為輸入，進行處理，生成新的分布式數據集2，以此類推，直至處理到最後一個異常行為控制項；[0048]s04、最後一個異常行為控制項處理後，生成的分布式數據集，寫入目標存儲。[0049]進一步地，所述異常行為控制項各自一個實現類，集成數據源父類，實現初始化配置、檢查配置、預處理、生成分布式數據。[0050]定義控制項的配置[0051]配置信息包括：需要使用的控制項名稱，這個控制項必須是已經定義過的控制項。[0052]需要關聯的源key欄位，使用該欄位與控制項定義裡面的key欄位進行關聯，或者控制項定義裡面的value欄位。[0053]示例如下：[0054][0055]進一步地，所述初始化配置initconfig：讀取配置文件，將配置屬性添加到控制項中。[0056]進一步地，所述檢查配置checkconfig：檢查配置文件的配置是否合法，對於所有異常的配置，將錯誤信息集中返回。[0057]進一步地，所述預處理prepare：數據處理的預處理。[0058]進一步地，所述生成分布式數據集getdataset：此方法是最重要的方法，基於前面的方法，根據配置文件的配置屬性，將數據源轉換為spark的分布式數據集合，包含schema信息，用於後續的數據處理。[0059]在本發明一實施例中，還提出了一種計算機設備，包括存儲器、處理器及存儲在存儲器上並可在處理器上運行的電腦程式，處理器執行電腦程式時實現前述高效發現用戶異常訪問行為的方法。[0060]在本發明一實施例中，還提出了一種計算機可讀存儲介質，計算機可讀存儲介質存儲有執行高效發現用戶異常訪問行為的方法的電腦程式。[0061]有益效果：[0062]1、本發明基礎數據可實時更新；[0063]2、本發明基於控制項擴展，新增控制項不需要修改程序，易於擴展；[0064]3、開發人員只需要關注當前新增異常行為的規則和實現，無需關注已經存在的控制項。新增控制項測試已經存在控制項的功能；[0065]4、活躍資源流量數據經過預設的各種異常行為控制項後得到所有異常訪問行為的類型及所關注的其它信息，大幅提升異常訪問行為發現效率。附圖說明[0066]圖1是本發明一實施例的高效發現用戶異常訪問行為的裝置示意圖；[0067]圖2是本發明一實施例的高效發現用戶異常訪問行為的方法流程示意圖；[0068]圖3是本發明一實施例的計算機設備結構示意圖。具體實施方式[0069]下面將參考若干示例性實施方式來描述本發明的原理和精神，應當理解，給出這些實施方式僅僅是為了使本領域技術人員能夠更好地理解進而實現本發明，而並非以任何方式限制本發明的範圍。相反，提供這些實施方式是為了使本公開更加透徹和完整，並且能夠將本公開的範圍完整地傳達給本領域的技術人員。[0070]本領域技術人員知道，本發明的實施方式可以實現為一種系統、裝置、設備、方法或電腦程式產品。因此，本公開可以具體實現為以下形式，即：完全的硬體、完全的軟體(包括固件、駐留軟體、微代碼等)，或者硬體和軟體結合的形式。[0071]根據本發明的實施方式，提出了一種高效發現用戶異常訪問行為的裝置及方法，基於活躍資源數據，通過非法挖礦、涉詐域名等用戶行為控制項，識別出非法挖礦、涉詐域名等異常行為，相應行為控制項的基礎數據可實時更新，實現對異常行為的實時攔截。新增異常行為數據獲取可通過行為控制項的模板進行動態擴展。[0072]下面參考本發明的若干代表性實施方式，詳細闡釋本發明的原理和精神。[0073]如圖1所示，本發明提出的高效發現用戶異常訪問行為的裝置，包括：[0074]包括：控制識別模塊101、基礎數據讀取模塊102、資料庫模塊103與基礎數據緩存模塊104，所述控制識別模塊101單向連接基礎數據讀取模塊102，所述基礎數據讀取模塊102單向連接資料庫模塊103，所述基礎數據讀取模塊102單向連接基礎數據緩存模塊104。[0075]所述控制識別模塊101：控制識別資料庫模塊103更新狀態,資料庫模塊103需要更新,則發起基礎數據讀取模塊102並更新基礎數據緩存模塊104。[0076]所述控制識別模塊101控制識別資料庫模塊103更新狀態方法包括：[0077]s1011、指定判斷資料庫模塊103是否有效的標記語句，例如：selectagefromt_tablewhereid＝3；[0078]s1012、基礎數據緩存模塊104讀取查詢的語句的結果；[0079]s1013、控制識別模塊101每隔1秒，查詢標記語句，將標記語句查詢的結果和基礎數據緩存模塊104中的結果對比；[0080]s1014、s1013結果一致，則不需要更新基礎數據緩存模塊104；[0081]s1015、s1013結果不一致，則需要發起更新基礎數據緩存模塊104的操作。[0082]所述基礎數據緩存模塊104：基於讀取的數據，更新基礎數據緩存。[0083]配置文件結構如下：[0084][0085][0086][0087]所述基礎數據讀取模塊102:基於配置信息，從資料庫模塊103中讀取數據,讀取數據的方式需要動態擴展。[0088]所述配置信息為異常行為控制項的配置信息，包括：[0089]定義控制項名稱；定義控制項的key欄位和value欄位；定義基礎數據的連接信息、資料庫、表；指定基礎資料庫表是否有更新。[0090]主要內容有：[0091]name：定義控制項名稱。[0092]structure：定義控制項的key欄位和value欄位，使用key欄位和活躍資源日誌的欄位進行關聯。value欄位返回基礎數據中相應欄位值的結果。[0093]source：定義基礎數據的連接信息、資料庫、表等。[0094]lifetime：指定基礎資料庫表是否有更新。[0095]為了對上述高效發現用戶異常訪問行為的方法進行更為清楚的解釋，下面結合一個具體的實施例來進行說明，然而值得注意的是該實施例僅是為了更好地說明本發明，並不構成對本發明不當的限定，示例如下：[0096][0097][0098]應當注意，儘管在上文詳細描述中提及了高效發現用戶異常訪問行為的裝置的若干模塊，但是這種劃分僅僅是示例性的並非強制性的。實際上，根據本發明的實施方式，上文描述的兩個或更多模塊的特徵和功能可以在一個模塊中具體化。反之，上文描述的一個模塊的特徵和功能可以進一步劃分為由多個模塊來具體化。[0099]基於同一發明構思，本發明還提出一種高效發現用戶異常訪問行為的方法。儘管以下實施例所描述的裝置較佳地以軟體來實現，但是硬體，或者軟體和硬體的組合的實現也是可能並被構想的。[0100]如圖2所示，該方法包括：[0101]s01、使用spark讀取hdfs的數據，讀取後的數據加載為分布式數據集；[0102]s02、讀取的數據，作為異常行為控制項1的輸入，異常行為控制項1對數據進行處理；[0103]s03、異常行為控制項2將異常行為控制項1處理後的分布式數據集，作為輸入，進行處理，生成新的分布式數據集2，以此類推，直至處理到最後一個異常行為控制項；[0104]s04、最後一個異常行為控制項處理後，生成的分布式數據集，寫入目標存儲。[0105]進一步地，所述異常行為控制項各自一個實現類，集成數據源父類，實現初始化配置、檢查配置、預處理、生成分布式數據。[0106]定義控制項的配置[0107]配置信息包括：需要使用的控制項名稱，這個控制項必須是已經定義過的控制項。[0108]需要關聯的源key欄位，使用該欄位與控制項定義裡面的key欄位進行關聯，或者控制項定義裡面的value欄位。[0109]始化配置initconfig：讀取配置文件，將配置屬性添加到控制項中。[0110]進一步地，所述檢查配置checkconfig：檢查配置文件的配置是否合法，對於所有異常的配置，將錯誤信息集中返回。[0111]進一步地，所述預處理prepare：數據處理的預處理。[0112]進一步地，所述生成分布式數據集getdataset：此方法是最重要的方法，基於前面的方法，根據配置文件的配置屬性，將數據源轉換為spark的分布式數據集合，包含schema信息，用於後續的數據處理。[0113]以涉詐域名分析和用戶挖礦行為舉例：[0114]配置如下：[0115][0116][0117][0118][0119][0120]說明：[0121](1)、假設活躍資源日誌的數據包含了五個欄位：destip、houseid、domain、count、eventtime。數據示例如下表1：[0122][0123]表1[0124](2)、假設涉詐域名分析基礎數據包含了三個欄位，數據示例如下[0125]表2：[0126]domainlevelillegal_domain_flaga.com整域黑理財詐騙b.com連結黑博彩詐騙z.com連結黑刷單詐騙[0127]表2[0128](3)、假設挖礦行為基礎數據包含了三個欄位，數據示例如下表3：[0129]ipcountriesorregionsillegal_mining_flag10.0.0.2中國(香港)存儲挖礦10.0.0.3美國算力挖礦20.0.0.1英國算力挖礦[0130]表3[0131](4)、上面的配置定義了兩個控制項：illegal_domain(涉詐域名分析)和illegal_mining(挖礦行為分析)。[0132](5)、在數據流模塊,數據首先是流入illegal_domain(也可以配置為illegal_mining)，然後流入illegal_mining。[0133]1)、在調用illegal_domain控制項時,指定了需要關聯的源key欄位為domain，即使用活活躍資源中的domain欄位和illegal_domain中定義的key欄位domain進行關聯，獲取數據，輸出結果新增level和illegal_domain_flag二列，沒有關聯上的數據置空。[0134]經過illegal_domain控制項處理後的數據如下表4：[0135][0136]表4[0137]2)、在調用illegal_mining控制項時，指定了需要關聯的源key欄位為destip，即使用活躍資源中的destip欄位，和illegal_mining中定義的key欄位ip進行關聯，獲取數據,輸出結果新增country和illegal_mining_flag二列。沒有關聯上的數據置空。[0138]經過illegal_mining控制項處理後的數據如下表5：[0139][0140]表5[0141](3)、基於新增的違規標記以及相關欄位，對日誌的內容進行了標識。在數據處理的過程中，控制項定義模塊會根據指定的時間間隔判斷數據是否有更新，如果有數據更新，就立即更新基礎數據。[0142](4)、當需要擴展新的異常行為時，只需要新增一個控制項即可。不需要修改原有代碼，只有代碼的新增。對原有的控制項不會產生任何影響。[0143]需要說明的是，儘管在上述實施例及附圖中以特定順序描述了本發明方法的操作，但是，這並非要求或者暗示必須按照該特定順序來執行這些操作，或是必須執行全部所示的操作才能實現期望的結果。附加地或備選地，可以省略某些步驟，將多個步驟合併為一個步驟執行，和/或將一個步驟分解為多個步驟執行。[0144]基於前述發明構思，如圖3所示，本發明還提出一種計算機設備300，包括存儲器310、處理器320及存儲在存儲器310上並可在處理器320上運行的電腦程式330，處理器320執行電腦程式330時實現前述高效發現用戶異常訪問行為的方法。[0145]基於前述發明構思，本發明還提出一種計算機可讀存儲介質，計算機可讀存儲介質存儲有執行前述高效發現用戶異常訪問行為的方法的電腦程式。[0146]本發明提出的高效發現用戶異常訪問行為的裝置及方法，基礎數據可實時更新；基於控制項擴展，新增控制項不需要修改程序，易於擴展；開發人員只需要關注當前新增異常行為的規則和實現，無需關注已經存在的控制項；新增控制項測試已經存在控制項的功能；活躍資源流量數據經過預設的各種異常行為控制項後得到所有異常訪問行為的類型及所關注的其它信息，大幅提升異常訪問行為發現效率。[0147]雖然已經參考若干具體實施方式描述了本發明的精神和原理，但是應該理解，本發明並不限於所公開的具體實施方式，對各方面的劃分也不意味著這些方面中的特徵不能組合以進行受益，這種劃分僅是為了表述的方便。本發明旨在涵蓋所附權利要求的精神和範圍內所包含的各種修改和等同布置。[0148]對本發明保護範圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護範圍以內。當前第1頁12