日誌數據處理方法、裝置、電子設備和存儲介質與流程
2024-04-13 03:12:05 2
1.本技術涉及計算機技術領域，具體而言，涉及一種日誌數據處理方法、裝置、電子設備和存儲介質。
背景技術：
2.隨著信息技術的發展，各個公司企業都逐漸實現了信息化，數位化，網絡安全問題也逐漸被更個公司企業所需要重視，為此需要對公司的各個移動終端，計算機，防火牆，ids等網絡安全設備在運行過程中會產生大量的不同類型不同格式的告警日誌進行存儲，標準化，情報碰撞分析等，從而快速定位出網絡設備中的安全問題。
3.目前，現有的各個日誌處理平臺只能進行一些單一類型接入方式的接入，無法配置更加靈活的接入方式。同時在配置解析規則方面也只能支持比較單一的正則解析。
技術實現要素：
4.本技術的目的在於提供一種日誌數據處理方法、裝置、電子設備和存儲介質，本技術能夠基於多種解析規則對多種數據源的告警日誌進行解析。另一方面，本技術能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級。
5.第一方面，本發明提供一種日誌數據處理方法，所述方法包括：獲取告警日誌；基於所述告警日誌的數據源確定針對所述告警日誌的解析規則；基於所述解析規則解析所述告警日誌，得到標準化日誌；過濾所述標準化日誌；識別所述標準化日誌的出入站類型；基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，其中，所述標準化日誌的威脅信息包括所述標準化日誌的威脅標籤和所述標準化日誌的威脅等級。
6.在本技術第一方面中，可基於告警日誌的數據源確定針對所述告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾所述標準化日誌並識別所述標準化日誌的出入站類型，從而能夠基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，其中，所述標準化日誌的威脅信息包括所述標準化日誌的威脅標籤和所述標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
7.在可選的實施方式中，在所述基於所述解析規則解析所述告警日誌，得到標準化日誌之後，所述方法還包括：
過濾單位時間內接收到的且重複的所述告警日誌。
8.在上述可選的實施方式中，通過過濾所述標準化日誌，能夠去除單位時間內的重複性日誌，這樣一來就能夠通過去除無效的告警日誌，進而避免花費額外時間對無效的告警日誌進行解析、處理和避免無效的告警日誌對處理結果產生不利影響，最終提高告警日誌的解析效率和處理準確性。
9.在可選的實施方式中，在所述過濾所述標準化日誌，以去除重複性日誌之後，所述方法還包括：過濾所述標準化日誌中只含有內網ip地址的日誌。
10.在上述可選的實施方式中，通過過濾標準化日誌中只含有內網ip地址的日誌，進而能夠以去除只含有內網ip地址的日誌，這樣一來就能夠通過去除只含有內網ip地址的日誌，進而避免花費額外時間對含有內網ip地址的日誌進行解析、處理和避免含有內網ip地址的日誌對處理結果產生不利影響，最終進一步提高告警日誌的解析效率和處理準確性。
11.在可選的實施方式中，所述告警日誌的解析規則包括正則解析、json解析、鍵值對分割符解析和value分隔符解析。
12.上述可選的實施方式可通過正則解析、json解析、鍵值對分割符解析和value分隔符解析這些解析方式對告警日誌進行解析。
13.在可選的實施方式中，在所述基於所述解析規則解析所述告警日誌，得到標準化日誌之前，所述方法還包括：基於所述告警日誌的數據源確定所述告警日誌綁定的關鍵字；從所述告警日誌中篩選出含有所述關鍵字的所述告警日誌；以及，所述基於所述解析規則解析所述告警日誌，得到標準化日誌，包括：基於所述解析規則解析含有所述關鍵字的所述告警日誌，得到所述標準化日誌。
14.在上述可選的實施方式中，基於所述告警日誌的數據源能夠確定所述告警日誌綁定的關鍵字，進而能夠從所述告警日誌中篩選出含有所述關鍵字的所述告警日誌。相應地，基於所述解析規則能夠解析含有所述關鍵字的所述告警日誌，從而得到所述標準化日誌。
15.在可選的實施方式中，所述基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，包括：當所述標準化日誌的出入站類型為出站類型時，查詢失陷指標和惡意域名情報接口，以得到所述標準化日誌的威脅信息；當所述標準化日誌的出入站類型為入站類型時，查詢ip信譽情報接口，以得到所述標準化日誌的威脅信息。
16.在上述可選的實施方式中，當所述標準化日誌的出入站類型為出站類型時，通過查詢失陷指標和惡意域名情報接口，能夠得到所述標準化日誌的威脅信息，當所述標準化日誌的出入站類型為入站類型時，通過查詢ip信譽情報接口，能夠得到所述標準化日誌的威脅信息。
17.第二方面，本發明提供一種日誌數據處理裝置，所述裝置包括：獲取模塊，用於獲取告警日誌；確定模塊，用於基於所述告警日誌的數據源確定針對所述告警日誌的解析規則；解析模塊，用於基於所述解析規則解析所述告警日誌，得到標準化日誌；
過濾模塊，用於過濾所述標準化日誌；識別模塊，用於識別所述標準化日誌的出入站類型；處理模塊，用於基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，其中，所述標準化日誌的威脅信息包括所述標準化日誌的威脅標籤和所述標準化日誌的威脅等級。
18.本技術第二方面的裝置通過執行日誌數據處理方法，可基於告警日誌的數據源確定針對所述告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾所述標準化日誌並識別所述標準化日誌的出入站類型，從而能夠基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，其中，所述標準化日誌的威脅信息包括所述標準化日誌的威脅標籤和所述標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
19.第三方面，本發明提供一種電子設備，包括：處理器；以及存儲器，配置用於存儲機器可讀指令，所述指令在由所述處理器執行時，執行如前述實施方式任一項所述的日誌數據處理方法。
20.本技術第三方面的電子設備通過執行日誌數據處理方法，可基於告警日誌的數據源確定針對所述告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾所述標準化日誌並識別所述標準化日誌的出入站類型，從而能夠基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，其中，所述標準化日誌的威脅信息包括所述標準化日誌的威脅標籤和所述標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
21.第四方面，本發明提供一種存儲介質，所述存儲介質存儲有電腦程式，所述電腦程式被處理器執行如前述實施方式任一項所述的日誌數據處理方法。
22.本技術第四方面的存儲介質通過執行日誌數據處理方法，可基於告警日誌的數據源確定針對所述告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾所述標準化日誌並識別所述標準化日誌的出入站類型，從而能夠基於所述標準化日誌的出入站類型得到所述標準化日誌的威脅信息，其中，所述標準化日誌的威脅信息包括所述標準化日誌的威脅標籤和所述標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌
數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
附圖說明
23.為了更清楚地說明本技術實施例的技術方案，下面將對本技術實施例中所需要使用的附圖作簡單地介紹，應當理解，以下附圖僅示出了本技術的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。
24.圖1是本技術實施例公開的一種日誌數據處理方法的流程示意圖；圖2是本技術實施例提供的一種數據源關聯配置多個解析規則的示意圖；圖3是本技術實施例提供的一種判別出入站和情報查詢規則表示意圖；圖4是本技術實施例公開的一種實現日誌數據處理方法的技術架構圖；圖5是本技術實施例公開的一種日誌數據處理裝置的結構示意圖；圖6是本技術實施例公開的一種電子設備的結構示意圖。
具體實施方式
25.下面將結合本技術實施例中的附圖，對本技術實施例中的技術方案進行描述。
26.實施例一請參閱圖1，圖1是本技術實施例公開的一種日誌數據處理方法的流程示意圖，如圖1所示，本技術實施例的方法包括以下步驟：101、獲取告警日誌；102、基於告警日誌的數據源確定針對告警日誌的解析規則；103、基於解析規則解析告警日誌，得到標準化日誌；104、過濾標準化日誌；105、識別標準化日誌的出入站類型；106、基於標準化日誌的出入站類型得到標準化日誌的威脅信息，其中，標準化日誌的威脅信息包括標準化日誌的威脅標籤和標準化日誌的威脅等級。
27.本技術實施例可基於告警日誌的數據源確定針對告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾標準化日誌並識別標準化日誌的出入站類型，從而能夠基於標準化日誌的出入站類型得到標準化日誌的威脅信息，其中，標準化日誌的威脅信息包括標準化日誌的威脅標籤和標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
28.在本技術實施例中，針對步驟101，告警日誌的數據源至少包括：udp數據源、tcp數據源、kafka數據源、文件上傳數據源、文件下載數據源、splunk數據源和elasticsearch。
29.在本技術實施例中，針對步驟101，udp數據源可提供udp日誌，其中，udp日誌是指
採用用戶數據報協議（userdatagramprotocol）協議的日誌。
30.在本技術實施例中，針對步驟101，tcp數據源可提供tcp日誌，其中，tcp日誌是指採用傳輸控制協議（transmission controlprotocol）協議的日誌。
31.在本技術實施例中，針對步驟101，splunk數據源可提供splunk日誌，其中，splunk是一款日誌平臺，因此，splunk平臺可視為splunk數據源。需要說明的是，關於splunk平臺的詳細說明，請參閱現有技術。
32.在本技術實施例中，針對步驟101，文件上傳數據源可提供文件上傳日誌，其中，文件上傳日誌是指通過文件上傳數據源提供的文件上傳功能上傳的日誌。
33.在本技術實施例中，針對步驟101，文件下載數據源可提供文件下載日誌，其中，文件下載日誌是指通過文件下載數據源提供的文件下載功能下載的日誌。
34.在本技術實施例中，針對步驟101，splunk數據源可提供splunk日誌，其中，splunk是一款日誌平臺，因此，splunk平臺可視為splunk數據源。需要說明的是，關於splunk平臺的詳細說明，請參閱現有技術。
35.在本技術實施例中，針對步驟101，elasticsearch數據源可提供elasticsearch日誌，其中，elasticsearch是一款日誌平臺，因此，elasticsearch平臺可視為elasticsearch數據源。需要說明的是，關於elasticsearch平臺的詳細說明，請參閱現有技術。
36.在本技術實施例中，針對步驟102，由於每個數據源輸出的告警日誌的格式不相同，因此單一的解析規則不能夠解析所有數據源輸出的告警日誌，例如，針對解析規則a，其只能對udp日誌進行解析，而無法對tcp日誌解析，因此，需要針對告警日誌的數據源匹配相應的解析規則，而在本技術實施例中，就能夠基於告警日誌的數據源匹配針對告警日誌的解析規則。
37.在本技術實施例中，針對步驟102，一種告警日誌的數據源可對應兩種或兩種以上的解析規則，例如，請參閱圖2，圖2是本技術實施例提供的一種數據源關聯配置多個解析規則的示意圖。如圖2所示，告警日誌關聯的解析規則有正則解析規則、json解析規則和分隔符解析規則。
38.在本技術實施例中，針對步驟103，標準化日誌是指格式滿足標準化要求的日誌，其中，標準化日誌可持久化存儲。
39.在本技術實施例中，作為一種可選的實施方式中，在得到標準化日誌後，可對所有標準化日誌進行聚合，例如，將具有相同ip地址的標準化日誌關聯在一起，即以ip地址為索引，關聯所有具有相同ip地址的標準化日誌。
40.在本技術第一方面中，作為一種可選的實施方式，在步驟103：基於解析規則解析告警日誌，得到標準化日誌之後，本技術實施例的方法還包括以下步驟：過濾單位時間內接收到的且重複的標準化日誌。
41.在上述可選的實施方式中，通過過濾標準化日誌，能夠去除重複性日誌，這樣一來就能夠通過去除無效的告警日誌，進而避免花費額外時間對無效的告警日誌進行解析、處理和避免無效的告警日誌對處理結果產生不利影響，最終提高告警日誌的解析效率和處理準確性。
42.在上述可選的實施方式中，重複性日誌是指重複的日誌，例如，通過對kafka日誌進行解析，得到標準化日誌a，而通過對splunk日誌進行解析，得到標準化日誌b，其中，當標
準化日誌a與標準化日誌b一樣時，則標準化日誌b和標準化日誌a為重複性日誌。相應地，去除重複性日誌可以是去除標準化日誌a而保留標準化日誌b，或是去除標準化日誌b而保留標準化日誌a。
43.在本技術實施例中，作為一種可選的實施方式，如圖2所示，在步驟：過濾標準化日誌，以去除重複性日誌之後，本技術實施例的方法還包括以下步驟：過濾標準化日誌，以去除只含有內網ip地址的日誌。
44.在上述可選的實施方式中，通過過濾標準化日誌，進而能夠以去除只含有內網ip地址的日誌，這樣一來就能夠通過去除含有內網ip地址的日誌，進而避免花費額外時間對含有內網ip地址的日誌進行解析、處理和避免含有內網ip地址的日誌對處理結果產生不利影響，最終進一步提高告警日誌的解析效率和處理準確性。
45.在上述可選的實施方式中，由於只含有內網ip地址的日誌一般是內網網絡行為，這一行為一般不具備攻擊性，因此可去除只含有內網ip地址的日誌。
46.在本技術實施例中，作為一種可選的實施方式，本技術實施例的方法還包括：獲取手動配置的綁定信息；基於綁定信息生成標準化日誌的威脅信息。
47.在本可選的實施方式中，通過獲取手動配置的綁定信息，進而能夠基於綁定信息生成標準化日誌的威脅信息，這樣一來，就能夠在用戶沒有配置基於標準化日誌的出入站類型自動識別標準化日誌的威脅信時，能夠基於手動配置的綁定信息生成標準化日誌的威脅信息。進一步地，在本可選的實施方式，具體地，綁定信息是指與標準化日誌綁定的情報接口，例如，標準化日誌與ip信譽情報接口綁定時，則綁定信息可以是ip信譽情報接口。
48.在本技術實施例中，作為一種可選的實施方式，步驟：基於標準化日誌的出入站類型得到標準化日誌的威脅信息，包括以下步驟：當標準化日誌的出入站類型為出站類型時，查詢失陷指標和惡意域名情報接口，以得到標準化日誌的威脅信息；當標準化日誌的出入站類型為入站類型時，查詢ip信譽情報接口，以得到標準化日誌的威脅信息。
49.在上述可選的實施方式中，當標準化日誌的出入站類型為出站類型時，通過查詢失陷指標和惡意域名情報接口，能夠得到標準化日誌的威脅信息，當標準化日誌的出入站類型為入站類型時，通過查詢ip信譽情報接口，能夠得到標準化日誌的威脅信息。
50.在上述可選的實施方式中，具體地，請參閱圖3，圖3是本技術實施例提供的一種判別出入站和情報查詢規則表示意圖。如圖3所示，當dest_ip為公網ip，src_ip為內網ip時，可以確定標準化日誌出入站類型為出站類型，此時，進行失陷檢測和惡意域名處理，查詢失陷指標和惡意域名情報接口。
51.在上述可選的實施方式中，具體地，一般的日誌解析平臺如果和威脅情報碰撞結合時，通常要需要進行各種繁瑣的配置，而且無法做到自動識別日誌情報的出入站類型來進行情報查詢，而本技術實施例可以支持自動識別日誌的出入站類型，判別出的出站類型日誌查詢失陷指標和惡意域名情報接口，會針對辦公網/生產網等對外訪問場景的ip/域名進行分析，通過判定規則精準判別ip/域名是否惡意、風險嚴重級別、可信度級別；準確識別遠控（c2）、惡意軟體（malware）、礦池威脅，提供相關安全事件或團體標籤等。判別出的入站
類型的日誌情報查詢ip信譽情報接口，會針對針對入站場景的ip進行分析，能夠提供ip的地理位置、asn信息，通過判定規則精準判別ip是否惡意、風險嚴重級別、可信度級別和威脅類型等相關安全事件或團體標籤，其中，威脅類型包括漏洞利用（exploit）、傀儡機（zombie）、代理（proxy）、可疑（suspicious）。
52.在上述可選的實施方式中，具體地，情報接口可以包括惡意域名情報接口、失陷檢測情報接口、ip信譽情報接口等情報接口。需要說明的是，情報接口是一種數據接口，其能夠根據查詢請求攜帶參數返回查詢結果。
53.在上述可選的實施方式，由於標準化日誌的威脅類型包括漏洞利用威脅類型、傀儡機威脅類型、代理威脅類型和可疑威脅類型，因此，通過查詢情報接口，本可選的實施方式可識別多種威脅類型。
54.在上述可選的實施方式中，關於漏洞利用威脅類型、傀儡機威脅類型、代理威脅類型和可疑威脅類型的詳細說明，請參閱現有技術，本技術實施例對此不作贅述。
55.在本技術實施例中，作為一種可選的實施方式，告警日誌的解析規則包括正則解析、json解析、鍵值對分割符解析和value分隔符解析。
56.上述可選的實施方式可通過正則解析、json解析、鍵值對分割符解析和value分隔符解析這些解析方式對告警日誌進行解析。
57.需要說明的是，關於正則解析、json解析、鍵值對分割符解析和value分隔符解析的詳細說明，請參閱現有技術，本技術實施例對此不作贅述。
58.在本技術實施例中，作為一種可選的實施方式，在步驟103：基於解析規則解析告警日誌，得到標準化日誌之前，本技術實施例的方法還包括以下步驟：基於告警日誌的數據源確定告警日誌綁定的關鍵字；從告警日誌中篩選出含有關鍵字的告警日誌；相應地，步驟103：基於解析規則解析告警日誌，得到標準化日誌的具體方式為：基於解析規則解析含有關鍵字的告警日誌，得到標準化日誌。
59.在上述可選的實施方式中，不同的告警日誌可以進行關鍵字綁定來選擇對應的含有關鍵字的告警日誌進行解析，提升告警日誌解析的效率。
60.基於上述內容，作為一種場景示例，首先搭建設備環境，其中，設備環境包括一臺tip設備（tip是指在線本地威脅情報管理平臺），一臺可以發送告警日誌的日誌設備，tip設備用於告警日誌，而日誌設備用於採集告警日誌。
61.進一步地，在tip設備配置一個用於接收告警日誌的數據源，配置一種與日誌設備匹配的接收方式，並根據提供的日誌樣例來配置一種的解析規則，能夠準確的解析的日誌樣例，生成標準化的日誌格式。
62.進一步地，將配置的數據源與配置的解析規則關聯，如果想支持此數據源解析多種類型的日誌可按照此方法配置多個解析規則然後與此數據源進行關聯，實現多類型日誌接入解析。另一方面，在配置解析規則時可以針對每個欄位配置自動生成默認值和映射表的配置，方便生成標準化的可用欄位。
63.進一步地，配置完數據源和解析規則的綁定關係之後，可以配置是否需要過濾重複性告警日誌的單位時間，配置是否需要過濾內網ip日誌的過濾規則。配置是否需要自動識別出入站，也可以手動配置硬綁定的方式進行情報碰撞。
64.進一步地，通過日誌設備向配置的數據源發送告警日誌，此時就可以在數據源中查詢最近接入日誌的原文，進而如圖4所示，日誌原文經過過濾和規則解析就可以生成標準格式的日誌了，標準化的日誌經過自動識別出入站的識別規則，識別出對應日誌的出入站方向，從而實現對應不同類型的日誌進行不同情報查詢接口的碰撞，然後就可以在日誌調查中看到被標識不同出入站方向，不同威脅級別，不同威脅標籤的標準化日誌數據，從而一眼就能識別出日誌的威脅程度從而採取進一步的措施。需要說明的是，圖4是本技術實施例公開的一種實現日誌數據處理方法的技術架構圖。
65.基於上述示例，一方面，本技術實施例支持多接入方式，多解析規則配置。多接入方式有：udp,tcp,kafka,文件上傳,文件下載,splunk,elasticsearch等。多解析規則：正則解析，json解析，key-value 分割符解析，value分隔符解析。
66.另一方面，本技術實施例支持無效日誌的過濾功能，針對含有大量內網ip情報的日誌，可以進行識別進行過濾，從而提高日誌的識別效率和準確率；再一方面，本技術實施例支持自動判別日誌情報的出入站類型，然後根據日誌中的含有情報的出入站類型選擇對應不同的情報碰撞接口進行情報查詢，來更加準確的識別出日誌的威脅級別和威脅類型，為後續的日誌分析，設備阻斷提供更加精準的日誌數據。
67.實施例二請參閱圖5，圖5是本技術實施例公開的一種日誌數據處理裝置的結構示意圖，如圖5所示，本技術實施例的裝置包括以下功能模塊：獲取模塊201，用於獲取告警日誌；確定模塊202，用於基於告警日誌的數據源確定針對告警日誌的解析規則；解析模塊203，用於基於解析規則解析告警日誌，得到標準化日誌；過濾模塊204，用於過濾標準化日誌；識別模塊205，用於識別標準化日誌的出入站類型；處理模塊206，用於基於標準化日誌的出入站類型得到標準化日誌的威脅信息，其中，標準化日誌的威脅信息包括標準化日誌的威脅標籤和標準化日誌的威脅等級。
68.本技術實施例的裝置通過執行日誌數據處理方法，可基於告警日誌的數據源確定針對告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾標準化日誌並識別標準化日誌的出入站類型，從而能夠基於標準化日誌的出入站類型得到標準化日誌的威脅信息，其中，標準化日誌的威脅信息包括標準化日誌的威脅標籤和標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
69.需要說明的是，關於本技術實施例的裝置的其他詳細說明，請參閱本技術實施例一的相關說明，本技術實施例對此不作贅述。
70.實施例三請參閱圖6，圖6是本技術實施例公開的一種電子設備的結構示意圖，如圖6所示，本技術實施例的電子設備包括：
處理器301；以及存儲器302，配置用於存儲機器可讀指令，指令在由處理器301執行時，執行如前述實施方式任一項的日誌數據處理方法。
71.本技術實施例的電子設備通過執行日誌數據處理方法，可基於告警日誌的數據源確定針對告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾標準化日誌並識別標準化日誌的出入站類型，從而能夠基於標準化日誌的出入站類型得到標準化日誌的威脅信息，其中，標準化日誌的威脅信息包括標準化日誌的威脅標籤和標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
72.實施例四本技術實施例提供一種存儲介質，存儲介質存儲有電腦程式，電腦程式被處理器執行如前述實施方式任一項的日誌數據處理方法。
73.本技術實施例的存儲介質通過執行日誌數據處理方法，可基於告警日誌的數據源確定針對告警日誌的解析規則，進而能夠基於解析規則告警日誌進行解析，得到標準化日誌，進而能夠過濾標準化日誌並識別標準化日誌的出入站類型，從而能夠基於標準化日誌的出入站類型得到標準化日誌的威脅信息，其中，標準化日誌的威脅信息包括標準化日誌的威脅標籤和標準化日誌的威脅等級。與現有技術相比，本技術能夠支持多種日誌接入方式的配置，同時可以配置多個數據源，同時對接不同的日誌設備。支持配置多種不同的解析規則，能夠靈活的根據不同的日誌格式自動識別出入站的方向從而能夠更加準確的進行情報碰撞查詢，提升日誌威脅等級的識別率，為日誌數據賦上更加準確的威脅標籤，威脅等級，從而為威脅情報查詢，情報生產，設備聯動提供更加有效和準確的數據支撐。
74.在本技術所提供的實施例中，應該理解到，所揭露裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或組件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
75.另外，作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
76.再者，在本技術各個實施例中的各功能模塊可以集成在一起形成一個獨立的部分，也可以是各個模塊單獨存在，也可以兩個或兩個以上模塊集成形成一個獨立的部分。
77.需要說明的是，功能如果以軟體功能模塊的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本技術的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現
出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備（可以是個人計算機，伺服器，或者網絡設備等）執行本技術各個實施例方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器（read-only memory，rom）隨機存取存儲器（random access memory，ram）、磁碟或者光碟等各種可以存儲程序代碼的介質。
78.在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。
79.以上僅為本技術的實施例而已，並不用於限制本技術的保護範圍，對於本領域的技術人員來說，本技術可以有各種更改和變化。凡在本技術的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本技術的保護範圍之內。