報文解析方法、設備及系統的製作方法

2023-04-28 20:17:21

專利名稱：報文解析方法、設備及系統的製作方法
技術領域：
本發明涉及報文解析技術，尤其涉及一種報文解析方法、設備及系統，屬於通信技術領域。
背景技術：
近年來,計算機網絡中的各種對等網絡(Peer-to-Peer, P2P)應用越來越豐富，出現了許多新的應用類型和協議，這些P2P應用消耗了大量的網絡帶寬。由於不同的網絡應用對帶寬資源的需求是不一樣的，實時應用(如網路遊戲、網絡電話(Voice over InternetProtocol, VOIP)、視頻會議等)對網絡傳輸時延、抖動等特性較為敏感，當網絡上有突發性高的P2P應用流量等流量型應用時，實時應用的使用就會受很大的影響。為了有效利用網絡資源，必須對P2P應用的流量進行有效的管理，而首先必須能夠實現對P2P流量的高效、準確的識別。現有的應用識別，通常是基於靜態特徵庫對報文進行解析來實現的。靜態特徵庫中通常描述了如下特徵報文埠、網際網路協議(Internet Protocol, IP)地址特徵、報文載荷特徵以及報文載荷長度。例如要識別一條報文是不是由某一應用軟體產生的，則對報文進行解析，以判斷能否從報文載荷中提取出靜態特徵庫中指定的字符串，若是，我們就認為這條報文是由相應軟體產生的。現有的基於靜態特徵庫對報文進行解析的技術，都是在報文之間沒有關聯性的前提下進行的報文匹配。而在實際應用中，經常存在利用靜態特徵庫無法有效解析、識別報文的情況。以奇藝視頻軟體為例，例如第一條報文的內容中會指明後面幾條報文的目的IP和目的埠特徵，因此只要有內網用戶去訪問這些IP和目的埠，此時產生的報文也是由「奇藝視頻軟體」產生的。而此時，由於靜態特徵庫對報文進行解析，靜態特徵庫中未配置相應的目的IP和目的埠特徵，所以不會針對這些目的IP和目的埠特徵進行報文解析，從而無法有效識別。目前，雖然可以通過直接在進行報文識別的設備上編譯報文解析程序，來實現這類情況的報文識別。但是，所編譯的報文解析程序是固定不變的，每次軟體更新，都需要修改程序代碼，周期長、工作量大，並且需要關閉並重新啟動，這期間會導致用戶網絡中斷，因此無法與報文的頻繁變化相適應。

發明內容
針對現有技術中存在的缺陷，本發明提供一種報文解析方法、設置及系統，用於對頻繁變化、具有關聯性的報文進行有效解析。根據本發明的第一方面，提供一種報文解析方法，包括報文解析設備接收特徵庫規則解析文件，所述特徵庫規則解析文件包括至少兩個基礎函數的字符串標識，以及對應的操作對象字符串；·
所述報文解析設備根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈；所述報文解析設備通過執行所述函數鏈，對報文進行解析，其中，所述報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。根據本發明的第二方面，提供另一種報文解析方法，包括載入報文解析設備提供的語法定義，所述語法定義包括所述報文解析設備中定義的基礎函數和數據類型；接收用戶根據所述語法定義，編寫的特徵庫規則解析文件；將所述特徵庫規則解析文件加載至報文解析設備，以使報文解析設備根據所述特徵庫規則解析文件，生成包括所述至少兩個基礎函數的函數鏈，並通過執行所述函數鏈，對報文進行解析，其中，報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。根據本發明的第三方面，提供一種報文解析設備，包括接收模塊，用於接收特徵庫規則解析文件，所述特徵庫規則解析文件包括至少兩個基礎函數的字符串標識，以及對應的操作對象字符串；規則解析模塊，用於根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈；報文解析模塊，用於通過執行所述函數鏈，對報文進行解析，其中，所述報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。根據本發明的第四方面，提供一種特徵庫，其特徵在於，包括語法定義載入模塊，用於載入報文解析設備提供的語法定義，所述語法定義包括所述報文解析設備中定義的基礎函數和數據類型；規則接收模塊，用於接收用戶根據所述語法定義，編寫的特徵庫規則解析文件；加載模塊，用於將所述特徵庫規則解析文件加載至報文解析設備，以使報文解析設備根據所述特徵庫規則解析文件，生成包括所述至少兩個基礎函數的函數鏈，並通過執行所述函數鏈，對報文進行解析，其中，報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。根據本發明的第五方面，提供一種報文解析系統，包括本發明提供的報文解析設備，以及本發明提供的特徵庫，所述報文解析設備與所述特徵庫連接。根據本發明提供的報文解析方法、設置及系統，報文解析設備接收特徵庫規則解析文件，根據特徵庫規則解析文件中的基礎函數的字符串標識，以及對應的操作對象字符串，對基礎函數和操作對象進行組合，動態確定報文解析邏輯。由於將基礎函數的功能與操作對象相剝離，使得當報文由於應用軟體更新等原因發生變化時，通過對特徵庫中的規則解析文件中，基礎函數和/或操作對象的組合關係/邏輯進行調整即可，修改方便、工作量小，並且無需重新啟動報文解析設備。而且，由於基礎函數的操作對象指向具體的內存空間，在執行報文解析時，對相應的內存空間進行操作，所以操作對象的實際值能夠在具有關聯性的不同報文之間傳遞。因此，上述報文解析方法能夠對頻繁變化、具有關聯性的報文進行有效解析。


圖I為一種用於實現本發明實施例的報文解析方法的系統架構圖。圖2為本發明一個實施例的報文解析方法的流程圖。圖3為解析特徵庫規則解析文件的一個示例的示意圖。圖4為本發明另一個實施例的報文解析方法的流程圖。圖5為本發明一個實施例的報文解析設備的結構示意圖。圖6為本發明一個實施例的特徵庫的結構示意圖。
具體實施方式

圖I為一種用於實現本發明實施例的報文解析方法的系統架構圖。如圖I所示，該系統包括報文解析設備11和特徵庫12。其中，特徵庫12可以部署在任意設備或計算機中，本發明實施例中不做限制。下文中，結合圖I所示的系統，分別從報文解析設備11和特徵庫12的角度，對本發明實施例的報文解析方法的具體流程進行詳細說明。實施例一圖2為本發明一個實施例的報文解析方法的流程圖。圖2所示的報文解析方法由報文解析設備執行。如圖2所示，包括以下步驟201，報文解析設備接收特徵庫規則解析文件，所述特徵庫規則解析文件包括至少兩個基礎函數的字符串標識，以及對應的操作對象字符串；其中，報文解析設備抽象出通用的類似高級程式語言的語法定義，並通過軟體編碼和軟體編譯，在報文解析設備上一次性實現這些抽象的語法定義。具體地，報文解析設備將現有的功能複雜的、固定不變的報文解析程序的多個動作，拆解為多個功能單一的基礎函數實現，預先對這些功能單一的基礎函數進行定義，形成基礎函數集合。並且，對基礎函數集合中的各基礎函數進行字符串命名(即為每個基礎函數分配字符串標識)，以供特徵庫進行引用。這些基礎函數的功能被靜態確定。報文解析設備中還定義了基礎的數據類型，作為基礎函數集合中各基礎函數的操作對象和運算結果，包括立即數、變量、常量、緩衝區等。具體的數據類型與報文解析設備使用的程序語言相關，並且能夠進行重新定義，組成複合結構，並不限於上述幾種。報文解析設備將上述語法定義(包括基礎函數定義和數據類型定義)載入特徵庫，以供用戶按照特徵庫內所載入的語法定義編寫特徵庫規則解析文件。更為具體地，用戶根據實際的報文解析需求，從語法定義的基礎函數集合中選擇相應功能的基礎函數，以所選擇的基礎函數的字符串標識表示在特徵庫規則解析文件中，並確定所選擇的基礎函數的操作對象，以操作對象字符串表示在特徵庫規則解析文件中。例如，特徵庫規則解析文件為& (基礎函數I的字符串標識inti stringl)& (基礎函數2的字符串標識stringl bufl) & (基礎函數3的字符串標識intlint2 bufl)。其中，「inti stringr』為基礎函數I對應的操作對象字符串，該操作對象字符串的含義為基礎函數I包括兩個操作對象，該兩個操作對象的名稱分別為「inti」和「stringl」 ;類似地，「stringl bufl」為基礎函數2對應的操作對象字符串，「inti int2 bufl」為基礎函數3對應的操作對象字符串。該特徵庫規則解析文件共涉及三個基礎函數，其中基礎函數I和基礎函數2通過操作對象「stringl」相關聯，基礎函數I和基礎函數3通過操作對象「inti」相關聯，基礎函數2和基礎函數3通過操作對象「bufl」相關聯。
用戶完成特徵庫規則解析文件的編寫後，特徵庫將包含有特徵庫規則解析文件的特徵庫文件加載到報文解析設備中。202，所述報文解析設備根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈；具體地，報文解析設備獲取特徵庫規則解析文件後，自動解析特徵庫規則解析文件，以將用戶定義的特徵庫規則解析文件中的語句，轉化為報文解析設備可執行的函數鏈。`203，所述報文解析設備通過執行所述函數鏈，對報文進行解析，其中，所述報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。具體地，報文解析設備為需要調用的基礎函數的操作對象分配指定的內存空間，即將一個確定的內存空間的地址指向基礎函數的入口。報文解析設備依次執行函數鏈中的各基礎函數，並在執行各基礎函數時，將指向該基礎函數的入口的內存空間的實際內容，作為該基礎函數的操作對象，執行函數功能，並將執行結果保存在內存空間中，以供後續執行的基礎函數引用。根據上述實施例的報文解析方法，報文解析設備接收特徵庫規則解析文件，根據特徵庫規則解析文件中的基礎函數的字符串標識，以及對應的操作對象字符串，對基礎函數和操作對象進行組合，動態確定報文解析邏輯。由於將基礎函數的功能與操作對象相剝離，使得當報文由於應用軟體更新等原因發生變化時，通過對特徵庫中的規則解析文件中，基礎函數和/或操作對象的組合關係/邏輯進行調整即可，修改方便、工作量小，並且無需重新啟動報文解析設備。而且，由於基礎函數的操作對象指向具體的內存空間，在執行報文解析時，對相應的內存空間進行操作，所以操作對象的實際值能夠在具有關聯性的不同報文之間傳遞。因此，上述報文解析方法能夠對頻繁變化、具有關聯性的報文進行有效解析。實施例二本實施例中，在上述實施例的基礎上，對報文解析設備解析特徵庫規則解析文件的流程進行擴展說明。具體地，所述報文解析設備根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈，具體包括所述報文解析設備根據所述操作對象字符串，生成與各操作對象對應的基礎操作對象結構，並確定所述操作對象指向的內存空間，其中所述基礎操作對象結構包括數據類型和操作對象名稱；將所述基礎操作對象結構，按照與所述字符串標識對應的基礎函數的參數列表進行封裝，生成用於將所述基礎函數與所述操作對象指向的內存空間相關聯的函數操作對象列表結構；根據所述特徵庫規則解析文件中所述至少兩個基礎函數的字符串標識的次序、以及各基礎函數對應的函數操作對象列表結構生成所述函數鏈。更為具體地，圖3為解析特徵庫規則解析文件的一個示例的示意圖。在圖3中，以特徵庫規則解析文件「& (基礎函數I的字符串標識inti stringl) & (基礎函數2的字符串標識stringl bufl) & (基礎函數3的字符串標識intlint2 bufI)」為例進行說明。報文解析設備將操作對象字符串「inti stringl」轉換為基礎操作對象結構「int，inti」(圖 3 中以/intI/表示)和 「string, stringl」(圖 3 中以y^tring]/表示)。其中，「int」表示數據類型為整型變量，「inti」表示操作對象名稱；「string」表示數據類型為字符串變量，「stringl」表示操作對象名稱。報文解析設備將根據得到的基礎操作對象結構，確定操 作對象指向的內存空間。例如，報文解析設備預申請有各種數據類型的內存空間，則報文解析設備根據基礎操作對象結構中的數據類型，確定該數據類型對應的內存地址範圍，從該內存地址範圍中選擇一個(或多個)內存地址，並建立所選擇的內存地址與基礎操作對象結構中的操作對象名稱的對應關係，即可確定操作對象指向的內存空間。報文解析設備還通過按照基礎函數的參數列表對基礎操作對象結構進行封裝，建立基礎函數與操作對象的對應關係，並將基礎函數與操作對象指向的內存空間相關聯。如圖3中所示,基礎函數I的函數操作對象列表結構包括「int, inti」和「string, stringl」兩個基礎操作對象結構。該函數操作對象列表結構，將操作對象inti和stringl對應的內存空間在運行空間中映射為「基礎函數I的inti內存空間」和「基礎函數I的stringl內存空間」。其中，基礎函數的參數列表是報文解析設備中定義基礎函數時所定義的，用於表示不同參數的含義，其具體形式本發明實施例中不做限制。報文解析設備還將特徵庫規則解析文件中的基礎函數的字符串標識與基礎函數在報文解析設備中的運行地址進行關聯。將該運行地址也映射至運行空間。即可在運行空間中自動運行基礎函數，並對相應的內存空間進行操作。根據報文解析設備中多個基礎函數之間的順序關係(即各基礎函數的編號)、各基礎函數的運行地址、以及各基礎函數的函數操作對象列表結構，即可形成報文解析設備可自動執行的報文解析程序，即函數鏈。當報文解析設備進行報文解析時，可以首先對報文進行傳統的靜態特徵庫識別，得到初步的報文識別結果，然後確定是否要對報文的內容進行動態的提取和分析。如果需要，則觸發即動態報文解析的流程(即上述實施例的報文解析流程)。報文解析設備初始化預申請好的運行空間，將當前運行的基礎函數的編號設置為函數鏈中的第一個基礎函數，然後依次執行函數鏈中的所有基礎函數，而且還可依次執行多個函數鏈。對於每個基礎函數，首先根據函數操作對象列表結構，將基礎函數的操作對象映射為實際的內存變量，即運行空間中的成員變量，然後執行函數功能，並將執行結果保存在運行空間中，供其它基礎函數引用。通過定義不同的運行空間的生命周期，將運行空間中解析出來的操作對象的實際值(即報文解析的實際內容)，在相同數據流的多個報文之間、不同數據流之間、或者多個應用模塊之間傳遞，例如精細化識別模塊、數據緩存模塊、內容審計模塊和資料庫處理模塊等，以實現不同範疇內的應用識別。進一步地，在上述實施例的報文解析方法中，所述基礎函數包括用於對報文載荷內容進行運算的函數，和/或用於對報文載荷內容格式化輸入輸出的函數，和/或用於接口操作的函數，和/或用於對報文進行解壓縮或解密的算法函數，和/或記錄報文載荷內容的函數，和/或用於控制執行邏輯的函數。其中，用於控制執行邏輯的函數為一種特殊類型的函數，其功能在於根據其它基礎函數的執行結果，修改下一個運行的基礎函數的編號。因此，能夠在順序執行動態生成的報文解析程序(函數鏈)的基礎上，實現選擇判斷、循環跳轉等解析邏輯，真正達到智能解析和精細化識別的效果。
實施例三本實施例中，提供報文解析設備中語法定義的一些具體示例，並提供根據這些語法定義編寫特徵庫規則解析文件，以及報文解析設備根據特徵庫規則解析文件執行報文解析的具體示例。其僅作為本發明的示例，用於對本發明的報文解析方法進行更為清楚、詳細的說明，而不構成對本發明的限制。報文解析設備的語法定義中例如包括以下內容(一)常量常量也叫立即數，就是指我們通常理解中的常數，如1，2，0X03等。報文解析設備中定義的常量名稱、格式及相關說明參見表I。
表I
名稱__格式__說明_
整型立即數ia 17, 0xFF(0x 16
整型,實際值在特徵庫規則文
___件解析時確定_
文本字符串如』』hello [FF FF]」，可以內嵌□ 只讀字符串，實際值在特徵庫 十六進位格式，用於輸入轉義規則文件解析時確定 _字符和不可列印字符_(二)全局知名變量全局知名變量的值主要來源於報文和應用模塊(例如為精細化識別模塊、數據緩存模塊、內容審計模塊和資料庫處理模塊等)中，可以參與運算，可能在不同數據流和不同報文中被使用，但是是只讀的。主要是為了報文公共信息和模塊公共信息的提取，因此定義了全局知名變量。全局知名變量通常以@為前綴，如@in_ip，具體由報文解析設備定義，可參與運算，是不可進行賦值的整型變量，實際值在報文解析時確定，如報文的五元組信息。為了能夠支撐報文分析，通常報文解析設備需要具備如表2所示的全局知名變量表權利要求
1.一種報文解析方法,其特徵在於,包括 報文解析設備接收特徵庫規則解析文件，所述特徵庫規則解析文件包括至少兩個基礎函數的字符串標識，以及對應的操作對象字符串； 所述報文解析設備根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈； 所述報文解析設備通過執行所述函數鏈，對報文進行解析，其中，所述報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。
2.根據權利要求I所述的報文解析方法，其特徵在於，所述報文解析設備根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈，具體包括 所述報文解析設備根據所述操作對象字符串，生成與各操作對象對應的基礎操作對象結構，並確定所述操作對象指向的內存空間，其中所述基礎操作對象結構包括數據類型和·操作對象名稱； 將所述基礎操作對象結構，按照與所述字符串標識對應的基礎函數的參數列表進行封裝，生成用於將所述基礎函數與所述操作對象指向的內存空間相關聯的函數操作對象列表結構； 根據所述特徵庫規則解析文件中所述至少兩個基礎函數的字符串標識的次序、以及各基礎函數對應的函數操作對象列表結構生成所述函數鏈。
3.根據權利要求2所述的報文解析方法，其特徵在於，所述確定所述操作對象指向的內存空間具體包括 根據所述操作對象的數據類型，確定所述報文解析設備中，預先為所述數據類型分配的內存空間； 從所述預先為所述數據類型分配的內存空間中，為所述操作對象分配對應的內存空間，並建立所述操作對象名稱與為所述操作對象分配對應的內存空間的映射關係。
4.根據權利要求1-3任一所述的報文解析方法，其特徵在於，所述基礎函數包括用於對報文載荷內容進行運算的函數，和/或用於對報文載荷內容格式化輸入輸出的函數，和/或用於接口操作的函數，和/或用於對報文進行解壓縮或解密的算法函數，和/或記錄報文載荷內容的函數，和/或用於控制執行邏輯的函數。
5.—種報文解析方法,其特徵在於,包括 載入報文解析設備提供的語法定義，所述語法定義包括所述報文解析設備中定義的基礎函數和數據類型； 接收用戶根據所述語法定義，編寫的特徵庫規則解析文件； 將所述特徵庫規則解析文件加載至報文解析設備，以使報文解析設備根據所述特徵庫規則解析文件，生成包括所述至少兩個基礎函數的函數鏈，並通過執行所述函數鏈，對報文進行解析，其中，報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。
6.根據權利要求6所述的報文解析方法，其特徵在於，還包括 若所述特徵庫接收到更新的特徵庫規則解析文件，則將所述更新的特徵庫規則解析文件加載至所述報文解析設備。
7.一種報文解析設備，其特徵在於，包括 接收模塊，用於接收特徵庫規則解析文件，所述特徵庫規則解析文件包括至少兩個基礎函數的字符串標識，以及對應的操作對象字符串； 規則解析模塊，用於根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈； 報文解析模塊，用於通過執行所述函數鏈，對報文進行解析，其中，所述報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。
8.根據權利要求7所述的報文解析設備，其特徵在於，所述規則解析模塊用於 根據所述操作對象字符串，生成與各操作對象對應的基礎操作對象結構，並確定所述操作對象指向的內存空間，其中所述基礎操作對象結構包括數據類型和操作對象名稱； 將所述基礎操作對象結構，按照與所述字符串標識對應的基礎函數的參數列表進行封裝，生成用於將所述基礎函數與所述操作對象指向的內存空間相關聯的函數操作對象列表結構； 根據所述特徵庫規則解析文件中所述至少兩個基礎函數的字符串標識的次序、以及各基礎函數對應的函數操作對象列表結構生成所述函數鏈。
9.根據權利要求8所述的報文解析設備，其特徵在於，所述規則解析模塊還用於 根據所述操作對象的數據類型，確定所述報文解析設備中，預先為所述數據類型分配的內存空間； 從所述預先為所述數據類型分配的內存空間中，為所述操作對象分配對應的內存空間，並建立所述操作對象名稱與為所述操作對象分配對應的內存空間的映射關係。
10.根據權利要求7-9任一所述的報文解析設備，其特徵在於，所述基礎函數包括用於對報文載荷內容進行運算的函數，和/或用於對報文載荷內容格式化輸入輸出的函數，和/或用於接口操作的函數，和/或用於對報文進行解壓縮或解密的算法函數，和/或記錄報文載荷內容的函數，和/或用於控制執行邏輯的函數。
11.一種特徵庫，其特徵在於，包括 語法定義載入模塊，用於載入報文解析設備提供的語法定義，所述語法定義包括所述報文解析設備中定義的基礎函數和數據類型； 規則接收模塊，用於接收用戶根據所述語法定義，編寫的特徵庫規則解析文件； 加載模塊，用於將所述特徵庫規則解析文件加載至報文解析設備，以使報文解析設備根據所述特徵庫規則解析文件，生成包括所述至少兩個基礎函數的函數鏈，並通過執行所述函數鏈，對報文進行解析，其中，報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。
12.根據權利要求11所述的特徵庫，其中，所述規則接收模塊還用於若接收到更新的特徵庫規則解析文件，則觸發所述加載模塊執行操作； 所述加載模塊還用於將所述更新的特徵庫規則解析文件加載至所述報文解析設備。
13.一種報文解析系統，其特徵在於，包括權利要求7-10任一所述的報文解析設備，以及權利要求11或12所述的特徵庫，所述報文解析設備與所述特徵庫連接。
全文摘要
本發明提供一種報文解析方法、設備及系統。該方法包括報文解析設備接收特徵庫規則解析文件，所述特徵庫規則解析文件包括至少兩個基礎函數的字符串標識，以及對應的操作對象字符串；根據所述至少兩個基礎函數的字符串標識和所述對應的操作對象字符串，生成包括所述至少兩個基礎函數的函數鏈；通過執行所述函數鏈，對報文進行解析，其中，所述報文解析設備在執行所述函數鏈時，對所述基礎函數的操作對象指向的內存空間進行操作。本發明提供的報文解析方法、設備及系統，用於對頻繁變化、具有關聯性的報文進行有效解析。
文檔編號G06F17/30GK102932474SQ20121045811
公開日2013年2月13日 申請日期2012年11月14日 優先權日2012年11月14日
發明者陳朝暉 申請人:北京星網銳捷網絡技術有限公司