一種lte網絡流量識別系統及方法
2023-06-11 04:20:01
一種lte網絡流量識別系統及方法
【專利摘要】為克服現有技術網際網路流量識別技術存在的只能分析出協議類型、準確性較低和需要建立龐大的特徵庫等問題，本發明提出一種LTE網絡流量識別系統及方法，採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；分發模塊對採集的數據進行過濾和分流處理；解碼模塊對分流數據進行實時解碼，為DPI提供簡單解碼結果數據XDR；特徵庫模塊存放有各種數據業務的匹配規則信息和業務信息，並應用爬蟲程序定期獲取業務信息，更新特徵庫；DPI通過關聯XDR與特徵庫信息，實現XDR的識別。本發明的有益技術效果是能夠實時對LTE網絡中18大類的業務流量的進行識別，並可對終端用戶的行為實時進行識別且細化到具體業務。
【專利說明】一種LTE網絡流量識別系統及方法
[0001]
【技術領域】
[0002]本發明涉及到一種LTE網際網路流量識別技術，特別涉及到一種LTE網絡流量識別系統及方法。
【背景技術】
[0003]隨著移動網際網路的迅速發展，一方面，一些違約的協議、病毒、垃圾郵件以及網站入侵給網際網路安全性帶來了很大的挑戰；另一方面，全球運營商每GB流量的平均營收已經從5600美元降至11美元，即每MB的營收僅有0.01美元。顯然，在對網際網路進行控制和管理的過程中，對流量的識別顯得尤為重要。目前，現有網際網路流量識別技術主要包括:深度流量監測技術DFI(de印flow inspection)和盲檢測技術BLANC。DFI技術只能分析出協議類型，而且隨著業務埠號不確定性的增加，其準確性也大大降低；BLANC技術也只能分析出協議類型，如果想得到準確的分析結果，需要建立龐大的特徵庫。顯然，現有技術網際網路流量識別技術存在著只能分析出協議類型、準確性較低和需要建立龐大的特徵庫等問題。
【發明內容】
[0004]為克服現有技術網際網路流量識別技術存在的只能分析出協議類型、準確性較低和需要建立龐大的特徵庫等問題，本發明提出一種LTE網絡流量識別系統及方法。本發明LTE網絡流量識別系統，包括:採集模塊、分發模塊、解碼模塊、特徵庫模塊和深度數據包檢測模塊DPI ;採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；分發模塊對採集的數據進行過濾和分流處理，並將分流數據發送至解碼模塊；解碼模塊對分流數據進行實時解碼，為DPI提供簡單解碼結果數據XDR,即External Data Representation ;特徵庫模塊存放有各種數據業務的匹配規則信息和業務信息，並應用爬蟲程序定期獲取業務信息，更新特徵庫；DPI通過關聯XDR與特徵庫信息，實現XDR的識別從而實現流量的識別。
[0005]進一步的，本發明LTE網絡流量識別系統採集模塊採用千兆級採集卡，即H224F來進行數據採集，採集速率為1000Mbit/S，並採用SI接口作為數據採集接口 ；所述採集卡為二個且能夠自動切換，當其中一個採集卡失效時，切換到另外一個採集卡繼續進行數據採集，並發出告警。
[0006]進一步的，本發明LTE網絡流量識別系統採集模塊通過配置文件設置採集數據的存放路徑，在該路徑下以當天日期為名建立文件夾，並在該文件夾下以小時為單位建立子文件夾，採集的數據以「.cap3 」格式存放在子文件夾中。
[0007]進一步的，本發明LTE網絡流量識別系統分發模塊接受採集模塊傳遞的網絡數據，對網絡數據進行過濾和分發處理；所述過濾處理是指分發模塊通過檢測數據包UDP層埠號對該數據包是否為SI接口用戶面數據進行判斷，如果埠號是「2152」，則視為該數據包是SI接口用戶面數據，並將其分發，如不是，則將該數據包丟棄；所述分發處理是指分發模塊通過檢測數據流IP層源目的埠號，將具有相同源目的IP位址的數據關聯到同一個數據流並發送到解碼模塊進行解碼，從而獲取該數據流所對應的簡單解碼結果數據XDR。
[0008]進一步的，本發明LTE網絡流量識別系統解碼模塊調用相應的解碼器進行各種協議數據的解碼處理，獲得SI接口業務面簡單解碼結果數據XDR，並將XDR存儲備份，同時傳遞給深度數據包檢測模塊DPI進行處理；所述解碼模塊掛載有SI接口用戶面協議棧所有協議的解碼器，通過指針偏移定位到各個協議數據的起始位置；所述XDR包括:URL、Host、Cookie欄位、HTTP版本、用戶MS1、終端頂E1、業務類型編碼、流程ID、開始時間、結束時間、應用大類、應用小類、L4協議、用戶埠、伺服器IP、伺服器埠、國家代號、網絡代號、上行流量、下行流量、上行IP包數量、下行IP包數量、上行TCP亂序報文數量、下行TCP亂序報文數量、上行TCP重傳報文數量和下行TCP重傳報文數量等欄位信息。
[0009]進一步的，本發明LTE網絡流量識別系統特徵庫模塊包括特徵庫和爬蟲程序，所述特徵庫設置有各種應用信息表，用於存放各種數據業務的匹配規則信息和業務信息，其中，B00KINF0表用於存放爬蟲程序爬取的業務數據，WEBSITEID表用於存放查詢各種業務信息的SQL語句，MATCHRULE表用於存放各種業務的匹配規則表達式；所述爬蟲程序用於定期獲取WEB頁面上各種業務的詳細信息並實時更新特徵庫，所有被爬取的信息都需要與底層解碼結果實現關聯；所述各種業務包括實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務。
[0010]進一步的，本發明LTE網絡流量識別系統特徵庫模塊爬蟲程序定期獲取WEB頁面上各種業務的詳細信息，包括，分析網頁，構造業務信息URL列表並將其寫入程序配置文件；將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入特徵庫中對應的應用信息表。
[0011]進一步的，本發明LTE網絡流量識別系統深度數據包檢測模塊DPI通過關聯簡單解碼結果數據XDR與特徵庫信息，實現XDR的識別從而實現流量的識別，包括，DPI獲取解碼模塊產生的XDR，將特徵庫中MATCHRULE表中的匹配規則讀入集合併與XDR中的URL字符串遍歷匹配，得出能與該XDR匹配的匹配規則記錄，將該條記錄中的KEY值取出並用該KEY值作為選擇條件在特徵庫應用信息表進行查詢，將查詢到的應用信息與XDR進行關聯，從而實現應用信息與用戶MSI和終端MEI的關聯，根據XDR的其他欄位所攜帶的信息對該用戶在具體時間使用的具體業務進行判斷，即實現流量類型及數量的識別。
[0012]本發明LTE網絡流量識別方法採用本發明LTE網絡流量識別系統進行流量識別，包括以下步驟:
51、採集數據，採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；同時，採集模塊通過配置文件設置採集數據的存放路徑，在該路徑下以當天日期為名建立文件夾，並在該文件夾下以小時為單位建立子文件夾，採集的數據以「.cap3」格式存放在子文件夾中；所述採集模塊採用千兆級採集卡，即H224F來進行數據採集，採集速率為1000Mbit/S，並採用SI接口作為數據採集接口 ；所述採集卡為二個且能夠自動切換，當其中一個採集卡失效時，切換到另外一個採集卡繼續進行數據採集，並發出告警；
52、過濾數據，分發模塊通過檢測數據包UDP層埠號對該數據包是否為SI接口用戶面數據進行判斷，如果埠號是「2152」，則視為該數據包是SI接口用戶面數據，並進行下一步，如不是，則將該數據包丟棄，重新獲取數據；
53、分發數據，分發模塊通過檢測數據流IP層源目的埠號，將具有相同源目的IP位址的數據關聯到同一個數據流並發送到解碼模塊進行解碼；
54、數據解碼，解碼模塊調用相應的解碼器進行各個協議數據的解碼處理，獲得SI接口業務面簡單解碼信息XDR，並將XDR存儲備份，同時傳遞給DPI模塊進行處理；
所述解碼模塊掛載有SI接口用戶面協議棧所有協議的解碼器，通過指針偏移定位到各個協議數據的起始位置；
所述XDR包括:URL、Host、Cookie欄位、HTTP版本、用戶MS1、終端ME1、業務類型編碼、流程ID、開始時間、結束時間、應用大類、應用小類、L4協議、用戶埠、伺服器IP、伺服器埠、國家代號、網絡代號、上行流量、下行流量、上行IP包數量、下行IP包數量、上行TCP亂序報文數量、下行TCP亂序報文數量、上行TCP重傳報文數量和下行TCP重傳報文數量等欄位?目息;
55、流量識別，深度數據包檢測模DPI模塊獲取XDR，將特徵庫中MATCHRULE表中的匹配規則讀入集合併與XDR中的URL字符串遍歷匹配，得出能與該XDR匹配的匹配規則記錄，將該條記錄中的KEY值取出並用該KEY值作為選擇條件在特徵庫應用信息表進行查詢，將查詢到的應用信息與XDR進行關聯，從而實現應用信息與用戶IMSI和終端MEI的關聯，根據XDR的其他欄位所攜帶的信息對該用戶在具體時間使用的具體業務進行判斷，即實現流量類型及數量的識別；
所述特徵庫模塊包括特徵庫和爬蟲程序，所述特徵庫設置有各種應用信息表，用於存放各種數據業務的匹配規則信息和業務信息，其中，B00KINF0表用於存放爬蟲程序爬取的業務數據，WEBSITEID表用於存放查詢各種業務信息的SQL語句，MATCHRULE表用於存放各種業務的匹配規則表達式；所述爬蟲程序用於定期獲取WEB頁面上各種業務的詳細信息並實時更新特徵庫，所有被爬取的信息都需要與底層解碼結果實現關聯；所述各種業務包括實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務；所述爬蟲程序定期獲取WEB頁面上各種業務的詳細信息，包括，分析網頁，構造業務信息URL列表並將其寫入程序配置文件；將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入特徵庫中對應的應用信息表。
[0013]進一步的，本發明LTE網絡流量識別方法，特徵庫模塊特徵庫構建包括以下步驟:
5101、構建B00KINF0表，運用爬蟲程序構建特徵庫B00KINF0表，其具體步驟包括:分析網頁，構造業務信息URL列表並將其寫入程序配置文件；爬蟲程序將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入 B00KINF0 表；
5102、構建WEBSITEID表，通過手動方式構建WEBSITEID表，WEBSITEID表包含websiteid欄位和sql欄位，其中websiteid欄位存放網站ID號，每個網站有唯一的ID號，sql語句用於查詢該網站下某一具體業務，SQL語句為select * from BOOK INFO wherewebsiteid=，websiteid，and bookid=，key，,該語句中』 websiteid，的值為 WEBSITEID 表該條記錄的網站ID號，『key』值為XDR與MATCHRULE表匹配所得到的KEY值；
SIO 3、構建MATCHRULE表，通過手動方式構建MATCHRULE表，MATCHRULE表用於匹配用戶行為以及提取業務的BOOKID和WEBSITEID，這兩個值將被WEBSITEID表SQL語句作為查詢的條件，其中，MATCHRULE 表包含 PREFIX、REGUX, BEHAVIOR、PREFIX_REGUX 和 WEBSITEID 等5個欄位，PREFIX欄位用於存放瀏覽業務介紹URL以及使用業務URL的前綴，REGUX欄位是獲取BOOKID號的正則表達式，BEHAVIOR欄位用於存放與PREFIX匹配的用戶的行為信息，PREFIX_REGUX欄位用於各個網站的URL正則表達式，其與底層解碼獲取的URL匹配即可實現URL與特徵庫的關聯，WEBSITEID欄位的值實現每個網站在MATCHRULE表中存在一條與該網站對應的記錄。
[0014]本發明LTE網絡流量識別系統及方法的有益技術效果是能夠實時對LTE網絡中通信、閱讀、微博、導航、視頻、音樂、遊戲和支付等18大類的業務流量的進行識別，並可對終端用戶的行為實時進行識別且細化到具體業務，有利於LTE網絡監控和管理。
【專利附圖】
【附圖說明】
[0015]附圖1是本發明LTE網絡流量識別系統結構示意圖；
附圖2是本發明LTE網絡流量識別方法步驟流程圖；
附圖3是本發明LTE網絡流量識別方法特徵庫構建步驟流程圖。
[0016]下面結合附圖和【具體實施方式】對本發明LTE網絡流量識別系統及方法作進一步的說明。
【具體實施方式】
[0017]附圖1是本發明LTE網絡流量識別系統結構示意圖，由圖可知，本發明LTE網絡流量識別系統，包括:採集模塊、分發模塊、解碼模塊、特徵庫模塊和深度數據包檢測模塊DPI ;採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；分發模塊對採集的數據進行過濾和分流處理，並將分流數據發送至解碼模塊；解碼模塊對分流數據進行實時解碼，為DPI提供簡單解碼結果數據XDR,即External Data Representation ;特徵庫模塊存放有各種數據業務的匹配規則信息和業務信息，並應用爬蟲程序定期獲取業務信息，更新特徵庫；DPI通過關聯XDR與特徵庫信息，實現XDR的識別從而實現流量的識別。
[0018]為保證網絡數據速度，本發明LTE網絡流量識別系統採集模塊採用千兆級採集卡，即H224F來進行數據採集，採集速率為1000Mbit/S，並採用SI接口作為數據採集接口 ；所述採集卡為二個且能夠自動切換，當其中一個採集卡失效時，切換到另外一個採集卡繼續進行數據採集，並發出告警。同時，本發明LTE網絡流量識別系統採集模塊通過配置文件設置採集數據的存放路徑，在該路徑下以當天日期為名建立文件夾，並在該文件夾下以小時為單位建立子文件夾，採集的數據以cap3」格式存放在子文件夾中。
[0019]為避免網絡數據的幹擾，本發明LTE網絡流量識別系統分發模塊接受採集模塊傳遞的網絡數據，對網絡數據進行過濾和分發處理；所述過濾處理是指分發模塊通過檢測數據包UDP層埠號對該數據包是否為SI接口用戶面數據進行判斷，如果埠號是「2152」，則視為該數據包是SI接口用戶面數據，並將其分發，如不是，則將該數據包丟棄；所述分發處理是指分發模塊通過檢測數據流IP層源目的埠號，將具有相同源目的IP位址的數據關聯到同一個數據流並發送到解碼模塊進行解碼，從而獲取該數據流所對應的簡單解碼結果數據XDR。[0020]針對不同SI接口用戶面協議棧，本發明LTE網絡流量識別系統解碼模塊調用相應的解碼器進行各種協議數據的解碼處理，獲得SI接口業務面簡單解碼結果數據XDR，並將XDR存儲備份，同時傳遞給深度數據包檢測模塊DPI進行處理；所述解碼模塊掛載有SI接口用戶面協議棧所有協議的解碼器，通過指針偏移定位到各個協議數據的起始位置；所述XDR包括:URL、Host、Cookie欄位、HTTP版本、用戶MS1、終端ME1、業務類型編碼、流程ID、開始時間、結束時間、應用大類、應用小類、L4協議、用戶埠、伺服器IP、伺服器埠、國家代號、網絡代號、上行流量、下行流量、上行IP包數量、下行IP包數量、上行TCP亂序報文數量、下行TCP亂序報文數量、上行TCP重傳報文數量和下行TCP重傳報文數量等欄位信息。
[0021]為區分不同類型的網絡數據，本發明LTE網絡流量識別系統特徵庫模塊包括特徵庫和爬蟲程序，所述特徵庫設置有各種應用信息表，用於存放各種數據業務的匹配規則信息和業務信息，其中，B00KINF0表用於存放爬蟲程序爬取的業務數據，WEBSITEID表用於存放查詢各種業務信息的SQL語句，MATCHRULE表用於存放各種業務的匹配規則表達式；所述爬蟲程序用於定期獲取WEB頁面上各種業務的詳細信息並實時更新特徵庫，所有被爬取的信息都需要與底層解碼結果實現關聯；所述各種業務包括實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務。
[0022]為保證特徵庫網絡數據詳細信息的實時更新，本發明LTE網絡流量識別系統特徵庫模塊爬蟲程序定期獲取WEB頁面上各種業務的詳細信息，包括，分析網頁，構造業務信息URL列表並將其寫入程序配置文件；將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入特徵庫中對應的應用信息表。
[0023]本發明LTE網絡流量識別系統深度數據包檢測模塊DPI通過關聯簡單解碼結果數據XDR與特徵庫信息，實現XDR的識別從而實現流量的識別，包括，DPI獲取解碼模塊產生的XDR，將特徵庫中MATCHRULE表中的匹配規則讀入集合併與XDR中的URL字符串遍歷匹配，得出能與該XDR匹配的匹配規則記錄，將該條記錄中的KEY值取出並用該KEY值作為選擇條件在特徵庫應用信息表進行查詢，將查詢到的應用信息與XDR進行關聯，從而實現應用信息與用戶MSI和終端IMEI的關聯，根據XDR的其他欄位所攜帶的信息對該用戶在具體時間使用的具體業務進行判斷，即實現流量類型及數量的識別。
[0024]附圖2是本發明LTE網絡流量識別方法步驟流程圖，由圖可知，本發明LTE網絡流量識別方法採用本發明LTE網絡流量識別系統進行流量識別，包括以下步驟:
51、採集數據，採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；同時，採集模塊通過配置文件設置採集數據的存放路徑，在該路徑下以當天日期為名建立文件夾，並在該文件夾下以小時為單位建立子文件夾，採集的數據以「.cap3」格式存放在子文件夾中；所述採集模塊採用千兆級採集卡，即H224F來進行數據採集，採集速率為lOOOMbit/s，並採用SI接口作為數據採集接口 ；所述採集卡為二個且能夠自動切換，當其中一個採集卡失效時，切換到另外一個採集卡繼續進行數據採集，並發出告警；
52、過濾數據，分發模塊通過檢測數據包UDP層埠號對該數據包是否為SI接口用戶面數據進行判斷，如果埠號是「2152」，則視為該數據包是SI接口用戶面數據，並進行下一步，如不是，則將該數據包丟棄，重新獲取數據；S3、分發數據，分發模塊通過檢測數據流IP層源目的埠號，將具有相同源目的IP位址的數據關聯到同一個數據流並發送到解碼模塊進行解碼；
S4、數據解碼，解碼模塊調用相應的解碼器進行各個協議數據的解碼處理，獲得SI接口業務面簡單解碼信息XDR，並將XDR存儲備份，同時傳遞給DPI模塊進行處理；
所述解碼模塊掛載有SI接口用戶面協議棧所有協議的解碼器，通過指針偏移定位到各個協議數據的起始位置；
所述XDR包括:URL、Host、Cookie欄位、HTTP版本、用戶MS1、終端ME1、業務類型編碼、流程ID、開始時間、結束時間、應用大類、應用小類、L4協議、用戶埠、伺服器IP、伺服器埠、國家代號、網絡代號、上行流量、下行流量、上行IP包數量、下行IP包數量、上行TCP亂序報文數量、下行TCP亂序報文數量、上行TCP重傳報文數量和下行TCP重傳報文數量等欄位?目息;
S5、流量識別，深度數據包檢測模DPI模塊獲取XDR，將特徵庫中MATCHRULE表中的匹配規則讀入集合併與XDR中的URL字符串遍歷匹配，得出能與該XDR匹配的匹配規則記錄，將該條記錄中的KEY值取出並用該KEY值作為選擇條件在特徵庫應用信息表進行查詢，將查詢到的應用信息與XDR進行關聯，從而實現應用信息與用戶IMSI和終端MEI的關聯，根據XDR的其他欄位所攜帶的信息對該用戶在具體時間使用的具體業務進行判斷，即實現流量類型及數量的識別；
所述特徵庫模塊包括特徵庫和爬蟲程序，所述特徵庫設置有各種應用信息表，用於存放各種數據業務的匹配規則信息和業務信息，其中，B00KINF0表用於存放爬蟲程序爬取的業務數據，WEBSITEID表用於存放查詢各種業務信息的SQL語句，MATCHRULE表用於存放各種業務的匹配規則表達式；所述爬蟲程序用於定期獲取WEB頁面上各種業務的詳細信息並實時更新特徵庫，所有被爬取的信息都需要與底層解碼結果實現關聯；所述各種業務包括實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務；所述爬蟲程序定期獲取WEB頁面上各種業務的詳細信息，包括，分析網頁，構造業務信息URL列表並將其寫入程序配置文件；將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入特徵庫中對應的應用信息表。
[0025]附圖3是本發明LTE網絡流量識別方法特徵庫構建步驟流程圖，由圖可知，本發明LTE網絡流量識別方法，特徵庫模塊特徵庫構建包括以下步驟:
S101、構建B00KINF0表，運用爬蟲程序構建特徵庫B00KINF0表，其具體步驟包括:分析網頁，構造業務信息URL列表並將其寫入程序配置文件；爬蟲程序將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入 B00KINF0 表；
S102、構建WEBSITEID表，通過手動方式構建WEBSITEID表，WEBSITEID表包含websiteid欄位和sql欄位，其中websiteid欄位存放網站ID號，每個網站有唯一的ID號，sql語句用於查詢該網站下某一具體業務，SQL語句為select * from BOOK INFO wherewebsiteid=，websiteid，and bookid=，key，,該語句中』 websiteid，的值為 WEBSITEID 表該條記錄的網站ID號，『key』值為XDR與MATCHRULE表匹配所得到的KEY值；
SIO 3、構建MATCHRULE表，通過手動方式構建MATCHRULE表，MATCHRULE表用於匹配用戶行為以及提取業務的BOOKID和WEBSITEID，這兩個值將被WEBSITEID表SQL語句作為查詢的條件，其中，MATCHRULE 表包含 PREFIX、REGUX, BEHAVIOR、PREFIX_REGUX 和 WEBSITEID 等5個欄位，PREFIX欄位用於存放瀏覽業務介紹URL以及使用業務URL的前綴，REGUX欄位是獲取BOOKID號的正則表達式，BEHAVIOR欄位用於存放與PREFIX匹配的用戶的行為信息，PREFIX_REGUX欄位用於各個網站的URL正則表達式，其與底層解碼獲取的URL匹配即可實現URL與特徵庫的關聯，WEBSITEID欄位的值實現每個網站在MATCHRULE表中存在一條與該網站對應的記錄。
[0026]顯然，本發明LTE網絡流量識別系統及方法的有益技術效果是能夠實時對LTE網絡中實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務等18大類的業務流量的進行識另O，並可對終端用戶的行為實時進行識別且細化到具體業務，有利於LTE網絡監控和管理。
【權利要求】
1.一種LTE網絡流量識別系統，其特徵在於，該系統包括:採集模塊、分發模塊、解碼模塊、特徵庫模塊和深度數據包檢測模塊DPI ;採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；分發模塊對採集的數據進行過濾和分流處理，並將分流數據發送至解碼模塊；解碼模塊對分流數據進行實時解碼，為DPI提供簡單解碼結果數據XDR，即External Data Representation ;特徵庫模塊存放有各種數據業務的匹配規則信息和業務信息，並應用爬蟲程序定期獲取業務信息，更新特徵庫；DPI通過關聯XDR與特徵庫信息，實現XDR的識別從而實現流量的識別。
2.根據權利要求1所述LTE網絡流量識別系統，其特徵在於，採集模塊採用千兆級採集卡，即H224F來進行數據採集，採集速率為lOOOMbit/s，並採用SI接口作為數據採集接口 ；所述採集卡為二個且能夠自動切換，當其中一個採集卡失效時，切換到另外一個採集卡繼續進行數據採集，並發出告警。
3.根據權利要求1所述LTE網絡流量識別系統，其特徵在於，採集模塊通過配置文件設置採集數據的存放路徑，在該路徑下以當天日期為名建立文件夾，並在該文件夾下以小時為單位建立子文件夾，採集的數據以「.cap3 」格式存放在子文件夾中。
4.根據權利要求1所述LTE網絡流量識別系統，其特徵在於，分發模塊接受採集模塊傳遞的網絡數據，對網絡數據進行過濾和分發處理；所述過濾處理是指分發模塊通過檢測數據包UDP層埠號對該數據包是否為SI接口用戶面數據進行判斷，如果埠號是「2152」，則視為該數據包是SI接口用戶面數據，並將其分發，如不是，則將該數據包丟棄；所述分發處理是指分發模塊通過檢測數據流IP層源目的埠號，將具有相同源目的IP位址的數據關聯到同一個數據流並發送到解碼模塊進行解碼，從而獲取該數據流所對應的簡單解碼結果數據XDR。
5.根據權利要求 1所述LTE網絡流量識別系統，其特徵在於，解碼模塊調用相應的解碼器進行各種協議數據的解碼處理，獲得SI接口業務面簡單解碼結果數據XDR，並將XDR存儲備份，同時傳遞給深度數據包檢測模塊DPI進行處理；所述解碼模塊掛載有SI接口用戶面協議棧所有協議的解碼器，通過指針偏移定位到各個協議數據的起始位置；所述XDR包括:URL、Host、Cookie欄位、HTTP版本、用戶MS1、終端ME1、業務類型編碼、流程ID、開始時間、結束時間、應用大類、應用小類、L4協議、用戶埠、伺服器IP、伺服器埠、國家代號、網絡代號、上行流量、下行流量、上行IP包數量、下行IP包數量、上行TCP亂序報文數量、下行TCP亂序報文數量、上行TCP重傳報文數量和下行TCP重傳報文數量等欄位信息。
6.根據權利要求1所述LTE網絡流量識別系統，其特徵在於，特徵庫模塊包括特徵庫和爬蟲程序，所述特徵庫設置有各種應用信息表，用於存放各種數據業務的匹配規則信息和業務信息，其中，B00KINF0表用於存放爬蟲程序爬取的業務數據，WEBSITEID表用於存放查詢各種業務信息的SQL語句，MATCHRULE表用於存放各種業務的匹配規則表達式；所述爬蟲程序用於定期獲取WEB頁面上各種業務的詳細信息並實時更新特徵庫，所有被爬取的信息都需要與底層解碼結果實現關聯；所述各種業務包括實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務。
7.根據權利要求5所述LTE網絡流量識別系統，其特徵在於，特徵庫模塊爬蟲程序定期獲取WEB頁面上各種業務的詳細信息，包括，分析網頁，構造業務信息URL列表並將其寫入程序配置文件；將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入特徵庫中對應的應用信息表。
8.根據權利要求1所述LTE網絡流量識別系統，其特徵在於，深度數據包檢測模塊DPI通過關聯簡單解碼結果數據XDR與特徵庫信息，實現XDR的識別從而實現流量的識別，包括，DPI獲取解碼模塊產生的XDR，將特徵庫中MATCHRULE表中的匹配規則讀入集合併與XDR中的URL字符串遍歷匹配，得出能與該XDR匹配的匹配規則記錄，將該條記錄中的KEY值取出並用該KEY值作為選擇條件在特徵庫應用信息表進行查詢，將查詢到的應用信息與XDR進行關聯，從而實現應用信息與用戶MSI和終端MEI的關聯，根據XDR的其他欄位所攜帶的信息對該用戶在具體時間使用的具體業務進行判斷，即實現流量類型及數量的識別。
9.一種本發明LTE網絡流量識別方法，其特徵在於:採用權利要求1所述LTE網絡流量識別系統進行流量識別，包括以下步驟: . 51、採集數據，採集模塊實時採集LTE網絡數據，並將採集的數據傳遞至分發模塊；同時，採集模塊通過配置文件設置採集數據的存放路徑，在該路徑下以當天日期為名建立文件夾，並在該文件夾下以小時為單位建立子文件夾，採集的數據以「.cap3」格式存放在子文件夾中；所述採集模塊採用千兆級採集卡，即H224F來進行數據採集，採集速率為lOOOMbit/s，並採用SI接口作為數據採集接口 ；所述採集卡為二個且能夠自動切換，當其中一個採集卡失效時，切換到另外一個採集卡繼續進行數據採集，並發出告警； .52、過濾數據，分發模塊通過檢測數據包UDP層埠號對該數據包是否為SI接口用戶面數據進行判斷，如果埠號是「2152」，則視為該數據包是SI接口用戶面數據，並進行下一步，如不是，則將該數據包丟棄，重新獲取數據； . 53、分發數據，分發 模塊通過檢測數據流IP層源目的埠號，將具有相同源目的IP位址的數據關聯到同一個數據流並發送到解碼模塊進行解碼； . 54、數據解碼，解碼模塊調用相應的解碼器進行各個協議數據的解碼處理，獲得SI接口業務面簡單解碼信息XDR，並將XDR存儲備份，同時傳遞給DPI模塊進行處理； 所述解碼模塊掛載有SI接口用戶面協議棧所有協議的解碼器，通過指針偏移定位到各個協議數據的起始位置； 所述XDR包括:URL、Host、Cookie欄位、HTTP版本、用戶MS1、終端ME1、業務類型編碼、流程ID、開始時間、結束時間、應用大類、應用小類、L4協議、用戶埠、伺服器IP、伺服器埠、國家代號、網絡代號、上行流量、下行流量、上行IP包數量、下行IP包數量、上行TCP亂序報文數量、下行TCP亂序報文數量、上行TCP重傳報文數量和下行TCP重傳報文數量等欄位?目息; .55、流量識別，深度數據包檢測模DPI模塊獲取XDR，將特徵庫中MATCHRULE表中的匹配規則讀入集合併與XDR中的URL字符串遍歷匹配，得出能與該XDR匹配的匹配規則記錄，將該條記錄中的KEY值取出並用該KEY值作為選擇條件在特徵庫應用信息表進行查詢，將查詢到的應用信息與XDR進行關聯，從而實現應用信息與用戶IMSI和終端MEI的關聯，根據XDR的其他欄位所攜帶的信息對該用戶在具體時間使用的具體業務進行判斷，即實現流量類型及數量的識別； 所述特徵庫模塊包括特徵庫和爬蟲程序，所述特徵庫設置有各種應用信息表，用於存放各種數據業務的匹配規則信息和業務信息，其中，B00KINF0表用於存放爬蟲程序爬取的業務數據，WEBSITEID表用於存放查詢各種業務信息的SQL語句，MATCHRULE表用於存放各種業務的匹配規則表達式；所述爬蟲程序用於定期獲取WEB頁面上各種業務的詳細信息並實時更新特徵庫，所有被爬取的信息都需要與底層解碼結果實現關聯；所述各種業務包括實時通信、閱讀、微博、導航、視頻、音樂、應用商店、遊戲、支付、動漫、郵箱、P2P業務、VoIP業務、彩信、瀏覽下載任選、財經、安全殺毒和其他業務；所述爬蟲程序定期獲取WEB頁面上各種業務的詳細信息，包括，分析網頁，構造業務信息URL列表並將其寫入程序配置文件；將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入特徵庫中對應的應用信息表。
10.根據權利要求9所述LTE網絡流量識別方法，其特徵在於，特徵庫模塊特徵庫構建包括以下步驟: S101、構建B00KINF0表，運用爬蟲程序構建特徵庫B00KINF0表，其具體步驟包括:分析網頁，構造業務信息URL列表並將其寫入程序配置文件；爬蟲程序將業務信息URL列表從配置文件讀入程序，並存入任務池；啟動多個線程，完成對各個列表中的業務信息的獲取並存入 B00KINF0 表； S102、構建WEBSITEID表，通過手動方式構建WEBSITEID表，WEBSITEID表包含websiteid欄位和sql欄位，其中websiteid欄位存放網站ID號，每個網站有唯一的ID號，sql語句用於查詢該網站下某一具體業務，SQL語句為select * from BOOK INFO wherewebsiteid=，websiteid，and bookid=，key，,該語句中』 websiteid，的值為 WEBSITEID 表該條記錄的網站 ID號，『key』值為XDR與MATCHRULE表匹配所得到的KEY值； SIO 3、構建MATCHRULE表，通過手動方式構建MATCHRULE表，MATCHRULE表用於匹配用戶行為以及提取業務的BOOKID和WEBSITEID，這兩個值將被WEBSITEID表SQL語句作為查詢的條件，其中，MATCHRULE 表包含 PREFIX、REGUX, BEHAVIOR、PREFIX_REGUX 和 WEBSITEID 等5個欄位，PREFIX欄位用於存放瀏覽業務介紹URL以及使用業務URL的前綴，REGUX欄位是獲取BOOKID號的正則表達式，BEHAVIOR欄位用於存放與PREFIX匹配的用戶的行為信息，PREFIX_REGUX欄位用於各個網站的URL正則表達式，其與底層解碼獲取的URL匹配即可實現URL與特徵庫的關聯，WEBSITEID欄位的值實現每個網站在MATCHRULE表中存在一條與該網站對應的記錄。
【文檔編號】H04L12/26GK104022920SQ201410291674
【公開日】2014年9月3日 申請日期:2014年6月26日 優先權日:2014年6月26日
【發明者】楊豐瑞, 吳輝, 張治中 申請人:重慶重郵匯測通信技術有限公司