一種通信大數據的處理系統及方法與流程

2023-06-26 21:05:12

本發明涉及通信大數據領域，具體涉及一種通信大數據的處理系統及方法。

背景技術：

近年來，大數據成為通信領域廣泛探究的話題，因為當前的移動通信系統正處於大數據環境背景下，大數據極具資源價值、信息商業價值，已經成為通信企業一項有價值的資產，成為移動通信行業實力與競爭力的體現，具有一定的經濟價值和作用。但是現有通信數據處理往往要對海量數據進行處理，存在效率低、運算量低的問題。

技術實現要素：

本發明所要解決的技術問題是提供一種通信大數據的處理系統及方法，可以對海量的通信大數據進行高效快速的處理。

本發明解決上述技術問題的技術方案如下：一種通信大數據的處理系統，包括採集模塊、過濾模塊、分類模塊、存儲模塊、解析模塊和分發模塊，

所述採集模塊，其用於以隊列持久化的方式採集通信大數據；

所述過濾模塊，其用於對採集的通信大數據進行過濾，去除重複、無效的通信大數據；

所述分類模塊，其用於根據數據結構對過濾後的通信大數據進行分類；

所述存儲模塊，其用於分類存儲通信大數據；

所述解析模塊，其用於採用異步抓取的方式從所述存儲模塊中獲取通信大數據，並採用對應的解析方式解析通信大數據；

所述分發模塊，其用於對解析後的通信大數據按照對應的協議鏈路進行分發傳輸。

本發明的有益效果是：本發明一種通信大數據的處理系統採用分類的方式對通信大數據進行處理，同時在處理前，去掉重複、無效的數據，可以提高對通信大數據處理的效率。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，所述數據結構包括網格結構、線性結構和樹形結構。

進一步，所述存儲模塊包括網格存儲單元、線性存儲單元和樹形存儲單元，所述網格存儲單元、線性存儲單元和樹形存儲單元分別對應存儲網格結構、線性結構和樹形結構的通信大數據。

進一步，網格結構的通信大數據採用分布的方式進行解析。

進一步，線性結構的通信大數據採用線性的方式進行解析。

進一步，樹形結構的通信大數據採用樹形的方式進行解析。

基於上述一種通信大數據的處理系統，本發明還提供一種通信大數據的處理方法。

一種通信大數據的處理方法，包括以下步驟，

s1，以隊列持久化的方式採集通信大數據；

s2，對採集的通信大數據進行過濾，去除重複、無效的通信大數據；

s3，根據數據結構對過濾後的通信大數據進行分類；

s4，分類存儲通信大數據；

s5，採用異步抓取的方式從所述存儲模塊中獲取通信大數據，並採用對應的解析方式解析通信大數據；

s6，對解析後的通信大數據按照對應的協議鏈路進行分發傳輸。

本發明的有益效果是：本發明一種通信大數據的處理方法採用分類的方式對通信大數據進行處理，同時在處理前，去掉重複、無效的數據，可以提高對通信大數據處理的效率。

在上述技術方案的基礎上，本發明還可以做如下改進。

進一步，所述數據結構包括網格結構、線性結構和樹形結構。

進一步，網格結構的通信大數據、線性結構的通信大數據和樹形結構的通信大數據分別以網格、線性和樹形的形式進行存儲。

進一步，網格結構的通信大數據採用分布的方式進行解析，線性結構的通信大數據採用線性的方式進行解析，樹形結構的通信大數據採用樹形的方式進行解析。

附圖說明

圖1為本發明一種通信大數據的處理系統的結構框圖；

圖2為本發明一種通信大數據的處理方法的流程圖。

具體實施方式

以下結合附圖對本發明的原理和特徵進行描述，所舉實例只用於解釋本發明，並非用於限定本發明的範圍。

如圖1所示，一種通信大數據的處理系統，包括採集模塊、過濾模塊、分類模塊、存儲模塊、解析模塊和分發模塊，所述採集模塊，其用於以隊列持久化的方式採集通信大數據；所述過濾模塊，其用於對採集的通信大數據進行過濾，去除重複、無效的通信大數據；所述分類模塊，其用於根據數據結構對過濾後的通信大數據進行分類；所述存儲模塊，其用於分類存儲通信大數據；所述解析模塊，其用於採用異步抓取的方式從所述存儲模塊中獲取通信大數據，並採用對應的解析方式解析通信大數據；所述分發模塊，其用於對解析後的通信大數據按照對應的協議鏈路進行分發傳輸。

在本具體實施例中，所述數據結構包括網格結構、線性結構和樹形結構。所述存儲模塊包括網格存儲單元、線性存儲單元和樹形存儲單元，所述網格存儲單元、線性存儲單元和樹形存儲單元分別對應存儲網格結構、線性結構和樹形結構的通信大數據。網格結構的通信大數據採用分布的方式進行解析。線性結構的通信大數據採用線性的方式進行解析。樹形結構的通信大數據採用樹形的方式進行解析。

本發明一種通信大數據的處理系統採用分類的方式對通信大數據進行處理，同時在處理前，去掉重複、無效的數據，可以提高對通信大數據處理的效率。

基於上述一種通信大數據的處理系統，本發明還提供一種通信大數據的處理方法。

一種通信大數據的處理方法，包括以下步驟，

s1，以隊列持久化的方式採集通信大數據；

s2，對採集的通信大數據進行過濾，去除重複、無效的通信大數據；

s3，根據數據結構對過濾後的通信大數據進行分類；

s4，分類存儲通信大數據；

s5，採用異步抓取的方式從所述存儲模塊中獲取通信大數據，並採用對應的解析方式解析通信大數據；

s6，對解析後的通信大數據按照對應的協議鏈路進行分發傳輸。

具體的，所述數據結構包括網格結構、線性結構和樹形結構。網格結構的通信大數據、線性結構的通信大數據和樹形結構的通信大數據分別以網格、線性和樹形的形式進行存儲。網格結構的通信大數據採用分布的方式進行解析，線性結構的通信大數據採用線性的方式進行解析，樹形結構的通信大數據採用樹形的方式進行解析。

本發明一種通信大數據的處理方法採用分類的方式對通信大數據進行處理，同時在處理前，去掉重複、無效的數據，可以提高對通信大數據處理的效率。

以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。