一種移動通信網絡話務數據處理方法及系統的製作方法
2023-04-24 07:11:11 2
專利名稱：一種移動通信網絡話務數據處理方法及系統的製作方法
技術領域：
本發明涉及一種移動通信網絡話務數據處理方法及系統，屬於通信數據處理技術領域。
背景技術：
話務統計數據是了解網絡性能的重要手段，話務統計數據分析的最終目的是指導網絡優化或網絡評估，通過對具體話統指標的分析，找出可能導致指標差的原因，快速定位問題並提出網絡優化建議。話務統計數據具有數量大，實時性要求高，定義複雜性等特點，所以話務統計數據能否準確、快速有效地處理對移動通信的網絡優化業務有著重要意義。目前已有的解決方法，主要是採用普通關係型資料庫對話務統計數據做運算和存·儲，這種方法的優點是程序與資料庫結合，數據處理程序維護方便，運算中可使用SQL語句或存儲過程進行多種數據聚合處理。但是，該方法由一般的關係型資料庫承擔數據的運算和存儲兩種不同職責，不能很好的適應話務統計數據處理中的高吞吐率和高實時性要求，往往造成整個系統的性能瓶頸，也使得系統後期維護工作量較為繁重。
發明內容
本發明為了克服現有技術存在的不足，提供一種移動通信網絡話務數據處理方法及系統。本發明可以通過採取以下技術方案予以實現
一種移動通信網絡話務數據處理方法，包括以下步驟
51.數據接口模塊獲取各廠家終端的原始計數器數據並解析生成數據交換文件；
52.計數器運算調用模塊批量快速地將數據交換文件加載到內存資料庫中，生成網優原始KPI指標數據；
53.數據匯總運算模塊按需觸發內存資料庫中的原始KPI指標數據，匯總成各種維度的KPI指標數據進行運算，並將匯總KPI指標數據入庫到關係資料庫中，再由關係資料庫傳送到網絡優化系統中。其中，所述SI包括以下步驟
511.獲取數據通過建立數據接口模塊，支持各種接口模式以獲取各廠家終端的原始計數器數據；
512.解析數據通過解析程序對原始計數器數據進行解析；
513.生成文件將解析後的原始計數器數據進行整理生成數據交換文件。S2中所述計數器運算調用模塊具體包括採集配置模塊、採集運算模塊和採集入庫模塊，其對數據交換文件的處理包括以下步驟
521.採集配置採集配置模塊靈活配置定義各廠家的計數器的數據的來源位置和廠家計數器換算成原始KPI指標的算法並生成對應的數據配置文件；
522.採集運算採集運算模塊將採集到的交換數據文件，轉化成對應內存資料庫版本的格式，快速加載至內存資料庫對應的表，通過加載廠家的數據配置文件中的KPI指標算法，在內存資料庫中生成SQL公式算法，在執行一系列KPI指標合成運算後，最終生成原始KPI指標欄位數據；
523.採集入庫採集入庫模塊將原始KPI指標欄位數據生成內存資料庫格式的批數據文件，經過預數據處理，批數據文件通過內存資料庫的裝載或備份操作入庫。S2中所述計數器運算調用模塊還包括採集檢測模塊和採集調用模塊，其對數據交換文件的處理包括以下步驟
524.採集檢測採集檢測模塊調用各廠家檢測腳本不斷的對OMC針對特定時間段進行數據完整性檢查，當某個時間段的數據完備了則通知採集邏輯控制部分啟動採集；
525.採集調度採集調度模塊接收採集消息後生成任務隊列，按任務調度邏輯，對任 務進行調度，通知多廠家數據接口模塊進行採集數據後再進行S21至S23步驟操作。在S24中，採集檢測模塊對數據的檢測連續多次檢測成功的時間作為經驗值來啟動單獨進程進行檢測任務的執行；對長期檢測不成功的任務採用滑動窗口機制執行。S3所述的數據匯總運算模塊包括匯總數據配置模塊、匯總數據運算模塊和匯總數據入庫模塊，其對原始KPI指標數據的處理包括以下步驟
531.數據配置匯總數據配置模塊靈活定義各維度KPI指標和組合指標；
532.數據運算匯總數據運算模塊將原已加載至內存資料庫中的原始KPI指標欄位數據，與通過加載通用或廠家數據配置文件中的匯總KPI指標算法，進行一系列合成運算後，生成網優系統各維度的KPI指標欄位數據；
533.數據入庫匯總數據入庫模塊將內存資料庫中的網優各維度匯總KPI指標欄位數據生成網優系統關係資料庫格式的批數據文件，再經過預數據處理，批數據文件通過關係資料庫的裝載或備份操作入庫。在S32步驟中，當內存資料庫中原始KPI指標數據已刪除時，會通過備份或導出方式，導出已保存在網優關係資料庫中的原始KPI指標，通過快速批量加載數據至內存資料庫進行多維度匯總KPI指標重算。S3所述的數據匯總運算模塊還包括匯總數據檢測模塊和匯總數據調用模塊，其對原始KPI指標數據的處理包括以下步驟
534.數據檢測匯總數據檢測模塊不斷對內存資料庫中特定時間段的原始KPI數據進行數據完整性檢查，當發現某個時間段的數據完備後通知邏輯控制部分啟動KPI指標數據匯總調度；
535.數據調用匯總數據調用模塊接收匯總通知消息後生成任務隊列，按任務調度邏輯，對任務進行調度，通知匯總運算模塊匯總KPI指標數據再進行S32至S33的操作。本發明所述匯總KPI指標數據包括各種維度、各種組合維度的指標數據和原始KPI指標數據。一種移動通信網絡話務數據處理系統，包括
數據接口模塊，用於獲取各廠家終端的原始計數器數據並解析生成數據交換文件； 計數器運算調用模塊，用於將數據交換文件生成網優原始KPI指標數據；
內存資料庫，用於存儲數據交換文件和網優原始KPI指標數據；
數據匯總運算模塊，用於將原始KPI指標數據匯總成各種維度的KPI指標數據進行運算；
關係資料庫，用於存儲匯總KPI指標數據，並將該數據傳送到網絡優化系統中。與現有技術相比較，本發明的有益效果是本發明的移動通信網絡話務數據處理方法根據主設備廠家的話務指標計數器公式進行運算，再根據話務統計指標不同維度的匯總運算規則運算，經兩類運算後將數據結果保存至普通關係型資料庫實現的數據存儲引擎。該方法將數據的運算和存儲功能進行了合理的拆分，通過內存資料庫和普通關係型資料庫分別實現該兩種功能，由於海量數據的各項處理過程均由更適合高速運算的內存資料庫實現，使得整個系統獲得了較高數據處理速 度和吞吐率，大大改善了系統的實時性和穩定性，同時避免了不必要的磁碟空間開銷及損耗。
圖I是本發明的移動通信網絡話務數據處理方法的流程示意 圖2是數據採集接口模塊進行數據採集的流程示意 圖3是計數器運算調用模塊進行數據生成的流程示意 圖4是數據匯總運算模塊進行數據匯總的流程示意 圖5是本發明的移動通信網絡話務數據處理系統的結構框圖。
具體實施例方式以下結合附圖對本發明的最佳實施方式作詳細描述。如圖I所示，本發明的移動通信網絡話務數據處理方法，包括以下步驟
51.數據接口模塊獲取各廠家終端的原始計數器數據並解析生成數據交換文件；
52.計數器運算調用模塊批量快速地將數據交換文件加載到內存資料庫中，生成網優原始KPI指標數據；
53.數據匯總運算模塊按需觸發內存資料庫中的原始KPI指標數據，匯總成各種維度的KPI指標數據進行運算，並將匯總KPI指標數據入庫到關係資料庫中，再由關係資料庫傳送到網絡優化系統中。如圖2所示，數據採集接口模塊進行數據採集包括以下步驟
511.獲取數據通過建立數據接口模塊，支持各種接口模式以獲取各廠家終端的原始計數器數據；
512.解析數據通過解析程序對原始計數器數據進行解析；
513.生成文件將解析後的原始計數器數據進行整理生成數據交換文件。如圖3所示，所述計數器運算調用模塊具體包括採集配置模塊、採集運算模塊、採集入庫模塊、採集檢測模塊和採集調用模塊，其對數據交換文件的處理包括以下步驟
521.採集配置採集配置模塊靈活配置定義各廠家的計數器的數據的來源位置和廠家計數器換算成原始KPI指標的算法並生成對應的數據配置文件；
522.採集運算採集運算模塊將採集到的交換數據文件，轉化成對應內存資料庫版本的格式，快速加載至內存資料庫對應的表，通過加載廠家的數據配置文件中的KPI指標算法，在內存資料庫中生成SQL公式算法，在執行一系列KPI指標合成運算後，最終生成原始KPI指標欄位數據；523.採集入庫採集入庫模塊將原始KPI指標欄位數據生成內存資料庫格式的批數據文件，經過預數據處理，批數據文件通過內存資料庫的裝載或備份操作入庫；
524.採集檢測採集檢測模塊調用各廠家檢測腳本不斷的對OMC針對特定時間段進行數據完整性檢查，當某個時間段的數據完備了則通知採集邏輯控制部分啟動採集；
525.採集調度採集調度模塊接收採集消息後生成任務隊列，按任務調度邏輯，對任務進行調度，通知多廠家數據接口模塊進行採集數據後再進行S21至S23步驟操作。其中，在S24中，採集檢測模塊對數據的檢測連續多次檢測成功的時間作為經驗值來啟動單獨進程進行檢測任務的執行，這樣就可以提高檢測進程的命中率，降低檢測進程的執行時間；對長期檢測不成功的任務採用滑動窗口機制執行，降低檢測任務的優先級，這樣來降低進程個數，降低系統負荷，同時自動調整經驗值；該模塊支持定時任務，按時調度數據採集功能，同時支持數據同步任務功能，對某些缺乏的網優KPI指標數據進行補 米。如圖4所示，所述的數據匯總運算模塊包括匯總數據配置模塊、匯總數據運算模塊、匯總數據入庫模塊、匯總數據檢測模塊和匯總數據調用模塊，其對原始KPI指標數據的處理包括以下步驟
531.數據配置匯總數據配置模塊靈活定義各維度KPI指標和組合指標；
532.數據運算匯總數據運算模塊將原已加載至內存資料庫中的原始KPI指標欄位數據，與通過加載通用或廠家數據配置文件中的匯總KPI指標算法，進行一系列合成運算後，生成網優系統各維度的KPI指標欄位數據；
533.數據入庫匯總數據入庫模塊將內存資料庫中的網優各維度匯總KPI指標欄位數據生成網優系統關係資料庫格式的批數據文件，再經過預數據處理，批數據文件通過關係資料庫的裝載或備份操作入庫。S34.數據檢測匯總數據檢測模塊不斷對內存資料庫中特定時間段的原始KPI數據進行數據完整性檢查，當發現某個時間段的數據完備後通知邏輯控制部分啟動KPI指標數據匯總調度；該匯總數據檢測模塊支持定時任務，可按時調度匯總；同時支持數據同步任務功能，對已入關係資料庫的匯總KPI指標不再匯總，對缺乏的匯總KPI指標數據進行重算；
S35.數據調用匯總數據調用模塊接收匯總通知消息後生成任務隊列，按任務調度邏輯，對任務進行調度，通知匯總運算模塊匯總KPI指標數據再進行S32至S33的操作。其中，在S32步驟中，當內存資料庫中原始KPI指標數據已刪除時，會通過備份或導出方式，導出已保存在網優關係資料庫中的原始KPI指標，通過快速批量加載數據至內存資料庫進行多維度匯總KPI指標重算。本發明所述匯總KPI指標數據包括各種維度、各種組合維度的指標數據和原始KPI指標數據。如圖5所示，本發明的移動通信網絡話務數據處理系統，包括
數據接口模塊，用於獲取各廠家終端的原始計數器數據並解析生成數據交換文件； 計數器運算調用模塊，用於將數據交換文件生成網優原始KPI指標數據；
內存資料庫，用於存儲數據交換文件和網優原始KPI指標數據；
數據匯總運算模塊，用於將原始KPI指標數據匯總成各種維度的KPI指標數據進行運算；
關係資料庫，用於存儲匯總KPI指標數據，並將該數據傳送到網絡優化系統中。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明權利要求及發明說明書所記載的內容所作出簡單的等效變化與修飾，皆仍屬本發明權利要求所涵蓋範圍之內。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。
權利要求
1.一種移動通信網絡話務數據處理方法，其特徵在於包括以下步驟 51.數據接口模塊獲取各廠家終端的原始計數器數據並解析生成數據交換文件； 52.計數器運算調用模塊批量快速地將數據交換文件加載到內存資料庫中，生成網優原始KPI指標數據； 53.數據匯總運算模塊按需觸發內存資料庫中的原始KPI指標數據，匯總成各種維度的KPI指標數據進行運算，並將匯總KPI指標數據入庫到關係資料庫中，再由關係資料庫傳送到網絡優化系統中。
2.根據權利要求I所述的移動通信網絡話務數據處理方法，其特徵在於所述SI包括以下步驟 511.獲取數據通過建立數據接口模塊，支持各種接口模式以獲取各廠家終端的原始計數器數據； 512.解析數據通過解析程序對原始計數器數據進行解析； 513.生成文件將解析後的原始計數器數據進行整理生成數據交換文件。
3.根據權利要求2所述的移動通信網絡話務數據處理方法，其特徵在於S2中所述計數器運算調用模塊具體包括採集配置模塊、採集運算模塊和採集入庫模塊，其對數據交換文件的處理包括以下步驟 521.採集配置採集配置模塊靈活配置定義各廠家的計數器的數據的來源位置和廠家計數器換算成原始KPI指標的算法並生成對應的數據配置文件； 522.採集運算採集運算模塊將採集到的交換數據文件，轉化成對應內存資料庫版本的格式，快速加載至內存資料庫對應的表，通過加載廠家的數據配置文件中的KPI指標算法，在內存資料庫中生成SQL公式算法，在執行一系列KPI指標合成運算後，最終生成原始KPI指標欄位數據； 523.採集入庫採集入庫模塊將原始KPI指標欄位數據生成內存資料庫格式的批數據文件，經過預數據處理，批數據文件通過內存資料庫的裝載或備份操作入庫。
4.根據權利要求3所述的移動通信網絡話務數據處理方法，其特徵在於S2中所述計數器運算調用模塊還包括採集檢測模塊和採集調用模塊，其對數據交換文件的處理包括以下步驟 524.採集檢測採集檢測模塊調用各廠家檢測腳本不斷的對OMC針對特定時間段進行數據完整性檢查，當某個時間段的數據完備了則通知採集邏輯控制部分啟動採集； 525.採集調度採集調度模塊接收採集消息後生成任務隊列，按任務調度邏輯，對任務進行調度，通知多廠家數據接口模塊進行採集數據後再進行S21至S23步驟操作。
5.根據權利要求4所述的移動通信網絡話務數據處理方法，其特徵在於在S24中，採集檢測模塊對數據的檢測連續多次檢測成功的時間作為經驗值來啟動單獨進程進行檢測任務的執行；對長期檢測不成功的任務採用滑動窗口機制執行。
6.根據權利要求3至5中任一項所述的移動通信網絡話務數據處理方法，其特徵在於S3所述的數據匯總運算模塊包括匯總數據配置模塊、匯總數據運算模塊和匯總數據入庫模塊，其對原始KPI指標數據的處理包括以下步驟 .531.數據配置匯總數據配置模塊靈活定義各維度KPI指標和組合指標； .532.數據運算匯總數據運算模塊將原已加載至內存資料庫中的原始KPI指標欄位數據，與通過加載通用或廠家數據配置文件中的匯總KPI指標算法，進行一系列合成運算後，生成網優系統各維度的KPI指標欄位數據； · 533.數據入庫匯總數據入庫模塊將內存資料庫中的網優各維度匯總KPI指標欄位數據生成網優系統關係資料庫格式的批數據文件，再經過預數據處理，批數據文件通過關係資料庫的裝載或備份操作入庫。
7.根據權利要求6所述的移動通信網絡話務數據處理方法，其特徵在於在S32步驟中，當內存資料庫中原始KPI指標數據已刪除時，會通過備份或導出方式，導出已保存在網優關係資料庫中的原始KPI指標，通過快速批量加載數據至內存資料庫進行多維度匯總KPI指標重算。
8.根據權利要求7所述的移動通信網絡話務數據處理方法，其特徵在於S3所述的數據匯總運算模塊還包括匯總數據檢測模塊和匯總數據調用模塊，其對原始KPI指標數據的處理包括以下步驟 ·534.數據檢測匯總數據檢測模塊不斷對內存資料庫中特定時間段的原始KPI數據進行數據完整性檢查，當發現某個時間段的數據完備後通知邏輯控制部分啟動KPI指標數據匯總調度； · 535.數據調用匯總數據調用模塊接收匯總通知消息後生成任務隊列，按任務調度邏輯，對任務進行調度，通知匯總運算模塊匯總KPI指標數據再進行S32至S33的操作。
9.根據權利要求I所述的移動通信網絡話務數據處理方法，其特徵在於所述匯總KPI指標數據包括各種維度、各種組合維度的指標數據和原始KPI指標數據。
10.一種移動通信網絡話務數據處理系統，其特徵在於包括 數據接口模塊，用於獲取各廠家終端的原始計數器數據並解析生成數據交換文件； 計數器運算調用模塊，用於將數據交換文件生成網優原始KPI指標數據； 內存資料庫，用於存儲數據交換文件和網優原始KPI指標數據； 數據匯總運算模塊，用於將原始KPI指標數據匯總成各種維度的KPI指標數據進行運算； 關係資料庫，用於存儲匯總KPI指標數據，並將該數據傳送到網絡優化系統中。
全文摘要
本發明公開了一種移動通信網絡話務統計數據處理方法，包括以下步驟S1.數據接口模塊獲取各廠家終端的原始計數器數據並解析生成數據交換文件；S2.計數器運算調用模塊批量快速地將數據交換文件加載到內存資料庫中，生成網優原始KPI指標數據；S3.數據匯總運算模塊按需觸發內存資料庫中的原始KPI指標數據，匯總成各種維度的KPI指標數據進行運算，並將匯總KPI指標數據入庫到關係資料庫中，再由關係資料庫傳送到網絡優化系統中。本發明再根據話務統計指標不同維度的匯總運算規則運算，通過內存數據和普通關係型資料庫分別實現運算和存儲，使得整個系統獲得了較高數據處理速度和吞吐率，大大改善了系統的實時性和穩定性。
文檔編號G06F17/30GK102957813SQ20111037895
公開日2013年3月6日 申請日期2011年11月25日 優先權日2011年8月25日
發明者曾林青, 方海鷹 申請人:廣州銀禾網絡通信有限公司