一種基於大數據平臺的端到端業務質量優化裝置及方法與流程
2023-05-18 05:33:51 1
本發明涉及大數據通信技術領域，具體來講是一種基於大數據平臺的端到端業務質量優化裝置及方法。
背景技術：
隨著無線通信的飛速發展，無線通信之間的端到端業務質量日益受到人們的關注。端到端業務質量不但對統計時延的實時性要求越來越高，而且日益增長的數據量已經無法用傳統的數據處理技術來實現，必須使用大數據技術來優化端到端業務質量。
而目前，還沒有一種理想的實現方法來解決上述問題。因此，如何有效的實現對端到端業務質量的優化是本領域技術人員亟待解決的問題。
技術實現要素：
本發明的目的是為了克服上述背景技術的不足，提供一種基於大數據平臺的端到端業務質量優化裝置及方法，能從減少時延、提高信道質量等多方面實現對端到端業務質量的優化。
為達到以上目的，本發明提供一種基於大數據平臺的端到端業務質量優化裝置，包括設於每條通信信道上的DPI系統、Kafka集群、Spark大數據平臺、Redis集群、HBase資料庫以及設於基站交換中心的告警單元；
所述DPI系統基於Spark大數據平臺，用於：利用探針捕獲各條通信信道上的通信信令；對通信信令產生的異常ICMP包進行預處理；並經過ETL操作後，將處理後的通信信令分發至Kafka集群；
所述Kafka集群作為消息中間件集群，用於：對DPI系統發來的通信信令進行指標計算並存儲；
所述Spark大數據平臺用於：從Kafka集群獲取信息，經過邏輯處理，判斷通信信道是否有延時或丟包的異常；將有異常的通信信道作為需要優化的信道，並將其信道信息發送至Redis集群；
所述Redis集群用於：將收到的信道信息持久化至HBase資料庫；
所述HBase資料庫用於：存儲Redis集群進行持久化的信道信息；
所述告警單元用於：通過毫秒級的心跳方式來監控Redis集群，一旦監控到性能劣化告警事件，則通知基站和終端通過功率控制和複雜信道編碼來提高信道質量。
本發明還提供一種應用上述裝置的基於大數據平臺的端到端業務質量優化方法，包括以下步驟：步驟S1：在端到端之間的每條通信信道上設置一個利用探針進行深度包檢測的DPI系統，轉入步驟S2；步驟S2：各條通信信道上的DPI系統的探針檢測到通信信令後，對通信信令產生的異常ICMP包進行預處理；並經過必要的ETL操作後，將處理後的通信信令分發至Kafka集群，轉入步驟S3；步驟S3：Kafka集群對收到的通信信令進行指標計算並存儲，轉入步驟S4；步驟S4：Spark大數據平臺從Kafka集群獲取信息，經過邏輯處理，判斷通信信道是否有延時或丟包的異常；將有異常的通信信道作為需要優化的信道，並將其信道信息發送至Redis集群，轉入步驟S5；步驟S5：Redis集群將收到的信道信息持久化至HBase資料庫；同時，告警單元通過毫秒級的心跳方式來監控Redis集群，一旦監控到性能劣化告警事件，則通知基站和終端通過功率控制和複雜信道編碼來提高信道質量。
本發明的有益效果在於：
(1)本發明中，採用基於大數據平臺的數據處理技術和深度包檢測探針技術來處理通信之間的信令數據，並且從深度包檢測階段開始處理信令數據，一旦探針檢測到通信信令後，會對通信信令產生的異常ICMP包進行預處理；並對通信信令進行必要的ETL操作後，將通信信令分發至Kafka集群進行指標計算並存儲；Spark大數據平臺從Kafka集群獲取信息後判斷通信信道是否有異常，並將異常信道的信息發送至Redis集群；Redis集群將信息持久化至HBase資料庫；而告警單元則通過毫秒級的心跳方式來監控Redis集群，一旦監控到性能劣化告警事件，則通知基站和終端通過功率控制和複雜信道編碼來提高信道質量。
與現有技術相比，本發明採用基於大數據平臺的數據處理技術和深度包檢測探針技術來處理通信之間的信令數據，並且從深度包檢測階段開始處理信令數據，滿足了日益增長的數據量的應用要求，且能從減少時延、提高信道質量等多方面實現對端到端業務質量的優化，用戶體驗佳。
(2)本發明中，在對通信信令進行ETL操作時，會對原始通信信令進行XDR欄位的精簡。該精簡XDR欄位的操作是針對實時保障應用的需求，減少原始通信信令的XDR欄位，從而減少數據傳送、信令指標計算等環節的數據處理量，從而達到縮短時延的目的。並且，Kafka集群是基於內存計算的伺服器，能在內存中實現通信信令的指標計算和存儲。本發明將處理後的通信信令分發至基於內存計算的Kafka集群中，而不是直接存儲在硬碟資料庫中，其主要思想是用內存計算取代基於硬碟的處理過程，從而減少IO時延。
(3)本發明中，告警單元在生成性能劣化告警事件後，還可以在呈現界面以告警流水窗或拓撲監控的形式展示告警信息，或者將告警事件送至故障管理系統生產流程，從而有效、及時的起到告警提示的作用。
(4)本發明中，還增設了質差小區分析單元，該質差小區分析單元能對HBase資料庫內存儲的信息進行日分析，判斷哪些小區為質差小區；對於經質差小區分析單元判定的質差小區，則通過增加直放站或室內吸頂天線來增加信號覆蓋，從而提高信號質量，進而利於及時的對終端信號進行實時質量監測和處理。
附圖說明
圖1為本發明實施例中基於大數據平臺的端到端業務質量優化裝置的結構框圖；
圖2為本發明實施例中基於大數據平臺的端到端業務質量優化方法的流程圖。
具體實施方式
下面結合附圖及具體實施例對本發明作進一步的詳細描述。
參見圖1所示，本發明實施例提供一種基於大數據平臺的端到端業務質量優化裝置，包括DPI(Deep Packet Inspection，深度包檢測)系統、Kafka集群、Spark大數據平臺、Redis集群、HBase資料庫以及設於基站交換中心的告警單元。
其中，所述DPI系統基於Spark大數據平臺，用於：利用探針捕獲各條通信信道上的通信信令；對通信信令產生的異常ICMP包進行預處理；並經過必要的ETL操作後，將處理後的通信信令分發至Kafka集群。
所述Kafka集群作為消息中間件集群，用於：對DPI系統發來的通信信令進行指標計算並存儲。
所述Spark大數據平臺用於：從Kafka集群獲取信息，經過邏輯處理，判斷通信信道是否有延時或丟包等異常；將有異常的通信信道作為需要優化的信道，並將其信道信息發送至Redis集群。
所述Redis集群用於：將收到的信道信息持久化至HBase資料庫。
所述HBase資料庫用於：存儲Redis集群進行持久化的信道信息。
所述告警單元用於：通過毫秒級的心跳方式來監控Redis集群，一旦監控到性能劣化告警事件，則通知基站和終端通過功率控制和複雜信道編碼來提高信道質量。
更進一步地，參見圖1所示，該裝置還包括質差小區分析單元，所述質差小區分析單元用於對HBase資料庫內存儲的數據進行日分析，判斷哪些小區為質差小區。對於經質差小區分析單元判定的質差小區，通過增加直放站或室內吸頂天線來增加信號覆蓋，從而提高信號質量。
參見圖2所示，本發明實施例還提供一種應用上述裝置的基於大數據平臺的端到端業務質量優化方法，包括以下步驟：
步驟S1：在端到端(即基站到終端)之間的每條通信信道上設置一個利用探針進行深度包檢測的DPI系統，該DPI系統基於Spark大數據平臺，轉入步驟S2。
步驟S2：各條通信信道上的DPI系統的探針檢測到通信信令後，會對通信信令產生的異常ICMP(Internet Control Message Protocol，網際網路控制報文協議)包進行預處理；並經過必要的ETL(Extract-Transform-Load，抽取、轉換、加載)操作後，將處理後的通信信令分發至作為消息中間件集群的Kafka集群，轉入步驟S3。
本實施例中，步驟S2中所述經過必要的ETL操作，具體包括以下流程：對原始通信信令進行XDR(XDomainRequest，跨域請求)欄位的精簡；並提取該通信信令對應的用戶唯一標識。其中，精簡XDR欄位，是針對實時保障應用的需求，減少原始通信信令的XDR欄位，從而減少數據傳送、信令指標計算等環節的數據處理量，從而達到縮短時延的目的。而提取通信信令對應的用戶唯一標識，則是為了後續在進行功率控制時需要識別到具體的用戶。
步驟S3：Kafka集群對收到的通信信令進行指標計算並存儲，轉入步驟S4。
可以理解的是，本實施例中的Kafka集群是基於內存計算的伺服器，能在內存中實現通信信令的指標計算和存儲。本發明將處理後的通信信令分發至基於內存計算的Kafka集群中，而不是直接存儲在硬碟資料庫中，其主要思想是用內存計算取代基於硬碟的處理過程，從而減少IO時延。
步驟S4：Spark大數據平臺從Kafka集群獲取信息，經過邏輯處理，判斷通信信道是否有延時或丟包等異常；將有異常的通信信道作為需要優化的信道，並將其信道信息發送至Redis集群，轉入步驟S5。
步驟S5：Redis集群將收到的信道信息持久化至HBase資料庫；同時，設於基站交換中心的告警單元通過毫秒級的心跳方式來監控Redis集群，一旦監控到性能劣化告警事件，則通知基站和終端通過功率控制和複雜信道編碼來提高信道質量。
可以理解的是，所述性能劣化告警事件是告警單元根據靜態閾值或動態波動幅度生成的。並且，告警單元在生成性能劣化告警事件後，還可以在呈現界面以告警流水窗或拓撲監控的形式展示告警信息，或者將告警事件送至故障管理系統生產流程，從而有效、及時的起到告警提示的作用。
更進一步地，為了更好的提高終端的信號質量，及時的對終端信號進行實時質量監測和處理，在步驟S5之後，還包括步驟S6：質差小區分析單元對HBase資料庫內存儲的信息進行日分析，判斷哪些小區為質差小區；對於經質差小區分析單元判定的質差小區，通過增加直放站或室內吸頂天線來增加信號覆蓋，從而提高信號質量。
本發明不局限於上述實施方式，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也視為本發明的保護範圍之內。
本說明書中未作詳細描述的內容屬於本領域專業技術人員公知的現有技術。