電信業務數據動態轉換的方法及其系統的製作方法

2023-05-12 00:01:41

專利名稱：電信業務數據動態轉換的方法及其系統的製作方法
技術領域：
本發明涉及數據倉庫中的抽取、轉換和加載(ETL，Extract, Transform, Load)技 術，尤其涉及一種電信業務數據動態轉換的方法及其系統。
背景技術：
隨著電信市場的逐步開放，新的運營商不斷產生，電信市場的競爭日趨激烈。為了 能夠在競爭中生存和持續發展，各電信運營商都對企業的經營和管理提出了更高的要求。 ETL技術對於電信運營商管理電信運營系統、分析業務數據、把握業務發展方向，以及提升 服務水平至關重要。目前，市場上主流的商業化ETL工具主要有數據整合平臺(DLDataIntegrator)、 DataStage Jnformatica等。這些商業化的ETL工具在功能上都各有千秋，能滿足一般數據 轉換處理的需求。但是，電信業務極其繁多，而且業務更新頻繁，如電信運營商不斷推出的 各類套餐業務。這就要求ETL工具具有良好的靈活性和跨平臺性。由於商業化ETL工具缺 乏對電信業務數據深入分析和理解，只是提供通用的處理模塊供用戶調用；而且所開放的 接口比較簡單，一旦遇到性能瓶頸問題而需要做優化調整時往往比較困難，或者代價較高。 因此，這類工具比較適合用於數據量不大，業務較為單一且變化不大的數據轉換場合。電信運營系統生成的數據主要是電話通話清單、電話客戶資料等，通常此類數據 數量巨大，動輒有上億條記錄，尤其是清單數據，如固定電話的市話詳單，其數據量更加龐 大。而且電信業務數據具有特定的業務含義，採用通用的商業化ETL工具對這些電信業務 數據進行處理時，由於沒有充分利用電信業務數據自身的特點，其轉換效率比較低。此外， 目前市場上提供的一些腳本解釋型的ETL工具，在解釋腳本時需要花費較多的時間，所以 其數據轉換效率也比較低。無疑，電信業務的高速發展、數據量的急劇增加對數據轉換工具 造成很大的性能壓力。因此，對於如此龐大的數據量，如何有效提高系統的處理效率成為本 領域亟待解決的技術問題。此外，如果直接將上述ETL工具應用到電信系統時，存在軟體開 發複雜、靈活性較差等不足之處，系統跨平臺性能差。基於前述商業化的ETL工具開發的支撐各項業務運營的計算機管理系統難以滿 足企業管理的要求，電信企業迫切需要尋找一種新的數據轉換手段，使其能夠低成本、高效 率地實現電信業務數據動態轉換，從而使管理人員能夠及時準確地了解市場資源使用情況 和業務發展狀況，以便及時發現並解決問題。

發明內容
本發明所要解決的技術問題是提供一種電信業務數據動態轉換的方法及其系統， 其針對電信業務自身特點定製函數集，配置電信業務數據轉化規則，並結合JAVA動態編譯 以及反射技術，克服了通用ETL工具靈活性差、轉換效率低等缺點。本發明提供如下技術方 案本發明的一個方面提供了電信業務數據動態轉換的方法，該方法包括根據業務
4標識獲取預置的電信業務數據轉換規則；根據數據轉換規則和預置的業務實現類的模板， 動態生成業務實現類的JAVA原始碼，並編譯生成JAVA程序代碼；動態加載並執行業務實現 類，將源數據文件生成目標數據文件。本發明提供的電信業務數據動態轉換方法的一個實施例中，動態加載並執行業務 實現類的步驟包括採用動態加載JAVA類技術和反射調用JAVA函數技術動態加載並執行 業務實現類。本發明提供的電信業務數據動態轉換方法的一個實施例中，該方法還包括步驟 通過圖形化界面接收用戶對數據轉換規則的配置。本發明提供的電信業務數據動態轉換方法的一個實施例中，該方法還包括步驟 通過圖形化界面接收用戶對函數集的定義和/或擴展。本發明提供的電信業務數據動態轉換方法的一個實施例中，函數集包括從電話號 碼中拆分接入號碼、區號、運營商信息的函數。本發明另一個方面提供了一種電信業務數據動態轉換系統，該系統包括數據轉 換規則存儲子系統，用於存儲電信業務數據轉換規則和函數集；數據轉換規則調度子系統， 用於從數據轉換規則存儲子系統中獲取電信業務數據轉換規則；根據轉換規則和預置的業 務實現類的模板，動態生成業務實現類的JAVA原始碼，並編譯生成JAVA程序代碼；以及動 態加載並執行業務實現類，將源數據文件生成目標數據文件。本發明提供的電信業務數據動態轉換系統的一個實施例中，該系統還包括數據轉 換規則生成環境子系統，用於通過圖形化界面接收用戶對電信業務數據轉換規則的配置， 將修改或增加的數據轉換規則保存到數據轉換規則存儲子系統；以及提供用戶自定義函數 編程接口，供用戶擴展函數集。本發明提供的電信業務數據動態轉換系統的一個實施例中，數據轉換規則生成環 境子系統包括數據轉換規則配置模塊，用於對預置的數據轉換規則進行維護，引導用戶配 置新的數據轉換規則，並負責導入/導出選定的數據轉換規則；函數集配置模塊，用於對預 置的函數集進行維護，負責引導用戶配置新的函數，以及導入/導出函數集或單個函數；系 統維護模塊，用於存儲數據轉換規則生成環境子系統的系統參數和生成的系統日誌。本發明提供的電信業務數據動態轉換系統的一個實施例中，數據轉換規則配置模 塊包括數據轉換規則維護子模塊，用於負責轉換規則列表的樹狀展現和轉換規則的信息 展現；數據轉換規則配置嚮導子模塊，用於負責引導用戶逐步完成數據轉換規則的配置； 數據轉換規則導入/導出子模塊，用於負責導入和導出選定的轉換規則，供用戶備份和/或 部署ο本發明提供的電信業務數據動態轉換系統的一個實施例中，函數集配置模塊包 括函數集維護子模塊，用於對預置的函數集進行維護；自定義函數嚮導子模塊，用於負責 引導用戶完成函數的定義；函數導入/導出子模塊，用於導入/導出函數集或單個函數，供 用戶備份和/或部署。本發明提供的電信業務數據動態轉換系統的一個實施例中，系統維護模塊包括 系統參數子模塊，用於配置和維護數據轉換規則生成環境子系統的系統參數；系統日誌子 模塊，用於生成和存儲數據轉換規則生成環境子系統的系統日誌。本發明提供的電信業務數據動態轉換系統的一個實施例中，數據轉換規則調度子
5系統包括數據轉換規則引擎，用於從數據轉換規則存儲子系統中獲取電信業務數據轉換 規則；動態生成業務實現類的JAVA原始碼，並編譯生成JAVA程序代碼；以及動態加載並執 行業務實現類，將源數據文件生成目標數據文件；系統維護模塊，用於存儲數據轉換規則調 度子系統的系統參數和生成的系統日誌。本發明提供的電信業務數據動態轉換系統的一個實施例中，數據轉換規則引擎包 括原始碼生成器，用於根據數據轉換規則和預置的業務實現類的模板，動態生成業務實現 類的JAVA原始碼文件；原始碼編譯器，用於編譯業務實現類的JAVA原始碼文件，生成JAVA 程序代碼；以及數據轉換規則處理器，用於讀寫數據文件，負責電信業務數據的轉換；以及 集中和處理系統錯誤。本發明提供的電信業務數據動態轉換系統的一個實施例中，系統維護模塊包括 系統參數子模塊，用於配置和維護數據轉換規則調度子系統的系統參數；系統日誌子模塊， 用於生成和存儲數據轉換規則調度子系統的系統日誌。本發明提供的電信業務數據動態轉換系統的一個實施例中，數據轉換規則存儲子 系統存儲的函數集包括用於從電話號碼中拆分出接入號碼、區號、運營商信息的函數。電信運營系統生成的數據量都很大，尤其是詳單數據，其數據量更加龐大，這無疑 對數據轉換工具造成了一定的性能壓力。同時，電信業務極其繁多，而且變化很快，如電信 推出的各類套餐業務。這就要求ETL工具具有很好的靈活性。另外，目前市場上的ETL工 具沒有針對電信業務數據特點進行優化處理，不能在靈活性和效率之間取得平衡；對於龐 大的電信業務數據量，如何有效提高系統的處理效率，也是需要考慮的問題。本發明針對電 信業務數據特性建立了豐富的函數集，同時提供函數自定義接口，便於用戶擴展函數集；不 同於當前腳本解釋型ETL工具，本發明採用動態生成原始碼，動態編譯，以及動態加載並執 行代碼的方式，有效地提高了數據轉換效率，具有很強的實用性。本發明創新地提出採用函 數集，採用JAVA為設計語言，良好的跨平臺特性有利於各子系統的兼容與集成。使用JAVA 反射技術，可以靈活動態地執行數據規則JAVA代碼來生成電信業務數據文件；從而避免在 電信業務數據轉換需求發生變更時引起修改ETL工具程序代碼的繁雜工作量。動態實現電 信業務數據轉換，為電信系統提供準確、統一的數據文件。


圖1示出根據本發明的電信業務數據動態轉換的方法的一個實施例的流程圖；圖2示出根據本發明的電信業務數據動態轉換的方法的一個實施例的流程圖；圖3示出根據本發明的電信業務數據動態轉換的系統的一個實施例的結構示意 圖；圖4示出本發明由數據轉換規則生成環境子系統的一個實施例提供的圖形化界 面；圖5示出了數據轉換規則調度子系統的一個實施例將目標數據文件中的記錄裝 載到資料庫系統中的進度監控界面；圖6示出根據本發明的電信業務數據動態轉換的系統的一個實施例的結構示意 圖；圖7示出根據本發明的電信業務數據動態轉換的系統的一個實施例的結構示意
6圖8示出根據本發明的電信業務數據動態轉換的方法的一個具體應用例的流程 圖9示出根據本發明的電信業務數據動態轉換的系統的一個具體應用例的流程
具體實施方式

下面參照附圖對本發明進行更全面的描述，來說明本發明示例性的各種實施例。圖1示出根據本發明的電信業務數據動態轉換方法的一個實施例的流程圖。如圖1所示，步驟102，根據業務標識獲取預置的電信業務數據轉換規則。本發明 提供的電信業務數據動態轉換方法的一個實施例中，根據業務標識(通常為數位化的業務 代碼)從存儲的電信業務數據轉換規則信息中直接獲取電信業務數據轉換規則。本發明提 供的數據動態轉換方法的一個實施例中，在系統資料庫中存儲有用戶預先定製好的電信業 務數據轉換規則信息和函數集等信息。稍後對電信業務數據轉換規則信息和函數集進行簡 要介紹。步驟104，根據數據轉換規則和預置的業務實現類的模板，動態生成業務實現類的 JAVA原始碼。例如，在步驟104中根據業務標識獲取已配置好的業務規則信息，隨後根據業 務實現類模版文件，動態實例化生成業務實現類JAVA原始碼文件。稍後對JAVA原始碼存 儲格式進行簡要介紹。步驟106，編譯業務實現類的JAVA原始碼生成JAVA程序代碼。稍後對動態編譯業 務實現類的JAVA原始碼生成JAVA虛擬機能執行的程序代碼技術進行簡要介紹。步驟108，動態加載並執行業務實現類，將源數據文件生成目標數據文件。例如，採 用動態加載JAVA類和反射調用JAVA函數的技術，加載並執行業務實現類模板文件，讀取源 數據文件，生成目標數據文件。源數據文件包括系統參數或業務標識，如電信業務的種類、 套餐名稱等信息。生成的目標數據文件提供給其他系統使用(如利用資料庫自帶的數據文 件導入工具，將目標數據文件中的記錄裝載到資料庫系統中)。稍後對動態加載技術、反射 (JAVA Reflection)調用技術以及目標數據文件進行簡要介紹。本發明提供的電信業務數據動態轉換方法的一個實施例中，電信業務數據轉換規 則信息包括電信業務數據轉換規則和對應轉換規則的編譯狀態信息。本發明中所提及的轉 換規則的編譯狀態信息主要存放在編譯狀態信息表中(參見下表1)。
CN 101958987 A
說明 書4/18頁
圖 003
圖
權利要求
一種電信業務數據動態轉換的方法，其特徵在於，所述方法包括根據業務標識獲取預置的電信業務數據轉換規則；根據所述數據轉換規則和預置的業務實現類的模板，動態生成所述業務實現類的JAVA原始碼，並編譯生成JAVA程序代碼；動態加載並執行所述業務實現類，將源數據文件生成目標數據文件。
2.根據權利要求1所述的方法，其特徵在於，所述動態加載並執行所述業務實現類的 步驟包括採用動態加載JAVA類技術和反射調用JAVA函數技術動態加載並執行所述業務實現類。
3.根據權利要求1所述的方法，其特徵在於，所述方法還包括步驟 通過圖形化界面接收用戶對所述數據轉換規則的配置。
4.根據權利要求1所述的方法，其特徵在於，所述方法還包括步驟 通過圖形化界面接收用戶對函數集的定義和/或擴展。
5.根據權利要求4所述的方法，其特徵在於，所述函數集包括從電話號碼中拆分接入 號碼、區號、運營商信息的函數。
6.一種電信業務數據動態轉換的系統，其特徵在於，所述系統(300，900)包括 數據轉換規則存儲子系統(302，902)，用於存儲電信業務數據轉換規則和函數集； 數據轉換規則調度子系統(306，906)，用於從所述數據轉換規則存儲子系統(302，902)中獲取所述電信業務數據轉換規則；根據所述轉換規則和預置的業務實現類的模板， 動態生成業務實現類的JAVA原始碼，並編譯生成JAVA程序代碼；以及動態加載並執行所述 業務實現類，根據源數據文件生成目標數據文件。
7.根據權利要求6所述的系統，其特徵在於，所述系統還包括數據轉換規則生成環境 子系統(304，904)，用於通過圖形化界面接收用戶對所述電信業務數據轉換規則的配置，將 修改或增加的所述數據轉換規則保存到所述數據轉換規則存儲子系統(302，902)；以及提 供用戶自定義函數編程接口，供用戶擴展所述函數集。
8.根據權利要求7所述的系統，其特徵在於，所述數據轉換規則生成環境子系統(904) 包括數據轉換規則配置模塊(9042)，用於對預置的所述數據轉換規則進行維護，引導用戶 配置新的數據轉換規則，並負責導入/導出選定的所述數據轉換規則；函數集配置模塊(9044)，用於對預置的所述函數集進行維護，負責引導用戶配置新的 函數，以及導入/導出所述函數集或單個函數；系統維護模塊(9046)，用於存儲所述數據轉換規則生成環境子系統(904)的系統參數 和生成的系統日誌。
9.根據權利要求8所述的系統，其特徵在於，所述數據轉換規則配置模塊(9042)包括數據轉換規則維護子模塊(90422)，用於負責轉換規則列表的樹狀展現和所述轉換規 則的信息展現；數據轉換規則配置嚮導子模塊(90424)，用於負責引導用戶逐步完成所述數據轉換規 則的配置；數據轉換規則導入/導出子模塊(90426)，用於負責導入和導出選定的所述轉換規則， 供用戶備份和/或部署。
10.根據權利要求8所述的系統，其特徵在於，所述函數集配置模塊(9044)包括 函數集維護子模塊(90442)，用於對預置的所述函數集進行維護；自定義函數嚮導子模塊(90444)，用於負責引導用戶完成所述函數的定義； 函數導入/導出子模塊(90446)，用於導入/導出所述函數集或單個函數，供用戶備份 和/或部署。
11.根據權利要求8所述的系統，其特徵在於，所述系統維護模塊(9046)包括系統參數子模塊(90462)，用於配置和維護所述數據轉換規則生成環境子系統(904) 的系統參數；系統日誌子模塊(90464)，用於生成和存儲所述數據轉換規則生成環境子系統(904) 的系統日誌。
12.根據權利要求6所述的系統，其特徵在於，所述數據轉換規則調度子系統(906)包括數據轉換規則引擎(9062)，用於從所述數據轉換規則存儲子系統(302，902)中獲取電 信業務數據轉換規則；動態生成所述業務實現類的JAVA原始碼，並編譯生成所述JAVA程序 代碼；以及動態加載並執行所述業務實現類，將源數據文件生成目標數據文件；系統維護模塊(9064)，用於存儲所述數據轉換規則調度子系統(906)的系統參數和生 成的系統日誌。
13.根據權利要求12所述的系統，其特徵在於，所述數據轉換規則引擎(9062)包括 原始碼生成器(90622)，用於根據所述數據轉換規則和所述預置的業務實現類的模板，動態生成業務實現類的JAVA原始碼文件；原始碼編譯器(90624)，用於編譯所述業務實現類的JAVA原始碼文件，生成所述JAVA 程序代碼；以及數據轉換規則處理器(90626)，用於讀寫數據文件，負責電信業務數據的轉換；以及集 中和處理系統錯誤。
14.根據權利要求12所述的系統，其特徵在於，所述系統維護模塊(9064)包括系統參數子模塊(90642)，用於配置和維護所述數據轉換規則調度子系統(906)的系 統參數；系統日誌子模塊(90644)，用於生成和存儲所述數據轉換規則調度子系統(906)的系統日誌。
15.根據權利要求6所述的系統，其特徵在於，所述數據轉換規則存儲子系統(302， 902)存儲的所述函數集包括用於從電話號碼中拆分接入號碼、區號、運營商信息的函數。
全文摘要
本發明公開了一種電信業務數據動態轉換方法及其系統，方法包括獲取預置的電信業務數據轉換規則，根據數據轉換規則和預置的業務實現類的模板，動態生成業務實現類的JAVA原始碼，並編譯生成JAVA程序代碼；動態加載並執行業務實現類，將源數據文件生成目標數據文件。本發明針對電信業務數據特性建立了豐富的函數集，同時提供函數自定義接口，便於用戶自定義和擴展函數集；不同於當前腳本解釋型ETL工具，本發明採用動態編譯、動態加載，以及JAVA反射技術，提高了數據轉換效率，具有很強的跨平臺特性和應用靈活性。
文檔編號H04M15/00GK101958987SQ200910152289
公開日2011年1月26日 申請日期2009年7月14日 優先權日2009年7月14日
發明者何震葦, 劉春 , 向勇, 張青, 鄒學鋒, 黃平 申請人:中國電信股份有限公司