基於大規模數據碰撞獲取業務模型數據和物理模型數據關係的方法
2023-07-01 15:49:56
基於大規模數據碰撞獲取業務模型數據和物理模型數據關係的方法
【專利摘要】本發明公開了一種基於大規模數據碰撞獲取業務模型數據和物理模型數據關係的方法，屬於商業智能領域。該方法驗證的場景是通信網絡中傳輸外線系統，通過從前臺用戶界面截取有效的外線傳輸模型數據來進行分析，進而得到傳輸外線用戶業務模型和外線系統資料庫的物理模型的對應關係，並獲知數據的來源結構。與現有技術相比，以本發明的方法能夠獲得目標數據源的大部分有價值的元數據信息，具有很好的推廣應用價值。
【專利說明】基於大規模數據碰撞獲取業務模型數據和物理模型數據關 系的方法
[0001]
【技術領域】
[0002] 本發明涉及商業智能領域，具體地說是一種基於大規模數據碰撞獲取業務模型數 據和物理模型數據關係的方法。
【背景技術】
[0003] 商業智能的迅速發展，為企業做出明智的業務經營決策提供強有力的幫助。在用 戶的商業智能項目中，有約80%的工作、時間和費用都花費在數據集成上。然而，由於各企 業信息系統的數據源彼此獨立、相互封閉，對數據集成與共享產生很大的"障礙"。因此，女口 何對數據進行有效的集成管理已成為增強企業商業競爭力的必然選擇。
[0004] 數據集成需要被集成的應用必須公開數據結構，即必須公開表結構，表間關係，編 碼的含義等，但是，企業間的"障礙"使我們有可能無法全面、準確的獲取該些信息。
【發明內容】
[0005] 本發明的技術任務是針對上述中的現實困境，提供一種基於大規模數據碰撞獲取 業務模型數據和物理模型數據關係的方法。該方法通過概率模型，進行大規模數據碰撞匹 配，從而判斷出業務模型數據與物理模型數據最有可能的真實映射關係，進而得到目標數 據源大部分有價值的元數據信息，W解決數據集成的問題。
[0006] 本發明的技術任務是按W下方式實現的：基於大規模數據碰撞獲取業務模型數 據和物理模型數據關係的方法，其特點是；該方法的實例的目標是通信網絡中的傳輸外線 系統，但不僅限於通信網絡中的傳輸外線系統。通過從外系系統的用戶界面充抓取外系系 統的用戶業務模型數據集來進行分析，通過將抓取的用戶業務模型數據集與外系系統的後 臺資料庫進行綜合分析，進而得到業務模型數據集與外線系統後臺資料庫表之間的映射關 系，從而獲得了業務模型數據與物理模型數據的映射關係，即獲取了外係數據庫的數據表 的業務含義。
[0007] 具體來說，該方法首先從外線系統的前臺用戶界面中抓取外線系統的用戶業務模 型數據，稱為業務模型數據集，抓取的方式可W使用網際網路爬蟲抓取的方法或者人工抓取 的方法；抓取到的業務模型數據集與傳輸外線系統後臺資料庫中的物理數據進行對比分 析，分析出前臺用戶界面中的業務模型數據集是從後臺資料庫中的哪些物理模型數據中來 的，從而得到前臺用戶界面對應的業務模型數據集和後臺數據存儲的物理模型數據表之間 的對應關係，最終獲知傳輸外線系統中的元數據信息， 包含如下步驟： A、抓取一個外線系統用戶界面的業務數據記錄，即用戶從外線系統應用的界面上看到 的數據，獲得一個業務模型的數據實例，該裡稱為一個業務模型數據集； B、 將步驟A所得一個業務模型數據集與外線系統後臺物理模型的全量數據進行匹配， 即和外線系統中後臺所有的物理模型的數據進行匹配，獲得可能的該業務模型數據集與外 線資料庫中物理模型對應的數據表可能的匹配關係，並對關係模型進行存儲記錄； C、 通過對所有可能存在的關係模型進行分析，定位用戶有價值的元數據信息，為後續 的數據集成提供基礎。
[0008] 作為優選，步驟B中利用資料庫反向分析與網絡爬蟲技術對業務數據進行匹配。
[0009] 步驟B中業務模型數據和物理模型數據的對應關係為： 業務模型數據集中的記錄與物理模型中的單個數據表W最大的匹配率匹配； 或者： 業務模型數據集中的記錄與物理模型中的單個主數據表和多個關聯數據表W最大的 匹配率匹配； 或者： 業務數據記錄集中某些欄位與物理模型中的數據表的某些欄位W-種函數映射的方 式匹配。
[0010] 本發明的基於大規模數據碰撞獲取業務模型數據和物理模型數據關係的方法，在 獲取一個業務模型數據集後，通過與後臺資料庫中存儲的物理模型數據進行全量的碰撞和 比對，利用可能匹配的概率模型找到最可能的業務模型數據集和物理模型對應的數據表的 對應關係，進而獲得目標數據源的大部分有價值的元數據信息，打破數據集成過程中，公司 對數據共享的"壁壘"和"障礙"，為後續的數據集成提供基礎。與現有技術相比具有W下突 出的有益效果： 1) 通過用戶界面業務數據進行分析；將用戶的界面業務數據作為媒介來反向分析數 據源數據結構，打破公司對數據共享產生的"障礙"； 2) 基於概率統計分析；從界面上所獲得的用戶業務數據與物理資料庫表的匹配度，是 W概率的形式統計出來，匹配度越高，獲得的數據源結構越準確； 3) 全數據碰撞分析；根據獲得的全業務數據與用戶全資料庫數據進行匹配，分析業務 模型數據與物理模型數據存在的關係，可深度挖掘用戶數據源有價值的元數據信息。
【專利附圖】
【附圖說明】
[0011] 附圖1是本發明基於大規模數據碰撞獲取業務模型數據和物理模型數據關係的 方法的流程圖； 附圖2是本發明基於大規模數據碰撞解析物理數據的功能模型圖。
【具體實施方式】
[0012] 參照說明書附圖W具體實施例對本發明的基於大規模數據碰撞獲取業務模型數 據和物理模型數據關係的方法作W下詳細地說明。
[001引 實施例： 如附圖1、2所示，本發明的基於大規模數據碰撞獲取業務模型數據和物理模型數據關 系的方法，其實現方案如下： A、該方法分析的用戶資料庫為通信網絡中的傳輸外線系統，將抓取的所有用戶界面業 務數據集進行統計分析和數據挖掘，列出單個業務模型數據集對應的主表及其相關信息， 包括；序號、主表、關聯表、業務欄位數。W CTP模型為例，從用戶界面中抓取到的CPT業務 模型數據集如表1所示： 表1 =CTP業務模型數據集
【權利要求】
1. 基於大規模數據碰撞獲取業務模型數據和物理模型數據關係的方法，其特徵在於： 本方法的實例的數據範圍是通信網絡的傳輸外線系統，首先從外線系統的前臺用戶界 面中抓取外線系統的用戶業務模型數據，稱為業務模型數據集，抓取的方式可以使用互聯 網爬蟲抓取的方法或者人工抓取的方法；抓取到的業務模型數據集與傳輸外線系統後臺數 據庫中的物理數據進行對比分析，分析出前臺用戶界面中的業務模型數據集是從後臺數據 庫中的哪些物理模型數據中來的，從而得到前臺用戶界面對應的業務模型數據集和後臺數 據存儲的物理模型數據表之間的對應關係，最終獲知傳輸外線系統中的元數據信息， 包含如下步驟： A、 抓取一個外線系統用戶界面的業務數據記錄，獲得一個業務模型數據集； B、 將步驟A所得一個業務模型數據集與外線系統後臺物理模型的全量數據進行匹配， 獲得可能的該業務模型數據集與外線資料庫中物理模型對應的數據表可能的匹配關係，並 對關係模型進行存儲記錄； C、 通過對所有可能存在的關係模型進行分析，定位用戶有價值的元數據信息，為後續 的數據集成提供基礎。
2. 根據權利要求1所述的基於大規模數據碰撞獲取業務模型數據和物理模型數據關 系的方法，其特徵在於：步驟B中利用資料庫反向分析與網絡爬蟲技術對業務數據進行匹 配。
3. 根據權利要求1所述的基於大規模數據碰撞獲取業務模型數據集和物理模型數據 關係的方法，其特徵在於步驟B中業務模型數據和物理模型數據的對應關係為： 業務模型數據集中的記錄與物理模型中的單個數據表以最大的匹配率匹配； 或者： 業務模型數據集中的記錄與物理模型中的單個主數據表和多個關聯數據表以最大的 匹配率匹配； 或者： 業務數據記錄集中某些欄位與物理模型中的數據表的某些欄位以一種函數映射的方 式匹配。
【文檔編號】G06F17/30GK104331481SQ201410626483
【公開日】2015年2月4日 申請日期:2014年11月10日 優先權日:2014年11月10日
【發明者】楊高超 申請人:浪潮通信信息系統有限公司