一種數據邏輯分析方法、裝置及系統的製作方法
2023-05-12 03:51:41 1
專利名稱:一種數據邏輯分析方法、裝置及系統的製作方法
技術領域:
本發明涉及一種業務支撐技術,尤其涉及一種數據邏輯分析方法、裝置及系統。
背景技術:
隨著經營分析系統在經營決策和營銷管理方面起著越來越重要的作用,其所承載 的應用也日趨豐富,隨之而來的,系統處理數據的壓力也不斷增大。現有的經營分析系統,主要以功能為導向,即只顯示最終的數據處理結果。經營分 析系統的資料庫中實體表數量龐大,業務變更頻繁,現有技術中,如果要查詢數據處理的整 個詳細過程,則需要程式設計師逐行讀取程序代碼,根據經驗分析判斷數據的邏輯,用以檢查數 據差異和分析其他程序問題。如果想要對系統的所有數據邏輯全方面查詢和分析,則需要 大量的人力和時間才能夠實現,且出錯概率較高。現有技術的經營分析系統處理數據有以下缺陷1、抽取加載轉換(Extract-load-translate,簡稱ELT)處理過程中無邏輯分析, 不能顯示數據處理的詳細邏輯處理過程經營分析系統的ELT處理過程不能對數據處理邏輯做查詢和檢查,如果要察看數 據處理的詳細過程,只能通過解讀原始碼去分析,如果處理環節中有問題,則無法準確定 位,查找分析難度很大;2、資料庫中數據處理無邏輯解析,各程序之間的關聯關係無法直觀察看資料庫中數據處理的環節主要是二次轉換、輕度匯總、高度匯總、報表預處理和 報表處理等,程序實現的主要形式是存儲過程,但該部分程序沒有整體業務邏輯,程序的 邏輯結構差異性較大且複雜,如果想對該部分程序的變更或者數據的變更做評估,難度較 大;3、報表展現過程無邏輯輸出,不能查詢前臺數據同後臺數據交互經營分析系統的數據展現同後臺數據的聯繫無邏輯輸出,不能定位前臺展現指標 同資料庫中數據的聯繫,需要逐行解讀原始碼才可以達到目的,這樣給日常維護帶來很大 問題。
發明內容
本發明的第一目的在於,提供一種數據邏輯分析方法,能夠自動獲取數據處理過 程中各個操作步驟的邏輯描述信息,花費時間較少,降低了維護的工作量。本發明的第二目的在於,提供一種邏輯分析裝置,能夠自動獲取數據處理過程中 各個操作步驟的邏輯描述信息,花費時間較少,降低了維護的工作量。本發明的第三目的在於,提供一種數據分析系統,能夠自動獲取數據處理過程中 各個操作步驟的邏輯描述信息,花費時間較少,降低了維護的工作量。根據本發明的第一目的,提供一種數據邏輯分析方法,包括採集數據處理過程各 個操作步驟的處理信息;對所述處理信息進行解析,獲得所述各個操作步驟的邏輯描述信肩、ο根據本發明的第二目的,提供一種邏輯分析裝置,包括採集模塊,用於採集數據 處理過程各個操作步驟的處理信息;邏輯解析模塊,用於對所述處理信息進行解析,獲得所 述各個操作步驟的邏輯描述信息。根據本發明的第三目的,提供一種數據分析系統,包括數據處理裝置,用於對從 數據源接收數據進行處理;邏輯分析裝置,用於採集數據處理過程各個操作步驟的處理信 息,對所述處理信息進行解析,獲得所述各個操作步驟的邏輯描述信息。本發明的數據邏輯分析方法、裝置及系統,通過對數據處理過程各個操作步驟的 處理信息進行解析,獲得各個操作步驟的邏輯描述信息,使得工作人員可以方便的查看數 據處理的詳細過程,而不用再通過人工解讀程序代碼來對數據處理過程做查詢和檢查,節 省了工作時間,降低了維護的工作量,且對數據處理過程的查詢和檢查更精確,出錯率較 低。
圖1是本發明數據邏輯分析方法實施例的流程圖;圖2是圖1中步驟14的實施例流程圖;圖3是圖1中步驟16的實施例流程圖;圖4是本發明數據邏輯分析方法另一實施例的流程示意圖;圖5是圖4中邏輯描述信息的部分展示示意圖;圖6是本發明邏輯分析裝置實施例一的結構圖;圖7是本發明數據分析系統實施例一的結構圖。
具體實施例方式以下結合附圖對本發明進行詳細說明。方法實施例一圖1是本發明數據邏輯分析方法實施例一的流程圖。如圖1所示,本發明數據邏 輯分析方法實施例一包括以下步驟步驟12,採集數據處理過程各個操作步驟的處理信息;該處理信息包括操作步驟 地配置文件或是根據操作程序中的關鍵字採集到的有關數據處理操作的程序語句;步驟14,根據預設的解析規則對處理信息進行解析,獲得各個操作步驟的邏輯描 述信息,其中,如圖2所示,步驟14具體包括步驟142,從處理信息中提取各個操作步驟的處理數據屬性、處理過程信息、處理 結果信息;處理數據屬性包括數據的來源、大小和欄位屬性等信息;處理過程信息包括數 據處理的條件及處理的步驟等信息;處理結果信息包括數據處理後結果文件的名稱、大小 和屬性等信息;步驟144,根據這些信息按照預設的格式生成各個操作步驟的邏輯描述信息,邏輯 描述信息包括任務ID,為每個操作步驟的惟一標識;數據ID,為每個步驟所處理數據的源 的標識,用於記錄該操作步驟從哪個數據源獲取該數據;操作步驟信息,為每個操作步驟對 該數據源的欄位進行處理的描述信息;結果文件名稱和ID,為每個操作步驟結果文件的標
5識;本方法實施例一,通過對數據處理過程各個操作步驟的處理信息進行解析,獲得 各個操作步驟的邏輯描述信息,使得工作人員可以方便的查看數據處理的詳細過程,而不 用再通過人工解讀程序代碼來對數據處理過程做查詢和檢查,節省了工作時間,降低了維 護的工作量,且對數據處理過程的查詢和檢查更精確,出錯率較低。方法實施例二優選的,本發明數據邏輯分析方法實施例二還包括步驟16,將各個操作步驟的邏 輯描述信息組合為整個處理過程的邏輯描述信息。如圖3所示,步驟16具體包括步驟162,根據各個操作步驟的邏輯描述信息分析各個操作步驟之間的關聯關 系;在邏輯分析過程中,可以通過任務ID找出各個操作步驟的先後順序,然後通過從 前往後解析每個操作步驟用到的數據源、處理過程的邏輯描述、處理結果的輸出,最終形成 鏈條狀描述信息;例如,數據抽取操作的結果即是後續數據轉換操作的數據來源,而數據轉 換操作的結果又是數據裝載操作的數據來源。這樣,通過各個操作步驟的處理數據屬性和 處理結果信息就可得知各個步驟之間的關聯關係;步驟164,根據所述關聯關係將各個操作步驟的邏輯描述信息組合為整個數據處 理過程的邏輯描述信息。通過將各個操作步驟的邏輯描述信息關聯組合,可以得到整個數據處理流程的鏈 狀的邏輯描述信息,這樣,工作人員可以更加快速、方便地查看整個數據處理的詳細過程。方法實施例三圖4是本發明數據邏輯分析方法另一實施例的流程示意圖。本發明方法實施例三 以經營分析系統的數據處理流程為例,具體描述數據邏輯分析方法。經營分析系統的數據處理流程主要包括ELT、輕度匯總、高度匯總、報表預處理、 報表處理等操作。邏輯分析裝置採集各個操作步驟將其處理信息,該邏輯分析裝置根據每 個操作步驟的處理信息解析出每個操作步驟的邏輯描述信息,並用於結果展現。其中,對於ELT操作,採集抽取配置文件信息、轉換配置文件信息和裝載配置文件 fn息ο邏輯分析裝置根據預設的解析規則對所述處理信息進行解析,獲得ELT操作步驟 的邏輯描述信息的操作具體包括1、從抽取配置文件信息中提取抽取操作的數據源名稱、抽取數據的屬性、抽取條 件、接口文件編號和抽取數據的大小信息,並根據這些信息按照預設的格式生成抽取邏輯 表述信息,抽取邏輯表述信息包括抽取任務ID、抽取數據源ID、抽取數據源的欄位名稱、 抽取行數、抽取結果文件名稱和ID。2、從轉換配置文件信息中提取所述接口文件編號、轉換條件、轉換結果文件名稱、 轉換後數據的屬性信息,並根據這些信息按照預設的格式生成轉換邏輯表述信息,轉換邏 輯表述信息包括轉換任務ID、轉換數據源ID(同抽取結果文件ID有對應關係)、轉換規 則、轉換行數、轉換結果文件名稱和ID ;3、從裝載配置文件信息中提取所述轉換後文件屬性信息、裝載記錄數、裝載剔除 日至、裝載實體表表名、欄位對應關係信息,並根據這些信息按照預設的格式生成裝載邏輯表述信息,裝載邏輯表述信息包括裝載任務ID、裝載數據源ID (同轉換結果文件ID有對 應關係)、裝載數據源的欄位名稱、裝載行數、裝載結果文件名稱和ID。對於輕度匯總、高度匯總、報表預處理、報表處理等數據存儲操作,則首先查找操 作程序中的關鍵字,再根據關鍵字採集數據處理相關的程序語句。根據這些關鍵字及關鍵 字後的程序語句中解析出操作步驟的處理數據屬性、處理過程信息、處理結果信息,再根據 這些信息按照預設的格式生成各個操作步驟的邏輯描述信息。本方法實施例三中,輕度匯總、高度匯總、報表預處理、報表處理等的邏輯描述信 息包括任務ID,任務輸入數據源ID,任務運算規則,任務輸出數據源ID。例如,以插入操作為例,查找到的關鍵字為Insert,該關鍵字後的程序語句表示插 入數據的數據源,通過解析這些程序語句中數據元的表名和欄位名,即可獲得目標欄位;關 鍵字Select後的程序語句表示輸入欄位的信息,解析後可得到源欄位;關鍵字from後的程 序語句表示輸入的數據源,解析後可得到源表。本方法實施例三中,與各個操作對應的關鍵字還有Delete、Update、set、group by、drop/creat、case when、union、destinct、having、then、else、where 等等,關鍵字後的 程序語句的含義為本領域技術人員所公知的常識,在此不再贅述。圖5是本發明數據邏輯分析方法實施例三邏輯描述信息的部分展示示意圖。如圖 5所示,展示出經營分析系統中數據處理過程中部分操作步驟,通過連線表示出各個操作步 驟之間的關聯關係。本方法實施例三通過對經營分析系統數據處理的過程進行數據邏輯分析,獲得各 個操作步驟的邏輯描述信息,並可以展現出來,便於工作人員方便的查看經營分析系統的 ELT操作的詳細信息,當發現問題時,可以直接對ELT操作步驟進行修改,修改後模擬該ELT 流程對結果進行核對,確認修改沒有問題後在上傳修改文件,減少了基於代碼級別的修改 工作,降低了人為誤操作的風險,完善了系統測試功能,同時也避免了原系統中多次修改, 反覆上線的問題。另外,經營分析系統中的數據特點之一是匯總的復用度,也就是最大可能的復用 數據。本實施例通過對輕度匯總、高度匯總、報表預處理及報表處理的邏輯分析,可以得知 各個實體表中各欄位的使用頻次、調用方式,各實體表的使用頻度,有利於降低重複數據的 存儲。並且,由於資料庫中實體表數量龐大,業務變更頻繁,一個變更會對整個系統有多 大影響,是否會引起其他的數據問題,對於經營分析系統來說是個高難度高風險的問題,需 要大量的人力和經驗去做判斷和分析。本方法實施例二,通過對數據處理過程各個操作步 驟的邏輯分析,獲得邏輯描述信息,可以根據邏輯描述信息對於資料庫中任何表的關聯程 度和關聯方法做任意分析,如相同指標的分布、相同欄位的分布、相似欄位的分布等,當一 個業務涉及到多個表的變更時,可以快速評估對整個系統的影響範圍和影響程度,以及需 要調整的程序而且,由於經營分析系統業務指標十分龐大,相似指標也非常多,在做數據分析的 過程中經常遇到的問題就是比對相似指標的差異性,由於這種查詢工作量非常龐大,且難 度較高,需要花費的大量人力和時間。本方法實施例二,通過對數據處理過程各個操作步驟 的邏輯分析,可以將各個指標的數據處理過程直接做圖形化展示,將指標差異直接在分析結果中做標註,可以方便的得到數據差異的根源。這樣大大降低了數據差異分析和測試工 作的工作量,並且使得分析更加的精確。裝置實施例圖6是本發明邏輯分析裝置實施例的結構圖。如圖5所示,邏輯分析裝置實施例 包括採集模塊62,用於採集數據處理過程各個操作步驟的處理信息;採集操作步驟的 配置文件,和/或根據查找得操作程序中的關鍵字採集數據處理操作的關程序語句;例如, 在經營分析系統的數據處理過程中,對於ELT操作,採集ELT操作步驟的配置文件,對於輕 度匯總、高度匯總、報表預處理、報表處理等數據存儲操作,則首先查找操作程序中的關鍵 字,再根據關鍵字採集數據處理相關的程序語句;邏輯解析模塊64,用於根據預設的解析規則對處理信息進行解析,獲得各個操作 步驟的邏輯描述信息,其中,邏輯解析模塊64具體包括提取子模塊642,用於從處理信息 中提取各個操作步驟的處理數據屬性、處理過程信息、處理結果信息;生成子模塊644,用 於根據這些信息按照預設的格式生成各個操作步驟的邏輯描述信息。優選地,裝置實施例還包括邏輯組合模塊66,用於根據各個操作步驟的邏輯描述 信息分析各個操作步驟之間的關聯關係,並根據該關聯關係將各個操作步驟的邏輯描述信 息組合為整個數據處理過程的邏輯描述信息。即如圖5所示的對經營分析系統部分操作步 驟的展示。本裝置實施例,邏輯解析模塊通過對數據處理過程各個操作步驟的處理信息進行 解析,獲得各個操作步驟的邏輯描述信息,使得工作人員可以方便的查看數據處理的詳細 過程,而不用再通過人工解讀程序代碼來對數據處理過程做查詢和檢查,節省了工作時間, 降低了維護的工作量,且對數據處理過程的查詢和檢查更精確,出錯率較低。系統實施例圖6是本發明數據分析系統實施例的結構圖。如圖6所示,數據分析系統實施例 包括數據源802,用於存儲數據;數據處理裝置804,用於對從數據源接收數據進行處理,該數據處理裝置804中包 含一個或多個處理模塊,分別對數據進行不同的處理,例如,抽取模塊、轉換模塊、裝載模塊 等;邏輯分析裝置806,用於採集數據處理過程各個操作步驟的處理信息,根據預設的 解析規則對所述處理信息進行解析,獲得所述各個操作步驟的邏輯描述信息,對於該邏輯 分析裝置806的詳細描述見上述裝置實施例,在此不再贅述。該系統實施例還包括結果展示裝置808,用於展示各個操作步驟的邏輯描述信 息和/或整個數據處理過程的邏輯描述信息;查詢裝置810,用於從結果展示模塊查詢各個 操作步驟的邏輯描述信息和/或整個數據處理過程的邏輯描述信息。本系統實施例,是對於上述的數據邏輯分析方法和邏輯分析裝置的應用,通過對 獲得的邏輯描述信息進行展示或查詢,可以使工作人員方便的查看數據處理的詳細過程, 而不用再通過人工解讀程序代碼來對數據處理過程做查詢和檢查,節省了工作時間,降低 了維護的工作量,且對數據處理過程的查詢和檢查更精確,出錯率較低。
本發明各實施例的數據邏輯分析方法、裝置及系統,不僅僅可以應用於經營分析 系統,還可以應用於對各種數據處理的分析,通過對數據處理各個步驟地邏輯分析,使得整 個數據處理的詳細過程可以清楚地展示出來,方便工作人員查詢和檢查,不僅降低了對系 統維護的工作量,且對數據處理過程的查詢和檢查更精確,出錯率較低。應說明的是以上實施例僅用以說明本發明而非限制,本發明也並不僅限於上述 舉例,一切不脫離本發明的精神和範圍的技術方案及其改進,其均應涵蓋在本發明的權利 要求範圍中。
權利要求
一種數據邏輯分析方法,其特徵在於,包括採集數據處理過程各個操作步驟的處理信息;對所述各個操作步驟的處理信息進行解析,獲得所述各個操作步驟的邏輯描述信息。
2.根據權利要求1所述的數據邏輯分析方法,其特徵在於,所述對所述處理信息進行 解析的操作包括從所述處理信息中提取各個操作步驟的處理數據屬性、處理過程信息、處理結果信息;將上述屬性、處理過程以及處理結果信息按照預設的格式生成所述各個操作步驟的邏 輯描述信息。
3.根據權利要求2所述的數據邏輯分析方法,其特徵在於,所述邏輯描述信息包括所 述操作步驟的任務ID、數據ID、操作步驟信息、結果文件名稱和ID。
4.根據權利要求1所述的數據邏輯分析方法,其特徵在於,所述處理信息包括所述操 作步驟的配置文件。
5.根據權利要求4所述的數據邏輯分析方法,其特徵在於,所述操作步驟為抽取、轉換和裝載,所述配置文件信息包括抽取配置文件信息、轉換 配置文件信息和裝載配置文件信息。
6.根據權利要求5所述的數據邏輯分析方法,其特徵在於,所述對所述處理信息進行 解析,獲得所述各個操作步驟的邏輯描述信息的操作具體包括從所述抽取配置文件信息中提取抽取操作的數據源名稱、抽取數據的屬性、抽取條件、 接口文件編號和抽取數據的大小信息,並根據這些信息按照預設的格式生成抽取操作步驟 的邏輯描述信息;從所述轉換配置文件信息中提取所述接口文件編號、轉換條件、轉換結果文件名稱、 轉換後數據的屬性信息,並根據這些信息按照預設的格式生成轉換操作步驟的邏輯描述信 息;從所述裝載配置文件信息中提取所述轉換後文件屬性信息、裝載記錄數、裝載剔除日 至、裝載實體表表名、欄位對應關係信息,並根據這些信息按照預設的格式生成裝載操作步 驟的邏輯描述信息。
7.根據權利要求1所述的數據邏輯分析方法,其特徵在於,所述採集數據處理過程各 個操作步驟的處理信息的操作包括查找所述操作步驟的程序中的關鍵字;根據所述關鍵字採集所述操作步驟的相關程序語句。
8.根據權利要求7所述的數據邏輯分析方法,其特徵在於,所述對所述處理信息進行 解析,獲得所述各個操作步驟的邏輯描述信息的操作具體包括根據所述關鍵字及所述關鍵字後的程序語句中解析出所述操作步驟的處理數據屬性、 處理過程信息、處理結果信息;根據這些信息按照預設的格式生成所述各個操作步驟的邏輯描述信息。
9.根據權利要求8所述的數據邏輯分析方法,其特徵在於,所述操作步驟包括二次轉 換、輕度匯總、高度匯總、報表預處理和報表處理。
10.根據權利要求1至9中任意一項所述的數據邏輯分析方法,其特徵在於,所述獲得所述各個操作步驟的邏輯描述信息的操作之後包括根據所述各個操作步驟的邏輯描述信息分析所述各個操作步驟之間的關聯關係; 根據所述關聯關係將所述各個操作步驟的邏輯描述信息組合為整個數據處理過程的 邏輯描述信息。
11.根據權利要求10所述的數據邏輯分析方法,其特徵在於,所述根據所述各個操作 步驟的邏輯描述信息分析所述各個操作步驟之間的關聯關係的操作包括根據從所述處理信息中提取各個操作步驟的處理數據屬性和處理結果信息分析所述 各個操作步驟之間的關聯關係。
12.一種邏輯分析裝置,其特徵在於,包括採集模塊,用於採集數據處理過程各個操作步驟的處理信息; 邏輯解析模塊,用於對所述處理信息進行解析,獲得所述各個操作步驟的邏輯描述信肩、ο
13.根據權利要求12所述的邏輯分析裝置,其特徵在於,所述採集模塊還用於採集所 述操作步驟的配置文件,和/或根據查找到的操作步驟的程序中的關鍵字採集數據處理操 作的相關程序語句。
14.根據權利要求12所述的邏輯分析裝置,其特徵在於,所述邏輯解析模塊包括提取子模塊,用於從所述處理信息中提取各個操作步驟的處理數據屬性、處理過程信 息、處理結果信息;生成子模塊,用於根據這些信息按照預設的格式生成所述各個操作步驟的邏輯描述信肩、ο
15.根據權利要求12至14中任意一項所述的邏輯分析裝置,其特徵在於,還包括邏 輯組合模塊,用於根據所述各個操作步驟的邏輯描述信息分析所述各個操作步驟之間的關 聯關係,並根據所述關聯關係將所述各個操作步驟的邏輯描述信息組合為整個數據處理過 程的邏輯描述信息。
16.一種數據分析系統,其特徵在於,包括數據處理裝置,用於對從數據源接收數據進行處理;邏輯分析裝置,用於採集數據處理過程各個操作步驟的處理信息,對所述處理信息進 行解析,獲得所述各個操作步驟的邏輯描述信息。
17.根據權利要求16所述的數據分析系統,其特徵在於,還包括結果展示裝置,用於 展示所述各個操作步驟的邏輯描述信息和/或整個數據處理過程的邏輯描述信息。
全文摘要
本發明公開了一種數據邏輯分析方法、裝置及系統。其中數據邏輯分析方法包括採集數據處理過程各個操作步驟的處理信息;根據預設的解析規則對所述處理信息進行解析,獲得所述各個操作步驟的邏輯描述信息。本發明的數據邏輯分析方法、裝置及系統,通過對數據處理過程各個操作步驟的處理信息進行解析,獲得各個操作步驟的邏輯描述信息,使得工作人員可以方便的查看數據處理的詳細過程,而不用再通過人工解讀程序代碼來對數據處理過程做查詢和檢查,節省了工作時間,降低了維護的工作量,且對數據處理過程的查詢和檢查更精確,出錯率較低。
文檔編號G06F17/30GK101957748SQ20091015794
公開日2011年1月26日 申請日期2009年7月17日 優先權日2009年7月17日
發明者孟繁力 申請人:中國移動通信集團黑龍江有限公司