一種支持可定製化數據採集的元模型框架系統的製作方法

2023-04-24 01:19:41 1

本發明涉及一種可復用、可擴展的支持可定製化數據採集的軟體框架系統。

背景技術：

信息採集系統，因其目的不同，採集指標項的結構和內容差異較大，但其採集中涉及的數據採集業務基本類似。針對一套固定的指標進行設計，從數據模型層、數據訪問層甚至是業務服務層和表示層的代碼均對採集指標有強關聯關係，目前的技術方案最大的缺點就是當採集指標進行調整，會花費大量的人力和時間對系統進行變動，數據層、業務層以及表示層均需要進行大量的代碼改動。如果指標差異性明顯的時候，可能需要對系統進行重新開發。

技術實現要素：

本發明的技術解決的問題是：克服現有技術的不足，提供一種通用性好，擴展性強，支持定製化採集指標的通用數據採集框架以應用到信息採集系統中。

本發明的技術解決方案是：抽象採集指標特徵，建立數據結構基本穩定的元模型，完成對採集指標項的定義，以此解決採集指標複雜性、差異性和動態性。在此基礎之上實現數據採集管理模塊、數據核查模塊、視圖轉化模塊、元數據管理模塊、服務支持模塊和數據服務模塊。

1、數據採集管理模塊：提供採集數據的增、刪、改、查等基本操作以及導入導出、數據排序等輔助操作；提供採集頁面渲染功能，生成相應的用戶交互界面；數據訪問由元數據管理模塊和服務支持模塊完成sql的構造最終由數據服務模塊完成sql語句的執行並返回結果。數據採集管理模塊通過元數據管理模塊提供相關採集指標項的顯示元素信息，由視圖轉化模塊實現對數據封裝和轉化，最終生成指定頁面並展示。

2、數據核查模塊：提供數據前端數據核查、後臺數據核查、數據核查結果管理功能。本框架系統支持在用戶保存數據的時候進行實時核查即前端數據核查；同時，也支持對所有採集數據的後臺統一核查。數據核查模塊通過元數據管理模塊提供的校驗規則和元數據配置信息實現對採集數據的核查，以及對核查結果進行保存，對問題數據進行打標。用戶可通過數據核查管理功能進行核查結果的查詢和導出。

3、視圖轉化模塊：提供對元數據的封裝、參數解析和數據轉化的功能，用於完成對用戶交互頁面的數據組裝、用戶數據可讀性的轉化操作。該模塊主要的數據源為元數據管理模塊提供的元數據信息；其支持數據採集管理、數據核查等相關上層模塊的數據展示。

4、元數據管理模塊：提供採集數據指標的描述信息和支持對元數據的信息維護、元數據查詢等功能。採集數據指標的描述信息具體包括了對採集項目的類型、指標的上下級關係、採集數據的存儲信息、採集交互頁面元素構建信息和數據核查規則信息；元數據管理模塊設計了一套元數據模型(簡稱元模型)方案，對上述的採集數據指標的具體描述信息使用元數據進行形式化描述；所述元模型中的元數據包括：實體元素、屬性元素、實體風格元素、屬性風格元素、核查規則元素、數據字典元素、領域信息元素、分類信息元素。元數據管理模塊提供頁面展示構建元素、數據核查規則信息，元數據信息首先由視圖轉化模塊對信息進行數據封裝、參數解析和數據轉化，最後分別由數據採集管理模塊、數據核查模塊完成頁面生成和渲染。本框架系統對元數據建立了緩存機制，視圖轉化模塊對元數據進行訪問操作時，元數據管理模塊首先會根據數據查詢條件在緩存中進行查詢，如果緩存中存在符合條件的元數據則直接返回結果，否則元數據管理模塊從資料庫中查詢，同時更新緩存。

5、服務支持模塊：支持採集數據的增加、刪除、修改、查詢操作，該模塊根據元數據描述信息實現採集數據執行sql的構建、參數構建、數據類型處理功能。

6、數據服務模塊：提供訪問底層資料庫的sql執行和操作接口。數據服務模塊可以被其他模塊調用，根據其他模塊傳入的sql和參數信息執行資料庫操作；資料庫中存儲著元模型數據和採集數據，元模型數據是用來存儲相關採集數據指標描述信息的元數據的資料庫表即元模型數據存儲表，採集數據是用來存儲相關採集數據的資料庫表即採集數據存儲表。元數據管理模塊可以通過數據服務模塊直接獲取元數據信息；其他模塊也可以通過服務支持模塊構建sql和參數信息，然後通過數據服務模塊執行sql操作獲取採集數據。

本發明與現有技術相比的優點在於：本發明為信息採集系統的通用採用框架系統，信息採集系統應用該框架可提高系統的復用性和擴展性，可根據採集指標內容定製元模型數據，使得整個信息採集系統有一個通用的、可擴展的、靈活的體系結構，從而實現信息採集系統的快速開發和部署，並能夠降低系統開發和運維成本。

根據以上特點，開發人員只需在信息採集系統中引入該框架，並進行相關的採集指標配置和數據核查配置，就可以實現一個具有支持定製化採集指標和數據核查的信息採集系統，從而縮短研發周期，降低開發和維護成本。

附圖說明

圖1為本發明框架的模塊圖；

圖2為本發明框架的元模型示意圖；

圖3為本發明框架的數據採集機制的原理圖；

圖4為本發明框架的數據核查機制的原理圖；

圖5為本發明框架的核查結果管理的示意圖。

具體實施方式

如圖1所示，本發明提供了一種支持可定製化數據採集的元模型框架系統，涉及信息採集領域。本發明針對傳統信息採集系統採集指標變化時，需花費大量人力和時間調整系統的設計方案和代碼實現等共性問題，設計了一種可定製的、支持採集指標變動的數據採集通用框架。應用該框架，可以降低信息採集系統開發和維護成本，並實現快速的開發和部署。

通過深入分析傳統信息採集系統的採集指標的特點和採集過程中涉及的相關業務，框架的設計從各個信息採集系統的共性和和差異性兩個方面考慮。

針對信息採集系統之間共性問題，該框架對信息採集系統中的數據採集和數據核查的通用功能有較為完善的支持，實際開發中可以直接應用此框架的數據採集和數據核查功能，以減少系統開發的成本和周期。

系統的差異性主要體現在採集指標項之間的差異，針對此問題提供以下兩種方式進行解決：

(1)對採集指標進行抽象，利用元模型方案進行採集數據指標相關信息的描述，以此方案解決採集指標的複雜性、動態性和差異性，在元數據基礎上實現可定製化採集數據的存儲和採集表單的動態生成，以支持不同採集指標項的信息採集；

(2)支持數據核查的動態配置，將不同採集指標項的數據核查規則也集成到元模型中，通過解析配置信息，實現可定製化的數據核查，解決了不同信息採集系統以及不同採集項的數據核查的差異化問題；

應用該框架的信息採集系統與現有採集系統相比，可以通過定製的方式實現不同採集任務的差異性，通過規範擴展接口提升框架的擴展性，通過共性需求的直接應用減少重複性的開發工作。所以基於該框架可以高效快捷的構建不同數據採集指標的信息採集系統。

本發明按照功能模塊劃分可以分為數據採集管理模塊、數據核查模塊、視圖轉化模塊、元數據管理模塊、服務支持模塊、數據服務模塊，具體實施方式如下文所述。

1、數據採集管理模塊：提供採集數據的增加、刪除、修改、查詢等基本操作以及導入導出、數據排序等輔助操作。數據採集管理模塊核心功能的實現依賴於視圖轉化、元數據管理、服務支持和數據服務四個模塊。為實現上述功能，數據採集管理機制的原理圖如3所示，採集表單生成是針對不同的採集項配置信息生成特定的採集頁面，採集數據操作是對採集數據的增加、刪除、修改、查詢等基本操作的底層實現。具體實現如下文所述。

1-1採集表單生成：前文提到了元模型抽象出了對用戶交互的頁面顯示樣式的描述信息——實體樣式元數據和屬性樣式元數據，具體請參考下文元數據管理模塊的具體實施方式的描述。所以採集表單生成的設計方案可以基於元模型結構之上來完成，根據元數據管理模塊提供的元模型採集項描述信息，通過視圖轉化模塊進行表單基本配置的生成，加載配置信息，生成制定的採集表單或者表格，並為其中每一個輸入框賦予相應的控制項和顯示長度等。其具體步驟如下：

(1)通過元數據管理模塊加載元數據信息；

(2)視圖轉化模塊根據元數據信息生成表單描述信息；

(3)根據表單描述信息生成表單代碼和控制項代碼；

(4)加載該採集項對應的採集數據；

(5)完成用戶交互的頁面渲染和數據填充。

1-2採集數據操作：本框架系統在採集數據操作的設計方面摒棄了傳統的實現方式，因為在傳統的實現方式中，每一個採集項需要一個持久化對象，並對應一個物理表結構以及一個dao資料庫訪問接口完成該採集項的數據訪問。對於數據採集指標的複雜性和動態性，傳統的解決方案顯得相對笨重並且擴展性較差，數據採集指標的變動需要調整持久化層、dao層甚至service層等多層次的代碼調整，使得傳統系統缺乏對數據採集業務的通用性。因此，採集數據操作的設計方案是基於元模型的基礎之上，元模型中實體元數據和屬性元數據描述了數據存儲的物理表結構，可以通過該描述信息完成相關的採集數據操作功能，其具體步驟如下所示：

(1)首先通過元數據管理模塊獲取元數據，根據元數據解析出該採集項的數據結構描述信息，包括該採集數據存儲的資料庫名稱、物理表名稱、該物理表的主鍵、外鍵、以及所有欄位名稱及數據類型等信息；

(2)根據用戶交互傳遞的參數信息，通過視圖轉化模塊進行元數據處理和參數解析；

(3)通過服務支持模塊，結合數據訪問的操作類型(增加、刪除、修改、查詢)，生成相關的資料庫操作sql語句；

(4)獲取調用方傳遞的參數信息，及採集數據操作sql語句的條件，例如：查詢條件、更新的欄位、刪除記錄的主鍵等，並進行sql的參數化處理；

(5)執行sql語句並返回結果，如果執行出錯，則拋出異常信息，由框架統一的異常機制進行處理。

2、數據核查模塊：數據核查模塊主要包括兩部分，數據核查和核查結果管理。框架在設計上分別對以上兩個部分內容提供通用接口。

2-1數據核查：數據核查包含前端數據核查與後臺數據核查。前端數據核查是指在用戶錄入採集數據時進行的核查，並實時向用戶提示錄入數據的問題；後臺數據核查指的是在應用伺服器端進行的數據核查操作，主要發生在用戶對採集數據基本完成錄入之後，對全部採集數據中進行的數據核查。圖4給出了數據核查機制原理圖，前端數據核查與後臺數據核查的設計思想一致，均採用簡單工廠模式來實現。根據進行數據核查的對象(採集項信息和欄位信息)調用數據訪問接口，獲取目標對象的元數據信息(實體元素、屬性元素、核查規則元素)，之後校驗函數生成工廠通過元數據信息獲取核查規則元素，在核查規則元素中描述了校驗函數名以及相關的參數，利用反射機制，核查函數生成工廠生成相應的校驗函數。數據核查處理模塊通過元數據信息獲取原始的採集數據，並利用之前已經生成的數據核查函數對採集數據進行數據檢驗。前端、後端數據核查的區別在於：前端數據核查操作是在用戶對採集數據保存的時候自動觸發，通過頁面前端的js腳本函數對當前正在保存的數據進行數據核查，如果核查函數有任何一個出現錯誤，則立即對用戶進行相關的錯誤提示。後臺數據核查是由用戶主動點擊數據核查操作觸發，框架為用戶提供數據核查接口。

2-2核查結果管理：數據核查結果的數據結構相對穩定，框架將為核查結果提供統一的數據訪問接口和頁面顯示組件。核查結果包括：採集項核查結果和數據記錄核查結果。採集項核查結果表示該採集項中的數據是否存在校驗出錯的情況；數據記錄核查結果會存儲該條記錄的校驗出錯原因和相關的修改意見。圖5給出了數據核查結果管理的示意圖。

3、視圖轉化模塊：提供對元數據的封裝、參數解析和數據轉化的功能，用於完成對用戶交互頁面的數據組裝、用戶數據可讀性的轉化操作。該模塊主要的數據源為元數據模塊；其支持數據採集管理、數據核查等相關上層模塊的數據展示。

4、元數據管理模塊：提供數據採集指標的描述信息，以及對元數據的信息維護；採集指標的描述信息包括採集項目的類型，指標的上下級關係，採集數據的存儲信息，採集交互頁面信息，數據核查規則；元數據管理模塊設計了一套元數據模型(簡稱元模型)方案，對上述的採集數據指標的具體描述信息使用元數據進行形式化描述。元數據管理模塊為數據採集管理模塊提供頁面展示構建元素，為數據核查模塊提供數據核查規則。同時考慮到元數據信息的動態性較小，因此對元數據建立緩存機制。上層對元數據的訪問操作，元數據管理模塊首先會根據條件在緩存中進行查詢，如果緩存中存在符合條件的數據則直接向上層返回結果，否則元數據管理模塊從資料庫中查詢，同時更新緩存。元數據管理模塊一共包含8大元素，如圖3所示。其中實體和屬性元素為核心，描述的是採集數據存儲表的物理結構；實體風格和屬性風格元素是對數據採集的用戶交互方式和欄位控制項的描述；校驗規則是核查規則的描述；數據字典定義了數據採集的數據源；領域批次信息是描述了不同的採集任務和採集輪次；分類元素是對採集指標級別關係的描述信息。下面分別對不同的元模型元數據元素進行詳細闡述。

(1)實體、屬性元數據，是對資料庫物理表的描述。

實體元數據存儲該表單涉及到的資料庫物理表名稱、主外鍵約束、索引等信息。另外，屬性元數據存儲表欄位定義，定義表單中用到的數據項，包括欄位名、欄位類型、長度、默認值、是否允許為空、是否自增長欄位等信息。

(2)實體顯示風格、屬性顯示風格元數據，對採集表單的描述信息。

實體顯示風格元數據描述表單整體信息，包括表單的名稱，表單的顯示類型，表單的初始化配置信息，表單的控制條件信息等；屬性顯示風格元數據描述表單中欄位的顯示信息，包括：界面顯示的尺寸、界面布局、控制項的類型(文本框、文本域、複選框、單選框、列表框、時間日期選擇、文件上傳框)、是否可以編輯、是否隱藏、是否可以排序等。

(3)領域和批次信息元數據，對採集任務和採集批次進行描述。

領域元數據包括：領域名稱、該領域項目開始和結束時間、領域的是否正在進行等信息；批次元數據信息包括：批次名稱、本批次的開始結束時間、是否正在進行、批次的備註信息等。

(4)校驗規則元數據，對採集表單和欄位的數據核查的描述。

校驗規則元數據包括：校驗規則名稱，校驗規則方法名稱、參數個數、校驗類型等。

(5)數據字典元數據，對某一欄位的數據源的描述。

數據字典元數據包括：字典本身元數據和字典條目元數據。字典本身的元數據包括字典的名稱、類型等信息；字典條目元數據包括字典中每一個選項名稱，條目順序等信息。

(6)分類信息元數據是對採集指標分級關係的描述信息。

分類信息元數據包括：採集指標所屬的指標體系的章節信息和層級關係，包括上下級指標節點的層級信息和顯示圖標等。

5、服務支持模塊：主要支持的功能是對採集數據的操作，提供通過元數據描述信息構造數據訪問的sql、訪問數據的參數構建、數據類型處理功能。服務支持模塊根據過傳入的元數據信息和參數信息動態地創建sql、構建參數以及數據類型處理。服務支持模塊可根據元數據中實體元素描述的採集數據存儲表的表名和屬性元素描述的採集數據存儲表的欄位名動態地拼接查詢和更新操作sql語句；當執行的sql中需要使用到表的欄位類型時，服務支持模塊可根據元數據的屬性元素所定義的欄位類型進行數據類型處理，轉化成採集數據存儲表的欄位類型。

6、數據服務模塊：提供訪問底層資料庫的sql執行和操作接口，本框架通過此模塊對sql語句進行調用，訪問和操作元數據和採集數據。

提供以上實施例僅僅是為了描述本發明的目的，而並非要限制本發明的範圍。本發明的範圍由所附權利要求限定。不脫離本發明的精神和原理而做出的各種等同替換和修改，均應涵蓋在本發明的範圍之內。