一種實現動態抽取指標的方法及裝置與流程
2023-07-11 04:55:26
本發明涉及決策分析系統技術領域，特別是涉及一種實現動態抽取指標的方法及裝置。
背景技術：
決策分析系統利用現代信息技術和決策分析方法，通過建立資料庫和分析模型，為企業的決策者提供及時、可靠的業務信息，幫助決策者對企業未來經營方向和經營目標進行量化的分析和論證，從而對企業生產經營活動作出科學的決策。決策分析系統建設的目標主要包括數據倉庫系統和輔助決策支持系統兩個方面。其總體目標是利用internet技術、WEB技術、數據倉庫技術、信息安全技術，構建企業綜合信息傳遞與信息共享的「綜合信息庫」的基本框架；以綜合信息資源為重點，對信息進行數位化，資料庫化及網絡化開發，將分散的綜合信息資料庫進行標準連結、結構優化、規模擴容、網絡互聯、信息共享和綜合應用開發，提高綜合信息資源的系統性、權威性、適用性、及時性與共享性。形成企業信息資源的集成加工、交換發布、決策諮詢、技術支持中心，逐步形成企業經營監測預警系統、模型預測系統、領導輔助決策支持系統等一批應用系統，為企業管理與調控，提供信息支持和決策支持。
在決策分析系統中，指標分析是業務模塊重要的組成部分，而ETL是重要的技術手段。ETL(Extract-Transform-Load，數據抽取轉換加載)是構建數據倉庫的重要一環，用戶從數據源抽取出所需的數據，經過數據清洗，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。
Informatica PowerCenter是Informatica公司開發的世界級的企業數據集成平臺，也是業界領先的ETL工具。Informatica PowerCenter使用戶能夠方便地從已有系統和數據源中抽取數據，用來建立、部署、管理企業的數據倉庫，從而幫助企業做出快速、正確的決策。
現有使用較多的技術是針對每個指標開發不同的ETL程序，這種方案的缺點就是工作量較大，開發周期較長。
技術實現要素：
本發明的目的是提供一種實現動態抽取指標的方法及裝置，目的在於解決現有技術工作量較大，開發周期較長的問題。
為解決上述技術問題，本發明提供一種實現動態抽取指標的方法，包括：
建立配置表，所述配置表用於存儲待抽取指標的配置參數信息；
讀取所述配置表，將所述配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；
創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；
通過所述生成參數文件任務以及所述指標抽取任務，對所述待抽取指標進行調度抽取。
可選地，所述配置參數信息包括：指標代碼、指標名稱、指標類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。
可選地，所述創建指標抽取任務包括：
將目標類型選擇為文件，並且將參數文件的路徑選擇為已建參數文件的路徑。
可選地，還包括：
在所述配置表中插入新的待抽取指標的配置參數信息；
在指標抽取任務中修改與所述新的待抽取指標對應的抽取名稱；
通過所述生成參數文件任務以及指標抽取任務對新的待抽取指標進行調度。
本發明還提供了一種實現動態抽取指標的裝置，包括：
配置表建立模塊，用於建立配置表，所述配置表用於存儲待抽取指標的配置參數信息；
生成參數文件任務創建模塊，用於讀取所述配置表，將所述配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；
指標抽取任務創建模塊，用於創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；
抽取模塊，用於通過所述生成參數文件任務以及所述指標抽取任務，對所述待抽取指標進行調度抽取。
可選地，所述配置參數信息包括：指標代碼、指標名稱、指標類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。
可選地，所述指標抽取任務創建模塊具體用於：
將目標類型選擇為文件，並且將參數文件的路徑選擇為已建參數文件的路徑。
可選地，還包括：
添加抽取指標模塊，用於在所述配置表中插入新的待抽取指標的配置參數信息；在指標抽取任務中修改與所述新的待抽取指標對應的抽取名稱；通過所述生成參數文件任務以及指標抽取任務對新的待抽取指標進行調度。
本發明所提供的實現動態抽取指標的方法及裝置，通過建立配置表，配置表用於存儲待抽取指標的配置參數信息；讀取所述配置表，將配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；通過生成參數文件任務以及指標抽取任務，對待抽取指標進行調度抽取。本申請通過參數文件與資料庫配置表相結合的形式，大大減少了為每個單獨的指標都開發ETL的工作量，縮短了開發時間周期，提高了相關工作人員的工作效率。
附圖說明
為了更清楚的說明本發明實施例或現有技術的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明所提供的實現動態抽取指標的方法的一種具體實施方式的流程圖；
圖2為本發明所提供的實現動態抽取指標的方法中配置表的具體表結構；
圖3為本發明所提供的實現動態抽取指標的方法中配置表的一種具體實施方式示意圖；
圖4為開發mapping的具體示意圖；
圖5為參數文件的設置示意圖；
圖6為開發mapping的具體示意圖二；
圖7為指標抽取任務的創建過程示意圖；
圖8為本發明所提供的實現動態抽取指標的方法的開發過程示意圖；
圖9為本發明實施例提供的實現動態抽取指標的裝置的結構框圖。
具體實施方式
為了使本技術領域的人員更好地理解本發明方案，下面結合附圖和具體實施方式對本發明作進一步的詳細說明。顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
本發明所提供的實現動態抽取指標的方法的一種具體實施方式的流程圖如圖1所示，該方法包括：
步驟S101：建立配置表，所述配置表用於存儲待抽取指標的配置參數信息；
步驟S102：讀取所述配置表，將所述配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；
步驟S103：創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；
步驟S104：通過所述生成參數文件任務以及所述指標抽取任務，對所述待抽取指標進行調度抽取。
本發明所提供的實現動態抽取指標的方法，通過建立配置表，配置表用於存儲待抽取指標的配置參數信息；讀取所述配置表，將配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；通過生成參數文件任務以及指標抽取任務，對待抽取指標進行調度抽取。本申請通過參數文件與資料庫配置表相結合的形式，大大減少了為每個單獨的指標都開發ETL的工作量，縮短了開發時間周期，提高了相關工作人員的工作效率。
需要指出的是，本發明所提供的實現動態抽取指標的方法中，配置參數信息可以具體包括：指標代碼、指標名稱、指標類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。
具體可以使用oracle資料庫，在oracle資料庫中建立一張配置表，用來存儲需要抽取的指標的相關配置信息，包含：指標代碼、指標名稱、指標類型、抽取ETL文件夾名稱、SESSION名稱、獲取表名稱等信息，當然還可以包含其他信息，並不限於上述幾種。本發明所提供的實現動態抽取指標方法中配置表的具體表結構如圖2所示。
以「勞動生產率」指標為例，在配置表中插入「勞動生產率」指標的相關配置信息，關鍵信息為在informatica powercenter中session所在的文件夾，具體信息如圖3配置表的一種具體實施方式示意圖所示。
在上述任一實施例的基礎上，本發明所提供的實現動態抽取指標的方法中創建指標抽取任務的過程可以具體為：
將目標類型選擇為文件，並且將參數文件的路徑選擇為已建參數文件的路徑。
具體地，開發一個將配置表中的信息轉化為informatica powercenter的配置文件，這樣指標的取數sql才能被session獲取到。
(1)抽取的源表為視圖，該視圖將指標抽取sql和報告期拼成參數文件的格式，視圖sql如下：
(2)開發mapping，開發mapping的具體示意圖一如圖4所示。
(3)開發task，目標類型選擇為文件，並且路徑選擇為之前建參數文件的路徑。另外需要注意的地方是分隔符選擇為換行符，至此參數文件相關的開發工作已經完成。具體如圖5參數文件的設置示意圖所示。
參數文件相關的開發工作完成後，開發指標抽取的ETL的具體步驟如下：
(1)開發mapping，如圖6開發mapping的具體示意圖二所示；
(2)開發task，有兩點需要重點注意，一是task的名稱需要與配置表中session名稱一致，二是源表的sql需要使用參數，具體如圖7指標抽取任務的創建過程示意圖所示。
進一步地，本發明還可以包括：
在所述配置表中插入新的待抽取指標的配置參數信息；
在指標抽取任務中修改與所述新的待抽取指標對應的抽取名稱；
通過所述生成參數文件任務以及指標抽取任務對新的待抽取指標進行調度。
在上述實施例的基礎上，假如還需要另外開發一個新指標B，則只需要在配置表中插入指標B的配置信息，然後複製task』FROM_DM_0001』,修改名稱成為與指標B對應的session名稱即可，最後將這些所有的指標以及參數配置文件的task放入workflow中進行調度即可。本發明所提供的實現動態抽取指標的方法的開發過程示意圖如圖8所示。
本實施例通過參數文件與資料庫配置表相結合的形式，大大減少了為每個單獨的指標都開發ETL的工作量，通過本發明可以僅僅通過增加配置記錄，複製task並且修改名稱等簡單的操作就能完成一個指標的ETL開發工作，大大減少了相關工作人員的工作量，提高了工作效率。
下面對本發明實施例提供的實現動態抽取指標的裝置進行介紹，下文描述的實現動態抽取指標的裝置與上文描述的實現動態抽取指標的方法可相互對應參照。
圖9為本發明實施例提供的實現動態抽取指標的裝置的結構框圖，參照圖9實現動態抽取指標的裝置可以包括：
配置表建立模塊100，用於建立配置表，所述配置表用於存儲待抽取指標的配置參數信息；
生成參數文件任務創建模塊200，用於讀取所述配置表，將所述配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；
指標抽取任務創建模塊300，用於創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；
抽取模塊400，用於通過所述生成參數文件任務以及所述指標抽取任務，對所述待抽取指標進行調度抽取。
作為一種具體實施方式，本發明所提供的實現動態抽取指標的裝置中，所述配置參數信息可以具體包括：指標代碼、指標名稱、指標類型、抽取ETL文件夾名稱、抽取名稱、獲取表名稱以及獲取表欄次信息。
在上述任一實施例的基礎上，本發明所提供的實現動態抽取指標的裝置中，指標抽取任務創建模塊可以具體用於：
將目標類型選擇為文件，並且將參數文件的路徑選擇為已建參數文件的路徑。
優選地，本發明所提供的實現動態抽取指標的裝置還可以包括：
添加抽取指標模塊，用於在所述配置表中插入新的待抽取指標的配置參數信息；在指標抽取任務中修改與所述新的待抽取指標對應的抽取名稱；通過所述生成參數文件任務以及指標抽取任務對新的待抽取指標進行調度。
本發明所提供的實現動態抽取指標的裝置，通過建立配置表，配置表用於存儲待抽取指標的配置參數信息；讀取所述配置表，將配置參數信息轉換為預設參數文件的格式，創建生成參數文件任務；創建指標抽取任務，將配置表中的信息轉化為ETL工具的配置文件；通過生成參數文件任務以及指標抽取任務，對待抽取指標進行調度抽取。本申請通過參數文件與資料庫配置表相結合的形式，大大減少了為每個單獨的指標都開發ETL的工作量，縮短了開發時間周期。
本發明可以運用於國家電網人力資源輔助決策系統中，在該系統中完成了以人力資源關鍵指標體系、綜合報表體系、業務分析模型和管理分析報告為主要內容的人力資源統計分析體系建設的目標，達到了與總部數據中心的集成，提供了和企業門戶的典型接入方案。採用本發明所提供的方案，使用informatica powercenter作為ETL抽取工具，抽取了大量的指標用於主題分析。
本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似部分互相參見即可。對於實施例公開的裝置而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬體、計算機軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
結合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬體、處理器執行的軟體模塊，或者二者的結合來實施。軟體模塊可以置於隨機存儲器(RAM)、內存、只讀存儲器(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬碟、可移動磁碟、CD-ROM、或技術領域內所公知的任意其它形式的存儲介質中。
以上對本發明所提供的實現動態抽取指標的方法以及裝置進行了詳細介紹。本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想。應當指出，對於本技術領域的普通技術人員來說，在不脫離本發明原理的前提下，還可以對本發明進行若干改進和修飾，這些改進和修飾也落入本發明權利要求的保護範圍內。