一種針對db2數據倉庫進行數據抽取、調度及展現的方法
2023-08-04 07:23:26
專利名稱：一種針對db2數據倉庫進行數據抽取、調度及展現的方法
技術領域：
本發明是數據倉庫應用領域中，針對複雜資料庫模型和業務邏輯的應用需求，提出的如何快速進行數據抽取、調度及展現的方法。
背景技術：
數據倉庫是大型企業消除信息孤島，實現信息共享，為領導層提供數據分析、決策輔助的重要信息系統。在數據倉庫應用領域，電信等行業的數據量通常有幾百乃至上千TB，每天新增、更新的數據也接近TB級別。相對而言，整個系統涉及到的表數以千計。數據調度工作是整個數據倉庫正常運行的基礎，數據調度的準確性和及時性直接影響到數據倉庫的正常應用， 因此數據調度工作要求相當高，即需要在規定的時間內保證調度的正確執行，並解決相關異常情況。如何及時、準確、有效地實現數據的抽取、轉換和裝載，為上層應用提供支撐，需要研究開發一套行之有效的數據抽取、調度和展現方案。
發明內容
本發明要解決的技術問題是針對目前流行的數據倉庫開發、調度和展現的流程缺陷，提供一種針對DB2數據倉庫進行數據抽取、調度及展現的方法。本發明針對DB2數據倉庫進行數據抽取、調度及展現的方法，包括以下步驟
(1)開發人員從開發任務伺服器領取開發任務，根據數據倉庫的數據模型，和業務邏輯，利用IBM客戶端工具Design Studio,用圖形方式描述存儲過程邏輯，並部署為 DataStage可執行文件。解析DataStage可執行文件，提取、轉換成可執行的SQL語句。將獲得的SQL語句填充到預先設計好的存儲過程模版中，然後更新開發任務伺服器上的任務狀態；
(2)開發任務伺服器根據更新的任務狀態，通知調度人員有新的調度開發任務，調度人員利用Powercenter工具快速開發調度任務，對生成的存儲過程進行調度，生成目標表，然後更新刷新任務伺服器上的目標表調度完成狀態；
(3)利用cognos多維cube刷新命令設計出自動刷新腳本。多維刷新進程定時查詢刷新任務伺服器上的目標表調度完成狀態，對已調度完成的目標表，進行自動調度Cube刷新；
(4)如果自動調度Cube刷新失敗，通過簡訊通知管理員。由管理員進行手工刷新，實現刷新數據的及時展現。
圖1是本發明的流程圖。圖中，1，開始狀態；2，利用Design Mudio描述存儲過程邏輯，並部署為DatMtage可執行文件；3，解析DatMtage可執行文件，提取、轉換成可執行的SQL語句；4，將獲得的SQL語句填充到預先設計好的存儲過程模版中，生成存儲過程；5， 利用Powercenter工具快速開發調度任務，對生成的存儲過程進行調度，生成目標表；6，定時掃描；7，是否刷新；8，生成刷新腳本；9，自動刷新腳本；10，自動執行是否成功；11，更新 Cube信息表；12，簡訊通知；13，簡訊告警；14，手動管理；15，檢索Cube信息表獲得更新信息；16，生成並執行腳本；17，手工執行是否成功。
具體實施例方式下面結合附圖對發明的技術方案進行詳細說明
如圖1所示，針對後期運維需求設計好存儲過程模板和日誌表；藉助IBM客戶端工具 Design Studio新建數據倉庫工程，用圖形方式描述存儲過程邏輯，並部署為DataStage可執行文件；解析DatMtage可執行文件，提取、轉換成可執行的SQL語句；將提取的SQL語句填充到前期中設計好的存儲過程模版中，生成存儲過程。然後利用Powercenter工具，進行調度邏輯的開發。ETL系統調度的設計思想是4 級從上往下進行逐級管理控制，頂級是ETL系統總體控制，對源系統0SSA層0S0R0BML0DM 這4層進行逐層管理調度，第二級是層控制，即每層的總體控制，第三級是域控制，即在每層中按數據抽取任務的業務類型進行按域分類控制，第四級即是詳細的數據抽取任務，由 Session和Procedure組成。最終生成目標表。對調度生成的目標表，利用cognos多維cube刷新命令進行數據刷新，達到數據展示的目的首先，通過對cube信息表的掃描，獲得需要刷新的cube信息，根據掃描結果自動生成並行腳本；根據cube等級信息，分成1，2，3，4等級等級1並行數為1 ；等級2並行數為 2以此類推。根據等級生成並行腳本對於等級1生成一個執行腳本LEVEL10. sh串行存入等級為1的cube刷新腳本；對於等級2生成兩個執行腳本LEVEL20. sh和LEVEL21. sh,分別向這兩個腳本中存入等級為2的cube刷新腳本；對於等級3生成三個執行腳本LEVEL30. sh、LEVEL31. sh和LEVEL32. sh,分別向這三個腳本中存入等級為3的cube刷新腳本；對於等級 4 生成四個執行腳本 LEVEL40. sh、LEVEL41. sh、LEVEL42. sh 和 LEVEL43. sh,分別向這四個腳本中存入等級為4的cube刷新腳本；將不同等級執行腳本存入不同目錄中。然後，並行執行每個目錄中的腳本，各個目錄執行順序串行，實現LEVEL40. sh LEVEL43. sh 並行，LEVEL30. sh LEVEL32. sh 並行，LEVEL20. sh LEVEL21. sh 並行，LEVEL10. sh。以上四項之間串行。自動調度刷新與手動管理相結合的系統實現方法，其特徵在於
a)當自動調度刷新出現錯誤，通過簡訊告警通知相關人員，進入手動管理系統對問題進行及時解決；
b)手動刷新管理系統與自動調度刷新相結合，互為補充，完善單個模式無法做到的及時性，安全性，效率與容錯相兼容的功能。
權利要求
1. 一種針對DB2數據倉庫進行數據抽取、調度及展現的方法，其特徵在於包括以下步驟(1)用戶根據數據倉庫的數據模型和業務邏輯，利用IBM客戶端工具DesignStudio, 用圖形方式描述存儲過程邏輯，並部署為DataStage可執行文件；解析DataStage可執行文件，提取、轉換成可執行的SQL語句；將獲得的SQL語句填充到預先設計好的存儲過程模版中；(2)利用Powercenter工具開發調度任務，對生成的存儲過程利用Powercenter工具進行調度，生成目標表；(3)對調度生成的目標表，利用cognos多維cube刷新命令設計出腳本進行自動調度；(4)如果自動調度失敗，通過簡訊通知管理員，由管理員使用TOB界面的管理系統刷新，實現刷新數據的及時展現。
全文摘要
本發明公開了一種針對DB2數據倉庫進行數據抽取、調度及展現的方法，包括以下步驟用戶根據數據倉庫的數據模型，和業務邏輯，利用IBM工具快速生成存儲過程；然後利用Powercenter工具快速開發出調度任務，對存儲過程進行調度；對調度生成的目標表，利用cognos多維cube刷新命令設計出腳本進行自動調度和管理系統兩種互為補足的刷新方式，實現刷新數據的及時展現。本發明充分利用了多款工具的特性並將他們相結合，實現了數據抽取、調度和展現的快速實現，提高了工作效率。
文檔編號G06F17/30GK102339323SQ20111035639
公開日2012年2月1日 申請日期2011年11月11日 優先權日2011年11月11日
發明者劉榮, 王培亞 申請人:江蘇鴻信系統集成有限公司