一種面向sappi應用集成平臺的數據採集方法及系統的製作方法
2023-05-26 06:34:21
一種面向sap pi應用集成平臺的數據採集方法及系統的製作方法
【專利摘要】本發明涉及一種面向SAP?PI應用集成平臺的數據採集方法，採用分段式採集模式，實現零配置的業務數據轉換，包括以下步驟：S1、採集SAP?PI平臺中的數據交換接口模型定義數據，並導入系統；S2、對該數據交換接口模型定義數據進行數據處理，生成對應的業務數據模型及配套的業務數據表；S3、從SAP?PI平臺中採集業務交換數據，並導入系統；S4、根據預生成的業務數據模型，解析該業務交換數據，進行數據轉換，並存儲於相應的業務數據表中。本發明能夠實現高效準確的SAP?PI平臺的數據採集工作，確保業務數據採集的完整性。
【專利說明】—種面向SAP Pl應用集成平臺的數據採集方法及系統
【技術領域】
[0001]本發明屬於計算機領域，涉及面向SAP PI應用集成平臺的一種數據採集方法及系統。
【背景技術】
[0002]數據集成已成為企業信息化過程中不可或缺的一個重要組成部分，目前大量的業務數據均通過數據集成平臺進行數據交換，從而實現企業業務流程跨應用流轉。SAP PI平臺作為SAP ERP系統配套的數據集成平臺，在電力、鋼鐵、菸草等行業已實施SAP ERP的企業被廣泛使用。
[0003]目前企業基於對數據集中管控的價值出發，期望對業務全過程進行管理，需要實現從數據集成平臺獲取全過程數據，從而實現數據的一體化利用。
[0004]目前面向數據集成平臺的數據採集系統大多採用2種方式:
1.在數據集成平臺上開發相應的接口，將每次數據交換都轉發一份給數據採集系統，這種方式一則增加數據集成平臺的負載，二則交換接口變換的同時也需要同步修改；
2.在數據採集系統上部署一套對應的接口定義工具，每次針對接口變化均需要調整相應的接口定義和業務數據結構，可維護性較差，且容易造成業務數據不一致或丟失。
[0005]因此，需要本領域技術人員迫切解決的一個技術問題就是:如何面對企業業務變化，靈活地完成對數據集成平臺變化的快速適配，從而確保業務數據的採集完整性及高效性。
【發明內容】
[0006]為了解決上述的技術問題，本發明的第一個目的是提供一種面向SAP PI應用集成平臺的數據採集方法，該方法無需額外配置，即可方便快捷地從SAP PI應用集成平臺環境中更新接口模型，並採集分析相關交換數據，按業務數據結構保存至傳統物理資料庫中，從而支撐傳統數據挖掘及業務分析類系統。本發明的第二個目的是提供一種面向SAP PI應用集成平臺的數據採集系統。
[0007]為了實現上述的第一個目的，本發明採用了以下的技術方案:
一種面向SAP PI應用集成平臺的數據採集方法，採用分段式採集模式，實現零配置的業務數據轉換，包括以下步驟:
51、採集SAPPI平臺中的數據交換接口模型定義數據，並導入系統；
52、對該數據交換接口模型定義數據進行數據處理，生成對應的業務數據模型及配套的業務數據表；
53、從SAPPI平臺中採集業務交換數據，並導入系統；
54、根據預生成的業務數據模型，解析該業務交換數據，進行數據轉換，並存儲於相應的業務數據表中。
[0008]優選地，所述的步驟SI進一步包括:S11、採集服務單元發送基於SOAP協議的數據交換接口模型定義查詢請求至SAP PI平臺對應的服務接口；S12、服務接口調用SAP PI內部API接口獲取相應的數據交換接口模型定義數據及數據交換接口模型變更日誌信息；S13、服務接口將查詢結果返回採集服務單元；S14、採集服務單元將所採集到的數據提交數據處理單元處理。
[0009]優選地，所述的步驟S2進一步包括:S21、數據處理單元對採集到的數據交換接口模型變更日誌信息進行識別，如為新增數據交換接口模型操作則進入S22步驟，如為修改數據交換接口模型操作則進入S23步驟，如為刪除數據交換接口模型操作則進入S24步驟；S22、解析相應的數據交換接口模型定義數據，根據數據交換接口模型定義結構生成業務數據模型結構，並根據業務數據模型結構在資料庫中生成一組配套的業務數據表；S23、解析相應的數據交換接口模型定義數據，並查詢本地存儲的業務數據模型結構，並進行比對處理，採用多版本管理的方式實現業務數據模型結構的管理，採用增量式維護的方式實現業務數據表的管理；S24、解析相應的數據交換接口模型定義數據，並查詢本地存儲的業務數據模型結構，並進行廢棄處理。
[0010]優選地，所述的步驟S3進一步包括:S31、採集服務單元發送基於SOAP的業務交換數據查詢請求至SAP PI平臺對應的服務接口 ；S32、服務接口調用SAP PI內部API接口獲取相應的業務交換數據及平臺交換日誌信息；S33、服務接口將查詢結果返回採集服務單元；S34、採集服務單元將所採集到的數據提交數據處理模塊處理。
[0011]優選地，所述的步驟S4進一步包括:S41、數據處理單元對採集到的業務交換數據進行識別，分析所屬的接口模型；S42、根據接口模型屬性從系統中提取業務數據模型的最新結構定義；S43、根據該業務數據模型定義，將交換數據從XML格式轉換成JAVA對象格式；S44、根據該業務數據模型定義，將JAVA對象格式轉換成業務數據集，並保存至資料庫相應的業務表中。
[0012]為了實現上述的第二個目的，本發明採用了以下的技術方案:
一種面向SAP PI應用集成平臺的數據採集系統，該採集系統包括:
1)配置管理單元，用於配置SAPPI平臺相關參數信息及採集策略；
2)SAP PI平臺服務接口，用來完成SAP PI平臺與數據採集單元之間的請求控制及數據交互；
3)數據採集單元，用於從SAPPI平臺採集相應的接口模型定義和交換數據；
4)數據分析單元，用於識別接口模型定義與交換數據，並持久化至資料庫中；
5)數據發布單元，用於發布數據模型結構信息及結構化的業務數據。
[0013]優選地，所述的配置管理單元還包括:PI平臺參數管理模塊，用來配置管理源PI平臺的伺服器地址及管理埠等參數信息；採集策略配置管理模塊，用來針對採集周期、採集接口等採集相關的參數信息進行配置管理。
[0014]優選地，所述的SAP PI平臺服務接口還包括:接口模型定義查詢接口，用於處理接口模型定義查詢服務；交換數據查詢接口，用於處理交換數據查詢服務。
[0015]優選地，所述的數據採集單元還包括:接口模型定義採集模塊，用於採集SAP PI平臺上的接口模型定義數據；交換數據採集模塊，用於採集SAP PI平臺上的交換數據。
[0016]優選地，所述的數據處理單元還包括:接口模型定義處理模塊，用於處理接口模型定義數據的轉換、生成相應的數據模型及數據表；交換數據處理模塊，用來處理交換數據的轉換，實現各類主從結構數據的自動持久化。
[0017]優選地，所述的接口模型定義處理模塊還包括:用於接口模型版本管理，實現平臺接口變化響應與業務數據完整性。
[0018]優選地，所述的數據發布單元還包括:業務數據模型發布模塊，用於發布系統存儲的業務數據模型列表及相應的業務數據模型結構。業務數據發布模塊，用於根據指定的參數實現業務數據的查詢及發布。
[0019]與現有技術相比，本申請具有以下優點:
本申請通過接口模型與交換數據的分段式採集機制，實現了零配置的SAP PI平臺的交換數據採集，例如接口模型變化，可通過接口模型定義採集，更新系統中的數據模型，實現版本管理，完成業務數據表的增量修改，有效避免了因接口模型變化而帶來的採集延時或業務數據丟失。可見，通過本申請，能夠實現高效準確的SAP PI平臺的數據採集工作，確保業務數據採集的完整性。
【專利附圖】
【附圖說明】
[0020]圖1是本發明提供的數據採集方法的流程圖。
[0021]圖2是本發明提供的接口模型採集的流程圖。
[0022]圖3是本發明提供的接口模型處理的流程圖。
[0023]圖4是本發明提供的業務數據採集的流程圖。
[0024]圖5是本發明提供的業務數據處理的流程圖。
[0025]圖6是本發明提供的一種數據採集系統的結構圖。
【具體實施方式】
[0026]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
[0027]本發明提供了一種面向SAP PI平臺的數據採集方法，該方法由計算機內的數據採集系統完成，該方法如圖1所述，包括:
51、採集SAPPI平臺中的數據交換接口模型定義數據，並導入系統；
52、對該數據交換接口模型定義數據進行數據處理，生成對應的業務數據模型及配套的業務數據表；
53、從SAPPI平臺中採集業務交換數據，並導入系統；
54、根據預生成的業務數據模型，解析該業務交換數據，進行數據轉換，並存儲於相應的業務數據表中。
[0028]本發明提供的方法能夠通過計算機內的數據採集系統一鍵式完成面向SAP PI應用集成平臺的數據採集及分析工作，並持久化至物理資料庫的結構化數據表中，所以本發明提供的方法具有配置工作量少，採集耗時少的優點，另外，由於上述方法完成由計算機完成，所以其不會因為人為原因出錯，所以其具有出錯率低的優點。
[0029]可選的，實現SI的方法的步驟具體可以如圖2所示，可以包括如下步驟:
S11、採集服務單元發送基於SOAP協議的數據交換接口模型定義查詢請求至SAP PI平臺對應的服務接口；
需要說明的是，所述的數據交換接口模型定義查詢請求在實際應用中採用XML格式，請求參數包含查詢起始日期，查詢終止日期。
[0030]S12、服務接口調用SAP PI內部API接口獲取相應的數據交換接口模型定義數據及數據交換接口模型變更日誌信息；
S13、服務接口將查詢結果返回採集服務單元；
需要說明的是，所述的服務接口將查詢結果返回採集服務單元為同步方式，在實際應用中，受返回數據量及SAP PI平臺負載等因素考慮，可採用異步返回的機制。
[0031]S14、採集服務單元將所採集到的數據提交數據處理單元處理。
[0032]具體的，所述的採集服務單元將所採集到的數據提交數據處理單元處理採用JAVA隊列的方式進行。
[0033]可選的，實現S2的方法的步驟具體可以如圖3所示，可以包括如下步驟:
521、數據處理單元對採集到的數據交換接口模型變更日誌信息進行識別，如為新增數據交換接口模型操作則進入S22步驟，如為修改數據交換接口模型操作則進入S23步驟，如為刪除數據交換接口模型操作則進入S24步驟；
522、解析相應的數據交換接口模型定義數據，根據數據交換接口模型定義結構生成業務數據模型結構，並根據業務數據模型結構在資料庫中生成一組配套的業務數據表；
需要說明的是，所述業務數據模型結構支持單主表結構、主從表結構及複合主從結構結構，通過資料庫存儲方式存儲結構。
[0034]需要說明的是，業務數據模型在物理資料庫中的存儲格式具體可以如下:
【權利要求】
1.一種面向SAP PI應用集成平臺的數據採集方法，其特徵在於採用分段式採集模式，實現零配置的業務數據轉換，包括以下步驟: S1、採集SAPPI平臺中的數據交換接口模型定義數據，並導入系統； S2、對該數據交換接口模型定義數據進行數據處理，生成對應的業務數據模型及配套的業務數據表； S3、從SAPPI平臺中採集業務交換數據，並導入系統； S4、根據預生成的業務數據模型，解析該業務交換數據，進行數據轉換，並存儲於相應的業務數據表中。
2.根據權利要求1所述的數據採集方法，其特徵在於，所述的步驟SI進一步包括: S11、採集服務單元發送基於SOAP協議的數據交換接口模型定義查詢請求至SAPPI平臺對應的服務接口； S12、服務接口調用SAPPI內部API接口獲取相應的數據交換接口模型定義數據及數據交換接口模型變更日誌信息； S13、服務接口將查詢結果返回採集服務單元； S14、採集服務單元將所採集到的數據提交數據處理單元處理。
3.根據權利要求1所述的數據採集方法，其特徵在於，所述的步驟S2進一步包括: S21、數據處理單元對採集到的數據交換接口模型變更日誌信息進行識別，如為新增數據交換接口模型操作則進入S22步驟，如為修改數據交換接口模型操作則進入S23步驟，如為刪除數據交換接口模型操作則進入S24步驟； S22、解析相應的數據交換接口模型定義數據，根據數據交換接口模型定義結構生成業務數據模型結構，並根據業務數據模型結構在資料庫中生成一組配套的業務數據表； S23、解析相應的數據交換接口模型定義數據，並查詢本地存儲的業務數據模型結構，並進行比對處理，採用多版本管理的方式實現業務數據模型結構的管理，採用增量式維護的方式實現業務數據表的管理； S24、解析相應的數據交換接口模型定義數據，並查詢本地存儲的業務數據模型結構，並進行廢棄處理。
4.根據權利要求1所述的數據採集方法，其特徵在於，所述的步驟S3進一步包括: S31、採集服務單元發送基於SOAP的業務交換數據查詢請求至SAPPI平臺對應的服務接口 ； S32、服務接口調用SAPPI內部API接口獲取相應的業務交換數據及平臺交換日誌信息； S33、服務接口將查詢結果返回採集服務單元； S34、採集服務單元將所採集到的數據提交數據處理模塊處理。
5.根據權利要求1所述的數據採集方法，其特徵在於，所述的步驟S4進一步包括: S41、數據處理單元對採集到的業務交換數據進行識別，分析所屬的接口模型； S42、根據接口模型屬性從系統中提取業務數據模型的最新結構定義； S43、根據該業務數據模型定義，將交換數據從XML格式轉換成JAVA對象格式； S44、根據該業務數據模型定義，將JAVA對象格式轉換成業務數據集，並保存至資料庫相應的業務表中。
6.一種面向SAP PI應用集成平臺的數據採集系統，其特徵在於，該採集系統包括: 1)配置管理單元，用於配置SAPPI平臺相關參數信息及採集策略； 2)SAP PI平臺服務接口，用來完成SAP PI平臺與數據採集單元之間的請求控制及數據交互； 3)數據採集單元，用於從SAPPI平臺採集相應的接口模型定義和交換數據； 4)數據分析單元，用於識別接口模型定義與交換數據，並持久化至資料庫中； 5)數據發布單元，用於發布數據模型結構信息及結構化的業務數據。
7.根據權利要求6所述的面向SAPPI應用集成平臺的數據採集系統，其特徵在於，所述的配置管理單元還包括: PI平臺參數管理模塊，用來配置管理源PI平臺的伺服器地址及管理埠等參數信息； 採集策略配置管理模塊，用來針對採集周期、採集接口等採集相關的參數信息進行配置管理。
8.根據權利要求6所述的面向SAPPI應用集成平臺的數據採集系統，其特徵在於，所述的SAP PI平臺服務接口還包括: 接口模型定義查詢接口，用於處理接口模型定義查詢服務； 交換數據查詢接口，用於處理交換數據查詢服務。
9.根據權利要求6所述的面向SAPPI應用集成平臺的數據採集系統，其特徵在於，所述的數據採集單元還包括: 接口模型定義採集模塊，用於採集SAP PI平臺上的接口模型定義數據； 交換數據採集模塊，用於採集SAP PI平臺上的交換數據。
10.根據權利要求6所述的面向SAPPI應用集成平臺的數據採集系統，其特徵在於，所述的數據處理單元還包括: 接口模型定義處理模塊，用於處理接口模型定義數據的轉換、生成相應的數據模型及數據表； 交換數據處理模塊，用來處理交換數據的轉換，實現各類主從結構數據的自動持久化。
11.根據權利要求10所述的面向SAPPI應用集成平臺的數據採集系統，其特徵在於，所述的接口模型定義處理模塊還包括: 用於接口模型版本管理，實現平臺接口變化響應與業務數據完整性。
12.根據權利要求6所述的面向SAPPI應用集成平臺的數據採集系統，其特徵在於，所述的數據發布單元還包括: 業務數據模型發布模塊，用於發布系統存儲的業務數據模型列表及相應的業務數據模型結構；業務數據發布模塊，用於根據指定的參數實現業務數據的查詢及發布。
【文檔編號】G06F17/40GK103577614SQ201310548841
【公開日】2014年2月12日 申請日期:2013年11月7日 優先權日:2013年11月7日
【發明者】張敏, 黃衛忠, 朱立明, 季琦, 錢傑, 俞翔, 朱國煥 申請人:浙江中煙工業有限責任公司