一種基於主數據映射實現跨安全域數據集中的方法
2023-07-15 00:02:26
一種基於主數據映射實現跨安全域數據集中的方法
【專利摘要】本發明公開了一種基於主數據映射實現跨安全域數據集中的方法，屬於數據集成ETL領域。該方法通過主數據一致性檢查及映射，並通過中間件進行數據整合，實現跨安全域的主數據和業務數據的統一：通過定義主數據配置，配置主數據表、欄位、被引用欄位信息，實現主數據一致性檢查的配置；通過對主數據檢查結果，進行主數據的映射定義並定義數據抽取規則，在數據集中時依據主數據映射進行數據的抽取、轉換和加載；通過備份資料庫的方式實現低安全域向高安全域的數據集中。與現有技術相比，本發明的方法可以對不同安全域的數據進行集中，實現物理隔離情況下的數據共享，具有安全性高，對生產環境影響小等特點。
【專利說明】一種基於主數據映射實現跨安全域數據集中的方法
【技術領域】
[0001]本發明涉及數據集成ETL (數據提取、轉換和加載)領域，具體地說是一種基於主數據映射實現跨安全域數據集中的方法。
【背景技術】
[0002]跨不同安全域的數據交換的問題是由於網絡安全的發展而產生的問題，為確保網絡信息系統的安全，對擁有不同網絡安全需求的系統進行網絡安全域的劃分，針對不同的網絡採取網絡隔離技術，用於防止外部的非法攻擊和內部數據的洩漏。但是在信息系統實際應用過程中，信息需要在不同安全域信息系統中進行共享和交換，網絡隔離和數據交換是天生的一對矛盾，如何在高安全域(內網)數據不洩露的情況下，同時解決好網絡安全和實現數據交換是很多安全技術人員一直探索的話題，因此，打破由網絡安全隔離造成的眾多的信息孤島已經成為迫切需要解決的問題。
【發明內容】
[0003]本發明的技術任務是針對上述現有技術的不足，提供一種基於主數據映射實現跨安全域數據集中的方法。本發明在詳細分析了當前在信息安全要求較高的行業，不同安全域、物理隔離的網絡環境下，數據集成面臨的各種問題，提出了一種信息集成的技術途徑和實現方法。解決了對信息安全要求較高的行業、不同安全域環境下數據共享的方式，實現了物理隔離環境下的數據共享。通過在低安全域備份資料庫的方式，統一導入至高安全域中來實現數據的集中和共享；通過物理隔離的不同系統的主數據一致性檢查和映射匹配，來實現主數據及業務數據的統一。
[0004]本發明的技術任務是按以下方式實現的:一種基於主數據映射實現跨安全域數據集中的方法，其特點是通過主數據一致性檢查及映射，並通過中間件進行數據整合，實現跨安全域的主數據和業務數據的統一:
通過定義主數據配置，配置主數據表、欄位、被引用欄位信息，實現主數據一致性檢查的配置；
通過對主數據檢查結果，進行主數據的映射定義並定義數據抽取規則，在數據集中時依據主數據映射進行數據的抽取、轉換和加載；
通過備份資料庫的方式實現低安全域向高安全域(內網)的數據集中。
[0005]具體來說，上述方法包括低安全域業務資料庫的鏡像備份與還原、高安全域(內網)與低安全域的主數據的一致性檢查及匹配:
低安全域業務資料庫的鏡像備份與還原:以高安全域(內網)的應用系統為主數據中心，在各個跨域的資料庫進行數據共享或數據集中時，將低安全域的資料庫備份、刻盤並還原至高安全域(內網)中；
高安全域(內網)與低安全域的主數據的一致性檢查及匹配:在每次數據集成時，對所有的主數據進行一致性檢查，如有不符合的主數據，根據各個應用系統業務數據的使用進行自動或手動匹配，確保在集中資料庫內各業務系統的數據的可用和有效。
[0006]主數據進行一致性檢查時，對於檢查通過的主數據進行自動映射；對於檢查不同的主數據進行手工映射，將主數據的對應關係和轉換邏輯存儲於映射表中。
[0007]進行數據集中時，將各個部署節點的數據集中至集中資料庫，根據映射關係和轉換邏輯進行數據轉換，將業務數據和主數據進行統一。
[0008]上述低安全域包括外網、獨立網路及內網單位獨立網路。
[0009]另外，可以將每次數據集成的操作記錄都記錄在系統中，例如:操作人、操作時間、操作的數據、是否有異常信息等。如果出現數據問題，能夠及時跟蹤處理，可以作為防抵賴的重要依據。
[0010]已通過測試驗證，本發明的基於主數據映射實現跨安全域數據集中的方法實現了跨安全域的數據集成和數據共享，解決了不同物理隔離網絡環境下的信息孤島的問題。與現有技術相比具有以下突出地有益效果:
(一)安全性高
切斷了高安全域到低安全域的數據流向，徹底避免了洩密數據的可能。大大減少了應用系統安全保密的風險。
[0011](二)對生產環境影響小
由於本方案採用數據集中庫的方式，儘量減小了對於各個網絡的生產庫的影響，對於各生產庫而言，僅限於進行抽取數據，對生產環境影響較小。
【專利附圖】
【附圖說明】
[0012]附圖1是本發明方法中數據流向圖；
附圖2是本發明實施例中的數據集中操作流程圖；
附圖3是本發明實施例中的手工映射的流程圖。
【具體實施方式】
[0013]參照說明書附圖以具體實施例對本發明的基於主數據映射實現跨安全域數據集中的方法作以下詳細地說明。
[0014]如附圖1所示:本發明的基於主數據映射實現跨安全域數據集中的方法主要通過以下兩個步驟實現數據集中:
1、低安全域(外網)業務資料庫的鏡像備份與還原
以內網的應用系統為主數據中心，在各個跨域的資料庫進行數據共享或數據集中時，首先將外網、各個獨立網絡的資料庫備份、刻盤並還原至內網中，這樣所有的跨域的各個應用系統的數據就統一在內網中，大大減輕了跨域數據集成的壓力。
[0015]2、高安全域(內網)與外網的主數據的一致性檢查及匹配。
[0016]主數據的統一是數據集成中一項非常重要的工作，同時也本方案數據集中最為關鍵的一個環節，在各個網內的應用系統主數據上要保持統一，本方案針對於此，在每次數據集成時，都會將所有的主數據進行一致性檢查，如有不符合的主數據，將根據各個應用系統業務數據的使用進行自動匹配，確保在集中庫內各業務系統的數據的可用和有效。
[0017]從上述方法數據流向圖可知，最核心的部分就是主數據一致性檢查及業務數據映射，從而實現數據的大集中。
[0018]上述方法在整個數據集中操作流程上分為四步操作，操作流程如附圖1所示。
[0019]1、系統參數設置
系統參數的設置主要設置數據集中時系統級的參數的初始，包括主數據的映射內容的配置。
[0020]2、外網數據備份及恢復
此步驟由於是不同安全域的內外網隔離，只能通過備份外網的資料庫，通過刻盤操作
導入至內網並恢復新庫中形成鏡像庫。
[0021]3、主數據一致性檢查
根據第一步主數據配置的內容，對內網中各個信息庫的數據進行一致性檢查，根據檢
查的不同結構進行數據的映射匹配。
[0022]4、數據映射匹配
根據上一步的檢查結果，對於檢查通過的主數據進行自動映射，對於檢查不同的主數
據進行手工映射，將主數據的對應關係和轉換邏輯存儲於映射表中。
[0023]數據映射存儲如下:
【權利要求】
1.一種基於主數據映射實現跨安全域數據集中的方法，其特徵在於通過主數據一致性檢查及映射，並通過中間件進行數據整合，實現跨安全域的主數據和業務數據的統一: 通過定義主數據配置，配置主數據表、欄位、被引用欄位信息，實現主數據一致性檢查的配置； 通過對主數據檢查結果，進行主數據的映射定義並定義數據抽取規則，在數據集中時依據主數據映射進行數據的抽取、轉換和加載； 通過備份資料庫的方式實現低安全域向高安全域的數據集中。
2.根據權利要求1所述的基於主數據映射實現跨安全域數據集中的方法，其特徵在於，該方法包括低安全域業務資料庫的鏡像備份與還原、高安全域與低安全域的主數據的一致性檢查及匹配: 低安全域業務資料庫的鏡像備份與還原:以高安全域的應用系統為主數據中心，在各個跨域的資料庫進行數據共享或數據集中時，將低安全域的資料庫備份、刻盤並還原至高安全域中； 高安全域與低安全域的主數據的一致性檢查及匹配:在每次數據集成時，對所有的主數據進行一致性檢查，如有不符合的主數據，根據各個應用系統業務數據的使用進行自動或手動匹配，確保在集中資料庫內各業務系統的數據的可用和有效。
3.根據權利要求2所述的基於主數據映射實現跨安全域數據集中的方法，其特徵在於，主數據進行一致性檢查時，對於檢查通過的主數據進行自動映射；對於檢查不同的主數據進行手工映射，將主數據的對應關係和轉換邏輯存儲於映射表中。
4.根據權利要求3所述的基於主數據映射實現跨安全域數據集中的方法，其特徵在於，進行數據集中時，將各個部署節點的數據集中至集中資料庫，根據映射關係和轉換邏輯進行數據轉換，將業務數據和主數據進行統一。
5.根據權利要求1所述的基於主數據映射實現跨安全域數據集中的方法，其特徵在於，所述低安全域包括外網、獨立網路及內網單位獨立網路。
【文檔編號】G06F11/14GK103853843SQ201410104295
【公開日】2014年6月11日 申請日期:2014年3月20日 優先權日:2014年3月20日
【發明者】郎松濤, 史作祥, 黃存勝 申請人:浪潮集團山東通用軟體有限公司