數據倉庫的數據處理基礎架構的製作方法

2023-10-21 05:00:42

數據倉庫的數據處理基礎架構的製作方法
【專利摘要】一種數據倉庫的數據處理基礎架構，包括第二核心交換機、虛擬區域網交換機、第一光纖交換機和第二光纖交換機，還包括第一併行專業系統硬體伺服器群、數據倉庫硬體伺服器群和第二並行專業系統硬體伺服器群，各伺服器群分別與第二核心交換機、虛擬區域網交換機、第一光纖交換機和第二光纖交換機建立通信鏈路。這樣軟體系統在業務數據建模的時候考慮維度設計時就可以區分並行系統的相同模型下的數據。在進行主數據加載考慮數據流設計時，從數據處理基礎架構獲得可區分的並行兩系統的主數據。
【專利說明】數據倉庫的數據處理基礎架構
【技術領域】
[0001]本實用新型涉及一種數據處理的硬體結構，特別是涉及一種海量數據處理的硬體結構。
【背景技術】
[0002]在集團企業中實施ERP中，集團中的有限公司會採用獨立的ERP專業系統，例如在集團公司採用完整的SAP的開發、測試、採集調試和生產等專業系統，而在不同的二級企業也會採用完整的開發、測試、採集調試和生產系統，但是集團層面建立數據倉庫時對來自不同專業系統的數據處理會出現以下問題:
[0003]由於數據來源於兩套業務系統，集團和有限公司的業務數據，如採購訂單、銷售訂單等等，可能會出現編碼範圍重複。
[0004]由於數據來源於兩套業務系統，集團和有限公司的主數據，包括人力數據、物料編碼等等，可能會出現編碼重複。
實用新型內容
[0005]本實用新型的目的是提供一種數據倉庫的數據處理基礎架構，利用改變數據倉庫與並行系統數據處理的基礎硬體架構，解決現有並行的業務系統數據無法在數據倉庫進行有效數據處理的技術問題。
[0006]本實用新型的數據倉庫的數據處理基礎架構，包括第二核心交換機、虛擬區域網交換機、第一光纖交換機和第二光纖交換機，還包括第一併行專業系統硬體伺服器群、數據倉庫硬體伺服器群和第二並行專業系統硬體伺服器群，各伺服器群分別與第二核心交換機、虛擬區域網交換機、第一光纖交換機和第二光纖交換機建立通信鏈路。
[0007]所述第一併行專業系統硬體伺服器群包括第一開發伺服器、第一測試伺服器、第一採集與調試伺服器和第一生產伺服器，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機，每個伺服器的第二數據埠連接虛擬區域網交換機，每個伺服器的第三數據埠連接第一光纖交換機，每個伺服器的第四數據埠連接第二光纖交換機。
[0008]所述數據倉庫硬體伺服器群包括第二開發伺服器、第二測試伺服器、第二採集與調試伺服器、第三採集與調試伺服器和第二生產伺服器，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機，每個伺服器的第二數據埠連接虛擬區域網交換機，每個伺服器的第三數據埠連接第一光纖交換機，每個伺服器的第四數據埠連接第二光纖交換機。
[0009]所述第二並行專業系統硬體伺服器群包括第四採集與調試伺服器和第三生產伺服器，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機，每個伺服器的第二數據埠連接虛擬區域網交換機，每個伺服器的第三數據埠連接第一光纖交換機，每個伺服器的第四數據埠連接第二光纖交換機。[0010]還包括日誌伺服器，第一存儲伺服器、第二存儲伺服器和磁帶機，實例伺服器，核心資料庫伺服器；核心資料庫伺服器的第一組電數據埠與第一核心交換機建立冗餘數據鏈路，核心資料庫伺服器的第二組電數據埠與第二核心交換機建立冗餘數據鏈路，核心資料庫伺服器的第三組電數據埠與虛擬區域網交換機的不同網段建立數據鏈路，實例伺服器的第一組電數據埠與第一核心交換機建立冗餘數據鏈路，實例伺服器的第二組電數據埠與虛擬區域網交換機的不同網段建立數據鏈路。核心資料庫伺服器的第一組光數據埠與第一光纖交換機建立數據鏈路，核心資料庫伺服器的第二組光數據埠與第二光纖交換機建立數據鏈路。第一光纖交換機和第二光纖交換機通過光數據埠分別與日誌伺服器，第一存儲伺服器、第二存儲伺服器和磁帶機建立數據鏈路。
[0011]本實用新型的數據倉庫的數據處理基礎架構中，將並行系統中的源數據生成的專業系統的硬體架構歸一化，使得在源數據生成系統統一的基礎上，區別專業系統不同分支形成的專業系統，並將樹形結構的專業系統與數據倉庫的硬體架構對接，從硬體架構上保證了軟體專業系統中數據可朔源，可以根據硬體架構確定數據的差異性和相關性。這樣軟體系統在業務數據建模的時候考慮維度設計時就可以區分並行系統的相同模型下的數據。在進行主數據加載考慮數據流設計時，從數據處理基礎架構獲得可區分的並行兩系統的主數據。
[0012]下面結合附圖對本實用新型的實施例作進一步說明。
【專利附圖】

【附圖說明】
[0013]圖1為本實用新型數據倉庫的數據處理基礎架構的硬體體系結構示意圖；
[0014]圖2為本實用新型數據倉庫的數據處理基礎架構的並行系統連接結構示意圖；
[0015]圖3為利用本實用新型數據倉庫的數據處理基礎架構的軟體系統的結構示意圖；
[0016]圖4為利用本實用新型數據倉庫的數據處理基礎架構進行軟體系統優化時的方法流程圖。
【具體實施方式】
[0017]如圖1所示，本實施例中包括第一核心交換機11、第二核心交換機12、虛擬區域網交換機15、第一光纖交換機13和第二光纖交換機14，還包括日誌伺服器19，第一存儲伺服器16、第二存儲伺服器17和磁帶機18，實例伺服器51，核心資料庫伺服器52，核心資料庫伺服器52的第一組電數據埠與第一核心交換機11建立冗餘數據鏈路，核心資料庫伺服器52的第二組電數據埠與第二核心交換機12建立冗餘數據鏈路，核心資料庫伺服器52的第三組電數據埠與虛擬區域網交換機15的不同網段建立數據鏈路，實例伺服器51的第一組電數據埠與第一核心交換機11建立冗餘數據鏈路，實例伺服器51的第二組電數據埠與虛擬區域網交換機15的不同網段建立數據鏈路。核心資料庫伺服器52的第一組光數據埠與第一光纖交換機13建立數據鏈路，核心資料庫伺服器52的第二組光數據埠與第二光纖交換機14建立數據鏈路。第一光纖交換機13和第二光纖交換機14通過光數據埠分別與日誌伺服器19，第一存儲伺服器16、第二存儲伺服器17和磁帶機18建立數據鏈路。日誌伺服器19、磁帶機18、第一存儲伺服器16與光纖交換機在本地部署，第二存儲伺服器17在異地部署。[0018]以上硬體架構，通過交換機數據埠在核心資料庫伺服器52、實例伺服器51和存儲伺服器間建立鏈路網絡，使得核心生產系統獲得最可靠的運維環境，使得各專業系統在物理架構上有效分離，任何一個項目系統的改變都不會對核心系統直接產生幹擾。
[0019]如圖2所示，本實施例中包括第一併行專業系統硬體伺服器群S01、數據倉庫硬體伺服器群S02和第二並行專業系統硬體伺服器群S03，第一併行專業系統硬體伺服器群SOl包括第一開發伺服器D01、第一測試伺服器Q01、第一採集與調試伺服器MOl和第一生產伺服器P01，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機12，每個伺服器的第二數據埠連接虛擬區域網交換機15，每個伺服器的第三數據埠連接第一光纖交換機13，每個伺服器的第四數據埠連接第二光纖交換機14。
[0020]數據倉庫硬體伺服器群S02包括第二開發伺服器D02、第二測試伺服器Q02、第二採集與調試伺服器M02、第三採集與調試伺服器M03和第二生產伺服器P02，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機12，每個伺服器的第二數據埠連接虛擬區域網交換機15，每個伺服器的第三數據埠連接第一光纖交換機13，每個伺服器的第四數據埠連接第二光纖交換機14。
[0021]第二並行專業系統硬體伺服器群S03包括第四採集與調試伺服器Ml I和第三生產伺服器Pll，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機12，每個伺服器的第二數據埠連接虛擬區域網交換機15，每個伺服器的第三數據埠連接第一光纖交換機13，每個伺服器的第四數據埠連接第二光纖交換機14。
[0022]通過第二核心交換機12和虛擬區域網交換機15將數據倉庫的硬體架構與配置完整的第一併行專業系統硬體架構完善連接，使得數據和傳輸可以根據需要在相應的伺服器間傳輸，並且將第一併行專業系統硬體架構與作為源數據系統子集的第二並行專業系統硬體架構完善連接，為源數據的複製和統一提供了完整的硬體結構。同時利用網絡的網段分害I]，保證了各專業系統地獨立性，避免了具體生產過程或採集調試過程的系統間幹擾。
[0023]第一光纖交換機13第二光纖交換機14保證了各系統中伺服器與存儲器間傳輸鏈路的可靠性和獨立性，最大限度保障了各伺服器的動態數據吞吐量。
[0024]如圖3所示，具體的ERP專業軟體系統以SAP為例，在第一開發伺服器DOl和第二開發伺服器D02上分別安裝開發環境(DEV)系統，在第一測試伺服器QOl和第二測試伺服器Q02上分別安裝測試環境(QAS)系統，在第一採集與調試伺服器M01、第二採集與調試伺服器M02和第四採集與調試伺服器Mll上分別安裝真實環境調試(MOCK)系統，在第一生產伺服器P01、第二生產伺服器P02和第三生產伺服器Pll上分別安裝正式生產(PRD)系統。在軟體系統中還包括配置裝置100、信號裝置200和傳輸裝置300。
[0025]配置裝置100，用於接收並行系統中，相同軟體專業系統的數據和信號，完成對數據和信號來源的定義，並輸出；
[0026]信號裝置200，用於接收並行系統的數據和信號，完成相同軟體專業系統中相同類型數據的標誌和區分，並輸出；
[0027]傳輸裝置300，用於將並行系統中各軟體專業系統的數據和信號進行匹配，完成數據校驗後傳輸至數據倉庫的對應軟體專業系統。
[0028]通過以上裝置，配合安裝在相應伺服器上的SAP系統，就可以將並行系統中各軟體專業系統中的數據進行向數據倉庫中倒換和融合，並且在倒換和融合過程中，完成對並行系統中相同數據源系統數據和數據類型的辨識和標記，並對應傳輸到數據倉庫的相應專業系統中，完成根據數據倉庫業務邏輯進行的數據配置和標誌，使得真實完整的並行業務數據可以在數據倉庫的正式生產系統充分融合，實現數據倉庫各特定業務。
[0029]如圖4所示，在本實施案例數據倉庫的數據處理基礎架構上，進行數據倉庫軟體專業系統部署時的主要步驟包括:
[0030]在數據處理基礎架構上的相應伺服器上部署開發、測試、採集調試和生產專業軟體系統；
[0031]在配置裝置中設置區分並行專業系統相同對象模型的參考數據；
[0032]在信號裝置中設置區分並行專業系統相同類型數據的標誌信號；
[0033]通過傳輸裝置完成各系統間數據和信號傳輸，並行系統的兩組差異化的採集調試系統和生產系統的數據在數據倉庫的相應系統中融合。
[0034]完成各系統間傳輸流，兩個差異化的採集調試系統對生產系統的真實運行環境進行數據模型、類型等關鍵數據進行對比測試。
[0035]通過以上方法步驟，當數據來源於兩套並行業務系統時可以避免出現編碼範圍重複，主數據無法區分，對原系統地映射關係無法區分等問題，人力數據、物料編碼、採購訂單、銷售訂單等相同類型對象的數據都可以全部區分。同時滿足
[0036]進行模型維度調整，或者主數據流調整時，調整前後的對比測試可行，保證調整的模型及業務分析報表不受調整誤差影響。
[0037]具體地，在專業軟體系統中的模擬實現包括通過模型維度設計，建立單獨維度作為區分集團和有限公司的特定維度。在模型中，單獨設計源系統標識的維度，維度中包含相關信息對象，可以對集團及有限公司的數據進行區分。在數據流中，通過編寫代碼的方式，實現集團和有限公司的數據劃分。將來源於並行系統的數據，通過編碼的方式，加以標識「B」，此種方法可以實現數據加載過程中的兩部分數據劃分。結合數據處理基礎架構的硬體架構設計，利用備份系統，進行調整前後的對比測試。
[0038]在調整後的數據模型、數據流等內容傳輸至MOCK系統前，將MOCK系統備份至新的伺服器上，完成備份後，再進行內容傳輸。之後，採取兩系統比對測試的方法，將MOCK備份系統的報表、數據模型與MOCK系統的報表、數據模型進行比對，從而保證調整前後的各並行系統報表，均不受調整影響。
[0039]考慮到通信鏈路的可靠性，每一個硬體伺服器的任一數據埠都可以配置成一組，實現同一通信鏈路的冗餘連接。
[0040]以上所述的實施案例僅僅是對本實用新型的優選實施方式進行描述，並非對本實用新型的範圍進行限定，在不脫離本實用新型設計精神的前提下，本領域普通技術人員對本實用新型的技術方案做出的各種變形和改進，均應落入本實用新型權利要求書確定的保護範圍內。
【權利要求】
1.一種數據倉庫的數據處理基礎架構，包括第二核心交換機(12)、虛擬區域網交換機(15)、第一光纖交換機(13)和第二光纖交換機(14),其特徵在於:還包括第一併行專業系統硬體伺服器群(SOI)、數據倉庫硬體伺服器群(S02)和第二並行專業系統硬體伺服器群(S03)，各伺服器群分別與第二核心交換機(12)、虛擬區域網交換機(15)、第一光纖交換機(13)和第二光纖交換機(14)建立通信鏈路。
2.根據權利要求1所述的數據倉庫的數據處理基礎架構，其特徵在於:所述第一併行專業系統硬體伺服器群(SOl)包括第一開發伺服器(D01)、第一測試伺服器(Q01)、第一採集與調試伺服器(MOl)和第一生產伺服器(P01 )，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機(12)，每個伺服器的第二數據埠連接虛擬區域網交換機(15)，每個伺服器的第三數據埠連接第一光纖交換機(13)，每個伺服器的第四數據埠連接第二光纖交換機(14 )。
3.根據權利要求2所述的數據倉庫的數據處理基礎架構，其特徵在於:所述數據倉庫硬體伺服器群(S02)包括第二開發伺服器(D02)、第二測試伺服器(Q02)、第二採集與調試伺服器(M02)、第三採集與調試伺服器(M03)和第二生產伺服器(P02)，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機(12)，每個伺服器的第二數據埠連接虛擬區域網交換機(15)，每個伺服器的第三數據埠連接第一光纖交換機(13)，每個伺服器的第四數據埠連接第二光纖交換機(14)。
4.根據權利要求3所述的數據倉庫的數據處理基礎架構，其特徵在於:所述第二並行專業系統硬體伺服器群(S03)包括第四採集與調試伺服器(Mll)和第三生產伺服器(P11)，各伺服器分別包括四個數據埠，每個伺服器的第一數據埠連接第二核心交換機(12)，每個伺服器的第二數據埠連接虛擬區域網交換機(15)，每個伺服器的第三數據埠連接第一光纖交換機(13)，每個伺服器的第四數據埠連接第二光纖交換機(14)。
5.根據權利要求4所述的數據倉庫的數據處理基礎架構，其特徵在於:還包括日誌伺服器(19)，第一存儲伺服器(16)、第二存儲伺服器(17)和磁帶機(18)，實例伺服器(51)，核心資料庫伺服器(52);核心資料庫伺服器(52)的第一組電數據埠與第一核心交換機(11)建立冗餘數據鏈路，核心資料庫伺服器(52 )的第二組電數據埠與第二核心交換機(12)建立冗餘數據鏈路，核心資料庫伺服器(52)的第三組電數據埠與虛擬區域網交換機(15)的不同網段建立數據鏈路，實例伺服器(51)的第一組電數據埠與第一核心交換機(11)建立冗餘數據鏈路，實例伺服器(51)的第二組電數據埠與虛擬區域網交換機(15)的不同網段建立數據鏈路；核心資料庫伺服器(52)的第一組光數據埠與第一光纖交換機(13)建立數據鏈路，核心資料庫伺服器(52)的第二組光數據埠與第二光纖交換機(14)建立數據鏈路；第一光纖交換機(13)和第二光纖交換機(14)通過光數據埠分別與日誌伺服器(19)，第一存儲伺服器(16)、第二存儲伺服器(17)和磁帶機(18)建立數據鏈路。
【文檔編號】G06F17/30GK203733118SQ201320812840
【公開日】2014年7月23日 申請日期:2013年12月10日 優先權日:2013年12月10日
【發明者】王小玲, 應潔, 李文湘, 陳暘華, 楊凱, 謝正華, 趙暉, 陳凱, 任芳, 李源 申請人:中國海洋石油總公司