一種數據抽取、轉換和加載etl的執行方法及裝置製造方法
2023-12-07 06:30:46 2
一種數據抽取、轉換和加載etl的執行方法及裝置製造方法
【專利摘要】本發明公開了一種數據抽取、轉換和加載ETL的執行方法及裝置，該方法包括：針對一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合；確定每個組合活動集合對應的雲計算映射集合，並將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼；將生成的可執行代碼加載到雲計算環境中執行，採用本發明這裡提出的技術方案，能夠較好地節省I/O處理資源，提高ETL工作流的處理效率。
【專利說明】一種數據抽取、轉換和加載ETL的執行方法及裝置
【技術領域】
[0001]本發明涉及通信【技術領域】，尤其是涉及一種ETL(Extraction-Transformation-Loading，數據抽取、轉換和加載)的執行方法及裝置。
【背景技術】
[0002]ETL是構建數據倉庫比較重要的一個部分。其按照預先設計好的規則，提供對不同數據源的數據進行抽取、轉換和清洗，集成和淨化來自於多個不同系統的數據，最後將轉換完的數據增量或者全部數據載入目標資料庫中。ETL的處理過程如圖1所示，其從不同的異構數據源流得到相同的目標數據，作為聯繫分析處理、數據挖掘的基礎。
[0003]現有技術中，一般採用配置的方法實現ETL工作流的創建，該方法可以設置ETL流程的執行順序和依賴關係，以及創建或更新ETL工作流，從而讓流程定製者能夠對自身提交的ETL工作流進行管理。ETL工作流由基本活動單元組成，現有技術中ETL工作流的優化需要通過有經驗的技術人員來實現，技術人員按照預設規則對基本活動單元分別進行操作處理，然後將處理後的ETL工作流採用並發方式進行ETL處理。例如技術人員將ETL流程部署到一個計算機集群環境中，然後將ETL流程分發到多臺計算機上進行並行執行。現有技術中通過人工的方式對ETL進行處理，依賴於技術人員的專業知識，處理效率比較低，局限性較強，並且現有技術中只是簡單的由技術人員將ETL工作流分發到多臺計算機中進行處理，算法在執行過程中需要佔用較多的I/O處理資源，並且現有技術中這種基於集群的處理方式還不能有效的運用到異構網絡的通信環境中。
[0004]綜上所述，現有技術中提出的通過人工的方式實現ETL工作流的處理，局限性較強，需要佔用較多的I/o處理資源，處理效率比較低。
【發明內容】
[0005]本發明實施例提供一種數據抽取、轉換和加載ETL的執行方法及裝置，能夠較好地節省I/o處理資源，提高處理效率。
[0006]為解決上述問題，本發明實施例提供了一種數據抽取、轉換和加載ETL的執行方法，包括:針對一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合；確定每個組合活動集合對應的雲計算映射集合，並將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼；將生成的可執行代碼加載到雲計算環境中執行。
[0007]為解決上述問題，本發明實施例還提供了一種數據抽取、轉換和加載ETL的執行裝置，包括:組合活動集合構建單元，用於針對一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合；可執行代碼確定單元，用於確定組合活動集合構建單元構建的每個組合活動集合對應的雲計算映射集合，並將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼；加載單元，用於將可執行代碼確定單元生成的可執行代碼加載到雲計算環境中執行。[0008]採用上述技術方案，針對一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合，然後在構建的組合活動集合中確定對應的雲計算映射集合，並將確定出的雲計算映射集合轉換為與雲計算環境匹配的可執行代碼，最後將可執行代碼加載到雲計算環境中執行，從而能夠自動的對ETL工作流進行一系列處理，避免了現有技術中存在的由人工處理ETL工作流需要依賴於專業知識的局限性，能夠較好地節省I/O處理資源，提高處理效率。
【專利附圖】
【附圖說明】
[0009]圖1為現有技術中，提出的ETL處理過程示意圖；
[0010]圖2為本發明實施例一中,提出的一種ETL執行系統架構圖；
[0011]圖3a為本發明實施例一中，提出的ETL的執行原理示意圖；
[0012]圖3b為本發明實施例一中，提出的ETL的執行方法流程圖；
[0013]圖4為本發明實施例一中，提出的構建的一種組合活動集合示意圖；
[0014]圖5a為本發明實施例一中，提出的將基本活動單元按照交換的方式進行等價變換示意圖；
[0015]圖5b為本發明實施例一中，提出的將基本活動單元按照合併的方式進行等價變換示意圖；
[0016]圖5c為本發明實施例一中，提出的將基本活動單元按照複製的方式進行等價變換示意圖；
[0017]圖6a為本發明實施例一中，提出的分散-合併計算模式示意圖；
[0018]圖6b為本發明實施例一中，提出的優化後的分散-合併計算模式示意圖；
[0019]圖7為本發明實施例二中，提出的ETL的執行裝置結構組成圖。
【具體實施方式】
[0020]針對現有技術中存在的ETL的執行方法需要通過人工的方式實現，局限性較強，並且在對ETL執行並發處理時，需要佔用較多的I/O處理資源，使得處理效率比較低的問題，本發明實施例這裡提出一種ETL的執行方法，對提交的ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合，然後確定得到的組合活動集合對應的雲計算映射集合，並將確定出的雲計算映射集合轉換為與雲計算環境匹配的可執行代碼並加載到雲計算環境中進行執行。本發明這裡提出的技術方案，適用於每個用戶群體，普適性較強，並且，能夠較好地節省I/o處理資源，提供處理效率。
[0021]下面將結合各個附圖對本發明實施例技術方案的主要實現原理、【具體實施方式】及其對應能夠達到的有益效果進行詳細地闡述。
[0022]實施例一
[0023]本發明實施例一這裡提出一種ETL執行系統以及基於該系統架構的ETL執行方法，其具體架構如圖2所示，該系統是基於雲環境部署，能夠較好地利用雲環境提供的計算能力。具體包括應用層、模板層和優化層。
[0024]其中，應用層主要用於支持用戶通過基於瀏覽器的方式創建ETL工作流，模板層用於提供創建ETL工作流所使用的基本活動單元模板，如投影、選擇等基本活動單元模板。其中，基本活動單元模板可以存儲在活動分類管理庫中進行管理。優化層用於實現對用戶提交的ETL工作流進行優化，並將優化後的ETL工作流加載到雲環境中執行。
[0025]基於圖2所示的系統架構，本發明實施例一這裡提出一種ETL的執行方法，其原理如圖3a所示，包括ETL工作流創建、ETL工作流優化、ETL工作流加載具體流程如圖3b所示，包括:
[0026]步驟31，用戶通過基於瀏覽器的方式創建ETL工作流並提交。
[0027]其中，在圖2所示的系統架構中，可以將模板層提供的針對具體業務的基本活動單元模板存儲在活動分類管理庫中進行管理。用戶可以在基本活動單元管理庫中選擇和業務相關的ETL組件創建ETL工作流，並將創建的ETL工作流提交。
[0028]步驟32，針對接收到的一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合。
[0029]其中，對於ETL中所有的基本活動單元都可以按照下述定義方式對其進行分類管理，這樣可以對接收到的ETL工作流中基本活動單元類別進行識別。
[0030]具體地，基本活動單元(EA)，是表示對輸入的記錄集進行一次原子操作，得到一個輸出的記錄集。基本活動單元EA是一個四元組，即EA={ID，I，0，S，C}，其中ID是組成ELT工作流活動的唯一標識，並且ID也用於表示該基本活動單元在一個ETL工作流中的執行位置；I為輸入數據的元數據；O為輸出數據的元數據；C為基本活動單元的執行代價；S表示輸入元數據變換到輸出元數據。其中，可以將ETL工作流中包含的基本活動單元分為功能活動集合(Function Schema)和產生活動集合兩類(Generated Schema):
[0031]功能活動集合,表示在ETL工作流中，針對同一數據源進行操作的所有基本活動單元的集合，例如，基本活動單元的元數據為[a, b, c, d],而在基本活動單元中被處理的屬性為b和C，則輸出的元數據為[b，c]，例如ETL工作流中的投影、選擇等基本活動單元。
[0032]產生活動集合:表示產生新屬性的基本活動單元的集合。例如,基本活動單元輸入的元數據為[a，b，c，d]，在基本活動單元的執行過程中產生了新的屬性為e，則產生屬性集合為[e]。例如基本活動單元中的連接、統計等基本活動單元。
[0033]其中，可以通過分類處理方式將組成該ETL工作流的所有基本活動單元劃分為功能活動集合和產生活動集合。然後將功能活動集合包含的基本活動單元和產生活動集合中包含的基本活動單元進行組合，構建成至少一個組合活動集合。其中，每個組合活動集合中包含至少一個功能活動集合中的基本活動單元，且只包含一個產生活動集合中的基本活動單元，且產生活動集合中的基本活動單元在該組成活動集合的尾端。例如圖4所示,為構建的組合活動集合。
[0034]具體地，組合活動集合中包含的每個元素可以稱之為組合活動，組合活動是指將幾個基本活動單元進行組合來完成對ETL工作流中同一個數據源的處理過程。通過構建組合活動集合，如圖4所示，可以將ETL工作流分解成若干個大粒度的組合。並且，通過構建組合活動集合，可以將ETL工作流分解為不同的層次，分層的方式可以為:如果組合活動集合中包含至少一個元素，則層次就加I。例如圖4所示的ETL工作流則可以分為兩個層次，第一個層次包含CEA包含CEA3,第二層次包含CEA1和CEA2。
[0035]通過分類處理的方式可將ETL工作流進行組合活動集合的構建以及層次的分解。其中，對於將ETL工作流的基本活動單元進行組合活動結合的構建，可以實現將若干個基本活動單元串聯起來，使ETL工作與雲計算環境中的計算模型相匹配，有助於減少計算時產生的I/O開銷，提高ETL工作流的執行效率。其次，通過組合活動集合的構建，可採用分層的方法將接收到的ETL工作流轉換為規模更小的處理單元。
[0036]步驟33，確定構建的每個組合活動集合對應的雲計算映射集合，並將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼。
[0037]其中，若步驟32中只構建成一個組合活動集合，具體處理方式可以但不限於有以下兩種:
[0038]第一種方式:將構建的一個組合活動集合作為雲計算映射集合，然後將全部雲計算映射集合轉換為與雲計算環境匹配的可執行代碼。
[0039]第二種方式:將構建的一個組合活動集合進行等價變換，得到該組合活動集合對應的雲計算映射集合，然後將得到的全部雲計算映射集合分別轉換為與雲計算環境匹配的可執行代碼。
[0040]其中，若步驟32中構建成至少兩個組合活動集合，則對每個所述組合活動集合分別進行等價變換，得到每個組合活動集合對應的雲計算映射集合，然後從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合，並將選擇出的雲計算映射集合轉換為與雲計算環境匹配的可執行代碼。
[0041]具體地，可以基於動態規划算法從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合。首先確定每個雲計算映射集合對應的執行代價，然後根據確定出的執行代價，選擇出滿足預設條件的雲計算映射集合。其中，代價是組成ETL工作流的基本活動單元的數據量的大小。執行代價是指處理一個基本活動單元所需要的資源開銷。
[0042]具體地，對每個組合活動集合分別進行等價變換，包括:將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換。將ETL工作流中的基本活動單元進行不同方式的等價變換，也就是說，對於待執行的ETL工作流，通過等價變換，能夠確定該ETL工作流全部可能的處理方式，然後再所有的處理方式中，尋找處理代價最優的方式映射到雲計算環境中。即將基本活動單元進行等價變換之後形成不同的狀態，由不同的狀態構成狀態空間，此步驟也相當於狀態空間的構建。狀態空間的構建，是指將ETL流程圖按照預設的關係，通過等價變換完成狀態的轉換，構成狀態空間。
[0043]其中，ETL流程圖(ETLG)是指ETL工作流可以看作是一個有向無環圖G。G中節點表示基本活動單元EA，G中的邊表示節點之間的關係PR。即ETLG (V, E)，V=EA, E=PR0
[0044]關係(PR):PR表示提供(輸入輸出)關係，即一條由基本活動單元EAl射出並射入基本活動單元EA2的邊,代表基本活動單元EA2從基本活動單元EAl處接收數據並進行下一步的處理。
[0045]狀態(State):表示一個ETLG。若ETLG通過等價變換後得到ETLG1，則ETLG與ETLGl都稱為該ETL工作流圖的狀態，而一個狀態State的代價為:
C(State) = ^dC(EAl)iEAi e EA
O
[0046]狀態轉換:是用於通過一個ETLG產生新的等價的ETLG。
[0047]具體地，對每個組合活動集合分別進行等價變換，包括:將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換。其中，將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換，變換方式可以但不限於包括以下三種:
[0048]第一種:將基本活動單元按照交換的方式進行等價變換:若至少兩個基本活動單元歸屬於同一個組合活動集合，且所述基本活動單元表徵的是同一數據源，且交換前的基本活動單元和執行交換後的基本活動單元的輸出結果相同，則確定至少兩個基本活動單元滿足等價變換條件，將所述基本活動單元的執行順序進行交換。即:SWAP (交換)是指交換ETLG中兩個單輸入基本活動單元EA的執行順序,如圖5a所示,兩個基本活動單元EA, EA1,EA2能夠進行交換操作必須滿足以下條件:
[0049]a.EA1, EA2 e CEAi,即EA1, EA2在同一個組合活動集合中，且操作的是同一數據源；
[0050]b.MSl=Otttpuif^m2 =蘭爐《^1(*觀奶￡4,￡^ RS1 = RS2,即 EA1, EA2 交換前後輸出相同；
[0051]第二種:將基本活動單元按照合併的方式進行等價變換:若至少兩個基本活動單元歸屬於同一個組合活動集合，且所述基本活動單元之間滿足順序的處理規則，則確定至少兩個基本活動單元滿足等價變換條件，將在不改變執行順序的情況下，將所述基本活動單元執行合併。即MER (合併)，時在不改變基本活動單元在ETL工作流中執行順序的情況下將在同一組合活動集合中的多個線性相關的基本活動單元EA的按照規則進行合併，如圖5b所示，能夠進行合併操作的多個EA必須滿足以下條件:
[0052]EA1, EA2,...，EA111 e CEAi,即合併前的基本活動單元EA1, EA2,..., EAm屬於同一個組合活動集合CEA。
[0053]第三種:將基本活 動單元按照複製的方式進行等價變換，包括:
[0054]若一個基本活動單元能夠同時歸屬於至少兩個組合活動集合,則確定該基本活動單元滿足等價變換條件，將所述基本活動單元複製到至少兩個能夠同時被執行的組合活動集合中。即:複製是將一個基本活動單元EAi複製成多個相同的EA，然後分別分配在能夠同時被執行的不同的組合活動集合中。例如，如果兩個組合活動集合在ETL工作流執行過程中，可以同時被執行，則這兩個組合活動集合可以稱之為並行處理流程，也可以稱之為ETL工作流執行過程中的並行流程。如圖5c所示，一個EA能夠進行複製操作必須滿足以下條件:
[0055]fnPutL l e ollfPllfn,nulci,即基本活動單元EA在State中並行流程之後，且EA
I
中處理的屬性來源於在它之前的並行活動分支中。具體地，如圖5c所示，假設基本活動單元EAl和EA2在具體ETL執行過程中，分屬於並發執行的處理流程，執行之後得到的輸出將經過EA3處理，EA3的輸出將經過EA4處理。由於EA4滿足複製條件，因此，可將其分別複製到EAl和EA2之後來執行。
[0056]一種較佳地實現方式，本發明實施例一這裡提出的技術方案中，可以採用下述方式構建狀態空間:其中，變換函數F (State，f)表示對ETLG的一次轉換操作，參數State為要進行變換的ETLG，f為變換操作，f = {SWAP, DIS, MER}(交換、分解、合併)。
[0057]等價狀態:一個Statel經過一系列變化後得到一個新的State2,若Statel和State2使用相同的輸入能夠得到相同的輸出，即:
[0058]State2 = F (State1, f),[0059]Outputdata1 = State1 (inputdata)，
[0060]outputdata2 = State2 (inputdata)，
[0061]Outputdata1 = Outputdata2
[0062]對於每個狀態空間，其包含的組合活動集合CEA數目是相同的，這可由組合活動集合CEA的劃分方式來推斷，即每個組合活動集合CEA的末端必包含一個產生活動，由於等價變換不改變產生活動，則每個狀態空間包含相同的組合活動集合CEA數目。
[0063]狀態空間(Statespace): Statespace = (State0, F (Statei, f) I ^ i ^ n, State1=F(State。，f)}即由初始狀態State。開始進行變換得到的所有等價State的集合。
[0064]狀態選擇:從由初始狀態State。開始進行變換得到的Statespace中找到滿足預設條件的Statemin
[0065]C (Statemin) = Min {C (Statei) O ^ i ^ n, Statei e Statespace}
[0066]本發明實施例一這裡提出的技術方案中，ETL工作流的優化的原則是保證狀態的開銷最小這個全局最優，而全局最優原則可將其轉化為組合活動集合CEA中處理開銷最少的局部最優原則，所以，C(Statefflin)問題可以劃分成規模更小的問題，基於比，本發明實施例這裡提出的技術方案，可以採用動態規劃的方法來獲取C(Statemin)。即基於動態規划算法從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合。
[0067]一種較佳地實現方式，基於動態規划算法從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合，可以採用下述編程思想:
[0068]輸入:初始狀態ETLG
[0069]輸出:最優狀態Statemin
[0070]具體過程為:
[0071]步驟一:將ETLG按照組合活動集合CEA的構建分方法進行基本活動單元的分組，形成一個包含多個組合活動集合CEA的多層次流程，並對層次結構由包含關係進行編號，且對每層中包含的組合活動按照其執行的先後順序進行編號。
[0072]步驟二:對每個CEA中滿足變換條件的基本活動單元EA進行變換，形成一個新的CEA』，則該CEA』構成一個新的狀態Statenew中的一個活動組合，且CEA』和CEA可認為是不同狀態中的同一階段。
[0073]步驟三:獲取所有可能的狀態集合(
【權利要求】
1.一種數據抽取、轉換和加載ETL的執行方法，其特徵在於，包括: 針對一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合; 確定每個組合活動集合對應的雲計算映射集合，並將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼； 將生成的可執行代碼加載到雲計算環境中執行。
2.如權利要求1所述的方法，其特徵在於，將組成該ETL工作流的基本活動單元構建成一個組合活動集合時，確定每個組合活動集合對應的雲計算映射集合，包括: 將構建的組合活動集合作為雲計算映射集合； 所述將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼，包括: 將全部雲計算映射集合分別轉換為與雲計算環境匹配的可執行代碼。
3.如權利要求1所述的方法，其特徵在於，將組成該ETL工作流的基本活動單元構建成至少兩個組合活動集合時，確定每個組合活動集合對應的雲計算映射集合，包括: 對每個所述組合活動集合分別進行等價變換，得到每個組合活動集合對應的雲計算映射集合； 所述將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼，包括: 從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合，並將選擇出的雲計算映射集合轉換為與雲計算環境匹配的可執行代碼。
4.如權利要求3所述的方法，其特徵在於，從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合，包括: 基於動態規划算法從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射
口 O
5.如權利要求4所述的方法，其特徵在於，從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合，包括: 確定每個雲計算映射集合對應的執行代價； 根據確定出的執行代價，選擇出滿足預設條件的雲計算映射集合。
6.如權利要求3所述的方法，其特徵在於，對每個所述組合活動集合分別進行等價變換，包括: 將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換。
7.如權利要求6所述的方法，其特徵在於，將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換，包括: 若至少兩個基本活動單元歸屬於同一個組合活動集合，且所述基本活動單元表徵的是同一數據源，且交換前的基本活動單元和執行交換後的基本活動單元的輸出結果相同，則確定至少兩個基本活動單元滿足等價變換條件，將所述基本活動單元的執行順序進行交換。
8.如權利要求6所述的方法，其特徵在於，將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換，包括: 若至少兩個基本活動單元歸屬於同一個組合活動集合，且所述基本活動單元之間滿足線性相關規則，則確定至少兩個基本活動單元滿足等價變換條件，將在不改變執行順序的情況下，將所述基本活動單元執行合併。
9.如權利要求6所述的方法，其特徵在於，將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換，包括: 若一個基本活動單元能夠同時歸屬於至少兩個組合活動集合，則確定該基本活動單元滿足等價變換條件，將所述基本活動單元複製到至少兩個能夠同步執行的組合活動集合中。
10.如權利要求1~9任一所述的方法，其特徵在於，所述將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合，包括: 通過分類處理將組成該ETL工作流的基本活動數據劃分為功能活動集合和產生活動集合; 將功能活動集合包含的基本活動單元和產生活動集合中包含的基本活動單元進行組合，構建成至少一個組合活動集合，其中，每個組合活動集合中包含至少一個功能活動集合中的基本活動單元，且包含一個產生活動集合中的基本活動單元，且產生活動集合中的基本活動單元在該組成活動集合的尾端。
11.一種數據抽取、轉 換和加載ETL的執行裝置，其特徵在於，包括: 組合活動集合構建單元，用於針對一個ETL工作流，將組成該ETL工作流的基本活動單元構建成至少一個組合活動集合； 可執行代碼確定單元，用於確定組合活動集合構建單元構建的每個組合活動集合對應的雲計算映射集合，並將確定的至少一個雲計算映射集合轉換為與雲計算環境匹配的可執行代碼； 加載單元，用於將可執行代碼確定單元生成的可執行代碼加載到雲計算環境中執行。
12.如權利要求11所述的裝置，其特徵在於，將組成該ETL工作流的基本活動單元構建成一個組合活動集合時，所述可執行代碼確定單元，具體用於將構建的組合活動集合作為雲計算映射集合；將全部雲計算映射集合分別轉換為與雲計算環境匹配的可執行代碼。
13.如權利要求11所述的裝置，其特徵在於，將組成該ETL工作流的基本活動單元構建成至少兩個組合活動集合時，所述可執行代碼確定單元，具體用於對每個所述組合活動集合分別進行等價變換，得到每個組合活動集合對應的雲計算映射集合；從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合，並將選擇出的雲計算映射集合轉換為與雲計算環境匹配的可執行代碼。
14.如權利要求13所述的裝置，其特徵在於，所述可執行代碼確定單元，具體用於基於動態規划算法從確定的所有雲計算映射集合中選擇滿足預設條件的雲計算映射集合。
15.如權利要求14所述的裝置，其特徵在於，所述可執行代碼確定單元，具體用於確定每個雲計算映射集合對應的執行代價；根據確定出的執行代價，選擇出滿足預設條件的雲計算映射集合。
16.如權利要求13所述的裝置，其特徵在於，所述可執行代碼確定單元，具體用於將每個組合活動集合中滿足至少一個等價變換條件的基本活動單元，按照滿足的等價變換條件進行等價變換。
17.如權利要求16所述的裝置，其特徵在於，所述可執行代碼確定單元，具體用於若至少兩個基本活動單元歸屬於同一個組合活動集合，且所述基本活動單元表徵的是同一數據源，且交換前的基本活動單元和執行交換後的基本活動單元的輸出結果相同，則確定至少兩個基本活動單元滿足等價變換條件，將所述基本活動單元的執行順序進行交換。
18.如權利要求16所述的裝置，其特徵在於，所述可執行代碼確定單元，具體用於若至少兩個基本活動單元歸屬於同一個組合活動集合，且所述基本活動單元之間滿足線性相關規則，則確定至少兩個基本活動單元滿足等價變換條件，將在不改變執行順序的情況下，將所述基本活動單元執行合併。
19.如權利要求16所述的裝置，其特徵在於，所述可執行代碼確定單元，具體用於若一個基本活動單元能夠同時歸屬於至少兩個組合活動集合，則確定該基本活動單元滿足等價變換條件，將所述基本活動單元複製到至少兩個能夠同步執行的組合活動集合中。
20.如權利要求11~19任一所述的裝置，其特徵在於，所述組合活動集合構建單元，具體用於通過分類處理將組成該ETL工作流的基本活動數據劃分為功能活動集合和產生活動集合；將功能活動集合包含的基本活動單元和產生活動集合中包含的基本活動單元進行組合，構建成至少一個組合活動集合，其中，每個組合活動集合中包含至少一個功能活動集合中的基本活動單元，且包含一個產生活動集合中的基本活動單元，且產生活動集合中的基本活動單元在該組`成活動集合的尾端。
【文檔編號】G06F9/50GK103488537SQ201210196635
【公開日】2014年1月1日 申請日期:2012年6月14日 優先權日:2012年6月14日
【發明者】伍顯峰, 蔡俊, 祝希路, 李少年 申請人:中國移動通信集團湖南有限公司