在雲端平臺的大數據檢核系統及其方法
2023-06-06 18:18:36
專利名稱：在雲端平臺的大數據檢核系統及其方法
技術領域：
本發明是關於一種雲端數據質量檢核技術，用於組織/企業內外部將待檢核的數據，檢誤、校對，過濾出有效的數據，特別指於雲端平臺，通過雲端運算技術，來進行質量比對的數據檢核流程。本發明同時屬於數據倉儲(Data Warehouse)、商業智慧(BusinessIntelligence)與雲端運算(Cloud Computing)的範疇。
背景技術：
目前針對數據倉儲數據質量檢核的現有方式，主要面對下列幾處限制
I.單一主機效能受限導致數據質量信息產生的過程費時如何實時計算出待檢測數據的數據質量，主要受限於待檢測數據的數據量，與運算主機的效能。如果用戶打算針對待檢測數據進行完整內容(包含所有屬性/欄位的所有數據筆數)的計算，例如字符串過濾、值域分析、匯總函數計算等等包括規則判斷、計算的方式，在待檢測數據的數據筆數龐大時，往往必須花費漫長的時間等待單一數據計算主機的計算結果，如此無法兼顧獲取數據的實時性，數據質量通報的實時性也因此延遲受影響。因此在數據檢核的實際作法策略上，往往演變成不一定每次都進行整批資料的檢核，而改採用以統計的抽樣檢定方式進行數據質量計算，縮小數據檢核計算的範圍，以此獲得有關數據質量的概略信息，並且加快數據質量計算的過程。例如通過隨機抽樣檢定縮小數據筆數，或者僅僅抽取部份用以檢定的數據屬性/欄位來進行數據檢核比對；如此則無法確保全面數據質量的完整性與準確性，失去數據檢核意義。2.缺乏有效的方法處理大數據(Big Data):傳統數據檢核讀入、處理資料的方式，花費時間與檔案大小成正比，檔案越大所耗費的時間越長，如果針對大數據的讀文件、以及後續處理方式仍舊以循序處理完成，會導致效能不佳。此外單一主機的內存也有上限存在，如果存放在內存的數據超過上限，有可能造成處理效能大服下降，或停擺的狀況，因此為了避免上述問題，現有的方式會將大檔案數據進行切段處理，以分次進行的方式完成，如此切檔的動作又得耗費額外成本。3.在雲端平臺的數據加載作業目前沒有質量檢核的方法目前雲端平臺存放的資料還沒有具體的機制可以提供用戶作數據檢核，因此數據加載時發生錯誤導致整批數據加載失敗，用戶必須花額外的時間檢查加載錯誤，如此則耗費大量人力時間。4.傳統的關係資料庫整批加載方式無法同步檢核關係資料庫在面對大數據的加載，傳統上是以Bulk Insert方式進行批次加載以提升加載效能，但缺點是無法和數據檢核流程同步進行，萬一在數據檢核階段偵測到某數據行的部份數據屬性值錯誤，必須排除掉部份錯誤的數據行，或對數據行額外的處理加工，將部份錯誤的欄位予以空白(Blank)、空值(Null)或預測值(Predict Value)取代，接著將過濾後的結果產生暫存檔，再把此暫存檔進行大批加載。因此RDBMS面對大數據時，無法與數據檢核流程同步進行。不單如此，暫存檔也需要佔用額外磁碟存放空間。5.數據質量信息受限於磁碟儲存空間而無法有效應用歷史質量數據現階段單一主機數據預備加載的磁碟存放空間受到限制，無法存放以Petabyte等級的數據量。數據質量信息的儲存空間同樣也有限，因此關於數據質量的信息往往需要排程進行定期刪除。當歷史質量數據無法有效保存，用戶就無法針對完整的歷史數據進行應用，例如從歷史質量數據萃取進行未來質量的預測等。綜合上述的結果，數據檢核的現有方法，受限於數據量與計算能力，所獲得的數據質量往往是二擇的局面實時，但獲得的信息片面不完整；或者信息完整卻耗費時間，並且無法有效保存。由此可見，上述現有方式仍有諸多缺失，實非良好的設計，而亟待加以改良
發明內容
本發明的目的在於針對應用於數據倉儲數據質量稽核，提出一種通過雲端平臺來完成數據檢核工作的系統及其方法，在雲端平臺所存放的原始大數據，加載到數據倉儲的過程中，通過雲端運算進行質量檢測與比對，完成數據檢核工作，讓數據加載數據倉儲過程的同時能夠進行比對、取得對應的質量數據，並以此流程作為數據質量取得的一種標準。次要目的利用雲端分散運算技術與運算能力，以及雲端存放空間的彈性，有效的利用歷史數據，進行數據採礦建模，將產生的模型用來衡量新進數據的數據質量，達到建模更加快速、預測更加準確的目的。本發明的一種在雲端平臺的大數據檢核系統，具有雲端大數據，通過雲端運算進行質量檢測與比對，其包括質量項目雲資料庫，用以儲存品值數據；質量規則雲資料庫，用以儲存質量規則與規則所組成的模型數據；雲端規則探勘模塊，用以連結該質量項目雲資料庫、自動產生數據檢核規則模型，存放於該質量規則雲資料庫中；雲端數據檢驗模塊，用以計算比對該雲端大數據，連結該雲端規則探勘模塊產生的規則模型，與該雲端大數據比對產生質量數據項；雲端質量篩選模塊，用以連結該質量項目雲資料庫，將通過檢核的該雲端大數據加載到目標數據集散地；雲端訊息通報模塊，用以連接該質量項目雲資料庫，將每次數據檢核的結果搜集、通報使用；以及目標數據集散地，接收通過該雲端訊息通報模塊檢核的數據，用以存放該數據。所述雲端平臺為Hadoop、EC2 或 Cloudera Enterprise。所述目標數據集散地為非關係資料庫、關係資料庫、Hive、HBase、BigTable、Cassandra 或Amazon SimpleDB。所述質量項目雲資料庫為非關係資料庫、關係資料庫、Hive、HBase、BigTable、Cassandra 或 Amazon SimpleDB。質量規則雲資料庫為非關係資料庫、關係資料庫、Hive、HBase、BigTable、Cassandra 或Amazon SimpleDB。該雲端規則探勘模塊，更包括用戶接口，提供用戶輸入客制化的數據檢驗規則；與用戶接口連接的API，用以將規則儲存於該質量規則雲資料庫中；質量規則，用以計算並判斷數據質量；規則建立Mapper/Reducer，利用分散平行運算算法建立規則模型；以及雲端規則探勘引擎，用以自動建立規則模型，呼叫該些規則建立Mapper/Reducer,並將該些質量規則，存放於該質量規則雲資料庫中。其中，該雲端規則探勘模塊建立的規則算法為關聯規則或判定樹算法。該雲端數據檢驗模塊，更包括雲端數據檢驗引擎，用以連接該規則雲資料庫與啟動數據檢核分散運算工作以及數據檢核Mapper/Reducer，用以計算數據質量項目，將結果存放在該質量項目雲資料庫。
該雲端質量篩選模塊，更包括雲端質量篩選引擎，連接該質量項目雲資料庫，啟動質量篩選分散運算工作；質量過濾決策配置文件，存放使用者預先定義的過濾決策；以及質量篩選Mapper/Reducer，用以比對過濾原始數據並將檢核通過的數據加載到該目標數據集散地。該雲端訊息通報模塊，更包括雲端訊息通報引擎，連結該質量項目雲資料庫，啟動訊息通報分散運算工作；通報決策配置文件，存放使用者預先定義的通報決策；以及訊息通報Mapper/Reducer，用以匯總數據檢核結果並通報使用者。其中，該雲端訊息通報模塊的訊息通報方式為E-Mail或SMS。本發明的一種在雲端平臺的大數據檢核系統的檢核方法，其步驟至少包含a.初始化質量比對計算模型；b.分割原始數據；c.驗證個別數據分割；d.進行目標數據加載；e.更新比對模型；以及f.通報比對結果。所述驗證個別數據分割步驟是將獲得的質量項目數據依照Key-Value關係，以數據行為Key，對照該質量規則雲資料庫比對出的質量分數為Value，索引儲存在該質量項目雲資料庫。所述進行目標數據加載步驟是將待檢核數據依照Key-Value關係計算過濾，以數據行為Key，對照該質量規則雲資料庫比對出的質量分數為Value，參考用戶決策進行過濾，並將過濾後的數據，由分散運算單元加載該目標數據集散地。該更新比對模型步驟是將該比對模型依Key-Value關係索引儲存，以關聯規則或判定樹算法的數據探勘技術，以該質量項目資料庫中的數據行「某屬性=值」或「某屬性」為Key，該算法所需屬性的分割指針為Value進行匯總。該通報比對結果步驟是將匯總結果依Key-Value關係，以E-Mail或SMS簡訊通報用戶，且以質量分數為Key，數據行為Value進行匯總。達成上述發明目的的在雲端平臺的大數據檢核系統，是由雲端規則探勘模塊、雲端數據檢驗模塊、雲端質量篩選模塊、雲端訊息通報模塊、目標數據集散地、質量項目雲資料庫以及質量規則雲資料庫所組成。達成上述發明目的的在雲端平臺的大數據檢核方法，包括以下步驟初始化質量比對計算模型、分割原始數據、驗證個別數據分割、進行目標數據加載、更新比對模型以及通報比對結果。本發明所提供的數據整合技術，與其它現有技術相互比較時，更具備下列優點I.本發明在雲端多主機上進行分布式計算，改善傳統資料整合技術受限於單一主機的處理效能低落問題。2.本發明的方法串連多個步驟流程，可自動化結合、綁入原有數據加載流程，提升數據加載質量的效率。
3.本發明通過雲端運算與分布式數據探勘算法，可以快速有效的利用歷史質量數據改善原有數據檢核模型，達到數據質量判斷準確率精進的預期效果。
請參閱有關本發明的詳細說明及其附圖，將可進一步了解本發明的技術內容及其目的功效；相關附圖為圖I為在雲端平臺的大數據檢核系統架構的示意圖；圖2為該數據檢核系統的雲端規則探勘模塊詳細示意圖；圖3為該數據檢核系統的雲端數據檢驗模塊詳細示意圖；
圖4為該數據檢核系統的雲端質量篩選模塊詳細示意圖；圖5為該數據檢核系統的雲端訊息通報模塊詳細示意圖；以及圖6為在雲端平臺的大數據檢核方法的流程圖；附圖標記1、雲端規則探勘模塊；2、雲端大資料；3、雲端數據檢驗模塊；4、雲端質量篩選模塊；5、雲端訊息通報模塊；6、目標數據集散地；7、質量項目雲資料庫；8、質量規則雲資料庫;1. I、界面;1. 2、規則操作API ；1. 3、雲端規則探勘引擎；1. 4、規則建立Mapper/Reducer ；1. 5、質量規則；3. I、雲端數據檢驗引擎；3. 2、資料檢驗Mapper/Reducer ；3. 3、質量項目集合值；4. I、雲端質量篩選引擎；4. 2、質量決策配置文件；4. 3、品質篩選Mapper/Reducer ；4. 4、目標數據；5. I、雲端訊息通報引擎；5. 2、通報決策配置文件；5. 3、訊息通報Mapper/Reducer ；5. 4、匯總訊息；100、初始化質量比對模型；200、分割原始數據；300、驗證個別數據分割；400、進行目標數據加載；500、更新比對模型；600、通報比對結果。
具體實施例方式本發明是針對一種應用在數據倉儲系統所設計的數據質量檢測及計算方法，是在數據通過雲端平臺進行加載時，即通過歷史質量數據所建立的比對模型，決定其數據質量程度，以此評定數據質量的好壞。本發明可以提供企業於雲端平臺存放的大資料可靠的評量方式，用以決定不同進入數據倉儲數據的質量程度，並且將結果自動通報使用。圖I揭露本發明在雲端平臺的大數據檢核系統及其方法較佳實施例的架構，通過雲端運算平臺進行雲端數據檢核工作。此系統包括四個模塊與三個資料庫一個雲端規則探勘模塊I負責數據檢核規則模型的產生、存放；一個雲端數據檢驗模塊3負責計算比對雲端大資料2，產生數據質量項目；一個雲端質量篩選模塊4負責將通過檢核，符合用戶預期的數據加載到一個目標數據集散地6 個雲端訊息通報模塊5將每次數據檢核的結果搜集、通報使用者；該目標數據集散地6負責存放通過驗證的目標數據；一個質量項目雲資料庫7負責儲存質量數據；一個質量規則雲資料庫8負責儲存質量規則與規則所組成的模型數據。該雲端規則探勘模塊I連接該質量項目雲資料庫7，先產生質量規則到該質量規則雲資料庫8 ;接著該雲端數據檢驗模塊3連接該質量規則雲資料庫8，將該雲端大資料2進行分散比對，將產生的數據質量項目存放到該質量項目雲資料庫7;接著該雲端質量篩選模塊4再連接到該質量規則雲資料庫8將該雲端大資料2依照該質量項目雲資料庫7中對照的數據質量，篩選目標數據到該目標數據集散地6存放；最後該雲端訊息通報模塊5連接該質量項目雲資料庫7中的數據通報用戶當次檢核結果。上述雲端平臺是一個提供大數據分布式計算與儲存的環境，具容錯能力、高可用性、高效能、彈性擴充等特性，熟習該項技藝者可採用Hadoop、AmazonEC2、ClouderaEnterprise等等由多伺服器組成的雲端平臺來達成；該目標數據集散地6、該質量項目雲資料庫7以及該質量規則雲資料庫8可採用Hive、HBase、BigTable、Cassandra、AmazonSimpleDB等等建立在雲端平臺上的資料庫來存放雲端大數據，皆應視為等效實施。請參考圖2所示的雲端規則探勘模塊詳細示意圖，該雲端規則探勘模塊I是由以下子模塊所組成在一到多個數據質量規則I. 5還未自動產生以前，由用戶通過一個界面I. I手動操作，新增一到多個由「IF. . . THEN...」組成的數據質量規則I. 5，一個API (Application Interface,應用程式編程接口)I. 2將上述數據質量規則I. 5儲存在該質量雲資料庫8內。之後當該質量項目雲資料庫7開始有歷史數據以後，再由該雲端規則探勘引擎I. 3，以數據探勘(Data Mining)技術進行規則模型自動化建立。由於通過此技術，所建立出的規則模型有從歷史數據自動化演進學習的特性，以此當未來歷史數據累積越多，將可以自動提升預測數據質量的正確性，並且回饋至數據加載的流程。 負責規則模型建立的該分散運算單元Mapper/Reducer I. 4，是利用分散平行運算來處理數據。由於雲端環境是多主機所組成，大數據被切成小塊的數據分開來處理，接著分散到各個工作節點(Data Nodes)主機進行分散平行運算，最後再合併結果進行匯總，具備相較於傳統單一主機的處理方式更快速的處理能力。舉一範例，假設質量項目雲資料庫存放的歷史質量數據，為歷史數據行與質量分數的卷標所組成，例如
歷史資料行質量分數
產品名稱=商品A;銷售地點=地點A;銷售日期=日期A;^
商店名稱=商店A;銷售金額額A^
產品名稱=商品B;銷售地點=地點B;銷售曰期=曰期B;
商店名稱=商店B;銷售金額額B
產品名稱=商品K;銷售地點=地點K;銷售日期=日期K;
商店名稱=商店K;銷售金額=金額K該雲端規則探勘模塊I可以通過例如關聯規則或判定樹等並行算法來處理。利用n-item對1-item(正常、異常)的關聯規則挖掘並行算法時，在負責規則建立的該分散運算單元Mapper/Reducer I. 4中以平行處理算法計算出支持度(Support)與信賴度(Confidence)指標，每個迭代(Iteration)從 n-item 對 1-item 開始往(n+l)_item 對
1-item方向逐步進行挖掘。例如某一迭代挖掘出「銷售地點=地點B—異常」規則的支持度為20%、信賴度90%，如果決定繼續往下挖掘，則下一次迭代就是進行「銷售地點=地點B ;其它欄位=值一正常/異常」的規則挖掘。
權利要求
1.一種在雲端平臺的大數據檢核系統，其特徵在於，具有雲端大數據，通過雲端運算進行質量檢測與比對，包括 質量項目雲資料庫，用以儲存品值數據； 質量規則雲資料庫，用以儲存質量規則與規則所組成的模型數據； 雲端規則探勘模塊，用以連結該質量項目雲資料庫、自動產生數據檢核規則模型，存放於該質量規則雲資料庫中； 雲端數據檢驗模塊，用以計算比對該雲端大數據，連結該雲端規則探勘模塊產生的規則模型，與該雲端大數據比對產生質量數據項； 雲端質量篩選模塊，用以連結該質量項目雲資料庫，將通過檢核的該雲端大數據加載到目標數據集散地； 雲端訊息通報模塊，用以連接該質量項目雲資料庫，將每次數據檢核的結果搜集、通報 使用者；以及 目標數據集散地，接收通過該雲端訊息通報模塊檢核的數據，用以存放該數據。
2.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端平臺為Hadoop、EC2 或 Cloudera Enterprise。
3.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述目標數據集散地為非關係資料庫、關係資料庫、Hive、HBase、BigTable、Cassandra或Amazon SimpleDB。
4.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述質量項目雲資料庫為非關係資料庫、關係資料庫、Hive、HBase、BigTable、Cassandra或AmazonSimpleDB。
5.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述質量規則雲資料庫為非關係資料庫、關係資料庫、Hive、HBase> BigTable、Cassandra或AmazonSimpleDB。
6.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端規則探勘模塊，更包括 用戶接口，提供用戶輸入客制化的數據檢驗規則； 與用戶接口連接的API，用以將規則儲存於該質量規則雲資料庫中； 多個質量規則，用以計算並判斷數據質量； 多個規則建立Mapper/Reducer，利用分散平行運算算法建立規則模型；以及雲端規則探勘引擎，用以自動建立規則模型，呼叫該些規則建立Mapper/Reducer,並將該些質量規則，存放於該質量規則雲資料庫中。
7.如權利要求6所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端規則探勘模塊建立的規則算法為關聯規則或判定樹算法。
8.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端數據檢驗模塊，更包括 雲端數據檢驗引擎，用以連接該規則雲資料庫與啟動數據檢核分散運算工作；以及多個數據檢核Mapper/Reducer，用以計算數據質量項目，將結果存放在該質量項目雲資料庫。
9.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端質量篩選模塊，更包括 雲端質量篩選引擎，連接該質量項目雲資料庫，啟動質量篩選分散運算工作； 質量過濾決策配置文件，存放使用者預先定義的過濾決策；以及 多個質量篩選Mapper/Reducer，用以比對過濾原始數據並將檢核通過的數據加載到該目標數據集散地。
10.如權利要求I所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端訊息通報模塊，更包括 雲端訊息通報引擎，連結該質量項目雲資料庫，啟動訊息通報分散運算工作； 通報決策配置文件，存放使用者預先定義的通報決策；以及 多個訊息通報Mapper/Reducer，用以匯總數據檢核結果並通報使用者。
11.如權利要求9所述的在雲端平臺的大數據檢核系統，其特徵在於，所述雲端訊息通報模塊的訊息通報方式為E-Mail或SMS。
12.—種在雲端平臺的大數據檢核系統的檢核方法，其特徵在於，其步驟至少包含 a.初始化質量比對計算模型； b.分割原始數據； c.驗證個別數據分割； d.進行目標數據加載； e.更新比對模型；以及 f.通報比對結果。
13.如權利要求12所述的在雲端平臺的大數據檢核方法，其特徵在於，所述驗證個別數據分割步驟是將獲得的質量項目數據依照Key-Value關係，以數據行為Key，對照該質量規則雲資料庫比對出的質量分數為Value，索引儲存在該質量項目雲資料庫。
14.如權利要求12所述的在雲端平臺的大數據檢核方法，其特徵在於，所述進行目標數據加載步驟是將待檢核數據依照Key-Value關係計算過濾，以數據行為Key，對照該質量規則雲資料庫比對出的質量分數為Value，參考用戶決策進行過濾，並將過濾後的數據，由分散運算單元加載該目標數據集散地。
15.如權利要求12所述的在雲端平臺的大數據檢核方法，其特徵在於，所述更新比對模型步驟是將該比對模型依Key-Value關係索引儲存，以關聯規則或判定樹算法的數據探勘技術，以該質量項目資料庫中的數據行「某屬性=值」或「某屬性」為Key，該算法所需屬性的分割指針為Value進行匯總。
16.如權利要求12所述的在雲端平臺的大數據檢核方法，其特徵在於，所述通報比對結果步驟是將匯總結果依Key-Value關係，以E-Mail或SMS簡訊通報用戶，且以質量分數為Key,數據行為Value進行匯總。
全文摘要
本發明公開了一種應用於數據倉儲在雲端平臺的大數據檢核系統及其方法，是在數據由來源端通過雲端平臺進行數據轉換的過程上載至數據倉儲，一直到呈現至使用者端，在每階段數據處理步驟中，通過雲端分散運算的方式進行數據檢核比對、計算出此階段的數據質量，用來決定數據的適用性。
文檔編號G06F17/30GK102750367SQ20121020008
公開日2012年10月24日 申請日期2012年6月18日 優先權日2011年12月29日
發明者吳昭宗, 周維聖, 洪子軒 申請人:中華電信股份有限公司