用於數據倉庫的日誌分析方法和裝置製造方法
2023-09-18 19:16:30 7
用於數據倉庫的日誌分析方法和裝置製造方法
【專利摘要】本發明實施例公開了一種用於數據倉庫的日誌分析方法和裝置。所述用於數據倉庫的日誌分析方法包括：生成記錄日誌之間的依賴關係的元數據；根據所述元數據對日誌是否異常進行檢查；若檢查出異常的日誌，向用戶提示所述日誌的異常，和/或修改異常的日誌。本發明實施例公開的用於數據倉庫的日誌分析方法和裝置保證了及時、準確的檢查數據倉庫中日誌數據的異常。
【專利說明】用於數據倉庫的日誌分析方法和裝置
【技術領域】
[0001 ] 本發明實施例涉及網絡數據通信【技術領域】，尤其涉及一種用於數據倉庫的日誌分析方法和裝置。
【背景技術】
[0002]隨著大數據時代的來臨，數據倉庫技術受到了人們的青睞。數據倉庫是支持管理決策過程、面向主體、集成、非易失、隨時間不斷變化的數據集合。它是一個信息提供平臺，為用戶提供各種手段從數據中獲取信息和知識。也就是說，數據倉庫為支持海量存儲和高層決策分析提供了 一種解決方案。
[0003]數據倉庫本身是一來與大量的日誌數據而運行的。但是，數據倉庫內部日誌的數據量非常之大。一個普通規模的數據倉庫系統每天產生的日誌條目通常在億的數量級。而且，數據倉庫系統的日誌都是實時產生的，所以要求對數據倉庫系統的日誌的異常檢查手段的實時性較高。因此，通過原有的人工手段對數據倉庫系統的日誌數據進行及時、準確的異常檢查會十分困難。
【發明內容】
[0004]有鑑於此，本發明實施例提出一種用於數據倉庫的日誌分析方法和裝置，以保證及時、準確的檢查數據倉庫中日誌數據的異常。
[0005]第一方面，本發明實施例提供了一種用於數據倉庫的日誌分析方法，所述方法包括:
[0006]生成記錄日誌之間的依賴關係的元數據；
[0007]根據所述元數據對日誌是否異常進行檢查；
[0008]若檢查出異常的日誌，向用戶提示所述日誌的異常，和/或修改異常的日誌。
[0009]第二方面，本發明實施例提供了一種用於數據倉庫的日誌分析裝置，所述裝置包括:
[0010]元數據生成模塊，用於生成記錄日誌之間的依賴關係的元數據；
[0011]第一日誌檢查模塊，用於根據所述元數據對日誌是否異常進行檢查；
[0012]提示修改模塊，用於若檢查出異常的日誌，向用戶提示所述日誌的異常，和/或修改異常的日誌。
[0013]本發明實施例提供的用於數據倉庫的日誌分析方法和裝置，通過生成記錄日誌之間的依賴關係的元數據，根據所述元數據對日誌是否異常進行檢查，若檢查出異常的日誌，向用戶提示所述日誌的異常，和/或修改異常的日誌，從而保證了及時、準確的檢查數據倉庫中日誌數據的異常。
【專利附圖】
【附圖說明】
[0014]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本發明的其它特徵、目的和優點將會變得更明顯:
[0015]圖1是本發明第一實施例提供的用於數據倉庫的日誌分析方法的流程圖；
[0016]圖2是本發明第一實施例提供的日誌之間的依賴關係的示意圖；
[0017]圖3是本發明第二實施例提供的用於數據倉庫的日誌分析方法的流程圖；
[0018]圖4是本發明第二實施例提供的入庫以後日誌之間的依賴關係的示意圖；
[0019]圖5是本發明第三實施例提供的用於數據倉庫的日誌分析方法中根據元數據對日誌是否異常進行檢查的流程圖；
[0020]圖6是本發明第四實施例提供的用於數據倉庫的日誌分析方法的流程圖；
[0021]圖7是本發明第四實施例提供的可以實施所述日誌分析方法的數據倉庫系統的結構圖；
[0022]圖8是本發明第五實施例提供的用於數據倉庫的日誌分析裝置的結構圖。
【具體實施方式】
[0023]下面結合附圖和實施例對本發明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅用於解釋本發明，而非對本發明的限定。另外還需要說明的是，為了便於描述，附圖中僅示出了與本發明相關的部分而非全部內容。
[0024]圖1及圖2示出了本發明的第一實施例。
[0025]圖1是本發明第一實施例提供的用於數據倉庫的日誌分析方法的流程圖。所述用於數據倉庫的日誌分析方法由用於數據倉庫的日誌分析裝置執行。並且，所述用於數據倉庫的日誌分析裝置集成與數據倉庫系統的伺服器中。參見圖1，所述用於數據倉庫的日誌分析方法包括:
[0026]S110，生成記錄日誌之間的依賴關係的元數據。
[0027]數據倉庫系統中的日誌記錄著數據倉庫系統基本配置信息和數據倉庫內的各種事件。這些事件包括數據倉庫系統中關鍵模塊的啟動、關閉，管理員對數據倉庫系統及其關鍵模塊的維護操作以及用戶對數據倉庫系統的各種使用操作。由於數據倉庫系統本身的規模巨大，其產生的日誌的數據量也十分巨大。
[0028]在數據倉庫系統的日誌數據中，有一些日誌數據以依賴與所述數據倉庫系統中已有的其他日誌數據而產生的。例如一條記錄用戶對音樂庫中一首歌曲的播放行為的日誌，該條日誌的各個數據欄位如下表所示:
[0029]
【權利要求】
1.一種用於數據倉庫的日誌分析方法，其特徵在於，包括: 生成記錄日誌之間的依賴關係的元數據； 根據所述元數據對日誌是否異常進行檢查； 若檢查出異常的日誌，向用戶提示所述日誌的異常，和/或修改異常的日誌。
2.根據權利要求1所述的方法，其特徵在於，所述元數據用於記錄下遊日誌對上遊日誌的依賴關係。
3.根據權利要求1所述的方法，其特徵在於，根據所述元數據對日誌是否異常進行檢查包括: 讀取所述元數據記錄的日誌之間的依賴關係； 根據所述日誌之間的依賴關係，對日誌進行血統分析。
4.根據權利要求3所述的方法，其特徵在於，根據所述日誌之間的依賴關係，對日誌進行血統分析包括: 根據所述日誌之間的依賴關係，並依據系統上線時間，檢查所述依賴關係中上遊日誌與下遊日誌的數據 一致性。
5.根據權利要求1所述的方法，其特徵在於，在根據所述元數據對日誌是否異常進行檢查之前，還包括: 根據預先定義的日誌規範對日誌的格式規範性進行檢查。
6.根據權利要求5所述的方法，其特徵在於，根據預先定義的日誌規範對日誌的格式規範性進行檢查包括: 根據預先定義的日誌規範對日誌是否重複記錄、日誌的記錄頻率以及日誌的記錄時機進行檢查。
7.根據權利要求1所述的方法，其特徵在於，在生成記錄日誌之間的依賴關係的元數據之前，還包括: 將日誌進行規範化處理，並將經過規範化處理的日誌存入資料庫。
8.一種用於數據倉庫的日誌分析裝置，其特徵在於，包括: 元數據生成模塊，用於生成記錄日誌之間的依賴關係的元數據； 第一日誌檢查模塊，用於根據所述元數據對日誌是否異常進行檢查； 提示修改模塊，用於若檢查出異常的日誌，向用戶提示所述日誌的異常，和/或修改異常的日誌。
9.根據權利要求8所述的裝置，其特徵在於，所述元數據用於記錄下遊日誌對上遊日誌的依賴關係。
10.根據權利要求8所述的裝置，其特徵在於，所述第一日誌檢查模塊包括: 元數據讀取單元，用於讀取所述元數據記錄的日誌之間的依賴關係； 血統分析單元，用於根據所述日誌之間的依賴關係，對日誌進行血統分析。
11.根據權利要求10所述的裝置，其特徵在於，所述血統分析單元具體用於: 根據所述日誌之間的依賴關係，並依據系統上線時間，檢查所述依賴關係中上遊日誌與下遊日誌的數據一致性。
12.根據權利要求8所述的裝置，其特徵在於，還包括: 第二日誌檢查模塊，用於在根據所述元數據對日誌是否異常進行檢查之前，根據預先定義的日誌規範對日誌的格式規範性進行檢查。
13.根據權利要求12所述的裝置，其特徵在於，所述第二日誌檢查模塊具體用於: 根據預先定義的日誌規範對日誌是否重複記錄、日誌的記錄頻率以及日誌的記錄時機進行檢查。
14.根據權利要求8所述的裝置，其特徵在於，還包括: 日誌入庫模塊，用於在生成記錄日誌之間的依賴關係的元數據之前，將日誌進行規範化處理，並將經過規範化處理的日誌存入資料庫。
【文檔編號】G06F11/34GK104036034SQ201410305348
【公開日】2014年9月10日 申請日期:2014年6月30日 優先權日:2014年6月30日
【發明者】韓傑嬌 申請人:百度在線網絡技術（北京）有限公司