一種系統日誌自動分析的方法

2023-10-18 03:37:19 2

專利名稱：一種系統日誌自動分析的方法
技術領域：
本發明涉及半導體製造領域，尤其涉及一種系統日誌自動分析的方法。
背景技術：
目前，很多信息系統為了解決在長時間運行過程中出現的異常(如軟體異常或者數據異常等)，往往都設置有相應的異常處理機制，從而達到確保系統正常運轉的目的，如系統在處理這些異常的時候會將當時的狀況記錄到系統的日誌文件當中，以避免發生異常時產生的數據丟失，還能利用日誌文件中的異常數據幫助系統解決高頻問題。日誌文件的主要目的是為了幫助系統開發人員定位和解決問題，但是使用者往往也能利用日誌文件中異常數據進行系統異常的處理，但隨著運行時間的增加，日誌文件所包含的信息量會越來越多，使用者想要從日誌文件中獲得有效信息的困難也越來越高。當前比較通用的做法，就是通過針對不同的系統開發不同的日誌分析系統，以將使用者關注的信息從日誌文件中提取出來，生產使用者所關心的報告。但是，隨著生產信息化自動化的層度日益提高，信息系統越來越多，且各類信息系統產生的日誌文件開始呈現出爆炸性的增長，相應的所要開發的日誌系統也會越來越多，而工程技術人員則每天需要花大量的時間分析海量的日誌文件，以從中提取真正有效的信息，使得獲得日誌中有效信息的成本也越來越高；而由於這些真正有效的信息數量比較少，即雖然發生頻率比較低，但由於其對生產有著極大的影響，使得如何快速方便的將各種不同的日誌文件中的有效信息提取出來就成為當前業界急需解決的一個重大課題。中國專利(公布號:CN102164050A)公開了一種日誌解析方法及日誌解析接點設備，主要通過解析節點獲得日誌以及用於指示日誌中未解析內容的待匹配偏移；並利用存儲的第一正則表達式，對所述 待匹配偏移所指示的未解析內容進行解析，獲得與第一正則表達式匹配的欄位信息；以及判斷是否存在下級解析節點；在判斷結果為否，且所述解析節點預先存儲有事件類型信息時，所述解析節點將所述事件類型信息確定為所述日誌所記錄事件的事件類型信息，其中，所述事件類型信息是根據所述日誌傳遞到所述解析節點所經過的路徑上包含的至少一個解析節點存儲的正則表達式能從日誌中解析出的欄位信息而確定的，但其並沒有公開與從各種不同的日誌文件中的有效提取信息相關的技術特徵。中國專利(公布號:CN102768636A)公開了一種日誌解析方法及裝置，以解決現有技術將日誌解析與日誌格式綁定的問題。所述方法包括:輸入原始日誌；按照日誌解碼配置表中設置的欄位分解順序及各欄位所對應的分解策略，對所述原始日誌進行欄位分解，分解後得到各欄位的內容；將所述各欄位的內容作為日誌解析結果輸出。本發明提供的可配置方式具有較高的靈活性，一旦日誌格式發生變化、過濾規則變化、輸出內容變化，都可通過重新設置各配置表來滿足解析需求，而無需修改代碼，因此大大降低了技術人員的工作量，還避免了多套代碼存在的代碼重複率高的問題，最大程度上減少了代碼開發量，縮短了開發上線周期，但其並沒有公開與從各種不同的日誌文件中的有效提取信息相關的技術特徵。

發明內容
針對上述存在的問題，本發明公開了一種系統日誌自動分析的方法，其中，包括以下步驟:步驟S1:提供一樣本文件和一日誌文件地址；步驟S2:利用所述樣本文件對一學習分析系統進行訓練； 步驟S3:被訓練過的學習分析系統根據所述日誌文件地址獲取日誌文件，並對所述日誌文件進行分析，輸出日誌文件分析結果；其中，所述樣本文件是所述日誌文件的範例。上述的系統日誌自動分析的方法，其中，所述步驟S2中還包括:步驟S21:所述學習分析系統根據所述日誌文件地址，判斷學習分析系統是否學習過該日誌文件地址下的日誌文件的樣本文件；若所述學習分析系統沒有學習過該樣本文件，則進行步驟S22;若所述學習分析系統學習過該樣本文件，則進行步驟S23 ；步驟S22:所述學習分析系統獲取並學習所述樣本文件；步驟S23:所述學習分析系統對所述樣本文件進行解析，並輸出樣本文件分析結果;步驟S24:判斷所述樣本文件分析結果是否與預設信息相對應；若所述樣本文 件分析結果與預設信息相對應，則進行步驟S3 ;若所述樣本文件分析結果與預設信息不對應，則進行步驟S25 ；步驟S25:所述學習分析系統輸出錯誤信息，根據該錯誤信息對所述樣本文件進行修正後，該學習分析系統重新獲取並學習修正後的樣本文件，並繼續步驟S24。上述的系統日誌自動分析的方法，其中，步驟S24中的預設信息為根據工藝需求從所述樣本文件所包含的信息中篩選出的有效信息。上述的系統日誌自動分析的方法，其中，所述預設信息包括事件發生時間和/或事件結束時間和/或事件名稱和/或事件涉及數據名稱和/或事件發生時的狀態和/或事件發生的原因和/或錯誤代碼。上述的系統日誌自動分析的方法，其中，所述樣本文件與所述日誌文件均包括事件發生時間和/或事件結束時間和/或事件名稱和/或事件涉及數據名稱和/或事件發生時的狀態和/或事件發生的原因和/或錯誤代碼。上述的系統日誌自動分析的方法，其中，所述事件發生時的狀態包括錯誤、正常、通過和失敗。上述的系統日誌自動分析的方法，其中，所述學習分析系統為人工智慧系統，該人工智慧系統根據日誌文件格式設定，通過學習後該人工智慧系統自動完成對相應日誌文件的解析。上述的系統日誌自動分析的方法，其中，還包括:根據系統要求的格式通過在所述日誌文件中加入相應的注釋得到所述樣本文件。綜上所述，本發明一種系統日誌自動分析的方法，通過在日誌文件中添加相應的注釋形成樣本文件，並利用該樣本文件對學習分析系統進行培訓後，採用培訓後的學習分析系統對樣本文件進行分析，並判斷分析結果是否符合工藝需求，不符合則繼續利用樣本文件對學習分析系統進行培訓，直至分析結果符合工藝需求後，利用培訓過的學習分析系統對日誌文件進行分析，以獲取工藝需求的信息，即通過按照固定的格式和對人工智慧系統進行簡單的訓練，就能針對新的系統的日誌文件進行分析，以從日誌文件中獲得工藝需求的有效信息，進而有效的降低了因不斷的開發新的日誌分析系統所花費的大量時間和人力成本。


圖1為實施例中系統日誌自動分析的方法的流程示意圖。
具體實施例方式下面結合附圖對本發明的具體實施方式
作進一步的說明:目前每個信息系統中的日誌文件都保存在固定的位置且設置有固定的格式，雖然各個系統的開發人員的習慣和使用的規範不盡相同，但絕大多數信息系統中的日誌文件中都會包括以下幾個要件:a.事件發生和結束的時間；b.事件名稱以及該事件涉及到的數據的名稱；c.事件發生時的狀態，如錯誤(Error)、正常(0K)、通過(Pass)和/或失敗(Fail)等狀態；d.時間發生的原因和錯誤代碼；由於，上述的四個要件是工程人員日常工作中關心的要點，這就要求將這些要件從繁雜的日誌文件中解析出來，以便於發生事件原因的分析和處理。

人工智慧主要研究、開發用於模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學，通過採用最新的人工智慧的算法形成的人工智慧系統，由於其具備學習能力，通過對該人工智慧系統進行訓練，能夠使得該人工智慧系統獲得不同系統的日誌格式，然後自動對相應系統的日誌文件進行解析，以獲得工藝需求的信息。圖1為實施例中系統日誌自動分析的方法的流程示意圖；如圖1所示，一種系統日誌自動分析的方法，主要利用上述的人工智慧系統作為學習分析系統進行系統日誌文件的分析，具體包括以下步驟:首先，提供信息系統保存日誌文件的地址(路徑)和一個樣本文件，該樣本文件是上述日誌文件地址下保存的日誌文件的範本，是根據系統要求的格式通過在日誌文件中加入相應的注釋得到範本以作為後續學習分析系統訓練的樣本文件，如系統要求獲取上述的四個要件(a、b、d和d)，則任選一上述日誌文件，並在該日誌文件中記錄有四個要件的位置處加上注釋；其中，還要根據系統的要求事先從上述的樣本文件提取出預設信息，該預設信息為根據工藝需求從樣本文件所包含的信息中篩選出的有效信息，一般包括上述的四個要件如事件發生時間和/或事件結束時間和/或事件名稱和/或事件涉及數據名稱和/或事件發生時的狀態和/或事件發生的原因和/或錯誤代碼等信息。其次，學習分析系統(上述的人工智慧系統)根據日誌文件地址判斷是否已經學習過該地址下日誌文件的樣本文件；如沒有學習過該日誌文件的樣本文件，則獲取並學習該樣本文件，而若學習過該日誌文件的樣本文件，則直接學習該樣本文件，即該人工智慧系統通過上述添加的注釋，自動學習和分析該樣本文件的信息，提取並輸出添加有注釋處的信息，進而獲得該樣本文件的分析結果。之後，將分析結果與預置信息進行比對，如果分析結果的信息與預置信息相對應，則說明該人工智慧系統訓練步驟完成，可直接進行日誌文件的分析；而若分析結果的信息與預置信息不適應，則說明該人工智慧系統還存在一定的缺陷，需要進一步的訓練，同時該人工智慧系統輸出錯誤信息。然後，根據上述的錯誤信息對樣本文件和/或人工智慧系統進行修訂後，利用修訂後的樣本文件再次對人工智慧系統再次進行訓練(如樣本文件不進行修訂則直接利用原先的樣本文件再次進行訓練)，並將再次輸出的樣本文件分析結果與預置信息進行比對，重複上述的信息比對和修訂步驟，直至分析結果的信息與預置信息相適應，完成人工智慧系統的訓練步驟。最後，利用訓練後的人工智慧系統根據信息系統保存日誌文件的地址，獲取並分析該地址下所有的日誌文件，並將日誌文件分析結果輸出，以便於工程人員對信息系統中發生的事件進行分析和處理。其中，上述的樣本文件與日誌文件中均包含有事件發生時間和/或事件結束時間和/或事件名稱和/或事件涉及數據名稱和/或事件發生時的狀態和/或事件發生的原因和/或錯誤代碼，且事件發生時的狀態包括錯誤(Error)、正常(0K)、通過(Pass)和失敗(Fail)。下面就以具體的實例進行詳細的說明:首先，選一原始日誌:---Begin on Fri Mar900:00:002012------------------------------

Inline Standard Loader: Release Version2.1.0.8 Date Wed Sep1500:37:582010Data File:20120308—235701.1nline, csvControl File:/kla-tencor/adb/loader/config/inlineloader, cfgLDR-02032:Found non-numeric data in MEASUREDATAARRAY field[Line:1][106]rows processed, [98]rows loaded, [8]rows data error,
rows needreload---End on Fri Mar900:00:012012(ElapsedOminuteslseconds)。然後，在上述的原始日誌中添加注釋，得到樣本文件:#StartTime# ---Begin on Fri Mar900:00:002012----------------------#Ignore#nline Standard Loader:Release Version2.1.0.8Date WedSepl500:37:582010#FileName#Data File:20120308—235701.1nline.csv#Message#LDR-02032:Found non-numeric data in MEASUREDATAARRAYfield[Line:1]#Statue#[106]rows processed, [98]rows loaded, [8]rows dataerror,
rows need reload#EndTime#:---End on Fri Mar900:00:012012(ElapsedOminutesl seconds)然後，利用人工智慧系統，對該樣本文件進行學習後，分析得到樣本分析結果:Start Time:2012/03/0900:00:00File Name:20120308_235701.1nline, csvMessage:LDR_02032: Found non-numeric data in MEASUREDATAARRAYfield[Line:1]若是預置信息與分析結果相適應(如預置信息只包括Start Time、File Name和Message三個信息)，則表明該人工智慧系統完成訓練步驟，若不相適應(如預置信息只包括Start Time、File Name、Message和End Time等)，則該人工智慧系統輸出缺少一欄EndTime的錯誤信息，並根據該錯誤信息對樣本文件和/或人工智慧系統進行修訂後，再次進行訓練動作，直至預置信息與分析結果相適應。最後，利用訓練過的人工智慧系統完成日誌文件的分析和處理。綜上所述，由於採用了上述技術方案，本發明實施例提出一種系統日誌自動分析的方法，通過在日誌文件中添加相應的注釋形成樣本文件，並利用該樣本文件對學習分析系統進行培訓後，採用培訓後的學習分析系統對樣本文件進行分析，並判斷分析結果是否符合工藝需求，不符合則繼續利用樣本文件對學習分析系統進行培訓，直至分析結果符合工藝需求後，利用培訓過的學習分析系統對日誌文件進行分析，以獲取工藝需求的信息，即通過按照固定的格式和對人工智慧系統進行簡單的訓練，就能針對新的系統的日誌文件進行分析，以從日誌文件中獲得工藝需求的有效信息，進而有效的降低了因不斷的開發新的日誌分析系統所花費的 大量時間和人力成本。通過說明和附圖，給出了具體實施方式
的特定結構的典型實施例，基於本發明精神，還可作其他的轉換。儘管上述發明提出了現有的較佳實施例，然而，這些內容並不作為局限。對於本領域的技術人員而言，閱讀上述說明後，各種變化和修正無疑將顯而易見。因此，所附的權利要求書應看作是涵蓋本發明的真實意圖和範圍的全部變化和修正。在權利要求書範圍內任何和所有等價的範圍與內容，都應認為仍屬本發明的意圖和範圍內。
權利要求
1.一種系統日誌自動分析的方法，其特徵在於，包括以下步驟: 步驟S1:提供一樣本文件和一日誌文件地址； 步驟S2:利用所述樣本文件對一學習分析系統進行訓練； 步驟S3:被訓練過的學習分析系統根據所述日誌文件地址獲取日誌文件，並對所述日誌文件進行分析，輸出日誌文件分析結果； 其中，所述樣本文件是所述日誌文件的範例。
2.根據權利要求1所述的系統日誌自動分析的方法，其特徵在於，所述步驟S2中還包括: 步驟S21:所述學習分析系統根據所述日誌文件地址，判斷學習分析系統是否學習過該日誌文件地址下的日誌文件的樣本文件； 若所述學習分析 系統沒有學習過該樣本文件，則進行步驟S22 ;若所述學習分析系統學習過該樣本文件，則進行步驟S23 ； 步驟S22:所述學習分析系統獲取並學習所述樣本文件； 步驟S23:所述學習分析系統對所述樣本文件進行解析，並輸出樣本文件分析結果； 步驟S24:判斷所述樣本文件分析結果是否與預設信息相對應； 若所述樣本文件分析結果與預設信息相對應，則進行步驟S3 ;若所述樣本文件分析結果與預設信息不對應，則進行步驟S25 ； 步驟S25:所述學習分析系統輸出錯誤信息，根據該錯誤信息對所述樣本文件進行修正後，該學習分析系統重新獲取並學習修正後的樣本文件，並繼續步驟S24。
3.根據權利要求2所述的系統日誌自動分析的方法，其特徵在於，步驟S24中的預設信息為根據工藝需求從所述樣本文件所包含的信息中篩選出的有效信息。
4.根據權利要求3所述的系統日誌自動分析的方法，其特徵在於，所述預設信息包括事件發生時間和/或事件結束時間和/或事件名稱和/或事件涉及數據名稱和/或事件發生時的狀態和/或事件發生的原因和/或錯誤代碼。
5.根據權利要求1-4中任意一項所述的系統日誌自動分析的方法，其特徵在於，所述樣本文件與所述日誌文件均包括事件發生時間和/或事件結束時間和/或事件名稱和/或事件涉及數據名稱和/或事件發生時的狀態和/或事件發生的原因和/或錯誤代碼。
6.根據權利要求5所述的系統日誌自動分析的方法，其特徵在於，所述事件發生時的狀態包括錯誤、正常、通過和失敗。
7.根據權利要求5所述的系統日誌自動分析的方法，其特徵在於，所述學習分析系統為人工智慧系統，該人工智慧系統根據日誌文件格式設定，通過學習後該人工智慧系統自動完成對相應日誌文件的解析。
8.根據權利要求5所述的系統日誌自動分析的方法，其特徵在於，還包括:根據系統要求的格式通過在所述日誌文件中加入相應的注釋得到所述樣本文件。
全文摘要
本發明涉及半導體製造領域，尤其涉及一種系統日誌自動分析的方法，通過在日誌文件中添加相應的注釋形成樣本文件，並利用該樣本文件對學習分析系統進行培訓後，採用培訓後的學習分析系統對樣本文件進行分析，並判斷分析結果是否符合工藝需求，不符合則繼續利用樣本文件對學習分析系統進行培訓，直至分析結果符合工藝需求後，利用培訓過的學習分析系統對日誌文件進行分析，以獲取工藝需求的信息，即通過按照固定的格式和對人工智慧系統進行簡單的訓練，就能針對新的系統的日誌文件進行分析，以從日誌文件中獲得工藝需求的有效信息，進而有效的降低了因不斷的開發新的日誌分析系統所花費的大量時間和人力成本。
文檔編號G06F11/34GK103226509SQ20131011990
公開日2013年7月31日 申請日期2013年4月8日 優先權日2013年4月8日
發明者陳旭, 婁曉祺, 邵雄 申請人:上海華力微電子有限公司