新四季網

故障定位模型的生成方法、故障定位方法和裝置與流程

2023-11-01 05:49:57


本申請涉及虛擬化技術領域,特別涉及一種故障定位模型的生成方法、故障定位方法和裝置。



背景技術:

虛擬化(virtualization)技術是一種通過通用硬體以及虛擬化技術來實現各種不同功能的技術。應用了虛擬化技術的虛擬化網絡通常可以包括主機(host)、虛擬機(virtualmachine,vm)和虛擬化網絡功能模塊(virtualnetworkfunction,vnf)這幾種網元(networkelement,ne),vm運行在主機上,而vnf運行在vm上,vnf可以用於實現各種功能。應用了虛擬化技術的虛擬化網絡出現故障時,需要對故障進行定位,以確定具體的故障位置。

在一種故障定位方法中,該方法為,首先將虛擬化網絡中各個網元的日誌數據分割為多段文欄位,並抽取關鍵詞,然後分析關鍵詞頻次,再根據關鍵詞頻次篩選關鍵詞並將關鍵詞轉化為日誌特徵,然後將得到的日誌特徵作為數據挖掘分類算法(classificationalgorithmsindatamining)的訓練數據,以獲得故障定位模型,之後可以根據該故障定位模型來對虛擬化網絡出現的故障進行定位。

在實現本申請的過程中,發明人發現現有技術至少存在以下問題:虛擬化網絡中各個網元的日誌中,大部分是與故障分析無關的日誌,提取其中的關鍵詞並通過關鍵詞頻次來篩選關鍵詞可能會遺漏較多與故障定位有關的關鍵詞,由此得到的故障定位模型對於故障的定位的可靠性較差。



技術實現要素:

為了解決故障定位模型對於故障的定位的可靠性較差的問題,本申請提供了一種故障定位模型的生成方法、故障定位方法和裝置。所述技術方案如下:

本申請的執行主體可以是獨立於虛擬化網絡之外的一個裝置,該裝置可以是一個網絡設備。

第一方面,本申請提供了一種故障定位模型的生成方法,該方法包括:

網絡設備確定虛擬化網絡中告警信息產生的時間信息。該時間信息可以記錄有當前時刻之前的多個告警信息的產生時刻。

網絡設備根據時間信息獲取虛擬化網絡中告警信息產生時的日誌數據。該日誌數據包括虛擬化網絡中多個網元的日誌,虛擬化網絡中的網元可以包括host、vm和vnf等。

網絡設備從日誌數據中獲取日誌特徵。

網絡設備根據日誌特徵獲取訓練數據,該訓練數據可以作為數據挖掘分類算法(classificationalgorithmsindatamining)的訓練數據。

網絡設備將通過數據挖掘分類算法將訓練數據訓練為虛擬化網絡的故障定位模型。

本申請提供的故障定位模型的生成方法中,通過獲取告警信息產生時的日誌數據,根據該日誌數據來逐步獲取訓練數據,並根據該訓練數據訓練得到故障定位模型,將告警信息和訓練數據關聯了起來,提高了故障定位模型的可靠性。

可選的,根據時間信息獲取虛擬化網絡中告警信息產生時的日誌數據之前,該方法還包括:

網絡設備對虛擬化網絡中產生的告警信息進行壓縮處理,以去除重複的告警信息。

虛擬化網絡中的多個網元可能對於同一個故障各自發出告警信息,這使得重複的告警信息較多,去除重複的告警信息能夠減少生成故障定位模型時的計算量。

可選的,根據時間信息獲取虛擬化網絡中告警信息產生時的日誌數據,包括:

網絡設備根據時間信息獲取虛擬化網絡中告警信息產生時各個網元的日誌;

網絡設備可以將各個網元的日誌中相關聯的日誌進行拼接,得到虛擬化網絡中告警信息產生時的日誌數據。

由於虛擬化網絡中的虛擬機可能存在遷移等情況,同一個vnf可能在不同時間運行於不同的vm上,因而網絡設備可以將不同的vm上相關聯的日誌進行拼接,以提高得到的日誌數據的完整性與可靠性。

可選的,網絡設備從日誌數據中獲取日誌特徵,包括:

網絡設備獲取日誌數據中的至少一個關鍵詞。關鍵詞(keywords)通常是日誌數據中較為重要的幾個詞或者短語,作為對日誌數據主要內容的提要。獲取關鍵詞是快速了解日誌數據內容、把握日誌數據主題的重要方式。

網絡設備可以根據至少一個關鍵詞將日誌數據轉換為日誌特徵。

本申請提供的故障定位模型的生成方法中,網絡設備可以根據日誌數據中的關鍵詞來生成日誌特徵,以對日誌數據進行精簡,提高故障定位模型的可靠性。

可選的,網絡設備獲取日誌數據中的至少一個關鍵詞,包括:

網絡設備對日誌數據進行數據清洗(datacleaning),數據清洗用於去除日誌數據中與故障定位無關的數據。

網絡設備獲取數據清洗後的日誌數據中的至少一個關鍵詞。

對日誌數據進行數據清洗能夠清楚日誌數據中與故障定位無關的數據,減少生成故障定位模型的計算量。

可選的,網絡設備對日誌數據進行數據清洗,包括:

網絡設備刪除日誌數據中的非字母字符、與故障定位無關的數字字符、空行、重複行和高頻詞中的至少一種;

和/或,網絡設備將日誌數據中的多行日誌轉換為單行日誌。

非字母字符、與故障定位無關的數字字符、空行、重複行和高頻詞通常均與故障定位的關聯性較小,可以將這些數據刪除。

可選的,網絡設備獲取數據清洗後的日誌數據中的至少一個關鍵詞,包括:

網絡設備將數據清洗後的日誌數據中,每次告警信息產生告警信息產生時的日誌數據分割為故障日誌數據和正常日誌數據,故障日誌數據為包括告警信息產生時刻的第一預設時間段的日誌數據,正常日誌數據為第一預設時間段之前的第二預設時間段的日誌數據。

網絡設備判斷數據清洗後的日誌數據中,每次告警信息產生時的日誌數據中是否同時包括正常日誌數據和故障日誌數據。

在數據清洗後的日誌數據中,任一告警信息產生時的日誌數據中並非同時包括正常日誌數據和故障日誌數據時(即日誌數據中僅包括正常日誌數據或僅包括故障日誌數據),網絡設備獲取任一告警信息產生時的日誌數據中的至少一個關鍵詞。

在數據清洗後的日誌數據中,任一告警信息產生時的日誌數據中同時包括正常日誌數據和故障日誌數據時,判斷正常日誌數據和故障日誌數據的相似度是否小於預設值。

在相似度小於預設值時,網絡設備獲取任一告警信息產生時的日誌數據的至少一個關鍵詞。

在相似度不小於預設值時,說明虛擬化網絡在發生故障前後日誌數據變化不大,為了增加關鍵詞以分析故障,網絡設備可以獲取任一告警信息產生時的日誌數據的至少一個關鍵詞,並將任一告警信息產生時的日誌數據中的數字字符作為關鍵詞。

可選的,根據至少一個關鍵詞將日誌數據轉換為日誌特徵,包括:

網絡設備根據第一關鍵詞將數據清洗後的日誌數據轉換為關於第一關鍵詞的日誌特徵,其中,關於第一關鍵詞的日誌特徵用於指示數據清洗後的日誌數據中的每個日誌是否包括該第一關鍵詞,該第一關鍵詞為至少一個關鍵詞中的任一關鍵詞。

本申請提供的故障定位模型的生成方法中,可以將是否包括關鍵詞來作為日誌特徵。

可選的,根據日誌特徵獲取訓練數據,包括:

網絡設備將日誌特徵作為訓練數據;

或者,

網絡設備根據虛擬化網絡中任一告警信息與任一告警信息對應的日誌特徵生成日誌特徵序列,任一告警信息對應的日誌特徵為根據任一告警信息產生時的日誌數據獲取的日誌特徵;

網絡設備通過序列模式挖掘算法挖掘日誌特徵序列,得到至少一個候選序列特徵;

網絡設備通過序列選擇算法從至少一個候選序列特徵挑選出與故障定位相關的序列特徵;

網絡設備將序列特徵和日誌特徵作為訓練數據。

網絡設備可以直接將日誌特徵作為訓練數據,或者也可以根據日誌特徵獲取序列特徵,並將序列特徵和日誌特徵均作為訓練數據,以增加訓練數據的可靠性和全面性。

可選的,根據日誌特徵獲取訓練數據,包括:

網絡設備根據虛擬化網絡中的告警信息、性能統計數據、虛擬機信息和主機信息中的至少一種信息得到虛擬化網絡的專家特徵;

網絡設備將專家特徵和日誌特徵作為訓練數據。

網絡設備可以獲取專家特徵,並將專家特徵和日誌特徵一起作為訓練數據,以增加訓練數據的可靠性和全面性。

根據本申請的第二方面,提供一種故障定位方法,該方法包括:

在虛擬化網絡發生故障時,獲取第一方面提供的方法生成的虛擬化網絡的故障定位模型;

根據該故障定位模型對虛擬化網絡發生的故障進行定位。

根據本申請的第三方面,提供一種故障定位模型的生成裝置,該故障定位模型的生成裝置包括至少一個模塊,該至少一個模塊用於實現上述第一方面所提供的故障定位模型的生成方法。

根據本申請的第四方面,提供一種故障定位裝置,該故障定位裝置包括至少一個模塊,該至少一個模塊用於實現上述第二方面提供的故障定位方法。

根據本申請的第五方面,提供了一種故障定位模型的生成裝置,該故障定位模型的生成裝置包括:處理器、網絡接口、存儲器以及總線,存儲器與網絡接口分別通過總線與處理器相連;處理器被配置為執行存儲器中存儲的指令;處理器通過執行指令來實現上述第一方面所提供的故障定位模型的生成方法。

根據本申請的第六方面,提供了一種故障定位裝置,該故障定位裝置包括:處理器、網絡接口、存儲器以及總線,存儲器與網絡接口分別通過總線與處理器相連;處理器被配置為執行存儲器中存儲的指令;處理器通過執行指令來實現上述第二方面所提供的故障定位方法。

根據本申請的第七方面,提供一種計算機可讀存儲介質,該計算機可讀存儲介質中存儲有指令,當該計算機可讀存儲介質在計算機上運行時,使得計算機執行上述第一方面提供的故障定位模型的生成方法。

根據本申請的第八方面,提供一種計算機可讀存儲介質,該計算機可讀存儲介質中存儲有指令,當該計算機可讀存儲介質在計算機上運行時,使得計算機執行上述第二方面提供的故障定位方法。

本發明實施例提供的技術方案帶來的有益效果是:

通過獲取告警信息產生時的日誌數據,根據該日誌數據來逐步獲取訓練數據,並根據該訓練數據訓練得到故障定位模型,將告警信息和訓練數據關聯了起來,相較於相關技術中訓練數據可能遺漏大量和故障定位有關的信息,提高了依靠訓練數據生成的故障定位模型的可靠性。

附圖說明

圖1是本發明各個實施例所涉及的實施環境的示意圖;

圖2是本發明示例性實施例涉及的一種網絡設備的結構示意圖;

圖3-1是本發明實施例提供的一種故障定位模型的生成方法的流程圖;

圖3-2是圖3-1所示實施例中一種nfv網絡的架構圖;

圖3-3是圖3-1所示實施例中另一種nfv網絡的架構圖;

圖3-4是圖3-1所示實施例中一種獲取關鍵詞的流程圖;

圖3-5是圖3-1所示實施例中一種獲取訓練數據的流程圖;

圖3-6是圖3-1所示實施例中另一種獲取訓練數據的流程圖;

圖3-7是圖3-1所示實施例中另一種獲取訓練數據的流程圖;

圖4-1是本發明實施例提供的一種故障定位方法的流程圖;

圖4-2是圖4-1所示實施例中一種故障定位的流程圖;

圖5-1是本發明實施例提供的一種故障定位模型的生成裝置的框圖;

圖5-2是圖5-1所示實施例中一種日誌特徵獲取模塊的框圖;

圖5-3是本發明實施例提供的另一種故障定位模型的生成裝置的框圖;

圖5-4是圖5-1所示實施例中一種關鍵詞獲取子模塊的框圖;

圖6是本發明實施例提供的一種故障定位裝置的框圖。

具體實施方式

為使本申請的目的、技術方案和優點更加清楚,下面將結合附圖對本申請實施方式作進一步地詳細描述。

請參考圖1,其示出了本發明各個實施例所涉及的實施環境的示意圖,該實施環境可以包括:虛擬化網絡01、故障定位模型生成裝置02和故障定位裝置03。虛擬化網絡01可以分別和故障定位模型生成裝置02以及故障定位裝置03建立有連接,故障定位模型生成裝置02可以和故障定位裝置03建立有連接。此外,故障定位模型生成裝置02還可以和故障定位裝置03為同一個裝置。

虛擬化網絡01為應用了虛擬化技術的網絡,用於實現各種網絡功能。故障定位模型生成裝置02用於生成針對虛擬化網絡01的故障定位模型。故障定位裝置03用於根據故障定位模型生成裝置02生成的故障定位模型對虛擬化網絡01發生的故障進行定位。

請參考圖2,其示出了本發明示例性實施例涉及的一種網絡設備的結構示意圖。該網絡設備10可以是上述故障定位模型生成裝置02或者故障定位裝置03,該網絡設備10包括:處理器12和網絡接口14。

處理器12包括一個或者一個以上處理核心。處理器12通過運行軟體程序以及模塊,從而執行各種功能應用以及數據處理。

網絡接口14可以為多個,該網絡接口14用於與其它存儲設備或者網絡設備進行通信。

可選的,網絡設備10還包括存儲器16、總線18等部件。其中,存儲器16與網絡接口14分別通過總線18與處理器12相連。

存儲器16可用於存儲軟體程序以及模塊。具體的,存儲器16可存儲作業系統162、至少一個功能所需的應用程式164。作業系統162可以是實時作業系統(realtimeexecutive,rtx)、林納斯作業系統(linux)、尤尼斯作業系統(unix)或視窗作業系統(windows)。

請參考圖3-1,其為本發明實施例提供的一種故障定位模型的生成方法的流程圖,該故障定位模型的生成方法可以包括如下幾個步驟:

步驟301、網絡設備對虛擬化網絡中產生的告警信息進行壓縮處理,以去除重複的告警信息。

告警信息是虛擬化網絡中某個網元發生故障時發出的信息,但由於虛擬化網絡中的多個網元可能對於同一個故障各自發出告警信息,這使得重複的告警信息較多。網絡設備在生成故障定位模型時,去除重複的告警信息能夠減少生成故障定位模型時的計算量。

本發明實施例可以通過相關技術中的告警壓縮(alarmdeduplication)方法來對重複的告警信息進行壓縮處理。告警壓縮方法可以參考相關技術,在此不再贅述。

步驟302、網絡設備確定虛擬化網絡中告警信息產生的時間信息。

網絡設備可以從虛擬化網絡中用於管理的網元中獲取告警信息產生的時間信息,該時間信息可以記錄有當前時刻之前的多個告警信息的產生時刻。

步驟303、網絡設備根據時間信息獲取虛擬化網絡中告警信息產生時各個網元的日誌。

虛擬化網絡中,日誌是每個網元的運行記錄,每個日誌可以記載著日期、時間、使用者及動作等相關操作的描述。由於日誌的數據量較為龐大,為了減少數據處理量,網絡設備可以在生成故障定位模型時獲取歷史記錄中,告警信息產生時各個網元的日誌。這裡的告警信息是指去除了重複告警信息後的告警信息。告警信息產生時可以是指包括告警信息產生時刻在內的一個時間段,而告警信息產生時刻可以是記錄在告警信息內的一個時刻,也可以是網絡設備發現告警信息的時刻,這兩個時刻的時間差可以忽略不計。

虛擬化網絡中某些硬體部件的性能可能在一個較長的時間內逐漸降低直至失效,在失效的那一刻與失效的前一刻相比,在日誌上可能沒有較大的變化,如果僅通過失效那一刻的日誌來進行分析的話,可能難以分析出準確的故障位置,因而為了提高日誌的全面性和可靠性,網絡設備可以分別獲取當前時刻(生成故障定位模型的時刻)之前的多個時間段中告警信息產生時的日誌,在這多個時間段的每一時間段中,虛擬化網絡都可能發生有多次故障,因而各個時間段的日誌中可以包括多次故障時的日誌。示例性的,可以獲取當前時刻至當前時刻之前30分鐘的日誌,當前時刻之前30分鐘至當前時刻之前60分鐘的日誌,當前時刻之前1小時至當前時刻之前2小時的日誌,當前時刻之前2小時至當前時刻之前6小時的日誌等多個時段的日誌,這樣網絡設備就能夠在一個較長的時間段來分析虛擬化網絡中出現的故障。

本發明實施例中的虛擬化網絡可以為網絡功能虛擬化(networkfunctionvirtualization,nfv)網絡,nfv網絡的結構可以如圖3-2所示,其中,運營支撐系統(operationssupportsystems,oss)/業務支撐系統(businesssupportsystem,bss)為nfv網絡的支撐系統;網元管理系統(elementmanagementsystem,ems)用於管理vnf;協調器(orchestrator)用於進行網絡業務、vnf與資源(該資源可以包括計算資源、網絡資源和存儲資源等)的總體管理,是整個nfv架構的控制核心;虛擬化網絡功能管理器(virtualnetworkfunctionmanager,vnfm)用於vnf的資源和生命周期等的管理;網絡功能虛擬化基礎設施(networkfunctionsvirtualisationinfrastructure,nfvi)是一種包含網絡設備、虛擬化管理程序、作業系統、虛擬機、虛擬交換機和網絡資源的雲數據中心;虛擬化的基礎設施管理器(virtualinfrastructuremanager,vim)用於對nfvi的資源進行管理和監控。nfv的架構還可以參考相關技術,在此不再贅述。

本發明實施例獲取的各個網元的日誌等數據可以來源於圖3-2中的oss、vnf、vnfm和vim。

在圖3-2所示的架構中,vnf是運行於vm中的,而vm又運行於host中,示例性的,該運行方式的結構可以如圖3-3所示,其中,vnf2運行於兩個虛擬機vm2和vm3上,而vm2運行於host1中,vm3運行於host2中,圖3-3中的多個host可以相當於圖3-2中的nfvi。網絡設備可以從vnfm中獲取vnf和vm的對應關係,可以從vim中獲取vm和host的對應關係。

本發明實施例中的vnf可以是各種電信軟體,電信軟體是用於實現各種電信功能的軟體,如歸屬位置寄存器(homelocationregister,hlr)和拜訪位置寄存器(visitorlocationregister,vlr)等。

在獲取日誌時,網絡設備可以獲取告警信息所對應的vnf(一個vnf發出告警信息,則可以稱該告警信息與該vnf對應)所在的vm(vnf運行於某個vm時,可以稱該vm為該vnf所在的vm)的影響範圍(vm的影響範圍可以包括運行於其上的vnf,以及運行有該vm的host)內的日誌,即vnf的日誌、vnf所在的vm的日誌,vm所在的host(vm運行於某個host時,可以稱該host為該vm所在的host)的日誌。

此外,由於一個故障可能會影響多個網元,因而一個故障可以會使網絡設備獲取多組日誌,示例性的,vnf1存在故障e1,則vnf1會上報告警信息m1,同時該故障e1也會影響到vnf3,則vnf3也會上報一個告警信息m2,這樣網絡設備就會獲取兩組日誌:1、告警信息m1所對應的vnf1的日誌,vnf1所在的vm1的日誌以及vm1所在的host1的日誌;2、告警信息m2所對應的vnf3的日誌,vnf3所在的vm4的日誌以及vm4所在的host2的日誌。

為了便於組織數據,網絡設備可以將告警信息和vnf對應起來,獲取粒度較為統一的數據。告警信息中通常包括告警源信息,多數的告警源信息用於指示該告警信息是由哪個網元發出的,對於該類告警源信息,網絡設備能夠通過獲取的vnf、vm和host的對應關係(這三者的對應關係可以參考圖3-3及其說明)將該告警源所述的告警信息與vnf對應,示例性的,告警信息b中的告警源信息指示告警信息b是由host1發出,則可以根據host和vm的對應關係將host1和某個vm對應,再根據vm和vnf的對應關係將該某個vm和某個vnf對應起來,進而可以將告警信息b和該某個vnf對應起來,其中host可以與多個vm對應,vm可以與多個vnf對應,進而告警信息也可以與多個vnf對應,本發明實施例不作出限制。還有部分告警源信息記載了管理對象實體(managementobjectinstance,moi)信息,moi信息是電信軟體標準中定義管理對象類(managementobjectclass,moc)的功能實體,對於這類告警信息,網絡設備可以從vnf中導出網元配置信息,遵循電信標準,獲得告警信息和vnf的對應關係。

此外,本發明實施例中的虛擬化網絡還可以是雲計算(cloudcomputing)數據中心網絡等應用了虛擬化技術的網絡。

步驟304、網絡設備將各個網元的日誌中相關聯的日誌進行拼接,得到虛擬化網絡中告警信息產生時的日誌數據。

虛擬化網絡中可能存在業務遷移的可能,即同一個vnf在不同的時間點運行於不同的vm上,相關聯的日誌可以是指同一個vnf運行於不同的vm上的日誌,網絡設備可以從圖3-2所示的架構中的vnfm中獲取業務遷移信息,並根據該業務遷移信息將這些不同的vm中的相關聯的日誌合併起來作為一個vnf的日誌,這樣就能夠獲得較為完整的日誌,提高日誌數據的可靠性。

本步驟所得到的日誌數據中可以包括各個網元不相關聯的日誌以及合併後的相關聯的日誌。

步驟305、網絡設備對日誌數據進行數據清洗,去除日誌數據中與故障定位無關的數據。

由於日誌數據中存在大量和故障定位無關的數據,這些數據作為數據挖掘分類算法的訓練數據的價值較低,因而可以通過數據清洗來刪除這些數據。

在進行數據清洗時,網絡設備可以刪除日誌數據中的非字母字符、與故障定位無關的數字字符(可以通過數字字符的上下文來判斷其是否與故障定位有關,示例性的,可以根據數字字符在上下文中出現的頻次來確定其是否與故障定位有關,將出現頻次小於預設值的數字字符確定為與故障定位無關的數字字符,將出現頻次大於預設值的數字字符確定為與故障定位有關的數字字符)、空行、重複行和高頻詞中的至少一種;和/或,網絡設備將日誌數據中的多行日誌轉換為單行日誌,日誌數據中一條信息可能佔用了多行,將多行日誌轉換為單行日誌能夠提高日誌數據中信息的完整性。

步驟306、網絡設備獲取數據清洗後的日誌數據中的至少一個關鍵詞。

如圖3-4所示,網絡設備獲取數據清洗後的日誌數據中的至少一個關鍵詞的流程可以包括下面4個子步驟:

子步驟3061、網絡設備將數據清洗後的日誌數據中,每次告警信息產生時的日誌數據分割為故障日誌數據和正常日誌數據。

其中,故障日誌數據為包括告警信息產生時刻的第一預設時間段的日誌數據,正常日誌數據為第一預設時間段之前的第二預設時間段的日誌數據。示例性的,第一預設時間段可以為告警信息產生時刻之前5分鐘至告警信息產生時刻後的3分鐘的時間段。正常日誌數據為第一預設時間段之前的第二預設時間段的日誌數據。示例性的,第二預設時間段可以為告警信息產生前的5分鐘至告警信息產生前12分鐘的時間段。

網絡設備將每次告警信息產生時的日誌數據分為故障日誌數據和正常日誌數據能夠便於後續將這兩種日誌數據進行比較。

子步驟3062、網絡設備判斷數據清洗後的日誌數據中,每次告警信息產生時的日誌數據中是否同時包括正常日誌數據和故障日誌數據;在並非同時包括正常日誌數據和故障日誌數據時,執行步驟3063,在同時包括正常日誌數據和故障日誌數據時,執行步驟3064。

對於虛擬化網絡中任意一個告警信息產生時的日誌數據,數據清洗可能會清除掉其中的故障日誌數據或正常日誌數據,網絡設備可以以此做判斷,並分情況進行處理。

在數據清洗後的日誌數據中,任一告警信息產生時的日誌數據中並非同時包括正常日誌數據和故障日誌數據時,說明該任一告警信息產生時的故障日誌數據和正常日誌數據的相似度可能較小,在任一告警信息產生時的日誌數據中同時包括正常日誌數據和故障日誌數據時,說明該任一告警信息產生時的故障日誌數據和正常日誌數據的相似度可能較大。這是因為數據清洗後的故障日誌數據和正常日誌數據,均是通過數據清洗這一個相同的規則篩選後的剩餘數據,在篩選後的剩餘數據僅包括其中的一種數據時,說明故障日誌數據和正常日誌數據的相似度可能較小,而在篩選後的剩餘數據同時包括正常日誌數據和故障日誌數據時,說明故障日誌數據和正常日誌數據的相似度可能較大。

子步驟3063、網絡設備獲取任一告警信息產生時的日誌數據中的至少一個關鍵詞。

在數據清洗後的日誌數據中,任一告警信息產生時的日誌數據中並非同時包括正常日誌數據和故障日誌數據時,該任一告警信息產生時的故障日誌數據和正常日誌數據的相似度可能較小,這說明虛擬化網絡在發生該任一故障時,日誌的變化較大,此時獲取該任一告警信息產生時的日誌數據中的至少一個關鍵詞即為與故障定位相關性較高的關鍵詞。

本發明實施例可以通過信息檢索數據挖掘的常用加權(termfrequency–inversedocumentfrequency,tf-idf)算法、主題模型(topicmodel)算法和文本排名(textrank)算法等算法來獲取日誌數據中的關鍵詞。此外,本發明實施例還可以通過其他算法來獲取關鍵詞,本發明實施例不作出限制。

子步驟3064、網絡設備判斷正常日誌數據和故障日誌數據的相似度是否小於預設值;在相似度小於預設值時,執行子步驟3065,在相似度不小於預設值時,執行子步驟3063。

在數據清洗後的日誌數據中,任一告警信息產生時的日誌數據中同時包括正常日誌數據和故障日誌數據時,說明該任一告警信息產生時的日誌數據中正常日誌數據和故障日誌數據的相似度可能較大,此時可以直接判斷正常日誌數據和故障日誌數據的相似度是否小於預設值。該預設值可以由操作人員預先通過多次試驗獲得。

網絡設備可以通過正常日誌數據和故障日誌數據中的共有詞的數量來獲取正常日誌數據和故障日誌數據相似度,或者可以通過漢明距離算法來獲取正常日誌數據和故障日誌數據相似度,或者可以通過編輯距離算法來獲取正常日誌數據和故障日誌數據相似度。

子步驟3065、網絡設備獲取任一告警信息產生時的日誌數據的至少一個關鍵詞,並將任一告警信息產生時的日誌數據中的數字字符作為關鍵詞。

在相似度不小於預設值時,表明任一告警信息產生時的故障日誌數據和正常日誌數據的相似度過高,此時如果僅獲取日誌數據中的關鍵詞可能無法較為全面的分析該任一告警信息產生時虛擬化網絡發生的故障,因而可以將日誌數據中的數字字符也作為關鍵詞,數字字符中也有存在與故障定位有關聯的數據的可能。示例性的,正常日誌數據中記錄了內存使用率為10%,而故障日誌數據中記錄了內存使用率為70%,則用於記錄內存佔用率的數字10和70就可能與故障定位存在關聯。

步驟307、網絡設備根據至少一個關鍵詞將日誌數據轉換為日誌特徵。

日誌特徵用於後續作為生成故障定位模型的訓練數據。而對於網絡設備獲取的至少一個關鍵詞中的第一關鍵詞(第一關鍵詞為至少一個關鍵詞中的任一關鍵詞),網絡設備可以根據第一關鍵詞生成關於第一關鍵詞的日誌特徵,該關於第一關鍵詞的日誌特徵用於指示數據清洗後的日誌數據中的每個日誌是否包括該第一關鍵詞。即關於一個關鍵詞的日誌特徵可以為一個判斷條件,用於判斷數據清洗後的日誌數據中的每個日誌是否包括該關鍵詞,並根據日誌中是否包括該關鍵詞做出不同的評價。示例性的,關於關鍵詞k的日誌特徵,日誌a包括關鍵詞k時,可以將該日誌的特徵值設為1,而在日誌a不包括該關鍵詞時,可以將日誌a的特徵值設置為0。

步驟301至步驟307為本發明實施例提供的一種獲取日誌特徵的流程。通過步驟301至步驟306,網絡設備能夠從大量的日誌中獲取日誌特徵。此外,網絡設備還可以根據文檔頻率(documentfrequency,df)算法、交互信息(mutualinformation,mi)、信息增益(informationgain,ig)和卡方(chi-square)算法來生成日誌特徵,本發明實施例不作出限制。

步驟308、網絡設備根據日誌特徵獲取訓練數據。

本步驟可以包括三種實施方式:

第一種實施方式,如圖3-5所示,本方式可以包括下面1個子步驟:

子步驟3081,網絡設備將日誌特徵作為訓練數據。

第二種實施方式,如圖3-6所示,本方式可以包括下面4個子步驟:

子步驟3082,網絡設備根據虛擬化網絡中任一告警信息與該任一告警信息對應的日誌特徵生成日誌特徵序列。

其中,任一告警信息對應的日誌特徵為根據該任一告警信息產生時的日誌數據獲取的日誌特徵。示例性的,根據告警信息m1產生時的日誌數據獲取了日誌特徵1、日誌特徵2、日誌特徵3、日誌特徵4和日誌特徵5,則可以生成一個日誌特徵序列,該日誌特徵序列中記錄有日誌特徵1、日誌特徵2、日誌特徵3、日誌特徵4和日誌特徵5,且該日誌特徵序列與告警信息m1對應。

子步驟3083,網絡設備通過序列模式挖掘算法挖掘日誌特徵序列,得到至少一個候選序列特徵。

序列模式挖掘(sequencepatternmining)算法是一種用於處理序列數據的算法,該算法能夠根據序列數據得到多種序列的組合模式,網絡設備可以將這多種序列的組合模式中每種序列的組合模式作為一個候選序列特徵。

本發明實施例中,網絡設備可以通過前綴投影的模式挖掘(prefix-projectedpatterngrowth,prefixspan)算法或廣義序列模式挖掘算法(generalizedsequentialpatternminingalgorithm,gsp)等算法來挖掘日誌特徵序列。

子步驟3084,網絡設備通過序列選擇算法從至少一個候選序列特徵挑選出與故障定位相關的序列特徵。

通過序列挖掘算法得到的候選序列特徵通常較多,網絡設備可以通過序列選擇算法來篩選出可能和故障定位較為相關的序列特徵,以減少所要處理的數據量。序列選擇算法可以參考相關技術,在此不再贅述。

本步驟得到的序列特徵能夠反應虛擬化網絡在一個較長周期中的變化。

子步驟3085,網絡設備將序列特徵和日誌特徵作為訓練數據。

將序列特徵和日誌特徵共同作為訓練數據,能夠更為全面的反應虛擬化網絡中的各種特徵。

第三種實施方式,如圖3-7所示,本步驟可以包括下面2個子步驟:

子步驟3086、網絡設備根據虛擬化網絡中的告警信息、性能統計數據、虛擬機信息和主機信息中的至少一種信息得到虛擬化網絡的專家特徵。

專家特徵(domainknowledgefeatures)是本領域專家根據各自的經驗來獲取的一種特徵。不同的專家可能根據不同的方法獲取不同的專家特徵,以圖3-2提供的nfv架構為例,其中的性能統計數據(performancestatistics)可以來源於oss、虛擬機信息可以來源於vnfm、主機信息可以來源於vim。此外,網絡設備還可以根據其他信息來獲取專家特徵,如oss、vnf、vnfm和vim所獲取的其他信息等。

子步驟3087、網絡設備將專家特徵和日誌特徵作為訓練數據。

專家特徵和日誌特徵共同作為訓練數據可以提高訓練數據的可靠性。

此外,網絡設備在獲取訓練數據時,還可以將日誌特徵、序列特徵和專家特徵這三者共同作為訓練數據,或者將序列特徵作為訓練數據,或者將序列特徵和專家特徵作為訓練數據等,本發明實施例不作出限制。

步驟309、網絡設備通過數據挖掘分類算法將訓練數據訓練為虛擬化網絡的故障定位模型。

本發明實施例所使用的數據挖掘分類算法可以包括k最鄰近(k-nearestneighbor,knn)算法、支持向量機(supportvectormachine,svm)算法、向量空間模型(vectorspacemodel;,vsm)算法、貝葉斯分類(bayesianclassifier)算法和神經網絡分類算法(neuralnetworkalgorithm)等。通過這些數據挖掘分類算法,能夠將訓練數據訓練為故障定位模型。

步驟310、網絡設備對故障定位模型進行調優。

在得到故障定位模型之後,網絡設備可以通過各種方式來對故障模型進行調優,以提高該故障定位模型的可靠性。示例性的,可以根據故障定位模型處於過擬合(overfitting)狀態或欠擬合(underfitting)狀態來對該故障定位模型進行調優。

本發明實施例所生成的故障定位模型,可以根據告警信息與vnf以及vm的對應關係,定位出是哪一個vm發生了什麼故障,之後可以根據情況進行處理。示例性的,vm1發生了內存故障,則說明vm1所在的host1的內存可能存在問題,可以將vm1所在的host1上運行的vm全轉移到其它host上,或者定位到vm2運行的軟體故障,那麼就可以採取重新初始化vm2,或者以回退軟體版本的方式來解決vm2運行的軟體故障。

綜上所述,本發明實施例提供的故障定位模型的生成方法,通過獲取告警信息產生時的日誌數據,根據該日誌數據來逐步獲取訓練數據,並根據該訓練數據訓練得到故障定位模型,將告警信息和訓練數據關聯了起來,相較於相關技術中訓練數據可能遺漏大量和故障定位有關的信息,提高了依靠訓練數據生成的故障定位模型的可靠性。

請參考圖4-1,其為本發明實施例提供的一種故障定位方法的流程圖,該故障定位方法可以包括如下幾個步驟:

步驟401、在虛擬化網絡發生故障時,網絡設備獲取虛擬化網絡的故障定位模型。

該故障定位模型可以是圖3-1所示實施例提供的方法生成的故障定位模型。該故障定位模型可以是預先生成的,也可以是在故障發生後生成的。本發明實施例所涉及的虛擬化網絡,與圖3-1所示實施例所涉及的虛擬化網絡為同一個虛擬化網絡。

步驟402、網絡設備根據該故障定位模型對虛擬化網絡發生的故障進行定位。

如圖4-2所示,網絡設備根據故障定位模型對虛擬化網絡發生的故障進行定位的流程可以包括下面兩個子步驟:

子步驟4021、網絡設備獲取當前故障的訓練數據。

網絡設備可以通過圖3-1所示實施例中的步驟301至步驟308生成當前故障的訓練數據。本步驟獲取的訓練數據與圖3-1所示實施例中獲取的訓練數據的不同之處是本步驟是根據當前告警信息產生時的數據(告警信息產生時的數據可以參考圖3-1所示實施例中的步驟3054)生成的訓練數據,而圖3-1所示實施例中是根據當前時刻之前的一段時間的數據生成的訓練數據。

子步驟4022、網絡設備將當前故障的訓練數據輸入故障定位模型,獲取故障定位結果。

定位結果可以是對故障位置的一個預測結果,操作人員可以根據該預測結果來對虛擬化網絡進行修復。修複方法可以參考相關技術,在此不再贅述。

綜上所述,本發明實施例提供的故障定位方法,通過獲取將訓練數據中的告警信息和日誌數據關聯起來的故障定位模型,並根據該故障定位模型來對發生的故障進行定位,增加了定位結果的可靠性。

下述為本申請的裝置實施例,可以用於執行本申請的方法實施例。對於本申請裝置實施例中未披露的細節,請參照本申請方法實施例。

請參考圖5-1,其為本發明實施例提供的一種故障定位模型的生成裝置的框圖,該故障定位模型的生成裝置500可以包括:

時間確定模塊510,用於實現上述步驟302的功能。

日誌數據獲取模塊520,用於實現上述步驟303至步驟305的功能。

日誌特徵獲取模塊530,用於實現上述步驟305至步驟307的功能。

訓練數據獲取模塊540,用於實現上述步驟308的功能。

模型訓練模塊550,用於實現上述步驟309的功能。

可選的,如圖5-2所示,日誌特徵獲取模塊530,包括:

關鍵詞獲取子模塊531,用於實現上述步驟306的功能。

特徵生成子模塊532,用於實現上述步驟307的功能。

可選的,如圖5-3所示,故障定位模型的生成裝置500,還包括:

告警壓縮模塊560,用於實現上述步驟301的功能。

可選的,如圖5-4所示,關鍵詞獲取子模塊531,包括:

清洗單元5311,用於實現上述步驟305的功能。

關鍵詞獲取單元5312,用於實現上述子步驟3061至子步驟3065的功能。

可選的,訓練數據獲取模塊,用於實現上述子步驟3081至子步驟3087的功能。

綜上所述,本發明實施例提供的故障定位模型的生成裝置,通過獲取告警信息產生時的日誌數據,根據該日誌數據來逐步獲取訓練數據,並根據該訓練數據訓練得到故障定位模型,將告警信息和訓練數據關聯了起來,提高了依靠訓練數據生成的故障定位模型的可靠性。

請參考圖6,其為本發明實施例提供的一種故障定位裝置的框圖,該故障定位裝置600可以包括:

模型獲取模塊610,用於實現上述步驟401的功能。

定位模塊620,用於實現上述步驟402的功能。

綜上所述,本發明實施例提供的故障定位裝置,通過獲取將訓練數據中的告警信息和日誌數據關聯起來的故障定位模型,並根據該故障定位模型來對發生的故障進行定位,增加了定位結果的可靠性。

本發明中術語「a和b的至少一種」,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,a和b的至少一種,可以表示:單獨存在a,同時存在a和b,單獨存在b這三種情況。同理,「a、b和c的至少一種」表示可以存在七種關係,可以表示:單獨存在a,單獨存在b,單獨存在c,同時存在a和b,同時存在a和c,同時存在c和b,同時存在a、b和c這七種情況。同理,「a、b、c和d的至少一種」表示可以存在十五種關係,可以表示:單獨存在a,單獨存在b,單獨存在c,單獨存在d,同時存在a和b,同時存在a和c,同時存在a和d,同時存在c和b,同時存在d和b,同時存在c和d,同時存在a、b和c,同時存在a、b和d,同時存在a、c和d,同時存在b、c和d,同時存在a、b、c和d,這十五種情況。

在上述實施例中,可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時,可以全部或部分地以電腦程式產品的形式實現,所述電腦程式產品包括一個或多個計算機指令。在計算機上加載和執行所述電腦程式指令時,全部或部分地產生按照本申請實施例所述的流程或功能。所述計算機可以是通用計算機、計算機網絡、或者其他可編程裝置。所述計算機指令可以存儲在計算機的可讀存儲介質中,或者從一個計算機可讀存儲介質向另一個計算機可讀存儲介質傳輸,例如,所述計算機指令可以從一個網站站點、計算機、伺服器或數據中心通過有線(例如同軸電纜、光纖、數字用戶線)或無線(例如紅外、無線、微波等)方式向另一個網站站點、計算機、伺服器或數據中心傳輸。所述計算機可讀存儲介質可以是計算機能夠存取的任何可用介質或者包含一個或多個可用介質集成的伺服器、數據中心等數據存儲設備。所述可用介質可以是磁性介質(例如,軟盤、硬碟、磁帶)、光介質,或者半導體介質(例如固態硬碟)等。

在本申請所提供的幾個實施例中,應該理解到,所揭露的設備和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個模塊或組件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口,裝置或單元的間接耦合或通信連接,可以是電性,機械或其它的形式。

本領域普通技術人員可以理解實現上述實施例的全部或部分步驟可以通過硬體來完成,也可以通過程序來指令相關的硬體完成,所述的程序可以存儲於一種計算機可讀存儲介質中,上述提到的存儲介質可以是只讀存儲器,磁碟或光碟等。以上所述僅為本申請的可選實施例,並不用以限制本申請,凡在本申請的精神和原則之內,所作的任何修改、等同替換、改進等,均應包含在本申請的保護範圍之內。

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀