一種基於LDA的軟體故障專家系統的構建方法與流程

2023-06-08 21:59:51

本發明提供一種基於lda的軟體故障專家系統的構建方法，它涉及一種基於lda的軟體故障專家系統的實現，屬於軟體可靠性、軟體故障診斷領域。
背景技術：
：：lda(latentdirichletallocation)即潛在狄利克雷分布，是一種非監督機器學習技術，可以用來識別大規模文檔集或語料庫中隱含的主題信息。目前，基於lda的技術已在文本挖掘、知識發現、話題跟蹤以及多文檔摘要等領域得到了廣泛應用。例如，通過lda技術提取文檔的主題模型，並依此為依據建立文檔之間的相關性生成文檔的關係圖譜；通過lda技術對已知的被標記文檔內容進行分析，進而推斷新文檔的標籤類別，實現網際網路文檔標籤推薦系統等。利用lda技術，我們將提出一種軟體故障專家系統的構建方法，該系統可以學習軟體故障的歷史數據，建立對應的故障屬性主題模型，當輸入故障症狀後，系統利用症狀信息建立症狀主題模型，結合故障主題模型分析兩者之間潛在的語義聯繫對故障案例進行關聯排序，最後將推理得到的排序結果提供給用戶作為故障診斷信息。該系統基於lda技術融合故障分析與故障處理等相關理論、方法和技術進行構建，在提高軟體維護性的同時，達到提高軟體可靠性、安全性、可用性的目的。技術實現要素：(一)本發明目的：根據知識組織方式與推理機制的不同，專家系統可大致分為：基於規則的專家系統、基於模型的專家系統、基於模糊推理的專家系統、基於事例的診斷專家系統以及基於網絡的診斷專家系統等。儘管專家系統的種類很多，但這些專家系統並不能對故障間的潛在聯繫進行分析來獲得故障推理結果。因此本發明將克服現有技術的不足，提供一種基於lda的軟體故障專家系統的構建方法對上述問題進行解決。該系統利用「詞-主題-文檔」的三層貝葉斯概率網絡結構分別對已有的歷史故障信息及待診斷的故障症狀信息數據進行lda建模，並對兩個模型間的主題相似性進行推理評分，從而獲得與待診斷故障最為匹配的診斷信息。可以看出基於lda的故障專家系統更加注重故障之間的主題關聯，充分地挖掘故障信息的語義，為故障診斷領域提供了一種新的解決方法，並對現有的故障專家系統進行了創新。(二)技術方案本發明技術方案：一種基於lda的軟體故障專家系統的構建方法，其步驟如下：步驟1、搜集大量與被診斷軟體相關的故障案例，篩選出合適的案例集。根據被診斷軟體所有可能發生的原因、現象以及其他故障屬性(如故障所在位置、故障嚴酷度等)，對案例集中的案例逐條進行失效模式與影響分析即fmea(failuremodeandeffectanalysis)分析；步驟2、對fema形式案例集文本數據進行迭代，利用lda算法分別構建故障屬性主題模型：故障現象主題模型、故障原因主題模型、故障措施主題模型；步驟3、針對待輸入的故障症狀信息，結合lda算法構建症狀主題模型；步驟4、實現症狀主題模型與故障屬性主題模型的語義關聯推理評分算法；步驟5、整合步驟2～4，完成推理子系統的構建；步驟6、利用hadoop技術完成存儲子系統的構建，實現對案例文本數據和lda主題模型數據存儲，以及推理評分數據存取；步驟7、基於springmvc框架，構建服務子系統，實現客戶端與後端的數據交互；步驟8、整合存儲子系統、推理子系統以及服務子系統，完成專家系統的構建。其中，在步驟1中所述的「fmea分析」，是指一種系統化的可靠性分析方法，它自下而上，通過對被診斷系統各組成部分潛在的各種故障模式及其對系統功能的影響分析，提出可能採取的預防改進措施，以提高產品的可靠性，它在保證產品可靠性方面起著重要的作用；其中，在步驟2中所述的「lda算法」，是指一種文檔主題生成模型方法，該方法可以用來識別大規模文檔集或語料庫中潛藏的主題信息。它採用了詞袋的方法，這種方法將每一篇文檔視為一個詞頻向量，將文本信息轉化為易於建模的數字信息，從而進行文本分析；其中，在步驟3中所述的「針對待輸入的故障症狀信息，結合lda算法構建症狀主題模型」，其作法如下：使用基於向量的建模方法構建症狀主題模型，將故障症狀表示為一個k維向量pu＝。與故障案例的特徵向量定義相同，pu表示故障症狀的特徵向量，k表示通過lda算法建模後的主題個數，zk表示該故障症狀在第k主題上的生成概率。需要注意的是，症狀主題模型的生成方式與案例主題模型有所不同。症狀主題模型無法直接從lda模型中生成，這是由於症狀信息通常都是對故障現象的描述，不具備故障原因與故障措施等屬性信息。因此，需要聯合案例的故障屬性信息對故障症狀主題模型進行構建：首先定義故障屬性向量αi用於表示不同故障屬性對應的評分權值，α1對應故障現象的評分權值，α2對應故障原因的評分權值，α3對應故障措施的評分權值，該向量可以在新的故障屬性類型加入時被動態擴展。由此，故障症狀對某個案例的故障屬性可描述為一個故障屬性向量cu，i＝，其中cα為該症狀與第α故障屬性信息的關聯相似度，該值可通過計算文本與之對應的主題概率分布求得。症狀的故障屬性向量模型可以描述為：其中θk代表了文檔中第k個主題的比重，n表示該故障症狀曾對比分析過的案例個數。上述公式使用了每一個被分析過的故障屬性向量乘以該屬性預先定義的權值αi，得到該症狀信息在第k主題分量上的值zk，由此計算得出k維向量pu＝，從而構建故障症狀主題模型；其中，在步驟4中所述的「實現症狀主題模型與故障屬性主題模型的語義關聯推理評分算法」，其作法如下：該算法的核心即在已知語料庫下通過採樣算法來推算模型中的隱含變量過程，用於lda模型的採樣方法通常為吉布斯採樣，因此利用吉布斯採樣方法實現的推理評分算法如下：由此，便可以計算得出故障症狀信息和每個故障案例的相似評分，系統可以根據評分獲取前n項案例提供給用戶作為故障診斷信息。其中，在步驟5中所述的「推理子系統」，它是指本發明構建系統中，用於實現症狀主題模型與故障屬性主題模型之間語義關聯推理評分的子系統；其中，在步驟6中所述的「hadoop技術」，它是指由apache基金會組織所開發的一個分布式計算框架，其目的是在大量廉價的硬體設備組成的集群上進行大規模的並行處理，為應用程式提供一套穩定可靠的接口，構建一個具有高可靠性和擴展能力的分布式系統。hadoop的優點主要體現在擴展能力強，成本低，效率高以及免費和開源；其中，在步驟6中所述的「利用hadoop技術完成存儲子系統的構建」，其作法如下：基於hadoop提供的分布式文件系統技術進行數據存取，本系統中所有的計算結果，包括推理評分算法產生的最終結果，以及算法產生的中間數據，都將以二進位的向量形式保存在hadoop的分布式文件系統中。並且，案例數據的故障屬性文本，分詞後所有文本對應的詞向量，lda算法生成的故障屬性主題模型及其對應的主題向量和主題詞表，故障症狀主題模型對應的向量以及推理結果也都存儲在該分部是文件系統中。通過對本發明構建系統中的文檔內容數據、文檔詞條數據、詞典數據、文檔詞條向量、lda輸出模型、症狀的故障屬性模型、症狀主題模型以及診斷推理結果等數據進行結構設計，利用這一存儲結構進行集群搭建和環境配置，即可完成存儲子系統的構建；其中，在步驟7中所述的「springmvc框架」，是一個開源的javaee的應用框架，其關鍵特性是實現了基於javabean的控制反轉模式，使得應用程式的模塊化管理更加容易。springmvc分離了代碼中的控制器、模型對象等角色，使得程序各個層次的組件更容易進行重用和定製。並且可以使用基於註解的方式在控制器上聲明資源的映射和參數的映射等信息；其中，在步驟7中所述的「基於springmvc框架，構建服務子系統」，其作法如下：該子系統是與外部交互的接口，用於接收和返回外部的請求調用。服務子系統需要重點對輸入服務和內容服務進行實現，子系統框架其他部分的構建並不用特別注意，因此在這裡不再進行分析。其中輸入服務是指對用戶輸入的故障症狀信息進行操作處理，內容服務是指對案例文檔的以及推理結果的操作處理。對於輸入服務，需要構建對輸入數據操作的控制器symptomcontroller類，該控制器用來響應用戶輸入請求。在symptomcontroller類中，需要實現addsymptom方法，這一方法可以將用戶輸入的文本信息添加至存儲子系統中，進一步交給推理子系統完成內容建模和語義推理。對於內容服務即系統相關數據的操作，是由控制器documentcontroller類來實現的，該控制器中包含：以分頁的方式獲取案例對象的方法getdocuments；向系統中添加案例對象的方法adddocument，adddocument方法會自動對創建的案例對象及故障屬性添加id值，並將該內容添加到hdfs中；用於向客戶端提供推理結果的getrecommend方法，該方法會按評分由高到低的順序返回案例內容；其中，在步驟8中所述的「整合存儲子系統、推理子系統以及服務子系統」，其作法如下：對子系統進行接口設計，實現子系統之間的連接，從而完成系統的整合工作。系統的整合有兩部分需要進行接口設計：服務-存儲子系統接口和推理-存儲子系統接口。這裡，可以通過繼承hadoop的輔助類編寫入口程序實現這兩個接口，其中hadoop的輔助類可以為子類提供讀取和解析配置數據的能力。繼承hadoop輔助類實現接口的優點在於，當系統在子系統間進行數據處理任務時，入口程序不會對數據進行操作修改，會將處理任務分送給對應的子系統模塊執行。這樣，就可以利用繼承輔助類編寫的接口程序實現三個子系統的連接，完成系統的整合。通過上述步驟，可以完成對基於lda的軟體故障專家系統的構建，對於被診斷對象中的故障症狀，通過建立症狀主題模型，完成與故障屬性主題模型的語義關聯推理，獲取按推理評分排序的故障相關信息作為診斷結果，從而完成軟體故障診斷。本發明與現有技術相比的優點在於：目前，大部分專家系統對於歷史故障案例只能在文字層面上進行匹配檢索，並不能考慮到文字背後的語義關聯。對於沒有相同文字描述卻內容相似的歷史故障數據，這些專家系統並不能進行有效地識別。而本發明能夠充分挖掘故障間的語義關聯，以此為依據進行推理，獲取與故障症狀最為相似的故障數據作為診斷信息。同時，系統的診斷能力會隨著案例集的豐富而不斷提升，即系統具有自我完善能力。附圖說明圖1為本發明的總體步驟流程。圖2為本發明的推理評分算法流程。圖3為本發明的內容建模流程。圖4為本發明的服務子系統架構。圖5為本發明的系統整體邏輯架構。圖中序號、符號、代號說明如下：圖1中的「步驟1～8」是本發明技術方案中對應的步驟；圖3中的「lda」是潛在狄利克雷分布是構建主題模型所使用的技術；圖4中的「step1～8」是springmvc框架運行流程對應的步驟；圖4中的「dispatcherservlet」是springmvc框架的前端控制器，客戶端發出的所有請求都經由它進行統一分發；圖4中的「handlermapping」是springmvc框架的處理器映射，用於完成客戶端請求到控制器controller的映射；圖4中的「symptomcontroller」是控制器中的一種，用於響應用戶輸入的請求；圖4中的「documentcontroller」是控制器中的一種，用於響應系統相關數據操作的請求；圖4中的「modelandview」是控制器處理完請求所返回的對象，該對象中通常包括模型與視圖的相關屬性；圖4中的「viewresolver」是springmvc框架的視圖解析器，用於把邏輯上的視圖名稱解析為視圖對象；圖5中的「hadoop」是構建存儲子系統所採用的分布式計算框架；圖5中的「hdfs」是用於進行數據結構設計的分布式文件系統；圖5中的「map/reduce」是用於進行數據集並行運算的編程模型；具體實施方式為使本發明要解決的技術問題、技術方案和優點更加清楚，下面將結合附圖進行詳細描述。本發明提出了一種基於lda的軟體故障專家系統的構建方法，利用該方法構建的系統能夠對故障間的語義關聯信息進行充分挖掘，獲取與故障症狀相似的故障信息。系統通過構建主題模型，對歷史故障數據與症狀數據進行語義關聯推理分析，從而獲得關聯程度最好的歷史故障數據，作為與待診斷症狀最匹配的故障診斷信息。本發明一種基於lda的軟體故障專家系統的構建方法，如圖1所示，其具體構建步驟如下：步驟一：搜集大量與被診斷軟體相關的故障案例，篩選出合適的故障案例組成案例集。根據被診斷軟體所有可能發生的原因、現象以及其他故障屬性(如故障所在位置、故障嚴酷度等)，對案例集中的案例逐條進行fmea分析。這裡，我們規定僅分析歸納出案例的故障現象，故障原因以及故障措施這三個屬性，即每條案例都是由這三部分構成。這樣，我們就初步完成了歷史故障數據的處理；步驟二：利用基於lda的分析算法對完成fema處理的案例數據進行建模。系統通過lda算法在文檔和詞條之間建立基於主題的中間層，並用主題向量來描述歷史故障數據與待診斷故障症狀的特徵。這裡，我們對fema形式案例集文本數據進行預處理然後進行迭代，分別為每條案例的故障現象屬性信息，故障原因屬性信息以及故障措施屬性信息生成k維向量qi＝,其中qi表示故障屬性的特徵向量，k表示通過lda建模後的主題個數，zk表示該文檔在第k主題上的生成概率；步驟三：針對待輸入的故障症狀信息，結合lda算法構建症狀主題模型。這裡，我們使用基於向量的建模方法構建症狀主題模型，故障症狀表示為一個k維向量pu＝。與故障案例的特徵向量定義相同，pu表示故障症狀的特徵向量，k表示通過lda算法建模後的主題個數，zk表示該故障症狀在第k主題上的生成概率。需要注意的是，症狀主題模型的生成方式與案例主題模型有所不同。症狀主題模型無法直接從lda模型中生成，這是由於症狀信息通常都是對故障現象的描述，不具備故障原因與故障措施等屬性信息。但對於故障案例而言，其原因與解決措施的描述中，同樣包含對於故障現象相關信息的描述。這就意味著從歷史故障數據的故障原因與故障措施信息中，可以進行與現象信息關聯語義的挖掘工作。因此可以聯合故障屬性，區分不同屬性的評分權重，解決模型生成問題。首先定義故障屬性向量αi用於表示不同故障屬性對應的評分權值，α1對應故障現象的評分權值，α2對應故障原因的評分權值，α3對應故障措施的評分權值，該向量可以在新的故障屬性類型加入時被動態擴展。由此，故障症狀對某個案例的故障屬性可描述為一個故障屬性向量cu，i＝，其中cα為該症狀與第α故障屬性信息的關聯相似度，該值可通過計算文本與之對應的主題概率分布求得。症狀的故障屬性向量模型可以描述為：其中θk代表了文檔中第k個主題的比重，n表示該故障症狀曾對比分析過的案例個數。上述公式使用了每一個被分析過的故障屬性向量乘以該屬性預先定義的權值αi，得到該症狀信息在第k主題分量上的值zk。進一步即可計算得出k維向量pu＝；步驟四：利用fmea案例數據與故障症狀信息的模型向量，設計模型推理評分算法，該算法的核心即在已知語料庫下通過採樣算法來推算模型中的隱含變量過程，用於lda模型的採樣方法通常為吉布斯採樣，本發明利用吉布斯採樣方法實現推理評分算法。其具體操作如下：由此，便可以計算得出故障症狀信息和每個故障案例的相似評分，系統可以根據該評分獲取前n項提供給用戶，該算法的流程如圖2所示；步驟五：本發明構建的系統由三部分組成，即存儲子系統、推理子系統以及服務子系統。通過上述步驟中，完成了推理子系統的構建，可以發現整體構建流程可分為兩階段：內容建模與語義推理。在內容建模階段，對全部的文檔內容數據進行遍歷，對文檔內容進行分詞處理，生成詞條的列表，以該詞條列表作為輸入，運行lda算法生成所有文檔內容的主題向量以及主題對應的詞條概率分布；在語義推理階段，聯合故障屬性，分配不同屬性的評分權重，計算故障症狀主題模型，其構建流程如圖3所示。因此，整個推理過程的具體步驟如下：1)系統讀入文本內容數據。遍歷所有文本，使用分詞器對文本中的內容進行分詞，為每一篇文本生成詞袋向量；2)使用詞袋向量作為輸入，調用lda算法，生成所有文檔的主題分類矩陣和故障屬性模型矩陣。設分類數量k，其中表示主題的分類矩陣為：其中，該矩陣的每一行向量表示一個主題，向量的每一個分向量t代表該主題對應詞條的生成概率。另一個生成的故障屬性模型矩陣為：其中，矩陣的每一行向量表示一個故障屬性，由k個分量組成，每一個分量表示該故障屬性對應的主題特徵；3)利用故障症狀的故障屬性矩陣和上一步得到的主題向量，計算出故障症狀以k個主題維度構成的特徵向量；4)計算故障屬性主題模型qi＝和故障症狀主題模型pu＝，利用相似評分公式獲得故障症狀與每個故障案例的相似評分，取前n個結果提供給用戶最為故障診斷信息。通過以上步驟，即可實現系統的整個推理流程，利用內容建模模塊和語義推理模塊實現子系統的構建，該子系統是本系統的核心，實現了所有的推理算法。在本系統中，推理子系統通過與存儲子系統的交互，完成文本數據的處理及推理結果的生成；步驟六：存儲子系統是整個系統的基礎。在本發明中，將利用hadoop技術構建存儲子系統。該子系統採用hadoop的hdfs進行數據存取，在本系統中所有的計算結果，包括推理評分算法產生的最終結果，以及算法產生的中間數據，都將以二進位的向量形式保存在hdfs中。並且，案例數據的故障屬性文本，分詞後所有文本對應的詞向量，lda算法生成的故障屬性主題模型及其對應的主題向量和主題詞表，故障症狀主題模型對應的向量以及推理結果也都存儲在hdfs中。本發明對基於hdfs文本數據結構進行了設計，其具體數據結構如下：1)文檔內容數據：該文件用於保存文檔的原始內容。這些內容來源於案例的故障屬性信息。文件中的每一行代表一篇文檔，其中第一個值為文檔的id；第二個值是純文本內容。2)文檔詞條數據：該文件用於保存文檔經過分詞處理後的詞條。這些內容經過了分詞器的分詞，除去了停用詞，只保留了關鍵的名詞和動詞。文件的每一行代表一篇文檔，其中第一個值為文檔的id，第二個值是由空格分割的詞條列表。3)詞典數據該文件保存了整個語料庫中的詞典，該詞典維護了詞條和維度之間的對應關係。文件的每一行代表一個詞條，第一個int類型值的作用是標示該詞條的索引，第二個text類型的值是詞條對應的字符串。4)文檔詞條向量該文件用於保存文檔經過詞典處理後的詞條向量。第一個text類型的值對應文檔的id，第二個值由一個mapwritable構成，該映射中的鍵表示了詞條在詞典中的索引位置，值表示了這個值在文檔中出現的次數。5)lda輸出模型該文件是lda算法產生的一系列文件，這些文件保存了在lda算法執行過程中每一輪迭代之後產生的每一個主題對應的詞條生成概率。每一行的第一個值對應一個主題的一個詞條位置，例如(1,0)表示第0個主題生成第0個詞條的概率，第二個值代表了生成概率。6)症狀的故障屬性向量該文件用於保存故障症狀與案例故障屬性信息的文本相似度。每一行為故障症狀與一條故障屬性信息的文本相似度，第一個值是存儲了文本的id，第二個值存儲了相似度數值。7)症狀主題向量該文件表示了最終生成的症狀主題模型向量。其中每一行代表了一個故障症狀，第一個值為故障症狀的id，第二個值為一個mapwritable，其中的key對應主題的id，值對應了症狀對這個主題的語義關聯度。8)診斷推理結果該文件用於保存最終的推理評分結果，這些結果在推理子系統計算完成之後寫入。其中每一行代表一個評分結果，第一個值是故障案例的id，第二個值是該故障案例與故障症狀的關聯相似度評分結果。以上是基於hdfs的數據結構設計。在完成hadoop集群搭建與環境配置等相關工作後，利用這一存儲結構完成存儲子系統的構建；步驟七：在本發明中，將利用springmvc框架完成服務子系統的構建，這一子系統是與外部交互的接口，用於接收和返回外部的請求調用。服務子系統需要重點對輸入服務和內容服務進行實現，其中輸入服務是指對用戶輸入的故障症狀信息進行操作處理，內容服務是指對案例文檔的以及推理結果的操作處理。對於輸入服務，需要構建對輸入數據操作的控制器symptomcontroller類，該控制器用來響應用戶輸入請求。在symptomcontroller類中，需要實現addsymptom方法，這一方法可以將用戶輸入的文本信息添加至存儲子系統中，進一步交給推理子系統完成內容建模和語義推理。對於內容服務即系統相關數據的操作，是由控制器documentcontroller類來實現的，該控制器中包含：以分頁的方式獲取案例對象的方法getdocuments；向系統中添加案例對象的方法adddocument，adddocument方法會自動對創建的案例對象及故障屬性添加id值，並將該內容添加到hdfs中；用於向客戶端提供推理結果的getrecommend方法，該方法會按評分由高到低的順序返回案例內容。springmvc框架其他部分的構建並不用特別注意，因此在這裡不再進行分析，基於springmvc的服務子系統的架構如圖4所示，該框架具體的執行流程也在圖中詳細標明；步驟八：通過上述步驟，分別完成了推理子系統、存儲子系統以及服務子系統的構建，整合後的系統整體邏輯架構如圖5所示。因此需要進行接口設計對子系統進行連接，完成系統的整合工作。參照系統的整體邏輯架構圖進行分析，有兩部分需要進行接口設計：服務-存儲子系統接口和推理-存儲子系統接口。這裡，可以通過繼承hadoop的輔助類configured編寫入口程序實現這兩個接口，其中configured類的作用是為子類提供讀取和解析配置數據的能力。繼承configured類實現接口的優點在於，當系統在子系統間進行數據處理任務時，入口程序不會對數據進行操作修改，會將處理任務分送給對應的子系統模塊執行。這樣，就可以利用繼承configured類編寫的接口程序實現三個子系統的連接，完成系統的整合。其中，在步驟四中所述的吉布斯採樣是一種採樣方法，該方法利用每個變量的條件分布實現從聯合分布中抽樣，在每個變量以固定次序從其他變量的條件分布中進行抽樣，構造收斂於目標概率分布的馬爾科夫鏈，從鏈中抽取被認為接近該概率分布值的樣本。吉布斯採樣的基本過程是：1)隨機初始化：對語料庫中每篇文檔中的每個詞，隨機賦予一個主題；2)重新掃描語料庫，對每個詞，重新採樣它的主題，在語料庫中進行更新；3)重複以上語料庫的重新採樣過程，直到採樣收斂；4)統計語料庫中的頻率矩陣，該矩陣即為所需模型；在步驟六中所述的hdfs(hadoopdistributedfilesystem)，即hadoop分布式文件系統，hdfs最開始是作為apachenutch搜尋引擎項目的基礎架構而開發的，目前是apachehadoopcore項目的一部分。hdfs是適合運行在通用硬體上的分布式文件系統，具有高度容錯性特點，該系統適合部署在廉價的機器上，能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用；在步驟六中所述的text，intwritable，doublewritable以及mapwritable是hadoop運行時的基本數據類型。這四個數據類型均來源於hadoop的核心類writable，一般來說，所有存儲在hdfs裡的數據都需要使用writable來實現；在步驟六中所述的keyvalue，sequencefile是hadoop中常使用的文件存儲結構。在本系統中，hadoop利用這兩種結構實現數據的輸入輸出；通過上述步驟，可以完成對基於lda的軟體故障專家系統的構建，這一系統通過對故障歷史數據與故障症狀進行lda建模與關聯語義分析，完成故障症狀與案例集的主題相似性推理評分，最後按評分對案例集排序作為故障診斷信息提供給用戶，完成軟體故障診斷。本發明未詳細闡述部分屬於本領域公知技術。以上所述，僅為本發明部分具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本領域的人員在本發明揭露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。當前第1頁12當前第1頁12