多因素工業系統的故障檢測方法
2023-04-26 08:45:51
專利名稱：多因素工業系統的故障檢測方法
技術領域：
本發明涉及一種系統故障主要來源於系統中各個因素及其相互作用的多因素工業系統的故障檢測方法。
背景技術：
在一些多因素工業系統的安全測試中，針對某個待測系統受到n個因素影響，每個因素有ti個可能取值的情況，一般設計一組形如(v1，v2，…，vi，…，vn)的測試用例(其中vi是的第i個因素的一個值)，用於檢測該系統中哪些因素或哪些因素的相互作用是否會引發系統故障。組合測試方法因能以較少的測試用例實現對被測系統科學有效的測試而得到廣泛的研究和應用，特別是對於這些系統錯誤來源於系統中一些因素和因素之間的相互作用的待測系統。該方法利用組合設計方法產生各種不同組合覆蓋程度的測試用例集，來實現對各個因素及相互之間的各種組合的覆蓋。有效的針對多因素工業系統的測試及故障診斷方法具有十分重要的意義，可以很好地提高系統測試的效率和質量、降低成本。
技術內容本發明提供一種多因素工業系統的故障檢測方法，本發明不但可以迅速將故障原因鎖定在很小的範圍內，而且可以進一步發現多因素工業系統的隱患。
本發明採用如下技術方案一種用於減小工業系統故障因素確認範圍的多因素工業系統的故障檢測方法，該方法首先根據待測試的多因素工業系統的安全性要求、安全測試的成本預算或時間等要求確定測試用例集Ts。然後用Ts中的測試用例對系統進行測試，運行時發生故障的測試用例組成集合Ts1，不發生故障的測試用例組成集合Ts2，其特徵在於對比Ts1和Ts2，將Ts1中測試用例所涉及到的因素及因素的組合集中去掉Ts2的測試用例也涉及到的因素及因素的組合，剩下的因素以及因素的各種組合集M是所有可能導致系統故障的原因。通過逐個修改Ts1中每個發現故障的測試用例涉及到的因素生成一組附加測試用例Cts。然後用這些測試用例重新對系統進行測試，仍將運行時發生故障的測試用例組成的集合記為Ts1，運行時不發生故障的測試用例組成的集合記為Ts2，在M中去掉Ts2測試用例中涉及的因素及因素組合。最後剩下的M中的因素或因素組合將是有可能導致錯誤發生的成分集。
與現有技術相比，本發明具有如下優點
①本發明是組合測試方法的自然延伸，因而具有科學性、高效性和準確性等特點。
●關於科學性。組合測試方法主要是用來檢測系統參數或其相互作用對系統產生的影響，在應用組合測試方法對軟體系統進行測試之後，如果發現某些故障，一方面說明測試工作是成功的，另一方面還需要通過對試驗結果的分析和處理，對故障進行診斷，即確定出是哪些參數或哪些參數的相互作用導致了系統故障。
●關於高效性。對於一個具有n個參數的系統，當某條測試數據在測試中發現故障時，直接導致故障的所有可能的取值模式有2n個，利用未發現故障的測試數據及附加測試數據可以將這個龐大的可能性進行迅速地縮減，從而限制在一個較小的範圍內，因而該方法具有高效性。
●關於準確性。由於在軟體系統中，導致系統故障的原因是很複雜的，採用本發明得到的結果是導致系統故障的原因的集合，大大排除了各種可能導致系統故障的因素或因素的組合，具有較高的準確性。
②本發明具有針對性、經濟性、靈活和可擴展等優良特性。
●針對性。雖然傳統方法中有關於實驗結果分析的方法，如直觀分析方法、方差分析方法等，但是這些方法並不適合於對測試結果的分析。本發明針對在組合測試中發現故障的測試用例設計一組新的測試用例進行第二輪測試，因而具有很強的針對性。
●經濟性。本方法只對發現故障的測試用例設計新測試用例進行第二輪測試，可以有效地提高效率、降低成本，因而很經濟實用。
●靈活和可擴展性。如果對於一個具體的多因素工業系統，組合測試沒有發現故障，就無需使用本方法，本方法的使用可以根據具體軟體系統的測試情況進行調整，而不是千篇一律的固定方法，因此，具有優良的靈活性和可擴展性。
圖1是本發明的多因素工業系統故障檢測方法流程圖。
圖2是本發明的多因素工業系統的導致故障因素縮減流程圖。
圖3是本發明的多因素工業系統的第二輪測試用例生成方法流程圖。
具體實施方案實施例1一種用於減小工業系統故障因素確認範圍的多因素工業系統的故障檢測方法，該方法首先根據待測試的多因素工業系統的安全性要求、安全測試的成本預算或時間等要求確定測試用例集Ts。然後用Ts中的測試用例對系統進行測試，運行時發生故障的測試用例組成集合Ts1，不發生故障的測試用例組成集合Ts2，其特徵在於對比Ts1和Ts2，將Ts1中測試用例所涉及到的因素及因素的組合集中去掉Ts2的測試用例也涉及到的因素及因素的組合，剩下的因素以及因素的各種組合集M是所有可能導致系統故障的原因。通過逐個修改Ts1中每個發現故障的測試用例涉及到的因素生成一組附加測試用例Cts。然後用這些測試用例重新對系統進行測試，仍將運行時發生故障的測試用例組成的集合記為Ts1，運行時不發生故障的測試用例組成的集合記為Ts2，在M中去掉Ts2測試用例中涉及的因素及因素組合，最後剩下的M中的因素或因素組合將是有可能導致錯誤發生的成分集。在本實施例中，確定測試用例集Ts的方法是根據待測試的多因素工業系統的測試要求等因素確定不同組合覆蓋要求的測試用例集Ts，可以選擇規模較小的單因素覆蓋測試用例集覆蓋所有參數的各個取值，也可以選擇規模適中的兩兩組合覆蓋測試用例集覆蓋任意兩個參數間的兩兩組合，或者選擇規模稍大一點的三三組合覆蓋測試用例集等，這些選擇取決於該工業系統的測試要求和現有的測試條件等；暴露出來的系統故障歸結為由測試用例涉及到的因素及因素的組合所造成，即系統故障有可能由Ts1的測試用例中涉及的，而在Ts2的測試用例中沒有涉及到的系統因素或因素組合；附加測試用例的生成方法是將Ts1中每一個形如(v1，v2，…，vn)的測試用例，逐個修改其涉及到的因素值，相應生成一組測試用例，形如(*，v2，…，vn)，(v1，*，…，vn)，…，(v1，v2，…vn-1，*)，進行下一輪測試，其中，「*」表示異於原來的因素值。
實施例2多因素工業系統的故障檢測方法，首先分析用組合測試用例集Ts中的測試用例對系統進行測試，如果沒有發現故障，那麼當然就無需進行故障診斷。所以，該方法共分四步進行第一步，根據待測試的多因素工業系統的測試要求等因素確定不同組合覆蓋要求的測試用例集Ts，用Ts中的測試用例對系統進行測試，並將運行時發生某個故障的測試用例組成的集合記為Ts1，運行時不發生故障的測試用例組成的集合記為Ts2。第二步，對集合Ts1和Ts2中測試用例進行分析；第三步，生成附加測試用例集Cts以輔助故障診斷；第四步，根據附加測試用例的運行情況重新進行分析驗證，如果仍然發現故障，轉第三步，直到不發現故障為止。
第一步確定組合測試用例集並進行測試根據待測試的多因素工業系統的測試要求等因素確定不同組合覆蓋要求的測試用例集Ts，用Ts中的測試用例對系統進行測試，並將運行時發生某個故障的測試用例組成的集合記為Ts1，運行時不發生故障的測試用例組成的集合記為Ts2。
第二步對測試結果進行初步分析組合測試模型把暴露出來的系統故障歸結為由測試用例涉及到的各種因素的值或值的組合所造成，即系統故障有可能由Ts1中測試用例涉及到的而Ts2中測試用例未涉及到的因素或因素組合所引發。因此，將Ts1和Ts2進行對比，把Ts1中測試用例涉及到因素及因素組合去掉Ts2測試用例也涉及到的成分，最後剩下的集合M中的元素很可能就是直接導致故障的原因，這時M中的元素可為進一步分析和確認故障原因提供非常重要的依據。
第三步生成附加測試用例以輔助故障診斷為每個發現故障的測試用例生成相應附加測試用例，然後用這些測試用例重新對系統進行測試，下一步將對測試結果進行處理。
第四步根據附加測試用例的運行情況重新進行分析和驗證將附加測試用例中發現故障的測試用例集仍記為Ts1，未發現故障的測試用例集仍記為Ts2。從M中去掉Ts2中涉及到的因素或因素的組合，剩下的成分將是有可能導致錯誤發生的因素。Ts1非空時，轉第三步，否則結束。
本發明基於以下原理工作(1)根據多因素工業系統的安全性要求、安全測試的成本預算和時間等要求，選擇不同覆蓋程度(具體有覆蓋所有系統因素各個取值的單因素覆蓋、覆蓋系統任意兩個因素間所有組合的兩兩組合覆蓋等等，關於這些不同覆蓋程度的測試用例集生成已有很多公開的研究成果可以直接使用)的組合測試用例集Ts，並運行該測試用例集。
(2)將組合測試的測試用例集Ts根據測試時是否發生故障分成兩個子集將在執行中發現故障的測試用例組成的集合記為Ts1，未發現故障的測試用例組成的集合記為Ts2。計算M=tTs1Mt-tTs2Mt,]]>其中t＝(v1，v2，…，vi，…，vn)表示集合中的一個測試用例，Mt表示該測試用例t涉及到的所有的因素或因素的組合組成的集合(例如，當t＝(2，1，4)時，Mt＝{(2，-，-)，(-，-，4)，(-，1，-)，(-，1，4)，(2，-，4)，(2，1，-)，(2，1，4)})， 表示所有發現故障的測試用例涉及到的因素和因素組合，這些是所有可能引發系統故障的原因， 是由所有未發現故障的測試用例所涉及到的因素和因素組合組成的集合，其中每個元素一般不會成為引發系統故障的原因，故集合M=tTs1Mt-tTs2Mt]]>包含了引發故障的所有可能的因素和因素組合。在一般情況下，這個集合中的元素比較多，需要進行進一步精簡和確認。
(3)為了進一步確定出是哪些因素或因素組合導致了軟體故障，並充分利用組合測試的結果，檢查是否有新的隱錯存在，為Ts1中每個運行時發生故障的測試用例t＝(v1，v2，…，vi，…，vn)設計n個附加測試用例t1＝(*，v2，…，vi，…，vn)，t2＝(v1，*，…，vi，…，vn)，…，tn＝(v1，v2，…，vn-1，*)，其中「*」號表示我們可以用任意不同於原來測試用例t＝(v1，v2，…，vi，…，vn)相應位置因素的取值來代入。這樣產生的一組測試用例為附加測試用例集，記為CTs。
(4)運行附加測試用例集CTs，仍記發生故障的測試用例組成的集合為Ts1，不發生該故障的測試用例組成的集合記為Ts2，即Ts1∪Ts2＝CTs。根據這個結果，我們就可以確定出很小範圍的導致故障的因素，即M=M-tTs2Mt]]>如果Ts1≠Φ，轉(3)，否則，M中的元素是所有可能引發系統故障的原因。
實施例3本實施例涉及電信系統交換機通話功能的測試，本實施例以4個參數作為這個測試模型的輸入，分別為呼叫種類、資費方式、接入方式和狀態。對於這4個參數變量的每一個參數均可以有3種不同的狀態，如表1所示。
第一步確定組合測試用例集並進行測試如果要把表1中的所有情況都測試到，那麼將需要34＝81個測試用例來遍歷所有的測試情況。一般認為81次測試的工作量太大，而且沒有必要進行完全測試，所以需要根據該系統的測試要求、現有的測試資源等選擇測試用例集。如果考慮只覆蓋待測系統中的各個因素，只需要按照表1設計三個測試用例就可以了；如果考慮對任意兩個因素的兩兩組合進行覆蓋，需要選擇一組兩兩組合覆蓋的測試用例集(如表2)，表2中每一行都給出了一個測試用例，9條測試用例實現了對任意兩個因素間所有值組合的完全覆蓋，都至少出現一次。當然，要求更高時，可以設計使用三三組合覆蓋測試用例(至少需要27條測試用例)、四四組合覆蓋測試用例(在本例中即為完全測試)等等，這裡我們只考慮用兩兩組合覆蓋測試用例集(表2)進行測試。
表1待測系統SUT的測試需求
當我們用這組測試用例對交換機進行測試後，如果沒有發現問題，那麼就說明交換機功能在這個水平上的測試是合格的。當然不能因此就說交換機肯定沒有問題，因為任何測試只能證明被測對象的不完美性，而無法證明它的完美性。如果這組測試用例中有一個或幾個運行時發生了故障，那麼作為測試應該說是比較成功的，因為經過測試我們發現了系統故障。接下來的重要工作就是分析故障的原因，對它進行定位，並排除故障。我們不能撇開前面所做的測試工作，泛泛地去重新分析、檢查系統，而應該以前面所做的測試工作為基礎，進行全面分析。如果能迅速找出錯誤原因，將大大提高軟體測試的效率，縮短時間，並降低成本。
表2組合測試的測試用例
不失一般性，下面我們僅考慮當用表2中這組測試用例對交換機進行測試時，系統運行時發生某個故障的測試用例組成的集合Ts1(見表3)，即表2中第二個和第六個測試用例。不發生該故障的測試用例集合Ts2是表2中剩下的六個測試用例。
表3發生某個故障的測試用例集Ts1
第二步對測試結果進行初步分析找出集合MM=tTs1Mt-tTs2Mt]]>＝{(國際，集中，-，-)，(國際，-，環路，-)，(國際，-，-，阻塞)，(-，集中，環路，-)，(-，集中，-，阻塞)，(-，-，環路，阻塞)，(國際，集中，-，阻塞)，(國際，集中，環路，-)，(-，集中，環路，阻塞)，(國際，-，環路，阻塞)，(國際，集中，環路，阻塞)，(長途，免費，環路，忙)，(-，免費，環路，忙)，(長途，-，環路，忙)，(長途，免費，-，忙)，(長途，免費，環路，-)，(-，-l，環路，忙)，(長途，-，-，忙)，(長途，免費，-，-)，(-，免費，-，忙)，(長途，-，環路，-)，(-，免費，環路，-)}M中的元素是所有可能導致系統出現這個故障的因素。在這種情況下，單個因素不是導致系統出錯的原因，因為單個因素的某個取值多次出現在其它測試用例中，例如這個出錯的測試用例中參數「呼叫種類」的取值「國際」就在其它兩個無故障的測試用例中出現過，因此參數「呼叫種類」的取值「國際」不會成為系統出錯的原因。
第三步生成附加測試用例以輔助故障診斷為了進一步找出導致系統故障的因素，通過逐個修改Ts1中測試用例測試用例涉及的因素值，設計一個附加測試用例集Cts，如表4，其中*號表示相應位置的參數值取任意一個不同於原來出錯測試用例在相應位置的值(在本例中取括號內的值)。
表4附加測試用例集Cts
用這組測試用例再對交換機進行測試。
第四步根據附加測試用例的運行情況重新進行分析和驗證根據測試結果我們就可以確定出導致故障的原因，可以分成以下幾種情況討論情形1這八個測試用例的運行都沒有發生原先的故障。我們可以計算M=M-tTs2Mt]]>＝{(國際，集中，環路，阻塞)，(長途，免費，環路，忙)}(Ts2＝{t1，t2，…t8，})，此時因素組合(長途，免費，環路，忙)和(國際，集中，環路，阻塞)是可能導致故障的因素。
情形2隻有某一個測試用例運行時發生故障，例如是表4中第二個測試用例t2。可以計算M=M-tTs2Mt]]>＝{(國際，-，環路，阻塞)，(國際，集中，環路，阻塞)，(長途，免費，環路，忙)}(其中Ts2＝{t1，t3，t4，t5，t6，t7，t8，})，則此時導致故障的可能原因(國際，-，環路，阻塞)，(長途，免費，環路，忙)。
情形3有某5個測試用例測試時發生故障，例如Ts1＝{t3，t4，t5，t6，t7}，Ts2＝{t1，t2，t8}。此時可以計算M=M-tTs2Mt]]>＝{(國際，集中，-，-)，(國際，集中，-，阻塞)，(國際，集中，環路，-)，(國際，集中，環路，阻塞)，(長途，免費，環路，忙)，(-，免費，環路，忙)，(長途，-，環路，忙)，(長途，免費，-，忙)，(-，-，環路，忙)，(長途，-，-，忙)，(-，免費，-，忙)}中的元素是導致故障的可能原因。
類似地，我們可以討論其他各種情形。由此我們看出，在組合測試的基礎上，並輔之以一些必要的相關測試用例，我們可以對導致系統故障的因素進行有效的定位；在產生故障的測試用例比較多的情況下，分析過程比較複雜。但由於多數情況下，導致系統出錯的測試用例數量很少(這種測試用例對軟體測試來說是高質量的測試用例)，如果這種導致系統出現錯誤的測試用例數量多，說明系統質量太低，需要進行廣泛的重新分析和檢查。所以，不論什麼情況，基於組合測試的基礎，並輔之以一些必要的新的相關測試用例，對故障原因進行分析是非常重要的，也是非常有效的。
權利要求
1.一種用於減小工業系統故障因素確認範圍的多因素工業系統的故障檢測方法，該方法首先根據待測試的多因素工業系統的安全性要求、安全測試的成本預算或時間等要求確定測試用例集Ts，然後用Ts中的測試用例對系統進行測試，運行時發生故障的測試用例組成集合Ts1，不發生故障的測試用例組成集合Ts2，其特徵在於對比Ts1和Ts2，將Ts1中測試用例所涉及到的因素及因素的組合集中去掉Ts2的測試用例也涉及到的因素及因素的組合，剩下的因素以及因素的各種組合集M是所有可能導致系統故障的原因，通過逐個修改Ts1中每個發現故障的測試用例涉及到的因素生成一組附加測試用例Cts，然後用這些測試用例重新對系統進行測試，仍將運行時發生故障的測試用例組成的集合記為Ts1，運行時不發生故障的測試用例組成的集合記為Ts2，在M中去掉Ts2測試用例中涉及的因素及因素組合，最後剩下的M中的因素或因素組合將是有可能導致錯誤發生的成分集。
2.根據權利要求1所述的多因素工業系統的故障檢測方法，其特徵還在於確定測試用例集Ts的方法是根據待測試的多因素工業系統的測試要求等因素確定不同組合覆蓋要求的測試用例集Ts，可以選擇規模較小的單因素覆蓋測試用例集覆蓋所有參數的各個取值，也可以選擇規模適中的兩兩組合覆蓋測試用例集覆蓋任意兩個參數間的兩兩組合，或者選擇規模稍大一點的三三組合覆蓋測試用例集等，這些選擇取決於該工業系統的測試要求和現有的測試條件等。
3.根據權利要求1所述的多因素工業系統的故障檢測方法，其特徵還在於暴露出來的系統故障歸結為由測試用例涉及到的因素及因素的組合所造成，即系統故障有可能由Ts1的測試用例中含有的，而在Ts2的測試用例中沒有涉及到的系統因素或因素組合。
4.根據權利要求1所述的多因素工業系統的故障檢測方法，其特徵還在於附加測試用例的生成方法是將Ts1中每一個形如(v1，v2，…，vn)的測試用例，逐個修改其涉及到的因素值，相應生成一組測試用例，形如(*，v2，…，vn)，(v1，*，…，vn)，…，(v1，v2，…vn-1，*)，進行下一輪測試，其中，「*」表示異於原來的因素值。
全文摘要
本發明公開了一種用於減小工業系統故障因素確認範圍的多因素工業系統的故障檢測方法。首先確定測試用例集Ts，然後用Ts中的測試用例對系統進行測試，運行時發生和不發生故障的測試用例分別組成集合Ts1和Ts2，在Ts1中去除Ts1和Ts2共同涉及到的因素及因素的組合，剩下的因素以及因素的各種組合集M是所有可能導致系統故障的原因，通過逐個修改Ts1中每個發現故障的測試用例涉及到的因素生成一組附加測試用例Cts，然後用這些測試用例重新對系統進行相似的測試，最後剩下的M中的因素或因素組合將是有可能導致錯誤發生的成分集。此方法具有科學性、高效性和準確性等特點，還具有針對性、經濟性、靈活和可擴展等優良特性。
文檔編號G05B23/00GK1595321SQ20041004106
公開日2005年3月16日 申請日期2004年6月23日 優先權日2004年6月23日
發明者徐寶文, 聶長海 申請人:東南大學