一種仿真試驗評估系統及評估方法與流程
2023-05-23 16:36:36 2
本發明涉及仿真試驗領域。更具體地，涉及一種仿真試驗評估系統及評估方法。
背景技術：
hla/rti為複雜的分布式仿真系統的協同運行提供了解決途徑。近年來，隨著複雜產品的組成規模和複雜度的提升，在其研製過程中需要構建的仿真系統的規模與複雜度也相應的不斷提高。為了在設計研製過程中對複雜產品的技術方案和功能設計等進行全面的驗證與分析，需要利用其仿真系統進行大量的仿真試驗，並根據複雜產品的多種功能、性能和效能的要求，從多個方面針對大規模的仿真數據進行大量的評估。仿真系統的評估過程包含了採集試驗數據、確定評估對象、建立評估準則、執行評估過程、輸出評估結果等多個環節，涉及仿真試驗批次、仿真數據記錄、評估任務批次、評估指標體系、評估算法參數、評估結果處理等多種信息，是一個需進行多次配置的過程。現有的仿真系統評估工作主要針對以下方面：分布式仿真系統的數據採集；對不同特點的仿真數據進行處理、分析和評估；集成仿真數據採集與分析功能的通用化框架。上述方法提供了評估過程中單個環節或多個環節的實施方法，但是當面臨繁重的評估任務時，仍需要在執行中對評估過程涉及的大量信息進行重複配置操作，容易出現配置錯誤而影響評估結果，並降低評估工作效率。
因此，需要提供一種面向整個評估過程的，能夠有效集成各類評估所需信息的可配置、可重用的仿真試驗評估系統及評估方法。
技術實現要素：
本發明的目的在於提供一種仿真試驗評估系統及評估方法，解決現有的仿真系統的評估過程中存在的大量信息進行重複配置操作，容易出現配置錯誤而影響評估結果，並降低評估工作效率的問題。
為達到上述目的，本發明採用下述技術方案：
一種仿真試驗評估系統，該系統包括：
數據採集模塊，定製仿真數據採集列表，生成採集列表文件，動態採集所定製的仿真數據，保存仿真數據文件；
評估模型構建模塊，對評估過程中涉及的信息進行配置，並將所述評估過程中涉及的信息保存為評估模型文件；
評估過程執行模塊，加載評估模型文件，構建並控制評估系統的執行過程，在執行中解析評估模型中配置信息，獲得評估結果。
優選地，所述仿真數據採集列表中記錄了需要採集的仿真數據的描述信息和採集列表文件的描述信息，所述需要採集的仿真數據的描述信息包括要採集的仿真數據所屬的類的名稱、類路徑、是否訂購，以及需要採集的仿真數據所代表的類的屬性或參數的名稱、數據類型及是否訂購，所述採集列表文件的描述信息包括所採集的仿真聯邦的名稱、仿真聯邦fom文件的路徑。
優選地，所述仿真數據文件包括xml格式的仿真數據文件和txt格式的仿真數據文件，
所述xml格式的仿真數據文件的描述內容包括仿真任務名稱、仿真任務批次號、仿真聯邦名稱、仿真聯邦fom文件的路徑、仿真系統運行的起止時間、採集列表文件的路徑；所採集的類實例名稱、實例句柄、實例對應的類的名稱、類句柄、進行採集的屬性或參數的數量；所採集的屬性或參數的名稱、句柄、數據類型、保存該屬性或參數數據的txt格式的仿真數據文件的路徑；
所述txt格式的仿真數據文件的記錄內容包括所採集的屬性或參數的數據值，以及與該值對應的仿真時間戳，所述txt格式的仿真數據文件的記錄結構為將時間戳和對應的數據值作為一組數據。
優選地，所述評估過程中涉及的信息包括評估模型文件、評估任務數據、評估對象數據、評估指標體系、評估算法和評估結果處理方式。
一種仿真試驗評估方法，該方法包括如下步驟：
s1、定製仿真數據採集列表，生成採集列表文件，動態採集所定製的仿真數據，保存仿真數據文件；
s2、對評估過程中涉及的信息進行配置，並將所述評估過程中涉及的信息保存為評估模型文件；
s3、加載評估模型文件，構建並控制評估系統的執行過程，在執行中解析評估模型中配置信息，獲得評估結果。
優選地，步驟s1中所述仿真數據採集列表中記錄了需要採集的仿真數據 的描述信息和採集列表文件的描述信息，所述需要採集的仿真數據的描述信息包括要採集的仿真數據所屬的類的名稱、類路徑、是否訂購，以及需要採集的仿真數據所代表的類的屬性或參數的名稱、數據類型及是否訂購，所述採集列表文件的描述信息包括所採集的仿真聯邦的名稱、仿真聯邦fom文件的路徑。
優選地，步驟s1中所述動態採集所定製的仿真數據，保存仿真數據文件的具體過程為：
根據採集列表中配置的採集信息，在仿真運行過程中通過rti接收訂購的仿真數據、記錄仿真數據並保存生成的仿真數據文件，
所述仿真數據文件包括xml格式的仿真數據文件和txt格式的仿真數據文件，
所述xml格式的仿真數據文件的描述內容包括仿真任務名稱、仿真任務批次號、仿真聯邦名稱、仿真聯邦fom文件的路徑、仿真系統運行的起止時間、採集列表文件的路徑；所採集的類實例名稱、實例句柄、實例對應的類的名稱、類句柄、進行採集的屬性或參數的數量；所採集的屬性或參數的名稱、句柄、數據類型、保存該屬性或參數數據的txt格式的仿真數據文件的路徑；
所述txt格式的仿真數據文件的記錄內容包括所採集的屬性或參數的數據值，以及與該值對應的仿真時間戳，所述txt格式的仿真數據文件的記錄結構為將時間戳和對應的數據值作為一組數據。
優選地，步驟s2進一步包括如下子步驟：
s2.1、對評估模型文件進行配置，包括對評估模型文件名稱、仿真聯邦名稱、仿真聯邦fom文件路徑、採集列表文件名稱和採集列表文件路徑進行配置；
s2.2、對評估任務數據進行配置，包括對評估任務名稱、評估任務批次號、評估任務執行時間和評估模式進行配置，所述評估模式包括在線評估和離線評估；
s2.3、對評估對象數據進行配置，包括對評估所針對的仿真數據文件集合進行配置，所述仿真數據文件集合包括xml格式的仿真數據文件名稱及路徑、txt格式的仿真數據文件名稱及數據類型；
s2.4、對評估指標體系進行配置，包括利用已有的評估指標描述文件或新建評估指標文件對評估指標體系進行配置；
s2.5、對評估算法進行配置，包括對評估過程中所用到的數據預處理算法和評估算法進行配置；
s2.6、對評估結果處理方式進行配置；
s2.7、將所述評估模型文件、評估任務數據、評估對象數據、評估指標體系、評估算法和評估結果處理方式保存在評估模型文件中。
優選地，步驟s2.4中，
利用已有的評估指標描述文件對評估指標體系進行配置的具體過程為：
配置評估指標描述文件名稱、評估指標描述文件所在路徑，對評估指標體系進行配置；
新建評估指標文件對評估指標體系進行配置的具體過程為：
基於圖形化的界面，通過添加評估指標的根結點和葉節點，建立層次化的樹狀的評估指標體系，對每個評估指標節點，設置指標名稱、手動分配或根據指標間相對重要性分配指標的權值、指定該指標所評估的仿真數據，建立評估指標體系，保存生成評估指標文件，對評估指標體系進行配置。
優選地，步驟s3的具體過程為：讀取所述評估模型文件，解析所述評估模型文件中對所述評估過程中涉及的信息的配置信息，形成評估系統，對評估系統進行啟動、停止等控制操作，當啟動評估系統後，從仿真數據文件中讀取評估對象數據、加載評估指標體系和算法模型，進行數據處理和評估運算，獲得評估結果。
本發明的有益效果如下：
本發明所述技術方案通過建立採集列表實現仿真數據採集過程的快速配置；通過建立評估模型的描述方法，對評估過程中涉及的評估任務、評估對象數據、評估指標體系、評估算法、評估結果導出方式五項評估要素的信息進行描述；通過解析評估模型文件中的評估要素配置信息，自動化完成評估數據讀取到評估結果輸出的執行過程。由於採用可重用、可配置的評估模型文件，在面對新的評估任務時，僅需根據評估要求對相應的評估要素進行重新配置，避免了對所有要素的重複配置操作，加快了評估工作的速度，提高評估工作的執行效率。本發明所述技術方案適用於複雜產品的仿真試驗驗證、分析與評估過程，尤其是涉及多批次、大數據量的評估任務時，能夠減少因配置錯誤而影響評估結果的準確性，使評估人員能夠專注於改進仿真試驗方法及分析評估算法，預計此項技術成果有良好的產業化應用前景。
附圖說明
下面結合附圖對本發明的具體實施方式作進一步詳細的說明。
圖1示出仿真試驗評估系統的示意圖。
圖2示出仿真試驗評估方法的流程圖。
具體實施方式
為了更清楚地說明本發明，下面結合優選實施例和附圖對本發明做進一步的說明。附圖中相似的部件以相同的附圖標記進行表示。本領域技術人員應當理解，下面所具體描述的內容是說明性的而非限制性的，不應以此限制本發明的保護範圍。
實施例1
如圖1所示，本實施例提供的仿真試驗評估系統包括：數據採集模塊、評估模型構建模塊和評估過程執行模塊；
數據採集模塊，定製仿真數據採集列表，生成採集列表文件，動態採集所定製的仿真數據，保存仿真數據文件；
評估模型構建模塊，對評估過程中涉及的信息進行配置，並將這些信息保存為評估模型文件，評估過程中涉及的信息包括評估模型文件、評估任務數據、評估對象數據、評估指標體系、評估算法、評估結果處理等信息；
評估過程執行模塊，加載評估模型文件，構建並控制評估系統的執行過程，在執行中解析評估模型中配置信息，獲得評估結果。
其中
數據採集模塊定製的仿真數據採集列表中記錄了需要採集的仿真數據的描述信息和採集列表文件的描述信息。需要採集的仿真數據的描述信息包括：數據所屬的類的名稱、類路徑、是否訂購，以及數據所代表的類的屬性或參數的名稱、數據類型及是否訂購。採集列表文件的描述信息包括：所採集的仿真聯邦的名稱、仿真聯邦fom文件的路徑。
數據採集模塊動態採集所定製的仿真數據，保存仿真數據文件的具體過程為：數據採集模塊根據採集列表中配置的採集信息，在仿真運行過程中通過rti接收訂購的仿真數據、記錄仿真數據並保存生成仿真數據文件。仿真數據文件為統一的數據描述格式，採用xml格式的仿真數據文件和txt格式的仿真數據文件結合的方式來實現仿真數據的快速存儲。xml格式的仿真 數據文件描述仿真試驗任務信息及仿真聯邦中類與其屬性或參數之間的結構層次關係，其描述內容包括：仿真任務名稱、仿真任務批次號、仿真聯邦名稱、仿真聯邦fom文件的路徑、仿真系統運行的起止時間、採集列表文件的路徑；所採集的類實例名稱、實例句柄、實例對應的類的名稱、類句柄、進行採集的屬性或參數的數量；所採集的屬性或參數的名稱、句柄、數據類型、保存該屬性或參數數據的txt格式的仿真數據文件的路徑。txt格式的仿真數據文件的記錄內容包括所採集的屬性或參數的數據值，以及與該值對應的仿真時間戳，其結構為將時間戳和對應的數據值作為一組數據，兩組數據之間用空格連接，時間戳和數據值之間也由空格連接。
評估模型構建模塊，對評估過程中的涉及的信息，即各項要素進行配置，評估過程中的涉及的信息包括：評估模型文件、評估任務數據、評估對象數據、評估指標體系、評估算法、評估結果處理方式(評估結果導出)。
對評估模型文件進行配置包括對評估模型文件名稱、仿真聯邦名稱、仿真聯邦fom文件路徑、採集列表文件名稱和採集列表文件路徑進行配置；
對評估任務數據進行配置包括對評估任務名稱、評估任務批次號、評估任務執行時間和評估模式進行配置，其中評估模式包括在線評估和離線評估兩種模式；
對評估對象數據進行配置包括對評估所針對的仿真數據文件集合進行配置，仿真數據文件集合包括xml格式的仿真數據文件名稱及路徑、txt格式的仿真數據文件名稱及數據類型；
對評估指標體系進行配置包括利用已有的評估指標描述文件或新建評估指標文件。其中，對於已有的評估指標描述文件，需配置評估指標描述文件名稱、評估指標描述文件所在路徑。對於需新建的評估指標文件，對評估指標體系進行配置包括：基於圖形化的界面，通過添加評估指標的根結點和葉節點，建立層次化的樹狀的評估指標體系，對每個評估指標節點，設置指標名稱、手動分配或根據指標間相對重要性分配指標的權值、指定該指標所評估的仿真數據，建立評估指標體系後，保存生成評估指標文件，作為已有文件實現重用。
對評估算法進行配置包括對評估過程中所用到的數據預處理算法和評估算法進行配置，基於交互界面，通過指定算法的.dll文件路徑將算法添加到列表中，如果存在多個算法則應調整算法的執行順序，之後在評估模型中依照執行順序對算法進行配置，需要配置的信息包括算法名稱、需外部配置的參 數名稱和參數值。
對評估結果處理方式進行配置包括設置是否生成word形式的評估報告、評估報告名稱、保存路徑，設置是否保存評估結果的二維圖形、圖形文件名稱、保存路徑。
在對評估的各項要素進行配置後，評估模型構建模塊將上述信息保存在評估模型文件中，評估模型文件可以在不同的評估任務中進行重用，此時只需要針對不同的評估要求修改相關評估要素的配置信息，從而避免了對所有的評估要素進行重複配置。
評估過程執行模塊加載評估模型文件，構建並控制評估系統的執行過程，在執行中解析評估模型中配置信息，獲得評估結果的具體過程為：讀取評估模型文件，解析評估模型文件中對各項評估要素的配置信息，形成評估系統，對評估系統進行啟動、停止等控制操作，當啟動評估系統後，自動地從仿真數據文件中讀取評估對象數據、加載評估指標體系和算法模型，進行數據處理和評估運算，在二維圖形中顯示評估結果，並按設定的導出配置保存評估結果。
實施例2
如圖2所示，本實施例提供的仿真試驗評估方法包括如下步驟：
s1、定製仿真數據採集列表，生成採集列表文件，動態採集所定製的仿真數據，保存仿真數據文件；
s2、對評估過程中涉及的信息進行配置，並將這些信息保存為評估模型文件，評估過程中涉及的信息包括評估模型文件、評估任務數據、評估對象數據、評估指標體系、評估算法、評估結果處理等信息；
s3、加載評估模型文件，構建並控制評估系統的執行過程，在執行中解析評估模型中配置信息，獲得評估結果。
其中
步驟s1中定製的仿真數據採集列表中記錄了需要採集的仿真數據的描述信息和採集列表文件的描述信息。需要採集的仿真數據的描述信息包括：數據所屬的類的名稱、類路徑、是否訂購，以及數據所代表的類的屬性或參數的名稱、數據類型及是否訂購。採集列表文件的描述信息包括：所採集的仿真聯邦的名稱、仿真聯邦fom文件的路徑。
步驟s1中動態採集所定製的仿真數據，保存仿真數據文件的具體過程為： 數據採集模塊根據採集列表中配置的採集信息，在仿真運行過程中通過rti接收訂購的仿真數據、記錄仿真數據並保存生成仿真數據文件。仿真數據文件為統一的數據描述格式，採用xml格式的仿真數據文件和txt格式的仿真數據文件結合的方式來實現仿真數據的快速存儲。xml格式的仿真數據文件描述仿真試驗任務信息及仿真聯邦中類與其屬性或參數之間的結構層次關係，其描述內容包括：仿真任務名稱、仿真任務批次號、仿真聯邦名稱、仿真聯邦fom文件的路徑、仿真系統運行的起止時間、採集列表文件的路徑；所採集的類實例名稱、實例句柄、實例對應的類的名稱、類句柄、進行採集的屬性或參數的數量；所採集的屬性或參數的名稱、句柄、數據類型、保存該屬性或參數數據的txt格式的仿真數據文件的路徑。txt格式的仿真數據文件記錄所採集的屬性或參數的數據值，以及與該值對應的仿真時間戳，其結構為將時間戳和對應的數據值作為一組數據，兩組數據之間用空格連接，時間戳和數據值之間也由空格連接。
步驟s2進一步包括如下子步驟：
s2.1、對評估模型文件進行配置，包括對評估模型文件名稱、仿真聯邦名稱、仿真聯邦fom文件路徑、採集列表文件名稱和採集列表文件路徑進行配置；
s2.2、對評估任務數據進行配置，包括對評估任務名稱、評估任務批次號、評估任務執行時間和評估模式進行配置，其中評估模式包括在線評估和離線評估兩種模式；
s2.3、對評估對象數據進行配置，包括對評估所針對的仿真數據文件集合進行配置，仿真數據文件集合包括xml格式的仿真數據文件名稱及路徑、txt格式的仿真數據文件名稱及數據類型；
s2.4、對評估指標體系進行配置，包括利用已有的評估指標描述文件或新建評估指標文件。其中，對於已有的評估指標描述文件，需配置評估指標描述文件名稱、評估指標描述文件所在路徑。對於需新建的評估指標文件，對評估指標體系進行配置包括：基於圖形化的界面，通過添加評估指標的根結點和葉節點，建立層次化的樹狀的評估指標體系，對每個評估指標節點，設置指標名稱、手動分配或根據指標間相對重要性分配指標的權值、指定該指標所評估的仿真數據，建立評估指標體系後，保存生成評估指標文件，作為已有文件實現重用。
s2.5、對評估算法進行配置，包括對評估過程中所用到的數據預處理算法 和評估算法進行配置，基於交互界面，通過指定算法的.dll文件路徑將算法添加到列表中，如果存在多個算法則應調整算法的執行順序，之後在評估模型中依照執行順序對算法進行配置，需要配置的信息包括算法名稱、需外部配置的參數名稱和參數值。
s2.6、對評估結果處理方式進行配置包括設置是否生成word形式的評估報告、評估報告名稱、保存路徑，設置是否保存評估結果的二維圖形、圖形文件名稱、保存路徑。
s2.7、在對評估的各項要素進行配置後，評估模型構建模塊將上述信息保存在評估模型文件中，評估模型文件可以在不同的評估任務中進行重用，此時只需要針對不同的評估要求修改相關評估要素的配置信息，從而避免了對所有的評估要素進行重複配置。
步驟s3的具體過程為：讀取評估模型文件，解析評估模型文件中對各項評估要素的配置信息，形成評估系統，對評估系統進行啟動、停止等控制操作，當啟動評估系統後，自動地從仿真數據文件中讀取評估對象數據、加載評估指標體系和算法模型，進行數據處理和評估運算，在二維圖形中顯示評估結果，並按設定的導出配置保存評估結果。
顯然，本發明的上述實施例僅僅是為清楚地說明本發明所作的舉例，而並非是對本發明的實施方式的限定，對於所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動，這裡無法對所有的實施方式予以窮舉，凡是屬於本發明的技術方案所引伸出的顯而易見的變化或變動仍處於本發明的保護範圍之列。