在役考核能力驗證與評估系統
2024-04-15 10:55:05
1.本發明涉及裝備試驗鑑定技術領域，具體為在役考核能力驗證與評估系統。
背景技術：
2.在役考核即裝備在役考核，是我軍在裝備試驗工作中新增的一個新的類型。它是指在裝備列裝服役期間，為檢驗裝備持續滿足部隊作戰使用與保障要求程度所進行的一系列試驗鑑定活動。其實質是運用科學的方法，系統化考核檢驗我軍現役裝備的各種實際性能，為裝備改型和研發提供依據。一般依託列裝部隊、相關院校結合正常戰備訓練、聯合演訓及教學等任務組織實施。其目的是掌握部隊裝備使用、保障、維修情況，驗證裝備作戰與保障效能，發現問題缺陷，考核部隊適編性和服役期經濟性，以及部分在性能試驗和作戰試驗階段難以考核的指標等。
3.我軍裝備的在役考核尚處於起步階段，存在的問題還有很多，為了做好裝備在役考核工作及將考核作用發揮到實處，目前急需解決的問題有：
4.①
加快配套手段建設，尤其是對於考核數據的處理。應迅速研發在役考核數據分析處理軟體，重點解決不同類型數據的標準化處理，同時加快虛實結合的在役考核平臺體系建設。
5.②
加強在役考核指標體系構建方法及標準化研究，解決指標體系構建難、指標賦權難等問題。
6.③
加強在役考核數據評估分析過程中的多評價方法融合運用研究。解決目前在役考核評價過程中存在的定性描述多，主觀因素多，多種評價方法融合少的問題。
7.針對上述問題，本發明提供了在役考核能力驗證與評估系統。
技術實現要素：
8.本發明的目的在於提供在役考核能力驗證與評估系統，本發明通過為在役考核工作提供，起到全程輔助作用的「在役考核能力試驗與評估系統」，為在役考核試驗評估數據所需的，數據需求分析、採集方案設計、評估方案設計、評估執行和結果可視化展示，提供全流程解決方案，幫助解決裝備「是否好用」的評估問題，起到不斷提高裝備效能及適配性的作用，從而解決了背景技術中的問題。
9.為實現上述目的，本發明提供如下技術方案：在役考核能力驗證與評估系統，包括評估設計和評估執行2個階段，其特徵在於：所述評估設計包括提出考核問題、構建評估指標體系、提出數據需求和確定採集方案4個環節，評估執行包括數據預處理、評估方法選擇、指標權重確定、數據評估分析以及評估分析結果可視化展示，用於根據採集到的數據來進行考核數據的評估分析，得出考核結論，並對結論進行可視化展示。
10.進一步地，提出考核問題中可能提出的考核問題包括但不限於部隊適用性考核、裝備質量保持度考核、裝備服役期的經濟性考核、裝備適配性考核。
11.進一步地，所能構建的指標體系包括但不限於適用性評估指標體系、適編性評估
指標體系、適配性評估指標體系、質量穩定性評估指標體系、裝備經濟性評估指標體系和供應保障效能指標體系。
12.進一步地，提出數據需求階段，可能需求的數據包括歷史統計數據、現場採集數據以及分析評估數據，分析評估數據包括定量數據和定性數據；確定採集方案模塊是根據所提出的數據需求，來確定數據採集所需要的儀器、設備、工具；以及採集時機、採集場合等。
13.進一步地，評估設計和評估執行2個階段內部包括指標體系構建及嚮導模塊、數據預處理模塊(具備評估指標數據預處理及異常數據剔除)、評估方案設計模塊、自定義方法接口、評估結果綜合顯示模塊、管理模塊以及案例庫功能。
14.進一步地，具備評估指標數據預處理及異常數據剔除功能的數據預處理模塊，所能夠進行預處理的數據包括效益型、成本型、偏離型和區間型評估指標數據。
15.進一步地，評估方法選擇模塊所提供算法包括模糊綜合評判法、灰色關聯分析、topsis法、數據包絡法、主成分分析法、極差分析法、方差分析、因子分析、支持向量機、環比係數法、adc法、sea法、數據一致性分析、平滑濾波法、窗譜分析法、最大熵分析、一元擬合法、點估計、單總體區間估計、兩個總體區間估計、單總體假設檢驗、兩個總體假設檢驗、偏度和峰度檢驗以及正態型檢驗。
16.進一步地，自定義方法接口便於用戶根據需求設置自定義算法。
17.進一步地，指標權重確定模塊用來確定指標的賦權方法，它幫助反映了評估指標的相互重要程度，該模塊提供並支持的賦權算法包括層次分析法、網絡層次分析法、環比係數法、熵權法等。
18.進一步地，數據評估分析模塊，在完成了前述的提出考核問題、指標體系構建、數據需求提出、採集方案確定、數據預處理、評估方法選擇、指標權重確定等步驟後，基於歷史數據和現場採集數據，在試驗評估機構的主導下，完成對於評估指標數據的評估與分析，產生結構性評估數據，得到面向能力的裝備試驗評估結果。
19.進一步地，評估結果綜合顯示模塊展示樣式包括表格、交叉表、文字、圖片、柱圖、線圖、餅圖、雷達圖、散點圖以及面積圖；管理模塊用於對評估任務、評估數據、評估方案的管理功能；案例庫功能用於幫助評估用戶熟悉在役考核評估流程及方法。
20.與現有技術相比，本發明的有益效果如下：
21.本發明提供的在役考核能力驗證與評估系統，是一套針對被試裝備相關試驗數據進行分析處理以及對評估任務進行管理的數據分析處理軟體平臺，裝備在役考核作為全新的裝備試驗類型，是我軍試驗鑑定新體系3個環路中，「在役考核-改進升級」環路中的關鍵。在役考核是在裝備列裝服役後，為檢驗裝備滿足部隊作戰使用與保障要求的程度所進行的持續性試驗鑑定活動。它即不同於我軍傳統的部隊試用，也不同於外軍的後續作戰試驗鑑定。本發明通過為在役考核工作提供，起到全程輔助作用的「在役考核能力試驗與評估系統」，為在役考核試驗評估數據所需的，數據需求分析、採集方案設計、評估方案設計、評估執行和結果可視化展示，提供全流程解決方案，幫助解決裝備「是否好用」的評估問題，起到不斷提高裝備效能及適配性的作用。
附圖說明
22.圖1為本發明的在役考核能力驗證與評估系統的邏輯圖；
具體實施方式
23.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
24.請參閱圖1，在役考核能力驗證與評估系統，包括評估設計和評估執行2個階段，評估設計包括提出考核問題、構建評估指標體系、提出數據需求和確定採集方案4個環節，評估執行包括數據預處理、評估方法選擇、指標權重確定、數據評估分析以及評估分析結果可視化展示，用於根據採集到的數據來進行考核數據的評估分析，得出考核結論，並對結論進行可視化展示。
25.本發明提供的在役考核能力驗證與評估系統，是一套針對被試裝備相關試驗數據進行分析處理以及對評估任務進行管理的數據分析處理軟體平臺，裝備在役考核作為全新的裝備試驗類型，是我軍試驗鑑定新體系3個環路中，「在役考核-改進升級」環路中的關鍵。在役考核是在裝備列裝服役後，為檢驗裝備滿足部隊作戰使用與保障要求的程度所進行的持續性試驗鑑定活動。它即不同於我軍傳統的部隊試用，也不同於外軍的後續作戰試驗鑑定。本發明通過為在役考核工作提供，起到全程輔助作用的「在役考核能力試驗與評估系統」，為在役考核試驗評估數據所需的，數據需求分析、採集方案設計、評估方案設計、評估執行和結果可視化展示，提供全流程解決方案，幫助解決裝備「是否好用」的評估問題，起到不斷提高裝備效能及適配性的作用。
26.提出考核問題中可能提出的考核問題包括但不限於部隊適用性考核、裝備質量保持度考核、裝備服役期的經濟性考核、裝備適配性考核。
27.裝備在役考核評估內容確定，評估內容的確定是指標體系構建的基礎，裝備發展過程可粗略劃分為研製域和試驗域。在裝備全壽命周期過程中，不同的試驗類型發揮著不同的支撐作用，回答不同的關鍵問題。如試驗域中性能試驗回答的關鍵問題是「裝備的戰術技術性能是否達到要求」，在役考核階段回答的關鍵問題是「裝備是否能夠有效形成和保持既定的作戰使用能力」，即回答「是否滿足服役要求」的問題。總的來說，裝備在役考核的重點是裝備是否滿足部隊服役要求。
28.根據裝備在役考核需要回答的關鍵問題，可概括出在役考核的重點評估內容為：
29.⑴
前期不易充分考核的部隊適用性，包括裝備的使用可用性、任務可靠性、維修適應性、保障適應性；
30.⑵
裝備質量保持度。包括通用質量特性及專用質量特性(裝備的戰術技術性能)；
31.⑶
裝備服役期的經濟性。包括發現導致服役階段裝備費用高昂的關鍵因素，以及評估裝備發生的費用相對其有效工作時間是否合理的問題；
32.⑷
裝備編配與部隊編制的適應程度。發現裝備編配與部隊編制不相適應的問題，為裝備體系的調整優化提供依據；
33.⑸
裝備與裝備體系其他要素的有效匹配程度。即裝備適配性，旨在考核裝備體系內部不適應、不匹配問題，根據以上分析結果，針對不同的裝備類型可以確定不同的評估內容。
34.所能構建的指標體系包括但不限於適用性評估指標體系、適編性評估指標體系、
適配性評估指標體系、質量穩定性評估指標體系、裝備經濟性評估指標體系和供應保障效能指標體系。
35.在役考核階段，需要回答的關鍵問題是「裝備是否能夠有效形成和保持既定的作戰使用能力」，回答「是否滿足服役要求」的問題。重點考慮部隊當前反映比較強烈的「不好用」、「不好修」、「不好保障」等實際問題。為了回答這些關鍵問題，需要構建與之相適應的評估指標體系。裝備在役考核指標體系是在役考核數據採集與綜合評估的基礎，構建科學合理的指標體系有助於提高在役考核工作質量。
36.通過對於裝備評估指標體系的分析，得到裝備常見通用評估指標包括：適用性評估指標、適編性評估指標、適配性評估指標、質量穩定性評估指標、裝備經濟性評估指標和供應保障效能。其中，適用性是指裝備滿足部隊日常訓練使用及維修的程度；適編性是指裝備編配是否與部隊現行編制相適應的問題；適配性是指裝備體系中各構成要素之間的匹配程度；質量穩定性是指裝備列裝部隊的各方面質量特性是否得到保證；裝備服役期經濟性是指裝備是否用得起，費效比是否合理；供應保障效能是指物資供應、裝備保障是否滿足裝備需求。
37.提出數據需求階段，可能需求的數據包括歷史統計數據、現場採集數據以及分析評估數據，分析評估數據包括定量數據和定性數據；確定採集方案模塊是根據所提出的數據需求，來確定數據採集所需要的儀器、設備、工具；以及採集時機、採集場合等。
38.其中分析評估數據是指在考核結束後，基於歷史數據和現場採集數據，在試驗評估機構的主導下，產生的結構性數據。根據數據自身的特點，評估數據又分為定量數據和定性數據，分別採用不同方法進行處理。而在役考核數據處理指的是對評估指標數據的規範化、指標數據的預處理及異常指標數據處理。其目的是通過對評估指標類型的判斷，對指標進行無量綱化和歸一化處理，為在役考核評估指標最終向上聚合奠定基礎。
39.具體處理步驟：判斷指標類型，無論是定量指標還是定性指標都可以分為效益型、成本型、偏離型、區間型等四種類型，需要對各指標值的大小進行統一的度量判斷，並進行必要的分析處理。第一步是對指標進行無量綱化處理，不同的指標具有不同的度量單位，即量綱，無量綱化的目的就是要消除指標的量綱，並用統一標準的數值大小來反映指標屬性值的優劣；第二步是對指標值進行歸一化處理，即把不同數量級單位的指標數值統一變換到[0,1]區間，方便各指標之間進行比較評估。針對不同類型的數據，所選擇的數據處理方法也不同。
[0040]
定量指標數據的處理：處理定量指標時，指標實際值的變化對量化的影響並不是等比例的，可採用線性方法對指標進行無量綱化處理，包括閾值法、z-score法、比重法等。定性指標數據處理：由於定性指標大多存在模糊性，難以用固定尺度去衡量。其基本處理步驟包括：分解指標(對指標體系中的指標的模糊性、複雜性和主觀判斷的定性指標進行必要分解，使指標含義的指向性更強)；確定評判等級及指標量化(如優良中差、再進行等級量化)；制定評分表或問卷調查表並選取適量、滿足要求的人員打分或填表得到定性指標的數據；異常指標數據處理：考核過程中採集的大量數據，如遇到不正常的因素如外界幹擾、採集人員疏忽大意、採集條件意外改變等會造成採集到的數據的不準確，這樣採集的數據稱為異常數據。對於有充分根據認為採集到的異常數據不能有效使用的，需要用統計學準則進行判斷：萊伊達準則、肖維納準則、格布拉斯準則。
[0041]
評估設計和評估執行2個階段中間包括指標體系構建及嚮導模塊、數據預處理模塊(具備評估指標數據預處理及異常數據剔除)、評估方案設計模塊、自定義方法接口、評估結果綜合顯示模塊、管理模塊以及案例庫功能。在役考核能力試驗與評估系統重點關注在役考核過程中的指標體系構建、數據需求確認、評估方案選擇、數據評估分析及結果可視化展示，這四個關鍵環節。根據在役考核評估的重點內容，在役考核能力驗證與評估系統針對上述功能模塊進行了設計開發，以達到輔助實現裝備在役考核的目標。
[0042]
為了回答在役考核的關鍵問題，滿足部隊對於重點問題的評估需求，構建合理的、滿足評估需求的指標體系，本「在役考核能力驗證與評估系統」設置了「能力驗證與評估指標體系設計管理模塊」該模塊幫助在役考核評估主體有效建立合理的評估指標體系。該模塊支持構建不少於10層的評估指標體系，同層內指標數量不少於30個，同時指標體系構建過程實現可視化。
[0043]
指標體系的建立過程中，該模塊提供的初始指標體系構建方法包括專家法、德爾菲法等，其建立過程常常包含許多不確定性、隨機性和模糊性，其指標的多少、層次的多寡更包含著大量的主觀因素。並且評估指標體系當中指標過多、體系複雜也給在役考核的評估過程帶來很大的負擔。因此需要對於初步建立的指標體系進行優化，對於不同因素對指標的影響程度進行分析，從指標變量的個數和組合方式兩個角度實現指標體系的優化。在「能力驗證與評估指標體系設計管理模塊」中設置了指標優化功能，所使用的分析方法包括但不局限於極差分析法、極大不相關法、方差分析法、灰色關聯分析和專家諮詢法等。
[0044]
對於完成初步構建以及優化的指標體系來說，要想全面反映總體狀況，就要將這些指標綜合起來考慮，涉及各評估指標的相互重要程度，即指標的權重，也就是指標對評估對象的作用。因此在指標體系確定後，必須對各個指標賦予不同的權重。合理確定權重對評估或決策有著重要意義。「在役考核能力驗證與評估系統」當中設置了評估指標體系賦權方法確定模塊，該模塊提供並支持的賦權算法包括層次分析法、網絡層次分析法、環比係數法、熵權法等。為了幫助在役考核評估主體更快更好地構建在役考核評估指標體系，在本模塊中預置了航空裝備通用評估指標體系案例指導，為指標體系構建者提供指導，幫助評估者構建合理適用的評估指標體系。
[0045]
具備評估指標數據預處理及異常數據剔除功能的數據預處理模塊，所能夠進行預處理的數據類型包括效益型、成本型、偏離型和區間型評估指標數據。「在役考核能力驗證與評估系統」具備在役考核數據預處理功能。該模塊完成指標數據類型判斷，即將評估指標數據區分為效益型、成本型、偏離型和區間型評估指標。在區分不同類型指標的基礎上對指標數據進行無量綱化處理，提供的定量指標數據的無量綱化方法包括閾值法、z-score法、比重法等；定性指標的定量化處理方法包括專家直接打分法和量化標尺法；指標歸一化功能，即將不同數量級的指標數值均變換到[0，1]區間上，便於採用各種方法進行評估，在數據評估過程中，由於數據採集操作錯誤或者數據預處理過程中的錯誤導致可能得到錯誤的評估指標數據，即異常數據。所以在考核評估之前需要對異常數據進行剔除，「在役考核能力驗證與評估系統」提供的異常數據剔除準則包括萊伊達準則、肖維納準則、格布拉斯準則等。
[0046]
評估方法選擇模塊所提供算法包括模糊綜合評判法、灰色關聯分析、tops i s法、數據包絡法、主成分分析法、極差分析法、方差分析、因子分析、支持向量機、環比係數法、
adc法、sea法、數據一致性分析、平滑濾波法、窗譜分析法、最大熵分析、一元擬合法、點估計、單總體區間估計、兩個總體區間估計、單總體假設檢驗、兩個總體假設檢驗、偏度和峰度檢驗以及正態型檢驗。
[0047]
根據不同的指標數據選擇合理的評估方法及模型並確定評估方案，是實現合理評估以及充分發揮裝備在役考核作用的關鍵環節。因此，「在役考核能力驗證與評估系統」設置了「能力驗證與評估算法管理模塊」。支持並提供的評估算法包括模糊綜合評判法、灰色關聯分析、tops i s法、數據包絡法、主成分分析法、極差分析法、方差分析、因子分析、支持向量機、環比係數法、adc法、sea法、數據一致性分析、平滑濾波法、窗譜分析法、最大熵分析、一元擬合法、點估計、單總體區間估計、兩個總體區間估計、單總體假設檢驗、兩個總體假設檢驗、偏度和峰度檢驗、正態型檢驗等常見的評估分析方法，並提供算法嚮導，方便用戶使用各類算法進行計算。
[0048]
為了幫助在役考核評估主體更加合理地選擇評估方法，進而確定實用的評估方案，本平臺預置多種航空裝備在役考核能力驗證與評估算法，包括航空裝備的可用性、兼容性、可運輸性、互操作性、可靠性、戰時使用率、可維修性、安全性、人的因素、可居住性、人力、後勤可保障性、自然環境效果與影響等評估算法，以及訓練能力、綜合保障能力、信息管理能力、人員需求、經濟承受性、裝備壽命等評估算法。
[0049]
自定義方法接口便於用戶根據需求設置自定義算法。
[0050]
為了滿足不同的評估需求，面向不斷進步及發展的在役考核評估需求，「在役考核能力驗證與評估系統」除了上述預先設置的數據處理、指標體系構建、權重確定及評估算法，預留了評估方法及權重確定算法的自定義方法接口，方便用戶根據需求設置自定義算法，比如採用現有的數據挖掘工具對預處理過的指標數據進行分析，發現裝備生命周期內在規律與聯繫，找到隱含的知識、規律和模式。在指標體系構建及權重確定過程中，也可以利用預留的自定義方法接口，選擇更加先進的指標構建及賦權方法。如，在考核指標設計方面，開發並使用關聯規則、分類、聚類分析等算法，與傳統的專家打分等方式相比，指標的冗餘度較低，更具有客觀性和可操作性。指標權重分配方面可以選擇神經網絡、分層聚類、集成聚類等賦權聚類的自優化功能，真正用數據「說話」，減少了專家打分、ahp等方法確定權重時，主觀判斷性噪音、過擬合等缺點。
[0051]
指標權重確定模塊用來幫助確定指標的權重，它幫助反映了評估指標的相互重要程度，該模塊提供並支持的賦權算法包括層次分析法、網絡層次分析法、環比係數法、熵權法等。
[0052]
數據評估分析模塊，在完成了前述的提出考核問題、指標體系構建、數據需求提出、採集方案確定、數據預處理、評估方法選擇、指標權重確定等步驟後，基於歷史數據和現場採集數據，在試驗評估機構的主導下，完成對於評估指標數據的評估與分析，產生結構性數據，得到面向能力的裝備試驗評估結果。
[0053]
評估結果綜合顯示模塊展示樣式包括表格、交叉表、文字、圖片、柱圖、線圖、餅圖、雷達圖、散點圖以及面積圖；管理模塊用於對評估任務、評估數據、評估方案的管理功能；案例庫功能用於幫助評估用戶熟悉在役考核評估流程及方法。
[0054]
評估結果的顯示方法對於評估結果的應用有很大的影響，將直接影響評估主體利用評估結果的程度和範圍。因此採用適當的評估結果表示方法，不僅可以提高裝備在役考
核決策分析的效率，也能夠更好地展示評估結果。因此，「在役考核能力驗證與評估系統」設置了「評估結果綜合顯示模塊」。評估結果展示樣式包括表格、交叉表、文字、圖片、柱圖、線圖、餅圖、雷達圖、散點圖、面積圖等常見形式，並通過預留接口實現數據挖掘得到的知識的合理展示。
[0055]
評估任務管理模塊支持同時建立及管理不少於100個任務；評估數據管理模塊支持文本文件、exce l、xml、sql server、orac l e、mysql以及國產資料庫等多種來源的數據，支持進行管理與預處理的數據包括飛行參數記錄數據、任務數據、仿真數據和業務系統數據等；評估方案管理模塊支持管理的能力驗證與評估方案數量大於等於500個。
[0056]
為了更好提支持評估主體完成在役考核評估任務，「在役考核能力驗證與評估系統」可內置多個航空裝備效能評估案例，包括航空裝備的作戰效能評估、保障效能評估、適用性評估等方面的案例及評估指導，為幫助評估用戶熟悉在役考核評估流程及方法，順利完成考核評估任務提供幫助。
[0057]
綜上所述：本發明提供的在役考核能力驗證與評估系統，是一套針對被試裝備相關試驗數據進行分析處理以及對評估任務進行管理的數據分析處理軟體平臺，裝備在役考核作為全新的裝備試驗類型，是我軍試驗鑑定新體系3個環路中，「在役考核-改進升級」環路中的關鍵。在役考核是在裝備列裝服役後，為檢驗裝備滿足部隊作戰使用與保障要求的程度所進行的持續性試驗鑑定活動。它即不同於我軍傳統的部隊試用，也不同於外軍的後續作戰試驗鑑定。本發明通過為在役考核工作提供，起到全程輔助作用的「在役考核能力試驗與評估系統」，為在役考核試驗評估數據所需的，數據需求分析、採集方案設計、評估方案設計、評估執行和結果可視化展示，提供全流程解決方案，幫助解決裝備「是否好用」的評估問題，起到不斷提高裝備效能及適配性的作用。
[0058]
需要說明的是，在本文中，諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且，術語「包括」、「包含」或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。
[0059]
儘管已經示出和描述了本發明的實施例，對於本領域的普通技術人員而言，可以理解在不脫離本發明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發明的範圍由所附權利要求及其等同物限定。