一種基於多智能體強化學習的數據安全防禦系統的製作方法
2024-04-16 17:29:05
1.本發明涉及強化學習技術領域，尤其涉及一種基於多智能體強化學習的數據安全防禦系統。
背景技術：
2.近年來，多智能體系統的協同控制被廣泛應用民用和國防等領域。網絡化的多智能體系統在帶來便利的同時，具有被惡意攻擊的潛在風險。
3.目前，由於多智能體系統與一般系統相比具有更大的規模、更加複雜的網絡結構和通信協議，並且系統中各智能體之間相互作用，一旦某些通信鏈路或者關鍵設備遭到惡意攻擊，整個系統的安全運行將受到嚴重的影響。相比傳統的信息系統安全主要關注如何保護信息本身的安全性、機密性、完整性，多智能體系統安全還必須同時考慮信息空間和物理空間中的惡意攻擊對多智能系統性能的影響，這對其安全性研究帶來巨大挑戰。目前多智能體系統的安全理論與技術研究已經成為安全控制領域發展與應用亟待解決的重要研究課題。
4.現階段多智能體強化學習的安全防禦模型針對訓練階段的數據中毒攻擊防禦手段較少，缺少一種聯合多智能體強化學習安全主客體共同參與的中毒防禦方法。
技術實現要素：
5.本發明提供一種基於多智能體強化學習的數據安全防禦系統，用以解決現有技術中缺少針對訓練階段的數據中毒攻擊防禦手段的缺陷，通過從多智能體強化學習訓練階段的數據獲取、系統交互、算法學習等多方面角度出發，設計相應的數據中毒攻擊過濾模塊、系統協同防禦模塊、交互獎勵置信模塊，可以避免或緩解多智能體系統強化學習可能出現的數據中毒攻擊問題。
6.本發明提供一種基於多智能體強化學習的數據安全防禦系統，包括依次連接的數據中毒攻擊過濾模塊、協同防禦模塊以及交互獎勵置信模塊；
7.其中，所述數據中毒攻擊過濾模塊設置於所述系統的傳感器端，所述數據中毒攻擊過濾模塊的接收端與若干個鄰居智能體連接，接收每個鄰居智能體感知的狀態數據，通過基於對抗訓練方法預訓練的中毒攻擊過濾網絡對所述狀態數據中產生的狀態擾動攻擊進行過濾；
8.所述協同防禦模塊設置於所述系統的控制器端，所述協同防禦模塊接收過濾後的狀態數據，對過濾後的狀態數據進行一致性分析，並調整多個鄰居智能體的通信協作策略；
9.所述交互獎勵置信模塊設置於所述系統的執行器端，獲取多智能體強化學習訓練過程中每個智能體分配的值函數，針對智能體在訓練過程中對相互之間的貢獻存在的置信中毒攻擊，為每個智能體的獎勵添加置信控制函數，輸出多智能體之間交互獎勵的置信度。
10.根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述數據中毒攻擊過濾模塊包括對抗訓練擾動樣本生成模塊與中毒數據過濾網絡訓練模塊；
11.其中，所述對抗訓練擾動樣本生成模塊用於在多智能體強化學習訓練過程之前預設若干包含噪聲因素的對抗訓練擾動樣本；
12.所述中毒數據過濾網絡模型訓練，根據對抗訓練樣本特徵設計過濾網絡結構並設置過濾網絡參數，基於訓練樣本進行中毒數據過濾網絡的訓練。
13.根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述基於對抗訓練方法預訓練的中毒攻擊過濾網絡的訓練方法包括：
14.在多智能體強化學習的訓練過程之前，預設若干個包含噪聲因素的對抗訓練擾動樣本δ
t
；
15.基於對抗訓練樣本δ
t
進行中毒攻擊過濾網絡的訓練；
16.在多智能體強化學習訓練時，將中毒攻擊過濾網絡接入多智能體的傳感器端，對傳感器感知的環境狀態數據進行過濾。
17.根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述協同防禦模塊包括安全一致性分析子模塊、拓撲切換控制子模塊、信道切換控制子模塊與監督控制子模塊；
18.其中，所述安全一致性分析子模塊根據安全一致性分析算法對當前多智能體的狀態數據進行檢測與分析，為多智能體的通信拓撲切換以及通信信道切換提供調整策略；
19.所述拓撲切換控制子模塊用於提供在中毒攻擊下的多智能體通信拓撲切換方式；
20.所述信道切換控制子模塊用於在中毒攻擊下的多智能體通信需求優化、信道開關觸發與信道選擇匹配；
21.所述監督控制子模塊用於在中毒攻擊下對多智能體的行為異常進行監控，運行監督驗證器判斷多智能體的行為是否違反預期約束，根據補償器對多智能體策略行為進行補償。
22.根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述信道切換控制子模塊用於在中毒攻擊下進行通信策略優化與通信信道選擇；
23.其中，通信策略優化包括：建立優化任務目標；多個智能體通過學習算法根據當前的狀態信息判斷發送信息的時間、發送信息的種類、發送信息的內容以及接收信息的目標智能體；
24.所述通信信道選擇包括：基於信道模型獲取不同攻擊狀態下的通信信道衰減率，獲取各個信道對應的等效衰減率，選取等效衰減率最低的信道。
25.根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述置信控制函數以最大化全局獎勵值作為生成單個多智能體獎勵值的最終優化目標，當交互獎勵的變化趨勢與全局獎勵的變化趨勢相反時，降低交互獎勵的置信度，反之則提高交互獎勵的置信度。
26.根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述置信控制函數的生成步驟包括：
27.在強化學習開始前，通過模擬預測的方式評估智能體之間、智能體對全局的影響，並以此生成初始價值分配方案：
[0028][0029]
在強化學習開始時，基於多個智能體對整體的價值q
tol
以及每個智能體的價值qj的影響輸出價值分配權值：
[0030][0031]
所述置信控制函數根據權值的變化為獎勵分配權值生成置信度γ，當交互獎勵的變化趨勢與全局獎勵的變化方向相反時，降低交互獎勵的置信度，反之則提高交互獎勵的置信度，即第k次強化學習迭代過程的獎勵分配權值置信度為：
[0032][0033]
其中，ωn表示值函數分解網絡為智能體n分配的獎勵權值；q
tol
表示多智能體強化學習在環境中反饋的整體獎勵。
[0034]
另一方面，一種基於所述多智能體強化學習的數據安全防禦系統的數據安全防禦方法，包括：
[0035]
通過所述數據中毒攻擊過濾模塊過濾多個鄰居智能體的產生的狀態擾動攻擊；
[0036]
通過所述協同防禦模塊接收過濾後的狀態數據，對過濾後的狀態數據進行一致性分析，並調整多個鄰居智能體的通信協作策略；
[0037]
通過所述交互獎勵置信模塊獲取多智能體強化學習訓練過程中每個智能體分配的值函數，針對智能體在訓練過程中對相互之間的貢獻存在的置信中毒攻擊，為每個智能體的獎勵添加置信控制函數，輸出多智能體之間交互獎勵的置信度。
[0038]
本發明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上並可在處理器上運行的電腦程式，所述處理器執行所述程序時實現如上述所述數據安全防禦方法的步驟。
[0039]
本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現如上述所述數據安全防禦方法的步驟。
[0040]
本發明提供的一種基於多智能體強化學習的數據安全防禦系統，至少具有如下的技術效果，包括：
[0041]
(1)針對多智能體強化學習訓練數據容易受到的狀態擾動攻擊，在傳感器端基於對抗訓練的方法訓練一種能夠消除對抗擾動的中毒攻擊過濾網絡，對狀態擾動攻擊產生的很難察覺的擾動進行過濾；
[0042]
(2)針對可能存在的通信攻擊和惡意節點攻擊，設計多智能體系統協同交互安全防禦模塊，提高多智能體系統在協作控制與通信機制上的安全性能；
[0043]
(3)為每個智能體的獎勵添加置信控制函數，使智能體在學習過程中不斷明確自身動作的貢獻，以及貢獻的置信程度；
[0044]
(4)針對多智能體強化學習系統在訓練階段可能出現的多方面安全漏洞，通過多智能體組成中不同類型、不同側重點的安全參與者的連接和協同，高效的完成全局安全目標下的複雜防禦任務。
附圖說明
[0045]
為了更清楚地說明本發明或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一
些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0046]
圖1是本發明提供的基於多智能體強化學習的數據安全防禦系統的結構示意圖；
[0047]
圖2是本發明實施例提供的中毒攻擊過濾網絡的結構示意圖；
[0048]
圖3是本發明實施例提供的安全一致性分析子模塊的流程示意圖；
[0049]
圖4是本發明實施例提供的信道切換控制子模塊的原理示意圖；
[0050]
圖5是本發明實施例提供的交互獎勵置信模塊的原理示意圖。
具體實施方式
[0051]
為使本發明的目的、技術方案和優點更加清楚，下面將結合本發明中的附圖，對本發明中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0052]
本技術的說明書和權利要求書及上述附圖中的術語「包括」和「具有」以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或模塊的過程、方法、系統、產品或設備沒有限定於已列出的步驟或模塊，而是可選地還包括沒有列出的步驟或模塊，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或模塊。
[0053]
需要說明的是，本發明涉及的術語「第一\第二」僅僅是區別類似的對象，不代表針對對象的特定排序，可以理解地，「第一\第二」在允許的情況下可以互換特定的順序或先後次序。應該理解「第一\第二」區分的對象在適當情況下可以互換，以使這裡描述的本發明的實施例能夠以除了在這裡描述或圖示的那些以外的順序實施。
[0054]
在一個實施例中，如圖1所示，本發明提供的一種基於多智能體強化學習的數據安全防禦系統，包括依次連接的數據中毒攻擊過濾模塊、協同防禦模塊以及交互獎勵置信模塊；
[0055]
其中，所述數據中毒攻擊過濾模塊設置於所述系統的傳感器端，所述數據中毒攻擊過濾模塊的接收端與若干個鄰居智能體連接，接收每個鄰居智能體感知的狀態數據，通過基於對抗訓練方法預訓練的中毒攻擊過濾網絡對所述狀態數據中產生的狀態擾動攻擊進行過濾；
[0056]
所述協同防禦模塊設置於所述系統的控制器端，所述協同防禦模塊接收過濾後的狀態數據，對過濾後的狀態數據進行一致性分析，並調整多個鄰居智能體的通信協作策略；
[0057]
所述交互獎勵置信模塊設置於所述系統的執行器端，獲取多智能體強化學習訓練過程中每個智能體分配的值函數，針對智能體在訓練過程中對相互之間的貢獻存在的置信中毒攻擊，為每個智能體的獎勵添加置信控制函數，輸出多智能體之間交互獎勵的置信度。
[0058]
需要說明的是，本發明提供的一種基於多智能體強化學習的數據安全防禦系統的應用場景為解決多智能體強化學習系統在訓練階段的安全隱患，具體表現為：多智能體系統內部的各個智能體之間通過相互通信、合作等方式與其他智能體通過網絡進行數據傳輸，協調彼此的任務，在這個協同通信過程中，多智能體系統協同開放的環境帶來了多種不同方面的安全隱患；如在智能體訓練過程中存在的種種通信行為導致的多種方式的通信消息中毒攻擊；在智能體對狀態價值的不斷探索過程中，由於其他智能體的動作會對該智能
體感知的協作狀態產生影響，因此惡意鄰居智能體可以通過無效甚至反協作的動作來使智能體感知的狀態數據受到中毒攻擊。
[0059]
如圖2所示，在多智能體系統傳感器上增添中毒數據過濾模塊，通過中毒數據過濾網絡對感知的狀態數據進行中毒擾動過濾，所述數據中毒攻擊過濾模塊包括對抗訓練擾動樣本生成模塊與中毒數據過濾網絡訓練模塊；
[0060]
其中，所述對抗訓練擾動樣本生成模塊用於在多智能體強化學習訓練過程之前預設若干包含噪聲因素的對抗訓練擾動樣本；
[0061]
所述中毒數據過濾網絡模型訓練，根據對抗訓練樣本特徵設計過濾網絡結構並設置過濾網絡參數，基於訓練樣本進行中毒數據過濾網絡的訓練。
[0062]
具體的，根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，在多智能體強化學習的訓練過程中，當強化學習模型遭受中毒攻擊時，系統中的個體智能體傳感器進行狀態感知的過程可能受到環境狀態數據中毒攻擊的影響，使得智能體觀察到的不是真實的環境狀態，而是包含噪聲因素的小殘差δ_t擾動狀態，表示為s_t^
′
＝s_t+δ_t。智能體在精心設計的擾動狀態下進行強化學習的探索學習與動作價值更新會受到一定程度上的扭曲或幹擾，導致訓練得到的動作值函數在非擾動執行階段效果不佳。針對這種在訓練階段難以察覺的狀態擾動攻擊δ_t，在傳感器端基於對抗訓練的方法設計一種能夠消除對抗擾動的中毒攻擊過濾網絡，對狀態擾動攻擊產生的很難察覺的小擾動進行過濾，其中，所述基於對抗訓練方法預訓練的中毒攻擊過濾網絡的訓練方法包括：
[0063]
在多智能體強化學習的訓練過程之前，預設若干個包含噪聲因素的對抗訓練擾動樣本δ
t
；
[0064]
基於對抗訓練樣本δ
t
進行中毒攻擊過濾網絡的訓練；
[0065]
在多智能體強化學習訓練時，將中毒攻擊過濾網絡接入多智能體的傳感器端，對傳感器感知的環境狀態數據進行過濾；
[0066]
通過對抗訓練的攻擊過濾方法，可以減少個體智能體在策略的學習訓練過程中受到狀態數據中毒攻擊造成的影響，改善智能體對環境狀態的感知程度，提高智能體強化學習值函數的動作選擇準確率，增強強化學習模型對加入樣本擾動類型和隨機噪聲的魯棒性能。
[0067]
根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述協同防禦模塊包括安全一致性分析子模塊、拓撲切換控制子模塊、信道切換控制子模塊與監督控制子模塊；
[0068]
其中，如圖3所示，所述安全一致性分析子模塊根據安全一致性分析算法對當前多智能體的狀態數據進行檢測與分析，為多智能體的通信拓撲切換以及通信信道切換提供調整策略；
[0069]
所述拓撲切換控制子模塊用於提供在中毒攻擊下的多智能體通信拓撲切換方式；
[0070]
所述信道切換控制子模塊用於在中毒攻擊下的多智能體通信需求優化、信道開關觸發與信道選擇匹配；
[0071]
所述監督控制子模塊用於在中毒攻擊下對多智能體的行為異常進行監控，運行監督驗證器判斷多智能體的行為是否違反預期約束，根據補償器對多智能體策略行為進行補償。
[0072]
根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，如圖4所示，所述信道切換控制子模塊用於在中毒攻擊下進行通信策略優化與通信信道選擇；
[0073]
其中，通信策略優化包括：建立優化任務目標；多個智能體通過學習算法根據當前的狀態信息判斷發送信息的時間、發送信息的種類、發送信息的內容以及接收信息的目標智能體；
[0074]
具體的，在多智能體系統受到惡意攻擊的情況下，其應對策略的設計是由安全一致性分析算法實現的。
[0075]
通過對當前系統狀態的檢測與分析，為多智能體系統的通信拓撲切換以及通信信道切換提供一致有效的調整策略，安全一致性分析算法按照防禦類型可以分為兩類：分別是檢測類安全一致性算法和容忍類安全一致性算法，具體而言：
[0076]
攻擊檢測類安全一致性算法對智能體系統中的各節點進行排序檢測，通過算法來將惡意節點或惡意智能體進行排除；然後重新統計剩餘的安全節點，在控制協議的基礎上利用安全節點集合抵禦惡意節點攻擊，使多智能體系統自身狀態維持在安全範圍內，最終使多智能體達到安全一致性。設計一個基於觀測器的分布式控制策略，根據對智能體鄰接元素的觀測形成反饋控制增益矩陣，使得智能體成員跟隨者能夠在部分通信鏈路受限的情況跟蹤到領導者，在一定的條件下實現領導-跟隨安全一致性控制。
[0077]
容忍類安全一致性算法無需檢測出惡意節點，當惡意攻擊隱藏性較強或檢測代價較高時，多智能體可以忍受系統中存在惡意節點。通過增加額外節點或在安全一致性協議中加入約束條件，提高多智能體系統網絡的連通度；通過消減極端節點，保證餘下的在參與節點自身更新的時候其狀態不被極值過度影響，確保處於一個安全範圍內。
[0078]
所述通信信道選擇包括：基於信道模型獲取不同攻擊狀態下的通信信道衰減率，獲取各個信道對應的等效衰減率，選取等效衰減率最低的信道。
[0079]
根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，圖5所示為本發明實施例提供的交互獎勵置信模塊示意圖，圖中非線性網絡是常見的多智能體強化學習算法所使用的值函數分解網絡，每個智能體分配的值函數是基於該非線性網絡的。由於數據中毒攻擊的存在，網絡中基於其他智能體的交互評價是不置信的；智能體在非線性網絡中的獎勵分配權值分別描述了當前動作ai對整體價值q
tol
以及其他智能體價值qj的影響。當惡意智能體給予較低價值動作以較高的交互獎勵時，隨著策略的不斷更新，智能體的值函數將受到影響甚至受到控制；
[0080]
因此，為生成不影響策略學習的個體評價，將最大化全局獎勵值作為生成個體獎勵值的最終優化目標，同時引入能夠反映智能體自身動作對其餘智能體的影響程度的置信評價。
[0081]
所述置信控制函數以最大化全局獎勵值作為生成單個多智能體獎勵值的最終優化目標，當交互獎勵的變化趨勢與全局獎勵的變化趨勢相反時，降低交互獎勵的置信度，反之則提高交互獎勵的置信度。
[0082]
根據本發明提供的一種基於多智能體強化學習的數據安全防禦系統，所述置信控制函數的生成步驟包括：
[0083]
在強化學習開始前，通過模擬預測的方式評估智能體之間、智能體對全局的影響，
並以此生成初始價值分配方案：
[0084][0085]
在強化學習開始時，基於多個智能體對整體的價值q
tol
以及每個智能體的價值qj的影響輸出價值分配權值：
[0086][0087]
所述置信控制函數根據權值的變化為獎勵分配權值生成置信度γ，當交互獎勵的變化趨勢與全局獎勵的變化方向相反時，降低交互獎勵的置信度，反之則提高交互獎勵的置信度，即第k次強化學習迭代過程的獎勵分配權值置信度為：
[0088][0089]
其中，ωn表示值函數分解網絡為智能體n分配的獎勵權值；q
tol
表示多智能體強化學習在環境中反饋的整體獎勵；
[0090]
通過這種方式，能夠使得其餘智能體在產生較好影響的時候獲得獎勵，使多智能體系統在學習過程中不斷明確智能體動作的貢獻，以及貢獻的置信程度。
[0091]
另一方面，一種基於所述多智能體強化學習的數據安全防禦系統的數據安全防禦方法，包括：
[0092]
通過所述數據中毒攻擊過濾模塊過濾多個鄰居智能體的產生的狀態擾動攻擊；
[0093]
通過所述協同防禦模塊接收過濾後的狀態數據，對過濾後的狀態數據進行一致性分析，並調整多個鄰居智能體的通信協作策略；
[0094]
通過所述交互獎勵置信模塊獲取多智能體強化學習訓練過程中每個智能體分配的值函數，針對智能體在訓練過程中對相互之間的貢獻存在的置信中毒攻擊，為每個智能體的獎勵添加置信控制函數，輸出多智能體之間交互獎勵的置信度。
[0095]
本發明還提供一種電子設備，該電子設備可以包括：處理器(processor)、通信接口(communications interface)、存儲器(memory)和通信總線，其中，處理器、通信接口、存儲器通過通信總線完成相互間的通信。處理器可以調用存儲器中的邏輯指令，以執行上述方法提供的基於所述多智能體強化學習的數據安全防禦系統的數據安全防禦方法的步驟。
[0096]
此外，上述的存儲器中的邏輯指令可以通過軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器(rom，read-only memory)、隨機存取存儲器(ram，random access memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0097]
另一方面，本發明還提供一種電腦程式產品，所述電腦程式產品包括存儲在非暫態計算機可讀存儲介質上的電腦程式，所述電腦程式包括程序指令，當所述程序指令被計算機執行時，計算機能夠執行上述方法提供的基於所述多智能體強化學習的數據安全防禦系統的數據安全防禦方法的步驟。
[0098]
又一方面，本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現以執行上述方法提供的基於所述多智能體強化學習的數據安全防禦系統的數據安全防禦方法的步驟。
[0099]
以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞動的情況下，即可以理解並實施。
[0100]
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體。基於這樣的理解，上述技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品可以存儲在計算機可讀存儲介質中，如rom/ram、磁碟、光碟等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行各個實施例或者實施例的某些部分所述的方法。
[0101]
最後應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。