一種多態路由派生方法及系統的製作方法

2023-05-31 20:14:41

一種多態路由派生方法及系統的製作方法
【專利摘要】本發明公開了一種多態路由派生方法及系統，該方法包括：對路由服務需求進行規範和描述，得到路由服務需求描述，根據路由服務需求描述，建立馬爾科夫決策過程模型，其中每個決策階段對應多態路由派生過程中基本路由功能單元的選擇決策，然後求解馬爾科夫決策過程模型，得到多態路由派生策略，根據多態路由派生策略組合基本路由功能單元，得到多態路由協議。本發明的方法實現了對不同的路由服務需求按照不同的路由派生策略，提供不同的路由協議，滿足了多樣化業務對網路路由功能的要求。
【專利說明】—種多態路由派生方法及系統
【技術領域】
[0001]本申請涉及計算機網絡【技術領域】，更具體地說，涉及一種多態路由派生方法及系統。
【背景技術】
[0002]隨著IP網絡業務形態的不斷豐富，業務對網絡的需求也變得越來越多樣化。而IP網絡的服務能力卻是有限和確定的，這就直接導致了業務需求與網絡固有能力之間的差距日益擴大，最終將使得網絡難以支持多樣化的業務。同時，信息網絡所依賴的基礎互聯傳輸和路由結構過於簡單，且長期不變。大量實踐已經證明，現有的信息基礎網絡路由結構難以滿足多樣化業務對網絡的高等級需求。
[0003]因此，現有技術缺乏一種方案，來解決現有路由結構過於簡單而造成的無法滿足多樣化業務的需求的問題。

【發明內容】

[0004]有鑑於此，本申請提供了一種多態路由派生方法及系統，用於解決現有的路由結構過於簡單而造成的無法滿足多樣化業務需求的問題。
[0005]為了實現上述目的，現提出的方案如下:
[0006]一種多態路由派生方法，包括:
[0007]對路由服務需求進行規範和描述，得到路由服務需求描述；
[0008]根據所述路由服務需求描述，建立馬爾科夫決策過程模型，其中每個決策階段對應多態路由派生過程中基本路由功能單元的選擇決策；
[0009]求解所述馬爾科夫決策過程模型，得到多態路由派生策略；
[0010]根據所述多態路由派生策略組合基本路由功能單元,得到多態路由協議。
[0011 ] 優選地，所述對路由服務需求進行規範和描述，得到路由服務需求描述，包括:
[0012]將路由服務需求劃分為由安全服務描述、性能服務描述和功能服務描述組成的路由服務需求描述，其中:
[0013]所述安全服務描述包括安全等級和安全種類；
[0014]所述性能服務描述包括優先級要求、帶寬要求、時延要求和丟包要求；
[0015]所述功能服務描述包括通信模式、路由類型、路由標識和通信主體。
[0016]優選地，所述根據所述路由服務需求描述，建立馬爾科夫決策過程模型，包括:
[0017]定義系統狀態:
[0018]系統狀態s定義為路由基本功能單元類；
[0019]定義系統的狀態空間:
[0020]路由基本功能單元類的集合構成系統的狀態空間S = {s1; s2, S3***, sm}；
[0021]定義系統的動作空間:
[0022]動作空間A(S)是當前狀態所對應的路由基本功能單元類所有基本路由功能單元的集合；
[0023]定義轉移概率:
[0024]定義匹配度，匹配度MD表示所選擇的路由基本功能單元與路由服務描述的匹配程度，轉移概率為所選擇的路由基本功能單元的匹配度與當前狀態所對應的類中所有基本路由功能單元的匹配度總和之比，在系統所處的狀態為Sn，轉移概率p(sn+1|sn，a)表示執行動作a (Sn)到達狀態sn+1的概率；
[0025]定義獎賞函數:
[0026]獎賞函數Hs，a)表示在狀態s時執行動作a獲得的獎勵，獎賞函數r(s，a)定義為:
[0027]r(s, a) = ω 丄.fs (s, a) + ω2.fp(s, a) + co3.fo(s, a),其中 fs(s, a)、fp(s, a)和f0(s, a)分別表示安全利益函數、性能利益函數和功能利益函數，W1, W2和W3分別表示權重因子。
[0028]優選地，所述求解所述馬爾科夫決策過程模型，得到多態路由派生策略，包括:
[0029]使用增強學習方法求解所述馬爾科夫決策過程模型，得到多態路由派生策略。
[0030]優選地，所述增強學習方法為:
[0031]步驟S1、初始化Q學習矩陣；
[0032]步驟S2、設置學習周期；
[0033]步驟S3、設置初始狀態S。和終止狀態Sr ；
[0034]步驟S4、基於貪婪策略，從動作空間A(S)中選擇並執行相應的動作a(S)；
[0035]步驟35、根據0矩陣的定義
【權利要求】
1.一種多態路由派生方法，其特徵在於，包括: 對路由服務需求進行規範和描述，得到路由服務需求描述； 根據所述路由服務需求描述，建立馬爾科夫決策過程模型，其中每個決策階段對應多態路由派生過程中基本路由功能單元的選擇決策； 求解所述馬爾科夫決策過程模型，得到多態路由派生策略； 根據所述多態路由派生策略組合基本路由功能單元，得到多態路由協議。
2.根據權利要求1所述的多態路由派生方法，其特徵在於，所述對路由服務需求進行規範和描述，得到路由服務需求描述，包括: 將路由服務需求劃分為由安全服務描述、性能服務描述和功能服務描述組成的路由服務需求描述，其中: 所述安全服務描述包括安全等級和安全種類； 所述性能服務描述包括優先級要求、帶寬要求、時延要求和丟包要求； 所述功能服務描述包括通信模式、路由類型、路由標識和通信主體。
3.根據權利要求1所述的多態路由派生方法，其特徵在於，所述根據所述路由服務需求描述，建立馬爾科夫決策過程模型，包括: 定乂系統狀態: 系統狀態s定義為路由基本功能單兀類； 定義系統的狀態空間: 路由基本功能單元類的集合構成系統的狀態空間S = {s1; s2, S3***, sm}； 定義系統的動作空間: 動作空間A(S)是當前狀態所對應的路由基本功能單元類所有基本路由功能單元的集合； 定義轉移概率: 定義匹配度，匹配度MD表示所選擇的路由基本功能單元與路由服務描述的匹配程度，轉移概率為所選擇的路由基本功能單元的匹配度與當前狀態所對應的類中所有基本路由功能單元的匹配度總和之比，在系統所處的狀態為Sn，轉移概率p(sn+1|sn，a)表示執行動作a (Sn)到達狀態sn+1的概率； 定義獎賞函數: 獎賞函數Hs，a)表示在狀態s時執行動作a獲得的獎勵，獎賞函數r(s，a)定義為: r(s,a) = ω1.fs(s, a) + ^2.fp(s, α) + ω3其中 fs (s, a) > fp (s, a)和 f0(s, a)分別表示安全利益函數、性能利益函數和功能利益函數，W1^w2和W3分別表示權重因子。
4.根據權利要求3所述的多態路由派生方法，其特徵在於，所述求解所述馬爾科夫決策過程模型，得到多態路由派生策略，包括: 使用增強學習方法求解所述馬爾科夫決策過程模型，得到多態路由派生策略。
5.根據權利要求4所述的多態路由派生方法，其特徵在於，所述增強學習方法為: 步驟S1、初始化Q學習矩陣； 步驟S2、設置學習周期； 步驟S3、設置初始狀態Stl和終止狀態； 步驟S4、基於貪婪策略，從動作空間A(S)中選擇並執行相應的動作a(s)；步驟S5、根據Q矩陣的定義％，《) =小，^ +更新Q矩陣；




s'eS 步驟S6、更新當前狀態，判斷當前狀態是否為終止狀態如果是，執行步驟S7，否則執行步驟S4 ； 步驟S7、判斷是否達到設定的學習周期數，如果達到，則執行步驟S8，否則執行步驟S3 ； 步驟S8、輸出多態路由派生策略。
6.一種多態路由派生系統，其特徵在於，包括: 規範描述單元，用於對路由服務需求進行規範和描述，得到路由服務需求描述； 模型建立單元，用於根據所述路由服務需求描述，建立馬爾科夫決策過程模型，其中每個決策階段對應多態路由派生過程中基本路由功能單元的選擇決策； 模型求解單元，用於求解所 述馬爾科夫決策過程模型，得到多態路由派生策略； 組合單元，用於根據所述多態路由派生策略組合基本路由功能單元，得到多態路由協議。
7.根據權利要求6所述的多態路由派生系統，其特徵在於，所述規範描述單元包括劃分單元，用於將路由服務需求劃分為由安全服務描述、性能服務描述和功能服務描述組成的路由服務需求描述，其中: 所述安全服務描述包括安全等級和安全種類； 所述性能服務描述包括優先級要求、帶寬要求、時延要求和丟包要求； 所述功能服務描述包括通信模式、路由類型、路由標識和通信主體。
8.根據權利要求6所述的多態路由派生系統，其特徵在於，所述模型建立單元包括: 系統狀態定義單元，用於定義系統狀態，系統狀態s定義為路由基本功能單元類； 狀態空間定義單元，用於定義系統的狀態空間:路由基本功能單元類的集合構成系統的狀態空間 S = (S1, s2, S3***, sm}； 動作空間定義單元，用於定義系統的動作空間:動作空間A(S)是當前狀態所對應的路由基本功能單元類所有基本路由功能單元的集合； 轉移概率定義單元，用於定義轉移概率:定義匹配度，匹配度MD表示所選擇的路由基本功能單元與路由服務描述的匹配程度，轉移概率為所選擇的路由基本功能單元的匹配度與當前狀態所對應的類中所有基本路由功能單元的匹配度總和之比，在系統所處的狀態為Sn,轉移概率P (sn+11 sn, a)表示執行動作a (sn)到達狀態sn+1的概率； 獎賞函數定義單元，用於定義獎賞函數:獎賞函數r (s，a)表示在狀態s時執行動作a獲得的獎勵，獎賞函數Hs，a)定義為:
r (s, a) = CO1.fs(s, a) + co2.fp(s, a) + ω3.f0(s, a),其中 fs(s, a)、fp(s, a)和 f0(s, a)分別表示安全利益函數、性能利益函數和功能利益函數，W1^w2和W3分別表示權重因子。
9.根據權利要求8所述的多態路由派生系統，其特徵在於，所述模型求解單元包括: 增強學習子單元，用於使用增強學習方法求解所述馬爾科夫決策過程模型，得到多態路由派生策略。
10.根據權利要求9所述的多態路由派生系統，其特徵在於，所述增強學習子單元包括:初始化單元，用於初始化Q學習矩陣； 第一設置單元，用於設置學習周期； 第二設置單元，用於設置初始化狀態Stl和終止狀態& ； 動作執行單元，用於基於貪婪策略，從動作空間A(S)中選擇並執行相應的動作a(S)； Q矩陣更新單元，用於根據Q矩陣的定義= +更新Q矩






s eS陣； 狀態更新單元，用於更新當前狀態，並判斷當前狀態是否為終止狀態Sp在判斷結果為非終止狀態時，返回所述動作執行單元； 學習周期判斷單元，用於在所述狀態更新單元判斷當前狀態為終止狀態時，判斷是否達到設定的學習周期數，在判斷結果為未達到設定的學習周期數時，返回所述第二設置單元; 輸出單元，用於在所述學習周期判斷單元判斷達到設定的學習周期數時，輸出多態路由派生策略。
【文檔編號】G06F12/08GK104035889SQ201410272550
【公開日】2014年9月10日 申請日期:2014年6月18日 優先權日:2014年6月18日
【發明者】伊鵬, 胡宇翔, 王鵬, 申涓, 張巖, 於婧, 趙靚, 卜佑軍 申請人:中國人民解放軍信息工程大學