基於drvb-asckf的svr參數優化方法
2023-05-30 18:22:01 1
基於drvb-asckf的svr參數優化方法
【專利摘要】本發明涉及一種基於DRVB-ASCKF的SVR參數優化方法，本發明大體包括三部分內容。第一部分根據實際支持向量回歸（SVR）的參數優化問題進行系統建模；第二部分簡述變分貝葉斯自適應平方容積卡爾曼濾波（VB-ASCKF)；第三部分結合VB-ASCKF引出雙重遞歸變分貝葉斯自適應卡爾曼濾波方法（DRVB-ASCKF），並最終求得狀態估計，估計誤差協方差，觀測噪聲協方差，過程噪聲協方差以及Inv-Gamma分布參數和。因此，可以將DRVB-ASCKF應用於SVR的參數優化中，該方法具有較高的濾波精度，同時它也可以處理噪聲方差的不確定問題。
【專利說明】基於DRVB-ASCKF的SVR參數優化方法
【技術領域】
[0001] 本發明屬於非線性系統的模式識別領域，特別涉及一種基於雙重遞歸變分貝葉斯 的自適應平方容積卡爾曼濾波（DRVB-ASCKF)方法。
【背景技術】
[0002] 支持向量回歸（SVR)是一類基於統計學理論和結構風險最小原則的機器學習算 法，可用於解決針對小樣本、非線性和高維參數的預測問題，因此它具有較好的泛化功能。 由於SVR的性能在很大程度上取決於系統參數的選擇，因此提高SVR模型性能的關鍵就在 於相關參數的優化。
[0003] 解決上述不確定參數優化問題的傳統方法是利用自適應濾波方法，其中模型參數 或噪聲統計特性可以與動態狀態一同估計獲得。變分貝葉斯（VB)可用於實現狀態和未知 觀測噪聲方差的同步估計。目前一種高精度的變分貝葉斯自適應卡爾曼濾波算法即通過VB 方法來近似狀態和觀測噪聲的聯合後驗分布，可通過因式分解自由分布形式來獲得狀態和 觀測噪聲協方差的次優同步估計，但是它只能應用於線性系統。隨後，變分貝葉斯自適應無 味卡爾曼濾波（VB-UKF)的引入解決了帶有未知觀測噪聲協方差的非線性估計問題。而後， 研究發現平方容積卡爾曼濾波（SCKF)較之於（UKF)具有較高的估計性能。因此，通過變分 貝葉斯自適應平方容積卡爾曼濾波（VB-ASCKF)來估計SVR參數可以獲得更高的濾波精度 和較強的魯棒性。上述方法缺乏全局優化特性且優化效率較低，並且在實際系統中，噪聲統 計特性往往未知，由於過程噪聲和測量噪聲間存在著某種函數關係，因此我們對VB-ASCKF 進行了改進。
【發明內容】
[0004] 針對上述問題，本發明提出了雙重遞歸變分貝葉斯自適應卡爾曼濾波方法 (DRVB-ASCKF)，本發明大體包括三部分內容：第一部分根據實際情況中的支持向量回歸 (SVR)的參數優化問題進行系統建模；第二部分簡述變分貝葉斯自適應平方容積卡爾曼濾 波（VB-ASCKF);第三部分結合VB-ASCKF引出DRVB-ASCKF，並最終求得狀態估計估計 誤差協方差Pklk，觀測噪聲協方差4，過程噪聲協方差0以及Inv-Gamma分布參數Cik和 3k。
[0005] 本發明可以優化等得到一個動態全局性的SVR估計參數。該方法具有較高的濾波 精度，同時它也可以處理噪聲方差的不確定問題，此外，如果函數間關係不確定，該方法也 仍舊可以獲得一個較高的參數估計精度。
【專利附圖】
【附圖說明】
[0006] 圖1為觀測噪聲和過程噪聲的估計流程圖；
[0007] 圖2為DRVB-ASCKF的流程圖。
【具體實施方式】
[0008] 下面首先根據實際情況中的SVR參數優化問題建立系統模型，而後簡要經分析 VB-ASCKF，最後基於該方法並改進提出了 DRVB-ASCKF，使得最終系統可以獲得一個基於全 局性的SVR參數動態估計值。下面詳細介紹本發明的實施過程。
[0009] 步驟1.系統建模：
[0010] 由於支持向量回歸（SVR)的性能在很大程度上取決於系統參數選擇，因此提高 SVR模型性能的關鍵就在於相關參數的優化。現將SVR的系統選擇問題轉換為非線性系統 狀態估計問題，並建立非線性狀態空間模型如下：
【權利要求】
1.基於DRVB-ASCKF的SVR參數優化方法，其特徵在於該方法包括以下步驟： 步驟1.系統建模： 將支持向量回歸的系統選擇問題轉換為非線性系統狀態估計問題，並建立非線性狀態 空間模型如下：
式中，k為時間參數，超參數XkeΓ是狀態向量；ykeΓ是非線性觀測向量，其中初 始狀態具有一個高斯先驗分布yc)?NO%Ptl)，假設已知初始狀態先驗分布的參數Hitl和Ptl ; 非線性函數h( ·)是觀測函數；Vk?N(0,Qk)是具有協方差矩陣的高斯過程噪聲；Wk? N(0,Σ,)，Qk是具有對角協方差Σ,的觀測噪聲； 步驟2.變分貝葉斯自適應平方容積卡爾曼濾波 (2. 1)時間更新： 1) 估計容積點Xilrtllrt和傳播後的容積點乂u(/ = 1,2,···,/η):
式中，為k-Ι時刻的狀態估計；Slrtllrt能在第k-Ι個狀態估計期間在線得出；
2) 估計一步狀態預測·％^^及其協方差的平方根因子 Sk-ilk-i:
式中*是含4的平方根；Tria( ·)是Cholesky分解； 3) 估計對角協方差Σ,的預測參數 α k，iIk-I和P k，iIk-I ; (2· 2)觀測更新： 1) 估計觀測預測值Am:
式中，Yullrt是傳播後的容積點； 2) 估計協方差預測值PxUllrt ; 3) 迭代初始化，即令j=O並給定迭代次數N; 4) 估計觀測噪聲的協方差句:； 5) 估計更新協方差預測的平方根; 6) 估計濾波增益矩陣尺/+1和估計誤差協方差的平方根宄？；
7) 估計狀態部1和估計誤差協方差戶'1:
8) 估計過程噪聲的協方差4:
式中，dk = (1-b)Al-bk+1)，遺忘因子b滿足 0· 95 <b< 0· 99 ;Λ=Λ-々(％-d;Kk 和 Pklk分別為系統濾波增益矩陣和估計誤差協方差；Φk是系統轉移矩陣； 步驟3.給定雙重遞歸變分貝葉斯自適應卡爾曼濾波 1) 設定已知輸入：非線性觀測向量yk;過程噪聲方差0 |;狀態估計值毛_1;估計誤差 協方差I1;預測參數αη和βη ;權係數ρη ; 2) 令(? = 4i; 3) 令狀態向量一步預測值滿足：
4) 計算觀測噪聲的Inv-Ga_a分布參數； 5) 內環迭代初始化，即令j=O並給定迭代次數N;並令ak，i= 〇. 5+ak，im， β?Α=βυι,I 5 z-1,2,···,?/； 6) 迭代循環VB算法，若j<N，則更新參數βk,並令j=j+1 ;當j=N時，結束迭代 進程，得
7) 執行外環迭代，最終得4 =4"。
【文檔編號】G06K9/62GK104463214SQ201410757612
【公開日】2015年3月25日 申請日期:2014年12月11日 優先權日:2014年12月11日
【發明者】王海倫, 呂梅蕾, 張露, 劉爽 申請人:衢州學院