一種支持向量回歸機的訓練方法

2023-05-28 10:02:16

專利名稱：一種支持向量回歸機的訓練方法
技術領域：
本發明屬於人工智慧、機器學習和數據挖掘領域，具體涉及一種支持向量回歸機的訓練方法，可廣泛應用於非線性回歸、時間序列分析等領域。
背景技術：
支持向量機(Support Vector Machines, SVM)理論源於Vapnik提出的用於解決模式識別問題的支持向量方法，之後Vapnik在提出損失函數的基礎上建立支持向量回歸機。SVM是基於結構風險最小化原則構建的，具有很強的學習能力和泛化性能，能夠較好地解決小樣本、高維數、非線性、局部極小等問題，廣泛應用於模式分類和非線性回歸。SVM最終歸結為求解一個二次規劃(QP，Quadratic Programming)問題。如果直接求解，當訓練點的數量比較大時，就會造成佔據的存儲空間過大，致使訓練的速度降低。因此常用的方法就是將問題進行分解，如選塊算法、分解算法和序列最小最優化算法 (sequentialminimal optimization, SM0)算法等。其中SMO算法將優化問題分解到最小， 在每次迭代過程中只需要對兩個拉格朗日乘子的最優化問題進行解析求解，沒有矩陣運算，容易實現，是目前應用最為廣泛的算法。參考文獻Gary. W. F, Steve. L. Efficient SVM Regression Training with SMO[J]. MachineLearning, 2002 (46) :271-290 中詳細介紹了 ε -支持向量回歸機應用 SMO 方法求解過程中子優化問題的求解，即兩個拉格朗日乘子的解析求解方法。但SMO方法中兩個訓練點的選取直接影響算法的精度以及收斂速度，目前沒有統一的原則來確定如何選取兩個訓練點的方法。通常SMO方法中通過2步來實現訓練點的選取首先，從選擇違反KKT條件最嚴重的點為第一個訓練點；其次根據解的步進最大化原則來選取第二個訓練點。這種選取訓練點的方法主要不足有沒有確定的原則來判斷違反KKT條件的嚴重程度， 只能通過計算搜索合適的訓練點；另外該方法在選擇第二個訓練點時只考慮解的進展，但是求解的最終的目的是使得目標函數達到最小，因此該選擇方法意義不明確，很可能造成在訓練過程中目標函數會增大。

發明內容
針對現有技術中SMO方法求解支持向量機回歸問題時訓練過程中兩個訓練點的選取的不足，本發明提出一種支持向量回歸機的訓練方法，該方法從直接逼近目標函數的角度出發，物理意義明確，並充分利用中間變量，計算簡單，運算效率高。一種支持向量回歸機的訓練方法，其特徵在於具體包括以下幾個步驟步驟一設定訓練樣本集合設定訓練樣本集合為T = ^5,1)1:，輸入空間的特徵屬性、e Rn,鏟為輸入空
間，η為輸入空間的維數，輸出空間的值yp e R，R為輸出空間；(Xp，yp)表示第P個樣本點， 1為訓練樣本集合中樣本的總數，設定不敏感損失因子ε和懲罰因子C;
步驟二 計算核函數矩陣K並進行初始化計算核函數矩陣K，kpq = K (xp, xq)，kpq表示第ρ個樣本點\和第q個樣本點Xq的核函數積；初始化拉格朗日乘子向量λ = (λ^ λ2，...，λρ，...，λ) =0，決策函數偏置 b = 0，決策函數向量f = (f1; f2，. . .，fp，. . .，= 0 ；其中λ p表示決策函數中第ρ個樣本點\對應的拉格朗日乘子，b表示決策函數的偏置，fp表示第ρ個樣本點\對應的決策函數值；步驟三對目標函數W求偏導，取使偏導數絕對值最大的分量下標作為第一個訓練點；
權利要求
1. 一種支持向量回歸機的訓練方法，其特徵在於具體包括以下幾個步驟 步驟一設定訓練樣本集合設定訓練樣本集合為
2.根據權利要求1所述的一種支持向量回歸機的訓練方法，其特徵在於所述的步驟三的3.2中判斷目標函數求偏導取絕對值後降序排列的
全文摘要
本發明提出一種支持向量回歸機的訓練方法，具體包括步驟一設定訓練樣本集合；步驟二計算核函數矩陣並初始化；步驟三計算第一個訓練點；步驟四計算第二個訓練點；步驟五解析拉格朗日乘子；步驟六更新中間變量；步驟七判斷訓練樣本集的所有樣本是否滿足最優條件步驟八計算回歸決策函數。本發明中中間變量的更新利用了前一次訓練的值，減少計算量；且在求目標函數的偏導以及目標函數下降值中，充分利用中間變量，從而減少了大量的計算，實現了快速選取訓練點，提高訓練的收斂速度。
文檔編號G06K9/66GK102184421SQ201110102550
公開日2011年9月14日 申請日期2011年4月22日 優先權日2011年4月22日
發明者許喆平, 鄧小樂, 郎榮玲 申請人:北京航空航天大學