基於支持向量機的軟測量儀表建模方法

2023-05-22 14:36:36

專利名稱：基於支持向量機的軟測量儀表建模方法
技術領域：
本發明涉及到一種軟測量儀表建模方法，具體是一種基於支持向量機的軟測量儀表建模方法。用於測量技術領域。
背景技術：
在現代流程工業中，大量關鍵性過程狀態、產品質量等參數缺乏在線直接測量手段。這以成為制約生產安全、產品質量、質量及生產效益進一步提高的瓶頸。軟測量技術正是解決此類問題的有效途徑。
軟測量技術是當前控制領域的一個研究熱點。其核心技術就是建立軟測量儀表的模型，目前軟測量儀表的建模方法主要有機理建模、多元統計方法、卡爾曼濾波方法、人工神經神經網絡、基於模型的回歸方法、模糊邏輯方法等等。這些方法在應用中取得了一定的效果。經文獻檢索發現，Luo J.and Shao H..Softsensing modeling using neural fuzzy system based on rough set theory.《Proceedings of 2002 American control conference》(「應用人工神經網絡的方法建模」，《美國控制會議》，2002，1543-548，Alaska)，該文提到人工神經神經網絡的方法；利用粗糙集確定網絡結構，再用人工神經神經網絡進行建模，有良好的學習性能(學習誤差0.01)，然而其泛化能力不令人滿意(泛化誤差1.5514)。但是目前的方法在不同程度上存在著一些問題，很難照顧到各個方面。這些方法所存在的一些問題嚴重地阻礙了軟測量的進一步的應用。小樣本、非線性及要求模型泛化能力強和魯棒性強等問題是軟測量建模中急需解決的問題。支持向量機是在統計學習理論體系下產生的一種新的、非常有力的通用機器學習方法。它較好地解決了以往困擾很多學習方法的小樣本、非線性、過學習、高維數、局部極小點等實際問題，具有很強的泛化能力。支持向量機則為軟測量儀表的建模提供了新的思路。

發明內容
本發明的目的是針對現有軟測量建模技術存在的以上不足和缺陷，提供一種基於支持向量機的軟測量儀表建模方法，給出了支持向量機最優模型的選擇方法、支持向量機(包括標準支持向量機和最小二乘支持向量機)最優模型的確定方法，使其克服了支持向量機在應用中存在的模型確定困難的問題，為支持向量機的軟測量建模建立了可靠的基礎和依據。
本發明是通過以下技術方案實現的，本發明包括兩個部分第一、基於支持向量機的軟測量建模基於支持向量機的軟測量儀表建模屬於黑盒子一類的模型。輸入與輸出的影射關係可由支持向量機來完成。可測變量X、對象的控制輸入u以及對象可測輸出變量y作為軟測量儀表的輸入變量，被估計變量的最優估計為輸出。在具體建立軟測量模型時，從輸入變量中選擇一組與主導變量密切相關的一組二次變量，作為支持向量機的輸入，離線分析計算值或大採樣間隔的測量值Y作為軟測量模型的輸出，用f(x)=i=1laiK(x,xi)+b]]>實現輸入輸出的非線性函數關係。
第二、最優模型的選擇在進行支持向量機軟測量建模時，最優模型的選擇是非常關鍵的工作，模型的好壞直接影響著軟測量儀表的性能。軟測量模型中有兩類參數，即正規化參數和核參數(如高斯核中的核寬度σ)，是非常重要的參數。下面給出最優參數選擇方法。
(一)確定最優正規化參數正規化參數控制著最小訓練誤差和最小化模型複雜度的某種折衷。該方法將貝葉斯統計和支持向量機算法相結合，給出了確定優正規化參數的方法。貝葉斯推斷理論提供了一種概率手段，為數據建模提供了一個統一的框架。貝葉斯推斷分為三個準則，其中在貝葉斯第二準則下，利用貝葉斯參數推斷模型對正規化參數進行推斷。首先假設訓練數據是獨立同分布的，參數的分布滿足高斯分布。然後根據貝葉斯定理，得到正規化參數的後驗分布，將正規化參數轉換為參數有效數的函數。最後利用極值原理確定標準支持向量機和最小二乘支持向量機的正規化參數。
正規化參數(=1c)]]>的最佳值λMP可用下式求得2MPEWMP=,---(1)]]>
其中EW=12wTw,]]>ED=i=1lL(yi,f(xi)),]]>γ＝l-λtraceA-1稱為參數的有效數，wMP表示最優的w，A=2(EW+ED)w=2(Ew+i=1lL(yi,f(xi))).]]>通過(1)即可求出最優正規化參數。在標準支持向量機和最小二乘支持向量機中，γ有著不同的獲得方法。
1).標準支持向量機中損失函數分別取L(yi，f(xi))＝ξi，L(f(xi),yi,)=i*.]]>計算中ξi和ξi*由下面函數代替ξi＝(yi-f(xi)-ε)·s(yi-f(xi)-ε)，i*=(f(xi)-yi-)s(f(xi)-yi-),]]>其中s(u)=11+e-u.]]>因此，A=2(Ew+i=1l(i+i*))=I+B,]]> 其中，、ri＝r(yi-f(xi)-ε)+r*(f(xi)-yi-ε)，r(yi-f(xi)-ε)＝(yi-f(xi)-ε)·s″(yi-f(xi)-ε)+2s(yi-f(xi)-ε)，r*(f(xi)-yi-ε)＝(f(xi)-yi-ε)·s″(f(xi)-yi-ε)+2s(f(xi)-yi-ε).
2).最小二乘支持向量機中損失函數取為 因此A=2(Ew+i=1lL(yi,f(xi)))=I+B,]]> 所以支持向量機的有效數為 其中，用ρl表示B的特徵值，N(N≤l)表示B的非零特徵值的數目。
(二)確定最優核參數核參數從某種程度上定義了高維特徵空間，反映了數據的先驗知識。該方法將貝葉斯統計和支持向量機算法相結合，給出了確定優正規化參數的方法。在貝葉斯第三準則下，支持向量機估計算法的最優核參數選擇可以看作為貝葉斯參數估計理論對核參數的推斷估計，這可以看作模型比較的過程。首先利用貝葉斯定理，得到核參數的後驗分布。然後利用極值原理最大化模型的後驗。最優核參數的確定與採用的核相關，高斯核是一種性能優良的、應用最廣的核，且滿足雪佛萊原則。最後得到高斯核標準支持向量機和最小二乘支持向量機的最優核參數。
對於核參數最大化ln p(H/D)，可得最優的核參數。
lnp(H/D)=0---(2)]]>對於高斯核核參數的確定方法1)標準支持向量機的最佳核參數=|(MPi;j=1l(ai-aj)(a*i-a*j)exp(-(xi-xj)222)(xi-xj)2MPl-MPtraceA-1trace(A-2K)+trace(A-1(K)))13|---(3)]]>2)最小二乘支持向量機的核參數=|(MPi;j=1laiajexp(-(xi-xj)222)(xi-xj)2MPl-MPtraceA-1trace(A-2K)+trace(A-1(K)))13|---(4)]]>目前的軟測量建模方法在不同程度上存在著一些問題，很難照顧到各個方面。本發明給出了基於支持向量機的軟測量建模方法。針對支持向量機中正規化參數和核參數的選擇困難問題，本發明直接給出了具體的參數確定方法。首先利用正規化參數的後驗分布和極值原理，迭代確定標準支持向量機和最小二乘支持向量機的正規化參數，然後在貝葉斯第三準則下，迭代確定準支持向量機和最小二乘支持向量機的核參數，一般迭代20次左右就可得到最優參數。本發明避免了經驗方法中過多的依賴於設計者的經驗和交叉驗證方法中計算量太大的缺點。本發明的參數確定方法有嚴格的理論基礎，且簡潔、方便、易用，非常適合於實際實用。


圖1為基於支持向量機的軟測量儀表的基本結構示意2為軟測量儀表中的軟測量模型示意3為本發明實施例精餾塔簡化流程圖。
具體實施例方式
如圖所示，圖1為基於支持向量機的軟測量儀表的基本結構示意圖，該圖表示了支持向量機軟測量儀表的框架和基本組成。圖2為軟測量儀表中的軟測量模型示意圖，該圖表示了基於支持向量機的軟測量模型的內部結構。方法實施步驟如下步驟1根據工藝分析和操作經驗進行二次變量的選擇。
步驟2對樣本數據進行歸一化預處理。
首先對屬性值進行歸一化，xi=xi-min(xi)max(xi)-min(xi),]]>歸一化後的屬性值xi∈
。對屬性值進行標準化變換xi=1nj=1nxij,]]>i2=1n-1j=1n(xij-xi)2,]]>xij*=xij-xii,]]>其中 是變換後的數據，j＝1，…，n是維數。
步驟3選擇核函數和支持向量機估計算法。(標準支持向量機或最小二乘支持向量機。)步驟4設定初始正規化參數和核參數的參數值。用樣本數據對支持向量機進行訓練，獲取支持向量模型中的係數ai和b，建立支持向量機軟測量模型。
步驟5對計算好的係數ai，b，用準則2推斷迭代求解支持向量機軟測量模型的最優化正規化參數c(c=1).]]>一般當兩次迭代的相對誤差＜5％時，即可認為已收斂到最優值。或控制迭代步數，一般建議在20-30次。
步驟6對計算好的係數ai，b以及最優化正規化參數c，用準則3推斷迭代求解支持向量機軟測量模型的最優化核參數σ。一般當兩次迭代的相對誤差＜5％時，即可認為已收斂到最優值。或控制迭代步數，一般建議在20-30次。
步驟7用建立好的最優軟測量模型進行估計和預測。
以下提供具體的實施例，對本發明技術方案作進一步的了解實施例工業精餾塔催化裂化裝置(FCCU)是石油二次加工中的關鍵之一。FCCU一般由反應再生，分餾，吸收-穩定和氣體脫硫等子系統所組成。分餾塔的主要產品是粗汽油，輕柴油和油漿。將基於支持向量機的軟測量應用於石家莊煉油廠分餾子系統中輕柴油凝固點的估計。
圖3為精餾塔簡化流程圖。首先進行二次變量的選取，根據工藝分析，因此，將抽出溫度，19層汽相，一中回循環量，一中循環抽出溫度及一中循環返回溫度五個變量作為估計凝固點的二次變量，輕柴油凝固點(Frozen point)為主導變量構造支持向量機軟測量儀表。
實驗結果根據貝葉斯參數選擇方法，標準支持向量機軟測量儀表的正規化參數取c＝3.063，核參數取σ＝0.760，最小二乘支持向量機軟測量儀表的正規化參數c＝20.82，核參數σ＝0.034。表1為貝葉斯框架下支持向量機的軟測量儀表的實驗結果。將本發明的結果與背景技術中描述的「人工神經神經網絡的方法」的結果進行比較，採用了與背景技術中所述方法相同的數據源。該文獻中用了150個訓練數據，本發明用了100個訓練樣本。本發明所得結果均遠好於背景技術中方法的結果。
表1 貝葉斯框架下支持向量機的軟測量儀表的實驗結果

權利要求
1.一種基於支持向量機的軟測量儀表建模方法，其特徵在於，包括兩個部分第一、基於支持向量機的軟測量建模基於支持向量機的軟測量儀表建模屬於黑盒子一類的模型，輸入與輸出的影射關係由支持向量機來完成，可測變量X、對象的控制輸入u以及對象可測輸出變量y作為軟測量儀表的輸入變量，被估計變量的最優估計為輸出，在具體建立軟測量模型時，從輸入變量中選擇一組與主導變量密切相關的一組二次變量，作為支持向量機的輸入，離線分析計算值或大採樣間隔的測量值Y作為軟測量模型的輸出，用f(x)=i=1laiK(x,xi)+b]]>實現輸入輸出的非線性函數關係；第二、最優模型的選擇在進行支持向量機軟測量建模時，軟測量模型中有兩類參數，即正規化參數和核參數，是非常重要的參數，最優參數選擇方法如下(一)確定模型的最優正規化參數貝葉斯推斷分為三個準則，在貝葉斯第二準則下，利用貝葉斯參數推斷模型對正規化參數進行推斷，首先假設訓練數據是獨立同分布的，參數的分布滿足高斯分布，然後根據貝葉斯定理，得到正規化參數的後驗分布，將正規化參數轉換為參數有效數的函數，最後利用極值原理確定標準支持向量機和最小二乘支持向量機回歸估計算法的正規化參數；(二)確定模型的最優核參數在貝葉斯第三準則下，支持向量機分類算法的最優核參數選擇屬於貝葉斯參數估計理論對核參數的推斷估計，是模型比較的過程，首先利用貝葉斯定理，得到核參數的後驗分布，然後利用極值原理最大化模型的後驗，最後得到高斯核標準支持向量機和最小二乘支持向量機回歸估計算法的最優核參數。
2.根據權利要求1所述的基於支持向量機的軟測量儀表建模方法，其特徵是，所述的確定模型的最優正規化參數，具體實現如下正規化參(=1c)]]>的最佳值λMP通過下式獲得2MPEWMP=,]]>其中EW=12wTw,]]>ED=i=1ll(yi,f(xi)),]]>γ＝l-λtraceA-1被稱為參數的有效數，wMP表示最優的w，A=2(EW+ED)w=2(Ew+i=1lL(yi,f(xi)));]]>通過此式求出最優正規化參數，γ通過以下方法獲得1).標準支持向量機模型中損失函數分別取L(yi，f(xi))＝ξi，ξi由下面函數代替ξi＝(1-yi(w·(xi)+b))·s(1-yi(w·(xi)+b))，其中s(u)=11+e-u,]]>因此A=2(Ew+i=1l(i+i*))=I+B,]]> 其中r1＝r(1-yi(w·(xi)+b))＝(1-yi(w·(xi)+b))·s″(1-yi(w·(xi)+b))+2s(1-yi(w·(xi)+b))2).最小二乘支持向量機模型中損失函數取為 因此A=2(Ew+i=1lL(yi,f(xi)))=I+B,]]> 因而支持向量機模型，包括標準支持向量機和最小二乘支持向量機，其有效數由下式獲得 其中，用ρ1表示B的特徵值，N(N≤l)表示B的非零特徵值的數目。
3.根據權利要求1所述的基於支持向量機的軟測量儀表建模方法，其特徵是，所述的確定最優核參數，具體實現如下對於核參數最大化ln p(H/D)，得最優的核參數，lnp(H/D)=0]]>對於高斯核核參數的確定方法1)標準支持向量機的最佳核參數=|(MPi;j=1l(aiajyiyj)exp(-(xi-xj)222)(xi-xj)2MPl-MPtraceA-1trace(A-2K)+trace(A-1(K)))13|]]>2)最小二乘支持向量機的核參數=|(MPi;j=1laiajyiyjexp(-(xi-xj)222)(xi-xj)2MPl-MPtraceA-1trace(A-2K)+trace(A-1(K)))13|]]>
全文摘要
一種基於支持向量機的軟測量儀表建模方法。用於測量技術領域。包括兩個部分基於支持向量機的軟測量儀表建模輸入與輸出的影射關係由支持向量機來完成，可測變量、對象的控制輸入以及對象可測輸出變量作為軟測量儀表的輸入變量，被估計變量的最優估計為輸出，在具體建立軟測量模型時，從輸入變量中選擇一組與主導變量密切相關的一組二次變量，作為支持向量機的輸入，離線分析計算值或大採樣間隔的測量值作為軟測量模型的輸出；在進行支持向量機軟測量建模時，首先利用正規化參數的後驗分布和極值原理，迭代確定標準支持向量機和最小二乘支持向量機的正規化參數，然後在貝葉斯第三準則下，迭代確定準支持向量機和最小二乘支持向量機的核參數。
文檔編號G01D21/00GK1563902SQ20041001753
公開日2005年1月12日 申請日期2004年4月8日 優先權日2004年4月8日
發明者閻威武, 邵惠鶴 申請人:上海交通大學