一種基於函數展開的核自適應濾波器算法的製作方法

2023-05-23 00:45:06 1

本發明屬於信號處理領域中的方法研究，涉及一種函數展開的核自適應濾波器算法。

背景技術：

目前，在線學習在眾多領域都扮演重要角色，其中包括控制領域中的跟蹤、濾波、系統辨識，在計算機視覺中的濾波、視覺跟蹤，在信號處理領域中的去噪、預測等等。

而近年來關於在線核方法的研究也屢見不鮮，核方法依靠其強大的非線性能力和相關數學理論支撐逐漸被應用在很多實際工程問題當中。mercel核可以將非線性數據通過核函數映射到超高維空間甚至無窮維空間當中，然後在高維空間中運用線性方法處理數據。支持向量機、核自適應濾波都是工程實際中廣泛運用的方法。

自適應濾波是在維納濾波，卡爾曼濾波等線性濾波基礎上發展起來的一種最佳的濾波方法。在很多現實問題中，系統處理信息的過程和其數學模型通常是不確定的，包含很多未知因素和隨機因素，這些不確定性有時表現在過程內部，有時表現在過程外部。從過程內部來講，系統設計者事先不一定能確定系統的數學模型的結構和參數。同時外部環境也會對系統處理信息的過程產生影響，通常在工程上可以等效為擾動。這些擾動通常是不可測的，它們可能是確定性的，也可能是隨機的。同時，系統噪聲和量測噪聲也是客觀存在的不確定因素。如何綜合的處理這個信息過程，並且在某一種準則下獲得最優或者近似最優的解，就是自適應濾波所解決的問題。核自適應濾波用於再生核希爾伯特空間，是一種非線性濾波器。在眾多核自適應濾波算法當中，核最小均方誤差算法是最簡單也最容易理解的算法。在這基礎之上，學者們針對如何提高算法性能做了大量研究。其中，包括核放射投影算法，該算法提供了一種靈活的非線性在線濾波方法，並且可以在計算複雜度與性能之間選擇合適的平衡點，同時核仿射投影算法在性能方面好於核最小均方誤差算法，通過對窗長度k的選擇也可以控制計算複雜度。核最小二乘算法是另一種提高性能的核方法，其收斂速度通常比核最小均方誤差快一個量級。然而，這些方法都是通過增加計算量來獲取更好的性能。

技術實現要素：

本發明的目的在於提供一種函數展開的核自適應濾波器算法。

為達到上述目的，本發明採用了以下技術方案。

一種基於函數展開的核自適應濾波器算法，通過正交基函數展開模型將原始輸入數據進行擴維，然後利用核最小均方誤差算法進行濾波，得到濾波器的輸出；其中，正交基函數展開模型由切比雪夫正交多項式或者勒讓德正交多項式組成。

本發明進一步的改進在於，勒讓德正交多項式記為pn(·)，它是一組定義在(0,1)之間的正交多項式，其表達式為：

其中，n為階數，x為正交基函數的輸入；

勒讓德正交多項式的前4項為

p0(x)＝1

p1(x)＝x

更高階的展開項由其遞推關係獲得。

本發明進一步的改進在於，切比雪夫正交多項式記為tn(x)，切比雪夫多項式展開模型由以下遞推關係得到：

tn+1(x)＝2xtn(x)-tn-1(x)(2)

其中，n為階數，x為正交基函數的輸入；

切比雪夫多項式的前兩項為t0(x)＝1和t1(x)＝x，更高階的展開項由公式(2)獲得。

本發明進一步的改進在於，若原始輸入數據為二維向量形式u＝[x1,x2]，其中，x1、x2分別為正交基函數的輸入數據的兩個元素；

利用階數為n的切比雪夫多項式，得到擴維後的輸入為：

u′＝[1,t1(x1),t1(x2),t2(x1),t2(x2),...,tn(x1),tn(x2),x1x2](3)

u′表示擴維後的數據。

本發明進一步的改進在於，其特徵在於，階數n為3或4。

與現有技術相比，本發明的有益效果體現在：本發明提出基於函數展開的核自適應濾波器算法，通過由切比雪夫正交多項式或者勒讓德正交多項式組成的正交基函數展開模型，將輸入數據進行擴維，然後擴維後的數據作為核最小二乘算法的輸入，運用最小均方誤差算法進行自適應濾波，可以進一步提高算法性能，給定合理嵌入維數，由於函數展開模型僅僅增加了輸入空間的維度，所以不會明顯增加計算複雜度，該方法在不明顯增加計算複雜度的前提下能夠顯著提高濾波器收斂性能，具有較為重要的研究意義和廣泛的工程實用價值。

附圖說明

圖1是本算法所述基於函數展開的核自適應濾波器算法的原理框圖；

圖2是一般的核自適應濾波器算法的原理框圖；

圖3是本算法所述基於函數展開的核自適應濾波器結構圖；

圖4是切比雪夫函數展開的核最小均方誤差算法、勒讓德函數展開的核最小均方誤差算法與傳統核最小均方誤差算法性能比較圖；

圖5是不同核寬度下傳統最小均方誤差算法與切比雪夫函數展開的核最小均方誤差算法、勒讓德函數展開的核最小均方誤差算法性能比較圖。

具體實施方式

下面結合附圖對本發明做進一步說明。

本發明中濾波器為非線性濾波器。本發明通過正交基函數展開模型將原始輸入數據進行擴維，然後利用核最小均方誤差算法進行濾波，得到核自適應濾波器(flklms)的輸出；其中，正交基函數展開模型由切比雪夫正交多項式或者勒讓德正交多項式組成。具體過程如下：

1.正交基多項式展開

為了能夠在不明顯增加計算複雜度的情況下提高算法性能，本發明通過函數展開模型將原始輸入數據進行擴維，然後利用核最小均方誤差算法濾波。

核自適應濾波器的輸入數據通過一個正交基函數展開模型，該正交基函數展開模型由切比雪夫正交多項式或者勒讓德正交多項式φ＝{φ0(·),φ1(·),φ2(·),,...,φn(·)}組成，其中n為多項式展開的階數，通常展開模型主要由正交多項式的一個子集組成，階數可取3或4。通過正交基函數展開模型將輸入數據映射到高維空間，然後將映射後的數據作為核自適應濾波器的輸入進行自適應信號處理。若採用勒讓德正交多項式展開將原始輸入進行擴維，在這裡，將勒讓德正交多項式記為pn(·)，它是一組定義在(0,1)之間的正交多項式。其表達式為：

本發明運用的多項式展開模型，是正交多項式的一個子集φ＝{p0(·),p1(·),...,pn(·)}，其中，n為函數展開模型的階數，x為一個被展開的標量。

其遞推關係為：

由以上等式可以得到勒讓德正交多項式的前4項，組成函數展開模型。

更高階的展開項也可由其遞推關係獲得。

切比雪夫正交多項式展開是另外一種將輸入數據進行擴維的方法，它由切比雪夫微分方程得到，同樣是一組定義在(0,1)之間的正交多項式，在這裡將切比雪夫正交多項式記為tn(x)。切比雪夫多項式展開模型與勒讓德多項式展開模型結構相似，可由以下遞推關係得到。

tn+1(x)＝2xtn(x)-tn-1(x)(2)

切比雪夫多項式的前兩項為t0(x)＝1和t1(x)＝x。

更高階的展開項也可由其遞推關係即公式(2)獲得。

同時，在函數展開模型中加入輸入向量不同維度之間的外積，從而提高濾波器的性能。所以若原始輸入數據為二維向量形式u＝[x1,x2]，利用階數為n的切比雪夫多項式模型，得到擴維後的輸入為：

u′＝[1,t1(x1),t1(x2),t2(x1),t2(x2),...,tn(x1),tn(x2),x1x2](3)

u′表示擴維後的數據。如果後文不另作說明，u′則統一表示擴維後的數據。上述模型為函數展開模型，原始輸入將通過函數展開模型進行擴維，然後進入核最小二乘濾波器進行濾波，其原理圖參見圖1。在算法的實際運用中，數據輸入的嵌入維度同樣可以用「takens嵌入理論」得到，即與原始嵌入維度相同。通過調製展開式的階數來進一步優化系統的穩態精度達到較為理想的效果。通常，展開式的階數n取3或4便可達到提高性能的效果。

現有的核自適應濾波器原理：以輸入和輸出信號的統計特性的估計為依據，運用某種算法在迭代過程中不斷調整濾波器的係數，使濾波器在某種準則下達到最優特性的一種算法或裝置。自適應濾波器包括連續域和離散域的。圖2表示的自適應濾波器為離散自適應濾波器，可用於模擬位置離散系統或預測時間序列等等。輸入數據按照算法步驟，進行迭代，以更新、調整濾波器的訓練參數。通過迭代將濾波器的輸出不斷逼近期望信號序列。

由於本發明中算法是在核最小均方誤差算法上的改進，且本發明中算法也用到了核最小均方誤差算法，所以先對核最小均方誤差算法進行簡單介紹。

2.核最小均方誤差算法

對於一個非線性系統，假設有n個訓練樣本，n>0，其輸入與期望值為其中，i表示離散的時間。當處理第i個數據u(i)時，首先經過上一步通過多項式對輸入經過擴維，得到擴維後的輸入u′(i)，預測函數fi(·)會得到一個預測值自適應濾波器就是通過不斷更新預測函數fi(·)→fi+1(·)，從而得到代價函數j＝1/2e2的最小值。通常假設預測函數f(u′)為參數權重向量與輸入的內積，具有如下形式：

其中，既可以表示輸入本身，也可以表示一個函數對輸入的映射。公式中w為核最小均方誤差算法中的參數權向量，表示對輸入的一種映射關係，通過函數可以將輸入映射到高維的特徵空間當中。同時，運用隨機梯度下降法來更新參數權重向量達到更新預測函數的目的，具體方法如以下公式所示：

若在第i-1次迭代中得到w(i-1)，那麼預測誤差e(i)被定義為如下形式：

根據weifengliu和josec.principe等人的研究成果(liuw,pokharelpp,principejc.thekernelleast-mean-squarealgorithm[j].ieeetransactionsonsignalprocessing,2008,56(2):543-554.)，得到核最小均方誤差算法的參數權重向量的更新方法為：

同時核自適應濾波器的輸出被定義為：

這裡的κ(u′(j),u′)核函數被定義為高斯核其中，σ被定義為核寬度。核寬度在高斯核函數中起著非常重要的作用，如果核寬度過大，數據將具有很強的相似性，失去了擴維的意義，系統將退化為線性回歸系統。如果核寬度太小，數據之間將會存在巨大差異，自適應算法的效果也會變得很差。在實際工程問題當中，可以根據實際需求去定義不同的核函數。雖然函數將輸入映射到高維空間，但是其內積卻可以通過核函數直接得到答案。

濾波器通過多次學習，參數權重向量將會收斂到一個固定值。對於同一個算法而言，步長參數的大小決定了算法收斂速度和穩態精度。對於核放射投影算法與核最小二乘算法，當他們收斂速度與核最小二乘算法接近時，穩態誤差更小，同時計算複雜度更大。

為了展現本發明的優勢之處，本發明給出了在仿真環境下原始核最小均方誤差算法與本發明的信號處理效果對比圖，見圖3。

仿真設計如下：針對參數τ＝30的mackey-glass混沌時間序列預測問題。根據「takens嵌入理論」選擇7作為本發明與最小均方誤差算法的嵌入維度。試驗中，共有1500組訓練數據，以及另外100組測試數據。在迭代過程中，分別計算每一次迭代後測試數據的mse並在圖4和圖5畫出收斂曲線。量測噪聲為均值為零，方差為0.01的高斯白噪聲。

從圖4中可以看到核最小均方誤差算法與本發明所述算法的比較，其中，基於切比雪夫函數展開模型的核最小均方誤差算法，試驗中展開模型階數為4，選擇步長為1.2。基于勒讓德函數展開模型的核最小均方誤差算法，實驗中展開模型階數為6，選擇步長為1。這些算法都選擇σ＝1作為它們的核寬度，實驗結果為100次蒙特卡洛的平均。當klms算法與基於函數展開模型收斂速度相同時，本發明所述算法可以顯著提高核最小均方誤差算法的收斂精度。

從圖5中對核寬度不同的核最小均方誤差算法與核寬度為1的函數展開的核最小均方誤差算法進行比較，可以發現核最小均方誤差算法當選取和寬度合適的時候會取得較好的性能，但是無論核寬度如何變化，其性能始終趕不上本發明所述的基於多項式展開模型的核最小均方誤差算法。

核自適應濾波方法由於其簡單和萬能逼近特性在非線性系統濾波方面取得了很好的效果。對於一個具體的非線性系統，一個關鍵問題是如何選擇一個合適的嵌入維度(濾波器階數)，目前主流的選擇嵌入維度的方法是通過「takens嵌入理論」。通常，當濾波器的階數較小時，增加濾波器的階數可以提高濾波效果。但是，不斷增加濾波器的階數會導致過學習，從而影響濾波效果。本發明提出的函數展開核自適應濾波設計方法，將核自適應濾波器的輸入向量通過函數多項式展開進行擴維，然後將擴維後的數據作為核自適應濾波輸入。給定合理嵌入維數，該方法在不明顯增加計算複雜度的前提下進一步顯著提高濾波器收斂性能，具有實際運用的價值。

以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施方式僅限於此，對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單的推演或替換，都應當視為屬於本發明由所提交的權利要求書確定專利保護範圍。