模式特徵向量與多層前饋神經網絡的適配的製作方法

2023-07-09 17:44:46

專利名稱：模式特徵向量與多層前饋神經網絡的適配的製作方法
技術領域：
本發明屬於人工神經元網絡技術領域。
人工神經元網絡是模式識別的一個有力工具。目前使用較多的是多層前饋型神經網絡，由於這種網絡的學習算法採用回傳(Back-Propagation)方式，因而人們也把這種多層前饋網絡稱為B-P網絡。
在模式識別過程中，為了將模式的有用信息與噪聲分離，亦為了降低數據的維數以簡化分類器所要進行的計算，常採用特徵抽取方法從一個模式的原始採樣數據中抽取n維特徵向量。若要用B-P網絡實現m類模式識別，則必須首先將訓練集的m×n維持徵向量矩陣輸入B-P網絡進行學習。根據B-P網絡輸入節點對輸入數據的要求，必須將所有特徵數據進行歸一化處理後才能輸入B-P網絡，歸一化處理後每一個特徵值Xij滿足0≤Xij≤1 i＝1，2……，m，j＝1，2……，n.(1)在當前的現有技術中。若要對第i類的模式樣本進行訓練學習，則是將該模式樣本的n個歸一化後的特徵值Xi1，Xi2，……，Xin直接輸入B-P網絡的n個輸入節點，使B-P網絡對之進行學習。但是，這種直接輸入法導致網絡的學習速度極慢，常常學習幾千次乃至上萬次也難以收斂到期望值。
本發明的目的在於採用一種模式特徵向量與B-P網絡的適配技術，從而大大加快B-P網絡的學習速度。
本發明所採用的適配技術包括下述兩個方法(一)對歸一化後的模式特徵向量數值進行編碼。
(二)對B-P網絡的輸入節點進行擴充，並將編碼後的特徵值輸入擴充後的輸入節點。
設歸一化後的模式向量各特徵值小數點後有K位十進位有效數字，則其編碼方法如下(1)純小數處理若特徵值為1.00……0，則令其為0.99……9。然後轉向第(2)步。
(2)編碼對於特徵值小數點後的每一位十進位數字，均採用四位二進位代碼表示，編碼方式可採用表1中四種編碼方式中的任何一種，即可以採用8421碼(又稱為BCD碼)，5421碼，2421碼或餘三代碼中的任何一種。
例如，某特徵值為0.538，若採用8421編碼方式，則其編碼值為010100111000。
表1、四種編碼方式
本發明的理論依據如下在B-P網絡進行學習時，必須進行前向計算，對於第一隱層來說，第l節點的輸出值為y1-f-f(i=1nW1LX1-T1)(2)]]>式中Wil表示輸入節點i至第一隱層第l節點的連接權重，X1表示輸入節點i的特徵值，T1表示第一隱層第l節點的閾值。
如所周知，B-P網絡的節點輸出函數如下f(α)= 1/(1-e-α) (3)式(3)所表示的是一個S(Sigmoid)形函數，其中=i=1nW11X1-T1-----(4)]]>從式(2)、(3)、(4)可以看出，在固定Tl的情況下，Xl的變化範圍如果太小，則將導致f(α)的變化範圍十分微小，這不利於使B-P網絡迅速跳出局部極小點而趨向收斂。而現有技術將歸一化後的特徵值直接輸入，這些特徵值介於0和1之間，彼此的差異較小，而使f(α)的動態範圍很小。本發明所輸入的Xl或者為「1」，或者為「0」，其變化範圍大，從而使f(α)具有較大的動態範圍，這有利於B-P網絡迅速向期望輸出值收斂。
另外，本發明使輸入層的節點數擴展4K倍(其中K為歸一化後特徵值小數點後的有效位數)，這也大大加強了B-P網絡輸入層的記憶能力，這有利於B-P網絡的快速學習。
由於常規方法所輸入B-P網絡的特徵向量值均介於「0」與「1」之間，這為B-P網絡用於模式識別時的硬體化帶來困難，而本發明所輸入B-P網絡的特徵向量值是二進位的「0」、「1」碼，這無疑為硬體化提供了方便。
綜上所述，本發明與現有技術相比，具有加快B-P網絡的學習速度和便於B-P網絡用於模式識別場合的硬體化設計的優點。
所做的對比實驗告訴我們，使用相同的B-P訓練算法，同樣的B-P網絡結構(僅輸入節點數不同)並使用同一組訓練樣本特徵向量集合，利用現有技術訓練2500次(用時7500秒)仍遠遠未達到比較理想的收斂結果，而採用本發明的適配技術，僅訓練200次(用時1800秒)就達到了令人滿意的收斂結果。這說明本發明使B-P網絡的學習速度得到了大幅度提高。
本發明適用於利用B-P型神經網絡進行模式識別的場合。特別適用於歸一化後的模式特徵值介於0與1之間且不全為0和1的模式識別場合。
權利要求
1.一種實現多層前饋型神經網絡對模式特徵快速學習的適配技術，其特徵是該技術包括對模式特徵值進行編碼和對多層前饋型神經網絡輸入層的節點進行擴充兩個方法。其中編碼方法是將歸一化後的特徵值作純小數處理，並對小數點後的數字逐位編碼，編碼方式可以採用8421、5421、2421或餘三等代碼中的任何一種；多層前饋型神經網絡輸入層節點的擴充方法是將多層前饋型神經網絡輸入層的節點數增加到與特徵值的二進位代碼位數相等，並使每一個碼位對應輸入一個輸入節點。
全文摘要
本發明屬於人工神經元網絡技術領域。本發明用於加快多層前饋(又稱為B-P)型神經網絡對模式特徵的學習速度，它包括對模式特徵值進行編碼和對B-P網絡輸入層的節點進行擴充兩個方法。其中編碼方法是將特徵值先作純小數處理，然後採用二進位代碼對小數點後各位數進行代換。B-P網絡輸入層節點的擴充方法是將B-P網絡輸入層的節點數增加到與特徵值的二進位代碼的位數相等，並使每一個碼位對應輸入一個輸入節點。
文檔編號G06F15/00GK1059982SQ9110745
公開日1992年4月1日 申請日期1991年7月22日 優先權日1991年7月22日
發明者劉其真, 宋維亞, 何永保 申請人:復旦大學