時序預測神經網絡裝置的製作方法
2023-10-05 10:15:44 3
專利名稱：時序預測神經網絡裝置的製作方法
技術領域：
本發明涉及例如進行根據輸入的數值(數據)預測將來發生的數值的預測處理的 時序數據預測神經網絡裝置。特別是涉及用於實現預測精度進一步提高的裝置。
背景技術：
為了對近來要發生的事情有所準備，或檢測出異於正常的事件的發生，需要將 隨著時間流逝而持續地發生變化的股價、交通量、通信流量等表示為數值，並對按時序 表示該數值的數據、即時序數據進行處理，對將來要發生的數值進行精確地預測。為了 基於這樣的時序數據預測將來的值(預測值)，而存在有製作ARMA模型這樣的數學模 型、神經網絡這樣的模型，並使用所製作的模型進行學習(模型校正)的模型學習器等。
眾所周知通過使用這樣的神經網絡，能夠進行難以在現有的諾依曼型計算機中 進行的靈活的信息處理，目前為止提出有各種形式的使用了神經網絡的裝置。
例如提出有以下方法向由輸入層、中間層、輸出層和承接層構成的神經網絡 輸入過去及現在的時序圖案，通過反向傳播法進行學習，使用學習完畢的神經網絡進行 時序預測的方法(例如，參照專利文獻1)。
而且，還存在以下裝置，通過使用神經網絡這樣的模型學習器，還將時序數據 作為學習數據分成多個解析級別(頻率成分)，並基於各解析級別進行預測、合計這樣的 方法，預測將來值的裝置(例如，參照專利文獻2)。
專利文獻1 日本特開平06-175998號公報(圖1)
專利文獻2 日本特開平11-21四47號公報(圖1)
上述專利文獻1所記載的方法是僅使用時序數據進行學習來預測將來值的方 法。因此，在針對具有時刻都在複雜變化的特性的時序數據的預測模型中，由於用於學 習的特徵量較少因此無法形成高精度的學習模型。其結果，降低了對伴隨複雜變化的時 序數據的預測精度。
另一方面，在專利文獻2中，將時序數據分成幾個頻率成分，按各頻率成分學 習預測模型。因此，能夠比專利文獻1那樣的僅單純地使用時序數據進行學習時實現預 測精度的提高。
但是，由於針對在時序數據中進行的所有的解析級別設置的各學習器，分別獨 立地進行預測因此無法在解析級別之間進行預測的學習。發明內容
因此，希望實現能夠使解析級別間的運算處理結果協作來進行高精度的預測值 的計算的時序數據預測神經網絡裝置。
本發明涉及的時序數據預測神經網絡裝置，其處理按時序表示了預測對象的數 值的時序數據，計算出數值的預測值，該時序數據預測神經網絡裝置具備輸入單元， 其被輸入對時序數據進行多重解析度解析所得到的、表示多個解析級別的特徵的值，作為解析數據；以及運算處理單元，其具有輸入層處理部，該輸入層處理部在計算預測值 時，基於多個解析級別中最高解析級別的解析數據進行運算處理，將處理後的結果的數 據與次高解析級別的解析數據一起進行運算處理，並從最高解析級別到最低解析級別， 對基於上位解析級別中運算處理的結果的數據和下位解析級別中的解析數據進行運算處理。
根據本發明，針對多重解析度解析預測對象的時序數據而得到的多個解析級別 的解析數據，運算處理單元對上位的解析級別的運算結果和一個下位的解析級別的解析 數據進行運算處理，由於按照從最高的解析級別到最低的解析級別的順序進行處理，因 此基於用於恢復時序數據涉及的原信號的數學式將上位解析級別的處理結果應用於下面 的解析級別的運算處理來進行預測所涉及的處理，從而能夠提高預測值的精度。
圖1是時序數據預測神經網絡裝置的構成圖。
圖2是用於表示延遲處理部126的處理的圖。
圖3是表示Haar函數涉及的縮放函數的圖。
圖4是表示用於分解處理的母小波的圖。
圖5是用於說明小波係數的計算順序的圖。
圖6是表示神經元的示意圖。
圖7是表示預測值的比較結果的圖。
圖8是計算與實際觀測值之間的均方誤差的圖。
附圖符號說明
100時序數據預測神經網絡裝置；110:輸入單元；120:運算處理單元； 121 輸入層處理部；122:頻率解析輸入層處理部；123:相關數據輸入層處理部； 124 中間層處理部；125:輸出層處理部；1 :延遲處理部；130:輸出單元具體實施方式
實施方式1
圖1是表示本發明的實施方式1涉及的時序數據預測神經網絡裝置的構成的圖。 本實施方式的時序數據預測神經網絡裝置(以下簡單地稱為裝置)100由輸入單元110、運 算處理單元120和輸出單元130構成。
輸入單元110配置為能夠由運算處理單元120對從例如外部裝置(未圖示)發送 來的信號中包含的數據進行處理。在此，在本實施方式中，基於多重解析度解析(MRA) 對預測對象的時序數據進行頻率解析處理(分解處理)，並將生成的一個或多個解析級別 中的解析數據等輸入到輸入單元110。多重解析度解析是用於，例如用函數表示數值在時 間上的變化，基於多個尺度階段性地分解該函數(解析級別)，來抽出具有怎樣的特徵的 解析。在本實施方式中，是輸入使用了小波的頻率解析結果、即小波係數的數據(以下 稱為小波係數)wa)i wa)i作為解析數據。而且，輸入與進行多重解析度解析時使用的 最高的解析級別涉及的縮放係數的數據(以下稱為最高縮放係數)sa)i以及時序數據具有 相關關係的相關數據nt。4
運算處理單元120基於輸入單元110的處理的數據計算出預測值。本實施方式的 運算處理單元120為基於神經網絡的模型進行預測值計算的處理的模型學習器，該神經 網絡的模型是基於過去的時序數據通過學習處理等進行了校正的神經網絡的模型。神經 網絡例如是將構成腦的神經細胞(神經元)模型化、網絡化而構成的處理機構。因此， 在本實施方式的運算處理單元120中，概念上是將多個神經元進行網絡連接，基於從輸 入單元110輸入的數據，在神經元間發送/接收運算結果，並且在輸出單元130輸出最終 的運算結果。
另外，在本實施方式中，裝置通過反向傳播進行學習。在該學習時，計算運算 處理單元120計算出的預測值和正確應答數據y表示的值的誤差。然後，針對模型中表 示的各個神經元計算所期待的神經元的輸出值與實際輸出值的差等，求得局部誤差。進 行調整在計算預測值的過程中神經元按照與經過的順序相反的順序進行運算處理時的輸 入量的處理，以使該局部誤差變小。
為了實現以上那樣的模型形成，本實施方式的運算處理單元120具有輸入層處 理部121、中間層處理部124、輸出層處理部125以及多個延遲處理部126。
輸入層處理部121還具有頻率解析輸入層處理部122和相關數據輸入層處理部 123。頻率解析輸入層處理部122基於各解析級別的小波係數和最高縮放係數進行運算處 理。此時，將對解析級別高(頻率低)的小波係數等進行運算處理的結果與位於一個下 位的解析級別的較低(頻率高)的小波係數一起進行運算處理。因此，如圖1所示，在 與解析級別相同數量的神經元中進行運算。而且，相關數據輸入層處理部123基於頻率 解析輸入層處理部122的運算處理的數據和來自輸入單元110的相關數據nt進行運算處 理。關於輸入層處理部121的運算處理的內容詳見後述。
[20在]本實施方式中，中間層處理部IM基於延遲處理部1 存儲保持的、輸 入層處理部121的運算處理涉及的規定數量的數據進行運算處理。而且，輸出層處理部 125基於中間層處理部124的運算處理涉及的數據進行運算，並進行向輸出單元130輸出 的處理。
[21]圖2是用於表示延遲處理部126的處理的圖。延遲處理部126進行臨時存 儲保持所輸入的數據的處理。在此，延遲處理部126具有若輸入新的數據時則溢出最舊 的數據(從存儲保持對象溢出)的先入先出(FIFO FirstInFirstOut)的構造。因此，能 夠存儲保持規定數量(過去的規定時間量)的數據。在本實施方式中，例如各延遲處理 部1 能夠存儲保持用於運算處理單元120計算時刻t+Ι的預測值而進行的各神經元的運 算處理所必須的量的數據。
[22]關於上述那樣的運算處理單元120的各處理部，能夠由各自不同的專業設備 (硬體)構成，但也可以由以CPU(Central Processing Unit)為中心的運算控制單元(計算機)構成硬體，將各部進行處理的處理順序預先程序化，從而由軟體、固件等構成。並 且，也可通過執行程序進行的處理來實現上述各部進行的處理。這些程序涉及的數據例 如預先存儲於存儲單元(未圖示)。而且，雖未特別限定，但例如也可由一個運算處理 裝置(元件)構成神經元，通過通信線路等連接多個運算處理裝置來構成運算處理單元 120。在此在本實施方式中，以下對將各神經元作為進行運算處理的一個單位的裝置(元 件)的情況進行說明。
[23]而且，輸出單元130在預測處理時，運算處理單元120將作為運算結果計算 出的預測值作為信號向例如外部裝置(未圖示)輸出。
[24]接下來，說明本實施方式的裝置100的動作。首先，在裝置100的前段中， 基於進行了採樣、量化等的時序數據，在多重解析度解析中進行小波變換，計算出每個 解析級別的小波係數、縮放係數。關於解析結果和源信號(函數)之間的關係，若將計 算出的最高的解析級別設為L、將源信號設為f(t)，則可以用下式(1)來表示。
[25](數學式 1)L
f ( t)=2 g ·( t)+ f , ( t)…(1)j = l
在此，&如下式(2)所示，是小波係數Wp和母小波A、k的合成函數。而且， ⑶式的fUt)是解析級別L的縮放係數和解析級別L的母小波U^k的合成函數。
(數學式2)
S j( t) =Σ Wjk · Φ j>k(t)(2)
f ! =^l,k(t)…(3)k
圖3是表示Haar函數涉及的縮放函數的圖。在本實施方式中在小波中使用Haar 函數進行說明。關於縮放函數，0<U<1時將u設為1，其他情況設為u = 0。
圖4是表示用於分解處理的母小波的圖。圖4示意地表示了 Haar函數的母小 波。小波係數是基於母小波和時序數據計算出內積，並用縮放係數除所計算出的。如圖 4所示，通過改變母小波的周期寬度生成不同的解析級別的母小波，並針對各解析級別計 算出小波係數。
圖5是用於說明小波係數的計算順序的圖。在圖5中對解析級別1的小波係數 的計算進行說明。例如將時刻t-7 t中的丨1，3，5，11，12，13，0，1丨這樣8個值的 數據作為時序數據。解析級別1的小波係數是計算出母小波(-1，1)的內積後用縮放系 數除所計算出的。而且，沿時間方向滑動計算小波係數。例如時序數據(1，3)和母小 波(1，-1)的內積是IX (-D+3X1 = 2。由於縮放係數是2"2，所以小波係數為2"2 = 1.4142(圖5中的W(1Y3)。以下，對於(5，11)、(12，13)、(0，1)同樣分別計算出小 波係數。如上所述，在解析級別1中，計算出{w(1\_3 = 1.4142，Wai1^2 = 4.2426, w(1)M =0.7071，Wa), = 0.7071}四個小波係數。在此，在本實施方式中，Wa),表示基於時刻t 的小波係數。
而且，解析級別2的小波係數通過計算出2倍周期的母小波(-1，-1，1，1)與 時序數據的4個數據的內積，用該解析級別的縮放係數2除所計算出的。
如上所述，包含前段裝置計算出的各解析級別的小波係數和最高縮放係數的信 號被輸入到輸入單元110。輸入單元110處理信號後將數據發送到運算處理單元120。對 相關數據nt也進行同樣的信號處理並發送。各延遲處理部1 存儲保持上述那樣發送來 的數據。在此，例如存儲保持從時刻t開始基於過去的規定時間量的時序數據計算出的規 定數量的小波係數或最高縮放係數。而且，也存儲保持規定數量的相關數據。
輸入層處理部121的頻率解析輸入層處理部122基於各延遲處理部1 存儲保持 的規定數量的小波係數或最高縮放係數進行運算處理。此時，頻率解析輸入層處理部122 如上所述進行基於解析級別和相同數量的神經元的運算處理。
圖6是表示神經元的示意圖。在此，對神經元中的運算處理進行說明。如圖6 所示，各神經元具有數據輸入部、運算部、輸出部。在圖6的神經元中，例如計算對解 析級別L的從時刻t開始經過規定時間量的小波係數WaV W(L)m, Wwi^2, W(L)i_3> Wwm 分別乘以權重係數11(、、h(L)M, 11(、_2、11(、_3、IiaY4的總和4。然後，將總和4代入例 如預先設定的S形函數那樣的傳遞函數f中進行閾值的處理，從而計算出輸出值0l。若用 數學式表示以上內容則由下式(4)來表示。在本實施方式中，輸出值O1為基於時刻t的 神經元的輸出值，由各神經元進行這樣的運算處理。
(數學式3)
權利要求
1.一種時序數據預測神經網絡裝置，其處理按時序表示了預測對象的數值的時序數 據，計算出所述數值的預測值，所述時序數據預測神經網絡裝置的特徵在於，具備輸入單元，其被輸入對所述時序數據進行多重解析度解析所得到的、表示多個解析 級別的特徵的值，作為解析數據；以及運算處理單元，其具有輸入層處理部，該輸入層處理部在計算所述預測值時，基於 所述多個解析級別中最高解析級別的解析數據進行運算處理，將處理後的結果的數據與 次高解析級別的解析數據一起進行運算處理，並從最高解析級別到最低解析級別，對基 於上位解析級別中運算處理的結果的數據和所述下位解析級別中的解析數據進行運算處 理。
2.根據權利要求1所述的時序數據預測神經網絡裝置，其特徵在於，所述運算處理單元還具有一個或多個延遲處理部，用於存儲保持過去的規定數量 的、輸入到所述輸入單元的數據。
3.根據權利要求1或2所述的時序數據預測神經網絡裝置，其特徵在於，所述運算處 理單元還具有中間層處理部，其基於所述輸入層處理部處理的結果的數據進行運算處理；以及輸出層處理部，其基於該中間層處理部處理的結果的數據進行運算處理，並輸出所 述預測值。
4.根據權利要求1至3中任一項所述的時序數據預測神經網絡裝置，其特徵在於，所述多重解析度解析是使用了小波的頻率解析，基於頻率越低的小波的信號得到的所述解析數據，其解析級別越高。
5.根據權利要求4所述的時序數據預測神經網絡裝置，其特徵在於，作為所述解析數據具有小波係數。
6.根據權利要求5所述的時序數據預測神經網絡裝置，其特徵在於，在所述輸入單元，還被輸入有所述最高解析級別中縮放係數的數據，作為所述解析 數據，所述運算處理單元，基於所述最高解析級別的小波係數的數據和所述縮放係數的數 據進行所述運算處理。
7.根據權利要求1至6中任一項所述的時序數據預測神經網絡裝置，其特徵在於，在所述輸入單元，還被輸入有與所述解析數據相關的相關數據，所述輸入層處理部還基於到所述最低解析級別所處理的結果的數據和所述相關數 據，進行運算處理。
全文摘要
本發明提供一種時序數據預測神經網絡裝置，能夠在解析級別間進行協作並能夠進行高精度的預測值計算。在處理按時序表示預測對象的數值的時序數據，並計算出數值的預測值的時序數據預測神經網絡裝置中具備輸入單元，將對時序數據進行多重解析度解析所得到的、表示多個解析級別的特徵的值作為解析數據輸入；運算處理單元，具有輸入層處理部，該輸入層處理部在計算預測值時，基於多個解析級別中最高解析級別的解析數據進行運算處理，將處理結果的數據與次高解析級別的解析數據一起進行運算處理，並從最高解析級別到最低解析級別對基於某解析級別的解析數據進行運算處理的結果的數據和位於某解析級別下位的解析級別的解析數據進行運算處理。
文檔編號G06N3/02GK102024178SQ20101028068
公開日2011年4月20日 申請日期2010年9月10日 優先權日2009年9月16日
發明者伊加田惠志 申請人:衝電氣工業株式會社