一種用於構建神經網絡的方法和設備與流程
2023-09-20 07:33:00
本公開涉及神經網絡技術，更特別地涉及一種用於構建神經網絡的方法和設備。
背景技術：
神經網絡是一個複雜的網絡系統，其是通過將大量被稱作「神經元」的簡單處理單元廣泛地互相連接而形成的。神經網絡可以反映人腦功能的許多基本特徵，它是一個高度複雜的非線性動力學習系統。通常，神經網絡模型由網絡拓撲、節點特點和學習規則來表示。神經網絡的網絡拓撲包括網絡的層數、各層神經元的數量以及各個神經元之間相互連接方式。神經網絡已被證明是一種非常有效的方法，而且被廣泛應用在預測、圖像和語音模式識別及函數優化等領域。但是同時神經網絡也具有與其關聯的缺點，諸如關聯複雜、可解釋性差等。並且由於神經網絡中存在很多不必要的連接及邊權，可能導致訓練過程既繁瑣又費時。
在由Hinton等人發表的文章「Improving neural networks by preventing co-adaptation of feature detectors」CoRR,abs/1207.0580(2012)中，公開了一種神經網絡的構建方法，其中在神經網絡訓練時，隨機選擇以使網絡中的某些隱含層的節點的權重不工作，以便減小有連接關係隱含節點的共同作用，從而提高神經網絡的性能，防止模型過擬合問題。
出於說明的目的，在圖1中示出了該文章中所提出的神經網絡模型訓練方法的流程圖。如圖1所示，首先初始化神經網絡的拓撲結構。這特別地可以包括在步驟S101，首先設定神經網絡的輸入因子、輸出因子；在步驟S102，設定隱含層中的神經元的數目；以及 在步驟103，對各隱含層的神經元之間執行全連接。接著輸入樣本數據執行網絡訓練。特別地，可以在步驟S104輸入樣本數據，調整神經元的數目和連接關係，訓練連接權重。這例如包括針對每個樣本隨機使得隱含層以及輸入層的部分神經元不工作。在利用訓練樣本進行訓練後神經網絡訓練完成，這時神經元的連接權重被確定。在該文中提供的方法特別適用於訓練樣本較少的情況，在樣本較少的情況下可以通過消除過擬合問題來提高神經網絡性能。然而，當訓練樣本足夠多時，這種隨機丟棄隱含層節點的方法卻會影響到最終神經網絡的預測精度。
因此，在本領域中存在一種對用於神經網絡構建的技術進行改進的需求。
技術實現要素：
有鑑於此，本公開公開了一種用於構建神經網絡的方法和設備，其至少部分上消除或者緩解了上述問題。
在根據本公開的第一方面中，提供了一種用於構建神經網絡的方法。該方法可以包括獲取目標數據與其影響因素之間的關聯關係模型，所述關聯關係模型表徵所述目標數據與其影響因素之間的關聯性；根據所述關聯關係模型，設定所述神經網絡的網絡拓撲；以及利用樣本數據對所述神經網絡進行訓練。
在根據本公開的第一方面的一個實施方式中，根據所述關聯關係模型，設定所述神經網絡的網絡拓撲可以包括：基於所述關聯關係模型，確定所述神經網路的輸入因子和輸出因子以及確定所述神經網絡的輸入因子和輸出因子與隱含層中的神經元的連接。
在根據本公開的第一方面的另一實施方式中，確定所述神經網絡的輸入因子和輸出因子與隱含層中的神經元的連接可以包括：根據所述關聯關係模型，確定所述神經網絡的各個輸入因子對於各個輸出因子的權重；以及根據所述權重，確定所述輸入因子和輸出因子與所述隱含層的神經元的連接。
在根據本公開的第一方面的又一實施方式中，根據所述關聯關係模型，設定所述神經網絡的網絡拓撲可以包括：針對第一隱含層，添加數目與所述輸出因子的數目相同的神經元，所述神經元分別與相應的輸出因子連接，並且根據所述關聯關係模型，將添加的所述神經元與所述輸入因子相連；以及針對所添加的神經元進行複製，以在所述第一隱含層產生用於各個輸出因子的設定數目的神經元。
在根據本公開的第一方面的另一實施方式中，所述方法可以進一步包括針對其他隱含層：添加與所述其他隱含層的上一隱含層中的用於各個輸出因子的神經元相同的神經元，以及在所述上一隱含層中和在所述其他隱含層中的用於相同輸出因子的神經元之間進行全連接。
在根據本公開的第一方面的再一實施方式中，其中根據所述關聯關係模型，設定所述神經網絡的網絡拓撲還可以包括：根據所述關聯關係模型來設定每個隱含層的神經元的數目。
在根據本公開的第一方面的又一實施方式中，其中根據所述關聯關係模型來設定每個隱含層的神經元的數目可以包括:確定與各個輸出因子相關聯的權重佔所有權重之和的比例；以及基於確定的所述比例，確定每個隱含層中與各個輸出因子相關的神經元的數目。
在根據本公開的第一方面的另一實施方式中，基於確定的所述比例，確定每個隱含層中與各個輸出因子相關的神經元的數目可以包括：通過下式來確定所述神經元的數目：
k j = m j + 1 + μ j α ]]>
其中kj指示與第j個輸出因子相關聯的神經元的數目；mj指示與第j個輸出因子相關聯的輸入因子的數目；以及μj指示與第j個輸出因子相關聯的權重佔所有權重之和的比例；α為在1至10之間的預定常數。
在根據本公開的第一方面的一個實施方式中，所述獲取目標數據及其影響因素之間的關聯關係模型可以包括：使用Granger因果圖模型，提取至少包含目標數據及其可能影響因素的多元時序列數據 的數據元素之間的關聯關係。
在根據本公開的第一方面的另一實施方式中，可以在維持所設定的所述神經網絡的網絡拓撲的結構的情況下，對所述神經網絡進行訓練。
根據本公開的第二方面，提供了一種用於構建神經網絡的設備。該設備可以包括：模型獲取模塊，被配置為獲取目標數據與其影響因素之間的關聯關係模型，所述關聯關係模型表徵所述目標數據與其影響因素之間的關聯性；拓撲設定模塊，被配置為根據所述關聯關係模型，設定所述神經網絡的網絡拓撲；以及網絡訓練模塊，被配置為利用樣本數據對所述神經網絡進行訓練。
根據本公開的第三方面，提供了一種計算程序產品，其上包括有電腦程式代碼，當被加載到計算機設備中時，其使得該計算機設備執行根據本公開的第一方面的方法。
根據本公開，提供了一種改進的用於構建神經網絡的方法，其中通過挖掘輸入輸出數據之間的關聯關係模型來初始設定神經網絡的網絡拓撲。利用該方法可以在不影響模型預測精度的情況下，大大節省網絡的訓練時間。
附圖說明
通過對結合附圖所示出的實施方式進行詳細說明，本公開的上述以及其他特徵將更加明顯，本公開的附圖中相同的標號表示相同或相似的部件。在附圖中：
圖1示意性地示出了現有技術中的一種用於神經網絡構建的方法的示例；
圖2示意性地示出了根據本公開的一個實施方式的用於構建神經網絡的方法的流程圖；
圖3示意性地示出了根據本公開的一個實施方式的採樣數據的示例；
圖4示意性地示出了根據本公開的一個實施方式的目標數據及 其影響因素之間的關聯關係模型的示意圖；
圖5A至圖5C示意性地示出了根據本公開的一個實施方式的隱含層的構建的示意圖；以及
圖6示意性地示出了根據本公開的一個實施方式的用於構建神經網絡的設備的方框圖。
具體實施方式
在下文中，將參考附圖詳細描述本公開的各個示例性實施方式。應當注意，這些附圖和描述涉及的僅僅是作為示例的優選實施方式。可以應該指出的是，根據隨後的描述，很容易設想出此處公開的結構和方法的替換實施方式，並且可以在不脫離本公開要求保護的公開的原理的情況下使用這些替代實施方式。
應當理解，給出這些示例性實施方式僅僅是為了使本領域技術人員能夠更好地理解進而實現本公開，而並非以任何方式限制本公開的範圍。此外在附圖中，出於說明的目的，將可選的步驟、模塊、單元等以虛線框示出。
在此使用的術語「包括」、「包含」及類似術語應該被理解為是開放性的術語，即「包括/包含但不限於」。術語「基於」是「至少部分地基於」。術語「一個實施例」表示「至少一個實施例」；術語「另一實施例」表示「至少一個另外的實施例」。其他術語的相關定義將在下文描述中給出。
出於說明的目的，在具體描述本公開之前，將首先對神經網絡進行簡要描述。神經網絡是由大量、簡單的處理單元(稱作神經元)廣泛地相互連接而形成的複雜網絡系統，它反映了人腦功能的許多基本特徵，是一個高度複雜的非線性動力學系統。神經網絡的拓撲結構通過包括輸入層、一層或多層隱含層以及輸出層。輸入層負責接收輸入數據(輸入因子)，並通過激勵函數將其輸出到隱含層。神經網絡可以包含一個或多個隱含層，每個隱含層包括若干神經元。神經元是一個多輸入單輸出信息處理單元，用於對輸入的信息進行 非線性處理。簡而言之，隱含層負責接收輸入層的輸出，並經過激勵函數而將其輸出到輸出層。需要說明的是，隱含層的神經元並不能從系統外部觀察到，也就是說，從外部無法感覺到神經元的存在。輸出層負責接收隱含層的輸出，並通過激勵函數產生整個網絡的輸出結果。
在下文中，將參考附圖對根據本公開的實施方式的用於構建神經網絡的方法進行描述。在下面的描述中，將參考諸如PM2.5、SO2的空氣品質預測對本公開的實施方式進行描述。然而，需要說明的是，本公開並不僅限於此，而是也可以用於任何其他需要的場合。
圖2示意性地示出了根據本公開的一個實施方式的用於構建神經網絡的方法的流程圖。如圖1所示，首先在步驟S201，獲取目標數據與其影響因素之間的關聯關係模型，所述關聯關係模型表徵所述目標數據與其影響因素之間的關聯性。
在本公開的實施方式中，將首先獲取諸如PM2.5、SO2等目標數據及其影響因素之間的關聯關係模型，所述關聯關係模型反映所述目標數據與其影響因素之間的關聯關係，即目標數據與哪些影響因素相關聯以及關聯程度(可選)。該關聯關係模型可以通過任意適當的方式從採集數據中提取。在根據本公開的一個實施方式中，可以使用Granger因果圖模型，提取至少包含目標數據及其可能影響因素的多元時序列數據的數據元素之間的關聯關係。
採集數據例如可以包括氣象數據和空氣品質數據，並且還可以優選地包括交通數據、人口密度數據和汙染源數據中的至少一項。對於收集數據，首先對數據進行預處理。例如可以將其歸一化為具有相同時間尺度的數據序列，然後例如通過差分處理對其執行平穩化處理，接著例如基於時長和時間滯後約束將其轉化為樣本序列。此後，可以採用因果圖迭代學習過程來識別多元時序列數據的數據元素之間的關聯以得到因果圖序列。例如，可以首先將數據序列劃分為預定數目的段，得到每一段序列的因果圖。然後可以通過計算整個序列中的每個樣本與得到的因果圖的擬合誤差，而將每個樣本 重新劃歸到與其擬合誤差最小的因果圖所對應的樣本段中。針對新的樣本更新因果圖，並合併相似的因果圖和對應的樣本段。例如，可以基於因果圖中各個時序列數據元素的權重計算歐氏距離，由此來確定相似的因果圖。隨後，可以確定更新的因果圖與原因果圖之間的變化。如果因果圖沒有發生變化，則認為因果圖迭代收斂，並結束此因果圖迭代學習過程。否則，重新計算每個樣本的擬合誤差並將每個樣本重新劃歸到與其擬合誤差最小的因果圖所對應的樣本段中，並且運行下一輪計算。在確定迭代收斂後最終得到的因果關係圖即為關聯關係模型。
出於說明的目的，在圖3中示意性地示出了根據本公開的一個實施方式的採集數據的示例，並且在圖4中示意性地示出了根據本公開的一個實施方式的目標數據及其影響因素之間的關聯關係圖的示意圖。
如圖3所示，採集數據可以包括在在不同時間點的一氧化碳數據、PM2.5數據、SO2數據、交通數據、溫度數據、溼度數據、風速數據等。通過例如上面給出的關聯關係提取方法，針對採集數據執行關聯關係分析後，可以得到目標數據SO2和PM2.5與各個影響因素之間的關聯關係模型，如圖4所示。在圖4中可以清楚看出，SO2與交通和溫度相關，而PM2.5與交通和風速相關。在圖4中下部的表格中示出了各個影響因素對於各個目標數據的權重。
接著在步驟S202，根據所述關聯關係模型，設定所述神經網絡的網絡拓撲。
與傳統方法中基於經驗預先設定神經網絡的網絡拓撲不同，在本公開的實施方式中，基於關聯關係模型來設定神經網絡的網絡拓撲。例如可以確定神經元網絡的輸入層中的輸入因子、輸出層的輸出因子以及所述輸入因子和輸出因子與隱含層中的神經元的連接關係。隱含層的個數可以根據通過工程試驗或者通過經驗確定，而每層中的神經元的數據可以根據經驗公式確定或者根據關聯關係模型來確定。下面將對此進行詳細描述。
根據關聯關係模型所表徵的目標數據與其影響因素之間的關聯關係，可以確定出神經網絡的輸入層中的輸入因子和輸出層中的輸出因子。特別地，對於關聯關係模型中表徵的目標數據和與其具有關聯性的影響因素，可以將他們分別確定為輸出因子和輸入因子。例如，根據圖4中示出的關聯關係模型，可以確定輸出因子是PM2.5和SO2，而輸入因子是交通數據、溫度數據和風速數據。通過確定輸入因子和輸出因子，可以確定出輸入層中的神經元接收的數據和輸出層中的神經元輸出的數據。因此，在根據本公開的實施方式中，基於從採集數據中提取的目標數據及其影響因素之間的關聯關係模型來確定輸入因子和輸出因子，而非基於經驗關係來設定。通過這種方式可以在保證預測精度的情況下，減少不必要的輸入數據，這將有助於節省網絡訓練的時間。
此外，進一步，可以確定神經網絡的各個輸入因子對於各個輸出因子的權重，如圖4中的下部表格所示，該權重反映出各個輸入因子對於輸出因子的影響程度或者重要性。所述權重可以在隨後的步驟中用於確定所述輸入層、所述輸出層與所述隱含層的神經元的連接。
對於神經網絡的拓撲結構而言，除了輸入層和輸出層外，每個隱含層中的神經元的數目也是需要設定的。在本公開的實施方式中，每個隱含層中的神經元的數目可以按照多種方式確定。例如，可以根據經驗公式確定，或者替代地同樣根據關聯關係模型來確定該數目。
例如，在根據本公開的一個實施方式中，每個隱含層中的神經元的數目採用下述經驗公式來確定：
k = m + n + α ]]> (式1)其中k指示一個隱含層中的神經元的數目；m指示輸出因子的數目，n指示輸入因子的數目，α為在1至10之間的預定常數。例如，在兩個輸出因子、三個輸入因子以及α為設為5的情況下，k為7。即，每個隱含層中的神經元的總數為7。可以確定神經元在第一輸出因子 和第二輸出因子之間進行劃分，例如可以基本上均分。在k為7的情況下，例如可以三個用於第一輸出因子，四個用於第二輸出因子，反之亦然。而對於總數為偶數(例如8個)的神經元，則可以針對每個輸出因子分配4個神經元。
此外，也可以基於圖4中示出的關聯關係模型來進行劃分。例如，可以根據關聯關係模型，確定與各個輸出因子相關聯的權重佔所有權重之和的比例；然後基於確定的所述比例，在所述第一輸出因子和第二輸出因子之間分配所述神經元。例如與第一輸出因子SO2和第二輸出因子PM2.5相關聯的權重佔所有權重之和的比例μ1和μ2分別為：
μ 1 = 0.21 + 0.11 0.21 + 0.11 + 0.18 + 0.31 0.4 ]]> (式2)
μ 2 = 0.18 + 0.31 0.21 + 0.11 + 0.18 + 0.31 0.6 ]]>
這樣，就可以根據確定的比例確定出每個隱含層中用於第一輸出因子的神經元節點為3(0.4*7≈3)而用於第二輸出因子的神經元的節點為4(0.6*7≈4)。
在根據本公開的另一實施方式中，可以根據關聯關係模型利用另一方式來確定每個隱含層中的神經元的數目。例如，可以根據關聯關係模型，確定與各個輸出因子相關聯的權重佔所有權重之和的比例；然後基於確定的所述比例，確定每個隱含層中與各個輸出因子相關的神經元的數目。特別地，在一個特定實例中，可以基於通過下式來確定所述神經元的數目：
k j = m j + 1 + μ j α ]]> (式3)
其中kj指示與第j個輸出因子相關聯的神經元的數目；mj指示與第j個輸出因子相關聯的輸入因子的數目；以及μj指示與第j個輸出因子相關聯的權重佔所有權重之和的比例；α為在1至10之間的預定常數。例如，對於圖4示出的關聯關係模型，可以將與第一輸出因子SO2和和第二輸出因子PM2.5相關聯的權重分別佔所有權重之和的比例μ1和μ2分別確定為0.4和0.6，如式2所示。接著，根據上 面給出的式3，可以確定在隱含層中用於第一輸出因子和第二輸出因子的節點數目分別為
k 1 = 2 + 1 + 0.4 * 5 = 4 ]]>
k 2 = 2 + 1 + 0.6 * 5 = 5 ]]>
通過這樣的方式，就可以確定出每個隱含層總共包括9個節點，其中4個是用於第一輸出因子SO2，5個用於第二輸出因子PM2.5。
在確定了隱含層數目之後，可以執行神經網絡的隱含層構造。例如對於第一隱含層，可以首先添加數目與輸出因子的數目相同的神經元，並將所述神經元分別與相應的輸出因子連接。接著，根據所述關聯關係模型所表示的輸入因子與輸出因子之間的關聯關係，將與輸出因子連接的神經元連接到與該輸出因子有關聯關係的輸入因子。圖5A示出了在添加神經元並將其與輸入因子和輸出因子連接後神經網絡的圖示。如圖5A所示，其中添加了與第一輸出因子SO2和第二輸出因子PM2.5對應的兩個神經元，其中利用以點填充的圓示出針對第一輸出因子SO2添加的神經元，並利用以十字格填充的圓來示出針對第二輸出因子PM2.5添加的神經元。在圖5A中，所添加的神經元其中一個與第一輸出因子SO2連接，並且依據圖4示出的關聯關係模型，將該神經元與交通和溫度輸入因子連接，而另一個神經元與第二輸出因子PM2.5連接，並且依據圖4示出的關聯關係模型，該神經元還與交通和風速輸入因子連接。
接下來，可以針對所添加的神經元進行複製，以在所述第一隱含層產生用於各個輸出因子的設定數目的神經元。對於上述4個神經元是用於第一輸出因子SO2以及5個神經元用於第二輸出因子PM2.5的情況，可以另外複製三個與上面針對第一輸出因子SO2所添加的神經元節點，並複製四個與上面針對第二輸出因子PM2.5添加的神經元節點。複製的這些節點與被複製的節點與輸入因子和輸出因子具有相同的連接關係。如圖5B所示。
進一步，在神經網絡還具有其他隱含層的情況下，可以針對其他隱含層：添加與該其他隱含層的上一隱含層中的用於各個輸出因子 的神經元相同的神經元。而在上一隱含層中和在該其他隱含層中的用於相同輸出因子的神經元之間進行全連接。例如對於第二隱含層，可以添加與第一隱含層中的神經元數目相同的神經元，即共計9神經元，並且其中4個用於第一輸出因子SO2，5個用於第二輸出因子PM2.5。所添加的第二隱含層的神經元代替第一層神經元與輸入因子連接，而在第一隱含層和第二隱含層的用於相同輸出因子的神經元之間執行全連接，如圖5C所示。對於第三或更上層的隱含層，可以採用類似方式確定，此處出於簡化目的，不再進行詳細說明。此處，需要說明的是，儘管每個隱含層中的節點與其他隱含層的節點數目是類似的，但是各個隱含層中的神經元中的激勵函數並不一定是相同。也就是說，根據實際應用或者需要可以將這些神經元設置為具有相同的激勵函數，或者設置為具有不同的激勵函數。
通過上面所述的操作，可以形成初始的神經網絡拓撲結構，如圖5C所示，其中具有兩個隱含層。此外，從該圖5C也可以清楚看出，並未在各個隱含層的所有神經元之間進行全連接，而是僅在各個隱含層中用於相同輸出因子的神經元之間執行全連接。在根據本公開的方法中，通過關聯關係模型減少了隱含層之間的不必要的連接，因此這將會加快神經網絡的訓練，同時不會影響預測精度。
接著在步驟S203，利用樣本數據對所述神經網絡進行訓練。訓練方法可以採用現有技術中的任何方法，例如較常用的監督學習方法，其將樣本數據中的對應輸出因子作為期望值輸出值，並將該期望輸出至於實際輸出值進行比較來調整權重，直至實際輸出值與期望輸出值的差別最小或者低於預定的閾值。在訓練過程中，可以對於每個樣本數據，使神經網絡的拓撲結構均保持不變。即，並不改變初始設定的神經網絡中的神經元的數目及其連接關係。這樣可以進一步的消除因改變連接關係或者隨機使一些神經元不同工作而造成的預測精度降低問題。
根據本公開，提供了一種改進的用於構建神經網絡的方法，其中通過挖掘輸入輸出數據之間的關聯關係模型來初始設定神經網絡的 網絡拓撲。利用該方法可以在不影響模型預測精度的情況下，顯著節省網絡的訓練時間。
此外，在本公開中，還提供了一種用於構造神經網絡的設備，下面將參考圖6對其進行詳細描述。
如圖6所示，設備600可以包括模型獲取模塊610、拓撲設定模塊620以及網絡訓練模塊630。該模型獲取模塊610可以被配置為獲取目標數據與其影響因素之間的關聯關係模型，所述關聯關係模型表徵所述目標數據與其影響因素之間的關聯性。該拓撲設定模塊620可以被配置為根據所述關聯關係模型，設定所述神經網絡的網絡拓撲。網絡訓練模塊630可以被配置為利用樣本數據對所述神經網絡進行訓練。
在根據本公開的一個實施方式中，所述拓撲設定模塊620可以包括因子及連接確定模塊621。該因子及連接確定模塊622可以被配置為基於模型獲取模塊619所提供的關聯關係模型，確定所述神經網路的輸入因子以及輸出因子以及確定輸入層和輸出層與隱含層中的神經元的連接。特別地，所述因子及連接確定模塊被進一步配置為確定神經網絡的各個輸入因子對於各個輸出因子的權重；以及根據所述權重，確定所述輸入因子和輸出因子與隱含層的神經元的連接。
在根據本公開的一個實施方案中，所述拓撲設定模塊620包括隱含層構造模塊624。所述隱含層構造模塊624可以被配置為：針對第一隱含層，添加數目與輸出因子的數目相同的神經元，所述神經元分別與相應的輸出因子連接，並且根據所述關聯關係模型，將添加的所述神經元與所述輸入因子相連；以及針對所添加的神經元進行複製，以在所述第一隱含層產生用於各個輸出因子的設定數目的神經元。進一步地，所述隱含層構造模塊624可以被配置為針對其他隱含層：添加與所述其他隱含層的上一隱含層中的用於各個輸出因子的神經元相同的神經元，以及在所述上一隱含層中和在所述其他隱含層中的用於相同輸出因子的神經元之間進行全連接。
在根據本公開的一個實施方式中，所述拓撲設定模塊620還可以 包括神經元數目設定模塊626。該神經元數目設定模塊可以如前所述根據經驗公式來設定每個隱含層中的神經元的數目，也可以被配置為根據所述關聯關係模型來設定每個隱含層的神經元的數目。特別地，所述神經元數目設定模塊626進一步被配置為通過下述操作來確定每個隱含層的神經元的數目:確定與各個輸出因子相關聯的權重佔所有權重之和的比例；以及基於確定的所述比例，確定每個隱含層中與各個輸出因子相關的神經元的數目。具體地，所述神經元數目設定模塊可以進一步被配置為通過下式來確定所述神經元的數目：
k j = m j + 1 + μ j α ]]>
其中kj指示與第j個輸出因子相關聯的神經元的數目；mj指示與第j個輸出因子相關聯的輸入因子的數目；以及μj指示與第j個輸出因子相關聯的權重佔所有權重之和的比例；α為在1至10之間的預定常數。
在根據本公開的另一實施方式中，所述網絡訓練模塊630進一步被配置為在維持所設定的所述神經網絡的網絡拓撲的結構的情況下，對所述神經網絡進行訓練。即，在訓練過程中，並不改變初始設定的神經網絡中的神經元的數目及其連接關係。這樣可以進一步的消除因改變連接關係或者隨機使一些神經元不同工作而造成的預測精度降低問題。
在上面的描述中，主要參考空氣品質預測的實施方式對本公開進行了描述；然而需要說明的是，本公開也有可能應用在其他預測場合。此外，在上面的描述中，參考圖3和圖4對採用數據和關聯關係模型進行了描述，然而本公開並不僅限於此，在實際應用中關聯關係模型可能更為複雜。在上文中描述了用於提取關聯關係模型的採用數據和用於訓練神經網絡的樣本數據；需要說明的是，這兩組數據可以是相同的數據或部分相同的數據，也可以是完全不同的數據，只要他們能夠用於關聯關係提取和網絡訓練目的即可。在上面關聯關係模型的提取的描述中參考了特定方式，然而需要說明的是， 也有可能採用任何其他用於提取關聯關係模型的方式對關聯關係模型進行提取。另外，基於關聯關係模型來確定隱含層中的神經元數目的方式也不僅限於上面給出是實例，實際上還可以採用任何其他適當的方式。
另外還需理解的是，本公開的實施方式可以以軟體、硬體或者軟體和硬體的結合來實現。硬體部分可以利用專用邏輯來實現；軟體部分可以存儲在存儲器中，由適當的指令執行系統，例如微處理器或者專用設計硬體來執行。本領域的普通技術人員可以理解上述的方法和設備可以使用計算機可執行指令和/或包含在處理器控制代碼中來實現，例如在諸如磁碟、CD或DVD－ROM的載體介質、諸如只讀存儲器(固件)的可編程的存儲器或者諸如光學或電子信號載體的數據載體上提供了這樣的代碼。本實施例的設備及其組件可以由諸如超大規模集成電路或門陣列、諸如邏輯晶片、電晶體等的半導體、或者諸如現場可編程門陣列、可編程邏輯設備等的可編程硬體設備的硬體電路實現，也可以用由各種類型的處理器執行的軟體實現，也可以由上述硬體電路和軟體的結合例如固件來實現。
雖然已經參考目前考慮到的實施方式描述了本公開，但是應該理解本公開不限於所公開的實施方式。相反，本公開旨在涵蓋所附權利要求的精神和範圍內所包括的各種修改和等同布置。以下權利要求的範圍符合最廣泛解釋，以便包含所有這樣的修改及等同結構和功能。