基於局部收斂權陣進化的BP神經網絡MapReduce訓練方法與流程
2023-10-18 03:48:09 1
本發明涉及大數據與雲計算領域，尤其涉及一種基於局部收斂權陣進化的BP神經網絡MapReduce訓練方法。
背景技術：
隨著大數據時代的到來，各行各業對大數據的處理速度要求越來越高，傳統的串行化BP神經網絡訓練方法已不能滿足需求。因此，越來越多的領域採用在雲計算環境下利用MapReduce並行訓練方法來實現對大數據的處理。但現有的MapReduce並行訓練過程中，Map任務只能輸出局部收斂權陣，而對這些局部收斂權陣，Reduce任務通過簡單的加權平均方法得出最終結果，這種方式存在以下缺點：
1、Map任務中訓練收斂速度慢，易陷入局部極值；
2、Reduce任務中的加權平均缺乏理論依據；
3、無法保證訓練最終達到全局收斂性。
技術實現要素：
為解決上述問題，本發明結合遺傳算法的優勢，將遺傳算法應用於BP神經網絡MapReduce訓練中，提出了基於局部收斂權陣進化的BP神經網絡MapReduce訓練方法。
本發明採用的技術方案如下：
一種基於局部收斂權陣進化的BP神經網絡MapReduce訓練方法，包括以下步驟：
步驟一、將訓練樣本集劃分成多個輸入數據分片，每個輸入數據分片對應傳遞到一個Map任務中；
步驟二、各Map任務接收輸入數據分片，分別使用獲得的輸入數據分片對初始BP神經網絡進行迭代訓練，首次訓練時初始BP神經網絡的權陣隨機產生，Map任務結束，每個Map任務產生一個對輸入數據分片達到局部收斂的權陣，之後將各權陣傳遞到Reduce任務作為遺傳算法的初始種群；
步驟三、Reduce任務接收到所有Map任務產生的局部收斂權陣，利用遺傳算法對各局部收斂權陣進行進化，最終輸出經遺傳算法優化的種群；
步驟四、步驟一～三作為MapReduce訓練BP神經網絡的一次迭代，當一次迭代結束後，利用步驟三輸出的種群中的各局部收斂權陣對訓練樣本集進行全局收斂性判斷；如果該輪次已經產生對訓練樣本集全局收斂的權陣，則MapReduce訓練結束；否則選取步驟三最終輸出種群中適應度最高的個體，作為下輪MapReduce迭代時所有Map任務的初始權陣；
步驟五、重複進行步驟二～四，直到MapReduce訓練BP神經網絡達到全局收斂時訓練結束。
步驟四中判斷某局部收斂權陣是否對訓練樣本集全局收斂的過程如下：每個Map任務分別將步驟三輸出種群中的每個個體作為初始權陣，通過各自的輸入數據分片對BP神經網絡進行迭代訓練，得出的累積誤差取均值，得出誤差均值E，所有Map任務對於某個個體得出誤差均值集合{E1,E2,...,En}，n為Map任務的個數，當每個Map任務最終產生的誤差均值都達到預期誤差，即max{E1,E2,...,En}<δ時，即可判定該個體即局部收斂權陣對訓練樣本集已經全局收斂。由於每個Map任務使用相同的初始權陣，同時所有Map接收到的輸入數據分片合併在一起就是訓練樣本集，因此，當每個Map任務最終產生的誤差均值都達到預期誤差時，即可判定該個體對訓練樣本集全局收斂，該個體即為MapReduce訓練的最終結果。
若經過兩輪迭代未得出訓練結果，則從優化後的種群中選取適應度最高(即誤差最小)的個體作為初始權陣進行下一輪迭代訓練。步驟四中適應度的判斷函數為其中，F表示適應度，E』表示每個個體代表的局部收斂權陣對於訓練樣本集的誤差，該誤差由該個體對於所有輸入數據分片得出的誤差均值E取平均獲得，即E』＝(E1+E2+...+En)/n。
上述步驟所述的輸入數據分片是由訓練樣本集劃分的小樣本集。通過將大樣本集進行合理拆分，利用Map任務分別進行迭代訓練，得出一些局部收斂權陣。然後再由Reduce任務利用遺傳算法將這些局部收斂權陣進行優化，之後再利用BP神經網絡進行全局收斂，判斷收斂效果，反覆多次，尋找出最優的收斂權陣，有效提高收斂速度和訓練精度。
為提高收斂速度，步驟二中各Map任務並行訓練各輸入數據分片。
本發明在Map階段利用初始BP神經網絡分片並行進行局部收斂，可有效提高收斂速度；同時，又利用遺傳算法對局部收斂權陣進行優化，生成最優的收斂權陣，然後再利用BP神經網絡進行全局收斂，相比原有單一的BP神經網絡訓練方法，有效提高了訓練的精度。
附圖說明
圖1是本發明方法的步驟流程圖。
具體實施方式
下面結合附圖對本發明進行詳細說明。
一種基於局部收斂權陣進化的BP神經網絡MapReduce訓練方法，包括以下步驟：
步驟一、將訓練樣本集劃分成多個輸入數據分片(即小樣本集)，每個輸入數據分片對應傳遞到一個Map任務中。
步驟二、各Map任務接收輸入數據分片，分別使用獲得的輸入數據分片對初始BP神經網絡進行迭代訓練(首次訓練時初始BP神經網絡的權陣隨機產)，各Map任務的訓練並行進行。Map任務結束，每個Map任務產生一個對輸入數據分片達到局部收斂的權陣，之後將各權陣傳遞到Reduce任務作為遺傳算法的初始種群。
步驟三、Reduce任務接收到所有Map任務產生的局部收斂權陣，利用遺傳算法對各局部收斂權陣進行進化，最終輸出經遺傳算法優化的種群。
步驟四、步驟一～三作為MapReduce訓練BP神經網絡的一次迭代，當一次迭代結束後，利用步驟三輸出的種群中的各局部收斂權陣對訓練樣本集進行全局收斂性判斷。具體過程如下：每個Map任務分別將步驟三輸出種群中的每個個體作為初始權陣，通過各自的輸入數據分片對BP神經網絡進行迭代訓練，得出的累積誤差取均值，得出誤差均值E，所有Map任務對於某個個體得出誤差均值集合{E1,E2,...,En}，n為Map任務的個數，當每個Map任務最終產生的誤差均值都達到預期誤差，即max{E1,E2,...,En}<δ時，即可判定該個體對訓練樣本集已經全局收斂。
如果該輪次已經產生對訓練樣本集全局收斂的權陣，則MapReduce訓練結束。否則根據上文得到的每個個體對於所有Map任務的誤差均值，再取平均求出每個個體對於訓練樣本集的誤差，利用該誤差算得每個個體的適應度，選取適應度最高的個體作為下輪MapReduce迭代時所有Map任務的初始權陣。其中，適應度的判斷函數為：F表示適應度，E』表示每個個體代表的局部收斂權陣對於訓練樣本集的誤差，E』＝(E1+E2+...+En)/n。
步驟五、將選取的適應度最高的個體作為MapReduce迭代時所有Map任務的初始權陣，重複進行步驟二～四，直到MapReduce訓練BP神經網絡達到全局收斂時訓練結束。
由於每個計算結點上的Map任務只訓練一個小的樣本集，並行訓練的過程可大大提高訓練速度。另外，全局收斂的判斷可看作是下一輪訓練的開始，不會增加額外的計算時間。因此，該方法在時間效率上是可行的。