一種基於道路聚類和雙層雙向LSTM的交通流量預測方法與流程

2023-12-08 22:42:46 3

本發明涉及深度學習、交通流量預測、神經網絡設計、神經網絡模型的集群訓練等技術，特別是一種基於道路聚類和雙層lstm(longshort-termmemory，長短期記憶)深度神經網絡模型的交通流量預測方法，對於提高交通流量預測精度及速度方面有著指導意義。
背景技術：
：隨著大數據時代的到來，大城市實時的交通網絡數據逐漸增加，人工智慧交通預測作為當前熱門的無人駕駛技術中最關鍵的應用之一，可以在考慮時空關係後對交通情況作出合理預測，幫助車輛選擇最合適的路線，特別是在城市擁堵情況下的路線選擇更具有現實意義，提高交通流量預測精度和速度的意義也就不言而喻。為了提高預測準確度，出現了各種複雜的神經網絡和預測算法，例如：基於svm(supportvectormachine，支持向量機)道路車流量預測模型，基於lstm(longshort-termmemory，長短期記憶)的交通流量預測方法，基於卷積神經網絡的短期交通流量預測方法等，但這些模型忽視了數據本身隱藏的信息：在數據預處理階段，沒有充分挖掘和利用路網的拓撲結構建立空間信息，在設計神經網絡方面，也忽視了某些重要信息的復用，比如需要預測某條路某時刻的交通流量，那麼該條路在上一時刻的交通流量至關重要，可適當作為多個網絡層的輸入實現信息的復用，在訓練神經網絡模型時，大多數的設計都是將所有的數據統統輸入到一個神經網絡模型中讓它去學習數據隱藏的規律和信息，這樣的方式直接忽視了道路之間的差異性，默認道路之間數據的規律幾乎是一致的，實際上在交通預測的大量數據中，某些道路的交通流量序列差異非常大，而有些序列差異卻很小，導致訓練出來的模型在預測精度上很難有較大的提高。本發明採用道路聚類的方式很好的解決了上述道路之間的交通流量序列差異大的問題，在設計神經網絡時，也充分利用了數據隱含的路網拓撲結構信息，使得本發明的預測精度相對於現有技術的預測精度有較大的提高。為了加快神經網絡模型在集群中訓練和測試的速度，出現了許多加速的方式，例如通過小輸入學習大輸入的基於深度神經網絡的模型加速方法，通過小網絡學習大網絡的基於深度神經網絡的模型加速方法，shufflenet:anextremelyefficientconvolutionalneuralnetworkformobiledevices，self-normalizingneuralnetworks等，但這些方式都是以改變神經網絡模型本身為前提來加速集群訓練的速度，而忽視了深度學習框架本身的集群訓練時間的限制，而且目前的神經網絡集群訓練方式大多使用深度學習框架自帶的集群訓練，但傳統的深度學習框架自帶的集群訓練都需要神經網絡模型在節點之間頻繁地通信和同步，比如paddlepaddle，這使得集群訓練的速度很難有較大的提高。技術實現要素：針對目前神經網絡對交通流量預測的精度和速度較難提高的現狀以及現有設計存在的一些不足，提出了一種基於道路聚類和雙層雙向lstm深度神經網絡模型的交通流量預測方法，充分利用數據隱藏的信息並實現重要信息的復用，對道路進行相關性聚類，提高了交通流量預測的精度，同時避免了神經網絡模型在集群訓練時在節點之間的通信和同步，提高了集群訓練的速度。本發明技術解決方案：本發明同時提高了深度神經網絡在交通流量預測方面的預測速度和精度。在數據處理階段，對缺失值進行填補來擴充訓練數據、同時利用時間和空間信息讓神經網絡能學到更多數據提供的信息、根據部分歷史流量序列對道路計算相關性並根據相關性對道路進行聚類，將道路分成若干類之後單獨對每類分開進行訓練，進而提高預測精度；在神經網絡模型設計方面，利用雙層雙向lstm的結構，且在每層lstm之後加入兩層全連接層，同時對流量數據相關的信息進行復用，提高模型的預測精度；在神經網絡模型的訓練和測試階段，利用批處理方式將每類道路的訓練任務作為一個作業提交到集群上進行訓練和測試，提高了模型的訓練和測試速度；最後將不同聚類的模型的預測結果進行融合，提高預測精度。本發明在交通流量預測過程中，提出了填補缺失值、數據信息的復用、雙層雙向lstm的網絡結構、道路聚類以及模型融合等方法，提高了神經網絡模型的預測精度，同時拋開了神經網絡模型在集群上傳統的訓練和測試方法，提出了利用批量提交作業的方式進行神經網絡模型的集群訓練和測試，避免了模型訓練和測試過程中頻繁的通信和同步問題，提高了神經網絡模型的訓練和測試速度。本發明的一種基於道路聚類和雙層雙向lstm的交通流量預測方法，具體包括以下步驟：(1)原始訓練數據格式化，訓練數據中的交通流量用1到n之間的數字量化，1表示道路非常通暢，n表示道路非常擁堵，道路擁堵情況由1到n遞增，0表示缺失值；數據格式可準備成如圖1所示，左邊表格為道路在相應時刻對應的流量信息，右邊表格為路網的拓撲結構。(2)檢查訓練數據中交通流量是否存在缺失值0，若存在，轉到步驟(3)，若不存在，跳到步驟(4)；(3)對缺失值採取周圍平均化的方式填補數據，直至填補完所有缺失值；(4)根據道路的部分歷史交通流量序列計算各條道路之間相關性，並根據相關性利用k-means算法進行道路聚類，將道路分為若干類，每類道路包括了若干條道路；(5)利用步驟(4)計算的各條路之間相關性，提取數據的時間和空間信息；(6)設計雙層雙向的lstm深度神經網絡模型對每類道路分別進行訓練，神經網絡模型如圖3所示，其中包括以下部分：對於步驟(5)提取的所有信息，即時間和空間信息通過數據層輸入到模型中，數據層的每個輸出都接一層嵌入層，嵌入層中除了有關交通流量之和的其餘輸出作為第一層lstm的輸入，第一層lstm的輸出結果與嵌入層有關交通流量之和的輸出以及相應道路的交通流量合併到一起作為兩層全連接層的輸入，全連接層的全部輸出作為第二層lstm的輸入，第二層lstm的輸出結果作為另外兩層全連接層的輸入，兩層全連接層的輸出再接一個全連接層，最後輸出預測結果，其中兩層lstm均為雙向的lstm；(7)將每類道路需要訓練的神經網絡模型和數據看成一個作業，利用批處理腳本提交到集群上運行，實現神經網絡模型的集群訓練，從而得到訓練好的神經網絡模型；(8)利用步驟(7)訓練得到的神經網絡模型對需要預測的數據進行預測，預測時將每個預測任務看成一個作業，用批處理腳本提交到集群上進行預測，收集(在步驟4中對道路進行聚類，因此道路會被分為若干類，每類道路裡面包括了若干條道路，每條道路指的是某類中的每條道路，而不是所有道路中的每條道路，具體的聚類類別數取值範圍在後面的步驟(4-3)中給出了)每類道路的預測結果並合併到一起；(9)選擇不同的聚類類別數(聚類的時候可以根據需要聚成不同的類別數，比如第一次可以聚2類，第二次可以聚3類，通俗來講就是將道路劃分成不同的類別數，比如第一次將道路劃分成2類，第二次劃分成3類)，重複步驟(4)到(8)若干次；(10)將若干次的預測結果進行融合得到最終預測結果。(對於不同的聚類類別數，也就、是不同的劃分類別數，會得到若干個結果，比如上面的第一次將道路劃分成2類，得到一個預測結果，第二次將道路劃分成3類，得到一個預測結果，將這兩次得到的結果取平均值得到最終的預測結果，最終預測結果才是有意義的)。所述步驟(3)中的填補數據的具體流程為：對於序列{x,0,0,…,0,y}，其中x與y之間共有i個連續的缺失值0，則填補方式為：p＝random(0,1)，即p隨機選取0到1之間的某個數i為奇數時，i為偶數時，其中表示下取整，表示上取整，若填補完後序列變成{x,0,…,0,m,0,…,0,y}，則對序列{x,0,…,0,m}和序列{m,0,…,0,y}同樣以上述方式填補，以此類推直到填補完所有缺失值；p在本行的前5行定義了，p是隨機選取的0到1之間的某個數，m是利用上述方式填補好的值。所述步驟(4)包括以下幾個子步驟：(4-1)選取訓練數據的20-25％，即具體為：對每條道路，選取相同時刻的一段連續的訓練數據，即交通流量，該一段連續的訓練數據段數據佔這條道路總訓練數據的20-25％；(4-2)根據選取出來的歷史交通流量計算每條道路之間的相關性，得到相關性矩陣；(4-3)根據道路之間的相關性對道路進行k-means聚類，聚類的類數為道路總數的2％-10％，由於每類道路的訓練需要在集群上利用批處理腳本進行提交，類數可以設置為集群節點數的整數倍。所述步驟(5)中的提取數據的時間信息包括：星期幾weekday；是否為周六或周日is_weekend、；小時hour；分鐘minute；空間信息包括：道路的編號road_id；道路在某時刻所對應的交通流量speed；在直接通往某條道路的道路中，即所有入路中，與該條道路最相關的道路在某時刻所對應的交通流量in_speed；在某條道路直接通往的道路中，即所有出路中，與該條道路最相關的道路在某時刻所對應的交通流量out_speed；直接通往某條道路的所有道路，即所有入路，在某時刻所對應的交通流量之和in_spd_sum；某條道路直接通往的所有道路，即所有出路，在某時刻所對應的交通流量之和out_spd_sum；直接通往某條道路的道路總條數，即所有入路總條數in_road_sum；某條道路直接通往的道路總條數，即所有出路總條數out_road_sum；若沒有道路直接通往某條道路，即沒有入路，或者某條道路沒有直接通往的道路，即沒有出路，則相應的交通流量或交通流量之和設置為0，比如：若編號為02的道路沒有直接通往的道路即出路，則該條道路相應的out_speed、out_spd_sum都設置為0。本發明與現有技術相比的優點在於：(1)本發明通過對訓練數據存在缺失值時，對丟失值採取周圍平均化的方式填補缺失數據，提高預測精度；(2)本發明通過一種根據歷史流量數據對道路進行相關性聚類，將道路分成若干組，並在數據預處理階段同時利用時間信息和空間信息，進一步提高了預測精度；(3)本發明設計了一種雙層雙向lstm深度神經網絡模型，提高模型的預測精度；(4)本發明提出了一種對網絡模型進行批量訓練和測試的方法，加快神經網絡模型的訓練和測試速度；(5)本發明提出了一種多模型融合方法，提高預測精度；(6)本發明的神經網絡集群訓練方式沒有使用深度學習框架自帶的集群訓練，而是利用批處理的方式將每個訓練任務當成作業提交到集群中進行訓練，例如：利用htcondor作業提交腳本。本發明避免了神經網絡模型在集群節點之間頻繁的通信和同步，大大提高了集群訓練速度。附圖說明圖1是訓練數據格式樣例；圖2是本發明神經網絡進行交通流量預測時在集群上訓練和測試的流程圖；圖3是本發明雙層雙向lstm深度神經網絡模型的結構圖。具體實施方式為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。此外，下面所描述的本發明各個實施方式中所涉及到的技術特徵只要彼此之間未構成衝突就可以相互組合。本發明的基本思路在於，對缺失數據進行填補，根據道路的部分歷史交通流量的相關性進行聚類，充分提取數據的信息輸入到神經網絡中，並利用批處理腳本(例如htcondor作業提交腳本)實現神經網絡模型集群的訓練和測試，重複聚類、模型訓練和測試等步驟兩到三次以得到兩到三個不同的預測結果，將預測結果進行融合得到最終預測結果。本發明的應用實例如圖2所示。對於訓練數據若有缺失值採取周圍平均化的方式進行填補，根據每條道路的部分歷史交通流量序列計算道路之間的相關性，並根據相關性進行道路聚類將道路分成若干類；同時利用道路的相關性，結合訓練數據的時空信息提取出合適的信息作為神經網絡的輸入；利用設計好的雙層雙向lstm深度神經網絡模型對每類道路分別進行訓練，其中神經網絡模型的結構如圖3所示，將數據預處理時提取的信息經過數據層之後輸入到網絡中，數據層輸出的時間信息和部分空間信息合併在一起後經過第一層雙向lstm層，再與數據層輸出的其餘空間信息合併在一起作為全連接層的輸入，經過兩層全連接層之後再經過第二層雙向lstm，最後經過三層全連接層並輸出預測結果；將每類道路的訓練任務作為作業，利用批處理腳本提交到集群上執行；利批處理腳本提交每類道路的預測任務到集群中，調用訓練好的模型進行預測；將每類道路的預測結果合併在一起；重複執行聚類、模型訓練、預測等步驟兩到三次，生成兩到三個預測結果；對預測結果求平均值作為最終預測結果。如圖2所示，本發明神經網絡進行交通流量預測時在集群上訓練和測試的方法包括以下步驟：(1)原始訓練數據格式化。訓練數據中的交通流量用1到n之間的數字量化，1表示道路非常通暢，n表示道路非常擁堵，道路擁堵情況由1到n遞增，0表示缺失值；訓練數據給出了日期和時刻(年-月-日-小時-分鐘)、道路編號、某時刻某條路對應的交通流量以及路網的拓撲結構(有向圖)。數據格式可準備成如圖1所示，在左邊的表格中，第一行表示時刻，201603010800表示2016年3月1號8點整；第一列表示道路編號，表格中間的主體部分表示某條道路在某時刻對應的交通流量，比如表格中第二行的2表示道路1在2016年9月2號23點55分時刻的交通流量為2(較通暢)，表格中的0表示編號為3998的道路在2016年9月2號23點55分時刻的交通流量缺失。右邊的表格表示路網拓撲結構，第一列是路網中有向邊的起始道路編號，第二列表示目的道路編號，比如第一行中的1、3998表示從道路1有一個路口可以直接到達道路3998。(2)檢查訓練數據中交通流量是否存在缺失值0，若存在，轉到步驟(3)，若不存在，跳到步驟(4)。(3)對缺失值採取周圍平均化的方式填補數據。具體流程為：對於序列{x,0,0,…,0,y}，其中x與y之間共有i個連續的缺失值0，則填補方式為：p＝random(0,1)，即p隨機選取0到1之間的某個數i為奇數時，i為偶數時，其中表示下取整，表示上取整。若填補完後序列變成{x,0,…,0,m,0,…,0,y}，則對序列{x,0,…,0,m}和序列{m,0,…,0,y}同樣以上述方式填補。以此類推直到填補完所有缺失值。(4)根據道路的部分歷史交通流量序列計算各條路之間相關性，並根據相關性利用k-means算法進行道路聚類。(4-1)選取訓練數據的20-25％，以圖1所示訓練數據為例，選取左側表格中的連續n列數據，其中n佔總列數的20-25％，即對每條道路，選取相同時刻的一段連續的訓練數據(交通流量)，該段數據佔這條道路總訓練數據的20-25％。(4-2)根據選取出來的歷史交通流量計算每條道路之間的相關性，得到相關性矩陣。(4-3)根據道路之間的相關性對道路進行k-means聚類，聚類的類數一般在道路總數的2％-10％之間，由於每類道路的訓練需要在集群上利用批處理腳本進行提交，因此類數可設置為集群節點數的整數倍，具體可根據不同的實驗和數據選擇不同的類數。(5)利用步驟(4)計算的相關性，提取數據的時間和空間信息如下(訓練數據格式以圖1所示的為例)：(6)設計雙層雙向的lstm深度神經網絡模型對每類道路分別進行訓練。神經網絡模型如圖3所示，其中包括以下部分：對於步驟(5)提取的所有信息通過數據層輸入到模型中，數據層的每個輸出都接一層嵌入層(embedding層)，嵌入層中除了有關交通流量之和的其餘輸出作為第一層lstm的輸入，第一層lstm的輸出結果與嵌入層有關交通流量之和的輸出以及該條路的交通流量合併到一起作為兩層全連接層的輸入，全連接層的全部輸出作為第二層lstm的輸入，第二層lstm的輸出結果作為另外兩層全連接層的輸入，兩層全連接層的輸出再接一個全連接層，最後輸出預測結果，其中兩層lstm均為雙向的lstm。更詳細的設計可參考圖2。(7)將每類道路需要訓練的神經網絡模型和數據看成一個作業，利用批處理腳本(例如htcondor作業提交腳本)提交到集群上運行，實現神經網絡模型的集群訓練。(8)利用步驟(7)訓練得到的神經網絡模型對需要預測的數據進行預測，預測時將每個預測任務看成一個作業，用批處理腳本提交到集群上進行預測，收集每類道路的預測結果並合併到一起。(9)重複步驟(4)到(7)若干次，其中步驟(4)聚類時選擇的類別數不同於之前聚類的類別數。(10)將若干次的預測結果進行融合得到最終預測結果。具體流程為：預測結果的數據格式與訓練數據一致，以圖1所示訓練數據格式為例，若每次預測結果的數據如下表所示：2017030108002017030108012017030108022017030108031022x1x2x3x41023y1y2y3y4則取每次預測結果中相同道路在相同時刻的預測值求平均值作為最終預測結果。例如取每次預測結果中的x1，對取出來的所有x1求平均值做為道路1022在2017年3月1號8點時刻的最終預測值。以上所述僅為本發明的實施例，並非因此限制本發明的保護範圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的
技術領域：
，均同理包括在本發明的保護範圍內。當前第1頁12