一種基於多源信息融合的十字路口交通事件自動檢測系統的製作方法

2023-05-22 01:22:41

專利名稱：一種基於多源信息融合的十字路口交通事件自動檢測系統的製作方法
技術領域：
本發明涉及到智能交通系統領域，具體地說，本發明是一套針對城市十字路口交
通管理、整合了交通音視頻採集、交通信息處理分析和交通事件自動報警三大模塊的交通
事件自動檢測系統，主要包括設計並實現了一種多源交通信息的採集子系統；實現了基 於交通音頻和交通視頻的交通參數自動提取技術；實現了基於多源信息融合的交通事件自 動檢測技術；實現了交通事件報告、交通事件關聯視頻信息傳輸、交通指揮中心顯示和處理 軟體系統，形成了完整的基於多源信息融合的十字路口交通事件自動檢測系統。
背景技術：
智能交通系統(Intelligent Transportation System, ITS)是人們為了實現美好 生活，獲得理想交通環境而提出的一個對現實和未來世界影響深遠的重大舉措，它將先進 的信息技術、數據通訊傳輸技術、電子傳感技術、電子控制技術以及計算機處理技術等有效 地集成運用於整個交通運輸管理系統，能夠在大範圍內、實時、準確、全方位發揮作用。具體 來講，智能交通系統對道路系統中的交通狀況、交通事故、氣象狀況和交通環境進行實時的 監視，依靠先進的車輛檢測技術和計算機信息處理技術，獲得有關交通狀況的信息，並根據 收集到的信息對交通進行控制，如信號燈、發布誘導信息、道路管制、事故處理與救援等。
隨著城市居民擁有汽車數量的急劇增加，城市交通擁堵成為世界範圍內急待解決 的問題。交通數據表明，在城市交通中，交通事故、車輛拋錨經常引起二次交通事故和非常 嚴重的交通擁堵。過去十幾年裡，國際學術界在交通事件自動檢測(Automatic Incident Detection,AID)技術領域的研發活動非常活躍，但文獻顯示大多技術研發是針對高速公路 或國道上的交通事件檢測而開展，針對城市道路十字路口的交通事件檢測技術研究則相對 滯後。從目前的技術水平來看，以檢測率、誤報率以及檢測平均使用時間這三個性能指標來 衡量，現有十字路口 AID技術性能尚不能適應城市十字路口的交通監控要求，開展針對城 市十字路口的AID技術的研發對及時發現交通事件、疏導交通擁堵、優化十字路口設計等 方面都具有重要意義。 針對城市十字路口，具有交通事件自動檢測功能的智能交通系統主要由三部分組 成十字路口交通信息採集系統、信息處理分析系統、信息顯示和發布系統。現將三個子系 統的背景技術綜述如下。 1 、十字路口交通信息採集系統
背景技術：
交通信息採集系統是智能交通系統的前端，主要完成交通信息的採集、傳輸、存儲 等功能，目前採用的手段包括人工輸入、GPS車載導航儀器、GPS導航手機、車輛通行電子 信息卡、CCTV攝像機、紅外雷達檢測器、線圈檢測器、光學檢測儀等。經過統計，在包含交 通事件自動檢測(AID)技術的智能交通系統中，獲得廣泛研究和應用的是基於地感線圈和 基於計算機視覺技術的系統。基於地感線圈的技術，其主要缺點是安裝和維修時必須阻斷 交通，挖開路面，預埋地感線圈。另外該技術只能得到車流量、車速、車長等有限的交通參 數。相比之下，基於視頻圖像處理的AID技術能夠獲得更多的交通流信息，如車流量、交通
4密度、車速、車型分類、車距、車道佔有率、排隊長度等參數；在十字路口，還可以對車輛闖紅
燈、車輛逆行、車輛超速等違章行為進行實時檢測和分析(包括啟動拍照和車牌識別)，對
路口交通意外事故進行檢測、記錄和報告，以及利用採集的視頻信息對路口交通事故進行
預測分析等。該技術最大的優點是可直觀觀察，安裝簡單，費用較低，安裝維護時不需要破
壞道路和不影響道路交通。然而，單方向、低角度的視頻經常會受到車輛遮擋、陰影、天氣變
化等因素的影響，其檢測效果和事件判斷受到影響。因此，由音頻系統輔助，合理安排十字
路口音視頻設備的布局，將會大大豐富交通信息的採集，為後續的交通事件監測提供可靠、
全面、魯棒的音視頻信息。 2、信息處理分析系統
背景技術：
信息處理分析系統主要是對採集到的交通信息進行分析和處理，最後能夠準確地 判斷交通狀況，為信息顯示和發布系統提供信息。基於圖像處理的視覺監控系統(Visual SurveillanceSystem-VSS)對於監控和減少高速公路和城市交通中的交通事件和交通擁 堵起到了很大的幫助作用。因此，基於視頻的交通事件自動檢測算法受到了重視和廣泛研 究。日本Ikeda團隊研發的基於圖像處理技術的異常事件檢測系統，能夠檢測停駛車輛， 慢行車輛，墜落物體，車輛連續變換車道四種異常交通事件。其算法由車輛提取和異常事件 檢測算法組成，主要是採用基於視頻的背景消除算法和時差方法。日本的Kimachi團隊提 出一種基於圖像序列分析和模糊理論的事件檢測方法，從圖像序列中得到可能導致交通事 件的車輛異常行為，對車輛行駛狀況進行估計，檢測出車輛碰撞，墜落物體等類型的交通事 件。到目前為止，開展針對城市十字路口交通事件自動檢測技術進行研究的主要還有有以 Kamijo為首的東京大學團隊提出了一種基於時空的馬爾科夫隨機數據模型的改進探測算 法，這種算法通過確定在每一幅圖像畫面中的每一個像素的狀態的方法來建立探測問題的 模型，同時確定像素如何沿著X-Y圖像坐標和時間坐標進行狀態轉移。該系統可以識別車 輛碰撞、通過和擁塞三種交通事件；美國明尼蘇達大學的Michalopoulos提出了交通事件 自動檢測算法，該算法的視頻圖像處理單元需要對整個視頻流進行分析處理，檢測出靜止 車輛、行駛非常緩慢的車輛、逆行車輛以及交通事故。該算法的最大優勢是利用了交通流的 時空信息，並可以提供更為豐富的交通信息。美國明尼蘇達大學Veeraraghavan等針對十 字路口事件自動檢測問題，提出採用單個攝像機構建監控系統，運用基於圖像的低層模塊 匹配和基於車輛方向包圍盒的高層卡爾曼濾波來確定運動目標的軌跡，監視路口的交通狀 況，從而檢測交通事故。其核心技術是背景模型建立、目標提取和車輛跟蹤技術、車輛運動 參數獲取算法以及基於模式匹配和狀態估計的事件檢測算法，可實現對車輛行為的理解和 描述。Kamijo提出了一種基於視頻和隱馬爾可夫的十字路口交通事件自動檢測算法，主要 對車輛碰撞、始停車追尾、超車等三種交通事件進行檢測。韓國的Ki等採用視頻技術研發 了複雜十字路口交通事件自動檢測、記錄和報告系統。該系統實際測試結果表明，其交通事 件正確檢測率可到50%，交通事件檢測率可達60%。此外，Michalopoulos團隊針對美國 州際高速公路交通事件自動檢測問題，根據AUT0SC0PE系統採集到的視頻交通信息，研發 了基於視頻圖像處理技術的交通事件自動檢測系統。該系統由39個攝像機構成，安裝歷程 7英裡，採用連續不斷檢測方式，可達到80%的正確檢測率；法國Blosseville採用基於視 頻圖像處理技術的事件檢測算法成功地實現了對高速公路間交通事件的準確檢測；美國加 州大學Trivedi等，針對高速公路的事件檢測，提出了一種新的用於檢測和管理交通事件
5的、採用直線式和全方位攝像機的分布式視頻採集網絡架構，以此提高車輛跟蹤精度，並提 出了採用資料庫管理採集到的交通數據。總結起來，國內外的研究團隊在涉及十字路口的 交通事件自動檢測技術領域開展的研究還非常不足，在基於音頻技術的交通事件自動檢測 技術方面尚處於起步階段。國內外研究文獻表明，十字路口實時交通事件自動檢測技術具 有重要的應用背景和價值，大力研發具有高交通事件正確檢測率、低誤報率的十字路口 AID 系統將有助於加強對城市十字路口的監控、誘導交通、緩解交通擁堵、分析交通事故發生原 因、為設計有利於減少交通事故的十字路口提供支持。
3、信息顯示和發布系統
背景技術：
信息顯示和發布系統主要採用網際網路、手機、車載終端、廣播、電子情報板、電話服 務臺等方式，當交通事件發生時，交通管理中心需要獲得交通信息的顯示和處理功能，其關 聯智能交通系統會採用某種或多種方式公布交通信息，進行疏導或救援。基於地圖的信息 顯示方式是目前國際流行和先進的信息顯示策略，發布系統是智能交通系統決策以後進行 實施和輔助的模塊，而本發明直接利用現有城市地圖、已有模塊進行二次開發，包含了互聯 網(包括網頁和郵件通知)、手機簡訊、電話服務三種信息發布方式，屬於已有手段的組合， 不作為本發明的重點。

發明內容
本發針對城市十字路口交通事件自動檢測問題，開發了基於音視頻融合的交通事 件自動檢測系統，發明主要包括四個部分多源(音視頻、高低視頻)交通信息的採集子系 統；基於交通音頻和交通視頻的交通參數自動提取子系統；基於多源信息融合的交通事件 自動檢測子系統；交通事件報告、交通事件關聯視頻信息傳輸、交通指揮中心顯示和處理軟 件子系統；形成了一套完整的城市十字路口交通信息採集和交通事件自動檢測交通系統。
1、基於多源信息融合的十字路口交通信息實時採集和處理硬體系統架構
在深入分析了典型城市道路十字路口特點的基礎上，本發明採用了基於全方位視 頻圖像採集、多攝像機和線性麥克風陣列的音視頻採集系統協同實現十字路口音視頻道路 交通信息採集的空間布局原則和策略，如圖l所示。具體為低角度四路視頻採集，方向為 出車方向，高度與紅綠燈標誌杆等高，主要監測範圍為出車方向向前至十字路口為止；高位 一路視頻採集，位於十字路口拐角高層建築或高杆上，高度為30-100米可調(隨十字路口 大小調整)，俯視角度與地平線成45-90度可調，主要滿足覆蓋整個十字路口感興趣區域為 準，同時監控一定長度的紅綠燈排隊情況；音頻陣列位於出車方向右側，在出車口向車輛排 隊方向0-30米可調，音頻陣列高度0. 5-2米可調，麥克風陣列方向與地平線成-45—45度 俯仰可調。 為實現十字路口多向道路交通實時全方位監控、交通數據存儲、傳輸和顯示、交通 事件自動檢測等功能，本發明設計並實現了十字路口音視頻信息採集和處理系統的硬體系 統。其中視頻採集系統採用了基於網絡攝像機、信息處理平臺和網絡傳輸技術的解決方案， 而音頻採集系統則採用多組麥克風陣列與信息處理平臺相結合的音頻採集處理實驗系統。
1)十字路口視頻交通信息實時採集硬體系統方案 目前國內外對於城市道路十字路口交通的全方位實時監控信息採集系統主要有 三種解決方案基於模擬攝像機和DVR的解決方案；基於模擬攝像機和視頻伺服器的解決
6方案；基於網絡攝像機和網絡傳輸技術的解決方案。本發明面向新一代交通監測技術，採用 基於網絡攝像機和網絡傳輸技術的解決方案。基於網絡攝像機的系統組建，則具有相當的 靈活性，可以配合獨立的存儲設備、信號處理設備，以及普通PC機即可實現對數據的存儲 和後端處理。網絡攝像機是集數字攝像機與網絡功能於一身的新型攝像機，其主要特點是 集成了 A/D轉換、數字壓縮和網絡傳輸等功能，代表了新一代監控技術的前端設備的發展 趨勢，其輸出的數字視頻信號可直接通過網際網路傳輸。該方案節省了視頻採集卡、視頻服務 器和圖像採集卡等硬體設備，具有很好的性價比和實際應用價值。系統方案如圖2所示。
2)十字路口音頻交通信息實時採集硬體系統方案 借鑑國際上主流的研究方案，考慮到安裝的方便性和系統實現可靠性，本發明採 用的交通音頻採集單元(Array Acoustic C即ture Unit,AACU)由4組模塊構成。每一組包 括8個ECM麥克風、信號調理模塊(實現微弱信號的放大和濾波功能)、模數轉換模塊(實 現多通道同步模數轉換功能)及FPGA控制和處理模塊(實現控制信號採集、存儲、處理、 顯示和傳輸功能)。如圖3所示。十字路口音頻採集子系統包括4個分布式AACU。每一個 AACU單元將垂直固定在交通紅綠燈橫杆上，監測紅綠燈正前方交通道路。音頻信號採集子 系統採集到的音頻數據可採用有線或無線方式輸出到音頻信息處理子系統。
2、基於音視頻信息的交通參數特徵提取和交通事件檢測技術 1)基於視頻信息的車輛自動檢測技術
本發明採用混合高斯模型實現了運動車輛的自動檢測。混合高斯模型可以描述
為 屍(J,) = ￡ G^T/M,,//", ，2^,)
(1) 其中，P(At)為在t時刻，某像素點A的採樣值At出現的概率。K為混合高斯分布 中不同高斯分布的數目(取值範圍在3-5之間)。"i,t為t時刻混合高斯分布中第i個高 斯分布的估計權值(Estimate Of Weight, 1《i《K，且權值之和為1) 。 P i,t為t時亥lj，混 合高斯分布中第i個高斯分布的均值(Mean Value) 。 E i,t為t時刻，混合高斯分布中第i 個高斯分布的協方差矩陣(CovarianceMatrix)，且S,.,=《I ;其中，為了減少數據運算量， 我們假設像素點各顏色通道的採樣值彼此不相關，且擁有相同的方差Oi,t2。因此，在計算 中，我們採用
i o
o
o、 o
i乂
(2) 式(2)中，單位矩陣的維數等於顏色通道的個數(例如RGB顏色空間有三個顏色 通道，所以單位矩陣的維數是3) ; n (At， i,t， E i,t)為混合高斯分布中第i個高斯分布的 概率密度函數(Gaussian Probability Density Function)，可以描述為 77(4，代,，2:")=-
1
，^^
(2邪,,|/2
在混合高斯分布中，每個高斯分布分別擁有不同的權值
(3)
t和分布優先級參數"i,t/。i,t，並且它們總是按優先級參數由大到小進行排序。其中，分布優先級參數"i,t/o i,t的含義是，第i個高斯分布對應的數學模型表示背景模型的近似程度。因此排列順序越靠前的高斯模型，越能近似表示視頻背景模型。 此外，本發明提出和實現了基於紋理信息的車輛陰影消除和車輛檢測算法，我們研究比較了 ratioedge和texture-based兩種車輛陰影消除算法，研究結果表明，我們提出的基於紋理信息並輔以亮度和色度信息的車輛分割方法可以有效地抑制陰影對檢測結果的影響。其中，Texture-Likelihood M即的產生是根據紋理自相關函數R的計算來獲取圖像塊的紋理信息。研究表明，陰影覆蓋的圖像區域只改變其亮度信息，而對紋理信息並沒有改變；即前景圖像中的陰影圖像塊和對應背景圖像中的圖像塊的紋理信息相同。因此，可以通過計算前景圖像和背景圖像之間的紋理自相關函數差來消除陰影幹擾。但研究表明，僅僅依據紋理信息往往無法準確地提取車輛(例如車輛顏色與道路顏色過於接近)。本發明採用輔助亮度信息和色度信息來提高了車輛提取的正確性和穩定性。luminance-Likelihood M即則是依靠亮度信息建立的車輛二值圖像，其中我們實現了從RGB空間向YCbCr空間的轉換以獲取分離的亮度信息。YcbCr中的Y信道即為圖像的亮度信道；Cb和Cr為圖像中的兩個色度通道。另外，我們利用視頻的色度信息，即計算Chrominance-Likelihood M即。該C-M即是依靠YCbCr空間的色度信息建立的車輛二值圖像。本發明還提出了一種魯棒的閾值選擇的方法實現對T-MAP，L-MAP和C-MAP的分割。此外，本發明還涉及一種基於指數熵的交通參數自動提取技術，已經獨立申請專利，此處不再熬述。 2)基於音頻的十字路口交通場景信息提取算法 本發明提出了如圖4所示的基於音頻信息的交通特徵向量形成和交通事件自動檢測系統。在分析和研究道路音頻信號的統計特性的基礎上，我們採用3秒長度的交通音頻信號作為處理對象，對其進行降採樣以減低計算複雜度(可依據系統採樣率和計算複雜度要求進行調整)、進行帶通濾波(通帶頻率範圍為500HZ 5000Hz)以消除非車輛音頻信號的影響、進行時域和空域加窗預處理以降低截斷效應。本發明採用基於麥克風陣列的最佳波束形成器(即採用麥克風陣列輸出能量最小準則，以及在目標方向上輸出能量不變為約束)，實現對特定方向的道路交通音頻信號的空間濾波和去噪增強。最佳波束形成器輸出的信號作為交通道路特徵提取的輸入信號。為了獲得表徵道路交通音頻事件的特徵，本發明研究和提出採用交通音頻信號的關聯性、音頻信號短時能量、過零率方向、離散小波變換(DWT)係數、傅立葉變換(FFT)係數、離散餘弦變換(DCT)係數、實倒譜變換(Real C印strumTransform,RCT)係數、梅爾頻率倒頻譜(MEL Frequency C印stral Transform,MFCT)係數等形成道路音頻信號的特徵向量，做為後端交通事件分類器的輸入向量。本發明採用線性判別分析方法(LinearDiscriminant Analysis,LDA)實現與事件檢測相關聯的特徵的選取(進行降維)。本發明還對車輛採用MUSIC算法實現了車輛個數估計，以及採用互相關算法實現了車速估計。研究表明，基於麥克風陣列波束形成技術可有效地濾除不感興趣方向或區域的道路音頻信號分量，有效地抑制幹擾、有助於實現對音頻信息特徵的有效提取。
3)交通事件自動檢測 本發明首先提出了交通事件檢測決策級融合技術。決策級的融合首先根據每個模塊所獲得的對同一對象的信息做出決策，最後將這些獨立的決策綜合起來，給出最終決策。
8我們考慮到交通事件的多樣性和複雜性，設計了多級決策級融合交通事件檢測方法。首先，判斷當前的天氣情況，分為晴天、多雲、陰雨和黑夜四種情況，每種情況有獨立的分類器。即根據天氣的狀況採用不同的交通參數提取技術，運用不同的分類器進行交通事件的判斷。在每一個獨立的分類器裡，又分為兩級，如圖5所示。第一級判斷十字路口是否擁堵，第二級則進一步判別是否存在非法停車、撞車或逆行。通過由整體到局部的多級決策級融合方法，即保證了分類的準確率，又保證了交通事件檢測的確定性。 本發明研究和提出了基於多源信息的交通信息特徵級融合技術，根據視頻處理子系統輸出的交通視頻特徵向量和音頻處理子系統輸出的音頻特徵向量，融合形成表徵十字路口交通狀況的交通信息特徵向量；交通信息向量的產生需要在向量空間進行相關性分析和優化。交通信息向量將作為交通事件自動分類器的輸入向量，用於對分類器的訓練和測試。 本發明提出了基於支持向量機和隱式馬爾可夫模型的交通事件分類方法。首先，選擇深圳典型的十字路口進行音視頻數據採集，利用圖像差分得到的運動信息建立了交通視頻資料庫；我們採用交通信息特徵向量和隱式馬爾可夫模型(HMM)或支持向量機對四種交通邏輯信號及交通事件進行分類學習；最後，利用實測交通數據對分類器進行測試。為了測試我們提出的算法的性能，我們進行了一組實驗。圖6顯示一種僅僅基於視頻特徵提取和HMM的交通事件分類算法流程圖。在這個案例中，我們首先建立了視頻信息資料庫。對於一個典型的十字路口 ，主要有四個信號燈指示，分別是東-西，西-東，南-北，北-南，每一個信號燈包括左轉和U形彎掉頭。我們把交通事件定義為第五種行車情況，包括事故、非法停車、逆行、闖紅燈燈等。我們隨機選取五種類型的行車情況各200幅視頻差分圖片共1000幅圖片，其中500幅作為訓練樣本，另外500幅作為測試數據。關於視頻特徵向量的產生，我們採用了主成分分析法(PCA)對輸入圖像進行降維處理(保留了低階主成分)以降低計算複雜度和提高特徵信息，然後採用混合離散餘弦變換(DCT)和改進型離散傅立葉變換(FFT)形成信息特徵作為HMM的輸入特徵向量。其中，DCT實現了圖像的近似正交變換，保留DCT低頻係數則有效地保留了表徵集中主要能量的信息分量；利用FFT變換的奇、偶、虛、實等特性實現了視頻圖像的有效壓縮。實驗結果表明，圖6所示的算法對交通狀況總體分類可以達到91%的正確率，其中對交通事件的檢測可以達到95%的正確率。
3、一套完整的城市交通監控和事件檢測智能交通系統 本發明整合了交通音視頻採集系統、音視頻信息處理系統、交通事件自動檢測系統，並增加了交通事件顯示和報警系統，形成了可視化十字路口的原始交通音視頻信息顯示、交通流參數信息顯示以及交通事件信息檢測軟體(如圖7所示)。本發明採用前端音視頻數據採集單元和視頻信息處理子系統的輸出作為該軟體的輸入，設計實現了人機友好多功能交通信息監控和顯示終端，分為客戶端和伺服器端，分別對應交通現場和交管中心。該軟體的主要功能包括1)控制功能可設置客戶端的交通信息輸入源、交通事件類型、分類算法等；2)多窗口交通信息顯示功能實現原始音視頻交通信息回放顯示、基於地圖的交通檢測系統位置顯示、交通事件場景顯示、多通道交通音視頻參數顯示、多通道交通原始數據顯示等窗口 ；3)結果輸出顯示功能實現交通事件資料庫自動更新，交通事件檢測報告自動生成和存儲，交通事故報警、交通事件誘導信息輸出；4)交通事件信息傳輸功能實現了客戶端將檢測到的交通事件前後5秒的音視頻信息傳送至伺服器端，以供工作人員甄別。 圖8為課題組設計的顯示終端(客戶端)界面示意圖。從圖中可以看出，該界面分為八個部分，分別是實時監控區顯示窗口 、交通信號顯示窗口 、背景建模顯示窗口 、檢測區前景顯示窗口、音頻信號顯示窗口、事件記錄表格、交通參數顯示、檢測信息設置。其中1)實時監控區顯示窗口 顯示網絡攝像機視頻採集子系統輸出原始數據；當發生事故時，在特定區域給出明顯標示；2)交通監控視頻顯示窗口 顯示當前時刻當前十字路口的可通行區域；3)背景建模顯示窗口 顯示來自於視頻信息處理子系統的基於混合高斯理論的背景建模結果；4)檢測區前景顯示窗口 顯示感興趣區域(ROI)中的視頻圖像；5)音頻信號顯示窗口 顯示音頻採集子系統輸出的信號波形圖；6)事件記錄表格記錄交通事件的發生時間、類型、地點；7)交通參數顯示顯示車流量、平均行車速度、交通密度、車頭時距等參數；8)檢測信息設置檢測信息設置部分主要對視頻流的輸入進行選擇、參數提取檢測區的設置、窗口最大/最小化、事件檢測類型選擇、伺服器IP設置、幫助等功能。圖9為課題組設計的顯示終端(伺服器端)界面客戶端示意圖。伺服器端主要用於接收來自發生交通事故的客戶端的報警和視頻圖像，並通知交管中心工作人員加以確認。主要功能包括視頻回放，事件確認，報警電子郵件/簡訊發送等。
本發明優點 1.將全方位視覺技術引入到ITS的十字路口交通事件自動檢測系統，克服了傳統攝像機視角和視野的局限；通過多目全方位視覺攝像機，實現低解析度的大範圍交通場景信息的實時採集和高解析度的局部交通場景信息採集； 2.將先進的視頻圖像信息處理技術、多源信息融合技術引ITS的十字路口交通事件自動檢測系統，創新地提出了基於多源信息融合的策略、基於混合高斯模型的魯棒交通背景建模、基於紋理和指數熵的魯棒車輛檢測和交通參數準確提取、以及基於卡爾曼的車輛跟蹤技術等； 3.將先進的麥克風陣列波束形成技術應用於十字路口交通事件自動檢測系統，利用音頻信號對交通背景變化的不敏感性、對交通事件發生場合的獨立性、音頻信號處理的實時性等優點，彌補了視頻技術的局限性，有助於實現車輛撞車、車輛急停、道路建設噪音等交通事件的快速準確檢測，提高了整個系統的事件檢測性能； 4.將先進的多源信息融合和分類器技術應用於十字路口交通事件自動檢測系統，創新研究和實現了基於系統級、特徵級信息融合策略的交通事件自動檢測系統，以適應複雜天氣和交通場景的交通監控技術需求。創新地提出採用交通視頻特徵向量融合交通音頻特徵向量形成基於多源信息的交通信息特徵向量作為後端基於支持向量機和隱馬爾可夫鏈(HMM)模型的分類器的輸入向量，實現先進的實時交通事件自動檢測系統。


圖1交通事件自動檢測系統硬體部署結構圖
圖2基於網絡攝像機和網絡傳輸技術的解決方案
圖3AACU音頻採集單元示意圖
圖4基於音頻信息的交通事件自動檢測流程圖
圖5交通事件檢測決策級融合流程圖
10
圖6基於視頻的交通事件分類算法流程圖 圖7完整的城市交通監控和事件檢測智能交通系統 圖8信息顯示終端(客戶端)界面示意圖 圖9信息顯示終端(伺服器端)界面示意圖 圖10城市十字路口交通監控和交通事件自動檢測系統流程圖 圖ll演示系統
具體實施例方式
下面是對本發明提出的交通事件自動檢測系統的具體實施案例。本實施案例並不限制本發明，對於本技術領域的普通技術人員，在不脫離本發明原理的前提下，還可以作出若干改進和變化，這些改進和變化也應視為本發明的保護範圍之內。 多角度視頻監控系統包括1)選用基於反射折射的全方位攝像機一部、包括轉動控制雲臺的彩色攝像機一部；2)智能網絡Dl解析度、25幀/秒CCD彩色攝像機4部；3)網絡DVR視頻記錄設備； 麥克風陣列音頻信息採集系統包括基於一致性良好的8個全方位麥克風、8通道高增益、一致性良好的前置放大器和信號處理平臺； 本實施案例運行在HP的XW4600圖形工作站上實現，具體配置如下> CPU: Intel Core 2Duo E84003. 006MB/1333CPU>內存HP 4GB(2X2GB)DDR2-800ECC RAM>作業系統Windows XP Professional Edition >顯示系統42寸液晶交通信息顯示終端 >視頻幀率25幀/秒 >視頻解析度704X576 —種基於多源信息融合的交通事件自動檢測系統，其流程如圖10所示，以下是案例實施的具體過程 步驟1 :選擇城市典型十字路口，建立了一套音視頻交通信息採集系統；獲得交通視頻流信息、交通音頻信息； 步驟2 :將採集到的原始交通音視頻數據直接傳回交通指揮中心顯示，並進行存儲。同時將音頻陣列信息和多角度視頻信息分別傳送到音頻處理模塊和視頻處理模塊中；
步驟3 :在視頻處理子系統中，對各路視頻數據進行車輛自動檢測、車輛跟蹤、和交通參數提取，形成交通視頻特徵向量。對音頻信息進行預處理、波束形成、音頻特徵提取等形成交通音頻特徵向量； 步驟4 :根據提取的視頻特徵向量和音頻特徵向量，進行音視特徵級融合形成交通信息特徵向量； 步驟5 :選擇不同分類器進行交通事件自動分類器訓練(可選擇神經網絡、支持向量機、HMM等模式識別分類器)。以交通信息特徵向量為分類器輸入對分類器進行訓練，得到面向該交通十字路口的交通事件自動分類器，並將分類器植入前端系統用於實時交通事件的自動檢測； 步驟6 :利用訓練好的交通事件自動分類器對採集到的多源交通信息進行交通事
11件的自動檢測，若無交通事件，則重複步驟2-步驟5。若發生交通事件，則觸發報警機制，進行步驟7 ; 步驟7 :當交通事件自動分類器檢測到交通事件，將在交通指揮中心的地圖上該十字路口位置以閃爍等方式提醒管理人員注意出事地點，並將交通事件前後五秒的音視頻傳回指揮中心，同時備份交通事件； 步驟8 :交通指揮人員根據視頻回放和監控錄像判斷是否需要發布相關交通警告信息，若需要發布，則系統將自動實現郵件、電話、簡訊、交通指示牌、網頁等方式的路口事件信息發布，並通知相關交通部門進行處理； 步驟9 :系統將等待交通事件處理完畢，當交通狀況恢復正常，系統則取消報警信
息，仍以郵件、電話、簡訊、交通指示牌、網頁等方式發布交通通暢信息。 本發明的演示系統和測試結果由圖11所示。 以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的保護範圍。
權利要求
一種基於多源信息融合的十字路口交通事件自動檢測系統，其特徵在於，所述方法包括1)選擇城市典型十字路口，建立了一套多源交通信息(多通道交通音頻信息、交通視頻信息、多角度視頻信息、高低角度視頻信息)的獲取系統；2)將採集到的原始交通音視頻數據直接傳回交通指揮中心顯示，並進行存儲。同時將音頻陣列信息和多角度視頻信息分別傳送到音頻處理子系統和視頻處理子系統中；3)在視頻處理子系統中，對各路視頻數據進行車輛自動檢測、車輛跟蹤、和交通參數自動提取；4)在音頻處理子系統中，對麥克風陣列輸出的多通道音頻信號進行波束形成(空間濾波)、特徵提取和交通參數自動提取；5)根據提取的視頻交通參數和音頻交通參數，進行音視頻信息融合併形成多源信息融合交通信息特徵向量，根據不同天氣檢測條件採用相應交通信息特徵向量，實現交通信息的特徵級融合；6)選擇神經網絡、HMM，支持向量機等模式識別分類器，以多源信息融合交信息件特徵向量為分類器輸入向量進行訓練，獲得魯棒交通事件識別分類器；7)利用訓練好的交通事件識別分類器實現實時交通事件的自動檢測，若發生交通事件，則觸發報告子系統，發送交通事件發生的地點信息以及發送和存儲該交通事件前後5秒的交通視頻信號，並打開檢驗通道；8)交通事件報告信息在交通指揮中心的監控地圖上以閃爍方式出現，提醒中心管理人員進行人工檢查；9)交通中心管理人員根據5秒鐘的事件視頻信息確認交通事件，若確認為需要及時處理的交通事件，則系統自動產生該交通事件報告郵件、電話、簡訊、網頁、交通指示牌(可選)信息通知相關交通部門進行處理；10)待交通事件處理完畢，交通狀況恢復正常，取消報警信息，仍以郵件、電話、簡訊、交通指示牌、網頁等方式發布交通通暢信息。
2. 根據權利要求l所述的多源交通信息獲取系統，其特徵在於，步驟l)所述的，低角度 四路視頻採集，方向為出車方向，高度與紅綠燈標誌杆等高，主要監測範圍為出車方向向前 至十字路口為止；高角度一路視頻採集，位於十字路口側高層建築上或專用高度可調高杆 上，俯視角度與地平線成45-90度可調，滿足覆蓋整個十字路口感興趣區域為準，同時監控 一定長度的紅綠燈排隊情況；音頻陣列位於出車方向右側，在出車口向車輛排隊方向0-30 米可調，音頻陣列高度0. 5-2米可調，麥克風陣列方向與地平線成-45—45度俯仰可調；
3. 根據權利要求1所述的音視頻傳輸模塊，其特徵在於，步驟2)所述的，前端視頻信 號採集採用網絡攝像機，通過網線或者無線網絡傳輸，音頻陣列採用具有自主智慧財產權的8 通道麥克風音頻採集系統和網絡傳輸；
4. 根據權利要求1所述的視頻處理系統，其特徵在於，步驟3)所述的，採用基於混合高 斯模型的運動車輛自動檢測算法、基於圖像紋理信息和圖像信息指數熵的運動車輛自動檢 測和交通參數自動提取，形成交通視頻特徵向量；
5. 根據權利要求1所述的音頻處理系統，其特徵在於，步驟4)所述的，採用基於多通道 麥克風陣列波束形成技術對特定目標區域的交通信號進行預增強去噪處理，採用離散小波變換(Discrete Wavelet Transform,DWT)、實倒譜變換(Real C印strum Transform, RCT)、 梅爾頻率倒頻譜(MEL Frequency C印stral Transform, MFCT)、短時能量譜以及過零率等 特徵，並採用線性判別分析方法(Linear Discriminant Analysis,LDA)實現與事件檢測相 關聯的特徵的選取(進行降維)形成交通音頻特徵向量；
6. 根據權利要求1所述的音視頻融合，其特徵在於，步驟5)所述的，對交通視頻特徵向 量和交通音頻特徵向量進行特徵級融合，形成交通信息特徵向量，作為分類器的輸入向量， 用於對分類器的訓練和測試；
7. 根據權利要求1所述的交通事件自動檢測技術，其特徵在於，步驟6)和步驟7)所述 的，基於隱式馬爾可夫模型和支持向量機的交通事件分類方法。首先建立交通信息特徵向 量資料庫對分類器進行訓練，並將訓練好的分類器整合到交通事件自動檢測系統中，實現 十字路口交通信息的實時監控，交通事件的實時自動檢測；
8. 根據權利要求1所述的交通指揮中心，其特徵在於，步驟8)所述的，整合了交通音視 頻採集系統、音視頻信息處理系統、交通事件自動檢測系統，並整合了交通事件報警系統， 形成了可視化十字路口的原始交通流數據、交通流參數信息以及交通事件信息監控軟體；
9. 根據權利要求1所述的報警系統，其特徵在於，步驟8)和步驟9)所述的，客戶端軟 件分為8個部分，分別是實時監控區顯示窗口 、交通信號顯示窗口 、背景建模顯示窗口 、檢 測區前景顯示窗口 、音頻信號顯示窗口 、事件記錄表格、交通參數顯示、檢測信息設置。服務 器端軟體在工作人員確認事件發生後發送報警信息，以郵件、電話、簡訊、交通指示牌、網頁 等方式將路口事件信息發布；在恢復正常後發送通暢信息，仍以上述方式進行。
全文摘要
本發明公開了一種基於多源信息融合的十字路口交通事件自動檢測系統。本發明針對城市十字路口交通管理，建立了音視頻交通信息採集、交通信息分析處理和交通事件自動報警三大子系統，發明主要包括設計並實現了一種多源交通信息(交通音頻信息、交通視頻信息、多角度視頻信息、高低角度視頻信息)的採集子系統；實現了基於交通音頻和交通視頻的交通參數自動提取技術；實現了基於多源信息融合的交通事件(撞車、非法停車、擁堵、逆行事件)自動檢測技術；實現了交通事件報告、交通事件關聯視頻信息傳輸、和交通指揮中心顯示和處理軟體系統，形成了完整的十字路口交通事件自動檢測系統。
文檔編號G08G1/01GK101751782SQ20091023881
公開日2010年6月23日 申請日期2009年12月30日 優先權日2009年12月30日
發明者施行, 時廣軼, 趙璟, 鄒月嫻 申請人:北京大學深圳研究生院