一種基於車輛側面與路面交線檢測的交叉口車輛運動參數測量方法
2023-10-07 14:29:24
專利名稱：一種基於車輛側面與路面交線檢測的交叉口車輛運動參數測量方法
技術領域：
本發明屬於智能交通監控領域，尤其涉及一種純視頻的針對交叉口場景低角度監控條件下的車輛位置、車輛速度、車輛加速度的測量技術。
背景技術：
車輛的運動參數是指車輛的位移，速度，加速度等參數。實時動態的車輛運動參數是實現交通智能化的關鍵所在。目前實用的車輛運動參數採集技術有硬體測量方法和軟體測量方法。硬體方法包括測速雷達、環形線圈檢測器、超聲波檢測器、微波探測器、紅外線檢測器等進行車輛速度測量。硬體檢測方法有下面缺點，環形線圈檢測器需要破路安裝；測速雷達、超聲波檢測器、微波探測器、紅外線檢測器可移動性不強；而且這些技術共同的缺點包括只限於檢測車輛通過某一段距離的平均速度信息，難以實現車速的跟蹤；不能進行運動物體識別；成本較高。所以適合在高速公路或某一路段上使用，很難應用車輛、行人、自行車混雜的交叉口。軟體方法以視頻圖像處理技術為主，目前主要採用設置視頻虛擬線圈的方法來檢測車輛經過線圈的平均速度的方法居多，這種方法主要應用在某一路段上車輛速度的測量。
發明內容
本發明的目的是，針對現有技術的不足，提供一種基於視頻檢測的交叉口場景低角度監控條件下的車輛運動學參數測量方法，本發明區別於現有視頻檢測方法之處在於提出了通過車輛底面二維線框模型與車輛側面與路面交線匹配的方法確定車輛位置，從而利用二維攝影測量技術計算車輛位置，速度，加速度等信息。最後利用車輛跟蹤技術實現車輛連續的運動學參數。為了實現本發明的上述目的，可以通過以下技術方案來實現一種基於車倆側面與路面交線檢測的交叉口車輛運動參數測量方法，包括以下步驟(I)實時視頻流獲取與傳輸通過安裝在監控杆上的高清攝像頭獲取實時視頻流數據，然後由網絡傳輸到工控機上。(2)攝像頭標定通過道路現場標誌標線參數和道路攝影圖像對攝像頭進行標定，獲得圖像坐標與世界坐標的轉換矩陣。本專利是利用車輛地面二維線框模型與車輛側面與地面交線匹配來確定車輛位置，因為車輛側面與地面交線和車輛地面二維線框模型投影結果都在地面上，所以可以用二維攝影測量技術來測量車輛位置。(3)車輛檢測對規定的監控區域，利用背景差分法與運動物體輪廓相關性進行車輛感興趣區域檢測，車輛陰影消除，並利用背景重構技術在一定的時間間隔內更新背景。(4)車輛定位在車輛感興趣區內，通過邊緣檢測，和哈夫直線檢測檢測車輛二值化圖像中的直線段。從而從行人，自行車，機動車中區分出車輛。利用車輛側面底邊直線判定規則，確定車輛側面底邊直線段。並利用車輛底面二維模型與車輛底部匹配，圈出車輛底面區域，從而確定車輛中心位置。(5)車輛跟蹤通過車輛檢測和車輛定位獲得的車輛大小，車輛位置等信息，結合卡爾曼濾波方法實現車輛的跟蹤，與車輛軌跡的生成，結合轉換矩陣，計算車輛在世界坐標系中的位置。通過車輛位置信息，與視頻圖像間的時間間隔計算車輛速度，加速度。(6)數據處理利用卡爾曼濾波對運動參數進行處理，提高檢測結果的精度和穩定性。。與現有技術比，本發明具有以下的特點I、本發明由一臺高清攝像頭，和工控機組成，不需要另外的車輛檢測設備，對每一幀圖像中的車輛進行檢測，並通過車輛底面二維線框模型與車輛側面與路面交線匹配來確定車輛位置，並實時保存車輛位置，以及車輛像素中心點，大小和序號，利用時空信息，匹配和預測等算法實現車輛的跟蹤。最後實時輸出每輛車位置，速度，加速度，本發明結構簡單， 實用。2、由於車輛側面與路面交線接近地面，所以本發明可以採用二維測量方法來測量車輛位置。採用二維攝影測量方法進行檢測的主要優點如下(I)設備簡單，採用一個攝像頭(單目視覺)採集圖像；(2)無需獲取測量點的三維坐標，可方便地利用現場標誌標線對圖像序列進行標定。無需對攝像機(攝像頭)內部參數進行專門標定，簡化了標定過程。3、因為利用二維攝影測量方法進行車輛位置測量，提高了車輛定位實時性。4、攝像頭固定位置大於距離路面大約7米左右，屬於低角度監控，不必對路面進行垂直拍攝，很大程度上降低了攝像頭的安裝難度。5、維護方面，可移動，不需要破路安裝。
圖I為基於視頻檢測的交叉口車輛運動參數檢測方法圖
圖2為車輛側面與路面交線示意圖
圖3為車輛運動參數檢測系統框圖
圖4為車輛檢測具體實施步驟
圖5為車輛定位與車輛跟蹤示意圖
圖6為本發明輸出的車輛位置參數曲線圖
圖7為本發明輸出的車輛速度參數曲線圖
圖8為本發明輸出的車輛加速度參數曲線圖
具體實施例方式本發明對視頻流每一幀圖像中的車輛，檢測車輛側面與路面交線，並利用車輛底面二維線框模型與交線匹配，從而確定車輛中心位置，保證了低空監控條件下車輛位置信息的準確性。通過對車輛中心位置的實時檢測和跟蹤，再經過二維攝影測量技術實現車輛位置的測量，進而計算出車輛的瞬時車速和加速度，最後用卡爾曼濾波對數據進行濾波，實現了車輛運動參數的測量，保證了測量精度，並解決了交叉口低空監控、無信號燈交叉口， 行人，自行車，車輛並存的複雜交通場景的車輛運動參數測量問題。本發明基於視頻檢測的交叉口車輛運動學參數測量方法包括如下步驟(I)實時視頻流獲取與傳輸通過安裝在監控杆上的高清攝像頭獲取實時視頻流數據，然後由網絡傳輸到工控機上。(2)攝像頭標定通過道路現場標誌標線參數和道路攝影圖像對攝像頭進行標定，獲得圖像坐標與世界坐標的轉換矩陣。(3)車輛檢測通過規定監控區域的感興趣區域，利用背景差分法與運動物體輪廓相關性進行車輛感興趣區域檢測，車輛陰影消除，並利用背景重構技術在一定的時間間隔內更新背景。(4)車輛定位在車輛感興趣區內，通過邊緣檢測，和哈夫直線檢測檢測車輛二值化圖像中的直線段。從而從行人，自行車，機動車中區分出車輛。利用車輛側面底邊直線判定規則，確定車輛側面底邊直線段。並利用車輛底面二維模型與車輛底部匹配，圈出車輛底面區域，從而確定車輛中心位置。(5)車輛跟蹤通過車輛檢測和車輛定位獲得的車輛大小，車輛位置等信息，結合卡爾曼濾波方法實現車輛的跟蹤，與車輛軌跡的生成，結合轉換矩陣，計算車輛在世界坐標系中的位置。通過車輛位置信息，與視頻圖像間的時間間隔計算車輛速度，加速度。(6)數據處理利用卡爾曼濾波對運動參數進行處理，提高檢測結果的精度和穩定性。。下面結合附圖和具體實施例對本發明做進一步說明圖I為本方法的安裝、設置示意圖，主要包括C⑶高清攝像頭1，監控杆2，網線，3， 交換機4，工控機5。其中CCD高清攝像頭對準交叉口，使攝像頭能拍全交叉口的四條人行橫道線，選用合適的攝像機解析度和鏡頭保證視頻圖像儘可能清晰；監控杆的高度一般在 7米以上，將監控杆安裝在交叉口任意一角。本方法在實際應用中只需在監控杆上架設一臺CCD高清攝像頭，不需要其他車輛檢測設備；只需利用交叉口路面上的標誌線參數和攝影圖像來對攝像頭進行標定。然後利用視頻處理和模式識別相關算法，在實時的視頻流中完成車身底邊直線(近似視為車輛側面與路面交線)檢測，並且輸出高可信度的車輛位置，車輛速度，車輛加速的信息。本發明結構簡單，界面設置便攜，車輛運動參數檢測精度高。圖2為車身側面與路面交線示意圖。本發明提出一種車輛底面二維模型與車輛側面與路面交線匹配的車輛定位方法，車輛側面與路面交線的定義是車身側面與路面的交線上，從車頭到車尾的這條線段。如圖2所示黑色線段。因為這條線在路面上所以可以利用二維攝影測量方法檢測線段位置信息。圖3為本方法的系統結構框圖。此結構框圖也是本發明的主流程圖，本方法主要分為攝像機標定模塊，背景重構模塊，感興趣區檢測模塊，影子消除模塊，交線檢測模塊，車輛定位模塊，車輛跟蹤模塊，車輛運動學參數測量模塊組成。其中背景重構模塊，感興趣區檢測模塊，影子消除模塊，交線檢測模塊組成了車輛檢測模塊。攝像頭標定模塊，利用交叉口背景圖像和標誌線的圖像參數與現場參數對攝像頭進行標定，獲得圖像平面坐標系與現場平面世界坐標系的變換矩陣。車輛檢測模塊，是利用背景重構技術，感興趣區檢測技術， 影子消除技術，交線檢測，模型匹配等來實現車輛的檢測。車輛定位模塊作用是確定被檢測車輛的現場位置坐標。車輛跟蹤模塊實現被檢測車輛的實時跟蹤，從而生成車輛運動軌跡。 車輛運動學參數測量模塊用來計算車輛的現場位置路線和速度，加速度。圖4是車輛檢測模塊的具體實施步驟。首先本發明利用均值法提取初始背景，即利用一定數量的視頻序列來計算監控區域的背景圖像。均值法的增量形式為S: _Λ. V； = ζ!- : Λ. V； — S,、 :_Λ, V；其中Bj (x, y)表示第j幀像素(x，y)處的背景，Ij (x, y)則表示第j幀像素(x，y) 的灰度值或顏色向量。由於均值法存在增量形式，因此適合實時的視頻處理。還可以看出， 對於均值法，背景的重構與更新是同一過程，這種簡單的特性有利於工程實現。這也是本發明選擇用這種方法求初始背景的原因。本發明利用背景差分法進行前景檢測。視頻圖像與初始背景圖像或重構的背景圖像作差後，對差分圖像二值化處理後，可以獲得前景圖像。設fk(x，y)表示輸入視頻序列的幀圖像，B(x，y)表示初始背景或重建背景圖像，F (x，y)表示前景掩碼(mask)圖像，則前景檢測可以表示為F(x, y)是一個二值化圖像，I代表前景區域，O代表背景區域。Th代表二值化閾值，差分圖像像素值大於Th的點認為是前景區域，反之為背景區域。感興趣區域檢測具體實現方法為前景掩碼通過形態學濾波後，通過查找運動物體外輪廓，並利用最小矩形邊框一一包括外輪廓，將矩形邊框所在位置作為車輛的感興趣區，由於在前景檢測過程中可能會出現一個運動物體被分割為若干部分的情況，所以本發明採用對符合一直性原則的矩形區域進行合併，一致性規則為矩形框具有重疊或包含特點。這種合併，有時會將位置接近或者粘連的物體合併到一個區域。這種情況將在交線檢測過程中將同一區域的運動物體進行分離。背景重構模塊具體實施方法是利用改進的塊處理技術來獲取新背景。通過設定一定的時間間隔，從視頻圖像中截取用於背景重建的圖像序列，標號為1，2..N。通過感興趣區域檢測後，將感興趣區改為白色區，非感興趣區為原始圖像。將上述圖像分為8*8的子塊。通過判斷每個子塊中白色像素統計量來判斷，這個子塊為前景還是背景。將N幀中的所用背景子塊組合成新的背景，這樣就會因為子塊的亮度不同產生塊狀效應，且存在未能完全重建的子塊。針對這一問題，可採用將符合條件的多個相鄰子塊進行平均後，再加入估計背景。對於未能完全重建的子塊，可取均值場景中對應的塊進行拼接。影子消除具體實現方法是本法明利用了結合一階梯度剪除算法的HSV陰影檢測算法，這種方法實現簡單，魯棒性好，可準確的檢測出車輛陰影。接觸線檢測具體實現方法是對感興趣區域內的二值化圖像進行Sobel邊緣檢測後，利用哈夫變換來檢測車身直線，往往行人和自行車不具備明顯的直線特徵，所以由此可以排除自行車和行人的幹擾。但通常車輛二值化邊緣圖像上存在多條直線，因此需要制定車輛側面與路面交線判斷規則來識別交線。這個規則包括直線的長度，直線的位置，直線間距，直線角度與車輛區域整體角度的相關性。這種方法同樣可以識別在同一個感興趣區域的兩輛以上車輛各自的車輛側面與路面交線，從而區別車輛。我們在識別交線之後，需要統計監控圖像上檢測的所有車輛側面與路面交線的長度。根據不同區域檢測到直線的長度分布情況，分別確定不同區域，不同車型車輛側面與路面交線的普遍適用的長度，並利用這個長度將各自車型的車輛側面與路面交線進行歸一化處理。圖5為車輛定位與車輛跟蹤示意圖，表明了車輛定位結果與跟蹤效果。車輛定位模塊是通過模型匹配來實現，具體實現方法是利用圖像坐標、現場路面坐標、車輛底面模型坐標的關係為不同車型分別建立一個固定大小的車輛底面二維線框模型，通過二維模型與車輛側面與路面交線匹配，將二維線框模型投影到圖像上，如圖5中黑色邊框，從而利用模型坐標，現場坐標，圖像坐標轉化關係計算出二維線框模型中點位置，即車輛在路面上的位置。然後利用車輛大小位置等信息對規定的監控區域內的車輛進行跟蹤，圖5(a)為車輛 6開始被跟蹤上的第一幀圖像，圖5(b)為車輛6被跟蹤的最後一幀圖像。圖6為利用本發明方法輸出的圖5中車輛的位置參數經過卡爾曼濾波平滑處理後的曲線圖。圖7為本發明輸出的圖5中車輛經過車輛運動參數測量模塊計算得到並濾波後的速度數據曲線圖，其中圖7 (I)為車輛在監控現場世界坐標系X軸方向的速度曲線，圖7 (2) 為車輛在監控現場世界坐標系X軸方向的速度曲線。本發明從車輛被跟蹤後第2幀開始計算車速，因為卡爾曼濾波器在處理前幾幀數據時處於學習狀態，誤差偏大，從第4幀開始濾波數據變得準確、穩定。圖8為本法明輸出的圖5中車輛經過車輛運動參數測量模塊計算得到並濾波後的加速度數據曲線圖，其中圖8 (I)為車輛在監控現場世界坐標系X軸方向的加速度曲線，圖 8(2)為車輛在監控現場世界坐標系X軸方向的加速度曲線。本發明從車輛被跟蹤後第3幀開始計算車速，因為卡爾曼濾波器在處理前幾幀數據時處於學習狀態，誤差偏大，從第5幀開始濾波數據變得準確、穩定。
權利要求
1.一種基於車輛側面與路面交線檢測的交叉口車輛運動參數測量方法，其特徵在於， 包括如下步驟(1)實時視頻流獲取與傳輸通過安裝在監控杆上的高清攝像頭獲取實時視頻流數據，然後由網絡傳輸到工控機上。(2)攝像頭標定通過道路現場標誌標線參數和道路攝影圖像對攝像頭進行標定，獲得圖像坐標與世界坐標的轉換矩陣。本專利是利用車輛側面與地面交線來確定車輛位置， 因為車輛側面與地面交線接近地面，所以可以用二維攝影測量技術來測量車輛位置。(3)車輛檢測首先確定規定監控區域，用於在跟蹤階段判斷被檢測車輛是否在該區域內，來決定是否跟蹤。利用背景差分法與運動物體輪廓相關性進行車輛感興趣區域檢測， 車輛陰影消除，並利用背景重構技術在一定的時間間隔內更新背景。(4)車輛定位在車輛感興趣區內，通過邊緣檢測，和哈夫直線檢測檢測車輛二值化圖像中的直線段。從而從行人，自行車，機動車中區分出車輛。利用車輛側面底邊直線判定規則，確定車輛側面底邊直線段。並利用車輛底面二維模型與車輛底部匹配，圈出車輛底面區域，從而確定車輛中心位置。(5)車輛跟蹤通過車輛檢測和車輛定位獲得的車輛大小，車輛位置等信息，結合卡爾曼濾波方法實現車輛的跟蹤，與車輛軌跡的生成，結合轉換矩陣，計算車輛在現場世界坐標系中的位置。通過車輛位置信息，與視頻圖像間的時間間隔計算車輛速度，加速度。(6)數據處理利用卡爾曼濾波對運動參數進行處理，提高檢測結果的精度和穩定性。
2.根據權利要求I所述一種基於視頻檢測的交叉口車輛運動參數測量方法，其特徵在於所述步驟(2)具體為(a)實時的視頻流。(b)利用一定數量的實時視頻圖像採用均值法求出交叉口的背景圖像。(C)將背景圖像保存。(d)根據在交叉口建立的現場世界坐標系，測量並計算出4條人行橫道線邊緣在世界坐標系下的直線方程，背景圖像包含交叉口四條完整的人行橫道線，通過滑鼠拾取背景圖像上的人行橫道線邊緣直線上兩點，獲得圖像坐標系下的4條直線方程，利用4組世界坐標系和圖像坐標系的直線方程參數對攝像頭進行標定，計算出圖像坐標系與世界坐標系的轉換矩陣。(e)保存轉換矩陣。
3.根據權利要求I所述一種基於視頻檢測的交叉口車輛運動參數測量方法，其特徵在於，所述步驟(3)具體為(a)在背景圖像上選擇監控區域中有用區域，將非道路區域排除。(b)利用背景差分來檢測運動物體，並對檢測圖像經過二值化，平滑濾波和形態學濾波處理。(C)在步驟(b)結果中查找外輪廓，利用最小外接矩形框圈出，並對滿足一致性規則的矩形框合併。是一個矩形框與一個或多個完整的運動物體對應。從而確定車輛的感興趣區域。(d)在感興趣區域內利用一階梯度剪除算法的HSV陰影檢測算法消除車輛的陰影，提高後面車輛定位的準確性。(e)在一定時間間隔內，利用改進的塊處理技術，重建背景。
4.根據權利要求I所述一種基於視頻檢測的交叉口車輛運動參數測量方法，其特徵在於，所述步驟(4)具體為(a)在車輛感興趣區內對形態學濾波後的二值化圖像進行Sobel邊緣檢測。(b)對步驟(a)的結果進行哈夫直線檢測，並利用車輛側面與路面交線判定規則識別交線。(C)利用監控區域中車輛側面與路面交線長度的統計結果，分別使用固定長度將相同車型的車輛側面與路面交線歸一化。(d)對不同車型建立不同大小的車輛地面二維模型，並將模型與車輛側面與路面交線匹配，利用模型坐標系，現場坐標系，圖像坐標系之間的轉化關係，確定匹配後模型中點的現場坐標，即車輛位置。
5.根據權利要求I所述一種基於視頻檢測的交叉口車輛運動參數測量方法，其特徵在於，所述步驟(5)具體為(a)確定檢測到的車輛在圖像中的大小，位置等信息。(b)利用卡爾曼濾波法跟蹤被檢測車輛，並記錄車輛的現場位置坐標。(C)利用車輛現場位置計算車輛速度，和加速度數據。
全文摘要
本發明公布了一中基於車輛側面與路面交線檢測的交叉口車輛運動參數測量方法。通過在交叉口安裝攝像頭對交叉口進行監控；利用圖像處理技術，結合一系列先驗知識，利用背景差分，形態學圖像處理和輪廓查找等方法提取包含最少完整運動物體的感興趣區域；利用改進的塊處理技術重建背景，實現背景更新；利用一階梯度剪除算法的HSV陰影檢測算法消除車輛陰影；利用一定的識別規則在感興趣區域中檢測車輛側面與路面交線；採用路面上的標識標線信息對攝像機標定；建立不同車型底面二維模型，通過與交線匹配後獲得車輛中心點位置；通過車輛跟蹤，利用連續的車輛位置數據計算出車輛速度，加速度；最後利用卡爾曼濾波進行數據濾波處理。
文檔編號G08G1/01GK102592454SQ20121004956
公開日2012年7月18日 申請日期2012年2月29日 優先權日2012年2月29日
發明者餘貴珍, 孔龍飛, 王雲鵬, 田大新, 魯光泉 申請人:北京航空航天大學