一種基於顯著車輛部件模型的交通違章檢測方法
2023-06-01 08:18:56 1
一種基於顯著車輛部件模型的交通違章檢測方法
【專利摘要】本發明涉及交通監控【技術領域】，尤其是一種基於顯著車輛部件模型的交通違章檢測方法。本發明首先通過判別性特徵定位車輛的顯著部件，包括車輛號牌和車輛尾燈，並用它們表示車輛，然後根據多個顯著部件，用卡爾曼濾波器完成車輛跟蹤，最後通過軌跡分析和設置違章檢測區域，檢測車輛違章行為。本發明解決了光照變化、檢測噪聲等實際工程應用的複雜環境下車輛違章檢測等問題，可以用於城市複雜環境下的交通監控。
【專利說明】一種基於顯著車輛部件模型的交通違章檢測方法
【技術領域】
[0001]本發明涉及交通監控【技術領域】，尤其是一種基於顯著車輛部件模型的交通違章檢測方法。
【背景技術】
[0002]在大中型城市，隨著城市化的發展，交通阻塞、交通違章和交通事故的情況也越來越多。為了對交通進行更有效的控制和管理，智能交通已經引起了廣泛的重視。交通信息服務是智能交通系統功能的一個重要部分，這一功能的實現必須首先對交通路況進行監控，快速、準確地獲取各種交通參數。隨著視頻傳感器數量的急劇增加，傳統的人工被動監控已經遠遠無法滿足監控任務的需要。因此，實現可以代替人眼的智能自動監控功能成為視頻監控研究的目標。尤其是，基於監控視頻的交通違章檢測系統，可以監控車輛的違章行為並完成車輛號牌識別。
[0003]基於視頻的交通違章檢測系統可以通過規範駕駛員的駕駛行為來減少交通事故，緩解交通違章帶來的交通問題。目前在視頻中檢測交通違章的技術主要包括:車輛定位、車輛跟蹤和號牌識別。在現有的智能交通系統中，車輛定位技術在交通監控中廣泛應用，其主要分為基於運動目標和靜態目標的定位方法。基於運動目標的定位方法將道路上的車輛看作運動目標，可以處理光照變化、適用於多模態以及緩慢變化的背景。然而運動的目標未必是車輛，因此許多研究人員利用車輛表面的視覺信息來定位車輛。這些方法利用顏色、邊緣及角點特徵來學習車輛或車輛部件模型，然後利用分類器以及生成式模型來定位車輛。車輛跟蹤方法主要使用基於均值漂移、卡爾曼濾波器和粒子濾波器等技術來實現。在最簡單的情況下，歐氏距離、尺寸和角度約束用來匹配相鄰幀之間的目標。進一步，卡爾曼濾波器和粒子濾波器可以用來估計下一幀的目標位置，從而更好的完成跟蹤過程。基於均值漂移的目標跟蹤是一種目標外觀模型跟蹤方法，即使在擁堵交通環境下效果也比較好。總結現有的交通視頻監控系統，在工程應用中依然存在以下挑戰:
[0004]1、全天候監控:一天中的不同時間段內，光照條件變化大，尤其是白天和夜間的光照差異；在夜間條件下，通常採用頻閃補光燈，可以看清補光範圍內的車輛信息，但補光範圍通常在幾十米內，難以完成車輛跟蹤、進而判斷車輛違章等行為。
[0005]2、車輛遮擋:圖像中的車輛被其他車輛遮擋，或者被非車輛目標(行人、自行車、樹木、建築等)遮擋。比如，監控攝像機布設在交通路口，排隊等候信號燈的車輛易產生互相遮擋；再如，小車容易被大車遮擋，造成短時間的丟失檢測。
[0006]3、姿態變換:車輛在轉彎、變道等姿態變換時，在圖像中呈現的表面特徵變化很大。
[0007]4、類內差異大，背景多樣性:車輛具有不同形狀、尺寸、顏色；在複雜場景中，有非機動車、行人、道路交通設施等背景目標，與車輛目標混雜在一起。
[0008]5、不同解析度:當車輛駛過攝像機視野的過程中，其在圖像中的像素數變化很大。
[0009]經對現有技術文獻的檢索發現，在第201310251206.7號中國專利申請中，使用基於背景建模的方法，提取運動車輛目標，通過運動前景的位置判斷車輛的違章行為，但是，在車輛檢測過程中，運動目標未必是車輛，並且基於背景建模的方法難以處理車輛遮擋問題。在第200810240499.8號中國專利申請中，公開了一種車輛違章檢測系統，可以檢測闖紅燈、超速行駛等違章行為，但該系統除了使用攝像頭，還需要增加壓力傳感設備和測速裝置，輔助抓拍過程，成本較高。綜上所述，現有的交通違章檢測系統，通常利用運動信息進行檢測，監控精度較低，無法滿足日益增長的交通監控需求。很多系統需結合視頻攝像機和線圈等輔助設備進行檢測，成本較高，同時，在維修和安裝時需要中斷交通，破壞路面，因此維護難度大，維護成本高。
【發明內容】
[0010]本發明解決的技術問題在於提供克服現有技術中的不足，為城市交通監控提供一種基於顯著車輛部件模型的交通違章檢測方法。能在光照變化、檢測噪聲等實際工程應用的複雜環境下，實時準確地定位、跟蹤車輛目標，通過軌跡分析完成車輛違章檢測，為城市交通管理提供一種可靠而有效的途徑。
[0011]本發明解決上述技術問題的技術方案是:
[0012]包括以下步驟:
[0013]步驟SI，對道路交通場景進行圖像標定；
[0014]步驟S2，定位視頻序列中的所有車牌位置:
[0015]步驟S3，定位視頻序列中的所有車輛尾燈位置:
[0016]步驟S4，基於車輛的多個顯著部件，對車輛進行跟蹤從而獲取車輛的運動軌跡:
[0017]根據前一幀圖像中的車輛定位結果，預測當前幀的車輛位置；將當前幀中的車輛定位結果作為測量值，對於每一個跟蹤車輛，通過判斷其預測位置與測量值之間的歐式距離，搜索其觀察值；通過加權計算預測值與觀察值，更新預測值，作為目標的當前位置；
[0018]步驟S5，分析車輛的運動軌跡，設置各種違章類型的檢測區域，完成車輛違章檢測。
[0019]所述步驟S4中，基於車輛的多個顯著部件、採用擴展卡爾曼濾波方法對車輛進行跟蹤從而獲取車輛的運動軌跡；在擴展卡爾曼濾波方法中，將車牌的中心位置及速度信息作為系統狀態變量；
[0020]該步驟中，定義如果一個車輛部件連續跟蹤3幀以上，即認為該部件為穩定狀態；
[0021]在預測位置搜索車輛目標位置觀察值採用如下規則:
[0022]RULEl:如果預測位置附近檢測到穩定狀態的車牌，但車燈狀態不穩定，則用車牌表示車輛，並作為觀察值；同時，更新車不的穩定狀態及其與車牌的相對位置；
[0023]RULE2:如果預測位置附近沒有檢測到車牌，或者檢測到車牌但是該車牌為不穩定狀態，則進一步搜索車燈，如果有穩定的車燈，用車燈表示車輛，並作為觀察值；
[0024]RULE3:如果預測位置檢測到穩定車牌，同時搜索到穩定車燈，則判斷它們與預測位置的距離，取距離近者作為觀察值；同時更新車牌與車燈之間的相對位置。
[0025]RULE4:如果預測位置附近搜索到不穩定的車牌，且沒有穩定車燈，則取車牌位置作為觀察值；
[0026]RULE5:如果預測位置附近既沒有穩定車牌，也沒有穩定車燈，認為當前目標丟失跟蹤；如果某個目標連續三幀丟失跟蹤，即認為該目標退出場景。
[0027]所述步驟S5中，為不同的違章類型設置特定的檢測區域，同時，保存多張取證圖片和違章信息；
[0028]各種違章類型的檢測區域設置和軌跡分析方法如下:
[0029](I)闖紅燈:在每條車道的停車線前後各設置一個檢測區域，記錄並分析每輛車的運動軌跡，如果當前車道的信號燈狀態為紅燈，並且車輛軌跡依次穿過設置的兩個檢測區域，則認為該車輛闖紅燈；提取車輛在停止線前、壓停止線和駛過停止線的三張全景圖片，以及車輛的一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將四張圖片進行拼接並標註違章信息，包括違章時間、路口位置、車道、車牌號碼等，供交通管理部門做後續處理；
[0030](2)壓線行駛:在圖像中，標記禁止壓線行駛的車道線區域，記錄並分析車輛的運動軌跡，如果車輛軌跡經過該檢測區域，則認為該車輛壓線行駛；提取車輛壓線狀態下的全景圖片，以及一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將兩張圖片進行拼接並標註違章信息，供交通管理部門做後續處理；
[0031](3)不按規定車道行駛:在圖像中的兩條車道標記兩個檢測區域，如果車輛的運行軌跡，依次經過兩個檢測區域，則認為該車輛不按規定車道行駛；提取車輛變換車道前、變換車道中、變換車道後的三張全景圖片，以及車輛的一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將四張圖片進行拼接並標註違章信息，供交通管理部門做後續處理；
[0032]由此完成基於顯著部 件模型的交通違章檢測過程。
[0033]步驟SI，對道路交通場景進行圖像標定是選取一段監控攝像機拍攝的高清視頻片段，解析度為2592核1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關的物理坐標參數，使用OpenCV自帶的攝像機標定功能函數對交通場景進行標定，根據圖像中已知尺寸的道路標線，標記圖像區域，進而實現圖像坐標系和物理坐標系的相互轉換，由此可以獲取圖像中每個位置的物理坐標；另外，採用OpenCV中的功能函數進行視頻讀取，把視頻讀入計算機；
[0034]步驟S2，定位視頻序列中的所有車牌位置是對於黑底白字和白底黑字車牌，直接採用其灰度圖作為顏色灰度圖像；對於藍底、黃底車牌，首先，利用如下公式將圖像空間轉換至一個特定的顏色空間；
[0035]Cx；y= Il Bx，y-min{Rx，y, Gx，y} 11.[0036]然後，使用Sobel算子計算車牌顏色圖像中的圖像梯度；接著，使用滑動窗口掃描梯度圖像，獲得窗口內的平均梯度；滑動窗口大小與車牌大小一致，通過使用OpenCV的標定結果，即可以獲得車牌尺寸；
[0037]最後，在所述得分圖像中確定車輛的區域大小，利用非極大值抑制方法在車輛區域範圍內求得局部極大值，如果該局部極大值大於設定的得分閾值，則以所述局部極大值為中心點，根據國標車牌的尺寸信息得到車牌區域，將該車牌區域作為候選車牌區域；
[0038]步驟S3，定位視頻序列中的所有車輛尾燈位置是根據車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計算:
[0039]Cx』y=Rx』y-max{Gx』y, Bx』y}_ 11 Gx』y_Bx』y 11 *2.[0040]然後，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像；
[0041]接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定範圍內的連通域作為候選車輛尾燈區域；
[0042]最後，對於出現重疊的候選車輛尾燈區域，保留其中面積最大的那個區域，最終得到檢測出來的車輛尾燈區域；
[0043]上述公式中，Rx，y、Gx，y、Bx y分別是像素X的紅、綠、藍通道的像素值，Cx y為像素X變換後的灰度值。
[0044]有益效果:
[0045]本發明相比於現有技術可以自動檢測視頻序列中的車輛部件位置，並通過跟蹤車輛部件獲取車輛運動軌跡，最後通過車輛軌跡分析，檢測車輛違章行為，不需要對原始視頻信號進行任何的預處理，而且對實際監控視頻中所出現的車輛遮擋、車輛在強光條件下的陰影、光照變化、攝像機抖動、檢測噪聲等幹擾同時具有較高的魯棒性。由於克服了這些現有技術在實際工程應用方面難以解決的困難，因此本發明真正實現了交通監控視頻中的交通違章檢測。
[0046]本發明針對智能視頻監控中交通違章檢測的需要，利用圖像處理、特徵提取、目標跟蹤技術，實時檢測車輛的違章行為，具有算法簡單、精確度高、魯棒性強等優點。特別是不需要對原始視頻信號進行任何的預處理，自動實現了車輛違章檢測，克服了現有技術難以克服的難點，也消除了實現真正工程應用的主要障礙。本發明使用圖像處理、特徵提取、目標跟蹤技術，實時準確地定位、跟蹤車輛目標，通過軌跡分析完成車輛違章檢測，為城市交通管理提供一種可靠而有效的途徑。
【專利附圖】
【附圖說明】
[0047]下面結合附圖對本發明進一步說明:
[0048]圖1是本發明基於顯著車輛部件模型的交通違章檢測方法流程圖；
[0049]圖2是本發明基於顯著部件的跟蹤算法流程圖；
[0050]圖3是本發明工控機上的配置軟體界面；
[0051]圖4是根據本發明實施例的車輛闖紅燈的檢測結果圖；
[0052]圖5是根據本發明實施例的車輛壓線行駛的檢測結果圖；
[0053]圖6是根據本發明實施例的車輛不按規定車道行駛的檢測結果圖。
【具體實施方式】
[0054]為使本發明解決技術問題的技術方案更清楚，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。
[0055]圖1是本發明基於顯著車輛部件模型的交通違章檢測方法流程圖，如圖1所示，本發明基於顯著車輛部件模型的交通違章檢測方法包括以下步驟:
[0056]步驟SI，對道路交通場景進行圖像標定:
[0057]本發明的實施例中，選取一段監控攝像機拍攝的高清視頻片段，解析度為2592核1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關的物理坐標參數，本發明使用OpenCVdntel開源計算機視覺庫)自帶的攝像機標定功能函數對交通場景進行標定，根據圖像中已知尺寸的道路標線，標記圖像區域，進而實現圖像坐標系和物理坐標系的相互轉換，由此可以獲取圖像中每個位置的物理坐標。另外，採用OpenCV中的功能函數進行視頻讀取，把視頻讀入計算機。
[0058]步驟S2，定位視頻序列中的所有車牌位置:
[0059]該部分內容不作為本發明的重點，可以採用通用的技術實現，在此僅簡要描述計算過程。中國國標車牌的底色包括藍色、黃色、白色、黑色，本發明實施例以藍底白字和黃底黑字車牌為例進行說明，類似地，對於黑底白字和白底黑字車牌，直接採用其灰度圖作為顏色灰度圖像。根據統計結果，對於藍底車牌來說，車牌底色像素的藍色通道值Bx，y遠遠大於其他兩個通道，紅色Rx，y和綠色Gx，y通道的值均比較小，並且相差不大。黃色與藍色在顏色上互補，對於黃底車牌來說，車牌底色像素的藍色通道值Bx，y遠遠小於其他兩個通道,紅色Rx，y和綠色Gx，y通道的值均比較大，並且相差不大。首先，根據以上觀察結果，利用公式(I)將圖像空間轉換至一個特定的顏色空間。
[0060]Cx』y= Il Bx』y-min{Rx』y，Gx』y} Il.(I)
[0061]然後，使用Sobel算子計算車牌顏色圖像中的圖像梯度。接著，我們使用滑動窗口掃描梯度圖像，獲得窗口內的平均梯度。滑動窗口大小與車牌大小一致，通過使用OpenCV的標定結果，我們可以獲得車牌尺寸。
[0062]最後，在所述得分圖像中確定車輛的區域大小，利用非極大值抑制方法在車輛區域範圍內求得局部極大值，如果該局部極大值大於設定的得分閾值，則以所述局部極大值為中心點，根據國標車牌的尺寸信息得到車牌區域，將該車牌區域作為候選車牌區域。
[0063]步驟S3，定位視頻序列中的所有車輛尾燈位置:
[0064]該部分內容不作為本發明的重點，可以採用通用的技術實現，在此僅簡要描述計算過程。根據車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計算:
[0065]Cx，y=Rx，y-max{Gx，y, Bx，y}_ 11 Gx，y_Bx，y 11 *2.(2)
[0066]其中，Rx y、Gx，y、Bx；y分別是像素X的紅、綠、藍通道的像素值，Cx，y為像素x變換後的灰度值。
[0067]然後，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像；本發明中分別選取了三個閾值對所述顏色灰度圖像進行閾值分割，所述三個閾值分別為20、60、80。
[0068]接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定範圍內的連通域作為候選車輛尾燈區域；
[0069]最後，對於出現重疊的候選車輛尾燈區域，保留其中面積最大的那個區域，最終得到檢測出來的車輛尾燈區域。
[0070]步驟S4，基於車輛的多個顯著部件，對車輛進行跟蹤從而獲取車輛的運動軌跡:
[0071]在本發明的實施例中，使用擴展卡爾曼濾波方法進行車輛的跟蹤，進而得到車輛的運動軌跡，在擴展卡爾曼濾波方法中，將車牌的中心位置及速度信息作為系統狀態變量。
[0072]圖2是本發明基於顯著部件的跟蹤算法流程圖，如圖2所示，所述步驟S4進一步包括以下步驟:
[0073]步驟S41，根據前一幀圖像中的車輛定位結果，預測當前幀的車輛位置；
[0074]步驟S42，將當前幀中的車輛部件定位結果作為測量值，對於每一個跟蹤車輛，通過判斷其預測位置與測量值之間的歐式距離，以及車輛部件的穩定狀態，搜索其觀察值。
[0075]有關車輛部件的穩定狀態定義如下:如果一個車輛部件連續跟蹤3幀以上，即認為該部件為穩定狀態。
[0076]在該步驟中，採用如下規則(RULE)在預測位置搜索車輛目標位置的觀察值:
[0077]RULEl:如果預測位置附近檢測到穩定狀態的車牌，但車燈狀態不穩定，則用車牌表示車輛，並作為觀察值。同時，更新車燈的穩定狀態及其與車牌的相對位置；
[0078]RULE2:如果預測位置附近沒有檢測到車牌，或者檢測到車牌但是該車牌為不穩定狀態，則進一步搜索車燈，如果有穩定的車燈，用車燈表示車輛，並作為觀察值；
[0079]RULE3:如果預測位置檢測到穩定車牌，同時搜索到穩定車燈，則判斷它們與預測位置的距離，取距離近者作為觀察值；同時更新車牌與車燈之間的相對位置。
[0080]RULE4:如果預測位置附近搜索到不穩定的車牌，且沒有穩定車燈，則取車牌位置作為觀察值；
[0081]RULE5:如果預測位置附近既沒有穩定車牌，也沒有穩定車燈，認為當前目標丟失跟蹤。如果某個目標連續三幀丟失跟蹤，即認為該目標退出場景。
[0082]步驟S43，通過上一步驟獲得的車輛位置觀察值，加權計算預測值與觀察值，進而更新預測值，作為目標的當前位置。
[0083]步驟S5，設置各種違章檢測區域，分析車輛的運動軌跡，完成車輛違章檢測；
[0084]本實施例的交通違`章檢測系統硬體平臺包括一臺500萬像素的高清攝像機，一臺工控機，以及兩盞補光燈。其中高清相機的解析度為2592*1936，幀速為每秒8.3幀，工控機的處理器為Core (?) ?5-3210Μ CPU?2.50GHZ和4G內存，補光燈在夜間或光照不足條件下開啟，其補光範圍可以達到三車道。工控機與攝像機之間的數據傳輸採用網線方式。下面，進一步描述交通違章檢測的詳細步驟:
[0085]本發明的實施例檢測三種交通違章，包括闖紅燈、壓線行駛和不按規定車道行駛，運行在工控機上的配置軟體如圖3所示，各種違章類型的檢測區域設置和軌跡分析方法如下:
[0086](I)闖紅燈:在每條車道的停車線前後各設置一個檢測區域，如圖4(a)中的黃色四邊形所示。記錄並分析每輛車的運動軌跡，如果當前車道的信號燈狀態為紅燈，並且車輛軌跡依次穿過設置的兩個檢測區域，則認為該車輛闖紅燈。提取車輛在停止線前、壓停止線和駛過停止線的三張全景圖片，以及車輛的一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將四張圖片進行拼接並標註違章信息，包括違章時間、路口位置、車道、車牌號碼等，供交通管理部門做後續處理，如圖4(b)所示。車牌識別過程不作為本發明的核心內容，在此不再贅述。
[0087](2)壓線行駛:在圖像中，標記禁止壓線行駛的車道線區域，如圖5(a)中的黃色四邊形所示。記錄並分析車輛的運動軌跡，如果車輛軌跡經過該檢測區域，則認為該車輛壓線行駛。提取車輛壓線狀態下的全景圖片，以及一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將兩張圖片進行拼接並標註違章信息，供交通管理部門做後續處理，如圖5(b)所示。
[0088](3)不按規定車道行駛:在交通圖像中進行車輛非法左右轉、非法直行檢測，本質上，是檢測車輛由一條車道區域駛入另一條車道區域，如車輛在左轉車道駛入直行車道，即認定為非法直行。在圖像中的兩條車道標記兩個檢測區域，如圖6(a)中的黃色四邊形所示。如果車輛的運行軌跡，依次經過兩個檢測區域，則認為該車輛不按規定車道行駛。提取車輛變換車道前、變換車道中、變換車道後的三張全景圖片，以及車輛的一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將四張圖片進行拼接並標註違章信息，供交通管理部門做後續處理，如圖6(b)所示。
[0089]由此完成基於顯著部件模型的交通違章檢測過程。
[0090]以上所述是對本發明具體實施例的描述，並不用於限制本發明，凡在本發明的精神和原則之內，所做的任何等同替換等，均應包含在本發明的保護範圍之內。
【權利要求】
1.一種基於顯著部件模型的交通違章檢測方法，其特徵在於:包括以下步驟: 步驟SI，對道路交通場景進行圖像標定； 步驟S2，定位視頻序列中的所有車牌位置: 步驟S3，定位視頻序列中的所有車輛尾燈位置: 步驟S4，基於車輛的多個顯著部件，對車輛進行跟蹤從而獲取車輛的運動軌跡: 根據前一幀圖像中的車輛定位結果，預測當前幀的車輛位置；將當前幀中的車輛定位結果作為測量值，對於每一個跟蹤車輛，通過判斷其預測位置與測量值之間的歐式距離，搜索其觀察值；通過加權計算預測值與觀察值，更新預測值，作為目標的當前位置； 步驟S5，分析車輛的運動軌跡，設置各種違章類型的檢測區域，完成車輛違章檢測。
2.根據權利要求1所述的交通違章檢測方法，其特徵在於:所述步驟S4中，基於車輛的多個顯著部件、採用擴展卡爾曼濾波方法對車輛進行跟蹤從而獲取車輛的運動軌跡；在擴展卡爾曼濾波方法中，將車牌的中心位置及速度信息作為系統狀態變量； 該步驟中，定義如果一個車輛部件連續跟蹤3幀以上，即認為該部件為穩定狀態； 在預測位置搜索車輛目標位置觀察值採用如下規則: RULEl:如果預測位置附近檢測到穩定狀態的車牌，但車燈狀態不穩定，則用車牌表示車輛，並作為觀察值；同時，更新車燈的穩定狀態及其與車牌的相對位置； RULE2:如果預測位置附近`沒有檢測到車牌，或者檢測到車牌但是該車牌為不穩定狀態，則進一步搜索車燈，如果有穩定的車燈，用車燈表示車輛，並作為觀察值； RULE3:如果預測位置檢測到穩定車牌，同時搜索到穩定車燈，則判斷它們與預測位置的距離，取距離近者作為觀察值；同時更新車牌與車燈之間的相對位置。 RULE4:如果預測位置附近搜索到不穩定的車牌，且沒有穩定車燈，則取車牌位置作為觀察值； RULE5:如果預測位置附近既沒有穩定車牌，也沒有穩定車燈，認為當前目標丟失跟蹤；如果某個目標連續三幀丟失跟蹤，即認為該目標退出場景。
3.根據權利要求1或2所述的交通違章檢測方法，其特徵在於:所述步驟S5中，為不同的違章類型設置特定的檢測區域，同時，保存多張取證圖片和違章信息； 各種違章類型的檢測區域設置和軌跡分析方法如下: (1)闖紅燈:在每條車道的停車線前後各設置一個檢測區域，記錄並分析每輛車的運動軌跡，如果當前車道的信號燈狀態為紅燈，並且車輛軌跡依次穿過設置的兩個檢測區域，則認為該車輛闖紅燈；提取車輛在停止線前、壓停止線和駛過停止線的三張全景圖片，以及車輛的一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將四張圖片進行拼接並標註違章信息，包括違章時間、路口位置、車道、車牌號碼等，供交通管理部門做後續處理； (2)壓線行駛:在圖像中，標記禁止壓線行駛的車道線區域，記錄並分析車輛的運動軌跡，如果車輛軌跡經過該檢測區域，則認為該車輛壓線行駛；提取車輛壓線狀態下的全景圖片，以及一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將兩張圖片進行拼接並標註違章信息，供交通管理部門做後續處理； (3)不按規定車道行駛:在圖像中的兩條車道標記兩個檢測區域，如果車輛的運行軌跡，依次經過兩個檢測區域，則認為該車輛不按規定車道行駛；提取車輛變換車道前、變換車道中、變換車道後的三張全景圖片，以及車輛的一張特寫圖片，並調用車牌識別程序進行車牌識別，最後將四張圖片進行拼接並標註違章信息，供交通管理部門做後續處理； 由此完成基於顯著部件模型的交通違章檢測過程。
4.根據權利要求1或2所述的的交通違章檢測方法，其特徵在於: 步驟SI，對道路交通場景進行圖像標定是選取一段監控攝像機拍攝的高清視頻片段，解析度為2592X 1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關的物理坐標參數，使用OpenCV自帶的攝像機標定功能函數對交通場景進行標定，根據圖像中已知尺寸的道路標線，標記圖像區域，進而實現圖像坐標系和物理坐標系的相互轉換，由此可以獲取圖像中每個位置的物理坐標；另外，採用OpenCV中的功能函數進行視頻讀取，把視頻讀入計算機； 步驟S2，定位視頻序列中的所有車牌位置是對於黑底白字和白底黑字車牌，直接採用其灰度圖作為顏色灰度圖像；對於藍底、黃底車牌，首先，利用如下公式將圖像空間轉換至一個特定的顏色空間；
Cx；y= Il Bx』y-min{Rx』y, Gx』y} I1.然後，使用Sobel算子計算車牌顏色圖像中的圖像梯度；接著，使用滑動窗口掃描梯度圖像，獲得窗口內的平均梯度；滑動窗口大小與車牌大小一致，通過使用OpenCV的標定結果，即可以獲得車牌尺寸； 最後，在所述得分圖像中確定車輛的區域大小，利用非極大值抑制方法在車輛區域範圍內求得局部極大值，如果該局部極大值大於設定的得分閾值，則以所述局部極大值為中心點，根據國標車牌的尺寸信息得到車牌區域，將該車牌區域作為候選車牌區域； 步驟S3，定位視頻序列中的所有車輛尾燈位置是根據車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計算:Cx,y=Rx,y-max{Gx；y, Bx』y}_ II Gx』y_Bx』y II *2.然後，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像；` 接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定範圍內的連通域作為候選車輛尾燈區域； 最後，對於出現重疊的候選車輛尾燈區域，保留其中面積最大的那個區域，最終得到檢測出來的車輛尾燈區域； 上述公式中，Rx，y、Gx，y、Bx y分別是像素X的紅、綠、藍通道的像素值，Cx y為像素X變換後的灰度值。
5.根據權利要求3所述的的交通違章檢測方法，其特徵在於: 步驟SI，對道路交通場景進行圖像標定是選取一段監控攝像機拍攝的高清視頻片段，解析度為2592X 1936，視頻場景為覆蓋三車道的交通路口，為了獲取圖像相關的物理坐標參數，使用OpenCV自帶的攝像機標定功能函數對交通場景進行標定，根據圖像中已知尺寸的道路標線，標記圖像區域，進而實現圖像坐標系和物理坐標系的相互轉換，由此可以獲取圖像中每個位置的物理坐標；另外，採用OpenCV中的功能函數進行視頻讀取，把視頻讀入計算機； 步驟S2，定位視頻序列中的所有車牌位置是對於黑底白字和白底黑字車牌，直接採用其灰度圖作為顏色灰度圖像；對於藍底、黃底車牌，首先，利用如下公式將圖像空間轉換至一個特定的顏色空間；cx；y= Il Bx』y-min{Rx』y, Gx』y} Il.然後，使用Sobel算子計算車牌顏色圖像中的圖像梯度；接著，使用滑動窗口掃描梯度圖像，獲得窗口內的平均梯度；滑動窗口大小與車牌大小一致，通過使用OpenCV的標定結果，即可以獲得車牌尺寸； 最後，在所述得分圖像中確定車輛的區域大小，利用非極大值抑制方法在車輛區域範圍內求得局部極大值，如果該局部極大值大於設定的得分閾值，則以所述局部極大值為中心點，根據國標車牌的尺寸信息得到車牌區域，將該車牌區域作為候選車牌區域； 步驟S3，定位視頻序列中的所有車輛尾燈位置是根據車輛尾燈的顏色，即紅色，獲取視頻序列每一幀圖像的顏色灰度圖像；圖像中某一像素X的顏色灰度值按照下式來計算:Cx,y=Rx,y-max{Gx；y, Bx』y}_ II Gx』y_Bx』y II *2.然後，利用多閾值方法將所述顏色灰度圖像分割為多幅二值化圖像； 接著，對所述多幅二值化圖像分別做連通域分析，取長寬比、面積大小在一定範圍內的連通域作為候選車輛尾燈區域； 最後，對於出現重疊的候選車輛尾燈區域，保留其中面積最大的那個區域，最終得到檢測出來的車輛尾燈區域； 上述公式中，Rx，y、Gx，y、Bx y分別是像素X的紅、綠、藍通道的像素值，Cx y為像素X變換後的灰度值。`
【文檔編號】G06K9/00GK103778786SQ201310700175
【公開日】2014年5月7日 申請日期:2013年12月17日 優先權日:2013年12月17日
【發明者】王飛躍, 田濱, 李葉, 李泊, 王坤峰, 熊剛, 朱鳳華, 胡斌 申請人:東莞中國科學院雲計算產業技術創新與育成中心, 中國科學院自動化研究所