一種融合視頻動態跟蹤的車牌識別方法和系統的製作方法

2024-01-22 18:44:15 1

專利名稱：一種融合視頻動態跟蹤的車牌識別方法和系統的製作方法
技術領域：
本發明屬於圖像處理識別技術領域，具體涉及一種融合視頻動態跟蹤的車牌識別方法和系統。
背景技術：
當前，隨著計算機和網際網路技術的飛速發展，各種機動車的數量快速增長，各類信息包括與交通相關的信息呈爆炸性增長態勢。智能交通系統能夠更加安全、高效的管理車輛信息，在各種小區，廠區出入口車輛管理系統，收費站系統，道路治安卡口系統，超速、違 停、闖紅燈電子警察系統中，展現出強大的作用，而其中對車牌識別是最重要的核心組成部分。在這些應用中自動化系統大部分使用了車牌自動識別技術。車牌識別(VehicleLicense Plate Recognition, VLPR)是現代智能交通系統中的重要組成部分之一，應用十分廣泛。它以數字圖像處理、模式識別、計算機視覺等技術為基礎，對攝像機所拍攝的車輛圖像或者視頻序列進行分析，得到每一輛汽車唯一的車牌號碼，從而完成識別過程。通過一些後續處理手段可以實現停車場收費管理、交通流量控制指標測量、車輛定位、治安卡口、汽車防盜、高速公路超速自動化監管、闖紅燈電子警察、公路收費站等功能。對於維護交通安全和城市治安，防止交通堵塞，實現交通自動化管理有著現實的意義。

發明內容
本發明的目的在於提供一種能適應於任何圖像質量，可以準確地識別出各種車牌的融合視頻動態跟蹤的車牌識別方法和系統，在車牌識別的同時還可以提供有關車輛車型(小型車、大型車或摩託車)、車速、行駛軌跡、過程錄像和車輛違法狀態信息等車輛相關信息，滿足用戶對於車輛信息的全面需求。一種融合視頻動態跟蹤車輛的車牌識別系統，包括車輛檢測參數和車牌識別相關參數設置單元、圖像採集單元、車輛檢測和跟蹤單元、車牌識別單元和車輛相關信息輸出單元;
所述的車輛檢測參數和車牌識別相關參數設置單元，用於載入車輛檢測和車牌識別的相關參數，供車輛檢測和跟蹤單元、車牌識別單元讀入使用；
所述的圖像採集單元，用於採集車輛視頻圖像，並將該車輛視頻圖像上傳給車輛檢測和跟蹤單元和車牌識別單元；
所述的車輛檢測和跟蹤單元，對圖像採集單元上傳的車輛視頻圖像進行車輛外形輪廓的檢測和跟蹤，先通過幀對減和背景建模獲取初步車輛位置，採用sobel邊緣灰度圖像，進一步獲取車輛的水平和垂直邊緣，記錄下車輛水平和垂直位置，然後通過跟蹤器不斷記錄和比對車輛的外形輪廓，記錄下車輛的完整行駛軌跡；通過此跟蹤，能準確獲取車輛的車型、車速、行駛軌跡、過程錄像和車輛違法狀態信息的車輛相關信息，並將車輛的外形輪廓擴展圖像和車輛相關信息一併上傳給車牌識別單元；所述的車牌識別單元，獲取由圖像採集單元上傳的車輛視頻圖像或車輛靜態圖像，或經車輛檢測和跟蹤單元上傳的車輛外形輪廓擴展圖像進行車牌號碼的識別，並輸出識別結果至車輛相關信息輸出單元；
所述的車輛相關信息輸出單元，將車牌識別單元輸出的車牌號碼結果，結合車輛檢測和跟蹤單元輸出的包括車輛的車型、車速、行駛軌跡、過程圖像、過程錄像、車輛違法信息的車輛相關信息，一併輸出並保存到系統中。該車輛檢測的設置參數包括車道線、停止線、第一觸發線、第二觸發線、跟蹤區域和檢測區域大小。該車牌識別相關參數包括車牌高度寬度、可信度、最小字符高度、最大字符高度、黃牌規則、車牌旋轉規則和字符識別規則。所述的車牌識別單元包括車牌總控模塊、多層次可疑車牌定位模塊、可疑車牌排除模塊、車牌圖像矯正模塊、車牌字符切分模塊、車牌字符識別比對模塊和車牌識別結果輸出豐吳塊；
該車牌總控模塊，用於對車牌識別單元中的其他六個模塊實施控制，統計出最大可信的車牌號碼；
該多層次可疑車牌定位模塊，對輸入的圖像通過多層次定位得出可疑連通區域集，以備後面切分識別；
該可疑車牌排除模塊，對上述可疑連通區域集利用車輛檢測參數和車牌識別相關參數設置單元中的車牌固有規則來排除一些非可信的連通區域，獲得定位的車牌區域集； 該車牌圖像矯正模塊，對車牌區域集中每個定位出來的車牌進行水平和垂直方向上的邊緣檢測，計算出車牌在水平和垂直方向上的傾斜角度，然後進行水平和垂直方向上的矯正，獲得矯正的車牌圖像；
該車牌字符切分模塊，對矯正的車牌圖像進行字符切分，獲取剛好貼近字體的字
符圖像；
該車牌字符識別比對模塊，對上述切分好的字符圖像進行歸一化處理，獲取歸一化後的字符圖像的各種特徵，並和字符模板進行比對，獲取車牌字符識別結果集；
該車牌識別結果輸出模塊，從上述的車牌字符識別結果集中選出最可信的、最符合輸出條件的車牌字符結果，並輸出包括車牌號碼、車牌顏色、車身顏色、車牌圖像、車牌在圖像的位置信息的車牌號碼結果至車輛相關信息輸出單元。該車牌固有規則指的是車牌中間有大空格、並且車牌字符個數固定為7個、車牌的寬度和高度比例大概為4. 5、車牌顏色、車牌寬度大小、車牌字符大小。一種融合視頻動態跟蹤的車牌識別方法，具體包括如下步驟
步驟I、通過車輛檢測參數和車牌識別相關參數設置單元載入各種車輛檢測和車牌識別的相關參數，供車輛檢測和跟蹤單元和車牌識別單元調用；
步驟2、所述的圖像採集單元採集車輛視頻圖像，並將該車輛視頻圖像上傳給車輛檢測和跟蹤單元和車牌識別單元；
步驟3、所述的車輛檢測和跟蹤單元對圖像採集單元上傳的車輛視頻圖像進行車輛外形輪廓的檢測和跟蹤；
所述的車輛檢測和跟蹤單元對輸入的車輛視頻圖像進行多幀灰度對減，並在獲取背景模板後，將當前幀與背景模板對減，進一步判斷是否檢測到車輛的初步外形區域，若檢測到車輛的初步外形區域，則將該區域作為檢測器比對區域；如果檢測不到車輛的初步外形區域，即沒有發現移動的可疑區域，那麼以車輛檢測參數和車牌識別相關參數設置單元中預置的完整檢測區域作為 檢測器比對區域；然後對檢測器比對區域進行車輛外形輪廓檢測，若檢測器在檢測窗口中找到明顯的垂直梯度信息時，則車輛外形輪廓被發現，進一步搜索上述檢測到垂直梯度信息的檢測窗口的垂直梯度值並且測量其平均寬度，從而獲得車輛外形輪廓的邊長，結合對減的車輛長度，可檢測出更可靠的車輛外形輪廓；然後通過跟蹤器不斷記錄和比對車輛的外形輪廓，並記錄下車輛的完整行駛軌跡，同時能準確獲取車輛的車型、車速、行駛軌跡、過程錄像和車輛違法狀態信息的車輛相關信息，並將車輛的外形輪廓擴展圖像和上述車輛相關信息一併上傳給車牌識別單元；
步驟4、所述的車牌識別單元獲取由圖像採集單元和車輛檢測和跟蹤單元上傳的車輛視頻圖像進行車牌號碼的識別，並輸出識別結果至車輛相關信息輸出單元；
步驟41、該車牌識別單元中的多層次可疑車牌定位模塊，對輸入的圖像通過多層次定位算法，定位得出可疑連通區域集，以備後面切分識別；
步驟42、該可疑車牌排除模塊對上述可疑連通區域集利用車輛檢測參數和車牌識別相關參數設置單元中的車牌固有規則來排除一些非可信的可疑連通區域，獲得定位的車牌區域集；
步驟43、該車牌圖像矯正模塊對車牌區域集中每個定位出來的車牌區域進行水平和垂直方向上的邊緣檢測，計算出該車牌區域在水平和垂直方向上的傾斜角度，然後進行水平和垂直方向上的矯正，獲得矯正的車牌圖像；
步驟44、該車牌字符切分模塊對矯正的車牌圖像進行字符切分，獲取剛好貼近字體的字符圖像；
步驟45、該車牌字符識別比對模塊對上述切分好的字符圖像進行歸一化處理，獲取歸一化後的字符圖像的各種特徵，並和車輛檢測參數和車牌識別相關參數設置單元內的字符模板進行比對，獲取最大可信度的車牌字符識別結果集；
步驟46、該車牌識別結果輸出模塊根據上述的車牌字符識別結果集中選出最可信的、最符合輸出條件的車牌字符結果，並輸出車牌號碼結果至車輛相關信息輸出單元；
步驟5、所述的車輛相關信息輸出單元，將車牌識別單元輸出的車牌號碼結果，結合車輛檢測和跟蹤單元輸出的包括車輛的車型、車速、行駛軌跡、過程圖像、過程錄像、車輛違法信息的車輛相關信息，一併輸出並保存到系統中。該多層次可疑車牌定位算法具體包括如下步驟
步驟411、灰度化定位輸入的圖像；
步驟412、對上述的輸入圖像以5X5矩形區域循環進行灰度平滑；
步驟413、對上述平滑後的輸入圖像的每個像數點進行垂直方向的sobel變化，即 gray(i，j)= (gray (i_l, j_l)〈〈I) + (gray (i_l, j + 1)〈〈I) + (gray (i + 1, j + 1)〈〈I)-(gray (i, j_l)〈〈l)- (gray (i, j+1)〈〈I)- (gray (i+1, j_l)〈〈l)，如此可增加突出車牌邊緣，再次增強灰度圖像，則灰度邊緣值IpResult [i，j]= gray(i, j-2)+ gray(i, j-1)-gray(i, j+1)- gray(i, j+2)；
步驟414、若每行的灰度邊緣均值少於60，則該行灰度比較閾值為15 ;若每行的灰度邊緣均值大於60且少於220時，則該行的灰度比較閾值為30 ;若每行的灰度邊緣均值大於220時，則該行的灰度比較閾值為20 ;當IpResult [i, j]的絕對值大於該行的灰度比較閾值時，該像數點設為lpFlag[i] [j]；
對輸入圖像自上而下且從左至右掃描像素點，在若干個像素點範圍內若存在lpFlag[i][j]，就將這些像素點連通形成連通段，在若干個像素點範圍內若不存在lpFlag[i][j]，就跳過這些像素點繼續掃描連通工作，待掃描完畢，對上述的連通段進行判斷，若該連通段的灰度邊緣均值少於60，則該連通段灰度比較閾值為15 ;若該連通段的灰度邊緣均值大於60且少於220時，則該連通段的灰度比較閾值為30 ;若該連通段的灰度邊緣均值大於220時，則該連通段的灰度比較閾值為20 ;由此，分行分段多層次地獲取到灰度 比較閾值；
步驟415、隔行或者隔幾行對輸入圖像的像數點進行判斷，若lpFlag[i][j]>0且 IpFlag [i] [j+1] <0 時，將該像數點記為波峰位置 pWhiteArray [nWhitecount++] =(lpFlag[i] [j]+ lpFlag[i] [j]) l ；
若在lpFlag[i][j]〈0且IpFlag [i] [j+1]>0時，將該像數點記為波谷位置pBlackArray[nBlackCount++]= (lpFlag[i][j]+ lpFlag[i][j])>>1 ；
對輸入圖像自上而下且從左至右掃描像素點，在若干個像素點範圍內，若存在波峰或波谷，那麼就把連通區域擴展到該波峰或波谷上，一直連通到沒有波峰或波谷為止，就產生了可疑連通區域，並初步判斷該可疑連通區域的有效性，即該可疑連通區域必須符合初步車牌的寬高比例規則，然後將有效的可疑連通區域加入正式的可疑連通區域集裡；
步驟416、確定有效可疑連通區域的左右邊界。本發明能在高解析度的圖像下，通過跟蹤車輛的外形輪廓，初步定位出車輛的位置，然後在該車輛的位置區域範圍內，定位出車牌區域，由車輛識別單元統計並輸出最可信的車牌號碼，本發明可識別中國大陸的各種車牌，包括藍牌和黑牌，黃牌和白牌，其中黑牌可識別港、澳車牌；黃牌可以識別單排黃色車牌(教練車也可)，大型車後車牌和摩託車牌；白牌可以識別包括警車車牌，武警車牌和軍車車牌，並在系統最後輸出車輛的相關信息，包括最大3張過程的圖像、車輛通過時間、車牌號碼、車牌顏色、車身顏色、車型、車速和車輛違法信息等，滿足用戶對於車輛信息的全面需求。


圖I為本發明的車牌識別系統的系統架構 圖2為本發明的車牌識別方法的工作流程 圖3為本發明的車輛外形輪廓檢測工作流程 圖4為本發明的多層次可疑車牌定位算法的工作流程圖。以下結合附圖和具體實施例對本發明作進一步詳述。
具體實施例方式如圖I所示，本發明一種融合視頻動態跟蹤車輛的車牌識別系統，主要包括車輛檢測參數和車牌識別相關參數設置單元I、圖像採集單元2、車輛檢測和跟蹤單元3、車牌識別單元4和車輛相關信息輸出單元5 ；所述的車輛檢測參數和車牌識別相關參數設置單元1，用於載入車輛檢測和車牌識別的相關參數，供車輛檢測和跟蹤單元3、車牌識別單元4讀入使用；該車輛檢測的設置參數包括車道線、停止線、第一觸發線、第二觸發線、跟蹤區域和檢測區域大小等；該車牌識別相關參數包括車牌高度寬度、可信度、最小字符高度、最大字符高度、黃牌規則、車牌旋轉規則和字符識別規則等；
所述的圖像採集單元2，融合多種圖像形式輸入，包含靜態圖像輸入，多種視頻卡圖像輸入(即模擬攝像機輸入視頻信號)，1394卡，USB攝像頭，錄像文件圖像輸入，多種網絡高清攝像機圖像輸入，用於採集車輛視頻圖像，並將該車輛視頻圖像上傳給車輛檢測和跟蹤單元3和車牌識別單元4 ；·所述的車輛檢測和跟蹤單元3，對圖像採集單元2上傳的車輛視頻圖像進行車輛外形輪廓的檢測和跟蹤，先通過幀對減和背景建模獲取初步的車輛位置，採用sobel邊緣灰度圖像，進一步獲取車輛的水平和垂直邊緣，記錄下車輛水平和垂直位置，然後通過跟蹤器不斷記錄和比對車輛的外形輪廓，記錄下車輛完整的行駛軌跡；通過此跟蹤，即使車輛沒有車牌，也可抓拍下來車輛，保證卡口不漏車，並且可以準確獲取車輛的車型(小型車、大型車或摩託車)、車速、行駛軌跡、過程錄像和車輛違法狀態信息等車輛相關信息，並將車輛的外輪廓擴展圖像和車輛相關信息一併上傳給車牌識別單元4，提高車牌識別效率和準確性；
所述的車牌識別單元4，獲取由圖像採集單元2上傳的車輛視頻圖像或車輛靜態圖像，或經車輛檢測和跟蹤單元3上傳的車輛外形輪廓擴展圖像進行車牌號碼的識別，並輸出識別結果至車輛相關信息輸出單元5 ;所述的車牌識別單元4包括車牌總控模塊41、多層次可疑車牌定位模塊42、可疑車牌排除模塊43、車牌圖像矯正模塊44、車牌字符切分模塊45、車牌字符識別比對模塊46和車牌識別結果輸出模塊47 ；
該車牌總控模塊41，用於對車牌識別單元4中的其他六個模塊實施控制，統計出最大可信的車牌號碼；
該多層次可疑車牌定位模塊42，對輸入的圖像通過多層次定位得出可疑連通區域集，以備後面切分識別；
該可疑車牌排除模塊43，對上述可疑連通區域集利用車輛檢測參數和車牌識別相關參數設置單元I中的車牌固有規則來排除一些非可信的車牌區域，獲得定位的車牌區域集；該車牌固有規則指的是車牌中間有大空格、並且車牌字符個數固定為7個、車牌的寬度和高度比例大概為4. 5、車牌顏色、車牌寬度大小、車牌字符大小等規則；
該車牌圖像矯正模塊44，對車牌區域集中每個定位出來的車牌區域進行水平和垂直方向上的邊緣檢測，計算出車牌在水平和垂直方向上的傾斜角度，然後進行水平和垂直方向上的矯正，獲得矯正的車牌圖像；
該車牌字符切分模塊45，對矯正的車牌圖像進行字符切分，獲取剛好貼近字體的
字符圖像；
該車牌字符識別比對模塊46，對上述切分好的字符圖像進行歸一化處理，獲取歸一化後的字符圖像的各種特徵，並和車輛檢測參數和車牌識別相關參數設置單元內的字符模板進行比對，獲取車牌字符識別結果集；
該車牌識別結果輸出模塊47，從上述的車牌字符識別結果集中選出最可信的、最符合輸出條件的車牌字符結果，並輸出包括車牌號碼、車牌顏色、車身顏色、車牌圖像、車牌在圖像的位置信息的車牌號碼結果至車輛相關信息輸出單元5 ；
所述的車輛相關信息輸出單 元5，將車牌識別單元4輸出的車牌號碼結果，結合車輛檢測和跟蹤單元3輸出的包括車輛的車型(小型車、大型車或摩託車)、車速、行駛軌跡、過程圖像、過程錄像、車輛違法信息的車輛相關信息，一併輸出並保存到系統中。如圖2所示，本發明一種融合視頻動態跟蹤的車牌識別方法，具體包括如下步驟 步驟I、通過車輛檢測參數和車牌識別相關參數設置單元I載入各種車輛檢測和車牌
識別的相關參數，供車輛檢測和跟蹤單元3和車牌識別單元4調用；該車輛檢測的設置參數包括車道線、停止線、第一觸發線、第二觸發線、跟蹤區域和檢測區域大小等；該車牌識別相關參數包括車牌高度寬度、可信度、最小字符高度、最大字符高度、黃牌規則、車牌旋轉規則和字符識別規則等；
步驟2、所述的圖像採集單元2採集車輛視頻圖像，並將該車輛視頻圖像上傳給車輛檢測和跟蹤單元3和車牌識別單元4 ；
步驟3、所述的車輛檢測和跟蹤單元3對圖像採集單元2上傳的車輛視頻圖像進行車輛外形輪廓的檢測和跟蹤；
如圖3所示，所述的車輛檢測和跟蹤單元3對輸入的車輛視頻圖像進行多幀灰度對減，並在獲取背景模板後，將當前幀與背景模板對減，進一步判斷是否檢測到車輛的初步外形區域，若檢測到車輛的初步外形區域，則將該區域作為檢測器比對區域；如果檢測不到車輛的初步外形區域，即沒有發現移動的可疑區域，那麼以車輛檢測參數和車牌識別相關參數設置單元I中預置的完整檢測區域作為檢測器比對區域；然後對檢測器比對區域進行車輛外形輪廓檢測，若檢測器在檢測窗口中找到明顯的垂直梯度信息時，則車輛外形輪廓被發現；由於車輛外形輪廓近似於正方形，則進一步搜索上述檢測到垂直梯度信息的檢測窗口的垂直梯度值並且測量其平均寬度，從而獲得車輛外形輪廓的邊長，結合對減的車輛長度，可檢測出更可靠的車輛外形輪廓；然後通過跟蹤器不斷記錄和比對車輛的外形輪廓，並記錄下車輛的完整行駛軌跡，同時可準確獲取車輛的車型(小型車、大型車或摩託車)、車速、行駛軌跡、過程錄像和車輛違法狀態信息等車輛相關信息，並將車輛的外形輪廓擴展圖像和車輛相關信息一併上傳給車牌識別單元4 ；
步驟4、所述的車牌識別單元4，獲取由圖像採集單元2和車輛檢測和跟蹤單元3上傳的車輛視頻圖像進行車牌號碼的識別，並輸出識別結果至車輛相關信息輸出單元5 ；
步驟41、該車牌識別單元4中的多層次可疑車牌定位模塊42，對輸入的圖像通過多層次定位算法，不管圖像對比度多差，都能從任意質量的圖像中凸顯車牌在垂直方向上的變化率，從而定位得出可疑連通區域集，以備後面切分識別；
本發明通過不同灰度層面的邊緣灰度值來實現定位，並且不是每行進行處理，而是隔行或者隔幾行來連通，這樣的處理速度比進行二值化邊緣算法的定位速度更快，而且二值化是單純2個值，在對比度比較低情況下，很難突出車牌，而多層次的灰度比較閾值，則能定位出任何光照條件下的車牌，而無須設置不同參數。如圖4所示，該多層次可疑車牌定位算法具體包括如下步驟
步驟411、灰度化定位輸入的圖像；
步驟412、對上述的輸入圖像以5X5矩形區域循環進行灰度平滑；步驟413、對上述平滑後的輸入圖像的每個像數點進行垂直方向的sobel變化，即 gray(i，j)= (gray (i_l, j_l)〈〈I) + (gray (i_l, j + 1)〈〈I) + (gray (i + 1, j + l) l)-(gray (i, j_l)〈〈l)- (gray (i, j+1)〈〈I)- (gray (i+1, j_l)〈〈l)，如此可增加突出車牌邊緣，再次增強灰度圖像，則灰度邊緣值IpResult [i，j]= gray(i, j-2)+ gray(i, j-1)-gray(i, j+1)- gray(i, j+2)；
步驟414、若每行的灰度邊緣均值少於60，則該行灰度比較閾值為15 ;若每行的灰度邊緣均值大於60且少於220時，則該行的灰度比較閾值為30 ;若每行的灰度邊緣均值大於220時，則該行的灰度比較閾值為20 ;當IpResult [i, j]的絕對值大於該行的灰度比較閾值時，該像數點設為lpFlag[i] [j]；
對輸入圖像自上而下且從左至右掃描像素點，在若干個像素點範圍內若存在lpFlag[i][j]，就將這些像素點連通形成連通段，在若干個像素點範圍內若不存在lpFlag[i][j]，就跳過這些像素點繼續掃描連通工作，待掃描完畢，對上述的連通段進行判 斷，若該連通段的灰度邊緣均值少於60，則該連通段灰度比較閾值為15 ;若該連通段的灰度邊緣均值大於60且少於220時，則該連通段的灰度比較閾值為30 ;若該連通段的灰度邊緣均值大於220時，則該連通段的灰度比較閾值為20 ;由此，分行分段多層次地獲取到灰度比較閾值；
步驟415、隔行或者隔幾行對輸入圖像的像數點進行判斷，若lpFlag[i][j]>0且 IpFlag [i] [j+1] <0 時，將該像數點記為波峰位置 pWhiteArray [nWhitecount++] =(lpFlag[i] [j]+ lpFlag[i] [j]) l ；
若在lpFlag[i][j]〈0且IpFlag [i] [j+1]>0時，將該像數點記為波谷位置pBlackArray[nBlackCount++]= (lpFlag[i][j]+ lpFlag[i][j])>>1 ；
對輸入圖像自上而下且從左至右掃描像素點，在若干個像素點範圍內，若存在波峰或波谷，那麼就把連通區域擴展到該波峰或波谷上，一直連通到沒有波峰或波谷為止，就產生了可疑連通區域，並初步判斷該可疑連通區域的有效性，即該可疑連通區域必須符合初步車牌的寬高比例規則，然後將有效的可疑連通區域加入正式的可疑連通區域集裡；
步驟416、確定有效可疑連通區域的左右邊界。步驟42、該可疑車牌排除模塊43對上述可疑連通區域集利用車輛檢測參數和車牌識別相關參數設置單元I中的車牌固有規則來排除一些非可信的可疑連通區域，獲得定位的車牌區域集；該車牌固有規則指的是車牌中間有大空格、並且車牌字符個數固定為7個、車牌的寬度和高度比例大概為4. 5、車牌顏色、車牌寬度大小、車牌字符大小等規則；步驟43、該車牌圖像矯正模塊44對車牌區域集中每個定位出來的車牌進行水平和垂直方向上的邊緣檢測，計算出該車牌區域在水平和垂直方向上的傾斜角度，然後進行水平和垂直方向上的矯正，獲得矯正的車牌圖像；
步驟44、該車牌字符切分模塊45對矯正的車牌圖像進行字符切分，獲取剛好貼近字體的字符圖像，具體為
採用中值濾波濾除噪聲，通過低通濾波獲取字符圖像背景的照度估值，再從原始圖像中減去此照度來矯正光照不均，然後通過對比拉伸變換增加對比度，從而使得切分圖像在任何光照下，獲取比較好的灰度圖像，不會引起切分不全和不好切分的情況；採用局部圖像閾值，從而獲取比較好的二值化投影，根據垂直投影，獲取每個字符切分線，由此獲取到車牌切分的字符；在每個字符空格間，獲取車牌背景原始象素值，通過HIS判斷車牌顏色；若車牌顏色為白色，通過車牌的最大空格位置，可判斷車牌為軍車、警車還是武警車；若車牌顏色為黃色，則通過車牌字符個數來判斷，若車牌字符個數為5，則為雙層黃牌，若車牌字符個數為7，則為正常的單層黃牌；
步驟45、該車牌字符識別比對模塊46對上述切分好的字符圖像進行歸一化處理，獲取歸一化後的字符圖像的各種特徵，並和車輛檢測參數和車牌識別相關參數設置單元內的字符模板進行比對，獲取最大可信度的車牌字符識別結果集；
上述獲取的特徵包括字符的周邊特徵(內周邊特徵和外周邊特徵)、包括32網格、4行網格、4列網格、斜4行網格和反斜4行網格的字符網格特徵、32格字符重心、字符行重心、字符豎重心；
通過獲取歸一化的字符圖像的上述各種特徵和字符模板庫的各種特徵進行比對，獲取到最可信的車牌字符。現有的車牌識別字符特徵大多數只是採用網格內的黑點數特徵，而本發明提取了字符的64種特徵點，能準確地識別字符，並能比較可靠地排除容易混淆的字符的識別，如B和8，O、D和Q，A和4，G和6，大大提高的字符識別的精確性；
步驟46、該車牌識別結果輸出模塊47根據上述的車牌字符識別結果集中選出最可信的、最符合輸出條件的車牌字符結果，並輸出車牌號碼結果至車輛相關信息輸出單元5 ；步驟5、所述的車輛相關信息輸出單元5，將車牌識別單元4輸出的車牌號碼結果，結合車輛檢測和跟蹤單元3輸出的包括車輛的車型、車速、行駛軌跡、過程圖像、過程錄像、車輛違法信息的車輛相關信息，一併輸出並保存到系統中。以上所述，僅是本發明較佳實施例而已，並非對本發明的技術範圍作任何限制，故凡是依據本發明的技術實質對以上實施例所作的任何細微修改、等同變化與修飾，均仍屬 於本發明技術方案的範圍內。
權利要求
1.一種融合視頻動態跟蹤車輛的車牌識別系統，其特徵在於包括車輛檢測參數和車牌識別相關參數設置單元、圖像採集單元、車輛檢測和跟蹤單元、車牌識別單元和車輛相關信息輸出單兀； 所述的車輛檢測參數和車牌識別相關參數設置單元，用於載入車輛檢測和車牌識別的相關參數，供車輛檢測和跟蹤單元、車牌識別單元讀入使用；所述的圖像採集單元，用於採集車輛視頻圖像，並將該車輛視頻圖像上傳給車輛檢測和跟蹤單元和車牌識別單元；所述的車輛檢測和跟蹤單元，對圖像採集單元上傳的車輛視頻圖像進行車輛外形輪廓的檢測和跟蹤，先通過幀對減和背景建模獲取初步車輛位置，採用sobel邊緣灰度圖像，進一步獲取車輛的水平和垂直邊緣，記錄下車輛水平和垂直位置，然後通過跟蹤器不斷記錄和比對車輛的外形輪廓，記錄下車輛的完整行駛軌跡；通過此跟蹤，能準確獲取車輛的車型、車速、行駛軌跡、過程錄像和車輛違法狀態信息的車輛相關信息，並將車輛的外形輪廓擴展圖像和車輛相關信息一併上傳給車牌識別單元； 所述的車牌識別單元，獲取由圖像採集單元上傳的車輛視頻圖像或車輛靜態圖像，或經車輛檢測和跟蹤單元上傳的車輛外形輪廓擴展圖像進行車牌號碼的識別，並輸出識別結果至車輛相關信息輸出單元； 所述的車輛相關信息輸出單元，將車牌識別單元輸出的車牌號碼結果，結合車輛檢測和跟蹤單元輸出的包括車輛的車型、車速、行駛軌跡、過程圖像、過程錄像、車輛違法信息的車輛相關信息，一併輸出並保存到系統中。
2.根據權利要求I所述的一種融合視頻動態跟蹤車輛的車牌識別系統，其特徵在於該車輛檢測的設置參數包括車道線、停止線、第一觸發線、第二觸發線、跟蹤區域和檢測區域大小。
3.根據權利要求I所述的一種融合視頻動態跟蹤車輛的車牌識別系統，其特徵在於該車牌識別相關參數包括車牌高度寬度、可信度、最小字符高度、最大字符高度、黃牌規則、車牌旋轉規則和字符識別規則。
4.根據權利要求I所述的一種融合視頻動態跟蹤車輛的車牌識別系統，其特徵在於所述的車牌識別單元包括車牌總控模塊、多層次可疑車牌定位模塊、可疑車牌排除模塊、車牌圖像矯正模塊、車牌字符切分模塊、車牌字符識別比對模塊和車牌識別結果輸出模塊； 該車牌總控模塊，用於對車牌識別單元中的其他六個模塊實施控制，統計出最大可信的車牌號碼； 該多層次可疑車牌定位模塊，對輸入的圖像通過多層次定位得出可疑連通區域集，以備後面切分識別； 該可疑車牌排除模塊，對上述可疑連通區域集利用車輛檢測參數和車牌識別相關參數設置單元中的車牌固有規則來排除一些非可信的連通區域，獲得定位的車牌區域集； 該車牌圖像矯正模塊，對車牌區域集中每個定位出來的車牌進行水平和垂直方向上的邊緣檢測，計算出車牌在水平和垂直方向上的傾斜角度，然後進行水平和垂直方向上的矯正，獲得矯正的車牌圖像；該車牌字符切分模塊，對矯正的車牌圖像進行字符切分，獲取剛好貼近字體的字符圖像；該車牌字符識別比對模塊，對上述切分好的字符圖像進行歸一化處理，獲取歸一化後的字符圖像的各種特徵，並和車輛檢測參數和車牌識別相關參數設置單元內的字符模板進行比對，獲取車牌字符識別結果集； 該車牌識別結果輸出模塊，從上述的車牌字符識別結果集中選出最可信的、最符合輸出條件的車牌字符結果，並輸出包括車牌號碼、車牌顏色、車身顏色、車牌圖像、車牌在圖像的位置信息的車牌號碼結果至車輛相關信息輸出單元。
5.根據權利要求4所述的一種融合視頻動態跟蹤車輛的車牌識別系統，其特徵在於該車牌固有規則指的是車牌中間有大空格、並且車牌字符個數固定為7個、車牌的寬度和高度比例大概為4. 5、車牌顏色、車牌寬度大小、車牌字符大小。
6.一種融合視頻動態跟蹤的車牌識別方法，其特徵在於具體包括如下步驟 步驟I、通過車輛檢測參數和車牌識別相關參數設置單元載入各種車輛檢測和車牌識別的相關參數，供車輛檢測和跟蹤單元和車牌識別單元調用； 步驟2、所述的圖像採集單元採集車輛視頻圖像，並將該車輛視頻圖像上傳給車輛檢測和跟蹤單元和車牌識別單元； 步驟3、所述的車輛檢測和跟蹤單元對圖像採集單元上傳的車輛視頻圖像進行車輛外形輪廓的檢測和跟蹤； 所述的車輛檢測和跟蹤單元對輸入的車輛視頻圖像進行多幀灰度對減，並在獲取背景模板後，將當前幀與背景模板對減，進一步判斷是否檢測到車輛的初步外形區域，若檢測到車輛的初步外形區域，則將該區域作為檢測器比對區域；如果檢測不到車輛的初步外形區域，即沒有發現移動的可疑區域，那麼以車輛檢測參數和車牌識別相關參數設置單元中預置的完整檢測區域作為檢測器比對區域；然後對檢測器比對區域進行車輛外形輪廓檢測，若檢測器在檢測窗口中找到明顯的垂直梯度信息時，則車輛外形輪廓被發現，進一步搜索上述檢測到垂直梯度信息的檢測窗口的垂直梯度值並且測量其平均寬度，從而獲得車輛外形輪廓的邊長，結合對減的車輛長度，可檢測出更可靠的車輛外形輪廓；然後通過跟蹤器不斷記錄和比對車輛的外形輪廓，並記錄下車輛的完整行駛軌跡，同時能準確獲取車輛的車型、車速、行駛軌跡、過程錄像和車輛違法狀態信息的車輛相關信息，並將車輛的外形輪廓擴展圖像和上述車輛相關信息一併上傳給車牌識別單元； 步驟4、所述的車牌識別單元獲取由圖像採集單元和車輛檢測和跟蹤單元上傳的車輛視頻圖像進行車牌號碼的識別，並輸出識別結果至車輛相關信息輸出單元； 步驟41、該車牌識別單元中的多層次可疑車牌定位模塊，對輸入的圖像通過多層次定位算法，定位得出可疑連通區域集，以備後面切分識別；步驟42、該可疑車牌排除模塊對上述可疑連通區域集利用車輛檢測參數和車牌識別相關參數設置單元中的車牌固有規則來排除一些非可信的可疑連通區域，獲得定位的車牌區域集； 步驟43、該車牌圖像矯正模塊對車牌區域集中每個定位出來的車牌區域進行水平和垂直方向上的邊緣檢測，計算出該車牌區域在水平和垂直方向上的傾斜角度，然後進行水平和垂直方向上的矯正，獲得矯正的車牌圖像； 步驟44、該車牌字符切分模塊對矯正的車牌圖像進行字符切分，獲取剛好貼近字體的字符圖像；步驟45、該車牌字符識別比對模塊對上述切分好的字符圖像進行歸一化處理，獲取歸一化後的字符圖像的各種特徵，並和車輛檢測參數和車牌識別相關參數設置單元內的字符模板進行比對，獲取最大可信度的車牌字符識別結果集； 步驟46、該車牌識別結果輸出模塊根據上述的車牌字符識別結果集中選出最可信的、最符合輸出條件的車牌字符結果，並輸出車牌號碼結果至車輛相關信息輸出單元； 步驟5、所述的車輛相關信息輸出單元，將車牌識別單元輸出的車牌號碼結果，結合車輛檢測和跟蹤單元輸出的包括車輛的車型、車速、行駛軌跡、過程圖像、過程錄像、車輛違法信息的車輛相關信息，一併輸出並保存到系統中。
7.根據權利要求6中的一種融合視頻動態跟蹤的車牌識別方法，其特徵在於該多層次可疑車牌定位算法具體包括如下步驟 步驟411、灰度化定位輸入的圖像； 步驟412、對上述的輸入圖像以5X5矩形區域循環進行灰度平滑； 步驟413、對上述平滑後的輸入圖像的每個像數點進行垂直方向的sobel變化，即 gray(i，j)= (gray (i_l, j_l)〈〈I) + (gray (i_l, j + 1)〈〈I) + (gray (i + 1, j + 1)〈〈I)-(gray (i, j_l)〈〈l)- (gray (i, j+1)〈〈I)- (gray (i+1, j_l)〈〈l)，如此可增加突出車牌邊緣，再次增強灰度圖像，貝1J灰度邊緣值IpResult [i，j]= gray (i, j-2)+ gray (i, j-1)-gray(i, j+1)- gray(i, j+2)； 步驟414、若每行的灰度邊緣均值少於60，則該行灰度比較閾值為15 ;若每行的灰度邊緣均值大於60且少於220時，則該行的灰度比較閾值為30 ;若每行的灰度邊緣均值大於220時，則該行的灰度比較閾值為20 ;當IpResult [i, j]的絕對值大於該行的灰度比較閾值時，該像數點設為lpFlag[i] [j]； 對輸入圖像自上而下且從左至右掃描像素點，在若干個像素點範圍內若存在lpFlag[i][j]，就將這些像素點連通形成連通段，在若干個像素點範圍內若不存在lpFlag[i][j]，就跳過這些像素點繼續掃描連通工作，待掃描完畢，對上述的連通段進行判斷，若該連通段的灰度邊緣均值少於60，則該連通段灰度比較閾值為15 ;若該連通段的灰度邊緣均值大於60且少於220時，則該連通段的灰度比較閾值為30 ;若該連通段的灰度邊緣均值大於220時，則該連通段的灰度比較閾值為20;由此，分行分段多層次地獲取到灰度比較閾值； 步驟415、隔行或者隔幾行對輸入圖像的像數點進行判斷，若lpFlag[i][j]>0且 IpFlag [i] [j+1]〈O 時，將該像數點記為波峰位置 pffhiteArray [nffhitecount++]=(lpFlag[i] [j]+ lpFlag[i] [j]) l ； 若在lpFlag[i][j]〈0且IpFlag [i] [j+1]>0時，將該像數點記為波谷位置pBlackArray[nBlackCount++]= (lpFlag[i][j]+ lpFlag[i][j])>>1 ； 對輸入圖像自上而下且從左至右掃描像素點，在若干個像素點範圍內，若存在波峰或波谷，那麼就把連通區域擴展到該波峰或波谷上，一直連通到沒有波峰或波谷為止，就產生了可疑連通區域，並初步判斷該可疑連通區域的有效性，即該可疑連通區域必須符合初步車牌的寬高比例規則，然後將有效的可疑連通區域加入正式的可疑連通區域集裡； 步驟416、確定有效可疑連通區域的左右邊界。
全文摘要
本發明一種融合視頻動態跟蹤車輛的車牌識別方法和系統，包括車輛檢測參數和車牌識別相關參數設置單元、圖像採集單元、車輛檢測和跟蹤單元、車牌識別單元和車輛相關信息輸出單元；通過跟蹤車輛的外形輪廓，初步定位出車輛的位置，然後在該車輛的位置區域範圍內，定位出車牌區域，由車輛識別單元統計並輸出最可信的車牌號碼，在車牌識別的同時還可以提供有關車輛車型、車速、行駛軌跡、過程錄像和車輛違法狀態信息等車輛相關信息，滿足用戶對於車輛信息的全面需求。
文檔編號G06K9/00GK102722704SQ20121019155
公開日2012年10月10日 申請日期2012年6月12日 優先權日2012年6月12日
發明者陳志陽 申請人:廈門宸天電子科技有限公司