一種基於車牌、車身顏色和車標識別的套牌車輛識別設備及方法

2023-06-25 02:46:16

專利名稱：一種基於車牌、車身顏色和車標識別的套牌車輛識別設備及方法
技術領域：
本發明涉及視頻圖像採集、圖像處理、圖像識別的系統，屬於計算機視覺與模 式識別技術領域和智能交通應用領域，具體為實現車輛管理智能化、違章車輛自 動處理實時化而設計的交通視頻自動處理系統。
背景技術：
套牌車輛就是非法套用他人的機動車車牌，車牌是車輛的身份證，近年來，套 牌車現象蔓延全國，以致事故頻發，犯罪劇增，影響惡劣，民怨沸騰，擾亂了正 常的社會秩序，如何有力打擊此類違法行為，成為交通管理部門的一道難題。
目前，基於車牌識別的"電子警察"技術在城市道路交通、高速路交費、治安卡 口、停車場等各個領域及不同地區己經普及應用，追查套牌車輛的最常用做法是 由計算機自動識別出車牌號，然後查詢資料庫是否是套牌嫌疑車輛。但是車牌受 部分遮擋、汙跡、變形以及環境光照變化大等因素影響時，識別精度大大降低， 誤差大，給交警執法和車主帶來了不便，因此僅依靠識別車輛牌照來追查套牌車 輛是不夠的，車輛身份的判定應該需要更多的特徵，如車身顏色、車標、車型等 等，為準確判定車輛身份，有效打擊套牌現象，本發明提出了基於車牌識別、車 身顏色和車標識別相結合的套牌車輛識別方法。

發明內容
本發明的目的在於採用完全的交通視頻的自動採集和智能處理，實現對車輛牌 照、車身顏色、車輛標誌的定位與識別，將採集的車輛信息與車輛資料庫記錄的 車輛信息比對，對可疑的套牌車輛進行自動報警提示，提示交通警察進一步取證 核實，從而有效的解決和打擊目前泛濫的套牌現象，完成交通管理的智能化、處 理的實時化。
本發明的設備是通過如下的技術方案實現的，所述的設備包括視頻圖像採集的攝像機和圖像處理計算機，視頻採集用的攝像機通過圖像採集卡與圖像處理計 算機相連。視頻圖像採集攝像機可以是CCD攝像機，也可以是數碼攝像機，攝像 機可以使用三角支架架設在道路旁，也可以通過固定支架架設在車輛內。為得到 清晰的車牌圖像，攝像機最多監控兩條車道。圖像處理計算機可以是可攜式工業 控制機，也可以是普通的筆記本電腦。圖像處理計算機具有無線通信的功能，可 以通過無線通信模塊或無線網卡實現與交通指揮中心的網絡連接。
本發明的套牌車輛識別系統可以在警用汽車內使用，攝像機可以通過固定支架 安置在汽車前擋風玻璃後面，攝像機的電源可以車載12V電源提供，攝像機的輸 出通過視頻採集卡輸入到計算機設備，計算機設備包括筆記本電腦或可攜式工控 機，本發明中的計算機設備配備音效卡、音箱組成的聲音報警設備，車牌定位器定 位車牌位置，車牌識別器識別出車牌字符，車身顏色識別器用於識別車身顏色， 車標定位器根據車牌的位置可以準確定位車標，車標識別根據定位結果識別出車 標，資料庫查詢器可以根據識別出的車牌結果、車身顏色和車標結果和資料庫進 行比對，如果計算機識別出的車輛和實際登記的車輛信息不符或者是在"黑名單" 上的車輛，計算機可以通過聲音和軟體界面報警，提示執法人員進行進一步核實。 資料庫可以是已經下載到計算機的本地資料庫，也可以是通過計算機通過無線網 卡和指揮中心建立連接，支持長距離數據傳輸，實時訪問中心資料庫，進行查詢。
本說明所述的套牌車輛識別系統也可以在道路旁使用，攝像機可以通過三角支 架架設在道路旁，攝像機架設高度與車牌高度接近，拍攝方向可以和車輛行駛方 向一致，也可以面向車輛行駛方向。拍攝角度定義為車輛行駛方向與拍攝方向的 銳角部分， 一般在2CT45度之間，可以監控同方向的兩條車道。
本發明所述套牌車輛識別系統採用高解析度圖像採集技術，圖像清晰，具有連 續抓拍能力，圖像處理速度快，可以確保不同車速下都能抓拍到車輛並識別出車 牌、車身顏色和車標等信息。計算機所保存的信息包括車輛監控地點、車輛行駛 方向、車輛出現時間、車牌、車身顏色、車標等，便於大量的數據文件的分析檢 索。
本發明之視頻檢測器主要完成視頻圖像中的車輛檢測，檢測圖像中是否有車 輛，如果發現有車輛出現則啟動存儲圖像，並啟動識別器，定位和識別車牌、車 輛顏色和車標。視頻檢測器的工作路程如下
(4) 視頻圖像獲取將攝像機所拍攝的視頻圖像通過圖像採集卡進行捕獲。
(5) 背景學習背景圖像用於車輛目標的檢測，通過幾幀圖像來獲取背景圖像。設/,為第t時刻的圖像，S,為第t的背景圖像5,二i^/,，則下一時 刻的背景有下式產生5,+1= /,+1+(1- )^ "為加權因子'，—i加大當前幀圖 像對背景的影響。
(6)目標檢測目標檢測主要是檢測車輛目標，通過當前幀與背景圖像相減， 如果灰度差大於設定的閾值，則認為是背景，為減少噪聲的影響，因為車 牌部分邊緣信息豐富，用一個矩形框進行平滑，如果圖像中有大於閾值的 部分，則認為此幀圖像中包含有車輛，進行觸發，否則認為圖像中沒有車 輛，不進行處理。
本發明之車牌定位器和識別器、車身顏色識別器和車標定位器、識別器構成 了套牌車輛自動識別處理的核心，車牌定位器的工作流程如下
(5) 獲的差分圖像視頻檢測器檢測到含有車輛的圖像後，馬上觸發車牌定位 器，車牌定位器根據捕獲的圖像檢測車牌，車牌定位器先將圖像用Sobel 算子進行差分，獲的圖像高頻分量。
(6) 尋找候選區域 一般車牌區域的寬度約佔圖像寬度的l/5至l/7,用與車牌 相似的矩形框，其長度分別從圖像長度的1/5至1/7，並在整個圖像中滑動， 統計其高頻分量的和，並向水平方向投影，統計出水平方向的極大值；再 統計極大值位置上的高頻分量之和，向垂直方向投影，取幾個垂直方向的 極大值，獲的水平和垂直方向得到的極大值位置構成了車牌的候選位置。
(7) 車牌區域的判定候選區域可能有多個，而圖像中車牌只有一兩個，車牌 區域的判定是根據現有公安部頒布的標準車牌的特點來進行的，目前的車 牌主要分為92式民用車牌(藍底白字)，雙排大車車牌(黃底黑字)，警車、 軍車、武警車輛(白底黑字)以及部分02式車牌。判斷候選區域是否符合 以上牌照的字符排列規則，如果是，則將可信度提高，如果否，則可信度 降低，排序後排在最前面的為最有可能是車牌的區域。
(8) 字符切分根據判斷的車牌類型進行字符切分，代價函數記錄切分的過程 中的切分代價，用于衡量為車牌的可能性的大小。
本發明之車牌識別器完成了對車牌字符的識別及車牌最終位置的確認，其工 作流程如下
(5) 字符規整切分獲得的車牌單個字符的大小不一，為便於識別，對圖像採 用基於字符重心的方法進行規整，統一規整為40x20大小。
(6) 特徵抽取只取圖像的邊緣，再將圖像分成8x4大小的子塊，抽取每個子塊的方向特徵，以3x3模板提取每個子塊的水平、垂直、-45°， +45°四個 方向的特徵。
(7) 字符識別將抽取到的特徵與訓練特徵進行匹配，根據最近鄰的原則輸出 結果。因為車牌不同位置字符規則不一用，匹配時的範圍也不一樣， 一般 而言，第一位全部為各省份的簡寫和軍用漢字，第二位為英文字符，第三 和第四位既有可能是英文字母，也有可能是數字，後三位只有數字。
(8) 可信度估計可信度是根據字符切分的代價函數和字符識別時字符的匹配 程度來計算的，根據可信度的大小，最終決定結果輸出，並給出最終的車 牌的位置。
本發明之車身顏色識別器主要識別車輛車身顏色，其工作流程如下
(4) 車身顏色定位車牌的位置相對比較精確，根據車牌的位置，在其上方尋 找大片差分值接近零的區域為車身顏色的區域。
(5) 顏色轉換攝像機獲取的彩色圖像的空間模型採用的是RGB彩色模型，每 個像素點有R， G， B三個通道值的組合來共同表示。HIS空間基於人類視覺 系統提出的，用於識別顏色時具有較高的精度，而且計算簡單。所以通過 計算公式把車身顏色RGB變換到HSI空間。
(6) 顏色識別在HSI空間，統計色調的變化，同時利用亮度和飽和度等信息， 將車輛顏色進行分類，可以分成黑、白、紅、黃、綠、藍等。
本發明之車標定位與識別器完成了對車標的智能處理，其處理流程如下
(4) 車標粗定位車標的定位首先根據車牌的準確位置，在車牌的正上方一定 區域內進行車標粗定位，尋找車標大概的位置。
(5) 車標細定位在粗定位的區域中可能含有車頭橫柵格等多餘噪聲，利用圖 像增強技術、數學形態學技術對噪聲進行去除，準確定位車標。
(6) 車標識別車標識別採用基於模板匹配技術，將二值化和規整後的車標圖 像與已知車標的圖像庫進行匹配，計算圖像間的相似度，最相似者作為車 標結果輸出，若相似度小於設定的閾值，而拒識。
本發明之資料庫查詢與報警裝置是套牌車輛識別的前端處理部分，其工作流程 如下
(5)資料庫査詢由車牌識別器、車身顏色識別器和車標識別器輸出的識別結 果，以車牌識別結果為主索引査詢，查詢本地資料庫或通過無線網絡連接指揮中心的資料庫，再結合車身顏色和車標進行核對。
(6) 自動報警如果以車牌結果在資料庫中查詢到該為已登記的套牌車輛，設 備直接報警；如果不是已登記的套牌車輛，但識別出車輛信息與記錄的車 輛信息不符，設備將報警提示。
(7) 人工校對識別結果總有一定誤差，如果識別結果可信度低，但查詢的車 輛有套牌嫌疑，設備提示有人工核對，並可對結果進行修改。
(8) 圖像保存為保存處罰證據，設備可對抓拍的圖像採用.jpg的格式進行保 存。
下面結合附圖的詳細描述，可以更好地理解本發明技術方案的實質內容，附圖 中相同的標記表示相同的裝置。


圖l是基於車牌、車標和車身顏色套牌車輛識別設備框圖； 圖2是視頻檢測器的示意圖3是套牌車輛識別處理過程示意圖； 圖4是資料庫査詢和報警處理流程圖。
具體實施例方式
本發明提出的一種基於車牌、車標和車身顏色信息的套牌車輛識別設備及其 方法是通過如下的技術方案實現的。
圖1是基於車牌、車標和車身顏色信息的套牌車輛識別設備框圖。如圖1所 示，所述的設備包括-
視頻檢測器用於視頻圖像的獲取、背景學習和目標檢測，如果視頻檢測器檢測 到有車輛目標出現，則將圖像送入車牌定位器，並啟動車牌識別、車身顏色識別 和車標識別。車牌定位器主要定位出車牌的多個候選區域，車牌識別器對每個候 選區域進行字符切分，識別出車牌字符，對每個區域給出一個可信度判斷，可信 度最高的作為結果輸出。車身顏色識別器根據車牌的準確位置定位車身顏色，並 識別車身顏色，車標定位器也根據車牌定位器給出的車牌位置可以準確定位車標，
車標識別器識別車標。資料庫查詢器可以根據識別出的車牌結果、車身顏色和車 標結果和資料庫進行比對，首先以識別的車牌號碼査詢本地套牌車輛資料庫，如 果是套牌車輛則直接聲光報警，如果不在套牌車輛資料庫中，則查詢指揮中心車 輛資料庫，識別出的車牌、車標和車身顏色和實際登記的車輛信息不符，計算機可以通過聲音和軟體界面報警，提示執法人員進行進一步核實。資料庫可以是已 經下載到計算機的本地資料庫，也可以是通過計算機通過無線網卡和指揮中心建 立連接，支持長距離數據傳輸，實時訪問中心資料庫，進行查詢。 圖2視頻檢測器的流程圖。其具體步驟如下
視頻檢測器從輸入裝置獲取視頻圖像，輸入裝置可以由CCD攝像機，也可以是 數碼攝像機。攝像機可以通過固定支架架設在車內，也可以通過三角支架架設在 道路旁，攝像機的電源由車載電源提供。背景學習用於目標的檢測，背景的準確 程度影響到目標檢測的準確性，所以背景學習採用加權的方法更新。目標的檢測 可以通過幀差的方式獲得，如果變化區域超過了設定的閾值，則認為有目標出現， 進行下一步處理，如果沒有目標出現，繼續目標檢測，並更新背景。
圖3是車輛信息識別處理流程圖。其步驟如下
車牌定位器和識別器、車身顏色識別器和車標定位器、識別器構成了車輛自 動識別處理的核心，車牌定位器是整個處理的基礎，視頻檢測器檢測到車輛後， 馬上觸發車牌定位器，車牌定位器根據車牌部分邊緣信息豐富的特點，尋找候選 區域，所找到的候選區域可能有多個，而圖像中車牌只有一兩個，接下來的車牌 候選區域的判定則根據現有車牌標準，判斷候選區域是否符合標準車牌的字符排 列規則，根據符合程度賦予不同的可信度。字符切分根據判斷的車牌類型進行切 分，代價函數記錄切分的過程中的切分代價，也是用于衡量為車牌的可能性的大 小。車牌識別器完成了對車牌字符的識別及車牌最終位置的確認，特徵提取部分 完成了對邊緣化後的字符特徵抽取，字符識別將抽取到的特徵與訓練特徵進行匹 配，根據最近鄰的原則輸出結果。可信度是根據字符切分的代價函數和字符識別 時字符的匹配程度來計算的，根據可信度的大小，最終決定結果輸出，並給出最 終的車牌的位置。車牌的位置相對比較精確，根據車牌的位置，在其上方尋找大
片差分值接近零的區域為車身顏色的區域。通過計算公式把車身顏色RGB變換到 HSI空間。在HSI空間，統計色調的變化，同時利用亮度和飽和度等信息，將車輛 顏色進行分類，可以分成黑、白、紅、黃、綠、藍等。車標定位與識別器完成 了對車標的智能處理，車標的定位也是根據車牌的準確位置，在車牌的正上方一 定區域內進行車標粗定位，尋找車標大概的位置。在粗定位的區域中可能含有車 頭橫柵格等多餘噪聲，利用圖像增強技術、數學形態學技術對噪聲進行去除，準 確定位車標。車標識別採用基於模板匹配技術，將二值化和規整後的車標圖像與 已知車標的圖像庫迸行匹配，計算圖像間的相似度，最相似者作為車標結果輸出。圖4是數據査詢與報警裝置。其工作流程如下 由車牌識別器、車身顏色識別器和車標識別器輸出的識別結果，以車牌識別 結果為主索引查詢，查詢本地資料庫或通過無線網絡連接指揮中心的資料庫，再 結合車身顏色和車標進行核對。如果以車牌結果在資料庫中查詢到該為已登記的 套牌車輛，設備直接報警；如果不是已登記的套牌車輛，但識別出車輛信息與記 錄的車輛信息不符，設備將報警提示。識別結果總有一定誤差，如果識別結果可 信度低，但査詢的車輛有套牌嫌疑，設備提示有人工核對，並可對結果進行修改。 為保存處罰證據，設備可對抓拍的圖像採用.jpg的格式進行保存。
以上描述僅僅藉助於實施例提供本發明的實現方法。對於本領域的技術人員是 顯而易見的，本發明不限於上面提供的實施細節，可以在不脫離本發明特徵的情 況下以另外的實施例實現，實施例中的一些部件進行分解、合併或使用處理器實 現。因此，提供的實施例應當被認為是說明性的，而不是限制性的。因此，實現 和使用本發明的可能性是由所附的權利要求限定。因而，由權利要求確定的實現 本發明的各種選擇包括等效實施例也屬於本發明的範圍。
權利要求
1、一種基於車牌、車身顏色和車標識別的套牌車輛識別設備及方法，其特徵在於所述的設備包括視頻檢測器、車牌定位器、車牌識別器、車身顏色識別器、車標定位器、車標識別器、資料庫查詢與報警裝置等，其中視頻檢測器可以捕獲視頻，並檢測車輛，將含有車輛的圖像傳送給車牌定位器，車牌識別器給出識別結果。以車牌位置為相對坐標，車身顏色識別器和車標識別器識別車身顏色和車標，首先以識別的車牌號碼查詢本地套牌車輛資料庫，如果是套牌車輛報警裝置則直接聲光報警，如果不在套牌車輛資料庫中，則查詢指揮中心車輛資料庫，識別出的車牌、車標和車身顏色和實際登記的車輛信息不符，報警裝置可以通過聲音和軟體界面報警。
2、 根據權利要求1所述的套牌車輛識別設備，其特徵在於設備使用靈活，可 以架設在警車內，也可以架設在道路旁，操作簡單，安裝方便。
3、 根據權利要求l所述的套牌車輛識別設備及方法，其特徵在於可以識別車 輛牌照、車身顏色以及車標等車輛信息，並記錄時間、地點等相關信息。
4、 根據權利要求3所述的識別套牌車輛識別設備，其特徵在於視頻檢測器的工作流程如下(1) 視頻圖像獲取將攝像機所拍攝的視頻圖像通過圖像採集卡進行捕獲。(2) 背景學習通過加權的方式學習背景，加大當前幀圖像對背景的影響。(3) 目標檢測:通過當前幀與背景圖像相減，如果灰度差大於設定的閾值，則 認為是背景，為減少噪聲的影響，因為車牌部分邊緣信息豐富，用一個矩 形框進行平滑，如果圖像中有大於閾值的部分，則認為此幀圖像中包含有 車輛，進行觸發，否則認為圖像中沒有車輛，不進行處理。
5、 根據權利要求3所述的識別套牌車輛識別設備，其特徵在於車牌定位器的 工作流程如下(1) 獲的差分圖像:將圖像用Sobel算子進行差分，獲的圖像高頻分量。(2) 尋找候選區域:統計其高頻分量的和，並向水平和垂直方向投影，獲得多 個車牌的候選位置。(3) 車牌區域的判定:判斷候選區域是否符合現有車牌的字符排列規則，如果 是，則將可信度提高，如果否，則可信度降低，排序後排在最前面的為最有可能是車牌的區域。 (4)字符切分根據判斷的車牌類型進行字符切分，代價函數記錄切分的過程 中的切分代價，用于衡量為車牌的可能性的大小。
6、 根據權利要求3所述的識別套牌車輛識別設備，其特徵在於車牌識別器的 工作流程如下(1) 字符規整:對圖像採用基於字符重心的方法進行規整，統一規整為40x20 大小。(2) 特徵抽取:抽取字符的方向線素特徵。(3) 字符識別將抽取到的特徵與訓練特徵進行匹配，根據最近鄰的原則輸出 結果。(4) 可信度估計可信度是根據字符切分的代價函數和字符識別時字符的匹配 程度來計算的，根據可信度的大小，最終決定結果輸出，並給出最終的車 牌的位置。
7、 根據權利要求3所述的識別套牌車輛識別設備，其特徵在於車身顏色識別 器的工作流程如下(1) 車身顏色定位車牌的位置相對比較精確，根據車牌的位置，在其上方尋 找大片差分值接近零的區域為車身顏色的區域。(2) 顏色轉換把車身顏色RGB變換到HSI空間。(3) 顏色識別在HSI空間，統計色調的變化，同時利用亮度和飽和度等信息， 將車輛顏色進行分類。
8、 根據權利要求3所述的識別套牌車輛識別設備，其特徵在於車標定位與識 別器的工作流程如下(1) 車標粗定位車標的定位首先根據車牌的準確位置，在車牌的正上方一定 區域內進行車標粗定位，尋找車標大概的位置。(2) 車標細定位:利用圖像增強技術、數學形態學技術對噪聲進行去除，準確 定位車標。(3) 車標識別車標識別採用基於模板匹配技術，計算圖像間的相似度，最相 似者作為車標結果輸出，若相似度小於設定的閾值，而拒識。
9、 根據權利要求3所述的識別套牌車輛識別設備，其特徵在於車牌識別器的 工作流程如下(1)資料庫査詢由車牌識別器、車身顏色識別器和車標識別器輸出的識別結果，以車牌識別結果為主索引查詢，查詢本地資料庫或通過無線網絡連接 指揮中心的資料庫，再結合車身顏色和車標進行核對。(2) 自動報警如果以車牌結果在資料庫中查詢到該為已登記的套牌車輛，設 備直接報警；如果不是已登記的套牌車輛，但識別出車輛信息與記錄的車 輛信息不符，設備將報警提示。(3) 人工校對識別結果總有一定誤差，如果識別結果可信度低，但查詢的車 輛有套牌嫌疑，設備提示有人工核對，並可對結果進行修改。(4) 圖像保存為保存處罰證據，設備可對抓拍的圖像採用.jpg的格式進行保 存。
全文摘要
本發明公開了一種基於車身顏色、車牌和車標識別的套牌車輛自動識別設備及其方法。所述的設備包括視頻檢測器、車牌定位器、車牌識別器、車身顏色識別器、車標定位器、車標識別器、資料庫查詢與報警裝置等。根據車牌圖像的局部邊緣信息豐富的特點，該設備可以在捕獲的圖像中準確的定位車牌，利用車牌的位置，又提取車身區域和車標的粗略位置，根據提取的粗略位置再準確的提取車身顏色和車標；接下來是車牌字符識別、車身顏色判斷和車標識別，根據此三項識別結果就和資料庫裡的資料進行比對，可以查出是否為套牌車輛，如果是套牌車輛，可以自動報警，由執法人員攔截進行進一步核實。該設備結構化好，操作簡單，判別精度高，而且人工設定參數少。該設備還可以應用在欠費車輛、被盜車輛或違章車輛抓逃等。
文檔編號G06K9/00GK101630361SQ20081024661
公開日2010年1月20日 申請日期2008年12月30日 優先權日2008年12月30日
發明者宋志敏, 張洪剛, 軍 郭 申請人:北京郵電大學;北京弗雷賽普科技發展有限公司