一種基於字符融合特徵的車牌字符識別方法及系統的製作方法
2023-05-10 04:37:56
一種基於字符融合特徵的車牌字符識別方法及系統的製作方法
【專利摘要】本發明公開了一種基於字符融合特徵的車牌字符識別方法及系統，克服目前車牌字符識別準確度較低的不足。該方法包括：對車牌圖像進行預處理，獲得預處理圖像；提取出預處理圖像中字符的融合特徵；對字符的融合特徵進行分類識別，獲得車牌信息。本申請的實施例可以提高車牌字符識別的準確度和速度。
【專利說明】一種基於字符融合特徵的車牌字符識別方法及系統【技術領域】
[0001]本發明涉及車牌字符識別，尤其涉及一種基於字符融合特徵的車牌字符識別方法及系統。
【背景技術】
[0002]車牌識別技術是現代智能交通系統(Intelligent Transportation System, ITS)中的重要組成部分。高效的車牌識別系統(License Plate Recognition,LPR)可以大幅度提高路網的通行能力和服務質量。
[0003]車牌識別技術主要包括車牌區域的定位、車牌字符的分割和車牌字符的識別等三個部分。車牌字符的識別，可以獲取完整的車牌信息，是車牌識別技術的最終目的。因此車牌字符識別準確率是直接影響到獲取車牌的信息是否準確，如何快速準確地在實際複雜場景中對車牌字符進行識別是一個挑戰。 [0004]車牌字符識別屬於模式識別的範疇，模式識別是對過程或者事物的分類與描述，具有類似性質的過程或者事物被劃為一類。簡單來說，車牌字符識別的實現方式是通過提取待識別車牌字符的特徵與收集的字符資料庫中的特徵進行匹配並找出匹配度最大的特徵對應的字符，該字符就是識別結果，將識別的結果逐個顯示可以看到車牌的全部信息，因此車牌字符識別階段包括車牌字符預處理、提取字符特徵、分類匹配判決等過程。
[0005]常用的字符識別方法圍繞車牌字符的特徵展開，包括統計模式識別、結構模式識別和神經網絡，其中統計模式識別統計字符的整體規律並將統計信息作為字符特徵，輸入到分類網絡中通過判決函數識別，該法對外部條件的魯棒性不強且計算量過大；結構模式識別方法魯棒性差且算法複雜而無實用性；神經網絡作為一種機器學習的方法需要經過充足的訓練和參數調整後才具備很好地泛化能力和正確率，因此分類網絡的訓練比較費時費力並會出錯。
[0006]在複雜場景中，單一特徵無法完整提取車牌特徵而導致車牌字符的識別準確率較低。支持向量機中分類網絡的構建，不僅要考慮識別速度必須滿足實時性的要求，還需構建的分類網絡具有一定的魯棒性和適應性。
[0007]如何選擇和提取字符的特徵以及構建合適的分類網絡，是影響車牌字符識別性能的關鍵因素。有必要在提高車牌字符識別準確率的同時，提高車牌字符的識別速度，克服車牌邊框等自身條件的幹擾和光照變化等外部條件的影響，最終高效準確地對車牌字符進行識別。
【發明內容】
[0008]本發明所要解決的技術問題是克服目前車牌字符識別準確度較低的不足。
[0009]為了解決上述技術問題，本發明提供了一種基於字符融合特徵的車牌字符識別方法，用於從車牌圖像中識別出車牌信息，該方法包括:
[0010]對所述車牌圖像進行預處理，獲得預處理圖像；[0011]提取出所述預處理圖像中字符的融合特徵；
[0012]對所述字符的融合特徵進行分類識別，獲得所述車牌信息。
[0013]其中，對所述車牌圖像進行預處理，獲得預處理圖像，包括:
[0014]對所述車牌圖像進行二值化處理，得到二值化圖像；
[0015]在所述二值化圖像中確定包含有字符的有效字符區域；
[0016]在所述有效字符區域中提取出字符的骨架，得到包含所述骨架的所述預處理圖像。
[0017]其中，提取出所述預處理圖像中字符的融合特徵，包括:
[0018]提取出所述預處理圖像中體現字符整體形狀分布情況的網格特徵、反映不同方向上字符像素點分布情況的筆畫密度特徵、反映字符四周筆畫信息的四邊碼特徵以及反映字符輪廓信息的字符輪廓特徵。
[0019]其中，對所述字符的融合特徵進行分類識別，獲得所述車牌信息，包括:
[0020]採用漢字分類網絡對所述預處理圖像中的第一個字符的融合特徵進行識別，獲得所述第一個字符對應的漢字；
[0021]採用字母數字分類網絡對所述預處理圖像中的第二個字符至最後一個字符進行識別，獲得所述第二個字符至最後一個字符各自對應的數字或字母；
[0022]根據所述第一個字符對應的漢字以及所述第二個字符至最後一個字符各自對應的數字或字母，獲得所述車牌信息。
[0023]本申請的實施例還提供了一種基於字符融合特徵的車牌字符識別系統，用於從車牌圖像中識別出車牌信息，該系統包括:
[0024]預處理模塊，對所述車牌圖像進行預處理，獲得預處理圖像；
[0025]提取模塊，提取出所述預處理圖像中字符的融合特徵；
[0026]識別模塊，對所述字符的融合特徵進行分類識別，獲得所述車牌信息。
[0027]其中，所述預處理模塊包括:
[0028]二值化處理單元，對所述車牌圖像進行二值化處理，得到二值化圖像；
[0029]確定單元，在所述二值化圖像中確定包含有字符的有效字符區域；
[0030]提取單元，在所述有效字符區域中提取出字符的骨架，得到包含所述骨架的所述預處理圖像。
[0031]其中:所述提起模塊提取出所述預處理圖像中體現字符整體形狀分布情況的網格特徵、反映不同方向上字符像素點分布情況的筆畫密度特徵、反映字符四周筆畫信息的四邊碼特徵以及反映字符輪廓信息的字符輪廓特徵。
[0032]其中，所述識別模塊包括:
[0033]漢字識別單元，採用漢字分類網絡對所述預處理圖像中的第一個字符的融合特徵進行識別，獲得所述第一個字符對應的漢字；
[0034]字母數字識別單元，採用字母數字分類網絡對所述預處理圖像中的第二個字符至最後一個字符進行識別，獲得所述第二個字符至最後一個字符各自對應的數字或字母；
[0035]獲取單元，根據所述第一個字符對應的漢字以及所述第二個字符至最後一個字符各自對應的數字或字母，獲得所述車牌信息。
[0036]與現有技術相比，本申請的實施例利用融合特徵提取及支持向量機相結合的算法來對車牌字符進行識別，適用於不同時間段和光照條件下實地的街道、馬路、商場、地下停車場等拍攝的各種質量的車牌圖片，車牌圖像類型可以是特寫圖像、低質量圖像或者複雜場景圖像等，可以提高車牌字符識別的準確度和速度。本申請的實施例利用字符融合特徵向量可以克服在複雜情況下利用單一字符特徵對車牌字符識別準確度不高的缺陷，並且讓漢字、字母數字分別進入構建的兩類分類網絡，遍歷較少的分類網絡獲取字符識別結果，以此來提高識別速度。提取的融合特徵綜合考慮車牌字符的整體形狀分布、形狀特徵、不同方向上像素點的分布情況、周邊的筆畫信息，將車牌字符由內而外、由整體到局部的特徵充分進行提取，對漢字、數字和字母都比較適用，從而解決車牌漢字特徵提取的難題。利用字符融合特徵和支持向量機相結合的方法可以快速準確的實現車牌字符的識別，獲得完整的車牌信息。
【專利附圖】
【附圖說明】
[0037]圖1為本申請實施例的基於字符融合特徵的車牌字符識別方法的流程示意圖。
[0038]圖2為本申請實施例的基於字符融合特徵的車牌字符識別系統的構造示意圖。
[0039]圖3為利用本申請實施例的原理對樣本進行訓練獲得字符分類網絡的過程示意圖。
[0040]圖4為本申請實施例中細化處理時像素的鄰近關係示意圖。
[0041]圖5(a)-圖5 Cd)為本申請實施例中字符融合特徵的提取過程示意圖。
【具體實施方式】
[0042]以下將結合附圖及實施例來詳細說明本發明的實施方式，藉此對本發明如何應用技術手段來解決技術問題，並達成技術效果的實現過程能充分理解並據以實施。本申請實施例以及實施例中的各個特徵在不相衝突前提下的相互結合，均在本發明的保護範圍之內。
[0043]車牌識別技術是智能交通系統的重要組成部分，而車牌字符識別是車牌識別系統的關鍵步驟，車牌字符識別效果的好壞直接影響到能否獲得完整的車牌信息，必須利用有效的方法獲取良好的車牌字符識別效果，特別是在實際複雜環境中能夠對車牌字符進行快速準確地識別，並且能夠對邊框以及光照變化的影響具有較高的魯棒性和較強的泛化能力。但現有的統計模式識別和結構模式識別的方法無法考慮到各方面的因素，需要研究一種可以應用於實際的車牌字符識別方法。
[0044]支持向量機以結構風險最小化和VC維理論為基礎的統計學習方法，通過尋找最大間隔超平面來分類並將分類問題轉化為二次規劃問題，根據訓練樣本的信息考慮學習能力和模型複雜度之間的平衡獲得最好的泛化能力，在處理非線性、高維和小樣本模式識別問題中具有很大的優勢，並且在進行車牌字符識別只需要簡單的訓練學習與參數調整就能得到不輸於神經網絡分類網絡的準確率。
[0045]本發明的技術方案中，利用字符融合特徵提取和支持向量機相結合的算法對車牌字符進行識別，基於字符融合特徵的提取方法克服了單一字符特徵無法獲得較高的車牌字符識別準確率的缺陷，提取的融合特徵綜合考慮車牌字符的整體形狀分布、形狀特徵、不同方向上像素點的分布情況、周邊的筆畫信息，將車牌字符由內而外、由整體到局部的特徵充分進行提取，對漢字、數字和字母都比較適用，從而解決車牌漢字特徵提取的難題。利用支持向量機構建漢字、字母數字兩類分類網絡，並且讓漢字、字母數字分別進入構建的兩類分類網絡，遍歷較少的分類網絡獲取字符識別結果，以此來提高識別速度；支持向量機本身在處理小樣本、非線性和高維的模式識別問題上具有良好的優勢，並且泛化能力較強，能夠適應邊框以及光照等變化因素的影響，因此適合應用到實際場景中對車牌字符進行識別。將兩者結合起來，先提取車牌字符的融合特徵，以融合特徵向量為支持向量機的輸入訓練兩類分類網絡，測試車牌字符也提取融合特徵並分別輸入到兩類分類網絡進行識別，逐個顯示識別結果獲得完整車牌信息，將兩者結合可以不僅成功提高了車牌字符識別的準確率，具有較好的識別速度，而且具有較強的魯棒性和泛化能力，能夠在實際複雜環境中獲得良好的車牌字符識別效果。
[0046]本發明實施例的基於字符融合特徵的車牌字符識別方法，用於從車牌圖像中識別出車牌信息。如圖1所示，該方法主要包括如下步驟:
[0047]步驟S110，對待從中識別出車牌信息的車牌圖像進行預處理，獲得預處理圖像。
[0048]本申請的實施例中，該預處理的過程主要包括二值化處理、截取有效字符區域並從中提取出字符的骨架。首先，對車牌圖像進行二值化處理，得到二值化圖像。其次，在二值化圖像中確定包含有字符的有效字符區域。然後，在有效字符區域中提取出字符的骨架，得到包含字符骨架的預處理圖像。
[0049]步驟S120，提取出預處理圖像中字符的融合特徵。
[0050]本申請的實施例中，字符的融合特徵，主要包括體現字符整體形狀分布情況的網格特徵、反映不同方向上字符像素點分布情況的筆畫密度特徵、反映字符四周筆畫信息的四邊碼特徵以及反映字符輪廓信息的字符輪廓特徵。
[0051]步驟S130，對字符的融合特徵進行分類識別，獲得車牌信息。
[0052]本申請的實施例中，所述的分類識別主要是採用漢字分類網絡對漢字進行識別，以及採用字母數字分類網絡對字母和數字進行識別。具體地，採用漢字分類網絡對預處理圖像中的第一個字符的融合特徵進行識別，獲得第一個字符對應的漢字；採用字母數字分類網絡對預處理圖像中的第二個字符至最後一個字符進行識別，獲得第二個字符至最後一個字符各自對應的數字或字母。根據第一個字符對應的漢字以及第二個字符至最後一個字符各自對應的數字或字母，獲得車牌信息。
[0053]本發明實施例的基於字符融合特徵的車牌字符識別系統，用於從車牌圖像中識別出車牌信息。如圖2所示，該系統主要包括如下步驟預處理模塊210、提取模塊220以及識別模塊230。其中:
[0054]預處理模塊210，設置為對車牌圖像進行預處理，獲得預處理圖像。
[0055]提取模塊220，與預處理模塊210相連，提取出預處理圖像中字符的融合特徵；
[0056]識別模塊230，與提取模塊220相連，對字符的融合特徵進行分類識別，獲得車牌信息。
[0057]如圖2所示，該預處理模塊210主要包括二值化處理單元211、確定單元212以及提取單元213。其中:
[0058]二值化處理單元211，對車牌圖像進行二值化處理，得到二值化圖像。
[0059]確定單元212，與二值化處理單元211相連，在二值化圖像中確定包含有字符的有效字符區域。
[0060]提取單元213，與確定單元212相連，在有效字符區域中提取出字符的骨架，得到包含骨架的預處理圖像。
[0061]本申請的實施例中，提取模塊220提取出預處理圖像中體現字符整體形狀分布情況的網格特徵、反映不同方向上字符像素點分布情況的筆畫密度特徵、反映字符四周筆畫信息的四邊碼特徵以及反映字符輪廓信息的字符輪廓特徵。
[0062]如圖2所示，該識別模塊230包括漢字識別單元231、字母數字識別單元232以及獲取單元233。其中:
[0063]漢字識別單元231，採用漢字分類網絡對預處理圖像中的第一個字符的融合特徵進行識別，獲得第一個字符對應的漢字。
[0064]字母數字識別單元232，採用字母數字分類網絡對預處理圖像中的第二個字符至最後一個字符進行識別，獲得第二個字符至最後一個字符各自對應的數字或字母。 [0065]獲取單元233，與漢字識別單元231及字母數字識別單元232相連，根據第一個字符對應的漢字以及第二個字符至最後一個字符各自對應的數字或字母，獲得車牌信息。
[0066]本申請的實施例在應用時，首先訓練出漢字、字母數字兩類分類網絡。需要說明的是，利用訓練樣本訓練出漢字、字母數字兩類分類網絡並利用測試樣本進行測試的過程，與本申請實施例的基於字符融合特徵的車牌字符識別方法的原理和過程實質上相同，與本申請實施例的基於字符融合特徵的車牌字符識別系統的工作原理和過程實質上相同，可以用來對本申請實施例進行理解和參考。
[0067]如圖3所示，訓練的主要過程包括如下步驟:
[0068]步驟S310，收集車牌字符訓練樣本和車牌字符測試樣本，其中訓練樣本和測試樣本均包括對應於中國31個省份的31類漢字，10類數字和24類英文字母。
[0069]本申請的實施例中，每類數字和字母的訓練樣本和測試樣本可以分別為20張，每類漢字的訓練樣本和測試樣本數不等，方便研究不同的樣本數對車牌漢字識別造成的影響，漢字總共的訓練樣本和測試樣本數分別為208張，訓練和測試樣本利用平均加權法進行灰度化處理。
[0070]步驟S320，對訓練樣本和測試樣本進行預處理。
[0071]處理的對象是簡單的車牌字符，首先採用OTSU全局二值化算法進行二值化處理，得到二值化圖像。它按照圖像的目標和背景類間方差最大時取到二值化的閾值，不管圖像的直方圖有無明顯的雙峰都能達到比較好的效果。
[0072]將大小為MXN的圖像I (X，y)的分割閾值記為ξ，圖像中像素點的灰度值大於閾值ξ的數目記為K1，小於ξ的記為K2JPMXN = K1+!^屬於目標的像素點的個數佔整幅圖像的比例記做a i = V(MXN)，目標像素點的平均灰度記作β !;屬於背景的像素點佔整幅圖像的比例記做a2 = K2/(ΜΧΝ)，背景像素點的平均灰度記作β2，整幅圖像的平均灰度記作β，類間方差記為Y，那麼這些變量的關係如下:
[0073]β = α1Χβ1+α2Χβ2式(I)
[0074]Y =α2式(2)
[0075]將式(I)代入式(2)，得到:
[0076]y = (β「β2)2Χ Ci1X α2式(3)[0077]分割閾值ξ從灰度值0-255開始迭代，計算每次迭代的邊緣檢測圖像的類間方差Y並將前後兩次的Y進行比較，當Y為最大的時候取得二值化效果最好的分割閾值ξ。
[0078]然後根據獲取的最佳分割閾值ξ對圖像進行二值化處理，圖像中灰度值大於閾值ξ的像素點的新值記為1，小於閾值ξ的像素點的新值記為O,將灰度圖轉化為二值圖，轉化公式為:
【權利要求】
1.一種基於字符融合特徵的車牌字符識別方法，用於從車牌圖像中識別出車牌信息，其特徵在於，該方法包括: 對所述車牌圖像進行預處理，獲得預處理圖像； 提取出所述預處理圖像中字符的融合特徵； 對所述字符的融合特徵進行分類識別，獲得所述車牌信息。
2.根據權利要求1所述的方法，其特徵在於，對所述車牌圖像進行預處理，獲得預處理圖像，包括: 對所述車牌圖像進行二值化處理，得到二值化圖像； 在所述二值化圖像中確定包含有字符的有效字符區域； 在所述有效字符區域中提取出字符的骨架，得到包含所述骨架的所述預處理圖像。
3.根據權利要求1所述的方法，其特徵在於，提取出所述預處理圖像中字符的融合特徵，包括: 提取出所述預處理圖像中體現字符整體形狀分布情況的網格特徵、反映不同方向上字符像素點分布情況的筆畫密度特徵、反映字符四周筆畫信息的四邊碼特徵以及反映字符輪廓信息的字符輪廓特徵。
4.根據權利要求1所述的方法，其特徵在於，對所述字符的融合特徵進行分類識別，獲得所述車牌信息，包括: 採用漢字分類網絡對所述預處理圖像中的第一個字符的融合特徵進行識別，獲得所述第一個字符對應的漢字； 採用字母數字分類網絡對所述預處理圖像中的第二個字符至最後一個字符進行識別，獲得所述第二個字符至最後一個字符各自對應的數字或字母； 根據所述第一個字符對應的漢字以及所述第二個字符至最後一個字符各自對應的數字或字母，獲得所述車牌信息。
5.一種基於字符融合特徵的車牌字符識別系統，用於從車牌圖像中識別出車牌信息，其特徵在於，該系統包括: 預處理模塊，對所述車牌圖像進行預處理，獲得預處理圖像； 提取模塊，提取出所述預處理圖像中字符的融合特徵； 識別模塊，對所述字符的融合特徵進行分類識別，獲得所述車牌信息。
6.根據權利要求5所述的系統，其特徵在於，所述預處理模塊包括: 二值化處理單元，對所述車牌圖像進行二值化處理，得到二值化圖像； 確定單元，在所述二值化圖像中確定包含有字符的有效字符區域； 提取單元，在所述有效字符區域中提取出字符的骨架，得到包含所述骨架的所述預處理圖像。
7.根據權利要求5所述的系統，其特徵在於: 所述提起模塊提取出所述預處理圖像中體現字符整體形狀分布情況的網格特徵、反映不同方向上字符像素點分布情況的筆畫密度特徵、反映字符四周筆畫信息的四邊碼特徵以及反映字符輪廓信息的字符輪廓特徵。
8.根據權利要求5所述的系統，其特徵在於，所述識別模塊包括: 漢字識別單元，採用漢字分類網絡對所述預處理圖像中的第一個字符的融合特徵進行識別，獲得所述第一個字符對應的漢字； 字母數字識別單元，採用字母數字分類網絡對所述預處理圖像中的第二個字符至最後一個字符進行識別，獲得所述第二個字符至最後一個字符各自對應的數字或字母； 獲取單元，根據所述第一個字符對應的漢字以及所述第二個字符至最後一個字符各自對應的數字或字母，獲 得所述車牌信息。
【文檔編號】G06K9/00GK103902981SQ201410132674
【公開日】2014年7月2日 申請日期:2014年4月2日 優先權日:2014年4月2日
【發明者】熊繼平, 湯清華, 趙健 申請人:浙江師範大學