高效準確的車牌識別方法與流程
2024-01-22 20:08:15 2
本發明涉及智能交通技術領域，尤其涉及一種高效準確的車牌識別方法。
背景技術：
隨著視頻監控技術和深度學習技術的發展，智能交通系統成為未來交通系統的發展方向，可以緩解日益加劇的城市交通擁堵頑疾，減少交通違章和惡性交通事故現象，也為各類交通事故以及人身財產安全的事後處理提供有力的證據。而在這個過程中，車牌號碼作為機動車特有的身份表徵，起到了至關重要的作用，故車牌識別系統是智能交通系統的重要組成部分之一。
目前車牌識別的傳統方法主要包括兩個步驟，即字符分割和字符識別。對於字符分割，是指在車牌圖片中，準確獲取字符區域，為下一步的字符識別做準備。能否準確地分割字符區域，將直接影響車牌識別效果的好壞，是整個車牌識別算法的基礎。對於字符識別，是指用模式識別的方法對字符分割獲得的每個字符區域進行識別，獲得最終的車牌字符信息，是整個車牌識別算法的關鍵。下面分別從字符分割和字符識別兩個方面介紹相關的研究工作。
在針對字符分割的研究中，目前常用的方法主要有基於投影的方法和基於連通域的方法。在專利《一種基於積分特徵通道與灰度投影的車牌識別系統》中，採用基於投影的方法，根據車牌的灰度投影曲線圖和波峰波谷的情況對字符進行分割。在專利《一種車牌識別方法》中，採用基於連通域的方法，對車牌圖片進行二值化操作之後進行連通域標記，然後根據連通域分析得到字符區域。上述方法都是針對車牌較為清晰、光照均勻等簡單場景，如停車場、收費站等。如果直接應用在交通監控等場景，光照不均勻、車牌汙損、背景複雜等環境因素將會嚴重影響字符分割算法的效果，會導致基於投影的方法中所得到的灰度曲線波峰波谷不明顯或有多餘的波峰波谷，會導致基於連通域的方法中的二值化圖像發生黏連，直接導致無法正確分割字符，進而導致字符識別出錯。可見，現有方法對環境因素過於敏感，魯棒性較差，無法用於交通監控等複雜場景中。
在針對字符識別的研究中，目前常用的傳統方法主要有基於模板匹配的方法和基於特徵分類器的方法。在專利《一種車牌識別方法》中，採用基於模板匹配的方法，建立字符模板庫與待識別字符進行匹配，尋找最相似的字符。在專利《一種基於混合特徵與灰度投影的車牌識別方法》中，人工設計了聯合hog特徵，使用預先訓練好的svm進行分類。基於模板匹配的方法對環境因素過於敏感，車牌的汙損和光照變化會直接影響模板匹配的效果，而且該算法需要與模板庫中的每一個字符進行匹配，再選取最相似的一個，算法效率較低。而人工設計特徵的方法中設計過程過於繁瑣，針對不同的使用場景需要設計不同的特徵，算法魯棒性較差，而且複雜特徵的計算代價高，算法效率較低。
隨著深度學習技術的成熟，車牌識別技術開始與深度學習算法相結合。在《一種基於深度卷積神經網絡的車牌識別方法》專利中，使用深度自編碼器對字符進行識別。在《一種基於卷積神經網絡的中文車牌識別方法》專利中，使用卷積神經網絡對字符進行識別。使用深度學習的方法進行字符識別，可以一定程度上提升車牌識別算法的魯棒性和準確性。然而上述的傳統方法和基於深度學習的方法，都仍存在較大的技術瓶頸。首先，字符識別算法的效果直接受字符分割算法效果的影響，由上述分析可知，目前的字符分割效果應用於複雜場景時並不理想。其次，對於車牌的每一個字符都需要調用字符識別算法，這大大降低了車牌識別算法的效率。
技術實現要素：
本發明的目的是提供一種高效準確的車牌識別方法，大大提高了車牌識別的魯棒性和效率。
本發明的目的是通過以下技術方案實現的：
一種高效準確的車牌識別方法，包括：
對輸入的車牌圖片進行車牌緊緻化處理，獲得緊緻的車牌圖片；
使用預先訓練好的全卷積神經網絡模型進行車牌整體識別，獲得緊緻的車牌圖片中每一個像素點字符類別的預測結果，形成標籤得分矩陣；
對標籤得分矩陣進行分析，獲得最終的車牌字符串信息。
所述對輸入的車牌圖片進行車牌緊緻化處理，獲得緊緻的車牌圖片包括：
對輸入的車牌圖片進行灰度化處理，再計算x方向和y方向的梯度圖，並相應的進行x方向和y方向的投影，獲得投影曲線；
結合投影曲線與預先設置的閾值來計算感興趣區域的邊界，將四周小於閾值的部分剔除，實現對車牌圖片中背景部分的裁剪，並將裁剪後車牌圖片的大小調整至與車牌長寬比相近的固定尺寸，最終獲得緊緻的車牌圖片。
利用標定好的車牌識別數據訓練全卷積神經網絡模型，其包括：
收集各個省份的車牌圖片並進行車牌緊緻化處理後作為樣本，然後為每個樣本製作相應的標籤矩陣，標籤矩陣中的每個元素表示了對應像素點的字符類別；再使用深度學習框架，建立全卷積神經網絡模型；
以樣本和相應的標籤矩陣組成數據對，通過反向傳播算法以及梯度下降策略，使得損失函數最小化，最終得到訓練好的全卷積神經網絡模型。
所述使用預先訓練好的全卷積神經網絡模型進行車牌整體識別，獲得緊緻的車牌圖片中每一個像素點字符類別的預測結果，形成標籤得分矩陣包括：
將緊緻的車牌圖片輸入訓練好的全卷積神經網絡模型的輸入層，然後全卷積神經網絡模型進行前向傳播，最終得到一個m×n×c的標籤得分矩陣；其中，m與n為車牌圖片尺寸，c為標籤類別數目；
標籤得分矩陣中每一個元素代表了對應像素點所屬不同字符類別的得分。
所述對標籤得分矩陣進行分析，獲得最終的車牌字符串信息包括：
將標籤得分矩陣中，每一像素點得分最高的字符類別作為相應像素點的字符類別標籤，得到標籤矩陣l，再將標籤矩陣l分成s個對應字符標籤的二值圖；
對每一二值圖進行字符類別塊分析，獲得一系列的字符圖像塊的標記，過濾掉大小與寬度小於設定值，以及不符合字符幾何特徵的字符圖像塊之後，獲得字符圖像塊序列；
記錄下每一個字符圖像塊的平均橫坐標以及對應的字符類別，將字符類別按照平均橫坐標從小到大進行排列，從而初步獲得字符串序列；
若字符串序列的長度為預定值，即滿足車牌的字符數量，則將字符串序列按字符圖像塊平均橫坐標從小到大排列，從而獲得最終的車牌字符串信息。
該方法還包括：
若所得到字符串序列長度不等於預定值，則獲取每一個字符圖像塊的寬度，再按寬度從大到小的順序依次對字符圖像塊進行字符精細化分析，分析結果採用聯合投票策略進行判斷，直至字符總數等於預定值或者所有的字符圖像塊均進行了字符精細化分析。
字符精細化分析包括如下三種方法：
第一種方法：預先統計車牌圖片中每一字符的平寬度，根據字符圖像塊的寬度和字符類別，確定相應字符類別的平均寬度，從而確定字符圖像塊中的字符數num1；
第二種方法：對緊緻的車牌圖片進行閾值化處理獲得閾值圖，根據字符圖像塊的邊界，在閾值圖中截取感興趣區域；對感興趣區域進行輪廓查找的操作，並過濾掉大小與寬度小於預設值以及不符合字符幾何特徵的輪廓之後，獲得相應的輪廓數，並將其作為字符圖像塊的字符數num2；
第三種方法：對第二種方法中的感興趣區域進行豎直方向的投影獲得投影曲線，然後針對不同類型的字符，使用不同階次的多項式函數進行擬合，再統計波峰的數目，並將其作為字符圖像塊的字符數num3。
根據字符精細化分析得到的三個字符數，採用聯合投票策略，來最終確定圖像塊中的字符數：若字符數num1～num3中某個數值佔多數，則認為字符個數為相應數值；若字符數num1～num3各不相同，則考察字符數num2和num3，與字符數num1之間的距離，取距離最小的數值作為字最終的字符個數；若最終的字符個數不等於預定值，則繼續處理下一寬度大小的字符圖像塊，直到所處理的字符圖像塊包含的字符總數等於預定值或者所有的字符圖像塊均進行了字符精細化分析。
由上述本發明提供的技術方案可以看出，無需進行字符分割，避免了現有方法在分割字符時魯棒性差的問題；其次，本發明使用全卷積神經網絡進行車牌識別，只需進行一次識別過程，算法效率高，且在識別過程中結合了車牌完整的上下文信息，大大提高了識別的準確度和魯棒性；最後，本發明在進行標籤矩陣分析時，針對不同的車牌和不同的字符進行差異化處理，進一步提高了算法的魯棒性和適用性。
附圖說明
為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。
圖1為本發明實施例提供的一種高效準確的車牌識別方法的流程圖；
圖2為本發明實施例提供的車牌緊緻化處理的流程圖；
圖3為本發明實施例提供的分析標籤得分矩陣的流程圖；
圖4為本發明實施例提供的兩種字符精細化分析方法的流程圖。
具體實施方式
下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明的保護範圍。
為了解決現有車牌識別算法魯棒性差、效率較低的問題，使得車牌識別算法可應用於複雜交通監控場景，本發明實施例提供了一種高效準確的車牌識別方法，該方法不需要進行字符分割，使得算法魯棒性更強，適合於在複雜場景中使用。同時，使用全卷積神經網絡，針對單個車牌只進行一次識別過程，無需進行字符分割處理，解決了現有方法在進行字符分割時對環境幹擾過於敏感的問題，以及字符識別算法反覆調用導致的效率低下問題，大大提高了算法的魯棒性和效率。進一步，為了提高算法對複雜場景的適應性，在進行標籤矩陣分析時使用多種方法和聯合投票策略，使得車牌識別算法在光照不均、背景噪聲過多、運動模糊等環境幹擾下仍能準確高效地運行，可以在複雜場景下使用。
如圖1所示，為本發明實施例提供的一種高效準確的車牌識別方法的流程圖，主要過程如下：首先，對輸入的車牌圖片進行車牌緊緻化處理，獲得緊緻的車牌圖片；然後，使用預先訓練好的全卷積神經網絡模型進行車牌整體識別，獲得緊緻的車牌圖片中每一個像素點字符類別的預測結果，形成標籤得分矩陣；對標籤得分矩陣進行分析，獲得最終的車牌字符串信息。
為了便於理解，下面針對上述各個步驟做詳細的介紹。
一、車牌緊緻化處理。
車牌緊緻化處理的流程如圖2所示，首先對輸入的車牌圖片進行灰度化處理，再計算x方向和y方向的梯度圖，並相應的進行x方向和y方向的投影，獲得投影曲線；然後，結合投影曲線與預先設置的閾值來計算感興趣區域的邊界，將四周小於閾值的部分剔除，實現對車牌圖片中背景部分的裁剪，並將裁剪後車牌圖片的大小調整至與車牌長寬比相近的固定尺寸，最終獲得緊緻的車牌圖片。
示例性的，可以將裁剪後的車牌圖片調整至50×160的大小。
二、全卷積神經網絡模型訓練與像素級車牌識別。
1、建立與訓練全卷積神經網絡模型。
本發明實施例中，可以利用標定好的車牌識別數據，預先訓練全卷積神經網絡模型，相關過程如下：收集各個省份的車牌圖片並進行車牌緊緻化處理後作為樣本，然後為每個樣本製作相應的標籤矩陣，標籤矩陣中的每個元素表示了對應像素點的字符類別；再使用深度學習框架，建立全卷積神經網絡模型；以樣本和相應的標籤矩陣組成數據對，通過反向傳播算法以及梯度下降策略，使得損失函數最小化，最終得到訓練好的全卷積神經網絡模型。
示例性的，製作樣本時的字符類別總共有65類，車牌漢字字符主要包括22個省、5個自治區和4個直轄市的簡稱，總共31類；數字字符為0-9的10類；字母字符為a-z(不包含i和o)的24類。
2、像素級車牌識別。
本發明實施例中，使用訓練好的全卷積神經網絡模型，對緊緻的車牌圖像進行字符序列的整體識別，獲得像素級的字符類別標籤，形成標籤得分矩陣。具體的如下：將緊緻的車牌圖片輸入訓練好的全卷積神經網絡模型的輸入層，然後全卷積神經網絡模型進行前向傳播，最終得到一個m×n×c的標籤得分矩陣；其中，m與n為車牌圖片尺寸，c為標籤類別數目。標籤得分矩陣中每一個元素代表了對應像素點所屬不同字符類別的得分。
三、標籤得分矩陣分析。
分析過程如圖3所示，首先，將標籤得分矩陣中，每一像素點得分最高的字符類別作為相應像素點的字符類別標籤，得到標籤矩陣l，再將標籤矩陣l分成s個對應字符標籤的二值圖；第i個二值圖記為li，如果某個像素點屬於第i字符標籤，則值為1，不是則值為0，表示為l(x，y)＝i，則li(x，y)＝1，否則li(x，y)＝0。示例性的，因為有65個字符類別，故選取s為65。
對每一個二值圖進行字符類別塊分析，獲得一系列的字符圖像塊的標記，過濾掉大小與寬度小於設定值，以及不符合字符幾何特徵的字符圖像塊之後，獲得字符圖像塊序列；
記錄下每一個字符圖像塊的平均橫坐標以及對應的字符類別，將字符類別按照平均橫坐標從小到大進行排列，從而初步獲得字符串序列；
若字符串序列的長度為預定值，即滿足車牌的字符數量，則將字符串序列按字符圖像塊平均橫坐標從小到大排列，從而獲得最終的車牌字符串信息。
若所得到字符串序列長度不等於預定值，則獲取每一個字符圖像塊的寬度，再按寬度從大到小的順序依次對字符圖像塊進行字符精細化分析，分析結果採用聯合投票策略進行判斷，直至字符總數等於預定值或者所有的字符圖像塊均進行了字符精細化分析。
示例性的，根據國內車牌規範中的字符個數，所述預定值為七；但如果車牌類型(如雙行車牌、國外車牌)的字符數不是七，則預定值適應性改為其他數值。圖3中為了便於講解，預定值取為七。
本發明實施例中，字符精細化分析包括如下三種方法：
第一種方法，即基於統計寬度的方法，其過程如下：預先統計車牌圖片中每一字符的平寬度，根據字符圖像塊的寬度和字符類別，確定相應字符類別的平均寬度，從而確定字符圖像塊中的字符數num1；
第二種方法，即基於輪廓查找的方法，其過程如下：對緊緻的車牌圖片進行閾值化處理獲得閾值圖，根據字符圖像塊的邊界，在閾值圖中截取感興趣區域；對感興趣區域進行輪廓查找的操作，並過濾掉大小與寬度小於預設值以及不符合字符幾何特徵的輪廓之後，獲得相應的輪廓數，並將其作為字符圖像塊的字符數num2；
第三種方法，即基於投影分析的方法，其過程如下：對第二種方法中的感興趣區域進行豎直方向的投影獲得投影曲線，然後針對不同類型的字符，使用不同階次的多項式函數進行擬合，再統計波峰的數目，並將其作為字符圖像塊的字符數num3。示例性的，對字符「6」使用十階的多項式函數進行擬合。
基於輪廓查找的方法與基於投影分析的方法的實施流程如圖4所示，圖4中的閾值圖以及對閾值圖進行後續處理所涉及的相關圖片雖然有一定的模糊，但是圖4主要是針對「基於輪廓查找的方法與基於投影分析的方法」的流程進行介紹，所包含的模糊圖片僅用於示意並非構成限制，當然也不會影響本發明的完整性。
本發明實施例中，根據字符精細化分析得到的三個字符數，採用聯合投票策略，來最終確定圖像塊中的字符數：若字符數num1～num3中某個數值佔多數，則認為字符個數為相應數值；若字符數num1～num3各不相同，則考察字符數num2和num3，與字符數num1之間的距離，取距離最小的數值作為字最終的字符個數；若最終的字符個數不等於預定值，則繼續處理下一寬度大小的字符圖像塊。
如圖3所示，第一次做精細化分析與精細化分析時是針對寬度最大的字符圖像塊(即字符區域)，如最終獲得的字符個數不為七，則繼續處理寬度第二大的字符圖像塊，直到所處理的字符圖像塊所包含的字符總數等於七或者所有的字符圖像塊均進行了字符精細化分析。
本領域技術人員可以理解，本文所涉及的閾值、設定值、預設值及預定值均可根據實際情況或者經驗來確定。
本發明實施例上述方案，無需進行字符分割，避免了現有方法在分割字符時魯棒性差的問題；其次，本發明使用全卷積神經網絡進行車牌識別，只需進行一次識別過程，算法效率高，且在識別過程中結合了車牌完整的上下文信息，大大提高了識別的準確度和魯棒性；最後，本發明在進行標籤矩陣分析時，針對不同的車牌和不同的字符進行差異化處理，進一步提高了算法的魯棒性和適用性。
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例可以通過軟體實現，也可以藉助軟體加必要的通用硬體平臺的方式來實現。基於這樣的理解，上述實施例的技術方案可以以軟體產品的形式體現出來，該軟體產品可以存儲在一個非易失性存儲介質(可以是cd-rom，u盤，移動硬碟等)中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述的方法。
以上所述，僅為本發明較佳的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明披露的技術範圍內，可輕易想到的變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應該以權利要求書的保護範圍為準。