從視頻流中提取和識別車輛牌號的方法
2023-06-20 14:04:26 2
專利名稱：從視頻流中提取和識別車輛牌號的方法
技術領域：
本發明涉及一種車輛牌號的方法，特別涉及一種運用運動檢測技術和對象特徵判定方法從視頻流中取得候選車牌區域，並通過追蹤技術將同一車牌的候選區域歸併後合併一次文字識別，實現實時車牌識別。
背景技術：
從連續動畫或錄像中提取移動物體的特徵，包括車輛牌照和人臉的重要性和應用領域日益擴大。在實際應用中視頻產生的圖像每秒鐘有25 30幀，要在幀與幀之間隔內對每一幀作識別處理是現有計算機系統能力難以達到的。另外逆光、太陽光斑或車前燈耀光等環境因素造成取得的圖像動態範圍大，無法 以統一的閥值標準處理，造成日間和夜晚及特殊照明條件下識別精度誤差。
發明內容
本發明所要解決的技術問題是要提供一種可靠性高的從視頻流中提取和識別車輛牌號的方法。為了解決以上的技術問題，本發明提供了一種從視頻流中提取和識別車輛牌號的方法，包括以下的步驟
Stepl.通過視頻設備接口，從視頻流中獲取最新的圖像；
Step2.運動偵測計算；
運用幀間差分法運動偵測技術對連續動畫作差分計算，尋找是否有運動部分，如果沒有發現運動部分直接返回Stepl ；
Step3.尋找候選車牌；
將St印2算出的運動部分用Sobel變換等算法尋找到候選車牌位置，如果沒有發現候選的，則從對比度灰度調整表中取下一對調整值對圖像作對比度和灰度變換後再試，重複直至表中最後一對調整值也沒有發現候選車牌，判定為無車牌返回Stepl ；
在上述計算中發現候選區域的話，即停止對比度灰度變化進入下一步驟；
Step4.車牌特徵判定；
根據車牌特徵對候選區域作篩選，如果發現不符合車牌特徵的候選區域則直接返回Stepl ο所述車牌特徵為車牌外框是否符合平行四邊形特徵，日本車牌的上、下行之高度比為I :2的特徵；
Step5.候選車牌追蹤；
運用Lucas-Kanade追蹤算法對在圖像視野範圍內的候選區域進行跟蹤比較,通過計算判定和上一幀的候選區域是否屬於同一車牌；如果發現和上一次尋找到車牌候選是同一車牌的話，將之加入候選區域集合，待歸併後一起識別計算，返回Stepl ；
如果發現非同一車牌，或者候選區域離開圖像視頻，則將該候選區域集合交由下一步驟做文字分割和識別；
Step6.車牌文字識別；
從候選區域集合中選取條件較好的一幅圖像做文字分割並運用神經網絡和OCR算法識別文字信息，識別完成後清楚該當候選對象集合；
Step7.識別結果輸出；
將識別結果之文字信息和圖像等數據輸出後，返回Stepl。本發明根據視頻規格(PAL制25幀/秒，NTSC制30幀/秒)以一定的時間間隔從視頻設備獲取圖像，按照以上的步驟尋找車牌候選區域、追蹤並識別車牌文字信息。本發明的優越功效在於· 1)通過運動偵測技術和車牌的特徵比縮小搜索範圍，大大提高運算速度；
2)運用對比度和灰度的動態調整方法克服了實際運用中環境因素的不利影響，在逆光和太陽反射，以及夜間車前大燈輝光照射下也都能夠取得良好的識別效果；
3)運用追蹤方式將通過攝像機視野的統一車輛的車牌集中起來匯總做一次處理的方法，解決了文字分割和識別處理所需時間大於視頻間隔的矛盾，在小型計算機上也能真正實現實時的識別處理。
圖I為本發明的工作流程示意 圖2為本發明Step3的工作流程示意 圖3為本發明Step3中對比度/灰度的調整表。
具體實施例方式請參閱附圖所示，對本發明作進一步的描述。如圖I所示，本發明提供了一種從視頻流中提取和識別車輛牌號的方法，包括以下的步驟
Stepl.通過視頻設備接口，從視頻流中獲取最新的圖像；
Step2.運動偵測計算；
運用幀間差分法運動偵測技術對連續動畫作差分計算，尋找是否有運動部分，如果沒有發現運動部分直接返回Stepl ；
由於相關特徵信息只能存在於運動物體部分中，所以運用幀間差分法運動偵測技術能過濾掉輸入圖像中不要的部分，對提高運算速度有很大幫助。Step3.尋找候選車牌，；
在發現的有運動部分的圖像上利用Sobel變換等方法可以尋找到車牌的候選位置；如果沒有發現候選的，則從對比度灰度調整表中取下一對調整值對圖像作對比度和灰度變換後再試，重複直至表中最後一對調整值也沒有發現候選車牌，判定為無車牌返回Stepl ；在上述計算中發現候選區域的話，即停止對比度灰度變化進入下一步驟。為排除逆光、陰影、太陽光斑、車前燈幹擾等不利因素，本發明預先定義對應於各種可能狀況的多檔對比度和灰度調整數值表(如圖3所示)，在尋找特徵部分時通過在各檔調整值上反覆試驗，可以大大提高檢出的動態範圍，如圖2所示。
Step4.車牌特徵判定；
對尋找到的車牌候選區域進行特徵比對，如果不符合車牌特徵的話，判定為非車牌區域，直接返回Stepl。在實際車牌候選部分檢測和提取時，受各種環境等因素限制往往會發生誤識別，最典型的場面是將車前燈玻璃的格柵部分誤認為是車牌，從而造成漏檢。因此，對候選區域的特徵校驗也是提高識別率的重要環節。車牌的原始形狀是矩形，長寬比也是嚴格根據規格製作的。在實際攝像機視野中取得的車牌即使由於攝影角度關係發生變形後也應該符合平行四邊形特徵，這些特徵可以運用在車牌候選區域的篩選上。另外，日本車牌在規格設計上分為上下兩排，其上、下二行的高度比正好是I :2。利用四邊形傾斜旋轉後高度比例不變的原理，實際拍攝得到變形後的車牌也應該保持上下 行高度比I :2的特徵，這個特徵也是本發明校驗車牌區域的標準之一。本發明通過特徵校驗過濾掉不符合特徵的候選區域，從而減少不必要的耗費大量計算資源的文字識別運算。Step5.候選車牌追蹤；
運用Lucas-Kanade等追蹤算法對候選區域進行跟蹤比較，如果發現和上一次尋找到車牌候選是同一車牌的話，將之加入候選區域集合，待歸併後一起識別計算，返回Stepl ；如果發現非同一車牌，或者候選區域離開圖像視頻，則將該候選區域集合交由下一步驟做文字分割和識別。攝像機中取得幀和幀之間隔的一個時鐘周期通常為1/25秒(PAL)或1/30秒(NTSC)。而車牌識別特別是文字分割和文字識別運算非常消耗計算資源和時間，在現有計算機上通常要耗費100 200毫秒，顯然對每一幀都作特徵識別是不現實的。為解決識別算法耗時和時鐘周期不吻合的矛盾，本發明採用移動體追蹤算法對車牌候選區域計算追蹤角點，根據角點分布跟蹤並從每幀畫面上切割出特徵候選區域，將相同的車牌候選加入一個候選集合，歸併在一起做一次文字分割和識別運算即可。如果追蹤發現車牌候選區域離開畫面視野、或發現特徵角點分布變化(其他車牌進入)時，將候選集合交由另一個線程，從候選集合中選出一個較好候選區域在後臺並行做文字分割和識別運算。由於移動物體通過攝像機視野需要一定時間，而此時間間隔正好可以覆蓋在後臺並行做一次文字分割和識別計算所需的時間，從而實現了全實時的特徵提取運算功能。Step6.車牌文字識別；
從候選區域集合中選取條件較好的一幅圖像做文字分割並運用神經網絡和OCR算法識別文字信息，識別完成後清楚該當候選對象集合；
Step7.識別結果輸出；
將識別結果之文字信息和圖像等數據輸出後，返回Stepl。
權利要求
1.一種從視頻流中提取和識別車輛牌號的方法，包括以下的步驟 Stepl.通過視頻設備接口，從視頻流中獲取最新的圖像； Step2.運動偵測計算； 運用幀間差分法運動偵測技術對連續動畫作差分計算，尋找是否有運動部分，如果沒有發現運動部分直接返回Stepl ； Step3.尋找候選車牌； 將St印2算出的運動部分用Sobel變換等算法尋找到候選車牌位置，如果沒有發現候選的，則從對比度灰度調整表中取下一對調整值對圖像作對比度和灰度變換後再試，重複直至表中最後一對調整值也沒有發現候選車牌，判定為無車牌返回Stepl ； 在上述計算中發現候選區域的話，即停止對比度灰度變化進入下一步驟； Step4.車牌特徵判定； 根據車牌特徵對候選區域作篩選，如果發現不符合車牌特徵的候選區域則直接返回Stepl ； 所述車牌特徵為車牌外框是否符合平行四邊形特徵和自設定的要求； Step5.候選車牌追蹤； 運用Lucas-Kanade追蹤算法對在圖像視野範圍內的候選區域進行跟蹤比較，通過計算判定和上一幀的候選區域是否屬於同一車牌；如果發現和上一次尋找到車牌候選是同一車牌的話，將之加入候選區域集合，待歸併後一起識別計算，返回Stepl ； 如果發現非同一車牌，或者候選區域離開圖像視頻，則將該候選區域集合交由下一步驟做文字分割和識別； Step6.車牌文字識別； 從候選區域集合中選取條件較好的一幅圖像做文字分割並運用神經網絡和OCR算法識別文字信息，識別完成後清楚該當候選對象集合； Step7.識別結果輸出； 將識別結果之文字信息和圖像等數據輸出後，返回Stepl。
全文摘要
本發明公開一種從視頻流中提取和識別車輛牌號的方法，通過視頻設備接口，從視頻流中獲取最新的圖像；運動偵測計算尋找運動部分；尋找候選車牌；車牌特徵判定；候選車牌追蹤；車牌文字識別；識別結果輸出。本發明的優點是通過對現有算法的綜合運用和合理調度來實現降低計算密度和適應寬動態的輸入圖像，從而在小型計算機裝置上實現實時的車牌等特徵的識別功能。
文檔編號G06K9/00GK102855467SQ201210266838
公開日2013年1月2日 申請日期2012年7月30日 優先權日2012年7月30日
發明者盛嘯嶸, 徐亮亮, 張顥熙 申請人:上海未來軟體有限公司