複雜場景中的車型識別方法

2023-05-04 08:19:11

專利名稱：複雜場景中的車型識別方法
技術領域：
本發明涉及圖像模式識別、智能視頻監控和智能交通領域，具體涉及一種複雜場景中的車型識別方法。
背景技術：
基於視頻圖像的車型識別指從圖像和視頻中自動識別出不同類型的車，如麵包車、小轎車、大貨車、大客車等等，它是智能交通系統中的關鍵技術，無論在智能交通監控領域，還是在高速公路和停車場的全自動收費領域，它都有著極其重要的應用。基於視頻圖像的車型識別一般分為三個部分1、車輛圖像的分割；2、特徵提取； 3、車型的識別及分類。目前文獻中相關的車型識別方法主要包括(a)基於原型的車型識別方法和(b)基於分類的車型識別方法。對於基於原型的方法，往往需要首先建立標準的模板資料庫，然後將經過分割、特徵提取後的車輛圖像與資料庫中的模板進行匹配。它一般可以分為i)基於車輛邊緣的匹配；ii)基於車輛輪廓的匹配；iii)基於車輛幾何參數(如高度、寬度、長度以及長寬比等)的匹配。這類方法最為簡單直觀，但它的缺點也相當明顯其一，從實際圖像中精確的提取車輛的邊緣、輪廓或其他幾何參數比較困難；其二，這種方法往往要求攝像機必須安裝在固定的位置並對其標定，限制了其應用場合；其三，這種方法一般只能分開大小、長寬比相差比較明顯的車輛，如大型車和小型車，而對於大小、長寬比相差不明顯的車(例如同為大型車的貨車和客車，或同為小型車的轎車和吉普車就很難區分)；其四，這種方法不夠魯棒，很容易受到圖像噪聲、天氣情況的影響。對於基於分類的方法，往往需要首先對車輛提取各種特徵，然後設計合理的分類器來分類車型。這類方法的性能往往取決於特徵的選擇和分類器的設計。它一般可以分為i)基於神經網絡的車型識別；ii)基於Gabor濾波器的車型識別；iii)基於支持向量機(SVM)的車型識別。其中，i)將車輛的三維結構模型的參數作為特徵，然後利用神經網絡對車輛的類型進行分類， )提取了車輛的Gabor特徵，然後利用模板匹配的方法實現車型分類，iii)提取了車輛的某些特徵(如車輛的絕對高度、寬度和長度，SIFT特徵等)，然後利用支持向量機(SVM)對車輛分類。雖然這類方法相比於基於原型的方法，具有更強的魯棒性，但它們也存在著共同的缺點其一，這類方法還是非常依賴於圖像分割的好壞，往往只能處理背景簡單的情形；其二，這類方法選擇的特徵還是不夠魯棒，其三，這類方法所採用的模型都比較簡單，只能表示目標的粗略信息，一般也只能將車輛劃分為大中小三種類型，而不能進行進一步的詳細分類；其四，這類方法還是高度依賴於攝像機的放置位置。近來，基於部件的目標分類方法已成為一種趨勢，尤其是Felzenswalb提出的基於形變的部件模型(Deformable part template)取得了極大的成功(見「ObjectDetection with Discriminatively Trained Part Based Models」， IEEE Transactionson Pattern Analysis and Machine Intelligence，32 (9) : 1627-1645，2010)。該方法用Latent-SVM算法訓練一個兩層的星形模型，這個模型結合了目標整體與目標部件之間的幾何位置關係，相比於之前的識別方法具有以下優勢(1)使用了更為魯棒的HOG特徵，使得模型更具有判別性，有效地克服了現有方法對複雜應用背景和噪聲的敏感；(2)採用基於形變的部件模型，允許部件在一定的方向、位置和尺度上變化，因此能夠捕獲目標的細節信息。傳統的識別方法在識別車輛時，往往將車作為一個整體進行識別，而該模型不僅依據整車，還依據車輪、車窗等車的部件來識別車，增加了識別的可靠性；(3)這種方法不需要預先對目標進行分割，因此避免了傳統方法由於目標分割不準確所帶來的困難。然而，由於該方法使用啟發式方法對部件進行初始化，因此對於部件並不能總是找到好的初始化位置，這往往會造成模型的失效；其次，該啟發式方法還高度依賴於人工設定的部件的個數和形 狀。在實際中，目標的部件個數和形狀往往不是固定的，它依賴於攝像機視角、距離目標的遠近以及目標類別之間的差異，這樣，對於每種類型的車輛，很難人工地選擇一組恰當的部件。

發明內容
本發明的目的在於提供一種複雜場景中的車型識別方法，其能夠高效地定位和識別車輛的類型，並大大提高車型識別的速度。本發明是通過以下技術方案實現的一種複雜場景下的車型識別方法，包括以下步驟(I)初始化視頻圖像的部件字典，包括以下子步驟(ι-l)根據視頻圖像中正負樣本的大小確定視頻圖像中檢測窗口的長寬比和面積；(1-2)根據檢測窗口的長寬比和面積確定部件字典中部件的形狀，面積和固定佔.(1-3)根據部件的形狀，面積和固定點構建與或搜索樹；(2)學習部件字典中每個部件的參數；(3)根據學習的每個部件的參數和與或搜索樹計算最優組成結構，包括以下子步驟(3-1)根據學習的每個部件的參數計算每個部件在正負樣本的得分，並初始化與或搜索樹的葉子節點；(3-2)根據正負樣本的得分計算與或搜索樹的最高得分；(3-3)根據最高得分在與或樹上確定所選取的節點，以得到最優組成結構；(4)採用最優組成結構訓練和整合車輛模板；(5)使用車輛模板檢測和識別視頻圖像中的車型。步驟(2)中，是使用Latent-SVM算法學習部件字典中每個部件的參數。步驟(3-2)中是通過動態規划算法自下而上計算與或搜索樹的最高得分。步驟(3-3)中是通過自下而上的回溯方法計算最優組成結構。步驟(4)具體包括對不同角度、不同類型的車輛進行模板的訓練和整合，並對不同模板的閾值進行統一化。步驟(5)具體包括在檢測和識別車型時採用滑動窗口的方法，並對視頻圖像提取HOG特徵金字塔。
相對於現有技術，本發明具有以下的優點和有益效果(I)本發明中的車輛模板利用了從大量訓練樣本上學習到的部件最優組成結構，有效地提聞了 |吳板的判別性和識別的準確率；(2)本發明中的車輛檢測採用了滑動窗口方法，有效地克服了已有的背景減除法、幀間差法和光流法對噪聲的敏感，有效的克服了圖像噪聲的影響，大大地擴展了該方法的應用範圍；(3)本發明結合了 Latent SVM算法和魯棒的HOG特徵，並且根據車的類型和視角訓練出相應組成結構的部件模板，不需要攝像機固定，能夠處理複雜場景下的車型識別，保證了實時性和通用性；(4)本發明的方法並不局限於粗略的車輛檢測和分類，如小型車和大型車，它能夠進行更加細緻的分類，比如轎車和吉普車、計程車和麵包車等等。


圖I為本發明複雜場景中的車型識別方法的流程圖。圖2為訓練樣本及其對應的模板。圖3示出與或搜索樹。圖4(a)示出本發明方法對於小汽車的車型識別結果。圖4(b)示出本發明方法對於卡車的車型識別結果。
具體實施例方式以下首先對本發明的技術術語進行解釋和說明。部件對應於車輛的一部分，可能是車輪、車窗、車門或者車身上的一塊兒區域等等;部件詞典由所有部件組成的一個集合；正樣本由兩部分組成包含車輛的圖像和車輛在圖像中的位置(用矩形框的左上角坐標和右下角坐標標註)。負樣本不包含車輛的圖像。學習樣本即正負樣本。與或搜索樹人工智慧和計算機視覺中的一個概念，是由與或圖推廣而來，與或圖是一種系統地將問題分解為互相獨立的小問題，然後分而解決的方法。與或圖中有兩種代表性的節點「與節點」和「或節點」。「與節點」指所有的後續節點都有解時它才有解；「或節點」指各個後續節點均完全獨立，只要其中有一個有解它就有解。對於與或樹而言，除了起始節點，其餘每一個節點都只有一個父節點。回溯主要是指在求得了最優解之後，從與或樹的根節點開始向葉節點搜索，以確定在求最優解過程中所經過的節點或狀態。檢測窗口 指圖像上的一個矩形框，在檢測目標時，用矩形框在多個尺度上掃描圖像，掃描的每一步只關心矩形框內的圖像信息，看這個矩形框內是否包含目標，這個矩形框形象的說就是一個窗口。如圖I所示，本發明的複雜場景中的車型識別方法如下、
I、初始化視頻圖像的部件字典，具體包括以下子步驟(1-1)根據視頻圖像中正負樣本的大小確定視頻圖像中檢測窗口的長寬比和面積；對一組訓練樣本D = {Xl，X2，. . .，xn，. . . }，使用樣本長寬比與高斯函數卷積的峰值作為檢測框的長寬比，使用樣本面積百分之二十分為點作位檢測框的面積；(1-2)根據檢測窗口的長寬比和面積確定部件字典中部件的形狀，面積和固定點。具體而言，根據檢測窗口的大小，枚舉所有候選部件的面積、長寬比和固定點，其 中，部件的面積不能大於檢測框面積的一半。部件的邊緣不能超過檢測框的邊緣。(1-3)根據部件的形狀，面積和固定點構建與或搜索樹；如圖2所示，其中與節點代表將父節點中的部件拆分為兩個子部件，或節點代表不同的拆分方式。與或搜索樹枚舉所有部件的組成關係，每一棵子樹對應部件的一種組成結構。另外，字典中的候選部件滿足大小不少於3 X 3的HOG塊且不大於粗尺度模板的大小。訓練樣本及其對應的模板如圖I所示。2、使用Latent-SVM算法學習部件字典中每個部件的參數；選取字典中所有的候選部件，其參數可以由Latent-SVM算法學習得到
ICnM
min-Ilwll2 + max (0,1 — Wj Oj Cxi,hj))(2)
i=lj=o這裡，w是所有M個部件的參數組成的長向量，Wj是第j個部件的參數。0j(Xi，hj)是第j個部件提取出的HOG特徵。h是隱變量，具體代表每個部件提取的特徵的位置，及旋轉角度。3、根據學習的每個部件的參數和與或搜索樹計算最優組成結構；具體而言，從字典中選出一組不重疊且完全覆蓋檢測窗口的部件。每個部件是否被選擇是根據其在所有正負樣本上的得分來確定的，這個得分通過如下公式計算
ηrJ ~ ^ WjO.(xj,hj) — IlWj H2(3)
i=l J根據每個候選部件的得分，通過動態規划算法在與或搜索樹上計算最優的組成結構，如圖3所示，具體包括以下子步驟(3-1)根據學習的每個部件的參數計算每個部件在正負樣本的得分，並初始化與或搜索樹的葉子節點。根據公式(3)計算出的每個候選部件的得分，並賦給與或搜索樹中相應的每個葉子節點。其他的葉子節點賦分為O ;(3-2)根據正負樣本的得分，自下而上的使用動態規划算法計算最高得分。根據每個葉子節點的得分，可以計算每個節點的最高得分。每個與節點的得分是兩個葉子節點的分支和，每個或節點得分是所有子節點得分的最大值；(3-3)根據最高得分從根節點向葉節點回溯整個與或樹，確定所選取的節點，從而得到最優組成結構。根據回溯的方法，可以得到最優路徑，該最優路徑中包含的部件即為最優組成結構中的部件。被選中的部件組成了最優組成結構；
4、採用最優組成結構訓練和整合車輛模板；具體而言，利用步驟(3)中學習到的部件最優組成結構，我們對不同角度、不同類型的車輛進行模板的訓練，例如為了識別小汽車和卡車這兩種車型，我們可能需要對小汽車和卡車進一步劃分三種視角車頭、車尾和車側身。這樣我們就需要訓練6個車型模板，最終的車輛模板就包含了這6個模板。另外為了統一化每個模板的檢測閾值，我們還需要調整各個模板之間的偏置項，最終模板的閾值和各個模板的偏置項都是通過Latent-SVM算法在訓練樣本上學習到的。在訓練樣本上每個部件的位置和大小沒有事先標定，屬於隱藏變量，因此模板的訓練需要採用坐標下降算法，坐標下降算法分為兩步1)固定模板的參數，定位每個部件的位置；2)固定部件的位置，學習模板的參數。算法一直在這兩個過程之間迭代，直到滿足終止條件。同時，為了加速算法的收斂，我們採用了數據挖掘困難負樣本的技術，在每一次迭代訓練時，動態地添加分類出錯的困難負樣本，動態地移除遠離分類面的簡單負樣本。
5、使用車輛模板檢測和識別視頻圖像中的車型。對車輛的檢測和識別採用滑動窗口方法，具體流程如圖4(a)和圖4(b)所示，對於視頻流中的一幀圖像，首先我們在多個尺度上提取HOG特徵金字塔，然後利用第4步訓練得到的模板，在特徵金字塔上依次檢測並識別圖像中所包含的車輛，這個過程就是計算車輛模板和HOG特徵向量的響應，如果響應值高於檢測的閾值，那麼算法就預測這裡檢測到了一輛車。其中，對於每一個候選的車輛，它所對應的車型就是具有最大響應的模板所對應的車型。例如，我們有一個由6個車型模板組成的小汽車(Car)和卡車(Truck)綜合模板。對於圖像中檢測到的一輛車，算法對比各種類型的車輛模板的響應，如果卡車的車尾模板的響應最大，那麼檢測到的這個車就是卡車。對於圖像中每一輛車，算法輸出其所在的位置及對應的車型類別，如圖5a和圖5b所示。另外，在檢測和識別車型時，我們採用Cascade剪枝算法，在訓練樣本上學習出一系列的部件剪枝閾值，這樣把原來的檢測過程劃分成了多個階段，能夠對多個車型和角度的車輛模板進行並行檢測和識別，大大提高了算法的運行速度。
權利要求
1.一種複雜場景下的車型識別方法，其特徵在於，包括以下步驟 (1)初始化視頻圖像的部件字典，包括以下子步驟 (1-1)根據所述視頻圖像中正負樣本的大小確定所述視頻圖像中檢測窗口的長寬比和面積； (1-2)根據所述檢測窗口的長寬比和面積確定所述部件字典中部件的形狀，面積和固定點; (1-3)根據所述部件的形狀，面積和固定點構建與或搜索樹； (2)學習所述部件字典中每個部件的參數； (3)根據所述學習的每個部件的參數和所述與或搜索樹計算最優組成結構，包括以下子步驟 (3-1)根據所述學習的每個部件的參數計算每個部件在所述正負樣本的得分，並初始化所述與或搜索樹的葉子節點； (3-2)根據所述正負樣本的得分計算所述與或搜索樹的最高得分； (3-3)根據所述最高得分在所述與或樹上確定所選取的節點，以得到所述最優組成結構； (4)採用所述最優組成結構訓練和整合車輛模板； (5)使用所述車輛模板檢測和識別所述視頻圖像中的車型。
2.根據權利要求I所述的車型識別方法，其特徵在於，所述步驟(2)中，是使用Latent-SVM算法學習所述部件字典中每個部件的參數。
3.根據權利要求I所述的一種複雜場景下的車型識別方法，其特徵在於，所述步驟(3-2)中是通過動態規划算法自下而上計算所述與或搜索樹的最高得分。
4.根據權利要求I所述的車型識別方法，其特徵在於，所述步驟(3-3)中是通過自下而上的回溯方法計算所述最優組成結構。
5.根據權利要求I所述的車型識別方法，其特徵在於，所述步驟(4)具體包括對不同角度、不同類型的車輛進行模板的訓練和整合，並對不同模板的閾值進行統一化。
6.根據權利要求I所述的車型識別方法，其特徵在於，所述步驟(5)具體包括在檢測和識別車型時採用滑動窗口的方法，並對所述視頻圖像提取HOG特徵金字塔。
全文摘要
本發明公開了一種複雜場景下的車型識別方法，包括以下步驟初始化視頻圖像的部件字典，學習部件字典中每個部件的參數，根據學習的每個部件的參數和與或搜索樹計算最優組成結構，採用最優組成結構訓練和整合車輛模板，使用車輛模板檢測和識別視頻圖像中的車型。本發明方法中的車輛模板最優組成結構的學習利用了動態規划算法、與或搜索樹以及大量的實際樣本，這樣不僅提高了訓練模板的效率，而且具有非常好的判別性，利於實際應用，本發明結合了Latent SVM算法和魯棒的HOG特徵，能夠處理複雜場景下的車型識別，保證了實時性和通用性。
文檔編號G08G1/017GK102646199SQ201210049730
公開日2012年8月22日 申請日期2012年2月29日 優先權日2012年2月29日
發明者姚振宇, 朱松純, 李博 申請人:湖北蓮花山計算機視覺和信息科學研究院