一種基於位置校正模型的行人檢測方法

2023-12-12 00:24:52

專利名稱：一種基於位置校正模型的行人檢測方法
技術領域：
本發明屬於模式識別領域，特別是一種基於位置校正模型的行人檢測方法。
背景技術：
隨著人們對社會安全問題的關注度逐步增加，公共場景中攝像頭安裝數量大量增長以供獲取感興趣信息。事實上，一個操作人員對監控屏幕牆的高度關注持續時間不超過十分鐘，而一路高清攝像機每天產生的數據量達10GB。因此靠人眼的作用實時關注場景中的事件，甚至是僅僅查詢已錄製視頻數據中某一已發事件，都是一件很難完成的任務。如何利用計算機理解場景的內容，預測場景中即將可能發生的事件、檢測正在進行的事件、查詢已經發生的事件，實現場景的智能監控已成為現在熱點研究方向之一。視頻或圖像中的行人檢測對於實現場景內容的智能監控具有重要意義。人作為社會行為的主動實施者，人的檢測是人的識別、跟蹤、行為理解以及人群事件檢測的基礎。 行人檢測主要有兩種方式基於視頻序列的和基於圖像的。前者主要通過視頻幀間差異的方法捕捉視頻中的運動信息來完成，通常會受到視頻中其他運動物體如車、動物等的幹擾， 而且對於視頻中靜止的人該算法無法檢測，因此實現靜態圖片中人的快速檢測是十分必要的。基於靜態圖片的行人檢測，滑動窗口法是最廣泛應用的檢測方法之一。該方法首先通過對給定訓練樣本圖片提取特定特徵，訓練二值分類器，然後將此分類器應用於待檢測圖片的子窗口，判斷該子窗口是否包含人並進行窗口合併等後處理獲取最終檢測結果。 對於一張nXn大小的圖片，其子窗口數量高達0(n4)。另外，為保證類別間的區分性以及檢測準確性，行人檢測方法在很大程度上依賴於提取較高維的特徵。可見對一幅圖像子窗口進行詳盡搜索的計算複雜度相當高。現有方法主要通過以下兩種途徑來解決該問題一種是基於特徵由粗到細的方法，即首先使用簡單的特徵對所有子窗口進行篩選，再利用複雜特徵對篩選結果進行精確分類。這種方法仍然是針對所有子窗口的搜索方法，仍具有較高的計算複雜度。另外一種是基於分支定界方法的子窗口搜索方法。雖然這種方法在檢測速度上有所提高，但是受其限定性假設的約束，並不具備很好的通用性。

發明內容
現有的行人檢測方法是以犧牲檢測速度為代價來提高檢測準確度，在真實的應用場景中不僅耗費大量的資源，而且效率極低。為解決現有技術的問題，本發明的目的是在不降低檢測率的前提下快速、高效的檢測場景中的行人，為此本發明提供一種快速行人檢測方法。為實現上述目的，本發明提出的一種基於位置校正模型的行人檢測方法，其特徵在於，該方法包括以下步驟步驟1，對給定圖像指定子窗口大小，以一定的步進遍歷圖像，提取圖像稀疏子窗口，並提取所述稀疏子窗口的特徵；
步驟2，根據提取出的稀疏子窗口的特徵，用已訓練好的粗分類器判斷每個稀疏子窗口中是否包含有檢測目標的局部；步驟3，通過訓練建立包含檢測目標局部的稀疏子窗口的特徵和該稀疏子窗口位置與目標真實位置之間相對位移的位置校正模型；步驟4，將步驟2獲得的包含局部檢測目標的稀疏子窗口的特徵輸入到步驟3得到的所述位置校正模型中，獲得每個包含局部檢測目標的稀疏子窗口位置與目標真實位置之間的相對位移的估計值，進而獲得多個包含局部檢測目標的稀疏子窗口分別對應的多個目標估計位置；步驟5，根據所述多個目標估計位置結合稀疏掃描子窗口的大小建立目標位置候選區域；步驟6，對已建立的目標位置候選區域，以指定的另一窗口大小、步進和縮放尺度遍歷所述目標位置候選區域，得到多個子窗口，並提取各子窗口的特徵；步驟7，將步驟6提取出的子窗口特徵輸入已訓練好的SVM分類器中，所得分數最大的子窗口位置即為檢測目標的最終位置，由此獲得對於目標位置的精確估計。本發明的方法在大場景靜態圖像的行人檢測中可以凸顯它的優越性。與其他基於滑動窗口的行人檢測方法不同，本發明的方法可以快速摒棄圖像中的無關區域，從而極大地減少了計算代價，並且易於實現和應用。本發明的行人檢測方法可以用於智能視頻監控場景中行人的快速定位以及計算機視覺領域的行人跟蹤和人的行為理解。


圖I是本發明提出的一種基於位置校正模型的行人檢測方法的流程圖。圖2是位置校正模型的學習過程示意圖。圖3是根據本發明的檢測結果的示意圖。圖4是根據本發明的檢測結果的另一示意圖。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。傳統的基於滑動窗口的行人檢測方法通常需要遍歷圖像的每一個子窗口，同時為保證檢測的準確度，需要對每一個子窗口提取多種特徵，使得特徵維數很高，因此帶來了較高的計算複雜度和空間資源的浪費。本發明提供的一種基於位置校正模型的行人檢測方法利用了一種由粗到細的行人檢測子窗口搜索方法，該方法無需窮舉圖像子窗口，而是首先粗提取目標周圍的大尺度的子窗口，即稀疏子窗口，然後在稀疏子窗口附近做詳盡搜索，尋找目標真實位置，從而提高了檢測速度。圖I是本發明提出的一種基於位置校正模型的行人檢測方法的流程圖，如圖I所示，本發明提出的一種基於位置校正模型的行人檢測方法包括稀疏掃描、建立位置校正模型、稠密搜索三個步驟。傳統的基於滑動窗口的行人檢測算法的基本思想是遍歷給定圖像所有尺度、所有位置的子窗口，提取每一個子窗口的特徵，尋找與目標特徵距離最近的子窗口。圖像子窗口有以下幾種情況(I)不包含目標的任何部位；(2)部分包含目標局部或全部；(3)位於目標區域內部。對第一種子窗口，對其任何子窗口的任何處理都會造成時間和空間的浪費，也是造成基於滑動窗口的行人檢測方法低效率的原因之一。對第二種子窗口，由於行人整體形狀展現的一致性使得行人梯度邊緣展現一致性，可以建立該子窗口位置與目標真實位置間的關係模型。對第三種子窗口，通常包含了不豐富的紋理信息，對檢測算法的貢獻可以忽略，或可根據特定場景目標尺寸的先驗信息濾除。基於以上思想，本發明提出一種稀疏掃描方法，旨在首先粗提取第二種圖像子窗口，而對第一種子窗口不再做任何進一步處理，從而極大的減少了計算量。所述稀疏掃描步驟進一步包括以下步驟步驟1，對給定圖像指定子窗口大小，以一定的步進遍歷圖像，提取圖像稀疏子窗口，並提取稀疏子窗口的特徵。本發明所使用的圖像為解析度690x629的靜態圖片，稀疏子窗口大小可以設為略大於一般圖像中行人出現區域的通常大小，比如，本發明中子窗口大小可以設為64x128，步進可以設為子窗口大小的1/2或者1/4。本發明中使用梯度向量直方圖(HOG)特徵，HOG特徵是對局部圖像方向信息的統計描述，因此可以捕捉行人形態輪廓的統一特性，並對不同行人行為動作的微小差異保持魯棒性，所以尤其適合於行人檢測。步驟2，根據提取出的稀疏子窗口的特徵，用已訓練好的粗分類器判斷每個稀疏子窗口中是否包含有檢測目標的局部。本發明利用支持向量機(SVM)分類器來判斷每個稀疏子窗口是否包含有檢測目標的局部。本發明採用的SVM分類器的訓練過程可描述為對訓練樣本庫中的每一幅圖像， 以指定的窗口大小和步進遍歷圖像，提取圖像稀疏子窗口，對包含檢測目標局部的子窗口類別標記為+1，不包含檢測目標局部的子窗口類別標記為-1，提取稀疏子窗口的特徵，使用SVM訓練得到行人檢測的粗分類器。所述建立位置校正模塊步驟進一步包括以下步驟步驟3，通過訓練建立包含檢測目標局部的稀疏子窗口的特徵和該稀疏子窗口位置與目標真實位置之間相對位移的位置校正模型；經步驟2得到的稀疏子窗口可能包含檢測目標的局部，但並非目標的真實位置， 因此需要對該稀疏子窗口的位置進行校正。採集足夠多的圖像建立訓練樣本庫，比如幾千張，對訓練樣本庫中的每張圖像，在目標真實位置周圍以相同的步進選取η個子窗口，大小與步驟I中的稀疏子窗口大小相同， 提取該η個子窗口的m維HOG特徵矩陣F = {f1; f2，…，fn} e Rmxn為自變量，令Y = {Yl, y2，…，yJ e R2xn表示該η個子窗口的相對位移向量矩陣，為因變量，其中，Ji = (Aui, Avi), (Aui, Avi)表示包含檢測目標局部的子窗口位置與檢測目標真實位置之間的相對位移。那麼，本發明提出的位置校正模型可以描述為
Y = W . F+K (I)其中，權值向量W= {w1； w2, -,wj e R2Xm，K為噪聲矩陣。然而，在實際的行人檢測問題中，通常特徵維數遠遠高於因變量維數，從而造成了位置校正的困難。對此，本發明建立如下假設(I)自變量F與因變量Y之間的關係可以用隱變量矩陣T，U來描述；(2)樣本空間F，Y中都存在噪聲。接著本發明通過引入隱變量矩陣T，U將原樣本空間F，Y映射到新的樣本空間T， U中，利用隱變量矩陣T與U之間的關係，尋找稀疏子窗口特徵與相對位移之間的關係。樣本空間的映射過程可描述為F = TMkK1 (2)Y = UNt+K2 (3)其中，T，U為引入的隱變量矩陣，M，N為係數矩陣，K1, K2為噪聲矩陣。為保證新的樣本空間中保存原樣本空間內的差異信息，本發明採用主成分分析的方法建立樣本空間T與F、U與Y之間的映射，主成分的初始個數可以設為60，這樣就可以得到初始的隱變量矩陣T，U和係數矩陣M，N。同時為保證自變量和因變量最大相關性，建立如下目標函數[cov (tt, U1 )]2 = max [cov (Fwi ,7)]2(4)其中，ti； Ui分別表示隱變量矩陣T和U的第i列元素，Covai, Ui)表示ti； Ui的協方差。通過求解上式，可以得到初始權值向量W。通過不斷更新樣本空間F和Y的主成分個數(即主成分空間維數)和主軸，即可獲得滿足一定誤差要求的最優的權值向量W，這裡的誤差要求可以設為根據W獲得的對訓練樣本特徵的預測值與其真實值差的平方和小於
O.0001。進而根據公式(I)獲得包含局部檢測目標的子窗口特徵與該子窗口與目標真實位置間相對位移量之間的關係。步驟4，將步驟2獲得的包含局部檢測目標的稀疏子窗口的特徵輸入到所述位置校正模型中，獲得每個包含局部檢測目標的稀疏子窗口位置與目標真實位置間的相對位移的估計值，進而獲得多個稀疏子窗口分別對應的目標的多個估計位置；令(Xi，yi)為一包含局部檢測目標的稀疏子窗口 Li的中心點坐標，(Aui, Avi)為 Li與行人真實位置Ltl間的相對位移的估計值，那麼稀疏子窗口 Li對應的目標估計位置的中心點坐標為Xi = Xi + Aui(5)= + Avj(6)步驟5，根據所述多個目標估計位置結合稀疏掃描子窗口的大小建立目標位置候選區域。所述步驟5進一步包括以下步驟步驟5. 1，取所述多個目標估計位置的中心點坐標的平均值作為目標真實位置中心點坐標的估計值；步驟5. 2，以所述目標真實位置中心點坐標的估計值為中心點建立目標位置候選區域。所述目標位置候選區域的大小可以設為稀疏子窗口的大小。圖2給出了位置校正模型的學習過程，圖中，Ltl表示圖像中行人的真實位置，Li表不包含局部行人的子窗口位置，(X(i，y0)為子窗口 Ltl的中心點，(Xi, Yi)為子窗口 Li的中心點，(Aui, Δ Vi)為Li與Ltl間的相對位移Δ Ui = X0-Yi (7)Δ Vi = Y0-Yi (8)通過提取I幅圖像的I Xn個稀疏子窗口的HOG特徵構建訓練集F，並在訓練集上建立位置校正模型。利用此模型和提取的包含局部行人的子窗口的HOG特徵，估計每個子窗口位置與目標真實位置間的相對位移，得到每個子窗口對應的目標估計位置，取所有目標估計位置的平均值作為目標真實位置的估計值。所述稠密搜索步驟進一步包括以下步驟步驟6，對已建立的目標位置候選區域，以指定的另一窗口大小、步進和縮放尺度遍歷所述目標位置候選區域，得到多個子窗口，並提取各子窗口的特徵；為了實現特徵的細篩選，該步驟中的窗口大小、步進均比步驟I中的窗口大小、步進更小，並使用不同尺度的子窗口，如果稀疏掃描的子窗口大小為64X128，子窗口步進為其大小的1/2，那麼這裡的初始子窗口大小可以設為64X128，步長可以設為4個像素，每個尺度的子窗口遍歷目標位置候選區域後就將該子窗口縮小到原來的O. 95倍，然後進行下一次搜索。步驟7，將步驟6提取出的子窗口特徵輸入已訓練好的SVM分類器中，所得分數最大的子窗口位置即為檢測目標的最終位置，由此獲得對於目標位置的精確估計。本發明採用的SVM分類器的訓練過程可描述為對訓練樣本集中的每一幅圖像， 在目標位置候選區域內提取各位置、各尺度的子窗口，將目標子窗口類別標記為+1，其餘子窗口類別標記為-I，提取各子窗口的特徵，訓練SVM分類器。本發明提供的行人檢測方法是一個由粗到細的子窗口搜索過程，稠密搜索建立在稀疏掃描和位置校正模型的基礎上。根據含有檢測目標局部的稀疏子窗口對目標位置的各估計值並結合稀疏掃描子窗口的大小設置稠密搜索的候選區域，由於該候選區域的尺寸相對於原圖像得到了極大的縮小，因此各類計算複雜度很高的特徵都可以使用，從而可以獲得精確的檢測結果。圖3、圖4示出根據本發明的方法對行人的檢測結果，其中，子窗口中標識的數字為通過目標特徵分類器的分類所得到的分數。本發明的方法需要的硬體最低配置為P43. OG CPU，IG內存的計算機。在此基礎上，採用C++語言編程實現本方法，可以達到較好的檢測效果。本發明在INRIA行人資料庫上的實驗結果證明了該算法的有效性，相比於傳統的滑動窗口檢測方法，對於一幅690X629大小的圖像，當設置稀疏掃描的子窗口大小為 64 X 128，子窗口步進為其大小的1/2，所需處理的子窗口數量從56000個降到了 4200個，檢測速度提高了 10倍。本方法易於實現，性能穩定，對於計算機視覺領域的行人跟蹤、監控場景的場景理解具有重要作用。以上所述的具體實施例，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施例而已，並不用於限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種基於位置校正模型的行人檢測方法，其特徵在於，該方法包括以下步驟步驟1，對給定圖像指定子窗口大小，以一定的步進遍歷圖像，提取圖像稀疏子窗口，並提取所述稀疏子窗口的特徵；步驟2，根據提取出的稀疏子窗口的特徵，用已訓練好的粗分類器判斷每個稀疏子窗口中是否包含有檢測目標的局部；步驟3，通過訓練建立包含檢測目標局部的稀疏子窗口的特徵和該稀疏子窗口位置與目標真實位置之間相對位移的位置校正模型；步驟4，將步驟2獲得的包含局部檢測目標的稀疏子窗口的特徵輸入到步驟3得到的所述位置校正模型中，獲得每個包含局部檢測目標的稀疏子窗口位置與目標真實位置之間的相對位移的估計值，進而獲得多個包含局部檢測目標的稀疏子窗口分別對應的多個目標估計位置；步驟5，根據所述多個目標估計位置結合稀疏掃描子窗口的大小建立目標位置候選區域；步驟6，對已建立的目標位置候選區域，以指定的另一窗口大小、步進和縮放尺度遍歷所述目標位置候選區域，得到多個子窗口，並提取各子窗口的特徵；步驟7，將步驟6提取出的子窗口特徵輸入已訓練好的SVM分類器中，所得分數最大的子窗口位置即為檢測目標的最終位置，由此獲得對於目標位置的精確估計。
2.根據權利要求I所述的方法，其特徵在於，所述稀疏子窗口的大小設為略大於通常目標區域的大小。
3.根據權利要求I所述的方法，其特徵在於，所述稀疏子窗口的特徵為對局部圖像方向信息進行統計描述的梯度向量直方圖(HOG)特徵。
4.根據權利要求I所述的方法，其特徵在於，所述粗分類器為支持向量機(SVM)分類器。
5.根據權利要求I所述的方法，其特徵在於，所述位置校正模型為Y = W* F+K,其中，F= {f\，f2，…，fn} e Rmxn為在訓練樣本庫中每張圖像的目標真實位置周圍以相同步進選取得到的η個子窗口的m維HOG特徵矩陣；Y = {y1; y2, ···, yn} e R2xn表示該 n個子窗口的相對位移向量矩陣，Yi = (Aui, Avi), (Aui, Avi)表示包含檢測目標局部的子窗口位置與檢測目標真實位置之間的相對位移；W = (W1,W2, ···,wm} GR2xm為權值向量, K為噪聲矩陣。
6.根據權利要求5所述的方法，其特徵在於，在訓練樣本庫中每張圖像的目標真實位置周圍以相同步進選取得到的η個子窗口的大小與步驟I中稀疏子窗口大小相同。
7.根據權利要求5所述的方法，其特徵在於，使用隱變量矩陣Τ，U將原樣本空間F，Y 映射到新的樣本空間Τ，U中F = ΤΜτ+Κ」 Y = UNt+K2,其中，M，N為係數矩陣，K1, K2為噪聲矩陣。
8.根據權利要求7所述的方法，其特徵在於，通過迭代求解如下目標函數來獲得最優權值向量W :[cov (tt, U1 )]2 = max [cov (Fwt, 7)]2，其中，ti； Ui分別表示隱變量矩陣T和U的第i列元素，Covai, Ui)表示ti; Ui的協方差。
9.根據權利要求I所述的方法，其特徵在於，若(Xi，yi)為一包含局部檢測目標的稀疏子窗口 Li的中心點坐標，(Aui, Δ Vi)為Li與目標真實位置Ltl間的相對位移,那麼稀疏子窗口 Li對應的目標估計位置的中心點坐標為Xj=X^Aui ,么=夂+Δ'。
10.根據權利要求I所述的方法，其特徵在於，所述步驟5進一步包括以下步驟步驟5. 1，取所述多個目標估計位置的中心點坐標的平均值作為目標真實位置中心點坐標的估計值；步驟5. 2，以所述目標真實位置中心點坐標的估計值為中心點建立目標位置候選區域。
11.根據權利要求10所述的方法，其特徵在於，所述目標位置候選區域的大小設為與稀疏子窗口的大小相同。
12.根據權利要求I所述的方法，其特徵在於，所述步驟6中的另一窗口的大小、步進均小於步驟I中的窗口和步進。
全文摘要
本發明公開了一種快速行人檢測方法，包括三個步驟稀疏掃描、建立位置校正模型、稠密搜索。具體分為對待檢測圖像進行稀疏掃描，提取所有稀疏子窗口的梯度向量直方圖(HOG)特徵並進行粗分類，獲取所有可能包含局部目標的子窗口；使用預學習的位置校正模型估計已獲取子窗口位置與目標真實位置的相對位移；根據各子窗口的目標估計位置建立目標位置候選區域，進行稠密搜索，獲取目標精確位置。本方法無需窮舉圖像所有子窗口，可顯著降低搜索窗口的數量，對於提高監控場景中目標檢測的速度具有重要作用。本發明可廣泛應用於智能視頻監控系統、機器人視覺系統、輔助駕駛系統等。
文檔編號G06K9/62GK102609720SQ201210021888
公開日2012年7月25日 申請日期2012年1月31日 優先權日2012年1月31日
發明者吳金晨, 梁宏雨, 譚鐵牛, 黃凱奇 申請人:中國科學院自動化研究所