一種基於低維方向梯度直方圖的行人檢測方法與流程
2023-05-21 13:37:36
本發明涉及計算機視覺的目標檢測技術領域，特別涉及一種基於低維方向梯度直方圖的行人檢測方法。
背景技術：
因為行人檢測在智能交通、視頻監控、機器人與人類的交互等領域的應用價值，行人檢測是計算機視覺領域的一個重要課題。
由於行人外觀的複雜多變性，姿勢、衣著、身高體型、與周圍環境的交互、拍攝角度等因素使行人在圖像上的表現呈現出極大的分散性。近年來，科研工作者開展了大量研究，針對行人設計了具有區分度的特徵。隨著描述圖像區域信息的更有效底層特徵的出現和更好的行人表示模型的設計，近年來行人檢測的性能得到了很大提高，但離實用要求仍有不小差距。
在當前的行人檢測工作中，基於深度學習的方法是一類很重要的方法。隨著可獲取訓練數據量的增大和計算機硬體性能的提高，深度學習方法在計算機視覺領域的多個應用上獲得了成功。有工作利用深度神經網絡訓練出行人的多個部件模型，增強了行人檢測的魯棒性。也有工作將手工設計特徵和深度神經網絡結合起來訓練行人檢測器。基於深度學習的行人檢測方法獲得了較低的誤檢率和漏檢率，但同時，基於深度學習的行人檢測器具有模型參數多、檢測速度慢、硬體資源消耗大等缺點。
在手工設計特徵中，方向梯度直方圖hog特徵是最有代表性的一個。hog創造性地使用像素梯度作為基礎信息，在很大程度上模擬了人類視覺的底層機理；同時，它使用區域分塊的方式來保持空間信息，並採取了合適的措施弱化區域量化走樣。近些年來，性能最好的基於手工設計特徵的行人檢測工作都使用了hog特徵。但是，由於hog特徵首先對像素梯度在角度方向進行了量化，其次，提取特徵時還對塊區域進行了部分重疊，因此特徵維度較高。同時，積分圖這種快速提取方法因hog的塊區域高斯平滑而無法應用。這導致基於hog的行人檢測速度也較慢。然而在行人檢測應用中，檢測速度也是一個關鍵的指標。
技術實現要素：
本發明提供了一種基於低維方向梯度直方圖的行人檢測方法，其目的在於，通過採用性能與hog相當、提取計算量更小、維度更低從而檢測速度更快的低維方向梯度直方圖elhog特徵，並且在提取特徵前先形成像素梯度金字塔；採用線性支持向量機svm作為檢測器，大大提升行人檢測速度。
一種基於低維方向梯度直方圖的行人檢測方法，包括以下步驟：
步驟1：對訓練樣本中的每個像素進行像素梯度計算，提取訓練樣本的低維方向梯度直方圖elhog特徵；
每個訓練樣本對應一個圖像窗口；
步驟2：利用訓練樣本的低維方向梯度直方圖elhog特徵和線性核函數構造支持向量機svm分類器；
步驟3：對待檢測圖像提取像素梯度金字塔，並在提取的像素梯度金字塔上滑動窗口，得到候選樣本，並計算每個候選樣本的低維方向梯度直方圖elhog特徵；
步驟4：利用步驟2構造的svm分類器對每個候選樣本的低維方向梯度直方圖elhog特徵進行識別以得到行人檢測結果；
其中，樣本的低維方向梯度直方圖elhog特徵的計算過程如下：
步驟a：對待提取直方圖的圖像窗口進行區域劃分；
將待提取直方圖的圖像窗口劃分成多個邊長為b的塊區域，並對每個塊區域劃分成多個邊長為c的細胞區域；
步驟b：量化像素梯度方向為若干方向項；
所述方向項是對像素梯度的方向角範圍量化後的一個區間單元；
對像素梯度的方向角範圍均勻劃分為n個方向項，並將像素梯度值在其本身方向角所對應的兩個相鄰方向項上進行線性插值，得到像素在相鄰梯度方向項上的梯度值；
步驟c：以塊區域為處理單元，依次對塊區域內的每個細胞區域中的像素進行位置線性插值，按以下公式獲得當前塊區域中每個細胞區域的梯度直方圖向量；
其中，hθ(i)表示當前塊區域中第i個細胞區域在方向項θ上的直方圖分量，(xi,yi)表示當前塊區域中第i個細胞區域的中心坐標，mθ(x,y)表示像素(x,y)在方向項θ上的梯度值；dx和dy分別是兩個相鄰細胞區域中心在x軸和y軸方向的距離；
步驟d：按照相同的順序連接每一塊區域中的所有細胞區域的梯度直方圖向量，得到塊區域的梯度直方圖向量；
步驟e：按照步驟d的順序連接所有的塊區域的梯度直方圖向量，得到待提取直方圖低維方向梯度直方圖elhog特徵。
進一步地，在步驟b進行方向量化處理前，對待進行位置線性插值處理的塊及其緊鄰細胞區域進行高斯平滑處理；
每個塊區域和與該塊區域緊鄰的細胞區域中各像素的梯度值採用不同高斯權重進行高斯平滑處理：
ωb(x,y)＝exp(-((x-xc)2+(y-yc)2)/2σ2)x,y∈ω
ωe(x,y)＝exp(-((|x-xc|-bx)2+(|y-yc|-by)2)/2σ2)x,y∈p
其中，ωb(x,y)和ωe(x,y)分別表示像素位於塊區域時和像素位於與塊區域緊鄰的細胞區域時採用的高斯權重因子；
ω表示以(xc,yc)為中心的塊區域，p表示以(xc,yc)為中心的塊區域的緊鄰細胞區域；
bx和by分別表示x軸和y軸偏移補償量，σ表示高斯核。
進一步地，所述步驟2中構造的支持向量機svm分類器的具體構造步驟如下：
步驟2.1：輸入訓練樣本{(xi,yi)}，其中yi為訓練樣本類別，yi取值為-1表示訓練樣本不包含行人，yi取值為1表示訓練樣本包含行人；xi是訓練樣本的elhog特徵向量，i的取值範圍為1-m，m是訓練樣本的數量；
步驟2.2：尋找最優分類超平面w*x+d＝0，使訓練樣本實現最優分類，x是訓練樣本集合；
其中，w表示超平面的法向量，d表示補償常量。
進一步地，採用五折交叉驗證方法確認最優的d值。
進一步地，所述svm分類器利用以下決策函數對候選樣本的低維方向梯度直方圖elhog特徵進行識別以得到行人檢測結果；
所述決策函數為：h(z)＝sign(w*x+d)；
其中，z表示候選樣本，sign為符號函數，w為svm分類器對應的超平面的法向量，x是候選樣本的低維方向梯度直方圖elhog特徵。
如果h(z)＝1，則對應候選樣本識別為包含行人。
進一步地，所述步驟3中對待檢測圖像提取像素梯度金字塔的具體步驟如下：
步驟3.1：獲取待檢測圖像，並設定縮小係數；
步驟3.2：按照設定的縮小係數對待檢測圖像依次縮小，直至待檢測圖像縮小後的長邊的長度或短邊的長度小於設定樣本圖像窗口的長邊或短邊的長度，則以當前縮小圖像之前的所有圖像構成圖像金字塔；
步驟3.3：計算圖像金字塔中每幅圖像中每個像素的梯度，得到像素梯度金字塔。
進一步地，在所述步驟e之後，分別對所有的塊區域的梯度直方圖向量進行規範化處理。
進一步地，採用l2範數進行規範化處理。
進一步地，所述塊區域邊長b取值為16，所述細胞區域邊長c取值為8。
進一步地，所述步驟c中的量化的方向項數量為9。
有益效果
本發明提出了一種基於低維方向梯度直方圖的行人檢測方法，包括以下步驟：步驟1：對訓練樣本中的每個像素進行像素梯度計算，提取訓練樣本的低維方向梯度直方圖elhog特徵；步驟2：利用訓練樣本的低維方向梯度直方圖elhog特徵和線性核函數構造支持向量機svm分類器；步驟3：對待檢測圖像提取像素梯度金字塔，並在提取的像素梯度金字塔上滑動窗口，得到候選樣本，並計算每個候選樣本的低維方向梯度直方圖elhog特徵；步驟4：利用步驟2構造的svm分類器對每個候選樣本的低維方向梯度直方圖elhog特徵進行識別以得到行人檢測結果；該方法通過將減弱區域量化走樣的措施由塊區域重疊替換為將塊區域之外緊鄰的細胞區域納入位置線性插值範圍，該方法取消了塊區域部分重疊，能提取出維度低得多的方向梯度直方圖hog特徵。通過塊內塊外不同權重的高斯平滑，進一步減弱了區域量化走樣。利用獲得的低維方向梯度直方圖、在檢測時預先計算整個圖像的像素梯度和採用線性核svm，本發明所述的行人檢測方法相對於基於標準hog的方法計算負荷大大降低，從而使檢測速度大大提高了，並且利用該方法降低特徵維度，使得分類器的訓練時間也大大降低了。
附圖說明
圖1是本發明提供的行人檢測方法的流程圖；
圖2是本發明的方法提取出的方向梯度直方圖特徵在公開圖像集inria上對行人檢測的性能進行比較結果示意圖。
具體實施方式
下面將結合附圖和實施例對本發明做進一步的說明。
如圖1所示，一種基於低維方向梯度直方圖的行人檢測方法，包括以下步驟：
步驟1：對訓練樣本中的每個像素進行像素梯度計算，提取訓練樣本的低維方向梯度直方圖elhog特徵；
每個訓練樣本對應一個圖像窗口；
比如，一個典型的訓練正樣本是包含行人的尺寸為128*64的圖像窗口，訓練負樣本是不含行人的同樣大小的圖像窗口；
計算像素梯度有很多方式，比如可以採用無平滑的1-d梯度算子及其轉置在3*3大小的鄰域上計算梯度。即，可以分別使用如下的式(1)和式(2)得到梯度的值和方向角。
θ(x,y)＝arctan((i(x,y+1)-i(x,y-1))/(i(x+1,y)-i(x-1,y)))(式2)
其中，i(x,y)是坐標(x,y)處像素的值。
步驟2：利用訓練樣本的低維方向梯度直方圖elhog特徵和線性核函數構造支持向量機svm分類器；
所述步驟2中構造的支持向量機svm分類器的具體構造步驟如下：
步驟2.1：輸入訓練樣本{(xi,yi)}，其中yi為訓練樣本類別，yi取值為-1表示訓練樣本不包含行人，yi取值為1表示訓練樣本包含行人；xi是訓練樣本的elhog特徵向量，i的取值範圍為1-m，m是訓練樣本的數量；
步驟2.2：尋找最優分類超平面w*x+d＝0，使訓練樣本實現最優分類，x是訓練樣本集合；
其中，w表示超平面的法向量，d表示補償常量。
採用五折交叉驗證方法確認最優的d值。
步驟3：對待檢測圖像提取像素梯度金字塔，並在提取的像素梯度金字塔上滑動窗口，得到候選樣本，並計算每個候選樣本的低維方向梯度直方圖elhog特徵；
所述步驟3中對待檢測圖像提取像素梯度金字塔的具體步驟如下：
步驟3.1：獲取待檢測圖像，並設定縮小係數，比如設定為0.95；
步驟3.2：按照設定的縮小係數對待檢測圖像依次縮小，直至待檢測圖像縮小後的長邊的長度或短邊的長度小於設定樣本圖像窗口的長邊或短邊的長度，比如，再次縮小則某邊的長度就會小於128或64就停止，則以當前縮小圖像之前的所有圖像構成圖像金字塔；
步驟3.3：計算圖像金字塔中每幅圖像中每個像素的梯度，得到像素梯度金字塔。
步驟4：利用步驟2構造的svm分類器對每個候選樣本的低維方向梯度直方圖elhog特徵進行識別以得到行人檢測結果；
所述svm分類器利用以下決策函數對候選樣本的低維方向梯度直方圖elhog特徵進行識別以得到行人檢測結果；
所述決策函數為：h(z)＝sign(w*x+d)；
其中，z表示候選樣本，sign為符號函數，w為svm分類器對應的超平面的法向量，x是候選樣本的低維方向梯度直方圖elhog特徵。
如果h(z)＝1，則對應候選樣本識別為包含行人。
其中，樣本的低維方向梯度直方圖elhog特徵的計算過程如下：
步驟a：對待提取直方圖的圖像窗口進行區域劃分；
將待提取直方圖的圖像窗口劃分成多個邊長為b的塊區域，並對每個塊區域劃分成多個邊長為c的細胞區域；
比如，選擇塊區域大小為16*16，細胞區域大小為8*8。這樣，在本發明的方法中，一個窗口中包含的的塊區域數量為32個。
步驟b：量化像素梯度方向為若干方向項；
所述方向項是對像素梯度的方向角範圍量化後的一個區間單元；
對像素梯度的方向角範圍均勻劃分為n個方向項，並將像素梯度值在其本身方向角所對應的兩個相鄰方向項上進行線性插值，得到像素在相鄰梯度方向項上的梯度值；
將方向角量化為數項。如將方向角範圍考慮為180度,量化為9個方向項，即[0,20)度為第一項，[20,40)度為第二項，[40,60)度為第三項，以此類推。
步驟c：以塊區域為處理單元，依次對塊區域內的每個細胞區域中的像素進行位置線性插值，按以下公式獲得當前塊區域中每個細胞區域的梯度直方圖向量；
其中，hθ(i)表示當前塊區域中第i個細胞區域在方向項θ上的直方圖分量，(xi,yi)表示當前塊區域中第i個細胞區域的中心坐標，mθ(x,y)表示像素(x,y)在方向項θ上的梯度值；dx和dy分別是兩個相鄰細胞區域中心在x軸和y軸方向的距離；
步驟d：按照相同的順序連接每一塊區域中的所有細胞區域的梯度直方圖向量，得到塊區域的梯度直方圖向量；
步驟e：按照步驟d的順序連接所有的塊區域的梯度直方圖向量，得到待提取直方圖的圖像窗口的低維方向梯度直方圖elhog特徵。
在所述步驟e之後，分別對所有的塊區域的梯度直方圖向量採用l2範數進行規範化處理。
在步驟b進行方向量化處理前，對待進行位置線性插值處理的塊及其緊鄰細胞區域進行高斯平滑處理；
每個塊區域和與該塊區域緊鄰的細胞區域中各像素的梯度值採用不同高斯權重進行高斯平滑處理：
ωb(x,y)＝exp(-((x-xc)2+(y-yc)2)/2σ2)x,y∈ω
ωe(x,y)＝exp(-((|x-xc|-bx)2+(|y-yc|-by)2)/2σ2)x,y∈p
其中，ωb(x,y)和ωe(x,y)分別表示像素位於塊區域時和像素位於與塊區域緊鄰的細胞區域時採用的高斯權重因子；
ω表示以(xc,yc)為中心的塊區域，p表示以(xc,yc)為中心的塊區域的緊鄰細胞區域；
bx和by分別表示x軸和y偏軸移補償量，本實例中bx和by都是8個像素，該補償防止塊之外參與插值像素的權重過小。σ表示高斯核，本實例中取8。
首先，大小為128*64圖像窗口的hog特徵的維度為3780，而elhog的維度為1152。本發明採用的特徵提取方法中一個塊參與位置線性插值的像素個數為標準方法的7/4倍，但是窗口中需要計算特徵的塊區域的數量為文獻1所述方法的32/105倍。計算這樣一個圖像窗口的梯度方向直方圖，本發明的方法在圖像窗口上的計算量為文獻1所述方法的7/4*32/105＝105倍。其次，採用滑動窗口方式對圖像檢測行人時，一副圖像包含的檢測窗口是非常多的，採用預先計算像素梯度的方式避免了像素梯度在多個窗口的重疊部分重新計算。再次，低維特徵使線性svm對應的超平面的法向量的維度也變低，從而在這個環節也加快了檢測速度。儘管像素梯度的計算不能節省時間，但因為在本發明的行人檢測方法中，檢測圖像時像素梯度只被計算一次，因此實驗結果體現出來的檢測一幅圖像的平均耗時只有使用文獻1所述方法的三分之一，基本與特徵維度比值一致。訓練分類器耗時也只有文獻1所述方法的不到三分之一。
圖2是本發明的方法提取出的方向梯度直方圖特徵在公開圖像集inria上的行人檢測性能比較結果。參與比較的特徵分別為文獻1所述方法提取出的特徵s-hog，按文獻1所述方法但是取消了塊區域重疊提取出的特徵nl-hog和本發明方法提取出的特徵el-hog。圖中，水平軸表示每幅圖像假正數量，垂直軸表示遺漏率。圖2以roc曲線來衡量性能的，曲線下面與兩個坐標軸之間圍的區域面積越小則對應特徵性能越好。可以看出本發明的方法提取出的低維特徵的性能與文獻1所述方法提取出的特徵性能相當，而只是取消塊部分重疊的方法提取出的特徵性能差了很多。
文獻1(dalal,nandbilltriggs,b.histogramsoforientedgradientsforhumandetection.cvpr2005:886-893.)
以上內容是結合具體的實施方式對本發明所做的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對本發明所述技術領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或者替換，都應當視為屬於本發明的保護範圍。