基於多解析度特徵關聯的行人檢測方法
2023-05-27 13:50:31 1
基於多解析度特徵關聯的行人檢測方法
【專利摘要】本發明涉及一種基於多解析度特徵關聯的行人目標檢測方法。本發明通過採樣車載道路交通視頻中的圖像序列，對行人進行標註來獲得行人樣本數據集，並根據行人解析度大小將其分類，建立多解析度行人樣本庫；通過將模型參數求解問題轉變為兩個凸優化子問題，使用統計學習的方法得到分辨對應的特徵轉換矩陣以及分類函數係數；以滑窗掃圖的方式對不同解析度行人的HOG特徵使用對應解析度變換矩陣，將特徵映射至相同的特徵子空間；然後，使用分類函數對子空間中的特徵進行分類；最後對檢測結果進行聚類，得到最終檢測結果。本發明具有較好的泛化能力和自適應性，由於引入了解析度對應特徵變換，使得本發明在對中遠距離的行人檢測性能方面優於以往方法。
【專利說明】基於多解析度特徵關聯的行人檢測方法
【技術領域】
[0001]本發明涉及一種基於多解析度特徵關聯的行人目標檢測方法，特別涉及一種基於方向梯度直方圖HOG (Histogram of Oriented Gradient)算法在多解析度條件下改進方法，提高遠距離行人檢測效果。
【背景技術】
[0002]隨著計算機技術的發展和計算機視覺原理的廣泛應用，利用計算機圖像處理技術對目標進行實時檢測研究越來越熱門。基於機器視覺的行人檢測作為領域內的典型問題一直受到高度關注。如何提高算法實際檢測性能是行人檢測從學術走向實際應用的關鍵問題。
[0003]近幾年，HOG(Histogram of Oriented Gradient, )、DPM (Deformable PartsModel)等行人特徵描述模型研究取得了較大進展，使得近距離高解析度行人取得了良好的檢測性能；但是，上述模型直接應用於中遠距離低解析度行人的檢測，其檢測性能急劇下降。對於道路交通而言，中遠距離行人的檢測卻是至關重要的，更遠的距離意味著留給駕駛員的反應時間更多，潛在地能挽救更多的生命。
[0004]已有對低分辨行人檢測採用的解決方法是針對低解析度行人樣本訓練一個新的分類器。該方法基於尺度不變的假設:在一個特定解析度下，針對抽取特徵訓練出的分類器能夠通過改變探測器尺寸，或是對圖像進行縮放來推廣至所有解析度。但是，由於遠距離行人的圖像採樣頻率受圖像傳感器硬體限制，導致圖像中遠距離行人目標解析度低、信息丟失嚴重；因此，在同一圖像傳感器中，近距離和遠距離的行人目標的尺度不變假設無法成立，導致了行人檢測性能隨著解析度下降而急劇下降。
【發明內容】
[0005]針對上述問題，本發明公開了一種在多解析度情況下，提高遠距離低解析度行人檢測效果的改進方法。該方法基於HOG特徵，對特徵向量進行主成分分析(PrincipalComponent Analysis, PCA)轉化，應用解析度對應的轉換方程將各個解析度的特徵描述向量映射至相同的特徵子空間，以此建立聞解析度行人特徵與低解析度行人特徵的聯繫，提高了特徵描述子在低解析度下的描述能力，為分類函數能更好地分類提供了理論基礎。為了建立上述檢測模型，給出了優化特徵轉換方程參數和子空間分類模型參數的方法，通過拆分整個檢測模型參數的非凸二次優化問題為兩個凸優化子問題，進行多倫迭代優化，得到各個特徵轉換方程參數和分類函數係數。
[0006]該方法適合於在遠距離低分率上行人檢測上提高各類行人檢測算法的性能，可以應用於DPM等其他行人檢測模型。
[0007]本發明的技術方案步驟如下:
[0008]步驟1:對取材自道路交通場景的錄像進行去冗餘採樣，對生成的圖片集進行行人的人工標註。人工標註包括:行人的邊界框位置與大小，並根據邊界框大小將行人樣本進行分類。
[0009]步驟2:對樣本進行方向梯度直方圖(HOG)特徵計算。將每一解析度類別的樣本重構為統一尺寸大小的樣本，然後進行特徵向量的計算。
[0010]步驟3:建立行人識別模型。將識別模型的優化分解為兩個子問題:解析度對應特徵轉換模型優化與特徵子空間分類模型優化。該過程首先採用PCA方法對個解析度的特徵轉換模型進行參數初始化，然後進行解析度對應特徵轉換模型與特徵子空間分類模型的迭代優化。
[0011]步驟4:對各解析度行人進行識別。對圖片中的低解析度行人的HOG特徵向量進行一輪低閾值粗糙檢測，然後對檢測結果的HOG特徵向量進行解析度對應的特徵轉換；在轉換後的特徵子空間中，使用子空間分類模型進行分類；而對於高解析度行人的檢測則不使用解析度轉換，直接進行HOG特徵的分類。分別給出不同解析度的檢測結果分數，根據對應閾值輸出檢測結果。步驟5:對步驟4中的檢測結果，採用非最大值抑制方法進行聚類。將高解析度行人檢測結果進行統一的聚類，而經過特徵轉換的低解析度行人進行單獨的聚類。然後合併聚類結果集，輸出結果集，完成單幀行人檢測。
[0012]在步驟3中，提出了行人識別模型:包括解析度對應特徵轉換模型和特徵子空間分類模型。解析度對應轉換模型用於在高解析度特徵清晰的樣本與低解析度特徵噪音大的樣本之間建立聯繫，一定程度上增強了低解析度行人樣本的特徵描述能力，使轉換後的特徵更容易被特徵子空間分類模型區分，提高了遠距離的低分別率行人檢測的性能。
[0013]在步驟4中對於低解析度行人的檢測，採用了由粗到精的級聯檢測的思想。對於高解析度行人的檢測不用特徵轉換就能夠達到較好的檢測效果，而對於低解析度行人，兩段檢測能夠極大地減少計算量。所設計的檢測模型在不影響檢測精度的情況下進一步提高了檢測實時性。
[0014]在步驟5中對各解析度分類結果的進行差別聚類。由於基於HOG的分類模型給出的分數與基於特徵變換的分類模型給出的分數評價基準不同，而低解析度行人的檢測結果也不應該與高解析度行人檢測結果重合。因此，我們分別實施非最大值抑制的方法進行聚類，然後合併結果集。
[0015]本發明的有益效果:
[0016]1、本發明針對中遠距離低解析度行人檢測問題，提出了多解析度的特徵變換方法，建立低解析度行人與高解析度行人的特徵向量之間的關係，彌補前者特徵噪音過多，描述能力不強的問題，增強了中遠距離低解析度行人的特徵描述能力。然後，在變換後的共同特徵子空間中訓練的分類模型，提高對中遠距離低解析度行人的識別性能。
[0017]2、本發明在對單幀圖片的檢測識別中採用了解析度對應的級聯分類方法。對高解析度行人的識別，不進行特徵變換，採用原有算法保持高識別性能和實時性；而對於低解析度行人的識別，採用由粗到精的級聯識別過程，通過改進非最大值抑制聚類，保證高檢測效果和實時性。
[0018]3、本發明從真實道路交通場景錄像中採集樣本數據，建立訓練道路交通場景的多解析度樣本庫和訓練模型，保證了本發明提出的模型在真實道路場景中的泛化能力，使本方法得到的檢測器具有更強的自適應能力和中遠距離檢測效果。【專利附圖】
【附圖說明】
[0019]圖1為建立分類模型流程圖。
[0020]圖2為本發明進行解析度對應行人檢測時的流程圖。
[0021]圖3為適合本發明的非最大值抑制算法流程圖。
[0022]圖4為本發明在紅外場景中的行人檢測效果圖。
【具體實施方式】
[0023]下面結合附圖，對本發明的具體實施方案作進一步詳細描述。關於分類模型的建立其具體步驟描述如圖1所示:
[0024]步驟1:將每秒30幀的錄像以I秒一幀的頻率進行去冗餘採樣，將大於80像素高度的樣本歸類為高解析度樣本，小於的歸類為低解析度樣本。在人工標註中給出標註框的左上角和右下角的坐標:(xTL, yTL)，(xBE, yBE),行人的像素高度h = xBE-xTL,根據h進行歸類。
[0025]步驟2:計算各類樣本的特徵。根據標註框限定高寬比例為2:1的ROI (感興趣區域)，將ROI按一定縮放尺度縮放至固定大小後，使用HOG算法提取統一維度的特徵向量。對單個標註框限定2:1的ROI算法如下:
[0026]Input: Annotated BoundiIig Box Anchor (xTL, yTL), (xBE, yBE)
[0027]Output: Size Fixed ROI Anchor (x' TL, y' TL), (x' BE, y' BE)
[0028]Define:h = yBR-yTL, w = xBR-xTL..h
【權利要求】
1.基於多解析度特徵關聯的行人檢測方法，其特徵在於該方法的具體步驟如下: 步驟1:對取材自道路交通場景的錄像進行去冗餘採樣，對生成的圖片集進行行人的人工標註；人工標註包括行人的邊界框位置與大小，然後根據邊界框大小將行人樣本進行分類； 步驟2:對樣本進行HOG特徵計算；將每一解析度類別的樣本重構為統一尺寸大小的樣本，然後對樣本進行特徵向量的計算； 步驟3:建立行人識別模型scored，L)；
【文檔編號】G06K9/66GK103984965SQ201410143556
【公開日】2014年8月13日 申請日期:2014年4月10日 優先權日:2014年4月10日
【發明者】徐向華, 虞抒沁 申請人:杭州電子科技大學