一種改進基於LDCF的行人檢測方法與流程

2023-07-26 21:27:56

本發明涉及行人檢測領域，尤其是涉及一種改進基於LDCF的行人檢測方法。

背景技術：

行人檢測是目標檢測中的一項熱點和重要內容，目標是在灰度、彩色、深度等圖像或視頻中找到直立行走的行人，在汽車輔助駕駛、智能交通管理、智能視頻監控等方面有著廣泛的應用。

目前，行人檢測算法大體上有三類：DPM類、決策森林類和深度學習類。其中決策森林類算法更具優勢。LDCF算法可以從訓練集中提取顏色、梯度方向和梯度幅值三種特徵信息，訓練成分類器。在檢測行人時，則採用縮放圖像構成尺度金字塔的策略，使用決策樹進行多尺度檢測。

經過對現有技術的文獻檢索發現，現有的LDCF檢行人檢測方法中，在行人檢測的過程中的檢測不準確，而且對於採用Non-Maximal Suppression(非極大抑制)方法抑制檢測窗口的方法中，對於重合的檢測窗口的識別以及降低失效率上，效果不明顯，經常出現誤檢。

技術實現要素：

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種檢測準確、消除姿態影響的改進基於LDCF的行人檢測方法。

本發明的目的可以通過以下技術方案來實現：

一種改進基於LDCF的行人檢測方法，用以準確檢測車載攝像頭圖像中的行人信息，包括以下步驟：

1)根據不同的訓練數據集獲取LDCF行人檢測算法中三個行人外形的幾何約束條件；

2)對待檢測圖像中的行人進行滑動窗口檢測，並根據約束條件剔除長寬比不符合行人特點以及位置不在合理區域內的檢測窗口，獲取符合約束要求的初步行人檢測窗口；

3)對初步行人檢測窗口進行抑制，最終獲取合適大小的檢測窗口，並據此識別待檢測圖像中的行人。

所述的步驟1)中，三個行人外形的幾何約束條件包括行人底部到圖像底部的距離約束、行人的像素高度與行人到圖像底部距離的線形函數關係約束以及行人檢測窗口的寬高比約束。

所述的步驟1)中，訓練數據集包括Caltech-USA訓練數據集和ETH訓練數據集。

所述的步驟3)中通過改進的NMS算法對初步行人檢測窗口進行抑制。

所述的改進的NMS算法通過將NMS算法中的固定重合面積閾值改為動態重合面積閾值進行窗口抑制。

所述的動態重合面積閾值Threshold為：

其中，A為固定重合面積閾值，sd為被抑制窗口的檢測分數，su為抑制窗口的檢測分數，hd為被抑制窗口的高度，hu為抑制窗口的高度，為檢測分數比，為檢測對象尺度比，α為檢測分數比的閾值，δ為檢測對象尺度比的閾值。

所述的窗口抑制的方法為：

1、被抑制窗口和抑制窗口存在重合，當檢測分數比且檢測對象尺度比時，則認定被抑制窗口為抑制窗口的子區域，並縮小動態重合面積閾值；

當檢測分數比且檢測對象尺度比時，則認定被抑制窗口為抑制窗口的附近的獨立窗口，不採用動態重合面積閾值抑制；

2、當抑制窗口完全被被抑制窗口包含，且其檢測分數差異極小，即時，則將抑制窗口作為誤檢窗口剔除，保留被抑制窗口，並將抑制窗口的檢測分數賦值給被抑制窗口。

與現有技術相比，本發明具有以下優點：

一、檢測準確：本發明在行人檢測時加入三個行人外形的幾何約束條件，有效的去除了檢測框位於地平線上、檢測框的寬度過窄或過寬以及檢測框的高度與行人距離攝像頭的距離不符合近大遠小的規律這三種誤檢，有效的提高了檢測準確度。

二、消除姿態影響：本發明還通過對NMS算法改進，將固定重合面積閾值改為動態重合面積閾值進行窗口抑制，有效的降低了行人的遮擋、姿態的影響，使得檢測分數稍低的檢測窗口可能與真實行人更匹配。

附圖說明

圖1是本發明的方法流程圖。

圖2是實施例一中幾種常見的幾何錯誤舉例，其中，圖(2a)為檢測窗口位於地平線上的情況，圖(2b)為檢測窗口的寬度過窄，圖(2c)為距離攝像頭較遠的行人高度過高的情況，圖(2d)為距離攝像頭較近的行人高度過矮。

圖3是實施例一中的成像模型圖，其中，圖(3a)為焦距、視角視角與屏幕高度的關係示意圖，圖(3b)為攝像機成像模型，圖(3c)為行人幾何成像關係圖。

圖4是實施例二的使用前後效果對比圖，其中，圖(4a)為LDCF原始NMS檢測效果，圖(4b)為引入尺度比信息後的NMS檢測效果，圖(4c)為原始NMS檢測效果，圖(4d)為引入保留外圍窗口和激活機制的NMS檢測效果。

具體實施方式

下面結合附圖和具體實施例對本發明進行詳細說明。

實施例1：

如圖1所示，本實施例包括以下步驟：

第一步、選擇一系列地平線上無遮擋的圖片，估算出地平線的高度。不同數據集的地平線高度不同，如Caltech-USA數據集的地平線高度約為190，ETH數據集的地平線高度約為235。

第二步、計算攝像頭參數，並根據訓練集數據獲得行人的高度與距離攝像頭的距離之間的關係。

針孔攝像機成像模型如圖3(a)所示。其中f為攝像機焦距，w為屏幕高度，θ為垂直視角。根據該模型，可以得到焦距、垂直視角與屏幕高度的關係：

其中，攝像機焦距為1000像素，屏幕高度為480像素。根據這些已知條件可以計算出垂直視角約為27°。

車載攝像機針孔成像模型如圖3(b)所示。其中H為行人實際高度，d為行人到車載攝像機的實際距離，f為攝像機的焦距，h為行人在圖像中的像素高度。可以發現，對於同一個行人而言，離攝像機越遠，其成像高度h越小。而行人距離攝像頭越遠，代表著行人距離圖像底部的距離也越遠，所以行人距圖像底部的距離和行人像素高度之間存在一定的幾何關係。

理想的非畸變的行人的成像關係如圖3(c)所示。其中f為焦距，h為圖像行人的像素高度，D為行人底部到圖像底部的距離，H為行人的真實高度，d為行人到車載攝像機的實際距離。根據該圖，可以得到：

由以上兩個公式可知：

由圖及以上公式可得：

所以，

即，當人的高度一定時，行人到圖像底部的距離和行人的像素高度存在正比關係。

通過對Caltech-USA訓練數據集的數據進行簡單的函數擬合，得到D和h的大致關係：

D＝-0.6927h+292.2

在實際應用中，由於人的高度H會變化，以及檢測框在檢測時也存在一定的誤差，將通過不等式來篩選數據：

-0.6936h+223.68＜D＜-0.6916h+352.95

通過對ETH訓練數據集的數據進行函數擬合，得到D和h的大致關係：

D＝-0.5675h+238.3

在實際應用中，通過不等式來篩選數據：

-0.8079h+212.31＜D＜-0.5261h+260.59

第三步、根據訓練集數據獲得行人的高度與寬度的關係。

行人的寬高比會隨著行人的動作變化而改變。因此可以通過不等式來篩選數據：

其中，w為檢測框的寬度，h為檢測框的高度，rmin、rmax分別為寬高比的最小值和最大值。

通過對訓練數據集的數據進行分析，可以發現行人寬高比的平均值約為0.41，行人寬高比的最小值為0.165，最大值為1，即不等式為：

第四步、將前三步推得的三個幾何約束條件運用到檢測中，提高檢測效率。

三個幾何約束條件是指：

對Caltech-USA訓練數據集來說，幾何約束條件為：

對ETH訓練數據集來說，幾何約束條件為：

其中，w為檢測框的寬度，h為檢測框的高度，D為檢測框距圖像底端的距離。

本實施例的工作原理為，現有的LDCF行人檢測算法是一個誤檢率較高、漏檢率較低的行人檢測算法。檢測框常見的幾何錯誤有三種：檢測框位於地平線上，因而這些檢測框大多是錯誤的(如圖2(a)所示)；檢測框的寬度過窄或過寬，不滿足行人的動作特點(如圖2(b)所示)；檢測框的高度與行人距離攝像頭的距離不符合近大遠小的規律，如距離攝像頭較遠的行人高度過高(如圖2(c)所示)，或者距離攝像頭較近的行人高度過矮(如圖2(d)所示)。通過幾何約束，可以去除掉這一部分不合理的檢測盒，從而降低該算法的誤檢率。

實施例2：

設抑制窗口BBu檢測分數為su，高度為hu，被抑制的窗口BBd的檢測分數為sd,高度為hd,則動態重合面積閾值threshold。

本實施例包括以下步驟：

第一步、我們目的是當被抑制窗口尺度小於抑制窗口時，應該進行更嚴格地抑制，降低重合面積閾值可以抑制這類誤檢窗口。重合面積的閾值應與尺度比成正相關關係，因此估算檢測分數比sd/su和檢測對象尺度比hd/hu的閾值α，δ。

第二步、總結出動態閾值的公式如下：

其中0.65為原算法設定的固定的重合面積閾值。δ＝0.75為高度比hd/hu的轉折點，α＝0.7為檢測分數比sd/su的轉折點。當sd/su<α且hd/hu<δ時，我們認為BBd可能是BBu的腿部、手臂等區域，應採用動態的更小的閾值抑制。當hd/huα時我們認為BBd可能是BBu附近小尺度的行人，不採用動態閾值抑制。

第三步、修改原NMS算法，引入保留外圍窗口的非極大抑制策略。當前抑制窗口BBu的區域完全被被抑制窗口BBd所包圍，且二者的檢測分數差異極小:sd/su>β(這裡β取0.86)，則將BBu作為誤檢窗口剔除，而將BBd保留下來，且將BBu的檢測分數賦值給BBd。，不過BBu此時仍然一直其他未被抑制的低分窗口，知道本輪循環結束。

第四步、修改原NMS算法，引入激活機制的非極大抑制策略。第三步引入的保留外圍窗口的非極大抑制策略一定程度上具有激活功能，理論上能夠減少漏檢和誤檢窗口，因此，我們在這裡進一步取消被抑制窗口是否已經被抑制的檢查過程，使得所有分數比當前一直窗口低的初始檢測窗口都暻秀保留外圍窗口的非極大抑制，激活一些已經被抑制過但是無法被當前抑制窗口抑制的檢測窗口。

第五步、分別將前面兩種改進(第三種需要和第二種配合使用)應用到實際檢測中，觀察效果。並將三種改進的組合改進算法應用到實際檢測中，觀察檢測效果，取效果最好的組合方案。

本創新工作的原理是，(1)LDCF原始的非極大抑制過程中容易抑制尺度相近的檢測窗口，而難以抑制尺度相差較大的窗口，一些主要來自行人腿、手臂等與行人類似地柱狀區域會被誤檢處理而無法被抑制(如圖4(a))，引入尺度比信息使原來的固定閾值變為動態閾值可以有效解決這個問題。(2)LDCF貪心保留檢測分數最高的檢測窗口，實際情況下由於行人的遮擋、姿態等影響，使得檢測分數稍低的檢測窗口可能與真實行人更匹配。因此，我們在抑制窗口完全包含於被抑制窗口且二者檢測分數相差不大的情況下保留外圍窗口。(3)原算法一個窗口被抑制就會被判定為誤檢窗口，就不會被再次被抑制，我們引進的保留外圍窗口策略具有一定的激活功能，因此，我們進一步的取消了被抑制窗口是否已經被抑制的檢查，使得所有分數比當前抑制窗口低的初始檢測窗口，都能進行保留外圍窗口的非極大抑制。

實施效果

依據上述步驟，我們對Caltech-USA測試數據集進行了測試，該測試集包含66個視頻，不進行幾何約束時，得到了161731個檢測框。僅對地平線的高度進行約束後，保留下121362個檢測框，比例為75.04％；僅對行人的寬高比進行約束後，保留下159952個檢測框，比例為98.90％；僅對行人的高度和距攝像頭的距離進行約束後，保留下114406個檢測框，比例為70.74％；同時使用三個條件進行約束，保留下107141個檢測框，比例為66.25％，即約束掉了33.75％的檢測框。Miss rate(誤檢率)從31.0848％下降到22.6487％。

依據上述實驗步驟，我們將對原始非極大抑制的集中改進應用到toolbox中的非極大抑制函數中，在Caltech-USA部分數據集進行了測試，僅引入尺度比信息的非極大抑制算法比原始算法的miss rate能夠降低1.1918％，引入保留外圍窗口和激活機制的非極大抑制算法能夠比原來MR降低1.2913％，組合引入尺度比信息、保留外圍窗口和激活機制的非極大抑制算法能比原始的MR降低1.7768％。

這一實驗表明，本實施例的行人檢測優化算法能有效地降低誤檢率，提高檢測準確度。