一種人群聚集區域檢測方法和裝置製造方法
2023-09-21 08:49:40 2
一種人群聚集區域檢測方法和裝置製造方法
【專利摘要】本發明公開了一種人群聚集區域檢測方法和裝置，屬於視頻處理【技術領域】。該方法包括：採樣輸入的視頻圖像並進行預處理，得到灰度圖；利用預設的多尺度矩形窗口遍歷灰度圖，並採用分類器粗定位人群密集區域；當存在人群密集區域時，根據人群密度對人群密集區域進行精細定位人群聚集區域。採用本發明的檢測方法和裝置，能自動定位人群密集區域的位置，無需人工設定區域位置；同時，採用兩層篩選機制對人群區域進行粗定位和精細定位，能精確獲取人群聚集區域，此外，由於沒有採用背景相減法，排除了外界各因素的影響，對於場景複雜的情況，也能精確檢測到人群聚集事件。
【專利說明】一種人群聚集區域檢測方法和裝置
【技術領域】
[0001]本發明涉及安防領域，尤其涉及一種人群聚集區域檢測方法和裝置。
【背景技術】
[0002]隨著社會經濟的高速發展，我國的城市化進程不斷推進，城市的人口數量越來越多，城市的公共運輸、生活設施等區域經常會迎來短期的人流高峰，人群的高度擁擠帶來了一些安全隱患，若不能得到及時有效疏散，容易造成重大事故，例如踐踏等危險事故。同時，人口數量的急劇增長，也容易導致一些群體事件發生，例如聚眾鬧事，群毆打架等，對城市的治安造成較大的威脅。
[0003]為了及時發現突發的人群聚集事件，引入了視頻監控系統。但是，傳統的視頻監控系統由人工輪崗來監視，由於監控點比較多，工作人員較少，使得很多人群聚集事件沒有被及時發現。同時，人眼在長時間盯著監控屏幕後極容易導致視覺疲勞，使注意力下降。隨著計算機視覺技術的不斷發展和應用，已經可以利用計算機技術代替人眼和人腦，來自動分析人群聚集事件。
[0004]目前，利用計算機視覺技術的人群聚集區域檢測方法有兩種:(1)基於人群像素統計的方法，該方法通過背景相減的方法來提取運動的前景人群，並統計人群佔據的像素數目來判斷是否發生聚集事件，該方法的優點是方法簡單、處理速度快，但是在人群擁擠時，存在非常嚴重的重疊現象，導致行人計數存在較大誤差；並且，由於外面因素的幹擾，要想獲取一個穩定的背景非常困難，這直接影響到前景的精確提取；同時，如果場景中的人群沒有運動，這直接導致背景獲取失敗，不能檢測到人群聚集。(2)基於人群紋理信息的方法，該方法將人群分為低、中、高密度，低密度人群在紋理上表現為粗模式，高密度人群在紋理上表現為細模式，該方法在背景比較單一場景下效果較好，但在場景複雜、人群比較稀疏的情況下，誤報較多，容易將其判為人群密集的情況。
[0005]此外，上述兩種檢測方法都需要人工在監控畫面中設置固定區域來檢測人群聚集，而不能自動檢測人群聚集的位置。
【發明內容】
[0006]有鑑於此，本發明要解決的技術問題是提供一種人群聚集區域檢測方法和裝置，以解決需要人工在監控畫面中設置固定區域、且誤報較多的技術問題。
[0007]本發明解決上述技術問題所採用的技術方案如下:
[0008]根據本發明的一個方面，提供的一種人群聚集區域檢測方法包括:
[0009]採樣輸入的視頻圖像並進行預處理，得到灰度圖；
[0010]利用預設的多尺度矩形窗口遍歷灰度圖，並採用分類器粗定位人群密集區域；
[0011]當存在人群密集區域時，根據人群密度對人群密集區域進行精細定位人群聚集區域。
[0012]優選地，利用預設的多尺度矩形窗口遍歷灰度圖，並採用分類器粗定位人群密集區域進一步包括:
[0013]針對每一個預設尺度的矩形窗口，將其在灰度圖上滑動，獲取被矩形窗口覆蓋的子圖像的集合；
[0014]提取每個子圖像的HOG特徵；
[0015]採用Adaboost級聯分類器對每個子圖像的HOG特徵進行分類，得到人群密集候選區域；
[0016]將人群密集候選區域進行融合，得到人群密集區域。
[0017]優選地，提取每個子圖像的HOG特徵進一步包括:
[0018]利用梯度算子提取子圖像的水平方向和垂直方向的梯度；
[0019]計算每個像素的梯度大小和梯度方向；
[0020]將子圖像分成至少兩個單元格，在每個單元格內建立梯度方向直方圖；
[0021]將相鄰的單元格組成一個塊，將一個塊內所有單元格的特徵向量串聯起來，並進行歸一化處理，得到該塊的特徵；
[0022]將該子圖像的所有塊的特徵串聯，得到該子圖像的HOG特徵。
[0023]優選地，根據人群密度對粗定位的人群密集區域進行精細定位人群聚集區域進一步包括:
[0024]根據人群密集區域的位置，從輸入的彩色圖像中截取對應的人群密集區圖像；
[0025]將人群密集區圖像縮放到預設的大小，並轉換為灰度圖像，得到人群密集區灰度圖；
[0026]利用傅立葉變換將人群密集區灰度圖轉換到頻率域，得到人群密集區傅立葉頻譜圖；
[0027]計算人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類；
[0028]記錄人群密度分類結果為高密度的區域位置，輸出人群聚集區域。
[0029]優選地，計算人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類進一步包括:
[0030]計算人群密集區傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子;
[0031]採用BP神經網絡分類器對熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子進行人群密度等級分類。
[0032]優選地，計算極坐標傅立葉頻譜特徵描述子包括以下維度:
[0033]
s πs πRπ
ΣΣ F(p, θ)，^ Z F(p，θ)，...f Z ^F(p, β)，
,Ρ=0Θ=0P=J0 =QP =(s-l)*J9 =Q,
π/t R2*n/t RπR
ΣΣ F{p, Θ)， ΣΣ np，θ)，■■■，Z ZF(P，0)
、.沒=0/)=0B—njt p=00=(t—l)^n/t p=0J
[0034]其中，F(P, θ )為極坐標下的傅立葉頻譜，P為極坐標的極徑，Θ為極角，R為灰度圖像寬度的一半，s表示極徑P被均分的等級個數，t表示極角Θ被均分的等級個數。
[0035]根據本發明的另一個方面，提供的一種人群聚集區域檢測裝置包括:
[0036]預處理模塊，用於採樣輸入的視頻圖像並進行預處理，得到灰度圖；
[0037]粗定位模塊，用於利用預設的多尺度矩形窗口遍歷灰度圖，並採用粗定位人群密集區域；
[0038]精細定位模塊，用於當存在人群密集區域時，根據人群密度對人群密集區域進行精細定位人群聚集區域。
[0039]優選地，粗定位模塊包括:
[0040]子圖像提取單元，用於針對每一個預設尺度的矩形窗口，將其在灰度圖上滑動，獲取被矩形窗口覆蓋的子圖像的集合；
[0041]HOG特徵提取單元，用於提取每個子圖像的HOG特徵；
[0042]HOG特徵分類單元，用於採用Adaboost級聯分類器對每個子圖像的HOG特徵進行分類，得到人群密集候選區域；
[0043]區域融合單元，用於將人群密集候選區域進行融合，得到人群密集區域。
[0044]優選地,精細定位模塊包括:
[0045]人群密集區圖像獲取單元，用於根據人群密集區域的位置，從輸入的彩色圖像中截取對應的人群密集區圖像；
[0046]人群密集區灰度圖獲取單元，用於將人群密集區圖像縮放到預設的大小，並轉換為灰度圖像，得到人群密集區灰度圖；
[0047]傅立葉頻譜圖獲取單元，用於利用傅立葉變換將人群密集區灰度圖轉換到頻率域，得到人群密集區傅立葉頻譜圖；
[0048]傅立葉頻譜特徵分類單元，用於計算人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類；
[0049]輸出單元，用於記錄人群密度分類結果為高密度的區域位置，輸出人群聚集區域。
[0050]優選地，傅立葉頻譜特徵分類單元具體用於:計算人群密集區傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子；採用BP神經網絡分類器對熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子進行人群密度等級分類。
[0051]本發明提供的人群聚集區域檢測方法和裝置，與現有技術相比，通過多尺度矩形窗口遍歷技術，能自動定位人群密集區域的位置，無需人工設定區域位置，同時，採用兩層篩選機制對人群區域進行粗定位和精細定位，能精確獲取人群聚集區域，而且，由於沒有採用背景相減法，排除了外界各因素的影響，對於場景複雜的情況，也能精確檢測到人群聚集事件。
[0052]此外，通過採用Adaboost級聯分類器對HOG特徵進行分類、以及BP神經網絡對傅立葉頻譜特徵進行分類的兩層篩選機制對人群區域進行粗定位和精細定位，能進一步精確獲取人群聚集區域。
【專利附圖】
【附圖說明】
[0053]圖1為本發明實施例提供的一種人群聚集區域檢測方法的流程圖；
[0054]圖2為本發明實施例提供的一種人群密集區域粗定位方法的流程圖；
[0055]圖3為本發明優選實施例提供的一種人群密集區域粗定位方法的流程圖；
[0056]圖4為本發明優選實施例提供的一種人群聚集區域精細定位方法的流程圖；
[0057]圖5為本發明優選實施例提供的一種人群聚集區域檢測裝置的模塊結構圖。
【具體實施方式】
[0058]為了使本發明所要解決的技術問題、技術方案及有益效果更加清楚、明白，以下結合附圖和實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。
[0059]實施例一
[0060]如圖1所示，本發明實施例提供的一種人群聚集區域檢測方法包括以下步驟:
[0061]S101、採樣輸入的視頻圖像並進行預處理，得到灰度圖。
[0062]具體地，從視頻採集設備中獲取視頻圖像，對視頻圖像進行下採樣，將下採樣的彩色圖像轉化為灰度圖像，並進行濾波去除噪聲等預處理。
[0063]S102、利用預設的多尺度矩形窗口遍歷灰度圖，並採用分類器粗定位人群密集區域。
[0064]本步驟中，可以通過預設多個小尺度矩形窗口來分別遍歷灰度圖，比如預設的初始小尺度矩形窗口的尺度為100*100個像素,窗口移動步長選用2個像素,每遍歷完一次圖像後窗口的尺度放大1.1倍。還可以只預設一個小尺度矩形窗口，而將灰度圖按預設的比例進行縮放，比如，圖像的縮小倍數為1.1，通過該小尺度矩形窗口來分別遍歷每次縮放後的灰度圖。歸根揭底來說，兩種方式都是採用多尺度矩形窗口遍歷灰度圖。所述分類器可以採用Adaboost級聯分類器。
[0065]請參閱圖2,作為一種優選實施例,步驟S102進一步包括:
[0066]S1021、針對每一個預設尺度的矩形窗口，將其在灰度圖上滑動，獲取被矩形窗口覆蓋的子圖像的集合；
[0067]S1022、提取每個子圖像的HOG特徵。
[0068]在窗口滑動過程中，依次提取每個位置處被窗口覆蓋的子圖像的HOG特徵。HOG特徵是一種局部區域描述符，它通過計算局部區域上的梯度方向直方圖來構成人群特徵，能夠很好地描述人群的邊緣。同時，HOG特徵能夠適應光照變化和目標旋轉。步驟S1022進一步包括:利用梯度算子提取子圖像的水平方向和垂直方向的梯度；計算每個像素的梯度大小和梯度方向；將子圖像分成至少兩個單元格，在每個單元格內建立梯度方向直方圖；將相鄰的單元格組成一個塊，將一個塊內所有單元格的特徵向量串聯起來，並進行歸一化處理，得到該塊的特徵；將該子圖像的所有塊的特徵串聯，得到該子圖像的HOG特徵。
[0069]S1023、採用Adaboost級聯分類器對每個子圖像的HOG特徵進行分類，得到人群密集候選區域。
[0070]其中，人群Adaboost級聯分類器是事先訓練好的一個兩類分類器，可以將圖像分為人群密集和人群稀疏(或沒有人的圖像)。Adaboost級聯分類器的核心思想是將許多的弱分類器組合起來，構成一些強分類器，然後，再將強分類器串聯起來，構成最終的Adaboost級聯分類器。其中，弱分類器的分類正確率大於50%就可以，Adaboost級聯分類器通過提取人群圖像的HOG特徵進行訓練得到，其訓練過程為:首先，準備訓練要用的樣本，正樣本為行人密集的圖像，負樣本為行人稀少或沒有行人的圖像，訓練樣本的個數越多越好；其次，將訓練用的樣本圖像轉化為灰度圖，並縮放到規定的大小，本發明的實施例將樣本圖像縮放到50*50個像素；然後，提取正樣本和負樣本的HOG特徵；最後，利用訓練樣本的特徵開始訓練Adaboost級聯分類器，具體的訓練方法可以採用現有的開源庫opencv提供的工具來訓練。本發明實施例中，設定Adaboost級聯分類器的層數為20，弱分類器採用2層決策樹。
[0071]具體地，將矩形窗口覆蓋下的子圖像的HOG特徵送入人群Adaboost級聯分類器進行分類，會先利用第一個強分類器對圖像進行分類，如果該圖像被判為行人密集，則繼續利用第二個強分類器對其分類，依次類推，如果所有強分類器都將該圖像分類為行人密集，則該圖像的真實類型就是行人密集；如果該圖像被其中一個強分類器判為行人稀疏，則直接退出，後續的強分類器不再對其進行分類。如此，最終分類結果為兩類:行人密集和行人稀疏(或沒有人的圖像)，如果子圖像被分類為行人密集，保存該區域的位置作為人群密集候選區域。
[0072]S1024、將人群密集候選區域進行融合，得到人群密集區域。
[0073]具體地，上述步驟得到的人群密集候選區域可能為一個或者多個，其中多個候選區域之間會相互重疊，故需要對多個人群密集候選區域進行融合，得到置信度最高的人群?集區域。
[0074]S103、當存在人群密集區域時，根據人群密度對粗定位的人群密集區域進行精定位人群聚集區域。
[0075]具體地，對步驟S102中粗定位到的人群密集區域進一步作精確的分類，分類標準根據人群密度分為低、中、高三個等級。人群密度等級可以根據固定區域中的人數來分，比如人群佔總面積小於20%，為低密度；佔總面積在20%到75%，為中密度；佔總面積大於75%，為高密度。記錄分類結果為高密度的人群密集區域為人群聚集區域。
[0076]綜上所述，本發明提供的人群聚集區域檢測方法，與現有技術相比，通過多尺度矩形窗口遍歷技術，能自動定位人群密集區域的位置，無需人工設定區域位置；同時，採用兩層篩選機制對人群區域進行粗定位和精細定位，能精確獲取人群聚集區域，此外，由於沒有採用背景相減法，排除了外界各因素的影響，對於場景複雜的情況，也能精確檢測到人群聚集事件。
[0077]實施例二
[0078]如圖3所示，本發明優選實施例提供的一種人群密集區域粗定位方法包括以下步驟:
[0079]S301、將矩形窗口從圖像左上角開始遍歷。
[0080]具體地，本步驟之前，對視頻採集設備獲取到的彩色圖像進行下採樣，將彩色圖像下採樣到預設的尺度(本發明實施例中採用320*240)後轉換為灰度圖像；然後利用高斯濾波器對灰度圖像進行濾波，去除噪聲。本步驟中，利用小尺度矩形窗口在灰度圖中滑動，從左到右，從上到下滑動，當然，也可以沿著其他方向進行滑動，只要能遍歷整副圖像即可。本發明實施例中，矩形窗口的初始尺度為100*100個像素，窗口移動步長選用2個像素。
[0081]S302、提取窗口覆蓋下的子圖像的HOG特徵。
[0082]具體地，首先利用梯度算子[_1，0，I]和[_1，0，1]τ提取圖像的水平方向和垂直方向的梯度，再計算得到每個像素的梯度大小和梯度方向，梯度大小計算公式為
[0083]R(x, y) = J(I(x + l.y) — /(X — l,y))2 + (/(,y + I) — I(x,y — I))2
[0084]其中，R為梯度，I為圖像灰度值，X和y為圖像的像素坐標。
[0085]梯度方向計算公式為:
_] ang(x,y) = arctan ^/(χ + , y) _/(χ ? l y) j
[0087]其中，ang為梯度方向，I為圖傢狄度值，x和y為圖像的像素坐標。
[0088]然後，將圖像分成若干個單元格，在每個單元格內建立梯度方向直方圖。最後，將幾個相鄰的單元格組成一個塊，這些塊互有重疊，將一個塊內所有單元格的特徵向量串聯起來，並歸一化，就得到該塊的特徵。將所有塊的特徵串聯，就得到該圖像的HOG特徵。本發明的實施例中，單元格的尺度為6*6個像素，4個相鄰的單元格組成一個正方形區域作為塊，梯度方向等分為9個等級來構建梯度方向直方圖。
[0089]S303、採用Adaboost級聯分類器對HOG特徵分類。
[0090]將矩形窗口覆蓋下的子圖像的HOG特徵送入人群Adaboost級聯分類器進行分類，分類結果為兩類:行人密集和行人稀疏(或沒有人的圖像)，如果子圖像被分類為行人密集，保存該區域的位置。本發明實施例中，設定Adaboost級聯分類器的層數為20，弱分類器採用2層決策樹。
[0091]S304、保存分類為人群密集的區域位置。
[0092]S305、判斷窗口是否滑到圖像右下角，如果是，轉至步驟S307，否則轉至步驟S306。
[0093]S306、將窗口在圖像上繼續滑動，並轉至步驟S302。
[0094]S307、擴大窗口尺度或者縮小圖像尺度。
[0095]具體地，如果小尺度的窗口滑動到灰度圖的右下角時，則擴大窗口的尺度，重新從灰度圖的左上角開始滑動，並提取HOG特徵，送入Adaboost級聯分類器分類，保留人群密集區域位置。或者當矩形窗口滑動到圖像右下角時，再縮小當前灰度圖像的尺度，繼續從子步驟S301開始，按從左到右，從上到下滑動窗口，並提取每個子圖像的HOG特徵，送入Adaboost級聯分類器，來檢測行人密集區域，同時保存行人密集區域。本發明實施例中，矩陣窗口的放大倍數和圖像的縮小倍數都為1.1。
[0096]S308、判斷窗口尺度或者圖像縮小倍數是否達到上限，如果是，則執行步驟S309，否則轉至步驟S302。
[0097]具體地，如果矩形窗口的尺度到達設定的上限時或者當圖像總的縮小倍數到達規定的上限時，結束窗口的滑動操作，此時，先前的操作可能會有較多的子圖像被Adaboost級聯分類器判為行人密集區域，這些子區域可能會相互重疊，因此，還需要對這些子區域進行融合，獲取可信度較高的人群密集區域，同時輸出人群密集區域的位置。本發明實施例中，如果採用矩形窗口放大法，設定矩形窗口的尺度上限為200*200個像素，如果採用圖像縮小法，則圖像總的縮小倍數的上限為2。
[0098]S309、融合相互重疊的人群密集區域。
[0099]本步驟中，將尋找到的多個人群密集區域進行融合，得到置信度最高的人群密集區域。
[0100]S310、輸出人群密集區域的位置。
[0101]本實施例中，通過多尺度矩形窗口遍歷技術，能自動定位人群密集區域的位置，無需人工設定區域位置；同時，採用Adaboost級聯分類器對HOG特徵進行分類粗定位出人群密集區域的誤報率小，由於沒有採用背景相減法，排除了相機抖動，光照突變等外界各因素的影響，對於場景複雜的情況，也能精確檢測到人群聚集事件。
[0102]實施例三
[0103]如圖4所示，本發明優選實施例提供的一種人群密集區域精細定位方法包括以下步驟:
[0104]S1031、根據人群密集區域的位置，從輸入的彩色圖像中截取對應的人群密集區圖像。
[0105]本步驟中，根據粗定位的人群密集區域的位置，從輸入的彩色圖像中截取這些位置的圖像，作為候選的人群聚集區域。
[0106]S1032、將人群密集區圖像縮放到預設的大小，並轉換為灰度圖像，得到人群密集區灰度圖。
[0107]本步驟中，將候選的人群聚集區域彩色圖像轉化為灰度圖像，並將灰度圖像的尺度統一縮放到規定的大小，這樣便於特徵的提取。本發明實施例設定圖像縮放後的大小為100*100個像素。
[0108]S1033、利用傅立葉變換將人群密集區灰度圖轉換到頻率域，得到人群密集區傅立葉頻譜圖。
[0109]傅立葉變換可以將圖像從空間域轉換到頻率域。圖像的頻率可以表示圖像灰度變化劇烈的程度，對於人群密度較低的圖像，圖像灰度變化比較平滑，對應的頻率較低；對人群密度較高的圖像，圖像灰度變化比較劇烈，對應的頻率較高。二維圖像的傅立葉變換公式為
M-1 N-1
[0110]FCu, V) = ^ ^ f(x, y^e-j2n(ux/M+vy/N)
χ=? y=0
[0111]其中，F (U，V)為傅立葉變換結果，是一個複數，M = N= 100，為圖像的邊長，f(x，y)為圖像在點U，y)處的灰度值，X和y為圖像空間域坐標，u和V為圖像頻率域坐標。
[0112]傅立葉頻譜的計算公式為
[0113]\F(u, I?) I = JRz (u, v) + I2 {u, v)
[0114]其中，F(u, v)為點(u, v)處的頻譜值，R(u，v)和I(u,v)分別為F(u，v)實部和虛部。
[0115]S1034、計算人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類。
[0116]具體地，本步驟可以採用BP神經網絡分類器、SVM分類器、隨機森林分類器等對人群密集區傅立葉頻譜圖的傅立葉頻譜特徵進行人群密度等級分類。
[0117]優選地，步驟S1034進一步包括:計算人群密集區傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子；採用BP神經網絡分類器對熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子進行人群密度等級分類。
[0118]其中，熵特徵用於描述圖像的平均信息量，計算熵特徵之前，先將傅立葉頻譜值規範化到O至255的範圍，再計算直方圖P，然後，熵特徵的計算公式為:
255
[0119]H= -^Pi1gPi
i=0
[0120]其中，H為傅立葉頻譜圖的熵特徵值，Pi為頻譜圖的直方圖中第i個元素的值。
[0121]對於傅立葉頻譜圖的能量特徵，先將傅立葉頻譜值規範化到O至255的範圍，然後，能量特徵的計算公式為:
M-1 N-1
[0122]E — ΣΣ \F(u, v)\2
U=O v=0
[0123]其中，E為傅立葉頻譜圖的能量特徵值，|F(u，v)|為傅立葉頻譜值，u和V為圖像頻率域坐標，M = N= 100,為圖像邊長。
[0124]對於極坐標傅立葉頻譜特徵描述子的計算，先將直角坐標系下的傅立葉頻譜利用極坐標表示，直角坐標到極坐標的轉換公式為
[0125]P 二 -^u2 + V2
V
[0126]Θ = arctan —
u
[0127]其中，P為極坐標的極徑，Θ為極角，u和V為圖像頻率域坐標。
[0128]計算極坐標傅立葉頻譜特徵描述子包括以下維度:
[0129]
(K2*-飛
s Tis nRπ
ΣΣ F〔P，Φ ΣΣ F(p, θ)，..., Z ^ F〔p，θ)，
ρ=Ο0=Ο0=0(, ι \β.θ =0
π/t R2*n/t RπR
ΣΣ F(P，θ) ΣΣ F(ρ，θ) ,...， ^ ^ F(ρ，θ)
[0130]其中，F(P，θ)為極坐標下的傅立葉頻譜，P為極坐標的極徑，Θ為極角，R為灰度圖像寬度的一半，S表示極徑P被均分的等級個數，t表示極角Θ被均分的等級個數。本實施例中，R為50，極坐標下的極徑P被均分為10個等級，極角Θ被均分為8個等級，因此，極坐標頻譜特徵描述子的維度為18。將傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜的特徵描述子三種特徵組合，構建一個20維的紋理特徵，作為人群密度等級分類的特徵。
[0131]以BP神經網絡分類器為例進行說明，BP神經網絡分類器是先前訓練好的分類器，舉例來說，其訓練步驟為:首先，準備三類人群密度等級的灰度圖像，各300張，作為訓練樣本；其次，將訓練樣本圖像縮放到100*100個像素大小；然後，對縮放後的灰度圖像進行傅立葉變換，提取三類傅立葉頻譜特徵，作為樣本特徵；最後，利用樣本特徵對BP神經網絡分類器進行訓練，本發明實施例中，設定神經網絡的層數為3層:輸入層、隱含層和輸出層，其中，輸入層的節點個數為20，隱含層的節點個數為41，輸出層的節點個數為3，隱含層的激活函數為對數S形函數，輸出層的激活函數為線性函數。
[0132]S1035、記錄人群密度分類結果為高密度的區域位置，輸出人群聚集區域。
[0133]依據上一步得到的人群密度等級，進一步判斷該區域是否存在人群聚集區域，如果該區域的人群密度被分類為高密度，則說明該區域發生人群聚集事件，同時記錄發生人群聚集的具體區域位置並輸出。
[0134]本實施例中，通過採用BP神經網絡分類器對傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜的特徵描述子這三類非常適合人群密度的統計的特徵進行分類，精細定位出人群聚集區域，精確度高。
[0135]實施例四
[0136]如圖5所示，本發明實施例提供的一種人群聚集區域檢測裝置包括以下模塊:
[0137]預處理模塊10，用於採樣輸入的視頻圖像並進行預處理，得到灰度圖。
[0138]具體地，對視頻採集設備獲取到的彩色圖像進行下採樣，將彩色圖像下採樣到預設的尺度(本發明實施例中採用320*240個像素)後轉換為灰度圖像；然後利用高斯濾波器對灰度圖像進行濾波，去除噪聲。
[0139]粗定位模塊20，用於利用預設的多尺度矩形窗口遍歷灰度圖，並採用分類器粗定位人群密集區域。
[0140]粗定位模塊20，可以通過預設多個小尺度矩形窗口來分別遍歷灰度圖，比如初始小尺度矩形窗口的尺度為100*100個像素,窗口移動步長選用2個像素,每遍歷完一次圖像後窗口尺度放大1.1倍。還可以只預設一個小尺度矩形窗口，而將灰度圖按預設的比例進行縮放，比如，圖像的縮小倍數為1.1，通過該小尺度矩形窗口來分別遍歷每次縮放後的灰度圖。歸根結底來說，兩種方式都是採用多尺度矩形窗口遍歷灰度圖。
[0141]精細定位模塊30，用於當存在人群密集區域時，根據人群密度對粗定位的人群密集區域進行精細定位人群聚集區域。
[0142]具體地，對步驟S102中粗定位到的人群密集區域進一步作精確的分類，分類標準根據人群密度分為低、中、高三個等級。人群密度等級可以根據固定區域中的人數來分，比如人群佔總面積小於20%，為低密度；佔總面積在20%到75%，為中密度；佔總面積大於75%，為高密度。記錄分類結果為高密度的人群密集區域為人群聚集區域。
[0143]作為一種優選實施例，粗定位模塊20進一步包括:
[0144]子圖像提取單元201，用於針對每一個預設尺度的矩形窗口，將其在灰度圖上滑動，獲取被矩形窗口覆蓋的子圖像的集合。
[0145]HOG特徵提取單元202，用於提取每個子圖像的HOG特徵。
[0146]具體地，首先利用梯度算子[_1，0，I]和[_1，0，1]τ提取圖像的水平方向和垂直方向的梯度，再計算得到每個像素的梯度大小和梯度方向，梯度大小計算公式為
[0147]R(x,y)=、丨Q(x + I,y) -1(x - l,y))2 + (/Cy+ I) — I(x,y — I))2
[0148]其中，R為梯度，I為圖像灰度值，X和y為圖像的像素坐標。
[0149]梯度方向計算公式為:
//{x,y + I) -1(x, y - 1)\
[0150]ang(x,y) = arctan^/(x+iy)_/(x_iy)J
[0151]其中，ang為梯度方向，I為圖像灰度值，x和y為圖像的像素坐標。
[0152]然後，將圖像分成若干個單元格，在每個單元格內建立梯度方向直方圖。最後，將幾個相鄰的單元格組成一個塊，這些塊互有重疊，將一個塊內所有單元格的特徵向量串聯起來，並歸一化，就得到該塊的特徵。將所有塊的特徵串聯，就得到該圖像的HOG特徵。本發明的實施例中，單元格的尺度為6*6個像素，4個相鄰的單元格組成一個正方形區域作為塊，梯度方向等分為9個等級來構建梯度方向直方圖。
[0153]HOG特徵分類單元203，用於採用Adaboost級聯分類器對每個子圖像的HOG特徵進行分類，得到人群密集候選區域。
[0154]區域融合單元204，用於將人群密集候選區域進行融合，得到人群密集區域。
[0155]作為另一種優選實施例，精細定位模塊30進一步包括:
[0156]人群密集區圖像獲取單元301，用於根據人群密集區域的位置，從輸入的彩色圖像中截取對應的人群密集區圖像。
[0157]人群密集區灰度圖獲取單元302，用於將人群密集區圖像縮放到預設的大小，並轉換為灰度圖像，得到人群密集區灰度圖。
[0158]傅立葉頻譜圖獲取單元303，用於利用傅立葉變換將人群密集區灰度圖轉換到頻率域，得到人群密集區傅立葉頻譜圖。
[0159]具體的，傅立葉變換可以將圖像從空間域轉換到頻率域。圖像的頻率可以表示圖像灰度變化劇烈的程度，對於人群密度較低的圖像，圖像灰度變化比較平滑，對應的頻率較低；對人群密度較高的圖像，圖像灰度變化比較劇烈，對應的頻率較高。二維圖像的傅立葉變換公式為
M-1N-1
[0160]F(u, V)— ΣΣ ^X)y^e-j2n(ux/M+vy/N)
x=0 y=Q
[0161]其中，F(u，v)為傅立葉變換結果，是一個複數，M = N= 100，為圖像的邊長，f(x，y)為圖像在點U，y)處的灰度值，X和y為圖像空間域坐標，u和V為圖像頻率域坐標。
[0162]傅立葉頻譜的計算公式為
[0163]\F(u, I?) I = χ!R2 (u, v) + I2 (u, v)
[0164]其中，F(u, v) I為點(u, v)處的頻譜值，R(u，v)和I (u, V)分別為F(u，v)實部和虛部。
[0165]傅立葉頻譜特徵分類單元304，用於計算人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類。
[0166]具體地，傅立葉頻譜特徵分類單元304可以採用BP神經網絡分類器、SVM分類器、隨機森林分類器等對人群密集區傅立葉頻譜圖的傅立葉頻譜特徵進行人群密度等級分類。優選地，傅立葉頻譜特徵分類單元304具體用於:計算人群密集區傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子；採用BP神經網絡分類器對熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子進行人群密度等級分類。
[0167]其中，熵特徵用於描述圖像的平均信息量，計算熵特徵之前，先將傅立葉頻譜值規範化到O至255的範圍，再計算直方圖P，然後，熵特徵的計算公式為:
255
[0168]H= -了Pi1g Pi
i=Q
[0169]其中，H為傅立葉頻譜圖的熵特徵值，Pi為頻譜圖的直方圖中第i個元素的值。
[0170]對於傅立葉頻譜圖的能量特徵，先將傅立葉頻譜值規範化到O至255的範圍，然後，能量特徵的計算公式為:
M-1 N-1
[0171]E — ΣΣ \F(u, v)\2
u=0 ν=?
[0172]其中，E為傅立葉頻譜圖的能量特徵值，|F(u，v)|為傅立葉頻譜值，1!和V為圖像頻率域坐標，M = N= 100,為圖像邊長。
[0173]對於極坐標傅立葉頻譜特徵描述子的計算，先將直角坐標系下的傅立葉頻譜利用極坐標表示，直角坐標到極坐標的轉換公式為
[0174]ρ 二 + 172
V
[0175]Θ — arctan —
U
[0176]其中，P為極坐標的極徑，Θ為極角，u和V為圖像頻率域坐標。
[0177]計算極坐標傅立葉頻譜特徵描述子包括以下維度:
[0178]
「一2*~ρ飛
sns πRπ
Θ), ^^F(p θ)，…Z ΙΗρ，Φ
ττ/t R2*n/t RTTR
ΣΣ FiP，θ) ΣΣ F(ρ，θ) ,...， ^ ^ F(ρ，θ)
^θ=0 ρ=06=n/t ρ=0ρ=0>
[0179]其中，F(P，θ)為極坐標下的傅立葉頻譜，P為極坐標的極徑，Θ為極角，R為灰度圖像寬度的一半，s表示極徑P被均分的等級個數，t表示極角Θ被均分的等級個數。本實施例中，R為50，極坐標下的極徑P被均分為10個等級，極角Θ被均分為8個等級，因此，極坐標頻譜特徵描述子的維度為18。將傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜的特徵描述子三種特徵組合，構建一個20維的紋理特徵，作為人群密度等級分類的特徵。
[0180]輸出單元305，用於記錄人群密度分類結果為高密度的區域位置，輸出人群聚集區域。
[0181]需要說明的是，上述方法實施例一、實施例二和實施三中的技術特徵在本裝置均對應適用，這裡不再重述。
[0182]本發明提供的人群聚集區域檢測裝置，通過多尺度矩形窗口遍歷技術，能自動定位人群密集區域的位置，無需人工設定區域位置；同時，採用兩層篩選機制對人群區域進行粗定位和精細定位，能精確定位人群聚集。此外，由於沒有採用背景相減法，排除了相機抖動，光照突變等外界各因素的影響，對於場景複雜的情況，也能精確檢測到人群聚集事件。
[0183]本領域普通技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來控制相關的硬體完成，所述的程序可以在存儲於一計算機可讀取存儲介質中，所述的存儲介質，如R0M/RAM、磁碟、光碟等。
[0184]以上參照【專利附圖】
【附圖說明】了本發明的優選實施例，並非因此局限本發明的權利範圍。本領域技術人員不脫離本發明的範圍和實質，可以有多種變型方案實現本發明，比如作為一個實施例的特徵可用於另一實施例而得到又一實施例。凡在運用本發明的技術構思之內所作的任何修改、等同替換和改進，均應在本發明的權利範圍之內。
【權利要求】
1.一種人群聚集區域檢測方法，其特徵在於，該方法包括: 採樣輸入的視頻圖像並進行預處理，得到灰度圖； 利用預設的多尺度矩形窗口遍歷所述灰度圖，並採用分類器粗定位人群密集區域； 當存在人群密集區域時，根據人群密度對所述人群密集區域進行精細定位人群聚集區域。
2.根據權利要求1所述的人群聚集區域檢測方法，其特徵在於，所述利用預設的多尺度矩形窗口遍歷所述灰度圖，並採用分類器粗定位人群密集區域進一步包括: 針對每一個預設尺度的矩形窗口，將其在所述灰度圖上滑動，獲取被所述矩形窗口覆蓋的子圖像的集合； 提取所述每個子圖像的HOG特徵； 採用Adaboost級聯分類器對所述每個子圖像的HOG特徵進行分類，得到人群密集候選區域； 將所述人群密集候選區域進行融合，得到人群密集區域。
3.根據權利要求2所述的人群聚集區域檢測方法，其特徵在於，提取所述每個子圖像的HOG特徵進一步包括: 利用梯度算子提取所述子圖像的水平方向和垂直方向的梯度； 計算每個像素的梯度大小和梯度方向； 將所述子圖像分成至少兩個單元格，在每個單元格內建立梯度方向直方圖； 將相鄰的單元格組成一個塊，將一個塊內所有單元格的特徵向量串聯起來，並進行歸一化處理，得到該塊的特徵； 將該子圖像的所有塊的特徵串聯，得到該子圖像的HOG特徵。
4.根據權利要求1所述的人群聚集區域檢測方法，其特徵在於，所述根據人群密度對所述粗定位的人群密集區域進行精細定位人群聚集區域進一步包括: 根據所述人群密集區域的位置，從輸入的彩色圖像中截取對應的人群密集區圖像； 將所述人群密集區圖像縮放到預設的大小，並轉換為灰度圖像，得到人群密集區灰度圖； 利用傅立葉變換將所述人群密集區灰度圖轉換到頻率域，得到人群密集區傅立葉頻譜圖； 計算所述人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類； 記錄人群密度分類結果為高密度的區域位置，輸出人群聚集區域。
5.根據權利要求4所述的人群聚集區域檢測方法，其特徵在於，所述計算人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類進一步包括: 計算人群密集區傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子；採用BP神經網絡分類器對所述熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子進行人群密度等級分類。
6.根據權利要求5所述的人群聚集區域檢測方法，其特徵在於，所述計算極坐標傅立葉頻譜特徵描述子包括以下維度:(RΛ s ns πRπΘ), ^ ^F(p, Θ)，..., ^ ^F(p, Θ)， p =0 Θ =0^ R Θ =0n—fc.1 Θ =0 < fP=jP={s-l)*jV π/t r2*n/t rπRΣΣ F(p 』 Θ)， ΣΣ F(β，Θ)，...， [ ^ F{p, Θ)<0=0 p=0θ—njt p=Q0=(t—l)*7r/t p=0 J 其中，F(p , Θ )為極坐標下的傅立葉頻譜，P為極坐標的極徑，Θ為極角，R為灰度圖像寬度的一半，s表示極徑P被均分的等級個數，t表示極角Θ被均分的等級個數。
7.一種人群聚集區域檢測裝置，其特徵在於，該裝置包括: 預處理模塊，用於採樣輸入的視頻圖像並進行預處理，得到灰度圖； 粗定位模塊，用於利用預設的多尺度矩形窗口遍歷所述灰度圖，並採用分類器粗定位人群密集區域； 精細定位模塊，用於當存在人群密集區域時，根據人群密度對所述人群密集區域進行精細定位人群聚集區域。
8.根據權利要求7所述的人群聚集區域檢測裝置，其特徵在於，所述粗定位模塊包括: 子圖像提取單元，用於針對每一個預設尺度的矩形窗口，將其在所述灰度圖上滑動，獲取被所述矩形窗口覆蓋的子圖像的集合； H0G特徵提取單元，用於提取所述每個子圖像的H0G特徵； H0G特徵分類單元，用於採用Adaboost級聯分類器對所述每個子圖像的H0G特徵進行分類，得到人群密集候選區域； 區域融合單元，用於將所述人群密集候選區域進行融合，得到人群密集區域。
9.根據權利要求7所述的人群聚集區域檢測裝置，其特徵在於，所述精細定位模塊包括: 人群密集區圖像獲取單元，用於根據所述人群密集區域的位置，從輸入的彩色圖像中截取對應的人群密集區圖像； 人群密集區灰度圖獲取單元，用於將所述人群密集區圖像縮放到預設的大小，並轉換為灰度圖像，得到人群密集區灰度圖； 傅立葉頻譜圖獲取單元，用於利用傅立葉變換將所述人群密集區灰度圖轉換到頻率域，得到人群密集區傅立葉頻譜圖； 傅立葉頻譜特徵分類單元，用於計算所述人群密集區傅立葉頻譜圖的傅立葉頻譜特徵，並採用分類器進行人群密度等級分類；輸出單元，用於記錄人群密度分類結果為高密度的區域位置，輸出人群聚集區域。
10.根據權利要求9所述的人群聚集區域檢測裝置，其特徵在於，所述傅立葉頻譜特徵分類單元具體用於:計算人群密集區傅立葉頻譜圖的熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子；採用BP神經網絡分類器對所述熵特徵、能量特徵和極坐標傅立葉頻譜特徵描述子進行人群密度等級分類。
【文檔編號】G06K9/00GK104268528SQ201410508575
【公開日】2015年1月7日 申請日期:2014年9月28日 優先權日:2014年9月28日
【發明者】葉必錠, 吳金勇, 王軍 申請人:深圳市科松電子有限公司