一種基於動態感受野和自蒸餾的人群計數方法
2024-04-16 15:31:05
1.本發明涉及人群計數技術，特別涉及一種基於動態感受野和自蒸餾的人群計數方法。
背景技術：
2.密集人群計數任務旨在統計密集人群場景中的人群數量。在現實中，密集人群計數有許多應用，例如視頻監控、城市交通管理、人流量統計等場景。早期的工作將密集人群計數看作是基於檢測的問題，即輸出每個人物對象的檢測框，然而在人群特別密集的場景中預測結果上的表現比較差。
3.當前基於卷積神經網絡進行密度回歸的模型已經成為主流的方法，在精度上取得了非常可觀的提升。在這類方法中，對於場景總人數的預測不再通過檢測每個目標的位置，而是通過卷積神經網絡進行密度估計，生成密度分布圖的方式。然而，由於場景中的透視效果，圖片中人群的密度變化非常大，識別對象在圖片中的大小變化也非常大，因此傳統卷積神經網絡中固定大小的感受野不適用於所有場景，也不適用於同一場景下的不同位置。
技術實現要素：
4.本發明的目的是提供一種基於動態感受野和自蒸餾的人群計數方法，能解決密集人群計數場景中存在的透視效果問題，人群計數精度更高。
5.本發明的上述技術目的是通過以下技術方案得以實現的：
6.一種基於動態感受野和自蒸餾的人群計數方法，包括有以下步驟：
7.s1、構建人群計數網絡，引入動態感受野模塊及自蒸餾監督模塊；
8.s2、對人群計數網絡進行訓練：
9.將圖片輸入至粗略網絡中，訓練粗略網絡直至收斂；
10.將待預測圖片輸入至粗略網絡中，得到此輸入圖片的粗略密度圖，經線性轉換得到膨脹係數圖；
11.將膨脹係數圖嵌入至精細網絡的卷積層中，並將該圖片輸入至精細網絡中對精細網絡進行訓練；
12.基於自蒸餾監督模塊的兩階段訓練框架對精細網絡進行訓練，自蒸餾監督模塊的教師網絡使用精確密度圖作為監督目標進行訓練，得到用於學生網絡訓練的軟標籤密度圖；
13.對軟標籤密度圖中的人數進行調整直至與真值中一致；
14.學生網絡使用調整後的軟標籤密度圖進行訓練，直至精細網絡收斂；
15.s3、對人群計數網絡進行測試，將待預測圖片輸入至粗略網絡，輸出得到粗略密度圖並轉換後得到膨脹係數圖，將膨脹係數圖嵌入至精細網絡的精確膨脹卷積層中，將該待預測圖片輸入至精細網絡中進行預測並輸出最終預測密度圖；
16.s4、將得到的人群計數網絡用於人群計數場景中人群數量預測計量。
17.作為優選，經粗略密度圖得到膨脹係數圖的線性轉換具體為：
[0018][0019]
其中r是預設的膨脹係數上限，γ是一個正係數，x是粗略網絡的輸出，即粗略密度圖；
[0020]
通過線性轉換，使不同位置的膨脹係數約束在[0,r]區間內。
[0021]
作為優選，經線性轉換得到的膨脹係數圖嵌入至精細網絡的最後三層卷積層中得到精細膨脹卷積層；
[0022]
精確膨脹卷積層的輸出特徵圖中第k個位置的數值由以下公式計算：
[0023][0024]
其中是第k個位置的膨脹係數，xk是第k個位置的輸入，w是卷積核的參數，d是單位偏移量的集合，即d＝{-1,0,1}；卷積核的連續值採樣通過雙線性插值實現。
[0025]
作為優選，對粗略網絡及精細網絡的訓練中，損失函數均為l1損失。
[0026]
綜上所述，本發明具有以下有益效果：
[0027]
構建人群計數網絡，通過動態感受野模塊引入了感受野和密度變化之間關係的先驗知識，通過自監督蒸餾模塊的兩階段訓練框架，使得網絡預測的輸出和真實的效應區域大小更加吻合，對透視信息的變化也更加敏感，能解決密集人群計數場景中存在的透視效果問題，即不同區域人群密度的劇烈變化，應對由於人群計數場景中的透視信息導致的密度變化問題，適用於不同密度，不同場景的圖片；且得到的人群計數網絡可移植性強，使用於所有基於密度圖回歸的卷積神經網絡，用於人群計數任務。
附圖說明
[0028]
圖1本人群計數網絡的構建及預測流程示意圖。
具體實施方式
[0029]
以下結合附圖對本發明作進一步詳細說明。
[0030]
目前有通過多分支的網絡結構以實現不同規模感受野的方法在設計上非常簡單，但是卻有著大量的參數量和計算量，而這些計算量同時作用在圖片的所有區域，而有些區域並不適用某些大小感受野的網絡分支，因此有很多計算量是冗餘的。有的採用了自適應的動態感受野，取得了一定的效果，但是這種訓練方式並不能完全體現出場景的密度變化，缺少了關鍵的先驗知識，即人群密度越大的區域感受野應該越小。由於沒有先驗的總結，而訓練集中數據量又有限，故而在測試集等在訓練集之外的數據中的表現有很大局限性。
[0031]
此外，在模型訓練的標註信息上，傳統的方法是在原始的點標註，即每個對象的坐標信息基礎上，採用固定方差的高斯分布來擬合密度分布圖，用來做訓練的標註。然而，人為設計的密度圖標註對於訓練模型來說是次優的選擇。密度圖的生成服從於高斯分布，與實際數據中的分布會有明顯差異，同時密度圖的生成也只考慮了在圖片中的位置坐標信息。如何在作為監督目標的密度圖中融入更多的透視信息，即將對象的尺度和密度融入其
中，也是一個重要的改進方向
[0032]
根據一個或多個實施例，公開了一種基於動態感受野和自蒸餾的人群計數方法，包括有以下步驟：。
[0033]
s1、構建人群計數網絡，引入動態感受野模塊drf及自蒸餾監督模塊sds。
[0034]
動態感受野模塊引入了感受野和密度變化之間關係的先驗知識。隨著感受野的增大，相鄰位置的感受野區域的重疊部分比重越高。在圖像中人群更擁擠的區域，更高的感受野重疊比重限制了模型輸出在密集區域內的區分度。因此，在密集區域中，感受野應該更小來減少幹擾，而在稀疏區域，感受野應該更大來獲取更多必要的語義信息。
[0035]
傳統的人群計數訓練策略中，都使用高斯密度圖作為真值。但是，高斯密度圖作為標註信息限制了效應區域的大小，尤其當圖像中密度變化劇烈時，短板更加明顯。而標準的高斯分布也並不適用與實際的人群分布情況。受知識蒸餾啟發，設計一個兩階段的訓練框架：自監督蒸餾模塊。網絡預測的輸出和真實的效應區域大小更加吻合，對透視信息的變化也更加敏感。
[0036]
s2、基於設計的動態感受野模塊和自蒸餾監督模塊對計數網絡進行訓練。如圖1所示：
[0037]
s21、粗略網絡該分支用於預測粗略密度圖，將待預測的輸入圖片input image輸入至粗略網絡rough network中，得到粗略預測圖rough prediction後再經過損失函數得到粗略密度圖rough density map，訓練粗略網絡直至收斂，訓練使用l1損失函數。由較大方差的高斯核生成的真值作為監督目標生成粗略密度圖，具體可採用50為方差。
[0038]
s22、將待預測圖片輸入至粗略網絡中，得到此輸入圖片的粗略密度圖rough density map，經線性轉換linear transformation得到膨脹係數圖。
[0039]
線性轉換模塊根據密度越大，感受野越小這一先驗，將密度圖轉換為膨脹係數的分布，並使不同位置的膨脹係數約束在[0,r]區間內，具體公式如下：
[0040][0041]
其中r就是預設的膨脹係數上界，γ是一個正係數，x是粗略網絡的輸出，即粗略密度圖。
[0042]
s23、將膨脹係數圖dilation map嵌入至精細網絡precise network的卷積層中，並將該圖片輸入至精細網絡中對精細網絡進行訓練。經線性轉換得到的膨脹係數圖具體嵌入至精細網絡的最後三層卷積層中。得到精確膨脹卷積層refined dilated convolutional layers，可實現膨脹係數dilation rate的連續變化。
[0043]
精確膨脹卷積層的輸出特徵圖中第k個位置的數值由以下公式計算：
[0044][0045]
其中是第k個位置的膨脹係數，xk是第k個位置的輸入，w是卷積核的參數，d是單位偏移量的集合，即d＝{-1,0,1}。卷積核的連續值採樣通過雙線性插值實現。
[0046]
通過動態感受野模塊，精細網絡可以根據輸入圖片的密度變化，來動態調整不同坐標位置的感受野大小，從而應對透視效果帶來的影響。
[0047]
s24、基於自蒸餾監督模塊的兩階段訓練框架對精細網絡進行訓練。自蒸餾監督模塊的第一階段是將教師網絡中提取到的透視信息通過軟標籤的方式蒸餾到學生網絡，第二階段中的學生網絡和教師網絡共享網絡架構。
[0048]
第一階段，教師網絡使用精確密度圖refined density map作為監督目標進行訓練，得到用於學生網絡訓練的軟標籤密度圖，訓練的損失函數是l1損失。
[0049]
s25、對軟標籤密度圖中的人數進行數值調整count correction直至與真值中一致。軟標籤密度圖中包含更豐富的透視信息，但是不能直接用作學生網絡訓練的真值，因為教師網絡的預測一定存在誤差，和真實的預測人數有偏差，故通過數值校正調整後，在保持相對密度分布的情況下將輸入圖像塊中預測的總人數調整到和真值總人數一致，具體的調整過程公式為：
[0050][0051]
其中是教師網絡預測的軟標籤密度圖的第i個位置的預測密度值，而vi是高斯標註密度圖中的第i個位置的密度值。
[0052]
s26、學生網絡複製教師網絡的相關參數，使用調整後的軟標籤密度圖進行訓練，同樣使用l1損失函數，直至精細網絡收斂。在此階段訓練中，經過人數調整後的軟標籤密度圖保持不變。
[0053]
s3、對人群計數網絡進行測試，將待預測圖片輸入至粗略網絡，輸出得到粗略密度圖並轉換後得到膨脹係數圖，將膨脹係數圖嵌入至精細網絡的精確膨脹卷積層中，將該待預測圖片輸入至精細網絡中進行預測並輸出最終預測圖prediction。
[0054]
s4、最終，將得到的人群計數網絡用於人群計數場景中人群數量預測計量，能解決密集人群計數場景中存在的透視效果問題，即不同區域人群密度的劇烈變化，應對由於人群計數場景中的透視信息導致的密度變化問題，適用於不同密度，不同場景的圖片。且得到的人群計數網絡可移植性強，使用於所有基於密度圖回歸的卷積神經網絡，用於人群計數任務。
[0055]
為清楚呈現本發明的有益效果，現舉一實例：
[0056]
在shanghaitech a和b，ucf_qnrf和ucf_cc_50四個公開數據集上的消融實驗證明了本發明中的動態感受野(drf)和自蒸餾監督(sds)兩個模塊對基線都有人群計數準確率上的提升。在四個數據集上的平均絕對誤差(mae)和均方根誤差(rmse)表現的消融實驗結果列舉在表1中。兩個指標均為越低計數越精確。可見本發明的兩個模塊都對效果有著明顯的提升。
[0057]
表1本發明動態感受野(drf)和自蒸餾監督(sds)模塊的消融實驗結果
[0058][0059]
基線模型採用的是csrnet，本發明的實驗中，所有網絡骨架都採用csrnet。和
csrnet原文不同，本發明中的實驗均採用adam優化器，並加入了bn層，故而準確率與原文有所不同。
[0060]
本發明和以往的技術的效果對比如表2所示。表2中為四個公開數據集上與以往技術在平均絕對誤差(mae)和均方根誤差(rmse)兩個指標上的對比。從表中可以看出本發明達到了當前最優的人群計數精度。
[0061]
表2本發明和以往技術的效果對比
[0062][0063]
本具體實施例僅僅是對本發明的解釋，其並不是對本發明的限制，本領域技術人員在閱讀完本說明書後可以根據需要對本實施例做出沒有創造性貢獻的修改，但只要在本發明的權利要求範圍內都受到專利法的保護。