一種基於雷達仿真圖像的卷積神經網絡人體動作分類方法與流程
2023-10-09 10:05:14
本發明屬於雷達目標分類與深度學習領域，涉及應用雷達進行人體動作分類的問題。
背景技術：
在人們在與外界進行交互的過程中，除了通過語音交流，還常常藉助肢體語言，即通過動作行為傳遞信息。人體動作分類在許多領域具有廣泛的應用場景，例如智能監控、人機互動、虛擬實境、體感遊戲、醫療監護等。當前對人體動作識別的研究大多集中於基於視覺的識別，其核心是通過計算機對傳感器採集的原始圖像或圖像序列數據進行處理和分析，學習並理解其中人的動作和動作。然而，不同的光照、視角和背景等條件會使相同的人體動作在姿態和特性上產生差異。此外，還存在人體自遮擋、部分遮擋、人體個體差異、多人物識別對象等問題，這些都是現有的基於視覺方法的人體動作分類方案難以突破的瓶頸。
雷達探測人體有著其他傳感器所不具備的優勢：首先是其探測距離遠；其次，雷達不易受到天氣、光線、溫度等環境因素的影響；最後，雷達具備穿透牆壁等障礙物的能力，可對障礙物後的人員實施探測。目前，雷達人體探測在很多應用中得到了長足的發展，如無人機、無人車環境感知、醫療患者監護、火災或地震倖存者搜救、巷戰敵情態勢感知、反恐行動中恐怖分子探測等，具有十分廣闊的應用前景。
雷達人體動作分類是指使用模式識別、機器學習等方法，從雷達信號中自動地分析出人體動作。基於雷達時頻圖像的人體動作識別是近年發展起來的新技術，經人體運動調製後的雷達回波信號包含了人體各部分微動調製產生的都卜勒頻率，回波通過時頻變換生成圖像並將之應用於人體目標的參數估計和運動辨識中，使得基於雷達時頻圖像的人體動作分類成為可能。傳統的雷達人體動作分類方法主要依賴於對時頻圖像中人體微都卜勒特徵的人工提取。而作為圖像識別中應用最廣泛的深度學習模型，卷積神經網絡(convolutionalneuralnetwork，cnn)最重要的特點就是能夠自動地學習圖像中的特徵並完成對圖像的分類識別。基於cnn的雷達人體動作分類涉及計算機視覺、機器學習、人工智慧和雷達信號處理等眾多領域的研究，是一個多學科交叉融合的研究方向，具有非常重大的學術價值與社會意義。
[1]胡瓊,秦磊,黃慶明,"基於視覺的人體動作識別綜述,"計算機學報,vol.36,p.2512-2524,2013.
[2]v.c.chen,f.li,s.-s.ho,andh.wechsler,"micro-dopplereffectinradar:phenomenon,model,andsimulationstudy,"ieeetransactionsonaerospaceandelectronicsystems,vol.42,pp.2-21,2006.
[3]s.s.ram,c.christianson,y.kim,andh.ling,"simulationandanalysisofhumanmicro-dopplersinthrough-wallenvironments,"ieeetransactionsongeoscienceandremotesensing,vol.48,pp.2015-2023,2010.
技術實現要素：
本發明提供一種基於雷達仿真圖像的卷積神經網絡人體動作分類方法，利用深度學習中的卷積神經網絡實現了對雷達圖像中人體動作的「端到端」分類，簡化了人工提取圖像特徵的複雜過程，極大地減少了人體動作分類的工作量。為使本發明的技術方案更加清楚，下面對本發明具體實施方式做進一步地描述。
一種基於雷達仿真圖像的卷積神經網絡人體動作分類方法，包括下列的步驟：
1)建立包含多種人體動作的時頻圖像數據集：選用mocap數據集進行雷達圖像仿真，利用mocap數據集中的人體動作測量數據構建人體目標運動學模型並用於雷達時頻圖像仿真，建立基於橢球體的人體動作模型，得到人體目標雷達回波，對回波使用時頻變換進而生成雷達時頻圖像，建立包含多種人體動作的時頻圖像數據集；
2)雷達時頻圖像數據增強：對所得到的雷達時頻圖像沿時間軸利用滑窗法截取，以產生足夠多的數據用於卷積神經網絡的訓練，將截取生成的雷達圖像分為訓練集和測試集，完成數據集的構建。
3)建立卷積神經網絡模型：以手寫體識別網絡lenet為基礎，在其3個卷積層、2個池化層以及2個全連接層的基礎上，引入修正線性單元relu替換原來的sigmoid激活函數作為卷積網絡的激活函數，並增加一個池化層，減少一個全連接層，構成卷積神經網絡結構，該結構包含3個卷積層、3個最大池化層和1個全連接層，調整網絡的層間結構和層內結構及訓練參數以達到更好的分類效果；
4)訓練卷積神經網絡模型：利用2)中生成的數據集對3)中網絡結構的各層權重進行訓練，通過隨機抽取數據集中的圖像，分批次將其輸入網絡，通過梯度下降法更新每次迭代後學習到的權重，經過多次迭代後網絡各層權重得到充分優化，最終得到可用於基於雷達圖像人體動作分類的卷積神經網絡模型。
本發明利用卷積神經網絡的算法，設計一種基於仿真雷達圖像的人體動作分類系統。該系統以基於mocap數據集生成的仿真雷達都卜勒圖像為研究對象，包括數據集的製作、卷積神經網絡模型的建立、訓練和測試。本系統利用雷達信號的特點，可以完成不同環境、光照強度及天氣情況下的人體動作分類任務，且利用卷積神經網絡提高了分類的準確率實現更加智能、高效的分類。
附圖說明
圖1本實驗卷積神經網絡模型結構示意圖
圖2(a)人體關節點圖；(b)基於橢圓體的人體模型圖
圖3(a)mocap資料庫中骨骼運動軌跡；(b)該軌跡相應的生成雷達譜圖
圖4本實驗模型(a)與lenet分類效果(b)對比圖
具體實施方式
為使本發明的技術方案更加清楚，下面對本發明具體實施方式做進一步地描述。本發明按以下步驟具體實現：
1.雷達時頻圖像數據集構建
(1)基於mocap數據集的雷達圖像仿真
motioncapture(mocap)數據集由cmu的graphicslab實驗室建立，使用vicon動作捕捉系統捕捉真實的動作數據，該系統由12個mx-40紅外相機組成，各相機幀率為120hz，可以記錄被試者身上的41個標記點，通過整合不同相機記錄下的圖像可以得到被試者骨骼的運動軌跡。該數據集包含2605組實驗數據，本實驗過程中選擇其中七種常見的動作用來生成雷達圖像，這七種動作分別為：跑步、行走、跳躍、爬行、匍匐前進、站立和拳擊。
接著構建基於橢球體的人體動作模型，該模型使用31個關節點來對人體進行建模(如圖2(a)所示)，每兩個相鄰關節點定義了一個體節，所有的體節在雷達的各掃描角度均為可見的，在此我們忽略不同人體部位的陰影效應。每個體節近似於一個長橢球體，如下式所示：
式中，(x0,y0,z0)表示兩個關節點連線中點的坐標，(a,b,c)是半軸的長度，且b＝c。橢球體的體積定義為：
假設橢球體體積和一個半軸a的長度已知，則可計算出b的長度，雷達目標有效截面(rcs)可以利用傳統的橢圓rcs公式計算得到。通過橢球體模型建立的人體目標模型如圖2(b)所示，整個人體可以看作是由多個橢圓體組合而成的，各部分的雷達反射波振幅可以由近似為橢圓形的rcs得到，將各部分的人體回波連續相加即可得到人體的整體回波，接著使用短時傅立葉變換將回波轉化為雷達譜圖。圖3顯示的是mocap資料庫中的人體骨骼運動軌跡與生成的相應的雷達譜圖。
(2)基於滑窗法的雷達圖像數據增強
由雷達圖像數據難獲取、生成成本高的而引起的數據缺乏的問題可以通過數據增強的方法解決。本實驗根據雷達圖像的特點，採用「滑窗法」的數據增強手段，具體方法為：在生成的雷達圖像上使用固定長度的標準時間窗，沿時間軸連續地截取整個雷達譜圖，這樣一張雷達譜圖可以被截取為多個可供訓練的圖片。通過這種方法，對於分類任務中每個動作均可獲得大小為500張圖片的數據集，本實驗將每個動作的數據集分為兩個部分，分別為400張訓練圖片和100張測試圖片。
2.基於卷積神經網絡的人體動作分類模型構建
(1)基礎卷積神經網絡模型構建
通過研究lenet、alexnet、googlenet、vggnet等幾種典型神經網絡結構在本實驗數據集上的測試效果，根據多次實驗及經驗數據，選取lenet作為基礎網絡結構並將其識別結果作為基準，lenet是用於手寫字體的識別的一個經典卷積神經網絡，其包含3個卷積層、2個池化層以及2個全連接層，特徵映射函數採用sigmoid函數作為卷積網絡的激活函數，使得特徵映射具有位移不變性。在此基礎上，本實驗引入了修正線性單元(relu)，增加一個池化層，減少一個全連接層，最終提出了適用於本實驗的卷積神經網絡結構如圖1所示。該模型包含3個卷積層、3個池化層和1個全連接層，池化層採用最大值池化的方法，並採用relu作為激活函數有效降低訓練結果的過擬合的風險。
(2)卷積神經網絡模型優化
卷積神經網絡結構包括層深、層寬等參數，不同的網絡結構決定了神經網絡的特徵表示情況，進而影響識別效果。對結構的研究包括層間結構和層內結構兩個部分。層間結構包括層深(網絡層數)、連接函數(例如卷積、池化、全連接)等；層內結構包括層寬(同層節點數)、激活函數等。針對層間結構，本實驗研究了各種不同網絡結構作用，首先改變網絡層深，分為兩步，第一步保持全連接層數量不變，將卷積層的個數從2逐步變化至5，第二步保持卷積層個數不變，將全連接層個數由1逐步變化為5，實驗結果如表1。根據實驗結果，本實驗選擇三層卷積層以及一層全連接層的卷積神經網絡結構。之後改變輸出特徵圖的個數，分別取值為1、3、20、64、128，實驗結果如表2所示，根據實驗結果將每層輸出的特徵圖數量確定為20，以獲得最佳的分類準確率。
其次改變層內結構中的特徵圖大小，分別選取大小為3×3、9×9、20×20、48×48、100×100像素的特徵圖，通過實驗比較卷積神經網絡模型在生成不同大小的特徵圖時的分類準確率(如表3所示)，可以看出大小為9×9的特徵圖能夠幫助模型得到較高的準確率。
表1
表2
表3
3.雷達人體動作分類卷積神經網絡模型訓練
神經網絡模型的訓練過程即為模型學習各層連接權重的過程。在本實驗中，首先對各層權重進行高斯初始化，模型通過梯度下降的方法來調整各層參數，每次迭代批處理圖片數目為256，即每次從訓練集裡隨機選擇256張雷達圖片供網絡訓練，模型基礎學習率設定為0.001，在迭代3000次後完成訓練過程。本實驗所用計算機採用ubuntu系統，利用nvidia公司的gtxtitanxgpu和intel公司的e31231-v3cpu進行訓練，此外本實驗還採用了cudnn進行gpu計算加速。
4.模型的分類效果測試
測試時，將測試集的雷達圖像輸入分類模型，啟動測試過程，即可查看模型對雷達圖像分類效果的好壞。實驗過程中分類結果如圖4所示，由圖可以看出，本實驗構建的基於雷達的人體動作分類模型的分類準確率明顯優於lenet，lenet對七種動作的平均分類準確率為93.86％，而本實驗中模型的平均分類準確率可以達到98.34％，高出lenet約4.5個百分點。