人體非程式化運動的情感識別方法

2023-12-05 04:29:16 2

專利名稱：人體非程式化運動的情感識別方法
技術領域：
本發明屬於計算機模式識別領域，具體涉及一種人體非程式化運動 的情感識別方法，根據人體各關節點的三維運動數據，提取運動特徵， 識別運動序列蘊含的情感狀態。
背景技術：
1997年MIT媒體實驗室的Picard提出"情感計算"，受到學術界的 日益關注和企業界的迅速反應。如何自動識別和理解人的情感，引起了 包括心理學、計算機科學、語言學和相關學科大量研究者的關注。心理 學家研究認為，在人與人的交互中，單詞語義所包含的信息量佔所傳遞 總信息量的7%，語調佔38%，而人臉的表情佔了總信息量的55%，因此目 前基於人臉表情和聲音語調來識別情感的研究比較廣泛。而之後的研究 者認為，結合臉部和身體運動一起識別情感比僅依靠臉部來識別情感準 確率要提高35%，特別是在某些無法看到面部或者沒有聲音的場合，肢體 運動特徵很有可能起到良好的識別作用，因此基於人體運動特徵的情感 識別逐步引起研究者的重視。
目前基於人體運動特徵的情感識別的研究主要有兩種方向。 一是基 於程式化運動的情感識別，所謂程式化運動指的是在某種情感狀態下表 現出來的固定的動作或者姿態，例如握緊拳頭表示處於憤怒的情感狀態; 二是基於非程式化運動的情感識別，所謂非程式化動作指的是無論何種 情感狀態下，運動的外在表現相同，例如走路、敲門等動作，但是運動 的內含不同，例如不同的情感狀態下，運動的速度和動作的幅度等是不 一樣的。程式化運動只有在特定的情況下才會發生，因此在現實生活中比較難捕獲，而非程式化的動作屬於日常的、常規的動作，在日常的工 作、學習和生活環境中很容易捕獲，因此基於非程式化運動的情感識別 具有更廣泛的意義。
從非程式化人體運動來識別人的情感還處於探索階段。格拉斯哥大 學的Pollick等通過觀察者對演員的表演，採集敲門和喝酒的手臂運動
視頻，識別其中蘊含的10種情感，並通過計算距離矩陣，利用多維尺度 分析進行投影，結果與情感維相符。雖然不是一個自動識別系統，但卻 證明了通過非程式化人體運動，.可以識別人的情感。Pollick等還建立了 走路、敲門、舉手、扔東西等動作的運動資料庫，採集了30個演員，四 種情感的全身各關節點的三維數據，可用於身份、性別、情感等識別， 見Ma Y.L.， Paterson H. and Pollick F. E. " A motion-capture library for the study of identity, gender, and emotion perception from biological motion" Behavior Research Methods 38(1) pp 134-141. (2006)。劍橋大學的 Bernhardt等基於此運動資料庫，針對敲門動作，基於運動能量進行分割， 提取手腕關節和肘部關節的運動信息作為特徵，利用支持向量機進行分 類，實現了通過非程式化運動自動識別人的情感，見Bernhardt, D. and Robinson, P. "Detecting affect from non-stylised body motions." in Affective Computing and Intelligent Interaction. Lisbon, Portugal, pp.59-70. (2007)。 Bernhardt等雖然實現了基於非程式化運動的情感識別，然而採用支持向 量機進行建模，學習速度比較慢，由於沒有很好利用時序序列的變化規 律，識別率偏低。

發明內容
本發明提出一種人體非程式化運動的情感識別方法，解決現有同類 情感識別方法存在的學習速度較慢、識別率偏低的問題。本發明的一種人體非程式化運動的情感識別方法，包括以下步驟 第一步.建立隱馬爾可夫模型步驟；以訓練樣本集合作為觀察序列，
建立每一種動作類型、每一種情感所對應的隱馬爾可夫模型；包括以下
子步驟
訓練數據採集子步驟建立包括若干動作類型、每種動作類型又包 括若干情感類型的訓練樣本集；
運動分割子步驟根據人體運動序列的能量曲線圖，將訓練數據集 中每一個運動序列分割為一序列動作原語，每個動作原語由若干連續的 幀組成；
特徵提取子步驟對運動序列中每一個動作原語，根據運動序列的 腕關節、肘關節、踝關節和膝關節的三維運動數據，提取運動特徵，得 到各個動作原語所對應的特徵向量，將運動序列中的所有動作原語對應 的特徵向量組合成一個特徵向量序列，並標記動作類型和情感類型；提 取訓練數據集中的所有運動序列的特徵向量序列，標記動作類型和情感 類型，得到訓練樣本集合；
訓練子步驟對訓練樣本集合，利用Baum-Welch算法進行隱馬爾可 夫模型訓練，保存獲得的隱馬爾可夫模型參數；
所述的隱馬爾可夫模型採用連續隱馬爾可夫模型，模型參數包括轉 移概率矩陣A、初始狀態分布"，以及觀察序列所對應的高斯混合模型 的係數C、均值向量u和協方差矩陣2;
一種動作類型的一種情感訓練一個隱馬爾可夫模型，共建立NmXNe 個隱馬爾可夫模型，這些模型表示為{入r, r=l...NmXNe };
第二步.情感識別步驟對待識別人體運動序列進行識別，包括以 下子步驟
數據採集子步驟利用三維運動捕捉系統來捕捉待測的人體的運動 序列，每個運動序列由人體各關節點的三維運動數據序列來表示，所述人體各關節點包括頭、脖子、骨盆中心和左右肩關節、肘關節、腕關節、 髖關節、膝關節、踝關節共15個關節點；
運動分割子步驟根據人體運動序列的能量曲線圖，將待識別人體 運動序列分割為一序列動作原語，每個動作原語由若干連續的幀組成；
特徵提取子步驟對待識別人體運動序列中每一個動作原語，根據 運動序列的人體腕關節、肘關節、踝關節和膝關節的三維運動數據，提 取運動特徵，得到各個動作原語所對應的特徵向量；
識別子步驟通過所構建的隱馬爾可夫模型對待識別人體運動序列 進行情感識別和動作類型識別
將各個動作原語所對應的特徵向量作為觀察序列X，輸入前向算法 或者後向算法，計算NmXNe個隱馬爾可夫模型中每一個隱馬爾可夫模型 產生觀察序列的似然概率P(X/入》，取其中似然概率最大的隱馬爾可夫模 型h，表示為
隱馬爾可夫模型h所對應的情感狀態和動作類型即為待識別的運動 序列所蘊含的情感狀態和動作種類。
所述的情感識別方法，其特徵在於，所述建立隱馬爾可夫模型步驟
中，所述訓練數據採集子步驟包括以下具體過程
2-1.確定動作類型和情感類型動作類型為1 10種，包括走路、敲 門、舉手、扔東西中的一種或多種；情感類型T為2 6種，包括高興、 悲傷、無情感、憤怒中的兩種以上;各種動作類型的每種情感類型包括2 6個運動序列；
2-2.利用三維運動捕捉系統拍攝記錄人體運動序列利用20 40個 演員進行表演，男女演員各佔一半，演員表演時穿上設備配套服裝，並 在人體各關節點上貼上標記點，所述人體各關節點包括頭、脖子、骨盆中心和左右肩關節、肘關節、腕關節、髖關節、膝關節、踝關節共15個 關節點；
每個運動序列由人體各關節點的三維運動數據序列來表示，利用三 維運動捕捉系統拍攝記錄每個演員的每種動作類型的每種情感類型。
所述的情感識別方法，其特徵在於，所述建立隱馬爾可夫模型步驟 和識別步驟中的運動分割子步驟包括如下過程
3-1.計算每一幀的運動能量首先計算每一幀中上肢左右肘關節、 左右肩關節和下肢左右膝關節和左右髖關節共八個關節點的旋轉自由度 的角速度，第i幀第j個關節點旋轉自由度的角速度《,為
《，y =《+i,廠i=l"'N， j=l".8，
其中，《，,為第i幀第j個關節點旋轉自由度，N是運動序列的幀數; 根據每一幀中肢體各個關節點旋轉自由度的角速度，計算每一幀的 運動能量，第i幀的運動能量Ei按下式計算
式中，o)j為各個關節點旋轉自由度的係數，取值範圍為0.1—0.8， 關節點旋轉自由度越大、取值越大，所有"j的和為l;
所述關節點旋轉自由度為與關節點相連兩根骨頭的夾角；
3-2.根據每一幀的運動能量，繪製運動序列的能量直方圖，在噪音 閾值之上，取最大直方圖所對應的能量作為分割閾值;噪音閾值為0.001 0.1，能量曲線的最小值越大、噪音閾值取值越大；
3-3.根據運動序列每一幀的運動能量，繪製運動序列的能量曲線圖， 所有運動能量大於所述分割閾值的連續的幀序列組成一個初始分割，將 一個初始分割的起點和終點分別向前後延伸以達到能量曲線的局部最小 值，得到一個動作原語；最終將運動序列的能量曲線分割為各個動作原
ii所述能量曲線圖由若干個鐘型曲線組成，每一個鍾型曲線對應一個 動作原語，鍾型曲線左右兩邊的局部最小值即為運動分割的起始點和終 點。
所述的情感識別方法，其特徵在於，所述建立隱馬爾可夫模型步驟 和識別步驟中的特徵提取子步驟中
所述運動特徵為肢體關節點與身體中心的最大距離、平均速度和平 均加速度，計算公式如下-
《=max^ "a=maX^ ||物)||
—1 1 .
其中
A, &， ^分別表示第i幀第k個關節點到身體中心的最大距離、 第k個關節點的平均速度和平均加速度，k=1...8;
di,k， Si，k, ai,k分別表示第i幀第k個關節點到身體中心的距離、第k個 關節點的速度和加速度；
M為當前運動原語所佔據的幀數；A(^)表示第i幀中第k個關節點 的位置；
所述關節點的速度是該關節點位置的一階導數，關節點的加速度是 該關節點速度的一階導數；
所述身體中心為骨盆中心點。
所述的情感識別方法，其特徵在於，所述建立隱馬爾可夫模型步驟中的訓練子步驟包括如下過程
5-1.設置收斂閾值和最大循環次數；收斂閾值取值為10'2 10'4，收 斂閾值過大，會影響訓練的精度，而收斂閾值過小，循環次數增加，收 斂速度變慢；最大循環次數取值為30 60，設置最大循環次數避免由於 沒有達到收斂閾值而導致死循環；
5-2.模型初始化設置模型狀態數S為4 16，觀察序列對應的混合 高斯模型的混合成分數G為4 8，通過實驗來選擇最優的S和G的設置； 隨機生成隱馬爾可夫模型的其他初始化參數，包括初始狀態係數^、轉 移概率矩陣A、觀察序列對應的混合高斯模型的混合係數向量C、均值 向量U和協方差矩陣2;
5-3.根據動作類型和情感類型，從訓練樣本集中提取一種動作類型 的一種情感所對應的所有特徵向量序列作為隱馬爾可夫模型的訓練樣 本；
5-4.利用Baum-Wdch算法進行隱馬爾可夫模型訓練，保存獲得的隱 馬爾可夫模型參數兀、A、 C、 U、 S;
5-5.重複過程5-2 5-4，訓練下一個隱馬爾可夫模型。
本發明提出的基於能量的運動分割，能更好地展現運動的內在的規 律，同時利用隱馬爾可夫模型對時間序列結構的較強的建模能力，對不 同情感、不同種類的運動建立各自的隱馬爾可夫模型，不僅可以識別情 感，還可以識別運動類型，具有較高的識別率。
程式化人體運動和臉部表情只有在特定的場景下人體才會表現出 來，大部分的時間中人體內心的情感並沒有通過臉部或程式化的運動中 表露出來，然而卻蘊含在非程式化的運動過程中。由於非程式化的人體 運動屬於日常的、常規的動作，更能準確地反映出角色的內心情感，在 日常的工作、學習和生活環境中很容易捕獲，因此本發明具有比較強的實用性和比較廣泛的用途。


圖1為本發明流程框圖2為運動分割子步驟流程框圖3為訓練子步驟流程框圖4為識別子步驟過程示意圖。
具體實施例方式
以下結合附圖和實施例對本發明進一步說明。 實施例.從敲門、舉手動作識別人的情感
由於人體運動主要是以肢體運動為主，且大部分人是右手習慣的特 點，本實施例從人體右手的運動中來識別人的情感。
本發明利用格拉斯哥大學Pollick等建立的人體三維運動資料庫來
採集訓練樣本和測試樣本。該資料庫共有敲門、舉手、扔東西、走路四 種非程式化人體運動序列和高興、憤怒、悲傷和無情感四種情感狀態，
表演的角色共有30個，每個角色每種動作類型的每種情感共有兩個運動 序列， 一種動作類型一共含有240個人體運動序列。本實施例從30個角 色中選擇29個角色的敲門和舉手兩個動作類型的運動序列為訓練數據 集，另外一個角色的敲門和舉手兩個動作類型的運動序列作為測試數據 集。並對訓練數據集和測試數據集中的運動序列進行預處理，通過平移 和旋轉運算，將世界坐標的三維運動數據序列轉換為以身體中心為原點 的局部坐標，使之具有平移不變性和旋轉不變性； 步驟一，建立隱馬爾可夫模型； 1.訓練數據採集從格拉斯哥大學建立的人體三維運動資料庫30 個角色中選擇29個角色的敲門和舉手兩個動作類型的運動序列為訓練數據集；
2.運動分割根據非程式化人體運動的運動序列的能量曲線圖，將
訓練數據集中每一個運動序列分割為一序列動作原語，每個動作原語由
若干連續的幀組成；
2-1.對於訓練數據集中的每一個運動序列，計算每一幀的運動能量:
首先計算每一幀中肩關節旋轉自由度和肘關節旋轉自由度的角速度，第i
幀第j個關節點旋轉自由度的角速度^為
formula see original document page 15
其中，《，,為第i幀第j個關節點旋轉自由度，N是運動序列的幀數;
根據每一幀中肩關節旋轉自由度和肘關節旋轉自由度的角速度，計
算每一幀的運動能量，第i幀的運動能量Ei按下式計算
formula see original document page 15 其中0) i和G) 2分別取0.2和0.8;
2-2.根據每一幀的運動能量，繪製運動序列的能量直方圖，在噪音 閾值to(取0.005)之上，取最大直方圖所對應的能量作為分割閾值，設為t;
2-3.根據運動序列每一幀的運動能量，繪製運動序列的能量曲線圖， 所有運動能量大於所述分割閾值t的連續的幀序列組成一個初始分割，將 一個初始分割的起點和終點分別向前後延伸以達到能量曲線的局部最小 值，得到一個動作原語；最終將運動序列的能量曲線分割為各個動作原 語。
3.特徵提取對運動序列中每一個動作原語，根據運動序列的腕關 節、肘關節的三維運動數據，提取運動特徵，得到各個動作原語所對應 的特徵向量，將運動序列中的所有原語對應的特徵向量組合成一個特徵 向量序列，並標記動作類型和情感類型；提取訓練數據集中的所有運動 序列的特徵向量序列，表標記動作類型和情感類型，得到訓練樣本集合;
運動特徵為手腕關節點和肘部關節點與身體中心的最大距離、平均速度和平均加速度，計算公式如下
formula see original document page 16
其中
^， &， ^分別表示第i幀第k個關節點到身體中心的最大距離以及
第k個關節點的平均速度和平均加速度,k=l.. .2;
di,k, Si，k， ai，k分別表示第i幀第k個關節點到身體中心的距離以及第k 個關節點的速度和加速度；
M為當前運動原語所佔據的幀數；表示第i幀中第k個關節點 的位置；
4.訓練隱馬爾可夫模型訓練敲門和舉手兩種動作類型，高興、憤 怒、悲傷和無情感四種情感所對應的8個隱馬爾可夫模型， 一種動作的
一種情感建立一個隱馬爾可夫模型入r=(兀r,Ar,Cr， P r, S r ,),其中
r=l,2，...，8。
4-1.設置收斂閾值為0.005，最大循環次數為30;
4-2.模型初始化本實施例中模型狀態數設置為14，混合高斯模型 的混合成分設置為5;隨機生成隱馬爾可夫模型的其他初始化參數，包括 初始狀態係數、、轉移概率矩陣A"觀察序列對應的混合高斯模型的混
合係數向量Cr、均值向量Ur和協方差矩陣2r;
4-3.根據動作類型標記和情感標記，從訓練樣本集中提取一種動作
類型的一種情感所對應的特徵向量序列作為隱馬爾可夫模型的訓練樣本
集；4-4.利用Baum-Wdch算法進行隱馬爾可夫模型訓練，保存獲得的隱 馬爾可夫模型參數兀r、 Ar、 Cr、 ur、 2r;
4-5.重複過程4-2 4-4，訓練下一個隱馬爾可夫模型。
步驟二，情感識別步驟通過隱馬爾可夫模型實現情感識別和動作 類型識別。
1. 數據採集將步驟一的訓練數據採集子步驟中，格拉斯哥大學人 體三維運動資料庫30個角色選擇29個角色後剩餘一個角色的敲門和舉 手兩個動作類型的運動序列作為測試數據集；
2. 運動分割將測試數據集中的每一個運動序列分割為一序列動作 原語，每個動作原語由若干連續的幀組成；
3. 特徵提取對運動序列中每一個動作原語，根據運動序列的人體 腕關節、肘關節的三維運動數據，提取運動特徵，得到各個動作原語所 對應的特徵向量，將運動序列中的所有原語對應的特徵向量組合成一個 特徵向量序列；提取測試數據集中的所有運動序列的特徵向量序列，得 到測試樣本集；
4. 情感識別將測試樣本集中的每一個特徵向量序列作為觀察序列 X輸入前向算法或者後向算法，計算8個隱馬爾可夫模型中每一個隱馬 爾可夫模型產生觀察序列的似然概率P(X/入r)，取其中似然概率最大的隱 馬爾可夫模型h，表示為
// = argmax{P(X/;ir)}r = 1...8
隱馬爾可夫模型h所對應的情感狀態和動作類型即為待識別的運動 序列所蘊含的情感狀態和動作種類。
本實施例共進行30次的交叉驗證，每次交叉驗證從30個角色中抽 取29個角色的運動序列作為訓練樣本，另外1個角色的運動序列作為測試樣本。每次交叉驗證中，測試樣本的角色均不同。試驗結果如表1所 示
表l敲門、舉手兩種動作類型情感識別的混淆矩陣
\識別 敲門 舉手
實際
高興憤怒中性悲傷高興憤怒中性悲傷
51670.18330.13330. 16670.00000.00000.00000. 0000
08330.73330.13330.03330. 01670.00000.00000.0000
26670.10000.41670.21670. 00000.00000.00000,0000
15000.05000.23330.56670. 00000.00000.00000. 0000
00000.00000.00000.00000. 31670.38330.20000.1000
00000.00000.00000. 00000. 33330.51670.11670. 0333
00000.00000.00000. 00000.36670.11670.35000. 1667
00000.00000.00000. 00000.15000.10000.23330. 5167
其中敲門動作的情感識別正確率為0.5583，舉手動作的情感識別正 確率為0.425，總體識別率為0.4917。動作類型的識別率為0.9979。而用 支持向量機進行對敲門動作進行分類，得到情感識別率為0.5083。與支 持向量機分類進行比較，隱馬爾可夫模型的分類方法的識別率提高了 0.05。
興怒性傷興怒性傷
高憤中悲高憤中悲
敲門 舉手
權利要求
1.一種人體非程式化運動的情感識別方法，包括以下步驟第一步.建立隱馬爾可夫模型步驟；以訓練樣本集合作為觀察序列，建立每一種動作類型、每一種情感所對應的隱馬爾可夫模型；包括以下子步驟訓練數據採集子步驟建立包括若干動作類型、每種動作類型又包括若干情感類型的訓練樣本集；運動分割子步驟根據人體運動序列的能量曲線圖，將訓練數據集中每一個運動序列分割為一序列動作原語，每個動作原語由若干連續的幀組成；特徵提取子步驟對運動序列中每一個動作原語，根據運動序列的腕關節、肘關節、踝關節和膝關節的三維運動數據，提取運動特徵，得到各個動作原語所對應的特徵向量，將運動序列中的所有動作原語對應的特徵向量組合成一個特徵向量序列，並標記動作類型和情感類型；提取訓練數據集中的所有運動序列的特徵向量序列，標記動作類型和情感類型，得到訓練樣本集合；訓練子步驟對訓練樣本集合，利用Baum-Welch算法進行隱馬爾可夫模型訓練，保存獲得的隱馬爾可夫模型參數；所述的隱馬爾可夫模型採用連續隱馬爾可夫模型，模型參數包括轉移概率矩陣A、初始狀態分布π，以及觀察序列所對應的高斯混合模型的係數C、均值向量μ和協方差矩陣∑；一種動作類型的一種情感訓練一個隱馬爾可夫模型，共建立Nm×Ne個隱馬爾可夫模型，這些模型表示為{λr，r＝1...Nm×Ne}；第二步.情感識別步驟對待識別人體運動序列進行識別，包括以下子步驟數據採集子步驟利用三維運動捕捉系統來捕捉待測的人體的運動序列，每個運動序列由人體各關節點的三維運動數據序列來表示，所述人體各關節點包括頭、脖子、骨盆中心和左右肩關節、肘關節、腕關節、髖關節、膝關節、踝關節共15個關節點；運動分割子步驟根據人體運動序列的能量曲線圖，將待識別人體運動序列分割為一序列動作原語，每個動作原語由若干連續的幀組成；特徵提取子步驟對待識別人體運動序列中每一個動作原語，根據運動序列的人體腕關節、肘關節、踝關節和膝關節的三維運動數據，提取運動特徵，得到各個動作原語所對應的特徵向量；識別子步驟通過所構建的隱馬爾可夫模型對待識別人體運動序列進行情感識別和動作類型識別將各個動作原語所對應的特徵向量作為觀察序列X，輸入前向算法或者後向算法，計算Nm×Ne個隱馬爾可夫模型中每一個隱馬爾可夫模型產生觀察序列的似然概率P(X/λr)，取其中似然概率最大的隱馬爾可夫模型h，表示為<![CDATA[ h=arg max r{P ( X / r )} ]]> top= "156" left = "67"/>r＝1...Nm×Ne隱馬爾可夫模型h所對應的情感狀態和動作類型即為待識別的運動序列所蘊含的情感狀態和動作種類。
2.如權利要求1所述的情感識別方法，其特徵在於，所述建立隱馬 爾可夫模型步驟中，所述訓練數據採集子步驟包括以下具體過程2-1.確定動作類型和情感類型動作類型為1 10種，包括走路、敲 門、舉手、扔東西中的一種或多種；情感類型T為2 6種，包括高興、 悲傷、無情感、憤怒中的兩種以上;各種動作類型的每種情感類型包括2 6個運動序列；2-2.利用三維運動捕捉系統拍攝記錄人體運動序列利用20 40個 演員進行表演，男女演員各佔一半，演員表演時穿上設備配套服裝，並在人體各關節點上貼上標記點，所述人體各關節點包括頭、脖子、骨盆中心和左右肩關節、肘關節、腕關節、髖關節、膝關節、踝關節共15個 關節點；每個運動序列由人體各關節點的三維運動數據序列來表示，利用三 維運動捕捉系統拍攝記錄每個演員的每種動作類型的每種情感類型。
3.如權利要求1所述的情感識別方法，其特徵在於，所述建立隱馬 爾可夫模型步驟和識別步驟中的運動分割子步驟包括如下過程-3-1.計算每一幀的運動能量首先計算每一幀中上肢左右肘關節、 左右肩關節和下肢左右膝關節和左右髖關節共八個關節點的旋轉自由度 的角速度，第i幀第j個關節點旋轉自由度的角速度(為formula see original document page 4其中，《，,為第i幀第j個關節點旋轉自由度，N是運動序列的幀數； 根據每一幀中肢體各個關節點旋轉自由度的角速度，計算每一幀的 運動能量，第i幀的運動能量Ei按下式計算式中，"j為各個關節點旋轉自由度的係數，取值範圍為0.1—0.8， 關節點旋轉自由度越大、取值越大，所有"j的和為h所述關節點旋轉自由度為與關節點相連兩根骨頭的夾角；3-2.根據每一幀的運動能量，繪製運動序列的能量直方圖，在噪音 閾值之上，取最大直方圖所對應的能量作為分割閾值；噪音閾值為0.001 0.1，能量曲線的最小值越大、噪音閾值取值越大；3-3.根據運動序列每一幀的運動能量，繪製運動序列的能量曲線圖， 所有運動能量大於所述分割閾值的連續的幀序列組成一個初始分割，將 一個初始分割的起點和終點分別向前後延伸以達到能量曲線的局部最小值，得到一個動作原語；最終將運動序列的能量曲線分割為各個動作原 語；所述能量曲線圖由若干個鐘型曲線組成，每一個鍾型曲線對應一個 動作原語，鍾型曲線左右兩邊的局部最小值即為運動分割的起始點和終 佔。"、、o
4.如權利要求1所述的情感識別方法，其特徵在於，所述建立隱馬 爾可夫模型步驟和識別步驟中的特徵提取子步驟中所述運動特徵為肢體關節點與身體中心的最大距離、平均速度和平 均加速度，計算公式如下formula see original document page 5其中^分別表示第i幀第k個關節點到身體中心的最大距離、 第k個關節點的平均速度和平均加速度，k=1...8;di,k， Si,k， ai,k分別表示第i幀第k個關節點到身體中心的距離、第k個 關節點的速度和加速度；M為當前運動原語所佔據的幀數；表示第i幀中第k個關節點 的位置；所述關節點的速度是該關節點位置的一階導數，關節點的加速度是 該關節點速度的一階導數；所述身體中心為骨盆中心點。
5.如權利要求1所述的情感識別方法，其特徵在於，所述建立隱馬 爾可夫模型步驟中的訓練子步驟包括如下過程5-1.設置收斂閾值和最大循環次數；收斂閾值取值為10_2 1(T4，收 斂閾值過大，會影響訓練的精度，而收斂閾值過小，循環次數增加，收 斂速度變慢；最大循環次數取值為30 60，設置最大循環次數避免由於 沒有達到收斂閾值而導致死循環；5-2.模型初始化設置模型狀態數S為4 16，觀察序列對應的混合 高斯模型的混合成分數G為4 8，通過實驗來選擇最優的S和G的設置； 隨機生成隱馬爾可夫模型的其他初始化參數，包括初始狀態係數n、轉 移概率矩陣A、觀察序列對應的混合高斯模型的混合係數向量C、均值 向量U和協方差矩陣2;5-3.根據動作類型和情感類型，從訓練樣本集中提取一種動作類型 的一種情感所對應的所有特徵向量序列作為隱馬爾可夫模型的訓練樣 本；5-4.利用Baum-Welch算法進行隱馬爾可夫模型訓練，保存獲得的隱 馬爾可夫模型參數兀、A、 C、 u、 2;5-5.重複過程5-2 5-4，訓練下一個隱馬爾可夫模型。
全文摘要
人體非程式化運動的情感識別方法，屬於計算機模式識別領域，解決現有同類情感識別方法存在的學習速度較慢、識別率偏低的問題。本發明包括建立隱馬爾可夫模型步驟和情感識別步驟；建立隱馬爾可夫模型步驟又包括訓練數據採集子步驟、運動分割子步驟、特徵提取子步驟、訓練子步驟，建立多種動作類型各種情感的隱馬爾可夫模型；情感識別步驟包括數據採集子步驟、運動分割子步驟、特徵提取子步驟、識別子步驟，通過所構建的隱馬爾可夫模型對待識別人體運動序列進行情感識別和動作類型識別。本發明能更好地展現運動的內在的規律，不僅可以識別情感，還可以識別運動類型，具有較高的識別率，具有較強的實用性和較廣泛的用途。
文檔編號G06K9/64GK101561881SQ20091006213
公開日2009年10月21日 申請日期2009年5月19日 優先權日2009年5月19日
發明者芳 劉, 李新仕, 王天江, 剛 陳, 幸 陳, 龔立宇 申請人:華中科技大學