一種基於多任務學習的人體動作識別方法

2023-05-29 08:34:36

一種基於多任務學習的人體動作識別方法
【專利摘要】本發明公開了一種基於多任務學習的人體動作識別方法，所述方法包括以下步驟：從視頻序列中提取時空興趣點；分別提取兩個視角下訓練集和測試集的「詞袋」特徵；使用多任務學習方法進行人體動作識別。本發明將多任務學習思想運用到人體動作識別過程中，充分利用了人體各個動作之間的關聯特性，通過對多個人體動作進行同時分析和識別，提高了人體動作識別的效率和準確度；並且通過實驗也最終驗證了本方法的可行性，滿足了實際應用中的需要。
【專利說明】一種基於多任務學習的人體動作識別方法

【技術領域】
[0001] 本發明涉及人體動作識別領域，尤其涉及一種基於多任務學習的人體動作識別方 法。

【背景技術】
[0002] 隨著計算機視覺技術的迅速發展，人體動作識別也逐漸成為廣大科研工作者的研 究重點。人們通過攝像機拍攝和記錄人體動作，然後再對記錄的數據進行分析，實現動作的 識別。人體動作識別具有廣泛的應用，包括在國防、軍事上的應用和在一些民用場合（如超 市、停車場、銀行等）的應用。
[0003] 目前常用的人體動作識別分類方法主要包括以下幾種：
[0004] (1)動態時間規整，這種方法可以描述不同時間長度或速度的兩段視頻序列之間 的相似性，通過尋找到不同動作之間的運動快慢速度進行動作識別。該方法過程簡單、魯棒 性好，但是它的運算量非常大，並且對端點的檢測有很強的依賴性；
[0005] (2)隱馬爾科夫模型，是目前最常用的模式識別的方法之一，它是一種時序建模的 方法，能夠有效地對人體動作的時空特性進行建模。該方法可以更好地學習和處理分割連 續數據，通過狀態之間的轉化來描述動作的變化，但是這種方法是建立在時間序列的自學 習方法基礎上的，具有很大的局限性；
[0006] (3)模板匹配法，這種方法可以為每個視頻序列建立包含其運動特性的特徵模板， 然後對模板進行匹配實現動作分類。該方法考慮到了動作之間的關聯性，但是它對視頻中 的噪聲以及動作之間的時間間隔非常敏感，從而限制了它的應用範圍；
[0007] (4)詞袋特徵+支持向量機，這種方法可以通過描述人體動作的局部時空顯著特 性，實現對人體動作的識別。儘管該方法在人體動作識別方向已經取得了一些成績，但是該 方法忽略了動作之間的關聯性以及時空上下文特徵，所以人體動作識別方法仍需要完善和 改進。


【發明內容】

[0008] 本發明提供了一種基於多任務學習的人體動作識別方法，本發明提高了人體動作 識別的準確率，滿足了實際應用中的需要，詳見下文描述：
[0009] -種基於多任務學習的人體動作識別方法，所述方法包括以下步驟：
[0010] 從視頻序列中提取時空興趣點；
[0011] 分別提取兩個視角下訓練集和測試集的"詞袋"特徵；
[0012] 使用多任務學習方法進行人體動作識別。
[0013] 所述使用多任務學習方法進行人體動作識別的步驟具體為：
[0014] 建立任務的訓練數據及其標號、測試數據及其標號；
[0015] 使用任務的訓練數據及其標號訓練模型；
[0016] 使用訓練模型對任務的測試數據進行預測。
[0017] 所述使用多任務學習方法進行人體動作識別的步驟還包括：
[0018] 使用最大值和查準率-查全率曲線兩種判別方法對預測數據進行判別，計算識別 準確率。
[0019] 所述使用任務的訓練數據及其標號訓練模型具體為：
[0020] 根據公式mil%Sl1丨丨- Alli得到訓練模型州=措r其中Wt為第t個 任務對應的訓練模型，而且滿足I IwtI ItlS ?，《為稀疏參數；X1為多任務學習的訓練數據； Y1為X1的對應標號；WtT為對Wt取轉置；I I ? I I F為取二範數。
[0021] 所述使用訓練模型對任務的測試數據進行預測的步驟具體為：
[0022] 根據公式X = [(X2,t ? MZtVIIMZtIIgI1，使用訓練模型W對測試數據X2進行預測，得 到的預測數據X的每一行為測試集中對應樣本的預測數據；
[0023] 測試數據的第i個原始樣本經過預測後得到第i個預測數據表示為：
[0024] X (i，：）= (Xi l, Xi 2，…，Xi 23)
[0025] 那麼所有的預測數據即為X = {私/:,:)}= = {(xu,xp,…,其中Xi」為第 i個預測數據的第1維，Xi，2為第i個預測數據的第2維數據，以此類推。
[0026] 本發明提供的技術方案的有益效果是：本發明將多任務學習思想運用到人體動作 識別過程中，充分利用了人體各個動作之間的關聯特性，通過對多個人體動作進行同時分 析和識別，提高了人體動作識別的效率和準確度；並且通過實驗也最終驗證了本方法的可 行性，滿足了實際應用中的需要。

【專利附圖】

【附圖說明】
[0027] 圖1為正面視角的示意圖；
[0028] 圖2為側面視角的示意圖；
[0029] 圖3為單一的任務學習的示意圖；
[0030] 圖4為多任務學習的示意圖；
[0031] 圖5為查準率-查全率曲線的示意圖；
[0032] 圖6為一種基於多任務學習的人體動作識別方法的流程圖。

【具體實施方式】
[0033] 為使本發明的目的、技術方案和優點更加清楚，下面對本發明實施方式作進一步 地詳細描述。
[0034] 國際機器學習界的權威T. MMitchell認為，機器學習就是對一類特殊計算機算 法的研究，這類算法可以從以往的經驗中不斷學習，從而提升其在處理特定"任務"時的性 能 [1]。多任務學習早期的研究工作源於對機器學習中的一個重要問題，即"歸納偏置"問題 的研究。機器學習的過程可以看作是對與問題相關的經驗數據進行分析，從中歸納出反映 問題本質的模型的過程。歸納偏置的作用就是用於指導學習算法如何在模型空間中進行搜 索，搜索所得模型的性能優劣將直接受到歸納偏置的影響。不同的學習算法（如決策樹，神 經網絡，支持向量機等）具有不同的歸納偏置，人們在解決實際問題時需要人工地確定採 用何種學習算法，實際上也就是主觀地選擇了不同的歸納偏置策略。多任務學習的過程就 是將歸納偏置的確定過程也通過學習過程來自動地完成，即利用相關任務中所包含的有用 信息，為所關注任務的學習提供更強的歸納偏置。由於多任務學習在提高學習系統能力方 面具有顯著的能力，該課題已成為目前國際機器學習界的一個研究熱點。
[0035] 1997年，R. Caruana對多任務學習的相關問題進行了初步的分析，並發表 《Machine Learning》，標誌著多任務學習這一機器學習概念的正式提出[2]。傳統的機器學 習技術主要針對單任務學習（single-task learning)問題，訓練集中的所有樣本均反映了 單個任務的信息。如T. Evgeniou等人[3]基於早期在多任務學習方面的工作，提出了一種多 任務學習的正則化框架，並且基於針對向量輸出函數的核方法將多任務學習的正則化問題 轉為傳統的單任務學習問題求解。除了上述基於正則化與層次貝葉斯模型的方法，還出現 一些基於Logistic回歸 [4]、徑向基函數網絡[5]、支持向量機[6]以及獨立成分分析[7]等技 術的多任務學習方法。此外，研究者們還對多任務學習範式下的屬性選擇問題進行了研究， 此時學習系統的目標是為多個任務尋找一個共享的輸入屬性空間，從而基於轉化後的表示 空間進行學習以得到泛化能力更強的預測模型。目前，多任務學習技術已在模式識別、輔助 醫療診斷、數據挖掘、軟體設計、語音處理等多個領域中得到了成功應用。
[0036] 實際中，人類在學習如何完成一項任務時，往往都需要對一些與該任務相關的任 務進行學習並從中汲取經驗，從而起到舉一反三與融會貫通的作用。人類的學習過程如此， 計算機在解決實際問題時的情形也十分相似。在實際應用中，由於受到時間、人物、環境等 多種因素的制約，人們往往只能獲得與某個任務相關的有限甚至少量樣本。因此，當計算機 進行動作識別時，尤其是在遇到訓練樣本不充分的情況下，使用多任務學習算法有助於發 現人體動作之間的共性以及個性特徵，提高人體動作識別的準確率。
[0037] 101 :從視頻序列中提取時空興趣點；
[0038] 參見圖1和圖2,本方法使用的測試資料庫即3M dataset (全稱為 multi-view, multi-modality and multi-action dataset，即多視角多模態多動作數據 庫），是由天津大學數字多媒體實驗室錄製的。此資料庫中共有23個動作，其中多人動作 12個，單人動作11個，每個動作都是由20組人（每組1-2人）做1-2遍。此資料庫的所 有動作均是在正面和側面兩個視角下同時錄製的，共包括1784段視頻，其中每個視角下有 892段視頻。此資料庫中的每段視頻只包含一個動作，其中多人動作分別是1 :同向走、2 :相 向走、3 :原地等待、4 :受談、5 :擁抱、6 :握手、7 :擊掌、8 :翰躬、9 :拳擊、10 :踢足球、11 :傳籃 球、12 :抬箱子；單人動作分別是：13 :投籃、14 :拍籃球、15 :轉呼啦圈、16 :發網球、17 :扣網 球、18 :打電話、19 :喝水、20 :用手機拍照、21 :掃地、22 :擦桌子、23 :彈吉他。
[0039] 本資料庫所有的視頻均是在均勻的背景下採集的，採集幀速率是20fps/s，空間分 辨率是640X480。分別對正面和側面兩個視角下的視頻進行相同的處理，分別將兩個視角 下的所有視頻分成訓練集和測試集，其中每個視角下的訓練集包括524段視頻，測試集包 括368段視頻。
[0040] 本方法使用Laptev等人提出的時空興趣點的提取方法[8]，即提取3M dataset中 每個視頻的時空興趣點，每個時空興趣點都是用162維的行向量來描述。因為對正面和側 面兩個視角下的視頻進行的處理是相同的，下面以正面視角為例進行介紹。
[0041] 對於3M dataset的正面視角，其訓練集包括524段視頻，如果用V1;t表示訓練集V1 中的第t個視頻，那麼訓練集中的所有視頻可以表示為;其測試集包括368段視頻， 如果用V2，t表示測試集V2中的第t個視頻，那麼測試集中的所有視頻可以表示為 如果設從訓練集中的視頻\t中提取到的時空興趣點的個數為&t，那麼從訓練集的所有視 頻中提取到的所有時空興趣點的個數W 1 = Eti41Ww ;如果設從測試集中的視頻v2，t中提取 到的時空興趣點的個數為\t，那麼從測試集的所有視頻中提取到的所有時空興趣點的個 數 JV2 =S^iV2it。
[0042] 102 :分別提取兩個視角下訓練集和測試集的"詞袋"特徵；
[0043] 正面視角下訓練集和測試集的"詞袋"特徵的提取方法與側面視角下訓練集和測 試集的"詞袋"特徵的提取方法相同，下面以正面視角為例進行說明。
[0044] 1、首先，學習詞典：對從正面視角下訓練集視頻中提出的時空興趣點進行聚類，從 而得到詞典。
[0045] 本方法採用的聚類算法是K_means[9]算法，使用K-means算法對從正面視角下訓 練集視頻中提出的N 1個時空興趣點進行聚類後，可將訓練集中的時空興趣點劃分成K類， 並且得到K個聚類中心，這K個聚類中心組成的KX 162矩陣即為詞典Ckx162。矩陣中的每 一行為一個聚類中心，根據步驟101可知，每個聚類中心為一個162維的行向量，那麼第k 個聚類中心可以表示為C k = (bu，b2，k，…，b162，k)，其中1彡k彡K，bu為第k個行向量的 第1維數據，b 2，k為第k個行向量的第2維數據，以此類推。K個聚類中心的集合表示為 {C/c}!Ll = {(6.1,".4:1.62,/^=1，本方法實驗中米用的 K = 2000。
[0046] 2、其次，提取訓練集的"詞袋"特徵[1°]:對於訓練集中的某一段視頻\ t，用4〃表 示從\t中提取的第n個時空興趣點（共\t個），那麼該段視頻的所有時空興趣點的集合 為{'^ 1'<：}。1。分別計算每個時全興趣點與〖個聚類中心丨^^丨丨=1 = '[?；￡,&2丨,...,&162>/￡)拉 =:1 之間的歐氏距離。
[0047] 例如：為一個162維的行向量，所以可以表示為= 其中°￡^為從中提取的第n個時空興趣點的第1維數據，api為從V1;t中提取的第n個 時空興趣點的第2維數據，以此類推。如果與第m(l < m < K)個聚類中心Cm的歐氏距 離最小，就把歸為第m類，具體公式表示為
[0048] m = arg Hiinlsfcs^ Lk = arg Hiinlsfcs^ ^ _^aln ~ bUcTz^j
[0049] 其中，Lfc = - bitky表示與第k(l彡k彡K)個聚類中心Ck之間的歐 氏距離；argminKk^KLk為當Lk(l彡k彡K)取最小值時，k的取值。
[0050] 然後統計每類中時空興趣點的個數，可以得到一個數量直方圖（1XK的矩陣）， 此數量直方圖即為視頻\ t的"詞袋"特徵。訓練集的"詞袋"特徵是訓練集中所有視頻 的"詞袋"特徵的集合，即為一個524XK的矩陣。訓練集"詞袋"特徵的每一行，即為訓練 集中某個視頻的時空興趣點的數量直方圖，此視頻對應的動作的標號即為該行的特徵標號 Iabeld < label < 23)，從而可以得到訓練集的特徵標號。訓練集的特徵標號即為一個 524X1的列矩陣。
[0051] 3、最後，提取測試集的"詞袋"特徵。對於測試集中的某一段視頻\t，用表示 從\ t中提取的第n個時空興趣點（共N2，t個），那麼該段視頻的所有時空興趣點的集合為 。分別計算每個特徵點與K個聚類中心{4拉=1 = 之間的 歐氏距離。
[0052] 例如：如果<2'f與第k(l彡k彡K)個聚類中心C k的歐氏距離最小，就把歸為第 k類。然後統計每類中時空興趣點的個數，從而可以得到一個數量直方圖，此數量直方圖即 為視頻\,的"詞袋"特徵。測試集的"詞袋"特徵是測試集中所有視頻的"詞袋"特徵的集合， 即為一個368XK的矩陣。測試集"詞袋"特徵的每一行，即為測試集中某個視頻的時空興趣 點的數量直方圖，此視頻對應的動作的標號即為該行的特徵標號Iabeld < label < 23)， 從而可以得到測試集的特徵標號。測試集的特徵標號即為一個368X1的列矩陣。
[0053] 103 :使用多任務學習方法進行人體動作識別。
[0054] 目前，現有的分類器大部分都是單獨對某一個動作進行識別，如果把每個動作的 識別看成一個任務的話，這種分類方法稱為單一的任務學習。在單一的任務學習過程中，每 個任務被認為是獨立進行的，忽略了動作之間的關聯性。因此，希望加入動作之間的關聯 信息，對多個動作同時進行分類識別，即多任務學習。在多任務學習過程中，多個相關任務 同時進行學習，實現多任務之間的信息共享，間接增加參加任務的樣本個數，提高預測的性 能。因此，多任務學習對提高動作識別的準確率非常有益，尤其是在資料庫的訓練樣本很少 的狀況下。圖3和圖4所示為單一的任務學習和多任務學習的主要差異，單一的任務學習 是把每個任務看成是獨立的個體進行單獨學習，而多任務學習是利用多個任務之間的相關 性進行同時學習。
[0055] 1、建立任務的訓練數據及其標號、測試數據及其標號；
[0056] 因為3M dataset裡共包含23個動作，所以本方法需要建立23個任務。對於第 t(l < t < 23)個任務，如果訓練集"詞袋"特徵的標號label等於t，那此標號對應的樣本 為正樣本（標記為1);如果訓練集"詞袋"特徵的標號label不等於t，那此標號對應的樣 本為負樣本（標記為〇)。步驟102中得到的訓練集"詞袋"特徵也就是第t個任務對應的 訓練特徵，本方法稱為訓練子特徵，用\ t表示；訓練子特徵對應的標號稱為訓練子特徵標 號，用Y1;t表不。
[0057] 因為為第t個任務的訓練子特徵，\t為第t個任務的訓練子特徵標號，那麼 所有23個任務的訓練子特徵的集合即為多任務學習的訓練數據,用X1 = 所 有23個任務的訓練子特徵標號的集合即為多任務學習的訓練數據的標號，川K1 = 表不。
[0058] 同理，如果測試集"詞袋"特徵的標號label等於t，那此標號對應的樣本為正樣本 (標記為1);如果測試集"詞袋"特徵的標號label不等於t，那此標號對應的樣本為負樣本 (標記為〇)。步驟102中得到的測試集"詞袋"特徵也就是第t個任務對應的測試特徵，本 方法稱為測試子特徵，用X2，t表示；測試子特徵對應的標號稱為測試子特徵標號，用Y2， t表 /Jn 〇
[0059] 因為X2，t為第t個任務的測試子特徵，Y2， t為第t個任務的測試子特徵標號，那麼 所有23個任務的測試子特徵的集合即為多任務學習的測試數據，用X2 = (X2Jg1表示，所 有23個任務的測試子特徵標號的集合即為多任務學習的測試數據的標號，川K2 = 表不。
[0060] 2、使用任務的訓練數據及其標號訓練模型；
[0061] 本方法參照J. Zhou等人[11]提出的基於最小二乘損失的集群多任務學習算法（簡 稱為Least_CMTL)進行模型的訓練。
[0062] 根據公式N _ Allf得到訓練模型州=,其中Wt為第t個 任務對應的訓練模型，而且滿足I IwtI ItlS ?(?為稀疏參數，可根據經驗及需求設定）A1 為多任務學習的訓練數據；Y1SX1的對應標號；WtT為對Wt取轉置；Il ? IIf為取二範數。
[0063] 3、使用訓練模型對任務的測試數據進行預測；
[0064] 根據公式X = ，使用訓練模型W對測試數據X2進行預測，得 到的預測數據X為一個368X23的矩陣，X的每一行為測試集中對應樣本的預測數據。若 把測試數據的第i (I < i < 368)個原始樣本經過預測後得到第i個預測數據表示為：
[0065] X(i，；）= (Xi l, Xi 2，…，Xi 23)
[0066]那麼所有的預測數據即為X = = ,…,其中R1為第 i個預測數據的第1維，Xi，2為第i個預測數據的第2維數據，以此類推。
[0067] 4、使用最大值和Precision-Recall curve (查準率-查全率曲線）兩種判別方法 對預測數據進行判別，計算識別準確率。
[0068] 1)最大值判別方法：
[0069] 若第i (1彡i彡368)個原始測試樣本的預測數據X(i，：）= (Xm, Xi，2,…，xi>23) 滿足公式 j = Srgmax1SiS 368XQ, :) = argmaxKiOj^Xm Xi,2,…，Xi,23)，那麼就規定第 i (I < i < 368)個原始測試樣本的預測標號為j (I < j < 23)。同理，可得到所有測試樣 本的預測標號P。對比測試集"詞袋"特徵的標號label和預測標號Predictjabel，計算 準確率。
[0070] 2)查準率-查全率曲線方法：
[0071 ]將預測數據X = {X(i,: = {(xu, Xu變形為：
[0072] X = {義(:，0措1 = X2,t;…;X368，t)}?!l
[0073] 那麼任意列向量X( :，t) = (x1;t ;x2，t ;x368，t)為測試集中每個樣本判別為動作 t的預測值，其中Xl， t為第1個樣本判別為動作t的預測值，Xi，2為第2個樣本判別為動作t 的預測值，以此類推。根據經驗設置動作t的分類閾值T t，當X(:，t)中第i個值Xi，t滿足 Xi， t>Tt(l彡i彡368, 1彡t彡23)時，貝U將此樣本判別為動作t(標記為1);反之，貝U不將 此樣本判別為動作t (標記為0)。
[0074] 通過調整分類閾值Tt，獲取不同的查全率和查準率，從而可以得到動作t對應的查 準率-查全率曲線（圖5所示：縱坐標為查準率，橫坐標為查全率）。通常隨著分類閾值從 大到小變化，查準率減小，查全率增加。為了使測試準確率達到最好，查準率-查全率曲線 應越靠近坐標（i，i)的位置越好。因此，實驗中，不斷調整分類閾值直至= G分類閾值 查準率-查全率曲線最靠近坐標（1，1)的位置，那麼V即為需要的動作t的判別閾值，G 對應得到的判別標號即為所有測試樣本判別為動作t的判別標號p t。同理，可得到所有動 作的判別標號P = {&}普r
[0075] 最後，通過對比所有任務的測試數據的標號F2 = 所有動作的判別標號 P = r計算準確率。
[0076] 下面通過具體的幾組實驗來驗證本方法的可行性，詳見下文描述：
[0077] 第一組實驗：通過上述步驟101-103即可對正面視角下人體動作進行識別；
[0078] 第二組實驗：將步驟101-103中使用的所有正面視角下的視頻對應替換為側面視 角下的視頻，再進行步驟101-103中的相關操作，即可對側面視角下人體動作進行識別；
[0079] 第三組實驗：將正面視角下多任務學習的訓練數據X1和側面視角下多任務學習的 訓練數據X 1進行級聯得到雙視角下的訓練數據X1 ;將正面視角下多任務學習的測試數據X2 和側面視角下多任務學習的測試數據X2進行級聯得到雙視角下的測試數據X2 ;雙視角下訓 練數據和測試數據對應的標號和正面視角/側面視角下對應的標號完全相同，分別表示為 Y1和Y 2。然後使用雙視角下的測試數據和訓練數據進行步驟103的相關操作，即可對雙視 角下人體動作進行識別。
[0080] 選取現有技術中比較成熟的最大值判別方法和查準率-查全率曲線方法進行驗 證，通過上述步驟101-103對人體動作進行識別，得到的驗證後的結果如表1所示：
[0081] 表 1
[0082]

【權利要求】
1. 一種基於多任務學習的人體動作識別方法，所述方法包括以下步驟： 從視頻序列中提取時空興趣點； 分別提取兩個視角下訓練集和測試集的"詞袋"特徵； 使用多任務學習方法進行人體動作識別。
2. 根據權利要求1所述的一種基於多任務學習的人體動作識別方法，其特徵在於，所 述使用多任務學習方法進行人體動作識別的步驟具體為： 建立任務的訓練數據及其標號、測試數據及其標號； 使用任務的訓練數據及其標號訓練模型； 使用訓練模型對任務的測試數據進行預測。
3. 根據權利要求1或2所述的一種基於多任務學習的人體動作識別方法，其特徵在於， 所述使用多任務學習方法進行人體動作識別的步驟還包括： 使用最大值和查準率-查全率曲線兩種判別方法對預測數據進行判別，計算識別準確 率。
4. 根據權利要求2所述的一種基於多任務學習的人體動作識別方法，其特徵在於，所 述使用任務的訓練數據及其標號訓練模型具體為： 根據公式〇^1^普1丨丨1^%-引丨|得到訓練模型撕={14^愷1，其中1為第七個任務 對應的訓練模型，而且滿足I |Wt| Itl彡ω，ω為稀疏參數；X1為多任務學習的訓練數據J1 為X1的對應標號；Μ/f為對Wt取轉置；I I · I |F為取二範數。
5. 根據權利要求4所述的一種基於多任務學習的人體動作識別方法，其特徵在於，所 述使用訓練模型對任務的測試數據進行預測的步驟具體為： 根據公式Z = ，使用訓練模型W對測試數據X2進行預測，得到的 預測數據X的每一行為測試集中對應樣本的預測數據； 測試數據的第i個原始樣本經過預測後得到第i個預測數據表示為： X(i，：）一（Xi,i，xi>2，···，Xii23) 那麼所有的預測數據即為X ，其中Xu為第i個 預測數據的第1維，Xi,2為第i個預測數據的第2維數據，以此類推。
【文檔編號】G06K9/00GK104376308SQ201410681461
【公開日】2015年2月25日 申請日期:2014年11月24日 優先權日:2014年11月24日
【發明者】劉安安, 蘇育挺, 賈萍萍 申請人:天津大學