一種人體動作數據的空間軌跡檢索方法
2023-09-17 06:17:45
專利名稱：一種人體動作數據的空間軌跡檢索方法
技術領域：
本發明涉及人體動作數據檢索方法，屬於計算機三維動畫技術及多媒體數據處理領域，具體地說，是一種人體動作數據的空間軌跡檢索方法。
背景技術：
動作捕獲技術能夠精確地測量、跟蹤、記錄物體在三維空間中的運動軌跡，該技術起源於20世紀70年代末，經歷了近幾十年的發展，捕獲技術日趨成熟。當前，動作捕獲已經成為計算機動畫、虛擬實境、計算機視覺、生物醫療等重要的數據獲取手段。由於各種應用的迫切需要以及商業捕獲設備的廣泛推廣，目前已經出現了越來越多的大型三維人體動作庫，如美國卡內基梅隆大學的人體動作庫(http://mocap.cs.cmu.edu)等。隨著種類繁多、風格各異的各種動作數據的大量採集，必須要採取有效的管理方法和技術手段，才能充分發揮人體動作庫的作用。如何從人體動作庫中獲取用戶所需要的人體動作數據已經成為動作數據有效利用的關鍵問題，傳統的基於文本的檢索方法存在著人工標註費時費力且易造成主觀理解不統一等問題，難以被用來進行有效的人體動作數據檢索。與此同時，基於示例的檢索技術已成為多媒體和信息處理領域研究的熱點，由於該檢索技術能較好地彌補傳統的基於文本的檢索方法的不足，已經得到了相關領域研究者越來越多的重視。已有的基於示例的人體動作數據檢索方法主要有如下幾類第一類方法是如文獻 IKovar L，Gleicher M，Pighin F. Automated Extraction and Parameterization of Motions in Large Data Sets. ACM Transactions on Graphics(S0730-0301)，2004， 23(3) :559-568所述的直接使用姿態的高維特徵進行檢索的方法，該方法首先使用姿態的原始高維特徵計算兩個姿態間點雲的距離並以該距離作為姿態的相似性度量，然後通過動態時間彎曲方法(DTW)構建相似動作片段的匹配網絡，在檢索時通過多次迭代檢索獲取相似的動作。然而直接使用姿態的高維特徵進行DTW計算的代價太高，且DTW算法僅是局部對齊的，相似匹配網絡計算的複雜性以及對存儲空間的要求限制了其在大規模人體動作庫上的應用。第二類方法是如文獻 2MUller M,RoderT, Clausen Μ. Efficient content based retrieval of motion capture data. ACM Transactions on Graphics,2005,24(3) 677-685所述的基於姿態的幾何空間特徵的檢索方法，該方法引入了定性的幾何特徵來描述身體各關節的位置關係，如左腳、左胯、以及身體中心構成了一個平面，右腳在這個平面的前面或者後面就構成了一個布爾幾何特徵，Muller等人在原型系統中共設計了 31個特徵，這些特徵分為身體上部分特徵、身體下部分特徵以及兩者相互作用的特徵，由於姿態的幾何空間特徵值均通過閥值的限定進行了離散化並具有了相應的語義信息，這就使得動作中相鄰的幀往往具有相同的特徵值，即動作時序文件被分割為具有相同特徵值的動作片段，動作檢索就可以直接以動作片段為單位進行。然而，使用布爾幾何特徵來描述動作內容的問題在於對不同類型的動作，很難建立統一的特徵體系，對於某一類動作來說，只有其中的部分特徵是成立的，因此，該方法指出用戶在檢索時需要選擇相關的特徵，以逐步提高檢索的精準率，顯然，讓用戶直接去進行特徵選擇並不是一種友好的人機互動方式，是以增加用戶操作的複雜性為代價的。第三類方法是如文獻3 Forbes K,Fiume Ε. An efficient search algorithm for motion data using weighted PCA. Proc of Euro graphics/ACM SIGGRAPH Symposium on Computer Animation，2005，67-76 提出的基於姿態低維空間特徵的檢索方法，由於不同的關節在相似度匹配中的重要程度並不相同，且用戶可能只關注部分關節，所以該方法使用加權主成分分析(weighted PCA)數據降維的方法來體現關節的不同重要程度。該方法首先對人體動作庫中的所有動作進行降維，然後再對每個姿態進行投影，得到動作的低維特徵表示。檢索時，首先在低維空間提取檢索示例的特徵姿態，然後在低維空間中得到和特徵姿態相近的姿態作為種子點，這些種子點是檢索示例和人體動作庫中的相似動作片段必然經過的點，以這些點為出發點，分別進行前向和後向的DTW操作，由於檢索示例的起點和終點是已知的，且DTW對齊的路徑是非退化的，實際上是對人體動作庫中相似動作片段的長度進行了限制，從而實現了人體動作的檢索。使用數據降維的方式獲取低維空間特徵進行動作檢索的問題在於人體動作的每一幀姿態都是有著明確的物理意義的，在數據降維後得到的低維特徵數據將可能失去這些物理意義，另一方面，每一種降維方法擅長處理的低維空間結構(流型)各不相同，如何為不同的動作類型選擇合適的降維方法是該類方法的困難所在。第四類方法是如文獻4 Liu F，Zhuang Y T, Wu F, et al. 3D motion retrieval with motion index tree. Computer Vision and Image Understanding, 2003,92 (223) :265-284所述的基於動作關鍵幀的檢索方法，該方法的有效性依賴於有效、統一的關鍵幀提取算法以及恰當的參數設置，對於舞蹈等複雜動作來說， 既存在著整體的動作，也存在著局部細節的動作，選擇有效的關鍵幀提取算法是很困難的。在實際應用中，人體動作數據檢索的一個顯著特點就是存在著用戶關注關節問題，如對於拳擊動作檢索來說，用戶更多關注的是上肢的動作，對於踢踏舞蹈動作檢索來說，用戶的注意力更多集中在下肢和腳步的動作上，也就是說，對於不同類型的動作，用戶檢索的關注關節是不同的，如果在檢索時，仍然使用人體全部關節的動作特徵進行檢索，則非關注關節的動作特徵會對檢索的精準率產生極大地影響，例如對於行走的動作，上肢有可能是搖擺的、靜止的、或者揮舞的，在用戶檢索行走的動作時，如果使用包括手臂在內的所有關節的動作特徵進行相似度計算，顯然各種不同的上肢動作會影響到用戶期望的結果。在上述方法中，Kovar L和Liu F的方法都是使用人體全部關節的動作特徵進行檢索的，用戶無法指定關注關節進行人體動作數據檢索，MUllerM已經注意到不同的動作類型對應的有效特徵是不同的，然而讓用戶選擇對應的特徵進行動作檢索的人機互動方式並不友好，是以增加用戶的操作複雜性為代價的，合理的方式是用戶在輸入檢索示例的時候，同時提交本次檢索的關注關節(檢索關節)。Forbes K同樣認為不同的關節對於檢索結果的重要程度是不一樣的，但是其檢索方法需要在低維特徵提取前，就確定不同的關節對於檢索結果的影響係數，並且以後不能改變，顯然這也不是一種靈活、有效的方式。概括來說，實現基於示例的人體動作數據檢索的困難在於相似的人體動作既存在著時間上的變形也存在著空間上變形，從時間上來說，不同的執行者執行相同的動作在時間上不可能嚴格一致；從空間上來說，相似的動作由於執行者朝向、骨骼長度以及執行過程的差異也會造成動作的變形。此外，由於完整描述動作的每一幀都是數百維的高維向量，如何有效地對高維特徵進行分析和處理以及如何靈活地實現可以支持用戶指定檢索關節進
6行檢索同樣也是人體動作數據檢索亟需解決的問題，從根本上來說，上述問題的解決依賴於有效的特徵表示、準確的特徵相似性度量以及快速的索引。
發明內容
發明目的本發明所要解決的技術問題是針對現有技術的不足，提出了一種人體動作數據的空間軌跡檢索方法。技術方案本發明公開的一種人體動作數據的空間軌跡檢索方法，包括以下步驟步驟1，人體動作結構模型定義對人體關節模型進行動作相關性層次分解，形成了包含五個子結構的人體動作結構模型，包括以左髖為子結構根節點的一個子結構、以右髖為子結構根節點的一個子結構、以及以胸部關節為子結構根節點的三個子結構；步驟2，離線動作特徵樹生成對於人體動作庫中的每一個動作，根據人體動作結構模型，計算關節相對於所屬子結構根節點關節的空間軌跡曲線並提取空間軌跡曲線的特徵作為該關節的動作特徵，所述人體動作庫是包含各種人體動作的資料庫，每個人體動作由一組連續幀的動作數據構成；根據人體動作結構模型中五個子結構的層次定義，對提取的動作特徵進行聚類，生成了包含五個動作特徵子樹的動作特徵樹；步驟3，在線動作數據檢索用戶提交檢索示例，並指定檢索關節，所述的檢索示例為表示人體動作的數據；根據指定的檢索關節以及人體動作結構模型得到檢索樹，所述檢索樹由一組檢索子樹構成，所述檢索子樹指人體動作結構模型中從子結構的根節點關節到檢索關節之間的途徑關節構成的子樹；計算檢索示例在檢索子樹中的關節相對於檢索子樹根節點關節的空間軌跡曲線並提取空間軌跡曲線的特徵作為該關節的動作特徵；由檢索樹和動作特徵樹，按照關節的層次關係自頂向下依次進行特徵相似度計算，對最終相似度由高到低排序後將結果動作返回。本發明所述步驟2具體包括以下步驟步驟21，空間軌跡曲線計算對於人體動作庫中每一個動作，根據人體關節模型中關節的偏移量坐標和每一幀動作數據中各個關節的旋轉歐拉角，計算每個關節相對於所屬子結構根節點關節的三維坐標；對於每一個關節，按照幀號順序排列構成三維坐標集合， 所述三維坐標集合構成一個動作中該關節相對於所屬子結構根節點關節的空間軌跡曲線， 三維坐標集合中的每一個三維坐標對應的點都是該空間軌跡曲線的一個採樣點；步驟22，動作特徵提取對於人體動作庫中每一個動作，由動作中每個關節相對於所屬子結構根節點關節的空間軌跡曲線，分別對每個關節計算具有平移、縮放以及旋轉不變性的9個幾何不變矩特徵；步驟23，動作特徵聚類以人體動作庫中的所有動作為聚類對象，對人體動作結構模型中的五個子結構，分別按照子結構中關節的層次關係，使用本層關節的幾何不變矩特徵為聚類向量，使用自適應模糊C均值聚類方法，自頂向下構建動作特徵子樹，對應人體根關節的節點是動作特徵樹的根節點，將根節點指向生成的五個動作特徵子樹，則構成了動作特徵樹。本發明所述步驟3具體包括以下步驟步驟31，示例提交用戶提交檢索動作示例，並指定檢索關節，否則默認指定人體的全部關節作為檢索關節；步驟32，檢索樹生成檢索關節決定人體動作結構模型中參與檢索的子結構，以及參與檢索的關節為從子結構的根節點到檢索關節之間的關節，由此確定計算特徵相似度的範圍；參與檢索的子結構中的關節形成了檢索子樹，對應人體根關節的節點是檢索樹的根節點，將根節點指向檢索子樹，則構成了檢索樹；步驟33，空間軌跡曲線計算對於檢索示例，根據人體關節模型中關節的偏移量坐標和每一幀動作數據中各個關節的旋轉歐拉角，計算在檢索子樹中的關節相對於檢索子樹根節點關節的三維坐標；對於每一個關節，按照幀號順序排列構成三維坐標集合，所述三維坐標集合構成一個動作中該關節相對於所屬子結構根節點關節的空間軌跡曲線，三維坐標集合中的每一個三維坐標對應的點都是該空間軌跡曲線的一個採樣點；步驟34，動作特徵提取由檢索示例在檢索子樹中的關節相對於檢索子樹根節點關節的空間軌跡曲線，分別對檢索子樹中的每個關節計算具有平移、縮放以及旋轉不變性的9個幾何不變矩特徵；步驟35，特徵相似度計算採用以下公式計算特徵相似度similarity (X，Y)Similarity(XJ) = ，其中，χ禾日γ分別為待計算的兩個動作中同一個關節對應的
權利要求
1.一種人體動作數據的空間軌跡檢索方法，其特徵在於，包括以下步驟步驟1，人體動作結構模型定義對人體關節模型進行動作相關性層次分解，形成了包含五個子結構的人體動作結構模型，包括以左髖為子結構根節點的一個子結構、以右髖為子結構根節點的一個子結構、以及以胸部關節為子結構根節點的三個子結構；步驟2，離線動作特徵樹生成對於人體動作庫中的每一個動作，根據人體動作結構模型，計算關節相對於所屬子結構根節點關節的空間軌跡曲線並提取空間軌跡曲線的特徵作為該關節的動作特徵，所述人體動作庫是包含各種人體動作的資料庫，每個人體動作由一組連續幀的動作數據構成；根據人體動作結構模型中五個子結構的層次定義，對提取的動作特徵進行聚類，生成了包含五個動作特徵子樹的動作特徵樹；步驟3，在線動作數據檢索用戶提交檢索示例，並指定檢索關節，所述的檢索示例為表示人體動作的數據；根據指定的檢索關節以及人體動作結構模型得到檢索樹，所述檢索樹由一組檢索子樹構成，所述檢索子樹指人體動作結構模型中從子結構的根節點關節到檢索關節之間的途徑關節構成的子樹；計算檢索示例在檢索子樹中的關節相對於檢索子樹根節點關節的空間軌跡曲線並提取空間軌跡曲線的特徵作為該關節的動作特徵；由檢索樹和動作特徵樹，按照關節的層次關係自頂向下依次進行特徵相似度計算，對最終相似度由高到低排序後將結果動作返回。
2.根據權利要求1所述的一種人體動作數據的空間軌跡檢索方法，其特徵在於，所述步驟2具體包括以下步驟步驟21，空間軌跡曲線計算對於人體動作庫中每一個動作，根據人體關節模型中關節的偏移量坐標和每一幀動作數據中各個關節的旋轉歐拉角，計算每個關節相對於所屬子結構根節點關節的三維坐標；對於每一個關節，按照幀號順序排列構成三維坐標集合，所述三維坐標集合構成一個動作中該關節相對於所屬子結構根節點關節的空間軌跡曲線，三維坐標集合中的每一個三維坐標對應的點都是該空間軌跡曲線的一個採樣點；步驟22，動作特徵提取對於人體動作庫中每一個動作，由動作中每個關節相對於所屬子結構根節點關節的空間軌跡曲線，分別對每個關節計算具有平移、縮放以及旋轉不變性的9個幾何不變矩特徵；步驟23，動作特徵聚類以人體動作庫中的所有動作為聚類對象，對人體動作結構模型中的五個子結構，分別按照子結構中關節的層次關係，使用本層關節的幾何不變矩特徵為聚類向量，使用自適應模糊C均值聚類方法，自頂向下構建動作特徵子樹，對應人體根關節的節點是動作特徵樹的根節點，將根節點指向生成的五個動作特徵子樹，則構成了動作特徵樹。
3.根據權利要求2所述的一種人體動作數據的空間軌跡檢索方法，其特徵在於，所述步驟3包括以下步驟步驟31，示例提交用戶提交檢索動作示例，並指定檢索關節，否則默認指定人體的全部關節作為檢索關節；步驟32，檢索樹生成檢索關節決定人體動作結構模型中參與檢索的子結構，以及參與檢索的關節為從子結構的根節點到檢索關節之間的關節，由此確定計算特徵相似度的範圍；參與檢索的子結構中的關節形成了檢索子樹，對應人體根關節的節點是檢索樹的根節點，將根節點指向檢索子樹，則構成了檢索樹；步驟33，空間軌跡曲線計算對於檢索示例，根據人體關節模型中關節的偏移量坐標和每一幀動作數據中各個關節的旋轉歐拉角，計算在檢索子樹中的關節相對於檢索子樹根節點關節的三維坐標；對於每一個關節，按照幀號順序排列構成三維坐標集合，所述三維坐標集合構成一個動作中該關節相對於所屬子結構根節點關節的空間軌跡曲線，三維坐標集合中的每一個三維坐標對應的點都是該空間軌跡曲線的一個採樣點；步驟34，動作特徵提取由檢索示例在檢索子樹中的關節相對於檢索子樹根節點關節的空間軌跡曲線，分別對檢索子樹中的每個關節計算具有平移、縮放以及旋轉不變性的9 個幾何不變矩特徵；步驟35，特徵相似度計算採用以下公式計算特徵相似度similarity (X，Y)Similarity(XJ) = +，其中，χ和γ分別為待計算的兩個動作中同一個關節對應的空間軌跡曲線，L2為幾何不變矩特徵的歐氏距離，L2採用如下公式計算L2 = I2)1'2，其中Xi和Ii分別為χ和Y對應的幾何不變矩特徵分量，O i為該特徵分量的標準差，i為9個幾何不變矩特徵對應的序號；步驟36，相似動作層次匹配由檢索樹和動作特徵樹，分別在檢索子樹對應的每個動作特徵子樹上從第1層開始直到檢索關節對應的層為止，依次計算檢索示例和人體動作庫中動作的特徵相似度，最後對檢索相關的每個動作特徵子樹上得到的最相似的s個候選動作求交集並計算其最終相似度，對最終相似度由高到低排序後將結果動作返回。
4.根據權利要求3所述的一種人體動作數據的空間軌跡檢索方法，其特徵在於，所述步驟36中相似動作層次匹配包括如下步驟步驟361，由檢索樹獲取本次檢索相關的動作特徵子樹；步驟362，在每個檢索相關的動作特徵子樹上進行特徵相似度計算，獲取和檢索示例最相似的s個候選動作，包括如下步驟步驟3621，由檢索子樹獲取當前動作特徵子樹上進行特徵相似度計算的範圍為子樹上第1層到第h'層之間的節點，其中h'為檢索關節對應的層數；步驟3622，對於當前動作特徵子樹上第1層的每一個節點，計算該節點包含動作的幾何不變矩特徵的算術平均值和檢索示例在該層對應的關節的幾何不變矩特徵的歐氏距離； 對計算的結果進行排序後，選擇距離最小的q個節點作為本層和檢索示例最相關的節點； 步驟3623，對當前動作特徵子樹上第2層到第h'層中的每一層，依次進行如下步驟 步驟3623a，獲取當前層的上一層和檢索示例最相關的q個節點，並獲取這q個節點的子節點，所述q個節點的子節點限定了在當前層上進行特徵相似度計算的範圍；步驟3623b，對於q個節點的子節點中的每一個節點，計算該節點包含動作的幾何不變矩特徵的算術平均值和檢索示例在當前層對應的關節的幾何不變矩特徵的歐氏距離；對計算的結果進行排序後，選擇距離最小的q個節點作為當前層和檢索示例最相關的節點；步驟36M，通過上述步驟計算得到當前動作特徵子樹第h'層中和檢索示例最相關的q個節點，對每一個節點，根據特徵相似度計算公式，計算節點中包含的每個動作和檢索示例從第1層到第h'層對應關節的幾何不變矩特徵的歐氏距離之和，歐氏距離之和的倒數作為該動作和檢索示例在該動作特徵子樹中的相似度，排序後得到最相似的s個候選動作；步驟363，對從檢索相關的每個動作特徵子樹中獲取的最相似的s個候選動作求交集得到s'個最相似的動作；步驟364，對於s'中的每一個動作，對其和檢索示例在檢索相關的每個動作特徵子樹中的相似度進行求和，求和的結果作為該動作和檢索示例的最終相似度； 步驟365，對最終相似度由高到低排序後將s'個結果動作返回。
全文摘要
本發明公開了人體動作數據的空間軌跡檢索方法，包括以下步驟人體動作結構模型定義對人體關節模型進行動作相關性層次分解，形成了包含五個子結構的人體動作結構模型；離線動作特徵樹生成對於人體動作庫中的每一個動作，計算關節相對於所屬子結構根節點關節的空間軌跡曲線並提取空間軌跡曲線的特徵作為該關節的動作特徵；根據人體動作結構模型中五個子結構的層次定義生成了包含五個動作特徵子樹的動作特徵樹；在線動作數據檢索用戶提交檢索示例，並指定檢索關節；根據指定的檢索關節以及人體動作結構模型得到檢索樹；由檢索樹和動作特徵樹，按照關節的層次關係自頂向下依次進行特徵相似度計算，對最終相似度由高到低排序後將結果動作返回。
文檔編號G06F17/30GK102298649SQ20111030213
公開日2011年12月28日 申請日期2011年10月9日 優先權日2011年10月9日
發明者周杰, 孫正興, 陳松樂, 項建華 申請人:南京大學