基於關鍵幀和時空約束的三維虛擬人體運動生成方法
2023-05-29 14:02:11 2
專利名稱：基於關鍵幀和時空約束的三維虛擬人體運動生成方法
技術領域：
本發明屬於計算機三維動畫技術領域，尤其涉及三維人體運動生成技術。
背景技術：
在三維計算機動畫中，人體動畫是最具難度和挑戰的研究課題之一。同樣，虛擬人的運動生成及控制也是虛擬人技術的重要研究方向。然而，由於人體具有200多個自由度， 不同個體的運動又具有不同的動作特點和情緒特徵。同時，虛擬人體運動的生成，還要符合人體運動的基本規律，具有簡單可控的操作方式，需要同時滿足運動的逼真性和控制的有效性。因此三維虛擬人體運動生成，包括設計、製作和控制各部分，十分複雜。目前，三維虛擬人體運動生成方法可分為兩類一是以計算機生成的人體模型為基礎的運動生成方法，二是基於運動捕獲的運動生成方法。計算機生成人體模型的運動生成方法是以數學模型為基礎，通過關鍵幀動畫技術、運動學等方法來產生人體動作。最早的關鍵幀概念來源於早期迪斯尼的動畫製作，熟練的動畫師設計卡通動畫片中的關鍵幀畫面，然後由一般的動畫師來設計中間過渡中畫面。在當前計算機的三維虛擬人體運動生成中，關鍵幀方法仍然被廣泛的使用。該方法包括以下步驟1)確定虛擬人體的幾何模型。可以選擇多種現有的幾何模型，如基於骨骼結構的多剛體模型、表面模型、體模型等。2)確定虛擬人體的靜態姿勢描述方式。即在該模型下使用哪些參數就可以生成不同的人體靜態姿勢。不同的幾何模型使用的參數往往不同，如人體骨骼結構的多剛體模型，多使用表示關節自由度的角度參數(通常選擇主要活動關節，及其表示自由度的40 60個角度參數)，或是各個關節的位置參數來描述人體靜態姿勢。對於表面模型和體模型， 則豐要通過控制表麵皮膚層的面片點集來產生各種姿勢效果。3)設計運動過程中許多個關鍵幀時刻的人體靜態姿勢。對於骨骼結構的多剛體模型，可以採用正向運動學或是逆向運動學的方法來生成人體靜態姿勢。正向運動學的方法，是通過給定各個關節的自由度參數，從而確定人體各個關節的位置以及末端效應器的方位。逆向運動學的方法則恰恰相反，通過給定末端效應器的位置和方向後，然後逆向求解各個中間關節自由度的參數值。4)根據設計好的多個關鍵幀靜態姿勢，採用插值運算由計算機自動生成中間幀畫面。常用的插值方法有雙插值，三次樣條插值，Bezier樣條插值等等。5)最後，連續播放各運動時刻的人體靜態姿勢，所觀看到的就是虛擬人體的運動全過程。該方法簡單直觀，但是需要設計很多個關鍵幀，才能保證插值後的運動過程精確連貫。每一幀的設計過程操作繁重，同時對於中間幀的運動生成又缺少控制，難以實現對某個動作環節的細微調整，整個方法缺少靈活性和方便性。近年來，隨著運動捕捉系統的普及和推廣，出現了越來越多的具有高度真實感的人體運動捕捉系統及商用資料庫。這種基於運動捕獲的人體運動生成方法則是運用傳感器跟蹤人體運動來獲取真實感三維運動數據為基礎，採用數據驅動方式來生成個性化的三維人體運動。該方法已在運動仿真、視頻遊戲、影視特技等領域得到廣泛應用。運動捕獲方法準確的說是一種運動重現，而非真正意義的運動生成。這種方法具有較高的人體運動真實度，但是需要特殊的昂貴的捕獲設備，以及真人的實際表演，具有較高的人力物力代價。此夕卜，依據這種方法獲得的真實感運動數據難以被重用到不同的人體上、更難於對部分運動細節進行編輯和修改。在目前，上述一些三維虛擬人體運動生成方法已形成商業軟體被用於動畫產品的製作中，如 Maya，3D Max, Kaydara Motion Builder，SofWmage，Poser。等。使用上述軟體來完成人體運動製作的過程中，操作繁瑣、效率低下，需要使用者具有較高的經驗。同時，這些軟體還都存在數據重用性低、智能性不高、需要大量人工幹預等缺陷。與本發明方法相關的已有技術介紹如下時空約束方法在虛擬環境中，常把障礙物、人體運動的初始位置和目標位置等對人體運動施加的限制統稱為約束。它既可以是空間上的，也可以是整個運動序列上的，因此又稱作時空約束。時空約束的方法常用來進行運動編輯、運動重定向等研究領域中。加權最小二乘支持向量方法支持向量機(SVM)具有完備的統計學習理論基礎， 特別足對小樣本、非線性、高維數數據點的模式識別和函數估計具有出色的學習和推廣性能。最小二乘支持向量機(LS-SVM)作為SVM的擴展，將SVM對二次規劃問題轉換為求解線性方程組的問題，較SVM方法有更優良的學習速度且結構簡單。但是，LS-SVM丟失了 SVM的鬆散型和魯棒性，為了克服這一問題，提出了加權最小二乘支持向量機方法(WLS-SVM)，多用於解決模式識別和函數估計等問題。
發明內容
本發明為克服上述現有技術的缺點和不足，提出了一種基於關鍵幀和時空約束的三維虛擬人體動作生成方法。該方法無需特殊的視頻捕獲設備，提高了三維人體動畫製作的簡易性，具有方便、高效、靈活的特點。本發明的上述目的通過以下技術方案實現。本發明的基於關鍵幀和時空約束的三維虛擬人體運動生成方法，包括以下步驟1)首先，使用骨骼結構的多剛體模型作為三維虛擬人體運動控制的幾何模型，並確定控制該幾何模型運動所需要的關節及其自由度的個數；2)由所述虛擬人幾何模型中確定的所有表示自由度的角度參數構成的矢量，作為虛擬人體靜態姿勢形式化描述的參數；每一個虛擬人體的靜態姿勢，對應一組自由度的角度參數值；3)對待生成的人體動作，根據正向運動學或逆向運動學製作最小運動跨度和最大運動跨度這兩個關鍵幀時刻的人體靜態姿勢；4)對待生成的虛擬人體運動全過程的時間序列進行等時間間隔採樣，將該運動過程劃分為時間相等的運動段；判斷是否需要增加採樣點，若是則根據確定的採樣點個數及其在時間序列上的位置，繼續進行非等時間間隔採樣，否則直接進行下一步；5)採用基於時空約束的方法，對步驟4)中確定的每個時間採樣點，通過調節各採樣點時刻人體靜態姿勢的自由度的角度參數相對於最小或最大運動跨度關鍵幀時刻的偏移量(具體作法為以最小運動跨度關鍵幀時刻的自由度的角度參數作為最小值0，以最大運動跨度關鍵幀時刻的自由度的角度參數作為最大值1，則在0 1之間調節每個時間採樣點的自由度的角度參數)，得出待生成運動過程中各時間採樣點的角度參數；對步驟4)中等時間間隔採樣得到的所有時間點，判斷是否需要增加中間幀，若是，則轉步驟6)，否則轉步驟7)；對於步驟4)中非等時間間隔採樣得到的時間點，轉步驟6)；6)對步驟幻生成的所有採樣時刻的角度參數進行擬合(可採用加權最小二乘支持向動的生成畫面更加平滑流暢；7)判斷待生成的虛擬人體運動在三維空間中的相對位置是否發生變化，若否，則虛擬人體在三維空間中始終位於最初的位置上，直接轉步驟8)若是，則給出不同時刻虛擬人在三維空間中的位置參數，轉步驟8)8)根據步驟5)和6)得到的各時刻的自由度的角度參數以及正向運動學方法，生成該時刻虛擬人體的靜態姿勢，並根據步驟7)中給出的該時刻虛擬人在三維空間中的位置參數，在虛擬世界中的指定位置處加以顯示，通過連續播放運動序列，最終生成虛擬人體在三維空間中的運動全過程。本發明的特點及效果本發明的方法，選擇待設計動作中運動跨度最大的兩個極值時刻作為關鍵幀，其他運動時刻的角度參數均落在該跨度範圍之內。對於這兩個關鍵幀，需要由用戶設置該時刻的虛擬人體靜態姿勢。對於其他中間幀，採用時空約束的方式，對採樣的時間點互動設計角度參數相對於最小(或最大)運動跨度關鍵幀的角度偏移量，通過加權最小二乘支持向量機來擬合出角度變化曲線，完成角度插值。最後，通過在用戶指定的三維虛擬空間位置中連續播放不同時刻的人體靜態姿勢，即生成虛擬人在三維虛擬空間中運動的全過程。本發明的方法，需要設置的關鍵幀數目少，動畫師只需對待生成動作的兩個關鍵幀設計虛擬人體靜態姿勢即可。而對於中間的運動過程，用戶只需確定採樣時間點，調節每個時間點上的角度偏移量，以及給出虛擬人相對於三維空間的位置參數，就可以實時、自動地生成虛擬人體運動的全過程。該方法，無需調節其他特殊參數，也無需各種數學公式和經驗的困擾，能夠完全根據用戶的需要來設計人體動作。該方法為用戶提供了簡單、方便、快捷、直觀的動作設計平臺，將用戶從繁瑣的設計中解脫出來。同時，在靜態姿勢和動態運動的設置過程中，可以實時、全方位地觀看三維效果。此外，用該方法設計虛擬人體的靜態姿勢和動態運動，能夠方便的進行修改、編輯、保存和重用，大大降低了動作設計成本。
圖1是按照本發明的虛擬人體運動生成方法流程圖圖2是右手揮手動作的等時間間隔採樣點下的自由度的角度參數偏移量的設定；圖3是人體上跳動作中採樣點時刻的自由度的角度參數及其角度參數擬合曲線；圖4是人體上跳動作中採樣點時刻虛擬人體在三維空間中的位置參數及其位置參數擬合曲線
具體實施方式
本發明提出的基於關鍵幀和時空約束的三維虛擬人體運動生成方法結合附圖及實施例詳細說明如下本發明基於關鍵幀和時空約束的三維虛擬人體運動生成方法，如圖1所示，包括以下步驟1)首先，使用骨骼結構的多剛體模型作為三維虛擬人體運動控制的幾何模型，並確定控制該幾何模型運動所需要的關節及其自由度的個數η，η為正整數；2)由所述虛擬人幾何模型中確定的所有表示自由度的角度參數構成的矢量[θ 」
θ2，......θ η]，作為虛擬人體靜態姿勢形式化描述的參數；每一個虛擬人體的靜態姿勢，
對應一組自由度的角度參數值；3)對待生成的人體動作，根據正向運動學或逆向運動學製作最小運動跨度和最大運動跨度這兩個關鍵幀時刻的人體靜態姿勢(人體運動過程中，人體運動部位的運動軌跡會在空間內形成一個平面，該運動空間平面的兩個邊界位置的時刻，即選取為最小和最大運動跨度關鍵幀；其他時刻的運動軌跡均包含在由最小、最大運動跨度關鍵幀所形成空間平面內)；4)對待生成的虛擬人體運動全過程的時間序列進行等時間間隔採樣，將該運動過程劃分為時間相等的運動段判斷是否需要增加採樣點，若是，則根據確定的採樣點個數及其在時間序列上的位置，繼續進行非等時間間隔採樣，否則直接進行下一步；5)採用基於時空約束的方法，對步驟4)中確定的每個時間採樣點，通過調節該時刻人體靜態姿勢的自由度的角度參數的偏移量(具體調節方法為以最小運動跨度關鍵幀時刻的自由度的角度參數作為最小值0，以最大運動跨度關鍵幀時刻的自由度的角度參數作為最大值1，則在0 1之間調節每個時間採樣點的自由度的角度參數)，得出待生成運動過程中各時間採樣點的角度參數；對步驟4)中的等時間間隔採樣得到的所有時間點，判斷是否需要增加中間巾貞，若是，則轉步驟6)，否則轉步驟7)；對於步驟4)中非等時間間隔採樣得到的時間點，轉步驟6)；6)對步驟幻生成的所有採樣時刻的角度參數進行擬合(擬合方法可採用加權最小二乘支持向量機實現)，生成一條人體運動在所有時刻的連續的角度參數時間變化曲線， 使得人體運動的生成畫面更加平滑流暢；7)判斷待生成的虛擬人體運動在三維空間中的相對位置是否發生變化，若否，則虛擬人體在三維空間中始終位於最初的位置[Χο^,Ζο]上，直接轉步驟8)；若是，則給出不同時刻虛擬人在三維空間中的位置參數[Xi，yi，Zi]，轉步驟8)8)根據步驟5)和6)得到的各時刻的自由度的角度參數以及正向運動學方法，生成該時刻虛擬人體的靜態姿勢，並根據步驟7)中給出的該時刻虛擬人在三維空間中的位置參數，在虛擬世界中的指定位置處加以顯示，通過連續播放運動序列，最終生成虛擬人體在三維空間中的運動全過程。本發明方法的設計的兩種實施例說明如下實施例1 以右手揮手動作作為待生成的虛擬人體運動。該揮手動作，右手手臂最初位於中間處，先向左揮動到最小運動跨度處，再向右揮動到最大運動跨度處，最後再向左擺回至中間位置，完成擺動全過程。本實施例的上述三維虛擬人體運動生成方法，包括以下步驟
1)首先，使用骨骼結構的多剛體模型作為三維虛擬人體運動控制的幾何模型，並確定控制該幾何模型運動所需要的關節及其自由度的個數由於人體有多達200多個自由度，為了平衡虛擬人體運動的逼真性和可控性，本實施例選取了 18個主要關節的45個自由度(未考慮手腳的關節劃分)，包括骶骨關節(6個自由度)、腰關節(3個自由度)、胸關節 (3個自由度)、頸關節(3個自由度)、左(右)胸骨鎖骨關節0個自由度)、左(右)肩關節(3個自由度)、左(右)肘關節0個自由度)、左(右)腕關節0個自由度)、左(右) 髖關節(3個自由度)、左(右)膝關節0個自由度)、左(右)踝關節(1個自由度)。虛擬人體的質心設置在骶骨關節處，質心位置則代表了虛擬人在三維空間的位置。骶骨關節的六個自由度確定了虛擬人體與所在三維空間中的方位關係，三個角度參數[θ 」 θ2，θ3] 確定了虛擬人體在三維空間中的朝向，三個位置參數[X(l，y0, z0]確定了虛擬人體在三維空間的位置；這45個自由度包括42個自由度的角度參數和3個自由度的位置參數；2)由上述虛擬人幾何模型中確定的表示自由度的42個角度參數構成的矢量 [θ1 θ2，......θ 42]，作為虛擬人體靜態姿勢形式化描述的參數3)對待生成的右手揮手動作，根據正向運動學製作最小運動跨度和最大運動跨度這兩個關鍵幀時刻的人體靜態姿勢揮手動作中手臂處在最左端的狀態設定為最小運動跨度關鍵幀(該時刻自由度的角度參數作為最小值0)，手臂處在最右端的狀態設定為最大運動關鍵幀(該時刻自由度的角度參數作為最大值1)4)對待生成的右手揮手動作的全過程進行等時間間隔採樣，選取11個採樣點，將運動過程劃分為10個時間相等的運動段(本實施例無需增加其他採樣點)；5)根據該揮手動作，手臂的最初位置位於中間處，先向左揮動到最小運動跨度處， 再向右揮動到最大運動跨度處，最後再向左擺回至中間位置結束該動作，採用基於時空約束的方法，對步驟4)中確定的11個時間採樣點，在0 1之間調節各時刻人體靜態姿勢的自由度的角度參數偏移量，得出運動過程中各採樣點時刻的角度參數；具體採樣時刻的角度參數的設置如圖2所示，圖中的小黑點為各採樣點時刻的角度參數；這11個時間採樣點已經足夠控制揮手動作的運動過程，本實施例也不需要再增加中間幀；6)本實施例中只是右手揮動的動作，只是右臂在運動，虛擬人體相對於三維空間的位置並未發生改變，始終處於[&，10，Z0]處；7)對步驟5)中得到的各時刻的自由度的角度參數使用正向運動學方法，生成該時刻虛擬人體的靜態姿勢，通過連續播放運動序列，最終生成虛擬人體在三維空間中的右手揮動動作。實施例2 以人體上跳動作作為待生成的虛擬人體運動。該運動過程為準備上跳時，人體微微半蹲，略向下深蹲後，向上起跳，離地，懸於空中片刻後，落地，微微下蹲緩衝， 最後全身直立站在地面，完成整個上跳運動。本實施例的上述三維虛擬人體運動生成方法，包括以下步驟1)首先，使用骨骼結構的多剛體模型作為三維虛擬人體運動控制的幾何模型，並確定控制該幾何模型運動所需要的關節和及其自由度的個數；與實施例1相同，選取了控制人體運動的18個主要關節及其45個自由度，包括42個自由度的角度參數和3個自由度的位置參數；2)由上述虛擬人幾何模型中確定的表示自由度的42個角度參數構成的矢量[θ1 θ2，......θ 42]，作為虛擬人體靜態姿勢形式化描述的參數；3)對待生成的人體上跳動作，根據正向運動學製作最小運動跨度和最大運動跨度這兩個關鍵幀時刻的人體靜態姿勢；人體上跳過程中，下肢屈膝彎曲的最大程度狀態設置為最小運動跨度關鍵幀(該時刻自由度的角度參數作為最小值0)，人體全身保持直立的狀態為最大運動跨度關鍵幀(該時刻自由度的角度參數作為最大值1)。4)對待生成的虛擬人體上跳動作的全過程進行等時間間隔採樣，選取4個採樣點，將運動過程劃分3個時間相等的運動段，第一段表示全身從最初的半蹲狀態到離開地面的起跳過程，第二段表示全身直立懸於空中的過程，第三段表示落回地面的過程；為了更細緻的描述具體過程，本實施例增加了 6個時間採樣點第一個採樣點是在第一段起跳的過程中，加入了一個下蹲到最大程度狀態的採樣點。接下來的四個採樣點加在第二段全身直立於空中的過程中；最後一個點是在第三段落地的過程中，加入了一個落地後緩衝到半蹲狀態的採樣點；這樣就構成了有10個採樣點的非等時間間隔採樣；5)採用基於時空約束的方法，對步驟4)中確定的10個時間採樣點上，通過調節該時刻人體靜態姿勢的自由度的角度參數偏移量，得出運動過程中各採樣點時刻的角度參數第一個採樣點時刻，人體微微半蹲，準備起跳第二個採樣點時刻，人體繼續向下下蹲到最大程度，即是最小運動跨度時刻的關鍵幀；第三個採樣點，人體即將離地，全身保持直立接下來的四個採樣點，保持全身直立，懸於空中；第八個採樣點，人體剛剛落地，全身保持直立；第九個採樣點，人體落地緩衝後微微半蹲最後一個採樣點，全身直立站在地上， 結束上跳動作；6)對步驟幻生成的10個採樣時刻的角度參數，用加權最小二乘支持向量機方法進行擬合，生成一條人體運動在所有時刻的連續的角度參數和時間的變化曲線，如圖3所示，圖中，圖中的小黑點為各採樣點時刻的角度參數，曲線為用角度參數擬合後的曲線；在進行擬合中，由於最小、最大運動跨度關鍵幀的角度參數是設定的，比較精確，因此給予較高的權重，例如設置為0. 1，而對於運動過程中其他時間採樣點上的角度參數，可以給予較低的權重，例如設置為0. 02 ；用這種加權最小二乘支持向量機方法，能夠擬合得到一條平滑的各關節角度變化曲線，其一階導數角速度的變化也是連續的，符合人體運動的基本規律7)判斷待生成的虛擬人體上跳動作在三維空間中的相對位置是否發生變化。由於人體下蹲和上跳懸空的狀態下，人體質心位置均發生了變化，即虛擬人體在三維空間中的相對位置發生了變化，因此需要給出不同時刻虛擬人體在三維空間中的位置參數[Xi，yi， Zi]；在此人體上跳運動中，人體質心的位置在上下(y軸)方位上發生了移動，而沒有在左右(χ軸)和前後(ζ軸)的方向上發生移動，因此只有y的值發生了變化；具體的人體位置和時間變化關係如圖4所示，圖中小黑點為採樣點時刻的位置參數，曲線為質心位置擬合後的曲線。8)對步驟6)中得到的各時刻的自由度的角度參數使用正向運動學方法，生成該時刻虛擬人體的靜態姿勢，並根據步驟7)中給出的該時刻虛擬人在三維空間中的位置參數，在虛擬世界中的指定位置處加以顯示，通過連續播放運動序列，最終生成虛擬人體在三維空間中的上跳動作。
權利要求
1.基於關鍵幀和時空約束的三維虛擬人體運動生成方法，其特徵在於，包括以下步驟1)首先，使用骨骼結構的多剛體模型作為三維虛擬人體運動控制的幾何模型，並確定控制該幾何模型運動所需要的關節及其自由度的個數；2)由所述虛擬人幾何模型中確定的所有表示自由度的角度參數構成的矢量作為虛擬人體靜態姿勢形式化描述的參數；每一個虛擬人體的靜態姿勢，對應一組自由度的角度參數值；3)對待生成的人體動作，根據正向運動學或逆向運動學製作最小運動跨度和最大運動跨度這兩個關鍵幀時刻的人體靜態姿勢；4)對待生成的虛擬人體運動全過程的時間序列進行等時間間隔採樣，將該運動過程劃分為時間相等的運動段；判斷是否需要增加採樣點，若是則根據確定的採樣點個數及其在時間序列上的位置，繼續進行非等時間間隔採樣，否則直接進行下一步；5)採用基於時空約束的方法，對步驟4)中確定的每個時間採樣點，通過調節該時刻人體靜態姿勢的自由度的角度參數相對於最小或最大運動跨度關鍵幀時刻的偏移量，得出待生成運動過程中各時間採樣點的角度參數；對步驟4)中等時間間隔採樣得到的所有時間點，判斷是否需要增加中間巾貞，若是，則轉步驟6)，否則轉步驟7)對於步驟4)中非等時間間隔採樣得到的時間點，轉步驟6)；6)對步驟幻生成的所有採樣時刻的角度參數進行擬合，生成一條人體運動在所有時刻的連續的角度參數時間變化曲線，使得人體運動的生成畫面更加平滑流暢；7)判斷待生成的虛擬人體運動在三維空間中的相對位置是否發生變化，若否，則虛擬人體在三維空間中始終位於最初的位置上，直接轉步驟8)；若是，則給出不同時刻虛擬人在三維空間中的位置參數，轉步驟8)；8)根據得到的各時刻的自由度的角度參數以及正向運動學方法，生成該時刻虛擬人體的靜態姿勢，並根據步驟7)中給出的該時刻虛擬人在三維空間中的位置參數，在虛擬世界中的指定位置處加以顯示，通過連續播放運動序列，最終生成虛擬人體在三維空間中的運動全過程。
2.如權利要求1所述方法，所述步驟的調節各採樣點時刻人體靜態姿勢的自由度的角度參數相對於最小或最大運動跨度關鍵幀時刻的偏移量的方法為以最小運動跨度關鍵幀時刻的自由度的角度參數作為最小值0，以最大運動跨度關鍵幀時刻的自由度的角度參數作為最大值1，則在0 1之間調節每個時間採樣點的自由度的角度參數。
3.如權利要求1所述方法，其特徵在於，所述步驟6)中的擬合方法採用加權最小二乘支持向量機實現。
全文摘要
本發明涉及基於關鍵幀和時空約束的三維虛擬人體運動生成方法，屬於計算機三維動畫技術領域，該方法包括使用骨骼結構的多剛體模型作為三維虛擬人體運動控制的幾何模型，由幾何模型中確定的所有表示自由度的角度參數構成的矢量作為虛擬人體靜態姿勢形式化描述的參數；製作最小運動跨度和最大運動跨度兩個關鍵幀時刻的人體靜態姿勢；對運動的時間序列進行等時間或非等時間採樣，確定的每個時間採樣點的角度偏移量，得出待生成運動過程中各時間採樣點的角度參數；再生成該時刻虛擬人體的靜態姿勢並確定位置參數，生成虛擬人體在三維空間中的運動全過程。該方法無需特殊的視頻捕獲設備，提高了三維人體動畫製作的簡易性，具有方便、高效、靈活的特點。
文檔編號G06T13/40GK102467749SQ201010537660
公開日2012年5月23日 申請日期2010年11月10日 優先權日2010年11月10日
發明者嚴峰 申請人:上海日浦信息技術有限公司