組合多傳感輸入以用於數字動畫的製作方法

2023-06-03 20:47:51

專利名稱：組合多傳感輸入以用於數字動畫的製作方法
技術領域：
本發明涉及運動捕捉，更具體而言，涉及組合多傳感輸入以用於數字動畫。
背景技術：
運動捕捉系統被用於捕捉演員和/或物體的運動並按照對他們進行動畫模擬的方式將他們映射到計算機生成的對象上。這些系統通常用在運動畫面和視頻遊戲的製作中，以用於創建對演員和/或物體的數字表示來用作創建計算機圖形(「CG」)動畫的源數據。在普通系統中，演員穿著ー套服裝，該服裝上的各個位置附著有標記(marker)(例如，小的反射標記被附著在身體和四肢上)。適當放置的數位相機隨後在標記被照亮的同時從 不同角度記錄演員身體在捕捉體積(capture volume)中的運動。系統隨後分析圖像來確定在每ー幀中演員服裝上的標記的位置(例如，空間坐標)。通過跟蹤標記的位置，系統隨時間創建標記的空間表示，並建立運動中的演員的數字表示。運動隨後被應用到虛擬空間中的數字模型，該數字模型可以被加紋理並渲染，以產生演員和/或表演的完整CG表示。該技術已經被特效公司用於在很多流行電影中產生逼真的動畫。

發明內容
在一種實現方式中，ー種基於運動捕捉的表演來動畫模擬數字角色的方法被公開。該方法包括接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少ー種；以及管理和組合所收集的傳感數據，以輔助清洗、跟蹤、標記和重定向過程。在另ー實現方式中，ー種組合運動捕捉系統被公開。該系統包括標記模塊；跟蹤模塊；清洗模塊；重定向模塊；以及輸入管理模塊，該輸入管理模塊被配置為接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少ー種，並且該輸入管理模塊管理和組合所接收的傳感數據，以產生指導所述清洗模塊、所述跟蹤模塊、所述標記模塊和所述重定向模塊的輸出。在又ー實現方式中，一種存儲電腦程式的非瞬態有形存儲介質被公開，所述電腦程式用於基於運動捕捉的表演來動畫模擬數字角色。所述電腦程式包括致使計算機執行如下操作的可執行指令接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少ー種；以及管理和組合所收集的傳感數據，以輔助清洗、跟蹤、標記和重定向過程。在閱讀以下詳細描述和附圖之後，本發明的其他特徵和優點將對本領域普通技術人員變得顯而易見。


圖I示出根據本發明一種實現方式的組合運動捕捉系統。圖2示出構成根據本發明一種實現方式的組合運動捕捉系統的各個模塊。
圖3A和3B形成示出根據本發明一種實現方式用於組合多傳感輸入的技術的流程圖。圖4A示出計算機系統和用戶的表示。圖4B是示出容宿組合運動捕捉系統的計算機系統的功能框圖。
具體實施例方式這裡所公開的某些實現方式用於組合多傳感輸入以用於數字動畫。在閱讀本說明書之後，如何在各種實現方式和應用中實現本發明將變得明顯。但是，雖然這裡將描述本發明的各種實現方式，但是應該理解，這些實現方式僅以示例方式而非限制方式給出。因此，對各種實現方式的詳細描述不應該被理解為限制本發明的範圍或廣度。各種實現方式包括用於基於所捕捉的表演來動畫模擬數字角色(包括身體、臉和眼睛)的技木。這些技術包括単獨或組合使用各種傳感數據(sensory data)。例如，使用運動捕捉系統、傳統視頻、眼電圖(electro-oculography)系統和慣性運動捕捉系統來收集傳感數據，這些系統適合於捕捉演員表演並在各種製作情形中將他們重定向到數字角色上。在該實現方式中，用於捕捉演員表演和物體結構和運動的不同工具被組合，並且數據被集合到一起來創建表演的表示，例如在動畫電影中動畫模擬數字角色。因此，這些工具適合於捕捉演員表演並在各種製作情形中將他們重定向到數字角色上。在一種實現方式中，各種運動捕捉技術被組合。在一個示例中，在不同捕捉體積中執行的運動捕捉會話被組合。在演員穿著帯有光反射標記和臉部反射標記的運動捕捉服時，在聲音階段可以執行完全大體積、高足跡(footprint)捕捉。所捕捉的數據被自動標記、清洗並重定向到數字角色上。所產生的動畫使用藝術家熟悉的控制項，從而他們可以容易地將動畫擴展以滿足製作的藝術需求。這被用來在很多製作項目上在例如55X55X25英尺的大體積中同時捕捉、處理和重定向身體和臉部兩者。可以對ー個或多個視頻流執行低體積、低足跡、在場(on-set)捕捉。該過程使用演員在他們的身體服裝上佩戴的經編碼並因此可識別的標記以及臉上的筆標記(pen marker)。這些標記在視頻中被識別和跟蹤。跟蹤到的2D數據隨後被分析和重定向到數字角色上。這已被用於在場景燈光在捕捉時間對項目具有最小影響的情況下捕捉在場演員，但是已經在數字角色上產生自動/半自動標記、跟蹤和重定向的動畫。在另ー示例中，有時當由於場景局限(例如，場景燈光)難以或不可能放置相機時，不希望使用傳統的運動捕捉系統。在此情況下，可以使用慣性系統，其中該系統產生精確的對身體部分的相對動畫，但是這樣的系統具有無法精確地跟蹤演員的絕對位置的缺陷。絕對位置(通常被稱為演員的根(root))隨時間漂移(drift)，因此演員在3D真實世界中的位置與角色在「圖形」世界中的位置不匹配。這種不希望的效果是慣性系統的操作的缺陷。但是，這種不希望的效果當在數字場景中排列演員時確實造成問題。為了解決該問題，諸如光學和聲學輸入之類的其他傳感輸入可以與慣性系統組合來使方案自動化並解決數字角色的絕對位置的問題。因此，多個傳感數據流被有效地組合，以使用慣性和視頻系統或慣性和聲學系統的組合來產生好的動畫。在一種實現方式中，基於視頻的系統解決根，同時慣性系統提供圍繞根的局部動畫。在組合運動捕捉系統的ー種實現方式中，可以提供以下輸入(a)來自傳統運動、捕捉系統的重構的3D點(例如，在大體積中);(b)來自多個攝像機的跟蹤的2D實體(在低足跡在場的情況下)；(c)來自由於漂移問題在位置上不同步的慣性系統的動畫數據；或者(d)它們的組合。通過在數字角色裝備(rig)上提供動畫製作者熟悉的控制項上的鍵，從該系統產生的輸出包括對於身體和臉部的最終動畫。此外，該組合的系統還可以包括離線校準(calibration)步驟,其中演員將身體和臉部經過一定的運動移動範圍。這些運動移動範圍被用來引導標記、跟蹤和重定向步驟。雖然用來清洗、跟蹤和重定向數據集的基本技術在大多數情況下是非常類似的，但是各處理步驟可能取決於所使用的輸入數據的類型而不同。就是說，輸入數據是3D、2D還是它們的組合。在一個示例中，用於臉部處理的常見基本技術是臉部動作編碼系統(FACS)，該系統定義針對人臉的一列合法動作單位，並指定對於人臉的臉部肌肉的約束。從光學系統和眼電圖系統獲得的數據被組合以輔助臉部處理。但是，在未來，從光學系統獲得的數據可以與來自其他系統的數據組合以用於臉部處理。
在另ー示例中，用於身體處理的常見基本技術是反向運動(Inverse Kinematics,IK)，其基於在骨骼關節分配的自由度來提供用於人體的合法骨骼移動的數學公式。從光學系統和慣性系統獲得的數據被組合以輔助身體處理。在一種實現方式中，當輸入是多個3D數據點時，數據點被定義為3D空間中的未標記點，這些未標記點對應於多個演員在一定體積中的運動。在此情況下，身體和臉部數據點被分成兩個集合(可以包括與多個人相對應的數據)。身體標記被標記、跟蹤、清洗和隨後重定向。工具可被用來基於人身上的標記的經編碼排列來自動標記第一幀(身體T姿勢)。隨後的幀中的標記基於IK模型通過預測來標記。一旦基本上所有幀中的標記都被標記和跟蹤，則基於校準數據的重定向步驟在數字角色的骨骼上生成動畫鍵(key)。臉部數據在粗略穩定化過程中被處理，其中頭部標記被用來生成將臉部標記映射到中性(neutral)空間的變換。目的是使得臉部標記僅示出由於臉部表情引起的運動而不示出由於身體移動引起的運動。結果隨後通過兩個同時的過程(精細穩定化過程和標記過程)被處理。精細穩定化過程使用「學習到的」基於FACS的動作單位，這些基於FACS的動作単位進ー步鎖定臉部標記的任何粗略移動。標記過程標記所有臉部標記。被跟蹤和標記的標記隨後通過重定向步驟(被稱為FACS解算器(solver))被處理，其中傳入的表達被分成FACS動作單位的加權基本集合。這些權重被用作在數字臉部上得到的臉部姿態上的鍵。在另ー實現方式中，至少ー個攝像機被用於捕捉身體和臉部，從而輸入是包括多個2D數據點的視頻。在身體捕捉情況下，使用自識別的光學標記，其中每個標記被以唯一的ID編碼。該代碼可以使用圖像處理邏輯被視覺檢測。一旦被檢測到，圖像中標記的位置和朝向就被計算。這些標記的2D位置在每ー幀中針對所有相機被識別。2D位置隨後被輸入到多相機IK解算器系統。該系統採取被校準到特定演員的3D骨骼模型和2D點作為輸入，該特定演員身上有附著到骨骼的3D偏移標記。接下來，骨骼的骨頭和偏移標記的位置和/或朝向基於優化技術被計算，以大大減小被放置的標記的位置和在多個相機中同時觀察到的實際2D數據之間的誤差。在臉部捕捉情況下，使用工作在「圖像」空間而非「世界」空間中的臉部運動捕捉解算器。就是說，該解算器僅需要標記在單個相機中的2D位置來解算演員的朝向和表情兩者。該解算器通過如下步驟來實現這一點首先使用演員在中性姿態中的模型來解算對頭部的位置的估計；然後使用FACS系統來解算表情。在組合運動捕捉系統的另ー實現方式中，從以下過程獲得的數據被組合來提供輸出結果(a)從T姿勢標記器獲得的3D身體標記位置；(b)從運動標記和清洗獲得的3D身體標記位置；(c)從臉部數據的穩定化獲得的3D臉部標記位置；(d)從臉部標記和清洗獲得的3D臉部標記位置；(e)通過選擇最好的T姿勢獲得的3D臉部標記位置；(f)從基於FACS的臉部重定向獲得的3D臉部標記位置；(g)從調諧動畫模擬獲得的3D臉部標記位置；(h)從基於視頻的臉部和身體跟蹤獲得的2D標記位置；(i)從基於視頻的臉部動畫解算器獲得的2D標記位置；和(j)從基於視頻的身體動畫解算器獲得的2D標記位置。下面將描述上面列出的應用中的每個應用。對於T姿勢標記器過程(a)，所捕捉的身體和臉部數據作為3D標記點的雲被逐幀輸出。最初，演員在第一幀中站在T姿勢位置上。然後，在第一幀上給定多個未經識別的標 記並且利用演員處於T姿勢位置的知識，T姿勢標記器基於統計標記分布識別捕捉體積中的每個人，並在該第一幀上標記出每個人上的每個標記。該過程具有極大的省時效果，因為所有標記出的標記的在第一場景中的自舉(boot strapping)自動發生。對於運動標記和清洗過程(b)，一旦標記在第一 T姿勢幀中被標記出，就要在所有幀中標記出這些標記。就是說，演員在各種條件下動作，例如改變相對於相機的位置、彼此交互、執行複雜的運動，例如體操、在地板上旋轉和其他類似動作。這種位置的改變可以造成很多標記被不時地遮蔽。運動標記過程使用反向身體運動來預測標記的位置，標記它們並確保標記是根據人身體的運動來移動的。此外，運動標記和清洗步驟將概率模型與運動模型一起使用，以減小噪聲和獲得可以被用於標記的更可靠的/標記出的標記數據集。對於臉部數據穩定化過程(C)，運動捕捉臉部標記通常隨身體移動並由於臉部表情而改變相對位置。出於臉部重定向的目的，這些標記被穩定化到正規化空間(即，沒有粗略的移動)然後被標記。雖然該過程可以被感覺為通過計算每幀將頭部鎖定到正規化位置的變換而容易完成，但是其可以設計更複雜的計算。例如，由於用於變換的標記本身可以移動，因此穩定化過程可能導致額外的噪聲。在此情況下，可以使用基於FACS的臉部表情模型來獲得好的穩定化數據。對於臉部標記和清洗過程⑷，一旦數據被穩定化即完成標記任務。但是，該過程可能需要結合穩定化過程本身來工作，因為在大體積中捕捉的臉部標記數據具有很多問題，包括高信噪比、由於臉部被遮擋而引起的標記中的間隙。該過程使用基於FACS的通用臉部模型庫來生成乾淨的、高信噪比(SNR)的標記數據。對於選擇最好T姿勢的過程(e)，好的T姿勢被搜索以提供臉部重定向的正確操作。在製作中，標記可以在不同日子被附貼到演員，從而導致標記經過不同場所並因此使得中性臉部看起來每天不同。雖然演員在每次拍攝的開始和結束時被指導執行T姿勢，但是演員的中性臉部通常看起來取決於臉部肌肉緊張、情緒和演員疲勞感而不同。選擇針對T姿勢的最佳幀通常取決於重定向過程的選擇。因此，基於標記被附貼到演員的每天所執行的各種校準對話，最小均方誤差最佳T姿勢被選擇。基於FACS的臉部重定向過程(f)是優化過程，該過程接收穩定化的、乾淨的標記出的數據(使用上面列出的過程中的某些)和臉部表情模型來生成用於觸發的FACS姿勢的非零加權值。雖然可獲得執行主要分量分析(PCA)或類似統計分析的其他系統，但是基於FACS的優化過程產生可由動畫製作者修改以進行姿勢修改的值。這允許動畫製作者在循環中能夠控制解的輸出或者容易地利用所獲得的解工作。調諧動畫過程(g)涉及對沒有產生所期望的輸出的動畫進行調諧重定向。這可能是由於變化的標記布置，或者演員可能沒有以足夠強度或甚至更小強度做動作，或者或許用於重定向的臉部裝備沒有與數據一起很好地工作。在這些情況下，動畫製作者進入特定的幀並重新調整解並且系統向後工作，重新校準輸出，以便使得解在特定幀上是合乎需要的。經重新校準的輸入隨後被應用到所有幀以產生更合乎需要並且由藝術家指導的動畫。基於視頻的臉部和身體跟蹤應用(h)是可以在場(on set)或離場(off set)使用的獨立於平臺的應用。基於視頻的臉部和身體跟蹤應用提供軟體框架，該軟體框架允許各種跟蹤引擎在統一環境下使用，其中藝術家可以選擇對特定標記和幀範圍最好的跟蹤方法；在ー些種子標記被識別之後可以被用於自動標記點的特定於角色的標記集和模型。基於視頻的臉部和身體跟蹤應用還提供特定於標記的插件，用於輔助檢測和細化針對各種不 同標記的標記位置，所述不同標記包括臉部的點、碰撞測試標記、以及可被用於在單個圖像中找到標記的身份和朝向兩者的自識別標記。基於視頻的臉部和身體跟蹤應用還提供包括位置、朝向和鏡頭屬性的在場相機校準。出於在場相機校準的目的，小校準對象被放在已知位置上，並且標記的圖像坐標被識別，並且相機相對於該已知位置被校準。該過程還可以與傳統的運動捕捉系統協同使用，以使得相機與系統對準。基於視頻的臉部動畫解算器(i)包括頭部姿勢解算器、FACS解算器和控制實體。頭部姿勢解算器從在2D中跟蹤的一組標記估計角色頭部的位置和姿勢。這是通過首先估計哪個標記處在與處於中性姿勢的演員相一致的位置上來進行。然後使用這些標記估計出頭部的位置和姿勢。FACS解算器通過評價在前一步驟中估計出的位置和姿勢中3D模型上的標記的圖像位置來計算表情。這是通過估計3D模型點在何處投射到圖像中並且比較這有多符合所跟蹤的標記位置來進行的。控制實體允許藝術家控制各標記對位置和姿勢估計的影響。基於視頻的身體動畫解算器包括骨架根解算器和骨骼朝向解算器。骨架根解算器基於所跟蹤的或自識別的在視頻序列中的根標記位置來計算身體骨架在3D中的位置。根是使用目標函數來計算的，該目標函數大大減小了所跟蹤的數據和被投射到相機中的骨架根標記的位置之間的誤差。骨骼朝向解算器基於所跟蹤的或自識別的在視頻序列中的身體標記位置來計算骨架上的骨骼的朝向。該解算是逐個骨骼鏈執行的，其中人的骨架上具有五條鏈ー脊椎、左手臂、右手臂、左腿和右腿。骨骼朝向是使用目標函數來計算的，該目標函數大大減小了所跟蹤的數據和被投射到相機中的骨架身體標記的位置之間的誤差。圖I示出根據本發明一種實現方式的組合運動捕捉系統100。在圖I所示實現方式中，組合系統100接收如下各項中的至少ー個重構的3D點(INl)、跟蹤的2D實體(IN2)、動畫數據(IN3)、組合數據(IN5)和針對身體和臉部的運動移動的範圍(IN4)。重構的3D點是從傳統的運動捕捉系統接收的(通常在大捕捉體積的情況下)。跟蹤的2D實體是在低足跡的情況下從多個攝像機接收的。動畫數據是從由於漂移(drift)問題而在位置上不同步的慣性系統接收的。組合數據包括重構的3D點、跟蹤的2D實體和動畫數據的某些組合。組合系統100還接收從離線的校準步驟得到的運動移動範圍的輸出，所述運動移動範圍是演員的身體和臉部經歷的運動移動範圍。通過在數字角色裝備上提供動畫製作者所熟悉的控制項上的鍵，從該系統產生的輸出包括針對身體和臉部的最終動畫。圖2示出構成根據本發明一種實現方式的組合運動捕捉系統100的各個模塊。在圖2所示實現方式中，組合系統100被示為包括輸入管理模塊200、清洗模塊210、標記模塊220、跟蹤模塊230和重定向模塊240。雖然模塊210、220、230、240按特定順序示出，但是模塊對數據點的處理可以按照任意順序。輸入管理模塊200接收輸入INl、IN2、IN3、IN4、IN5,並管理和組合輸入來產生指導隨後的模塊210、220、230、240的輸出。例如，當輸入是多個3D數據點時，這些數據點被定義為與多個演員在一定體積中的移動相對應的3D空間中的未經標記的點。在此情況下，身體和臉部數據點被分成兩組(可以包括與多個人相對應的數據)。身體標記被標記模塊220標記，被跟蹤模塊230跟蹤，被清洗模塊210清洗，然後被跟蹤模塊230重定向。 圖3A和3B形成示出根據本發明的一種實現方式用於組合多傳感輸入以用於數字動畫的技術的流程圖300。在圖3A和3B所示實現方式中，一系列過程被執行並組合以生成針對身體和臉部的動畫。在圖3A中，在方框310，使用T姿勢標記器獲得3D身體標記位置。在方框312，使用運動標記和清洗獲得3D身體標記位置。在方框314，使用臉部數據的穩定化獲得3D臉部標記位置。在方框316，使用臉部標記和清洗獲得3D臉部標記位置。在方框318，通過選擇最佳T姿勢獲得3D臉部標記位置。在圖3B中，在方框320，使用基於FACS的臉部重定向獲得3D臉部標記位置。在方框322，使用調諧動畫獲得3D臉部標記位置。在方框324，使用基於視頻的臉部和身體跟蹤獲得2D標記位置。在方框326，使用基於視頻的臉部動畫解算器獲得2D標記位置。在方框328，使用基於視頻的身體動畫解算器獲得2D標記位置。在方框330，所產生的標記位置被管理和組合，以生成針對身體和臉部的動畫。但是，如上所述，應該注意，從光學系統和眼電圖系統獲得的數據被組合以輔助臉部處理，而從光學系統和慣性系統獲得的數據被組合以輔助身體處理。圖4A示出計算機系統400和用戶402的表示。用戶402使用計算機系統400來組合多傳感輸入以用於數字動畫。計算機系統400存儲和執行組合運動捕捉系統490。圖4B是示出容宿組合運動捕捉系統490的計算機系統400的功能框圖。控制器410是可編程處理器並控制計算機系統400及其組件的操作。控制器410從存儲器420或嵌入的控制器存儲器(未示出)加載指令(例如，以電腦程式的形式)並執行這些指令來控制系統。在其執行中，控制器410將組合運動捕捉系統490作為軟體系統提供。可替換地，該服務可以被實現為控制器410或計算機系統400中的分離的硬體組件。存儲器420臨時存儲由計算機系統400的其他組件所使用的數據。在一種實現方式中，存儲器420被實現為RAM。在一種實現方式中，存儲器420還包括長期或永久存儲器，例如快閃記憶體和/或ROM。存儲設備430臨時或長期存儲由計算機系統400的其他組件所使用的數據，例如用於存儲由組合運動捕捉系統490所使用的數據。在一種實現方式中，存儲設備430是硬碟驅動器。介質設備440接收可移除介質並讀取和/或寫入數據到插入的介質。在一種實現方式中，例如，介質設備440是光碟驅動器。
用戶接ロ 450包括用於接受來自計算機系統400的用戶的用戶輸入和向用戶呈現信息的組件。在一種實現方式中，用戶接ロ 450包括鍵盤、滑鼠、音頻揚聲器和顯示器。控制器410使用來自用戶的輸入來調整計算機系統400的操作。I/O接ロ 460包括ー個或多個I/O端ロ，用於連接到相應的I/O設備，例如外部存儲設備或補充設備(例如，印表機或PDA)。在一種實現方式中，I/O接ロ 460的端ロ包括例如如下端ロ USB端ロ、PCMCIA端ロ、串行埠和/或並行端ロ。在另ー實現方式中，I/O接ロ 460包括用幹與外部設備無線通信的無線接ロ。網絡接ロ 470包括支持乙太網連接的有線和/或無線網絡連接，例如RJ-45或「Wi-Fi」接ロ (包括但不局限於802. 11)。計算機系統400包括計算機系統常用的附加硬體和軟體(例如，電源、冷卻、操作 系統)，但是為了簡化這些組件在圖4B中沒有具體示出。在其他實現方式中，可以使用計算機系統的不同配置(例如，不同總線或存儲配置或多處理器配置)。所公開的實現方式的以上描述被提供，以使得本領域技術人員能夠製造或使用本發明。本領域技術人員將容易發現對這些實現方式的各種修改，並且這裡所描述的通用原理可以被應用到其他實現方式而不會脫離本發明的精神或範圍。因此，附加的實現方式和變化也處在本發明的範圍之內。例如，數字表示可以與傳統的視頻組合使用，例如，添加單個數字角色到所攝製的場景或類似地添加ー個物體或物體的一部分或角色到場景中。此夕卜，應該理解，這裡所提供的描述和圖示是本發明所廣泛設想的主題的代表。還應理解，本發明的範圍完全包括對本領域技術人員變得明顯的其他實現方式並且本發明的範圍據此只由所附權利要求所限制。
權利要求
1.ー種基於運動捕捉的表演來動畫模擬數字角色的方法，該方法包括 接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少ー種；以及 管理和組合所收集的傳感數據，以輔助清洗、跟蹤、標記和重定向過程。
2.如權利要求I所述的方法，其中當由於場景局限而難以進行相機放置時，所述慣性運動捕捉被執行以收集所述傳感數據。
3.如權利要求I所述的方法，其中管理和組合包括 第一組合，該第一組合在大捕捉體積中組合接收自光學和紅外運動捕捉中的至少ー個的3D點，並在低足跡捕捉體積中將它們與接收自多個攝像機的2D實體相組合。
4.如權利要求3所述的方法，其中管理和組合包括 第二組合，該第二組合將接收自所述慣性運動捕捉的動畫數據與重構的3D點和2D實體相組合。
5.如權利要求3所述的方法，其中所述第一組合包括 將3D點定義為與在捕捉體積中多個演員的移動相對應的3D空間中的未經標記的點。
6.如權利要求I所述的方法，還包括 接收運動移動範圍的輸出；以及 使用所述運動移動範圍來指導所述清洗、跟蹤、標記和重定向過程。
7.如權利要求I所述的方法，還包括 在粗略穩定化過程中處理臉部數據， 其中頭部標記被使用以生成用於將臉部標記映射到中性空間的變換。
8.如權利要求I所述的方法，還包括 處理使用自識別光學標記獲得的身體數據， 其中姆個光學標記被以卩隹ー的標識符編碼。
9.如權利要求8所述的方法，還包括 計算每ー幀中所述光學標記的2D位置和朝向。
10.如權利要求9所述的方法，還包括 將所述2D位置輸入到多相機反向運動解算器。
11.如權利要求I所述的方法，其中管理和組合包括 使用運動標記和清洗來獲得3D身體標記位置。
12.如權利要求I所述的方法，其中管理和組合包括 使用臉部數據的穩定化來獲得3D臉部標記位置。
13.如權利要求I所述的方法，其中管理和組合包括 通過選擇最佳T姿勢來獲得3D臉部標記位置。
14.如權利要求I所述的方法，其中管理和組合包括 使用基於視頻的臉部動畫解算器來獲得2D臉部標記位置。
15.如權利要求I所述的方法，還包括 生成針對身體和臉部的動畫。
16.一種組合運動摘捉系統，包括 標記模塊；跟蹤模塊； 清洗模塊； 重定向模塊；以及 輸入管理模塊，該輸入管理模塊被配置為接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少ー種，並且該輸入管理模塊管理和組合所接收的傳感數據以產生指導所述清洗模塊、所述跟蹤模塊、所述標記模塊和所述重定向模塊的輸出。
17.如權利要求16所述的系統，其中所述標記模塊標記身體標記。
18.一種存儲電腦程式的非瞬態有形存儲介質，所述電腦程式用於基於運動捕捉·的表演來動畫模擬數字角色，所述電腦程式包括致使計算機執行如下操作的可執行指令 接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少ー種；以及 管理和組合所收集的傳感數據，以輔助清洗、跟蹤、標記和重定向過程。
19.如權利要求18所述的非瞬態有形存儲介質，其中當由於場景局限而難以進行相機放置時，所述慣性運動捕捉被執行以收集所述傳感數據。
20.如權利要求18所述的非瞬態有形存儲介質，還包括致使計算機執行如下操作的可執行指令 接收運動移動範圍的輸出；以及 使用所述運動移動範圍來指導所述清洗、跟蹤、標記和重定向過程。
全文摘要
基於運動捕捉的表演來動畫模擬數字角色，包括接收使用各種收集技術收集的傳感數據，所述收集技術包括光學視頻、眼電圖以及光學、紅外和慣性運動捕捉中的至少一種；以及管理和組合所收集的傳感數據，以輔助清洗、跟蹤、標記和重定向過程。關鍵字包括光學視頻數據和慣性運動捕捉。
文檔編號A63F13/00GK102725038SQ201080036352
公開日2012年10月10日 申請日期2010年9月15日 優先權日2009年9月15日
發明者喬希·奧喬亞, 喬希·威爾斯, 保勞格·哈瓦爾達爾, 德曼·喬丹, 簡·薛 申請人:索尼公司, 索尼電影娛樂公司