一種基於視頻內容的人體姿態變形方法
2023-10-08 16:09:04 4
專利名稱：一種基於視頻內容的人體姿態變形方法
技術領域：
本發明涉及計算機應用技術領域，特別是一種基於視頻內容的人體姿態變形方法。
背景技術：
從二維的視頻中獲取三維的人體姿態信息是計算機視覺、模式識別、虛擬實境、智能人機接口領域的熱點和難點問題。在本文中，按照慣例，我們統一將二維簡寫為2D，三維簡寫為3D。
在已知初始人體姿態3D信息的前提下，如何根據視頻內容對初始姿態進行變形，從而得到視頻中對應的3D信息是其中一個非常重要的子問題，它不僅具有重要的研究意義，而且在遊戲、關鍵幀3D動畫、以及基於實例數據的3D信息獲取等方面具有廣闊的應用前景。例如，在基於視頻的人體運動分析領域，我們只要有一個小樣本的3D人體姿態庫，就可以根據視頻圖像，恢復出對應的人體姿態信息。再如，在動畫領域中，只要給定一個小樣本的2D關鍵幀及其對應的3D姿態信息，就可以將所有2D動畫幀的3D信息恢復出來，輕鬆的實現3D動畫的效果。
因此，基於視頻內容的人體姿態變形技術不僅有重大的理論意義，也具有廣泛的應用領域以及重要的實用價值。但是，在國內外的現有的基於視頻的運動分析以及重構軟體中，都沒有提供基於視頻內容的人體姿態變形技術功能。在進行相關的專利檢索時，也沒有檢索到任何相關專利的信息。
發明內容
本發明的目的是提供一種基於視頻內容的人體姿態變形方法，實現在已知初始3D姿態的情況下，根據視頻內容，對3D姿態進行變形，從而恢復視頻中對應的人體3D姿態信息。
為了實現上述目的，本發明提供了一種基於視頻內容的人體姿態變形方法，用於在已知初始人體三維姿態信息的基礎上，根據視頻中人體信息內容，將初始人體3D姿態根據視頻內容進行變形，從而求取出視頻中對應的3D人體結構信息；該方法包括以下步驟1)根據視頻內容定製3D人體模型；2)將3D人體姿態(表面幾何模型描述)在2D平面上投影，生成2D模型輪廓，並用採樣點集表示；3)將3D人體姿態(骨架模型描述)在2D平面上投影，生成2D模型骨架；4)提取視頻中人體輪廓信息，並用採樣點集表示；5)建立視頻輪廓與模型輪廓的點集對應關係；6)將模型輪廓中的2D骨架移植到視頻輪廓；7)恢復視頻中人體的3D結構參數。
上述技術方案中，步驟5)中的求取視頻輪廓與模型輪廓的點集對應關係是這樣實現的計算輪廓中每一個點的形狀上下文，即建立該點與該輪廓中所有其它點的用距離和角度表示的度量；以形狀上下文(shape context)為度量特徵點相似性的標準，兩個輪廓中形狀上下文最近似的兩個特徵點即為匹配的特徵點，從而建立模型輪廓與視頻輪廓的點集對應關係。
上述技術方案中，步驟6)中將模型輪廓中的2D骨架移植到視頻輪廓是這樣實現的確定2D骨架的各個關節點的支持集；通過建立的兩個輪廓之間的點集對應關係，確定2D關節點的各個支持集的仿射變換關係；將模型輪廓的2D骨架的關節點位置進行與其支持集所確定的仿射變換同樣的變換，變換結果即為視頻輪廓的2D骨架關節點位置。
上述技術方案中，步驟7)中恢復視頻中人體的3D結構參數是這樣實現的只需要對已知的初始3D人體骨架進行變換即可。
所述的對已知的初始3D人體骨架進行變換是這樣實現的保持原數據的深度Z方向的數據不變，對X、Y方向的數據進行與前面確定的，與其投影的2D關節點一樣的仿射變換。
本發明的優點在於1、本發明方法實現了對基於視頻內容的人體姿態變形方法，不僅具有重要的理論意義，而且具有廣泛的應用範圍和重要的使用價值。
2、本發明方法可用於各種類型的運動對象，具有良好的通用性。
3、本發明僅需要簡單高效的二維運算，可以達到實時的效果。
圖1為基於視頻內容的人體姿態變形技術流程圖。
具體實施例方式
下面結合附圖，對本發明所述方法進行進一步地說明。
如圖1所示，為本實施例方法的流程圖，流程圖中虛線框內表示操作，實線框內表示相關操作得到的結果。
本發明的一種基於視頻內容的人體姿態變形技術主要分成以下步驟步驟1.根據視頻內容定製3D人體模型；步驟2.將步驟10定製的3D人體姿態(表面幾何模型描述)在2D平面上投影，生成2D模型輪廓，並用採樣點集表示；a1、通過上一步定製的3D人體模型，對3D姿態數據用表面幾何模型描述；b1、從給定視頻中確定人體姿態顯示的視角，並用該視角將用表面幾何模型描述的3D姿態在2D平面上投影，生成2D模型輪廓；
c1、將生成的2D模型輪廓用輪廓邊界的採樣點表示(例如採樣200個點)；步驟3.將3D人體姿態(骨架模型描述)在2D平面上投影，生成2D模型骨架。採用上一步驟從視頻中求取的視角信息，將用骨架模型描述的3D姿態在2D平面上投影，生成用2D關節點位置表示的2D模型骨架；步驟4.提取視頻中人體輪廓信息，並用採樣點集表示。提取視頻中人體輪廓的方法很多，我們採用簡單的背景剪除的方法；同時，將視頻輪廓用輪廓邊界的採樣點表示(例如採樣200個點)，採樣的點數應與模型輪廓的採樣點數相同；步驟5.建立視頻輪廓與模型輪廓的點集對應關係。建立輪廓點集之間的對應關係是採用形狀上下文(Shape Context)方法實現的；利用形狀上下文(Shape Context)方法建立點集合中特徵點的對應關係的具體步驟為a2、對於每一個特徵點，建立以該點位置為原點的，以該輪廓中所有其它特徵點為終點的矢量的集合；b2、將以上矢量集合按照角度空間和模空間分別劃分為12和5份，然後統計分別落在以上劃分空間內的矢量的數目，用此信息做成一個12*5的直方圖。該直方圖就稱為形狀上下文(Shape Context)；c2、由b2步驟，可以建立採樣點集中每一個特徵點的形狀上下文；d2、將特徵點的形狀上下文用一個60維的向量表示，則可以用歐氏距離作為集合中特徵點的形狀上下文與給定特徵點的形狀上下文的距離度量例如，設(x1，x2，...，x60)與(y1，y2，...，y60)為分別為兩個特徵點的形狀上下文，則兩點間形狀上下文的歐氏距離為(x1-y1)2+(x2-y2)2+,...,+(x60-y60)2.]]>形狀上下文之間距離最近的特徵點即為與給定特徵點最近似的特徵點。按此方法，可以建立兩個特徵點集的點對應關係。
步驟6、將模型輪廓中的2D骨架移植到視頻輪廓。將模型輪廓中的2D骨架移植到視頻輪廓是這樣實現的
a3、確定2D骨架的各個關節點的支持集；所謂支持集，就是以關節點為圓心，以R(自定義)為半徑的圓型區域內的特徵點的集合，支持集為特徵點集的子集；b3、求取模型輪廓與視頻輪廓之間各個對應2D關節點的支持集的二維仿射變換關係；形式為x′＝axxx+axyy+bx，y′＝ayxx+ayyy+by的坐標變換稱為二維仿射變換(affine transformation)。變換的坐標x′和y′都是原始坐標x和y的線性函數。參數aij和bk是由變換類型確定的常數。
在已知對應點集[(x1，y1)，(x2，y2)，(x3，y3)，...，(xn，yn)]和[(x′1，y′1)，(x′2，y′2)，(x′3，y′3)，...，(x′n，y′n)]的情況下，用最小二乘法求解下列超定方程即可求取對應的仿射變換x1=axxx1+axyy1+bxy1=ayxx1+ayyy1+byx2=axxx2+axyy2+bxy2=ayxx2+ayyy2+byxn=axxxn+axyyn+bxyn=ayxxn+ayyyn+by]]>c3、將模型輪廓的2D骨架的關節點位置進行與其支持集所確定的仿射變換同樣的變換，變換結果即為視頻輪廓的2D骨架關節點位置。
步驟7、恢復視頻中人體的3D結構參數。通過對已知的初始3D人體(模型)姿態進行變換即可a4、保持初始3D(模型)姿態數據的深度Z方向的數據不變；b4、對初始3D(模型)姿態數據的X、Y方向的數據進行與前面確定的，與其投影后對應的2D關節點一樣的仿射變換。
具體操作如下設(xo，yo，zo)為初始姿態的關節點位置，(x′o，y′o)為該關節點在2D平面的投影位置(平行投影)，其對應於模型骨架中的關節點位置；(x′t，y′t)為將(x′o，y′o)仿射變換以後的坐標，其對應於估計的視頻骨架的關節點位置。
即x′t＝axxx′o+axyy′o+bx，y′t＝ayxx′o+ayyy′o+by因為採用的是仿射投影模型(平行投影)，所以，(xo，yo，zo)與(x′o，y′o)，(xt，yt，zt)與(x′t，y′t)之間保持下列關係成立xo=kxoyo=kyo,]]>xt=kxtyt=kyt]]>(k為已知縮放因子)。
則，與(x′t，y′t)對應的三維坐標(xt，yt，zt)為
權利要求
1.一種基於視頻內容的人體姿態變形方法，用於在已知初始人體三維姿態信息的基礎上，根據視頻中人體信息內容，將初始人體3D姿態根據視頻內容進行變形，從而求取出視頻中對應的3D人體結構信息；該方法包括以下步驟1)根據視頻內容定製3D人體模型；2)將3D人體姿態在2D平面上投影，生成2D模型輪廓，並用採樣點集表示；3)將3D人體姿態在2D平面上投影，生成2D模型骨架；4)提取視頻中人體輪廓信息，並用採樣點集表示；5)建立視頻輪廓與模型輪廓的點集對應關係；6)將模型輪廓中的2D骨架移植到視頻輪廓；7)恢復視頻中人體的3D結構參數。
2.根據權利要求1所述的基於視頻內容的人體姿態變形方法，其特徵在於，步驟5)中的求取視頻輪廓與模型輪廓的點集對應關係是這樣實現的計算輪廓中每一個點的形狀上下文，即建立該點與該輪廓中所有其它點的用距離和角度表示的度量；以形狀上下文為度量特徵點相似性的標準，兩個輪廓中形狀上下文最近似的兩個特徵點即為匹配的特徵點，從而建立模型輪廓與視頻輪廓的點集對應關係。
3.根據權利要求1所述的基於視頻內容的人體姿態變形方法，其特徵在於，步驟6)中將模型輪廓中的2D骨架移植到視頻輪廓是這樣實現的確定2D骨架的各個關節點的支持集；通過建立的兩個輪廓之間的點集對應關係，確定2D關節點的各個支持集的仿射變換關係；將模型輪廓的2D骨架的關節點位置進行與其支持集所確定的仿射變換同樣的變換，變換結果即為視頻輪廓的2D骨架關節點位置。
4.根據權利要求1所述的基於視頻內容的人體姿態變形方法，其特徵在於，步驟7)中恢復視頻中人體的3D結構參數是這樣實現的只需要對已知的初始3D人體骨架進行變換即可。
5.根據權利要求4所述的基於視頻內容的人體姿態變形方法，其特徵在於，所述的對已知的初始3D人體骨架進行變換是這樣實現的保持原數據的深度Z方向的數據不變，對X、Y方向的數據進行與前面確定的，與其投影的2D關節點一樣的仿射變換。
6.根據權利要求2所述的基於視頻內容的人體姿態變形方法，其特徵在於，所述的利用形狀上下文方法建立點集合中特徵點的對應關係的具體步驟為a2、對於每一個特徵點，建立以該點位置為原點的，以該輪廓中所有其它特徵點為終點的矢量的集合；b2、將以上矢量集合按照角度空間和模空間分別劃分為12和5份，然後統計分別落在以上劃分空間內的矢量的數目，用此信息做成一個12*5的直方圖；c2、由b2步驟，可以建立採樣點集中每一個特徵點的形狀上下文；d2、將特徵點的形狀上下文用一個60維的向量表示，則可以用歐氏距離作為集合中特徵點的形狀上下文與給定特徵點的形狀上下文的距離度量設(x1，x2，...，x60)與(y1，y2，...，y60)為分別為兩個特徵點的形狀上下文，則兩點間形狀上下文的歐氏距離為(x1-y1)2+(x2-y2)2+,,+(x60-y60)2;]]>形狀上下文之間距離最近的特徵點即為與給定特徵點最近似的特徵點，按此方法，可以建立兩個特徵點集的點對應關係。
7.根據權利要求1所述的基於視頻內容的人體姿態變形方法，其特徵在於，步驟6)、將模型輪廓中的2D骨架移植到視頻輪廓是這樣實現的a3、確定2D骨架的各個關節點的支持集；所謂支持集，就是以關節點為圓心，以R為半徑的圓型區域內的特徵點的集合，支持集為特徵點集的子集；b3、求取模型輪廓與視頻輪廓之間各個對應2D關節點的支持集的二維仿射變換關係；形式為x′＝axxx+axyy+bx，y′＝ayxx+ayyy+by的坐標變換稱為二維仿射變換，變換的坐標x′和y′都是原始坐標x和y的線性函數，參數aij和bk是由變換類型確定的常數，在已知對應點集[(x1，y1)，(x2，y2)，(x3，y3)，...，(xn，yn)]和[(x′1，y′1)，(x′2，y′2)，(x′3，y′3)，...，(x′n，y′n)]的情況下，用最小二乘法求解下列超定方程即可求取對應的仿射變換x1=axxx1+axyy1+bxy1=ayxx1+ayyy1+byx2=axxx2+axyy2+bxy2=ayxx2+ayyy2+byxn=axxxn+axyyn+bxyn=ayxxn+ayyyn+by]]>c3、將模型輪廓的2D骨架的關節點位置進行與其支持集所確定的仿射變換同樣的變換，變換結果即為視頻輪廓的2D骨架關節點位置。
8.根據權利要求1所述的基於視頻內容的人體姿態變形方法，其特徵在於，步驟7)、恢復視頻中人體的3D結構參數，通過對已知的初始3D人體姿態進行變換即可具體操作如下設(xo，yo，zo)為初始姿態的關節點位置，(x′o，y′o)為該關節點在2D平面的投影位置，其對應於模型骨架中的關節點位置；(x′t，y′t)為將(x′o，y′o)仿射變換以後的坐標，其對應於估計的視頻骨架的關節點位置，即x′t＝axxx′o+axyy′o+bx，y′t＝ayxx′o+ayyy′o+by因為採用的是仿射投影模型(平行投影)，所以，(xo，yo，zo)與(x′o，y′o)，(xt，yt，zt)與(x′t，y′t)之間保持下列關係成立xo=kxoyo=kyo,]]>xt=kxtyt=kyt,]]>k為已知縮放因子，則，與(x′t，y′t)對應的三維坐標(xt，yt，zt)為
全文摘要
本發明涉及計算機應用技術領域，特別是一種基於視頻內容的人體姿態變形方法。用於在已知初始人體三維姿態信息的基礎上，根據視頻內容，恢復視頻中對應的3D人體結構；該方法包括以下步驟根據視頻內容定製3D人體模型；將3D人體姿態進行投影，生成模型骨架；提取視頻中人體輪廓信息；建立視頻輪廓與模型輪廓的點集對應關係；將模型輪廓中的2D骨架移植到視頻輪廓；恢復視頻中人體的3D結構參數。本發明優點在於對視頻輪廓提取的質量要求不高，具有相當的魯棒性；可用於各種類型的已知初始3D信息的運動對象的3D結構參數恢復，具有良好的通用性；僅需要簡單高效的二維運算，可以達到實時的效果。
文檔編號G06T7/00GK1725246SQ20051001217
公開日2006年1月25日 申請日期2005年7月14日 優先權日2005年7月14日
發明者邱顯傑, 王兆其, 夏時洪 申請人:中國科學院計算技術研究所