一種基於優化思想的人體姿態變形方法
2023-10-08 16:06:24 1
專利名稱：一種基於優化思想的人體姿態變形方法
技術領域：
本發明涉及計算機應用技術領域，特別是一種基於優化思想的人體姿態變形方法。
背景技術：
從二維的視頻中獲取三維的人體姿態信息是計算機視覺、模式識別、虛擬實境、智能人機接口領域的熱點和難點問題。在本文中，按照慣例，我們統一將「二維」簡寫為「2D」，「三維」簡寫為「3D」。
在已知初始人體姿態3D信息的前提下，如何根據視頻內容對初始姿態進行變形，從而得到視頻中對應的3D信息是其中一個非常重要的子問題，它不僅具有重要的研究意義，而且在遊戲、關鍵幀3D動畫、以及基於實例數據的3D信息獲取等方面具有廣闊的應用前景。例如，在基於視頻的人體運動分析領域，我們只要有一個小樣本的3D人體姿態庫，就可以根據視頻圖像，恢復出對應的人體姿態信息。再如，在動畫領域中，只要給定一個小樣本的2D關鍵幀及其對應的3D姿態信息，就可以將所有2D動畫幀的3D信息恢復出來，輕鬆的實現3D動畫的效果。
因此，基於視頻內容的人體姿態變形技術不僅有重大的理論意義，也具有廣泛的應用領域以及重要的實用價值。但是，在國內外的現有的基於視頻的運動分析以及重構軟體中，都沒有提供基於視頻內容的人體姿態變形技術功能。在進行相關的專利檢索時，也沒有檢索到任何相關專利的信息。
發明內容
本發明的目的是提供一種基於優化思想的人體姿態變形方法，實現在已知初始3D姿態的情況下，根據視頻內容，對3D姿態進行變形，從而恢復視頻中對應的人體3D姿態信息。
為了實現上述目的，本發明提供了一種基於優化思想的人體姿態變形方法，用於在已知初始人體三維姿態信息的基礎上，根據視頻中人體信息內容，將初始人體3D姿態根據視頻內容進行變形，從而求取出視頻中對應的3D人體結構信息；該方法包括以下步驟1)對於給定的通用參數化3D人體模型，根據視頻內容對其進行定製；2)提取視頻中人體輪廓信息；3)將3D人體姿態(表面幾何模型描述)在2D平面上投影，形成2D模型輪廓；4)按照基於優化算法的變形準則對參數化3D人體模型姿態進行變形。
上述技術方案中，步驟1)中所述的通用的參數化3D人體模型是這樣實現的參數化3D人體模型包括人體關節角度參數xa，內部比例參數(縮放因子)xi；因此，人體模型可以表示為x＝(xa，xi)。
上述技術方案中，步驟4)中按照基於優化算法的變形準則對參數化3D人體模型姿態進行變形是這樣實現的變形準則包括1)模型輪廓被視頻輪廓的包含準則；2)模型輪廓與視頻輪廓重疊最大化準則；3)關節角度約束準則；以上變形準則的執行是通過數學優化目標函數實現的。
其中，上述的模型輪廓被視頻輪廓包含準則是指設Sa為人體模型的2D投影輪廓區域，Sg為視頻輪廓區域，通過自動調整參數化3D人體模型的模型縮放因子，使3D人體模型姿態的2D投影輪廓Sa被視頻輪廓Sg覆蓋，即Sa∈Sg。
上述的模型輪廓與視頻輪廓重疊最大化準則是指設Sa為人體模型的2D投影輪廓區域，Sg為視頻輪廓區域，通過自動調整參數化3D人體模型的模型縮放因子參數和關節角度參數，使3D人體模型姿態的2D投影輪廓Sa與視頻輪廓Sg的重疊最大，即兩個輪廓Sa與Sg的差集最小，即Sa∈Sg，Sg∈Sa同時成立。
上述的關節角度約束準則是指人的各個關節的活動區域都有特定的範圍，在自動調整參數化人體模型的關節角度參數xa時，要遵守滿足生物學原理的人體關節角度約束，同時，要避免角度參數的不合理造成的肢體穿透現象。
本發明的優點在於1、本發明方法實現了對基於視頻內容的人體姿態變形方法，不僅具有重要的理論意義，而且具有廣泛的應用範圍和重大的使用價值。
2、本發明方法可用於各種類型的運動對象，具有良好的通用性。
圖1為基於優化思想的人體姿態變形技術流程圖。
具體實施例方式
下面結合附圖，對本發明所述方法進行進一步地說明。
如圖1所示，為本方法的流程圖，流程圖中虛線框內表示操作，實線框內表示相關操作得到的結果。
本發明的一種基於優化思想的人體姿態變形技術主要分成以下步驟步驟1.定義一個通用的參數化3D人體模型，並根據視頻內容定製3D模型參數；參數化3D人體模型包括人體關節角度參數xa，內部比例參數(縮放因子)xi；因此，人體模型可以表示為x＝(xa，xi)；根據視頻中人體的形體信息，對通用的3D參數化人體模型的形體進行相應調整，使得兩者在形體上相吻合；步驟2.提取視頻中人體輪廓信息；提取視頻中人體輪廓的方法很多，我們採用簡單的背景剪除的方法。
步驟3.將3D人體姿態(表面幾何模型描述)在2D平面上投影，形成2D模型輪廓；步驟4.定義變形準則，並採用基於優化算法的方法對相應的目標函數進行計算，以達到對參數化3D人體模型姿態按照視頻內容進行變形的目的。
變形準則包括a1、模型輪廓被視頻輪廓的包含準則。設Sa為人體模型的2D投影輪廓區域，Sg為視頻輪廓區域。通過自動調整參數化3D人體模型的模型縮放因子，使3D人體模型姿態的2D投影輪廓Sa被視頻輪廓Sg覆蓋，即Sa∈Sg。量化的準則函數為ea(xi)＝|P(Person(xi，xa))-Sg|；其中，P為投影矩陣，Person(xi)為參數化的人體模型。
b1、模型輪廓與視頻輪廓重疊最大化準則。設Sa為人體模型的2D投影輪廓區域，Sg為視頻輪廓區域。通過自動調整參數化3D人體模型的模型縮放因子參數和關節角度參數，使3D人體模型姿態的2D投影輪廓Sa與視頻輪廓Sg的重疊最大，即兩個輪廓Sa與Sg的差集最小。即Sa∈Sg，Sg∈Sa同時成立。量化的準則函數為es(xi,xa)=minxi,xa(P(Person(xi,xa))-Sg).]]>c1、關節角度約束準則。人的各個關節的活動區域都有特定的範圍。在自動調整參數化人體模型的關節角度參數xa時，要遵守滿足生物學原理的人體關節角度約束，同時，要避免角度參數的不合理造成的肢體穿透現象。
以上變形準則的執行是通過對目標函數進行數值優化來實現的。具體來說，給定初始人體模型姿態x＝(xa，xi)，結合以上三個變形準則，目標函數f(x)可以表示為f(x)＝ea(xi)+es(xa，xi)+ep(xa)。
其中，ea為量化的模型輪廓被視頻輪廓的包含準則；es為模型輪廓與視頻輪廓重疊最大化準則；ep為人體關節角度約束。需要注意的是，在以上的三個量化準則中，ea只對模型縮放因子xi進行操作，es同時對縮放因子和人體關節角度參數進行變化，而ep只對人體關節角度參數xa進行處理。
通過最小化目標函數，即 可以得到最終的視頻的3D人體姿態信息。優化的實現過程是一個迭代的數值計算過程，具體數值計算方法很多，例如LM方法等。
權利要求
1.一種基於優化思想的人體姿態變形方法，用於在已知初始人體三維姿態信息的基礎上，根據視頻中人體信息內容，將初始人體3D姿態根據視頻內容進行變形，從而求取出視頻中對應的3D人體結構信息；該方法包括以下步驟1)對於給定的通用參數化3D人體模型，根據視頻內容對其進行定製；2)提取視頻中人體輪廓信息；3)將3D人體姿態在2D平面上投影，形成2D模型輪廓；4)按照基於優化算法的變形準則對參數化3D人體模型姿態進行變形。
2.根據權利要求1所述的基於優化思想的人體姿態變形方法，其特徵在於，步驟1)所述的通用參數化3D人體模型是這樣實現的參數化3D人體模型包括人體關節角度參數xa，內部比例參數xi；因此，人體模型可以表示為x＝(xa，xi)。
3.根據權利要求1所述的基於優化思想的人體姿態變形方法，其特徵在於，步驟4)中按照基於優化算法的變形準則對參數化3D人體模型姿態進行變形是這樣實現的變形準則包括1)模型輪廓被視頻輪廓的包含準則；2)模型輪廓與視頻輪廓重疊最大化準則；3)關節角度約束準則；以上變形準則的執行是通過數學優化目標函數實現的。
4.根據權利要求3所述的基於優化思想的人體姿態變形方法，其特徵在於，所述的按照模型輪廓被視頻輪廓包含準則是指設Sa為人體模型的2D投影輪廓區域，Sg為視頻輪廓區域，通過自動調整參數化3D人體模型的模型縮放因子，使3D人體模型姿態的2D投影輪廓Sa被視頻輪廓Sg覆蓋，即Sa∈Sg。
5.根據權利要求3所述的基於優化思想的人體姿態變形方法，其特徵在於，所述的模型輪廓與視頻輪廓重疊最大化準則是指設Sa為人體模型的2D投影輪廓區域，Sg為視頻輪廓區域，通過自動調整參數化3D人體模型的模型縮放因子參數和關節角度參數，使3D人體模型姿態的2D投影輪廓Sa與視頻輪廓Sg的重疊最大，即兩個輪廓Sa與Sg的差集最小，即Sa∈Sg，Sg∈Sa同時成立。
6.根據權利要求3所述的基於優化思想的人體姿態變形方法，其特徵在於，所述的關節角度約束準則是指人的各個關節的活動區域都有特定的範圍，在自動調整參數化人體模型的關節角度參數xa時，要遵守滿足生物學原理的人體關節角度約束，同時，要避免角度參數的不合理造成的肢體穿透現象。
7.根據權利要求3所述的基於視頻內容的人體姿態變形方法，其特徵在於，所述的變形準則的執行是通過數學優化目標函數的實現具體來說，給定初始人體模型姿態x＝(xa，xi)，結合以上三個變形準則，目標函數f(x)可以表示為f(x)＝ea(xi)+es(xa，xi)+ep(xa)；其中，ea為量化的模型輪廓被視頻輪廓的包含準則；es為模型輪廓與視頻輪廓重疊最大化準則；ep為人體關節角度約束，需要注意的是，在以上的三個量化準則中，ea只對模型縮放因子xi進行操作，es同時對縮放因子和人體關節角度參數進行變化，而ep只對人體關節角度參數xa進行處理；通過最小化目標函數，即 可以得到最終的視頻的3D人體姿態信息。
全文摘要
本發明涉及計算機應用技術領域，特別是一種基於優化思想的人體姿態變形方法。用於在已知初始人體三維姿態信息的基礎上，根據視頻中人體信息內容，將初始人體3D姿態根據視頻內容進行變形，從而求取出視頻中對應的3D人體結構信息；該方法包括以下步驟1)定義一個通用的參數化3D人體模型；2)根據視頻內容定製3D人體模型；3)提取視頻中人體輪廓信息；4)將3D人體姿態在2D平面上投影，形成2D模型輪廓；5)按照基於優化算法的變形準則對參數化3D人體模型姿態進行變形。本發明的優點在於可用於各種類型的已知初始3D信息的運動對象的3D結構參數恢復，具有良好的通用性；應用領域廣泛，具有廣闊的實用前景。
文檔編號G06T7/00GK1710611SQ20051001217
公開日2005年12月21日 申請日期2005年7月14日 優先權日2005年7月14日
發明者邱顯傑, 王兆其, 夏時洪 申請人:中國科學院計算技術研究所