基於運動偏移映射的有韻律頭部運動合成方法

2023-06-20 11:05:06 2

專利名稱：基於運動偏移映射的有韻律頭部運動合成方法
技術領域：
本發明屬於手語運用技術領域，尤其是涉及ー種基於運動偏移映射的有韻律頭部運動合成方法。
背景技術：
手語作為ー種視覺語言，通過手、頭、面部以及身體等多種模式協同表達。在不同的上下文環境中手勢表達效果也不盡相同，通常體現在幅度，速度，節奏等韻律特徵中。為了合成逼真的虛擬人動畫，運用基於真實人體運動的捕捉技術可以解決該問題，但缺點是如果想產生ー個相對於原始捕獲數據稍加變化的運動就要重新再經歷一次運動捕獲的過程，工作量巨大因此不適用於實時的虛擬人動畫。如何在原始運動數據基礎上合成逼真、富有表現カ的手語動畫，各國學者做了相關的研究工作，方法主要可以分為兩大類，內容如下一類是基於規則的，通過進行語言學分析以及上下文分析，依靠心理學家的經驗知識，建立起語義動作的規則集，這些規則對應於虛擬人不同情境下的動作表達或者某一模式的行為方式。通過在系統中提供從文本語義到參數模型的控制，從而實現合成富有真實感的虛擬人動作。例如K. Perlin的虛擬人動畫改進技術使用高層腳本及工具實現富有真實感的動畫，系統可以讓動畫製作人員創建規則集併合成不同情境下的動作表達，從而完成交流。麻省理工學院(Massachusetts Institute of Technology)的行為表情動畫工具系統(The Behavior Expression Animation Toolkit, BEAT)提供工具使得用戶可以根據需求加入他們想要的規則，當輸入文本後，通過標記語言的解析和制定的規則集，從而實現富有真實感的虛擬人運動表達。利用基於規則的方法，可以在工具輔助交互的前提下，實現富有表現カ的虛擬人動畫。但是利用規則法，只是實現規則集中定義的語義動作，並未產生新的動作片段，因此無法實現從文本自動生成虛擬人的各種行為，具有一定的局限性。另ー類是基於學習控制的，從大量真實數據中學習到真實人的行為運動規律，再運用於虛擬人的運動控制中。Unuma等人提出通過對ー個人的實際運動行為數據做傅立葉展開變換，使用一定的分析方法從中獲取基本運動因子和性質因子。通過在頻率域對性質因子進行相關處理，可以使得這ー運動行為產生豐富的變化效果。Diane等人提出了通過使用一系列運動參數來建立一個效果模型(Effort Model)，實現基於兩個關鍵點的手臂運動。她的運動控制理論產生了可以通過語義對運動效果控制的效果，在傳統的關鍵幀動畫和逆動力學技術的基礎上，提供了新穎的定義和編輯動畫的能力。通過學習控制方法可以很好的學習真實行為的規律。但是上述的方法都是針對手語表達中手勢韻律方面的研究，而針對頭部如何能提高手語表達的真實感及運動規律的研究則較少，如何利用頭部提高手語表達的真實感便成為亟待解決的技術問題
發明內容
本發明所要解決的技術問題是提供一種基於運動偏移映射的有韻律頭部運動合成方法，以解決如何利用頭部提高手語表達的真實感等問題。為解決上述技術問題，本發明提供了一種基於運動偏移映射的有韻律頭部運動合成方法，包括將需要被處理的自然文本輸入到手語標記語言系統中，該手語標記語言系統解析產生被處理的自然文本的內容信息、韻律標記和韻律結構；設置ー個參數和相對應的取值，讀取所述手語標記語言系統中資料庫裡面該自然文本的內容信息相對應的詞的手勢數據並進行對頭部關節自由度的動態時間規整，然後讀取所述參數的取值，運用所述手語標記語言系統中的運動偏移映射方法對所述被處理的自然文本的內容信息相對應的詞的手勢數據進行處理，得到改變幅度後的運動信息；對所述改變幅度後的運動信息配合所述被處理的自然文本的韻律結構，得到該自·然文本的手語動畫演示信息。進ー步地，其中，所述手語標記語言系統為中國手語標記語言系統(CSLML,Chinese ^ign Language Markup Languageノ。進ー步地，其中，所述被處理的自然文本的內容信息為被處理的自然文本的手語
TflJ O進ー步地，其中，所述韻律標記為所述被處理的自然文本的內容信息中某個名詞的強度信息。進ー步地，其中，所述強度信息為包括強調，節奏，情感的強度信息。進ー步地，其中，所述韻律結構為所述被處理的自然文本的內容信息中包含頭部、表情、ロ型的手語表達模式。進ー步地，其中，所述參數的相對應的取值範圍在O至I之間。與現有技術相比，本發明所述的基於運動偏移映射的有韻律頭部運動合成方法不僅能增強手語動畫的真實感，同時還會提高到手語動畫的可懂度，具有重要意義。


圖I為本發明實施例所述的ー種基於運動偏移映射的有韻律頭部運動合成方法流程圖。圖2為本發明實施例所述的方法中通過動態時間規整方法期望改變的兩幀圖形。圖3為本發明實施例所述的方法中通過動態時間規整方法直接變化後的兩幀圖形。圖4為本發明實施例所述的方法中運用運動偏移映射方法對所述被處理的自然文本的內容信息進行處理前的圖形。圖5為本發明實施例所述的方法中運用運動偏移映射方法對所述被處理的自然文本的內容信息進行處理後的圖形。圖6為本發明實施例所述的方法中「拒絕」 一詞頭部Y方向自由度在amp=0和amp=I的運動曲線圖。圖7為本發明實施例所述的方法中「拒絕」ー詞動態時間規整後的運動曲線圖。圖8為本發明實施例所述的方法中「拒絕」ー詞經運動偏移映射後的運動曲線圖。
具體實施例方式以下結合附圖對本發明作進ー步詳細說明，但不作為對本發明的限定。由於在手語表達中受韻律的影響，頭部運動會產生幅度的變化，因此結合利用頭部提高手語表達的真實感成為本發明的創新點之一。如圖I所示，為本發明實施例所述的ー種基於運動偏移映射的有韻律頭部運動合成方法，包括如下步驟步驟101，將需要被處理的自然文本輸入到手語標記語言系統中，該手語標記語言系統產生被處理的自然文本的內容信息、韻律結構、韻律標記。該步驟101中所述的手語標記語言系統在本實施例中採用的是中國手語標記語言系統(CSLML,Chinese Sign Language Markup Language),該中國手語標記語言系統採用XML的語法結構，可以方便地編輯、處理與規範化需要被處理的自然文本。 具體地，中國手語標記語言系統可以將輸入的自然文本解析成三部分自然文本的內容信息、韻律結構、韻律標記；其中，自然文本的內容信息就是將被處理的自然文本中句子解析為基本手語詞；韻律結構就是手語表達的多個模式，包含頭部，表情，ロ型等模式；韻律標記就是在某個名詞上的強度的韻律信息，包括強調，節奏，情感等的強度信息；即韻律標記在不同規則的手語標記語言系統的映射下可實現手語韻律的多祥化表達。例如，對所述被處理的自然文本的內容信息「她堅定地拒絕了他的示愛」進行解祈，並得到相應的韻律標記「她/堅定/拒絕/他/示愛」(主要是通過CSLML得到這句話相應的韻律標記(如否定，情感狀態，疑問語氣等等，在本例中為強調狀態，amp=0.8)，同時得到相應的韻律結構信息(如高興的表情，疑問時眉毛上揚，ロ型等手語表達的多個模式，例如本例中會附加厭惡、生氣的表情))。步驟102，設置ー個參數amp和相對應的取值，讀取所述手語標記語言系統中資料庫裡面該自然文本的內容信息相對應的詞的手勢數據並進行對頭部關節自由度的動態時間規整，然後讀取所述參數amp的取值，運用所述手語標記語言系統中的運動偏移映射方法對所述被處理的自然文本的內容信息相對應的詞的手勢數據進行處理，得到改變幅度後的運動信息。該步驟102的目的是對需要被處理的自然文本能夠合成任意幅度的具有頭部運動的信息。所述運動偏移映射方法是現有技術中運動編輯與合成常見的ー種技術，在保留原始運動細節的基礎上對運動合成片段進行修改，從而生成逼真的運動片段。在步驟101中以自然文本例如「她堅定地拒絕了他的示愛」通過文本解析就可以得到「她/堅定/拒絕/他/示愛」這樣ー個解析後的文本，以其中「拒絕」為例，在現有的手語標記語言系統中，該「拒絕」所對應的參數amp相對應的取值為amp e
，即中性狀態(amp=0)和強調最大狀態(amp=l)的包含頭部關節的手勢數據。這裡需要說明下是手勢數據以一系列關鍵幀構成，其中每ー個關鍵幀包含手語動畫虛擬人37個關節的68個自由度數據。這裡為保證參數amp相對應的取值更標準，更符合聾人的習慣，在設置時可以通過聾校教師進行該參數amp相對應的取值採集，同時為保證參數amp相對應的取值的可用性和通用性，每個詞採集三適。具體地步驟102為
步驟1021，如圖6所示，讀取所述手語標記語言系統中資料庫裡面該自然文本的內容信息中「拒絕」ー詞amp=0 (實線部分)和amp=l (虛線部分)兩種狀態下的手勢數據，然後對amp=0和amp=l兩種狀態下頭部關節Y自由度(因為是搖頭動作)通過動態時間規整方法進行時間對齊(如圖7所示)，如圖2 (期望改變的兩幀)和3 (直接變化後的結果)所示(目的是得到兩組在波峰/波谷出現的時間相同的數據(頭部關節Y自由度)，以便後面可以用運動偏移映射方法改變幅度)。步驟1022，如圖8所示，運 用運動偏移映射方法對所述被處理的自然文本的內容信息「拒絕」相對應的詞的手勢數據進行處理，得到改變幅度後的運動信息。即如圖4所示(運動偏移映射方法前)，分別讀入amp=0和amp=l的兩組關鍵巾貞數據,針對頭部關節Y自由度的數據，為了合成任意幅度，我們希望在原始運動(amp=0的數據)的基礎上添加一個新的運動，這個新運動和幅度參數amp (本實施例中amp=0. 8或O. 4，強調語境，虛線線段部分)相關，通過運動偏移映射方法產生新運動，即是對兩個關鍵幀的相應幀數據的變化進行插值，本實施例是通過對每兩個關鍵幀的變化都進行線性插值，並與幅度參數amp相乗，最後加上原始運動就可以得到相應amp (本實施例中amp=0. 8)的運動數據(運動信息),如圖5所示(運用運動偏移映射方法後的結果)。步驟103，對改變幅度後的運動信息配合所述被處理的自然文本的韻律結構，得到該自然文本的手語動畫演示信息。具體地步驟103，對改變幅度後的運動信息配合所述被處理的自然文本的韻律結構(如其他模式、表情、眉毛、ロ型等)，最終得到該自然文本的手語動畫演示信息。與現有技術相比，手語中頭部的運動對傳達語義有重要的作用，本發明所述方法將其應用運用進來，可以實現強調的頭動韻律表達，能夠有效的提高手語動畫的可懂度及真實感。總之，通過上述實施例當輸入自然文本如「拒絕」後，根據本發明所述方法對該自然文本進行解析，並得到相應的韻律標記(強調語境，amp=0. 8)，韻律結構(其他模式，表情，眉毛，ロ型等)，接下來讀取相應詞的數據，由於強調語境下兩組數據在波峰/波谷出現的時間和振幅不同，不可以直接用運動偏移映射改變幅度，因此先對頭部關節自由度進行動態時間規整，規整得到時間對齊的數據，接下來對需要改變幅度的關節自由度，讀取其兩組amp=0和amp=l狀態下的數據,運用運動偏移映射方法,在原始運動上生成一個與幅度相關的新運動，可以得到改變幅度後的運動數據(運動信息)。對改變幅度後的運動信息配合所述被處理的自然文本的韻律結構，得到該自然文本的手語動畫演示信息。當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員可根據本發明做出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。
權利要求
1.一種基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，包括 將需要被處理的自然文本輸入到手語標記語言系統中，該手語標記語言系統解析產生被處理的自然文本的內容信息、韻律標記和韻律結構； 設置一個參數和相對應的取值，讀取所述手語標記語言系統中資料庫裡面該自然文本的內容信息相對應的詞的手勢數據並進行對頭部關節自由度的動態時間規整，然後讀取所述參數的取值，運用所述手語標記語言系統中的運動偏移映射方法對所述被處理的自然文本的內容信息相對應的詞的手勢數據進行處理，得到改變幅度後的運動信息； 對所述改變幅度後的運動信息配合所述被處理的自然文本的韻律結構，得到該自然文本的手語動畫演示信息。
2.如權利要求I所述的基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，所述手語標記語言系統為中國手語標記語言系統(CSLML, Chinese Sign Language MarkupLanguage)o
3.如權利要求I所述的基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，所述被處理的自然文本的內容信息為被處理的自然文本的手語詞。
4.如權利要求3所述的基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，所述韻律標記為所述被處理的自然文本的內容信息中某個名詞的強度信息。
5.如權利要求4所述的基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，所述強度信息為包括強調，節奏，情感的強度信息。
6.如權利要求5所述的基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，所述韻律結構為所述被處理的自然文本的內容信息中包含頭部、表情、口型的手語表達模式。
7.如權利要求I所述的基於運動偏移映射的有韻律頭部運動合成方法，其特徵在於，所述參數的相對應的取值範圍在O至I之間。
全文摘要
本發明公開了一種基於運動偏移映射的有韻律頭部運動合成方法，包括將需要被處理的自然文本輸入到手語標記語言系統中，該手語標記語言系統解析產生被處理的自然文本的內容信息、韻律標記和韻律結構；設置一個參數和相對應的取值，讀取手語標記語言系統中資料庫裡面該自然文本的內容信息相對應的詞的手勢數據並進行對頭部關節自由度的動態時間規整，讀取參數的取值，運用運動偏移映射方法對被處理的自然文本的內容信息相對應的詞的手勢數據進行處理，得到改變幅度後的運動信息；對改變幅度後的運動信息配合所述被處理的自然文本的韻律結構，得到該自然文本的手語動畫演示信息。本發明不僅能增強手語動畫的真實感，還會提高手語動畫的可懂度。
文檔編號G06F17/27GK102737397SQ20121016719
公開日2012年10月17日 申請日期2012年5月25日 優先權日2012年5月25日
發明者孔德慧, 孫豔豐, 張相武, 李敬華, 王立春 申請人:北京工業大學