結合3d人臉模型的視頻差錯掩蓋方法
2023-04-24 02:09:56 1
專利名稱：結合3d人臉模型的視頻差錯掩蓋方法
技術領域：
本發明屬於視頻傳輸差錯恢復領域，具體涉及在視頻解碼端對傳輸 過程中丟失的人臉圖像信息進行恢復以提高視頻解碼質量的方法。
背景技術：
隨著網際網路和無線通信網絡的普及和發展，'越來越多的數字視頻信 號通過這類信道進行傳輸。由於各種信道和網絡錯誤，壓縮視頻數據在 傳輸或存儲過程中會被損壞或丟失，為了保證視頻傳輸的健壯性，必須 引入差錯恢復機制。差錯掩蓋技術(又稱為差錯遮掩、錯誤隱藏等)是 針對解碼端的錯誤隱藏方法，主要利用人眼可以容忍一定程度圖像失真 的特性，藉助視頻信號在時域和空域上信息的相關性，採用信號修補等 方法，儘可能重建丟失的信息，以提高解碼圖像的整體主觀質量。由於 這是一種後處理方法，不需要改變視頻編碼器的結構和信道傳輸方式， 獨立性強、適合於各種視頻編碼標準和方法，並且可以與其它方法聯合 使用，在實際應用中被廣泛採納。
差錯掩蓋技術可以分為空間域方法和時間域方法。在一般的實時傳輸 環境中，當錯誤發生時人們可以利用幀間和幀內的相關性來進行修復， 從而實時的恢復出人眼可接受的畫質，並避免錯誤的傳播。對於I幀錯 誤， 一般採用空域方法，利用相鄰塊的空間相關性和正確接收塊的信息， 對丟失宏塊作空域的插值來實現修復。對於P幀的錯誤，則採用時域方
法，利用相鄰幀之間的時間相關性和相鄰塊間運動的相似性，來恢復丟 失塊的運動矢量，然後使用運動補償方法來掩蓋丟失塊。但時域方法對 存在場景切換和劇烈運動物體的視頻錯誤掩蓋效果有時不甚理想，傳統 的空域方法由於只是採用錯誤區域周圍宏塊邊界點上的像素點進行內 插，參考信息不足，往往容易造成邊緣的丟失和圖像的模糊。
三維建模是計算機視覺和計算機圖形學領域中的- 個基本問題，隨
著計算機圖形學技術的長足發展，3D人臉模型和表情動畫設計技術開始 顯現出越來越廣泛的應用前景，涉及的典型應用如遊戲動漫、可視通信、 虛擬實境等。特別是當前網絡帶寬提高和實時、低比特可視應用的人臉 編碼系統的出現，使3D人臉技術成為可視電話和網絡會議領域中的研 究熱點。然而，對於這些可視電話應用領域視頻傳輸中出現的差錯，目 前基本上還是採取傳統的差錯掩蓋方法進行掩蓋，由於沒有考慮此類應 用的特殊性使得掩蓋效果並不令人滿意，特別是人臉區域存在較大的誤 差，當運動劇烈或者存在其他千擾時(例如話筒移動、遮擋臉部等)，掩 蓋效果更差。在對這類人臉視頻解碼圖像進行差錯掩蓋時若充分考慮這 個重要特徵，結合3D人臉模型映射結果來對人臉區域實施掩蓋，可以 提高視頻差錯掩蓋性能。
發明內容
鑑於現有技術的以上缺點，本發明的目的在於，研製一種結合3D人 臉模型的視頻傳輸時域差錯掩蓋方法，提高人臉圖像受損區域的主觀質 量。本發明的目的是通過以下手段實現的。
結合3D人臉模型的視頻差錯掩蓋方法，對可視電話應用領域視頻傳輸
中出現的差錯進行差錯掩蓋處理以提高人臉圖像受損區域的主觀視覺質 量，包括如下的步驟，
1) 正確接收幀進行人臉檢測和特徵點標記，計算對應3D人臉模型
的位置和形狀信息，實現3D人臉模型的自動調整並結合視頻圖像進行 紋理修補及映射；
2) 對出錯幀進行基於3D人臉模型的差錯掩蓋，充分利用前後幀宏 塊之間的相關性，通過前一幀的相應位置結合當前幀的運動向量MV預 測當前出錯幀相同區域內其他宏塊的丟失情況判斷人臉區域屬於大部分 丟失還是少量丟失；
3) 人臉區域全部或者大部分丟失時，當前幀無法提供足夠的信息用 於確定特定人臉的位置和形狀信息，使用從當前幀背景運動估計得到的 位置和形狀估計信息來調整更3D人臉模型或者直接沿用前-一幀的3D人 臉模型，然後進入步驟5;
4) 人臉區域少量丟失時，先對受損區域進行時域預掩蓋，根據掩蓋 結果採用人臉檢測和特徵點定位相關算法提取出關鍵特徵點，保留正確 接收宏塊上的特徵點，未正確接收宏塊通過前一幀相應特徵點運動估計 獲取；根據關鍵特徵點確立出位置和形狀信息，結合可獲得的紋理信息 進一步調整更新3D人臉模型；然後進入步驟5;
5) 將3D人臉模型移動至當前出錯幀相應位置進行適當調整和映射 掩蓋，從而用新的宏塊替代原始受損宏塊
6) 掩蓋後人臉與背景邊緣處的平滑處理。
採用本發明方法，與當前幀人臉圖像匹配對應的特定3D人臉模型，
結合預掩蓋思想和特定3D人臉模型，實現對人臉區域的較準確掩蓋， 同時背景區域仍採用傳統方法掩蓋，最後對人臉與背景結合邊緣處採取 一定的平滑處理措施，顯著提高掩蓋的性能和主觀質量
圖1是本發明人臉特徵點定義示意圖
圖2為Candide-3 3D人臉線框模型圖。
圖3人臉位置及形狀信息確立示意圖。
圖4 3D人臉模型自動調整示意圖
圖5 3D人臉模型紋理映射示意圖
圖6 3D人臉模型紋理修補示意圖
圖7 3D人臉模型紋理更新示意圖
圖8結合前後幀預測人臉區域丟失情況示意圖
圖9運動向量外推子宏塊示意圖
圖10映射掩蓋示意圖
圖11平滑處理示意圖
圖12正確接收幀和當前幀出錯的兩種情況示意圖
圖13人臉檢測示意圖
圖14關鍵特徵點提取示意圖
圖15自動調整示意圖
圖16紋理映射示意圖
圖17基礎3D人臉模型的多角度展示
圖18人臉小區域標記及當前幀人臉區域預測
圖19出錯幀中人臉位置標記 圖20對應調整後的3D人臉模型 圖21紋理更新區域示意圖 圖22受損子宏塊的外推運動向量 圖23邊框匹配示意圖 圖24時域預掩蓋前後對比示意圖 圖25當前掩蓋幀及人臉檢測和特徵點提取示意圖 圖26結合3D模型差錯掩蓋示意圖 圖27平滑處理結果
具體實施例方式
下面結合附圖和具體的實施方式對本發明作進一歩的詳細說明。
本方法的具體步驟如下
第一步，對正確接收幀進行人臉檢測和關鍵特徵點提取。人臉檢測 的結果包含人臉的大致區域，完成人臉校驗後獲取人臉正確區域，在該 區域內採用適當的人臉特徵點提取算法提取面部關鍵特徵點。本發明中 人臉特徵點取左右人眼內外眼角點、左右嘴角點、鼻下點、人臉垂直中 分線與眼角連線交點及與嘴角連線交點。如圖1所示。人臉檢測方法可
以採用膚色檢測、adaboost等多種方法，校驗方法可以採用人臉區域長 寬比判斷、人臉區域填充率判斷等方法，人臉特徵點提取可以釆用模板
匹配、ASM、 AAM等多種方法。在此基礎上確立對應人臉的位置和形狀信 息，實現3D人臉模型的自動調整，並結合視頻圖像進行紋理修補及映射。 3D人臉模型被用來表徵視頻幀中的特定人臉，通常在目前一些較廣泛使 用的中性人臉模型的基礎上調整獲得，以儘量簡單卻不失真實感為原則。 本發明實施例採用簡化後的Candide-3線框模型，如圖2所示。也可以 採用其他一些模型，例如Mike模型也是一個較好的選擇。
標準3D人臉模型需要經過旋轉、縮放和平移才能和視頻幀中的人臉 進行匹配對應，而這些旋轉、縮放和平移參數需要通過對視頻幀中人臉 位置及形狀信息分析確立。位置確立通常指根據輸入的二維圖像確定對 應的三維物體的方位指向的過程。形狀確立是實現輸入的二維圖像和3D 人臉模型在形狀上的對應。對於人臉來說，通常涉及6個方向的自由度， 即繞X、 Y、 Z軸的旋轉和沿X、 Y、 Z軸的平移。本發明中位置確立只考 慮其中的旋轉部分，形狀信息確立僅考慮平移部分及針對人臉模型進行 的全局和局部調整。這兩個部分主要通過分析面部關鍵特徵點的幾何關 系和人臉的近似對稱性質得到。如圖3所示。
3D人臉模型的自動調整是指根據位置和形狀確立的信息來調整3D 人臉模型，從而實現模型和視頻幀中人臉的匹配對應。如圖4所示。紋 理映射指的是根據視頻幀獲取3D模型對應區域的紋理值實現真實感模 型的過程。如圖5所示。
由於視頻幀中的人臉很多情況下並非正面或者接近正面姿態，因此 映射後3D人臉模型旋轉時即出現紋理拉伸的情況，為增加真實感從而提 高后續掩蓋的質量，需要對未映射部分採取一定的方法進行修補，本發
明根據人臉對稱性取紋理豐富的一邊來修復另一邊。如圖6所示。
即使是相鄰兩幀，也可能因為光照和其他環境因素使人臉模型的紋 理特徵出現較大差異，特別是那些感興趣區域如眼睛、鼻子和嘴巴等部
分，茵此需要對3D人臉模型的紋理信息進行定期更新。本發明中根據 3D模型對應標記區域，可以頻繁更新感興趣區域的紋理信息，對於其他 部分如臉頰、鬍鬚等視情況而定，或5幀，或10幀更新一次。如圖7所 示。
第二步，對出錯幀進行基於3D人臉模型的差錯掩蓋。 這是本發明的核心內容，主要由以下幾個部分構成。
K對出錯幀進行分析，判斷人臉區域屬於大部分丟失還是少量丟失。 對於人臉區域的判斷要充分利用前後幀宏塊之間的相關性，例如確定人
臉區域宏塊集的方法之一是包括人臉區域的左上、左下、右上、右下
四個子宏塊，通過前一幀的相應位置結合當前幀的運動向量MV預測當前 出錯幀相同區域內其他宏塊的丟失情況，判斷過程及示意圖如附圖8。
2、確定用於受損宏塊掩蓋的3D人臉模型。對於人臉區域全部或者 大部分丟失時，當前幀無法提供足夠的信息用於確定特定人臉的位置和 形狀信息，此時使用從當前幀背景運動估計得到的位置和形狀估計信息 來調整更3D人臉模型或者直接沿用前一幀的3D人臉模型；對於人臉區 域少量丟失時，先對受損區域進行時域預掩蓋，根據掩蓋結果採用人臉 檢測和特徵點定位相關算法提取出關鍵特徵點，保留正確接收宏塊上的 特徵點，未正確接收宏塊通過前一幀相應特徵點運動估計獲取。根據關 鍵特徵點確立出位置和形狀信息，結合可獲得的紋理信息進一步調整更新3D人臉模型。可以採用的時域預掩蓋方法有多種，其中之一是運動向
量外推的時域預掩蓋，即假設前一幀中的各子宏塊按其MV方向運動到當 前幀中，則當前幀中的各子宏塊可能被從前一幀運動到當前幀的多個子 宏塊覆蓋，當前幀子宏塊的外推運動向量取覆蓋其象素最多的從前一幀 運動到當前幀的子宏塊的運動向量。外推運動向量定義及示意圖見說明 書附圖9。
3、人臉區域利用3D人臉模型進行映射掩蓋，背景部分用傳統方法掩 蓋。將3D人臉模型移動至當前出錯幀相應位置進行適當調整和映射掩 蓋，從而用新的宏塊替代原始受損宏塊，而其餘背景受損宏塊仍按傳統 方法如基於空域或時域的差錯掩蓋方法。映射掩蓋過程如附圖10。
4、掩蓋後人臉與背景邊緣處的平滑處理。由於在前述位置和形狀信息 估計時可能存在不十分精確的情況，因此會在掩蓋後的人臉和背景結合 邊緣處出現影響主觀視覺質量的斑塊效應，需要採取一定的措施進行平 滑處理。平滑處理時要充分利用前後幀人臉邊緣宏塊及其相鄰宏塊的像 素值，例如方法之一是比較邊緣宏塊與前一幀對應宏塊及周圍宏塊的 SAD值，如果小於某個閾值即說明兩宏塊比較接近，此時利用前一幀對 應宏塊平滑處理；如果相差較大則結合當前幀相鄰宏塊進行平滑處理。 平滑處理過程及示意如附圖11。
實施例
為方便說明本發明的兩種情況下的不同處理措施，本例假設前一 幀正確接收，當前出錯幀的兩種情況如圖12所示。其餘宏塊均正確接收。 以下是本方法的實例步驟說明
1、正確接收幀分析處理 1. l人臉檢測
對當前幀進行人臉檢測，從而獲取人臉的大致區域。為使檢測結果 更有利於後面的使用，需要對人臉區域進行校驗，保留正確的人臉區域。 如圖13為對正確接收幀進行人臉檢測及校驗後的人臉區域結果。
1.2關鍵特徵點提取
根據前一步人臉檢測結果，對正確的人臉區域進一歩分析關鍵特徵 點位置。目標是提取左右人眼內外眼角點、左右嘴角點、鼻下點、人臉 垂直中分線與眼角連線交點及與嘴角連線交點，這些點分布在人臉中相
對較大的特徵區域上，提取比較容易。如圖14為對人臉區域關鍵特徵點 提取結果。
1.3自動調整
根據關鍵特徵點的坐標，結合3D,臉位置及形狀確立方法，計算出 模型相對於實際人臉的位置及形狀參數，從而實現3D人臉模型的自動調 整。圖15為3D人臉模型的自動調整結果
1.4紋理映射及修補
自動調整的結果，建立了人臉紋理和模型的匹配對應，因此可以實 現紋理映射，映射的同時完成映射修補。如圖16為3D人臉模型紋理映 射結果。
1.5基礎3D人臉模型生成
完成紋理映射及修補後，對所獲得的3D模型頂點、三角面片及對應
紋理信息進行存儲，即形成了3D人臉模型，從而可以進行三維空間中的
旋轉、平移和縮放操作。圖17為基礎3D人臉模型的多角度展示。
2、當前出錯幀分析處理(情況l) 2. 1檢測人臉區域宏塊丟失情況
為說明方便，假設正確接收幀為當前幀的前一幀。根據正常人臉頭肩 區域比例(一般為
)將正確接收幀的人臉標記範圍縮小，從而 只包含人臉較小區域，避免其他幹擾。圖18左圖為前一幀人臉小區域標 記結果圖。
根據小區域標記圖，從而獲得包括人臉區域的左上、左下、右上、 右下四個子宏塊，結合當前幀未出錯宏塊計算得到的運動向量，從而得 到四個子宏塊在當前出錯幀中的位置，這樣就可以估計當前幀人臉區域 內宏塊的丟失情況了。圖18右圖為當前出錯幀結合前一幀丟失情況判斷 示意圖。
2.2確定用於掩蓋的3D人臉模型
根據對人臉預測區域內宏塊的丟失情況判斷其屬於宏塊大部分丟失， 從而確立掩蓋策略為使用前一幀的3D人臉模型進行掩蓋。 2. 3模型調整策略
由於當前幀與前一幀仍存在一定差別，比如模型中心點和模型朝向 存在一定變化，但可以假設模型大小基本保持不變。調整時，以當前幀 預測區域矩形中心點為模型中點，並結合前一幀人臉區域和當前幀預測 區域來對模型朝向進行調整。圖19為當前出錯幀同時顯示人臉在前一幀 的位置和本幀中的預測位置靠上的框內為前一幀位置，靠下的框內為本
幀中的預測位置。圖19及公式(1)給出了一種調整方法。
假設上圖中人臉區域長為S，寬為6，兩矩形左邊界相距為厶下邊 界相距為S，根據兩矩形的位置關係，可判斷出人臉的運動趨勢為左下 旋轉，同時計算出Y、 Z軸旋轉角度如公式(l)所示。
^ = arctan(//fl) ， 3 = arctan0/6) (1)
其他運動情況同理可得。通過調整，圖20顯示了對應的模型。 2.4紋理更新
將調整後的3D人臉模型對應到當前幀受損人臉區域時，部分區域宏 塊因正確接收，其上的紋理對於提高3D人臉模型用於本幀處理時的真實 感具有顯著的意義。因此，對於模型上三角面片子區域在一個宏塊上且 該宏塊又正確接收的進行紋理更新，而跨宏塊的區域不做更新。圖21人 臉下巴部位的三角形深色區域為紋理更新區域的一個示意圖(本例更新 區域較少，其他情況可能有較多更新)。
3、當前出錯幀分析處理(情況2) 3. 1檢測人臉區域宏塊丟失情況 此處處理方法同2. l節。 3.2確定用於掩蓋的3D人臉模型
根據對人臉預測區域內宏塊的丟失情況判斷其屬於宏塊少量丟失。 3. 2. 1時域預掩蓋
根據前一幀與當前幀出錯子宏塊位置相同的子宏塊的運動向量，分 別計算覆蓋像素的數目，選取覆蓋數目最多的子宏塊的運動向量作為當 前幀的子宏塊的預掩蓋運動向量，如果覆蓋像素數目計算結果為0，則
將當前幀的子宏塊的預掩蓋運動向量取為0。圖22為受損子宏塊選擇的 預掩蓋，運動向量由圖中虛線表示。
根據獲得的預掩蓋運動向量對當前幀受損宏塊做預掩蓋。掩蓋的方
法可以有多種，在本實施例採用多權值邊框匹配。匹配示意圖如圖23。 圖中A,、 D 、 A和^為該劃分塊上下左右四邊的邊框匹配誤差，其時 域預掩蓋結果如圖24。
3. 2. 2人臉檢測及特徵點提取
從掩蓋效果看，人臉部分雖然效果不好，但由於其與背景仍存在嚴 格區分，因此運用常見的人臉檢測算法仍能較正確的提取出人臉位置。 對於特徵點提取，採用前述可用的特徵點提取算法，最終只保留正確幀 上的特徵點，其他特徵點通過前一正確幀通過運動估計預測完成。圖25 為當前出錯幀用運動向量外插方法進行預掩蓋後的結果以及對該當前掩 蓋幀的人臉檢測和特徵點提取結果，圖中實心黑點為根據正確接收特徵 點預測的運動向量MV計算所得。
3. 3模型調整策略 此處處理同1.3節。 3. 4紋理更新
此處處理同2.4節。 4、差錯掩蓋
最近更新的3D人臉模型即為當前可用於掩蓋的3D模型。將3D模型 移至當前幀適當位置，並進行臉部整體映射而實現差錯掩蓋。如圖26為 兩種出錯情況下的當前出錯幀結合3D模型的差錯掩蓋結果。5、平滑處理
從圖26可以看到，由於非人臉區域採用其他掩蓋方法，不可避免的 會在邊緣處出現明顯的斑塊效應，此時按照圖ll過程進行平滑處理。對
兩種出錯情況掩蓋後的當前出錯幀圖像進行平滑處理的結果如圖27，得 到結合3D人臉模型的最終掩蓋結果，可以看出，本發明的掩蓋方法較好 地恢復了人臉區域，比傳統的時域掩蓋方法更能夠客觀逼真地反映出視 頻圖像的真實情況。
採用本發明方法的基本方案，在實際應用中可依據實際情況產生多 種變例及其衍生組合，鑑於這些變例及其衍生組合的可預測性，本處不 再贅述。
權利要求
1.結合3D人臉模型的視頻差錯掩蓋方法，對可視電話應用領域視頻傳輸中出現的差錯進行差錯掩蓋處理以提高人臉圖像受損區域的主觀視覺質量，包括如下的步驟，1)正確接收幀進行人臉檢測和特徵點標記，計算對應3D人臉模型的位置和形狀信息，實現3D人臉模型的自動調整並結合視頻圖像進行紋理修補及映射；2)對出錯幀進行基於3D人臉模型的差錯掩蓋，充分利用前後幀宏塊之間的相關性，通過前一幀的相應位置結合當前幀的運動向量MV預測當前出錯幀相同區域內其他宏塊的丟失情況判斷人臉區域屬於大部分丟失還是少量丟失；3)人臉區域全部或者大部分丟失時，當前幀無法提供足夠的信息用於確定特定人臉的位置和形狀信息，使用從當前幀背景運動估計得到的位置和形狀估計信息來調整更3D人臉模型或者直接沿用前一幀的3D人臉模型，然後進入步驟5；4)人臉區域少量丟失時，先對受損區域進行時域預掩蓋，根據掩蓋結果採用人臉檢測和特徵點定位相關算法提取出關鍵特徵點，保留正確接收宏塊上的特徵點，未正確接收宏塊通過前一幀相應特徵點運動估計獲取；根據關鍵特徵點確立出位置和形狀信息，結合可獲得的紋理信息進一步調整更新3D人臉模型；然後進入步驟5；5)將3D人臉模型移動至當前出錯幀相應位置進行適當調整和映射掩蓋，從而用新的宏塊替代原始受損宏塊；6)掩蓋後人臉與背景邊緣處的平滑處理。
2. 根據權利要求1所述的結合3D人臉模型的視頻差錯掩蓋方法，其特 徵在於，所述在人臉區域少量丟失時對受損區域進行時域預掩蓋採用運動 向量外推的時域預掩蓋。
3. 根據權利要求1所述的結合3D人臉模型的視頻差錯掩蓋方法，其特 徵在於，掩蓋後人臉與背景邊緣處的平滑處理採用比較邊緣宏塊與前一幀 對應宏塊及周圍宏塊的SAD值，若小於某預設閾值則用前一幀對應宏塊進 行平滑處理；如果相差較大則結合當前幀相鄰宏塊進行平滑處理。
全文摘要
本發明公開了一結合3D人臉模型的視頻差錯掩蓋方法，對可視電話應用領域視頻傳輸中出現的差錯進行差錯掩蓋處理以提高人臉圖像受損區域的主觀視覺質量。獲取用於調整3D人臉模型的人臉部分關鍵特徵點，根據關鍵特徵點確立出位置和形狀信息，並在調整過程中結合當前幀更新模型的紋理信息，從而實現與當前幀人臉圖像的匹配對應的特定3D人臉模型。結合預掩蓋思想和特定3D人臉模型，實現對人臉區域的較準確掩蓋，同時背景區域仍採用傳統方法掩蓋，最後對人臉與背景結合邊緣處採取一定的平滑處理措施，顯著提高掩蓋的性能和主觀質量。
文檔編號H04N7/14GK101360246SQ20081004601
公開日2009年2月4日 申請日期2008年9月9日 優先權日2008年9月9日
發明者旭 夏, 強 彭, 範小九 申請人:西南交通大學