一種視頻的時域一致性半透明邊緣提取方法

2023-05-21 00:08:16

一種視頻的時域一致性半透明邊緣提取方法
【專利摘要】本發明公開了一種視頻的時域一致性半透明邊緣提取方法。對視頻的圖像幀進行逐幀半交互式分割，然後進行優化完成視頻時域一致性分割；根據視頻的時域一致性分割結果，在自適應邊緣的圖像顏色複雜度的前提下自動膨脹分割邊緣生成三色圖；利用三色圖和視頻像素在時域上的光流信息進行時域一致性摳圖。本發明能夠提取視頻物體的時域一致性半透明邊緣，還能夠得到時域一致性分割結果，在影視2D轉3D製作中合成立體新視圖時避免邊緣的抖動和黑邊現象，保證了立體視頻的高質量轉制。
【專利說明】一種視頻的時域一致性半透明邊緣提取方法

【技術領域】
[0001] 本發明涉及一種視頻提取方法，特別是涉及3D立體影視轉制【技術領域】的一種視 頻的時域一致性半透明邊緣提取方法。

【背景技術】
[0002] 自2009年《阿凡達3D》上映以來，3D立體影視成為電影製作的主流，但是用立體 攝像機直接拍攝3D立體影視的成本高、時間長、立體效果調整難度大，因此如何將2D影視 轉製成3D立體影視成為3D立體影視製作領域的研究熱點。
[0003] 2D影視轉製成3D立體影視的基礎技術流程包括：1、鏡頭分解；2、深度反求；3、 立體合成。其中最關鍵的是深度反求技術，即直接恢復視頻圖像上每一個像素到攝像機的 距離。由於視頻圖像是一個2D平面，而且影視場景中的物體複雜多變，視頻深度的反求是 很困難的技術問題。很多研究者提出了機器學習方法恢復單目視頻深度，從而實現立體化 [K. Karsch, C. Liu and S.B. Kang. Depth Extraction from Video Using Non-parametric Sampling. European Conference on Computer Vision (ECCV), 2012·]，該方法雖然有較高 的自動化，但得到的3D立體影視的質量無法保證。另外一種基於視頻分割的3D立體視頻 轉制方法雖然需要較多的人工交互，但是能夠得到更好的立體效果。
[0004] 基於視頻分割的3D立體視頻轉制流程細化如下：1、鏡頭分解；2、圖層預置；3、圖 層分割；4、圖層深度反求；5、圖層立體合成；6、視頻立體合成。其中，圖層就是視頻分割的 結果，根據後期製作人員的需求，將視頻中的物體分割成獨立的圖層，然後分別對每一個圖 層進行立體化。對於邊緣比較銳利、明顯的物體，簡單的分割前景背景就可以做到無縫的立 體化，但是在出現毛髮、運動模糊等半透明邊緣時，簡單的分割往往會在圖層背景上殘留前 景，或者前景上殘留背景，導致立體效果大打折扣。因此3D立體影視轉制必須採用半透明 邊緣提取方法，將半透明區域的前景和背景徹底分離，才能避免立體視覺上的明顯瑕疵。
[0005] 現有的視頻分割方法一般採用半交互半自動的方式，如用戶在第一幀交互分割， 然後將分割結果傳遞到下一幀，並根據分割結果繼續交互優化。為了得到更好的效果，在 最後分割完成之後，現有技術還在分割結果的邊緣上計算半透明邊緣，如[Xue Bai，Jue Wang, David Simons, and Guillermo Sapiro. Video SnapCut:Robust Video Object Cutout Using Localized Classifiers. ACM SIGGRAPH 2009·]和[Fan Zhong，Xueying Qin, Qunsheng Peng, and Xiangxu Meng:Discontinuity-Aware Video Object Cutout, ACM Transactions on Graphics, 2012, VOL. 31(6)，pp 175:1-175:10]，但是現有技術都沒有充 分考慮時域上的一致性，而是直接逐幀進行摳圖，因此無法保證半透明邊緣在時域上的一 致性。而如何使半透明邊緣求解結果在時域上具有高度的一致性，視覺上不會閃爍，在3D 立體影視製作中是至關重要的。目前的視頻半透明邊緣方法在時域的一致性上做得還不夠 理想，普遍存在嚴重的抖動現象，亟待進一步突破。
[0006] 總而言之，現有的方法無法很好地對毛髮等半透明物體進行時域一致性摳圖，導 致3D立體影視的轉制效果很差。因此，需要一種視頻的時域一致性半透明邊緣提取方法， 解決以上問題。


【發明內容】

[0007] 為了克服上述現有技術的不足，本發明提供了一種視頻的時域一致性半透明邊緣 提取方法，以在影視2D轉3D製作過程中實現時域一致性視頻圖層分割，並能夠提取視頻的 時域一致性半透明邊緣。
[0008] 本發明採用的技術方案包括：
[0009] A)對視頻的圖像幀進行逐幀半交互式分割，然後進行優化完成視頻時域一致性分 割；
[0010] B)根據視頻的時域一致性分割結果，在自適應邊緣的圖像顏色複雜度的前提下自 動膨脹分割邊緣生成三色圖；
[0011] C)利用三色圖和視頻像素在時域上的光流信息進行時域一致性摳圖。
[0012] 所述的步驟A)具體包括：
[0013] al)對視頻的圖像幀進行逐幀半交互式分割，生成前景視頻圖像和背景視頻圖 像；
[0014] a2)由以上步驟得到的半交互式分割結果通過優化進行視頻時域一致性分割。
[0015] 所述的步驟a2)中半交互式分割結果通過以下分割目標函數Ε(α，ζ)進行優化， 完成視頻時域一致性分割：
[0016]

【權利要求】
1. 一種視頻的時域一致性半透明邊緣提取方法，其特徵在於，包括以下步驟： A) 對視頻的圖像幀進行逐幀半交互式分割，然後進行優化完成視頻時域一致性分割； B) 根據視頻的時域一致性分割結果，在自適應邊緣的圖像顏色複雜度的前提下自動膨 脹分割邊緣生成三色圖； C) 利用三色圖和視頻像素在時域上的光流信息進行時域一致性摳圖。
2. 根據權利要求1所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的步驟A)具體包括： al)對視頻的圖像幀進行逐幀半交互式分割，生成前景視頻圖像和背景視頻圖像； a2)由以上步驟得到的半交互式分割結果通過優化進行視頻時域一致性分割。
3. 根據權利要求2所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的步驟a2)中半交互式分割結果通過以下分割目標函數Ε(α，ζ)進行優化，完成視頻 時域一致性分割：
式中，ζ表示視頻圖像的所有像素的顏色集合，α為視頻分割標記，λ λ 2, λ 3分別為 數據項權重、控制空域平滑權重和控制時域平滑權重，D(a，z)為分割數據項，V(a，z)為 分割空域平滑項，Τ(α，ζ)為分割時域平滑項。
4. 根據權利要求3所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的分割數據項D ( α，ζ)採用以下公式計算：
式中，pt(zx)是像素點X在第t幀背景視頻圖像的概率函數，ζχ為像素點X的顏色值， 其定義為RGB的顏色空間，α χ為像素點X的視頻分割標記，Γ為第t巾貞視頻圖像,Κ為視頻 圖像的總幀數。
5. 根據權利要求3所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的分割空域平滑項V ( α，ζ)採用以下公式計算：
式中，C是視頻圖像中以兩個相鄰像素為一組組成的所有像素組集合，相鄰像素定義為 像素的四鄰域上，（m，η)為所有像素組集合C中的一組像素組，m、n表示像素組（m，η)中的 兩個像素點，απ、α η分別為像素點m和像素點η的視頻分割標記，|.|表示絕對值函數， d(.)是像素在圖像上的位置之間的歐拉距離函數。
6. 根據權利要求3所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的分割時域平滑項T ( α，z)採用以下公式計算：
式中，η表示時域平滑項要往前和往後計算的η幀相鄰圖像，W(x)是以像素點χ為中心 的3X3局部窗口中的9個像素集合，y為局部窗口 W(x)中的任一像素點，<7二為像素點y 在第k幀的對應像素點/的光流置信度，分別表示位置、顏色的控制係數，k為像素點yk所 在的圖像幀，是第k幀圖像在像素點yk的分割標記，exp 是以自然常數e為底的指數 函數。
7. 根據權利要求1所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的步驟C)中時域一致性摳圖具體採用以下摳圖目標函數F(i3，z)進行摳圖：
式中，β表示像素點的半透明值集合，υ(Γ)表示圖像Γ的三色圖中待求解的未知區 域包含的像素集合，λ Q，λ ρ，λ Η，λ e為摳圖數據項權重、控制摳圖時域平滑權重、控制摳圖 空域局部平滑權重和控制摳圖空域平滑權重，Q(i3，z，x)為摳圖數據項，G(i3，z)為摳圖空 域平滑項，以0， 2，1)為摳圖空域局部平滑項，？〃+1(12，1)為第七幀視頻圖像到後一幀視 頻圖像的正向摳圖時域平滑項，ρ?Η(β，z，X)為第t幀視頻圖像到前一幀視頻圖像的反向 摳圖時域平滑項。
8. 根據權利要求7所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的摳圖數據項Q(i3，z，x)表示為：
式中，pt(zx)是像素點X在第t幀背景視頻圖像的概率函數，zx為像素點X的顏色值， 其定義為RGB的顏色空間，β χ為像素點X的半透明值。
9. 根據權利要求7所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的摳圖空域平滑項G(i3，z)表示為：
式中，C是視頻圖像中以兩個相鄰像素為一組組成的所有像素組集合，（m，η)為所有像 素組集合C中的一組像素組，m、η表示像素組（m，η)中的兩個像素點，βπ、βη分別為像素 點m和像素點η的半透明值，I. |表示絕對值函數，d(.)是像素在圖像上位置之間的歐拉距 離函數。
10. 根據權利要求7所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的摳圖空域局部平滑項Η(β，ζ，χ)表示為 ：
式中，W(x)是以像素點X為中心的3X3局部窗口中的9個像素的集合，βχ、h分別 為像素點X和像素點y的半透明值，Μ是視頻圖像中包含像素點X，y的3X3局部窗口的集 合，i是從Μ中取一個局部窗口的下標指不，μ pCc%分別為局部窗口 ％內顏色的期望和協 方差，ε為規範化係數，B為3X3單位矩陣,zx為像素點X的顏色值,zy為像素點y的顏色 值。
11. 根據權利要求7所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵在於： 所述的正向摳圖時域平滑項產t+1 ( β，z，X)對於每個像素點X表示為以下公式： 其中，X'為像素點X在後一幀視頻圖像中的光流對應像素點
為像素點X和像素
點X'的光流置信度，β x為像素點X的半透明值，β x，為像素點X'的半透明值； 所述的反向摳圖時域平滑項pt'Η ( β，Z，X)對於每個像素點X表示為以下公式：
其中，X"為像素點X在前一幀視頻圖像中的光流對應像素點，
^像素點X和像素 點X"的光流置信度，像素點X的半透明值，βχ?為像素點X"的半透明值。
12.根據權利要求6或11所述的一種視頻的時域一致性半透明邊緣提取方法，其特徵 在於：所述的光流置信度
光流置信度
?光流置信度
均採用以下計算方式： 通過計算視頻運動信息生成光流，獲得光流誤差，由光流誤差採用以下公式得到置信度：
其中，r為視頻圖像中的任意像素點，S為像素點r的光流對應像素點
為像素點 r和像素點s的光流置信度，exp是以自然常數e為底的指數函數,s)為像素點r和 像素點s的光流誤差，z1?為像素點r的顏色值，zs為像素點s的顏色值，δ flw為光流控制 係數，δ。。1?·為顏色控制係數。
【文檔編號】G06T15/00GK104159098SQ201410437346
【公開日】2014年11月19日 申請日期:2014年8月29日 優先權日:2014年8月29日
【發明者】董子龍 申請人:杭州道玄影視科技有限公司