視頻對象級時域編輯方法及系統的製作方法
2023-07-19 02:22:26 1
專利名稱：視頻對象級時域編輯方法及系統的製作方法
技術領域：
本發明涉及視頻處理技術領域，特別涉及一種視頻對象級時域編輯方法及系統。
背景技術：
作為影視製作中不可或缺的手段，視頻編輯技術可以使影視製作產生一些具有娛樂性和夢幻性的視頻場景，使完美特效出現在影視作品。影視製作後期中在時間軸上的視頻編輯是產生特效的重要策略之一。快速運動能完美地表現時光流逝之感。雲捲雲舒、車水馬龍，這些場景在電影當中通常用數倍於常速的方式來播放。慢速運動則能增強緊張或者戲劇性的視頻場景。例如，影視作品裡常常在某些危急場景中使用極慢的方式來播放。目前時間軸上的視頻編輯通常只是應用於整個視頻幀的操作，即在某個場景中所有視頻對象都是經歷相同的時間快/慢變化編輯，如Peker等人於2001年提出的"Constant Pace Skimming and Temporal Sub-sampling of Video using Motion Activity」 和 Bennett 等人於 2007 年提出的"Computational Time-lapse Video」。這些方法針對每一幀，在時間軸上採取一定的重採樣方法抽取出一些圖像，然後將這些圖像以正常速度播放，從而達到整幀內容的時域快/慢編輯。相對於整幀圖像做快/慢變化編輯，允許單個視頻運動對象在時間軸上的變化將能使導演提供更大的自由來實現更多的藝術表現。基於單個視頻運動對象在時間軸上的編輯通常需要以下步驟視頻對象的標註與精細分割、時域操作和還原回到背景圖像中以合成最終視頻。視頻對象的半自動標註技術較為高效，如Bradski等人於1998年提出的均值漂移標註"Computer Vision Face Tracking for Use in a Perceptual User Interface，， 和 Goldman 等人於 2008 年提出的粒子濾波方法"Video Object Annotation, Navigation and Composition」。半自動標註技術為本視頻對象級時域編輯方法提供了較好的技術基石出。如果視頻對象之間在時空上原已有相交或重疊，而編輯之後也可能會產生新的相交或重疊，因此需要對視頻對象做精細地分割與摳取。近年來精細摳取視頻對象的方法層出不窮。Li等人於2005年提出三維圖模型「Video Object Cut and Paste」 ;Wang等人於2005年提出交互式的均值漂移分割Interactive Video Cutout」 ；Bai等人於2009年提出局部分類模型方法「Video Snapcut =Robust Video Object Cutout Using Localized Classifiers」。即使有上述技術進步，視頻對象的精細分割與摳取到目前為止仍然是一項極其繁瑣的工作，即使是訓練有素的視頻製作人員，也需要大量的手工交互工作來完成。Schodl 等人於 2002 年的 「Editing Object Behaviour in Video Sequences」 工作使用藍屏背景來拍攝運動物體並抽取其時空信息，但這並不能廣泛使用於常用視頻中。此外，有一些方法試圖使用視頻尺度伸縮技術來實現時域編輯。該類方法通常在視頻三維中以類似於「抽線」的方式來改變運動物體的顯示時間，如Chen於2008年提出的「Video Carving", Li 於 2009 年提出的"Video Condensation by Ribbon Carving，，，Slot 於 2009 年的"Content-aware Video Editing in the Temporal Domain，，，但這些方法受限於抽線的較小自由度，且不能高效的產生各種編輯效果。
發明內容
(一)要解決的技術問題本發明要解決的技術問題是如何避免使用精細分割方式，就能達到實現視頻對象的標註和獲得。( 二 )技術方案為解決上述技術問題，本發明提供了一種視頻對象級時域編輯方法，包括以下步驟Sl 提取視頻中每一幀的靜態背景圖像；S2 用視頻中每一幀的圖像減去對應的靜態背景圖像，以獲得視頻對象；S3 調整所述視頻對象的起始播放時間，設置所述視頻對象的重採樣方式；S4:選擇所述視頻對象的起始播放時間和重採樣方式，根據選擇結果對所述視頻對象在時域上重排；S5:將所述重排後的視頻對象的每一幀圖像與對應的靜態背景圖像合成，從而得到視頻編輯結果。優選地，步驟Sl之前包括以下步驟SO 對視頻進行預處理，以實現視頻內容穩定。優選地，所述預處理包括均值濾波、檢測和對齊。優選地，步驟S2中具體包括以下步驟S21 將視頻中每一幀的圖像中去除與靜態背景圖像中對應像素顏色值相同的區域，以獲得由所述視頻對象構成的前景運動區域；S22:在視頻中每一幀的前景運動區域中得到與預設標註的特定視頻對象區域相重合的部分，將視頻中每一幀重合的部分作為該幀的視頻對象。優選地，步驟S4中具體包括以下步驟S41 將重排後的視頻對象相對於原視頻對象定義為Ai*x+Bi，其中，Ai為某一視頻對象i在時域上被拉長或縮短的倍數，χ為重排後的視頻對象i相比起原視頻的起始播放時間，Bi為視頻對象i在時域上偏移的數值；S42 通過求下列公式中T的最小值，以獲得Ai和Bi， 『T = T\ + T2] Ai*t5 + Bi = Aj*t5 + Bj
\(Ai *t6 + Bi)-(Aj*tl + Bj)\ > 0其中，
權利要求
1.一種視頻對象級時域編輯方法，其特徵在於，包括以下步驟51提取視頻中每一幀的靜態背景圖像；52用視頻中每一幀的圖像減去對應的靜態背景圖像，以獲得視頻對象；53調整所述視頻對象的起始播放時間，設置所述視頻對象的重採樣方式；54選擇所述視頻對象的起始播放時間和重採樣方式，根據選擇結果對所述視頻對象在時域上重排；55將所述重排後的視頻對象的每一幀圖像與對應的靜態背景圖像合成，從而得到視頻編輯結果。
2.如權利要求1所述的方法，其特徵在於，步驟Sl之前包括以下步驟SO 對視頻進行預處理，以實現視頻內容穩定。
3.如權利要求2所述的方法，其特徵在於，所述預處理包括均值濾波、檢測和對齊。
4.如權利要求1所述的方法，其特徵在於，步驟S2中具體包括以下步驟521將視頻中每一幀的圖像中去除與靜態背景圖像中對應像素顏色值相同的區域，以獲得由所述視頻對象構成的前景運動區域；522在視頻中每一幀的前景運動區域中得到與預設標註的特定視頻對象區域相重合的部分，將視頻中每一幀重合的部分作為該幀的視頻對象。
5.如權利要求1所述的方法，其特徵在於，步驟S4中具體包括以下步驟541將重排後的視頻對象相對於原視頻對象定義為Ai*x+Bi，其中，Ai為某一視頻對象i在時域上被拉長或縮短的倍數，χ為重排後的視頻對象i相比起原視頻的起始播放時間，Bi為視頻對象i在時域上偏移的數值；542通過求下列公式中T的最小值，以獲得Ai和Bi，『T = T\ + T2 0其中，Tl = I I (Ai*tl+Bi)-(Ai*t2+Bi) | |*| | (Ai*tl+Bi)-(Ai*t2+Bi) | |，T2 = | | (Ai* t3+Bi)-(Ai*t4+Bi) I M I (Ai*t3+Bi)-(Ai*t4+Bi) |，tl 為視頻對象 i 的某一動作 a被調整後出現的時刻，t2為視頻對象i的動作a在重排後出現的時刻，t3為視頻對象i的某一動作b在重排後出現的時刻，t4為視頻對象i的動作b在原視頻中出現的時刻，t5為視頻對象i的某一動作c和視頻對象j的某一動作d相交的時刻，t6和t7表示視頻對象i的某一動作e和視頻對象j的某一動作f在原視頻中不相交，但空間位置有重疊的分別出現的時刻；543設視頻對象i的某一動作g在原始視頻中偽時刻出現，則重排後的結果為在 Ai*t8+Bi時刻出現。
6.一種視頻對象級時域編輯系統，其特徵在於，所述系統包括背景提取模塊，用於提取視頻中每一幀的靜態背景圖像；視頻對象獲得模塊，用於用視頻中每一幀的圖像減去對應的靜態背景圖像，以獲得視頻對象；調整模塊，用於調整所述視頻對象的起始播放時間，設置所述視頻對象的重採樣方式；選擇模塊，用於選擇所述視頻對象的起始播放時間和重採樣方式，根據選擇結果對所述視頻對象在時域上重排；合成模塊，用於將所述重排後的視頻對象的每一幀圖像與對應的靜態背景圖像合成， 從而得到視頻編輯結果。
7.如權利要求1所述的系統，其特徵在於，還包括預處理模塊，用於對視頻進行預處理，以實現視頻內容穩定。
8.如權利要求7所述的系統，其特徵在於，所述預處理包括均值濾波、檢測和對齊。
9.如權利要求1所述的系統，其特徵在於，所述視頻對象獲得模塊中具體包括前景區域獲得子模塊，用於將視頻中每一幀的圖像中去除與靜態背景圖像中對應像素顏色值相同的區域，以獲得由所述視頻對象構成的前景運動區域；視頻對象獲得子模塊，用於在視頻中每一幀的前景運動區域中得到與預設標註的特定視頻對象區域相重合的部分，將視頻中每一幀重合的部分作為該幀的視頻對象。
10.如權利要求1所述的系統，其特徵在於，所述選擇模塊包括定義子模塊，用於將重排後的視頻對象相對於原視頻對象定義為Ai*x+Bi，其中，Ai為某一視頻對象i在時域上被拉長或縮短的倍數，χ為重排後的視頻對象i相比起原視頻的起始播放時間，Bi為視頻對象i在時域上偏移的數值；計算子模塊，用於通過求下列公式中T的最小值，以獲得Ai和Bi，
全文摘要
本發明公開了一種視頻對象級時域編輯方法及系統，涉及視頻處理技術領域，包括以下步驟S1提取視頻中每一幀的靜態背景圖像；S2用視頻中每一幀的圖像減去對應的靜態背景圖像，以獲得視頻對象；S3調整所述視頻對象的起始播放時間，設置所述視頻對象的重採樣方式；S4選擇所述視頻對象的起始播放時間和重採樣方式，根據選擇結果對所述視頻對象在時域上重排；S5將所述重排後的視頻對象的每一幀圖像與對應的靜態背景圖像合成，從而得到視頻編輯結果。本發明通過獲取靜態背景圖像，使得在不使用精細分割方式的情況下，就能達到實現視頻對象的標註和獲得，進而快速實現單個視頻對象級的時域編輯，從而達到各種視頻特效效果。
文檔編號G11B27/031GK102339625SQ20111028056
公開日2012年2月1日 申請日期2011年9月20日 優先權日2011年9月20日
發明者盧少平, 張松海, 胡事民, 魏瑨 申請人:清華大學