一種基於內容的視頻尺寸縮小的方法
2023-07-12 10:09:06 1
一種基於內容的視頻尺寸縮小的方法
【專利摘要】本發明公開了一種基於內容的視頻尺寸縮小的方法，首先進行場景切換檢測與關鍵幀提取；採用前向整像素運動估計為非關鍵幀的每一像素在關鍵幀中找到與之匹配的象素點，並對每個塊進行前向整像素點運動估計，找到運動矢量；對視頻所有幀的重點區域像素點進行保護，防止這些像素點被選入最優接縫或最優接縫的映射後在後續步驟中被刪除；提取關鍵幀的最優接縫，採用動態設計法在關鍵幀中搜索最小能量接縫；進行魯棒接縫檢測和質量判斷，縮小視頻幀直至視頻幀尺寸滿足設計要求。本發明的有益效果是運算量小，佔用空間小。
【專利說明】一種基於內容的視頻尺寸縮小的方法
【技術領域】
[0001]本發明屬於視頻處理【技術領域】，涉及一種基於內容的視頻尺寸縮小的方法。
【背景技術】
[0002]抽線技術(是圖像尺寸變換的一種方法，又稱為內容感知的圖像尺寸變換法。該方法基於尋找圖像中一系列從上到下或者從左到右的最不重要的通路-接縫，並自動地將這些接縫挨個刪除以達到縮小圖像尺寸的目的)，魯棒接縫(接縫存在於連續視頻幀的相同內容中，刪除這些接縫不會引起視頻閃爍和抖動)。
[0003]現有視頻縮放技術均是對視頻幀進行等尺寸縮放，但使得視頻在小尺寸手持設備上觀看時清晰度不高，不能滿足用戶的要求。由於現有視頻縮放技術無法分辨視頻幀中內容的重要性，因此無法實現在縮小過程中對重要內容進行保真處理即保持原始解析度。
[0004]現有的基於內容感知的圖像縮放技術如剪切技術、圖形切割技術和抽線技術可以較好地保留圖像中的主體內容，但是將剪切技術和抽線種技術應用於視頻處理會產生明顯的視覺抖動和閃爍，並顯著地增加了視頻幀間差。此外該兩種技術的計算量很大，需要對視頻幀進行逐幀處理。圖形切割技術能夠有效避免視覺抖動和閃爍，但是該技術需要處理完一段視頻流中的所有幀才能確定一條接縫的刪除，運算量和所需的存儲空間大得沒法在現有普通計算機中實現高清視頻的處理。FSCAV需要用RANSAC方法去估計補償連續幀之間的攝像機運動，運算量大，通常要進行300次的迭代，估計精度才會比較高，而且該方法也必須處理完所有視頻幀才能完成一次抽線過程，運算量大所需存儲量仍然大。
[0005]現有技術的缺點:等尺寸視頻縮放技術無法滿足視頻重要內容在小尺寸的手持設備中的保真顯示；基於內容感知的圖像縮放技術如剪切技術和抽線技術運算量大，抽線技術會出現前景物體失真，幀間差明顯增加，並會產生明顯的視覺抖動和閃爍；圖形切割技術運算量和存儲量太大，一般通用計算機無法實現高清視頻的處理。FSCAV方法採用八個參數定義攝像機的運動情況:其中六個參數代表放射運動，兩個參數描述景深變化。該方法需要用RANSAC方法去估計補償連續幀之間的攝像機運動，運算量大，通常要進行300次的迭代估計精度才會比較高，而且該方法也必須處理完所有視頻幀才能完成一次抽線過程。
【發明內容】
[0006]本發明的目的在於提供一種基於內容的視頻尺寸縮小的方法，解決了現有的方法計算量大的問題。
[0007]本發明所採用的技術方案是按照以下步驟進行:
[0008]步驟I，場景切換檢測與關鍵巾貞提取；
[0009]步驟2，採用前向整像素運動估計為非關鍵幀的每一像素在關鍵幀中找到與之匹配的象素點，並對每個塊進行前向整像素點運動估計，找到運動矢量；
[0010]步驟3，對視頻所有幀的重點區域像素點進行保護，防止這些像素點被選入最優接縫或最優接縫的映射後在後續步驟中被刪除；[0011]步驟4，提取關鍵幀的最優接縫，採用動態設計法在關鍵幀中搜索最小能量接縫；
[0012]步驟5，魯棒接縫檢測:本步驟檢測步驟4提取的最優接縫是否是魯棒接縫，並通過運動矢量MV實現關鍵幀最優接縫在非關鍵幀上的映射，檢測到魯棒接縫後就在關鍵幀裡刪除該魯棒接縫並刪除非關鍵幀裡魯棒接縫的映射像素點，完成水平或者垂直方向一個像素大小的縮小；
[0013]步驟6，質量判斷:本步驟分析在不出現明顯失真前提下多少接縫可以被刪除。刪除第i條接縫以後的誤差代價函數用E(Si)表示，當E(Si)超過門限Ts時本案將認為不能繼續刪除魯棒接縫完成視頻幀尺寸縮小，而換用常規的等尺寸縮放方法繼續縮小尺寸直至視頻幀尺寸滿足設計要求。
[0014]進一步，步驟I中場景切換檢測通過判斷當前幀方差的二階導數實現，每個場景的第一個清晰幀為關鍵幀。
[0015]進一步，步驟4中，搜索最小能量接縫過程為:混合能量計算公式計算每個關鍵幀中的像素的刪除代價能量Etotal(X),聯合考慮了該像素點的原始能量、抽線集中程度以及像素角色值，式中E_g表示在前景區域內連續抽線的集中程度，Erale代表每個像素的角色值，即背景、前景以及不可刪除區域，EU)代表像素點X的能量，
[0016]Etotal (X) = Erole (X) X (E (X) +Econg (X))
【權利要求】
1.一種基於內容的視頻尺寸縮小的方法，其特徵在於按照以下步驟進行: 步驟I，場景切換檢測與關鍵幀提取； 步驟2，採用前向整像 素運動估計為非關鍵幀的每一像素在關鍵幀中找到與之匹配的象素點，並對每個塊進行前向整像素點運動估計，找到運動矢量； 步驟3，對視頻所有幀的重點區域像素點進行保護，防止這些像素點被選入最優接縫或最優接縫的映射後在後續步驟中被刪除； 步驟4，提取關鍵幀的最優接縫，採用動態設計法在關鍵幀中搜索最小能量接縫； 步驟5，魯棒接縫檢測:本步驟檢測步驟4提取的最優接縫是否是魯棒接縫，並通過運動矢量MV實現關鍵幀最優接縫在非關鍵幀上的映射，檢測到魯棒接縫後就在關鍵幀裡刪除該魯棒接縫並刪除非關鍵幀裡魯棒接縫的映射像素點，完成水平或者垂直方向一個像素大小的縮小； 步驟6，質量判斷:本步驟分析在不出現明顯失真前提下多少接縫可以被刪除；刪除第i條接縫以後的誤差代價函數用E(Si)表示，當E(Si)超過門限1時本案將認為不能繼續刪除魯棒接縫完成視頻幀尺寸縮小，而換用常規的等尺寸縮放方法繼續縮小尺寸直至視頻幀尺寸滿足設計要求。
2.按照權利要求1所述一種基於內容的視頻尺寸縮小的方法，其特徵在於:所述步驟I中場景切換檢測通過判斷當前幀方差的二階導數實現，每個場景的第一個清晰幀為關鍵幀。
3.按照權利要求1所述一種基於內容的視頻尺寸縮小的方法，其特徵在於:所述步驟4中，搜索最小能量接縫過程為:混合能量計算公式計算每個關鍵幀中的像素的刪除代價能量Etrtal (X)，聯合考慮了該像素點的原始能量、抽線集中程度以及像素角色值，式中艮?8表示在前景區域內連續抽線的集中程度，Erole代表每個像素的角色值，即背景、前景以及不可刪除區域，EU)代表像素點X的能量，
4.按照權利要求1所述一種基於內容的視頻尺寸縮小的方法，其特徵在於:所述步驟.5中，當關鍵幀最優接縫在非關鍵幀上的映射被不可刪除區域或者不精確的運動矢量打斷，從而在映射接縫中出現缺損像素時，在不可刪除區域的同行或同列區域進行局部搜索找到替代映射點填補映射接縫的缺損像素，噹噹前最優接縫在該場景的所有非關鍵幀中有對應的映射像素點或者能通過上述處理方案填補修復時該接縫成為一條魯棒接縫，否則為非魯棒接縫。
5.按照權利要求1所述一種基於內容的視頻尺寸縮小的方法，其特徵在於:設刪除第i條接縫以後的誤差代價函數用E(Si)表示，當E(Si)超過門限1時將認為不能繼續刪除魯棒接縫完成視頻幀尺寸縮小而換用常規的等尺寸縮放方法繼續縮小尺寸直至視頻幀尺寸滿足設計要求，Ts由下式計算:
【文檔編號】H04N19/142GK103974068SQ201410190933
【公開日】2014年8月6日 申請日期:2014年5月7日 優先權日:2014年5月7日
【發明者】鄔震宇 申請人:電子科技大學