一種基於線裁剪的視頻濃縮方法
2023-10-18 10:48:09 1
一種基於線裁剪的視頻濃縮方法
【專利摘要】本發明屬於視頻濃縮【技術領域】，具體一種基於線裁剪的視頻濃縮方法。視頻濃縮是指對視頻進行時間上的壓縮，使在較短的時間中儘可能對原視頻中的細節進行描述，去除視頻時間域上的冗餘信息，從而賦予用戶快速瀏覽無盡的監控視頻的能力。本發明方法使用線裁剪對視頻Tube進行裁剪，從而減少視頻在時間域的長度；在裁剪過程中，使用光流更新視頻Tube的能量圖，並且根據關於視頻Tube能量圖的分析結果，設置裁剪終止的準則，從而對每個tube，在保證視頻連貫性的前提下，儘量地壓縮視頻tube的持續時間，最終達到有效視頻濃縮的效果。實驗結果表明，本發明方法在較好地保持對物體運動描述的基礎上，可以有效實現視頻時間域上的壓縮。
【專利說明】一種基於線裁剪的視頻濃縮方法
【技術領域】
[0001]本發明屬於視頻濃縮【技術領域】，具體涉及一種視頻濃縮方法。
【背景技術】
[0002]自從上個世紀，數以千萬計的監控攝像頭被部署在了例如火車站、飛機場等交通樞紐處以及各種交通路口，並在不斷產生著大量的監控視頻。在數位化的時代，監控視頻的數量更是爆發性地增長。在城市的大街上，每個攝像頭都在24小時全天候的進行著錄像，很多監控視頻根本從未被觀看過。視頻的冗長也給回溯帶來了很大的困難。由於監控攝像頭越來越便宜、越來越容易部署，監控網絡不斷地變得密集，使得人員監控的難度不斷上升，需求的存儲空間也不斷增大。因此對解決監控產生的各種不便而誕生的各種算法引發了各界的極大興趣並已成為當今多媒體信息處理領域的一項研究熱點。
[0003]視頻濃縮是對視頻進行時間上的壓縮，在較短的時間中對儘可能對原視頻中的細節進行描述，去除視頻時間域上的冗餘信息。視頻濃縮技術令監控視頻擁有更大的信息量，它賦予了用戶快速瀏覽無盡的監控視頻的能力，加入視頻檢索技術後，更能對用戶關於某個物體在原視頻中出現的時間等問題進行應答。這時的濃縮視頻更充當了原監控視頻索引的角色。
[0004]該技術相對傳統的視頻監控技術擁有強大的優勢:
(I)存儲空間:由於是監控視頻，攝像頭必須全時間進行監控，導致了每分每秒都會有無窮的監控視頻的產生，給存儲帶來了巨大的壓力。通過視頻濃縮技術，我們可以在編碼方式等其他因素相同的情況同時將原視頻的尺寸大小地縮小，從而節省了大量的存儲空間。
[0005](2)快速瀏覽:在傳統方法中對監控視頻的回放瀏覽是一件讓人頭疼的事情，快放可能會損失重要信息，而等待漫無止境的監控視頻播放也令人厭惡，通過視頻濃縮後，大量冗餘信息被去除，保證了每一分每一秒都是重要信息，從而使得回放效率大幅度提高，也降低了通過監控視頻回溯重要信息的難度。
[0006]現在大致有這幾種算法來解決這個問題:
(I)快進，以固定比率將幀直接跳過來達到濃縮的目的。
[0007](2)關鍵幀提取。
[0008](3)蒙太奇，將相關視頻片斷進行排列來縮短視視頻長度。
[0009]以上幾種算法各自有不同的優缺點，其中第一個與第二個算法對視頻中物體的動態無法較好的保存，而第三種方法也存在著瓶頸，而本發明提出的方法可以在大幅度縮短視頻長度的同時保持運動物體的運動。
【發明內容】
[0010]本發明的目的在於提供一種可以在大幅度縮短視頻長度的同時保持運動物體運動狀況的視頻濃縮方法，以便有效地完成對視頻的處理，為各項應用提供方便。
[0011]本發明提出視頻濃縮方法,是基於線裁剪(seam carving)技術的,如圖1所示，具體步驟如下:
(I)視頻管(video tube)的提取
首先是使用現有的各種方法(比如[1，2])從原始視頻中，提取視頻管(video tube)，生成視頻掩膜(video mask)。在提取tube後,便獲得了包括每個物體運動的開始幀、每一幀中物體的邊界與持續時間等重要信息。通過這些信息，為每一個物體創建一個視頻掩膜(video mask)。視頻掩膜的長度為該物體運動的持續時間，而每一個像素的值為:
【權利要求】
1.一種基於線裁剪的視頻濃縮方法，是基於線裁剪技術的，其特徵在於具體步驟如下: (1)視頻管的提取 首先，使用現有方法從原始視頻中提取視頻管；提取視頻管後，便獲得包括每個物體運動的開始幀、每一幀中物體的邊界與持續時間這些信息；通過這些信息，為每一個物體創建一個視頻掩膜，視頻掩膜的長度為該物體運動的持續時間，而每一個像素的值為:
2.根據權利要求1所述的基於線裁剪的視頻濃縮方法，其特徵在於所述步驟(2)中對轉置後的視頻管和視頻掩膜進行同步線裁剪，其內容包括: Ca)將視頻的三維問題轉化為二維問題，對x_t或y-t平面進行線裁剪； (b)以光流作為線裁剪的初始能量值； (C)對能量圖修正； (d)設立線裁剪的終止準則； 所述對x_t或y-t平面逐個視頻管進行線裁剪的具體過程為: 將線裁剪應用到視頻的x-t方向，對視頻的時間域進行修改，不斷地應用線裁剪，便可用較少的圖像變形得到被縮小的圖片；在y-t情況下，這個線裁剪的性質依舊成立； 首先，將線裁剪作用到視頻的x-t方向，Seam線將切割光流較小的區域；這樣，在時間域上變化較大的像素便會被保留而光流值較小的像素便會被切割；即:在每一個視頻管上應用線裁剪後，較小的運動將會被更多的濃縮，而較大的運動將會被保留； 同樣，將線裁剪作用到視頻的y-t方向； 所述對能量圖修正，是對裁剪後能量圖中的光流值進行修正，即將周邊像素的光流值加上到seam線的位移來完成能量圖的修正； 所述濃縮終止準則如下: 定義一個值d，d表示每行運動物體時間域上的長度；分別計算每行的d值並對其取平均數，將其定義為D ；D值代表運動物體在給定位置上的時間域跨度；當線裁剪進行時，D值將會隨著物體的運動被消減而不斷減小；用戶可設定一個閾值Th，當D值降低到這個閾值Th時便不再進行線裁剪，這樣用戶便可以自定義視頻濃縮的比率； 所述同步線裁剪，是指在物體視頻片斷生成能量圖之後，同時對兩個視頻片斷進行裁線剪，稱之為同步過程；在物體視頻中刪去一條seam線時，相同位置的像素也應該在視頻掩膜中被刪除；所述兩個視頻片斷是指與運動物體有關兩個視頻片斷:一個是在上述過程中使用的視頻管 ，另一個即所創建的視頻掩膜。
【文檔編號】H04N19/43GK103763562SQ201410030131
【公開日】2014年4月30日 申請日期:2014年1月22日 優先權日:2014年1月22日
【發明者】顏波, 薛向陽, 李可, 王偉禕 申請人:復旦大學