一種視頻內容去重的處理方法
2023-06-16 15:18:46 3
一種視頻內容去重的處理方法
【專利摘要】本發明涉及一種視頻內容去重的處理方法，所述的視頻內容去重的處理方法包括如下步驟：(1)根據視頻的時長進行排序形成鍊表；（2)在設置的窗口內，計算所述鍊表中的視頻與待驗視頻的時長相似度；如所述時長相似度達到設定的閾值範圍，執行步驟（3);否則，將所述待驗視頻插入到所述鍊表中；（3)在所述的窗口內進一步計算其他元數據相似度，並結合所述時長相似度和所述其他元數據相似度，所述其他元數據包括：視頻標題、標籤、關鍵詞、上傳時間、文件大小，判定所述鍊表中是否已存在所述的待驗視頻；如所述鍊表中不存在所述的待驗視頻，將所述待驗視頻插入到所述鍊表中；否則，放棄該待驗視頻。該處理方法在降低計算複雜度的同時，能保障視頻內容去重處理的有效性。
【專利說明】一種視頻內容去重的處理方法
【技術領域】
[0001] 本發明涉及多媒體通信領域，特別涉及一種視頻內容去重的處理方法。
【背景技術】
[0002] 網際網路視頻業務中，在視頻獲取、搜索、推薦時，如何識別出高相似度視頻成為限 制硬體資源節省、用戶體驗的提高。
[0003] 現有的視頻去重處理方法有下面幾種：
[0004] (1)根據視頻文件MD5值去重。為了完整性校驗和版權保護，每個視頻文件中都 保存有一個MD5值，具有相同的MD5值的視頻可以認為是同一視頻。這種方法的局限性在 於，只能識別出具有完全相同來源的視頻，視頻經過轉碼後MD5值就會變化，而且無法識別 出內容高度相似的視頻。
[0005] (2)根據視頻文本元數據信息去重，最常用的是基於向量空間模型（VSM)的方 法，根據視頻的描述信息提取出視頻的文本特徵，為視頻建立一個文本向量空間模型：
[term, weight;.......]，term是提取出的視頻文本特徵tag, weight是這個tag的權重。 在為每個視頻建立文本向量空間模型後，計算兩個向量的距離就得到了對於視頻相似度的 度量，計算向量距離的方法有很多，例如餘弦定理、歐式距離、曼哈頓距離、漢明距離等；這 種方法的計算時間複雜度為θ (η2)，面對大量的網際網路視頻，計算代價太大；
[0006] (3)根據視頻內容去重，視頻內容並不能完全由元數據信息來衡量，視頻是由一幀 一幀的圖像組成的，可以通過關鍵幀的圖像匹配來計算視頻的相似度，但是這種方法也存 在不足，首先，這種方法的計算時間複雜度為θ (η2)，而且單個相似度的計算量過於複雜， 不具有實際工程應用性；其次，有些視頻內容具有很高的相似性，但是由於拍攝期間或者後 期處理等的差異性，使得關鍵幀不相同造成漏識別。
[0007] 在已公開的專利中，申請號：201210239076. 0的中國專利公開了"一種網際網路資 源去重的處理方法及系統"，該方法利用資源包名和資源的名字進行去重，但不適合網際網路 視頻剔重。
【發明內容】
[0008] 本發明的目的在於，為了克服現有的視頻去重處理方法存在著上述使用的局限 性，本發明提供一種視頻內容去重的處理方法，該處理方法在降低計算複雜度的同時，能保 障視頻內容去重處理的有效性。
[0009] 為實現上述目的，本發明提供一種視頻內容去重的處理方法，所述的視頻內容去 重的處理方法包括如下步驟：
[0010] (1)根據視頻的時長進行排序形成鍊表；
[0011] (2)在設置的窗口內，計算所述鍊表中的視頻與待驗視頻的時長相似度；如所述時 長相似度達到設定的閾值範圍，執行步驟（3);否則，將所述待驗視頻插入到所述鍊表中；
[0012] (3)在所述的窗口內進一步計算其他元數據相似度，所述其他元數據包括：視頻標 題、標籤、關鍵詞、上傳時間、文件大小，並結合所述時長相似度和所述其他元數據相似度， 判定所述鍊表中是否已存在所述的待驗視頻；如所述鍊表中不存在所述的待驗視頻，將所 述待驗視頻插入到所述鍊表中；否則，放棄該待驗視頻。
[0013] 作為上述技術方案的進一步改進，所述判定的方法為：
[0014] (1)對所述時長相似度和其他元數據相似度進行加權，得出總相似度；
[0015] (2)如所述總相似度達到設定的閾值範圍，則所述鍊表中已存在所述的待驗視頻， 否則，所述鍊表中不存在所述的待驗視頻。
[0016] 作為上述技術方案的進一步改進，所述窗口的設置方法包括：靜態設置和動態設 置；所述靜態設置按時長或數量設置窗口；所述動態設置按鍊表不同區間視頻數目和鍊表 視頻總數目，或鍊表密度，或待比較的視頻時長設置窗口。
[0017] 作為上述技術方案的進一步改進，所述鍊表按所述視頻的時長的粗細粒度進行排 序形成多層桶結構，所述多層桶包括粗粒度桶和細粒度桶，該粗粒度桶由多個細粒度桶組 成；每個粗粒度桶均按時長通過計數排序算法排序組成一個鍊表，所有細粒度桶按視頻時 長排序組成一個總鍊表。
[0018] 本發明的一種視頻內容去重的處理方法的優點在於：
[0019] 1.由於視頻的時長是一個區分性很高元數據，本發明只計算窗口內的待驗視頻的 時長相似度，結合鍊表按所述視頻的時長的粗細粒度進行計數排序形成多層桶結構，計算 複雜度從θ (η2)降低到〇 (η);進一步結合其他元數據相似性，提高了識別率。
[0020] 2.根據去重處理的需要，窗口可以動態調整，保障了視頻內容去重處理的有效性。
【專利附圖】
【附圖說明】
[0021] 圖1是本發明的一種視頻內容去重的處理方法的流程圖。
[0022] 圖2是本發明的一種視頻內容去重的處理方法的多層桶結構示意圖。
【具體實施方式】
[0023] 下文將結合附圖和【具體實施方式】對本發明作進一步的說明。
[0024] 如圖1所示，本發明提供一種視頻內容去重的處理方法，所述的視頻內容去重的 處理方法包括如下步驟：
[0025] 101)根據視頻的時長進行排序形成鍊表，當一個待驗視頻要插入所述鍊表中時， 進入102);
[0026] 102)在設置的窗口內，計算所述鍊表中的視頻與待驗視頻的時長相似度，進入 103)；
[0027] 103)判斷所述時長相似度是否達到設定的閾值範圍，如果達到，進入104)，否則， 進入108);
[0028] 104)在所述的窗口內進一步計算其他元數據相似度，所述其他元數據包括：視頻 標題、標籤、關鍵詞、上傳時間、文件大小，進入105);
[0029] 105)結合所述時長相似度和所述其他元數據相似度，判定所述鍊表中是否已存在 所述的待驗視頻；所述的判定可採用對所述時長相似度和其他元數據相似度進行加權，得 出總相似度的方法；在本實施中僅以上述方法為例進行判定，進入106);
[0030] 106)比較步驟105)中得到的總相似度，如果總相似度達到設定閥值，則表明所述 鍊表中存在與待驗視頻相同的視頻，進入107);否則，表明所述鍊表中不存在與待驗視頻相 同的視頻，進入108);
[0031] 107)放棄所述待驗視頻，進入109);
[0032] 108)將所述待驗視頻插入到所述鍊表中，進入109);
[0033] 109)本待驗視頻去重執行完畢，下一個待驗視頻去重開始。
[0034] 基於上述實施例，所述窗口的設置方法可通過靜態設置和動態設置；所述靜態設 置按時長或數量設置窗口；所述動態設置按鍊表不同區間視頻數目和鍊表視頻總數目，或 鍊表密度，或待比較的視頻時長設置窗口。
[0035] 如圖2所示，所述鍊表可按所述視頻的時長的粗細粒度進行排序形成多層桶結 構，所述多層桶包括粗粒度桶和細粒度桶，該粗粒度桶由多個細粒度桶組成；每個粗粒度桶 均按時長通過計數排序算法排序組成一個鍊表，所有細粒度桶按視頻時長排序組成一個總 鍊表。在本實施例中，所述鍊表的排序結構採用二層桶模型，所述視頻的時長的粗細粒度分 別以小時和分鐘劃分。
[0036] 最後所應說明的是，以上實施例僅用以說明本發明的技術方案而非限制。儘管參 照實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，對本發明的技術方 案進行修改或者等同替換，都不脫離本發明技術方案的精神和範圍，其均應涵蓋在本發明 的權利要求範圍當中。
【權利要求】
1. 一種視頻內容去重的處理方法，其特徵在於，所述的視頻內容去重的處理方法包括 如下步驟： (1) 根據視頻的時長進行排序形成鍊表； (2) 在設置的窗口內，計算所述鍊表中的視頻與待驗視頻的時長相似度；如所述時長相 似度達到設定的閾值範圍，執行步驟（3);否則，將所述待驗視頻插入到所述鍊表中； (3) 在所述的窗口內進一步計算其他元數據相似度，所述其他元數據包括：視頻標題、 標籤、關鍵詞、上傳時間、文件大小，並結合所述時長相似度和所述其他元數據相似度，判定 所述鍊表中是否已存在所述的待驗視頻；如所述鍊表中不存在所述的待驗視頻，將所述待 驗視頻插入到所述鍊表中；否則，放棄該待驗視頻。
2. 根據權利要求1所述的視頻內容去重的處理方法，其特徵在於，所述判定的方法為： (1) 對所述時長相似度和其他元數據相似度進行加權，得出總相似度； (2) 如所述總相似度達到設定的閾值範圍，則所述鍊表中已存在所述的待驗視頻，否 貝1J，所述鍊表中不存在所述的待驗視頻。
3. 根據權利要求1所述的視頻內容去重的處理方法，其特徵在於，所述窗口的設置方 法包括：靜態設置和動態設置；所述靜態設置按時長或數量設置窗口；所述動態設置按鏈 表不同區間視頻數目和鍊表視頻總數目，或鍊表密度，或待比較的視頻時長設置窗口。
4. 根據權利要求1所述的視頻內容去重的處理方法，其特徵在於，所述鍊表按所述視 頻的時長的粗細粒度進行排序形成多層桶結構，所述多層桶包括粗粒度桶和細粒度桶，該 粗粒度桶由多個細粒度桶組成；每個粗粒度桶均按時長通過計數排序算法排序組成一個鏈 表，所有細粒度桶按視頻時長排序組成一個總鍊表。
【文檔編號】G06F17/30GK104216925SQ201310221597
【公開日】2014年12月17日 申請日期:2013年6月5日 優先權日:2013年6月5日
【發明者】劉學, 江佳偉, 徐開誠 申請人:中國科學院聲學研究所, 上海尚恩華科網絡科技股份有限公司