適用於iptv的視頻拷貝檢測方法

2023-05-16 01:34:16 1

專利名稱：適用於iptv的視頻拷貝檢測方法
技術領域：
本發明屬於視頻圖像技術領域，具體涉及一種視頻拷貝檢測方法。
背景技術：
隨著Internet及無線網絡的快速發展，海量的數字視頻信息開始進入我們的生 活。隨之而來的是越來越嚴重的數據冗餘和數字產權問題，近幾年來，基於內容的拷貝檢測 (CBCD，Content-based Copy Detection)技術的出現提供了一個可以代替數字水印技術的 識別視頻和圖像拷貝的方法。已經出現的拷貝檢測技術多種多樣，這些方法在處理不同的數據拷貝類型時具有 它們各自的優點和不足。在現代數位電視應用如IPTV (Internet Protocol TV)系統中，視 頻拷貝問題具有其獨有的特點。雖然在電視應用中，可能出現所有的視頻拷貝類型，但統計數據表明，實際出現比 重最高的幾種數據拷貝類型分別是尺寸縮放，亮度變換，視頻編碼變化引起的清晰度變 化，人工添加圖文。其中尺寸縮放變換通常是將原始圖像縮放後嵌入到新的圖像中去，產生 所謂的「畫中畫」拷貝類型。另外，在IPTV應用中，每天都會產生大量的新數據，因此要求檢 測技術應該具有很高的檢測效率。在已有的檢測方法中，使用全局特徵的拷貝檢測技術計 算效率高，能夠較好地處理清晰度變化和人工添加圖文問題，在適當的處理之後也可以檢 測亮度變換，但它對「畫中畫」問題往往無能為力；而使用局部特徵的檢測技術雖然可以處 理「畫中畫」問題，對亮度變換和人工添加圖文也具有良好的適應性，但它計算複雜性高，檢 測結果易受視頻清晰度變化的影響而不穩定，也難以適應IPTV應用的要求。我們針對IPTV 應用的特點，提出了一套快速而有效的檢測方法和流程。

發明內容
本發明的目的在於提出一種快速高效的視頻拷貝檢測方法，並構建一個完整可用 的視頻拷貝檢測系統。本發明提供的視頻拷貝檢測方法，包括視頻「畫中畫」檢測；視頻鏡頭劃分和聚 類；視頻幀相似度計算；利用K-means樹構建視頻鏡頭索引，等。其檢測流程包括如下主要步驟a，對於檢測資料庫中的視頻，首先進行「畫中畫」檢測，然後進行鏡頭劃分和聚類， 並將聚類結果利用K-means樹構建索引；b，當有新的視頻需要進行檢測時，首先對其進行「畫中畫」檢測，然後進行鏡頭劃 分和聚類，利用聚類結果到步驟a)中構建的資料庫索引中進行查找。C，輸出查找結果。所述的視頻「畫中畫」檢測方法，是通過尋找那些持續穩定出現，且具有「畫中畫」 特點的幀內圖像邊緣，來獲得「畫中畫」的邊界和位置。具體步驟包括a,對檢測視頻各幀進行邊緣檢測；
b，對視頻進行加窗處理在長度為L幀的窗體內，對出現頻率超過L*r的(r為閾 值因子)邊緣記為候選「畫中畫」邊緣；c，測候選邊緣的形狀特徵和邊緣內部的內容變化幅度，如果候選邊緣內部的邊緣 內容變化幅度過小，則可認為此邊緣是原視頻中出現的正常框狀部分，排除是「畫中畫」的可能。所述的視頻鏡頭劃分和聚類方法，其步驟為a，利用特定的幀相似度計算方法計算連續幀之間的相似度；b，對檢測出來鏡頭進行篩選，拋棄掉那些幀數過少的假鏡頭，從而避免鏡頭之間 轉換特效的影響；c，為了提高檢測效率，可以採用跳幀檢測方法，即每隔數幀檢測一次幀相似度的 方法。d，對提取出來的每個鏡頭，計算其中的一個或多個鏡頭代表幀，並利用代表幀之 間的相似度計算鏡頭之間的相似度。所述的特定的幀相似度計算方法，其步驟為a，將某一視頻幀進行灰度化和直方圖均衡化之後，劃分為N*N的大小均等的子 圖，對每個子圖計算其16階灰度直方圖，將計算結果歸一化，則每個視頻幀可以表示為N*N 個16維歸一化向量。每一幀表示為 每個子圖表示為 兩幀之間的相似度計算方法為 所述的鏡頭代表幀提取方法，其步驟為通過計算鏡頭內所有幀的一個加權平均來獲得代表幀a，每個鏡頭可以表示為 代表幀的計算方法為b，加權值通過正態分布
獲得。所述的鏡頭索引構建方法，其步驟為a)通過計算鏡頭代表幀之間的相似度作為鏡頭之間的相似度，利用鏡頭相似度對 鏡頭進行聚類，得到多個鏡頭簇；b)利用K-means樹組織所有的鏡頭簇；在構建K-means索引樹時，需要計算鏡頭簇之間的相似度，計算方法為每個鏡頭簇可表示為 鏡頭簇的相似度為 視頻幀相似度的計算，利用了分塊直方圖的思想，將單個視頻幀圖像轉化為 多個 16維向量，並通過計算向量集之間的距離來代表幀間相似度。使用分塊直方圖計算幀相 似度的方法對尺寸縮放變換和因編碼造成的清晰度變化具有良好的魯棒性；由於人工添加 的圖文通常不會覆蓋原始圖像的主要部分，因此分塊直方圖方法也可以處理這種類型的問 題；通過將幀圖像進行灰度化和直方圖均衡化，可以有效地降低亮度變化造成的影響。因此 分塊直方圖方法是一種可以良好適用於IPTV系統的幀相似度計算方法。視頻「畫中畫」檢測方法，針對IPTV中「畫中畫」的特點，通過對圖像邊緣進行檢 測和處理，從而獲得「畫中畫」的邊緣和位置信息。「畫中畫」檢測的基本思想是尋找那些持 續穩定出現，且具有「畫中畫」特點的幀內圖像邊緣。在實際電視應用中，「畫中畫」的出現 通常具有如下特點持續一定時間，位置穩定，輪廓多為矩形。為檢測出這些特徵，先對目標 視頻幀進行邊緣檢測，然後對視頻進行加窗處理在長度為L幀的窗體內，對出現頻率超過 L*r的(r為閾值因子)邊緣記為候選「畫中畫」邊緣，並檢測候選邊緣的形狀特徵和邊緣內 部的內容變化幅度，如果候選邊緣內部的邊緣內容變化幅度過小，則可認為此邊緣是原視 頻中出現的正常框狀部分，排除是「畫中畫」的可能。視頻的鏡頭劃分和聚類，通過檢測視頻相鄰幀之間的相似度的變化進行鏡頭劃 分，並從鏡頭中計算一個代表幀，再利用代表幀的相似度來獲得鏡頭之間的相似度，進行鏡 頭之間的聚類。對視頻進行鏡頭劃分，通過使用上面的幀相似度計算方法尋找鏡頭邊界。為 了避免長鏡頭造成的累積幀差影響檢測效果，應在控制幀間相似度的同時設置一個累積幀 差閾值。注意到在實際視頻中，鏡頭與鏡頭之間常常使用漸變幀作為過渡，這會造成檢測結 果中出現幀數過少的虛假鏡頭，因此可以拋棄掉那些幀數過少的鏡頭。另外為了提高檢測 的效率，可以使用跳幀檢測的方法，即每隔數幀比較一次相似性，但這麼做也可能會降低以 後進行聚類和搜索時的精確性。為了實現快速的鏡頭檢索，將資料庫中的所有視頻的鏡頭簇利用一棵K-means 樹組織起來，構建一個鏡頭索引。K-means樹的實現方法為不斷對鏡頭簇進行迭代地 K-means聚類過程，知道每個子類的數量減少到低於某一閾值，或子類內部的各鏡頭簇之 間的相似度達到某一閾值。將整個聚類過程形成的集合劃分用k叉樹表示出來，即最後的 K-means樹。在這棵樹中，「血緣關係」越是親密的鏡頭簇的相似性就越高。通過構建索引樹， 可以比較兩個鏡頭簇在索引樹中的相對位置來代替直接計算兩個鏡頭簇之間的相似性。在 對新視頻的鏡頭簇進行拷貝檢測時，由於在對索引樹進行搜索時每次只需要比較新簇和同 一結點下的個K子女的相似性，搜索的複雜性降為Θ (log(M))，M為資料庫中所有鏡頭簇的 個數。通過使用K-means樹，可以極大地加快視頻檢索速度。


圖1是系統檢測流程圖
具體實施例方式圖1為該系統進行視頻拷貝檢測的流程圖。系統檢測進行的步驟為1，資料庫視頻構建。為了檢測某視頻是存在視頻拷貝檢測內容，需要構建一個樣 本視頻庫，對需要檢測的目標視頻，在該樣本視頻庫中尋找滿足視頻拷貝標準的樣本，如果 找到，則認為目標視頻存在視頻拷貝內容。2，處理資料庫視頻。在樣本視頻庫構建完成以後，對其中包含的每一部視頻進行 處理，處理過程包括1)視頻「畫中畫」檢測。「畫中畫」檢測的過程可以通過讀取視頻一遍處理完成。 具體步驟為a)讀取視頻的當前幀，對其進行邊緣檢測。b)設定長度為L幀的窗體，L的具體數值可視具體視頻長度和實現條件而定。計 算該窗體對應的統計邊緣圖統計在窗體包含的L幀中出現頻率高於閾值r(r由實驗經驗 得到)的邊緣點，去掉所有出現頻率低於r的邊緣點。在統計邊緣圖中進行矩形框邊緣檢 測，檢測得到的矩形邊緣框即為候選「畫中畫」邊緣。c)在候選「畫中畫」邊緣在原視頻出現的時間內，檢測該邊緣內部子圖的變化程 度，檢測方法類同視頻幀的鏡頭劃分方法(如下文所述)。如果檢測到該邊緣內部子圖的變 化過少，則拋棄該候選邊緣。d)視頻「畫中畫」檢測完成後，可以將檢測得到「畫中畫」部分從原始視頻中提取 出來作為新的視頻處理。2)視頻鏡頭提取。視頻的鏡頭劃分也可以通過處理視頻一遍完成。具體步驟為a)讀取視頻的當前幀，對其進行灰度化和直方圖均衡化處理，然後計算其4*4的 分塊16階直方圖向量，並將計算結果歸一化。b)計算當前幀與前一幀的幀間相似度，計算方法見公式⑴⑵(3)⑷。c)如果b)計算得到的相似度低於某一閾值，則認為產生一個新鏡頭。d)若當前產生的鏡頭內包含的幀數少與某一閾值，則將其合併到前一個鏡頭內。e)如果限於硬體條件或時間等因素，需要提高鏡頭檢測的速度，可以每隔數幀比 較一次幀間相似度。3)計算鏡頭代表幀。為從視頻中提取出的每一個鏡頭計算一個或多個鏡頭代表 幀。計算方法見公式(5) (6)。如果該鏡頭過長，可將鏡頭切割，並為每一個子段計算一個代 表幀。4)鏡頭聚類。為了減少所要處理的鏡頭數量，對同一部視頻內部的鏡頭進行聚類， 將鏡頭轉化為鏡頭簇。通過計算鏡頭代表幀之間的相似度來作為鏡頭之間的相似度。聚類 算法使用無監督算法。3，構建資料庫索引。將資料庫內的所有視頻處理完成後，將所有聚類得到的鏡頭 簇放在一起，利用K-means聚類算法進行迭代聚類，並利用聚類結果構建K-means索引樹。
4，資料庫索引構建完成後，即可進行視頻拷貝檢測。對每一部要進行拷貝檢測的 目標視頻，對其進行步驟2內的各個處理過程，最終得到該視頻包含多個鏡頭簇。對每個鏡 頭簇利用樣本視頻庫的K-means樹進行搜索。K-means樹是一棵不完全的K叉樹。在進行 搜索時，首先從根節點下的第一層子節點開始，將該鏡頭簇與與每個子節點進行比較，得到 相似度最高的子節點，再到該子節點的下一層子節點進行比較。該過程迭代進行，直到達到 下列條件中的一個結束
a)找到某一個子節點，該子節點內包含的鏡頭簇與該鏡頭簇相似度達到某閾值， 此時認為目標視頻包含視頻拷貝內容。b)到達樹的葉子節點，該葉子節點內包含的鏡頭簇與該鏡頭簇的相似度仍然未到 預定閾值，此時認為該鏡頭簇代表的視頻內容不含視頻拷貝內容。如果目標視頻包含的所有鏡頭簇都不含視頻拷貝內容，則目標視頻不包含視頻拷 貝內容。
權利要求
適用於IPTV的視頻拷貝檢測方法，其特徵在於，包括如下步驟a)對於檢測資料庫中的視頻，首先進行「畫中畫」檢測，然後進行鏡頭劃分和聚類，並將聚類結果利用K-means樹構建索引；b)當有新的視頻需要進行檢測時，首先對其進行「畫中畫」檢測，然後進行鏡頭劃分和聚類，利用聚類結果到步驟a)中構建的資料庫索引中進行查找；c)輸出查找結果。
2.權利要求1所述的方法，其特徵在於所述的視頻「畫中畫」檢測是通過尋找那些持 續穩定出現，且具有「畫中畫」特點的幀內圖像邊緣，來獲得「畫中畫」的邊界和位置，具體 步驟包括a)對檢測視頻各幀進行邊緣檢測；b)對視頻進行加窗處理在長度為L幀的窗體內，對出現頻率超過L*r的邊緣記為候 選「畫中畫」邊緣；r為閾值因子；c)測候選邊緣的形狀特徵和邊緣內部的內容變化幅度，如果候選邊緣內部的邊緣內容 變化幅度過小，則可認為此邊緣是原視頻中出現的正常框狀部分，排除是「畫中畫」的可能。
3.權利要求1所述的方法，其特徵在於所述的視頻鏡頭劃分和聚類的步驟如下a)利用特定的幀相似度計算方法計算連續幀之間的相似度；b)對檢測出來鏡頭進行篩選，拋棄掉那些幀數過少的假鏡頭，從而避免鏡頭之間轉換 特效的影響；c)為了提高檢測效率，可以採用跳幀檢測方法，即每隔數幀檢測一次幀相似度的方法。d)對提取出來的每個鏡頭，計算其中的一個或多個鏡頭代表幀，並利用代表幀之間的 相似度計算鏡頭之間的相似度。
4.權利要求3所述的方法，其特徵在於所述的特定的幀相似度計算步驟如下a)將某一視頻幀進行灰度化和直方圖均衡化之後，劃分為N*N的大小均等的子圖，對 每個子圖計算其16階灰度直方圖，將計算結果歸一化，則每個視頻幀可以表示為N*N個16 維歸一化向量；每一幀表示為 每個子圖表示為 兩幀之間的相似度計算公式為
5.權利要求3所述的方法，其特徵在於鏡頭代表幀提取步驟為 通過計算鏡頭內所有幀的一個加權平均來獲得代表幀 a，設每個鏡頭表示為代表幀的計算公式為 B，加權值通過正態分布 獲得。
6.權利要求1所述的方法，其特徵在於所述的鏡頭索引構建步驟為a)通過計算鏡頭代表幀之間的相似度作為鏡頭之間的相似度，利用鏡頭相似度對鏡頭 進行聚類，得到多個鏡頭簇；b)利用K-means樹組織所有的鏡頭簇；在構建K-means索引樹時，計算鏡頭簇之間的 相似度，計算方法為每個鏡頭簇表示為 鏡頭簇的相似度為
全文摘要
本發明屬於視頻圖像技術領域，具體涉及適用於IPTV的視頻拷貝檢測方法。包括視頻「畫中畫」檢測；視頻鏡頭劃分和聚類；視頻幀相似度計算；利用K-means樹構建視頻鏡頭索引等。本發明使用簡潔有效的視頻幀相似度處理方法，利用K-means樹構建鏡頭幀索引，實現快速高效的視頻拷貝檢測。用該方法進行鏡頭檢測，不僅速度快，而且具有良好的檢測準確性和覆蓋率。
文檔編號G06K9/00GK101872415SQ20101016697
公開日2010年10月27日 申請日期2010年5月6日 優先權日2010年5月6日
發明者潘巖, 薛向陽, 路紅, 金城 申請人:復旦大學