視頻拷貝檢測的方法和裝置的製作方法

2023-06-06 00:28:36 3

專利名稱：視頻拷貝檢測的方法和裝置的製作方法
技術領域：
本發明總體涉及數字視頻技術，更具體來說，涉及一種根據視頻數據的空間和時間內容檢測視頻數據的非授權的拷貝的方法和裝置。
背景技術：
本申請要求美國臨時專利申請」Video Copy Detection UsingOriginal Measure of Temporal Variation(使用對時間變化的原始測量的視頻拷貝)」(申請號60/480,758，申請日2003-6-23)的優先權。本申請與美國專利申請」Method and Apparatus forContent-based Image Copy Detection(用於基於內容的圖像拷貝檢測的方法和設備)」(申請號10/263,432，申請日2002-10-1)有關。特此完整引用這些申請作為參考。
網際網路的成功和節省成本的數字存儲設備的廣泛利用已經使得有可能容易地複製、傳輸和分發數字內容。因此，智慧財產權(IPRs)的保護，特別是有關數字圖像的版權保護，已經變成重要的法律問題。特別地，檢測數字媒體(圖像、聲頻和視頻)的拷貝，是對調查可能的版權侵犯的人的一項基本要求。
使用中的拷貝檢測的兩個應用包括使用跟蹤(usage tracking)和版權侵犯執行(copyright violation enforcement)。
目前有兩種方法通常被用來保護數字圖像的版權水印法(watermarking)和基於內容的拷貝檢測。眾所周知，水印法在分發前將信息內置在圖像中。這樣，所有被標記的內容的拷貝都含有水印，而水印是可以被抽取出來證明所有權的。對於基於內容的拷貝檢測來說，不需要超出圖像本身的額外信息。一般來說，圖像或視頻含有足夠的獨特信息，可用於檢測拷貝，特別是非法分發的拷貝。例如，如果某圖像或視頻的所有人懷疑該圖像在網際網路上被非法分發，該所有人可以向拷貝監測系統發起一個詢問。應當知道，基於內容的拷貝檢測也可以是水印法的一個補充方法。在拷貝檢測器向創造者(creator)或分發者(distributor)提供一個嫌疑人列表後，該媒體的實際所有人可用水印或其它驗證技術來證明所有權。
基於內容的拷貝檢測方案從原始的圖像中抽取籤名。將從測試圖像中抽取的相同籤名與原始圖像籤名比較，以確定測試圖像是否是原始圖像的拷貝。基於內容的拷貝檢測比起水印法的主要優點是，在圖像被分發之前不要求進行籤名抽取。然而，與原始的不相同的拷貝，即被稍微改變過的拷貝，可能不能被檢測到。例如，第三方可以生成各種變體(modifications)以避免拷貝檢測或者增強圖像質量，以使基於內容的拷貝檢測系統檢測不到該拷貝。
基於顏色直方圖的方法—例如直方圖相交(histogramintersection)方法—已經被用於基於內容的圖像/視頻檢索系統。然而，它們不適合於拷貝檢測系統，因為顏色直方圖不保留關於顏色的空間分布的信息。另一個能夠考慮到象素位置的方法是基於分區的(partition-based)方法。在這個方法中，圖像被劃分成子圖像。在一個這樣的方法中，通過局部顏色直方圖獲得每個分區的顏色信息。兩個圖像的相似性，通過比較它們的局部顏色直方圖並通過考慮所有子圖像的相似性而被測量。然而，這個方法要求的計算成本高，搜索時間長。此外，這個方法將檢測不到空間花費(spatial outlay)被變更過的圖像。
傳統的視頻匹配技術主要依賴於圖像的對應性。兩個視頻序列之間的距離是通過組合對應幀的相異性(dissimilarity)而計算出來的。視頻匹配的一個問題是，不同的數位化和編碼過程產生一些失真，諸如亮度(intensity)的變化、色調的偏移、飽和度的變化、不同的塊人工產物(block artifacts)等等。就是說，當前可用的技術大多專注於處理由不同的編碼參數引入的輕微的顏色失真。然而，應當注意的是，必須要考慮處理縱橫比(aspect ratio)轉換的技術，因為實踐中經常進行這些轉換，以適應不同的顯示器。例如，視頻流可以按4∶3或16∶9的縱橫比被顯示。傳統的視頻匹配技術不能適應縱橫比的變化，以便識別具有不同縱橫比的拷貝。圖1A和1B表使用來改變視頻數據的縱橫比的通用技術。圖1A的視頻幀100，表示其中用「信箱」(letter box)方法來按比例縮小一個視頻的縱橫比的視頻幀100。圖1B表示其中用「郵筒」(pillar box)方法來更改一個視頻的縱橫比的視頻幀102。除了不能適應縱橫比變化，傳統的視頻匹配技術—例如基於關鍵幀(key frame)的方法、基於相關性(correlation)的方法、序數測量(ordinal measuring)技術等—不考慮視頻流的時間特性。而不注意視頻的時間變化，會導致許多對拷貝的錯誤檢測。
因此，需要解決現有技術的問題，提供一種用於在拷貝的縱橫比已經被更改的情況下的強健的(robust)和有效的視頻拷貝檢測的方法和裝置。

發明內容
概括來說，本發明通過提供一種不受縱橫比變化或內容的輕微失真的影響、而又考慮到視頻流的時間方面的方法和系統，來滿足這些需要。要知道本發明可以以許多方式實現，包括方法、系統、計算機可讀介質或設備。下面說明本發明的幾個獨創的實施例。
在一個實施例中，提供一種用於檢測在一個目標視頻中是否出現視頻數據的方法。該方法一開始計算在與視頻數據和目標視頻相關聯的兩個空間籤名(spatial signatures)之間的空間距離。該方法包括計算在與視頻數據和目標視頻相關聯的兩個時間籤名(temporalsignatures)之間的時間距離。然後，將空間距離與時間距離組合。然後確定在目標視頻中是否出現該視頻數據，其中該確定根據的是該組合距離。空間距離和時間距離，是如本文中所述的那樣，根據對應的空間籤名值和時間籤名值計算的。
在另一個實施例中，提供一種檢測視頻剪輯(video clip)的拷貝的方法。該方法一開始劃分(partitioning)視頻剪輯的一個幀和一個目標視頻的一個幀，使得當與該目標視頻相關聯的一個縱橫比改變時與該目標視頻相關聯的各序數測量(ordinal measures)是不變的。該方法包括確定視頻剪輯的幀與目標視頻的幀之間的相異性值(dissimilarity value)。
在另一個實施例中，提供一種用於執行一種用來檢測視頻剪輯的拷貝的匹配技術的方法。該方法一開始比較視頻剪輯的各幀與目標視頻的各幀之間的亮度(intensity)分布的時間軌跡(temporal trails)。
在另一個實施中，提供一種具有用於檢測在一個目標視頻中是否出現視頻數據的程序指令的計算機可讀介質。該計算機可讀介質包括用於計算一個與該視頻數據和該目標視頻相關聯的空間籤名值的程序指令和用於計算一個與該視頻數據和該目標視頻相關聯的時間籤名值的程序指令。提供用於組合該空間籤名值和時間籤名值的程序指令。用於根據該組合值檢測在該目標視頻中是否出現該視頻數據的程序指令被包括在內。
在另一個實施例中，提供一種具有用於檢測一個視頻剪輯的拷貝的程序指令的計算機可讀介質。該計算機可讀介質包括用於劃分該視頻剪輯的一個幀和一個目標視頻的一個幀、使得當與該目標視頻相關聯的一個縱橫比改變時與該目標視頻相關聯的序數測量不變的程序指令。用於確定該視頻剪輯的幀與該目標視頻的幀之間的相異性值的程序指令被包括在內。
在另一個實施例中，提供一種具有用於執行一種用來檢測視頻剪輯的拷貝的匹配技術的程序指令的計算機可讀介質。該計算機可讀介質包括用於比較該視頻剪輯與一個目標視頻之間的亮度分布的時間軌跡的程序指令。
在另一個實施例中，提供一個計算機。該計算機包括一個中央處理單元(CPU)和一個存儲器。還包括被配置成能檢測一個視頻剪輯的拷貝的視頻拷貝檢測邏輯。視頻拷貝檢測邏輯包括用於劃分該視頻剪輯的一個幀和一個目標視頻的一個幀的邏輯和用於確定在一個與該視頻剪輯的幀相關聯的等級矩陣(rank matrix)和一個與該目標視頻的幀相關聯的等級矩陣之間的空間相異性的邏輯。在視頻拷貝檢測邏輯中，包括一個用於確定視頻剪輯的各順序幀和目標視頻的各相應順序幀的對應各分區之間的亮度分布的方向的邏輯。還包括一個互連CPU、存儲器和視頻檢測邏輯的總線。
在另一個實施例中，提供一種集成電路。該集成電路包括這樣一個邏輯，該邏輯用於組合在一個目標視頻幀的一個分區與一個詢問視頻幀的一個對應分區之間所確定的空間距離值與一個與該目標視頻幀的分區和該詢問視頻幀的對應分區相關聯的時間距離值，以定義一個相異性值。用於確定該相異性值是不是一個局部最小值的邏輯也被包括在內。
本發明的其它方面和優點，將在以下結合例示本發明原理的附圖所作的詳細說明中顯而易見。


通過以下結合各附圖的詳細說明將更容易理解本發明。附圖中相同的標號代表相同的結構單元。
圖1A和1B表示用於改變視頻數據的縱橫比的普通技術。
圖2A-2C是用於拷貝檢測的序數測量的使用圖示。
圖3A-1至3B-3表示在一個圖像被不同地劃分時該圖像的亮度分布。
圖4A和4B表示按照本發明一個實施例劃分原始圖像幀而獲得的兩個子圖像序列。
圖5A是表示按照本發明一個實施例的各幀和它們的分區的亮度分布的平均值的時間變化的曲線圖。
圖5B是表示為與圖5A比較而應用了直方圖均衡化的各幀和它們的分區的亮度分布的平均值的時間變化的曲線圖。
圖6是按照本發明一個實施例計算dT(δq，δt)(兩個分區之間的距離)的過程的圖示。
圖7是提供按照本發明一個實施例確定一個詢問視頻剪輯與一個目標視頻剪輯之間的匹配的過程的直觀概貌的示意簡圖。
圖8表示一個實現本文中所述的按照本發明一個實施例的視頻拷貝檢測器的示例性圖形用戶界面(GUI)。
圖9是按照本發明一個實施例用一個接收器操作特性(ROC)曲線表示所建議的算法的性能的曲線圖。
圖10A和10B分別是按照本發明一個實施例、與標準化閾值相比的準確率和與標準化閾值相比的查全率(recall rate)的圖。
圖11是表示按照本發明一個實施例在τ是0.1時的準確率和查全率的條形圖。
圖12是表示按照本發明一個實施例的一個視頻拷貝檢測系統的簡圖。
圖13是表示按照本發明一個實施例的檢測在目標視頻中是否出現視頻數據的方法操作的流程圖。
具體實施例方式
說明一個用於檢測非授權的視頻拷貝的系統、設備和方法的發明。然而，所屬技術領域的熟練人員按照以下說明，顯然可以在沒有這些具體細節的部分或全部的情況下實施本發明。在其它情況中，對眾所周知的處理操作沒有作詳細說明，以免不必要地模糊本發明。圖1A和1B在「背景技術」部分作說明。
本發明的實施例提供的系統利用一種有效地檢測視頻數據的拷貝的算法。如以下將更全面地解釋的那樣，在顏色和可見外觀上以及在空間配置(spatial configuration)—例如縱橫比—上已經被更改的拷貝，能被常規地識別。在將序數測量用於立體圖像匹配時，可以從一個分立的有序集(諸如學校中的年級)中提取序數變量。這裡，兩個測量值之間的比並不重要；只有相對次序才有重要意義。測量值之間的相對次序是用它們的等級表達的。獲得一個等級排列(rankpermutation)的方法是把測量值按升序排序，並用整數[1，2，3，....N]標記它們，N是測量值的個數。
圖2A-2C是用於拷貝檢測的序數測量的使用圖示。圖2A表示一個被劃分成m×n(3×3)個大小相等的塊的圖像104。應當知道，將一個圖像劃分成m×n個大小相等的塊，使系統不依賴輸入圖像大小。圖2B的m×n子圖像106是通過取圖2A的圖像104的每個對應的塊的平均值而計算的。這個陣列被轉換成如圖2C中所示的等級矩陣108。假設圖2B的子圖像106中的亮度值在複製的圖像中被各自增加10，使得該子圖像有值{{74，71，56}，{145，156，126}，{195，184，155}}。不過，具有增加了的值的該子圖像的等級矩陣與圖2C中所示的相同，因此能獲得與原始圖像的完全匹配。
然而，序數測量的如上所述的使用，將檢測不出一個按不規則的方式更改過的拷貝，特別是如果一個圖像的空間花費被更改時。圖3A-2至3B-3表示圖像3A-1被不同地劃分時圖像的亮度分布。圖像3A-1是原始圖象110a，圖3A-2表示圖像110a的一個2×2分區的亮度分布112。圖3A-3表示圖像110a的一個3×3分區的亮度分布114。圖3B-1是圖3A-1的圖像110a的一個空間上更改過的圖像110b。圖3A-1的4×3視頻格式在這裡已經被重新格式化成一個信箱格式。通過比較圖3A-2和圖3B-2可以看到，在分區是2×2的時，亮度分布即序數測量是不變的，因為分區值的變化是對稱的。例如，亮度分布112和116對應的序數測量保持相同，因為亮度分布類似地由縱橫比改變的影響，即分區的每一個被均勻地變暗。然而，如果分區數大於2×2，則非對稱的改變將引起序數測量的改變，如通過比較圖3A-3與圖3B-3的各分區的代表亮度分布的程度的陰影所示的那樣。例如，亮度分布114和118對應的序數測量因各亮度分布受到不同的影響(即是非對稱的)而改變。信箱格式基本上將下部分區和上部分區變暗，而不影響中間部分。因此，設計一個有效的視頻拷貝檢測器的一個主要問題是考慮縱橫比改變的影響。對於所述領域的熟練人員來說，以上分析顯然適用於郵筒(pillar box)格式的改變或任何其它適當的縱橫比改變。如以下更詳細地說明的那樣，提供一種基於2×2分區的圖像幀的序數測量的匹配方法，其中該匹配方法的序數測量在視頻數據的縱橫比改變時是不變的。
所述領域的熟練人員知道，關於拷貝檢測技術的性能，有兩個問題魯棒性(robustness)和可分辨性。魯棒性確定在開始發生失配之前系統所能容忍的數據不一致的量，而可分辨性則涉及到該技術拒絕不相關數據、以便不發生錯誤檢測的能力。在這些衝突的問題之間平衡的一個關鍵因素是分區的數量。可以預期，系統的魯棒性隨著分區的數量的減少而增強。相反，可分辨性則隨著分區的數量的增加而提高。因此，以前的技術使用大於2×2的分區，以便在提高可分辨性的同時仍然保持可接受的魯棒性。由於可分辨性可能會因為採用少量的分區(例如2×2)而被降低，本文所述的實施例將不但採用視頻數據的序數籤名(ordinal signatures)，而且採用時間籤名，以增強可分辨性。
傳統的視頻匹配技術大多依賴於圖像對應。通過組合對應幀的不相似點，計算兩個視頻序列之間的距離。然而，不注意視頻的時間變化可能會導致錯誤的拷貝檢測。圖4A和4B表示按照本發明一個實施例劃分原始圖像幀而獲得的兩個子圖像序列。這兩個子圖像序列包括，由圖4A中的幀120a-120d所代表的序列1和圖4B中的幀122a-122d所代表的序列2，它們具有不同的時間變化。然而，對應的子圖像之間的序數籤名則是相同的。應當知道，傳統的基於圖像幀匹配的方法不拒絕不相關的視頻，因為對時間信息不予考慮。以下的討論，通過不僅考慮序數籤名的序列也考慮視頻數據的時間信息來提供一個更有效的視頻匹配方法。
本文中用V＝V
，...，v[n-1]代表一個具有n個幀的視頻，用V[i]＝V1[i]，...，Vm[i]代表具有m個分區的第i個幀。Vj代表第j個分區的一個序列。V的一個子視頻(sub-video)被定義為V[pp+N-1]，其中幀的數量是N，第一個幀是V[p]，0≤p≤n-N。
這樣，視頻拷貝檢測的問題，可以被定義為這樣的問題，即確定一個給定的視頻剪輯的拷貝是否出現在目標視頻中，如果是，在什麼位置。在形式上可以表述為給定一個詢問視頻剪輯Vq＝Vq
，...Vq[N-1]和一個目標視頻Vt＝Vt
，....Vt[M-1]，N＜＜M，子視頻Vt[pp+N-1]來自該目標視頻，如果兩個視頻剪輯之間的相異性或D(Vq，Vt[pp+N-1])小於一個噪聲域值ε，則該子視頻Vt[pp+N-1]是一個拷貝。
其中詢問視頻的第i個幀Vq[i]的[1×m]等級矩陣是πq，i，目標子序列Vt[pp+N-1]中第i幀的[1×m]等級矩陣是πt，p+i，0≤i≤N-1。則這兩個圖像之間的空間距離可以被定義為d(q,i,t,p+i)=1Cj=1m|q,ij-t,p+ij|,----(1)]]>其中，d(πq，i，πt，p+i)是兩個等級矩陣之間的標準化距離，C是兩個的等級矩陣πi和πj之間的最大距離，(πi，πj)∈Sm。當這兩個排列互為相反時，得到C，Sm是所有可能的大小為m的等級矩陣的集合。在我們的例子中當m＝4時C是8。
於是，通過對N個相異性求平均計算出兩個序列之間的空間相異性Ds(Vq，Vt[pp+N-1])，即DS(Vq,Vt[p:p+N-1])=i=0N-1d(q,i,t,p+i)/N.----(2)]]>所屬領域的熟練人員知道，可將這種測量看作一個具有2×2分區的匹配算法。
根據圖像相似點的組合確定視頻匹配，把視頻的時間特性排除在外。由於一個視頻是一個有發生時間的過程，應當明白，必須將亮度分布的時間軌跡與圖像相似點測量組合。圖5A是表示按照本發明一個實施例的各幀和它們的分區的亮度分布的平均值的時間變化的曲線圖。這裡，該序列的視頻幀是按2×2配置分區的。如圖所示，一個分區的亮度分布的平均值與整體幀相比變化更大。就是說，分別對應於分區124a-1-124d-1的曲線124a-124d，表示比代表整體幀的亮度分布的曲線126更高的變化程度。
圖5B是表示按照本發明一個實施例應用了直方圖均衡化的各幀和它們的分區的亮度分布的平均值的時間變化的曲線圖。作為直方圖均衡化目的，如曲線130所示的各整體幀的平均值變得沒有差別，因為每個幀被直方圖均衡化處理，因此該幀的平均值總是被調整為灰度(gray scale)的中間值。不過，注意到四個分區128a-1-128d-1的亮度分布的平均值仍然具有如對應的跡線(traces)128a-128d所示的具有有差別的特性。
對於時間匹配，已經採用了時間籤名δi。時間距離度量(metric)DT(Vq，Vt[pp+N-1])由一個標準距離dT(δq，δt)表達如下dT(q,t)=14(N-1)j=14(i=1N-1f(q,ij-t,p+ij))----(3)]]>其中f(x)=|x|2----(4)]]>δij被定義為 應當注意的是，dT估計不協調(discordance)程度，即時間改變不在相同方向的對應的對的數量。
圖6是按照本發明一個實施例計算dT(δq，δt)(兩個分區之間的距離)的過程的圖示。這裡，在行132和140中分別表示代表一個詢問視頻和一個目標視頻的第j個分區的亮度分布的一序列的數。行134代表用於詢問視頻的連續視頻幀的各分區的時間籤名。這裡，對頭兩個幀中的數作比較，由於分別與這兩個幀相關聯的數100和103是遞增的，在行134中為該比較賦一個值1。這對行140和138中的目標視頻也同樣地發生。這樣，如果連續的數是遞增的，則在行134和138賦一個值1；如果連續的數是遞減的，則賦一個值-1；如果連續的數是相等的，則賦一個值0。然後將行134和138的對應值作比較，以生成行136中的各值。這裡，如果行134和138的對應值相等，則在行136中賦一個值零。如果行134和138的對應值是1和-1，則在行136中賦一個值1。如果行134和138的對應值是1和0或這-1和0，則在行136中賦一個值0.5。這樣，圖6代表用於確定一個與該視頻剪輯的各順序幀和該目標視頻的各相應順序幀的對應各分區之間的亮度的時間分布相關聯的方向的一個實施例。
所建議的用於測量兩個視頻之間的相異性的方法依賴於Ds和DT的組合，如下面的方程6所表示D(Vq，Vt[pp+N-1])＝αDS(Vq，Vt[pp+N-1])+(1-α)DT(Vq，Vt[pp+N-1])，(6)其中，α∈
表示空間和時間距離之間的折衷值(trade-off)。
下面列舉的操作1-4提供所建議的算法的一種高級別概述。給定一個具有n個幀的詢問視頻剪輯Vq，一個目標視頻Vt，將Vq與一個子視頻Vt[pp+N-1]作比較。該匹配過程有以下操作操作1.設定p為0。
操作2.然後計算兩個序列之間的距離D(Vq，Vt[pp+N-1])。
操作3.將p遞增1。重複步驟2，直到p＝n-N，其中n是目標視頻中的幀數。
操作4.從該距離序列中找局部最小值(local minima)，如果某局部最小值小於一個預定的閾值，則宣布該點是一個拷貝的位置。
圖7是提供按照本發明一個實施例確定一個詢問視頻剪輯與一個目標視頻剪輯之間的匹配的過程的直觀概貌的示意簡圖。視頻剪輯幀143(可以將其稱作詢問視頻)被用來確定是否該視頻剪輯的任何拷貝被包含在目標幀142中。為了示例性的目的，在討論時假設視頻剪輯幀143含有5個幀。然而，詢問幀可以含有大於1的任何適當的幀數，並不限於任何特定的幀數。因此，對目標幀142的每5個幀視頻剪輯計算和組合上述的空間和時間距離。然後將這個距離表示在下面的圖7的圖表中。空間和時間距離(D)由曲線145表示，這是由如上所述的方程6計算出來的。在點146a和146b發現局部最小值。如果局部最小值低於一個由線144代表的閾值ε，則與該局部最小值相關聯的幀以及4個在先的幀就被確定為是該詢問視頻剪輯的5個幀的拷貝。應當明白，一個目標視頻可以具有一個詢問視頻的多於一個的的拷貝。例如，如果目標視頻是個電視節目，詢問視頻是個在該節目期間播出的廣告，則該廣告可能在該節目期間已經被重複許多次。應當明白，圖7圖示了由上述的操作1-4所描述的過程。
圖8表示一個實現本文中所述的按照本發明一個實施例的視頻拷貝檢測器的示例性圖形用戶界面(GUI)。測試視頻具有超過120,000個幀，是按MPEG 1格式編碼的。測試視頻即目標視頻含有各種類型的序列，諸如體育、風景、家庭錄像等等。GUI 147的區域149表示正在被應用的匹配技術。被突出顯示的技術包括一個α值0.5和一個(1-α)值0.5。這裡，α由S代表，1-α由T代表。按鈕148a-c包括總導航按鈕148c、詢問生成按鈕148b和匹配按鈕148a。詢問生成按鈕148b在一個實施例中啟動生成和劃分一個詢問圖像的功能。匹配按鈕148c啟動在目標視頻剪輯中搜索該詢問視頻剪輯的一個匹配的功能。目標視頻剪輯可以被顯示在區域151中。如區域153中所顯示的那樣，用於確定局部最小值的所應用的閾值是0.1。在區域149中可見，用5個不同的α值0.0、0.3、0.5、0.7和1.0測試了本文所述的算法。應當注意的是，低的α值將使該算法更集中於時間的匹配，α＝0.5提供空間與時間匹配之間的一個平衡的匹配，接近1的α將更集中於空間的匹配。因此，通過α，該算法可適配於不同的空間和時間加權。
圖9是按照本發明一個實施例用一個接收器操作特性(ROC)曲線表示所建議的算法的性能的曲線圖。所述領域的熟練人員知道，這是一個錯誤肯定率(FPR)(false positive rate)相對於錯誤否定率(FNR)(false negative rate)的曲線圖。設NT是要對其進行匹配測試的幀的總數，τ是標準化的閾值。FN是錯誤否定數(未檢測出的拷貝剪輯的數)，FP是錯誤肯定數(檢測出的非拷貝剪輯的數)，由下式給出錯誤否定率(FNR)和錯誤肯定率(FPR)FNR=FNNT,]]>FPR=FPNT.]]>
代表這些比率的點被畫在圖8的二維曲線圖150中，變化的閾值如線154a-e所示。理想的曲線穿過(0，0)，即零FNR和零FPR。如圖8中所示，所建議的算法的可分辨性在α＝0.5、線154e是最高的。這表明所建議的算法在空間和時間匹配被均勻地平衡時是最佳的。為了測試，從測試序列中對20個詢問剪輯取樣。每一個剪輯有50個幀，通過使用諸如象素水平提高(pixel level boosts)、直方圖均衡化和向信箱和郵筒風格的格式改變等變更從每個詢問中生成5個拷貝剪輯。
圖10A和10B分別是按照本發明一個實施例、與標準化閾值相比的準確率和查全率的圖表。所述領域的熟練人員將明白，要選擇適當的閾值，就要考慮這些比率。在一個特定閾值τ，準確率和查全率被定義如下 其中τ是標準化的閾值。應當知道，匹配的剪輯指的是被檢測為一個拷貝的剪輯(可能包括錯誤的肯定)。匹配的拷貝剪輯—也稱作檢測到的拷貝剪輯—表示真實的拷貝剪輯，即被檢測為拷貝的剪輯中中去掉錯誤肯定的實際的匹配的拷貝。全部的拷貝剪輯表示在整個目標視頻中存在的真實拷貝剪輯。在圖10A和10B中顯示，期望的結果是在τ＝0.1處得到的，此處這兩個比率都高。在圖10A的曲線圖156中，從曲線158a-e的比較中，曲線158e提供最佳精確性。在圖10B的圖表160中，從曲線162a-e的比較中，曲線162e提供最佳查全率。所以，在這兩種情況中都是α＝0.7。
圖11是表示按照本發明一個實施例在τ是0.1時的準確率和查全率的條形圖。應注意具有較高的查全率對最小化漏失拷貝的數目更加重要。如圖11中所示，當α＝0.7時，該算法具有最高的查全率。然而，α為該值的準確率是低的，這意味著存在太多的錯誤檢測。因此，將系統參數設定為α＝0.5，τ＝0.1。應當明白，這些參數是示例性的，用於所示的特定示例，目的是進一步定義本發明的功能。因此，視具體的應用而定，最優的參數將不同於以上討論的示例性參數。
圖12是表示按照本發明一個實施例的一個視頻拷貝檢測系統的簡圖。頻拷貝檢測系統166包括中央處理單元(CPU)174、存儲器172、視頻拷貝檢測邏輯168，它們都由總線170互連。應當明白，視頻拷貝檢測邏輯168包括用於如上所述地劃分視頻剪輯的一個幀和目標視頻的一個幀的邏輯。例如，參照圖2，用於劃分每個幀的邏輯被設置成按照2×2矩陣劃分每個幀。視頻拷貝檢測邏輯168也包括用於確定在一個與視頻剪輯的幀相關聯的等級矩陣和一個與目標視頻的幀相關聯的等級矩陣之間的空間相異性的邏輯。如上所述，兩個序列之間的空間相異性是通過計算兩個圖像幀之間的空間距離而計算的。視頻拷貝檢測邏輯168進一步包括用於確定視頻剪輯的各順序幀和目標視頻的各相應順序幀的對應各分區之間的亮度分布的方向的邏輯。這裡，亮度分布的方向產生一個時間軌跡，以說明隨著時間的推移視頻發生時的時間變化。
如上文結合圖6和7所述的那樣，對於對應的分區將代表空間相異性的值與代表亮度分布的方向的對應值組合，由此生成一序列的值。在一個實施例中，將第一序列與視頻剪輯的連續分區的時間的亮度變化相關聯，將第二序列的值與對應於目標視頻的時間的亮度變化相關聯。然後如結合圖6所討論的那樣將第一序列的值和第二序列的值比較，以確定是否這些值在相似的方向上改變。所述技術領域的熟練人員將知道，視頻拷貝檢測邏輯168可以實現為硬體、軟體或二者的某種組合。硬體配置可包括一個含有被設置成能執行本文所述的功能的電路的集成電路。當然，該集成電路也可被包含在插件板或適配器卡上。
圖13是表示按照本發明一個實施例的檢測在目標視頻中是否出現視頻數據的方法操作的流程圖。該方法始於操作180，其中把視頻剪輯的一個幀和目標視頻的一個幀分區。如上所述，按照2×2矩陣將視頻剪輯的幀和目標視頻的幀分區，使得當與目標視頻相關聯的縱橫比改變時，與目標視頻相關聯的序數測量不變。例如，如果目標視頻的縱橫比被改變到郵筒配置或信箱配置，2×2配置將適應這種改變，從而與目標視頻相關聯的序數測量不受影響。該方法然後前進到操作182，在此，計算一個與視頻數據和目標視頻相關聯的空間籤名值。如上所述，空間籤名值代表兩個圖像幀之間的空間距離。例如，如上所述，可以將空間距離表示為兩個等級矩陣之間的標準化距離。
圖13方法然後前進到操作184，在此，計算一個與視頻數據和目標視頻相關聯的時間籤名值。應當知道，時間籤名值代表一個由標準化距離表達的時間距離度量。換言之，時間籤名值包括對不協調程度的一個估算，即時間改變不在相同方向的對應的對的數量，如結合圖6所述的那樣。該方法然後前進到操作186，在此，將空間籤名值與時間籤名值組合。可以如結合方程6所解釋的那樣組合空間籤名值與時間籤名值。如本文所說明的那樣，提供一個在空間距離和時間距離之間的折衷值。
應當知道，空間籤名值與時間籤名值的組合是對一個幀序列的每個分區進行的，由此如操作188中所注的那樣生成一序列的組合的空間籤名值和對應的時間籤名值。在操作190中，確定在操作188中生成的序列的最小值。然後，在判斷操作192中確定是否操作190中的最小值低於一個閾值。在這裡可能如結合圖7所述地找到一個或多個局部最小值。如果局部最小值低於一個閾值，則目標視頻包括視頻數據的一個拷貝，並作這樣的標記。如果在判斷操作192中的最小值大於閾值，則如操作196所表示的那樣目標視頻不包括視頻數據的一個拷貝。
總之，上述發明檢測一個視頻剪輯的未授權的拷貝。通過使用空間和時間因子，將一個2×2分區的圖像用於詢問和目標視頻數據。由於分區數目較小，空間因素是與低的可分辨性相關聯的，因此將時間因素包括進來，以增強因該分區配置而犧牲的可分辨性。如上所述，該分區配置能評估對目標視頻施加的縱橫比改變。此外，與以上實施例相關聯的存儲/索引籤名的存儲量要求是每個幀4個字節，與完全根據空間匹配的視頻拷貝檢測的存儲量要求相比，這是比較小的。
此外，本文的上述實施例可以在多媒體搜尋引擎中採用。由於這些引擎因大量拷貝而變得雜亂，例如檢索結果中可能存在若干個拷貝，這阻礙用戶迅速瀏覽。因此可以用一種如上所述的在顯示之前從檢索結果中去除拷貝的方案，以阻止這些拷貝。此外，基於內容的拷貝檢測方案也適用於媒體跟蹤(media tracking)。媒體跟蹤指的是跟蹤某個特定媒體何時何處被使用。例如，為市場研究而監視一個特定電視廣告就是媒體跟蹤的一個具體應用。具體來說，有人可能想知道競爭者的廣告在什麼時候、在那個頻道上被播出多少次。這樣就能了解競爭者的市場營銷策略。媒體跟蹤也適用於權利管理和使用費支付方面。
鑑於以上各實施例，應當明白本發明可以採用各種計算機實現的涉及在計算機系統中存儲的數據的操作。這些操作包括物理量的物理處理。一般來說，儘管並非必要，這些量採取電或磁信號的形式，能被存儲、傳送、組合、比較或以其它方式被處理。此外，所進行的處理常常被稱作例如生成、識別、確定或比較。
上述各實施例可以用其它計算機系統配置來實施，這些計算機系統配置包括手持式設備、微處理器系統、基於微處理器的或可編程的消費電子產品、小型計算機、大型計算機等等。本發明也可以在由通過通信網絡連接的遠程處理裝置執行任務的分布式計算環境中實施。
本發明也可實現為計算機可讀介質上的計算機可讀代碼。計算機可讀介質是任何能存儲以後能被計算機系統讀取的數據的數據存儲設備。計算機可讀介質也包括其中包含計算機代碼的電磁載波。計算機可讀介質的例子包括硬碟驅動器、連網存儲器(NAS)、只讀存儲器、隨機存取存儲器、CD-ROMs、CD-Rs、CD-RWs、磁帶以及其它光學和非光學數據存儲設備。計算機可讀介質也可以分布在連網的計算機系統上，使得可以按分布的方式存儲和執行計算機可讀代碼。
儘管為了清晰地理解在前面比較詳細地說明了本發明，顯然在隨附的權利要求書的範圍內可以對本發明作出特定改變和變更。因此，當前的實施例應被視為是示例性的而非限制性的，本發明不應被限定到本文所給出的細節，而是可以在隨附的權利要求書的範圍及等效表述內被更改。在權利要求書中，各組件和/或步驟並不隱含任何特定的操作次序，除非在權利要求書中作了明確的陳述。
權利要求
1.一種用於檢測在一個目標視頻中是否出現視頻數據的方法，包含以下操作計算與視頻數據和目標視頻相關聯的兩個空間籤名之間的一個空間距離；計算與視頻數據和目標視頻相關聯的兩個時間籤名之間的一個時間距離；將空間距離與時間距離組合起來；和根據組合的空間距離和時間距離，確定在目標視頻中是否出現視頻數據。
2.權利要求1的方法，進一步包含計算一個與視頻數據和目標視頻相關聯的空間籤名值；計算一個與視頻數據和目標視頻相關聯的時間間籤名值；和將視頻數據的一個幀和目標視頻的一個對應幀劃分成一種能補償該目標視頻的對應幀的縱橫比改變的配置。
3.權利要求1的方法，其中，計算一個與視頻數據和目標視頻相關聯的空間籤名值的方法操作包括確定視頻數據的一個幀的第一序數測量和目標視頻的一個幀的第二序數測量；和計算第一序數測量與第二序數測量之間的一個空間距離。
4.權利要求1的方法，其中，計算一個與視頻數據和目標視頻相關聯的時間籤名值的方法操作包括確定視頻數據的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度的時間分布的方向。
5.權利要求1的方法，其中，將空間距離與時間距離組合的方法操作包括按一個值調整空間距離；按1減該值調整時間距離，其中該值是一個位於0與1之間的數。
6.一種用於檢測視頻剪輯的拷貝的方法，包含以下操作劃分視頻剪輯的一個幀和一個目標視頻的一個幀，使得當與目標視頻相關聯的縱橫比改變時與目標視頻相關聯的序數測量是不變的；和確定視頻剪輯的幀與目標視頻的幀之間的一個相異性值。
7.權利要求6的方法，其中，劃分視頻剪輯的一個幀和目標視頻的一個幀的方法操作包括將視頻剪輯的幀和目標視頻的幀都細劃分成4個區域。
8.權利要求6的方法，其中，確定視頻剪輯的幀與目標視頻的幀之間的一個相異性值的方法操作包括根據視頻剪輯的幀的一個等級矩陣與目標視頻的幀的一個等級矩陣之間的差計算一個空間相異性值；和根據視頻剪輯的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度分布的方向計算一個時間距離度量；和組合該空間相異性值與該時間距離度量。
9.權利要求6的方法，進一步包含重複該分區和該確定；生成一個相異性值序列；和識別該序列的相異性值的最小值。
10.權利要求9的方法，其中，識別該相異性值序列的最小值的方法操作包括確定該最小值是否低於一個閾值；和如果該最小值低於該閾值，則該方法包括將目標視頻的一個與該最小值相關聯的幀識別為是視頻剪輯的一個對應幀的拷貝。
11.一種用於檢測一個視頻剪輯的拷貝的匹配技術，包含以下操作比較視頻剪輯的各幀與一個目標視頻的各幀之間的亮度分布的時間軌跡。
12.權利要求11的匹配技術，進一步包含將視頻剪輯的各幀和目標視頻的各幀劃分成這樣一個配置，其中當與目標視頻的各幀相關聯的縱橫比改變時與目標視頻的各幀相關聯的序數測量是不變的。
13.權利要求11的匹配技術，進一步包含比較視頻剪輯的各幀與一個目標視頻的各幀之間的空間序數籤名；和組合時間軌跡的比較結果和空間籤名的比較結果。
14.權利要求13的匹配技術，進一步包含確定一個閾值；檢查組合結果；確定組合結果的一個最小值；比較該最小值與該閾值；和如果該最小值小於該閾值則識別目標視頻的一個與該最小值相關聯的幀。
15.權利要求11的匹配技術，其中，比較視頻剪輯的各幀與一個目標視頻的各幀之間的亮度分布的時間軌跡的方法操作包括識別視頻數據的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度分布的方向。
16.權利要求15的匹配技術，其中，識別視頻數據的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度的時間分布相關聯的方向的方法操作包括分配對應於視頻數據的各順序幀的連續分區的一個亮度的第一值集合；和分配對應於目標視頻的各順序幀的連續分區的一個亮度的第二值集合。
17.權利要求16的匹配技術，進一步包含生成指示視頻數據的各順序幀的連續分區的一個時間亮度改變的第一值序列；生成指示目標視頻的各順序幀的連續分區的一個時間亮度改變的第二值序列；和通過比較該第一值序列與該第二值序列，確定視頻數據的時間亮度改變與目標視頻的時間亮度改變是否在相同的方向。
18.一種具有用於檢測視頻數據是否出現在一個目標視頻中的程序指令的計算機可讀介質，包含用於計算與視頻數據和目標視頻相關聯的兩個空間籤名之間的一個空間距離的程序指令；用於計算與視頻數據和目標視頻相關聯的兩個時間籤名之間的一個時間距離的程序指令；用於將空間距離與時間距離組合的程序指令；和用於根據一個代表組合的空間距離和時間距離的值確定在目標視頻中是否出現視頻數據的程序指令。
19.權利要求18的計算機可讀介質，進一步包含用於計算一個與視頻數據和目標視頻相關聯的空間籤名值的程序指令；用於計算一個與視頻數據和目標視頻相關聯的時間間籤名值的程序指令；和用於將視頻數據的一個幀和目標視頻的一個對應幀劃分成一種能補償該目標視頻的對應幀的縱橫比改變的配置的程序指令。
20.權利要求19的計算機可讀介質，其中，用於計算一個與視頻數據和目標視頻相關聯的空間籤名值的程序指令包括用於確定視頻數據的一個幀的第一序數測量和目標視頻的一個幀的第二序數測量的程序指令；和用於計算第一個序數測量與第二序數測量之間的空間距離的程序指令。
21.權利要求19的計算機可讀介質，其中，用於計算一個與視頻數據和目標視頻相關聯的時間籤名值的操作方法包括確定視頻數據的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度的時間分布的方向。
22.一種具有用於檢測視頻剪輯的拷貝的程序指令的計算機可讀介質，包含用於劃分視頻剪輯的一個幀和一個目標視頻的一個幀以使得當與目標視頻相關聯的縱橫比改變時與目標視頻相關聯的序數測量是不變的程序指令；和用於確定視頻剪輯的幀與目標視頻的幀之間的一個相異性值的程序指令。
23.權利要求22的計算機可讀介質，其中，用於劃分視頻剪輯的一個幀和一個目標視頻的一個幀的程序指令包括用於將視頻剪輯的幀和目標視頻的幀都細劃分成4個區域的程序指令。
24.權利要求22的計算機可讀介質，其中，用於確定視頻剪輯的幀與目標視頻的幀之間的一個相異性值的程序指令包括用於根據視頻剪輯的幀的一個等級矩陣與目標視頻的幀的一個等級矩陣之間的差計算一個空間相異性值的程序指令；和用於根據視頻剪輯的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度分布的方向計算一個時間距離度量的程序指令；和用於組合該空間相異性值與該時間距離度量的程序指令。
25.權利要求22的計算機可讀介質，進一步包含用於重複該分區和該確定的程序指令；用於生成一個相異性值序列的程序指令；和用於識別該相異性值序列的最小值的程序指令。
26.權利要求25的計算機可讀介質，其中，用於識別該相異性值序列的最小值的程序指令包括用於確定該最小值是否低於一個閾值的程序指令；和如果該最小值低於該閾值，則該方法包括用於將目標視頻的一個與該最小值相關聯的幀識別為是視頻數據的一個對應幀的拷貝的程序指令。
27.一種具有用於執行檢測一個視頻剪輯的拷貝的匹配技術的程序指令的計算機可讀介質，包含用於比較視頻剪輯與一個目標視頻之間的亮度分布的時間軌跡的程序指令。
28.權利要求27的計算機可讀介質，進一步包含用於將視頻剪輯的各幀和目標視頻的各幀劃分成這樣一個配置的程序指令，其中當與目標視頻的各幀相關聯的縱橫比改變時與目標視頻的各幀相關聯的各序數測量是不變的。
29.權利要求27的計算機可讀介質，進一步包含用於比較視頻剪輯的各幀與一個目標視頻的各幀之間的空間序數籤名的程序指令；和用於組合時間軌跡的比較結果和空間籤名的比較結果的程序指令。
30.權利要求29的計算機可讀介質，進一步包含用於建立一個閾值的程序指令；用於檢查組合結果的程序指令；用於確定組合結果的一個最小值的程序指令；用於比較該最小值與該閾值的程序指令；和用於當該最小值小於該閾值時把與該最小值相關聯的目標視頻的幀識別為一個拷貝的程序指令。
31.權利要求27的計算機可讀介質，其中，用於比較視頻剪輯的各幀與一個目標視頻的各幀之間的亮度分布的時間軌跡的程序指令包括用於識別視頻數據的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度分布的方向的程序指令。
32.權利要求31的計算機可讀介質，其中，用於識別視頻數據的各順序幀和目標視頻的各相應順序幀的各對應分區之間的亮度分布的方向的程序指令包括用於分配對應於視頻數據的各順序幀的連續分區的一個亮度的第一值集合的程序指令；和用於分配對應於目標視頻的各順序幀的連續分區的一個亮度的第二值集合的程序指令。
33.權利要求32的計算機可讀介質，進一步包含用於生成指示視頻數據的各順序幀的連續分區的一個時間亮度改變的第一值序列的程序指令；用於生成指示目標視頻的各順序幀的連續分區的一個時間亮度改變的第二值序列的程序指令；和用於通過比較該第一值序列與該第二值序列，確定視頻數據的時間亮度改變與目標視頻的時間亮度改變是否在相同的方向的程序指令。
34.一種計算機，包含中央處理單元(CPU)；存儲器；被配置成能檢測一個視頻剪輯的拷貝的視頻拷貝檢測邏輯，該視頻拷貝檢測邏輯包括用於劃分視頻剪輯的一個幀和一個目標視頻的一個幀的邏輯；用於確定一個與視頻剪輯的幀相關聯的等級矩陣和一個與目標視頻的幀相關聯的等級矩陣之間的一個空間相異性的邏輯；用於確定視頻剪輯的各順序幀和目標視頻的各對應順序幀的對應分區之間的亮度分布方向的邏輯；和一個互連該CPU、該存儲器和該視頻檢測邏輯的總線。
35.權利要求34的計算機，其中，該視頻拷貝檢測邏輯進一步包括用於組合一個代表空間相異性的值與一個代表各對應分區的亮度分布方向的值的邏輯。
36.權利要求34的計算機，其中，該視頻拷貝檢測邏輯進一步包括用於生成指示視頻剪輯的各順序幀的連續分區的一個時間亮度改變的第一值序列的邏輯；用於生成指示目標視頻的各順序幀的連續分區的一個時間亮度改變的第二值序列的邏輯；和用於確定該第一值序列與該第二值序列是否在相同方向上改變的邏輯。
37.權利要求34的計算機，其中，用於劃分視頻剪輯的一個幀和一個目標視頻的一個幀的邏輯按2×2格式來劃分每個幀。
38.權利要求34的計算機，其中，每個邏輯元件是一個硬體或軟體或者是硬體和軟體的一個組合。
39.一種集成電路，包含一種邏輯，用於將一個在一個目標視頻幀的一個分區與一個詢問視頻幀的一個對應分區之間定義的空間距離值和一個與該目標視頻幀的分區及該詢問視頻幀的對應分區相關聯的時間距離值組合起來，以確定一個相異性值；和用於確定該相異性值是否是一個局部最小值的邏輯。
40.權利要求39的集成電路，進一步包含用於根據一個與該分區相關聯的序數測量來計算該空間距離值的邏輯。
41.權利要求39的集成電路，進一步包含用於根據一個目標視頻和一個詢問視頻的對應的連續視頻幀之間的亮度分布的改變的方向來計算該時間距離值的邏輯。
42.權利要求39的集成電路，進一步包含用於按2×2矩陣來劃分該目標視頻幀和該詢問視頻幀的邏輯。
43.權利要求39的集成電路，其中，用於確定該相異性值是否是一個局部最小值的邏輯包括用於將該相異性值與一個閾值進行比較的邏輯；和用於當該相異性值小於該閾值時將該相異性值識別為一個局部最小值的邏輯。
全文摘要
提供一種用於檢測視頻剪輯的拷貝的匹配技術的方法。該技術包括比較視頻剪輯的各幀與一個目標視頻的各幀之間的亮度分布的時間軌跡。也提供用於視頻拷貝檢測的計算機可讀介質、計算機系統和集成電路。
文檔編號H04N7/167GK1574019SQ200410059790
公開日2005年2月2日 申請日期2004年6月23日 優先權日2003年6月23日
發明者金昌翼 申請人:精工愛普生株式會社