基於族直方圖的商業廣告節目和其它視頻內容的檢測技術的製作方法

2023-05-01 16:46:56 2

專利名稱：基於族直方圖的商業廣告節目和其它視頻內容的檢測技術的製作方法
技術領域：
本發明涉及在1999年10月13日申請的美國專利申請序列號09/417,288中說明的發明，發明人N.Dimitrova、L.Agnihotri和T.McGee，標題為″Automatic Signature-Based Spotting，Learning andExtracting of Commercials and Other Video Content″(自動基於信號定點，識別和提取商業廣告節目和其它視頻內容)，其中的內容在此通過參考被合併。
本發明通常涉及視頻信號處理，並且更特別地涉及視頻信號的處理技術，該技術用於識別和提取商業廣告節目或具有特性的其它類型的視頻內容。
許多不同的系統已經被發展用於從廣播或被記錄的視頻信號中檢測和提取商業廣告節目。例如，標題為″Editing Method and Apparatusfor Commercials During Video Recording″(用於在視頻記錄中編輯商業廣告節目的方法和設備)的美國專利號4,782,401說明了一個面向硬體的解決方案，其基於用來描繪商業廣告節目的黑暗或空白幀的存在，從而在模擬域中刪除商業廣告節目。
在PCT申請號WO83/00971中說明了一個類似的系統，標題為″Reciprocating Recording Method and Apparatus for EditingCommercial Messages from Television Signals″(用於編輯來自電視信號的商業廣告的往復記錄方法和設備)這個系統分別基於商業廣告時間開始和結束時的漸顯和漸隱來刪除商業廣告節目。
標題為″Apparatus and Method for Deleting Selected ProgramIntervals from Recorded Television Broadcasts″(用於從被記錄的電視廣播中刪除選定的節目時隙的方法和設備)的美國專利號4,750,052敘述了另一個方法，其使用褪色檢測器來編輯來自被記錄的廣播節目的商業廣告節目。
標題為″Method and Apparatus for Classifying Patterns ofTelevision Programs and Commercials，″(用於分類電視節目和商業廣告節目的模式的方法和設備)PCT申請號WO 94/27404使用特徵提取和神經網絡來分類視頻信號。該系統檢測特徵中的變化，比如通過頻譜的功率振幅、顏色和亮度、場消隱時間代碼、內建字幕信號和彩色載波抖動信號。
標題為″Process and Device for Detecting Undesirable VideoScenes，″(用於檢測不希望的視頻景象的處理和設備)的PCT申請號WO95/06985描述了一個系統，其存儲來自先於商業廣告時間的廣播節目圖像，從而通過比較當前圖像與存儲圖像來檢測商業廣告時間的結束。這個方法利用了這個事實，即在商業廣告時間結束之後，廣播往往重複節目的一小部分。
標題為Method and Apparatus for the Classification ofTelevision Signals，″(用於電視信號分類的方法和設備)的歐洲專利申請號EP 735754使用一組特徵和關聯規則來確定是否當前的商業廣告節目在一定″模糊″程度上滿足相同的標準。該組特徵包括用來特性化商業廣告節目的立體對比單、雙信道音頻、聲音電平、圖像亮度和顏色、和標誌。需要一個廣泛的規則組來調和這些特徵的閾值和參數變化。
標題為″Video Signal Identifier for Controlling a VCR andTelevision Based on the Occurrence of Commercials″(基於商業廣告節目的出現來控制錄像機和電視機的視頻信號標識符)的美國專利號5,708,477，其使用視頻信號標識符來識別先前標識的商業廣告節目內容並且通過靜音電視伴音和/或暫停處於記錄模式的錄像機來拒絕該商業廣告節目內容。該方法有一個重大的問題，即它沒能提供自動檢測，而是在檢測之前需要用某種方式來識別的材料。
在標題為″Apparatus and Method for Detection of UnwantedBroadcast Information″(用於檢測不需要的廣播信息的方法和設備)的美國專利號5,668 917中描述了一個系統，其使用商業廣告節目的重複性來識別商業廣告節目材料。這個系統用壓縮格式存儲圖像幀並且比較原來的″原始的″格式化像素中的幀和像素。如果像素在一些閾值內匹配，則該幀被認為是類似的。這個方法的嚴重缺點是它需要過多的存儲器和計算資源。更特別地，甚至用壓縮格式來存儲視頻不實際地佔用了大量的存儲空間，例如，高清晰度電視(HDTV)內容的一個頻道一天就要佔用大約200GB。另外，比較原始視頻信號是很耗時的。甚至假定壓縮和解壓縮視頻可以被實現而沒有額外的計算成本，而比較幀也將是一個漫長的過程。一個給出的輸入幀必須與上述大量被存儲的視頻材料相比較，並且比較必須在後續幀到達之前被完成。
在上面引用的美國專利申請序列號09/417,288中描述的技術通過使用基於信號定點、識別和提取而提供了在上面列出的常規方法上的實質性改進。然而，儘管這些技術提供了實質性的改進，但是仍然需要進一步完善商業廣告節目及其它類型的視頻內容的識別和提取。
本發明提供了一種用於檢測視頻信號中的商業廣告節目或其它特殊類型的視頻內容的改進技術，其運用一個基於族(family)直方圖組群的方法。特殊類型的視頻內容可以是例如直播或轉播的廣播節目中的商業廣告節目。
根據本發明的一方面，顏色直方圖從視頻信號幀中被提取，並且提取的顏色直方圖的至少一個子集中的每一個顏色直方圖都與族直方圖進行比較。從中提取顏色直方圖的那組幀可以是在視頻信號的發射邊界提取的關鍵幀、視頻信號的幀內編碼幀(I幀)、或視頻信號的所有幀。在處理提取的第一個顏色直方圖中使用的族直方圖可以包含一個被初始化為預定結構的初始族直方圖。另一個例子，第一個提取的顏色直方圖可以本身被指定為初始族直方圖。如果該提取的顏色直方圖屬於族直方圖的特定範圍，則該族直方圖被更新來包括作為新成員的提取的顏色直方圖。如果提取的顏色直方圖不屬於特定範圍的族直方圖，則族直方圖被認為是完成的，並且提取的顏色直方圖被使用來產生用於處理後續提取的顏色直方圖的新族直方圖。通過多幀產生的族直方圖被用來在視頻信號中檢測商業廣告節目或其它特殊類型的視頻內容。
根據本發明的另一方面，通過結合族直方圖和給出的提取的顏色直方圖，族直方圖用屬於族直方圖特定範圍的給出的提取的顏色直方圖之一被更新。
根據本發明的再一方面，族直方圖的持續時間和/或重複性被用來標記商業廣告節目圖塊或其它特殊類型的視頻內容的邊界。例如，如果族直方圖具有屬於特定範圍的持續時間，則族直方圖可以被指出可能與特殊類型的視頻內容相關，例如，對於直播或轉播的廣播節目中包含商業廣告節目的視頻內容，該特定範圍大約是15到60秒。重複性的確定可以包括確定是否該族直方圖是其中每個都具有指定持續時間的族直方圖的連續系列中的一個，或確定是否該族直方圖是先前的族直方圖的實質性重複，該重複出現在在先前的族直方圖後的指定時段內。
有利地，本發明允許商業廣告節目及其它類型的視頻內容用特別精確和有效的方法被識別。本發明的這些及其它特徵和優點會從附圖及其後的詳細說明而變得更加明顯。


圖1是一個圖象處理系統的框圖，本發明可以在其中被實現。
圖2是一個根據本發明說明性實施例的商業廣告節目檢測處理的流程圖，該處理過程可以在圖1的圖象處理系統中被實現。
圖3說明根據本發明技術的族直方圖的產生過程。
圖1示出圖象處理系統100，其中，根據本發明的視頻檢測技術可以被實現。系統100可以表示電視、機頂箱、臺式機、筆記本或掌上型計算機、個人數字助理(PDA)、諸如錄像機(VCR)之類的視頻存儲設備、數字錄像機(DVR)、TiVO設備等等，以及這些及其它視頻處理設備的部分或組合。
系統100包括一個或多個視頻源102、一個或多個輸入輸出設備104、處理器105和存儲器106。視頻源102可以表示電視接收機、錄像機或其它視頻存儲設備，或任何其它類型的視頻源，以及這類視頻源的不同組合。源102可以替換地表示一個或多個用於從伺服器或通過伺服器接收視頻的網絡連接，例如諸如網際網路之類的全球計算機通信網絡、廣域網、城域網、區域網、地面廣播系統、有線電視網、衛星網、無線網、或電話網，以及這些及其它類型的網絡的部分或組合。
輸入輸出設備104、處理器105和存儲器106通過通信媒介107進行通信。通信媒介107可以表示總線、有線或無線通信網、電路的一個或多個內部連接、電路板或其它設備，以及這些及其它通信媒介的部分和組合。
根據被存儲在存儲器106中並且由處理器105執行的一個或多個軟體程序，來自源102的輸入視頻被處理，從而產生被提供給顯示設備108的輸出視頻，顯示設備108可以是電視顯示器、計算機監視器等等。例如，該一個或多個軟體程序可以被用來實現結合下圖2說明的至少部分商業廣告節目檢測處理，結果的輸出視頻包括用於信號內的商業廣告節目邊界的適當標記。顯示設備108然後可以用一個另外的常規方法來處理該標記，從而從被顯示的視頻中除去商業廣告節目。
應當理解，圖1所示的系統100的特殊結構只是舉例來說。本領域技術人員會認識到，本發明可以用各式各樣的替換系統配置而被實現。
例如，顯示設備108可以被替換為視頻存儲設備或連同視頻存儲設備一起使用，因此輸出視頻被存儲以用於後續的使用。視頻存儲設備可以被合併到顯示設備108中，或可以被實現為連接到顯示設備108的獨立設備。這類存儲設備在本技術領域中是眾所周知的，因此不再在此說明。
本發明提供用於檢測視頻信號中的商業廣告節目或其它類型的視頻內容的改進技術。通過說明性實施例將在此被說明的本發明使用從圖像幀中提取的顏色直方圖以形成所謂的″族直方圖″，然後本發明處理族直方圖來識別視頻信號內的商業廣告節目。例如，如果族直方圖的長度在大約15和60秒之間，則通過在指定時段內存在幾個這類族直方圖，該指定時段對應例如大約2到3分鐘或3到5分鐘的多個商業廣告時間的持續時間總數，從而來指出商業廣告節目區域。這指出了在視頻信號內的商業廣告節目區域或圖塊中存在幾個商業廣告節目。如上所述，被檢測的商業廣告節目的邊界然後可以被確定和標記，因此商業廣告節目可以通過諸如系統100的設備108之類的視頻顯示設備中的快進、靜音或別的處理而被除去。
圖2是一個根據本發明的用於檢測廣播視頻信號中的商業廣告節目的進程200的實例流程圖。假設在這個實例中，輸入視頻包含一個廣播視頻信號，該廣播視頻信號至少包括一個節目和多個商業廣告節目。然而應當強調這僅僅是舉例來說，而不是打算以任何方式來限制本發明的範圍。更特別地，本領域技術人員將會認識到本發明可以被用來識別在其它類型的視頻信號中除了商業廣告節目之外的特殊類型的視頻內容，並且可以使用不同於圖2的實例的處理步驟來被實現。
在處理200的步驟202中，一個常規的幀接收器被用來獲取輸入視頻信號的一個或多個幀。例如，該幀接收器可以從模擬視頻源提供的模擬視頻信號中獲取一個或多個″原始的″圖像幀，或者可以從諸如常規的動態圖象專家組(MPEG)數位電視比特流之類的數字信源中提取這類幀。
由幀接收器獲取的，和如下所述隨後將從中提取顏色直方圖的那組幀可能是一個或多個在視頻信號的發射邊界提取的關鍵幀、視頻信號的幀內編碼幀(I幀)、或視頻信號的所有幀。結合圖3將被說明的是，也可以使用一個典型的關鍵幀。在此使用的術語″幀″被包括這類典型的關鍵幀。
在步驟204中指出，只要一個或多個幀被獲得，顏色直方圖信息就從中被提取出來。在此使用的顏色直方圖可以根據本技術領域中的已知技術來產生。產生和處理顏色直方圖的有關細節可以在下列文件中被找到，例如N.Dimitrova、J.Martino、L.Agnihotri和H.Elenbaas於1999年在神戶召開的IEEE圖像處理國際會議的″ColorSuperHistograms for Video Representation″(用於視頻表示的顏色超級直方圖)；2000年在法國裡昂的圖像會議中的L.Agnihotri和N.Dimitrova的″Video Clustering Using SuperHistograms inLarge Archives″(在大型文檔中使用超級直方圖的視頻分組)；以及在1999年7月7日申請的歐洲專利申請號EP 1038269，標題為″AHistogram Method for Characterizing Video Content″(用於特性化視頻內容的直方圖方法)，發明人是J.Martino、N.Dimitrova、H.Elenbaas和J.Rutgers；上述文檔在此通過參考被合併。
首先要指出，本發明部分基於″族直方圖″的概念，其在此的使用通常涉及用大量相關幀而產生的直方圖，例如具有類似調色板的大量幀或另外被確定有關的大量幀。通過比較在步驟204中提取的給定顏色直方圖和先前的族直方圖，步驟206形成此類型的族直方圖。在貫穿步驟202、204、206和208的初始化中，先前的族直方圖可以被初始化為第一個提取的顏色直方圖，或者被初始化為一個指定結構。其後，也稱為當前提取的直方圖的從步驟204提取的給定顏色直方圖，其在步驟206中被處理以確定它是否″屬於″先前的族直方圖。例如，當前提取的直方圖可以與先前的族直方圖、平均直方圖、來自族的代表幀、或適合比較的另一個元件進行比較。
如果當前提取的直方圖被認為是先前的族直方圖的一部分，則族直方圖在步驟206中被更新來包括新成員，由此產生的族直方圖被稱為當前族直方圖。當前族直方圖然後被認為是不完整的，因此處理經由步驟208回到步驟202以處理後續幀，而當前族直方圖變成先前的族直方圖。然而如果當前提取的直方圖不匹配先前的族直方圖，則先前的族直方圖被認為是完整的，並且處理經由步驟208移到步驟210。
如上所指，圖2處理大量指定幀中的每一個，從而計算顏色直方圖，並且然後搜索一個或多個先前計算的族直方圖以發現最接近的族直方圖匹配。通過使用下列用於計算直方圖差值D或其它相關比較單位的方法之一，給出的當前直方圖Hc和先前的族直方圖Hp之間的比較可以被計算。沒有在此明確說明的其它方法也可以被使用，這對於本領域技術人員來說是很明顯的。
(1)直方圖差值D可以用下列公式來計算D=i-1N|Hc(i)-Hp(i)|]]>在此，N是被使用的顏色bin的總數。舉例來說，bin的數目N可以被選為9，當然也可以使用其它數目的bin。用這個公式獲得的值介於0和在相應幀的像素最大數目的兩倍之間。因為希望獲得類似百分比，所以可以通過除以像素總數來標準化獲得值。這個標準化的數值在0和1之間，其中，接近0的值意味著那些幀是相似的，並且接近1的值意味著那些幀是不相似的。
(2)直方圖的差值D可以用下列公式來計算D=i-1N(HC(i)-HP(i))2]]>在這種情況下，D的值可以用類似於上述情況(1)的方法來標準化。
(3)直方圖的交集可以用下列公式來計算I=i=1Nmin(HC(i),HP(i))i=1NHC(i)]]>
用這個公式獲得的值介於0和1之間。接近0的值意味著那些幀是不相似的，和接近1的值意味著那些幀是相似的。為了比較直方圖和相似性的相同解釋，可以使用D＝1-I來作為距離測量。
(4)用於比較兩個幀直方圖的卡方測試可以通過使用下列公式來計算x2=i-1N(HC(i)-HP(i))2(HC(i)+HP(i))2]]>在這種情況下，得出的值介於0和顏色bin的數目N之間，因此可以用N來標準化，即D＝x2/N。
(5)bin-wise直方圖的交集可以使用下列公式來計算B=i-1Nmin(HC(i),HP(i))max(HC(i),HP(i))]]>類似於上述的直方圖的交集，較低的B值意味著那些幀是不相似的，和較高的B值意味著那些幀是相似的。為了一致於先前的測量，可以通過使用D＝1-B/N來計算距離。
從圖2對於這一點的描述可以明顯地看出，族直方圖可以是從表示來自相鄰幀、I幀、場景中斷等等的幀的直方圖導出cumulatively平均直方圖。這類先前指定的幀在此被稱為關鍵幀。第一個遇到的幀的直方圖可以被包含入族直方圖來形成第一族。從第二幀開始，對每個新遇到的幀將作出一個判定，即新的幀是否應該與現有的族直方圖合併，或者如果當前幀實質上是不同的，則是否應該開始一個新的族。舉例來說，從兩個幀或兩個關鍵幀中提取的兩個直方圖被給出，這兩個直方圖之間的差值可以被計算。如果差值小於某個閾值，則當前的直方圖被合併到族直方圖中。
族直方圖可以被實現為一個數據結構，其包含到每個直方圖的組成部分和其相應幀編號的指針、被合併的族直方圖和表示總的持續時間的變量。後邊的變量可以被初始化為當前的直方圖代表的場景持續時間。族直方圖的合併可以根據下列公式被執行
Hfam(l)=i(duritotal_durfamHi(l))]]>在這個公式中，1是表示bin數目的變量，fam是這個特殊族的指數，Hfam是表示該族直方圖的矢量，i是表示在這個族直方圖中的發射數目的標引，duri是表示場景i的持續時間的變量，Hi(1)是指出對於關鍵幀數目i的bin 1中的像素數目的數值，和total_durfam是表示已經在族中的所有場景的總持續時間的變量。用於比較當前的直方圖和先前的族直方圖的兩個實例技術在此被稱為不鄰接和鄰接比較。
在不鄰接的情況中，計算每個幀或關鍵幀的直方圖，然後搜索大量先前計算的族直方圖以找出在指定時期內最接近的族直方圖匹配。如果幀或關鍵幀和在指定時期內最接近的族直方圖之間的差值小於某個閾值，則當前的幀或關鍵幀被增加給那個族並且其中包含新的直方圖的新的族直方圖被計算。這產生了幀的群集，這些幀彼此不鄰接卻具有相似的調色板。
在鄰接的情況中，計算每個幀或關鍵幀的直方圖，然後只搜索先前的族直方圖。如果幀或關鍵幀和先前的族直方圖之間的差值小於某個閾值，則當前的幀或關鍵幀被增加給先前的族。否則，新的族就用作為新族的族直方圖的新直方圖開始。
圖3示出一個用於根據本發明技術來產生族直方圖的可能方法的實例。在這個實例中，關鍵幀K1表示192幀的序列，和關鍵幀k2表示79幀的序列。在圖2的步驟204中指出，顏色直方圖H1和H2分別從關鍵幀K1和K2中被提取。基於連同圖2被預先說明的其它處理操作，對於這個實例，進一步假設已經作出判定來結合顏色直方圖H1和H2。這些直方圖因此被結合成一個圖中指出的族直方圖FH1。
應當理解，圖3的實例只是為了說明性的目的並且不應該被看作以任何方式對本發明範圍的限制。本領域技術人員將理解大量的其它技術可以被使用來形成根據本發明的族直方圖。
再次涉及圖2，在步驟210中，當前的族直方圖被分析表示商業廣告節目的特徵。在說明性的實施例中，在步驟210中施加於當前的族直方圖的分析優選地包括持續時間和重複性的分析。關於持續時間，如果給出的族直方圖的長度在大約15和60秒之間，則有可能給出的族直方圖與商業廣告節目相關。如果給出的族直方圖具有與商業廣告節目有關的持續時間，則優選地結合一個或多個輔助族直方圖來進一步分析上述的重複性。舉例來說，如果給出的族直方圖是一系列族直方圖或其它族直方圖群之一，其中，每個族直方圖的長度在大約15和60秒之間，則輸入視頻中的商業廣告節目圖塊被指出。詳細的商業廣告節目和/或商業廣告節目圖塊然後可以象在步驟212指出的那樣被標記。
另一個例子，在大約3到5分鐘之的典型商業廣告時間時段內，步驟210中的商業廣告節目檢測被配置來檢測多個持續時間小於大約10秒的短族直方圖中的每一個。
每分鐘或在大約為3到5分鐘的商業廣告典型時間內的其它時段，步驟210中的商業廣告節目檢測也可能被配置來檢測唯一的族直方圖的數目。更特別地，通過每分鐘存在至少4個唯一的族直方圖，或者在每分鐘或其它時段中存在其它預定數目的唯一的族直方圖，商業廣告時間可以被指出。在這裡，術語″唯一的″指的是在指定方式中不同於其它的族直方圖。
又一個例子，步驟210中的商業廣告節目的檢測可能被配置來檢測任何族直方圖的不存在，這些族直方圖具有大於指定時間量的持續時間，比如大於大約30秒的持續時間。
步驟210中的商業廣告節目的檢測可能利用輔助類型的分析。這類分析可能包括尋找族之間的空白幀或音頻靜止，或測量族內的清除率。另外，特殊的內建字幕文本或其它知道特徵的存在可以被用來校驗確實在商業廣告節目區域。適用於本發明的輔助分析的其它實例可以在上面引用的美國專利申請序列號09/417,288中被找到。
具有大約15到60秒的上述短持續時間的族直方圖也可以與較長的族直方圖進行比較，較長的族直方圖在先前的指定長度的時段中被發現，這個指定長度大約是15分鐘或更少。這些較長的族直方圖一般是與廣播節目有關而與商業廣告節目無關。通常，廣播節目傾向於有較長時間的族直方圖，因為許多幀的圖象內容是相似的。然而，在商業廣告節目的情況下，較短的族直方圖通常和與節目有關的時間較長的族直方圖有極大的不同，這是因為商業廣告節目的圖象內容被特意設計為″吸引人的″並且不同於短時段中的節目內容。
另一個實例，用上述方法被確定的短的族直方圖可以與相應節目的普通超級直方圖進行比較。
另外，來自常規電子節目指南(EPG)的信息可以被使用於上述分析。例如，節目名稱、類型或其它細節可以從EPG獲得並且被使用來識別特殊的普通的超級直方圖，其已經被先前計算和存儲用於特定節目。有適當持續時間的，不匹配在相應時間和頻道播出的特定節目的先前計算的超級直方圖的族直方圖群然後可以被識別為可能與該節目中的商業廣告節目圖塊相關。
關於重複性，也可能檢查是否相同或相似的短時間族直方圖在指定時間內被重複，例如，大約一個小時的時間。這是因為某些商業廣告節目傾向於重複。例如，啤酒商業廣告節目頻繁地在廣播運動節目中被重複。雖然啤酒商業廣告節目的族直方圖一般不匹配相應的運動節目的族直方圖，但是它可能匹配在運動節目中的先前點播出的相同商業廣告節目產生的族直方圖。
還有另一個實例，步驟210中的商業廣告節目的檢測可以被配置來在指定時段內檢測多個先前識別的短時間族直方圖的不存在。更具體地說，如果大約15分鐘的持續時段不包括任何先前識別的多個短時間族直方圖，則該15分鐘的時段可能是商業廣告時間之間的節目段。
此外，也希望利用本發明的技術來檢測其它類型的不需要的內容，例如暴力、爆炸、性或其它明確的內容。
將使用本發明的技術來檢測的這些內容和其它類型的內容可以被用戶標記，例如用戶可以指定將被排除或包括的特殊類型的內容。
只要與商業廣告節目或其它類型的指定視頻內容有關的特殊族直方圖已經被識別，這些族直方圖就可以被用來標記這類內容的邊界。
應當指出，給出的族直方圖可以由關鍵幀表示，該關鍵幀可能是第一個、最後一個或在族直方圖內指定或隨機選擇的幀、被確定是最接近地與該族直方圖有關的關鍵幀、或making up給出的族直方圖的獨立幀直方圖的平均值。這些表示和其它表示被定為包括在此使用的術語″族直方圖″內。
有利地，結合圖2說明的說明性處理甚至可以被用來識別那些實質上具有單一調色板的商業廣告節目或其它類型的視頻內容。例如，在商業廣告節目的情況下，商業廣告節目的時間一般大約為15來60秒，這將反映於相應的族直方圖的持續時間或它在多個有近似持續時間的其它族直方圖系列內的存在。
本發明的另一個說明性的實施例可以利用顏色熵方法而被實現。應用於MPEG編碼的視頻序列的I幀的方法在下面被說明，並且包括下列步驟1.對於MPEG編碼的視頻序列的每個I幀，計算N-bin顏色直方圖。
2.確定哪個bin具有最高的votes數目。通過用這個最高votes數目來除每bin的votes總數，從而標準化直方圖。這將會產生一個第j個I幀Ij的概率矢量PIj(P1rj,...PNIj).]]>3.計算第j個I幀Ij的顏色熵S=-iPiIjlogPiIj]]>4.給出一個例如十秒的臨時滑動窗口W，其被集中在第j個I幀Ij並且包括FI幀的總數，計算平均熵S=-1/FjiPiIjPiIj.]]>5.在窗口W內部分別計算SS和(S-S)2的平均值和變化。
6.當窗口從I幀滑動到I幀時，如果在步驟5中計算出來的變化展示一個峰值，則在2或3個連續I幀之後，確定發生這個的第一I幀為新的視頻圖段的候選。在這個改變之後，如果變化仍然保持很高，則把這個第一I幀標記為商業廣告節目的候選。另一方面，如果這個變化迅速降低，則認為這個第一I幀是場景變化的候選。
這個顏色熵方法可以用直接的方式實施於上述的其它技術，例如圖1的系統和圖2的處理。在上面示出的特殊的顏色熵方法只是作為說明性的例子，並且本領域技術人員將會認識到其它的顏色熵方法也可以根據本發明技術而被實施。
先前指出，通過使用上述技術，只要商業廣告節目或其它類型的視頻內容已經被檢測到，用於除去或處理被標記的商業廣告節目或其它內容的常規方法就可以用一個直接的方式被實施，這些常規方法包括快進通過記錄的廣播節目、靜音電視、在數字視頻信號中跳到指定點，等等。
本發明的另一個優點在於上述技術不需要非常大的存儲器或計算要求就可以被實現。
儘管本發明適合於檢測商業廣告節目，但是它也可以結合任何指定類型的視頻內容檢測而被使用，例如，希望顯示或記錄以及連續播放的任何類型的內容，或將被刪除的任何所不希望的類型的內容。
本發明的上述實施例只被定為說明性的。例如，在任何希望類型的圖象處理系統或設備中，和在除了在此特別說明的應用之外的許多應用中，本發明可以被用來實現其它類型的圖像信號檢測。另外，儘管說明中使用顏色直方圖，但是本發明技術可以用其它類型的直方圖來實現，例如強度直方圖等等。本發明還可以至少部分地以一個或多個軟體程序的形式來實現，這些軟體程序被存儲在常規電子、磁的或光存儲介質或其它類型存儲器上並且通過處理設備來執行，例如通過圖1中的系統100的處理器105來執行。這些和大量其它在以下權利要求範疇內的實施例對於本領域技術人員來說是顯而易見的。
權利要求
1.一個用於處理視頻信號的方法，包括下列步驟從視頻信號的多個幀(K1、K2)中提取直方圖(H1、H2)；比較提取的直方圖的至少一個子集中的每一個直方圖和族直方圖，並且如果提取的直方圖屬於族直方圖的特定範圍，則更新族直方圖來包括作為新成員的提取的直方圖，並且如果提取的直方圖不屬於族直方圖的特定範圍，則指出族直方圖是完整的並且利用提取的直方圖來產生一個用於處理後續提取的直方圖的新的族直方圖(FH1)；和利用一個或多個族直方圖來檢測(210)視頻信號中的特殊類型的視頻內容。
2.權利要求1的方法，其中，特殊類型的視頻內容包含直播或轉播的廣播節目中的商業廣告節目。
3.權利要求1的方法，其中，在處理提取的第一個直方圖中使用的族直方圖(i)包含一個被初始化為預定結構的初始族直方圖，或(ii)自身被指定為初始族直方圖。
4.權利要求1的方法，其中，通過結合族直方圖和給出的提取的直方圖，族直方圖被更新為屬於族直方圖特定範圍的給出的提取的直方圖之一。
5.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包括確定族直方圖的持續時間。
6.權利要求5的方法，其中，如果族直方圖具有屬於特定範圍的持續時間，則族直方圖被指出可能與特殊類型的視頻內容相關。
7.權利要求6的方法，其中，對於在直播或轉播的廣播節目中包含商業廣告節目的視頻內容，特定範圍大約是15到60秒。
8.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包括確定族直方圖的重複性。
9.權利要求8的方法，其中，確定族直方圖的重複性的步驟還包含確定是否族直方圖是一系列連續的族直方圖之一，該系列中的每個族直方圖都具有一個指定的短持續時間。
10.權利要求8的方法，其中，確定族直方圖的重複的的步驟還包含確定是否族直方圖是先前的族直方圖的實質性重複，該重複在先前的族直方圖之後的指定時段內出現，其中，(i)重複性在第一個先前指定的大約3到5分鐘的時段中不出現，或者(ii)重複性在第二個先前的指定的大約15分鐘的時段中出現。
11.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包含在長度大約為3到5分鐘的時段內，檢測多個持續時間小於大約10秒的短的族直方圖中的每一個。
12.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包含檢測在指定時段出現的多個唯一的族直方圖。
13.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包含檢測持續時間大於指定時間量的任何族直方圖的不存在。
14.權利要求13的方法，其中，指定的時間量大約為30秒。
15.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包含比較一個或多個指定持續時間的族直方圖和對特殊節目產生的超級直方圖。
16.權利要求15的方法，其中，特殊節目的超級直方圖被先前計算和存儲。
17.權利要求15的方法，其中，通過使用從電子節目指南(EPG)獲得的信息，特殊節目和它的關聯超級直方圖被識別。
18.權利要求1的方法，其中，利用一個或多個族直方圖來檢測視頻信號中的特殊類型的視頻內容的步驟還包含檢測多個先前識別的族直方圖的不存在，這些族直方圖的持續時間至少有一個在指定時段內。
19.權利要求1的方法，其中，給出的族直方圖根據顏色熵技術而被產生，該技術基於確定視頻信號的幀內編碼幀的滑動窗口內的顏色熵變化中的一個或多個峰值。
20.一個用於處理視頻信號的設備，該設備包括處理器(105)，用於運轉來處理從視頻信號的多個幀(K1、K2)中提取的直方圖(H1、H2)，處理器被採用來比較提取的直方圖的至少一個子集中的每一個直方圖和族直方圖，並且如果提取的直方圖屬於族直方圖的特定範圍，則更新族直方圖來包括作為新成員的提取的直方圖，並且如果提取的直方圖不屬於族直方圖的特定範圍，則指出族直方圖是完整的並且利用提取的直方圖來產生一個用於處理後續提取的直方圖的新的族直方圖(FH1)，一個或多個族直方圖被用來檢測(210)視頻信號中的特殊類型的視頻內容；和連接到處理器的存儲器(106)，用於存儲一個或多個提取的直方圖的一部分和族直方圖。
21.一件產品，包括機器可讀的媒介，該媒介包含一個或多個用於處理視頻信號的軟體程序，其中，當一個或多個軟體程序被執行時實現下列步驟從視頻信號的多個幀(K1、K2)中提取直方圖(H1、H2)；比較提取的直方圖的至少一個子集中的每一個直方圖和族直方圖，並且如果提取的直方圖屬於族直方圖的特定範圍，則更新族直方圖來把提取的直方圖包括為一個新的成員，並且如果提取的直方圖不屬於族直方圖的特定範圍，則指出族直方圖是完整的並且利用提取的直方圖來產生一個用於處理後續提取的直方圖的新的族直方圖(FH1)；和利用一個或多個族直方圖來檢測(210)視頻信號中的特殊類型的視頻內容。
全文摘要
公開了一種用於檢測視頻信號中的商業廣告節目或其它特殊類型的視頻內容的技術。在一個說明性的實施例中，顏色直方圖從視頻信號幀中被提取。提取的顏色直方圖的至少一個子集中的每一個顏色直方圖與族(family)直方圖進行比較。如果該提取的顏色直方圖屬於族直方圖的特定範圍，則族直方圖被更新來包括作為新成員的提取的顏色直方圖。如果提取的顏色直方圖不屬於族直方圖的特定範圍，則族直方圖被認為是完整的，並且提取的顏色直方圖被使用來產生用於處理後續提取的顏色直方圖的新族直方圖。產生的族直方圖被用來檢測視頻信號中的商業廣告節目或其它特殊類型的視頻內容。
文檔編號G06T7/00GK1605190SQ02825367
公開日2005年4月6日 申請日期2002年12月6日 優先權日2001年12月21日
發明者N·蒂米特羅瓦, L·阿尼霍特裡, T·F·M·麥吉, R·S·賈辛斯奇 申請人:皇家飛利浦電子股份有限公司