用於視頻的場景切換檢測的製作方法
2023-06-17 10:29:56
專利名稱：用於視頻的場景切換檢測的製作方法
技術領域：
本發明涉及視頻處理，具體涉及一種用於檢測場景切換的方法和設
備o
背景技術：
本節旨在向讀者介紹與下面描述和/或主張本發明相關方面相關的各 種背景技術。相信此處的描述將有助於為讀者提供背景信息，從而使讀者 對本發明的方方面面了解得更清楚。因此，可以認為此處描述的目的即是 為了方便讀者，而並非做為對現有技術的承認。
通常，電影視頻內容數據作為一系列靜止圖象被捕捉、存儲、傳輸、 處理和輸出。當靜止圖片在足夠緊湊的時間段內輸出時，觀眾會把逐幀數 據內容的細微變化視為運動，而相鄰兩幀之間數據內容的大幅變化則被視 為一個場景切換(例如，室內到室外的場景切換，攝影角度的變化，圖像 亮度的突然變化，等等)。
編碼和壓縮過程利用逐幀視頻數據內容的細微變化來減少需要存儲、 傳輸、處理的視頻數據內容的數量。用於描述上述變化的數據量比用於描
述原始靜止圖像所需要的數據量要少。例如，根據運動圖像專家組(Moving Pictures Experts Group, MPEG)開發的標準， 一組幀的起始幀是一個幀內 編碼圖象幀(intra-coded frame, I-幀)，起始幀中的編碼視頻內容數據對應 於原始靜止圖像的視覺特徵(如，亮度、色度)。該組幀中的後續幀，比如預測編碼圖象幀(predictive coded frame, P-幀)和雙向編碼圖象幀 (bi-directional coded frame, B-幀)，它們都是基於該組幀中前面的幀的變 化而進行編碼的。新出現的各組幀，即包含新的I-幀的一組圖像幀，每隔 一段時間出現一次，從而可以阻止噪聲，比如引起偽視頻內容數據變化的 噪聲。當視頻內容數據大幅變化時，新出現的各組幀和其包含的新的I-幀 也可以從場景切換開始，這是因為描述一個新的靜止圖像所需的數據比描 述兩個相鄰靜止圖像間的大幅變化所需的數據要少。換言之，是因為來自 不同場景的兩個圖片之間的相關性很小。把新圖像壓縮成一個I-幀比使用 一個圖像來預測另一圖像更為有效。因此，在內容數據編碼過程中，識別 相鄰視頻內容數據幀之間的場景切換至關重要。
此外，還應注意到，場景切換的識別與膠片後期製作處理也有關。例 如，色彩校正處理是後期製作處理的一種，它主要應用於基於逐個場景切 換的電影視頻內容數據。所以說，快速準確地檢測場景邊界是很關鍵的。 識別兩個視頻內容幀之間的場景切換的方法有很多種。基於運動的方 法，即通過比較兩幀間的圖像元素(像素)的塊的矢量運動來識別場景切 換。基於直方圖的方法，譬如可以繪製兩個幀的像素色彩數據分布情況， 通過比較這些分布情況來識別場景切換。基於圖像特徵的方法，即識別視
頻內容數據幀中的一個特定對象(如演員、場景的一部分、等等)，從 而來確定該對象的特定屬性是否與預定的場景分類有關。然而，每種方法 都各有缺陷。例如，基於運動的方法通常都很耗時，因為它需要多個時鐘 周期和專用的處理器帶寬。當單獨使用基於直方圖的方法時，往往不夠精 準而無法正確地檢測場景切換。最後要說的是，使用基於圖像特徵的方法通常要比使用基於運動的方法更難操作、更耗時。
本發明旨在克服以上缺陷。
發明內容
一
本發明介紹了一種通過使用絕對直方圖差分和(SAHD)以及絕對顯 示幀差分和(SADFD)來檢測場景切換的設備和方法。本發明通過利用同 一場景的時間信息來找出變化從而準確地檢測場景切換。本發明既可以應 用於實時操作(如實時視頻壓縮)又可應用於非實時操作(如膠片後 期製作)。
對於本發明的這些優點和特徵以及其他優點和特徵，所屬領域的技術 人員在研讀了下文中的具體實施方式
和附圖之後，將會更加清晰明了。
圖1示出了一個使用本發明的場景檢測模塊的示例性系統的框圖； 圖2示出了另一個使用本發明的場景檢測模塊的示例性系統的框圖； 圖3示出了本發明的場景檢測方法的流程圖。
具體實施例方式
下文中具體描述了本發明的現有優選實施例。當然，本發明並不局限 於下文中所論述的實施方式或附圖中所示的實施方式。更確切地說，說明 書和附圖僅僅示出了就目前情況來說本發明的優選實施例。
以下將描述本發明的一個或多個具體實施例。說明書中並未描述具體 實施方案中的全部特徵，這是為了簡要地描述這些實施例。應該明確，這 種具體實施方案的實施過程和任何一個工程項目或設計項目的實施過程是一樣的，實施者都必須針對實施方案做出很多很多的決定，才能實現既 定目標，比如說要遵守系統相關的限制條件和業務相關的限制條件，而 這些限制條件又是隨著實施過程的變化而變化的。此外，還應該明確，這 樣的實施計劃可能會很複雜和耗時，但是，如果普通技術人員能了解本發 明公開內容的優勢所在，那麼該計劃就絕對不只是一個常規的設計、裝配、 以及製造過程。
現參照圖1，該框圖中示出了應用於一個編碼裝置或編碼系統10的本 發明的實施例。編碼裝置10包括編碼器12，比如一個高級視頻編碼
(advanced video encoding, AVC)編碼器，該編碼器可連接於場景檢測模 塊14和後處理模塊16。該編碼器12在其輸入端接收包含一系列靜止圖 像幀的未壓縮電影視頻內容數據流。編碼器12按照諸如由MPEG制定的 標準通過使用從場景檢測模塊14中接收的控制信號把未壓縮數據流轉換 成壓縮數據流，該壓縮數據流中包含一組幀，該組幀的起始幀是幀內編碼 圖像幀(I-幀)，且I-幀中的編碼視頻內容數據對應於原始未編碼靜止圖像 的視覺特徵(例如亮度、色度)。這組幀中的後續幀，比如預測編碼圖 象幀(P-幀)和雙向編碼圖象幀(B-幀)，它們都是基於該組幀中前面的 幀的變化而進行編碼的。如上所述，當視頻內容數據大幅變化時，新出現 的各組幀和其包含的新的I-幀從場景切換開始，這是因為描述一個新的靜 止圖像所需的數據比描述兩個相鄰靜止圖像間的大幅變化所需的數據要 少。下文以及圖3中對本發明的檢測方法進行了詳細的描述，場景檢測模 塊14應用該方法檢測所接收的未壓縮電影視頻內容數據流中的一個新場 景，並且向編碼器12傳輸一個控制信號，表明有新的一組幀需要編碼。該控制信號可以包含時間戳、指針、同步數據等等，指出新的一組幀應該 出現的時間和位置。在編碼器12對未壓縮數據流進行壓縮之後，壓縮數 據流被傳到後處理模塊16，並在這裡對編碼數據進行附加處理從而使數據
能夠被存儲(如，在硬碟驅動(hard disk drive, HDD)中、數位化視頻光 盤(digital video disk, DVD)中、高清數位化視頻光碟(high definition digital video disk, HD-DVD)中等等)、能夠在介質中傳輸(如，無線、網際網路、 廣域網(wide area network, WAN)或者局土或網(local area network, LAN)
等等)、能夠被顯示(如，在電影院裡、在數字顯示器上(又如等離子 顯示器、LCD顯示器、LCOS顯示器、DLP顯示器、CRT顯示器)等等)。 現參照圖2，該框圖中示出了使用色彩校正裝置或色彩校正系統20 的本發明的實施例。色彩校正裝置20包括色彩校正模塊22，比如Avid， Adobe Premiere或者Apple FinalCut色彩校正模塊等等，該色彩校正模塊 可被連接於場景檢測模塊24和後處理模塊26。該色彩校正模塊22在其輸 入端接收包含一系列靜止圖像幀的未壓縮電影視頻內容數據流。色彩校正 模塊22利用從場景檢測模塊24中接收的控制信號對接收的數據流中的場 景進行色彩校正，並把已校正色彩的數據流傳遞給後處理模塊26。後處 理程序26可以對已校正色彩的數據流實施附加的後期製作方法，例如 對比度調整、膠片顆粒調整(例如去除或插入)等等。應該明確的是， 附加的後期製作方法和系統也可以使用本發明中的場景檢測方法。下文及 圖3中對本發明的檢測方法進行了詳細的描述，場景檢測模塊24採用該 方法來檢測所接收的未壓縮電影視頻內容數據流中的一個新場景，並且向 編碼器2傳輸一個控制信號，表明有一個新場景需要進行色彩校正。該控制信號可以包含時間戳、指針、同步數據等等，用於指出新場景的位置。
現參照圖3，圖中示出了本發明的檢測方法30。該場景檢測方法30 用於識別或檢測場景切換或場景邊界。在步驟32，檢測開始；在步驟34， 場景檢測模塊把一個新場景值設置為0。接下來在步驟36，場景檢測模 塊讀入所接收的未壓縮電影視頻內容數據流中的一個第一圖像。在步驟 38，場景檢測模塊計算第一圖像的直方圖，比如通過計算出與預定的色彩 信道值相匹配的第一圖像中的像素數目來進行計算。隨後在步驟40，場景 檢測模塊確定是否在所接收的未壓縮電影視頻內容數據流中有更多圖像 將要讀入。如果沒有，場景檢測模塊將在歩驟42結束該場景檢測過程30。 如果有，場景檢測模塊在步驟44從所接收的未壓縮電影視頻內容數據流 中讀入下一個圖像，並且在歩驟46計算該圖像的直方圖。然後在步驟48， 場景檢測模塊計算相鄰圖像之間的絕對顯示幀差分和(sum of absolute display frame difference, SADFD)以及絕對直方圖差分和(sum of absolute histogram difference, SAHD)。
例如，使用下面的公式來計算第一對圖像的SADFD: S層Df ,=。 f — I p,(i,j) - p2(i,j) I
其中，M是一個圖像的寬，N是該圖像的高。p,(i,j)是第一圖像在像
素(i,j)處的一信道值，P2(i,j)是第二圖像在該像素處的一信道值。
使用如下公式計算第一對圖像的SAHD: SAHD=S255i=0 I H,(i) - H2(i) I
其中，H"i)是第一圖像單一信道中具有i值的像素的數目，H2(i)是第二 圖像單一信道中具有i值的像素的數目。應注意的是，當SADFD小於4時，有可能檢測出偽場景切換。為了 避免檢測出這種偽場景切換，如果計算出的SADFD小於4，則把該SADFD 設置為4。
在步驟50中，場景檢測模塊確定被處理的圖像是否是新場景中的第 一圖像。如果是，則在步驟70，把SADFD和SAHD的累計總值設置為0， 並且場景檢測模塊返回到步驟40，接收未壓縮電影視頻內容數據流中的下 一個圖像。如果否，場景檢測模塊利用一個加權公式累計得出一個SADFD 總值(TotalSADFD)和一個SAHD總值(TotalSAHD)。已知的能夠生成正
確的場景檢測結果的示例性的加權公式如下所示
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了0.4和0.6以外，還可以使用其他的加權值。不過，這些加權值 必須能夠生成準確的場景檢測結果。
之後，為了檢測出是否存在場景切換，場景檢測模塊在步驟52至步 驟68執行所選取的一系列測試。具體來說，每個測試都使用當前讀取圖 像的SADFD與累計的TotalSADFD的比值，以及當前讀取圖像的SAHD 與累計的TotalSAHD的比值。
第一場景檢測測試從步驟52開始，其中場景檢測模塊確定當前讀取 圖像的SADFD是否大於累計的TotalSADFD,並確定該當前讀取圖像的 SAHD是否大於累計的TotalSAHD。如果否，則在步驟54，場景檢測模塊 開始進行第二場景檢測測試，詳見下文。如果是，則在步驟58場景檢測 模塊生成基於SADFD的比值和基於SAHD的比值。具體而言，生成的比值如下所述
ratioSADFD = SADFD / TotalSADFD ratioSAHD = SAHD / TotalSAHD
接下來在步驟66，場景檢測模塊計算一個新場景值，如下所示 newscene=(int)( ratioSADFD *4+ ratioSAHD)/8
然後，在步驟68，場景檢測模塊確定計算出的新場景值是否大於或等 於1。如果新場景值大於或等於1，場景檢測模塊則生成一個控制信號(如 圖2和圖3中所示)，且在歩驟70把SADFD和SAHD的累計總值重新設 定為0，然後返回到歩驟40，接收未壓縮電影視頻內容數據流的下一個圖 像。如果新場景值小於l，則在步驟72，場景檢測模塊按照如下公式調整 SADFD總值和SAHD總值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了0.4和0.6以外，還可以使用其他的加權值。不過，這些加權值 必須能夠生成準確地場景檢測結果。隨後，場景檢測模塊返回到歩驟40， 接收未壓縮電影視頻內容數據流的下一個圖像。
如果在歩驟52，場景檢測模塊確定得出當前讀取圖像的SADFD不 大於累計的TotalSADFD,或者該當前讀取圖像的SAHD不大於累計的 TotalSAHD,那麼在歩驟54場景檢測模塊開始進行第二場景檢測測試。在 歩驟54，場景檢測模塊確定當前讀取圖像的SADFD是否小於累計的 TotalSADFD,並且確定該當前讀取圖像的SAHD是否小於累計的 TotalSAHD。如果否，則在步驟56場景檢測模塊開始進行第三場景檢測測試，詳見下文。如果是，則在步驟60場景檢測模塊生成基於SADFD的比 值和基於SAHD的比值。具體而言，生成的比值如下所示
ratioSADFD = TotalSADFD / SADFD
ratioSAHD = TotalSAHD / SAHD
接下來在步驟66，場景檢測模塊計算一個新場景值，如下所示
newscene=(int)( ratioSADFD *4+ ratioSAHD)/8
然後，在步驟68，場景檢測模塊確定計算出的新場景值是否大於或等 於l。如果新場景值大於或等於1，場景檢測模塊生成一個控制信號(如 圖2禾n圖3中所示)，且在歩驟70把SADFD和SAHD的累計總值重新設 定為0，再返回到步驟40接收未壓縮電影視頻內容數據流的下一個圖像。 如果新場景值小於1，則在步驟72場景檢測模塊按照如下公式調整SADFD 總值和SAHD總值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了 0.4和0.6以外，還可以使用其他的加權值。不過，這些加權值 必須能夠生成準確的場景檢測結果。隨後，場景檢測模塊返回到步驟40， 接收未壓縮電影視頻內容數據流的下一個圖像。
如果在歩驟54，場景檢測模塊確定出，當前讀取圖像的SADFD不小 於累計的TotalSADFD,或者該當前讀取圖像的SAHD不小於累計的 TotalSAHD,那麼在步驟56場景檢測模塊開始進行第三場景檢測測試。在 步驟56，場景檢測模塊確定當前讀取圖像的SADFD是否大於累計的 TotalSADFD,並且確定該當前讀取圖像的SAHD是否小於累計的TotalSAHD。如果否，場景檢測模塊則確定得出當前讀取圖像的SADFD 小於累計的TotalSADFD，且當前讀取圖像的SAHD大於累計的 TotalSAHD;同時場景檢測模塊開始進行第四場景檢測測試，詳見下文。 如果是，在步驟62場景檢測模塊生成基於SADFD的比值和基於SAHD 的比值。具體而言，生成的比值如下所示
ratioSADFD = SADFD / TotalSADFD
ratioSAHD = TotalSAHD / SAHD
接下來在步驟66，場景檢測模塊計算一個新場景值，如下所示
newscene=(int)( ratioSADFD *4+ ratioSAHD)/8
然後，在步驟68，場景檢測模塊確定計算出的新場景值是否大於或等 於l。如果新場景值大於或等於1，場景檢測模塊生成一個控制信號(如 圖2和圖3中所示)，且在步驟70把SADFD和SAHD的累計總值重新設 定為0，再返回到步驟40接收未壓縮電影視頻內容數據流的下一個圖像。 如果新場景值小於1 ，則在步驟72場景檢測模塊按照如下公式調整SADFD 總值和SAHD總值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD
除了 0.4和0.6以外，還可以使用其他的加權值。不過，這些加權值 必須能夠生成準確的場景檢測結果。隨後，場景檢測模塊返回到步驟40， 接收未壓縮電影視頻內容數據流的下 一個圖像。
如上所述，如果場景檢測模塊確定當前讀取圖像的SADFD小於累計 的TotalSADFD且當前讀取圖像的SAHD大於累計的TotalSAHD,則在步驟64場景檢測模塊生成基於SADFD的比值和基於SAHD的比值。具體 而言，生成的比值如下所示
ratioSADFD = TotalSADFD / SADFD
ratioSAHD = SAHD / TotalSAHD
接下來在步驟66，場景檢測模塊計算一個新場景值，如下所示
newscene=(int)( mtioSADFD *4+ ratioSAHD)/8 然後，在步驟68，場景檢測模塊確定計算出的新場景值是否大於或等 於1。如果新場景值大於或等於1，場景檢測模塊則生成一個控制信號(如 圖2和圖3中所示)，且在步驟70把SADFD和SAHD的累計總值重新設 定為0，再返回到歩驟40接收未壓縮電影視頻內容數據流的下一個圖像。 如果新場景值小於1 ，則在歩驟72場景檢測模塊按照如下公式調整SADFD 總值和SAHD總值
TotalSADFD = TotalSADFD *0.4+0.6*SADFD TotalSAHD = TotalSAHD *0.4+0.6* SAHD 除了 0.4和0.6以外，還可以使用其他的加權值。不過，這些加權值 必須能夠生成準確的場景檢測結果。隨後，場景檢測模塊返回到步驟40， 接收未壓縮電影視頻內容數據流的下一個圖像。
如上所述，本發明把絕對直方圖差分和(SAHD)以及絕對顯示幀差 分和(SADFD)結合起來使用。生成差分元素包括亮度、色度、R、 G、 B 及其他視頻元素，但並不僅限於這些元素。
因為本發明是基於以上優選實施例進行描述的，所以本領域的技術人 員會發現，只要不超出本發明的主旨和範圍，他們就可以對已公開的實施例進行修改、替換和增補。例如，可以把本文中所描述的設備和方法應用 於硬體、軟體或者硬體和軟體結合的環境。前提是，所有修改、替換和增 補都必須在本發明的範圍內。下文中的權利要求對本發明的範圍作出了最 明確的限定。
權利要求
1. 一種用於識別場景切換的方法，該方法包括以下步驟接收包含多個場景的數據流，每個場景包含多個圖像(32)；計算一對相鄰圖像之間的絕對直方圖差分和(48)；計算所述一對相鄰圖像之間的絕對顯示幀差分和(48)；通過使用所述絕對直方圖差分和以及所述絕對顯示幀差分和，確定所述一對相鄰圖像之間是否存在一個場景邊界(50-72)。
2. 根據權利要求1所述的方法，其中，所述確定步驟包括以下步驟把所述絕對直方圖差分和和絕對直方圖差分和的累計總值進行比較(52-56);且把所述絕對顯示幀差分和和絕對顯示幀差分和的累計總值進行比較(52-56)。
3. 根據權利要求2所述的方法，其中，所述確定歩驟包括以下步驟基於所述絕對直方圖差分和和所述絕對直方圖差分和的累計總值之間的所述比較結果，生成絕對直方圖差分和的比值(58-64);且基於所述絕對顯示幀差分和和所述絕對顯示幀差分和的累計總值的 所述比較結果，生成絕對顯示幀差分和的比值(58-64)。
4. 根據權利要求3所述的方法，其中所述確定步驟包括以下歩驟把所述絕對直方圖差分和的比值和所述絕對顯示幀差分和的比值結 合起來(66);且如果所述結合至少等於一個預定的限定，則確定存在所述場景邊界(68)。
5. 根據權利要求1所述的方法，其中，所述方法被應用到一個後期製作 過程中。
6. 根據權利要求5所述的方法，其中，該後期製作過程是色彩校正。
7. 根據權利要求5所述的方法，其中，該後期製作過程是對比度調整。
8. 根據權利要求5所述的方法，其中，該後期製作過程是膠片顆粒調整。
9. 根據權利要求1所述的方法，其中，所述方法被合併到一個編碼過程 中。
10. —個用於檢測場景切換的設備，所述設備包括用於接收(32)包含多個場景的數據流的裝置，每個場景包含多個圖像；用於計算(48) —對相鄰圖像之間的絕對直方圖差分和的裝置； 用於計算(48)所述一對相鄰圖像之間的絕對顯示幀差分和的裝置；通過使用所述絕對直方圖差分和以及絕對顯示幀差分和，確定(50-72) 所述一對相鄰圖像之間是否存在一個場景邊界的裝置。
11. 根據權利要求10所述的設備，其中，所述用於確定的裝置包括 用於把所述絕對直方圖差分和和絕對直方圖差分和的累計總值進行比較(52-56)的裝置；禾口用於把所述絕對顯示幀差分和和絕對顯示幀差分和的累計總值進行比較(52-56)的裝置。
12. 根據權利要求11所述的方法，其中，所述用於確定的裝置還包括基於所述絕對直方圖差分和和所述絕對直方圖差分和的累計總值之間的所述比較結果，生成(58-64) —個絕對直方圖差分和的比值的裝置；和基於所述絕對顯示幀差分和以及所述絕對顯示幀差分和的累計總值的所述比較結果，生成(58-64) —個絕對顯示幀差分和的比值的裝置。
13. 根據權利要求12所述的方法，其中，所述用於確定的裝置還包括 用於結合(66)所述絕對直方圖差分和的比值以及所述絕對顯示幀差分和的比值的裝置；和當所述結合至少等於一個預定的極限值時，用於確定(68)存在所述 場景邊界的裝置。
14. 根據權利要求IO所述的設備，其中，所述設備被組合到一個後期制 作系統中。
15. 根據權利要求14所述的設備，其中，所述後期製作系統是一個色彩校正系統。
16. 根據權利要求14所述的設備，其中，所述後期製作系統是一個對比 度調整系統。
17. 根據權利要求14所述的設備，其中，所述後期製作系統是一個膠片 顆粒調整系統。
18. 根據權利要求10所述的設備，其中，所述設備被組合到一個編碼系 統中。
全文摘要
一種通過使用絕對直方圖差分和(SAHD)以及絕對顯示幀差分和(SADFD)來檢測場景切換的設備(14，24)和方法(30)。該設備(14，24)和方法(30)通過使用同一場景的時間信息來找出變化從而準確地檢測場景切換。該設備(14，24)和方法(30)既可以應用於實時操作(如實時視頻壓縮)又可應用於非實時操作(如膠片後期製作)。
文檔編號H04N7/26GK101449587SQ200680054789
公開日2009年6月3日 申請日期2006年6月8日 優先權日2006年6月8日
發明者書 林 申請人:湯姆遜許可公司