用於處理視頻數據的設備和方法

2023-06-12 04:31:21

專利名稱：用於處理視頻數據的設備和方法
技術領域：
本發明涉及用於處理視頻數據的設備，該設備包括用於接收主視頻數據和輔助視頻數據的數據輸入裝置，主視頻數據具有源寬高比，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區。本發明進一步涉及處理視頻數據的方法、為視頻數據提供輔助控制數據的方法和用於傳送視頻數據的記錄載體。
背景技術：
用於供給(source)數字視頻數據的設備是已知的，例如如同DVD播放器之類的視頻播放器或機頂盒。進一步的示例是例如在US2006/0143666A1和參考文獻[2]中所描述的藍光光碟(BD)系統。源設備將被耦合到顯示設備，如同電視機或監視器。通過適當的接口系統、優選地通過如同高清晰多媒體接口(HDMI，參見參考文獻[1])之類的高速數字接口，在這些設備之間傳送圖像數據。源設備根據顯示設備的顯示性能來處理視頻數據。作為選擇，可以在顯示設備自身中執行該處理。W02006/136989描述顯示輸入視頻數據，其包括放置在視頻平面中的視頻數據和放置在覆蓋平面中的覆蓋數據。視頻平面相比於覆蓋平面被移位，以便覆蓋平面並不掩蔽 (occult)視頻平面。所導致的被移位的視頻平面和覆蓋平面進行混合，用於生成輸出數據內容。具有活動視頻內容的視頻數據具有與輸出內容的寬高比不同的寬高比；剩餘區域通常被再現成黑色或灰色，並被稱為黑條區。尤其，該設備移位視頻平面，以致覆蓋數據實質上位於黑條區中。

發明內容
當前正提議具有實質上對應於許多電影的寬高比的例如21 9的非常寬的顯示寬高比的寬顯示設備。但是，用於存儲和發送視頻的通用視頻格式諸如BD可能不以寬顯示設備的顯示寬高比來提供視頻數據。可以創作BD上的電影，以致字幕和彈出菜單全部或者部分出現在黑條區中。然而，寬顯示設備通常將試圖通過擴大活動視頻區和修剪現在與字幕相衝突的至少部分黑條區來減少黑條。當考慮到創作具有16 9屏幕的電影時，將底部黑條用於字幕是有意義的電影內容不受影響，而黑條無論如何都存在。然而，在21 9屏幕上，觀眾最可能想使用全屏幕尺寸來觀看電影，並且可能更喜歡在活動視頻區上疊加字幕(和彈出菜單)。因此，通用視頻源格式可以提供主視頻數據，用於比可用顯示器更窄的顯示寬高比。而且，主視頻數據可以具有活動視頻區和鄰近於活動視頻區的至少一個黑條區來填滿剩餘區域，其中活動視頻區具有的寬高比寬於源寬高比，這通常被稱為寬銀幕式(letterbox)視頻。輔助視頻數據如同圖形或字幕可以作為單獨的數據流來提供。源設備在主視頻上的覆蓋區域中組合輔助視頻數據和活動視頻。雖然將有可能給BD播放器添加用戶手動上移字幕(移出黑條)的可能性，但是這具有各種缺陷。(1)對用戶而言，對於每部電影都再次這樣做是不方便的，( 內容所有者失去控制(他可能不喜歡手動選擇的位置，或重要的電影內容可能偶爾被遮掩)，(3)它對於可以位於任何位置上的彈出菜單不起作用，(4)對於更複雜的情況，例如，如果2個字幕窗口被應用(這是BD中的選項)，或者一些字幕被顯示在屏幕的頂部，它不正常工作。因此，輔助數據通常被安排用於通過指示第一顯示位置而顯示在黑條區中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區。即使在顯示設備的寬高比寬於主視頻的寬高比或實質上對應於活動視頻的寬高比時，對於寬屏幕式視頻，也必須顯示黑條區。本發明的目的是提供適應輔助視頻的方便顯示的上面類型的處理設備。為此，根據本發明的第一方面，如在開篇段落中所描述的用於處理視頻數據的設備進一步包括用於接收顯示寬高比指示符的寬高比裝置，其中顯示寬高比寬於源寬高比； 處理裝置，用於生成視頻信號，以便在顯示寬高比上顯示主視頻和輔助視頻，數據輸入裝置被安排用於接收耦合於輔助視頻數據的偏移數據，其中偏移數據指示在顯示寬高比上輔助視頻數據從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於減少黑條區中所述被覆蓋部分，以及處理裝置被安排用於根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。為此，根據本發明的進一步方面，處理視頻數據的方法包括接收主視頻數據和輔助視頻數據，主視頻數據具有源寬高比，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區；接收顯示寬高比指示符，其中顯示寬高比寬於源寬高比； 生成視頻信號，用於在顯示寬高比上顯示主視頻和輔助視頻；接收耦合於輔助視頻數據的偏移數據，其中偏移數據指示在顯示寬高比上輔助視頻數據從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於減少黑條區中所述被覆蓋部分；以及根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。為此，根據本發明的進一步方面，為視頻數據提供輔助控制數據的方法，視頻數據包括主視頻數據和輔助視頻數據，主視頻數據具有源寬高比，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比， 輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區，並且該方法包括選擇比源寬高比更寬的顯示寬高比，提供耦合於輔助視頻數據的偏移數據作為輔助控制數據，其中偏移數據指示在顯示寬高比上輔助視頻數據從第一顯示位置到第二顯示位置的的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於減少黑條區中所述被覆蓋部分，以及將偏移數據傳送到目的地，以便在目的地上生成視頻信號，用於在顯示寬高比上顯示主視頻和輔助視頻，並根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。為此，根據本發明的進一步方面，用於傳送視頻數據的記錄載體，記錄載體包括具有代表主視頻數據和輔助視頻數據的標記的軌道，主視頻數據具有源寬高比，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區，選擇比源寬高比更寬的顯示寬高比，這些標記進一步代表耦合於輔助視頻數據的偏移數據，其中偏移數據指示輔助視頻數據從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於當在寬於源寬高比的顯示寬高比上顯示時通過生成視頻信號以便在顯示寬高比上顯示主視頻和輔助視頻來減少黑條區中所述被覆蓋部分；以及根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。上面的措施具有以下效果。處理設備現在由於接收到顯示寬高比指示符而知曉目的地顯示器的實際的顯示寬高比。特別地，該設備現在檢測到顯示寬高比寬於主視頻數據的寬高比的事件。在那種情況下，活動視頻區在顯示設備中被擴大，以適應於可用的顯示寬高比，例如，利用活動視頻最佳地填充顯示區域。同時，黑條區相應地被減少，即，被裁剪到最小尺寸或根本不顯示。有利地，較大的活動視頻的可見區域被提供給用戶。而且，提供偏移數據，其指示如何、何時輔助數據將被再現在所規定的顯示寬高比上、它應該被移位到新的第二顯示位置。偏移數據可以例如指示相對於輔助數據的原始位置的垂直移位或用於輔助數據的交替的絕對垂直和/或水平位置。該設備被安排用於將輔助視頻數據移到第二位置，其中在第二位置上輔助視頻數據至少部分地覆蓋活動視頻區。因此，輔助數據現在至少部分地顯示在活動視頻的區域中，同時減少被輔助數據覆蓋的黑條區的部分。有利地，黑條區的修剪能夠在顯示設備中自動地完成而無需剪輯掉輔助視頻數據。本發明也基於以下認知。傳統上，通過指示所述第一顯示位置，在視頻數據的創作者例如電影工作室執行對輔助視頻數據的定位。為了在如同顯示器之類的TV上顯示電影素材，寬銀幕格式已變得普遍；並且創作者通常允許輔助視頻諸如字幕單獨顯示在活動視頻區之外。黑條區中的這種布置不影響視頻素材的用戶體驗的價值。但是，當在具有非常寬的寬高比的顯示器上顯示寬銀幕素材時，新的問題出現。輔助視頻必須被移入活動視頻區，以避免修剪一些輔助數據或仍然顯示黑條。發明人已經看到移位輔助數據不能在不違反創作者對於輔助視頻的位置的至少一些要求的情況下自動地被執行。因此，發明人提供了包括偏移數據的數據結構來以受控的方式、即在視頻素材的創作者的控制下在活動視頻區中執行輔助數據的所述移位。注意視頻仍然根據預定義的標準對於預定義的顯示寬高比來格式化。因此，本發明創造可能性來為21 9和16 9的屏幕二者創作視頻節目並使得播放器依據顯示寬高比來實行字幕的首選位置。特別地，將注意提供耦合於輔助數據的偏移數據，S卩，用於特定的視頻節目的特定集合的輔助數據的一個或多個偏移值。偏移數據不僅是可應用於任何的視頻節目的默認移位值，而且是特定用於各自的輔助數據和視頻數據的偏移數據。顯然，輔助數據本身專用於各自的主視頻數據。通過提供耦合於輔助數據的偏移數據，創作者具有機會來控制輔助數據的移位位置，並因此能夠積極地控制和最小化遮蔽以及輔助視頻數據對活動視頻的其它不利影響。在該系統的實施例中，該設備包括數字輸出單元，用於根據預定數字視頻傳輸格式來輸出數字視頻數據和傳送控制數據，以及用於接收顯示寬高比指示符的裝置被包括在數字輸出單元中，用於通過控制數據來接收顯示寬高比指示符。效果是耦合於數字輸出單元的顯示設備通過預定數字視頻傳輸格式例如HDMI來傳送顯示寬高比。有利地，現有的標準化的顯示設備能夠被用來自動地提供將應用於輔助數據的視頻處理和定位的顯示寬高比。在該系統的實施例中，偏移數據包括至少以下一個一將應用於偏移圖形對象的垂直移位值，；一將應用於字幕的垂直移位值；一嵌入應用程式中的偏移指令，其中應用程式被包括在輔助視頻數據中，用於控制輔助視頻數據的顯示。注意預定數字視頻傳輸格式可以具有一種或多種類型的輔助數據，例如各種圖形平面。效果是對於各自類型的輔助數據，提供相應類型的偏移數據。有利地，在寬的顯示寬高比的情況中，每種類型的輔助數據在視頻素材的創作者的控制下進行定位。在該系統的實施例中，偏移數據根據預定義的視頻格式在輔助數據結構中、在數據輔助結構中根據預定義視頻格式具有預定值的保留欄位上進行提供，並且處理裝置被安排用於處理所述預定值作為零偏移和處理該欄位的進一步值作為偏移值。效果是當前視頻處理系統在沒有偏移數據的情況下將任何現有的視頻素材自動解釋為具有零偏移。有利地，利用偏移數據增強的新的數據結構仍與現有的視頻設備如同傳統的BD播放器相兼容， 其中現有的視頻設備將忽略在保留欄位中的這些值。根據本發明的設備的進一步首選實施例在所附的權利要求書中給出，其披露內容在此被納入作為參考。


本發明的這些和其它方面從下面的描述中利用示例並參考附圖描述的實施例中將是顯然的並將參考這些實施例進一步進行闡明，其中圖1顯示用於處理視頻數據的設備，圖2顯示嵌入16 9主視頻格式中的21 9電影，圖3顯示用於圖形的輔助數據結構，圖4顯示用於字幕的輔助數據結構，和圖5顯示指示視頻設備的視頻性能的寄存器。在這些附圖中，與已經描述的元素相對應的元素具有相同的參考數字。
具體實施例方式圖1顯示用於處理視頻數據的設備。該設備被顯示為源設備10，用於提供耦合於目的設備20的顯示信號19。源設備10例如光碟播放器被耦合於顯示設備20。源設備具有數據輸入單元11，用於接收視頻信息。例如，數據輸入單元可以包括光碟單元13，用於從如同DVD或藍光光碟(BD)之類的光學記錄載體14中檢索視頻信息。數據輸入單元用於接收主視頻數據和輔助視頻數據。主視頻數據具有源寬高比， 艮口，它被格式化用於具有通常為4 3或16 9的源寬高比的顯示屏幕。在許多視頻節目中，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比。活動視頻區顯示實際的視頻信息，而黑條填充剩餘空間以適應源寬高比。輔助視頻數據被提供用於添加將顯示在主視頻的頂部的進一步信息，諸如字幕、菜單、交互式圖形等。輔助視頻數據用於在第一顯示位置上顯示在主視頻上的覆蓋區域中。對於當前的發明，討論當在第一顯示位置上顯示時覆蓋至少部分黑條區的輔助數據。BD系統的描述能夠在有關藍光光碟格式的白皮書中找到，參見參考文獻[2]。 特別地，輔助數據的各種示例諸如字幕和其它演示圖形以及用於顯示這樣的輔助數據的圖形系統描述在白皮書2B音頻視覺應用格式規範(White Paper 2B Audio Visual Application Format Specifications)中。有關BD視頻數據格式和回放控制的進一步信息能夠在參考文獻[3]和參考文獻[4]中找到。各種圖形平面和交互式圖形描述在參考文獻[5]中，參見圖10、12、15和16以及其中的附文。在參考文獻W]中描述用於輔助數據的顯示位置、特別地所謂的用於BD的組成對象以及相應的圖形引擎的示例，參見圖19、24 以及其中的附文。用於提供輔助數據來顯示的不同系統是通過應用程式而被提供主視頻數據，例如Java程序。BD系統定義通過所謂的BD-J程序來提供這樣的輔助數據，參見參考文獻[7]。將注意BD在這個文檔中經常被用作示例的視頻格式，但是該系統能夠同樣應用於任何的具有分開的主視頻和輔助視頻數據的視頻格式，用於在具有比主視頻數據更寬的寬高比的顯示屏幕上定位輔助視頻數據。在實施例中，數據輸入單元可以包括網絡接口單元12，用於耦合到網絡15，例如網際網路或廣播網絡，這樣的設備通常被稱為機頂盒。視頻數據可以從遠程媒體伺服器16中進行檢索。源設備也可以是衛星接收機或基於存儲的數據直接提供顯示信號的媒體伺服器，即，輸出視頻信號以便耦合到顯示單元的任何適當的設備。該設備可以具有進一步的數據輸入單元，用於接收數字視頻數據。顯示設備20用於顯示視頻數據。該設備具有輸入接口單元23，用於接收從源設備10傳送的顯示信號19。該設備具有寬屏顯示單元22，其具有用於顯示處理的圖像數據的顯示寬高比，例如具有21 9的寬高比的IXD單元。源設備10具有耦合到數據輸入單元11的視頻處理單元18，用於處理視頻信息，以便生成將通過輸出接口單元21被傳送到顯示設備的顯示信號19。處理單元18被安排用於生成視頻數據，其被包括顯示信號中，以便顯示在顯示設備20上。源設備被提供用戶控制元件，用於控制該設備的設置和視頻數據的顯示參數，諸如字幕的選擇或顏色參數。這樣的用戶控制元件是眾所周知的，且可以包括具有各種按鈕和/或光標控制功能的遠程控制單元，用於例如通過直接按鈕或通過圖形用戶接口和/或菜單來控制源設備的各種功能，諸如回放和記錄功能。該設備10具有寬高比單元17，用於接收顯示寬高比指示符。該單元可以耦合到數字輸出單元21，用於接收寬高比信息，例如，如在下述的HDMI中所定義的。作為選擇，寬高比單元17可以耦合到用戶接口，其中用戶接口允許用戶手動地設置顯示寬高比。顯示寬高比的值也可以從其它的控制信息例如由顯示設備通過網絡接口提供的設備類型或系統標準中導出。寬高比單元17耦合到視頻處理單元18來傳送可應用的顯示寬高比。下面為了解釋目的，假定視頻處理單元18檢測到顯示寬高比寬於源寬高比。數據輸入單元11進一步被安排用於接收偏移數據。偏移數據包括輔助數據將從其第一顯示位置移位到用於特定顯示寬高比的不同顯示位置的指示。偏移數據耦合於輔助視頻數據，即，為將被再現的視頻節目的輔助數據提供一個或多個偏移值。例如，對於具有有限或不太重要的輔助數據的視頻節目，能夠提供單個偏移值。可以提供多個值來指定更複雜的輔助數據的不同移位。偏移數據對於在比源寬高比更寬的特定顯示寬高比上再現的各自的輔助數據和視頻數據而言是特定的，並且偏移數據指示輔助視頻數據從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區。作為選擇，偏移值可以是絕對的垂直和/或水平位置，其指示將對於較寬顯示器而應用的位置。通過移位和顯示輔助數據到第二顯示位置，黑條區中所述被覆蓋部分被減少，優選地，被減至零。處理單元18被安排用於根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。在實施例中，源設備10與顯示設備20組合為單個設備。顯示信號直接從視頻處理單元18耦合到顯示器22。處理單元18或單獨的顯示處理器被安排用於生成視頻信號，以便在顯示寬高比上通過擴大活動視頻區和修剪至少部分黑條區來顯示主視頻和輔助視頻。 活動視頻優選地被擴大，直至顯示單元22的全部寬度，同時通過剪輯部分或所有的黑條區來降低主視頻的高度以適合顯示器。源設備10可以具有數字輸出單元21，用於根據預定的數字視頻傳輸格式來輸出數字視頻數據和傳送控制數據。寬高比單元17可以在數字輸出單元21中進行實施，用於通過控制數據來接收顯示寬高比指示符。用於輸出數字視頻數據的數字輸出單元21也可以根據預定數字視頻傳輸格式例如HDMI(參見參考文獻[1])來傳送控制數據。為了進一步描述，將HDMI用作預定數字視頻傳輸格式的示例。將注意定義類似的視頻和控制數據傳送的其他音頻/視頻接口格式也能夠被使用。處理器18隨後根據預定數字視頻傳輸格式來提供和處理控制消息。將注意控制消息可以是單獨的消息，諸如在HDMI中定義的CEC消息，參見參考文獻[1]第8.6 節以及有關消費類電子產品控制(CEC)的附錄1 (Supplement 1 on Consumer Electronics Control) 0這些消息也可以被包括在音頻/視頻數據流中，例如被包括在視頻幀的控制欄位中。HDMI中的示例是輔助視頻信息(AVinnfoFrame(信息幀)，參見參考文獻[1]第8. 2 節，其包括有關顏色與色度取樣、過掃描與欠掃描以及寬高比等的幀信令的消息。AVI在AV 流中從源設備傳送到數位電視(DTV)監視器作為信息幀。通過交換控制數據，如果兩個設備支持所述元數據的傳輸，它可以首先被建立。AVI信息幀可以基於顯示單元的寬高比利用超寬的寬高比來增強。將注意寬高比也可以通過E-EDID(參見參考文獻[1]，第8. 3節) 或任何其它合適的傳輸協議以類似的方式來傳送。處理單元18可以被安排為處理一種或多種類型的偏移數據。偏移數據可以包括將應用於偏移圖形對象的垂直移位值、將應用於字幕的垂直移位值、嵌入包括在輔助視頻數據中的應用程式中的偏移指令，用於控制輔助視頻數據的顯示。偏移數據可以進一步包括至少一個水平移位值。在下面提供各種類型的輔助數據和偏移數據的詳細示例。注意直到最近也無人設想在市場將存在具有寬於16 9的寬高比的顯示器。例如，對於BD上的電影，主視頻的寬高比總是16 9。由於原始電影通常具有更寬的寬高比， 所以對於許多BD生產而言，使用黑條(寬銀幕式)。現在，已推出具有超寬寬高比21 9 的新一代的電視機。實際上，超寬TV可以檢測黑條並為了更逼真的觀看體驗而放大活動視頻部分。這樣的電視機具有在黑條中檢測可能的字幕和調整可視部分的能力，因此這些字幕仍然顯示在黑條的一部分中。而且，它也可以在黑條中檢測來自廣播的站標並忽略它們。 但是，在現有設備中，黑條仍然可見。而且，黑條的所述檢測和調整需要TV中的大量計算功率。圖2顯示以16 9主視頻格式嵌入的21 9電影。該電影具有21 9的寬高比並被稱為活動視頻25，其在具有源寬高比16 9的主視頻數據沈中被編碼，在該圖中被顯示為1920*1080像素的大小。活動視頻區25是1920*擬4像素並且在利用21/16的因子進行線性縮放之後將幾乎完全適合於21 9TV。注意在這個示例中主視頻中的黑條27、 28是1 個像素高。用於指示垂直移位的偏移數據能夠存儲在盤中，用於圖形對象的收集。這些偏移可以在BD播放器「知曉」所連接的顯示器是超寬顯示器的情況中加以應用。這些偏移是需要相對於在普通(16 9)情況中使用的垂直位置信息加以應用的垂直移位值。存儲偏移值的確切方式取決於輔助數據的類型和視頻格式而不同。在BD中，4種不同類型的圖形被定義並且能夠在2種不同模式中被應用於各種組合中。2種模式為高清晰電影(High Definition Movie)模式(HDMV)和 Java 模式(BD-J)。在 BD-J 中，在 Java 程式語言的應用程式(也被稱為Java小程序)的控制下，生成輔助圖形。在兩種模式中， 在視頻平面的頂部具有2個圖形平面。在HDMV中的第一平面是演示圖形(Presentation Graphics)平面(PG)，而在其頂部的平面是交互式圖形(Interactive Graphics)平面 (IG)0在BD-J中，交互式圖形平面被BD-J圖形平面替代，而PG平面仍然是可用的。PG平面能夠用於基於位圖的演示圖形以及用於編碼的文本字幕(TextST)。PG平面通常應用於字幕。總而言之，4個類型的圖形是PG、TextST、IG和BD-J。對於每一個圖形對象，播放器或者BD-J程序能夠檢查垂直移位值是否是可用的或能夠被導出，其中垂直移位值隨後被應用於偏移圖形對象，以致它最適合於超寬顯示器上(如盤作者所確定)的整體觀看體驗。 實際上，偏移數據可以以全部降低解析度包括移位值作為絕對像素移位值或作為相對於全屏幕尺寸的值或者允許計算從原始顯示位置到調整的顯示位置的所需移位的任何其它格式。在BD-J圖形的情況下，從盤中加載的並運行在BD播放器上的BD-J程序控制BD-J 圖形元素的定位。因此，對於BD-J圖形平面，偏移數據被包括在該程序中。在實施例中，偏移數據根據預定義視頻格式在輔助數據結構中、在數據輔助結構中的保留欄位上被提供。圖3顯示用於圖形的輔助數據結構。輔助數據結構30具有根據BD格式來定義圖形對象的各種參數，其中圖形對象被稱為組成對象。數據輔助結構30具有保留欄位31，其具有根據預定義視頻格式的預定值，通常為零。用於對象的偏移數據被存儲在保留欄位中。 在視頻設備中，處理器18被安排用於將所述預定值處理為零偏移，並將該欄位的進一步值處理為偏移值。注意在BD中，圖形對象將顯示在被稱為窗口的覆蓋區域中，這利用參數wind0w_ id_ref來指示。BD當前僅允許兩個這樣的窗口，而預定義限制相對於這樣的窗口的重疊和位置來應用。因此，偏移數據在不同窗口中對於這些對象可以包括不同的值，並且也可以包括特定的水平或垂直移位值，以符合所述重疊限制。
在偏移數據的實際實施例中，移位參數一般包含尺寸(像素的數量)和方向(上或下)。考慮到如圖2所示的21 9情況中黑條的大小，1 的最大尺寸是足夠的。可以降低移位解析度來節省比特的數量。例如，5個比特可能被使用來包含需要乘以某因子來得到實際移位的數目(例如，乘以4，得到0、4、8...124)。通過以BD格式使用保留欄位(其對於「傳統」光碟是零)以及定義0為無移位，實現對於不具有處理來適應寬的顯示寬高比的傳統BD播放器的向後兼容性。在特別的視頻格式中，存儲垂直偏移值的方式對於不同的圖形類型可能是不同的，這是因為它們的數據結構是完全不同的。對於BD中的每一種圖形類型，下面給出一個示例。注意這些僅僅是示例，並且可供選擇的位置可以應用來存儲偏移數據。對於BD中的演示圖形(PG)，垂直移位需要被應用於窗口的位置以及組成對象， 其中窗口定義其中再現PG的矩形屏幕區域，而組成對象描述哪些像素將在圖形平面上寫到窗口中的哪個位置。因此，移位需要被應用於wind0W_Vertical_p0Siti0n(窗口垂直位置)和composition_object_vertical_position (組成對象垂直位置)。首選的存儲位置為compositioruob ject 31中的保留比特欄位31，其定義在圖形平面上的實際再現。一個比特應該用於方向(「0」用於下，「1」用於上)以及5個比特用於偏移值除以4。在對於超寬顯示器進行再現的情況下，偏移應該應用於待再現的對象以及其中組成對象正涉及的窗口(window_id_ref)。多個組成對象被包括在演示組合片段(Presentation Composition Segment)中。在演示組合片段中涉及相同窗口(通過window」d_ref)的所有組成對象對於該偏移應包含相同的值。因此，在這樣的實施例中，輔助視頻數據包括大量的參照相同的覆蓋區域定義的圖形對象，並且偏移數據對於所述大量圖形對象中的每個圖形對象的偏移包括相同的值。對於交互式圖形(IG)，相同的元素用於PG，但是對於按鈕的效果以及選擇與激活具有附加的支持。偏移數據能夠類似地被添加。對於垂直移位參數，composition_object 的相同保留欄位能夠用於PG。在實施例中，數據輸入單元11被安排用於單獨地從輔助數據中檢索偏移數據。因此，偏移數據並不存儲在也存儲輔助數據的相同數據結構中，而是單獨地進行傳送。例如， 偏移數據位於存儲在記錄載體上的單獨文件中，而視頻數據和輔助數據分別進行存儲。此夕卜，偏移數據伺服器可以耦合於如同網際網路之類的通信網絡，並且數據輸入單元隨後連接到該伺服器。例如，伺服器可以由主視頻的作者或由視頻處理設備或顯示設備的製造者來提供。伺服器的地址可以在具有音頻/視頻數據的記錄載體上提供或可以手動地輸入或由所述製造者預置，等等。因此，具有偏移值的列表能夠存儲在盤上，完全與音頻/視頻流分開。在那種情況下，在偏移和圖形對象之間的連結能夠通過包括涉及各自視頻元素 (例如，在BD播放項目中，streamed)的參考以及將被移位的輔助數據(例如，在BD中， composition_number, window_id)來完成。注意BD系統允許從不同的位置檢索數據和文件並在綜合虛擬文件系統中呈現那些數據。因此，主視頻、輔助視頻和偏移數據可以全部物理地存儲在不同的系統中和/或通過不同的路由來傳送。圖4顯示用於字幕的輔助數據結構。輔助數據結構40顯示BD中用於文本字幕 (Text Subtitling) (TextST)的語法部分，其被稱為dialog_style_set 。注意語法定義許多可能的顯示文本的地區風格。對於每種地區風格，該結構具有保留欄位41。偏移值即垂直移位被應用於1~叩1011_%汁化￡11_ 0^^011(地區垂直位置)，其定義原始顯示位置。偏移作為移位值被包括在regionjnfoO的8個保留比特中。作為選擇，用戶風格能夠被用來包含移位版本的TextST (也參見參考文獻[2]，第 4.2.2節)。用戶風格包含與定義在上述地區風格中的字型相比的增量值的列表。差值增量被定義用於垂直偏移(regioruverticalpositiorudelta)。而且，偏移數據需要被添加來指示當21 9顯示器被連接時哪些用戶風格將被應用。偏移指示符能夠被添加來指示各自的用戶風格。在該設備中，處理器18在21 9顯示器被連接時現在將自動地選擇合適的用戶風格。每個地區風格最大的用戶風格數量為25，儘管能夠具有多達60個地區風格。輔助數據結構40具有進一步保留欄位42。在實施例中，dial0g_style_set的保留欄位42中的15個保留比特中的5個被用來包含值X，該值指示具有最高數目的χ個用戶風格可應用於21 9顯示器。對於χ而言，0的值意味著不包括21 9支持。根據該示例，輔助視頻數據包括大量的輔助數據的演示模式，並且偏移數據包括偏移指示符，其指定對於顯示寬高比應用的所述大量演示模式的子集。圖5顯示指示視頻設備的視頻性能的寄存器。寄存器50能夠被實現為視頻處理單元18中的存儲位置或寬高比單元17中單獨存儲位置。寬高比單元17耦合到視頻處理單元18來傳送可應用的顯示寬高比。所顯示的寄存器具有存儲顯示寬高比的指示符DAR的欄位51。對於這個欄位的設立能夠由用戶(通過播放器設立菜單，例如，在第一次安裝時) 手動完成或在播放器通過互連(例如，HDMI)接收到這樣的信息時自動完成。如果超寬顯示器被連接，並且垂直移位應被應用於圖形對象以便將它們移出黑條，播放器設置指示符。在 BD中，顯示寬高比可以存儲在所定義的播放器設置寄存器(Player Setting Register)之一中，例如，PSM9 圖5中所示的用於視頻的播放器性能(Player Capability for Video)。對於BD中的BJ-J圖形，作為輔助數據提供的BD-J程序負責在所需的位置生成圖形，並適合於對於顯示寬高比應用所要求的偏移。顯示寬高比能夠例如從播放器設置寄存器四(視頻性能)中進行檢索，其中這個寄存器中的比特之一可以被用來指示(通過具有值「1」)所連接的顯示器的顯示寬高比是21 9而非16 9。BD-J程序從PSM9讀取顯示寬高比並調整圖形的位置來優化對於超寬顯示器的觀看體驗。可選地，播放器能夠配備有用戶設置或按鈕來接通或關閉移位圖形對象的功能。 當被關閉時，至21 9顯示器的視頻輸出內容將與用於16 9顯示器的視頻內容是相同的。主視頻、輔助視頻和偏移數據可以存儲在如圖1所示的記錄載體14上。記錄載體可以是具有軌道的光學可讀類型，其中軌道具有代表主視頻數據和輔助視頻數據的標記， 例如，當前DVD或BD的擴展版本。主視頻、輔助視頻和偏移數據如上所述進行構造。光碟能夠利用包括已知的母帶處理、衝壓和模壓技術的方法來製造。將注意用於實現本發明的方法具有對應於如上所示和所闡明的設備中視頻數據的處理以及提供和處理偏移數據的處理步驟。雖然本發明已主要利用使用BD存儲格式和 HDMI數字接口的實施例進行解釋了，但是本發明也適用於任何的提供主視頻和單獨的輔助視頻數據的視頻傳輸系統(例如，經由廣播或網際網路)、存儲格式或接口。本發明可以被應用於每個視頻處理設備，如同回放或記錄設備、開關盒、多媒體伺服器、音頻視頻接收器或放大器、具有音頻/視頻接口的個人計算機等等。
注意在這個文檔中，詞「包括」並不排除所列之外的其它元素或步驟的存在，而且在元素之前的詞「一」或「一個」並不排除多個這樣的元素的存在，任何的參考符號並不限制權利要求書的範疇，本發明可以利用硬體、軟體和/或可編程組件來實現，並且若干「裝置」 或「單元」可以利用相同的硬體或軟體項來表示，而且處理器可以可能地與硬體元素協作來完成一個或多個單元的功能。進一步，本發明並不限於這些實施例，而在於上述的每一個新穎特徵或特徵的組合。參考文獻[1] : http://hdmi. org/manufacturer/specification. aspx JibJI^ 得的「High Definition Multimedia Interface ；Specification Version 1. 3a of Nov 10 2006」參考文獻[2]:在http://www.blu_raydisc.com/ 上可獲得的"White papers Blu-ray Disc Format，，；尤其，part 2. B Audio Visual Application Format Specifications for BD-ROM ；http : //www. b lu-raydi sc. com/Asset s/Downloadab 1 efi 1 e/2b_bdrom_ audiovisualappli cation_0305-l2955-15269. pdf參考文獻[3]:US2006/01101 IlAl參考文獻[4]:US2007/0162817A1參考文獻[5]:US2008/0134097A1參考文獻[6]:US2007/0198932A1參考文獻[7]:US2006/0143666A權利要求
1.一種用於處理視頻數據的設備，該設備包括數據輸入裝置(11)，用於接收主視頻數據和輔助視頻數據，主視頻數據06)具有源寬高比，主視頻數據具有活動視頻區0 和鄰近於活動視頻區的至少一個黑條區07二8)，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區，寬高比裝置(17)，用於接收顯示寬高比指示符，其中顯示寬高比寬於源寬高比，處理裝置(18)，用於生成視頻信號，以便在顯示寬高比上顯示主視頻和輔助視頻，數據輸入裝置(11)被安排用於接收耦合於輔助視頻數據的偏移數據，其中偏移數據指示輔助視頻數據在顯示寬高比上從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於減少黑條區中所述被覆蓋部分， 禾口處理裝置(18)被安排用於根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。
2.如權利要求1的設備，其中該設備包括數字輸出單元(21)，用於根據預定數字視頻傳輸格式來輸出數字視頻信號和傳送控制數據，並且用於接收顯示寬高比指示符的裝置被包括在數字輸出單元中，用於經由控制數據來接收顯示寬高比指示符。
3.如權利要求1的設備，其中偏移數據包括至少以下之一 將應用於偏移圖形對象的垂直移位值；將應用於字幕的垂直移位值；嵌入應用程式中的偏移指令，其中應用程式被包括在輔助視頻數據中，用於控制輔助視頻數據的顯示。
4.如權利要求3的設備，其中偏移數據進一步包括至少一個水平移位值。
5.如權利要求1的設備，其中偏移數據根據預定義視頻格式在輔助數據結構中、在根據預定義視頻格式具有預定值的數據輔助結構中的保留欄位上被提供，並且處理裝置(18) 被安排用於作為零偏移來處理所述預定值並作為偏移值來處理所述欄位的進一步值。
6.如權利要求1的設備，其中輔助視頻數據包括對於相同的覆蓋區域定義的大量圖形對象，並且偏移數據對於所述大量圖形對象中的每個圖形對象的偏移包括相同的值。
7.如權利要求1的設備，其中輔助視頻數據包括輔助數據的大量演示模式，並且偏移數據包括偏移指示符，其中偏移指示符指定對於顯示寬高比應用的所述大量演示模式的子集。
8.如權利要求1的設備，其中數據輸入裝置(11)包括用於從記錄載體或網絡檢索主視頻數據、輔助視頻數據和/或偏移數據的裝置(12，13)。
9.如權利要求1的設備，其中數據輸入裝置(11)被安排用於經由至少以下之一單獨地從輔助數據中檢索偏移數據與視頻數據和輔助數據分開存儲在記錄載體上的文件；耦合於通信網絡的偏移數據伺服器。
10.一種處理視頻數據的方法，包括接收主視頻數據和輔助視頻數據， 主視頻數據具有源寬高比，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區， 接收顯示寬高比指示符，其中顯示寬高比寬於源寬高比， 生成視頻信號，以便在顯示寬高比上顯示主視頻和輔助視頻，接收耦合於輔助視頻數據的偏移數據，其中偏移數據指示輔助視頻數據在顯示寬高比上從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於減少黑條區中所述被覆蓋部分，以及根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。
11.一種為視頻數據提供輔助控制數據的方法， 視頻數據包括主視頻數據和輔助視頻數據， 主視頻數據具有源寬高比，主視頻數據具有活動視頻區和鄰近於活動視頻區的至少一個黑條區，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區，並且該方法包括 選擇比源寬高比更寬的顯示寬高比，提供耦合於輔助視頻數據的偏移數據作為輔助控制數據，其中偏移數據指示輔助視頻數據在顯示寬高比上從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於減少黑條區中所述被覆蓋部分，以及將偏移數據傳送到目的地，以便在目的地上 生成視頻信號，以便在顯示寬高比上顯示主視頻和輔助視頻，以及根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。
12.如權利要求11的方法，其中該方法包括 提供主視頻數據和輔助視頻數據，以及利用偏移數據，將主視頻數據、輔助視頻數據傳送到目的地。
13.如權利要求12的方法，其中所述傳送包括製造記錄載體並給記錄載體提供所述主視頻數據、輔助視頻數據和偏移數據。
14.一種用於傳送視頻數據的記錄載體，記錄載體(14)包括具有代表主視頻數據和輔助視頻數據的標記的軌道，主視頻數據06)具有源寬高比，主視頻數據具有活動視頻區0 和鄰近於活動視頻區的至少一個黑條區07二8)，其中活動視頻區具有比源寬高比更寬的寬高比，輔助視頻數據被安排用於通過指示第一顯示位置而顯示在主視頻上的覆蓋區域中，其中在第一顯示位置上輔助視頻數據覆蓋至少部分黑條區， 選擇比源寬高比更寬的顯示寬高比，所述標記進一步代表耦合於輔助視頻數據的偏移數據，其中偏移數據指示在顯示寬高比上輔助視頻數據從第一顯示位置到第二顯示位置的偏移，其中在第二顯示位置上輔助視頻數據至少部分地覆蓋活動視頻區，用於當在寬於源寬高比的顯示寬高比上顯示時通過以下來減少黑條區中所述被覆蓋部分生成視頻信號，以便在顯示寬高比上顯示主視頻和輔助視頻，以及根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置。
全文摘要
視頻處理設備接收用於超寬(21∶9)顯示器的主視頻數據和輔助視頻數據。主視頻數據具有源寬高比、活動視頻區和黑條。單獨提供輔助視頻數據，用於在第一顯示位置上顯示在覆蓋區域中。該設備接收顯示寬高比指示符，並具有處理器(18)，用於生成視頻信號。數據輸入裝置(11)進一步接收耦合於輔助視頻數據的偏移數據，其指示輔助視頻數據在顯示寬高比上的偏移。處理器(18)被安排用於根據偏移數據將覆蓋區域從第一顯示位置移到第二顯示位置，以減少黑條區。
文檔編號H04N7/01GK102484683SQ201080025588
公開日2012年5月30日 申請日期2010年6月3日 優先權日2009年6月8日
發明者R·E·A·魯森斯, W·德哈恩 申請人:皇家飛利浦電子股份有限公司