3d視頻在用於2d視頻的傳送基礎設施上的傳送的製作方法

2023-11-01 06:14:42

專利名稱：3d視頻在用於2d視頻的傳送基礎設施上的傳送的製作方法
技術領域：
本發明涉及3D視頻流在歷史傳輸基礎設施(即被安排用來傳送2D高清視頻流的現有基礎設施)上的傳送。
背景技術：
定義了接口(被安排成將解碼的節目傳送至最終傳播設備)的新的HDMI標準(版本1.4和1.4a)規定了全解析度高清3D視頻流的輸送，即兩個立體的全解析度HD視圖的輸送，其使傳輸通帶加倍。該通帶在目前的傳輸基礎設施(衛星、TNT、電纜)上無法使用。在等待專用於3D節目的傳輸基礎設施之際，有關方面和標準化委員會(DVB、HDM1、MPEG)正致力於使得3D視頻能夠在現有傳輸基礎設施上傳送的解決方案。在這些委員會的網站上公布了這些工作。正在試圖在傳輸流中插入兩個視圖來代替各個圖像，並且依靠對接收設備的小改裝，來重建與HDMI標準兼容的格式的兩個視圖。由於現有傳輸基礎設施並非為此而安排，因此不得不使視圖的解析度降級。在已經回顧的不同傳輸格式之中，確定了兩種通用候選者:上下(Top-and-Bottom, TaB)和並排(Side-by-Side, SbS)。這些通用格式中的各個都可以與現有逐行型的2D HD格式(即720p格式的50Hz和60Hz變體與在24Hz處的1080p格式)相結合。僅SbS通用格式與1080i交錯格式的50Hz和60Hz變體相結合。圖1a用符號表現根據TaB格式的HD圖像。這裡所涉及的是合成圖像。圖像的上半部由具有垂直半解析度的左立體視圖L構成，而下半部由也具有垂直半解析度的右立體視圖R構成。圖1b用符號表現根據SbS格式的也是合成的HD圖像。合成圖像的左半部由具有水平半解析度的左立體視圖L構成，而合成圖像的右半部由也具有水平半解析度的右立體視圖R構成。圖2a到圖2c示出了為降低立體圖像的解析度而提出的抽取矩陣，以便能夠以TaB或SbS格式傳輸該立體圖像。圖2a的互補矩陣使兩行中的一行得以保存以生成TaB格式(圖1a)的圖像。上矩陣保存奇數行，而下矩陣保存偶數行。圖2b的互補矩陣使兩列中的一列得以保存以生成SbS格式(圖1b)的圖像。上矩陣保存奇數列，而下矩陣保存偶數列。圖2c的矩陣(被稱作棋盤矩陣)使每行和每列的兩個像素中的一個得以保存。在上矩陣中，從保存在左上角的像素開始。下矩陣定義互補抽取。通過這些矩陣的應用所保存的像素對於TaB格式被按行壓縮,或者對於SbS格式被按列壓縮。在本申請的遞交日關於抽取矩陣的選擇還尚未達成一致。CableLabs協會在於2010年8月27日在他們的網站上公布的文獻「OpenCable Specifications, Content Encoding Profiles 3.0Specification,C-SP-CEP3.0-101-100827,10.2節，#6小段」中第一次提出了一個選擇。其提議對所有圖像使用相同矩陣，更確切地說，圖2a的矩陣中的一個。圖3示意性地表示TaB合成圖像的接收鏈的示例。合成圖像10以例如60Hz的刷新頻率到達垂直內插器12，該內插器12用缺失的行完成合成圖像的左半解析度圖像L，然後對右半解析度圖像R進行相同操作。內插器工作在兩倍於刷新頻率的頻率(120Hz)，並且以該頻率將所獲得的兩個左全解析度HD圖像和右全解析度HD圖像提供給HDMI傳送電路14。電路14將左圖像和右圖像組裝在例如雙倍高度的雙解析度圖像16中，並且以初始刷新頻率^OHz)將雙解析度圖像16傳送給3D顯示。為了處理SbS合成圖像，內插器12將由用缺失列完成半解析度圖像的水平內插器替代。值得注意的是，這些傳送技術引起立體視圖的空間解析度除以2。

發明內容
因此需要一種能夠由此提升在歷史基礎設施上傳輸的立體視圖的空間解析度的解決方案。通過提供用於傳送連 續的兩對圖像的方法有助於滿足該需求，該方法包括以下步驟:以比率2分割每個圖像；將每對的兩個分割的圖像組裝在合成圖像中；傳送合成圖像；以及從合成圖像重建完整圖像。在抽取中，從空間的角度，將從第一對圖像刪除的信息保存在第二對圖像中，並且通過從合成圖像的解交錯處理重建完整圖像。根據一個實現實施例，從空間的角度，將通過從一對中的第一圖像的抽取而刪除的信息保存在該對中的第二圖像中。根據一個實現實施例，抽取刪除了兩對中的第一對的第一圖像中的第一奇偶性的行、第一對的第二圖像中的第二奇偶性的行、第二對的第一圖像中的第二奇偶性的行以及第二對的第二圖像中的第一奇偶性的行。根據一個實現實施例，一對中的兩個圖像是立體視圖。


其他優勢和特徵將從本發明的特定實施例的以下描述中變得更加明顯，特定實施例僅出於非限制性示例的目的而給出，並且表示在附圖中，其中:圖1a和圖1b (在上面所描述的)示出了用於在歷史基礎設施上傳輸立體圖像的兩種提議的圖像格式；圖2a到圖2c示出了根據圖1a和圖1b的格式的用於降低待傳輸的立體圖像的空間解析度的提議的抽取矩陣；圖3(在上面所描述的)表示根據圖1a的格式的傳輸的圖像在接收時的處理鏈；圖4a到圖4d表示在兩個連續的合成圖像中使用的行或列的奇偶性的特定組合，通過適當處理，其將使空間解析度能夠充分提升；以及圖5示意性地表示設計為利用圖4a和圖4b的合成圖像的處理鏈。
具體實施例方式為了提高必須被分割的圖像的空間解析度，特別是為了在歷史基礎設施上傳輸該圖像，提議使用解交錯技術，而不使用空間插值技術。事實上，因為一個幀中的缺失行通過時間參差被發現在後繼幀中的緣故，解交錯技術確實能夠實現從兩個連續的幀中獲取空間信息。因此，連續合成圖像必須符合交錯視頻流，即使他們源於逐行圖像的抽取。圖4a到圖4d示出了在前面提議的合成圖像格式中行或列的可能奇偶性的組合，從而使交錯視頻流能夠再現。奇偶性的組合影響兩個連續合成圖像，該兩個連續合成圖像因此變成交錯流的兩個連續幀。圖4a示出了兩個連續幀形式的兩個連續合成圖像TaB。第一幀的上半部(在右偵D包含對應的第一左視圖L的奇數行(後綴「I」)。該幀的下半部包含對應的第一右視圖R的偶數行(後綴「O」)。第二幀(在左側)通過對第二對立體視圖的抽取而構造，從空間的角度看，該第二幀包含從第一幀缺失的行。換句話說，該幀的上半部包含第二左視圖L的偶數行(後綴「O」)。該幀的下半部包含第二右視圖R的奇數行(後綴「I」)。圖4b對應於圖4a的替代實施例。在各個幀的上半部和下半部中不使用不同的奇偶性而使用相同的奇偶性。第一幀因此包含第一對左視圖和右視圖的奇數行，而第二幀包含第二對左視圖和右視圖的偶數行。圖4c示出了應用到SbS合成圖像的圖4a的奇偶性的組合。換句話說，第一幀的左半部包含第一左視圖的奇數列；第一幀的右半部包含第一右視圖的偶數列；第二幀的左半部包含第二左視圖的偶數列；而第二幀的右半部包含第二右視圖的奇數列。圖4d示出了應用到SbS合成圖像的圖4b的奇偶性的組合。換句話說，第一幀包含第一對左視圖和右視圖的奇數列，而第二幀包含第二對左視圖和右視圖的偶數列。對於根據圖4a和圖4b格式化的流，將使用用於常規交錯流類型的垂直解交錯。對於根據圖4c和圖4d格式化的流，將執行水平解交錯。為了實現這點，該垂直解交錯技術僅僅必須調換。如果使用了棋盤抽取矩陣(圖2c)，也可以應用解交錯原理。根據像素的壓縮方向，通過這些矩陣分割的視圖可以用TaB格式和SbS格式中的任意之一傳輸。在圖4a到圖4d中使用的奇偶性I和0然後分別標識圖2c的第一矩陣和第二矩陣。將能夠在以該方式構成的幀上執行「對角線」解交錯。對於圖4a到圖4d的各個圖的互補奇偶性的變體自然可用。圖5示意性地表示交錯視頻流的處理鏈，其適用於處理根據圖4a和圖4b的格式的交錯流。在常規HD接收設備(特別是處理IOSOi格式的常規HD接收設備)中將發現這樣的處理鏈。根據該格式，各個巾貞包含540行,並且這些行的奇偶性從一個巾貞到下一個巾貞交替。根據圖4a的格式表示的幀10』以60Hz的頻率例如到達垂直的解交錯電路18上。該電路例如在兩個連續幀上執行解交錯(在其上執行解交錯的幀的數目(以及電路18因此已經預先存儲的幀的數目)取決於使用的技術)。在可使用的解交錯技術之中，以下可能被提及:使用影像模式偵測技術的反影像模式、運動自適應解交錯以及運動補償解交錯。首先在連續幀的上半部執行解交錯，例如以產生逐行全解析度的左圖像，然後在連續幀的下半部上執行解交錯以產生逐行全解析度的右圖像。該兩個全解析度的圖像以兩倍於刷新頻率的頻率產生(這裡為120Hz)。如圖3中，這些圖像隨後由HDMI傳送電路16處理。解交錯電路18常規地被設計用來處理最多540行的幀，用於以刷新頻率(此處60Hz)產生1080行的逐行圖像。為處理根據圖4a和圖4b的幀，解交錯電路18必須處理720行的幀，並以兩倍於該頻率的頻率產生圖像。解交錯電路18還必須配置為從其接收的幀的每個半部產生全解析度的圖像。事實上，這些操作細節大多數時間可以通過更新旨在用於2D HD視頻接收的現有設備的微軟體，從而用軟體方式進行處理。因此，具有圖4a和圖4b的幀格式的解決方案使得具有在全解析度和半解析度之間的中間細度的3D HD節目能夠在現有傳輸基礎設施上傳送，並且使得這些節目能夠通過現有接收設備(大多數情況下通過微軟體更新)接收。顯示設備當然應當是3D視頻特有的。為了處理根據圖4c和圖4d的格式的幀，電路18應當設計為執行水平解交錯。這並不比垂直解交錯複雜，但是有可能現有接收設備將不能通過簡單的微軟體更新來完成。圖4c和圖4d的格式將特別用於傳輸SbS 1080i格式的3D視頻流。在該情況下，電路18執行水平解交錯以重構按1080i格式的全水平解析度的左視圖和右視圖。電路18可以同時執行常規的解交錯以獲得IOSOp格式。垂直解交錯也可以留給常規的解交錯電路，該常規的解交錯電路經常被提供在HDMI接口的下遊，例如在電視機中。為了處理已經使用圖2c的棋盤矩陣執行了抽取的幀，電路18應當被設計為執行對角線解交錯。在圖4a到圖4d的格式之中，應當優選圖4a和圖4c的格式，即其中幀的左視圖和右視圖的信息的奇偶性是相反的。這使得當與幀對應的左視圖和右視圖是空間相關的時，通過組合左視圖的奇數行和右視圖的偶數行(或者反之亦然)，能夠構建準確的全解析度圖像。
權利要求
1.一種用於傳送連續的兩對圖像的方法，包括以下步驟: 以比率2分割每個圖像(L，R)； 將每對中的兩個分割的圖像(LI，RO)組裝在合成圖像(10』 )中； 傳送所述合成圖像；以及 從所述合成圖像重建完整圖像(16)； 其特徵在於，所述方法包括以下步驟: 在抽取中，從空間的角度，將從第一對圖像刪除的信息保存在第二對圖像中； 通過從所述合成圖像的解交錯處理(18)來重建所述完整圖像。
2.根據權利要求1所述的方法，其中，從空間的角度，將通過抽取從一對的所述第一圖像(LI)刪除的信息保存在該對中的所述第二圖像(RO)中。
3.根據權利要求2所述的方法，其中，抽取: 刪除所述兩對中的第一對的所述第一圖像(L)中的第一奇偶性(0)的行； 刪除所述第一對的所述第二圖像(R)中的第二奇偶性(I)的行； 刪除所述第二對的所述第一圖像(L)中的第二奇偶性(I)的行；以及 刪除所述第二對的所述第二圖像(R)中的第一奇偶性(0)的行。
4.根據權利要求2所述的方法，其中一對中的所述兩個圖像是立體視圖。
全文摘要
本發明涉及一種用於傳送連續的兩對圖像的方法，包括以下步驟以比率2分割每個圖像(L，R)；將每對中的兩個分割的圖像(L1，R0)組裝在合成圖像(10』)中；傳送所述合成圖像；以及從所述合成圖像重建完整圖像(16)。在抽取中，從空間的角度，將從第一對圖像刪除的信息保存在第二對圖像中；以及通過從所述合成圖像的解交錯處理(18)來重建所述完整圖像。
文檔編號H04N13/00GK103119950SQ201180046021
公開日2013年5月22日 申請日期2011年9月15日 優先權日2010年9月24日
發明者F·埃馬爾, J-L·拉比雷 申請人:意法半導體(格勒諾布爾2)公司