用於在視頻接口上發送以及用於合成3d視頻與3d覆蓋的方法和系統的製作方法

2023-12-07 03:06:46 2

專利名稱：用於在視頻接口上發送以及用於合成3d視頻與3d覆蓋的方法和系統的製作方法
技術領域：
本發明涉及合成和顯示包括視頻信息與覆蓋信息的信息流的方法，所述視頻信息至少包括2D視頻流和用於允許以3D再現所述視頻信息的3D視頻信息，所述覆蓋信息至少包括2D覆蓋流和用於允許以3D再現所述覆蓋信息的3D覆蓋信息，所發送的視頻信息和覆蓋信息作為3D視頻進行合成和顯示。本發明還涉及用於合成和顯示包括視頻信息與覆蓋信息的信息流的系統，所述視頻信息至少包括2D視頻流和用於允許以3D再現所述視頻信息的3D視頻信息，所述覆蓋信息至少包括2D覆蓋流和用於允許以3D再現所述覆蓋信息的3D覆蓋信息，所發送的視頻信息和覆蓋信息作為3D視頻進行合成和顯示。本發明還涉及均適於在上述系統中使用的回放設備和顯示設備。本發明涉及經由例如HDMI的高速數字接口來傳送例如3D視頻的三維圖像數據以便在3D顯示設備上顯示的領域。
背景技術：
目前的視頻播放器有助於多層視頻和/或圖形的合成。例如，在藍光光碟 (Blu-ray Disc)平臺中，能夠具有在主視頻之上播放的輔助視頻(例如，用於導演評論)。在那之上，能夠具有諸如字幕和/或菜單之類的圖形。這些不同的層全部被獨立地解碼/繪製，並且在某一個點上被合成為單個輸出幀。對於2D顯示器來說，這種處理實施起來是相對簡單的；在某層前面的另一層中的每個非透明像素遮擋(occlude)在它後面的層中的像素。這種處理描繪在圖3中，該圖3是某場景的自頂向下的視圖。Z軸的方向顯示在301。該場景中的視頻層302全部是綠的，並且在圖形層303上繪製藍色對象(其餘是透明的)。在合成步驟305之後，由於圖形層在視頻層前面，所以該藍色對象被繪製在綠色視頻層之上。這產生合成層作為輸出304。在以2D顯示該場景時，因為只有一個視點，所以該處理實施起來是相對簡單的。 但是，當以3D顯示該場景時，具有多個視點(對於每一隻眼睛，至少具有一個視點，當使用多視圖顯示器時，可能具有更多的視點)。問題是因為圖形層在視頻層前面，所以視頻層的其他部分從不同的視點是可視的。這個問題描繪在圖4中。注意3D合成根本不同於2D合成。在2D合成處理中，例如，如在US2008/0158250 中所例證的，多個2D平面(例如，主視頻，圖形，交互式平面)通過將深度與每一個平面相關聯來合成。但是，深度參數在2D合成中僅確定合成來自不同平面的像素的順序，S卩，哪一個平面必須被繪製在頂部，而沒有適合於三維顯示的最終圖像。這樣的2D合成始終是逐個像素完成的。相反，在合成3D平面時，該合成是非局部的。當每一個平面中的對象是三維的時， 有可能較低平面中的對象從較高平面中伸出，或者較高平面中的對象降到較低平面之下。 此外，在側視圖中，有可能看到對象後面，因此如果在視圖中某像素可能對應於來自前面平面的對象，而在另一個視圖中該相同的像素對應於較低平面中的對象。圖4再次顯示包括兩個層的場景的自頂向下的視圖。給出Z軸401的方向。視頻層402全部是綠的，並且在視頻層前面的圖形層403在它上面具有藍色對象(而其剩餘部分是透明的)。現在，定義兩個可能的視點404、405。如利用該圖所顯示的，從一個視點404可看到與從另一視點406可看到的部分407不同的視頻層的部分406。這意味著正在再現這兩個視圖的設備應該訪問來自這兩個層的所有信息(否則，該設備缺少再現其中至少一個視圖的信息)。在當前情形中，用於回放3D視頻的系統包括3D播放器，其負責解碼用於各個層的壓縮視頻流、合成各個層以及通過諸如HDMI或VESA之類的視頻接口將解壓縮的視頻發送到顯示器，該顯示器通常是(立體或自動立體)3D TV0該顯示設備再現這些視圖，這意味著實際上，它將缺少完美再現這兩個視圖的信息(這固有地在再現兩個以上的視圖時也是一個問題)。

發明內容
本發明的目的是提供一種合成包括視頻信息和覆蓋信息的信息流的方法，以便改進視圖的再現。本發明的目的利用根據權利要求1的方法來實現。在根據本發明的方法中， 其中該視頻信息至少包括2D視頻流和用於允許以3D再現視頻信息的3D視頻信息，該覆蓋信息至少包括2D覆蓋流和用於允許以3D再現覆蓋信息的3D覆蓋信息，該方法包括從存儲介質中接收或讀取包括壓縮視頻信息和壓縮覆蓋信息的壓縮流；解壓縮視頻信息和覆蓋信息；通過視頻接口發送幀序列，該幀序列包括單元，每一個單元對應於打算作為3D圖像進行合成和顯示的解壓縮視頻信息和解壓縮覆蓋信息；通過視頻接口接收該幀序列，並從這些單元中提取3D視頻信息和3D覆蓋信息；將這些單元合成為3D幀，並顯示這些3D幀。 根據本發明的方法打破了其中解碼和合成利用播放器設備來完成、而再現利用顯示設備來完成的目前的方案。這是基於這樣的見識，即，為了克服在再現視點之一時缺少信息的問題，在完成再現的位置上，來自視頻層的所有視覺信息和來自圖形層的所有視覺信息應是可用的。此外，在自動立體顯示器中，子像素的格式和布局根據顯示器類型而不同，雙凸透鏡與面板中的子像素之間的對準對於每個顯示器來說也是有所不同的。因此，在多視圖顯示器而不是在播放器中執行再現是有利的，這是因為在利用雙凸透鏡再現的視圖中子像素的對準精度將遠遠低於在顯示器本身中能夠達到的精度。另外，如果再現在顯示器中完成， 這將允許顯示器調節再現以適應觀看條件、用戶的深度偏好量、顯示器的大小(重要的，由終端用戶感知的深度量取決於顯示器大小)、觀看者至顯示器的距離。這些參數在回放設備中通常是不可獲得的。優選地，來自視頻層的所有信息以及來自圖形層的所有信息應作為單獨的分量發送至顯示器。這樣，在再現這些視圖之一時不缺少來自視頻層的信息，並且能夠從多個視點進行高質量再現。在本發明的實施例中，3D視頻信息包括相對於2D視頻幀的深度、遮擋 (occlusion)和透明度信息，而3D覆蓋信息包括相對於2D覆蓋幀的深度、遮擋和透明度信肩、ο在本發明的進一步實施例中，其中覆蓋信息包括將與視頻幀合成的兩個圖形平面。有利地，更多的層能夠被發送至顯示器(背景，主視頻，輔助視頻，演示圖形，交互式圖形)。在藍光光碟平臺中，可能具有多個彼此遮擋的層。例如，交互式圖形層可能遮擋演示圖形層的某些部分，而演示圖形層反過來可能遮擋視頻層的某些部分。從不同的觀看點，每一個層的不同部分(以與其只利用兩個層工作時相同的方式)能夠是可視的。因此，在某些情況下通過給顯示器發送兩個以上的層，能夠改進再現的質量。在本發明的進一步實施例中，用於至少一個圖形平面的覆蓋信息以比發送2D視頻幀的幀頻率更低的幀頻率來發送。對於接口來說，發送對於合成每個3D幀所必需的所有信息是沉重的負擔。這個實施例基於這樣的見識，即，大多數的覆蓋平面並不包括快速移動對象，而主要包括諸如菜單和字幕之類的靜態對象，因此能夠以較低的幀頻率發送這些覆蓋平面而不顯著降低質量。在本發明的進一步實施例中，用於至少一個圖形平面的覆蓋信息的像素大小不同於2D視頻信息的像素大小。這是基於這樣的見識，即，在不大量丟失信息的情況下，一些平面能夠按比例縮小，因此減小接口上的負擔而不顯著降低質量。在更詳細的實施例中，2D覆蓋信息的像素大小不同於3D覆蓋信息(諸如深度或透明度)的像素大小。這也減輕接口上的負擔而不顯著降低質量。這個申請也涉及用於3(D)合成和顯示視頻信息和覆蓋信息的系統，該視頻信息至少包括2D視頻流和用於允許以3D再現視頻信息的3D視頻信息，該覆蓋信息至少包括 2D覆蓋流和用於允許以3D再現覆蓋信息的3D覆蓋信息，該系統包括回放設備，用於從存儲介質中接收或讀取包括壓縮視頻信息和壓縮覆蓋信息的壓縮流；解壓縮視頻信息和覆蓋信息；通過視頻接口發送幀序列，該幀序列包括單元，每個單元對應於解壓縮視頻信息； 和顯示設備，用於通過視頻接口接收幀序列，並從這些單元中提取3D視頻信息和3D覆蓋信息，以及將這些單元合成為3D幀並顯示這些3D幀。


本發明的特徵和優點將參考以下附圖進一步進行解釋，其中
圖1示意性顯示其中可以實施本發明的用於3D視頻信息的回放的系統1，
圖2示意性顯示已知的圖形處理單元，
圖3顯示包括兩個層的場景的合成的頂視圖，
圖4顯示包括兩個層的場景的頂視圖，其中定義兩個視點，
圖5顯示對於單一(2D)情形合成的視頻和圖形平面，
圖6顯示用於立體3D的平面，
圖7顯示用於圖像+深度3D的平面，
圖8顯示用於圖像+深度3D的平面，
圖9示意性顯示根據本發明的實施例將通過視頻接口發送的幀的單元， 圖10示意性顯示根據本發明的實施例將通過視頻接口發送的幀的單元的進一步細
節，
圖11示意性顯示根據本發明的實施例的視頻接口上的幀的時間輸出， 圖12示意性顯示根據本發明的實施例的處理單元和輸出級， 圖13示意性顯示根據本發明的實施例的處理單元和輸出級，圖14示意性顯示根據本發明的實施例的視頻接口上的幀的時間輸出， 圖15示意性顯示根據本發明的實施例的視頻接口上的幀的時間輸出， 圖16示意性顯示根據本發明的實施例的處理單元和輸出級。
具體實施例方式在圖1中顯示其中可以實施本發明的用於回放和顯示3D視頻信息的系統1。該系統包括經由接口 12通信的播放器設備10和顯示設備11。播放器設備10包括負責接收和預處理將要顯示的編碼的視頻信息流的前端單元12以及用於解碼、處理和生成將被提供給輸出端14的視頻流的處理單元13。該顯示設備包括用於從接收(內容)中再現3D視圖的再現單元。至於編碼的視頻信息流，例如，這可以依照其中左與右(L+R)圖像被編碼的稱為立體的格式。作為選擇，編碼的視頻信息流可以包括2D圖像和附加圖像(L+D)，即所謂的深度圖(d印th map),如在 Oliver Sheer- "3D Video Communication", Wiley, 2005， 第四-34頁中所描述的。深度圖傳送關於2D圖像中的對象的深度的信息。深度圖中的灰度值指示2D圖像中的相關像素的深度。立體顯示器能夠通過使用深度圖中的深度值以及通過計算所需的像素變換來計算立體感覺所需的附加視圖。2D視頻+深度圖可以通過添加遮擋和透明度信息(DOT)來擴展。在優選實施例中，使用如包括在本文中作為參考的 EP08305420. 5 (代理人卷號PH010082)中所描述的靈活數據格式，其中該靈活數據格式包括立體信息和深度圖、添加遮擋和透明度。至於顯示設備11，這能夠是利用可控眼鏡來控制分別顯示給左與右眼的圖像的顯示設備，或者在優選實施例中，使用所謂的自動立體顯示器。能夠在2D與3D顯示之間切換的許多自動立體設備是已知的，其中之一描述在US6，069，650中。顯示設備包括具有積極可切換的液晶雙凸透鏡的IXD顯示器。在自動立體顯示器中，在再現單元16內的處理將經由接口 12從播放器設備10接收的解碼視頻信息轉換至多個視圖，並將這些視圖映射到顯示面板17的子像素上。至於播放器設備10，這可以被適配為通過包括用於從如同DVD或藍光光碟之類的光學記錄載體中檢索各種類型的圖像信息的光碟單元而從光碟中讀取視頻流。作為選擇， 輸入單元可以包括用於耦合到例如網際網路或廣播網的網絡的網絡接口單元。圖像數據可以從遠程媒體伺服器中進行檢索。作為選擇，輸入單元可以包括至諸如固態存儲器之類的其他類型的存儲介質的接口。Blu-Ray 播放器的一個已知示例是由Sony Corporation (索尼公司)銷售的 PlayStation 3。在BD系統的情況下，包括視頻平面的合成的進一步細節能夠在由藍光光碟協會 (http://www. bluraydisc. com)發布的公開可獲得的技術白皮書 「Blu-ray Disc Format General August 2004，，禾口「Blu-ray Disc LC Physical Format Specifications for BD-ROM November, 2005」 中找到。在下面，當談到BD應用格式的細節時，我們具體指的是如在美國申請號 2006-0110111 (代理人卷號NL021359)中以及在由藍光光碟協會發布的白皮書「Blu-ray Disc Format 2. B Audio Visual Application Format Specifications for BD-R0M,March 2005」中公開的應用格式。眾多周知，BD系統也提供具有網絡連接性的完全可編程的應用環境，從而允許內容供應商創建交互式內容。這種模式基於JaVaTM3平臺並被稱為「BD-J」。BD-J定義作為ETSI TS 101 812公開可用的Digital Video Broadcasting (數字視頻廣播) (DVB) -Multimedia Home Platform (MHP) Specification (多媒體家庭平臺規範)1. 0 的子集。圖2圖解說明已知的2D視頻播放器即Blu-Ray播放器的圖形處理單元(處理單元13的一部分)。該圖形處理單元配備有兩個讀緩衝器(1304和1305)、兩個預加載緩衝器 (1302和1303)以及兩個開關(1306和1307)。第二讀緩衝器(1305)允許甚至在正解碼主 MPEG流的同時將Out-of-Mux音頻流提供給解碼器。這些預加載緩衝器緩存文本字幕、交互式圖形和聲音效果(其在Button (按鈕)選擇或激活時呈現)。預加載緩衝器1303在電影回放開始之前存儲數據，並且甚至在正解碼主MPEG流的同時提供用於演示的數據。在數據輸入端與緩衝器之間的開關1301選擇合適的緩衝器來從讀緩衝器或預加載緩衝器中的任何一個中接收分組數據。在開始主電影放映之前，效果聲音數據(如果其存在的話)、文本字幕數據(如果其存在的話)以及交互式圖形(如果預加載的交互式圖形存在的話)被預加載，並分別地通過該開關被發送至每個緩衝器。利用開關1301將主MPEG流發送到主要讀緩衝器(1304)並將Out-of-Mux流發送到輔助讀緩衝器(1305)。主視頻平面 (1310)和演示平面(1309)以及圖形平面(1308)利用相應的解碼器來提供，而且這三個平面被覆蓋層1311覆蓋並被輸出。根據本發明，通過在顯示設備中引入合成級18以及相應地適配播放器設備的處理單元13和輸出端14，視頻平面的合成發生在顯示設備中而非回放設備中。本發明的詳細實施例將參考圖3-15來描述。根據本發明，再現在顯示設備中完成，因此必須將多個層中的所有信息發送到顯示器。只有這樣才能從任何視點進行再現，而不必估計某些像素。具有將多個層單獨地發送到再現設備(顯示器)的多種方式。如果我們採用 1920x1080解析度、24fps幀速率的視頻，那麼一種方式將是增加發送到再現設備的視頻的解析度。例如，將解析度增加至3840x1080或1920x2160在這個示例中允許單獨地向再現設備發送視頻層和圖形層二者，這將分別是並行的和自上而下的)。HDMI和顯示埠具有足夠的帶寬以允許此(操作)。另一選項是增加幀速率。例如，當以48或60fps向顯示器發送視頻時，能夠採用時間交錯的方式向再現設備發送兩個不同的層(在某一時刻，發送至顯示器的幀只包括視頻層中的數據，而在另一時刻，發送至顯示器的幀只包括圖形層中的數據)。再現設備應知道如何解釋它接收到的數據。為此，(例如，通過使用I2C)能夠向顯示器發送控制信號。圖3圖解說明包括兩個層的場景的頂視圖，其中這些數字指示
301:Z軸的方向
302視頻層
303圖形層
304合成層(輸出)
305合成動作。
圖4圖解說明包括兩個層的場景的頂視圖，其中定義兩個視點，其中這些數字指示
401:Z軸的方向
402視頻層
403圖形層
404視點1 (即，左眼)
405視點2 (即，右眼)
406從視點1中需要的背景層的部分
407從視點2中需要的背景層的部分。播放器可以具有一個以上的圖形平面，例如，用於字幕和用於交互或Java生成的圖形的單獨平面(或層)。這描繪在圖5中。圖5顯示平面合成至輸出(端)的當前狀態。在 504，利用項501、502和503指示的輸入平面被組合，以創建如在505中所示的輸出。圖5圖解說明對於單一(2D)情形合成的BD視頻和圖形平面，其中這些數字指示
501視頻平面
502演示(字幕)圖形平面
503Java或交互式圖形平面
504混合和合成級
505輸出端。有利地，對於3D而言，根據本發明，這些平面被擴展為也包含立體和/或圖像+深度圖形。在圖6中顯示立體實例，並在圖7中顯示圖像+深度實例。圖6圖解說明用於立體3D的BD平面，其中這些數字指示
601左側視頻平面
602左側演示(字幕)圖形平面
603左側Java或交互式圖形平面
604左側混合和合成級
605左側輸出
606右側視頻平面
607右側演示(字幕)圖形平面
608右側Java或交互式圖形平面
609右側混合和合成級
610右側輸出
611立體輸出。圖7圖解說明用於圖像+深度3D的BD平面，其中這些數字指示
701視頻平面
702演示(字幕)圖形平面
703Java或交互式圖形平面
704混合和合成級
705輸出
706深度視頻平面707深度演示(字幕)圖形平面
708深度Java或交互式圖形平面
709深度混合和合成級
710深度輸出
711圖像+深度輸出。在現有技術中，這些平面被組合併隨後作為一個分量或幀被發送到顯示器。根據本發明，這些平面並不在播放器中進行組合，而是作為單獨的分量被發送到顯示器。在顯示器中，用於每一個分量的視圖被再現，並隨後用於單獨分量的相應視圖被合成。然後，在3D 多視圖顯示器上顯示輸出。這在沒有任何質量損失的情況下給出最佳結果。這顯示在圖8 中。數字801-806指示通過視頻接口發送的單獨分量，這些分量進入807。在807中，每一個分量使用其相關聯的「深度」參數分量在多個視圖中進行再現。隨後在811中合成用於所有視頻、字幕和Java圖形分量的這多個視圖。811的輸出顯示在812中，並且這隨後顯示在多視圖顯示器上。圖8圖解說明用於圖像+深度3D的視頻平面，其中這些數字指示
801視頻分量
802視頻深度參數分量
803演示(字幕)圖形(PG)分量
804演示(字幕)深度參數分量
805Java或交互式圖形分量
806Java或交互式圖形深度分量
807再現視頻、PG (字幕)和Java或交互式圖形至多個視圖的再現級
808多個視頻視圖
809多個演示圖形(字幕)視圖
810多個Java或交互式圖形視圖
811合成級
812在顯示器上顯示的多個視圖。將參考圖9-11來描述本發明的優選實施例。根據本發明，接收到的壓縮流包括允許在立體和自動立體顯示器上進行合成和再現的3D信息，即，該壓縮流包括左與右視頻幀以及深度(D)、透明度(T)和遮擋(0)信息，以允許基於2D+深度信息進行再現。在下面，深度(D )、透明度(T )和遮擋(0)信息將被簡稱為DOT。作為壓縮流的Mereo (立體)和DOT的存在允許取決於顯示器的類型和大小、由顯示器優化的合成和再現，同時合成仍由內容作者來控制。根據該優選實施例，以下分量經由顯示接口來發送 一解碼的視頻數據(沒有與PG和IG/BD-J混合)
一演示圖形(PG)數據
一交互式圖形(IG)或BD-Java生成的(BD-J)圖形數據一解碼的視頻DOT 一演示圖形(PG) DOT
一交互式圖形(IG)或BD-Java生成的(BD-J)圖形。
圖9和10示意性顯示根據本發明的實施例將通過視頻接口發送的幀的單元。輸出級通過該接口(優選地，HDMI)發送6個幀的單元。幀1 左(L)視頻和DOT視頻的YUV分量被組合在一個MHz RGB輸出幀、分量中， 如在圖9的頂圖中所示。YUV在視頻處理領域中通常表示標準的亮度(Y)和色度(UV)分量。幀2 右(R)視頻優選地在MHz上在未修改的情況下發送出去，如在圖9的底圖中所示。幀3 =PC顏色(PG-C)優選地在MHz上在未修改的情況下作為RGB分量發送出去。幀4 =PG-顏色(PG-Color)的透明度被拷貝到單獨的圖形DOT輸出平面中，並對於各個平面與深度以及960x540遮擋和遮擋深度(OD)分量進行組合，如在圖10的頂圖中所示。幀5 :BD-J/IG顏色(C)優選地在MHz上在未修改的情況下發送出去。幀6 :BD-J/IG顏色的透明度被拷貝到單獨的圖形DOT輸出平面中，並與深度以及 960x540遮擋和遮擋深度(OD)分量進行組合，如在圖10的底圖中所示。圖11示意性顯示根據本發明的優選實施例的視頻接口上的幀的時間輸出。在這裡，這些分量在144Hz的接口頻率上、通過HDMI接口、在時間交錯的MHz分量上被發送到顯不器。該優選實施例的優點
全解析度靈活的3D立體+DOT格式以及3D HDMI輸出對於各種(立體和自動立體)3D 顯示器而言允許增強的3D視頻(用於顯示器大小依賴性的可變基線)和增強的3D圖形(較少的圖形限制，3D TV 0SD)可能性。·對於質量、創作靈活性沒有損害，以及對於播放器硬體的最低成本。合成和再現在3D顯示器中完成。 所需的較高視頻接口速度對于格式被定義HDMI中，並且已經能夠利用雙鏈路HDMI來實現。雙鏈路HDMI也支持更高的幀速率，諸如30Hz等等。圖12示意性顯示根據本發明的優選實施例的處理單元(13)和輸出級(14)。該處理單元被適配為單獨地對於本發明的每一個平面處理視頻和DOT。每一個平面的輸出在合適的時間由平面選擇單元進行選擇，並被發送到輸出級，該輸出級負責生成將通過該接口發送的相關幀。顯示設備的HDMI接口輸入端被適配為接收如在上面針對圖9-12所描述的幀的單元，以分離這些單元，並將信息發送到合成級18，該合成級處理視頻平面的合成。該合成級的輸出被發送到再現單元，以生成所再現的視圖。公認的是根據該優選實施例的系統提供最佳3D質量，但是這樣的系統可能是相當昂貴的。因此，本發明的第二實施例致力於較低成本系統，其仍提供比現有技術系統更高的再現質量。圖13示意性顯示根據本發明的第二實施例的處理單元和輸出級。基本思想是將 Java圖形的兩個時段組合在一個輸出幀周期@12Hz中，並將這個與視頻(L) @24Hz以及組合的視頻DOT與PG平面@24Ηζ交織。輸出總計為1920χ1080@60Ηζ。圖15示意性顯示根據本發明的這個實施例的視頻接口上的幀的時間輸出。根據本發明的這個實施例的顯示設備的HDMI接口輸入端被適配為接收如上針對圖13和15所描述的幀的單元，以分離這些單元並將該信息發送到處理視頻平面的合成的合成級18。該合成級的輸出被發送到再現單元，以生成所再現的視圖。作為選擇，能夠選擇來發送關於單個平面的信息，以致由播放器設備選擇將通過接口發送的PG或BD-J平面，其是特定單元。圖14示意性顯示根據本發明的這個實施例的視頻接口上的幀的時間輸出，而圖16示意性顯示根據本發明的這個實施例的處理單元和輸出級。根據本發明的這個實施例的顯示設備的HDMI接口輸入端被適配為接收如上針對圖14和16所描述的幀的單元，以分離這些單元並將該信息發送到處理視頻平面的合成的合成級18。該合成級的輸出被發送到再現單元，以生成所再現的視圖。根據本發明的另一實施例，回放設備能針對其接口和合成能力而向顯示設備查詢，這可以依照上述的三個實施例之一。在這樣的情況下，回放設備對其輸出端進行適配， 以致該顯示設備能夠處理所發送的流。作為選擇，所有視圖的再現能夠在播放器/機頂盒中完成，這是因為在這裡來自視頻層和圖形層二者的所有信息是可用的。當在播放器/機頂盒中進行再現時，來自所有層的所有信息是可用的，因此當某場景包括遮擋對象的多個層(即，在那之上的視頻層和2 個圖形層)時，對於那個場景的多個視點，能夠進行仍然高質量的再現。但是，這個選項要求播放器包含用於不同顯示器的再現算法，並因此，該優選實施例將來自多個層的信息發送到顯示器，而且讓(通常顯示器特定的)再現在該顯示器中完成。作為選擇，視頻基本流能夠經編碼而被發送到顯示器，以節省帶寬。這個的優點是能夠向顯示器發送更多的信息。視頻質量不受影響，因為如同Blu-Ray之類的應用格式已使用壓縮視頻基本流來存儲或傳輸。視頻解碼在顯示器內完成，而源對於視頻基本流作為通道(pass through)起作用。因此，現代的電視由於內置數字TV解碼器和網絡連接性而通常已經能夠解碼視頻流。本發明能夠被概述如下描述用於傳送三維(3D)圖像數據以便合成和顯示的系統。信息流包括視頻信息和覆蓋信息，該視頻信息至少包括2D視頻流和用於允許以3D再現視頻信息的3D視頻信息，該覆蓋信息至少包括2D覆蓋流和用於允許以3D再現覆蓋信息的3D覆蓋信息。在根據本發明的系統中，視頻平面的合成發生在顯示設備中而非回放設備中。該系統包括回放設備，其適於通過視頻接口發送幀序列，該幀序列包括單元，每一個單元對應於打算作為3D圖像進行合成和顯示的解壓縮視頻信息和解壓縮覆蓋信息；和顯示設備，其適於通過視頻接口接收該幀序列，並從這些單元中提取3D視頻信息和3D覆蓋信息，以及將這些單元合成為3D幀並顯示這些3D幀。應注意，上述實施例旨在說明而非限制本發明。並且，本領域技術人員將能夠設計出許多替換的實施例而不脫離所附的權利要求書的範圍。在權利要求書中，放置在括號之間的任何參考符號不應被解釋為限制該權利要求。動詞「包括」和「包含」及其變形的使用並不排除除了在權利要求中所陳述的那些元素或步驟之外的元素或步驟的存在。在元素之前的冠詞「一」或「一個」並不排除多個這樣的元素的存在。本發明可以藉助於包括若干不同元素的硬體以及藉助於適當編程的計算機來實施。電腦程式可以存儲/分布在諸如光存儲器之類的適當介質上或與硬體部分一起提供，並且也可以採用其他的形式來分布，諸如經由網際網路或有線或無線電信系統來分布。在枚舉若干裝置的系統/設備/儀器的權利要求中，這些裝置之中的若干裝置可以利用同一項硬體或軟體來實現。某些措施在互不相同的從屬權利要求中進行敘述的純粹事實並不表明不能有利使用這些措施的組合。
權利要求
1.一種合成和顯示包括視頻信息和覆蓋信息的信息流的方法，所述視頻信息至少包括2D視頻流和用於允許以3D再現所述視頻信息的3D視頻信息， 所述覆蓋信息至少包括2D覆蓋流和用於允許以3D再現所述覆蓋信息的3D覆蓋信息， 該方法包括從存儲介質中接收或讀取包括壓縮視頻信息和壓縮覆蓋信息的壓縮流； 解壓縮所述視頻信息和所述覆蓋信息；通過視頻接口發送幀序列，所述幀序列包括單元，每一個單元對應於打算作為3D圖像進行合成和顯示的解壓縮視頻信息和解壓縮覆蓋信息；通過視頻接口接收所述幀序列，並從所述單元中提取所述3D視頻信息和所述3D覆蓋 fn息；將所述單元合成為3D幀，並顯示所述3D幀。
2.根據權利要求1的方法，其中所述3D視頻信息包括相對於2D視頻幀的深度、遮擋和透明度信息，而所述3D覆蓋信息包括相對於2D覆蓋幀的深度、遮擋和透明度信息。
3.根據權利要求2的方法，其中所述覆蓋信息包括將與所述視頻幀合成的兩個圖形平
4.根據權利要求2或3的方法，其中用於至少一個圖形平面的覆蓋信息以比發送所述 2D視頻幀的幀頻率更低的幀頻率進行發送。
5.根據權利要求2-4之中任一權利要求的方法，其中用於至少一個圖形平面的覆蓋信息的像素大小不同於所述2D視頻信息的像素大小。
6.根據權利要求1或2的方法，其中3D視頻信息包括立體信息。
7.一種用於合成和顯示包括視頻信息和覆蓋信息的信息流的系統，所述視頻信息至少包括2D視頻流和用於允許以3D再現所述視頻信息的3D視頻信息，所述覆蓋信息至少包括2D覆蓋流和用於允許以3D再現所述覆蓋信息的3D覆蓋信息，該系統包括回放設備，用於從存儲介質中接收或讀取包括壓縮視頻信息和壓縮覆蓋信息的壓縮流；解壓縮所述視頻信息和所述覆蓋信息；通過視頻接口發送幀序列，所述幀序列包括單元，每一個單元對應於打算作為3D圖像進行合成和顯示的解壓縮視頻信息和解壓縮覆蓋信息；和顯示設備，用於通過視頻接口接收所述幀序列，並從所述單元中提取所述3D視頻信息和所述3D覆蓋 fn息；將所述單元合成為3D幀，並顯示所述3D幀。
8.根據權利要求7的系統，其中所述3D視頻信息包括相對於2D視頻幀的深度、遮擋和透明度信息，而所述3D覆蓋信息包括相對於2D覆蓋幀的深度、遮擋和透明度信息。
9.根據權利要求8的系統，其中所述覆蓋信息包括將與所述視頻幀合成的兩個圖形平
10.根據權利要求8或9的系統，其中用於至少一個圖形平面的覆蓋信息以比發送所述 2D視頻幀的幀頻率更低的幀頻率進行發送。
11.根據權利要求8-10之中任一權利要求的系統，其中用於至少一個圖形平面的覆蓋信息的像素大小不同於所述2D視頻信息的像素大小。
12.根據權利要求8-10之中任一權利要求的系統，其中3D視頻信息包括立體信息。
13.根據權利要求8-12之中任一權利要求的系統，其中所述幀是通過HDMI接口發送的 RGB 幀。
14.一種回放設備，適於在根據權利要求8-13之中任一權利要求的系統中使用。
15.一種顯示設備，適於在根據權利要求8-13之中任一權利要求的系統中使用。
全文摘要
描述傳送用於合成和顯示的三維(3D)圖像數據的系統。信息流包括視頻信息和覆蓋信息，視頻信息至少包括2D視頻流和用於允許以3D再現視頻信息的3D視頻信息，覆蓋信息至少包括2D覆蓋流和用於允許以3D再現覆蓋信息的3D覆蓋信息。在根據本發明的系統中，視頻平面的合成發生在顯示設備中而非回放設備中。該系統包括回放設備，其適於通過視頻接口發送幀序列，該幀序列包括單元，每一個單元對應於打算作為3D圖像進行合成和顯示的解壓縮視頻信息和解壓縮覆蓋信息；和顯示設備，其適於通過視頻接口接收該幀序列，並從這些單元中提取3D視頻信息和3D覆蓋信息，以及將這些單元合成為3D幀並顯示這些3D幀。
文檔編號H04N13/00GK102292994SQ201080004995
公開日2011年12月21日 申請日期2010年1月13日 優先權日2009年1月20日
發明者D. R. J. 博利奧 D., J. M. 庫爾弗斯 M., S. 牛頓 P. 申請人:皇家飛利浦電子股份有限公司