用於覆蓋圖形對象的圖像處理器的製作方法

2023-10-08 18:24:19 2

專利名稱：用於覆蓋圖形對象的圖像處理器的製作方法
技術領域：
本發明主要涉及一種可以把圖形對象覆蓋(overlay)在基本圖像上的圖像處理 器。該圖像處理器可以具有例如能夠提供立體視頻輸出數據的藍光光碟回放設備的形式。 本發明的其它方面涉及到立體視頻呈現系統、處理定義基本圖像和圖形對象的數據的組件 (assembly)的方法、以及用於可編程處理器的電腦程式產品。
背景技術：
通過把圖形對象覆蓋在基本圖像上、或覆蓋在構成視頻的基本圖像序列上，可以 得到增強的視頻體驗。添加字幕是一個基本的例子，其中圖形對象具有文本的形式。在更 高級的應用中，一個或多個圖形對象可以代表也許與基本圖像有概念上的關係的圖畫。也 有可能基於一個或多個圖形對象給視頻加上動畫。對於能夠提供增強的視頻體驗的所謂的藍光光碟應用已經逐步形成一種標準。該 標準規定了所謂的圖形對象分段，圖形對象分段提供了採用編碼形式的、圖形對象的基本 表示。該標準還規定了所謂的構成分段(composition segment)。構成分段描述了該構成 分段所涉及的圖形對象的給定的外觀。為了達到這個給定的外觀，需要處理圖形對象的基 本表示。這個處理可包括比如像裁剪、定位、顏色映射那樣的操作。圖形控制器典型地根據 所關心的構成分段來定義這些操作。由處理其基本表示而產生的圖形對象典型地被放置在 所謂的圖形面上。這個圖形面然後被覆蓋在與視頻的圖像相對應的視頻面上。視頻面因此 可被看作為在其上覆蓋圖形對象的基本圖像。以編號US 2006/0294543公布的美國專利申請描述了背景技術，按照該背景技 術，再現設備分開地解碼視頻流和圖形流，並且疊加最終得到的視頻和圖形，以產生再現圖 像。圖形流是所謂的PES分組的排列，這些分組可被分類為兩種類型承載控制信息的PES 分組和承載代表圖形的圖形數據的PES分組。一對控制信息與圖形數據產生一個圖形顯 示。再現設備順序地讀取控制信息和圖形數據，解碼控制信息，並且還解碼圖形數據，以生 成未壓縮的圖形。再現設備按照控制信息的解碼結果，以想要的呈現定時顯示未壓縮的圖 形。
發明概要因而本發明的目的是提供一種這樣的解決方案，其允許以相對較低的成本來實現 在其中有圖形對象覆蓋於基本圖像的圖像的令人滿意的立體圖像呈現。獨立權利要求定義 了本發明的各種方面。從屬權利要求定義了用於實施本發明以便獲益的附加特徵。本發明考慮了以下幾點。當通過把圖形對象覆蓋在基本圖像上而得到的圖像被以 立體的方式呈現時，可能出現遮蔽(occlusion)問題。為了以立體的方式呈現圖像，需要深 度信息。這個深度信息指示各個對象相對於虛擬觀察者所具有的各自的距離，深度信息可 被處理器使用來生成多個視圖。每個視圖對應於特定的觀看位置，這個特定的觀看位置與 其它觀看位置稍有不同。圖形對象將遮蔽一部分基本圖像。在被生成用於立體呈現的一個
4或多個視圖中，被遮蔽的那部分的至少一部分可被去除遮蔽(de-occlude)。倘若處理器需 要根據上述的圖像生成多個視圖，這造成一個問題。信息將缺失。遮蔽問題的基本解決方案如下。生成用於立體呈現的多個視圖的處理器被提供以 完整的基本圖像，而不是其中有圖形對象覆蓋於基本圖像的圖像。也就是，處理器接收基本 圖像和圖形對象，以及相關的深度信息。因此，處理器具有用於正確地生成多個視圖的所有 的必需的信息。然而，上述的基本解決方案實施起來可能相對昂貴。所關心的處理器優選地形成 立體顯示設備的一部分，其可以被耦合到眾多不同類型的視頻設備。這意味著，在立體顯示 設備與它耦合到的視頻設備之間的連接需要輸送基本圖像以及圖形對象和需要被呈現的 其它可視信息(如果有的話)。為了輸送所有的這樣的信息，所述連接需要具有相對較大的 帶寬。所關心的類型的連接已被標準化。標準化的連接具有給定的最大帶寬。萬一需要超 過給定的最大帶寬的帶寬，則需要多個連接。這是相對昂貴的，並且也可能是麻煩的。遮蔽問題也可以通過所謂的空洞填充技術被解決。空洞填充技術可以是基於外推 法圖像上可得到的可視信息被使用來重建該圖像中缺失的可視信息。作為另一個例子，基 本圖像的被圖形對象遮蔽的那個部分可以根據同一個視頻的先前的圖像或隨後的圖像或 這二者而被重建。視頻通常包括正在移動的對象。因此，給定圖像中被遮蔽的基本圖像的 那個部分在先於該給定圖像的圖像中、或在跟隨於該給定圖像之後的圖像中、或在這二者 中可以是至少部分地可看見的。然而，這樣的空洞填充技術典型地需要複雜的處理，所以實 施起來是昂貴的。按照本發明，圖像處理器處理定義基本圖像和圖形對象的數據的組件。該數據的 組件包括構成數據，其定義圖形對象在輸出圖像上的給定的外觀，其中圖形對象覆蓋基本 圖像的一部分。圖像處理器包括遮蔽分析器，用於根據構成數據建立遮蔽指示。遮蔽指示 規定在基本圖像中的區域，所述區域在輸出圖像上將被圖形對象遮蔽，但在輸出圖像的立 體呈現中可以被去除遮蔽。遮蔽數據生成器根據遮蔽指示和基本圖像來構成遮蔽圖像。遮 蔽圖像代表對應於由遮蔽指示規定的區域的、基本圖像的一部分。例如，在藍光光碟應用中，構成數據是以此前提到的構成分段的形式可提供的。構 成分段允許確定在哪裡將出現遮蔽。不需要分析所關心的圖形對象，而且該圖形對象首先 需要為此目的而被生成。相對較少的操作(其可能是相對較簡單的)就足以提供在哪裡將 出現遮蔽的指示。這個指示可被使用來標識基本圖像中的互補(complementary)可視信 息，它將允許處理器生成多個視圖，而無須使用任何空洞填充技術。這個互補可視信息可以 隨所關心的圖像一起被發送到顯示設備，在其中圖形對象覆蓋基本圖像。互補可視信息典 型地只代表基本圖像的相對較小的部分。這放寬了對於在其中基本圖像被圖形對象覆蓋的 顯示設備和視頻設備之間的連接的帶寬的要求。由於那些原因，本發明允許以相對較低的 成本實現其中圖形對象覆蓋基本圖像的圖像的令人滿意的立體呈現。本發明的實現有利地包括一個或多個以下的附加特徵，這些特徵在對應於一個個 從屬權利要求的單獨的段落中被描述。這些附加特徵的每個特徵有助於以相對較低的成本 實現令人滿意的立體圖像呈現。遮蔽分析器優選地提供遮蔽指示以作為構成數據的適配(adaptation)。圖像處理 器於是包括圖形控制器，它以相似的方式處理構成數據和遮蔽指示。遮蔽指示的處理提供
5了用於遮蔽數據生成器的遮蔽數據生成控制參數。因此，圖形控制器被使用於兩個用途圖 形構成和遮蔽數據生成。這允許非常高效的、並從而是成本經濟的實現，它在例如藍光光碟 應用中可以是基於現有的圖形控制器的。遮蔽分析器優選地把基本圖像中將被圖形對象遮蔽的區域定義為圖形對象的固 定尺寸的邊界部分。遮蔽分析器也可以把基本圖像中將被圖形對象遮蔽的區域規定為圖形對象的可 變尺寸的邊界部分。該邊界部分具有依賴於深度指示的尺寸，深度指示指明了在圖形對象 與將被圖形對象遮蔽的區域之間在深度上的差值。遮蔽數據生成器優選地包括遮蔽深度圖構成器(composer)，其根據遮蔽指示和與 基本圖像相關聯的深度圖來構成遮蔽深度圖。遮蔽深度圖代表對應於由遮蔽指示定義的區 域的、深度圖的一部分。圖像處理器可包括後端模塊，用於把遮蔽圖像包括到輸出圖像中。後端模塊可以把頭標嵌入在輸出圖像中。頭標可以指示在輸出圖像中的、其中包 括有遮蔽圖像的區域。參照附圖的詳細說明舉例說明了在此前概述的本發明以及附加特徵。附圖簡述

圖1是圖示立體視頻系統的框圖。圖2是直觀圖，其圖示了在立體視頻系統中出現的可視圖像和與其相關聯的深度 圖。圖3是直觀圖，其圖示了在立體視頻系統內生成的九個不同的視圖。圖4是圖示形成立體視頻系統的一部分的回放處理器的框圖。圖5是直觀圖，其圖示了回放處理器可以生成的、用於傳輸到顯示設備的輸出圖像。詳細說明圖1圖示立體視頻系統VSY，它包括回放設備PLY和顯示設備DPL。回放設備PLY 例如可以是藍光光碟播放器。回放設備PLY經由被標準化的連接而與顯示設備DPL通信， 標準化的連接比如像數字可視接口(DVI)或高清晰度多媒體接口(HDMI)，二者均未示出。 顯示設備DPL可以是自動立體類型。立體視頻系統VSY還可包括遙控設備RCD，它允許用戶 控制回放設備PLY以及顯示設備DPL。例如，用戶可以使得立體視頻系統VSY顯示菜單，他 或她可以藉助於遙控設備RCD從該菜單選擇項目。回放設備PLY包括光碟讀取器0DR、回放處理器PRP、顯示接口 DIP、和主控制器 CTM。回放設備PLY還可包括網絡接口 NIF，用於經由網絡NW與遠端伺服器SRV通信。回放 處理器PRP可以具有被裝載有適當的軟體程序的可編程處理器的形式。這同樣適用於主控 制器CTM以及顯示接口 DIP與網絡接口 NIF的至少一部分。各種功能實體，比如像回放處 理器PRP和主控制器CTM，可以藉助於單個可編程處理器來實現。顯示設備DPL包括顯示接口 DID、顯示處理器PRD、顯示控制器CTD、和允許立體視 頻呈現的屏幕SCR。顯示處理器PRD可以具有被裝載有適當的軟體程序的可編程處理器的 形式。這同樣適用於顯示控制器CTD以及顯示接口 DID的至少一部分。屏幕SCR可包括液晶(IXD)顯示器和一片雙凸透鏡。雙凸透鏡衍射從顯示器發出
6的光，以使得觀看者的左眼和右眼接收來自不同像素的光。因此，藉助於一組像素而被顯示 的視圖可以被導向左眼。藉助於不同組的像素而被同時顯示的另一個視圖可以被導向右 眼。這樣的自動立體屏幕允許用戶看到立體視頻，這提供了三維觀看體驗，而不用佩戴特定 的眼鏡。然而，為了呈現多個視圖，犧牲了解析度。立體圖像因此可以具有相對適度的分辨 率，比如像960x540像素。立體視頻系統VSY基本上如下地運行。假設用戶剛把包括立體視頻數據的藍光光 盤插入回放設備PLY。在初始階段，主控制器CTM使得光碟讀取器ODR讀出被存儲在光碟上 的應用數據。主控制器CTM使用應用數據，藉助於顯示設備DPL把菜單呈現給用戶。菜單 可以建議例如在基本立體模式下給定字幕的回放，不帶任何圖形動畫，或者在增強的立體 模式下給定字幕的回放，帶有圖形動畫。假設用戶選擇了增強的立體模式，該模式是在光碟上存在的多媒體內容的特定的 呈現。作為響應，主控制器CTM根據被包括在應用數據中且與增強的立體模式相關聯的一 個或多個回放定義，適當地配置回放處理器PRP。主控制器CTM可以實行另外的操作，以便 保證用戶所選擇的特定的呈現。一旦完成初始階段，光碟讀取器ODR就提供包括感興趣的多媒體內容在內的盤數 據流DDS。在初始階段被適當地配置的回放處理器PRP處理盤數據流DDS，以便得到與用戶 選擇的特定呈現相對應的視聽數據流AVD0視聽數據流AVD包括輸出圖像，這些輸出圖像 可以由各種不同類型的內容(比如像視頻和圖形)構成。另外，回放處理器PRP可把附加 信息包括到視聽數據流AVD中，以便幫助顯示設備DPL正確地解譯這個數據流。視聽數據 流AVD分別經由上述的顯示接口 DIP、DID、以及在回放設備PLY與顯示設備DPL的所述接 口 DIP、DID之間的連接CX，到達顯示設備DPL的顯示處理器PRD。顯示處理器PRD處理視聽數據流AVD,以便產生用於屏幕SCR的驅動器信號DRS。 更具體地，顯示處理器PRD從視聽數據流AVD中檢索可視圖像(visual image)序列和深度 圖序列。可視圖像是二維的。深度圖與特定的可視圖像相關聯，且提供關於該可視圖像中 的各個對象相對於虛擬觀察者所具有的各自距離的信息。也就是，深度圖提供對於在可視 圖像中的各個區域的深度信息。深度圖序列允許所關心的場景的立體呈現，其也可以被稱 為三維呈現。深度圖可以具有數值矩陣的形式，由此每個數值與可視圖像中的特定的像素、或 特定的像素集群相關聯。像素或像素集群典型地代表特定對象的特定部分。因此，來自深度 圖的、與所關心的像素或所關心的像素集群相關聯的數值代表所關心對象的所關心部分相 對於虛擬觀察者所具有的距離。存在著數值可以表達那個距離的各種不同的方式。例如， 數值可以直接表示所關心的距離。作為另一個例子，數值可以指示在左眼視圖和右眼視圖 中對於所關心的像素的角度移位的量。這樣的數值通常被稱為視差值或差異值。深度圖可被表示為黑白圖像，該黑白圖像是灰度值的矩陣。灰度值例如可以用8 比特來表達。以常規的表示法，這意味著，灰度值被歸入0到255之間的範圍。灰度值0指 示離虛擬觀察者最大的可能距離。這對應於在表示深度圖的黑白圖像中的最暗的可能像 素。相反，灰度值255指示離虛擬觀察者最小的可能距離。這對應於在表示深度圖的黑白 圖像中的最亮的可能像素。圖2圖示顯示處理器PRD可以從視聽數據流AVD中檢索到的可視圖像V I和與其
7相關聯的深度圖DM。可視圖像VI表示一個房屋，在其前面有一棵樹。該房屋和樹也可以在 深度圖DM中被識別。更精確地，樹具有圍繞白色表面的輪廓，這表明樹相對地更接近於虛 擬觀察者。房屋具有圍繞淺灰色表面的輪廓，這表明房屋比起樹來說位於離虛擬觀察者更 遠處。深度圖DM中的暗的區域對應於可視圖像上的背景。任何背景對象都位於離虛擬觀 察者相對更遠處。圖3圖示可以由顯示處理器PRD根據圖2所示的可視圖像VI和深度圖DM產生的 一組九個不同的視圖MVS。每個視圖代表從特定的觀看位置看見的房屋和在房屋前面的樹。 也就是，有九個稍微不同的觀看位置。由於在樹與虛擬觀察者之間的距離相對較小，觀看位 置的少許改變造成樹的相當大的位移。相反，在全部視圖中房屋只移動相對較小的程度，因 為房屋位於離虛擬觀察者更遠處。通常，顯示處理器PRD根據深度圖來確定對象在兩個不 同的視圖之間的適當的位移。對象離虛擬觀察者越近，位移越大。在可視圖像中，可以說位 於深處的對象將經歷相對較小的位移，或甚至可能保持在相同位置。因此，根據深度圖可以 產生三維體驗。正如前面提到的，屏幕SCR可以是自動立體類型的，且包括一片雙凸透鏡。在那種 情形下，顯示處理器PRD保證特定的視圖被施加到屏幕SCR上相對於該片雙凸透鏡具有特 定位置的特定一組像素。因此，可以說，顯示處理器PRD保證每個視圖在適當的方向上播 送。這允許立體的觀看體驗，它不需要觀看者本來必須佩戴的任何特別的眼鏡。在圖2所描繪的可視圖像VI上，樹遮蔽房屋的一部分。在圖3所描繪的那組九個 視圖MVS上，除了對應於圖2所描繪的可視圖像的中間視圖以外，被遮蔽的房屋部分變為部 分地可看見。也就是，被生成用於立體呈現的視圖可包括在立體呈現所基於的可視圖像中 不存在的部分。有可能藉助於所謂的空洞填充技術，根據在可視圖像中存在的信息，來近似 地重建這些缺失的部分。然而，在部分地被遮蔽的對象與虛擬觀察者離得相對較遠的情形 下，空洞填充技術可能達不到目標。 圖4圖示可以按照藍光光碟標準運行的回放處理器PRP。回放處理器PRP包括各種 主要功能實體前端模塊FEM、圖形處理器GPR、立體視頻解碼器SVD、遮蔽數據生成器0DG、 平面組合器PLC和後端模塊BEM。回放處理器PRP還可包括與圖1所示的主控制器CTM合 作的內部控制器。圖形處理器GI^R可以具有被裝載有適當的軟體程序的可編程處理器的形 式。這同樣適用於其它功能實體。所有的功能實體可被組合在被適當編程的單個處理器上。圖形處理器GI3R包括各種功能實體圖形流處理器GSP、圖形對象構成器G0C、構成 緩衝器CBl和圖形控制器GCT。這些功能實體，或更確切地是它們的等同物，可以在常規的 藍光光碟圖形處理器中找到。圖4所示的圖形處理器GI^R還包括以下功能實體遮蔽分析 器OCA和補充構成緩衝器CB2。這些功能實體可被看作為是被添加到常規藍光光碟回放設 備中已存在的那些實體中。遮蔽數據生成器ODG包括兩個功能實體遮蔽圖像構成器OIC 和遮蔽深度圖構成器ODC。任一上述的功能實體可以藉助於被裝載到可編程處理器中的軟體程序而被實現。 在這樣的基於軟體的實現中，軟體程序使得可編程處理器進行屬於所關心的功能實體的特 定操作。例如，被適當地編程的單個可編程處理器可以實現圖形處理器GPR以及遮蔽數據 生成器0DG。應當指出，任一功能實體可以同樣地被看作為一個處理步驟或一系列處理步 驟。例如，遮蔽分析器OCA可以代表遮蔽分析步驟。為了容易說明起見，這些功能實體僅僅
8被描述成仿佛這些是物理實體，而不是步驟。回放處理器PRP基本上如下地運行。前端模塊FEM處理來自光碟讀取器ODR的 盤數據流DDS，以便檢索在盤數據流DDS中以復用形式存在的各種不同的數據流。為此，前 端模塊FEM實行各種操作，可包括錯誤解碼(error decoding)和解復用。因此，前端模塊 FEM檢索遵守藍光光碟標準的圖形數據流⑶S，以及立體視頻數據流SVDS。立體視頻數據 流SVDS可以是包括例如輸送可視信息的數據流和輸送深度信息的另一個數據流的數據流 的復用。圖形數據流GDS包括所謂的圖形對象分段和所謂的構成分段。圖形對象分段承載 採用編碼形式的圖形對象。在藍光光碟標準中，對於圖形對象典型地使用遊程長度編碼。構 成分段包括關於圖形對象在回放設備PLY中為了呈現而應當如何被處理的信息。也就是， 構成分段定義了圖形對象應當如何出現在所謂的圖形面上。為了呈現，這個圖形處理可包 括例如像裁剪、對象放置和顏色映射那樣的操作。因此，構成分段構成用於圖形對象分段 的元數據。元數據是這樣一種數據，即它提供關於數據的信息，它可被使用來解譯或操控 或解譯及操控最後提到的數據。關於在藍光光碟中的圖形的進一步信息可以在以編號WO 2005/006747和W02005/004478公布的國際申請中找到。圖形流處理器GSP從圖形數據流⑶S中檢索圖形對象分段，並解碼這些圖形對象 分段。因此，圖形流處理器GSP產生解碼的圖形對象，它們典型地被暫時存儲在緩衝器中。 圖形對象構成器GOS在適當的時刻從這個緩衝器接收解碼的圖形對象，該適當的時刻典型 地由所謂的時間戳定義。圖形流處理器GSP因此把圖形對象序列GOS施加到圖形對象構成 器G0C，如圖4所示。圖形流處理器GSP還檢索在圖形數據流⑶S中存在的構成分段CS。這些構成分段 CS被暫時存儲在圖4所示的構成緩衝器CBl中。構成分段CS還被發送到遮蔽分析器OCA。圖形控制器GCT按照由時間戳定義的定時方案從構成緩衝器CBl中取裝(fetch) 構成分段Cs。假設圖形對象構成器GOC打算接收特定的解碼的圖形對象。特定的構成分段 與這個解碼的圖形對象相關聯。在圖形對象構成器GOC開始處理所關心的解碼的圖形對象 之前，圖形控制器GCT從構成緩衝器CBl中取裝這個構成分段。圖形控制器GCT解譯所關 心的構成分段，以便建立用於圖形對象構成器GOC的一組圖形-構成控制參數PG。圖形對象構成器GOC按照該組圖形_構成控制參數PG來處理解碼的圖形對象。圖 形對象構成器GOC可以根據顏色查找表實行各種不同的操作，比如像裁剪或縮放、對象放 置和顏色映射。這些操作使得解碼的圖形對象在圖形面上具有給定的外觀。已由圖形控制 器GCT轉換成一組圖形_構成控制參數PG的構成分段定義這個外觀。圖形面可被看作為 基本圖像，它可以與其它基本圖像組合，以便得到輸出圖像以供顯示。這將在下文中更詳細 地描述。立體視頻解碼器SVD解碼立體視頻數據流SVDS，以便得到視頻面序列VPS和深度 圖序列DMS。視頻面可被看作為屬於被記錄在光碟上的視頻的基本圖像。視頻面序列VPS 因此代表所關心的視頻。深度圖與特定的視頻面相關聯，並提供關於在該視頻面上存在的 對象的深度信息，正如此前所描述的。也就是，深度圖中的數值涉及到所關心的視頻面中的 特定區域，並且它指示這個特定區域相對於虛擬觀察者所具有的距離。所關心的區域可包 括例如單個像素或像素集群。
9
平面組合器PLC接收來自立體視頻解碼器SVD的視頻面序列VPS和來自圖形處理 器GPR的圖形面序列GPS。圖形面與特定的視頻面相關聯。平面組合器PLC組合圖形面和 與其相關聯的視頻面。圖形面典型地被覆蓋在視頻面上，以使得圖形對象具有前景位置。前 景位置可以藉助於與該圖形對象相關聯的深度指示來規定，該深度指示指明相對於虛擬觀 察者的距離。替換地，圖形對象可以具有預定義的、固定的深度。在圖形面中的、不包括任 何對象的區域可被看作為透明的。因此，得到可視圖像，該可視圖像相應於所關心的視頻的 圖像，帶有被覆蓋在這個圖像上的一個或多個圖形對象。平面組合器PLC因此響應於視頻 面序列VPS和圖形面序列GPS而提供可視圖像序列VIS。在可視圖像中具有前景位置的圖形對象典型地將遮蔽在可視圖像所基於的視頻 面上存在的一個或多個對象。例如，圖2所示的房屋可以是在視頻面上所包括的一個對象。 在同一個圖上所示的樹可以是在圖形面上所包括的圖形對象，該圖形面被覆蓋在視頻面 上。樹遮蔽房屋的一部分，這在立體呈現中可能引起此前參照圖2和圖3所解釋的偽像。當圖形對象遮蔽視頻面的一部分時，立體呈現的偽像潛在地具有相當高的可見 度，因此它也具有相當高的令人討厭的程度。這是因為圖形對象典型地將是相對較接近虛 擬觀察者的，而視頻面上的一個或多個被遮蔽的對象典型地將是離虛擬觀察者相對較遠 的。也就是，在深度上將有相對較大的差別。在這樣的情形下，通常很難藉助於此前提到的 空洞填充技術來減輕上述的偽像。下文中給出防止偽像的精巧的技術，它牽涉到遮蔽分析 器OCA、補充構成緩衝器CB2和遮蔽數據生成器0DG。遮蔽分析器OCA根據在圖形數據流GDS中存在的構成分段CS來生成遮蔽構成分 goes。正如此前解釋的，構成分段應用到特定的圖形對象。構成分段指示在可視圖像中將 由圖形對象佔用的區域。假設圖形對象具有前景位置，通常是這樣的情形。由圖形對象佔 用的區域於是構成遮蔽的區域。構成分段指示這個遮蔽區域。遮蔽分析器OCA使用這個信 息來生成遮蔽構成分段，它涉及到在其中將出現所關心的圖形對象的可視圖像。可選地，遮 蔽分析器OCA也可以使用深度信息(如果其可提供的話)用於生成遮蔽構成分段。遮蔽構 成分段OCS被暫時存儲在補充構成緩衝器CB2中。遮蔽構成分段可被看作為構成分段的適配的版本。遮蔽構成分段指示在可視圖像 上的遮蔽區域。遮蔽區域可以對應於所關心的圖形對象佔用的區域。遮蔽區域也可以對應 於所關心的圖形對象佔用的區域的邊界部分。在概念上，該邊界部分可以如下地建立。把 剪切器(cutter)放置在，可以說，離圖形對象輪廓的給定距離處的所關心的區域內。剪切 器沿該輪廓而行，同時保持該給定的距離。邊界部分被包括在圖形對象的輪廓與剪切器所 沿路徑之間。不過，可以使用不同的技術來建立邊界部分。例如，邊界部分可以按照固定尺 寸的塊被定義，這對應於為補償遮蔽所需要的實際邊界部分的圓滑(round off)。邊界部分可以具有固定的尺寸。也就是，用以放置上述剪切器的給定的距離可以 是固定的，或定義邊界部分的塊的數目可以是固定的。邊界部分也可以具有依賴於深度信 息的尺寸，該深度信息指示在所關心的圖形對象與一個或多個被遮蔽的對象之間的深度上 的差值。這個深度上的差值越大，邊界部分的尺寸應當越大。這最後的方法與其中邊界部 分具有固定尺寸的方法相比，需要更多的計算工作量。實際上，固定尺寸的邊界部分通常將提供令人滿意的結果。這是因為立體顯示器 通常可以僅僅再現相對適度的量的深度。而且，觀看者典型地可以以舒服的方式僅僅體驗相對適度的量的深度。具有相對較大的深度變化的立體呈現可使觀看者頭痛。因此，邊界 部分可被給予固定的尺寸，這個固定的尺對應於由顯示器技術或人體生理學或二者所定義 的最大深度變化。圖形控制器GCT按照可應用的定時方案取裝遮蔽構成分段0CS，它們被暫時存儲 在補充構成緩衝器CB2中。例如，圖形控制器GCT對於每個圖形對象可以應用以下的方 案。圖形控制器GCT首先取裝和處理屬於所關心的圖形對象的構成分段，以便於把一組圖 形_構成控制參數PG施加到圖形對象構成器G0C。圖形控制器GCT隨後取裝由遮蔽分析器 OCA根據所關心的構成分段生成的遮蔽構成分段。圖形控制器GCT以類似於用以處理構成 分段的方式的方式處理遮蔽構成分段。因此，圖形控制器GCT建立一組遮蔽數據生成控制 參數P0。這組遮蔽數據生成控制參數PO涉及到特定的可視圖像，S卩，其中將出現所關心的 圖形對象的可視圖像。遮蔽數據生成器ODG接收該組遮蔽數據生成控制參數PO。該組遮蔽數據生成控制 參數PO涉及到在視頻面序列VPS中的特定的視頻面，即，將被使用來形成在其中將出現所 關心的圖形對象的可視圖像的那個視頻面。該組遮蔽數據生成控制參數PO還涉及到特定 的深度圖，即，與所關心的視頻面相關聯的深度圖。遮蔽圖像構成器Oic可以從立體視頻譯 碼器SVD得到所關心的視頻面。緩衝器可被使用來暫時存儲所關心的視頻面。以類似的方 式，遮蔽深度圖構成器ODC可以從立體視頻解碼器SVD得到所關心的深度圖。遮蔽圖像構成器OIC根據感興趣的視頻面和由圖形控制器GCT提供的那組遮蔽數 據生成控制參數PO來形成遮蔽圖像。遮蔽圖像包括感興趣的視頻面的選擇的部分。所選 擇的部分對應於由感興趣的遮蔽構成分段指示的遮蔽區域。正如前面提到的，遮蔽區域可 以對應於在所關心的可視圖像上由所關心的圖形對象佔用的區域的邊界部分。也就是，這 個邊界部分可以構成感興趣的視頻面的所選擇的部分。遮蔽圖像構成器OIC可以從感興趣 的視頻面剪切，可以說，該選擇的部分，並把該選擇的部分粘貼在空的圖像上，以便得到遮 蔽圖像。以類似的方式，遮蔽深度圖構成器ODC根據感興趣的深度圖和該組遮蔽數據生成 控制參數PO來形成遮蔽深度圖。遮蔽深度圖像包括對應於視頻面的所選部分的、深度圖的 選擇的部分。遮蔽深度圖構成器ODC可以從感興趣的深度圖剪切，可以說，所選擇的部分， 並把該選擇的部分粘貼在空的深度圖上，以便得到遮蔽深度圖。遮蔽構成分段和從其得出 的那組遮蔽數據生成控制參數P0，在概念上，可被看作為定義所關心的視頻面和所關心的 深度圖的特定部分的模板，該特定的部分分別構成遮蔽圖像和遮蔽深度圖。遮蔽數據生成器ODG提供遮蔽圖像序列OIS和遮蔽深度圖序列0DS。這些序列可 以幫助顯示設備DPL提供無偽像的立體觀看體驗，這可以例如根據圖2和圖3而被理解。 遮蔽圖像包括在可視圖像中缺失的部分，但這些部分對於生成用於立體呈現的適當的一組 不同視圖可能是需要的。遮蔽圖像優選地只包括在可視圖像上被遮蔽的區域的相關邊界部 分，正如此前解釋的。遮蔽深度圖提供關於缺失部分的深度信息，這些缺失部分在與其相關 聯的遮蔽圖像中被表示。後端模塊BEM根據可視圖像序列VIS、深度圖序列DMS、遮蔽圖像序列OIS和遮蔽 深度圖序列0DS，提供視聽數據流AVD0視聽數據流AVD包括經由圖1所示的連接CX被傳 送到顯示設備DPL的輸出圖像序列。輸出圖像包括可視圖像、深度圖、遮蔽圖像和深度遮蔽
11圖像。輸出圖像可以用許多不同的方式來輸送可視信息、在某處信息(at information)和 遮蔽信息。圖5圖示在視聽數據流AVD內的輸出圖像01。輸出圖像OI是具有四個象限的鑲 嵌式圖像，這四個象限是左上象限、右上象限、左下象限、和右下象限。左上象限包括可視 圖像，它是視頻面與圖形面的組合。視頻面表示城堡。圖形面表示正在向玻璃杯注入的瓶 子。瓶子和玻璃杯可以是單獨的圖形對象，或者可以由單個圖形對象來代表。總之，圖形面 被覆蓋在視頻面上，使得正在向玻璃杯注入的瓶子遮蔽城堡的一部分。右上象限包括深度圖。該深度圖包括對應於正在向玻璃杯注入的瓶子的白色區 域。這個白色區域指示上述的對象是相對較接近虛擬觀察者的。深度圖的其餘部分具有淺 灰色的、暗的外觀，其指示在視頻面中的對象，諸如城堡，離虛擬觀察者相對較遠。左下象限包括遮蔽圖像。為了簡化和清晰起見，該遮蔽圖像基本上對應於在可視 圖像上由正在向玻璃杯注入的瓶子遮蔽的視頻面的一部分。重要的是，該遮蔽圖像只包括 視頻面的特定的部分，而不是包括視頻面整體。這節省了帶寬。類似的評論適用於包括遮 蔽深度圖的右下象限。遮蔽深度圖只包括深度圖的特定部分，該特定部分提供關於在可視 圖像上被遮蔽的對象的深度信息。應當指出，可視圖像在水平和垂直方向上具有的解析度是輸出圖像的解析度的一 半。例如，輸出圖像OI可以具有例如1920x1080像素的矩陣的形式。也就是，輸出圖像OI 可包括1080行，每行1920像素。在那種情形下，可視圖像包括540行，每行960像素。可 視圖像因此具有相對較低的解析度。然而，這不一定是個問題，因為立體顯示設備可以具有 相對等的低解析度。正如此前解釋的，自動立體顯示設備實際上犧牲了解析度，以便呈現多 個視圖尺寸來達到深度的印象。對於可視圖像來說，不需要具有超過立體顯示設備DPL的 解析度。如圖4所示的後端模塊BEM可以把頭標嵌入到輸出圖像中。頭標可以具有比特序 列的形式或字節序列的形式，它提供關於特定類型的信息存在於輸出圖像中何處的指示。 例如，頭標可以指示左上象限包括深度圖，左象限包括遮蔽圖像，以及右下象限包括遮蔽 深度圖。頭標可以提供另外的指示，這些指示對於適當地呈現輸出圖像可能是有用的，可更 確切地說，可視圖像包括在其中。頭標可以以如下方式被嵌入在輸出圖像中。指定一組像素作為來自頭標的比特的 載體。該組像素優選地被指定成使得在屬於該組的、任何給定的像素對之間，在輸出圖像中 有至少一個像素不屬於該組。換句話說，防止在輸出圖像中的兩個相鄰像素用作為頭標比 特載體。對於形成該組的一部分的每個像素，給定的像素分量被指派以對應於來自頭標的 一個或多個比特的數值。優選地，給定的像素分量的每個比特被指派以相同的數值，它代表 來自頭標的特定的比特。這樣的冗餘性使得頭標更魯棒地對抗亮度、對比度設置值和噪聲 中的改變。結論性評論上文中參照附圖的詳細說明僅僅是對於在權利要求中定義的本發明和附加特徵 的舉例說明。本發明可以以許多不同的方式被實施。為了舉例說明這一點，簡要地指出某 些替換例。本發明可以在牽涉到立體圖像呈現的任何類型的產品或方法中被應用來獲益。包括如圖5所示的光碟播放器的立體呈現系統僅僅是一個例子。本發明同樣可以在例如符合 比如藍光光碟標準的、被安排來接收和處理數據流的接收機中被應用來獲益。這樣的數據 流可以經由網絡(比如像網際網路)到達接收機。數據載體不一定是光碟的形式。例如，可 寫存儲器——其可以是集成電路的形式——可包括已按照本發明通過編碼一個或多個圖 像而得到的數據的組件。本發明不需要任何特定類型的立體顯示設備。在本詳細說明中提 到的自動立體顯示器僅僅是例子。立體顯示設備也可以是需要觀看者佩戴一副眼鏡的那種 類型其中的一個眼鏡片把左眼視圖或其序列傳遞到左眼，而另一個眼鏡片把右眼視圖或 其序列傳遞到右眼。這樣的立體顯示設備交替地顯示左眼視圖和右眼視圖。本發明可以在許多不同類型的應用中被應用來獲益。上文中的詳細說明提及藍光 光碟應用。然而，本發明也可以被應用於DVD應用(DVD是數字通用盤的縮寫)。DVD應用 支持用於動畫、菜單和字幕的圖形的覆蓋的子畫面。這些子畫面是遊程長度編碼的位圖。 DVD播放器可以解碼這些遊程長度編碼的位圖，並且把這樣得到的子畫面覆蓋在視頻背景 上。這種覆蓋是按照在描述子畫面應當如何被覆蓋的所謂子畫面控制命令中定義的信息來 完成的。一個子畫面控制命令描述一個矩形，其規定子畫面應當被覆蓋在其上的、視頻背景 上的區域。這個信息類似於在藍光光碟應用內被包括在構成分段中的信息。有許多使得圖形數據可提供給再現設備的不同的方式。在參照圖5描述的例子 中，圖形數據連同可視數據一起被記錄在光碟上。然而，回放設備PLY可以經由網絡NW和 網絡接口 NIF從遠端伺服器SRV檢索圖形數據。回放處理器PRP因此可以從網絡接口 NIF 接收網絡數據流NDS形式的圖形數據。對於在光碟上存在的內容，選擇立體呈現模式的用 戶可以觸發對於與所關心的內容相關聯的圖形數據的這樣的檢索。在光碟上也存在的應用 數據可以指示從其可以檢索到賦予立體感覺(stereo-enabling)的數據的特定的網際網路 地址或一組這樣的地址。所述檢索常可能要付費。有許多可以把遮蔽有關的信息傳送到顯示設備的不同的方式。圖5圖示了其中把 與遮蔽有關的信息包括到輸出圖像中的實現。也就是，使用連接CX形式的單個信道，用於 傳送所有的相關信息到顯示設備DPL。在另一個實現中，與遮蔽有關的信息可以經由單獨的 信道被發送到顯示設備。這樣的單獨的信道可以具有相對適度的帶寬，因為與遮蔽有關的 信息典型地需要適度的數據量。這是因為由於本發明，與遮蔽有關的信息被限於對於免除 偽像的立體呈現的用途所實際需要的東西。可以避免任何額外開銷。而且，可以使用壓縮技 術，以使得與遮蔽有關的信息，可以說，裝入(fit in)甚至更小量的數據。由於本發明，經 由單獨的信道發送與遮蔽有關的信息是有利的，該單獨的信道可能具有相對較低的帶寬， 且因而可以是相對較便宜的。優點在於，在帶寬方面，視頻傳輸信道可以被充分使用，這允 許視頻的高解析度立體呈現。在這方面，應當指出，預期立體顯示設備在不久的將來提供更 高的解析度。在與遮蔽有關的信息被包括在輸出圖像中的情形下，有許多方式來這樣做。圖5 圖示了在其中輸出圖像實際上被劃分成四個象限的例子，每個象限承載不同類型的信息。 在另一個實現中，與遮蔽有關的信息可被包括在一組上面的行和一組下面的行中。壓縮技 術可被用於使與遮蔽有關的信息適應於輸出圖像上的相對較小數目的行或相對較小的區 域。這同樣適用於與深度有關的信息。而且，在輸出圖像中的除了可視信息以外的其他信 息，可以說，可被隨機化。隨機化使得這個其他信息在輸出圖像由於錯誤的使用而被「照原
13樣」顯示的情形下不太引人注目。顯示處理器可以以許多不同的方式檢測輸出圖像的特定的格式。不需要在輸出圖 像中的頭標。例如，顯示處理器可以被預先編程來按照特定的格式解譯和處理輸出圖像。在 又一個實現中，顯示處理器可以分析輸出圖像、或一系列輸出圖像，以便識別在其中可能存 在賦予立體感覺的數據的一個或多個特定區域。這樣的自動檢測可以是基於統計分析在 包括可視數據的區域與包括賦予立體顯示的數據的區域之間將有不連續性。而且，這種不 連續性將出現在每個圖像上。圖1和圖4所示的任一例子可以以方法的形式被實施。也就是，在這些圖上出現 的任何方框可以代表方法的一個或多個特定的步驟。例如，在圖4上被指定為GSP的方框 代表圖形流處理步驟以及圖形流處理器。在圖1上被指定為GCT的方框代表用於圖形構成 的控制步驟以及圖形控制器。在圖1上被指定為OIC的方框代表遮蔽圖像構成步驟以及遮 蔽圖像構成器，以及對於上述的可被解譯為流程圖的每個圖上的每個方框均是如此。有許多的藉助於硬體或軟體的項目或二者來實施功能的方式。在這方面，附圖完 全是圖解性的，每個附圖只代表本發明的一個可能的實施例。因此，雖然附圖把不同的功能 顯示為不同的方框，但這決不排除硬體或軟體的單個項目實行幾個功能。也不排除硬體或 軟體或二者的項目的集合實行一個功能。應當指出，如圖2所示的任何功能實體可以藉助 於軟體或硬體、或軟體和硬體的組合而被實施。例如，任何功能實體可以通過適當地編程可 編程處理器而被實施——這是基於軟體的實現，或者任何功能實體可以具有專用電路的形 式——這是基於硬體的實現。混合的實現可能牽涉到一個或多個適當地編程的處理器以及 一個或多個專用電路。上文做出的評論表明參照附圖的詳細說明是舉例說明本發明而不是限制本發 明。有許多的屬於所附權利要求的範圍內的替換例。在權利要求中的任何參考標號不應當 被解釋為限制權利要求。單詞「包括」不排除除了在權利要求中列出的那些單元或步驟以 外的其它單元或步驟的存在。在單元或步驟前面的單詞「一」或「一個」(「a」或「an」)不 排除多個這樣的單元或步驟的存在。
1權利要求
一種圖像處理器(PLY)，用於處理定義基本圖像和圖形對象的數據的組件(DDS)，該數據的組件包括構成數據(CS)，所述構成數據定義圖形對象在輸出圖像(OI)中的給定的外觀，其中圖形對象覆蓋基本圖像的一部分，所述圖像處理器包括 遮蔽分析器(OCA)，用於根據構成數據(CS)建立遮蔽指示(OCS)，該遮蔽指示規定在基本圖像上的一個區域，該區域在輸出圖像(OI)上將被圖形對象遮蔽，但它在輸出圖像的立體呈現中可以被去除遮蔽； 遮蔽數據生成器(ODG)，用於根據遮蔽指示(OCS)和基本圖像來構成遮蔽圖像，該遮蔽圖像代表對應於由遮蔽指示規定的區域的、該基本圖像的一部分。
2.如權利要求1中要求的圖像處理器，該遮蔽分析器(OCA)被安排成提供遮蔽指示 (OCS)以作為構成數據(CS)的適配，該圖像處理器包括-圖形控制器(GCT)，用於以類似的方式處理構成數據(CS)和遮蔽指示(OCS)，由此遮 蔽指示的處理提供用於遮蔽數據生成器(ODG)的遮蔽數據生成控制參數。
3.如權利要求1中要求的圖像處理器，該遮蔽分析器(OCA)被安排成把基本圖像中將 被圖形對象遮蔽的區域定義為該圖形對象的固定尺寸的邊界部分。
4.如權利要求1中要求的圖像處理器，該遮蔽分析器(OCA)被安排成把基本圖像中將 被圖形對象遮蔽的區域定義為該圖形對象的可變尺寸的邊界部分，該邊界部分具有依賴於 深度指示的尺寸，該深度指示指明在圖形對象與該圖形對象將遮蔽的區域之間的深度上的 差值。
5.如權利要求1中要求的圖像處理器，該遮蔽數據生成器(ODG)包括遮蔽深度圖構成 器(ODC)，用於根據遮蔽指示(OCS)和與基本圖像相關聯的深度圖來構成遮蔽深度圖，該遮 蔽深度圖代表對應於由遮蔽指示定義的區域的、該深度圖的一部分。
6.如權利要求1中要求的圖像處理器，包括-後端模塊(BEM)，用於把遮蔽圖像包括到輸出圖像(OI)中。
7.如權利要求6中要求的圖像處理器，該後端模塊(BEM)被安排成把頭標嵌入在輸出 圖像(OI)中，該頭標指示在輸出圖像中包括有遮蔽圖像的區域。
8.如權利要求1中要求的圖像處理器，被安排成按照藍光光碟標準運行，其中所述 數據的組件(DDS)包括至少一個代表圖形對象的圖形對象分段和至少一個包括構成數據 (CS)的構成分段。
9.一種立體視頻呈現系統(VSY)，其包括如權利要求1中要求的圖像處理器(PLY)，和 用於顯示由該圖像處理器提供的輸出圖像(OI)的立體顯示設備(DPL)。
10.一種處理定義基本圖像和圖形對象的數據的組件(DDS)的方法，該數據的組件包 括構成數據(CS)，其定義圖形對象在輸出圖像(OI)中的給定的外觀，其中圖形對象覆蓋基 本圖像的一部分，所述方法包括-遮蔽分析步驟，其中根據構成數據(CS)建立遮蔽指示(OCS)，該遮蔽指示定義在基本 圖像上的一個區域，該區域在輸出圖像(OI)上將被圖形對象遮蔽，但它在輸出圖像的立體 呈現中可以被去遮蔽；-遮蔽數據生成步驟，其中根據遮蔽指示(OCS)和基本圖像來構成遮蔽圖像，該遮蔽圖 像代表對應於由遮蔽指示定義的區域的、該基本圖像的一部分。
11.一種電腦程式產品，其包括一組指令，所述指令在被裝載到可編程處理器中時使得該可編程處理器實行如權利要求10中要求的方法。全文摘要
一種圖像處理器，其處理定義基本圖像和圖形對象的數據的組件(DDS)。該數據的組件(DDS)包括構成數據(CS)，其定義圖形對象在輸出圖像中的給定的外觀，其中圖形對象覆蓋基本圖像的一部分。所述圖像處理器包括遮蔽分析器(OCA)，用於根據構成數據(CS)建立遮蔽指示(OCS)。遮蔽指示(OCS)規定在基本圖像上的一個區域，該區域在輸出圖像上將被圖形對象遮蔽，但它在輸出圖像的立體呈現時可以被去除遮蔽。遮蔽數據生成器(ODG)根據遮蔽指示(OCS)和基本圖像來構成遮蔽圖像。遮蔽圖像代表對應於由遮蔽指示(OCS)規定的區域的、該基本圖像的一部分。
文檔編號G06T15/50GK101911124SQ200880123012
公開日2010年12月8日 申請日期2008年12月19日 優先權日2007年12月26日
發明者P·S·牛頓 申請人:皇家飛利浦電子股份有限公司