立體圖像數據發送裝置、立體圖像數據發送方法、立體圖像數據接收裝置和立體圖像數據...的製作方法

2023-05-01 00:19:21

專利名稱：立體圖像數據發送裝置、立體圖像數據發送方法、立體圖像數據接收裝置和立體圖像數據 ...的製作方法
技術領域：
本發明涉及立體圖像數據發送裝置、立體圖像數據發送方法、立體圖像數據接收裝置和立體圖像數據接收方法，具體涉及能夠有利地執行疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息)的顯示的立體圖像數據發送裝置等。
背景技術：
例如，在PTL 1中提出了一種用於使用電視無線電波發送立體圖像數據的方法。 在該情況下，發送包括左眼圖像數據和右眼圖像數據的立體圖像數據，並且在電視接收機中執行使用雙眼視差的立體圖像顯示。圖66圖示在使用雙眼視差的立體圖像顯示中，屏幕上的對象的左和右圖像的顯示位置以及由其形成的立體圖像的再現位置之間的關係。例如關於對象A，如圖中所示，顯示其左圖像La以便偏移到右側，並且顯示其右圖像Ra以便偏移到屏幕的左側，左視線和右視線在屏幕表面前方交叉，因此其立體圖像的再現位置在屏幕表面的前方。此外，例如關於對象B，如圖中所示，其左圖像Lb和右圖像Rb顯示在屏幕上的相同位置，左視線和右視線在屏幕表面上交叉，並且其立體圖像的再現位置在屏幕表面上。此外，例如，關於對象C，如圖中所示，顯示其左圖像Lc以便偏移到屏幕的左側，並且顯示其右圖像Rc以便偏移到屏幕的右側，左視線和右視線在屏幕表面後方交叉，因此其立體圖像的再現位置在屏幕表面的後方。引用列表專利文獻PTL 1 日本未審專利申請公開No. 2005-6114

發明內容
如上所述，在立體圖像顯示中，觀眾通常使用雙眼視差識別立體圖像中的透視圖。 關於要疊加在圖像上的疊加信息，如隱藏字幕信息、字幕信息、圖形信息和文本信息，例如預期不僅在二維空間中，而且在三維透視圖中與立體圖像顯示相結合地呈現。例如，在執行圖像上的字幕的疊加顯示(重疊顯示)的情況下，該字幕為隱藏字幕信息或字幕信息，觀眾可能感覺透視不一致，除非該字幕在透視圖方面顯示在圖像中的最近對象的前方。此外，在執行圖像上的其它圖形信息或文本信息的疊加顯示的情況下，預期要根據圖像中的各個對象的透視圖執行視差(disparity)調整，並且要維持透視一致性。本發明的目的是在疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息) 的顯示中維持圖像中的各個對象之間的透視一致性。本發明的構思在於一種立體圖像數據發送裝置，包括視差信息創建單元，其創建視差信息組，在該視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視差信息；以及數據發送單元，其將由視差信息創建單元創建的視差信息組與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送。在本發明中，通過視差信息創建單元創建視差信息組。在該視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視差信息。例如，給形成視差信息組的每條視差信息增加該條視差信息所屬的底層(bottom layer)的位置信息(塊ID等)。由視差信息創建單元創建的視差信息組與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起由數據發送單元發送。以此方式，在本發明中，左眼圖像和右眼圖像之一關於另一個的視差信息與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送，用於顯示立體圖像。因此，在接收器側，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加在左眼圖像和右眼圖像上的相同疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息)，使得在疊加信息的顯示中可以維持圖像中的各個對象之間的透視一致性。此外，在該視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層中的各個區域的各條視差信息。因此，在接收器側，可以容易地檢索和使用對應於疊加信息的疊加位置的視差信息。也就是說，在接收機側，用於獲得對應於疊加信息的疊加位置的視差信息的計算等是不必要的，這實現了簡單配置。本發明的另一構思在於一種立體圖像數據接收裝置，包括數據接收單元，其接收視差信息組以及包括左眼圖像數據和右眼圖像數據的立體圖像數據，在該視差信息組中， 按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視差信息；以及圖像數據處理單元，其使用由數據接收單元接收的左眼圖像數據和右眼圖像數據以及由數據接收單元接收的視差信息組， 將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據。在本發明中，通過數據接收單元接收視差信息組以及包括左眼圖像數據和右眼圖像數據的立體圖像數據。在該視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視
差fe息。使用左眼圖像數據和右眼圖像數據以及視差信息組，通過圖像數據處理單元將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據。以此方式，基於視差信息組將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息。因此，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得在疊加信息的顯示中可以維持圖像中的各個對象之間的透視一致性。此外，在視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層中的各個區域的各條視差信息。因此，可以容易地檢索和使用對應於疊加信息的疊加位置的視差信息。即，用於獲得對應於疊加信息的位置的視差信息的計算不是必須的，這實現了簡單配置。
此外，本發明的另一構思在於一種立體圖像數據發送裝置，包括視差信息輸出單元，其輸出左眼圖像和右眼圖像之一關於另一個的視差信息；以及數據發送單元，其將從視差信息輸出單元輸出的視差信息與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送，其中從視差信息輸出單元輸出的視差信息包括圖像數據的各個特定單元的各條視
差fe息。在本發明中，通過數據發送單元將從視差信息輸出單元輸出的左眼圖像和右眼圖像之一關於另一個的視差信息與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送。在該情況下，從視差信息輸出單元輸出的視差信息包括圖像數據的各個特定單元的各條視差信息。特定單元可以是例如畫面的單元(幀)。以此方式，在本發明中，將左眼圖像和右眼圖像之一關於另一個的視差信息與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送，用於顯示立體圖像。因此，在接收器側，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得在疊加信息的顯示中可以維持圖像中的各個對象之間的透視一致性。此外，在本發明中，從視差信息輸出單元輸出的視差信息包括圖像數據的各個特定單元的各條視差信息。因此，在接收器側，在疊加信息的疊加時段中，基於對應的一條視差信息的視差可以給到圖像數據的每個特定單元中的疊加信息。即，給到疊加信息的視差可以結合圖像內容的改變動態地改變。此外，在本發明中，例如數據發送單元可以根據各個特定時段劃分圖像數據，並且在發送各個特定時段的各條圖像數據之前，發送對應於各個特定時段的各條圖像數據的各個特定單元的各條視差信息。在該情況下，在接收器側，在疊加信息的發送時段中，基於從對應於疊加時段的視差信息中選擇的特定一條視差信息的視差可以給到疊加信息。即，疊加信息的疊加時段中的最大視差可以給到疊加信息，而不管圖像內容的改變。此外，本發明的另一構思在於一種立體圖像數據接收裝置，包括數據接收單元， 其接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及圖像數據處理單元，其使用由數據接收單元接收的左眼圖像數據、右眼圖像數據以及視差信息，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據，其中由數據接收單元接收的視差信息包括圖像數據的各個特定單元的各條視差信息，以及其中圖像數據處理單元在疊加信息的疊加時段中，將基於對應的一條視差信息的視差給到圖像數據的各個特定單元中的疊加信息。在本發明中，使用由數據接收單元接收的視差信息以及包括左眼圖像數據、右眼圖像數據的立體圖像數據，通過圖像數據處理單元將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據。在該情況下，由數據接收單元接收的視差信息包括圖像數據的各個特定單元的各條視差信息。在圖像數據處理單元中，在疊加信息的疊加時段中將基於對應的一條視差信息的視差給到圖像數據的各個特定單元中的疊加信息。以此方式，基於視差信息將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加
7信息。因此，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得在疊加信息的顯示中可以維持圖像中的各個對象之間的透視一致性。此外，在圖像數據處理單元中，在疊加信息的疊加時段中將基於對應的一條視差信息的視差給到圖像數據的各個特定單元中的疊加信息。因此，給到疊加信息的視差可以結合圖像內容的改變動態地改變。此外，本發明的另一構思在於一種立體圖像數據接收裝置，包括數據接收單元， 其接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及圖像數據處理單元，其使用由數據接收單元接收的左眼圖像數據、右眼圖像數據以及視差信息，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據，其中由數據接收單元接收的視差信息包括圖像數據的各個特定單元的各條視差信息，其中在疊加時段之前，數據接收單元至少接收對應於疊加信息的疊加時段的視差信息，以及其中圖像數據處理單元在疊加信息的疊加時段中將基於從對應於疊加時段的視差信息中選擇的特定的一條視差信息的視差給到疊加信息。在本發明中，使用由數據接收單元接收的視差信息以及包括左眼圖像數據、右眼圖像數據的立體圖像數據，通過圖像數據處理單元將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據。在該情況下，由數據接收單元接收的視差信息包括圖像數據的各個特定單元的各條視差信息。在數據接收單元中，在疊加時段之前，至少接收對應於疊加信息的疊加時段的視差信息。此外，在圖像數據處理單元中，在疊加信息的疊加時段中將基於從對應於疊加時段的視差信息中選擇的特定的一條視差信息的視差給到疊加信息。例如，該特定的一條視差信息被當作指示對應於疊加時段的視差信息中的最大視差的視差信息。以此方式，基於視差信息將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息。因此，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加到左眼圖像和右眼圖像上的相同疊加信息，使得在疊加信息的顯示中可以維持圖像中的各個對象之間的透視一致性。此外，在圖像數據處理單元中，在疊加信息的疊加時段中將基於從對應於疊加時段的視差信息中選擇的特定的一條視差信息的視差給到疊加信息。因此，疊加信息的疊加時段中的最大視差可以給到疊加信息，而不管圖像內容的改變。此外，本發明的另一構思在於一種立體圖像數據接收裝置，包括數據接收單元， 其接收左眼圖像和右眼圖像之一關於另一個的視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及數據發送單元，其經由發送路徑將由數據接收單元接收的左眼圖像數據、右眼圖像數據和視差信息發送到外部裝置。在本發明中，通過數據接收單元接收左眼圖像和右眼圖像之一關於另一個的視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據。然後，經由發送路徑，通過數據發送單元將接收的左眼圖像數據、右眼圖像數據和視差信息發送到外部裝置。在本發明中，例如數據發送單元使用多個信道並使用差分信號經由發送路徑將圖像數據發送到外部
8裝置，並且通過將視差信息插入圖像數據的消隱時段將視差信息發送到外部裝置。此外，在本發明中，例如數據發送單元包括發送數據生成單元，其生成其中視頻場時段用作單元的發送數據，該視頻場時段使用垂直同步信號劃分，並且包括水平消隱時段、垂直消隱時段和有效視頻時段；以及發送數據發送單元，其使用多個信道並使用差分信號經由發送路徑將由發送數據生成單元生成的發送數據發送到外部裝置。有效視頻時段包括主要視頻區域和輔助視頻區域。發送數據生成單元將圖像數據安排在主要視頻區域中， 並且將與主要視頻區域中安排的圖像數據有關的視差信息安排在輔助視頻區域中。以此方式，在本發明中，經由發送路徑將左眼圖像和右眼圖像之一關於另一個的視差信息以及左眼圖像數據和右眼圖像數據發送到外部裝置。因此，在外部裝置中，例如在如電視接收機的圖像顯示裝置中，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加到左眼圖像和右眼圖像上的相同疊加信息(如菜單和節目表)，並且在疊加信息的顯示中可以維持圖像中的各個對象之間的透視一致性。根據本發明，在立體圖像數據(左眼圖像數據和右眼圖像數據)的接收器側，其中已經根據圖像中的各個對象的透視圖執行視差調整的疊加信息可以用作要疊加到左眼圖像和右眼圖像上的相同疊加信息，並且在疊加信息的顯示中可以維持透視一致性。


圖1是圖示作為本發明實施例的立體圖像顯示系統的示例配置的框圖。圖2是圖示廣播站中的發送數據生成單元的示例配置的框圖。圖3是圖示1920X 1080像素的像素格式的圖像數據的圖。圖4包括用於說明作為用於發送立體圖像數據(3D圖像數據)的方法的「上下」方法、「並排」方法和「幀順序」方法的圖。圖5是用於說明檢測右眼圖像關於左眼圖像的視差矢量的示例的圖。圖6是用於說明使用塊匹配方法獲得視差矢量的圖。圖7包括圖示由視差矢量檢測單元檢測的、在圖像的特定位置的視差矢量VV的示例的圖。圖8是圖示視差矢量的發送內容的圖。圖9包括圖示視差檢測塊和該情況下視差矢量的發送內容的示例。圖10包括用於說明用於檢測和發送視差矢量的定時的示例的圖。圖11是用於說明用於檢測和發送視差矢量的定時的示例的圖。圖12是圖示在發送數據生成單元中復用的各個數據流的示例的圖。圖13是圖示廣播站中的發送數據生成單元的另一示例配置的框圖。圖14圖示在廣播站中的發送數據生成單元中復用的各個流的示例。圖15是圖示廣播站中的發送數據生成單元的另一示例配置的框圖。圖16圖示在廣播站中的發送數據生成單元中復用的各個流的示例。圖17包括用於說明在發送方法是第一發送方法(「上下」方法)的情況下，左眼圖形信息和右眼圖形信息的疊加位置等的圖。圖18包括用於說明在發送方法是第一發送方法(「上下」方法)的情況下，用於生成左眼圖形信息和右眼圖形信息的方法的圖。
圖19包括用於說明在發送方法是第二發送方法(「並排」方法)的情況下，用於生成左眼圖形信息和右眼圖形信息的方法的圖。圖20是用於說明在發送方法是第二發送方法(「並排」方法)的情況下、用於生成左眼圖形信息和右眼圖形信息的方法的圖。圖21是圖示廣播站中的發送數據生成單元的另一示例配置的框圖。圖22是圖示廣播站中的發送數據生成單元的另一示例配置的框圖。圖23是圖示在各個像素的視差矢量的值用作各個像素的亮度值的情況下的示例圖像的圖。圖M是圖示各個塊的視差矢量的示例的圖。圖25包括圖示在發送數據生成單元中的視差信息組創建單元中執行的縮小化 (downsizing)處理的示例的圖。圖沈是用於說明在由視差信息組創建單元管理的各個層中的各個區域的視差矢量的圖。圖27是圖示視差信息組的內容的示例的圖。圖觀包括圖示在發送方法是第二發送方法(「並排」方法)的情況下，左眼圖形信息和右眼圖形信息的疊加位置的圖。圖四包括圖示狀態的圖，該狀態中基於從位流數據提取並使用傳統方法發送的圖形數據的圖形圖像照原樣疊加在左眼圖像和右眼圖像上。圖30包括分別圖示在時間TO、Tl、T2和T3在三個對象位置處的視差矢量(觀看矢量)的圖。圖31包括圖示圖像上的字幕(圖形信息)和背景、前景對象、和字幕的透視圖的示例顯示的圖。圖32包括圖示圖像上的字幕(圖形信息)和用於顯示字幕的左眼圖形信息LGI 和右眼圖形信息RGI的示例顯示的圖。圖33包括用於說明使用在圖像中的多個位置檢測的視差矢量中對應於疊加位置的視差矢量作為視差矢量的圖。圖34包括圖示在圖像中存在各個對象A、B和C以及指示各個對象的注釋的文本信息疊加在這些各個對象的附近的圖。圖35是圖示形成立體圖像顯示系統的機頂盒的示例配置的框圖。圖36是圖示形成機頂盒的位流處理單元的示例配置的框圖。圖37是圖示在視差矢量VVl在電視顯示的方向上的左側的視頻對象中更大的情況下，揚聲器輸出控制的示例的圖。圖38是圖示從廣播站發送的各個數據流和視差矢量之間的對應的圖。圖39是圖示從廣播站發送的各個數據流和視差矢量之間的對應的圖。圖40是圖示形成機頂盒的位流處理單元的另一示例配置的框圖。圖41是圖示從廣播站發送的各個數據流和視差矢量之間的對應的圖。圖42是圖示從廣播站發送的各個數據流和視差矢量之間的對應的圖。圖43是圖示從廣播站發送的各個數據流和視差矢量之間的對應的圖。圖44是圖示形成機頂盒的位流處理單元的另一示例配置的框圖。
10
圖45是圖示形成機頂盒的位流處理單元的另一示例配置的框圖。圖46是圖示形成立體圖像顯示系統的電視接收機的示例配置的圖。圖47是圖示HDMI發送單元(HDMI源)和HDMI接收單元(HDMI宿)的示例配置的框圖。圖48是圖示形成HDMI發送單元的HDMI發送器和形成HDMI接收單元的HDMI接收器的示例配置的框圖。圖49是圖示TMDS發送數據(發送水平1920像素X垂直1080行的圖像數據的情況)的示例結構的圖。圖50是圖示連接到源裝置和宿裝置的HDMI電纜的HDMI端子的引腳布局(類型 A)的圖。圖51是圖示E-EDID的示例數據結構的圖。圖52是圖示供應商特定區域(HDMI供應商特定數據塊)的示例數據結構的圖。圖53是圖示作為立體圖像數據的TMDS發送數據結構之一的幀打包方法的3D視頻格式的圖。圖M是圖示作為立體圖像數據的TMDS發送數據結構之一的行交替方法的3D視頻格式的圖。圖55是圖示作為立體圖像數據的TMDS發送數據結構之一的並排(完整)方法的 3D視頻格式的圖。圖56是圖示形成立體圖像顯示系統的機頂盒的另一示例配置的框圖。圖57是圖示形成立體圖像顯示系統的電視接收機的另一示例配置的框圖。圖58是圖示從機頂盒發送到電視接收機的視差信息組的內容示例的圖。圖59是用於說明通過將圖像(畫面)區域劃分為九個塊獲得的各個塊BKO到BK8 以及在該情況下各個塊的視差矢量的排列的圖。圖60是圖示在HDMI供應商特定信息幀用於發送視差信息組的情況下、HDMI供應商特定信息幀的示例分組結構的圖。圖61是圖示在有效空間區域用於發送視差信息組的情況下，HDMI供應商特定信息幀的示例分組結構的圖。圖62是圖示在有效空間區域中安排的視差信息組的配置的圖。圖63是圖示視差信息組結構的各條信息的內容的圖。圖64包括用於說明根據塊大小的每個視差矢量的信息組的排列的示例的圖。圖65是圖示立體圖像顯示系統的另一示例配置的圖。圖66是圖示在使用雙眼視差的立體圖像顯示中，屏幕上對象的左和右圖像的顯示位置與其立體圖像的再現位置之間的關係的圖。
具體實施例方式以下，將描述執行本發明的實施例(以下稱為「實施例」)。注意，將按照下面的順序給出描述。1.實施例2.修改
[立體圖像發送/接收系統的示例配置]圖1圖示作為實施例的立體圖像發送/接收系統10的示例配置。立體圖像發送 /接收系統10包括廣播站100、機頂盒(STB) 200和電視接收機300。機頂盒200和電視接收機300經由HDMI (高清晰度多媒體接口)電纜400相互連接。機頂盒200提供有HDMI端子202。電視接收機300提供有HDMI端子302。HDMI電纜 400的一端連接到機頂盒200的HDMI端子202，並且HDMI電纜400的另一端連接到電視接收機300的HDMI端子302。[廣播站的描述]廣播站100使用無線電波(airwaves)發送位流數據。位流數據包括包含左眼圖像數據和右眼圖像數據的立體圖像數據、音頻數據、疊加信息數據和另外的視差信息(視差矢量)等。這裡，疊加信息數據可以是隱藏字幕數據、字幕數據、圖形數據、文本數據等。[發送數據生成單元的示例配置]圖2圖示廣播站100中的生成上述位流數據的發送數據生成單元110的示例配置。該示例配置是發送作為數字信息的視差矢量的示例。發送數據生成單元110包括照相機IllL和111R、視頻分幀(framing)單元112、視頻編碼器113、視差矢量檢測單元114和視差矢量編碼器115。此外，發送數據生成單元110包括麥克風116、音頻編碼器117、字幕/圖形產生單元118、字幕/圖形編碼器119、文本產生單元120、文本編碼器121和復用器122。注意，在該實施例中，文本產生單元120還用作用於產生隱藏字幕數據的單元。隱藏字幕數據可以是用於顯示隱藏字幕的文本數據。照相機IllL捕獲左眼圖像，並獲得用於顯示立體圖像的左眼圖像數據。照相機 IllR捕獲右眼圖像，並獲得用於顯示立體圖像的右眼圖像數據。視頻分幀單元112將由照相機IllL獲得的左眼圖像數據和由照相機IllR獲得的右眼圖像數據處理為根據發送方法的狀態。[用於發送立體圖像數據的方法的示例]這裡，下面的第一到第三方法用作用於發送立體圖像數據(3D圖像數據)的方法， 但是替代地可以使用其它發送方法。這裡，將給出左眼(L)的圖像數據和右眼(R)的圖像數據的每個是例如1920X1080像素的像素格式的確定解析度的圖像數據的情況的描述， 如圖3所示。 第一發送方法是「上下，，方法，即，用於從垂直方向的第一半發送左眼圖像數據的每條線的數據並從垂直方向的後一半發送右眼圖像數據的每條線的數據的方法，如圖4(a) 所示。在該情況下，左眼圖像數據和右眼圖像數據的線被稀疏為一半，使得垂直解析度減少為原始信號的一半解析度。第二發送方法是「並排，，方法，即，用於從水平方向的第一半發送左眼圖像數據的像素數據並從水平方向的後一半發送右眼圖像數據的像素數據的方法，如圖4(b)所示。在該情況下，在左眼圖像數據和右眼圖像數據的每個中，水平方向上的像素數據被稀疏為一半，使得水平解析度減少為當前信號的一半解析度。第三發送方法是「幀順序方法」，即，用於通過對每場順序地在左眼圖像數據和右
12眼圖像數據之間切換來發送左眼圖像數據和右眼圖像數據的方法，如圖4(c)所示。回來參考圖2，視頻編碼器113對已經根據MPEG4-AVC、MPEG2、VC-1等通過視頻分幀單元112處理的立體圖像數據執行編碼，從而獲得編碼視頻數據。此外，視頻編碼器113 包括後級中的流格式化器113a(formatter)。利用流格式化器113a，視頻編碼器113生成包括有效載荷部分中的編碼視頻數據的視頻基本流。視差矢量檢測單元114基於左眼圖像數據和右眼圖像數據檢測在圖像中的特定位置處的視差矢量，該視差矢量是左眼圖像和右眼圖像之一關於另一個的視差信息。這裡， 圖像中的特定位置可以是所有像素位置、由多個像素構成的各個區域的代表性位置、或要對其疊加疊加信息(這裡如圖形信息或文本信息)的區域的代表性位置。[視差矢量的檢測]將描述檢測視差矢量的示例。這裡，將描述檢測右眼圖像關於左眼圖像的視差矢量的示例。如圖5所示，左眼圖像被當作檢測圖像，並且右眼圖像被當作參考圖像。在該示例中，檢測在位置(xi,yi)和(xj,yj)的視差矢量。將描述檢測在位置(xi，yi)的視差矢量的情況作為示例。在該情況下，設置例如 8X8或16X16的像素塊(視差檢測塊)Bi，其中在位置(xi，yi)處的像素在左眼圖像中的左上。然後，在右眼圖像中搜索匹配像素塊Bi的像素塊。在該情況下，在右眼圖像中設置具有位置(xi，yi)在中心的搜索範圍，並且通過順序地將搜索範圍內的各個像素當作目標像素，順序地設置例如類似於上述像素塊Bi的 8X8或16X16的比較塊。在像素塊Bi和順序設置的比較塊之間獲得相互對應的像素之間的差的絕對值的和。這裡，如圖6所示，當像素塊Bi的像素值為L(x，y)並且比較塊的像素值為R(x，y)時， 像素塊Bi和特定比較塊之間的差的絕對值的和用Σ L(χ, y)-R(x, y) |表示。當在右眼圖像中設置的搜索範圍中包括η個像素時，最終獲得η個和Sl到Sn，並且從它們中選擇最小和Smin。然後，從由其獲得和Smin的比較塊獲得在左上的像素的位置(xi，，yi，)。因此，在位置(xi,yi)的視差矢量檢測為(xi，_xi，yi，-yi)。儘管省略了詳細描述，但是在位置(xj，yj)的視差矢量也以類似處理過程檢測，其中例如設置8X8或 16X16的像素塊Bj，並且在位置(xj，yj)的像素在左眼圖像中的左上。圖7(a)圖示由視差矢量檢測單元114檢測的、在圖像中的特定位置的視差矢量VV 的示例。在該情況下，如圖7(b)所示，左眼圖像(檢測圖像)在該圖像的特定位置處偏移視差矢量VV時，重疊在右眼圖像(參考圖像)上。回來參考圖2，視差矢量編碼器115生成包括由視差矢量檢測單元114檢測的視差矢量的視差矢量的基本流。這裡，視差矢量的基本流包括以下內容。即，ID(ID_Block)、 垂直位置信息(Vertical_Position)、水平位置信息(Horizontal_Position)和視差矢量 (View_Vector)形成一組。然後，該一組重複視差檢測塊的數量，該數量為N。圖8圖示視差矢量的發送內容。視差矢量包括垂直方向分量(VieW_VeCtor_ Vertical)和水平方向分量(View_Vector_Horizontal)。注意，視差檢測塊的垂直和水平位置用作垂直方向和水平方向上從在圖像的左上的原點到塊的左上的像素的偏移值。在發送每個視差矢量時附接視差檢測塊的ID，以便建立到疊加在圖像上的同時顯示的疊加信息 (如隱藏字幕信息、字幕信息、圖形信息和文本信息)的模式的連結。
例如，當視差檢測塊A到F存在時，如圖9 (a)所示，發送內容包括視差檢測塊A到 F的ID、垂直和水平位置信息、以及視差矢量，如圖9(b)所示。例如，在圖9(b)中，關於視差檢測塊A，ID2表示視差檢測塊A的ID，(Ha, Va)表示視差檢測塊A的垂直和水平位置信息，並且視差矢量a表示視差檢測塊A的視差矢量。現在，將描述用於檢測和發送視差矢量的定時。下面的第一到第四示例可用於該定時。在第一示例中，定時與畫面的編碼同步，如圖10(a)所示。在該情況下，以畫面為單位發送視差矢量。畫面是用於發送視差矢量的最小單位。在第二示例中，定時與視頻的場景同步，如圖10(b)所示。在該情況下，以場景為單位發送視差矢量。在第三示例中，定時與編碼視頻的I畫面(內畫面)或GOP(畫面組)同步，如圖 10 (C)所示。在第四示例中，定時與疊加在圖像上的同時顯示的字幕信息、圖形信息、文本信息等的顯示開始定時同步，如圖11所示。回來參考圖2，麥克風116檢測對應於由照相機IllL和IllR捕獲的圖像的音頻， 從而獲得音頻數據。音頻編碼器117根據MPEG-2音頻AAC等對由麥克風116獲得的音頻數據執行編碼，從而生成音頻基本流。字幕/圖形產生單元Il8產生要疊加在圖像上的字幕信息或圖形信息的數據(字幕數據或圖形數據)。字幕信息可以是例如字幕。此外，圖形信息可以是例如標識。字幕數據和圖形數據是位圖數據。字幕數據和圖形數據添加有指示圖像上的疊加位置的空閒 (idling)偏移信息。例如，空閒偏移信息指示在垂直方向和水平方向上、從在圖像的左上的原點到在字幕信息或圖形信息的疊加位置的左上的像素的偏移值。注意，用於發送作為位圖數據的字幕數據的標準通過DVB標準化為DVB_Subtitling並進行操作，DVB是歐洲的數字廣播標準。字幕/圖形編碼器119輸入通過字幕/圖形產生單元118產生的字幕信息或圖形信息的數據(字幕數據或圖形數據)。然後，字幕/圖形編碼器119生成包括有效負載部分中的那些條數據的基本流。文本產生單元120產生要疊加在圖像上的文本信息的數據(文本數據)。文本信息可以是例如電子節目表或文本廣播的內容。如同上述圖形數據，文本數據添加有指示圖像上的疊加位置的空閒偏移信息。例如，空閒偏移信息指示在垂直方向和水平方向上、從在圖像的左上的原點到在文本信息的疊加位置的左上的像素的偏移值。注意，發送文本數據的示例包括美國數字地面標準ATSC的操作用於預約節目和CC_data(隱藏字幕)的EPG。文本編碼器121輸入由文本產生單元120產生的文本數據。然後，文本編碼器121 產生包括有效載荷部分中的數據的基本流。復用器122復用從編碼器113、115、117、119和121輸出的分組化的基本流。然後復用器122輸出用作發送數據的位流數據(傳送流)。將簡單描述圖2所示的發送數據生成單元110的操作。通過照相機IllL捕獲左眼圖像。將通過照相機IllL捕獲並用於顯示立體圖像的左眼圖像數據提供到視頻分幀單元112。此外，通過照相機IllR捕獲右眼圖像。將通過照相機IllR捕獲並用於顯示立體圖像的右眼圖像數據提供到視頻分幀單元112。在視頻分幀單元112中，將左眼圖像數據和右眼圖像數據處理為根據發送方法的狀態，使得獲得立體圖像(見圖4(a)到圖4(c))。通過視頻分幀單元112獲得的立體圖像數據提供到視頻編碼器113。在視頻編碼器113中，根據MPEG4-AVC、MPEG2、VC-1等對立體圖像數據執行編碼，使得生成包括編碼視頻數據的視頻基本流。該視頻基本流提供到復用器122。此外，通過照相機IllL和IllR獲得的左眼圖像數據和右眼圖像數據經由視頻分幀單元112提供到視差矢量檢測單元114。在視差矢量檢測單元114中，基於左眼圖像數據和右眼圖像數據，在圖像中的特定位置處設置視差檢測塊，並且檢測用作左眼圖像和右眼圖像之一關於另一個的視差信息的視差矢量。通過視差矢量檢測單元114檢測的圖像中的特定位置處的視差矢量提供到視差矢量編碼器115。在該情況下，視差檢測塊的ID、視差檢測塊的垂直位置信息、視差檢測塊的水平位置信息和視差矢量作為一組提供。在視差矢量編碼器115中，生成包括視差矢量的發送內容(見圖8)的視差矢量基本流。該視差矢量基本流提供到復用器122。此外，在麥克風116中，檢測對應於由照相機IllL和IllR捕獲的圖像的音頻。通過麥克風116獲得的音頻數據提供到音頻編碼器117。在音頻編碼器117中，根據MPEG-2 音頻AAC等對音頻數據執行編碼，使得生成包括編碼的音頻數據的音頻基本流。該音頻基本流提供到復用器122。此外，在字幕/圖形產生單元118中，產生要疊加在圖像上的字幕信息或圖形信息的數據(字幕數據或圖形數據)。該數據(位圖數據)提供到字幕/圖形編碼器119。字幕/圖形數據添加有指示圖像上的疊加位置的空閒偏移信息。在字幕/圖形編碼器119中， 對圖形數據執行特定編碼，使得生成包括編碼數據的基本流。該基本流提供到復用器122。此外，在文本產生單元120中，產生要疊加在圖像上的文本信息的數據(文本數據)。該文本數據提供到文本編碼器121。如同上述圖形數據，文本數據添加有指示圖像上的疊加位置的空閒偏移信息。在文本編碼器121中，對文本數據執行特定編碼，使得生成包括編碼數據的基本流。該基本流提供到復用器122。在復用器122中，復用從各個編碼器提供的基本流的分組，使得獲得作為發送數據的位流數據(傳送流)BSD。圖12圖示在圖2所示的發送數據生成單元110中復用的各個數據流的示例。注意，該示例示出這樣的情況，其中以視頻場景為單位檢測並且發送視差信息(見圖10(b))。 注意，各個流的分組添加有用於同步顯示的時間戳，使得可以在接收器側控制用於在圖像上疊加字幕信息、圖形信息、文本信息等的定時。[發送數據生成單元的另一示例配置]注意，圖2所示的上述發送數據生成單元110具有用於將視差矢量的發送內容 (見圖8)作為獨立的基本流發送到接收器側的配置。然而，視差矢量的發送內容可以在嵌入另一流中的同時發送。例如，視差矢量的發送內容可以在作為用戶數據嵌入視頻流中的同時發送。此外，例如視差矢量的發送內容可以在嵌入字幕、圖形或文本的流中的同時發送。圖13圖示發送數據生成單元IlOA的示例配置。該示例也是發送作為數字信息的視差矢量的示例。發送數據生成單元IlOA具有用於通過將視差矢量的發送內容作為用戶數據嵌入視頻流中來發送視差示矢量的發送內容的配置。在圖13中，對應於圖2中的那些的部分用相同參考標號表示，並且省略其詳細描述。在發送數據生成單元1IOA中，通過視差矢量檢測單元114檢測的圖像中的特定位置處的視差矢量提供到視頻編碼器113中的流格式化器113a。在該情況下，視差檢測塊的 ID、視差檢測塊的垂直位置信息、視差檢測塊的水平位置信息和視差矢量作為一組提供。在流格式化器113a中，視差矢量的發送內容(見圖8)作為用戶數據嵌入視頻流中。除此以外，圖13所示的發送數據生成單元IlOA與圖2所示的發送數據生成單元 110類似地配置，儘管省略了詳細描述。圖14圖示在圖13中圖示的發送數據生成單元IlOA中復用的圖像數據流、字幕或圖形數據流和文本數據流的示例。視差矢量(視差信息)在嵌入圖像數據流中的同時被發送。[發送數據生成單元的另一示例配置]圖15圖示發送數據生成單元IlOB的示例配置。該示例也是發送作為數字信息的視差矢量的示例。發送數據生成單元IlOB具有用於通過將視差矢量的發送內容嵌入字幕或圖形數據流中來發送視差示矢量的發送內容的配置。在圖15中，對應於圖2中的那些的部分用相同參考標號表示，並且省略其詳細描述。在發送數據生成單元1IOB中，通過視差矢量檢測單元114檢測的圖像中的特定位置處的視差矢量提供到字幕/圖形編碼器119中的流格式化器119a。在該情況下，視差檢測塊的ID、視差檢測塊的垂直位置信息、視差檢測塊的水平位置信息和視差矢量作為一組提供。在流格式化器119a中，視差矢量的發送內容(見圖8)嵌入字幕或圖形數據流中。除此以外，圖15所示的發送數據生成單元IlOB與圖2所示的發送數據生成單元 110類似地配置，儘管省略了詳細描述。圖16圖示在圖15中圖示的發送數據生成單元IlOB中復用的圖像數據流、字幕或圖形數據流和文本數據流的示例。視差矢量(視差信息)在嵌入字幕或圖形數據流中的同時被發送。[發送數據生成單元的另一示例配置]此外，圖2、圖13和圖15中圖示的上述發送數據生成單元110、IlOA和IlOB發送
作為數字信息的視差矢量(見圖8)。然而，替代發送作為數字信息的視差矢量，在發送信息視差之前，視差信息可以在發送器側預先反映在要疊加在圖像上的疊加信息(例如如字幕信息、圖形信息和文本信息)的數據中。例如，在將視差信息反映在圖形信息的數據中的情況下，在發送器側生成對應於應當疊加在左眼圖像上的左眼圖形信息和應當疊加在右眼圖像上的右眼圖形信息的圖形數據。在該情況下，左眼圖形信息和右眼圖形信息是相同的圖形信息。然而，例如右眼圖形信息在圖像中的顯示位置關於左眼圖形信息在水平方向上偏移對應於顯示位置的視差矢量的水平方向分量。例如，在圖像中的多個位置處檢測到的視差矢量當中對應於疊加位置的視差矢量用作視差矢量。此外，例如在圖像中的多個位置處檢測到的視差矢量當中在透視圖方面識別的最接近位置處的視差矢量用作視差矢量。注意，這在將視差信息反映在字幕信息或圖形信息的數據中的情況下相同，儘管省略了詳細描述。圖17(a)圖示在發送方法是上述第一發送方法(「上下」方法)的情況下的左眼
16圖形信息和右眼圖形信息的疊加位置。左眼圖形信息和右眼圖形信息是相同的圖形信息。 然而，疊加在右眼圖像頂上的右眼圖形信息RGI在關於疊加在左眼圖像IL上的左眼圖形信息LGI在水平方向上偏移視差矢量的水平方向分量VVT的位置處。生成圖形數據，使得各條圖形信息LGI和RGI疊加在各個圖像IL和頂上，如圖 17(a)所示。因此，觀眾可以觀察具有視差的各條圖形信息LGI和RGI以及各個圖像IL和 IR，如圖17(b)所示，並且透視圖也可在圖形信息中識別。例如，生成各條圖形信息LGI和RGI的圖形數據作為單個區域的數據，如圖18(a) 所示。在該情況下，不同於各條圖形信息LGI和RGI的部分的數據可以生成為透明數據。此外，例如各條圖形信息LGI和RGI的圖形數據生成為分開區域的數據，如圖18(b)所示。圖19(a)圖示在發送方法是上述第二發送方法(「並排」方法)的情況下的左眼圖形信息和右眼圖形信息的疊加位置。左眼圖形信息和右眼圖形信息是相同的圖形信息。 然而，疊加在右眼圖像頂上的右眼圖形信息RGI在關於疊加在左眼圖像IL上的左眼圖形信息LGI在水平方向上偏移視差矢量的水平方向分量VVT的位置處。注意，IT是空閒偏移值。生成圖形數據，使得各條圖形信息LGI和RGI疊加在各個圖像IL和頂上，如圖 19(a)所示。因此，觀眾可以觀察具有視差的各條圖形信息LGI和RGI以及各個圖像IL和 IR，如圖19(b)所示，並且透視圖也可在圖形信息中識別。例如，生成各條圖形信息LGI和RGI的圖形數據作為單個區域的數據，如圖20所示。在該情況下，不同於各條圖形信息LGI和RGI的部分的數據可以生成為透明數據。圖21圖示發送數據生成單元IlOC的示例配置。發送數據生成單元IlOC具有用於將視差信息反映在疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息)的數據中並發送它的配置。在圖21中，對應於圖2中的那些的部分用相同參考標號表示，並且省略其詳細描述。在發送數據生成單元1IOC中，字幕/圖形處理單元IM插入在字幕/圖形產生單元118和字幕/圖形編碼器119之間。此外，在發送數據生成單元IlOC中，文本處理單元 125插入在文本產生單元120和文本編碼器121之間。此外，由視差矢量檢測單元114檢測的圖像中的特定位置處的視差矢量提供到字幕/圖形處理單元1 和文本處理單元125。在字幕/圖形處理單元124中，生成要疊加在左眼圖像IL和右眼圖像頂上的用於左眼和右眼的各條字幕或圖形信息LGI和RGI的數據。在該情況下，基於由字幕/圖形產生單元118產生的字幕數據或圖形數據產生數據。用於左眼和右眼的各條字幕或圖形信息是相同的信息。然而，例如右眼字幕信息或圖形信息在圖像中的疊加位置關於左眼字幕信息或圖形信息在水平方向上偏移視差矢量的水平方向分量WT(見圖17(a)和圖19(a))。以此方式通過字幕/圖形處理單元124生成的字幕數據或圖形數據提供到字幕/ 圖形處理編碼器119。注意，字幕數據或圖形數據添加有指示圖像上的疊加位置的空閒偏移信息。在字幕/圖形編碼器119中，生成由字幕/圖形處理單元124生成的字幕數據或圖形數據的基本流。此外，在文本處理單元125中，基於由文本產生單元120產生的文本數據，產生要疊加在左眼圖像上的左眼文本信息和要疊加在右眼圖像上的右眼文本信息。在該情況下， 左眼文本信息和右眼文本信息是相同的文本信息，但是例如右眼文本信息在圖像中的疊加
17位置關於左眼文本信息在水平方向上偏移視差矢量的水平方向分量VVT。以此方式通過文本處理單元125生成的文本數據提供到文本編碼器121。注意，文本數據添加有指示圖像上的疊加位置的空閒偏移信息。在文本編碼器121中，生成由文本處理單元生成的文本數據的基本流。除此以外，圖21所示的發送數據生成單元IlOC與圖2所示的發送數據生成單元 110類似地配置，儘管省略了詳細描述。[發送數據生成單元的另一示例配置]在圖2、圖13和圖15所示的發送數據生成單元110U10A和IlOB中，在視差矢量檢測單元114中基於左眼圖像數據和右眼圖像數據檢測圖像中的特定位置處的視差矢量(視差信息)。發送數據生成單元110U10A和IlOB具有用於將由視差矢量檢測單元114檢測的圖像中的特定位置處的視差信息照原樣發送到接收器側的配置。然而，例如，可以以像素為單位通過視差矢量檢測單元114檢測視差矢量，可以對其執行縮小化處理，並且可以獲得通過分層劃分圖像區域獲得的各個層中的各個區域中的視差矢量。此外，可以創建視差信息組，其中按照分層順序安排基於接收器側請求的視差矢量的空間密度或發送頻帶選擇的層中的各個區域的視差矢量，並且該視差信息組可以發送到接收器側。此外，各個像素的視差矢量(視差信息)可以與要發送的左眼圖像數據和右眼圖像數據一起記錄在數據記錄介質上。在該情況下，可以對其進行縮小化處理，並且可以獲得通過分層劃分圖像區域獲得的各個層中的各個區域的視差矢量。此外，可以創建視差信息組，其中在從數據記錄介質讀取後，按照分層順序安排基於接收器側請求的視差矢量的空間密度或發送頻帶選擇的層中的各個區域的視差矢量，並且該視差信息組可以發送到接收器側。圖22圖示發送數據生成單元IlOD的示例配置。發送數據生成單元IlOD具有用於創建視差信息組並將該視差信息組發送到接收器側的配置，在該視差信息組中，按照分層順序安排選擇的層中的各個區域的視差矢量。在圖22中，對應於圖2中的那些的部分用相同參考標號表示，並且適當地省略其詳細描述。發送數據生成單元IlOD包括照相機IllL和111R、視頻分幀單元112、視頻編碼器 113、視差矢量檢測單元114和視差矢量編碼器115。此外，發送數據生成單元IlOD包括麥克風116、音頻編碼器117、字幕/圖形產生單元118、字幕/圖形編碼器119、文本產生單元 120、文本編碼器121和復用器122。此外，發送數據生成單元IlOD包括數據檢索單元130、 開關131到133、和視差信息組創建單元134。數據記錄介質130a例如以可移除方式加載到數據檢索單元130。音頻數據、疊加信息的數據和視差矢量與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起記錄在數據記錄介質130a中，同時相互關聯。數據檢索單元130從數據記錄介質130a檢索立體圖像數據、音頻數據、疊加信息的數據、視差矢量等，並且輸出它們。這裡，記錄在數據記錄介質130a上的立體圖像數據對應於通過視頻分幀單元112 獲得的立體圖像數據。此外，記錄在數據記錄介質130a上的疊加信息的數據是字幕數據、 圖形數據、文本數據等。此外，記錄在數據記錄介質130a上的視差矢量是例如位於底層中的各個像素的視差矢量。
視差矢量檢測單元114基於左眼圖像數據和右眼圖像數據檢測例如位於底層中的各個像素的視差矢量。開關131在現場模式中檢索通過視頻分幀單元112獲得的立體圖像數據，並且在再現模式中檢索從數據檢索單元130輸出的立體圖像數據，並且將其提供到視頻編碼器113。開關132在現場模式中檢索通過視差矢量檢測單元114獲得的視差矢量，並且在再現模式中檢索從數據檢索單元130輸出的視差矢量，並且將其提供到視差信息組創建單元134。開關133在現場模式中檢索通過麥克風116獲得的音頻數據，並且在再現模式中檢索從數據檢索單元130輸出的音頻數據，並且將其提供到音頻編碼器117。視差信息組創建單元134對通過開關132檢索的視差矢量(即，位於底層的各個像素的視差矢量)執行縮小化處理，並且獲得通過分層劃分圖像(畫面)區域獲得的各個層中的各個區域的視差信息。圖23圖示作為各個像素的亮度值給出的相對深度方向上的數據的示例。這裡，相對深度方向上的數據通過使用特定轉換可以處理為各個像素的視差矢量。在該示例中，亮度值在人的部分中大。這意味著視差矢量的值在人的部分中大，因此意味著人的部分在立體圖像顯示中被感受為彈出(pop up)。此外，在該示例中，亮度值在背景部分中小。這意味著視差矢量的值在背景部分中小，因此意味著背景部分在立體圖像顯示中被感受為在後側。圖24圖示各個塊的視差矢量的示例。各塊在位於底層中的像素的上層。這些塊通過在水平方向和垂直方向上將圖像(畫面)區域劃分為一定大小的區域來形成。例如，每個塊的視差矢量通過從該塊中存在的所有像素的視差矢量中選擇最大值的視差矢量來獲得。 在該示例中，每個塊的視差矢量用箭頭表示，並且箭頭的長度對應於視差矢量的大小。圖25圖示在視差信息組創建單元134中執行的縮小化處理的示例。首先，視差信息組創建單元134使用各個像素的視差矢量獲得各個塊的視差矢量，如圖25(a)所示。如上所述，各塊在位於底層的像素的上層，並且通過在水平方向和垂直方向上將圖像(畫面) 區域劃分為一定大小的區域來形成。此外，例如每個塊的視差矢量通過從該塊中存在的所有像素的視差矢量中選擇最大值的視差矢量來獲得。接著，視差信息組創建單元134使用各個塊的視差矢量獲得各個組(塊的組)的視差矢量，如圖25(b)所示。各組在各塊的上層，並且通過將相互靠近的多個塊分組來獲得。在圖25(b)中的示例中，每個組由通過虛線框定義的四個塊構成。此外，例如每個組的視差矢量通過從該組中存在的所有塊的視差矢量中選擇最大值的視差矢量來獲得。接著，視差信息組創建單元134使用各個組的視差矢量獲得各個層區(region)的視差矢量，如圖25(c)所示。各層區在各組的上層，並且通過將相互靠近的多個組分組來獲得。在圖25(c)的示例中，每個層區由通過虛線框定義的兩個組構成。此外，例如每個區間的視差矢量通過從該層區中存在的所有組的視差矢量中選擇最大值的視差矢量來獲得。接著，視差信息組創建單元134使用各個層區的視差矢量獲得位於頂層的整個畫面(整個圖像)的視差矢量，如圖25(d)所示。在圖25(d)所示的示例中，通過虛線框定義的四個層區包括在整個畫面中。此外，例如整個畫面的視差矢量通過從該整個畫面中包括的所有層區的視差矢量中選擇最大值的視差矢量來獲得。在該情況下，除了視差矢量外，還可以獲得其中獲得整個畫面的視差矢量的像素的原始位置的信息(用「 + 」指示)，並且該信息可以當作視差矢量的附加信息。這在獲得上述塊、組和層區的視差矢量的情況下相同。以此方式，視差信息組創建單元134對位於底層的各個像素的視差矢量執行縮小化處理，從而能夠獲得各個層(即，塊、組、層區和整個畫面)中的各個區域的視差矢量。注意，在圖25所示的縮小化處理的示例中，除了像素層外，最終獲得四層(即，塊、組、層區和整個畫面)中的視差矢量，但是層數、用於劃分每層中的區域的方法、和區域數不限於此。此外，視差信息組創建單元134創建視差信息組，其中按照分層順序安排基於接收器側請求的視差矢量的空間密度或發送頻帶選擇的層中的各個區域的視差矢量。在視差信息組創建單元134中，通過上述縮小化處理獲得各個層(例如，整個畫面、層區、組、塊和像素)中的各個區域的視差矢量。視差信息組創建單元134管理各個層中的各個區域的視差矢量。如圖沈所示，將塊ID(Bl0Ck ID)添加到各個層中的各個區域的視差矢量。該塊ID表示目標視差矢量所屬的底層的位置信息，並且允許在從上層觀看時精確檢測視差和位置。為了簡化圖示，圖沈只圖示整個畫面(DI5aIl)的視差矢量的一部分和各個層區(DP0到DP3)。在圖沈中，要理解的是整個畫面(DI3aIl)的視差矢量(DP_ValueO)是屬於由塊 ID(IDO)表示的底層中的位置的視差矢量。此外，在圖沈中，要理解的是各個層區(DP0到 DP3)的視差矢量(DP_Valuel DP_value4)是屬於由塊ID(ID1到ID4)表示的底層中的位
置的視差矢量。注意，可以替代塊ID或與塊ID—起使用指示位置自身的信息。例如，該信息是從屏幕的左上到每個區域的左上的偏移值，並且以像素為單位表示。此外，如果各個像素的視差矢量按照掃描順序(視頻像素順序)安排，則可以省略位置信息的添加。在只選擇作為頂層的整個畫面的層作為發送層的情況下，例如，視差信息組創建單元134創建包括視差矢量(DP_valUe0)的視差信息組，其範圍由圖沈中的箭頭a指示。 此外，選擇整個畫面和層區的層作為發送層的情況下，例如，視差信息組創建單元134創建包括視差矢量(DP_ValueO和DP_Valuel到DP_Value4)的視差信息組，其範圍由圖沈中的箭頭b指示。以下，視差信息組創建單元134以類似方式創建包括選擇作為發送層的每個層中的各個區域的視差矢量的視差信息組。注意，不必包括整個畫面的層作為發送層，並且可以選擇層區層及以下或組層及以下。此外，關於每個層(如層區)中的每個區域的配置自身， 不必說對在每個層中劃分整個畫面的方法、區域數等可以給予自由度。在視差信息組創建單元134中，按照分層順序(例如從較高層開始的順序)，在視差信息組中安排選擇作為發送層的各個層中的各個區域的視差矢量。圖27圖示視差信息組的內容的示例。在該視差信息組中包括N個視差矢量的信息組。每個信息組由16位的塊 ID (ID_Block (i) )、16位的垂直位置信息(Vertical_Position)、16位的水平位置信息(Horizontal—Position)、和16位的水平方向上的視差矢量(Disparity_Vector_ Horizontal)構成。注意，在接收器側只用塊ID(ID_Block(i))識別視差矢量所屬的底層的位置的情況下，位置信息(Vertical_Position，Horizontal_Position)可以不需要。此外，在發送視差矢量時按照掃描順序(視頻像素順序)安排各個像素的視差矢量的情況下，塊ID和位置信息都可以不需要。視頻編碼器113根據MPEG4-AVC、MPEG2、VC-I等對從開關131提供的立體圖像數據執行編碼，從而獲得編碼的視頻數據。此外，視頻編碼器113生成包括在有效載荷部分中的編碼的視頻數據的視頻基本流。視差矢量編碼器115生成包括由視差信息組創建單元 134創建的視差信息組的視差矢量的基本流。此外，音頻編碼器117根據MPEG-2音頻AAC 等對從開關133提供的音頻數據執行編碼，從而生成音頻基本流。除此以外，圖22所示的發送數據生成單元IlOD與圖2所示的發送數據生成單元 110類似地配置，儘管省略了詳細描述。將簡要描述圖22所示的發送數據生成單元IlOD的操作。首先，將描述現場模式中的操作。在現場模式中，所有開關131到133連接到a側。通過視頻分幀單元122獲得的立體圖像數據經由開關131提供到視頻編碼器113。 在視頻編碼器113中，根據MPEG4-AVC、MPEG2、VC-1等對立體圖像數據執行編碼，使得生成包括編碼的視頻數據的視頻基本流。該視頻基本流提供到復用器122。通過照相機IllL和IllR獲得的左眼圖像數據和右眼圖像數據經由視頻分幀單元 112提供到視差矢量檢測單元114。在視差矢量檢測單元114中，例如基於左眼圖像數據和右眼圖像數據檢測位於底層的各個像素的視差矢量。這些視差矢量經由開關132提供到視差信息組創建單元134。在視差信息組創建單元134中，對視差矢量(即，位於底層的各個像素的視差矢量)執行縮小化處理，並且獲得通過分層劃分圖像區域獲得的各個層中的各個區域的視差信息。例如，在視差信息組創建單元134中，對位於底層的各個像素的視差矢量執行縮小化處理，使得獲得各個層(即，塊、組、層區和整個畫面)中的各個區域的視差矢量。同樣在視差信息組創建單元134中，此外，在視差信息組創建單元134中，創建視差信息組，其中按照分層順序安排基於接收器側請求的視差矢量的空間密度或發送頻帶選擇的層中的各個區域的視差矢量(見圖27)。該視差信息組提供到視差矢量編碼器115。在視差矢量編碼器115中，生成包括視差信息組的視差矢量基本流。該視差矢量基本流提供到復用器122。此外，通過麥克風116獲得的音頻數據經由開關133提供到音頻編碼器117。在音頻編碼器117中，根據MPEG-2音頻AAC等對音頻數據執行編碼，使得生成包括編碼的音頻數據的音頻基本流。該音頻基本流提供到復用器122。此外，包括字幕數據或圖形數據的編碼數據的基本流從字幕/圖形編碼器119提供到復用器122。此外，包括文本數據的編碼數據的基本流從文本編碼器121提供到復用器 122。然後，在復用器122中，復用從各個編碼器提供的基本流的分組，使得獲得作為發送數據的位流數據(傳送流)BSD。接著，將描述再現模式中的操作。在再現模式中，所有開關131到133連接到b側。 通過數據檢索單元130獲得的立體圖像經由開關131提供到視頻編碼器113。此外，通過數據檢索單元130獲得的視差矢量(即，位於底層的各個像素的視差矢量)經由開關132提供到視差信息組創建單元134。此外，通過數據檢索單元130獲得的音頻數據經由開關133 提供到音頻編碼器117。再現模式中的其它操作類似於上述現場模式的操作，儘管省略了詳細描述。
在圖22所示的發送數據生成單元IlOD中，如上所述，在由視差信息組創建單元 134創建的視差信息組中，按照分層順序安排從通過分層劃分圖像(畫面)獲得的各個層中選擇的層中的各個區域的視差矢量(視差信息)。因此，在接收器側，可以容易地從該視差信息組檢索對應於疊加信息的疊加位置的視差矢量，並且可以使用該視差矢量。即，在接收器側，用於獲得對應於疊加信息的疊加位置的視差矢量的計算等是不必要的，並且可以實現簡單配置。注意，在上面給出的圖22所示的發送數據生成單元IlOD的描述中，已經給出這樣的描述，即視差信息組創建單元134對底層中的各個像素的視差矢量執行縮小化處理以獲得各個層中的各個區域的視差矢量。然而，可以通過視差矢量檢測單元114檢測或獲得各個層中的各個區域的視差矢量，並且該視差矢量可以被視差信息組創建單元134使用。可替代地，各個層中的各個區域的視差矢量可以記錄在數據記錄介質130a上，並且該視差矢量可以被視差信息組創建單元134使用。此外，在圖22所示的發送數據生成單元IlOD的上述描述中，已經給出這樣的描述，即視差信息組創建單元134對底層中的各個像素的視差矢量執行縮小化處理以獲得各個層中的各個區域的視差矢量。然而，只有視差信息組創建單元134僅僅獲得選擇作為發送層的每個層中的各個區域的視差矢量是必須的。此外，圖22所示的發送數據生成單元IlOD具有利用復用器122復用包括視差信息的視差矢量基本流和其它流的配置。即，圖22所示的發送數據生成單元IlOD具有對應於圖2所示的發送數據生成單元110的配置。然而，如同圖13和圖15所示的發送數據生成單元IlOA和110B，發送數據生成單元IlOD具有用於將視差信息組插入其它流(如圖像數據流)並且將其發送到接收器側的配置。[機頂盒的描述]回來參考圖1，機頂盒200接收使用無線電波從廣播站100發送的位流數據(傳送流)。位流數據包括立體圖像數據(包括左眼圖像數據和右眼圖像數據)、音頻數據、疊加信息數據和另外的視差信息(視差矢量)。這裡，疊加信息數據可以是例如字幕數據、圖形數據、文本數據(包括隱藏字幕數據)等。機頂盒200包括位流處理單元201。位流處理單元201從位流數據提取立體圖像數據、音頻數據、疊加信息數據、視差矢量等。位流處理單元201使用立體圖像數據、疊加信息數據(字幕數據、圖形數據或文本數據)等生成其上疊加了疊加信息的左眼圖像和右眼圖像的數據。這裡，在視差矢量作為數字信息發送的情況下，基於視差矢量和疊加信息數據生成分別要疊加在左眼圖像和右眼圖像上的左眼疊加信息和右眼疊加信息。在該情況下，左眼疊加信息和右眼疊加信息是相同疊加信息。然而，例如右眼疊加信息在圖像中的疊加位置關於左眼疊加信息在水平方向上偏移視差矢量的水平方向分量。圖^(a)圖示在發送方法是上述第二發送方法(「並排」方法)的情況下左眼圖形信息和右眼圖形信息的疊加位置。疊加在右眼圖像頂上的右眼圖形信息RGI在關於疊加在左眼圖像IL上的左眼圖形信息LGI在水平方向上偏移視差矢量的水平方向分量VVT 的位置處。注意，IT是空閒偏移值。在位流處理單元201中，生成圖形數據，使得各條圖形信息LGI和RGI以圖^(a)所示的方式疊加在各個圖像IL和頂上。位流處理單元201將生成的左眼圖形數據和右眼圖形數據與從位流數據提取的立體圖像數據(左眼圖像數據和右眼圖像數據)組合，從而獲得處理後的立體圖像數據。根據立體圖像數據，觀眾可以觀察具有視差的各條圖形信息 IGL和IGR以及各個圖像IL和IR，如圖觀(b)所示，並且在圖形信息中也可以識別透視圖。注意，圖四仏)圖示這樣的狀態，其中基於從位流數據提取的圖形數據的圖形圖像照原樣疊加在各個圖像IL和頂上。在該情況下，觀眾觀察圖形信息的左半以及左眼圖像IL、以及圖形信息的右半以及右眼圖像頂，如圖四…)所示。因此，不能正確地識別圖形 fn息ο圖觀圖示圖形信息的情況，並且這對於其它疊加信息(隱藏字幕信息、字幕信息、 文本信息等)也一樣。即，在視差矢量作為數字信息發送的情況下，基於視差矢量和疊加信息數據生成分別要疊加在左眼圖像和右眼圖像上的左眼疊加信息和右眼疊加信息。在該情況下，左眼疊加信息和右眼疊加信息是相同疊加信息。然而，例如右眼疊加信息在圖像中的疊加位置關於左眼疊加信息在水平方向上偏移視差矢量的水平方向分量。這裡，下面的視差矢量可以用作給出左眼疊加信息和右眼疊加信息之間的視差的視差矢量。例如，在圖像中的多個位置檢測的視差矢量中在透視圖方面識別的最近位置處的視差矢量可以用作視差矢量。圖30(a)、30(b)、30 (c)和30 (d)分別圖示在時間TO、Tl、 T2和T3在三個對象位置處的視差矢量(觀看矢量)。在時間T0，在對應於對象1 (H0，V0)的位置處的視差矢量VV0-1是最大視差矢量 MaxVV(TO)。在時間Tl，在對應於對象1 (Hl，VI)的位置處的視差矢量VVl-I是最大視差矢量MaxVV (Tl)。在時間T2，在對應於對象2(H2，V2)的位置處的視差矢量VV2-2是最大視差矢量MaxVV (T2)。在時間T3，在對應於對象1 (H3，V3)的位置處的視差矢量VV3-0是最大視差矢量 MaxVV (T3)。以此方式，在圖像中的多個位置檢測的視差矢量中在透視圖方面識別的最近位置處的視差矢量用作視差矢量，從而在透視圖方面疊加信息可以顯示在圖像中的最近對象的
、廣.> -
目丨J萬。圖31 (a)圖示圖像上的字幕(例如，隱藏字幕信息或字幕信息)的顯示示例。在該示例顯示中，字幕疊加在由背景和前景對象構成的圖像上。圖31(b)圖示背景、前景對象和字幕構成的透視圖，並且圖示字幕被識別為最近。圖32 (a)圖示圖像上的字幕(例如，隱藏字幕信息或字幕信息)的顯示示例，如同圖31(a)。圖32(b)圖示用於顯示字幕的左眼字幕信息LGI和右眼字幕信息RGI。0 32(c) 圖示給出視差到各條字幕信息LGI和RGI，使得字幕被識別為最近。此外，在圖像中的多個位置檢測的視差矢量(包括視差信息組中包括的各個層中的各個區域的視差矢量)中，對應於疊加位置的視差矢量可以用作視差矢量。圖33(a)圖示基於從位流數據提取的圖形數據的圖形信息和基於從位流數據提取的文本數據的文本 in息ο圖33(b)圖示左眼圖形信息LGI和左眼文本信息LTI疊加在左眼圖像上的狀態。 在該情況下，左眼圖形信息LGI的疊加位置在水平方向上限制為空閒偏移值(IT-O)。此外， 左眼文本信息LTI的疊加位置在水平方向上用空閒偏移值(IT-I)限制。圖33(c)圖示右眼圖形信息RGI和右眼文本信息RTI疊加在右眼圖像上的狀態。
23在該情況下，右眼圖形信息RGI的疊加位置在水平方向上用空閒偏移值(IT-O)限制，並且還從左眼圖形信息LGI的疊加位置偏移對應於該疊加位置的視差矢量的水平方向分量 VVT-O0此外，右眼文本信息RTI的疊加位置在水平方向上用空閒偏移值(IT-I)限制，並且還從左眼文本信息LTI的疊加位置偏移對應於該疊加位置的視差矢量的水平方向分量 VVT-Io在上面描述中，已經給出這樣的情況的描述，其中將基於從位流數據提取的圖形數據的圖形信息或基於從位流數據提取的文本數據的文本信息疊加在左眼圖像和右眼圖像上。除此以外，在機頂盒200中產生圖形數據或文本數據並將基於該圖形數據或文本數據的信息疊加在左眼圖像和右眼圖像上的情況是可用的。在該情況下，同樣可以使用在從位流數據中提取的圖像中的特定位置處的視差矢量，在左眼圖形信息和右眼圖形信息之間或在左眼文本信息和右眼文本信息之間給出視差。因此，當顯示圖形信息和文本信息時，可以給出在圖像中的各個對象之間維持透視一致性的適當的透視圖。圖34 (a)圖示在圖像中存在的各個對象A、B和C以及示出各個對象的注釋的文本信息疊加在這些各個對象附近。圖34(b)圖示示出各個對象A、B和C的位置與在各位置的視差之間的對應的視差矢量列表，並且還圖示各個視差矢量用於對示出各個對象A、B和C 的注釋的文本信息給出視差。例如，文本信息「文本」疊加在對象A的附近，並且在其左眼文本信息和右眼文本信息之間給出對應於在對象A的位置(Ha，Va)處的視差矢量VV_a的視差。注意，這對於在對象B和C附近疊加的文本信息也一樣。注意，圖33圖示疊加信息包括圖形信息和文本信息的情況。此外，圖34圖示疊加信息包括文本信息的情況。這對於其它疊加信息(如隱藏字幕信息和字幕信息)的情況也一樣，儘管省略了詳細描述。接著，將給出以下情況的描述，其中視差矢量在預先反映在疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息)的數據中的同時被發送。在該情況下，從位流數據提取的疊加信息數據包括基於視差矢量對其給出視差的左眼疊加信息和右眼疊加信息的數據。因此，位流處理單元201簡單地組合從位流數據提取的疊加信息數據和從位流數據提取的立體圖像數據(左眼圖像數據和右眼圖像數據)，從而獲得處理後的立體圖像數據。注意，對於文本數據(包括隱藏字幕數據)，需要將字符代碼轉換為位圖數據等的處理。[機頂盒的示例配置]將描述機頂盒200的示例配置。圖35圖示機頂盒200的示例配置。機頂盒200 包括位流處理單元201、HDMI端子202、天線端子203、數字調諧器204、視頻信號處理電路 205,HDMI發送單元206和音頻信號處理電路207。此外，機頂盒200包括CPU 211、閃速ROM 212、DRAM 213、內部總線214、遙控接收單元215和遙控發送器216。天線端子203是用於輸入由接收天線(未示出)接收的電視廣播信號的端子。數字調諧器204處理輸入到天線端子203的電視廣播信號，並且輸出對應於用戶選擇的頻道的特定位流數據(傳送流)。如上所述，位流處理單元201從位流數據提取立體圖像數據(左眼圖像數據和右眼圖像數據)、音頻數據、疊加信息數據、視差信息(視差矢量)等。疊加信息數據可以是
24字幕數據、圖形數據、文本數據(包括隱藏字幕數據)等。位流處理單元201組合疊加信息 (如隱藏字幕信息、字幕信息、圖形信息和文本信息)的數據和立體圖像數據，從而獲得要顯示的立體圖像，如上所述。此外，位流處理單元201輸出音頻數據。下面將描述位流處理單元201的詳細配置。視頻信號處理電路205根據需要對從位流處理單元201輸出的立體圖像數據等執行圖像質量調整處理等，並且將處理後的立體圖像數據提供到HDMI發送單元206。音頻信號處理電路207根據需要對從位流處理單元201輸出的音頻數據執行音頻質量調整處理等，並且將處理後的音頻數據提供到HDMI發送單元206。HDMI發送單元206通過與HDMI兼容的通信，從HDMI端子202發送基帶的圖像 (視頻)和音頻的數據。在該情況下，使用HDMI的TMDS信道發送數據，因此封裝圖像和音頻的數據，並且將其從HDMI發送單元206輸出到HDMI端子202。下面將描述HDMI發送單元206的細節。CPU 211控制機頂盒200的各個單元的操作。閃速ROM 212存儲控制軟體並存儲數據。DRAM 213形成CPU 211的工作區。CPU 211將從閃速R0M212讀取的軟體和數據擴展到DRAM 213上，並且啟動軟體，並控制機頂盒200的各個單元。遙控接收單元215接收從遙控發送器216發送的遙控信號(遙控代碼)，並將其提供到CPU 211。CPU 211基於該遙控代碼控制機頂盒200的各個單元。CPU 211、閃速ROM 212和DRAM 213連接到內部總線214。將簡要描述機頂盒200的操作。輸入天線端子203的電視廣播信號提供到數字調諧器204。數字調諧器204處理電視廣播信號，並且輸出對應於用戶選擇的頻道的特定位流數據(傳送流)。從數字調諧器204輸出的位流數據提供到位流處理單元201。在位流處理單元201 中，從位流數據提取立體圖像數據(左眼圖像數據和右眼圖像數據)、音頻數據、圖形數據、 文本數據、視差矢量等。此外，在位流處理單元201中，疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息)的數據和立體圖像數據組合，使得生成要顯示的立體圖像數據。通過位流處理單元201生成的要顯示的立體圖像數據根據需要在視頻信號處理電路205中經歷圖像質量調整處理等，然後提供到HDMI發送單元206。此外，通過位流處理單元201獲得的音頻數據根據需要在音頻信號處理電路207中經歷音頻質量調整處理等， 然後提供到HDMI發送單元206。提供到HDMI發送單元206的立體圖像數據和音頻數據使用HDMI的TMDS信道從HDMI端子202發送到HDMI電纜400。[位流處理單元的示例配置]圖36圖示位流處理單元201的示例配置。位流處理單元201具有對應於圖2和 22中所示的上述發送數據生成單元110和IlOD的配置。位流處理單元201包括解復用器 220、視頻解碼器221、字幕/圖形解碼器222、文本解碼器223、音頻解碼器2 和視差矢量解碼器225。此外，位流處理單元201包括立體圖像字幕/圖形產生單元226、立體圖像文本產生單元227、視頻疊加單元2 和多聲道揚聲器控制單元229。解復用器220從位流數據BSD提取視頻、音頻、視差矢量、字幕或圖形和文本的分組，並且將它們發送到各自的解碼器。視頻解碼器221執行由上述發送數據生成單元110的視頻編碼器113執行的處理的相反處理。即，視頻解碼器221從由解復用器220提取的視頻分組重建視頻基本流，執行解碼處理，並且獲得包括左眼圖像和右眼圖像的立體圖像數據。用於發送立體圖像數據的方法的示例為上述第一發送方法(「上下」方法)、第二發送方法(「並排」方法)、第三方法(「幀順序」方法)的等(見圖4(a)到4(c))。字幕/圖形解碼器222執行由上述發送數據生成單元110的字幕/圖形編碼器 119執行的處理的相反處理。即，字幕/圖形解碼器222從由解復用器220提取的字幕/圖形分組重建字幕/圖形基本流。然後，字幕/圖形解碼器222還執行解碼處理以獲得字幕數據或圖形數據。文本解碼器223執行由上述發送數據生成單元110的文本編碼器121執行的處理的相反處理。即，文本解碼器223從由解復用器220提取的文本分組重建文本基本流，執行解碼處理，並且獲得文本數據(包括隱藏字幕數據)。音頻解碼器2M執行由上述發送數據生成單元110的音頻編碼器117執行的處理的相反處理。即，音頻解碼器2M從由解復用器220提取的音頻分組重建音頻基本流，執行解碼處理，並且獲得音頻數據。視差矢量解碼器225執行由上述發送數據生成單元110的視差矢量編碼器115執行的處理的相反處理。即，視差矢量解碼器225從由解復用器220提取的視差矢量分組重建視差矢量基本流，執行解碼處理，並且獲得在圖像中特定位置的視差矢量。立體圖像字幕/圖形產生單元2 生成分別要疊加在左眼圖像和右眼圖像上的用於左眼和右眼的各條字幕信息或圖形信息。基於由解碼器222獲得的字幕數據或圖形數據以及由解碼器225獲得的視差矢量執行該生成處理。在該情況下，用於左眼和右眼的各條字幕信息或圖形信息是相同的信息。然而，例如右眼字幕信息或圖形信息在圖像中的疊加位置關於左眼字幕信息或圖形信息在水平方向上偏移視差矢量的水平方向分量。然後，立體圖像字幕/圖形產生單元2 輸出生成的用於左眼和右眼的各條字幕信息或圖形信息的數據(位圖數據)。立體圖像文本產生單元227基於通過解碼器223獲得的文本數據和通過解碼器 225獲得的視差矢量，生成分別要疊加在左眼圖像和右眼圖像上的左眼文本信息和右眼文本信息。在該情況下，左眼文本信息和右眼文本信息是相同文本信息，但是例如右眼文本信息在圖像中的疊加位置關於左眼文本信息在水平方向上偏移視差矢量的水平方向分量。然後，立體圖像文本產生單元227輸出生成的左眼文本信息和右眼文本信息的數據(位圖數據)。視頻疊加單元2 將由產生單元2 和227產生的數據疊加在通過視頻解碼器 221獲得的立體圖像數據(左眼圖像數據和右眼圖像數據)上，從而獲得要顯示的立體圖像數據Vout。注意，疊加信息數據在立體圖像數據(左眼圖像數據和右眼圖像數據)上的疊加根據系統層的時間戳來啟動。多聲道揚聲器控制單元2 執行生成用於實現例如5. 1聲道環繞等的多聲道揚聲器的音頻數據的處理，以及對通過音頻解碼器2M獲得的音頻數據給出特定聲場特性的處理。此外，多聲道揚聲器控制單元2 基於通過解碼器225獲得的視差矢量控制多聲道揚聲器的輸出。視差矢量越大，立體效果越高。根據立體效果的程度控制多聲道揚聲器的輸出，從而可以實現立體體驗的進一步提供。圖37圖示在電視顯示的方向上來看在左側的視頻對象中視差矢量VVl更大的情況下的揚聲器輸出控制的示例。在該控制示例中，多聲道揚聲器的左後揚聲器的音量高，左前揚聲器的音量中等，此外右前和右後揚聲器的音量低。以此方式，視頻內容(立體圖像數據)的視差矢量應用於接收器側的其它媒體數據(如音頻數據)，這使得觀眾能夠全面地體驗立體效果。將簡要描述圖36中所示的位流處理單元201的操作。從數字調諧器204(見圖 35)輸出的位流數據BSD提供到解復用器220。在解復用器220中，從位流數據BSD提取視頻、音頻、視差矢量、字幕或圖形和文本的TS分組，並且將其提供到各自的解碼器。在視頻解碼器221中，從由解復用器220提取的視頻分組重建視頻基本流，此外執行解碼處理，並且獲得包括左眼圖像數據和右眼圖像數據的立體圖像數據。立體圖像數據提供到視頻疊加單元228。此外，在視差矢量解碼器225中，從由解復用器220提取的視差矢量分組重建視差矢量基本流，此外執行解碼處理，並且獲得在圖像中的特定位置的視差矢量(見圖8和圖27)。在字幕/圖形解碼器222中，從由解復用器220提取的字幕/圖形分組重建字幕/ 圖形基本流。此外，在字幕/圖形解碼器222中，對字幕/圖形基本流執行解碼處理，從而獲得字幕數據或圖形數據。字幕數據或圖形數據提供到立體圖像字幕/圖形產生單元226。 立體圖像字幕/圖形產生單元2 還提供有由視差矢量解碼器225獲得的視差矢量。在立體圖像字幕/圖形產生單元226中，生成分別要疊加在左眼圖像和右眼圖像上的用於左眼和右眼的各條字幕信息或圖形信息的數據。基於由解碼器222獲得的字幕數據或圖形數據以及由解碼器225獲得的視差矢量執行該生成處理。在該情況下，例如右眼字幕信息或圖形信息在圖像中的疊加位置關於左眼字幕信息或圖形信息在水平方向上偏移視差矢量的水平方向分量。從立體圖像字幕/圖形產生單元2 輸出生成的用於左眼和右眼的各條字幕信息或圖形信息的數據(位圖數據)。此外，在文本解碼器223中，從由解復用器220提取的文本TS分組重建文本基本流，此外執行解碼處理，並且獲得文本數據。文本數據提供到立體圖像文本產生單元227。 立體圖像文本產生單元227還提供有由視差矢量解碼器225獲得的視差矢量。在立體圖像文本產生單元227中，基於由解碼器223獲得的文本數據和由解碼器 225獲得的視差矢量，生成分別要疊加在左眼圖像和右眼圖像上的左眼文本信息和右眼文本信息。在該情況下，左眼文本信息和右眼文本信息是相同的文本信息，但是例如右眼文本信息在圖像中的疊加位置關於左眼文本信息在水平方向上偏移視差矢量的水平方向分量。 從立體圖像文本產生單元227輸出生成的左眼文本信息和右眼文本信息的數據(位圖數據)。除了從上述視頻解碼器221輸出的立體圖像數據(左眼圖像數據和右眼圖像數據)外，從字幕/圖形產生單元2 和文本產生單元227輸出的數據提供到視頻疊加單元 228。在視頻疊加單元228中，由字幕/圖形產生單元2 和文本產生單元227產生的數據疊加在立體圖像數據(左眼圖像數據和右眼圖像數據)上，使得獲得要顯示的立體圖像數據Vout。要顯示的立體圖像數據Vout作為發送圖像數據經由視頻信號處理電路205提供到HDMI發送單元206 (見圖35)。
此外，在音頻解碼器224中，從由解復用器220提取的音頻TS分組重建音頻基本流，此外執行解碼處理，並且獲得音頻數據。音頻數據提供到多聲道揚聲器控制單元229。 在多聲道揚聲器控制單元229中，對音頻數據執行生成用於實現例如5. 1聲道等的多聲道揚聲器的音頻數據的處理、以及給出特定聲場特性的處理。多聲道揚聲器控制單元2 還提供有由視差矢量解碼器225獲得的視差矢量。此外，在多聲道揚聲器控制單元229中，基於視差矢量控制多聲道揚聲器的輸出。通過多聲道揚聲器控制單元2 獲得的多聲道音頻數據作為發送音頻數據經由音頻信號處理電路207 提供到HDMI發送單元206 (見圖35)。[對疊加信息給出視差]現在，將給出在圖36所示的流處理單元201的立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中對疊加信息給出視差進一步的描述。如圖38和39所示，例如從廣播站100發送包括視差矢量的視差矢量流(見圖8 和圖27)以及圖像數據流、字幕或圖形數據流和文本數據流。在該情況下，與各個特定時段 (如編碼視頻的GOP (畫面組)或1(內畫面)畫面、或場景)的開始定時同步地集體發送對應於各個特定時段的各個特定單元的視差矢量。作為特定單元，例如畫面(幀)的單元或畫面的整數倍的單元是可用的。例如，在立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中，在疊加信息的疊加時段期間，將基於對應的視差矢量(視差信息)的視差給到每個特定單元的疊加信息。給到圖38中的字幕(圖形)數據流和文本數據流的部分的箭頭表示將視差給到每個特定單元的疊加信息的定時。在其中將視差給到疊加信息的這種配置中，給到疊加信息的視差可以結合圖像內容的改變而動態地改變。此外，例如在立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中， 在疊加信息的疊加時段期間，在將基於從疊加時段中的各視差矢量中選擇的特定視差矢量 (視差信息)的視差給到每個特定單元的疊加信息。例如，該特定視差矢量被當作指示疊加時段中的視差信息中的最大視差的視差信息。給到圖39中的字幕(圖形)數據流和文本數據流的部分的箭頭表示將視差給到疊加信息的定時。在該情況下，在疊加時段開始時將視差給到疊加信息，此後，對其給出視差的疊加信息用作應當疊加在左眼圖像和右眼圖像上的疊加信息。在將視差給到疊加信息的配置中，可以將疊加信息的疊加時段中的最大視差給到視差信息，而不管圖像內容的改變。[位流處理單元的另一示例配置]圖40所示的位流處理單元201A具有對應於圖13所示的上述發送數據生成單元 IlOA的配置。在圖40中，對應於圖36所示的那些的部分用相同參考標號表示，並且省略其詳細描述。替代圖36所示的位流處理單元201的視差矢量解碼器225，位流處理單元20IA提供有視差矢量檢索單元231。視差矢量檢索單元231從通過視頻解碼器221獲得的視頻流中檢索用戶數據區中嵌入的視差矢量。然後，視差矢量檢索單元231將檢索的視差矢量提供到立體字幕/圖形產生單元226、立體圖像文本產生單元227和多聲道揚聲器控制單元 229。
除此以外，圖40所示的位流處理單元20IA與圖36所示的位流處理單元201類似地配置，並且與其類似地操作，儘管省略了詳細描述。[對疊加信息給出視差]現在，將給出在圖40所示的流處理單元201A的立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中對疊加信息給出視差的進一步描述。如圖41所示，例如從廣播站100發送圖像數據流、字幕或圖形數據流和文本數據流(見圖1)。此外，視差矢量(見圖8和圖27)在嵌入圖像數據流中的同時被發送。在該情況下，對應於特定單元的視差矢量在嵌入圖像數據的每個特定單元的圖像數據流中(例如，以編碼視頻的畫面為單元)的同時被發送。在立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中，在疊加信息的疊加時段期間，將基於對應的視差矢量(視差信息)的視差給到每個特定單元的疊加信息。給到圖41中的字幕(圖形)數據流和文本數據流的部分的箭頭表示將視差給到每個特定單元的疊加信息的定時。在其中將視差給到疊加信息的這種配置中，給到疊加信息的視差可以結合圖像內容的改變而動態地改變。此外，如圖42和43所示，例如從廣播站100發送圖像數據流、字幕或圖形數據流和文本數據流(見圖1)。此外，視差矢量(見圖8和圖27)在嵌入圖像數據流中的同時被發送。在該情況下，與各個特定時段(如編碼視頻的GOP(畫面組)或I畫面、或場景)的開始定時同步地集體發送對應於各個特定時段的各個特定單元的視差矢量。作為特定單元， 例如畫面(幀)的單元或畫面的整數倍的單元是可用的。例如，在立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中，在疊加信息的疊加時段期間，將基於對應的視差矢量(視差信息)的視差給到每個特定單元的疊加信息。給到圖42中的字幕(圖形)數據流和文本數據流的部分的箭頭表示將視差給到每個特定單元的疊加信息的定時。在其中將視差給到疊加信息的這種配置中，給到疊加信息的視差可以結合圖像內容的改變而動態地改變。此外，例如在立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227中， 在疊加信息的疊加時段期間，將基於從疊加時段中的各視差矢量中選擇的特定視差矢量 (視差信息)的視差給到每個特定單元的疊加信息。例如特定視差信息的該特定視差矢量被當作指示疊加時段中的視差信息中的最大視差的視差信息。給到圖43中的字幕(圖形)數據流和文本數據流的部分的箭頭表示將視差給到疊加信息的定時。在該情況下，在疊加時段開始時將視差給到疊加信息，此後，對其給出視差的疊加信息用作應當疊加在左眼圖像和右眼圖像上的疊加信息。在將視差給到疊加信息的這種配置中，可以將疊加信息的疊加時段中的最大視差給到視差信息，而不管圖像內容的改變。[位流處理單元的另一示例配置]圖44所示的位流處理單元201B具有對應於圖15所示的上述發送數據生成單元 IlOB的配置。在圖44中，對應於圖36所示的那些的部分用相同參考標號表示，並且省略其詳細描述。替代圖36所示的位流處理單元201的視差矢量解碼器225，位流處理單元201B 提供有視差矢量檢索單元232。視差矢量檢索單元232檢索通過字幕/圖形解碼器222獲
29得的字幕或圖形流中嵌入的視差矢量。然後，視差矢量檢索單元232將檢索的視差矢量提供到立體字幕/圖形產生單元226、立體圖像文本產生單元227和多聲道揚聲器控制單元 229。不同於其，圖44所示的位流處理單元20IB與圖36所示的位流處理單元201類似地配置，並且與其類似地操作，儘管省略了詳細描述。注意，在圖44中的位流處理單元201B 中將視差給到疊加信息類似於上述圖40中的位流處理單元201A中將視差給到疊加信息 (見圖41到圖43)。[位流處理單元的另一示例配置]圖45所示的位流處理單元201C具有對應於圖21所示的上述發送數據生成單元 IlOC的配置。在圖45中，對應於圖36所示的那些的部分用相同參考標號表示，並且省略其詳細描述。通過從圖36所示的位流處理單元201移除視差矢量解碼器225、立體圖像字幕/ 圖形產生單元2 和立體圖像文本產生單元227獲得位流處理單元201C。在該情況下，視差矢量預先反映在字幕信息、圖形信息和文本信息的數據中。如上所述，發送的字幕數據或圖形數據包括要疊加在左眼圖像上的左眼字幕信息或圖形信息的數據以及要疊加在右眼圖像上的右眼字幕信息或圖形信息的數據。類似地， 如上所述，發送的文本數據包括要疊加在左眼圖像上的左眼文本信息的數據以及要疊加在右眼圖像上的右眼文本信息的數據。因此，視差矢量解碼器225、立體圖像字幕/圖形產生單元2 和立體圖像文本產生單元227不是必須的。注意，因為通過文本解碼器223獲得的文本數據是代碼數據(字符代碼)，所以需要將其轉換為位圖數據的處理。該處理例如在文本解碼器223的最後級中或在視頻疊加單元228的輸入級中執行。[電視接收機的描述]回來參考圖1，電視接收機300經由HDMI電纜400接收從機頂盒200發送的立體圖像數據。電視接收機300包括3D信號處理單元301。3D信號處理單元301對立體圖像數據執行對應於發送方法的處理(解碼處理)，從而生成左眼圖像數據和右眼圖像數據。艮口， 3D信號處理單元301執行由圖2、圖13、圖15、圖21和圖22中所示的發送數據生成單元 110、110A、110B、110C和IlOD中的視頻分幀單元112執行的處理的相反處理。然後，3D信號處理單元301獲得形成立體圖像數據的左眼圖像數據和右眼圖像數據。[電視接收機的示例配置]將描述電視接收機300的示例配置。圖46圖示電視接收機300的示例配置。電視接收機300包括3D信號處理單元301、HDMI端子302、HDMI接收單元303、天線端子304、 數字調諧器305和位流處理單元306。此外，電視接收機300包括視頻/圖形處理電路307、面板驅動電路308、顯示面板 309、音頻信號處理電路310、音頻放大器電路311和揚聲器312。此外，電視接收機300包括CPU 321、閃速ROM 322、DRAM 323、內部總線324、遙控接收單元325和遙控發送器326。天線端子304是用於輸入由接收天線(未示出)接收的電視廣播信號的端子。數字調諧器305處理輸入到天線端子304的電視廣播信號，並且輸出對應於用戶選擇的頻道的特定位流數據(傳送流)。
位流處理單元306與圖35所示的機頂盒200的位流處理單元201類似地配置。位流處理單元306從位流數據提取立體圖像數據(左眼圖像數據和右眼圖像數據)、音頻數據、疊加信息數據、視差矢量(視差信息)等。疊加信息數據可以是字幕數據、圖形數據、文本數據(包括隱藏字幕數據)等。位流處理單元306組合疊加信息數據和立體圖像數據， 從而獲得要顯示的立體圖像數據。此外，位流處理單元306輸出音頻數據。HDMI接收單元303通過與HDMI兼容的通信，經由HDMI電纜400接收提供到HDMI 端子302的未壓縮圖像數據和音頻數據。HDMI接收單元303的版本例如是HDMI 1.4，並且處於能夠處理立體圖像數據的狀態。下面將描述HDMI接收單元303的細節。3D信號處理單元301對通過HDMI接收單元303接收的或通過位流處理單元306 獲得的立體圖像數據執行解碼處理，從而生成左眼圖像數據和右眼圖像數據。在該情況下， 3D信號處理單元301對通過位流處理單元306獲得的立體圖像數據執行對應於發送方法 (見圖4)的解碼處理。此外，3D信號處理單元301對通過HDMI接收單元303接收的立體圖像數據執行對應於TMDS發送數據結構(下面描述)的解碼處理。視頻/圖形處理電路307基於通過3D信號處理單元301生成的左眼圖像數據和右眼圖像數據生成用於顯示立體圖像的圖像數據。此外，視頻/圖形處理電路307根據需要對圖像數據執行圖像質量調整處理。此外，視頻/圖形處理電路307根據需要組合疊加信息的數據(如菜單和節目表)和圖像數據。面板驅動電路308基於從視頻/圖形處理電路307輸出的圖像數據驅動顯示面板309。顯示面板309由IXD (液晶顯示器)、PDP (等離子顯示面板)等構成。音頻信號處理電路310對通過HDMI接收單元303接收的或通過位流處理單元306 獲得的音頻數據執行必要的處理，如D/A轉換。音頻放大器電路311放大從音頻信號處理電路310輸出的音頻信號，並將其提供到揚聲器312。CPU 321控制電視接收機300的各個單元的操作。閃速ROM 322存儲控制軟體並存儲數據。DRAM 323形成CPU 321的工作區。CPU 321將從閃速ROM 322讀取的軟體和數據擴展到DRAM 323並啟動軟體，並且控制電視接收機300的各個單元。遙控接收單元325接收從遙控發送器3 發送的遙控信號(遙控代碼)，並將其提供到CPU 321。CPU 321基於該遙控代碼控制電視接收機300的各個單元。CPU 321、閃速 ROM 322和DRAM 323連接到內部總線324。將簡要描述圖46所示的電視接收機300的操作。HDMI接收單元303接收從經由 HDMI電纜400連接到HDMI端子302的機頂盒200發送的立體圖像數據和音頻數據。通過 HDMI接收單元303接收的立體圖像數據提供到3D信號處理單元301。此外，通過HDMI接收單元303接收的音頻數據提供到音頻信號處理電路310。輸入天線端子304的電視廣播信號提供到數字調諧器305。數字調諧器305處理電視廣播信號，並且輸出對應於用戶選擇的頻道的特定位流數據(傳送流)。從數字調諧器305輸出的位流數據提供到位流處理單元306。在位流處理單元306 中，從位流數據中提取立體圖像數據(左眼圖像數據和右眼圖像數據)、音頻數據、疊加信息數據、視差矢量(視差信息)等。此外，在位流處理單元306中，疊加信息(隱藏字幕信息、字幕信息、圖形信息和文本信息)的數據與立體圖像數據組合，使得生成要顯示的立體圖像數據。
31
通過位流處理單元306生成的要顯示的立體圖像數據提供到3D信號處理單元 301。此外，通過位流處理單元306獲得的音頻數據提供到音頻信號處理電路310。在3D信號處理單元301中，對通過HDMI接收單元303接收的或通過位流處理單元306獲得的立體圖像數據執行解碼處理，使得生成左眼圖像數據和右眼圖像數據。左眼圖像數據和右眼圖像數據提供到視頻/圖形處理電路307。在視頻/圖形處理電路307中， 基於左眼圖像數據和右眼圖像數據生成用於顯示立體圖像的圖像數據，並且根據需要執行圖像質量調整處理和組合疊加信息數據的處理。通過視頻/圖形處理電路307獲得的圖像數據提供到面板驅動電路308。因此，在顯示面板309上顯示立體圖像。例如，基於左眼圖像數據的左眼圖像和基於右眼圖像數據的右眼圖像以時分方式在顯示面板309上交替地顯示。通過佩戴快門眼鏡，觀眾只能用左眼觀看左眼圖像，並且只能用右眼觀看右眼圖像，在該快門眼鏡中，左眼快門和右眼快門與顯示面板309上的顯示同步地交替打開，從而能夠感受立體圖像。此外，在音頻信號處理電路310中，對通過HDMI接收單元303接收的或通過位流處理單元306獲得的音頻數據執行必要的處理，如D/A轉換。音頻數據通過音頻放大器電路311放大，然後提供到揚聲器312。因此，對應於在顯示面板309上顯示的圖像的音頻從揚聲器312輸出。[HDMI發送單元和HDMI接收單元的示例配置]圖47圖示圖1中的立體圖像顯示系統10中的機頂盒200的HDMI發送單元(HDMI 源)206和電視接收機300的HDMI接收單元(HDMI宿)303的示例配置。HDMI發送單元206在有效圖像時段(以下根據需要也稱為有效視頻時段)中， 使用多個信道以單向方式將對應於一個屏幕的未壓縮圖像的像素數據的差分信號發送到 HDMI接收單元303。這裡，通過從自一個垂直同步信號到下一個垂直同步信號的時段中移除水平消隱時段和垂直消隱時段來獲得有效圖像時段。此外，HDMI發送單元206在水平消隱時段或垂直消隱時段中，使用多個信道以單向方式將至少對應於伴隨圖像的音頻數據和控制數據、其它輔助數據等的差分信號發送到HDMI接收單元303。由HDMI發送單元206和HDMI接收單元303構成的HDMI系統中的發送信道包括下面的發送信道。即，存在三個TMDS信道#0到#2，其用作用於與像素時鐘同步地、以單向方式從HDMI發送單元206串行地發送像素數據和音頻數據到HDMI接收單元303的發送信道。此外，存在TMDS時鐘信道，其用作用於發送像素時鐘的發送信道。HDMI發送單元206包括HDMI發送器81。發送器81將未壓縮圖像的像素數據轉換為對應的差分信號，並且使用多個信道例如三個TMDS信道#0、#1和#2，以單向方式將它們串行地發送到經由HDMI電纜400連接的HDMI接收單元303。此外，發送器81將伴隨未壓縮圖像的音頻數據、必要的控制數據、其它輔助數據等轉換為對應的差分信號，並且使用三個TMDS信道#0、#1和#2以單向方式將它們串行地發送到HDMI接收單元303。此外，發送器81使用TMDS時鐘信道，將與使用三個TMDS信道#0、#1和#2發送的像素數據同步的像素時鐘發送到經由HDMI電纜400連接的HDMI接收單元303。這裡，在一個TMDS信道#i (i = 0、1或2、中，在像素時鐘的一個時鐘中發送10位像素數據。HDMI接收單元303在有效視頻時段中，使用多個信道接收對應於以單向方式從HDMI發送單元206發送的像素數據的差分信號。此外，HDMI接收單元303在水平消隱時段或垂直消隱時段中，使用多個信道接收對應於以單向方式從HDMI發送單元206發送的音頻數據和控制數據的差分信號。g卩，HDMI接收單元303包括HDMI接收器82。HDMI接收器82使用TMDS信道#0、 #1和#2接收以單向方式從HDMI發送單元206發送的對應於像素數據的差分信號和對應於音頻數據和控制數據的差分信號。在該情況下，HDMI接收器82使用TMDS時鐘信道接收與從HDMI發送單元206發送的像素時鐘同步地的差分信號。除了上述TMDS信道#0到#2以及TMDS時鐘信道外，HDMI系統中的發送信道包括稱為DDC (顯示數據信道)83和CEC線84的發送信道。DDC 83由HDMI電纜400中包括的並且沒有示出的兩條信號線構成。DDC 83由HDMI發送單元206用來從HDMI接收單元303 讀取E-EDID (增強擴展顯示標識數據)。SP，除了 HDMI接收器81外，HDMI接收單元303包括存儲E-EDID的EDID R0M(只讀存儲器)85，該E-EDID是關於其性能(配置/能力)的性能信息。例如，HDMI發送單元 206響應於從CPU 211 (見圖35)提供的請求，使用DDC 83從經由HDMI電纜400連接的 HDMI接收單元303讀取E-EDID。HDMI發送單元206將讀取的E-EDID發送到CPU 211。CPU 211將E-EDID存儲在閃速ROM 212或DRAM 213中。CPU 211可以基於E-EDID識別HDMI接收單元303的性能的設置。例如，CPU 211識別包括HDMI接收單元303的電視接收機300是否能夠處理立體圖像數據，如果能夠處理，則識別電視接收機300是否與該TMDS發送數據結構兼容。CEC線84由HDMI電纜400中包括的單個信號線(未示出)構成，並且用於執行 HDMI發送單元206和HDMI接收單元303之間的控制數據的雙向通信。CEC線84構成控制數據線。此外，HDMI電纜400包括連接到稱為HPD(熱插拔檢測)的管腳的線(HPD線)86。 源裝置可以使用線86檢測宿裝置的連接。注意，HPD線86也用作形成雙向通信路徑的 HEAC-線。此外，HDMI電纜400包括用於從源裝置提供電源給宿裝置的線(電源線)87。此外，HDMI電纜400包括效用線88。該效用線88也用作形成雙向通信路徑的HEAC+線。圖48圖示圖47中的HDMI發送器81和HDMI接收器82的示例配置。HDMI發送器 81包括分別對應於三個TMDS信道#0、#1和#2的三個編碼器/串行化器81A、81B和81C。 此外，編碼器/串行化器81A、81B和81C的每個編碼提供到其的圖像數據、輔助數據和控制數據，將數據從並行數據轉換為串行數據，並且作為差分信號發送數據。這裡，在圖像數據具有R、G和B的三個分量的情況下，B分量提供到編碼器/串行化器81A，G分量提供到編碼器/串行化器81B，並且R分量提供到編碼器/串行化器81C。此外，輔助數據包括例如音頻數據和控制分組。例如，控制分組提供到編碼器/串行化器81A，並且音頻數據提供到編碼器/串行化器81B和81C。此外，控制數據包括1位的垂直同步信號(VSYNC)、1位的水平同步信號(HSYNC)和1位的控制位CTLO、CTL1、CTL2和 CTL3。垂直同步信號和水平同步信號提供到編碼器/串行化器81A。控制位CTLO和CTLl 提供到編碼器/串行化器81B，並且控制位CTL2和CTL3提供到編碼器/串行化器81C。編碼器/串行化器81A以時分方式發送提供到其的圖像數據的B分量、垂直同步信號和水平同步信號、以及輔助數據。即，編碼器/串行化器81A將提供到其的圖像數據的B分量當作作為固定位數量的8位單元的並行數據。此外，編碼器/串行化器81A編碼該並行數據，將其轉換為串行數據，並且使用TMDS信道#0發送它。此外，編碼器/串行化器81A編碼提供到其的垂直同步信號和水平同步信號的2 位的並行數據，將其轉換為串行數據，並且使用TMDS信道#0發送它。此外，編碼器/串行化器81A將提供到其的輔助數據當作4位單元的並行數據。然後，編碼器/串行化器81A 編碼該並行數據，將其轉換為串行數據，並且使用TMDS信道#0發送它。編碼器/串行化器81B以時分方式發送提供到其的圖像數據的G分量、控制位 CTLO和CTL1、以及輔助數據。S卩，編碼器/串行化器81B將提供到其的圖像數據的G分量當作作為固定位數量的8位單元的並行數據。此外，編碼器/串行化器81B編碼該並行數據，將其轉換為串行數據，並且使用TMDS信道#1發送它。此外，編碼器/串行化器81B編碼提供到其的控制位CTLO和CTLl的2位的並行數據，將其轉換為串行數據，並且使用TMDS信道#1發送它。此外，編碼器/串行化器8IB 將提供到其的輔助數據當作4位單元的並行數據。然後，編碼器/串行化器81B編碼該並行數據，將其轉換為串行數據，並且使用TMDS信道#1發送它。編碼器/串行化器81C以時分方式發送提供到其的圖像數據的R分量、控制位 CTL2和CTL3、以及輔助數據。即，編碼器/串行化器81C將提供到其的圖像數據的R分量當作作為固定位數量的8位單元的並行數據。此外，編碼器/串行化器81C編碼該並行數據，將其轉換為串行數據，並且使用TMDS信道#2發送它。此外，編碼器/串行化器81C編碼提供到其的控制位CTL2和CTL3的2位的並行數據，將其轉換為串行數據，並且使用TMDS信道#1發送它。此外，編碼器/串行化器8IC 將提供到其的輔助數據當作4位單元的並行數據。然後，編碼器/串行化器81C編碼該並行數據，將其轉換為串行數據，並且使用TMDS信道#2發送它。HDMI接收器82包括分別對應於三個TMDS信道#0、#1和#2的三個恢復/解碼器 82A、82B和82C。恢復/解碼器82A、82B和82C分別接收使用TMDS信道#0、#1和#2作為差分信號發送的圖像數據、輔助數據和控制數據。此外，恢復/解碼器82A、82B和82C的每個將圖像數據、輔助數據和控制數據從串行數據轉換為並行數據，解碼它並輸出它。S卩，恢復/解碼器82A接收使用TMDS信道#0作為差分信號發送到其的圖像數據的B分量、垂直同步信號和水平同步信號、以及輔助數據。然後，恢復/解碼器82A將圖像數據的B分量、垂直同步信號和水平同步信號、以及輔助數據從串行數據轉換為並行數據， 解碼它並輸出它。恢復/解碼器82B接收使用TMDS信道#1作為差分信號發送到其的圖像數據的G 分量、控制位CTLO和CTL1、以及輔助數據。然後，恢復/解碼器82B將圖像數據的G分量、 控制位CTLO和CTL1、以及輔助數據從串行數據轉換為並行數據，解碼它並輸出它。恢復/解碼器82C接收使用TMDS信道#2作為差分信號發送到其的圖像數據的R 分量、控制位CTL2和CTL3、以及輔助數據。然後，恢復/解碼器82C將圖像數據的R分量、 控制位CTL2和CTL3、以及輔助數據從串行數據轉換為並行數據，解碼它並輸出它。圖49圖示TMDS發送數據的示例結構。圖49圖示在使用TMDS信道#0、#1和#2 發送水平1920像素X垂直1080行的圖像數據的情況下的各條發送數據的時段。在使用HDMI的三個TMDS信道#0、#1和#2發送發送數據的視頻場中，根據發送數據的類型存在三種類型的時段。該三種類型的時段包括視頻數據時段、數據島時段和控制時段。這裡，視頻場時段是從垂直同步信號的有效邊緣到下一個垂直同步信號的有效邊緣的時段。該視頻場時段包括水平消隱時段、垂直消隱時段和有效視頻時段。該有效視頻時段是通過從視頻場時段移除水平消隱時段和垂直消隱時段獲得的時段。視頻數據時段分配給有效視頻時段。在該視頻數據時段中，發送對應於形成一個屏幕的未壓縮圖像數據的1920像素X 1080行的有效像素的數據。數據島時段和控制時段分配給水平消隱時段和垂直消隱時段。在數據島時段和控制時段中，發送輔助數據。即，數據島時段分配給水平消隱時段和垂直消隱時段的一部分。 在該數據島時段中，發送輔助數據中與控制無關的數據，例如音頻數據的分組等。控制時段分配給水平消隱時段和垂直消隱時段的其它部分。在該控制時段中，發送輔助數據中與控制有關的數據，例如垂直同步信號和水平同步信號、控制分組等。圖50圖示HDMI端子的管腳布局的示例。圖50所示的管腳布局稱為類型A。使用用作差分線的兩條線發送作為TMDS信道#i的差分信號的TMDSData#i+和Data#i_。兩條線連接到對其分配TMDS Data#i+的管腳(具有管腳號1、4和7的管腳)和對其分配TMDS Data#i-的管腳(具有管腳號3、6和9的管腳)。 此外，通過其發送用作用於控制的數據的CEC信號的CEC線84連接到具有管腳號 13的管腳。此外，通過其發送如E-EDID的SDA (串行數據)信號的線連接到具有管腳號16 的管腳。通過其發送作為用於在SDA信號的發送/接收時的同步的時鐘信號的SCL(串行時鐘)信號的線連接到具有管腳號15的管腳。上述DDC 83由通過其發送SDA信號的線和通過其發送SCL信號的線構成。此外，如上所述，源裝置用來檢測宿裝置的連接的HPD線(HEAC-線)86連接到具有管腳號19的管腳。此外，效用線(HEAC+線)88連接到具有管腳號14的管腳。此外，如上所述，用於供電的線87連接到具有管腳號18的管腳。[E-EDID 結構]如上所述，例如HDMI發送單元206響應於從CPU 211 (見圖35)提供的請求，使用 DDC 83從經由HDMI電纜400連接的HDMI接收單元303讀取E-EDID。然後，CPU 211例如基於E-EDID識別HDMI接收單元303的性能的設置，例如是否能夠處理立體圖像數據。圖51圖示E-EDID的數據結構的示例。E-EDID由基本塊和擴展塊構成。在基本塊中，在報頭安排通過「E-EDID1. 3基本結構」表示的由E-EDID1. 3標準定義的數據。在基本塊中，隨後是用「優選定時」表示的、用於保持與傳統EDID的兼容性的定時信息。此外，在基本塊中，隨後是用「第二定時」表示的、用於保持與傳統EDID的兼容性的不同於「優選定時」的定時信息。此外，在基本塊中，在「第二定時」後面是用「監視器名稱」表示的指示顯示設備的名稱的信息。在基本塊中，隨後是用「監視器範圍限制」表示的、指示在縱橫比為4 3和 16 9時可以顯示的像素的數量的信息。在擴展塊的報頭安排「短視頻描述符」。這是指示可顯示的圖像大小(解析度)、 幀速率和隔行掃描或逐行掃描的信息。接著安排「短音頻描述符」。這是指示可用於再現的音頻編解碼方法、採樣頻率、截止頻帶、編解碼位的數量等的信息。接著，安排由「揚聲器分
35配」表示的關於左和右揚聲器的信息。此外，在擴展塊中，在「揚聲器分配」後是用「廠商專用，，表示的、為每個生產商唯一定義的數據。在擴展塊中，隨後是用「第三定時」表示的、用於保持與傳統EDID的兼容性的定時信息。在擴展塊中，再後面是用「第四定時」表示的、用於保持與傳統EDID的兼容性的定時信息。圖52圖示廠商專用區(HDMI廠商專用數據塊)的數據結構的示例。在該廠商專用區中，提供一個字節的第0塊到第N塊。在第0塊中，安排由「廠商專用標籤代碼(=3) 」表示的、指示數據「廠商專用」的數據區的報頭。此外，在該第0塊中，安排由「長度(=N) 」表示的、指示數據「廠商專用」 的長度的信息。此外，在第一到第三塊中，安排由「對位IEEE登記標識符(0X000C03)LSB 第一」表示的、指示為HDMI (R)登記的號碼「0X000C03」的信息。此外，在第四和第五塊中， 安排分別用「A」、「B」、「C」和「D」表示的、指示M位的宿裝置的的物理地址的信息。在第六塊中，安排用「支持Al」表示的、示出宿裝置可兼容的功能的標誌。此外，在該第六塊中，安排分別由「DC-48位」、「DC-36位」和「DC-30位」表示的、指定每像素的位數的各條信息。此外，在該第六塊中，安排由「DC-Y444」表示的、示出宿裝置是否可兼容YCbCr 4:4:4的圖像的發送的標誌。此外，在該第六塊中，安排用「DUV-Dual」表示的、示出宿裝置是否兼容雙DVI (數字視頻接口)的標誌。此外，在第七塊中，安排由「MaX_TMDS_Cl0Ck」表示的、指示TMDS的像素時鐘的最大頻率的信息。此外，在第八塊的第六位和第七位中，安排由「等待時間」表示的、示出視頻和音頻的延遲信息的存在/不存在的標誌。此外，在第八塊的第五位中，安排由「HDMI_ Video_present」表示的、示出是否可以處理另外的HDMI視頻格式(3D，4kX^0。此外，在第九塊中，安排由「視頻等待時間」表示的逐行掃描視頻的延遲時間數據。 在第十塊中，安排由「音頻等待時間」表示的伴隨逐行掃描視頻的音頻的延遲時間數據。此外，在第十一塊中，安排由「隔行掃描視頻等待時間」表示的隔行掃描視頻的延遲時間數據。 此外，在第十二塊中，安排由「隔行掃描音頻等待時間」表示的伴隨隔行掃描視頻的音頻的延遲時間數據。此外，在第十三塊的第七位中，安排由「3D_preSent」表示的、示出是否可以處理 3D圖像數據的標誌。此外，在第十四塊的第七位到第五位中，安排由「HDMI_VIC_LEN」表示的、指示在未示出的第十五塊或此後的塊中可以處理的數據結構以及安排的強制3D數據結構。此外，在第十四塊的第四位到第0位安排由「HDMI_3D_LEN」表示的、在未示出的第十五塊或此後的塊中安排的並且指示可以處理的視頻格式的塊的大小信息。[立體圖像數據的TMDS發送數據結構]圖53圖示幀打包方法的3D視頻格式，其是立體圖像數據的TMDS發送數據結構之一。該3D視頻格式是用於發送逐行掃描方法中的左眼(L)和右眼(R)圖像數據作為立體圖像數據的格式。在該3D視頻格式中，發送1920X1080像素和1080X720像素的像素格式的圖像數據作為左眼(L)和右眼(R)圖像數據。注意，圖53圖示這樣的示例，其中左眼(L)圖像數據和右眼(R)圖像數據每個由1920行X 1080像素構成。利用該3D視頻格式，生成視頻場時段用作單元的發送數據，該視頻場時段使用垂直同步信號劃分，並且包括水平消隱時段(Hblank)、垂直消隱時段(Vblank)和有效視頻時段(Hactive X Vactive)。在該3D視頻格式中，有效視頻時段具有兩個有效視頻區域(有效視頻)和它們之間的一個有效空間區域(有效區域)。左眼(L)圖像數據安排在第一有效視頻區域中，並且右眼(R)圖像數據安排在第二有效視頻區域中。圖M圖示行交替方法的3D視頻格式，其是立體圖像數據的TMDS發送數據結構之一。該3D視頻格式是用於發送逐行掃描方法中的左眼(L)和右眼(R)圖像數據作為立體圖像數據的格式。在該3D視頻格式中，發送1920X1080像素的像素格式的圖像數據作為左眼(L)和右眼(R)圖像數據。利用該3D視頻格式，生成視頻場時段用作單元的發送數據，該視頻場時段使用垂直同步信號劃分，並且包括水平消隱時段(Hblank)、垂直消隱時段QXVblank)和有效視頻時段(HactiveXZVactive)。在該3D視頻格式中，在有效視頻時段中交替安排左眼圖像數據的一行和右眼圖像數據的一行。圖55圖示並排(完全)方法的3D視頻格式，其是是立體圖像數據的TMDS發送數據結構之一。該3D視頻格式是用於發送逐行掃描方法中的左眼(L)和右眼(R)圖像數據作為立體圖像數據的格式。在該3D視頻格式中，發送1920X1080像素的像素格式的圖像數據作為左眼(L)和右眼(R)圖像數據。利用該3D視頻格式，生成視頻場時段用作單元的發送數據，該視頻場時段使用垂直同步信號劃分，並且包括水平消隱時段OXHblank)、垂直消隱時段(Vblank)和有效視頻時段QHactiveXVactive)。在該3D視頻格式中，在有效視頻時段中，左眼(L)圖像數據安排在水平方向上的第一半中，並且右眼(R)圖像數據安排的水平方向上的後一半中。注意，儘管省略了詳細描述，但是不同於圖53到圖55所示的上述3D視頻格式的 3D視頻格式被定義為HDMI1.4中的立體圖像數據的TMDS發送數據結構。例如，幀打包(用於隔行掃描格式的幀打包)方法、場交替方法、並排(一半)方法等。[機頂盒和電視接收機的另一示例配置]圖35所示的機頂盒200配置為使用HDMI接口發送基帶的立體圖像數據和音頻數據到電視接收機300。然而，在位流處理單元201中使用的全部或一些視差矢量(見圖8和圖27)可以使用HDMI接口作為視差信息組從機頂盒發送到電視接收機，並且可以使用。圖56圖示發送視差信息組的機頂盒200A的示例配置。在圖56中，對應於圖35 中的那些的部件用相同參考標號表示，並且適當地省略其詳細描述。在機頂盒200A中，視差信息組從位流處理單元201提供到HDMI發送單元206。然後，該視差信息組與立體圖像數據和音頻數據一起通過HDMI發送單元206從HDMI端子202發送到HDMI電纜400。除此以外，機頂盒200A與圖35所示的機頂盒200類似地配置，並且類似地操作。此外，圖57圖示接收並使用視差信息組的電視接收機300A的示例配置。在圖57 中，對應於圖46中的那些的部件用相同參考標號表示，並且適當地省略其詳細描述。在電視接收機300A中，通過HDMI接收單元303接收的視差信息組提供到視頻/圖形處理電路 307。在視頻/圖形處理電路307中，基於視差信息組中包括的視差矢量，將視差給到要粘貼到左眼圖像和右眼圖像的相同各條疊加信息(如菜單和節目表)。S卩，在電視接收機300A中，已經根據圖像中的各個對象的透視圖執行視差調整的信息可以用作要疊加在左眼圖像和右眼圖像上的相同各條疊加信息(如菜單和節目表)，並且在顯示疊加信息時，可以維持圖像中的各個對象之間的透視一致性。除此以外，電視接收機300A與圖46所示的電視接收機300類似地配置，並且類似地操作。圖58圖示從機頂盒200A發送到電視接收機300A的視差信息組的內容的示例。 該視差信息組包括N個視差矢量的信息組。每個信息組由十六位的塊ID(ID_Block(i))和十六位的水平方向上的視差矢量(Dsiparity_Vector_Horizontal)構成。這裡，例如如圖59所示，在視差信息組包括通過將圖像(畫面)區域劃分為9個塊獲得的各個塊BKO到BK8的視差矢量的情況下，首先安排具有最大值的視差矢量(即，該示例中的塊BK4的視差矢量)，然後順序地安排剩餘塊的視差矢量。[HDMI中用於發送視差信息組的方法]例如，下面的方法(1)和(2)可以用作用於使用HDMI接口發送視差信息組的方法。(1)使用HDMI廠商專用信息幀的方法(2)使用3D視頻格式的有效空間的方法，如幀打包方法首先，將描述⑴中使用HDMI廠商專用信息幀的方法。在該方法中，假設HDMI廠商專用信息幀分組中的HDMI_Video_Format = 「010」並且3D_Meta_present = 1，並且指定廠商專用信息幀擴展。在該情況下，例如3D_Metadata_type定義為未使用「010」，並且指定視差信息組(視差組)的信息。圖60圖示HDMI廠商專用信息幀的分組結構。該HDMI廠商專用信息幀在 CEA-861-D中定義，因此省略其詳細描述。在第四字節(PB4)的第七位到第五位中，安排指示圖像數據的類型的3位信息 「HDMI_Vide0_F0rmat」。在圖像數據是3D圖像數據的情況下，該3位信息為「010」。此外， 在圖像數據是3D圖像數據的情況下，在第五字節(PBO的第七位到第四位中安排指示TMDS 發送數據結構的4位的信息「3D_MrUCtre」。例如，在幀打包方法(見圖53)的情況下，4 位的信息是「0000」。此外，例如在行交替方法(見圖54)的情況下，4位的信息是「0010」。 此外，例如在並排(完全)方法(見圖55)的情況下，4位的信息是「0011」。此外，在第五字節(PB5)的第三位中安排「3D_Meta_present」，並且在指定廠商專用信息幀擴展的情況下，該一位為「1」。此外，在第七字節(PB7)的第七位到第五位中安排 "3D_Metadata_type"0在指定視差信息組(視差組)的信息的情況下，該3位信息是例如未使用「010」。此外，在第七字節(PB7)的第四位到第零位中安排「3D_Metadata_length」。 該5位信息指示此後安排的3D_Metadata區域的長度。構成視差信息組的視差矢量的每個信息組由十六位的塊ID(ID_Block(i))和十六位的水平方向的視差矢量(Disparity_Vector_Horizontal)構成，如上面描述的圖58 所示。例如，當將1920X1080的圖像(畫面)區域劃分為16 X 16像素的塊時，塊數為8100， 並且各個塊可以用十三位的ID表示。此外，要理解的是，在使用1920X1080的圖像大小中的像素數量表示水平方向上的視差的情況下，通常可以使用十一位代碼而沒有問題。因此，第一到第三字節的三個字節用於安排各個視差矢量的信息組。「ID_ Block(i) 」的上八位安排在第一字節中，並且「ID_Block(i) 」的下五位安排在第二字節的第七位到第三位中。此外，「DisparityJ^ectorJtorizontal」的上三位安排在第二字節的第二位到第零位，並且「DisparityJ^ectorJtorizontal」的下八位安排在第三字節中。為了發送九塊的視差矢量，如上面描述的圖59中所示，使用3位元組X9 = 27位元組的區域。視差信息組中包括的從頂層開始的各層可以通過3D_Metadata_length指定。可替代地，定義可以添加到3D_Metadata_type的空白位，並且當3D_Metadata_type =「010」 時，其可以指定為插入第一層中(整個屏幕的最大視差)，並且當3D_Metadata_type = 「110」時插入第二層中(多個層區中的每個中的層區內最大視差)。接著，將描述(2)中的使用有效空間的方法。在該方法中，如圖示HDMI廠商專用信息幀的分組結構的圖61所示，「ActiveSpce Enable」在現在作為保留位在第五字節(PB5) 的第二位中定義，並且1位的信息為「1」。在該狀態下，使用現在保留的有效空間區域新定義信息區域，並且在那裡安排視差信息組。有效空間區域與其中安排左眼圖像數據和右眼圖像數據的有效視頻區域一起形成有效視頻時段。這裡，有效視頻區域形成主要視頻區域，並且有效空間區域形成輔助視頻區域。有效空間區域取決於視頻的圖像大小變化，並且當圖像大小為1920X1080時具有每幀45行(86400位元組)的容量。當1920X1080的圖像(畫面)區域劃分為16X 16像素的塊時，塊數為8100。在該情況下，使用三個字節來安排各個視差矢量的信息組，如上所述。即，十三位用於「ID_ Block(i) 」，並且i^一位用於 「Disparity_Vector_Horizontal」。因此，需要 3 字節 X8100 =24300位元組的容量來安排包括所有塊的視差矢量的視差信息組。如上所述，有效空間區域具有86400位元組的容量。因此，通過使用該有效空間區域，可以以幀為單位發送包括所有塊的視差矢量的視差信息組。此外，可能減少塊的大小和增加視差矢量(視差信息)的空間密度。在該情況下， 容量可以超過能夠在一幀的有效空間區域中發送的容量。在該情況下，使用耦合信息明確地指定與下一幀的有效空間的耦合。圖62圖示在有效空間區域中安排的視差信息組的結構。在第零字節中，安排三位的「Active_space_info_Type」、三位的「Blcok_size」和兩位的「Connect_Info」。在第一字節和第二字節中，安排指示其中安排隨後的視差信息組的區域的長度的、十六位的「Data_ Length」的上八位和下八位。使用三個字節的區域安排每個視差矢量的信息組。在第一字節中安排「ID_ Block (i)，，的上八位，並且在第二字節的第七位到第三位中安排「ID_Block(i)，，的下五位。 此外，在第二字節的第二位到第零位中安排「DisparityJ^ectorJtorizontal」的上三位，並且在第三字節中安排「Disparity_Vector_Horizontal」的下八位。圖63圖示在圖62中所示的視差信息組結構的每條信息的內容。信息「ActiVe_ space_info_Type"是表示視差信息組的標識信息。信息「Blc0k_siZe」指示表示視差矢量 (視差信息)的空間密度的塊大小。「00」表示塊大小為1X1像素，S卩，一個像素。「01」表示塊大小為16X16像素。「10」表示塊大小為32X32像素。信息「Cormectjnfo」指示有效空間區域的連接信息。「00」表示該有效空間區域中安排的視差信息組在端部。「01」表示該有效空間區域中安排的視差信息組連接到隨後的有效空間區域中安排的視差信息組。「10」表示該有效空間區域中安排的視差信息組連接到之前的有效空間區域中安排的視差信息組。「11」表示該有效空間區域中安排的視差信息組連接到之前和隨後的有效空間區域中安排的視差信息組。
39
注意，重要的是在宿側的處理方面，當最後連接的有效空間結束時的視頻幀的定時安排為至少與用於發送目標圖像數據的幀相同時間或更早地結束髮送。圖64(a)圖示在「Blcok_SiZe」為「01」或「 10」情況下的各個視差矢量的信息組的示例安排。在該情況下，每個視差矢量的信息組使用三個字節的區域來安排，如上所述。圖 64(b)圖示在「Blcok_Size」為「00」情況下的各個視差矢量的信息組的示例安排。在該情況下，通過按照掃描順序(視頻像素順序)安排畫面的所有像素，可以省略「ID_Block(i)」。 即，在該情況下，使用兩個字節的區域安排每個視差矢量的信息組。注意，在該情況下，將i^一位代碼的「Disparity_Vector_Horizontal」信息規格化為八位代碼，從而可以使用一個字節的區域安排每個視差矢量的信息組，如圖64(c)所示， 並且發送頻帶可以減半。如上所述，在圖1所示的立體圖像顯示系統10中，基於左眼圖像和右眼圖像之一關於另一個的視差信息，將視差給到要疊加在左眼圖像和右眼圖像上的相同各條疊加信息 (如隱藏字幕信息、字幕信息、圖形信息和文本信息)。因此，其中已經根據圖像中的各個對象的透視圖執行視差調整的信息可以用作要疊加在左眼圖像和右眼圖像上的相同各條疊加信息，並且在顯示疊加信息時可以維持圖像中的各個對象之間的透視一致性。<2.修改〉注意，在上述實施例中，立體圖像顯示系統10由廣播站100、機頂盒200和電視接收機300構成。然而，電視接收機300提供有位流處理單元201，其與機頂盒200中的位流處理單元201等效地起作用，如圖46所示。因此，由廣播站100和電視接收機300構成的立體圖像顯示系統IOA是可用的，如圖65所示。此外，在上述實施例中，已經描述了這樣的示例，其中包括立體圖像數據的數據流 (位流數據)通過廣播站100廣播。然而，本發明當然可以應用於具有這樣的配置的系統， 其中該數據流使用網絡(如網際網路)分發到接收端。此外，在上述實施例中，已經描述了使用HDMI廠商專用信息幀的方法和使用有效空間的方法作為用於將視差信息組從機頂盒200A發送到電視接收機300A的方法。替代地， 可以通過由HPD線86 (HEAC-線)和效用線88 (HEAC+線)構成的雙向通信路徑發送視差信息組。此外，在上述實施例中，機頂盒200和200A經由HDMI的數字接口連接到電視接收機300和300A。然而，本發明當然可應用於這樣的情況，其中這些經由類似於HDMI的數字接口的數字接口(包括無線和有線)連接。此外，在上述實施例中，已經給出這樣的示例的描述，其中使用HDMI接口將在位流處理單元201中使用的視差矢量的全部或一些(見圖8和圖27)作為視差信息組從機頂盒200A發送到電視接收機300A。然而，這樣的經由HDMI接口發送視差信息組的技術當然可應用於其它源裝置和宿裝置的組合。例如，盤播放器(如BD和DVD)，此外遊戲機可以用作源裝置，並且監視器裝置和投影儀裝置可以用作宿裝置。產業可應用性本發明可應用於立體圖像顯示系統等，其用於將疊加信息(如隱藏字幕信息、字幕信息、圖形信息和文本信息)疊加在圖像上，並且顯示圖像。附圖標記說明
10，IOA…立體圖像系統，100…廣播站，110，IlOA到IlOD…發送數據生成單元， 111L，IllR…照相機，112…視頻分幀單元，113…視頻編碼器，113a…流格式化器，114…視差矢量檢測單元，115…視差矢量編碼器，116…麥克風，117…音頻編碼器，118…字幕/圖形產生單元，119···字幕/圖形編碼器，119a…流格式化器，120…文本產生單元，121-文本編碼器，122…復用器，IM…字幕/圖形處理單元，125…文本處理單元，130…數據檢索單元，130a…數據記錄介質，131到133…開關，視差信息組創建單元，200，200A…機頂盒， 201，201A，201B, 201C…位流處理單元，202…HDMI端子，203…天線端子，204…數字調諧器， 205…視頻信號處理電路，206... HDMI發送單元，207…音頻信號處理電路，211··· CPU, 212··· 閃速ROM，213…DRAM，214…內部總線，215…遙控接收單元，216…遙控發送器，220…解復用器，221-···視頻解碼器，222…字幕/圖形解碼器，223…文本解碼器，2M…音頻解碼器， 225…視差矢量解碼器，2 …立體圖像字幕/圖形產生單元，227…立體圖像文本產生單元，2 …視頻疊加單元，2 …多聲道揚聲器控制單元，231···視差矢量提取單元，232…視差矢量檢索檢測單元，300，300A…電視接收機，301··· 3D信號處理單元，302··· HDMI端子， 303…HDMI接收單元，304…天線端子，305…數字調諧器，306…位流處理單元，307···視頻/ 圖形處理電路，308…面板驅動電路，309…顯示面板，310…音頻信號處理電路，311…音頻放大器電路，312…揚聲器，321... CPU, 322…閃速ROM, 323…DRAM，324…內部總線，325…遙控接收單元，3 …遙控發送器，400…HDMI電纜
權利要求
1.一種立體圖像數據發送裝置，包括視差信息創建單元，其創建視差信息組，在該視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視差信息；以及數據發送單元，其將由視差信息創建單元創建的視差信息組與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送。
2.如權利要求1所述的立體圖像數據發送裝置，其中給形成由視差信息創建單元創建的視差信息組的每條視差信息增加該條視差信息所屬的底層的位置信息。
3.一種立體圖像數據發送方法，包括視差信息創建步驟，創建視差信息組，其中按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視差信息；以及數據發送步驟，將在視差信息創建步驟中創建的視差信息組與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送。
4.一種立體圖像數據接收裝置，包括數據接收單元，其接收視差信息組以及包括左眼圖像數據和右眼圖像數據的立體圖像數據，在該視差信息組中，按照分層順序安排從通過分層劃分圖像區域獲得的各個層中選擇的層的各個區域中的左眼圖像和右眼圖像之一關於另一個的各條視差信息；以及圖像數據處理單元，其使用由數據接收單元接收的左眼圖像數據和右眼圖像數據以及由數據接收單元接收的視差信息組，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據。
5.一種立體圖像數據發送裝置，包括視差信息輸出單元，其輸出左眼圖像和右眼圖像之一關於另一個的視差信息；以及數據發送單元，其將從視差信息輸出單元輸出的視差信息與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送，其中從視差信息輸出單元輸出的視差信息包括圖像數據的各個特定單元的各條視差 fn息ο
6.如權利要求5所述的立體圖像數據發送裝置，其中數據發送單元根據各個特定時段劃分圖像數據，並且在發送各個特定時段的各條圖像數據之前，發送對應於各個特定時段的各條圖像數據的各個特定單元的各條視差信肩、ο
7.一種立體圖像數據發送方法，包括視差信息輸出步驟，輸出左眼圖像和右眼圖像之一關於另一個的視差信息；以及數據發送步驟，將在視差信息輸出步驟中輸出的視差信息與包括左眼圖像數據和右眼圖像數據的立體圖像數據一起發送，其中在視差信息輸出步驟中輸出的視差信息包括圖像數據的各個特定單元的各條視差fe息。
8.一種立體圖像數據接收裝置，包括數據接收單元，其接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及圖像數據處理單元，其使用由數據接收單元接收的左眼圖像數據、右眼圖像數據以及視差信息，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據，其中由數據接收單元接收的視差信息包括圖像數據的各個特定單元的各條視差信息，以及其中圖像數據處理單元在疊加信息的疊加時段中，將基於對應的一條視差信息的視差給到圖像數據的各個特定單元中的疊加信息。
9.一種立體圖像數據接收方法，包括數據接收步驟，接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及圖像數據處理步驟，使用在數據接收步驟中接收的左眼圖像數據、右眼圖像數據以及視差信息，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據，其中在數據接收步驟中接收的視差信息包括圖像數據的各個特定單元的各條視差信息，以及其中在圖像數據處理步驟中，在疊加信息的疊加時段中，將基於對應的一條視差信息的視差給到圖像數據的各個特定單元中的疊加信息。
10.一種立體圖像數據接收裝置，包括數據接收單元，其接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及圖像數據處理單元，其使用由數據接收單元接收的左眼圖像數據、右眼圖像數據以及視差信息，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據，其中由數據接收單元接收的視差信息包括圖像數據的各個特定單元的各條視差信息， 其中在疊加時段之前，數據接收單元至少接收對應於疊加信息的疊加時段的視差信息，以及其中圖像數據處理單元在疊加信息的疊加時段中，將基於從對應於疊加時段的視差信息中選擇的特定的一條視差信息的視差給到疊加信息。
11.一種立體圖像數據接收方法，包括數據接收步驟，接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及圖像數據處理步驟，使用由數據接收步驟接收的左眼圖像數據、右眼圖像數據以及視差信息，將視差給到要疊加到左眼圖像和右眼圖像上的相同疊加信息，從而獲得其上疊加了疊加信息的左眼圖像的數據和其上疊加了疊加信息的右眼圖像的數據，其中在數據接收步驟中接收的視差信息包括圖像數據的各個特定單元的各條視差信息，其中在數據接收步驟中，在疊加時段之前，至少接收對應於疊加信息的疊加時段的視差信息，以及其中，在圖像數據處理步驟中，在疊加信息的疊加時段中，將基於從對應於疊加時段的視差信息中選擇的特定的一條視差信息的視差給到疊加信息。
12.—種立體圖像數據接收裝置，包括數據接收單元，其接收左眼圖像和右眼圖像之一相對於另一個的視差信息，以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及數據發送單元，其經由發送路徑將由數據接收單元接收的左眼圖像數據、右眼圖像數據和視差信息發送到外部裝置。
13.如權利要求12所述的立體圖像數據接收裝置，其中數據發送單元使用多個信道並使用差分信號經由發送路徑將圖像數據發送到外部裝置，以及通過將視差信息插入圖像數據的消隱時段中將視差信息發送到外部裝置。
14.如權利要求12所述的立體圖像數據接收裝置，其中數據發送單元包括發送數據生成單元，其生成其中視頻場時段用作單元的發送數據，該視頻場時段使用垂直同步信號劃分，並且包括水平消隱時段、垂直消隱時段和有效視頻時段，以及發送數據發送單元，其使用多個信道並使用差分信號經由發送路徑，將由發送數據生成單元生成的發送數據發送到外部裝置，其中有效視頻時段包括主要視頻區域和輔助視頻區域，以及其中發送數據生成單元將圖像數據安排在主要視頻區域中，並且將與主要視頻區域中安排的圖像數據有關的視差信息安排在輔助視頻區域中。
15.一種立體圖像數據接收方法，包括數據接收步驟，其接收視差信息以及包括左眼圖像數據和右眼圖像數據的立體圖像數據；以及數據發送步驟，其經由發送路徑將在數據接收步驟中接收的左眼圖像數據、右眼圖像數據和視差信息發送到外部裝置。
全文摘要
在顯示疊加信息中維持圖像中的每個對象之間的透視感的兼容性。視差信息組創建單元(134)例如對位於底層的像素的視差矢量應用縮小化處理，找到通過分層劃分圖像區域獲得的層次中的區域的視差信息，並且創建視差信息組，其中按照分層順序安排基於由接收側請求的視差矢量的空間密度、或發送頻帶等選擇的層次中的區域的視差矢量。復用器(122)復用從編碼器提供的流的分組，以便獲得位流數據(BSD)作為包括視差信息組的發送數據。在接收側，視差信息組用作疊加在左眼圖像和右眼圖像上的相同疊加信息，從而可以容易地顯示已經根據圖像中的每個對象之間的透視感應用視差調整的疊加信息。
文檔編號H04N7/26GK102369735SQ20108000986
公開日2012年3月7日 申請日期2010年6月22日 優先權日2009年6月29日
發明者塚越鬱夫 申請人:索尼公司