圖像接收器的製作方法

2023-10-26 19:37:32

專利名稱：圖像接收器的製作方法
技術領域：
本發明涉及圖像接收器。
背景技術：
正如以下展示的專利文獻中所述的那樣，已經知道了以預定周期交替地將在其間具有視差的左眼圖像和右眼圖像供應給顯示器並且利用包括與所述預定周期同步地被驅動的液晶快門(liquid crystal shutter)的眼睛觀察這些圖像的方法。而且，以現行數字廣播提供諸如電子節目指南和數據廣播之類的服務，並且可以根據用戶要求接收除普通視頻和音頻節目之外的服務。引用列表專利文獻專利文獻1 JP9-138384A專利文獻2 JP2000-36969A專利文獻3 JP2003-45343A

發明內容
技術問題在這些情況下，也要求普通節目通過重新向視頻和音頻添加值(value)來進一步充實服務。為了向視頻添加值，可以考慮這樣的方案除了普通視頻(以下被稱為普通觀看動態圖像或第一圖像)之外，還發送已經添加了值的視頻(以下被稱為附加信息動態圖像或第二圖像)，以便在接收側呈現具有使用普通觀看動態圖像的高添加值的動態圖像以及附加信息動態圖像。所述普通觀看動態圖像包括廣泛使用的二維圖像和非立體圖像。為了發送附加信息動態圖像來改進內容的添加值以及為普通觀看產生的普通觀看動態圖像，可以分離地編碼和發送並且分離地解碼普通觀看動態圖像和附加信息動態圖像以呈現動態圖像，但在這情況下，需要在接收側進行兩次解碼操作，並且升高安裝有兩個解碼器的接收器的價格。另一方面，如果在單屏幕上包含普通觀看動態圖像和附加信息動態圖像，則一起編碼普通觀看動態圖像和附加信息動態圖像，以便可以由單編碼器編碼這些圖像，並且還可以由單解碼器解碼普通觀看動態圖像和附加信息動態圖像。然而，總是將普通觀看動態圖像和附加信息動態圖像顯示為接收器的輸出，以便該顯示不同於發送側原來預期的普通觀看動態圖像。考慮在例如將雙眼立體動態圖像作為與普通視頻相比具有高添加值的視頻發送時的情況。在這種情況下，可以將單眼動態圖像考慮為普通觀看動態圖像，以便將另一單眼動態圖像作為附加信息動態圖像發送。結果，如在圖觀和圖四中所示，在不能夠顯示立體視覺的常規接收器中，通過垂直或水平地進行收縮來在同一屏幕上並排同時顯示普通觀看動態圖像和附加信息動態圖像。由於雙眼立體視覺中的左和右動態圖像在內容上僅僅具有較小的差異，所以期望能夠像在圖30而不是圖洲和圖四中那樣，在不能夠顯示雙眼立體視覺的接收器中以正確的縱橫比僅僅觀看單眼動態圖像(普通觀看動態圖像)。已經考慮到以上問題作出了本發明，並且期望提供能夠處理附加信息動態圖像以及普通觀看動態圖像的、新穎和改進了的圖像接收器，同時在動態圖像發送時將現行發送器/接收器的變化減少到最小。技術方案根據本發明的一個方面，為了達到上述目的，提供一種圖像接收器，其包括接收單元，接收在其中在一幀中布置第一圖像和第二圖像的集成圖像；以及獲取單元，獲取指示與該集成圖像一起發送的第一圖像的區域的區域信息，其中，包括在其中僅僅第一圖像基於區域信息被顯示的非立體視頻顯示模式和/或在其中第一圖像和第二圖像被顯示為立體視頻的立體視頻顯示模式。可以基於指示集成圖像是立體視頻的信息切換非立體視頻顯示模式和立體視頻顯示模式。第一圖像可以是左眼圖像，而第二圖像可以是右眼圖像。可以通過H264/AVC編解碼器編碼集成圖像和區域信息，並且該區域信息可以是 Crop (剪裁)參數。該Crop參數可以被包含在序列參數集(SPQ中。發明的有益效果根據本發明，可以與普通觀看動態圖像一起處理附加信息動態圖像，同時在動態圖像發送時將現行發送器/接收器的變化減少到最小。


圖1是示出在一個屏幕中顯示普通觀看動態圖像和附加信息動態圖像的狀態的示意圖。圖2是示出將圖1的布置信息表示成表格的狀態的示意圖。圖3是示出剪裁參數和涉及要裁剪掉的區域的矩形區域的參數的示意圖。圖4是示出杜比AC-3音頻的流信息的示意圖。圖5是示出在附加信息動態圖像描述符被添加到PMT的流信息時的情況的示意圖。圖6是示出附加信息動態圖像描述符的內容示例的簡圖。圖7是示出附加信息動態圖像SEI的層級的簡圖。圖8是示出在將附加信息動態圖像存在信息作為新的專用部分發送時的情況的簡圖。圖9是示出緊接在普通觀看動態圖像之後布置附加信息動態圖像的裁剪位置 (cutout position)時的情況的示意圖。圖10是示出緊接在普通觀看動態圖像之後布置附加信息動態圖像的裁剪位置時的協議內容(agreement content)的示意圖。圖11是示出在右眼動態圖像關於左眼圖像隔開布置時的情況的示意圖。
圖12是示出關於圖11的情況的協議內容的示意圖。圖13是示出同意多立體視覺的動態圖像的水平布置時集成圖像的布置狀態的示意圖。圖14是示出在這樣的協議下集成圖像的布置狀態的示意圖水平地布置儘可能多的動態圖像，並且如果有任何剩餘動態圖像，就垂直地布置這樣的動態圖像。圖15是示出在其中在上部布置主立體視覺動態圖像而在下部布置補充立體視覺動態圖像的集成動態圖像示例的示意圖。圖16是示出在將附加信息動態圖像SEI重新添加到H. 264時的內容的示意圖。圖17是示出在其中在重新為附加信息動態圖像的每一種類型建立SEI時在sei_ message中不存在必需的信息項的狀態的示意圖。圖18是示出在附加信息動態圖像描述符被添加到PMT時的內容的示意圖。圖19是示出在為附加信息動態圖像的每一種類型準備了描述符時在描述符之內的信息的示意圖。圖20是示出在將發送附加信息動態圖像存在信息的數據添加到MPEG2-TS的專用部分時private_data_byte的內容的示意圖。圖21是示出在將附加信息動態圖像SEI重新添加到H. 264時的內容的示意圖。圖22是示出根據本實施方式的發送器的塊圖。圖23是示出現有發送器的示意圖。圖M是示出根據本實施方式的接收器的示意圖。圖25是示出現有接收器的示意圖。圖沈是示出在將附加信息動態圖像描述符重新添加到PMT描述符時的內容的簡圖。圖27是示出在將發送附加信息動態圖像存在信息的數據添加到MPEG2-TS的專用部分時private_data_byte的內容的簡圖。圖28是示出在其中在垂直或水平地收縮後在同一屏幕上並排同時顯示普通觀看動態圖像和附加信息動態圖像的狀態的示意圖。圖四是示出在其中在垂直或水平地收縮後在同一屏幕上並排同時顯示普通觀看動態圖像和附加信息動態圖像的狀態的示意圖。圖30是示出在其中僅僅單眼動態圖像(普通觀看動態圖像)被以正確的縱橫比顯示的狀態的示意圖。圖31是示出在將普通觀看動態圖像布置為集成圖像中的1440 X 1080的左眼動態圖像而附加信息動態圖像布置為480X1080的左眼動態圖像時的情況的示意圖。圖32是示出在將普通觀看動態圖像布置為集成圖像中的1920X810的中心動態圖像而附加信息動態圖像布置為960X270的兩個圖像(左動態圖像、右動態圖像)時的情況的示意圖。圖33是示出在將H. 264用作編碼器並且使用附加信息動態圖像時發送器的處理流程的示意圖。圖34是示出在將H. 264用作編碼器並且使用附加信息動態圖像描述符時發送器的處理流程的示意圖。
圖35是示出在將H. 264用作編碼器並且使用附加信息動態圖像部分時發送器的處理流程的示意圖。圖36是在使用要被添加到H. 264的附加信息動態圖像SEI時接收器的流程圖。圖37是在使用要被添加到PMT描述符的附加信息動態圖像描述符時接收器的流程圖。圖38是在使用要被添加到MPEG2-TS的附加信息動態圖像部分時接收器的流程圖。圖39是在使用要被添加到H. 264的附加信息動態圖像SEI時接收器的流程圖。圖40是在使用要被添加到PMT描述符的附加信息動態圖像描述符時接收器的流程圖。圖41是在使用要被添加到MPEG2-TS的附加信息動態圖像部分時接收器的流程圖。圖42是在使用要被添加到H. 264的附加信息動態圖像SEI時接收器的流程圖。圖43是在使用要被添加到PMT描述符的附加信息動態圖像描述符時接收器的流程圖。圖44是在使用要被添加到MPEG2-TS的附加信息動態圖像部分時接收器的流程圖。
具體實施例方式以下將參考附圖詳細描述本發明的優選實施方式。注意，在本說明書和附圖中，具有實質上相同的功能和結構的元素用同一附圖標記表示，並且省略重複的描述。其描述將以以下次序提供1.第一實施方式(發送任意多個圖像的示例)2.第二實施方式(對立體視覺圖像的應用)[1.第一實施方式]首先，將基於附圖描述根據本實施方式的系統的概念。這裡，將通過採用高爾夫球轉播(golfrelay broadcasting)的內容作為示例來描述在將不用於雙眼立體視覺的動態圖像作為附加信息動態圖像發送時的情況。高爾夫球轉播的內容僅僅是一個圖解說明，本發明的應用範圍不限於高爾夫球轉播。圖1示出在其中在一個屏幕中顯示普通觀看動態圖像和附加信息動態圖像的狀態，並且圖1中的數字指示像素的數量。這裡，考慮在本實施方式的方法用於環繞草坪的情形時的情況。普通觀看動態圖像是在高爾夫球轉播中通常被轉播的動態圖像，並且對應於現行節目內容(原始版本)。另一方面，附加信息動態圖像是與普通觀看動態圖像分離的動態圖像，並且通過提供根據不同於普通觀看動態圖像的角度的角度創建的動態圖像來充實節目內容。例如，如圖1中所示，如果將草坪的視頻顯示為普通觀看動態圖像，則使得用戶通過使用示出草坪草地的坡度或紋路(inclination or grain of grass of green)的動態圖像或示出密切注視監視器的已經將高爾夫球擊打入洞(hole out)的另一玩家的動態圖像作為附加信息動態圖像，能夠從各個角度看見視頻場景。如果普通觀看動態圖像是示出走在高爾夫球道上的玩家的視頻，則可以考慮使用剛剛的球桿擊打(driver shot)的再現圖像或者示出高爾夫球賽觀眾(gallery)的動態圖像作為附加信息動態圖像。〈集成動態圖像〉在本實施方式中，將普通觀看動態圖像和附加信息動態圖像布置在一幀(或場) 中，並且作為一個動態圖像(以下描述為集成動態圖像)在其上進行壓縮/解壓處理，以最小化從現行動態圖像壓縮/解壓單元的變化。圖1示出了在將在草坪上示出球的普通觀看動態圖像、從上面示出整個洞的動態圖像和圖解草坪(green)坡度的動態圖像布置在一幀中時的一幀集成動態圖像。如果幀用場代替，本實施方式的有效性不會改變。圖2以表格形式示出圖1的布置信息。圖2示出了在集成動態圖像的尺寸為 1920X1080像素並且該集成圖像的左上角的坐標被設置為(0，0)時每個動態圖像的布置信息。因為從左上角粘貼圖像，所以在左上端點的普通觀看動態圖像的坐標為(0，0)。普通觀看動態圖像是在寬度方向(水平方向)上被收縮了一半的圖像，具有960X1080像素作為寬X高。由於收縮的緣故，樣本縱橫比變成2 1。另一方面，附加信息動態圖像具有 720X480像素的圖像尺寸，並且被假定為基於通過假定16 9的屏幕創建的動態圖像，以便其樣本縱橫比變成40 33。不需要兩個附加信息動態圖像的區域/縱橫比匹配，並且附加信息動態圖像的數量不限於兩個。將描述在通過現行數字廣播系統發送以上集成動態圖像的情況。在現行數字廣播系統，編碼並用被稱為MPEG2-TS(傳輸流)的分組復用方法發送動態圖像和音頻。動態圖像的主流(Mainstream)編解碼器包括MPEG2 VIDEO和H.沈4 (AVC)，並且在被發送之前用這些編解碼器壓縮動態圖像。圖22是示出根據本實施方式的發送器100的塊圖。如圖22中所示，發送器100 包括動態圖像壓縮單元102、普通觀看動態圖像區域編碼單元104和附加信息動態圖像存在信息編碼單元106。將在使用附加信息動態圖像時集成普通觀看動態圖像和附加信息動態圖像的集成動態圖像、集成動態圖像中的普通觀看動態圖像的區域和縱橫比、附加信息動態圖像的類型和區域(如果在發送和接收之間事先沒有任何協議)以及集成動態圖像中的普通觀看動態圖像的區域(如果在發送和接收之間事先沒有任何協議)輸入到圖22中的發送器100，並且將上述信息的編碼數據流從那裡輸出。圖23示出了一個現有發送器，其不同於圖22中的發送器100在於現有發送器不包括編碼信息動態圖像存在信息編碼單元 106。可以用諸如電路或中央處理器單元(CPU)之類的硬體以及使得該CPU起作用的程序 (軟體)創建在圖22或圖23中所示的配置。這也應用於接收器。在本實施方式中，在動態圖像壓縮單元102中用現有編解碼器壓縮如圖1所示那樣布置的集成動態圖像。此外，利用現有編解碼器的編碼方法，通過普通觀看動態圖像區域編碼單元104編碼圖2中的樣本縱橫比和指示布置信息的普通觀看動態圖像的區域的信息 (左上端點、寬度/高度)。首先，例如，如果動態圖像的編解碼器遵循H. 264,則使用在SPS中的VUI (視頻可
7用信息)之內的aspect_ratio_idc，sar_width, sar_hight來指定普通觀看動態圖像的樣本縱橫比。在圖2中存在多個樣本縱橫比，並且以如下方式使用普通觀看動態圖像的樣本縱橫比以正確的長寬比(length-to-width ratio)顯示普通觀看動態圖像。在圖2的情況下，普通觀看動態圖像的樣本縱橫比為2:1，因此不需要設置Sar_width和sar_hight，並且可以設置 aspect_ratio_idc = 16。將普通觀看動態圖像的區域的信息編碼為集成動態圖像中的普通觀看動態圖像的裁剪(cutout)區域。例如，如果動態圖像的編解碼器遵循H.沈4，則將區域設置為通過利用 SPS(序列參數集)中的 frame_crop_left_offset> frame_crop_right_offset> frame_ crop_top_offset禾口 frame_crop_bottom_offset從集成動態圖像中裁剪普通觀看動態圖像的剪裁參數。剪裁參數和作為矩形區域裁剪掉的區域具有以下所示的關係。利用圖3所示的 SubWidthC和SubHightC，左上端點的坐標(xs，ys)被給定為xs = SubffidthC*frame_crop_left_offsetys = SubHightC*(2-frame_mbs_only_flag)*frame_crop_top_offset右下端點的坐標(xe，ye)被給定為xe = PicffidthInSamles-(SubffidthC*frame_crop_right_offset+l)ye = 16*FrameHightInMbs-(SubHightC*(2-frame_mbs_only_flag)氺frame_crop_bottom_offset+l)chroma_format_idc 禾口 frame_mbs_only_flag 是 H. 264 的 SPS 之內的兩個參數。在現行廣播中，chroma_format_idc為 1，因此 SubWidthC = 2 和 SubHightC = 2。 frame_mbS_only_flag為指示是否進行按幀或場的動態圖像壓縮的標誌。圖1圖解了幀中的布置，因此假定按幀壓縮，並將通過設置frame_mbS_0nly_flag =1繼續該描述。當按場進行壓縮時，可以設置frame_mbS_only_flag = 0以便於計算，本實施方式在按場進行壓縮時也有效。從以上，xs、xe、ys和ye被給定為xs = 2*frame_crop_left_offsetys = 2*frame_crop_top_offsetxe = PicffidthInSamles- (2*frame_crop_right_offset+1)ye = 16*FrameHightInMbs-(2*frame_crop_bottom_offset+l)因此，裁剪圖像具有被給定為如下的寬度w和高度hw = PicWidthInSamles-2*frame_crop_left_offset-2*frame_crop_right_ offseth = 16*FrameHightInMbs-2*frame_crop_top_offset-2*frame_crop_bottom_ offset將裁剪圖1中的普通觀看動態圖像的參數從集成動態圖像的寬度確定為 PicffidthInSamples = 1920 和 16*FrameHightInMbs = 1088，這是因為集成動態圖像的高度為1080，它不是16的倍數。此外，根據普通觀看動態圖像的XS = 0、ys = 0、w = 960、h = 1080，可以作出下列設置frame_crop_left_offset = 0frame—crop—top—offset = 0frame_crop_right_offset = 480frame_crop—bottom—offset = 8如果如上所述那樣通過指定普通觀看動態圖像的樣本縱橫比和布置信息來進行 H. 264中的編碼處理，則普通觀看動態圖像從集成動態圖像中被裁剪掉，並且通過解碼被編碼的流來以正確的長寬比顯示。以上是H.沈4中的普通觀看動態圖像的樣本縱橫比和布置信息的編碼，可以在 MPEG2 VIDEO中類似地進行編碼。關於樣本縱橫比，aspect_ratio_information處於序列首標中，並且可以用樣本縱橫比或顯示器縱橫比來設置參數。樣本縱橫比指示剛解壓之後的像素的長寬比，而顯示器縱橫比指示顯示器中的長胃t匕。圖2中的普通觀看動態圖像的樣本縱橫比為2 1，其指示像素的寬度是高度的兩倍。因此，960X1080的圖像在水平方向上被擴展一倍，以便以1920X1080顯示圖像。顯示器縱橫比為顯示器的1920X1080的長寬比，因此得到1920 1080 = 16 9。該16 9 可以通過設置aspect_ratio_information = 3來指定。另一方面，關於區域裁剪，可以通過序列顯示擴展首標中的display_VertiCal_ size和display_horizontal_size來指定要被裁剪掉的寬度/高度。可以通過畫面顯示擴展首標中的 frame_centre_horizontal_offset 禾口 frame_centre_vertical_offset 來指定裁剪部分的中心與原始圖像的中心之間的偏差。使用這些參數，可以編碼普通觀看動態圖像的樣本縱橫比和布置信息。然而，在ITU-T. Rec. H. 262的描述中，這些參數與全景掃描 (pan-scan)並行地被描述，並且可以不依賴於廣播規則隨便設置。關於H.沈4，可以與全景掃描分離地設置剪裁參數，並且不存在對涉及全景掃描的參數的限制。如果另一編解碼器具有裁剪掉解壓後的動態圖像的參數，則這樣的參數可以被用於指定本發明中的普通觀看動態圖像的樣本縱橫比和布置信息。接下來，將描述要由圖22中所示的發送器100的附加信息動態圖像存在信息編碼單元106編碼的附加信息動態圖像存在信息。在圖1的示例中，除了普通觀看動態圖像之外，還發送兩個附加信息動態圖像， 即，附加信息動態圖像1，2。這些附加信息動態圖像是作為節目的補充動態圖像的有效動態圖像，但可以被考慮為根據用戶偏好顯示的動態圖像，而不是總是這樣。在圖1中的示例中，對於主屏幕中的草坪，通過將從同一角度示出草坪的起伏 (undulation)的動態圖像和從天空拍攝整個洞的俯瞰(survey)的動態圖像作為補充動態圖像布置在集成動態圖像中來發送這些動態圖像。附加信息動態圖像存在信息是指示「是否存在這些補充動態圖像」、「如果存在，則寬度/高度、位置和樣本縱橫比是多少？ 」、「此外，當使用這些補充動態圖像時，普通觀看動態圖像的裁剪區域怎麼樣？ 」的信息。在圖1和圖2的示例中，附加信息動態圖像的寬度、高度和樣本縱橫比不同於普通觀看動態圖像的寬度、高度和樣本縱橫比。這裡假定在發送器和接收器之間未對在使用附加信息動態圖像時附加信息動態圖像的寬度、高度和樣本縱橫比和普通觀看動態圖像的裁剪區域事先達成一致。在H. 264標準中，定義被稱為補充增強信息(SEI)的補充信息的描述方法。在SEI 中，描述諸如數據在輸入/輸出緩衝器用於解碼的保持時間和在隨機存取期間解碼的點的存在之類的信息。在本實施方式中，描述了通過重新添加附加信息動態圖像SEI使得本實施方式中的附加信息動態圖像存在信息可發送的示例。圖7示出了附加信息動態圖像SEI的層級並且在使用附加信息動態圖像時普通觀看動態圖像的裁剪開始位置、寬度和高度，附加信息動態圖像的類型，附加信息動態圖像的數量，各種附加信息動態圖像的裁剪開始位置、寬度/高度和樣本縱橫比被指定為SEI的 sei—message。文法上根據H. 264的文法規則創建重新在本實施方式中添加的SEI。因此，現有發送器難以解碼SEI，但可以通過跳過SEI來進行下一處理。圖33示出了在使用H. 264作為編碼器並且使用附加信息動態圖像SEI時發送器100的處理流程圖。首先，將根據集成動態圖像中普通觀看動態圖像的位置、寬度和高度計算出來的、H. 264的剪裁參數和aspect ratio_idc(必要時也使用sar_width和sar_hight)設置到編碼器(步驟S100)。接下來，將在使用附加信息動態圖像時普通觀看動態圖像的裁剪開始位置、寬度和高度，附加信息動態圖像的類型，樣本縱橫比，以及根據左上端點和寬度/高度確定的附加信息動態圖像的裁剪開始位置、寬度和高度設置到編碼器，作為附加信息動態圖像 SEI (步驟S102)。此外，作出諸如集成動態圖像的圖像尺寸之類的編碼器設置，然後編碼集成動態圖像(步驟S104)。對於通過數字廣播系統的發送，可以通過基於MPEG2-TS復用來獲得發送流(步驟S106)。在圖7中，用裁剪開始位置、寬度和高度指定普通觀看動態圖像和附加信息動態圖像的布置，但該布置也可以用諸如在H. 264中指定剪裁區域的方法之類的其他方法來指定。SEI是由H. 264標準定義的發送描述，並且可以通過添加描述來重新發送補充信息，以適應具有發送補充信息到動態圖像壓縮/解壓處理(例如，對MPEG2視頻使用USER_ DATA)的裝置的任何編解碼器。(市場上銷售和已出售的)現有發送器難以解碼重新添加的附加信息動態圖像 SEI，但可以通過跳過SEI來繼續處理。這裡假定由現有接收器通過跳過附加信息動態圖像 SEI來進行接收處理。圖25是示出現有接收器400的示意圖。組合普通觀看動態圖像和附加信息動態圖像的集成動態圖像的編碼和普通觀看動態圖像的區域的編碼是與現有發送器進行的處理相同的處理。因此，如圖25所示，甚至現有接收器400也解碼集成動態圖像，並且像基於上述剪裁信息所期望的那樣，普通觀看動態圖像被裁剪掉並且顯示在動態圖像輸出單元 206 中。另一方面，圖M是示出根據本實施方式的接收器200的示意圖。根據本實施方式的接收器200包括動態圖像解壓單元202、普通觀看動態圖像區域解碼單元204、附加信息動態圖像存在信息解碼單元208和動態圖像輸出單元(顯示面板)206。在根據本實施方式的接收器200中，可以由附加信息動態圖像存在信息解碼單元208解碼附加信息動態圖像 SEL·因此，接收器200辨認普通觀看動態圖像的區域之外的附加信息動態圖像的存在，並且可以獲得在使用附加信息動態圖像時普通觀看動態圖像的裁剪開始位置、寬度和高度， 附加信息動態圖像的數量，以及每個附加信息動態圖像的裁剪開始位置、寬度、高度和樣本縱橫比。在MPEG2-TS中，PMT (節目映像表)被定義為描述要發送的節目流信息的PSI (節目系統信息)。PMT的流信息包含用來選擇音頻或視頻分組的PID (Packet ID)、stream_type和描述符，以便可以知道用於編碼的視頻編解碼器或音頻編解碼器使用什麼。圖4示出杜比AC-3音頻的流信息。AC-3的stream_type未定義在ITU-TREC. H. 222. 0中，並且在歐洲使用PES專用數據的Stream_type，而在美國使用用戶專用的 stream_type。因此，難以單獨從圖4中的stream_type確定elementary_PID指定的PID的分組是否是音頻流。因此，AC-3提供AC-3描述符作為PMT的描述符，以及是否可以通過檢測這個描述符來判斷AC-3流。因此，PMT通過該描述符提供關於節目的編解碼器的設置信息的使用方法。同樣在本實施方式中，將基於該使用方法，描述通過將該描述符添加到PMT來發送附加信息動態圖像存在信息的示例。圖5示出在將附加信息動態圖像描述符添加到PMT 的流信息時的情況。該附加信息動態圖像描述符通知集成動態圖像被壓縮並且附加信息動態圖像以具有由elementary_PID指定的PID的分組存在，並且作出參數通知來使用附加信息動態圖像。如果由H. 264壓縮集成動態圖像，則將OX IB設置為stream_type，而如果由 MPEG2壓縮集成動態圖像，則將0X2設置為Stream_type。附加信息動態圖像描述符本身與編解碼器無關，並且同樣的附加信息動態圖像描述符可以用於MPEG2和H. 2640毫無疑問，現有接收器400難以解釋附加信息動態圖像描述符，並且通常通過忽略描述符來操作。然而，如果通過遵循本實施方式來設置集成動態圖像和普通觀看動態圖像的區域以及樣本縱橫比，則集成動態圖像也可以由現有接收器400解碼並且從其中裁剪掉普通觀看動態圖像，以便可以正確地顯示普通觀看動態圖像。另一方面，在根據本實施方式的接收器200中，可以通過附加信息動態圖像存在信息解碼單元208解碼並解釋附加信息動態圖像描述符。因此，可以辨認普通觀看動態圖像的區域之外的附加信息動態圖像的存在。在本實施方式中，假定在發送器與接收器之間對在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域與附加信息動態圖像的寬度/高度和樣本縱橫比事先達成一致，因此將這些參數存儲在附加信息動態圖像描述符中並發送。圖6示出了附加信息動態圖像描述符的內容示例。圖34示出了使用H. 264作為編碼器並且使用附加信息動態圖像描述符時發送器的處理流程圖。首先，將根據集成動態圖像中的普通觀看動態圖像的位置、寬度和高度計算出來的、H. 264的剪裁參數和aspect_ ratio_idc (必要時也使用sar_width和sar_hight)設置到編碼器(步驟S200)。接下來， 準備使用附加信息動態圖像時普通觀看動態圖像的裁剪開始位置、寬度和高度，附加信息動態圖像的類型，樣本縱橫比，以及根據左上端點和寬度/高度確定的附加信息動態圖像的裁剪開始位置、寬度和高度，作為圖6中的附加信息動態圖像描述符(步驟S202)。此外，作出諸如集成動態圖像的圖像尺寸之類的編碼器設置，然後編碼集成動態圖像(步驟 S204)。可以通過將準備好的附加信息動態圖像描述符設置到用於數字廣播系統的發送需要的MPEG2-TS復用的PMT，來獲得發送流(步驟S206)。在圖2的示例中，除了普通觀看動態圖像之外存在的兩個附加信息動態圖像是兩個非立體視覺附加信息動態圖像，因此附加信息動態圖像的類型被設置為非立體視覺，並且在使用附加信息動態圖像時普通觀看動態圖像的裁剪開始位置、寬度和高度之後，連續指定附加信息動態圖像的類型，附加信息動態圖像的數量，以及每個附加信息動態圖像的裁剪開始位置、寬度，高度和樣本縱橫比。這裡，使用開始位置和寬度/高度來指定普通觀看動態圖像和附加信息動態圖像的區域，但其目的是指定集成動態圖像之內的布置，因此可以通過類似於指定H.沈4中的剪裁參數的方法的方法或任何其他方法來指定區域。除了圖6中的附加信息動態圖像描述符的格式之外，還可以通過為每種類型的附加信息動態圖像準備描述符作為非立體視覺附加信息動態圖像描述符，來省略描述符中的附加信息動態圖像的類型的欄位。另外，還可以通過為附加信息動態圖像1和附加信息動態圖像2每一個準備描述符並在PMT的流信息中描述多個附加信息動態圖像描述符，來省略附加信息動態圖像的數量的欄位。當將新的附加信息動態圖像描述符添加到MPEG2-TS的PMT時，本發明對MPEG2-PS 等也有效，通過將存儲附加信息動態圖像存在信息的新的描述符添加到節目流映像(PSM) 來實現有效操作。對於可以用於描述針對視頻數據的補充信息並且可以將該補充信息添加到的、非 MPEG2的任何容器(container)，可以像上述添加描述符那樣應用該補充信息。在MPEG2-TS中，可以將部分數據發送到與PMT的層相同的層。通過假定對該部分的新添加的情況來考慮專用部分，並且可以考慮將本實施方式中的附加信息動態圖像存在信息作為新的專用部分發送。圖8示出了將附加信息動態圖像存在信息作為新的專用部分發送的情況。現有接收器400難以解碼新的部分，並且與PMT的描述符一樣，被現有接收器400 跳過。圖8示出了在用以判斷圖2中的集成動態圖像的分組的PID和在使用附加信息動態圖像時普通觀看動態圖像的裁剪開始位置、寬度和高度之後，連續指定附加信息動態圖像的類型以及附加信息動態圖像的裁剪開始位置、寬度、高度和樣本縱橫比。
圖35示出了在將H. 264用作解碼器並且使用附加信息動態圖像部分時發送器的流程圖。首先，將根據集成動態圖像中的普通觀看動態圖像的位置、寬度和高度計算出來的、H. 264的剪裁參數和aspect_ratio_idc(必要時也使用sar_width和sar_hight)設置到編碼器(步驟S300)。接下來，將在使用附加信息動態圖像時普通觀看動態圖像用以判斷分組的PID、裁剪開始位置、寬度和高度，附加信息動態圖像的類型，樣本縱橫比，以及根據左上端點和寬度/高度確定的附加信息動態圖像的裁剪開始位置、寬度和高度，作為圖6中的附加信息動態圖像部分進行準備(步驟S302)。此外，作出諸如集成動態圖像的圖像尺寸之類的編碼器設置，然後編碼集成動態圖像(步驟S304)。通過也復用用於數字廣播系統發送需要的MPEG2-TS復用的、準備好的附加信息動態圖像部分，獲得發送流(步驟S306)。這裡，指定普通觀看動態圖像和附加信息動態圖像的區域，但其目的是確定集成動態圖像之內的布置，因此該布置也可以通過諸如在H. 264中指定剪裁區域的方法之類的其他方法來指定。通過為每種類型的附加信息動態圖像添加新的專用部分，可以省略掉附加信息動態圖像的類型。通過利用上述附加信息動態圖像存在信息的三種存儲方法之一，通過本實施方式中的發送器100的附加信息動態圖像存在信息編碼單元106編碼該附加信息動態圖像存在 fn息ο從以上，可以獲得編碼集成動態圖像、普通觀看動態圖像、在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域、樣本縱橫比和附加信息動態圖像存在信息的流。當視頻編解碼器遵循H.沈4時，如果獲得了其流，並且用滿足標準(ITU-TRec. H. 264)的現有接收器400解碼該流，則忽略附加信息動態圖像存在信息，並且顯示普通觀看動態圖像。這也在視頻編解碼器遵循MPEG2 VIDEOdTU-T Rec. H. 262)時應用。另一方面，應用本實施方式的接收器200也解碼附加信息動態圖像存在信息，並且用戶享受比現有接收器400提供的服務更多的服務。因此，根據本實施方式，可以在保持與現有電視機的兼容性的同時添加新功能，並且與在變成需要購買新電視機用於觀看或動態圖像引起不舒服的感覺時的情況相比，對用戶的益處變得更大了。〈與接收器的用戶交互〉當本實施方式中的接收器200接收到具有附加信息動態圖像的節目時，用戶可以通過設置或指令接收器200從至少三種類型的顯示中選擇1)正常顯示普通觀看動態圖像2)在屏幕上同時顯示普通觀看動態圖像和附加信息動態圖像3)僅僅在屏幕中顯示附加信息動態圖像當在屏幕上同時顯示普通觀看動態圖像和附加信息動態圖像時，可以根據用戶請求來改變要顯示的附加信息動態圖像的數量或其布置或尺寸。這裡，通過操作遙控器等來事先設置接收器200怎樣顯示具有附加信息動態圖像的節目。指令接收器200基於用戶指令立即改變具有附加信息動態圖像的節目的顯示方法。圖36、圖37和圖38示出了在分別使用要添加到H. 264的附加信息動態圖像SEI、要添加到PMT描述符的附加信息動態圖像描述符以及要添加到MPEG2-TS的附加信息動態圖像部分時接收器200的流程圖。在這些流程圖，解碼SEI、描述符或部分的信息以確定是否存在任何附加信息動態圖像，如果存在附加信息動態圖像，則接收在使用附加信息動態圖像時普通觀看動態圖像和附加信息動態圖像的參數。圖36、圖37和圖38之間的差異是通過在MPEG2-TS的分用期間解碼PSI/SI來獲得參數(圖37和圖38)，還是作為H. 264中的解碼的結果來獲得參數(圖36)。在接收到參數之後，依賴於作出普通顯示，使用附加信息動態圖像顯示，還是顯示兩者，來讀取接收器的用戶設置以改變動態圖像的輸出。如果通過用戶設置設置了普通顯示，則輸出普通觀看動態圖像(步驟S410、S510、S610)。如果通過用戶設置將輸出普通觀看動態圖像和附加信息動態圖像，則輸出普通觀看動態圖像和附加信息動態圖像(步驟S414、S514、S614)。如果通過用戶設置不輸出普通觀看動態圖像和附加信息動態圖像，則輸出附加信息動態圖像(步驟S416、S516、S616)。在本實施方式中，圖解了在其中附加信息動態圖像相關地涉及普通觀看動態圖像的動態圖像，但即使不特別涉及動態圖像，本實施方式也有效地操作。[2.第二實施方式]將山景的多眼(Multi-eye)立體視覺內容取作示例來描述這樣的情況在對於將用於多眼立體視覺的動態圖像作為附加信息動態圖像的發送，在發送和接收之間對下列信息達成一致。如果沒有達成協議，則可以像「第一實施方式」中那樣發送信息。·在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域·附加信息動態圖像的位置·附加信息動態圖像的寬度/高度·附加信息動態圖像的樣本縱橫比1.雙眼(Double-Eye)立體視覺動態圖像這裡，考慮在將多眼立體視覺的雙眼立體視覺動態圖像的左眼動態圖像作為普通觀看動態圖像(第一圖像)發送而將右眼動態圖像作為附加信息動態圖像(第二圖像)發送的情況。首先，關於集成動態圖像的動態圖像壓縮以及普通觀看動態圖像區域和樣本縱橫比的編碼，可以直接應用在第一實施方式中描述的方法。關於附加信息動態圖像存在信息，首先考慮在發送側與接收側之間達成的協議。 普通觀看動態圖像與附加信息動態圖像是一對雙眼立體視覺動態圖像，並且可以考慮成具有與動態圖像相同的屬性，以便將普通觀看動態圖像的參數適合於附加信息動態圖像的參數是自然協議。也就是說，在這裡假定以下協議(1)普通觀看動態圖像和附加信息動態圖像具有與圖像尺寸相同的寬度和高度。(2)普通觀看動態圖像和附加信息動態圖像具有相同的樣本縱橫比。在本實施方式中，當不實現雙眼立體視覺時，顯示左眼動態圖像。假定達成協議來使顯示區域和用於雙眼立體視覺的左眼動態圖像的區域相同。也就是說，達成以下一致(3)在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域與在不使用附加信息動態圖像時普通觀看動態圖像的裁剪區域相同接下來，將普通觀看動態圖像和附加信息動態圖像布置在一幀中，並且通過假定在發送與接收之間附加信息動態圖像被布置在普通觀看動態圖像之下，來考慮根據雙眼立 體視覺動態圖像的圖像尺寸確定附加信息動態圖像的裁剪開始位置。如果在普通觀看動態圖像之後立即布置附加信息動態圖像的裁剪位置，則該布置 看起來如圖9所示，而協議內容看起來如圖10所示。如果避免了同一宏塊(macroblock)中的左眼動態圖像的下邊緣和右眼動態圖像 的上邊緣的編碼，則可以如圖11所示，將右眼動態圖像布置成關於左眼動態圖像隔開，並 且協議內容看起來如圖12所示。雖然在圖10和圖12中僅僅示出了圖像尺寸的一部分，但可以發送的圖像的尺寸 可以如圖10和圖12所示那樣達成一致，或者可以像如下所示的計算公式那樣根據普通觀 看動態圖像的剪裁參數達成協議。圖9中的附加信息動態圖像的裁剪開始位置(xa，ya)開始於緊接普通觀看動態圖 像的最下邊緣線之下，並且可以計算如下xa = frame_crop_left_offsetya = 16*FrameHightInMbs-2*frame_crop_bottom_offset而附加信息動態圖像的圖像尺寸(W，h)與普通觀看動態圖像的圖像尺寸相同，並 且可以計算如下W = PicWidthlnSamles-2*frame_crop_left—offset-2*frame_crop_right_offseth = 16*FrameHightInMbs-2*frame_crop_top_offset-2*frame_crop_bottom_offset另一方面，可以通過使用圖9中的裁剪開始位置(xa，ya)來如下那樣計算圖10中 的附加信息動態圖像的裁剪開始位置xb = xayb = ya+(16-ya% 16)(ya% 16表示將ya除以16之後的餘數)在這些條件下，達成協議(4)集成動態圖像中的附加信息動態圖像的裁剪開始位置的確定方法基於例如圖 12中的表格，並且如果圖像尺寸不包含在該表格中，則使用其高度高於該圖像尺寸的高度 並與其最接近的圖像尺寸。基於上述(1)至G)中的協議，假定在發送和接收之間對下列信息達成一致 在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域 附加信息動態圖像的位置 附加信息動態圖像的寬度/高度 附加信息動態圖像的樣本縱橫比可以通過在具有用於根據普通觀看動態圖像的剪裁參數確定附加信息動態圖像 的裁剪開始位置和圖像尺寸的功能和將普通觀看動態圖像的樣本縱橫比作為附加信息動態圖像的樣本縱橫比輸出的功能的接收器200中配備附加信息動態圖像存在信息解碼單元208，來滿足這些協議。要傳遞的參數全部在這些協議中達成一致，並且要從發送器側發送到接收器側的附加信息動態圖像存在信息的必要內容包括關於是否存在附加信息動態圖像的信息以及指示普通觀看動態圖像和附加信息動態圖像是一對雙眼立體視覺動態圖像的信息(立體視覺判斷信息)。因此，如果發送了可以定義附加信息動態圖像的類型的代碼並且在接收側上檢測到該代碼，則基於(1)至(4)獲得附加信息動態圖像並使用。因此，甚至傳統發送信息也可以用作附加信息動態圖像存在信息。以下將描述在將本實施方式應用於第一實施方式中所描述的信息時的情況，該信息諸如是· H. 264 的 SEI(如果是 MPEG2 視頻則為 USER_DATA)· MPEG2-TS 的 PMT 描述符(如果是MPEG2-PS則為PSM描述符)· MPEG2-TS的專用部分圖16示出在將附加信息動態圖像SEI重新添加到H. 264時的內容。因為在發送與接收之間對在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域和集成動態圖像中的附加信息動態圖像的區域和樣本縱橫比事先達成一致，因此作為seijiieesage的最少必要信息僅僅是附加信息動態圖像的類型與垂直雙眼立體視覺達成一致。這在圖16中被示出為指定的垂直雙眼立體視覺。這種類型可以是指定的雙眼立體視覺，但除了垂直布置的眼之外還存在水平布置的眼，並且將「垂直」添加到名稱上來強調垂直布置。在將SEI的一個片段重新添加到H. 264時的情況看起來如圖16所示，但如果為每種類型的附加信息動態圖像添加了 SEI，則在如圖17所示的seijiiessage中不存在必要的信息項，因為例如利用指定的垂直雙眼立體視覺附加信息動態圖像SEI的存在，可以確定集成圖像具有垂直雙眼立體視覺附加信息動態圖像。(毫無疑問，可以包含其他信息。)接下來，圖18示出了在將附加信息動態圖像描述符重新添加到PMT時的內容。因為在發送與接收之間對在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域和集成動態圖像中的附加信息動態圖像的區域和樣本縱橫比事先達成一致，因此作為描述符的最少必要信息僅僅是附加信息動態圖像的類型與垂直雙眼立體視覺達成一致。同樣關於描述符，如圖19所示，如果為每種類型的附加信息動態圖像準備了描述符，則在描述符中不存在本實施方式的操作需要的信息。圖20示出了在將發送附加信息動態圖像存在信息的數據添加到MPEG2-TS的專用部分時private_data_byte的內容。與PMT描述符一樣，需要指定附加信息動態圖像的類型，還需要指定具有附加信息動態圖像的流的PID。同樣關於專用部分，可以通過採用為每一種類型的附加信息動態圖像重新添加專用部分的方法來省略附加信息動態圖像的類型。從以上，與第一實施方式中一樣，可以獲得編碼集成動態圖像、普通觀看動態圖像的區域、在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域、樣本縱橫比和附加信息動態圖像存在信息的流。當視頻編解碼器遵循H. 264時，如果獲得了其流並且該流通過滿足H. 264標準 (ITU-T Rec. H. 264)的現有接收器400解碼，則忽略附加信息動態圖像存在信息並且顯示普通觀看動態圖像。這也應用在視頻編解碼器遵循MPEG2VIDE0(ITU-T Rec. H. 262)時。另一方面，應用了本實施方式的接收器200還通過附加信息動態圖像存在信息解碼單元208正確地解碼附加信息動態圖像存在信息，以便如下所示那樣，用戶享受比現有接收器400提供的服務更多的服務。因此，根據本實施方式，可以在保持與現有電視機的兼容性的同時添加新功能，並且與在變成需要購買新電視機用於觀看或動態圖像引起不舒服的感覺時的情況相比，對用戶的益處更大了。接下來，將描述通過遵循本實施方式的接收器200顯示圖9和圖11所示的圖像的情況。如果該接收器不能呈現雙眼立體視覺，則使用H. 264標準中的剪裁參數來從集成動態圖像中裁剪調普通觀看動態圖像，因此基本地向用戶呈現普通觀看動態圖像。使用本實施方式的接收器200可以確定附加信息動態圖像的存在、布置和樣本縱橫比，以便可以通過提供用戶指令附加信息動態圖像的右眼動態圖像而不是普通觀看動態圖像的左眼動態圖像的顯示的功能，來切換和顯示左眼動態圖像、右眼動態圖像或者這兩者ο圖42、圖43和圖44示出了在分別使用要添加到H. 264的附加信息動態圖像SEI、 要添加到PMT描述符的附加信息動態圖像描述符以及要添加到MPEG2-TS的附加信息動態圖像部分時接收器200的流程圖。在這些流程圖中，由附加信息動態圖像存在信息解碼單元208解碼SEI的信息、描述符或部分以確定在集成動態圖像中是否存在任何附加信息動態圖像，如果存在附加信息動態圖像，則接收在使用附加信息動態圖像時普通觀看動態圖像和附加信息動態圖像的參數。圖42、圖43和圖44之間的差異是通過在MPEG2-TS的分用期間解碼PSI/SI來獲得參數(圖43和圖44)，還是作為H. 264中的解碼的結果來獲得參數 (圖42)。在接收到參數之後，讀取接收器的用戶設置來確定作出普通顯示還是使用附加信息動態圖像進行顯示。在本實施方式中，附加信息動態圖像的類型是立體視覺，因此不能顯示立體視覺的接收器難以使用普通觀看動態圖像/附加信息動態圖像實現立體視覺。然而，如果用戶不選擇普通觀看，則用戶可以從普通觀看動態圖像/附加信息動態圖像中選擇要顯示的動態圖像，並且依賴於選擇，從解碼的集成動態圖像中裁剪掉普通觀看動態圖像或附加信息動態圖像，並且根據用戶指令/設置輸出動態圖像。如上所述，可以切換和顯示左眼動態圖像、右眼動態圖像或兩者。如果接收器能夠呈現雙眼立體視覺，則可以通過使用普通觀看動態圖像和附加信息動態圖像呈現雙眼立體視覺。用戶不一定總是期望雙眼立體視覺，因此代替雙眼立體視覺，可以根據用戶指令或設置僅僅顯示普通觀看動態圖像和僅僅顯示附加信息動態圖像。圖39、圖40和圖41示出了在分別使用要添加到H. 264的附加信息動態圖像SEI、 要添加到PMT描述符的附加信息動態圖像描述符以及要添加到MPEG2-TS的附加信息動態圖像部分時接收器的流程圖。在這些流程圖，解碼SEI的信息、描述符或部分以確定是否存在任何附加信息動態圖像，如果存在附加信息動態圖像，則接收在使用附加信息動態圖像時普通觀看動態圖像和附加信息動態圖像的參數。圖39、圖40和圖41之間的差異是通過在MPEG2-TS的分用期間解碼PSI/SI來獲得參數(圖40和圖41)，還是作為H. 264中的解碼的結果來獲得參數(圖39)。在接收到參數之後，讀取接收器的用戶設置來確定作出普通顯示還是使用附加信息動態圖像進行顯示。在使用附加信息動態圖像時，如果立體動態圖像被包含在附加信息動態圖像中， 則根據用戶指令/設置確定是否進行立體視覺(步驟S920)，而如果不進行立體視覺，則輸出從普通觀看動態圖像/附加信息動態圖像選擇的動態圖像(步驟S722、S724)。如果進行立體視覺，則通過根據每一個視點輸出動態圖像來呈現該立體視覺(步驟S730、S830、 S930)。更具體地說，如下所示那樣地處理立體視覺。首先，接收器200接收從發送器100 側發送的附加信息動態圖像存在信息。附加信息動態圖像存在信息包含指示附加信息動態圖像是否是用於立體視覺的圖像的信息(被稱為立體視覺判斷信息)。接下來，如果附加信息動態圖像的類型是基於立體視覺判斷信息的立體視覺(在步驟S712、S812、S912中的 「是」)，則接收器200輸出普通觀看動態圖像作為左眼圖像，而輸出附加信息動態圖像作為右眼圖像。另一方面，如果附加信息動態圖像的類型不是基於立體視覺判斷信息的立體視覺(在步驟S712、S812、S912中的「否」)，則接收器200輸出普通觀看動態圖像作為普通顯示。如果附加信息動態圖像的類型不是立體視覺，則與圖36、圖37和圖38中的流程圖所示的處理一樣，也可以輸出從普通觀看動態圖像/附加信息動態圖像中選擇的動態圖像(不僅可能組合了一個動態圖像，而且可能組合了多個動態圖像)。毫無疑問，該接收器能夠顯示立體視覺，因此通過水平地移位所選擇的動態圖像輸出來創建右眼動態圖像和左眼動態圖像，可以向前/向後移動輸出的動態圖像的呈現區域。在這個示例中，將普通觀看動態圖像設置為左眼動態圖像，但其也可以被設置為右眼動態圖像。如果改變了普通觀看動態圖像與附加信息動態圖像之間的垂直關係，則可以通過改變每個動態圖像的參數來應對這種變化。與這個示例一樣，本發明也在將附加信息動態圖像布置在普通觀看動態圖像的一側時有效。2.多眼立體視覺動態圖像在柱鏡(lenticular)方法或視差障柵(parallax barrier)方法的立體視覺中， 可以處理多眼立體視覺的動態圖像。一般地，這些方法被稱為裸眼3D(維)方法或無眼鏡 (glaSSleSS)3D方法。在這種情況下，例如，將第一和第二圖像設置為用於左眼和右眼的圖像以從第一方向允許立體視覺，並且將第三和第三圖像設置為用於左眼和右眼的圖像以從不同於第一方向的第二方向允許立體視覺。本實施方式也在動態圖像輸出單元具有這些方法的圖像呈現方法並且多眼立體視覺的一個圖像可以被用作普通觀看動態圖像而其餘圖像被用作附加信息動態圖像時有效。作為在發送與接收之間對附加信息動態圖像的布置達成一致的方法，例如，同意多眼立體視覺的動態圖像的水平布置，並且根據集成動態圖像的寬度和普通觀看動態圖像的寬度計算水平地布置的動態圖像的數量。圖13示出了在以上協議下布置動態圖像時集成圖像的布置狀態。根據另一協議， 多眼立體視覺的動態圖像的數量和布置(例如，水平地)達成一致，並且在水平地布置了儘可能多的動態圖像之後，如果存在任何剩餘動態圖像，則垂直地布置這種圖像。
圖14示出了在以上協議下布置了動態圖像時集成圖像的布置狀態。同樣對於圖 13和圖14，需要同意是否應該隔開圖像。毫無疑問，如果準備了兩種類型的附加信息動態圖像隔開的水平三眼立體視覺和非隔開的水平三眼立體視覺，並且作為附加信息動態圖像存在信息發送，則可以對每段內容選擇集成動態圖像的其類型。3.多眼立體視覺和不同角度立體視覺動態圖像此外，作為節目，如第一實施方式中所述，可以考慮從不同角度發送視頻。因為主視頻是立體視覺動態圖像，所以來自不同角度的視頻最好是按照觀看的立體視覺動態圖像，並且在以下假定是立體視覺動態圖像。順便說，即使不同角度的視頻不是立體視覺動態圖像，本實施方式也是有效的。圖15示出了一個集成動態圖像示例，在其中主立體視覺動態圖像被布置在上部而補充立體視覺動態圖像被布置在下部。從節目的視點看，期望主立體視覺動態圖像的一個動態圖像變成普通觀看動態圖像。排除了普通觀看動態圖像的動態圖像全部是附加信息動態圖像。順便說，不特別將普通觀看動態圖像限制到左上角上的布置。考慮這樣的情況以與圖13中的相同方式在發送與接收之間達成關於主立體視覺動態圖像的協議，並且不達成關於立體視覺動態圖像的協議。圖21示出將附加信息動態圖像SEI重新添加到H. 264時的內容。SEI的內容包括作為用於指定的水平三眼視覺的附加信息動態圖像的主立體視覺動態圖像，以及作為用於補充水平三眼視覺的附加信息動態圖像的補充立體視覺動態圖像。補充水平三眼視覺指的是水平三眼視覺並且不包含普通觀看動態圖像，並且假定指的是不同於簡單的水平三眼視覺。從實現的視點(viewpoint)來看，可以考慮通過利用具有位欄位的ID作為附加信息動態圖像的類型指定下列信息。·是否使用普通觀看動態圖像的位·是否在發送側和接收側之間對在使用附加信息動態圖像時普通觀看動態圖像的裁剪區域達成一致的位·是否在發送側和接收側之間對附加信息動態圖像達成一致的位置的位·是否在發送側和接收側之間對附加信息動態圖像的寬度/高度達成一致的位·是否在發送側和接收側之間對附加信息動態圖像的樣本縱橫比達成一致的位·是否為立體視覺的位·是否為立體視覺而水平布置的位·用於立體視覺的視點的數量在圖21的seijiieesage中，可以通過為指定的水平三眼視覺指定附加信息動態圖像來確定下列信息 在使用主附加信息動態圖像時普通觀看動態圖像的裁剪區域·主附加信息動態圖像的位置·主附加信息動態圖像的寬度/高度·主附加信息動態圖像的樣本縱橫比接下來，指定用於補充水平三眼視覺的附加信息動態圖像來指定用於三眼的附加信息動態圖像的位置、寬度/高度和樣本縱橫比。在三眼視覺中，將各個視點的動態圖像考慮成具有相同的寬度/高度和樣本縱橫比，因此在圖21中假定寬度/高度和樣本縱橫比是公用的，並且一次性作出其設置並僅僅為三眼指定裁剪開始位置。圖沈示出了在將附加信息動態圖像描述符添加到PMT描述符時的內容。與圖21 中的SEI —樣，通過為指定的水平三眼視覺指定附加信息動態圖像，來確定 在使用主附加信息動態圖像時普通觀看動態圖像的裁剪區域·主附加信息動態圖像的位置·主附加信息動態圖像的寬度/高度·主附加信息動態圖像的樣本縱橫比接下來通過為補充水平三眼視覺指定附加信息動態圖像，可以確定用於三眼的附加信息動態圖像的位置、寬度/高度和樣本縱橫比。圖27示出了在將發送附加信息動態圖像存在信息的數據添加到MPEG2-TS的專用部分時priVate_data_byte的內容。除了指定用以呈現附加信息動態圖像的流的PID之外， 指定內容與附加信息動態圖像SEI的內容相同。與圖21中的SEI —樣，通過為指定的水平三眼視覺指定附加信息動態圖像來確定下列信息 在使用主附加信息動態圖像時普通觀看動態圖像的裁剪區域·主附加信息動態圖像的位置·主附加信息動態圖像的寬度/高度·主附加信息動態圖像的樣本縱橫比接下來，可以通過為補充水平三眼視覺指定附加信息動態圖像，來確定用於三眼的附加信息動態圖像的位置、寬度/高度和樣本縱橫比。從以上，發送是可能的，當主視頻是立體動態圖像時，可以通過遵循本實施方式來發送來自不同視點的立體動態圖像。如果甚至包括主/補充立體動態圖像的流的流遵循本實施方式，則可以通過現有接收器400將主立體動態圖像的單眼動態圖像作為普通觀看動態圖像觀看。此外，應用了本實施方式的接收器200允許觀看來自主/補充立體動態圖與主或或補充立體動態圖像之間的優選的單眼動態圖像。4.使用具有與普通觀看動態圖像的圖像尺寸不同的圖像尺寸的附加信息動態圖像的雙眼立體視覺圖31示出這樣的情況在集成圖像中將普通觀看動態圖像布置為1440X 1080的左眼動態圖像而將附加信息動態圖像布置為480 X 1080的左眼動態圖像，並且圖32示出這樣的情況將普通觀看動態圖像布置成1920X810的中心動態圖像而將附加信息動態圖像布置成960X270的兩個圖像(左動態圖像、右動態圖像)。當在在本實施方式中處理多眼立體視覺動態圖像時，不需要在同一圖像尺寸下處理全部視點，並且與圖31和圖32中一樣，對於發送(累積)，可以增加普通觀看動態圖像的信息量，並減少附加信息動態圖像的信息量。按照這種方式，在抑制普通觀看動態圖像惡化的同時，可以發送多眼立體視覺動態圖像。在實際多眼視覺(例如，通過圖39中的普通和附加信息輸出的立體視覺)中，普通觀看動態圖像的放大比和附加信息動態圖像的放大比不同，並且作出調整以便針對左和右眼的呈現尺寸變成相等。毫無疑問，擔心再現圖像由於附加信息動態圖像的被減少的信息量的惡化。
然而，在雙眼立體視覺中人類的正確官能是出眾的，並且出現具有更多信息量的單眼圖像信息補償其他的圖像信息的現象。例如，甚至在右和左眼之間具有不同視力的人也可以體驗立體視覺。實際上，已經證實了即使當單眼圖像有點模糊時也可以實現立體視覺，並且甚至關於圖39中的不平衡的左和右動態圖像，立體視覺也是可能的。圖32示出了用於三眼立體視覺的動態圖像，並且通過具有較大信息量的普通觀看動態圖像作為中心動態圖像來構建集成動態圖像，以便可以從右眼動態圖像或左眼動態圖像作出具有較大信息量的動態圖像。如果將具有大信息量的動態圖像用作右眼動態圖像，則用作普通觀看動態圖像的中心動態圖像被用於右眼，而附加信息動態圖像的左動態圖像被用於左眼。如果將具有大信息量的動態圖像用作左眼動態圖像，則用作普通觀看動態圖像的中心動態圖像被用於左眼，而附加信息動態圖像的右動態圖像被用於右眼。這考慮允許用戶依賴於左和右眼視力以及左和右眼的疲勞度，根據用戶偏好選擇使用哪隻眼來觀看具有較大量信息的普通觀看動態圖像。圖31和圖32的集成動態圖像中的普通觀看動態圖像和附加信息動態圖像的布置和圖像尺寸是示例，而不限制本發明。如上所述，根據以上實施方式，甚至在現有接收器中，也可以觀看普通觀看動態圖像。如果可以在通過利用本實施方式創建的流中正確地處理編解碼器的裁剪參數，甚至現有接收器也可以從呈現的集成動態圖像內裁剪掉普通觀看動態圖像。特別地，H. 264具有塊編碼單元並且通常以16的倍數的像素數量為單位編解碼像素。另一方面，像素數量1920X1080的圖像中的1080不是16的倍數，並且該圖像一般使用1088進行編碼並且其八線在顯示時被丟棄。原來已經使用剪裁信息來指定要丟棄的八條線，但在本發明中重新使用作為區域信息以指定普通圖像的區域(二維圖像或非立體圖像)作為完全不同的使用形式。本發明可以利用現有系統，因此可以很有效率地實現。同樣根據本實施方式，可以在保持與現有接收器的兼容性的同時添加新的功能， 以便用戶可以在期望的切換周期中接收新的服務，而不會強迫為了觀看而購買新的電視機或者觀看引起不舒服的感覺的動態圖像。本實施方式也可以被應用於裸眼3D型電視機。因此，在混合了現有接收器和能夠接收附加信息動態圖像的接收器的情形下，可以將發送器改變到具有附加信息動態圖像的動態圖像的發送器，而在現有接收器側上不會有障礙。而且，可以減少現有發送器/接收器的改變量，以便可以降低開發成本並削減使用本實施方式的發送器/接收器的價格。以上已經參考附圖描述了本發明的優選實施方式，當然，本發明不限於以上示例。 本領域普通技術人員在附錄的權利要求書的範圍內可以發現各種變更和改進，並且應該理解，它們將自然歸入本發明的技術範圍。附圖標記列表100發送器102動態圖像壓縮單元104普通觀看動態圖像區域編碼單元106附加信息動態圖像存在信息編碼單元200接收器
202動態圖像解壓單元204普通觀看動態圖像區域解碼單元206動態圖像輸出單元208附加信息動態圖像存在信息解碼單元
權利要求
1.一種圖像接收器，包括接收單元，接收在其中在一幀中布置第一圖像和第二圖像的集成圖像；以及獲取單元，獲取指示與該集成圖像一起發送的第一圖像的區域的區域信息， 其中，包括在其中僅僅第一圖像基於區域信息被顯示的非立體視頻顯示模式和/或在其中第一圖像和第二圖像被顯示為立體視頻的立體視頻顯示模式。
2.根據權利要求1的圖像接收器，其中，基於指示集成圖像是立體視頻的立體視覺判斷信息切換非立體視頻顯示模式和立體視頻顯示模式。
3.根據權利要求1的圖像接收器，其中，第一圖像是左眼圖像而第二圖像是右眼圖像。
4.根據權利要求1的圖像接收器，其中，由264/AVC編解碼器編碼集成圖像和區域信息並且該區域信息是剪裁參數。
5.根據權利要求4的圖像接收器，其中，該剪裁參數包括在序列參數集SPS中。
6.根據權利要求1的圖像接收器，其中，集成圖像具有進一步布置在一幀中的一個或多個圖像。
全文摘要
公開了圖像接收裝置，提供有接收單元，其接收在其中在單幀中布置了第一圖像和第二圖像的組合圖像；以及獲取單元，其獲取與該組合圖像一起發送的區域信息並指示第一圖像所在的該區域。圖像接收裝置具有在其中僅僅基於區域信息顯示第一圖像的非立體顯示模式和/或在其中將第一圖像和第二圖像顯示為立體圖像的立體顯示模式。
文檔編號H04N7/26GK102273212SQ201080004186
公開日2011年12月7日 申請日期2010年11月17日 優先權日2009年11月17日
發明者永野秀敏 申請人:索尼公司