再現設備和再現方法、記錄設備和記錄方法以及程序的製作方法

2023-05-20 23:27:21 1

專利名稱：再現設備和再現方法、記錄設備和記錄方法以及程序的製作方法
技術領域：
本發明涉及再現設備和再現方法、數據結構、記錄介質、記錄設備和記錄方法，以及程序。具體地，本發明涉及使得在子圖像的偏移信息(offset information)被布置在主圖像的流中的情況中，能夠基於該偏移信息容易地實現子圖像的3D顯示的再現設備和再現方法、數據結構、記錄介質、記錄設備和記錄方法，以及程序。
背景技術：
2D圖像主要用作運動內容等，但是，近來，3D圖像已經受到關注。用於允許用戶觀看3D圖像的方法的示例包括用於允許用戶用左眼觀看兩個圖像中的一個圖像並且允許用戶用右眼觀看另一圖像的方法，這兩個圖像在某一方向上彼此相
隔一定距離。在此方法中，為了顯示3D圖像，需要準備左眼圖像和右眼圖像，或者準備這樣的某種圖像，方向信息指示左眼和右眼圖像相對於該圖像的位移方向的組合併且偏移值表示位移量。注意，在下面，將方向信息和偏移值總地稱為偏移信息。此外，針對在準備左眼圖像和右眼圖像兩者的情況中使用的圖像的編碼方法的示例包括MVC (多視點視頻編碼)方法(例如參見PTL I)等。然後，為了對將要與諸如影片之類的主圖像一起顯示的子圖像(例如，字幕、菜單按鈕等)執行3D顯示，子圖像的偏移信息被布置在利用MVC方法等被編碼的主圖像的流中。引用列表專利文獻PTL I :日本未實審專利申請公報No. 2009-100070

發明內容
技術問題然而，在此情況中，如果主圖像的流在沒有利用特定方法的情況下被變換為 TS(傳輸流)分組，則無法利用通用解碼器對主圖像的流進行解碼。即，需要從主圖像的TS 分組中提取主圖像的視頻數據和偏移信息的每個並對它們進行解碼，並且因此需要準備專用解碼器。因此，這需要開發成本，並且不能容易地實現子圖像的3D顯示。本發明是鑑於這些狀況而作出的，並且致力於使得在子圖像的偏移信息被布置在主圖像的流中的情況中能夠基於該偏移信息容易地實現子圖像的3D顯示。
問題的解決方案根據本發明第一方面的再現設備是一種用於再現具有如下數據結構的數據的再現設備，該數據結構包括子圖像流的分組，子圖像流是某個子圖像的流；以及視頻流的分組，視頻流是經編碼主圖像的流並且是包括偏移信息的流，偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，經編碼主圖像的視頻數據和偏移信息中的僅任一者被布置在視頻流的分組中的每個分組的數據部分中，標誌信息被描述在視頻流的分組中的每個分組的頭部中，標誌信息是指示布置在分組的數據部分中的數據是經編碼主圖像的視頻數據還是偏移信息的信息，在再現具有上述數據結構的數據的情況中，該再現設備包括讀取裝置，用於讀取子圖像流和視頻流的分組；提取裝置，用於基於分組的頭部中描述的標誌信息來從由讀取裝置讀取的分組中提取偏移信息被布置在數據部分中的分組；生成裝置，用於基於布置在由提取裝置提取的分組的數據部分中的偏移信息，來從子圖像流的分組生成左眼子圖像的視頻數據和右眼子圖像的視頻數據；以及解碼裝置，用於基於分組的頭部中描述的標誌信息來對包括在讀取裝置讀取的分組的數據部分中的經編碼主圖像的視頻數據進行解碼。根據本發明第一方面的再現方法和程序與根據本發明第一方面的再現設備相對應。在本發明的第一方面中，具有如下數據結構的數據被再現，該數據結構包括子圖像流的分組，子圖像流是某個子圖像的流；以及視頻流的分組，視頻流是經編碼主圖像的流並且是包括偏移信息的流，偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，經編碼主圖像的視頻數據和偏移信息中的僅任一者被布置在視頻流的分組中的每個分組的數據部分中，標誌信息被描述在視頻流的分組中的每個分組的頭部中，標誌信息是指示布置在分組的數據部分中的數據是經編碼主圖像的視頻數據還是偏移信息的信息，在具有上述數據結構的數據被再現時，讀取子圖像流和視頻流的分組，基於分組的頭部中描述的標誌信息而從所讀取的分組中提取出偏移信息被布置在數據部分中的分組，基於布置在所提取分組的數據部分中的偏移信息而從子圖像流的分組中生成左眼子圖像的視頻數據和右眼子圖像的視頻數據，並且基於分組頭部中描述的標誌信息而對包括在所讀取分組的數據部分中的經編碼主圖像的視頻數據解碼。根據本發明第二方面的數據結構以及記錄在記錄介質上的數據的數據結構是這樣的數據結構，其包括子圖像流的分組，子圖像流是某個子圖像的流；以及視頻流的分組，視頻流是經編碼主圖像的流並且是包括偏移信息的流，偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，經編碼主圖像的視頻數據和偏移信息中的僅任一者被布置在視頻流的分組中的每個分組的數據部分中，標誌信息被描述在視頻流的分組中的每個分組的頭部中，標誌信息是指示布置在分組的數據部分中的數據是經編碼主圖像的視頻數據還是偏移信息的信息。在本發明的第二方面中，包括有子圖像流的分組，子圖像流是某個子圖像的流； 以及視頻流的分組，視頻流是經編碼主圖像的流並且是包括偏移信息的流，偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，經編碼主圖像的視頻數據和偏移信息中的僅任一者被布置在視頻流的分組中的每個分組的數據部分中，並且標誌信息被描述在視頻流的分組中的每個分組的頭部中，標誌信息是指示布置在分組的數據部分中的數據是經編碼主圖像的視頻數據還是偏移信息的信息。根據本發明第三方面的記錄設備是這樣的記錄設備，其包括編碼裝置，用於對主圖像的視頻數據進行編碼；生成裝置，用於生成偏移信息被布置在數據部分中並且指示布置在該數據部分中的數據是偏移信息的標誌信息被描述在頭部中的分組，以使得經編碼裝置編碼的視頻數據和偏移信息不被包括在同一分組中，偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，並且生成裝置用於生成經編碼視頻數據被布置在數據部分中並且指示布置在該數據部分的數據是經編碼視頻數據的標誌信息被描述在頭部中的分組；以及記錄控制裝置，用於使得分組被記錄在記錄介質上。根據本發明第三方面的記錄方法和程序與根據本發明第三方面的記錄設備相對應。在本發明的第三方面中，主圖像的視頻數據被編碼，生成這樣的分組，在這些分組中，偏移信息被布置在數據部分中並且指示布置在該數據部分中的數據是偏移信息的標誌信息被描述在頭部中，以使得經編碼裝置編碼的視頻數據和偏移信息不被包括在同一分組中，偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，還生成這樣的分組，在這些分組中，經編碼視頻數據被布置在數據部分中並且指示布置在該數據部分的數據是經編碼視頻數據的標誌信息被描述在頭部中，並且將分組記錄在記錄介質上。本發明的有益效果如上所述，根據本發明，在子圖像的偏移信息被布置在主圖像的流中的情況中，可以容易地實現基於該偏移信息對子圖像進行3D顯示。



的示圖。
圖I是圖示出應用了本發明的再現設備的實施例的示例配置的框圖。
圖2是圖示出右眼視頻流的每個GOP中的顯示順序中的第一從屬單元的示例配置
圖3是描述用於生成右眼視頻流的TS分組的方法的示圖。
圖4是圖示出TS分組的具體示例配置的示圖。
圖5是圖示出右眼視頻生成單元和偏移生成單元的具體示例配置的框圖。
圖6是描述由再現設備執行的偏移生成處理的流程圖。
圖7是在影片對象被執行時由再現設備執行的3D顯示處理的流程圖。
圖8是圖不出記錄設備的不例配置的框圖。
圖9是描述由記錄設備執行的記錄處理的流程圖。
圖10是圖示出計算機的硬體的示例配置的框圖。
圖11是圖示出偏移元數據的描述示例的示圖。
圖12是圖示出偏移元數據的描述示例的示圖。
圖13是圖示出圖I的3D顯示數據生成單元的具體示例配置的框圖。
圖14是描述3D顯示數據中的疊加順序的示圖。
標號列表
11盤，20再現設備，31驅動器，34傳輸優先級過濾器，36右眼視頻生成單元，393D 顯示數據生成單元，100記錄設備，102視頻編碼器，106TS分組化單元，107驅動器
具體實施例方式[再現設備的示例配置]圖I是圖示出應用了本發明的再現設備的實施例的示例配置的框圖。圖I的再現設備20由輸入單元21、控制單元22和再現單元23構成。輸入單元21由鍵盤、滑鼠、麥克風等組成。輸入單元21從用戶接收指令，並且將其提供給控制單元22。控制單元22向應於從輸入單元21提供來的指令控制再現單元23。再現單元23包括驅動器31、讀緩衝器32、PID過濾器33、傳輸優先級過濾器34、 偏移生成單元35、右眼視頻生成單元36、左眼視頻生成單元37、字幕/菜單生成單元38、3D 顯示數據生成單元39、BD-J圖形生成單元40以及音頻生成單元41。驅動器31根據控制單元22執行的控制來驅動裝載在其中的盤11，盤11是BD (藍光(註冊商標)盤)等。因此，驅動器31讀取記錄在盤11上的索引文件、影片對象文件、 BD-J對象文件、播放列表文件、剪輯信息文件、流文件等。注意，索引文件是描述了記錄在盤11上的標題編號列表以及根據標題編號執行的對象的類型和編號的文件。對象的類型包括兩類影片對象和BD-J對象。此外，影片對象文件是描述了多個影片對象的文件。在影片對象中，描述了稱為導航命令的程序。注意，在下面，如果不需要特別地區分導航命令，則將其簡稱為命令。 此外，BD-J對象文件是描述了多個BD-J應用的文件。播放列表文件是僅通過影片對象或BD-J對象被再現的文件，並且與利用在這些對象中描述的單個命令而被再現的AV 流(下面將描述細節)有關的信息被描述在其中。具體地，播放列表文件由單個或多個播放項構成。在每個播放項中，描述了指定與將被再現的AV流相對應的剪輯信息文件的信息以及指示AV流的再現時段的時間信息。AV流作為流文件被記錄在盤11上。AV流是由通過根據IS013818-2來復用左眼視頻流和右眼視頻流、與之相對應的音頻流、字幕流以及菜單流而獲得的TS (傳輸流)分組構成的。注意，左眼視頻流是利用MVC方法被編碼的左眼主圖像的流。右眼視頻流是利用 MVC方法被編碼的右眼主圖像的流，並且是包括偏移元數據(下面將描述細節)的流。此外，字幕流是包括用於以2D方式顯示字幕的位圖格式或文本格式的數據的流。菜單流是包括用於以2D方式顯示菜單按鈕的數據的流。偏移元數據是用於以圖片為單位來生成偏移信息的數據。具體地，偏移元數據由偏移信息、設置有偏移信息的第一圖片的PTS (呈現時間戳)以及指示設置有偏移信息的圖片的間隔的幀率構成。注意，偏移信息是針對與IGOP的再現時段相對應的每個字幕、菜單按鈕以及BD-J圖形的畫面(平面)而被描述的。此外，在BD-ROM(藍光碟只讀存儲器)標準中，菜單按鈕和BD-J圖形是排他的關係，並且因此偏移信息被應用於字幕的畫面和菜單按鈕的畫面，或者被應用於字幕的畫面和BD-J圖形的畫面。下面將參考圖11和圖12描述關於偏移元數據的描述示例的細節。
剪輯信息文件是描述了用於將播放列表文件中描述的時間信息與AV流的分組編號相關聯的映射的文件。因此，通過參考剪輯信息文件，控制單元22可以識別出將與每個播放項相對應地被再現的AV流中的分組編號。流文件是AV流的文件。驅動器31將所讀取的索引文件、影片對象文件、BD-J對象文件、播放列表文件、剪輯信息文件等提供給控制單元22。驅動器31將所讀取的流文件的AV流提供給讀緩衝器 32。讀緩衝器32保存從驅動器31提供來的AV流，並且根據控制單元22執行的控制來讀取保存在其中的AV流並將其提供給PID過濾器33。PID過濾器33基於從讀緩衝器32提供來的AV流的各個TS分組的分組ID (PID)， 來從AV流中提取左眼視頻流、右眼視頻流、字幕流、菜單流和音頻流的TS分組。注意，PID 是構成TS分組的每類數據獨有的ID，並且被描述在分組的頭部中。PID過濾器33將所提取的右眼視頻流的TS分組提供給傳輸優先級過濾器34，並且將左眼視頻流的TS分組提供給左眼視頻生成單元37。此外，PID過濾器33將字幕流和菜單流的TS分組提供給字幕/菜單生成單元38，並且將音頻流的TS分組提供給音頻生成單元41。傳輸優先級過濾器34基於在TS分組的頭部中描述的傳輸優先級,將從PID過濾器33提供來的右眼視頻流的TS分組中的某些TS分組提供給偏移生成單元35。此外，傳輸優先級過濾器34將從PID過濾器33提供來的右眼視頻流的TS分組提供給右眼視頻生成單元36。偏移生成單元35基於布置在從傳輸優先級過濾器34提供來的TS分組的數據部分中的偏移元數據來生成偏移信息，並將其提供給3D顯示數據生成單元39。右眼視頻生成單元36基於TS分組的頭部中所描述的傳輸優先級，來對被布置在從傳輸優先級過濾器34提供來的右眼視頻流的TS分組的數據部分中的右眼主圖像的視頻數據進行解碼。右眼視頻生成單元36將作為解碼的結果而獲得的視頻數據當作右眼視頻數據，並將其提供給3D顯示數據生成單元39。此外，左眼視頻生成單元37對包括在從PID過濾器33提供來的左眼視頻流的TS 分組中的左眼圖像的視頻數據進行解碼。左眼視頻生成單元37將作為解碼的結果而獲得的視頻數據當作左眼視頻數據，並將其提供給3D顯示數據生成單元39。字幕/菜單生成單元38由字幕生成單元51和菜單生成單元52構成。字幕生成單元51在影片對象被執行時，將包括在從PID過濾器33提供來的字幕流的TS分組中的字幕數據提供給3D顯示數據生成單元39。菜單生成單元52在影片對象被執行時，將包括在從PID過濾器33提供來的菜單流的TS分組中的菜單數據提供給3D顯示數據生成單元39。3D顯示數據生成單元39將從右眼視頻生成單元36提供來的右眼視頻數據和從左眼視頻生成單元37提供來的左眼視頻數據當作3D視頻數據。此外，3D顯示數據生成單元39生成右眼字幕數據和左眼字幕數據，它們是通過基於從偏移生成單元35提供來的偏移信息將從字幕生成單元51提供來的字幕數據所對應的字幕在某一偏移方向上位移一定偏移值而生成的字幕的字幕數據。然後，3D顯示數據生成單元39將右眼字幕數據和左眼字幕數據當作用於以3D方式顯示字幕的3D字幕數據。
此外，3D顯示數據生成單元39基於從偏移生成單元35提供來的偏移信息，像3D 字幕數據那樣，從自菜單生成單元52提供來的菜單數據中生成用於以3D方式顯示菜單按鈕的3D菜單數據。另外，3D顯示數據生成單元39針對用於左右眼的各自的數據來組合3D視頻數據、 3D字幕數據和3D菜單數據。具體地，3D顯示數據生成單元39組合左眼視頻數據、左眼字幕數據和左眼菜單數據以生成左眼顯示數據。此外，3D顯示數據生成單元39組合右眼視頻數據、右眼字幕數據和右眼菜單數據以生成右眼顯示數據。此外，3D顯示數據生成單元39基於從偏移生成單元35提供來的偏移信息，像3D 字幕數據那樣，從自BD-J圖形生成單元40提供來的、用於以2D方式顯示包括菜單按鈕等的BD-J圖形的圖形數據中，生成用於以3D方式顯示BD-J圖形的3D圖形數據。3D顯示數據生成單元39針對用於左右眼的各自的數據來組合3D視頻數據和3D 圖形數據，將針對左眼的組合結果當作左眼顯示數據，並且將針對右眼的組合結果當作右眼顯示數據。然後，3D顯示數據生成單元39將左眼顯示數據和右眼顯示數據作為3D顯示數據提供給顯示單元61，並且使得左眼圖像和右眼圖像被顯示在顯示單元61上。BD-J圖形生成單元40在BD-J對象被執行時，根據控制單元22的控制來生成圖形數據，並將其提供給3D顯示數據生成單元39。音頻生成單元41對從PID過濾器33提供來的音頻流的TS分組中所包括的音頻數據進行解碼，並將由此獲得的音頻數據提供給揚聲器62。顯示單元61由3D顯示器等構成。顯示單元61基於從3D顯示數據生成單元39 提供來的3D顯示數據來顯示左眼圖像和右眼圖像。結果，用戶可以看到3D圖像。揚聲器62輸出與從音頻生成單兀41提供來的音頻數據相對應的音頻。[右眼視頻流的示例配置]圖2是圖示出右眼視頻流的每個G0P(圖片組)中的顯示順序中的第一從屬 (dependent)單元(圖片)的示例配置的示圖。如圖2所示，在右眼視頻流的每個GOP中的顯示順序中的第一從屬單元中， 從屬定界符(Dependent delimiter)、子集 SPS(Sequence Parameter Set,序列參數集)、PPS(Picture Parameter Set,圖片參數集)、SEI(Supplemental Enhancement Information,補充增強信息)以及一個或多個切片(Slice)按此順序從開頭起被布置。從屬定界符是指示從屬單元的開頭的起始代碼。從屬定界符例如包括指示包括在該從屬定單元中的切片的類型的信息。SPS是包括與整個序列有關的信息的頭部。SPS例如包括指示右眼視頻流的配置屬性(profile)的信息以及指示右眼視頻流的級別的信息。此外，例如，SPS包括計算 POC(圖片順序計數)所需的信息。POC是指示圖片的顯示順序的信息。PPS是包括與圖片有關的信息的頭部。例如，PPS包括用於計算POC所需的信息。SEI是指示對於解碼VCL(視頻編碼層)來說並非必須的附加信息的信息。SEI可被分類為用戶SEI信息(MVC可擴展嵌套SEI中的BD用戶數據SEI消息)和其它信息(MVC 可擴展嵌套SEI中的其它SEI消息)，用戶SEI信息是由作為盤11的創建者的用戶唯一地定義的信息。在盤11上，偏移元數據被描述為至少用戶SEI信息。切片是利用MVC方法被編碼的右眼主圖像的視頻數據，並且是圖片的實質數據。
注意，在一個或多個切片之後，根據需要，布置有填充數據(Filler Data)、序列的結尾(End of Sequence)和流的結尾(End of Stream)。填充數據是被添加來調節數據大小的數據。序列的結尾是指示該序列的結尾的信息。流的結尾是指示右眼視頻流的結尾的信息。圖3是描述用於生成右眼視頻流的TS分組的方法的示圖。如圖3所示，右眼視頻流被TS分組化，以使得偏移元數據不與其它數據一起被布置在TS分組中。具體地，如圖3所示，如果PPS中的最後的TS分組TSn的數據的數據大小小於TS 分組的數據部分的數據大小，則利用頭部的適配欄位(adaptation field)將任意填充字節插入TS分組TSn的頭部中，以使得TS分組TSn的數據大小變得與該TS分組的數據大小相同。因此，偏移元數據的開頭被分組化為與布置有PPS的前一 TS分組TSn不同的TS分組 TSn+1。注意，TSi表示第i個TS分組。此外，如圖3所示，如果偏移元數據的最後的TS分組TSm的數據的數據大小小於該TS分組的數據部分的數據大小，則利用頭部的適配欄位將任意填充字節插入TS分組TSm 的頭部中，以使得TS分組TSm的數據大小變得與該TS分組的數據大小相同。因此，切片的開頭被分組化為與布置有偏移元數據的前一 TS分組TSm不同的TS分組TSm+1。此外，如圖3所示，傳輸優先級0被描述在除了偏移元數據的數據的TS分組的頭部中。此外，傳輸優先級I被描述在偏移元數據的TS分組的頭部中。具體地,如圖4所示,每個TS分組(Transport packet)由開頭處的頭部以及頭部之後的數據部分構成。如圖4所示,在頭部中描述有八個比特的同步字節(sync_byte)、一個比特的傳輸錯誤指示符(transport_error_indicator)以及一個比特的有效載荷單元開始指示符(payload_unit_start_indicator)。此外，在頭部中描述有一個比特的傳輸優先級 (transport_priority)、十三個比特的PID以及兩個比特的傳輸擾頻控制(transport_ scrambling_control)。此外，在頭部中描述有兩個比特的適配欄位控制(adaptation_ field_control)和兩個比特的連續計數器(continuity_counter)。注意,連續計數器是每幀被遞增I的數據。如果適配欄位控制具有某一值(在圖4的示例中為「10」和「11」)，則作為擴展頭部的適配欄位進一步被布置在頭部中。此外，如果適配欄位控制具有某一值(在圖4的示例中為「01」和「 11」)，則有效載荷被存儲在數據部分中。右眼視頻流例如被存儲為有效載荷。在右眼視頻流的TS分組中，如果偏移元數據被描述為有效載荷，則傳輸優先級I 被描述在TS分組的頭部中。另一方面，如果偏移元數據以外的數據被描述為有效載荷，則傳輸優先級0被描述在包括該有效載荷的TS分組的頭部中。即，傳輸優先級被用作指示布置在數據部分的數據是偏移元數據還是偏移元數據以外的數據的標誌信息。因此，再現設備20可以基於傳輸優先級來從右眼視頻流的TS分組中提取包括有偏移元數據的TS分組。[右眼視頻生成單元和偏移生成單元的具體示例配置]
圖5是圖示出圖I中的右眼視頻生成單元36和偏移生成單元35的具體示例配置的框圖。如圖5所示，包括具有傳輸優先級0或I的頭部的TS分組被輸入PID過濾器33。 在圖5的示例中，從開頭起的第n至第n+3個TS分組被輸入PID過濾器33。第n和第n+3 個TS分組的傳輸優先級為0，並且第n+1和第n+2個TS分組的傳輸優先級為I。PID過濾器33基於在所輸入TS分組的頭部中描述的PID來從所輸入TS分組中提取右眼視頻流的TS分組，並將它們提供給傳輸優先級過濾器34。傳輸優先級過濾器34將從PID過濾器33提供來的所有TS分組提供給右眼視頻生成單元36，或者僅將傳輸優先級為0的TS分組提供給右眼視頻生成單元36。此外，如果從PID過濾器33提供來的一 TS分組的頭部中的傳輸優先級為1，則傳輸優先級過濾器34將該TS分組提供給偏移生成單元35。因此，偏移生成單元35僅被提供有傳輸優先級為I的右眼視頻流的TS分組，即，僅被提供有在數據部分布置了偏移元數據的TS分組。右眼視頻生成單元36由傳輸緩衝器71、基本緩衝器(elementary buffer)72和視頻解碼器73構成。傳輸緩衝器71累積從傳輸優先級過濾器34提供來的TS分組。傳輸緩衝器71以某一比特速率來讀取所累積的TS分組並將它們提供給基本緩衝器72。基本緩衝器72累積從傳輸緩衝器71提供來的TS分組。視頻解碼器73由通用MVC解碼器構成。視頻解碼器73基於TS分組的傳輸優先級在某一定時處從累積在基本緩衝器72中的TS分組中提取被布置在傳輸優先級為0的TS 分組的數據部分中的右眼主圖像的視頻數據。然後，視頻解碼器73利用與MVC方法相對應的方法來對右眼主圖像的視頻數據解碼，並且將由此獲得的視頻數據作為右眼視頻數據提供給3D顯示數據生成單元39 (圖I)。偏移生成單元35由額外緩衝器(extra buffer)81和偏移解碼器82構成。額外緩衝器81累積從傳輸優先級過濾器34提供來的傳輸優先級為I的TS分組。偏移解碼器82在某一定時處提取被布置在額外緩衝器81所累積的TS分組的數據部分中的偏移元數據。偏移解碼器82基於偏移元數據生成偏移信息，並將其提供給3D 顯示數據生成單元39(圖I)。[再現設備執行的處理]圖6是描述由再現設備20執行的偏移生成處理的流程圖。例如當新的TS分組被輸入PID過濾器時，該偏移生成處理開始。在步驟Sll，PID過濾器33基於TS分組的PID來判斷所輸入TS分組是否是右眼視頻流的TS分組。如果在步驟Sll中判定所輸入TS分組不是右眼視頻流的TS分組，則處
理結束。另一方面，如果在步驟Sll中判定所輸入TS分組是右眼視頻流的TS分組，則PID 過濾器33將TS分組提供給傳輸優先級過濾器34。然後，在步驟S12，傳輸優先級過濾器34判斷從PID過濾器33提供來的TS分組的頭部中所描述的傳輸優先級是否為I。如果在步驟S12判定傳輸優先級不為1，S卩，如果傳輸優先級為0，則處理結束。
另一方面，如果在步驟S12判定傳輸優先級為I，則傳輸優先級過濾器34將從PID 過濾器33提供來的TS分組提供給傳輸緩衝器71 (圖5)和額外緩衝器81。然後，在步驟S13，額外緩衝器81累積從傳輸優先級過濾器34提供來的TS分組。在步驟S14，偏移解碼器82提取被布置在額外緩衝器81所累積的TS分組的數據部分中的偏移兀數據。在步驟S15，偏移解碼器82基於在步驟S14中提取出的偏移元數據來生成偏移信息，並將其提供給3D顯示數據生成單元39。然後，處理結束。圖7是再現設備20在影片對象被執行時所執行的3D顯示處理的流程圖。例如， 當偏移元數據、左眼視頻數據、右眼視頻數據、字幕數據和菜單數據被輸入3D顯示數據生成單元39時,該3D顯示處理開始。在步驟S31，3D顯示數據生成單元39獲取從偏移生成單元35輸入的偏移信息、從右眼視頻生成單元36輸入的右眼視頻數據、從左眼視頻生成單元37輸入的左眼視頻數據、 從字幕生成單元51輸入的字幕數據以及從菜單生成單元52輸入的菜單數據。在步驟S32，3D顯示數據生成單元39基於偏移信息從右眼視頻數據、左眼視頻數據、字幕數據和菜單數據來生成3D顯示數據。在步驟S33，3D顯示數據生成單元39基於在步驟S32中生成的3D顯示數據，使得 3D圖像被顯示在顯示單元61上。然後，處理結束。注意，除了圖形數據被用來替代字幕數據和菜單數據之外，BD-J對象被執行時的 3D顯示處理與圖7中的3D顯示處理類似，因此省略該描述。[記錄設備的示例配置]圖8是圖示出將右眼視頻流記錄在盤11上的記錄設備100的示例配置的框圖。圖8中的記錄設備100包括視頻獲取單元101、視頻編碼器102、偏移獲取單元
103、緩衝器104、PES分組化單元105、TS分組化單元106、驅動器107和控制單元108。視頻獲取單元101獲取從外面輸入的右眼主圖像的視頻數據，並將其提供給視頻編碼器102。視頻編碼器102利用MVC方法對從視頻獲取單元101提供來的視頻數據進行編碼，並將由此獲得的ES(基本流,Elementary Stream)提供給緩衝器104。注意,該ES的 SEI被提供有用於布置偏移元數據的保留區域。偏移獲取單元103獲取從外面輸入的偏移元數據，並將偏移元數據提供給緩衝器
104。緩衝器104由視頻緩衝器111和偏移緩衝器112構成。視頻緩衝器111存儲從視頻編碼器102提供來的視頻數據的ES。視頻緩衝器111基於控制單元108執行的控制讀取存儲在其中的ES，將從偏移緩衝器112提供來的偏移元數據布置在該ES的SEI中所提供的保留區域中，並且將該ES提供給PES分組化單元105。偏移緩衝器112存儲從偏移獲取單元103提供來的偏移元數據。偏移緩衝器112 基於控制單元108執行的控制讀取存儲在其中的偏移元數據，並將其提供給視頻緩衝器 111。PES分組化單元105基於控制單元108執行的控制將從視頻緩衝器111提供來的 ES分組化為PES分組。TS分組化單元106基於從控制單元108提供來的傳輸優先級，將從PES分組化單元105提供來的PES分組分組化為TS分組。具體地，TS分組化單元106生成這樣的TS分組，每個TS分組包括從控制單元108提供來的傳輸優先級被描述在其中的頭部，並且包括被布置在數據部分中的PES分組。與右眼視頻流相對應的PID也被描述在TS分組的頭部中。TS分組化單元106將所生成的TS分組提供給驅動器107。驅動器107基於控制單元108執行的控制將從TS分組化單元106提供來的TS分組記錄在盤11上。控制單元108監視存儲在緩衝器104中的視頻數據的ES和偏移元數據。此外，控制單元108管PTS。此外，控制單元108控制PES分組化單元105、TS分組化單元106和驅動器107的各個單元。具體地，例如，如果經PES分組化的視頻數據被輸入TS分組化單元106，則控制單元108將傳輸優先級0提供給TS分組化單元106。另一方面，如果經PES分組化的偏移元數據被輸入TS分組化單元106，則控制單元108將傳輸優先級I提供給TS分組化單元106。[記錄設備執行的處理的描述]圖9是描述由圖8中的記錄設備100執行的記錄處理的流程圖。例如當PES分組從PES分組化單元105被輸入到TS分組化單元106時，該記錄處理開始。在步驟S51，TS分組化單元106判斷與TS分組的數據部分的數據大小相對應的 PES分組是否已被提供。如果在步驟S51中判定與TS分組的數據部分的數據大小相對應的 PES分組尚未被提供，則處理前進到步驟S52。在步驟S52，TS分組化單元106判斷從控制單元108提供的傳輸優先級是否已被改變。如果在步驟S52中判定傳輸優先級未被改變，則處理返回步驟S51。然後，重複步驟 S51和S52中的處理直到與TS分組的數據部分的數據大小相對應的PES分組被提供或者傳輸優先級被改變為止。另一方面，如果在步驟S52中判定傳輸優先級被改變，則處理前進到步驟S53。在步驟S53，TS分組化單元106利用適配欄位將填充數據插入將被生成的TS分組的頭部中， 以使得將被生成的TS分組(其中從PES分組化單元105提供來的PES分組被布置在數據部分中)的數據大小變得與該TS分組的數據大小相同。具體地，TS分組化單元106將與如下值相對應的填充數據插入該TS分組的頭部的適配欄位中，該值是通過從TS分組的數據部分的數據大小減去PES分組的數據大小而獲得的。然後，處理前進到步驟S54。此外，如果在步驟S51中判定與TS分組的數據部分的數據大小相對應的PES分組已被提供，則處理前進到步驟S54。在步驟S54，TS分組化單元106將從PES分組化單元105提供來的PES分組布置在TS分組的數據部分中。在步驟S55，TS分組化單元106判斷從控制單元108提供來的針對布置在數據部分中的PES分組的傳輸優先級是否為O。如果在步驟S55中判定傳輸優先級為0，則處理前進到步驟S56。在步驟S56，TS分組化單元106將其中描述有傳輸優先級0的頭部加到數據部分， 由此生成TS分組。因此，生成了這樣的TS分組，其中，右眼主圖像的PES分組化的視頻數據被布置在數據部分中，並且傳輸優先級0被描述在頭部中。然後，TS分組化單元106將所生成的TS分組提供給驅動器107，並且處理前進到步驟S58。
另一方面，如果在步驟S55中判定傳輸優先級不為0，則處理前進到步驟S57。在步驟S57，TS分組化單元106將其中描述有傳輸優先級I的頭部加到數據部分，由此生成TS 分組。因此，生成了這樣的TS分組，其中，PES分組化的偏移元數據被布置在數據部分中， 並且傳輸優先級I被描述在頭部中。然後，TS分組化單元106將所生成的TS分組提供給驅動器107，並且處理前進到步驟S58。在步驟S58，驅動器107將從TS分組化單元106提供來的TS分組記錄在盤11上。 然後，處理結束。注意，在上面給出的描述中，偏移元數據被包括在右眼視頻流中，然而偏移元數據也可被包括在左眼視頻流中。替代地，偏移元數據可被包括在右眼視頻流和左眼視頻流兩者中。此外，在上面給出的描述中，執行編碼以使得右眼視頻流用作MVC方法中的從屬流並且左眼視頻流用作MVC方法中的基礎流，然而也可以執行編碼以使得左眼視頻流用作從屬流並且右眼視頻流用作基礎流。本發明還可被應用於這樣的情況，其中，用於2D顯示主圖像以及主圖像的偏移信息的視頻流被記錄在盤上。在此情況中，例如，子圖像的偏移元數據被包括在用於2D顯示主圖像的視頻流中，並且主圖像的偏移信息也被包括在其中。上述處理序列的至少一部分可通過硬體執行或者可通過軟體執行。在通過軟體來執行處理序列的至少一部分的情況中，形成軟體的程序從程序記錄介質被安裝到包括在專用硬體中的計算機或者通用個人計算機中。圖10是圖示出根據程序執行上述處理序列的至少一部分的計算機的硬體的示例配置的框圖。CPU (中央處理單元)201、R0M (只讀存儲器)202和RAM (隨機存取存儲器)203經由總線204相互連接。輸入/輸出接口 205還連接到總線204。由鍵盤、滑鼠等組成的輸入單元206以及由顯示器、揚聲器等組成的輸出單元207被連接到輸入/輸出接口 205。此外，由硬碟、非易失性存儲器等組成的存儲單元208、由網絡接口等組成的通信單元209以及驅動可移除介質211的驅動器210被連接到輸入/輸出接口 205。在具有上述配置的計算機中，例如，CPU 201經由輸入/輸出接口 205和總線204 將存儲在存儲單元208中的程序載入RAM 203中並執行它，由此來執行上述處理序列。由CPU 201執行的程序例如通過被記錄在可移除介質211上來提供，或者經由諸如區域網、網際網路或數字廣播之類的有線或無線傳輸介質來提供，並被安裝在存儲單元208 中。圖11和圖12是圖示出偏移元數據的描述示例的示圖。如圖11所示，在該偏移元數據中，利用4比特描述了包括偏移元數據的右眼視頻流的巾貞率(frame_rate),並且利用33 ( = 3+15+15)比特描述了右眼視頻流的顯示順序中的第一圖片的PTS(offset_start_PTS)。在該幀率和該PTS中，應用了偏移信息的畫面的再現時間可以被指定。此外，在該偏移元數據中，利用8比特描述了其中偏移元數據被包括在 SEI中的GOP的巾貞數目(number_of_frames)。此外,在該偏移元數據中，利用6比特描述了根據GOP設置的字幕的偏移信息的類型的數目(number_of_PG_offset_sequences)以及根據GOP設置的菜單按鈕的偏移信息的類型的數目(number_of_IG_offset_sequences)。注意，應用於將被再現的對象的偏移信息的類型是利用播放列表等來指定的。此外，如圖11所示，在偏移數據中，針對字幕的每個類型的偏移信息來描述字幕的偏移信息(PG_offset_sequence),並且針對菜單按鈕的每個類型的偏移信息來描述菜單按鈕的偏移信息(IG_offset_sequence)。作為偏移信息(PG_offset_sequence,IG_offset_sequence),如圖 12 的部分 A 和圖12的部分B所示的,利用I比特來描述指示偏移方向的信息(offset_direction_flag), 並且利用7比特來描述指示偏移值的信息(offsetjalue)。作為指示偏移方向的信息，例如，如下的情況「0」和情況「I」被使用，在情況「0」 中，偏移方向是使得3D圖像相對於顯示表面向前突出(朝用戶側)的方向，在情況「I」中， 偏移方向是使得3D圖像顯示在顯示表面後側的方向。另外，例如利用像素數目來表示偏移值。此外，在該偏移元數據中，I比特的標記比特(marker_bit)被布置在各處，以防止 8個連續的0，如圖11所示。具體地,例如,在MVC方法的解碼中，如果在要解碼的數據中出現8個連續的0，則該數據被確定為起始碼。因此，偏移元數據將「I」包括作為標記比特，以使得偏移元數據的一部分不表示起始碼。此外，保留區域(reserved_for_future_use)也被布置在該偏移元數據中。注意，在圖11的示例中，標記比特被布置以防止8個連續的0，然而也可將標記比特布置為使得偏移元數據的一部分或整體在解碼時不被識別為某種碼，並且用於布置標記比特的方法不限於圖11的方法。〈3D顯示數據生成單元的具體示例配置〉圖13是圖示出圖I的3D顯示數據生成單元39的具體示例配置的框圖。圖13中的3D顯示數據生成單元39包括字幕平面531、菜單平面532、左眼顯示數據生成單元533以及右眼顯示數據生成單元534。字幕平面531保存從字幕生成單元51 (圖I)提供來的字幕數據。菜單平面532保存從菜單生成單元52(圖I)提供來的菜單數據。左眼顯示數據生成單元533包括左眼視頻平面541、透過單元542、偏移添加單元 543、透過單元544、組合單元545、透過單元546、偏移添加單元547、透過單元548以及組合單元549。左眼視頻平面541保存從左眼視頻生成單元37(圖I)提供來的左眼視頻數據。透過單元542讀出保存在左眼視頻平面541中的左眼視頻數據。透過單元542轉換所讀出的左眼視頻數據，以使得左眼主圖像以預設的透射率(1-aJ被透過。透過單元 542將轉換之後的左眼視頻數據提供給組合單元545。偏移添加單元543從字幕平面531讀出字幕數據。偏移添加單元543基於從圖I 的偏移生成單元35提供來的字幕數據的偏移信息來從所讀出的字幕數據生成左眼字幕數據。偏移添加單元543將左眼字幕數據提供給透過單元544。透過單元544轉換從偏移添加單元543提供來的左眼字幕數據，以使得左眼字幕數據以預設的透射率被透過。透過單元544將轉換之後的左眼字幕數據提供給組合單元 545。組合單元545將從透過單元542提供來的左眼視頻數據與從透過單元544提供來的左眼字幕數據相組合，並且將由此獲得的數據提供給透過單元546。透過單元546轉換來自組合單元545的數據，以使得與該數據相對應的圖像以透射率(I-a J被透過，並且將數據提供給組合單元549。偏移添加單元547從菜單平面532讀出菜單數據。偏移添加單元547基於從圖I 的偏移生成單元35提供來的菜單按鈕的偏移信息來從所讀出的菜單數據生成左眼菜單數據。偏移添加單元547將左眼菜單數據提供給透過單元548。透過單元548轉換從偏移添加單元547提供來的左眼菜單數據，以使得左眼菜單數據以預設的透射率被透過。透過單元548將轉換之後的用於左眼的菜單數據提供給組合單元549。組合單元549將從透過單元546提供來的數據與從透過單元548提供來的菜單數據相組合，並且將由此獲得的數據輸出作為左眼顯示數據。右眼顯示數據生成單元534包括右眼視頻平面551、透過單元552、偏移添加單元 553、透過單元554、組合單元555、透過單元556、偏移添加單元557、透過單元558以及組合單元559。除了處理對象是右眼數據以外，右眼顯示數據生成單元534的各個單元執行的處理與左眼顯示數據生成單元533的各個單元執行的處理類似，因此將省略其描述。〈3D顯示數據中的疊加順序的描述〉圖14是描述由3D顯示數據生成單元39生成的3D顯示數據中的疊加順序的示圖。如圖14的部分A所示，3D顯示數據中的左眼顯示數據的疊加順序從底部起為左眼視頻數據、左眼字幕數據和左眼菜單數據。此外，如圖14的部分B所示，右眼顯示數據的疊加順序從底部起為右眼視頻數據、右眼字幕數據和右眼菜單數據。在本說明書中，描述存儲在程序記錄介質中的程序的步驟當然包括根據所描述的順序按時間序列執行的處理，並且還包括並行地或分別地執行的處理來替代按時間序列執行的處理。此外，本發明的實施例不限於上述實施例，並且在不脫離本發明的範圍的情況下的各種修改也是可接受的。
權利要求
1.一種再現設備，在再現具有如下數據結構的數據的情況中，所述數據結構包括子圖像流的分組，所述子圖像流是某個子圖像的流，以及視頻流的分組，所述視頻流是經編碼主圖像的流並且是包括偏移信息的流，所述偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於所述某個子圖像的位移方向和位移量構成，所述經編碼主圖像的視頻數據和所述偏移信息中的僅任一者被布置在所述視頻流的分組中的每個分組的數據部分中，標誌信息被描述在所述視頻流的分組中的每個分組的頭部中，所述標誌信息是指示布置在分組的數據部分中的數據是所述經編碼主圖像的視頻數據還是所述偏移信息的信息， 所述再現設備包括讀取裝置，用於讀取所述子圖像流和所述視頻流的分組；提取裝置，用於基於分組的頭部中描述的所述標誌信息來從由所述讀取裝置讀取的分組中提取所述偏移信息被布置在數據部分中的分組；生成裝置，用於基於布置在由所述提取裝置提取的分組的數據部分中的所述偏移信息，來從所述子圖像流的分組生成左眼子圖像的視頻數據和右眼子圖像的視頻數據；以及解碼裝置，用於基於分組的頭部中描述的所述標誌信息來對包括在所述讀取裝置讀取的分組的數據部分中的所述經編碼主圖像的視頻數據進行解碼。
2.根據權利要求I所述的再現設備，其中，所述視頻流是利用多視點視頻編碼MVC方法被編碼的用於左眼和右眼中的任一者的主圖像的流，以及其中，所述數據還包括用於另一者的主圖像的視頻流。
3.根據權利要求I所述的再現設備，其中，所述偏移信息的一部分包括某種信息以使得所述偏移信息的一部分或整體不表示某種碼。
4.一種用於再現具有如下數據結構的再現設備的再現方法，所述數據結構包括子圖像流的分組，所述子圖像流是某個子圖像的流，以及視頻流的分組，所述視頻流是經編碼主圖像的流並且是包括偏移信息的流，所述偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於所述某個子圖像的位移方向和位移量構成，所述經編碼主圖像的視頻數據和所述偏移信息中的僅任一者被布置在所述視頻流的分組中的每個分組的數據部分中，標誌信息被描述在所述視頻流的分組中的每個分組的頭部中，所述標誌信息是指示布置在分組的數據部分中的數據是所述經編碼主圖像的視頻數據還是所述偏移信息的信息， 所述再現方法包括讀取步驟，用於讀取所述子圖像流和所述視頻流的分組；提取步驟，用於基於分組的頭部中描述的所述標誌信息來從在所述讀取步驟的處理中讀取的分組中提取所述偏移信息被布置在數據部分中的分組；生成步驟，用於基於在所述提取步驟的處理中提取的分組的數據部分中所布置的所述偏移信息，來從所述子圖像流的分組生成左眼子圖像的視頻數據和右眼子圖像的視頻數據；以及解碼步驟，用於基於分組的頭部中描述的所述標誌信息來對在所述讀取步驟的處理中讀取的分組的數據部分中所包括的所述經編碼主圖像的視頻數據進行解碼。
5.一種使得計算機執行處理的程序，所述計算機執行用於再現具有如下數據結構的數據的控制，所述數據結構包括子圖像流的分組，所述子圖像流是某個子圖像的流，以及視頻流的分組，所述視頻流是經編碼主圖像的流並且是包括偏移信息的流，所述偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於所述某個子圖像的位移方向和位移量構成，所述經編碼主圖像的視頻數據和所述偏移信息中的僅任一者被布置在所述視頻流的分組中的每個分組的數據部分中，標誌信息被描述在所述視頻流的分組中的每個分組的頭部中，所述標誌信息是指示布置在分組的數據部分中的數據是所述經編碼主圖像的視頻數據還是所述偏移信息的信息，所述處理包括讀取步驟，用於讀取所述子圖像流和所述視頻流的分組；提取步驟，用於基於分組的頭部中描述的所述標誌信息來從在所述讀取步驟的處理中讀取的分組中提取所述偏移信息被布置在數據部分中的分組；生成步驟，用於基於在所述提取步驟的處理中提取的分組的數據部分中所布置的所述偏移信息，來從所述子圖像流的分組生成左眼子圖像的視頻數據和右眼子圖像的視頻數據；以及解碼步驟，用於基於分組的頭部中描述的所述標誌信息來對在所述讀取步驟的處理中讀取的分組的數據部分中所包括的所述經編碼主圖像的視頻數據進行解碼。
6.—種記錄設備，包括編碼裝置，用於對主圖像的視頻數據進行編碼；生成裝置，用於生成偏移信息被布置在數據部分中並且指示布置在該數據部分中的數據是所述偏移信息的標誌信息被描述在頭部中的分組，以使得經所述編碼裝置編碼的視頻數據和所述偏移信息不被包括在同一分組中，所述偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，並且所述生成裝置用於生成經編碼視頻數據被布置在數據部分中並且指示布置在該數據部分的數據是所述經編碼視頻數據的標誌信息被描述在頭部中的分組；以及記錄控制裝置，用於使得分組被記錄在記錄介質上。
7.根據權利要求6所述的記錄設備，其中，所述編碼裝置利用多視點視頻編碼MVC方法來對用於左眼的主圖像或者用於右眼的主圖像的視頻數據進行編碼。
8.根據權利要求6所述的記錄設備，其中，所述偏移信息的一部分包括某種信息以使得所述偏移信息的一部分或整體不表示某種碼。
9.一種用於記錄設備的記錄方法，包括編碼步驟，用於對主圖像的視頻數據進行編碼；生成步驟，用於生成偏移信息被布置在數據部分中並且指示布置在該數據部分中的數據是所述偏移信息的標誌信息被描述在頭部中的分組，以使得在所述編碼步驟的處理中被編碼的視頻數據和所述偏移信息不被包括在同一分組中，所述偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，並且所述生成步驟用於生成經編碼視頻數據被布置在數據部分中並且指示布置在該數據部分的數據是所述經編碼視頻數據的標誌信息被描述在頭部中的分組；以及記錄控制步驟，用於使得分組被記錄在記錄介質上。
10.一種使得計算機執行處理的程序，包括編碼步驟，用於對主圖像的視頻數據進行編碼；生成步驟，用於生成偏移信息被布置在數據部分中並且指示布置在該數據部分中的數據是所述偏移信息的標誌信息被描述在頭部中的分組，以使得在所述編碼步驟的處理中被編碼的視頻數據和所述偏移信息不被包括在同一分組中，所述偏移信息由用於3D顯示的左眼子圖像和右眼子圖像相對於某個子圖像的位移方向和位移量構成，並且所述生成步驟用於生成經編碼視頻數據被布置在數據部分中並且指示布置在該數據部分的數據是所述經編碼視頻數據的標誌信息被描述在頭部中的分組；以及記錄控制步驟，用於使得分組被記錄在記錄介質上。
全文摘要
本發明公開了再現設備和再現方法、記錄設備和記錄方法以及程序。本發明涉及使得在子圖像的偏移信息被布置在主圖像的流中的情況中，能夠基於該偏移信息容易地實現子圖像的3D顯示的再現設備和再現方法、數據結構、記錄介質、記錄設備和記錄方法，以及程序。右眼視頻流包括用於生成偏移信息的偏移元數據。在右眼視頻流的每個TS分組的數據部分中，僅布置有經編碼右眼主圖像的視頻數據和偏移元數據中的任一者。在右眼視頻流的每個TS分組的頭部中，描述了傳輸優先級，傳輸優先級指示布置在TS分組的數據部分中的數據是經編碼右眼主圖像的視頻數據還是偏移元數據。本發明例如可應用於以3D方式顯示子圖像的再現設備。
文檔編號H04N5/85GK102611905SQ20121004586
公開日2012年7月25日 申請日期2010年8月10日 優先權日2009年8月18日
發明者內村幸一, 加藤元樹, 服部忍 申請人:索尼公司