動態圖像編碼方法及裝置、記錄方法、再現方法、裝置及系統的製作方法

2023-07-04 16:23:16

專利名稱：動態圖像編碼方法及裝置、記錄方法、再現方法、裝置及系統的製作方法
技術領域：
本發明涉及在生成按照亮度等級的閾值可將前景和背景分離的編碼流時、切換閾 值並對動態圖像進行編碼的動態圖像編碼方法、動態圖像記錄方法、動態圖像再現方法、以 及記錄了編碼流的記錄介質等。
背景技術：
對於作為現有技術的DVD視頻(DVD-Video)盤(以下簡稱為DVD)進行說明。圖1是表示DVD的構造的圖，如圖1的下部所示，在DVD盤上，從導入(lead in) 到導出(lead out)之間設有邏輯地址空間，從邏輯地址空間的先頭開始記錄了文件系統的 卷(volume)信息，接著記錄了影像聲音等應用數據。所謂文件系統，指的是IS09660或UDF (通用盤格式Universal DiscFormat)，是 以被稱為目錄或文件的單位來表現盤上的數據的結構。在日常使用的PC(個人計算機)的 情況下，也通過被稱為FAT或NTFS的文件系統，以目錄或文件這樣的構造將記錄在硬碟上 的數據表現在計算機上，提高可用性。在DVD的情況下，使用UDF及IS09660兩者(有時將兩者合稱為「UDF橋」)，通過 UDF或IS09660任一個的文件系統驅動器，都能夠進行數據的讀取。當然，在可擦寫型的DVD 盤即DVD-RAM/R/RW中，通過這些文件系統，可以在物理上進行數據的讀取、寫入、刪除。在DVD上記錄的數據通過UDF橋，能夠作為圖1左上所示的目錄或文件來觀察。在 根目錄(圖中「ROOT」)的緊下面設有被稱為「VIDE0_TS」的目錄，在此記錄了 DVD的應用數 據。應用數據被記錄為多個文件，主要的文件如下所示。VIDE0_TS. IFO 盤再現控制信息文件VTS_01_0. IFO視頻標題組#1再現控制信息文件VTS_01_0. VOB 視頻標題組#1流文件......作為擴展名規定了 2種，「IF0」是記錄了再現控制信息的文件，「V0B」是記錄了作 為AV數據的MPEG流的文件。所謂再現控制信息，指的是用於實現DVD所採用的交互性(按 照用戶的操作來動態改變再現的技術)的信息、或像元(meta)數據那樣附加在標題或AV 流上的信息等。另外，在DVD上一般將再現控制信息稱為導航信息。再現控制信息文件有管理整張盤的「VIDE0_TS. IF0」、以及作為每個視頻標題組 (在DVD中可以將多個標題、也就是不同的電影或不同的版本的電影記錄在一張盤中。)的 再現控制信息的「VTS_01_0. IF0」。在此，位於文件名實體中的「01」表示視頻標題組的號碼，例如，視頻標題組#02的情況為「VTS_02_0. IFO」。圖1的右上部是DVD的應用層中的DVD導航空間，是展開上述再現控制信息的邏 輯構造空間。在DVD導航空間中，「VIDE0_TS. IFO」內的信息被展開為VMGI (視頻管理信息 Video Manager Information), "VTS_01_0. IFO」或存在於其他每個視頻標題組的再現控制 信息被展開為VTSI (視頻標題組信息Video Title Set Information)。在VTSI之中，記錄了被稱為PGC (程序鏈=Program Chain)的再現序列的信息即 PGCI (程序鏈信息Program Chain Information)。PGCI由單元(Cell)的集合和一種被 稱為指令的編程信息構成。單元本身是VOB(是視頻對象(Video Object)的簡稱，指MPEG 流)的部分區間或全部區間的集合，單元的再現意味著再現由該VOB的單元指定的區間。指令通過DVD的虛擬機處理，接近於在瀏覽器上執行的Java(註冊商標)腳本等。 但是，不同點在於Java(註冊商標)腳本除了邏輯運算還進行窗口或瀏覽器的控制(例 如，打開新的瀏覽器的窗口等)，與此相對，DVD的指令除了邏輯運算僅執行AV標題的再現 控制、例如再現的章節的指定等。單元具有在盤上記錄的VOB的開始及結束地址(盤上的邏輯記錄地址)作為其內 部信息，播放器使用在單元中記錄的VOB的開始及結束地址信息來執行數據的讀取、再現。圖2是說明AV流中內置的導航信息的概略圖。作為DVD的特長的交互性並不僅 通過記錄在上述「VIDE0_TS. IF0」或「VTS_01_0. IF0」等中的導航信息來實現，許多重要的 信息使用被稱為導航包(被稱為導包或NV_PCK)的專用載體在VOB內與影像、聲音數據一 起進行復用。在此說明菜單來作為簡單的交互性的例子。在菜單畫面上，出現許多按鈕，在各 個按鈕上定義了選擇執行該按鈕時的處理。另外，在菜單上選擇一個按鈕(通過加亮在選 擇按鈕上覆蓋半透明色，向用戶表示該按鈕處於選擇狀態)，用戶使用遙控器的上下左右按 鍵，能夠使選擇狀態的按鈕移動至上下左右的任何的按鈕。使用遙控器的上下左右按鍵，使 加亮移動到希望選擇執行的按鈕，並進行決定(按下決定按鍵)，從而執行對應的指令的程 序。一般的，對應的標題或章節的再現通過指令來執行。圖2的左上部表示NV_PCK內存放的控制信息的概要。在NV_PCK內，包括加亮顏色信息和各個按鈕信息等。在加亮顏色信息中，記錄了 調色板信息，指定了覆蓋顯示的加亮的半透明色。在按鈕信息中，記錄了作為各個按鈕的位 置信息的矩形區域信息、從該按鈕向其他按鈕的移動信息(與用戶的上下左右按鍵操作分 別對應的移動目標按鈕的指定)和按鈕指令信息(決定該按鈕時執行的指令)。菜單上的加亮如圖2的中央右上部所示，製作為覆蓋圖像。覆蓋圖像是在按鈕信 息的矩形區域信息上附加了調色板信息的顏色的圖像。該覆蓋圖像與圖2的右部所示的背 景圖像合成並顯示在畫面上。如上所述，在DVD中實現了菜單。另外，利用NV_PCK將導航數據的一部分內置在流中，是為了與流同步動態更新菜單信息(例如，僅在電影再現的過程中5分至10分之間 顯示菜單等)，或在同步定時容易出現問題的應用的情況下也能夠沒有問題地實現。另外， 另一個重要理由是為了在NV_PCK中存放用於輔助特殊再現的信息，在DVD再現時的快進、 倒回等非通常再現時，也順利地對AV數據進行解碼並再現等，提高用戶的操作性。圖3是作為DVD的流的VOB的圖形。如圖所示，影像、聲音、字幕等數據(圖3的a部分)基於MPEG系統規格(IS0/IEC13818-1)，進行打包(packet)及分包(pack)(圖3 的b部分)，對各自進行復用並作為1個MPEG程序流(圖3的c部分)。另外，如上所述， 包括用於實現交互性的按鈕指令在內的NV_PCK也被一起復用。
MPEG系統的復用的特徵在於，復用的各個數據按照其解碼順序成為比特列，而復 用的數據間，即影像、聲音、字幕之間不一定按照再現順序形成比特列。這是因為復用的 MPEG系統流的解碼模式(一般被稱為系統目標解碼=System Target Decode，或STD)(圖3 的d部分)在解開復用之後，等待與各個基本流(Elementary Stream)對應的解碼器緩衝 器，直到解碼定時為止暫時累積數據。例如，由DVD視頻規定的解碼器緩衝器對於各個基本 流尺寸不同，分別對於影像具有232KB，對於聲音具有4KB，對於字幕具有52KB。S卩，與影像數據一起進行復用的字幕數據不一定在同一定時解碼或再現。另一方面，作為下一代DVD規格，存在BD (藍光碟Blu_ray Disc)。在DVD中，目的在於對標準畫質(標準定義Standard Definition畫質)的影像 的、包分發(DVD視頻規格)或模擬播放的記錄(DVD視頻錄像規格)，但在BD中，能夠將高 精度畫質(高定義High Definition畫質)的數字播放原樣記錄(藍光碟可擦寫規格，以 下稱為BD-RE)。但是，BD-RE規格廣泛以數字播放的記錄作為目的，所以不是非常適用特殊再現 的輔助信息等。在將來，如果考慮以比數字播放更高的速率來對高精度影像進行包分發 (BD-R0M規格)，那麼在非通常再現時也需要不對用戶造成壓力的結構。另外，作為BD中動態圖像的編碼方式的一種，採用了 MPEG_4AVC(高級視頻編碼 Advanced Video Coding)。所謂MPEG-4AVC，指的是IS0/IEC (國際標準化機構，國際電氣標 準會議)的JTC1/SC29/WG11和ITU-T (國際電氣通信聯盟，電氣通信標準化部門)共同商 定的高壓縮率的次時代編碼方式。一般在動態圖像的編碼中，通過減少時間方向及空間方向的冗餘來進行信息量的 壓縮。因此，在以減少時間上的冗餘為目的的畫面間預測編碼中，參照前方或後方的圖片， 以塊為單位進行動態的檢測及預測圖像的製作，並對得到的預測圖像與編碼對象圖片之間 的差分值進行編碼。在此，所謂圖片，是表示1張畫面的用語，在逐行掃描圖像中意味著幀， 在隔行掃描圖像中意味著幀或場(field)。在此，所謂隔行掃描圖像，指的是1個幀由時刻 不同的2個場構成的圖像。在隔行掃描圖像的編碼或解碼處理中，能夠將一個幀仍然作為 幀進行處理，或作為2個場進行處理，或對幀內的每個塊作為幀結構或場結構進行處理。將不具備參照圖象而進行畫面內預測編碼的稱為I圖片。另外，將僅參照1張圖片 進行畫面間預測編碼的稱為P圖片。另外，將能夠同時參照2張圖片進行畫面間預測編碼 的稱為B圖片。B圖片可以從顯示時間為前方或後方以任意的組合參照2張圖片。參照圖 像(參照圖片)可以按每個編碼及解碼的基本單位即塊來進行指定，但將進行編碼的比特 流中先記錄一方的參照圖片區別為第一參照圖片，將後記錄一方區別為第二參照圖片。其 中，作為對這些圖片進行編碼或解碼時的條件，需要參照的圖片已經進行了編碼或解碼。從編碼的圖像中將由畫面內預測或畫面間預測所得到的預測信號減去的餘差信 號在進行了頻率變換並量化之後，進行可變長度編碼並輸出為編碼流。在MPEG-4AVC中， 作為可變長度編碼的方式，有CAVLC(上下文適應性可變長度編碼=Context-Adaptive Variable Length Coding)、或者 CABAC (上下文適應性二元算術編碼Context_AdaptiveBinary ArithmeticCoding)這兩種，能夠以圖片為單位進行切換。在此，所謂內容適應性， 指的是根據周圍的情況適應性地選擇高效的編碼方式的方式。接著，說明不同的編碼方式(或者，不同屬性的動態圖像)混雜存在的流、以及 接收了這樣的流的解碼裝置中的解碼處理。在此，說明2個例子，S卩，可變長度編碼方式 (CAVLC/CABAC)混雜存在的第一例，以及，在圖片內圖片中由亮度按鍵進行透過處理時所使 用的亮度的閾值混雜存在的第二例。首先，說明不同的編碼方式(或者，不同屬性的動態圖像)混雜存在的流的第一例，即可變長度編碼方式(CAVLC/CABAC)混雜存在的例子。圖4是表示在MPEG-4AVC 的流中、構成可隨機訪問的單位的圖片中使用的可變長度編碼的方式的例子。在此，在 MPEG-4AVC中，雖然沒有相當於MPEG-2視頻的GOP(圖片組Kroup of Pictures)的概念，但 如果以不依賴於其他圖片就能夠解碼的特別的圖片為單位分割數據，那麼就能夠構成相當 於GOP的可隨機訪問的單位，所以，將其稱為隨機訪問單位(RAU)。如圖4所示，使用CABAC 或CAVLC來作為可變長度編碼的方式以圖片為單位進行切換。接著，由於在CABAC和CAVLC中可變長度解碼時的處理不同，參照圖5A-圖5C 說明各自的可變長度解碼處理。圖5A表示圖像解碼裝置的框圖，該圖象解碼裝置執行 以CABAC進行了可變長度編碼的數據的解碼處理即CABAD(上下文適應性二元算術解 碼Context-Adaptive BinaryArithmetic Decoding)禾口以 CAVLC 進 亍了 可變長度編碼 的數據的解碼處理即CAVLD(上下文適應性可變長度解碼Context-Adaptive Variable LengthDecoding)。通過CABAD的圖像解碼處理如下執行。首先，將使用了 CABAC的編碼數據Vin輸 入至流緩衝器5001。接著，算數解碼部5002從流緩衝器中讀取編碼數據Vr並進行算術解 碼，將二元數據Binl輸入至二元數據緩衝器5003。二元數據解碼處理部5004從二元數據 緩衝器5003獲取二元數據Bin2，將二元數據解碼，並將解碼後的二元數據Dinl輸入至像 素復原部5005。像素復原部5005對於二元解碼數據Dinl進行逆量化、逆變換以及動態補 償等，復原像素，並輸出解碼數據Vout。圖5B是表示從對使用了 CABAC的編碼數據進行解 碼開始、到實施像素復原處理為止的動作的流程圖。首先，在步驟5001中，對使用了 CABAC 的編碼數據Vin進行算術解碼，生成二元數據。接著，在步驟5002中，判定是否備齊了一個 以上的圖片等、規定的數據單位量的二元數據，備齊時前進至步驟S5003，沒有備齊時重複 步驟S5001的處理。在此，進行二元數據的緩衝，是因為在CABAC中，每個圖片或宏塊的二 元數據的碼量顯著增大，與此相伴算術解碼的處理負擔也顯著增加，所以為了在最差情況 下也實現無中斷的再現，需要預先進行一定量的算術解碼處理。在步驟S5003中，將二元數 據解碼，並在步驟S5004中實施像素復原處理。像這樣，在CABAD中，由於步驟S5001及步 驟S5002中不到備齊規定的數據單位量的二元數據為止不能開始像素復原處理，所以在解 碼開始時發生延遲。通過CAVLD的圖像解碼處理如下進行。首先，將使用了 CAVLC的編碼數據Vin輸入 至流緩衝器5001。接著，CAVLD部5006進行可變長度解碼處理，將VLD解碼數據Din2輸入 至像素復原部5005。像素復原部5005進行逆量化、逆變換以及動態補償等，復原像素，並輸 出解碼數據Vout。圖5C是表示從對使用了 CAVLC的編碼數據進行解碼開始、到實施像素復 原處理為止的動作的流程圖。首先，在步驟S5005中，進行CAVLD，接著，在步驟S5004中實施像素復原處理。像這樣，在CAVLD中，與CABAD不同，在開始像素復原處理之前，不需要等 待至備齊規定的數據單位量的數據為止，並且不需要具有像二元數據緩衝器5003那樣的、 可變長度解碼處理中的中間緩衝器。圖6是表示如圖4的例子那樣、對在流的中途切換可變長度編碼的方式的流進行 解碼的、以往的解碼裝置的動作的流程圖。另外，在本說明中，解碼裝置及解碼方法分別是 動態圖像再現裝置及動態圖像再現方法的一例。首先，在步驟S5101中，獲取表示在圖片中使用的可變長度編碼方式的信息，並前 進至步驟S5102。在步驟S5102中，判定是否按解碼順序在緊前的圖片與當前圖片間切換了 可變長度編碼的方式。在CABAD與CAVLD中，可變長度解碼處理中的緩衝器的管理方法不 同，所以在切換可變長度編碼的方式時，前進至步驟S5103並進行緩衝器管理的切換處理， 如果可變長度編碼的方式沒有切換，則前進至步驟S5104。在步驟S5104中，判定可變長度 編碼方式是否為CAVLC，為CAVLC時前進至步驟S5105並進行CAVLD處理，為CABAC時前進 至步驟S5106。在步驟S5106中，判定是否按解碼順序在緊前的圖片與當前圖片間切換了可 變長度編碼的方式，切換時前進至步驟S5107，如圖5的步驟S5001和步驟S5002所示，到備 齊規定的數據單位量的二元數據為止進行算術解碼，然後將二元數據解碼。在步驟S5106 中判定為可變長度編碼的方式沒有切換時，前進至步驟S5108，進行通常的CABAD處理。在 此，所謂通常的CABAD處理，指的是不進行從CAVLC切換至CABAC或開始對使用了 CABAC的 流進行解碼時所需要的二元數據的緩衝的處理。最後，在步驟S5109中實施像素復原處理。接著，說明不同的編碼方式(或，不同屬性的動態圖像)混雜存在的流的第二例， 即在圖片內圖片中通過亮度按鍵進行透過處理時所使用的亮度的閾值(動態圖像的屬性) 混雜存在的例子。在BD-ROM等的包媒體中，存在以下應用，該應用覆蓋在正篇影像上顯示 導演剪輯(導演的解說影像)等、與正篇不同的影像，將這樣的應用稱為圖片內圖片。圖 7是說明圖片內圖片的圖。圖7(a)表示圖像的顯示平面，平面2覆蓋在平面1上顯示。圖 7(b)和圖7(c)分別表示在平面1和平面2上顯示的圖像，平面2的顯示圖像覆蓋在平面1 的顯示圖像上顯示(圖7(d))。在圖片內圖片的例子中，平面1上顯示的是正篇影像，而平 面2上顯示的是與正篇不同的影像。在此，如果將平面2上顯示的影像原樣進行覆蓋，則平 面1的圖像完全被遮住，所以對平面2的圖像通過亮度按鍵進行透過處理。以下，說明通過 亮度按鍵的透過處理。在透過處理中，根據圖像內的各像素的亮度值來切換是否透過該像 素進行顯示。具體如下。1、亮度值為0以上、規定的閾值YL以下時，設為完全透過(透過率為1)該像素。2、亮度值超過規定的閾值YL時，不透過該像素(透過率為0)，按亮度值所示地進 行顯不。在圖7(c)中，如果設塗黑的區域中亮度值為上述規定的閾值YL以下，其他區域中 亮度值超過上述規定的閾值YL，那麼如圖7(d)所示，在將平面2的圖像覆蓋至平面1上時， 透過塗黑的區域並不透過此外的區域來進行顯示。即，僅將平面2的圖像之中亮度超過閾 值YL的區域(像素)覆蓋至平面1的圖像，並進行顯示。由此，平面2根據亮度等級的閾 值分離為前景和背景，僅將前景覆蓋至平面1並顯示，實現了圖片內圖片。專利文獻1 日本特開2000-228656號公報非專禾Ij 文獻 1 :Proposed SMPTE Standard for Television =VC-ICompressedVideo Bitstream Format and Decoding Process， FinalCommittee Draft Revision 6， 2005. 7. 13 (對電視機提出的SMPTE標準VC_1壓縮視頻比特流格式及解碼處理，最終委員 會草案修訂6，2005. 7. 13)接收了如上所述的不同的編碼方式(或不同屬性的動態圖像)混雜存在的流的解 碼裝置在解碼處理中需要切換處理，所以存在處理負擔變大的問題。圖8是說明在由現有 的復用裝置生成的現有的記錄介質中通過亮度按鍵實現透過處理時的問題的圖。圖8表示 通過亮度按鍵進行透過處理的影像被連續再現的區間，區間1、區間2、區間3依次被再現。 在此，以透過率為1來透過顯示的像素中的亮度值的閾值在區間1為20，在區間2為40，在 區間3為30，所以在區間的切換中，需要變更透過顯示的像素中的亮度值的閾值。如果變更 亮度值的閾值，那麼需要變更合成平面時的動作，隨著動作的變更，發生延遲。結果，在應該 不中斷再現的各區間的切換部分，存在再現中斷的問題。像這樣，對復用了由現有圖像編碼方式所生成的流的現有記錄介質進行再現時， 由於在每個再現區間變更亮度按鍵的閾值，所以隨著上述閾值的切換，存在再現時的亮度 值的閾值處理中發生延遲的問題。

發明內容
本發明的目的在於，提供一種不增大再現時的處理負擔而不發生再現中斷的記錄 介質、動態圖像編碼方法、動態圖像編碼裝置、動態圖像記錄方法、動態圖像再現方法、動態 圖像再現裝置及動態圖像再現系統。本發明所涉及的動態圖像編碼方法的特徵在於，在作為連續再現的對象的區間 (連續再現區間)中，不切換編碼方式(或動態圖像的屬性)地事先對動態圖像進行編碼， 並且事先製作包括標記信息的管理信息，該標記信息表示在該區間內編碼方式是固定的。更具體而言，作為對應於圖片內圖片的情況的發明，本發明所涉及的動態圖像編 碼方法對包括第一動態圖像和用於覆蓋(overlay)至上述第一動態圖像的第二動態圖像 在內的影像流進行編碼，其特徵在於，在上述覆蓋中，僅將上述第二動態圖像之中具有超過 預定閾值的亮度的圖像區域覆蓋至上述第一動態圖像；上述動態圖像編碼方法包括連續 再現區間決定步驟，在上述影像流之中，決定連續再現區間，該連續再現區間是部分區間的 集合，而且是成為連續再現的對象的區間；編碼步驟，對構成上述連續再現區間的多個部分 區間內的上述第一及第二動態圖像進行編碼，以在上述連續再現區間決定步驟中決定的連 續再現區間內滿足不變更上述閾值的限制；管理信息製作步驟，製作包括標記信息的管理 信息，該標記信息表示在上述連續再現區間內上述閾值是固定的；以及結合步驟，將在上述 編碼步驟中被編碼的上述第一及第二動態圖像與在上述管理信息製作步驟中製作的管理 信息進行結合併輸出。另外，本發明所涉及的動態圖像編碼裝置對包括第一動態圖像和用於覆蓋至上述 第一動態圖像的第二動態圖像在內的影像流進行編碼，其特徵在於，在上述覆蓋中，僅將上 述第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋至上述第一動態圖像；上述 動態圖像編碼裝置具備連續再現區間決定部，在上述影像流之中，決定連續再現區間，該 連續再現區間是部分區間的集合，而且是成為連續再現的對象的區間；編碼部，對構成上述 連續再現區間的多個部分區間內的上述第一及第二動態圖像進行編碼，以在由上述連續再現區間決定部決定的連續再現區間內滿足不變更上述閾值的限制；管理信息製作部，製作包括標記信息的管理信息，該標記信息表示在上述連續再現區間內上述閾值是固定的；以 及結合部，將由上述編碼部編碼的上述第一及第二動態圖像與由上述管理信息製作部製作 的管理信息進行結合併輸出。另外，本發明所涉及的動態圖像記錄方法對於包括第一動態圖像和用於覆蓋至上 述第一動態圖像的第二動態圖像在內的影像流進行編碼並記錄至記錄介質，其特徵在於， 在上述覆蓋中，僅將上述第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋至上 述第一動態圖像；上述動態圖像記錄方法包括連續再現區間決定步驟，在上述影像流之 中，決定連續再現區間，該連續再現區間是部分區間的集合，而且是成為連續再現的對象的 區間；編碼步驟，對構成上述連續再現區間的多個部分區間內的上述第一及第二動態圖像 進行編碼，以在上述連續再現區間決定步驟中決定的連續再現區間內滿足不變更上述閾值 的限制；管理信息製作步驟，製作包括標記信息的管理信息，該標記信息表示在上述連續再 現區間內上述閾值是固定的；以及結合步驟，將在上述編碼步驟中被編碼的上述第一及第 二動態圖像與在上述管理信息製作步驟中製作的管理信息進行結合併記錄至記錄介質。另外，本發明所涉及的記錄介質記錄了計算機可讀取的數據，其特徵在於，在上述 數據中包含包括第一動態圖像和用於覆蓋至上述第一動態圖像的第二動態圖像在內的影 像流、以及管理上述影像流的信息即管理信息；在上述覆蓋中，僅將上述第二動態圖像之中 具有超過預定閾值的亮度的圖像區域覆蓋至上述第一動態圖像；在上述影像流中，構成上 述連續再現區間的多個部分區間內的上述第一及第二動態圖像被編碼，以在連續再現區間 內滿足不變更上述閾值的限制，該連續再現區間是部分區間的集合，而且是成為連續再現 的對象的區間；在上述管理信息中，包括標記信息，該標記信息表示在上述連續再現區間內 上述閾值是固定的。另外，本發明所涉及的動態圖像再現方法將包括被編碼的第一及第二動態圖像在 內的影像流解碼，並將上述第二動態圖像覆蓋至上述第一動態圖像來進行顯示，其特徵在 於，包括管理信息處理步驟，獲取與上述影像流對應的管理信息，並對獲取的管理信息進 行解釋；解碼步驟，根據上述管理信息處理步驟中的解釋，將上述第一及第二動態圖像解 碼；以及顯示步驟，僅將被解碼的上述第二動態圖像之中、具有超過預定閾值的亮度的圖像 區域覆蓋至被解碼的上述第一動態圖像，並進行顯示；在上述管理信息處理步驟中，判斷在 上述管理信息中是否包括標記信息，該標記信息表示上述閾值是固定的；在上述顯示步驟 中，在上述管理信息處理步驟判斷為在上述管理信息中包括上述標記信息的情況下，利用 與緊前的部分區間內的閾值同值的閾值，進行當前部分區間內的上述覆蓋顯示。另外，本發明所涉及的動態圖像再現裝置將包括被編碼的第一及第二動態圖像在 內的影像流解碼，並將上述第二動態圖像覆蓋至上述第一動態圖像來進行顯示，其特徵在 於，包括管理信息處理部，獲取與上述影像流對應的管理信息，並對獲取的管理信息進行 解釋；解碼部，根據上述管理信息處理部的解釋，將上述第一及第二動態圖像解碼；以及顯 示部，僅將被解碼的上述第二動態圖像之中、具有超過預定閾值的亮度的圖像區域覆蓋至 被解碼的上述第一動態圖像，並進行顯示；上述管理信息處理部判斷在上述管理信息中是 否包括標記信息，該標記信息表示上述閾值是固定的；上述顯示部在上述管理信息處理部 判斷為在上述管理信息中包括上述標記信息的情況下，利用與緊前的部分區間內的閾值同值的閾值，進行當前部分區間內的上述覆蓋顯示。另外，本發明所涉及的動態圖像再現系統包括上述記錄介質；以及讀取上述記錄介質中記錄的數據並進行再現的的動態圖像再現裝置；該動態圖形再現系統的特徵在 於，上述動態圖像再現裝置包括管理信息處理部，從上述記錄介質中讀取管理信息並進行 解釋；解碼部，根據上述管理信息處理部的解釋，從上述記錄介質中讀取上述第一及第二動 態圖像並進行解碼；以及顯示部，僅將被解碼的上述第二動態圖像之中、具有超過預定閾值 的亮度的圖像區域覆蓋至被解碼的上述第一動態圖像，並進行顯示；上述管理信息處理部 判斷在上述管理信息中是否包括標記信息，該標記信息表示上述閾值是固定的；上述顯示 部在上述管理信息處理部判斷為在上述管理信息中包括上述標記信息的情況下，利用與緊 前的部分區間內的閾值同值的閾值，進行當前部分區間內的上述覆蓋顯示。而且，本發明不僅可以作為上述的動態圖像編碼方法、動態圖像編碼裝置、動態圖 像記錄方法、記錄介質、動態圖像再現方法、動態圖像再現裝置及動態圖像再現系統來實 現，而且也可以作為使計算機執行上述各方法中包括的步驟的程序來實現，或作為記錄了 該程序的DVD等的計算機可讀取的記錄介質來實現，或將上述各裝置作為LSI等半導體集 成電路來實現。如上所述，根據本發明的動態圖像編碼方法，在作為連續再現的對象的區間中，不 切換編碼方式(或動態圖像的屬性)地對動態圖像進行編碼，並且製作包括標記信息的管 理信息，該標記信息表示在該區間內編碼方式是固定的。由此，接受了(或從記錄介質中讀 取了)這樣的數據結構的動態圖像及管理信息的再現裝置不需要對編碼方式或動態圖像 的屬性的切換進行監視的處理，處理負擔減輕。S卩，對於圖片內圖片，在連續再現區間內的動態圖像的編碼數據中，通過對在判定 是否透過各像素進行顯示中所使用的亮度值的閾值進行固定，從而消除了由閾值的切換引 起的再現時的延遲，能夠實現無縫的再現。因此，能夠提高在動態圖像、圖形或靜止圖像等 上覆蓋動態圖像進行顯示的包介質、分發應用等的再現品質。另外，由於能夠減輕實現上述 應用的再現裝置的處理負擔，所以其應用價值很高。


圖1是DVD的結構圖。圖2是加亮的結構圖。圖3是表示DVD中的復用的例子的圖。圖4是表示現有的MPEG-4AVC流中用於圖片單位的可變長度編碼方式的例子的 圖。圖5A是表示對使用了 CABAC和CAVLC的編碼流進行解碼的解碼裝置的結構的框 圖。圖5B是表示對使用了 CABAC的編碼流進行解碼的動作的流程圖。圖5C是表示對使用了 CAVLC的編碼流進行解碼的動作的流程圖。圖6是表示現有的解碼裝置的動作的流程圖。圖7是用於說明圖片內圖片的顯示例的圖。圖8是說明由於亮度按鍵的閾值在連續再現區間內切換而引起的問題的圖。
圖9是表示實施方式1的記錄介質中存放的MPEG-4AVC流中用於圖片單位的可變 長度編碼的方式的例子的圖。圖10是表示標記信息的存放例的圖，該標記信息表示在記錄介質中可變長度編 碼的方式是固定的單位。
0073]圖11是表示再現記錄介質的解碼裝置的動作的流程圖。0074]圖12是表示復用裝置的結構的框圖。0075]圖13是表示復用裝置的動作的流程圖。0076]圖14是表示圖13中的S5201的具體例的流程圖。0077]圖15是表示圖13中的S5202的具體例的流程圖。0078]圖16是表示圖13中的S5204及S5205的其他具體例的流程圖。0079]圖17是表示圖13中的S5202的具體例的流程圖。0080]圖18是BD的數據階層圖。0081]圖19是BD上的邏輯空間的結構圖。0082]圖20是BD播放器的簡要框圖。0083]圖21是BD播放器的結構框圖。0084]圖22是BD的應用空間的說明圖。0085]圖23是MPEG流(V0B)的結構圖。0086]圖24是包(pack)的結構圖。0087]圖25是說明AV流和播放器構成的關係的圖。0088]圖26是向軌(track)緩衝器的AV數據連續供給模式圖。0089]圖27是V0B信息文件結構圖。0090]圖28是時間映射(time map)的說明圖。0091]圖29是播放列表文件的構成圖。0092]圖30是與播放列表對應的程序文件的結構圖。0093]圖31是BD盤整體管理信息文件的結構圖。0094]圖32是記錄全局事件處理器的文件的結構圖。0095]圖33是說明時間事件的例子的圖。0096]圖34是說明用戶事件的例子的圖。0097]圖35是說明全局事件處理器的例子的圖。0098]圖36是虛擬機的結構圖。0099]圖37是播放器變量表的圖。0100]圖38是表示事件處理器(時間事件)的例子的圖。0101]圖39是表示事件處理器(用戶事件)的例子的圖。0102]圖40是播放器的基本處理的流程圖。0103]圖41是播放列表再現處理的流程圖。0104]圖42是事件處理的流程圖。0105]圖43是字幕處理的流程圖。0106]圖44是說明在連續再現區間內固定亮度按鍵的閾值的例子的圖。0107]圖45是說明在無縫再現區間設亮度按鍵的值固定的說明圖。
圖46是說明保證亮度按鍵的閾值固定的標記的圖。圖47是說明本發明的記錄介質中的圖片內圖片動作的圖。圖48是說明主視頻與次視頻的復用的圖。圖49是表示實現本發明實施方式2的圖片內圖片動作的復用方法的動作的流程 圖。圖50是表示在實現本發明實施方式2的圖片內圖片動作的復用方法中、生成管理 信息的動作的流程圖。圖51是表示本發明的實施方式2的復用裝置的結構的框圖。圖52是表示存放在圖片內圖片的元信息中的顯示屬性信息的例子的圖。圖53是表示由復用裝置5200生成的管理信息的數據結構的圖，圖53(a)表示作 為管理信息之一的播放列表的數據要素，圖53(b)表示對無縫連接的再現區間進行表示的 播放列表的例子。圖54是表示進行本發明的實施方式2的圖片內圖片動作的播放器的動作的流程 圖。圖55A是表示實施方式3中的記錄介質主體即軟盤的物理格式的例子的圖。圖55B是表示從軟盤的正面觀察的外觀、剖面構造及軟盤的圖。圖55C是表示用於在軟盤FD上進行上述程序的記錄再現的結構的圖。符號說明104、201BD 盤202光拾取器203程序記錄存儲器204管理信息記錄存儲器205AV記錄存儲器206程序處理部207管理信息處理部208呈現處理部209圖形平面210視頻屏面211合成處理部301程序記錄存儲器302程序處理器303U0P 管理器304管理信息記錄存儲器305腳本處理器306呈現控制器307 時鐘308圖形存儲器309軌緩衝器310解復用器
311圖形處理器312視頻處理器313音頻處理器314圖形面板
315視頻面板316合成處理部317驅動器控制器S101盤插入步驟S102BD. INFO 讀取步驟S103BD. PR0G 讀取步驟S104第一事件生成步驟S105事件處理器執行步驟S201U0P接受判定步驟S202U0P事件生成步驟S203菜單呼叫判定步驟S204事件生成步驟S205事件處理器執行步驟S301播放列表再現開始步驟S302播放列表信息(XXX. PL)讀取步驟
S303播放列表程序(XXX. PR0G)讀取步驟S304單元再現開始步驟S305AV再現開始步驟S401AV再現開始步驟S402V0B 信息(YYY. V0BI)讀取步驟S403V0B (YYY. V0B)讀取步驟S404V0B再現開始步驟S405V0B再現結束步驟S406下一單元存在判定步驟S501播放列表再現開始步驟S502播放列表再現結束判定步驟S503時間事件時刻判定步驟S504事件生成步驟S505事件處理器執行步驟S601播放列表再現開始步驟S602播放列表再現結束判定步驟S603U0P接受判定步驟S604U0P事件生成步驟S605菜單呼叫判定步驟S606用戶事件有效期間判定步驟
16
S607事件生成步驟S608事件處理器執行步驟S701播放列表再現開始步驟S702播放列表再現結束判定步驟S703字幕描繪開始判定步驟S704字幕描繪步驟S705字幕顯示結束判定步驟S706字幕消除步驟
具體實施例方式本發明所涉及的動態圖像編碼方法的特徵在於，在作為連續再現的對象的區間 (連續再現區間)中，不切換編碼方式(或動態圖像的屬性)地事先對動態圖像進行編碼， 並且事先製作包括標記信息的管理信息，該標記信息表示在該區間內編碼方式是固定的。以下參照

本發明的實施方式。(實施方式1)首先，對於不同的編碼方式(或不同屬性的動態圖像)混雜存在的流的第一例、即 可變長度編碼方式(CAVLC/CABAC)混雜存在的例子，作為本發明的第一實施方式來進行說 明。在本實施方式中，說明在BD-R0M等的包介質等中，在將動態圖像的編碼數據解碼 時，能夠對由可變長度編碼方式切換而造成的解碼動作的延遲、或與同時需要的緩衝器管 理方法的切換相伴的處理負擔的增加進行抑制的記錄介質及其再現裝置。在此，設動態圖 像的編碼方式是MPEG-4AVC，但也可以是能夠在流的中途切換可變長度編碼方式的其他編 碼方式。在本實施方式的記錄介質中存放的MPEG-4AVC流中，對能夠切換可變長度編碼方 式的單位進行限制，並且將下述信息存放至管理信息中，該信息表示切換單位被限制、或被 限制的切換單位。圖9表示MPEG-4AVC流中的、可變長度編碼方式的切換單位的限制例。在BD-R0M 等的包介質中，通過播放列表等，表示出對動態圖像的編碼數據進行連續再現的單位(以 下稱為連續再現單位)，所以如果在連續再現單位中固定可變長度編碼方式，那麼在連續再 現的區間中，與可變長度編碼方式的切換相伴的解碼動作的延遲或由緩衝器管理方法的切 換引起的處理負擔的增加就不發生。因此，在本實施方式中，在連續再現單位中將可變長度 編碼方式固定。圖9(a)和圖9(b)分別表示在連續再現單位中將可變長度編碼的方式僅限 制為CAVLC或僅限制為CABAC的例子。進而，在連續再現的片斷(clip)的連接條件中，存 在有縫連接和無縫連接這兩種。這裡所謂的連接，設為包括對同一片斷內的多個區間進行 連接的情況。在無縫連接中，例如，如向開放(open)GOP連接時那樣，有時在解碼動作中發 生間隔，所以還可以設為也允許可變長度編碼方式的切換，並在無縫連接的連續再現單位 中固定可變長度編碼的方式。另外，也可以在片斷或隨機訪問單位(RAU)等與連續再現單位不同的單位中固定 可變長度編碼的方式。圖9(c)和圖9(d)表示以片斷單位來固定的例子，圖9(e)表示以隨
17機訪問單位來固定的例子。接著，在管理信息中，存放了標記信息，該標記信息表示在MPEG-4AVC的流中可變 長度編碼方式的切換單位被限制。在此，將編碼方式的識別信息作為標記來使用。圖10表 示BD-R0M中的標記的存放例。在BD-R0M中，由播放列表參照的各片斷的編碼方式被存放於 管理信息內的被稱為「StreamCodinglnfo」的區域，所以在此表示出編碼方式為MPEG4AVC 時，設在連續再現單位中可變長度編碼的方式是固定的。而且，也可以另外示出可變長度編 碼的方式為CABAC或CAVLC。而且，也可以另外規定並存放表示可變長度編碼方式的切換單位被限制的標記， 進而，也可以存放表示切換單位的信息。另外，這些信息也可以存放於MPEG-4AVC的流內。 例如，可以將表示隨機訪問單位內的圖片中可變長度編碼方式固定的信息存放於隨機訪問 單位的先頭圖片中的SEI(補充增強信息Supplemental Enhancement Information)、或具 有非特定的類型的NAL(網絡提取層Network Abstraction Layer)單元。另外，在MPEG-4AVC中，在表示圖片單位的初始化信息的PPS (圖片參數組 Picture Parameter Set)內的entropy_coding_mode_flag中，表示出可變長度編碼的方式 是CAVLC還是CABAC。因此，在一定區間內可變長度編碼的方式固定時，在該區間內的圖片 所參照的全部PPS中，設entropy_coding_mode_flag的場值是固定的。在MPEG-4AVC中， 也允許將按解碼順序存在於規定區間的圖片所沒有參照的PPS存放於上述規定區間，但對 於區間內的圖片所沒有參照的PPS中的entr0py_C0ding_m0de_flag的場值，並不需要特別 限制。例如，隨機訪問單位RAU內的圖片所參照的PPS保證全部存在於隨機訪問單位RAU 內，但隨機訪問單位RAU內的圖片所沒有參照的PPS也可以存在於隨機訪問單位內。這時， 沒有被參照的PPS不對解碼造成影響，所以也可以不限制entr0py_C0ding_m0de_flag的場 值。其中，統一地決定規定區間中所包括的PPS中的entropy_coding_mode_flag的場值在 操作上簡單，所以也可以包括沒有被參照的PPS在內地將場值固定。圖11是表示本實施方式的記錄介質中的連續再現單位的解碼動作的流程圖。在 連續再現單位中可變長度編碼的方式是固定的，所以與圖6的現有的解碼動作不同，解碼 過程中的二元數據的緩衝以及緩衝管理方法的切換變得不需要。對於各步驟的動作，與圖 6中附加了相同符號的步驟相同，所以省略說明。進而，作為新的編碼方式，現在，在SMPTE(電影電視工程師協會The Society of Motion Picture and Television Engineers)正在策劃 VC-1 (非專利文獻 1)的規格。在 VC-1中，定義了表示宏塊(具有16X 16像素的大小的單位)的編碼方式的各種標記。作為 標記例如存在是否跳過宏塊、是否為場模式/幀模式的某一個、是否為直接(direct)模式 宏塊等。作為擴展的編碼手段之一，有比特平面編碼。比特平面編碼在對表示上述宏塊的 編碼方式的標記進行表示時使用。在比特平面編碼中，可以將這些標記匯集為1個圖片量， 並在圖片頭中表示。一般的，相鄰的宏塊在相關性上較高，所以在標記上相關性也較高。因 此，通過將相鄰的多個宏塊的標記匯集並編碼，能夠減少表現標記的碼量。在比特平面編碼中，規定了 7種編碼方法。其中之一是在宏塊頭中對各標記進行 編碼的方法，該方法被稱為RAW模式(原始圖像數據存儲模式)，是與MPEG-2視頻方式或 MPEG-4視覺方式相同的方法。剩餘的6種方法是將1個圖片量的標記匯集並編碼的方法，根據如何將相鄰的宏塊的標記匯集並編碼，定義了不同的方法。作為該6種方法，例如存在 將左右相鄰的2個宏塊的標記匯集並編碼的方法，在水平方向上排列的一列宏塊的標記如 果都是「O」則將其用1比特的「O」表示、一列宏塊的標記中如果有1個為「1」也將各標記 原樣編碼的方法等。在比特平面編碼中使用該7種中的哪一種方法，對每個標記獨立，可以按圖片單 位變更。在此，在比特平面編碼中，把僅使用在宏塊頭中將各標記編碼的方法的情況設為 模式1，把僅使用將1個圖片量的標記匯集並編碼的方法的情況設為模式2，那麼由於模式 1與模式2中解碼時的動作不同，在模式的切換部分中處理的負擔增大，有時發生延遲。因 此，與限制上述可變長度編碼的切換單位相同，也可以對比特平面編碼也限制模式1與模 式2的切換單位。例如，在連續再現單位、或無縫連接的連續再現單位中，將模式固定。另 夕卜，也可以在管理信息中包括表示比特平面編碼的模式在規定的單位中固定的標記信息。 例如，可以將StreamCodinglnfo中表示的編碼方式用作標記信息，在表示為編碼方式是 VC-I時，規定的單位中比特平面編碼的模式是固定的。進而，把共同使用了在宏塊頭中將各標記編碼的方法和將1個圖片量的標記匯集 並編碼的方法的情況設為模式3，根據VC-I被使用的環境，存在區分使用模式1和模式3的 情況。例如，可以對處理能力低的終端使用模式1，對處理能力高的終端使用模式3。在這 樣的情況下，在規定的再現單位中固定為模式1或模式3的某一方是有效的。進而，可以在 管理信息或編碼流中存放表示固定為模式1或模式3的某一方的標記信息、或表示固定為 哪一個模式的信息。另外，也可以區分使用模式2和模式3。圖12是表示使用本實施方式的復用方法的復用裝置5100的結構的框圖。復用裝 置5100具備切換單位決定部5101、切換信息生成部5102、編碼部5103、系統復用部5104、 管理信息製作部5105、結合部5106。以下說明各部的動作。切換單位決定部5101決定能夠對可變長度編碼的方式進行切換的單位，並將決 定的切換單位Unit輸入至切換信息生成部5102及編碼部5103。切換單位設為預先設定，但 也可以設為能夠從外部進行設定。切換信息生成部5102根據切換單位Unit，生成表示能夠 切換可變長度編碼的單位的切換信息SwInf，並輸入至管理信息製作部5105。編碼部5103 以滿足單位Unit的限制的方式將各片斷的數據編碼，並將編碼數據Cdatal輸入至系統復 用部5104。系統復用部5104對編碼數據Cdatal進行系統復用，並將流信息StrInfl輸入 至管理信息製作部5105，將復用數據Mdatal輸入至結合部5106。在BD-ROM中，使用被稱 為源包的、在MPEG-2的傳輸流中附加了 4位元組的頭的方式，來作為系統復用的方式。另外， 流信息StrInfl包括用於生成時間映射等、關於復用數據Mdatal的管理信息的信息。管理 信息製作部5105生成管理信息Ctrllnfl，該管理信息CtrlInfl包括根據流信息StrInfl 生成的時間映射、以及切換信息SwInf等，並輸入至結合部5106。結合部5106對管理信息 CtrlInfl和復用數據Mdatal進行結合併作為記錄數據Doutl輸出。另外，在由著作(authoring)工具等製作數據時，在不同的裝置進行編碼數據的生成、和系統復用或管理信息的製作，但在這種情況下，也可以使各裝置的動作與復用裝置 5100中的各部相同。圖13是表示用於製作本實施方式中的記錄介質中存放的復用數據的復用方法的動作的流程圖。本實施方式的復用方法在具備決定能夠對可變長度編碼的方式進行切換的單位的步驟(步驟S5201)、根據決定的單位將片斷編碼的步驟(步驟S5202)、以及生成表 示可變長度編碼的切換單位的標記信息的步驟(步驟S5204)這幾點上，與現有的復用方法 不同。首先，在步驟S5201中，決定能夠對可變長度編碼的方式進行切換的單位。即，決 定是否能夠以連續再現單位、片斷、或隨機訪問單位中的哪個單位來進行切換。接著，在步 驟S5202中，根據步驟S5201中決定的切換單位，將MPEG-4AVC的片斷的數據編碼。在步驟 S5203中，判定最終片斷的編碼是否結束，在判定為結束時前進至步驟S5204，判定為沒有 結束時返回步驟S5202並重複片斷的編碼。在步驟S5204中，生成表示可變長度編碼的切 換單位的標記信息，並前進至步驟S5205。在步驟S5205中，製作包括步驟S5204中生成的 標記信息的管理信息，並對管理信息和片斷的數據進行復用並輸出。圖14是表示圖13中決定能夠對可變長度編碼的方式進行切換的單位的步驟 (S5201)的具體例的流程圖。在該圖中，將能夠對可變長度編碼的方式進行切換的最小單位 設為圖9(c)、圖9(d)所示的片斷。在此，所謂片斷，指的是在記錄介質上作為AV數據的文 件而存放的、例如存放了 MPEG-4AVC的一個流或VC-I的一個流的一個文件。另外，片斷在 傳輸流中指的是通過TS包的識別符來確定的流。在圖14中，切換單位決定部5101判定編碼對象的圖片是否為片斷的開始圖像 (S5201a)，不是開始圖像的情況、即為片斷的中途的圖像的情況下，決定為在該片斷的編碼 中不能切換可變長度編碼的方式(S5201f)。是開始圖片的情況下，切換單位決定部5101判定開始圖片的片斷是否與編碼完 成的緊前的片斷無縫連接(S5201b)，在無縫連接的情況下，決定為開始圖片的片斷的編碼 中不能切換可變長度編碼的方式(S5201f)。在沒有無縫連接的情況下，切換單位決定部5101判定開始圖片的片斷是否為與 構成多角度的角度相對應的片斷(S5201c)，是與該角度相對應的片斷的情況下，決定為 在開始圖片的片斷的編碼中，在構成該多角度的角度之間不能切換可變長度編碼的方式 (S5201f)。在此，能夠在各角度無縫連接的無縫多角度中，各角度的可變長度編碼的方式被 決定為與多角度區間的緊前的片斷相同的方式。另一方面，在不保證能夠在各角度無縫連 接的非無縫多角度中，如果各角度上可變長度編碼的方式相同，則其方式也可以與多角度 區間的緊前的片斷不同。另外，切換單位決定部5101在編碼對象的圖片是片斷的開始圖片、且與S5201b至 S5201C的哪一種都不相當的情況(否的情況)下，決定為對於編碼完成的緊前的片斷能夠 切換開始圖片的片斷的可變長度編碼方式(S5201e)。像這樣在圖14的流程圖中，在切換單位決定部5101中被決定為不能切換的片斷 被決定為以下片斷，即(a)通過傳輸流的包識別符確定的片斷；(b)作為無縫連接的對象 的多個片斷；(c)與構成多角度的各角度相對應的多個片斷。另外，S5201a至S5201c的判 定按照哪種順序來執行都可以。另外，在多角度的情況下，也可以僅在無縫多角度中使可變 長度編碼方式不可替換。另外，片斷也可以通過文件名等與包識別符不同的信息來識別。另 夕卜，在圖14中說明了能夠對可變長度編碼的方式進行切換的最小單位是圖9 (c)、圖9 (d)所 示的片斷的情況，但也可以以圖9(e)那樣的RAU為最小單位。這時，進行將圖中的「片斷」讀取替換為「RAU」的處理即可。圖15是表示圖13中的片斷編碼步驟(S5202)的具體例的流程圖。在圖15中，表 示了進行MPEG-4AVC的編碼的情況。在該圖中，編碼部5103在片斷的編碼開始之前先判 定能否切換該片斷的可變長度編碼的方式(S5202a)。該判定按照圖14中的決定。編碼部 5103在判定為能夠切換的情況下任意決定該片斷的可變長度編碼方式(S5202b)，判定為 不能切換的情況下將該片斷的可變長度編碼方式決定為與相互無縫連接的緊前的、或構成 同一多角度的其他的片斷相同的方式(S5202c)。進而，編碼部5103將表示所決定的可變長 度編碼方式的標記設定至圖片參數組PPS(S5202d)，根據決定的可變長度編碼方式將該片 斷編碼(S5202e)。該標記在 MPEG4-AVC 中被稱為 entoropy_coding_mode_f lag。像這樣，編碼部5103對於被判定為不能切換的連續再現區間的片斷不切換可變 長度編碼的方式，將動態圖像編碼，從而生成編碼數據Cdatal。圖16是表示圖13中的標記信息生成步驟(S5204)及管理信息生成步驟(S5205) 的具體例的流程圖。在該圖中，切換信息生成部5102判定由編碼部5103進行了編碼的片斷是否是被 判定為能夠切換可變長度編碼方式的片斷(S5204a)，在是被判定為能夠切換的片斷的情況 下，生成表示可變長度編碼的方式不固定的標記信息，並與該片斷相對應地將標記信息積 蓄在存儲器的工作區域中(S5204b)，在不是被判定為能夠切換的片斷的情況下，生成表示 可變長度編碼的方式固定的標記信息，並與該片斷相對應地將標記信息蓄積在存儲器的工 作區域中(S5204c)。進而，切換信息生成部5102判定該片斷是否是由編碼部5103進行了 編碼的最後的片斷(S5204d)，如果不是最後的片斷，則重複上述S5204a至S5204c，如果是 最後的片斷，則將蓄積在存儲器的工作區域中的標記信息作為切換信息SwInf輸出至管理 信息製作部5105。進而，管理信息製作部5105生成包括播放列表的管理信息(S5205a)，參照切換信 息SwInf，附加表示播放列表中所包括的播放項目中可變長度編碼的方式固定的標記信息 (S5205b)。另外，標記信息也可以表示可變長度編碼的方式與緊前的播放項目所參照的再 現區間是否相同。在此，播放列表表示一個以上的播放項目的再現順序。播放項目是表示 應該再現的片斷的信息，將一個片斷的全部或部分指定為再現區間。另外，上述標記信息也 可以與播放項目中附加的其他參數兼用。這時，例如，可以將意味著片斷無縫連接的參數 (例如「cormectiorucondition = 5」)與上述標記信息兼用。這是因為在圖14中，被決 定為不能切換的連續再現區間(可變長度編碼的方式固定的區間是(a)通過傳輸流的包 識別符確定的片斷、(b)作為無縫連接的對象的多個片斷、(c)與構成多角度的各角度相對 應的多個片斷，其中(b)以無縫連接為前提。另外，是否是多角度區間可以通過被稱為「is_ multi_angle」的標記表示，所以也可以將本標記與表示可變長度編碼的方式固定的標記兼 用。由此，可以減少管理信息的數據量。圖17是表示圖13中的片斷編碼步驟(S5202)的其他具體例的流程圖。在圖17 中，表示了進行VC-I的編碼的情況。在該圖中，編碼部5103在片斷的編碼開始之前，先判 定能否在RAW模式與此外的模式之間切換該片斷的可變長度編碼的方式(S5202a)。該判定 按照圖14中的決定。編碼部5103在判定為能夠切換的情況下任意決定該片斷的比特平面 編碼的方式(S5202f)，判定為不能切換的情況下將該片斷的比特平面編碼方式決定為與緊前的片斷相同的方式(S5202g)。編碼部5103判定所決定的比特平面編碼方式是RAW模式(RAW MODE)還是此外的方式(S5202h)。編碼部5103在圖片單位上附加表示模式的信息， 在判定為是RAW模式(RAWM0DE)的情況下，對每個宏塊MB的規定的信息在各宏塊中進行編 碼(S5202i)，在判定為不是RAW模式(RAW MODE)的情況下，將每個宏塊MB的規定的信息匯 集設定在圖片的先頭，並將該片斷編碼(S5202j)。另外，表示上述模式的信息在VC-I中通 過被稱為IMODE的場來表示。像這樣，編碼部5103對於被判定為不能切換的連續再現區間的片段不切換比特 平面編碼的方式，將動態圖像編碼，從而生成編碼數據Cdatal。另外，上述播放列表不限定於光碟上的使用，在經由網絡接收流時，也可以使用以 下用法，即首先接收播放列表並進行解析，決定了接收的流之後，開始實際的流的接收。另 夕卜，在將流打包為RTP (實時傳輸協議Real-time Transport Protocol)的包或TS包等之 後通過IP(網際網路協議=Internet Protocol)網進行傳輸時，作為再現控制信息，也可以通 過SDP(對話描述協議Session Description Protocol)等，表示再現區間內可變長度編 碼的方式是否固定。以下，表示存放了通過本實施方式所涉及的動態圖像編碼方法生成的數據的 BD-ROM盤的數據結構、以及再現該盤的播放器的結構。(盤上的邏輯數據結構)圖18是表示BD-ROM的結構、特別是作為盤介質的BD盤104和在盤上記錄的數據 101、102、103的結構的圖。在BD盤104上記錄的數據有AV數據103、與AV數據相關的管 理信息及AV再現序列等的BD管理信息102、和實現交互性的BD再現程序101。在本實施 方式中，為了說明方便，進行以用於再現電影的AV內容的AV應用為主的BD盤的說明，但用 作其他用途顯然也是相同的。圖19是表示上述BD盤上記錄的邏輯數據的目錄/文件結構的圖。BD盤與其他光 盤、例如DVD或CD等相同，從其內周向外周以螺旋狀具有記錄區域，在內周的導入與外周的 導出之間具有能夠記錄邏輯數據的邏輯地址空間。另外，在導入的內側存在被稱為BCA(二 進位位組截斷區=BurstCutting Area)的只能由驅動器讀取的特殊區域。該區域不能由應 用讀取，所以例如用於版權保護技術等。在邏輯地址空間中，以文件系統信息(卷)為先頭記錄了影像數據等的應用數據。 所謂文件系統，正如現有技術中說明的，是UDF或IS09660等，可以與通常的PC—樣使用目 錄、文件結構讀取記錄的邏輯數據。在本實施例的情況下，BD盤上的目錄、文件結構為在根目錄(ROOT)緊下設有 BDVIDE0目錄。該目錄是存放著BD中處理的AV內容或管理信息等的數據(在圖18中說明 的 101,102,103)的目錄。BDVIDE0目錄之下記錄了以下的7種文件。BD. INFO (文件名固定)"BD管理信息」之一，是記錄了與BD盤整體相關的信息的文件。BD播放器最初讀 取此文件。BD. PROG (文件名固定)"BD再現程序」之一，是記錄了與BD盤整體相關的再現控制信息的文件。
XXX. PL( 「XXX」 可變，擴展符 「PL」 固定)"BD管理信息」之一，是記錄了作為腳本(再現序列)的播放列表信息的文件。每 個播放列表具有1個文件。XXX. PROG ( 「XXX」 可變，擴展符 「PR0G」 固定)"BD再現程序」之一，是記錄了每個上述播放列表的再現控制信息的文件。與播放 列表的對應通過文件實體名(「XXX」 一致)來識別。 YYY. VOB ( 「 YYY」 可變，擴展符 「 VOB 」固定)「AV數據」之一，是記錄了 VOB(與現有例中說明的VOB相同)的文件。每個VOB
具有一個文件。YYY. VOBI ( "XXX"可變，擴展符 「V0BI 」固定)"BD管理信息」之一，是記錄了與作為AV數據的VOB相關的流管理信息的文件。與 VOB的對應通過文件實體名(「YYY」 一致)來識別。ZZZ. PNG ( 「 ZZZ 」 可變，擴展符 「PNG」 固定)「AV數據」之一，是記錄了用於構成字幕及菜單的圖形數據PNG (是由W3C進行了標準化的圖像格式，讀作「平格」)的文件。每個PNG圖形具有一個文件。(播放器的結構)接著，利用圖20及圖21來說明再現上述BD盤的播放器的結構。圖20是表示播放器的大概的功能結構的框圖。BD盤201上的數據通過光拾取器202讀取。讀取的數據根據各自的數據的種類轉 發至專用的存儲器。分別將BD再現程序(「BD. PR0G」或「XXX. PR0G」文件的內容)轉發至 程序記錄存儲器203，將BD管理信息(「BD. INFO」、「XXX. PL」或「YYY. VOBI 」)轉發至管理 信息記錄存儲器204，將AV數據(「YYY. V0B"或「ZZZ. PNG")轉發至AV記錄存儲器205。程序記錄存儲器203中記錄的BD再現程序通過程序處理部206進行處理，管理信 息記錄存儲器204中記錄的BD管理信息通過管理信息處理部207進行處理，另外，AV記錄 存儲器205中記錄的AV數據通過呈現處理部208進行處理。程序處理部206接受由管理信息處理部207再現的播放列表的信息或程序的執行 定時等的事件信息，並進行程序的處理。另外，在程序中可能存在動態改變再現的播放列表 的情況，在這種情況下對管理信息處理部207發送播放列表的再現命令來實現。程序處理 部206接受來自用戶的事件、即來自遙控器按鍵的請求，存在與用戶事件對應的程序時，將 其執行。管理信息處理部207接受程序處理部206的指示，解析對應的播放列表及與播放 列表對應的VOB的管理信息，並對呈現處理部208指示作為對象的AV數據的再現。另外， 管理信息處理部207從呈現處理部208接受基準時刻信息，根據時刻信息對呈現處理部208 進行AV數據再現的停止指示，另外，對於程序處理部206生成表示程序執行定時的事件。呈現處理部208具有與影像、聲音、字幕/圖形(靜止畫面)分別對應的解碼器， 按照來自管理信息處理部207的指示，進行AV數據的解碼及輸出。在影像數據、字幕/圖 形的情況下，在解碼後，在各自的專用平面、視頻平面210及圖片平面209上進行描繪，通過 合成處理部211進行影像的合成處理，並向電視機(TV)等顯示設備輸出。像這樣如圖20所示，BD播放器具有基於圖18所示的BD盤上所記錄的數據結構的設備結構。圖21是細化了上述播放器結構的框圖。在圖21中，AV記錄存儲器205與圖形存 儲器308和軌緩衝器309，程序處理部206與程序處理器302和UOP管理器303，管理信息處 理部207與腳本處理器305和呈現控制器306，呈現處理器208與時鐘307、解復用器310、 圖形處理器311、視頻處理器312和音頻處理器313分別對應/擴展。從BD盤201中讀取的VOB數據(MPEG流)被記錄至軌緩衝器309，圖形數據(PNG) 被記錄至圖形存儲器308。解復用器310根據時鐘307的時刻，提取軌緩衝器309中記錄的 VOB數據，並分別將影像數據送入視頻處理器312，將聲音數據送入至音頻處理器313。視頻 處理器312及音頻處理器313分別如MPEG系統規格所規定的那樣，各自由解碼器緩衝器和 解碼器構成。即，從解復用器310送入的影像、聲音各自的數據被暫時記錄至各自的解碼器 緩衝器，並按照時鐘307由各自的解碼器進行解碼處理。在圖形存儲器308記錄的PNG有以下2種處理方法。在圖形數據為字幕用的情況下，由呈現控制器306指定解碼定時。腳本處理器305 一旦接受到來自時鐘307的時刻信息，如果到了字幕顯示時刻(開始及結束)，則對呈現控 制器306發出顯示、不顯示字幕的指示，以進行合適的字幕顯示。從呈現控制器306接受了 解碼/顯示的指示的圖片處理器311從圖片存儲器308中提取對應的PNG數據，進行解碼， 並在圖形平面314上描繪。接著，在圖形數據為菜單用的情況下，由程序處理器302指定解碼定時。程序處理 器302何時指定圖形的解碼，取決於程序處理器302所處理的BD程序，無法統一決定。圖形數據及影像數據如圖20說明的那樣，分別解碼後輸出至圖形平面314、視頻 平面315，並由合成處理部316合成後輸出。從BD盤201讀取的管理信息(腳本、AV管理信息)被存放至管理信息存儲器304， 而腳本信息(「BD. INFO」及「XXX. PL」)被向腳本處理器305進行讀取處理。另外，AV管理 信息(「YYY.V0BI」)由呈現控制器306進行讀取處理。腳本處理器305解析播放列表的信息，對呈現控制器306指示由播放列表參照的 VOB及其再現位置，呈現控制器306解析作為對象的VOB的管理信息(「YYY. VOBI 」)，對驅 動器控制器317發出指示，使其讀取作為對象的V0B。驅動器控制器317按照呈現控制器306的指示，使光拾取器移動，進行作為對象的 AV數據的讀取。讀取出的AV數據如上所述，被讀取至圖形存儲器308或軌存儲器309。另外，腳本處理器305監視時鐘307的時刻，在管理信息中設定的定時將事件投向 程序處理器302。在程序記錄存儲器301中記錄的BD程序(「BD. PR0G」或「XXX. PR0G」 )由程序處 理器302執行處理。程序處理器302處理BD程序，存在從腳本處理器305發送來事件的情 況，或從UOP管理器303發送來事件的情況。UOP管理器303在由用戶通過遙控器按鍵發送 來請求的情況下，生成對程序處理器302的事件。(應用空間)圖22是表示BD的應用空間的圖。在BD的應用空間中，播放列表(Playlist)成為一個再現單位。播放列表是單元 (Cell)的連接，具有由連接的順序決定的再現序列即靜態腳本、以及由程序記錄的動態腳本。只要不存在由程序實現的動態腳本，那麼播放列表只是按各個單元的順序再現，另外，在結束了全部單元的再現的時刻，播放列表的再現結束。另一方面，程序可以動態地改變通 過超出播放列表的再現記錄還有用戶選擇或播放器的狀態來再現的對象。作為典型的例子 可以舉出菜單。在BD的情況下，所謂菜單，可以定義為通過用戶的選擇來再現的腳本，由程 序動態地選擇播放列表。在此所說的程序，指的是通過時間事件或用戶事件來執行的事件處理器。時間事件是根據播放列表中埋入的時刻信息來生成的事件。從圖21說明的腳本 處理器305向程序處理器302發送的事件便相當於此。如果發行了時間事件，那麼程序處 理器302對通過ID加以對應的事件處理器進行執行處理。如上所述，所執行的程序可以指 示其他的播放列表的再現，在這種情況下，當前正在再現的播放列表的再現中止，轉移至被 指定的播放列表的再現。用戶事件是由用戶的遙控器按鍵操作所生成的事件。用戶事件總體上分為兩種類 型。第一種是通過方向按鍵(「上」「下」左」「右」按鍵)還有「決定」按鍵的操作所生成的菜 單選擇的事件。與菜單選擇的事件對應的事件處理器僅在播放列表內的有限期間有效(設 定了各個事件處理器的有效期間來作為播放列表的信息)，在遙控器的「上」「下」「左」「右」 按鍵或「決定」按鍵被按下時，檢索有效的事件處理器，在存在有效的事件處理器的情況下， 執行處理該事件處理器。其他情況下，無視菜單選擇的事件。第二種用戶事件是由「菜單」按鍵的操作所生成的菜單呼叫的事件。如果生成了 菜單呼叫的事件，那麼調用全局事件處理器。全局事件處理器不依賴於播放列表，是通常有 效的事件處理器。通過利用該功能，可以安裝DVD的菜單呼叫(在標題再現中調用聲音、字 幕菜單等，在變更聲音或字幕之後執行從中斷的位置開始的標題再現的功能等)。在播放列表中構成靜態腳本的單位即單元(Cell)參照了 VOB (MPEG流)的全部 或部分的再現區間。單元以開始、結束時刻的信息的方式具有VOB內的再現區間。與各個 VOB成對的VOB管理信息(VOBI)在其內部具有與數據的再現時刻對應的記錄地址的表信息 即時間映射(Time Map或TMAP)，通過該時間映射可以導出在VOB內(S卩，作為對象的文件 "YYY. V0B"內)讀取上述VOB的再現、結束時刻的開始地址及結束地址。另外，時間映射的 詳情留待後述。(V0B 的詳情)圖23是本實施例中使用的MPEG流(VOB)的結構圖。如圖23所示，VOB由多個V0BU(視頻對象單元Video Object Unit)構成。VOBU 是以MPEG視頻流中所謂的GOP (圖片組Group OfPictures)為基準，作為還包括了聲音數 據的復用流的一個再現單位。VOBU具有1. 0秒以下的視頻再現時間，通常具有0. 5秒左右 的再現時間。VOBU 先頭的 TS 包(MPEG-2 傳輸流包MPEG-2 Transport StreamPacket)存放了 序列頭及此後的GOP頭和I圖片(內部編碼dntra-coded)，可以從該I圖片開始解碼。另 夕卜，由時間映射管理包括該VOBU先頭的I圖片的先頭在內的TS包的地址(開始地址)、從 該開始地址到包括I圖片的最後在內的TS包為止的地址(結束地址)、和該I圖片的再現 開始時刻(PTS)。因此，時間映射的項目被賦予VOBU先頭的各個TS包。VOBU在其內部具有視頻包(V_PKT)和音頻包(A_PKT)。各包為188位元組，雖然在圖23中沒有圖示，但各TS包的緊前被賦予了與該TS包的相對的解碼供給開始時刻即ATS (到 達時刻戳Arrival Time Stamp)。將ATS賦予給各TS包是因為該TS流的系統速率不是固定速率，而是可變速率。一 般的，在將系統速率固定的情況下插入被稱為NULL包的假的TS包，但為了在有限的記錄容 量中以高畫質進行記錄，適用可變速率，在BD中記錄為附加了 ATS的TS流。圖24是表示TS包的結構的圖。如圖24所示，TS包由TS包頭、適用場、有效負載部構成。在TS包頭中存 放了 PID(包識別符PaCket Identifier)，由此識別TS包存放了什麼樣的信息。適用場中存放 了 PCR (程序時鐘參照=Program ClockReference)。PCR是將流解碼的設備的基準時鐘(系 統時間時鐘SystemTime Clock，被稱為STC)的參照值。設備典型地在PCR的定時上將系 統流解復用，並重新架構視頻流等各種流。有效負載中存放了 PES包。在PES包頭中，存放了 DTS (解碼時間戳Decoding Time Stamp)和PTS (呈現時間 戳Presentation Time Stamp)。DTS表示在該PES包中存放的圖片/音頻幀的解碼定時， PTS表示影像聲音輸出等的呈現定時。視頻數據及音頻數據這樣的基本數據在被稱為PES 包有效負載(PESPacket Payload)的包(PES Packet)的數據存放區域中從先頭依次存入。 在PES包頭中，還記錄了用於識別在有效負載中存放的數據是什麼流的ID(Streamjd)。關於TS流的詳情在IS0/IEC13818-1中進行了規定，在BD中特徵在於對每個TS 包賦予ATS。(V0B的交錯記錄)接著利用圖25及圖26說明VOB文件的交錯記錄。圖25上部分是上述播放器結構圖的一部分。如圖所示，BD盤上的數據通過光拾 取器，若是VOB即MPEG流則輸入至軌緩衝器，若是PNG即圖片數據則輸入至圖片存儲器。軌緩衝器是FIFO，輸入的VOB的數據按輸入的順序發送至解復用器。這時，按照上 述ATS，各個TS包被從軌緩衝器提取出來，並通過解復用器，數據被送達至視頻處理器或音 頻處理器。另一方面，在圖片數據的情況下，由呈現控制器指示要描繪哪個圖片。另外，在 描繪中使用的圖片數據是字幕用圖片數據的情況下，同時從圖片存儲器中刪除，而是菜單 用圖片數據的情況下，在該菜單描繪中原樣留在圖片存儲器內。這是因為菜單的描繪依賴 於用戶操作，有時追隨用戶的操作重新顯示菜單的一部分或替換為不同的圖片，此時使重 新顯示的部分的圖片數據容易解碼。圖25下部分是表示BD盤上的VOB文件及PNG文件的交錯記錄的圖。一般在ROM、 例如⑶-ROM或DVD-ROM的情況下，作為一系列的連續再現單位的AV數據被連續記錄。這 是因為只要連續記錄，那麼驅動器只要依次讀取數據，並送達至解碼器即可，但在連續數據 被切斷並在盤上離散配置的情況下，在各個連續再現區間之間加入尋找(seek)操作，其間 數據的讀取停止，存在數據的供給停止的可能性。在BD的情況下也相同，優選VOB文件能 夠在連續區域上記錄，但例如存在像字幕數據那樣與VOB上記錄的影像數據同步再現的數 據，需要與VOB文件同樣地將字幕數據也通過某種方法從BD盤中讀取。作為字幕數據的讀取方法的一個手段，有在VOB的再現開始前統一讀取字幕用的 圖片數據(PNG文件)的方法。但是，這時需要大量的存儲器，是不現實的。因此，使用將VOB文件分為幾個塊、並與圖形數據交錯記錄的方式。圖25下部分是說明該交錯記錄的圖。通過適當地交錯配置VOB文件和圖形數據，可以在沒有如上所述的大量的暫時記 錄存儲器的條件下，在需要的定時將圖形數據存放至圖形存儲器。但是在讀取圖形數據時， VOB數據的讀取當然要停止。圖26是說明使用了解決該問題的軌(track)緩衝器的VOB數據連續供給模式的 圖。正如已經說明的，VOB的數據暫時累積在軌緩衝器中。如果在向軌緩衝器的數據輸入速率(Va)和從軌緩衝器的數據輸出速率(Vb)之間設有差(Va > Vb)，則只要從BD盤 持續讀取數據，那麼軌緩衝器的數據累積量變不斷增加。如圖26的上部分所示，VOB的一個連續記錄區域從邏輯地址的「al」持續到「a2」。 在「 a2 」到「 a3 」之間，設為記錄了圖形數據、不進行VOB數據的讀取的區間。圖26的下部分是表示軌緩衝器的內部的圖。橫軸表示時間，縱軸表示在軌緩衝器 內部累積的數據量。時刻「tl」表示開始VOB的一個連續記錄區域的開始點即「al」的讀取 的時刻。該時刻以後，在軌緩衝器中以速率Va-Vb累積數據。該速率顯然是軌緩衝器的輸 入輸出速率之差。時刻「t2」是讀取一個連續記錄區域的結束點即「a2」的數據的時刻。即 時刻「tl」到「t2」之間，以速率Va-Vb，軌緩衝器內數據量不斷增加，在時刻「t2」的數據累 積量B(t2)可以通過下式求出。B(t2) = (Va-Vb) X (t2_tl) (式 1)此後，由於圖形數據持續到BD盤上的地址「a3」為止，所以向軌緩衝器的輸入為0， 輸出速率為「_Vb」，軌緩衝器內的數據量不斷減少。這到讀取位置「a3」為止，時刻上到「t3」 為止。在此重要的是如果在時刻「t3」之前軌緩衝器中累積的數據量變為0，則向解碼 器供給的VOB的數據消失，存在VOB的再現停止的可能性。但是，在時刻「t3」軌緩衝器中 有數據剩餘的情況下，意味著VOB的再現可以不停止地連續進行。該條件可以由下式表示。B(t2) ^ VbX (t3-t2)(式 2)BP,以滿足式⑵的方式決定圖形數據(非VOB數據)的配置即可。(導航數據結構)利用圖27至圖33，說明BD的導航數據(BD管理信息)結構。圖27是表示VOB管理信息文件(「YYY. VOBI 」)內部結構的圖。VOB管理信息具有該VOB的流屬性信息(Attribute)和時間映射。流屬性構成為 各自具有視頻屬性(Video)、音頻屬性(AudiO#0-AudiO#m)。特別是在音頻流的情況下，VOB 可以同時具有多個音頻流，所以通過音頻流數(Number)，表示有無數據區域(field)。下面是視頻屬性(Video)所具有的區域和各自可以具有的值。壓縮方式(Coding)MPEGlMPEG2MPEG3MPEG4
MPEG4-AVC (高級視頻編碼Advanced Video Coding)解析度(Resolution)1920X10801440X1080
1280X720720X480720X565高寬比(Aspect)4 316 9中貞率(Framerate)6059. 94(60/1. 001)503029. 97(30/1. 001)252423. 976(24/1. 001)下面是音頻屬性(Audio)所具有的區域和各自可以具有的值。壓縮方式(Coding)AC3MPEGlMPEG2LPCM通道數(Ch)1-8語言屬性(Language) 時間映射(TMAP)是具有每個VOBU的信息的表，包括該VOB所具有的VOBU數 (Number)和各VOBU信息(V0BU#l_V0BU#n)。各個VOBU信息由VOBU先頭TS包(I圖片開 始)的地址I_start、到該I圖片的結束地址為止的偏置地址(I_end)、以及該I圖片的再 現開始時刻(PTS)構成。另外，I_end的值也可以不具有偏置值、S卩I圖片的尺寸，而具有實際的I圖片的 結束地址。圖28是說明VOBU信息的詳情的圖。眾所周知，MPEG視頻流為了高畫質記錄而以可變比特率壓縮，其再現時間與數據 尺寸間不單純相關。反之，作為聲音的壓縮規格的AC3進行以固定比特率的壓縮，所以時間 與地址的關係可以通過1次式求出。但是，在MPEG視頻數據的情況下，各個幀具有固定的顯 示時間，例如在NTSC的情況下1幀具有1/29. 97秒的顯示時間，而各個幀的壓縮後的數據尺寸根據圖像的特性或在壓縮中使用的圖片類型、所謂的I/P/B圖片，數據尺寸變化很大。因此，在MPEG視頻的情況下，時間與地址的關係不可能通過一次式的形式來表現。當然，復用了 MPEG視頻數據的MPEG系統流、即VOB也不可能通過一次式的形式來 表現時間與數據尺寸。因此，對VOB內的時間與地址的關係進行聯繫的是時間映射(TMAP)。像這樣，在施加了某時刻信息的情況下，首先檢索(跟蹤每個VOBU的PTS)該時刻 屬於哪個V0BU，跳至TMAP中具有該時刻的緊前的PTS的VOBU (由I_start指定的地址)， 從VOBU先頭的I圖片開始解碼，並從該時刻的圖片開始顯示。接著利用圖29，說明播放列表信息(「XXX. PL」)的內部結構。播放列表信息由單元列表(CellList)和事件列表(EventList)構成。單元列表(CellList)是播放列表內的再現單元序列，按照本列表的記錄順 序再現單元。單元列表(CellList)的內容是單元的個數(Number)和各單元信息 (Cell#l-Cell#n)。單元信息(Cell#)具有VOB文件名(VOBName)、該VOB內的開始時刻(In)及結束 時刻(Out)、以及字幕表(SubtitleTable)。開始時刻(In)及結束時刻(Out)分別由該VOB 內的幀號碼來表現，通過使用上述時間映射可以得到再現所需的VOB數據的地址。字幕表(SubtitleTable)是具有與該VOB同步再現的字幕信息的表。字幕可以與 聲音同樣具有多種語言，字幕表(SubtitleTable)由作為最初的信息的語言數(Number)和 此後的各個語言的表(Language#l_Language#k)構成。各語言的表(LanguageiO由語言信息(Lang)、分別顯示的字幕的字幕信息 數(Number)、以及分別顯示的字幕的字幕信息(Speech#l-Speech#j)構成，字幕信息 (Speech#)由對應的圖片數據文件名(Name)、字幕顯示開始時刻(In)及字幕顯示結束時刻 (Out)、和字幕的顯示位置(Position)構成。事件列表(Eventlist)是定義了該播放列表內發生的事件的表。事件列表在事件 數(Number)之後由各個事件(Event#l_Event#m)構成，各個事件(Event#)由事件的種類 (Type)、事件的ID(ID)、事件發生時刻(Time)和有效期間(Duration)構成。圖30是具有各個播放列表的事件處理器(時間事件和菜單選擇用的用戶事件) 的事件處理器表(「XXX. PR0G」)。事件處理器表具有定義的事件處理器/程序數(Number)和各個事件處理器/程 序(Program#l-Program#n)。各事件處理器/程序(Program#)內的記錄具有事件處理器 開始的定義(〈eventjmndler〉標籤)和與上述事件的ID成對的事件處理器的ID(ID)， 其後該程序也記錄在Function之後的括號「 {」和「} 」之間。上述「XXX. PL」的事件列表 (EventList)中存放的事件(Event#l-Event#m)利用「XXX. PROG」的事件處理器的ID (ID) 來確定。下面利用圖31說明與BD盤整體相關的信息(「BD. INF0」)的內部結構。BD盤整體信息由標題列表(TitleList)和全局事件用的事件表(EventList)構 成。標題列表(TitleList)由盤內的標題數(Number)和此後的各標題信息 (Title#l-Title#n)構成。各個標題信息(Title#)包括標題內所包含的播放列表的表 (PLTable)和標題內的章節列表(ChapterList)。播放列表的表(PLTable)具有標題內的播放列表的個數(Number)、以及播放列表名(Name)即播放列表的文件名。章節列表(ChapterLi st)由該標題中包括的章節數(Number)和各個章節信 息(Chapter#l-Chapter#n)構成，各個章節信息(Chapter#)具有該章節所包括的單元 的表(CellTable)，單元的表(CellTable)由單元數(Number)和各個單元的項目信息 (Ce 1 lEntry#I-Ce 1 lEntry#k)構成。單元的項目信息(CellEntry#)通過包括該單元在內的 播放列表名、以及播放列表內的單元號碼來記錄。事件列表(EvertList)具有全局事件的個數(Number)和各個全局事件的信息。 在此應該注意的是，最初定義的全局事件被稱為第一事件(FirstEvent)，在BD盤被插入 播放器時，是最初被調出的事件。全局事件用事件信息僅具有事件類型(Type)和事件的 ID(ID)。圖32是全局事件處理器的程序的表(「BD. PR0G」)。本表與圖30中說明的事件處理器表內容相同。(事件發生的機制)利用圖33至圖35說明事件發生的機制。圖33是時間事件的例子。如上所述，時間事件由播放列表信息(「XXX.PL」)的事件列表(EventList)定義。 在被定義為時間事件的事件即事件類型(Type)為「TimeEvent」的情況下，在成為事件生成 時刻(「tl」)的時刻，具有ID 「Exl」的時間事件從腳本處理器對程序處理器發出。程序處 理器搜索具有事件ID 「Exl」的事件處理器，執行處理對象的事件處理器。例如，在本實施 例的情況下，可以執行描繪2個按鈕圖形等。圖34是進行菜單操作的用戶事件的例子。如上所述，進行菜單操作的用戶事件也由播放列表信息(「XXX. PL」)的事件列表 (EventList)定義。在被定義為用戶事件的事件即事件類型(Type)為「UserEvent」的情況 下，在成為事件生成時刻(「tl」)的時刻，該用戶事件就緒(ready)。此時，事件自身尚未 生成。該事件在由有效期間信息(Duration)記錄的期間處於就緒狀態。如圖34所示，用戶按下遙控器按鍵的「上」 「下」 「左」 「右」按鍵或「決定」按鍵的 情況下，首先UOP事件由UOP管理器生成，發送至程序處理器。程序處理器對腳本處理器轉 發UOP事件，腳本處理器在接受UOP事件的時刻檢索是否存在有效的用戶事件，存在作為對 象的用戶事件的情況下，生成用戶事件，並發送至程序處理器。在程序處理器中，檢索具有 事件ID 「Evl」的事件處理器，執行處理對象的事件處理器。例如，在本實施例的情況下，開 始播放列表#2的再現。在生成的用戶事件中，不包括由用戶按下了哪個遙控器按鍵的信息。選擇的遙控器按鍵的信息由UOP事件傳送至程序處理器，並記錄保持在具有虛擬播放器的寄存器 SPRM(S)中。事件處理器的程序可以調查該寄存器的值並執行分支處理。圖35是全局事件的例子。如上所述，全局事件由與BD盤整體相關的信息(「BD.INF0」)的事件列表 (EventList)定義。在被定義為全局事件的事件、即事件類型(Type)為「GlobalEvent」的 情況下，僅在存在用戶的遙控器按鍵操作的情況下生成事件。在用戶按下了 「菜單」的情況下，首先UOP事件由UOP管理器生成，發送至程序處理器。程序處理器對腳本處理器轉發UOP事件，腳本處理器生成該全局事件，並發送至程序處理器。在程序處理器中，檢索具有事件ID 「menu」的事件處理器，執行處理對象的事件處 理器。例如，在本實施例的情況下，開始播放列表#3的再現。在本實施例中，簡稱為「菜單」按鍵，但也可以像DVD那樣存在多個菜單按鍵。可以分別定義與各菜單按鍵對應的ID來進行對應。(虛擬播放機)利用圖36說明程序處理器的功能結構。程序處理器是在內部具有虛擬播放機的處理模塊。虛擬播放機是由BD定義的功 能模塊，不依賴於各BD播放器的安裝。即，在任何BD播放器中都保證能夠安裝同樣的功能。虛擬播放機總體具有2個功能。存在編程函數和播放變量(寄存器)。編程函數 以Java(註冊商標)腳本(script)為基礎，將以下所述的功能定義為BD固有函數。連接函數停止當前的再現，開始從指定的播放列表、單元、時刻的再現Link(PL#, Cell#, time)PL#:播放列表名Cell# 單元號碼time 單元內的再現開始時刻PNG描繪函數將指定PNG數據描繪在圖形平面上Draw (File, Χ, Y)File :PNG 文件名X :Χ坐標位置Y :Υ坐標位置圖形平面重置函數重置圖形平面的指定區域Clear (X, Y, W, H)X:X坐標位置Y :Υ坐標位置W:X方向寬度H:Y方向寬度播放器變量存在表示播放器的狀態的系統參數(SPRM)和可以用作一般用途的通 用參數(GPRM)。圖37是系統參數(SPRM)的一覽。SPRM(O)語言編碼SPRM(I)聲音流號碼SPRM (2)字母流號碼SPRM (3)角度號碼SPRM (4)標題號碼SPRM (5)章節號碼SPRM (6)程序號碼SPRM (7)單元號碼SPRM (8)選擇按鍵信息
SPRM (9)導航定時器SPRM(IO)再現時刻信息SPRM(Il)卡拉OK用混合模式
SPRM (12)家長用國信息SPRM (13)家長等級SPRM(H)播放器設定值(視頻)SPRM (15)播放器設定值(音頻)SPRM(16)聲音流用語言編碼SPRM(17)聲音流用語言編碼(擴展)SPRM(18)字幕流用語言編碼SPRM(19)字幕流用語言編碼(擴展)SPRM (20)播放器地域編碼SPRM(21)預留SPRM(22)預留SPRM (23)再現狀態SPRM(24)預留SPRM(25)預留SPRM(26)預留SPRM(27)預留SPRM(28)預留SPRM(29)預留SPRM(30)預留SPRM(31)預留另外，在本實施例中，設虛擬播放器的編程函數以Java(註冊商標)腳本為基礎， 但也可以不是Java(註冊商標)腳本，而是UNIX(註冊商標)OS等所使用的B_Shell、或 Perl腳本(Script)等其他編程函數，也就是說，本發明不限定於Java(註冊商標)腳本。(程序的例子)圖38及圖39是事件處理器中的程序的例子。圖38是具有2個選擇按鈕的菜單的例子。在單元(PlayList#l. Cell#l)先頭利用時間事件執行圖38左側的程序。在此，最 初在通用參數之一 GPRM(O)中設置「1」。GPRM(O)用於在該程序之中識別被選擇的按鈕。在 最初的狀態下，左側配置的按鈕1被選擇的情況被設置為初始值。接著，利用描繪函數即Draw分別對按鈕1、按鈕2進行PNG的描繪。按鈕1以坐標 (10，200)為起點(左端)描繪了 PNG圖形「lblack.png」。按鈕2以坐標(330,220)為起 點(左端)描繪了 PNG圖形「2white. png，，。另外，在本單元中最後利用時間事件執行圖38右側的程序。在此，利用Link函數 指定從該單元的先頭再次再現。圖39是菜單選擇的用戶事件的事件處理器的例子。分別對應於按下了「左」按鍵、「右」按鍵、「決定」按鍵中某一個遙控器按鍵的情況的程序記錄在事件處理器中。用戶按下了遙控器按鍵的情況下，如圖34所說明的，生成用戶事件，啟動圖39的事件處理器。在本事件處理器中，利用識別選擇按鈕的GPRM(O)的值、 以及識別被選擇的遙控器按鍵的SPRM(S)來進行分支處理。條件1)選擇了按鈕1，而且，選擇按鍵是「右」按鍵的情況將GPRM(O)重新設定為2，將處於選擇狀態的按鈕變更為右按鈕2。分別改寫按鈕1、按鈕2的圖形。條件2)選擇按鍵是「決定(OK)，，的情況下，選擇了按鈕1的情況開始播放列表#2的再現條件3)選擇按鍵是「決定(OK)，，的情況下，選擇了按鈕2的情況開始播放列表#3的再現如上所述進行執行處理。(播放器處理流程)接著利用圖40至圖43說明播放器中的處理流程。圖40是到AV再現為止的基本處理流程。如圖40 (a)所示，如果插入BD盤(SlOl)，則BD播放器執行BD. INFO文件的讀取和 解析(S102)，並執行BD. PROG的讀取(S103)。BD. INFO和BD. PROG 一起被暫時存放在管理 信息記錄存儲器中，通過腳本處理器進行解析。接著，腳本處理器根據BD. INFO文件內的第一事件(FirstEvent)信息，生成最初 的事件(S104)。生成的第一事件由程序處理器接受，並執行處理與該事件對應的事件處理 器(S105)。在與第一事件對應的事件處理器中，期待記錄著最初應該再現的播放列表信息。 假如，在沒有指示播放列表再現的情況下，如圖40(b)所示，播放器什麼也不再現，而僅是 繼續等待接受用戶事件(S201)。BD播放器如果接受到來自用戶的遙控器操作，則UOP管理 器對程序處理器建立UOP事件(S202)。程序處理器判斷UOP事件是否為菜單按鍵(S203)，是菜單按鍵的情況下，向腳本 處理器轉發UOP事件，腳本處理器生成用戶事件(S204)。程序處理器執行處理與生成的用 戶事件對應的事件處理器(S205)。圖41是從PL再現開始到VOB再現開始的處理流程。如上所述，通過第一事件處理器或全局時間處理器開始播放列表再現(S301)。腳 本處理器進行播放列表信息「XXX. PL」的讀取和解析(S302)、並進行與播放列表對應的程 序信息「XXX. PR0G」的讀取(S303)，來作為再現對象的播放列表再現所需的信息。接著，腳 本處理器根據播放列表中登錄的單元信息指示單元的再現(S304)。單元再現意味著從腳本 處理器對呈現控制器發出請求，呈現控制器開始AV再現(S305)。如果開始AV再現的開始(S401)，呈現控制器進行與再現的單元對應的VOB的信 息文件(YYY.V0BI)的讀取及解析(S402)。呈現控制器利用時間映射確定再現開始的VOBU 及其地址，向驅動器控制器指示讀取地址，驅動器控制器讀取作為對象的VOB數據(S403)， VOB數據被發送至解碼器並開始再現(S404)。VOB再現持續到該VOB的再現區間結束為止(S405)，如果結束，則轉移到下一個單 元再現開始步驟S304。接著在沒有單元的情況下，停止再現(S406)。
圖42是從AV再現開始後的事件處理流程。BD播放器是事件驅動型的播放器模式。如果開始播放列表的再現，則分別啟動時 間事件類、用戶事件類、字幕顯示類的事件處理過程，並行地執行事件處理。
S500類的處理(圖42(a))是時間事件類的處理流程。播放列表再現開始後(S501)，經過確定播放列表再現是否結束的步驟(S502)，腳 本處理器確認是否到了時間事件發生時刻(S503)。在到了時間事件發生時刻的情況下，腳 本處理器生成時間事件(S504)，程序處理器接受時間事件並執行處理事件處理器(S505)。在步驟S503中未到時間事件發生時刻的情況下，或者，在步驟S505中執行處理事 件處理器之後，再次返回步驟S502，重複上述處理。另外，在步驟S502中如果確認了播放列 表再現結束，那麼強制結束時間事件類的處理。S600類的處理(圖42(b))是用戶事件類的處理流程。播放列表再現開始後(S601)，經過播放列表再現結束確認步驟(S602)，轉移至 UOP接受確認步驟(S603)。存在UOP的接受的情況下，UOP管理器生成UOP事件(S604)，接 受了 UOP事件的程序處理器確認UOP事件是否為菜單呼叫(S605)，是菜單呼叫的情況下，程 序處理器使腳本處理器生成事件(S607)，程序處理器執行處理事件處理器(S608)。在步驟S605中判斷為UOP事件不是菜單呼叫的情況下，表示出UOP事件是由方向 按鍵或「決定」按鍵引起的事件。這種情況下，腳本處理器判斷當前時刻是否在用戶事件有 效期間內(S606)，在有效期間內的情況下，腳本處理器生成用戶事件(S607)，程序處理器 執行處理對象的事件處理器(S608)。在步驟S603中沒有UOP接受的情況、步驟S606中當前時刻不在用戶事件有效期 間內的情況、或者步驟S608中事件處理器執行處理之後，再次返回步驟S602，重複上述處 理。另外，在步驟S602中如果確認了播放列表再現結束，那麼強制結束用戶事件類的處理。圖43是字幕處理的流程。播放列表再現開始後(S701)，經過播放列表再現結束確認步驟(S702)，轉移至字 幕描繪開始時刻確認步驟(S703)。是字幕描繪開始時刻的情況下，腳本處理器向呈現控制 器指示字幕描繪，呈現控制器向圖形處理器指示字幕描繪(S704)。在步驟S703中判斷為不 是字幕描繪開始時刻的情況下，確認是否是字幕顯示結束時刻(S705)。在判斷為是字幕顯 示結束時刻的情況下，呈現控制器對圖形處理器進行字幕消除指示，將描繪的字幕從圖形 平面消除(S706)。在字幕描繪步驟S704結束之後、字幕消除步驟S706結束之後、或在字幕顯示結束 時刻確認步驟S705中判斷為不是該時刻的情況下，返回步驟S702，重複上述處理。另外，在 步驟S702中如果確認了播放列表再現結束，那麼強制結束字幕顯示類的處理。(實施方式2)接著，對於不同的編碼方式(或不同屬性的動態圖像)混雜存在的流的第二例、即 圖片內圖片中通過亮度按鍵進行透過處理時所用的亮度的閾值(動態圖像的屬性)混雜存 在的例子，作為本發明的第二實施方式來進行說明。在本實施方式中，說明在BD-ROM等的包介質等中，在基於圖片內圖片的再現時， 能夠通過切換表示是否進行透過處理的亮度值的閾值來消除再現動作的延遲的記錄介質、 復用方法、復用裝置及其再現裝置。
在本實施方式的記錄介質上，在通過亮度按鍵實施透過處理的流中，在連續再現的單位中，在管理信息中存放了 判定是否在圖像顯示時進行透過處理的亮度值的閾值被 限制的情況、或表示被限制的情況的信息。本實施方式的記錄介質、復用方法、復用裝置及其再現裝置與實施方式1中的記 錄介質的數據結構、以及復用方法或再現裝置中的動作和結構要素的基本部分相同，所以 以下僅對本實施方式中特徵部分進行說明。圖44表示本實施方式的記錄介質上存放的流中的亮度按鍵的閾值的例子。在圖 44的例子中，無縫連接的各區間中的亮度按鍵的閾值全部固定為20，所以能夠不發生與亮 度按鍵的閾值的切換相伴的延遲而實現無縫連接。另外，在本實施方式的記錄介質中，無縫連接的再現區間中的與亮度按鍵相關的 信息被存放在管理信息中。圖45表示將與亮度按鍵有關的信息存放為圖片內圖片的元信 息的一部分的例子。圖45 (a)示出表示亮度按鍵是否有效的標記信息luma_key_valid。如 果亮度按鍵有效(luma_key_Valid為1)，則根據亮度按鍵的閾值對圖像進行透過處理並顯 示，如果亮度按鍵不是有效的(luma_key_Valid為0)，則不進行透過處理地顯示。如圖所 示，在無縫連接的各再現區間中，luma_key_valid的值是固定的。即，在無縫連接的各再現 區間中，固定為亮度按鍵有效或非有效中的一方。圖45(b)示出在使用亮度按鍵時、決定 為透過並顯示的亮度值的閾值luma_key_upper_limit0例如，如果luma_key_upper_limit 為20，那麼亮度值為20以下的像素進行透過顯示，對於亮度值超過的20像素不進行透過地 顯示。如圖中所示，在無縫連接的各再現區間中，luma_key_upper_limit的值相同。在此， luma_key_upper_limit的信息在亮度按鍵有效的情況下被參照，所以也可以僅在亮度按鍵 有效的情況下設定表示亮度按鍵的閾值的信息。在通過亮度按鍵實施透過處理的播放器中，如果保證了亮度按鍵的閾值是固定 的，那麼不需要亮度按鍵的閾值處理中的閾值的變更，所以優選能夠預先判定為亮度按鍵 的閾值是固定的。圖46是說明保證亮度按鍵的閾值固定的標記的圖。在圖46的例子中，表 示亮度按鍵的閾值固定的標記信息luma_key_fixed_flag被存放為各再現區間的屬性信 息的一部分。luma_key_fixed_flag表示該再現區間中的亮度按鍵的閾值與緊前的再現區 間中的亮度按鍵的閾值是否相同。圖46(a)是表示亮度按鍵的閾值固定(luma_key_fiXed_ flag為1)的例子。在本例中，各再現區間無縫連接，在這些再現區間中保證亮度按鍵的閾 值是固定的。圖46(b)是不保證亮度按鍵的閾值固定(luma_key_f ixed_f lag為0)的例子。 各再現區間不是無縫連接的對象，在各再現區間中亮度按鍵的閾值是可變的。另外，luma_ key_fiXed_flag可以對連續再現的區間整體進行設定，也可以對構成連續再現區間的各再 現區間進行設定。進而，在對各再現區間進行設定時，由於各再現區間表示由播放項目指定 的再現區間，也可以將再現區間內亮度按鍵的閾值是否固定包含在播放項目單位中設定的 再現信息中。在此，亮度按鍵的閾值是否固定，也可以與表示由當前播放項目和緊前的播放 項目指定的再現區間能否無縫連接的信息等兼用並匯總為一個標記。另外，對於表示是否 使用亮度按鍵的信息也可以同樣地存放。在此，對於無縫連接，存在與實施方式1相同的種類，也包括能夠在不同角度的流 中無縫連接的無縫多角度等。在無縫多角度中，在各角度上，亮度按鍵是否有效、或亮度按 鍵的閾值是相同的。另外，作為無縫連接的種類，存在(1)在連接的前後MPEG-2系統規格中的STC(系統時間時鐘=System Time Clock)等基準時鐘的值不連續的情況(類型1的無 縫連接)；(2)在連接的前後MPEG-2系統規格中的STC (系統時間時鐘=SystemTime Clock) 等基準時鐘的值連續的情況(類型2的無縫連接)等多種。因此，如果通過表示是否為類 型1的無縫連接、或是否為類型2的無縫連接的信息來示出無縫連接，那麼通過這些信息， 可以表示在連續的2個再現區間中亮度按鍵的閾值是固定的。圖47說明圖片內圖片中使用亮度按鍵的例子。在圖片內圖片中，在被稱為主視頻 的主影像上覆蓋被稱為次視頻的副影像進行顯示。這時，如果對於次視頻基於亮度按鍵的 透過處理是有效的，那麼實施透過處理，如果不是有效的，則不實施。圖47 (a)表示視頻的 顯示平面，如圖47(b)和圖47(c)所示，平面1用於主視頻的顯示，平面2用於次視頻的顯 示。如圖47 (d)所示，將次視頻覆蓋在主視頻上顯示。在本例中，圖47 (c)所示的塗黑的部分 通過基於亮度按鍵的透過處理進行透過顯示。作為次視頻可以切換多個流，但在圖47(e)、 圖47(f)、圖47(g)中，表示存在2個次視頻的例子，圖47(e)表示主視頻中的各再現區間的 顯示的時間線，圖47(f)表示第一次視頻中的各再現區間的顯示的時間線，圖47(g)表示第 二次視頻中的各再現區間的顯示的時間線。例如，如果在圖47(f)中區間1-1與區間1-2 無縫連接(圖中(1))，則在區間1-1和區間1-2中，基於亮度按鍵的透過處理是否有效、以 及在有效的情況下亮度按鍵的閾值分別相同。另外，如果設從第一次視頻中的區間1-2向 第二次流中的區間2-3的連接是無縫連接(圖中(2))，則區間1-2和區間2-3中與亮度按 鍵相關聯的信息也相同。進而，為了確保各再現區間的連接部分以外的連接(圖中(3))的 連續性，也可以使區間1-3與區間2-3之間與亮度按鍵相關聯的信息也相同。
接著，主視頻和次視頻在傳輸流等中復用記錄，而圖48表示復用的方法。圖48 (a) 是將主視頻和次視頻在相同的傳輸流中復用的例子，圖48(b)是將主視頻和次視頻在不同 的傳輸流中復用的例子。像這樣，主視頻和次視頻可以在相同的傳輸流中復用，也可以在不 同的傳輸流中復用。圖49是表示用於製作本實施方式的記錄介質中存放的復用數據的復用方法的動 作的流程圖。本實施方式的復用方法在具備以下步驟上與現有的復用方法不同，這些步驟 為決定能夠對是否使亮度按鍵有效進行切換的單位的步驟(步驟S5301)，根據決定的單 位將片斷的動態圖像編碼的步驟(步驟S5302)，對規定的每個再現區間生成與亮度按鍵有 關的標記信息的步驟(步驟S5304)，以及生成包括步驟S5304所生成的與亮度按鍵有關的 標記信息在內的管理信息的步驟(步驟S5305)。S卩，本實施方式中的復用方法是對包括第一動態圖像和用於覆蓋至第一動態圖像 的第二動態圖像在內的影像流進行編碼的動態圖像編碼方法，包括步驟(S5301-S5303)， 在影像流之中，決定連續再現區間，該連續再現區間是部分區間的集合，而且是成為連續再 現的對象的區間，對各再現區間的影像流進行編碼，以使在該連續再現區間中，通過亮度按 鍵是否有效、或在基於亮度按鍵的透過處理中使用的閾值中的某一個或兩者來定義的亮度 按鍵屬性固定；步驟(S5304)，對1個或多個再現區間中的每個生成上述亮度按鍵屬性；以 及步驟(S5305)，製作包括標記信息的管理信息，該標記信息表示在連續再現區間內上述亮 度按鍵屬性是固定的。以下，詳細說明這些步驟。首先，在步驟S5301中，決定能夠對是否使亮度按鍵有效進行切換的單位。即，決 定是否能夠以連續再現單位、片斷、或隨機訪問單位中的哪個單位來進行切換。接著，在步驟S5302中，根據步驟S5301中決定的切換單位，將片斷的數據編碼。其中，也可以在步驟 S5301中對於能否切換亮度按鍵的閾值也進行判定，根據判定結果，在步驟S5302中將片斷 的數據編碼。在步驟S5303中，判定最終片斷的編碼是否結束，在判定為結束時前進至步驟 S5304，判定為沒有結束時返回步驟S5302並重複片斷的編碼。在步驟S5304中，對每個規 定的再現區間製作與亮度按鍵有關的屬性信息，並前進至步驟S5305。所謂規定的再現區 間，設為由播放列表指定的再現區間，但也可以是片斷或隨機訪問單位。在步驟S5305中， 製作包括步驟S5304中生成的屬性信息的管理信息，並對管理信息和片斷的數據進行復用 並輸出。在此，也可以在管理信息中包括表示連續2個再現區間能否無縫連接的信息。在 無縫連接的各再現區間中，將能否使亮度按鍵有效設為固定，所以在步驟S5301中，決定為 無縫連接的各再現區間中是否使亮度按鍵有效不可切換。進而，在步驟S5302中進行編碼， 以使在無縫連接的各再現區間中，在使亮度按鍵有效的情況下，進行亮度按鍵的透過處理 時的閾值相同。另外，對於 步驟S5301中決定能夠對是否使亮度按鍵有效進行切換的單位 時的詳細動作，可以使用與圖14所示的本實施方式1的復用方法相同的動作。圖50是表示圖49中的標記信息生成步驟(S5304)及管理信息生成步驟(S5305) 的具體例的流程圖。在步驟S5304a中，判定進行了編碼的片斷是否是被判定為能夠切換 亮度按鍵的有效和無效的片斷，在是被判定為能夠切換的片斷的情況下，生成表示亮度按 鍵是否有效不固定的標記信息，並與該片斷相對應地將標記信息積蓄在存儲器的工作區域 中(S5304b)，在不是被判定為能夠切換的片斷的情況下，生成表示亮度按鍵是否有效是固 定的標記信息，並與該片斷相對應地將標記信息蓄積在存儲器的工作區域中(S5304c)。在 此，標記信息對於每個由播放項目指定的再現區間等規定的再現區間，包括表示亮度按鍵 是否有效的信息，以及在亮度信息有效的情況下，包括亮度按鍵的閾值。在步驟S5304d中， 判定該片斷是否是進行了編碼的最後的片斷，如果不是最後的片斷，則重複上述S5304a至 S5304c,如果是最後的片斷，則前進至步驟S5304e。在步驟S5304e中，生成包括與每個播放 項目的亮度按鍵有關的信息在內的圖片內圖片用的元信息，在步驟S5305f中，生成包括圖 片內圖片用的元信息和播放列表、以及隨機訪問所需的信息等在內的管理信息。在播放列 表中，包括表示連續2個再現區間能否無縫連接、以及無縫連接的類型的信息。另外，在管理信息內，包括了對次視頻的傳輸流或編碼流進行識別的索引信息，所 以也可以僅對於由索引號碼示出是次視頻的傳輸流或編碼流，在管理信息內包括與亮度按 鍵有關的信息。另外，以上說明了圖片內圖片動作的次視頻中的、基於亮度按鍵的透過處理，但本 發明不限定於此，在存在多個顯示平面的情況下，可以適用於比規定的平面靠前顯示的平 面上的圖像的全部顯示。例如，在靜止圖像或計算機圖形等上，可以覆蓋靜止圖像或動畫來 進行顯示。進而，對於在不同的顯示平面上顯示的多個圖像，也可以實施基於亮度按鍵的透 過處理。另外，也可以根據亮度按鍵的閾值等，以半透過等0和1以外的透過率進行顯示。在圖片內圖片上，也可以對於與基於亮度按鍵的透過處理不同的再現動作進行限 制。例如，在跨無縫連接的再現區間進行高速再現或逆再現等特殊再現時，也可以使是否顯 示次視頻固定。即，在特殊再現時，固定為總是顯示或不顯示次視頻中的某一方。另外，在 特殊再現時顯示次視頻時，也可以固定亮度按鍵的閾值等、對基於亮度按鍵的透過處理與特殊再現進行關聯。此時，也可以使表示特殊再現時有無次視頻的顯示的標記信息的值固定，或者，通過表示該標記值固定的標記信息，來保證圖片內圖片的特殊再現時的限制。另外，主視頻和次視頻的編碼方式例如可以是MPEG-4AVC、MPEG-2視頻、VC-I等。 在此，如果主視頻是MPEG-4AVC，可以使次視頻也是MPEG-4AVC等，為了減少播放器中對應 的組合而限制主視頻與次視頻的編碼方式的組合。圖51是表示實施本實施方式的復用方法的復用裝置5200的結構的框圖。復用裝 置5200是對包括第一動態圖像和用於覆蓋至第一動態圖像的第二動態圖像在內的影像流 進行編碼的動態圖像編碼裝置的一例，具備切換單位決定部5201、切換信息生成部5202、 編碼部5203、系統復用部5204、管理信息製作部5205、結合部5206。在此，在覆蓋中，僅將 第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋至第一動態圖像。以下說明各 部的動作。切換單位決定部5201是以下這樣的處理部，即在影像流之中，決定連續再現區 間，該連續再現區間是部分區間的集合，而且是成為連續再現的對象的區間；在此，決定能 夠對亮度按鍵進行切換的單位，並將決定的切換單位Unit2輸入至切換信息生成部5202及 編碼部5203。切換單位設為預先設定，但也可以設為能夠從外部進行設定。切換信息生成部5202根據切換單位Unit2，生成表示由播放列表指定的每個再現 單位的亮度按鍵的屬性信息的亮度按鍵信息Lumalnf2，並輸入至管理信息製作部5205。例 如，生成表示在連續再現區間中上述閾值固定的標記信息。另外，切換信息生成部5202生成對覆蓋中的各種顯示處理進行指定的多個顯示 屬性信息，而在該多個顯示屬性信息的生成中，生成顯示屬性信息，以使多個顯示屬性信息 之中，在構成連續再現區間的多個部分區間中內容切換的顯示屬性信息的個數為預定的固 定值以下。具體的，如圖52所示，切換信息生成部5202生成(i)上述閾值，即表示使用亮 度按鍵時透過率看作1的亮度值的閾值在緊前的再現區間與當前的再現區間上相同(1)還 是不同(0)的標記、或亮度按鍵的閾值，(ii)表示在主視頻圖像上覆蓋的次視頻圖像的顯 示位置在緊前的再現區間與當前的再現區間上相同(1)還是不同(0)的標記，或顯示位置 的坐標信息，以及(iii)表示在主視頻圖像上覆蓋的次視頻圖像的縮放(擴大率)在緊前 的再現區間與當前的再現區間上相同(1)還是不同(0)的標記，或指定縮放方法的信息等 的顯示屬性信息，來作為圖片內圖片的元信息，而在該多個顯示屬性信息的生成中，生成顯 示屬性信息，以使多個顯示屬性信息之中，可切換的顯示屬性信息的個數為預定的固定值 (例如，2個)以下。通過該限制，保證連續再現區間中值切換的顯示屬性信息的個數被抑 制為一定數量以下，減輕了再現裝置中與切換處理相伴的處理負擔。編碼部5203是以在切換單位決定部5201決定的連續再現區間中滿足不變更上述 閾值的限制的方式，將構成連續再現區間的多個部分區間中的第一及第二動態圖像編碼的 處理部。在此，以滿足切換單位Unit2的限制的方式將各片斷的數據編碼，並將編碼數據 Cdata2輸入至系統復用部5204。具體的，編碼部5203對構成第二動態圖像的像素的亮度 值進行校正(乘以係數、或加上偏置值等)，以使連續再現區間中，第二動態圖像之中進行 覆蓋的圖像區域的亮度超過上述閾值，而且，不進行覆蓋(實施透過處理)的圖像區域的亮 度為上述閾值以下。另外，編碼部5203也可以不僅在由切換單位決定部5201決定的連續再現區間中，而且在按照解碼模式無縫連接的多個部分區間中，也以滿足不變更上述閾值的限制的方 式，將多個部分區間中的第一及第二動態圖像編碼。即，在上述解碼模式中，存在2個部分 區間必須無縫連接的情況，所以在這樣的2個部分區間中，優選預先以滿足不變更上述閾 值的限制的方式，將第一及第二動態圖像編碼。系統復用部5204對編碼數據Cdata2進行系統復用，並將流信息StrInf2輸入至 管理信息製作部5205，將復用數據Mdata2輸入至結合部5206。在BD-ROM中，使用被稱為 源包的、在MPEG-2的傳輸流中附加了 4位元組的頭的方式，來作為系統復用的方式。另外，流 信息Strlnf2包括用於生成時間映射等、關於復用數據Mdata2的管理信息的信息。另外， 系統復用部5204也可以以通過傳輸流的包識別符來確定構成連續再現區間的多個部分區 間的方式進行復用。由此，上述閾值被固定的片段可以通過包識別符確定。管理信息製作部5205是根據來自切換信息生成部5202的指示製作管理信息的處 理部的一例，上述管理信息包括表示連續再現區間中上述閾值固定的標記信息或上述顯示 屬性信息；在此，生成管理信息Ctrllnf2，該管理信息Ctrllnf2包括根據流信息Strlnf2 生成的時間映射、以及亮度按鍵信息Lumalnf2等，並輸入至結合部5206。結合部5206是將由編碼部5203進行了編碼的第一及第二動態圖像與由管理信息 製作部5205製作的管理信息結合輸出的處理部，在此，對管理信息Ctrllnf2和復用數據 Mdata2進行結合併作為記錄數據Dout2輸出。如上構成的復用裝置5200根據圖49、圖50所示的流程圖進行復用動作，結果，生 成圖44-圖48所示的管理信息和編碼流。圖53是表示由該復用裝置5200生成的管理信息的數據結構的圖。圖53(a)表 示作為管理信息之一的播放列表的數據要素，圖53(b)表示對無縫連接的(Connection condition = 5的)再現區間進行表示的播放列表的例子。復用裝置5200如圖53(a)所 示，製作「播放項目」、「副播放項目」及「圖片內圖片的元信息」作為播放列表。在此，「播放 項目」如圖53(b)所示，表示主視頻中的各再現區間的信息(片斷的再現開始時刻和再現結 束時刻等)或再現區間之間的連接條件等，「副播放項目」表示次視頻中的各再現區間的信 息(片斷的再現開始時刻和再現結束時刻等)或再現區間之間的連接條件等，「圖片內圖片 的元信息」表示再現圖片內圖片時的、次視頻的顯示屬性信息(亮度按鍵、顯示位置、縮放 等)。另外，與播放項目及副播放項目對應的主視頻的片斷通過播放項目的索引號碼進行關 聯。像這樣，復用裝置5200生成表示上述閾值固定的標記信息，作為與構成連續再現 區間的多個部分區間(圖中的「再現區間」)分別對應的再現信息(圖中的「元」信息)。具 體的，生成該標記信息作為與播放列表中包括的播放項目對應的再現信息(圖中的「元」信 息)ο另外，在由著作工具等製作數據時，在不同的裝置進行編碼數據的生成、和系統復 用或管理信息的製作，但在這種情況下，也可以使各裝置的動作與復用裝置5200中的各部 相同。另外，該復用裝置5200不僅用作生成編碼流的動態圖像編碼裝置，而且可以用作在BD等光碟、SD (安全數據Secure Digital)卡等快閃記憶體、或硬碟等記錄介質中記錄編碼流 的動態圖像記錄裝置。為此，復用裝置5200所具備的輸出段即結合部5206具備將由編碼部5203進行了編碼的第一及第二動態圖像與由管理信息製作部5205製作的管理信息結合 並記錄至記錄介質的記錄功能即可。通過這樣的動態圖像記錄裝置(或，動態圖像記錄方 法)，製作本說明中公開的記錄介質。圖54是表示再現本實施方式中的記錄介質中存放的復用數據的播放器(動態圖 像再現裝置)中、切換再現區間時實施基於亮度按鍵的透過處理的動作的流程圖。首先，在步驟S5401中，播放器判定由播放列表指定的當前的再現區間與下一再 現區間是否無縫連接，如果判定為無縫連接，則前進至步驟S5405，如果判定為沒有無縫連 接，則前進至步驟S5402。作為具體的判斷例，播放器獲取與影像流對應的管理信息，判斷在 取得的管理信息中是否包括表示上述閾值固定的標記信息(S5401)。在管理信息中包括標 記信息的情況下，判斷為當前再現區間與下一再現區間無縫連接(S5401中為是)，另一方 面，在管理信息中不包括標記信息的情況下，判斷為當前再現區間與下一再現區間沒有無 縫連接(S5401中為否)。在步驟S5402中，播放器判定下一再現區間中亮度按鍵是否有效，如果判定為亮 度按鍵有效，則前進至步驟S5403，如果判定為亮度按鍵不是有效的，則前進至步驟S5406。 在步驟S5403中，獲取亮度按鍵的閾值，在步驟S5404中，根據步驟S5403中獲取的閾值，對 次視頻實施透過處理。在步驟S5405中，播放器根據與當前的再現區間相同的條件(上述閾值相同)，對 次視頻實施透過處理。具體的，對於次視頻之中亮度為上述閾值以下的像素實施完全透過 的處理。此時，如果當前的再現區間中亮度按鍵不是有效的，那麼不進行對次視頻的透過處理。在步驟S5406中，播放器在步驟S5404或步驟S5405的輸出結果、或步驟S5402中 判定為亮度按鍵不是有效的情況下，將不實施透過處理的次視頻的解碼結果覆蓋至主視頻 進行顯示。另外，在圖54中說明的動作可以在本實施方式1的圖20及圖21中說明的再現BD 盤的播放器中實現。例如，在圖20的呈現處理部208中進行亮度按鍵的透過處理。另外，播放器也可以按照規定的再現順序，決定再現的播放項目的順序。例如，在 多個播放項目的連續再現時，優先選擇亮度按鍵的閾值固定的播放項目。此時，存在通過遙 控器動作等來自用戶的特定播放項目的再現請求時，也可以連續再現亮度按鍵的閾值不同 的播放項目。進而，本實施方式2的復用方法及復用裝置也可以設為按規定的再現順序連 續再現的播放項目間亮度按鍵的閾值固定。在此，一個播放項目對應於1個再現單位。(實施方式3)進而，通過將用於實現上述各實施方式所示的記錄介質、其再現方法及記錄方法 的程序記錄至軟盤等記錄介質，從而可以在獨立的計算機系統中簡單地實施上述各實施方 式所示的處理。圖55A-圖55C是利用軟盤等記錄介質上記錄的程序、通過計算機系統實施上述各 實施方式的再現方法及記錄方法的情況的說明圖。圖55B表示從軟盤的正面觀察的外觀、剖面構造及軟盤，圖55A表示記錄介質主體 即軟盤的物理格式的例子。軟盤FD內置在殼體F內，在該盤的表面，以同心圓狀從外周向 內周形成有多個軌Tr，各軌在角度方向上分割為16個扇區Se。因此，在存放了上述程序的軟盤中，在上述軟盤FD上分割的區域中，記錄有上述程序。另外，圖55C表示用於在軟盤FD上進行上述程序的記錄再現的結構。將實現再現方法及記錄方法的上述程序記錄在軟盤FD的情況下，由計算機系統Cs通過軟盤驅動器FDD 讀取上述程序。另外，在將通過軟盤內的程序實現再現方法及記錄方法的再現方法及記錄 方法架構在計算機系統中地情況下，通過軟盤驅動器從軟盤上讀取程序，並轉發至計算機 系統。另外，在上述說明中，利用軟盤作為記錄介質進行了說明，但利用光碟也可以同樣 地進行。另外，記錄介質不限於此，如果是IC卡、ROM盒等，能夠記錄程序的記錄介質，則可 以同樣地實施。另外，圖12、圖20、圖21、圖25、圖51等所示的框圖的各功能模塊典型地作為集成 電路裝置即LSI實現。該LSI可以單片化，也可以多片化(例如也可以將存儲器以外的功 能模塊單片化)。在此，設為LSI，但根據集成度的不同，也有時稱為IC、系統LSI、超大規模 LSI、特大規模LSI。集成電路化的方法不限於LSI，也可以通過專用電路或通用處理器實現。在製造 LSI後，也可以利用可編程的FPGA(現場可編程門陣列FieldProgrammable Gate Array)、 或可重構LSI內部的電路單元的連接和設定的可重定義處理器。進而，如果隨著半導體技術的進步或衍生的其他技術而出現了替換LSI的集成電 路化的技術，當然也可以利用該技術進行功能模塊的集成化。生物技術的應用是有可能的。另外，也可以在各功能模塊之中，不是僅將存放數據的單元單片化，而是像本實施 方式的記錄介質那樣作為不同的結構。以上根據實施方式1及2說明了本發明所涉及的動態圖像編碼方法等，但本發明 不限定於這些實施方式。對於這些實施方式加以本領域技術人員想到的變更來實現的其他 方式、或對實施方式中的各結構要素進行任意組合來實現的其他方法等也屬於本發明。另外，圖12、圖20、圖21、圖25、圖51等所示的框圖的各功能模塊及圖11、圖13-圖 17、圖40-圖43、圖49、圖50、圖54等所示的流程圖中，中心部分也可以通過處理器及程序 來實現。像這樣，可以將上述實施方式所示的動態圖像編碼方法或動態圖像解碼方法用於 上述任何的設備、系統中，由此，可以得到上述實施方式說明的效果。工業可利用性本發明涉及的動態圖像編碼方法在構成由管理信息所示的連續再現單位的動態 圖像的編碼數據中，通過將在由亮度值判定是否透過像素進行顯示時的閾值固定，從而可 以消除由閾值的切換引起的解碼時的延遲並實現無縫再現，所以適用於在動態圖像、圖形、 或靜止圖像等上覆蓋動態圖像來進行顯示的包介質或分發應用等，例如，可以用作動態圖 像編碼用LSI、攝影機、動態圖像記錄器、帶動態圖像記錄功能的電視機、電腦程式等。
權利要求
一種動態圖像編碼方法，對包括第一動態圖像和用於覆蓋至上述第一動態圖像的第二動態圖像在內的影像流進行編碼，其特徵在於，在上述覆蓋中，僅將上述第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋至上述第一動態圖像；上述動態圖像編碼方法包括連續再現區間決定步驟，在上述影像流之中，決定連續再現區間，該連續再現區間是部分區間的集合，而且是成為連續再現的對象的區間；編碼步驟，對構成上述連續再現區間的多個部分區間內的上述第一及第二動態圖像進行編碼，以在上述連續再現區間決定步驟中決定的連續再現區間內滿足不變更上述閾值的限制；管理信息製作步驟，製作包括標記信息的管理信息，該標記信息表示在上述連續再現區間內上述閾值是固定的；以及結合步驟，將在上述編碼步驟中被編碼的上述第一及第二動態圖像與在上述管理信息製作步驟中製作的管理信息進行結合併輸出。
2.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述管理信息製作步驟中，製作除了上述標記信息之外還包括表示上述閾值的信息的管理信息。
3.如權利要求1所記載的動態圖像編碼方法，其特徵在於，上述動態圖像編碼方法還包括復用步驟，將在上述編碼步驟中被編碼的第一及第二 動態圖像作為傳輸流進行復用；在上述復用步驟中，以通過傳輸流的包識別符來確定構成上述連續再現區間的多個部 分區間的方式，進行上述復用。
4.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述連續再現區間決定步驟中，將作為無縫連接的對象的部分區間的集合決定為上 述連續再現區間。
5.如權利要求4所記載的動態圖像編碼方法，其特徵在於，在上述管理信息製作步驟中，生成兼而表示在上述連續再現區間內上述閾值是固定 的、以及表示構成上述連續再現區間的多個部分區間為無縫連接的標記信息，來作為上述 標記信息。
6.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述連續再現區間決定步驟中，將與構成無縫的多角度的各角度相對應的部分區間 的集合決定為上述連續再現區間。
7.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述連續再現區間決定步驟中，將與構成非無縫的多角度的各角度相對應的部分區 間的集合決定為上述連續再現區間。
8.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述管理信息製作步驟中，生成上述標記信息來作為與構成上述連續再現區間的多 個部分區間分別對應的再現信息。
9.如權利要求8所記載的動態圖像編碼方法，其特徵在於，在上述管理信息製作步驟中，生成上述標記信息來作為與播放列表中包括的播放項目 對應的再現信息；上述播放列表是將1個以上的播放項目的再現順序指定為上述連續再現區間的信息；上述播放項目是將應該再現的一個片斷的全部或一部分指定為上述部分區間的信息。
10.如權利要求9所記載的動態圖像編碼方法，其特徵在於，在上述管理信息製作步驟中，生成上述標記信息來作為與上述播放項目對應設置的再 現信息即圖片內圖片的元信息。
11.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述管理信息製作步驟中，生成對上述覆蓋中的各種顯示處理進行指定的多個顯示 屬性信息，在上述多個顯示屬性信息的生成中，生成上述顯示屬性信息，以使上述多個顯示 屬性信息之中，在構成上述連續再現區間的多個部分區間內，切換內容的顯示屬性信息的 個數為預定的一定值以下。
12.如權利要求1所記載的動態圖像編碼方法，其特徵在於，在上述編碼步驟中，對上述多個部分區間內的上述第一及第二動態圖像進行編碼，以 使在根據解碼模式無縫連接的多個部分區間內滿足不變更上述閾值的限制。
13.一種動態圖像編碼裝置，對包括第一動態圖像和用於覆蓋至上述第一動態圖像的 第二動態圖像在內的影像流進行編碼，其特徵在於，在上述覆蓋中，僅將上述第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋 至上述第一動態圖像；上述動態圖像編碼裝置具備連續再現區間決定部，在上述影像流之中，決定連續再現區間，該連續再現區間是部分 區間的集合，而且是成為連續再現的對象的區間；編碼部，對構成上述連續再現區間的多個部分區間內的上述第一及第二動態圖像進 行編碼，以在由上述連續再現區間決定部決定的連續再現區間內滿足不變更上述閾值的限 制；管理信息製作部，製作包括標記信息的管理信息，該標記信息表示在上述連續再現區 間內上述閾值是固定的；以及結合部，將由上述編碼部編碼的上述第一及第二動態圖像與由上述管理信息製作部制 作的管理信息進行結合併輸出。
14.一種動態圖像記錄方法，對包括第一動態圖像和用於覆蓋至上述第一動態圖像的 第二動態圖像在內的影像流進行編碼並記錄至記錄介質，其特徵在於，在上述覆蓋中，僅將上述第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋 至上述第一動態圖像；上述動態圖像記錄方法包括連續再現區間決定步驟，在上述影像流之中，決定連續再現區間，該連續再現區間是部 分區間的集合，而且是成為連續再現的對象的區間；編碼步驟，對構成上述連續再現區間的多個部分區間內的上述第一及第二動態圖像進 行編碼，以在上述連續再現區間決定步驟中決定的連續再現區間內滿足不變更上述閾值的 限制；管理信息製作步驟，製作包括標記信息的管理信息，該標記信息表示在上述連續再現 區間內上述閾值是固定的；以及結合步驟，將在上述編碼步驟中被編碼的上述第一及第二動態圖像與在上述管理信息 製作步驟中製作的管理信息進行結合併記錄至記錄介質。
15.一種記錄介質，記錄了計算機可讀取的數據，其特徵在於，在上述數據中包含包括第一動態圖像和用於覆蓋至上述第一動態圖像的第二動態圖 像在內的影像流、以及管理上述影像流的信息即管理信息；在上述覆蓋中，僅將上述第二動態圖像之中具有超過預定閾值的亮度的圖像區域覆蓋 至上述第一動態圖像；在上述影像流中，構成上述連續再現區間的多個部分區間內的上述第一及第二動態圖 像被編碼，以在連續再現區間內滿足不變更上述閾值的限制，該連續再現區間是部分區間 的集合，而且是成為連續再現的對象的區間；在上述管理信息中，包括標記信息，該標記信息表示在上述連續再現區間內上述閾值 是固定的。
16.一種動態圖像再現方法，將包括被編碼的第一及第二動態圖像在內的影像流解碼， 並將上述第二動態圖像覆蓋至上述第一動態圖像來進行顯示，其特徵在於，包括管理信息處理步驟，獲取與上述影像流對應的管理信息，並對獲取的管理信息進行解釋；解碼步驟，根據上述管理信息處理步驟中的解釋，將上述第一及第二動態圖像解碼；以及顯示步驟，僅將被解碼的上述第二動態圖像之中、具有超過預定閾值的亮度的圖像區 域覆蓋至被解碼的上述第一動態圖像，並進行顯示；在上述管理信息處理步驟中，判斷在上述管理信息中是否包括標記信息，該標記信息 表示上述閾值是固定的；在上述顯示步驟中，在上述管理信息處理步驟判斷為在上述管理信息中包括上述標記 信息的情況下，利用與緊前的部分區間內的閾值同值的閾值，進行當前部分區間內的上述 覆蓋顯不。
17.如權利要求16記載的動態圖像再現方法，其特徵在於，在上述顯示步驟中，通過對於上述第二動態圖像之中小於上述閾值的像素完全透過地 進行顯示，來進行上述覆蓋顯示。
18.—種動態圖像再現裝置，將包括被編碼的第一及第二動態圖像在內的影像流解碼， 並將上述第二動態圖像覆蓋至上述第一動態圖像來進行顯示，其特徵在於，包括管理信息處理部，獲取與上述影像流對應的管理信息，並對獲取的管理信息進行解釋；解碼部，根據上述管理信息處理部的解釋，將上述第一及第二動態圖像解碼；以及 顯示部，僅將被解碼的上述第二動態圖像之中、具有超過預定閾值的亮度的圖像區域 覆蓋至被解碼的上述第一動態圖像，並進行顯示；上述管理信息處理部判斷在上述管理信息中是否包括標記信息，該標記信息表示上述 閾值是固定的；上述顯示部在上述管理信息處理部判斷為在上述管理信息中包括上述標記信息的情 況下，利用與緊前的部分區間內的閾值同值的閾值，進行當前部分區間內的上述覆蓋顯示。
19. 一種動態圖像再現系統，包括權利要求15記載的記錄介質；以及讀取上述記錄介 質中記錄的數據並進行再現的的動態圖像再現裝置；該動態圖形再現系統的特徵在於， 上述動態圖像再現裝置包括管理信息處理部，從上述記錄介質中讀取管理信息並進行解釋； 解碼部，根據上述管理信息處理部的解釋，從上述記錄介質中讀取上述第一及第二動 態圖像並進行解碼；以及顯示部，僅將被解碼的上述第二動態圖像之中、具有超過預定閾值的亮度的圖像區域 覆蓋至被解碼的上述第一動態圖像，並進行顯示；上述管理信息處理部判斷在上述管理信息中是否包括標記信息，該標記信息表示上述 閾值是固定的；上述顯示部在上述管理信息處理部判斷為在上述管理信息中包括上述標記信息的情 況下，利用與緊前的部分區間內的閾值同值的閾值，進行當前部分區間內的上述覆蓋顯示。
全文摘要
本發明涉及動態圖像編碼方法及裝置、記錄方法、再現方法、裝置及系統。提供一種不增大再現時的處理負擔而不發生再現中斷的動態圖像編碼方法。作為對包括第一動態圖像和用於覆蓋至第一動態圖像的第二動態圖像在內的影像流進行編碼的動態圖像編碼方法，包括步驟(S5201-S5303)，在影像流之中，決定連續再現區間，該連續再現區間是部分區間的集合，而且是成為連續再現的對象的區間；步驟(S5304)，對構成連續再現區間的多個部分區間中的第一及第二動態圖像進行編碼，以使在決定的連續再現區間中，滿足不變更用於在覆蓋中通過亮度按鍵進行透過處理的閾值的限制；以及步驟(S5305)，製作包括標記信息的管理信息，該標記信息表示在連續再現區間內閾值是固定的。
文檔編號H04N5/91GK101815213SQ20091020904
公開日2010年8月25日 申請日期2007年12月12日 優先權日2006年12月14日
發明者池田航, 矢羽田洋, 遠間正真 申請人:松下電器產業株式會社