發送設備、發送方法和接收設備與流程
2024-03-23 06:53:05
本技術涉及發送設備、發送方法和接收設備，更具體地，涉及將預定數量的高質量格式圖像數據連同基本格式圖像數據一起發送的發送設備等。
背景技術：
在過去，將高質量格式圖像數據與基本格式圖像數據一起發送，並且接收側選擇性地使用基本格式圖像數據或高質量格式圖像數據，這種技術是公知的。例如，專利文獻1公開了一種技術，該技術以可擴展(scalable)方式執行媒體編碼、產生用於低解析度視頻服務的基本層的流和用於高解析度視頻服務的擴展層的流，並且發送包含流的廣播信號。需注意，作為高質量格式，除了高解析度之外，還存在高幀頻率、高動態範圍、寬色域、高位長度等。
引用列表
專利文獻
專利文獻1：日本專利申請國家公布(公開)第2008-543142號。
技術實現要素：
本發明待解決的問題
本技術的一個目標是成功地將預定數量的高質量格式圖像數據連同基本格式圖像數據一起發送。
問題的解決方案
本技術的一個概念在於
一種發送設備，包括：
圖像編碼單元，其生成包括基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流；以及
發送單元，其發送包括由圖像編碼單元生成的基本視頻流和擴展視頻流的預定格式的容器；
其中，圖像編碼單元將識別對應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。
在本技術中，圖像編碼單元生成包括基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流。例如，對於基本格式圖像數據，執行在基本格式圖像數據內的預測編碼處理。另外，對於高質量格式圖像數據，執行在高質量格式圖像數據內的預測編碼處理或者利用基本格式圖像數據或其他高質量格式圖像數據執行幀間預測編碼處理(inter-predictive encoding process)。
發送單元發送包括由圖像編碼單元生成的基本視頻流和擴展視頻流的預定格式的容器。例如，容器可為在數字廣播標準中採用的傳輸流(MPEG-2TS)。另外，例如，容器可為用於網際網路傳送的MP4或任何其他格式的容器。
圖像編碼單元將識別對應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。例如，編碼圖像數據可以具有NAL單元結構，並且圖像編碼單元可以將識別信息插入到NAL單元的頭部中。在這種情況下，例如，圖像編碼單元可以使用NAL單元的所述頭部的「nuh_layer_id」欄位來插入所述識別信息。此外，在這種情況下，例如，圖像編碼單元可以使用NAL單元的頭部的「nuh_layer_id」欄位和「nuh_temporal_id_plus1」欄位插入識別信息。
如上所述，在本技術中，將識別對應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。因此，接收側可以基於識別信息通過對預定編碼圖像數據選擇性地執行解碼處理而易於獲得根據顯示能力的圖像數據。
需注意，在本技術中，例如，還可以包括信息插入單元，其將信息插入到容器的層中，所述信息定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式。在這種情況下，例如，容器可為MPEG2-TS，信息插入單元可以將信息插入到與存在於節目映射表下的視頻流相對應的視頻基本流循環中。在這種情況下，接收側可以預先檢測編碼圖像數據的格式，所述編碼圖像數據的格式由插入到在容器的層中的編碼圖像數據中的識別信息指示。
另外，本技術的另一個概念在於
接收設備，包括：
接收單元，其接收預定格式的容器，所述容器包括包含基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流，
其中，識別對應格式的識別信息被插入到基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據中的每個的編碼圖像數據中；以及
處理單元，其基於識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。
在本技術中，接收單元接收包括基本視頻流和擴展視頻流的預定格式的容器。這裡，基本視頻流包括基本格式圖像數據的編碼圖像數據。擴展視頻流包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據。
識別對應格式的識別信息被插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每個的編碼圖像數據中。例如，編碼圖像數據可以具有NAL單元結構，並且識別信息可以插入到NAL單元的頭部中。處理單元基於識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。
如上所述，在本技術中，基於用於識別對應格式的識別信息和顯示能力信息而處理包括在接收的容器中的擴展視頻流，所述識別信息插入到基本格式圖像數據的和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。因此，可以選擇性地執行對預定編碼圖像數據的解碼處理，且因此可以根據顯示能力易於獲得圖像數據。
需注意，在本技術中，例如，定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式的信息可以插入到容器的層中，並且處理單元可以基於插入到容器的層中的信息檢測編碼圖像數據的格式，該編碼圖像數據由插入到編碼圖像數據中的識別信息指示。
此外，本技術的一個概念在於
一種發送設備，包括：
圖像編碼單元，其生成包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據的每一個的編碼圖像數據的視頻流；以及
發送單元，其發送包括由圖像編碼單元生成的視頻流的預定格式的容器，
其中，圖像編碼單元將識別對應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。
在本技術中，圖像編碼單元生成包括基本格式圖像數據和預定數量的高質量格式圖像數據的每一個的編碼圖像數據的視頻流。例如，對於基本格式圖像數據，執行在基本格式圖像數據內的預測編碼處理。此外，對於高質量格式圖像數據，執行在高質量格式圖像數據內的預測編碼處理或者利用基本格式圖像數據或其他高質量格式圖像數據執行幀間預測編碼處理。
發送單元發送包括由圖像編碼單元生成的視頻流的預定格式的容器。例如，容器可為在數字廣播標準中採用的傳輸流(MPEG-2TS)。此外，例如，容器可為用於網際網路傳送的MP4或任何其他格式的容器。
圖像編碼單元將識別對應格式的識別信息插入到基本格式圖像數據的所述編碼圖像數據中和所述預定數量的高質量格式圖像數據中的每一個的所述編碼圖像數據中。例如，編碼圖像數據可以具有NAL單元結構，並且圖像編碼單元可以將識別信息插入到NAL單元的頭部中。在這種情況下，例如，圖像編碼單元可以使用NAL單元的所述頭部的「nuh_layer_id」欄位來插入所述識別信息。此外，在這種情況下，例如，圖像編碼單元可以使用NAL單元的頭部的「nuh_layer_id」欄位和「nuh_temporal_id_plus1」的欄位插入識別信息。
如上所述，在本技術中，識別對應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。因此，接收側可以基於識別信息通過對預定編碼圖像數據選擇性地執行解碼處理而易於獲得根據顯示能力的圖像數據。
需注意，在本技術中，例如，還可以包括信息插入單元，其將信息插入到容器的層中，所述信息定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式。在這種情況下，例如，容器可為MPEG2-TS，且信息插入單元可以將信息插入到與存在於節目映射表下的視頻流相對應的視頻基本流循環中。在這種情況下，接收側可以預先檢測編碼圖像數據的格式，所述編碼圖像數據由插入到在容器的層中的編碼圖像數據中的識別信息指示。
此外，本技術的另一個概念在於
接收設備，包括：
接收單元，其接收包括視頻流的預定格式的容器，所述視頻流包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據的每個的編碼圖像數據，
其中，將識別對應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每個的編碼圖像數據中；和
處理單元，其基於識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。
在本技術中，接收單元接收包括視頻流的預定格式的容器，其中，所述視頻流包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據的每一個的編碼圖像數據。
識別對應格式的識別信息被插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每個的編碼圖像數據中。例如，編碼圖像數據可以具有NAL單元結構，並且識別信息可以插入到NAL單元的頭部中。處理單元基於識別信息和顯示能力信息來處理包括在所接收的容器中的視頻流。
如上所述，在本技術中，基於用於識別對應格式的識別信息和顯示能力信息處理包括在接收的容器中的視頻流，所述識別信息插入到基本格式圖像數據的的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。因此，可以選擇性地執行對預定編碼圖像數據的解碼處理，且因此可以根據顯示能力易於獲得圖像數據。
需注意，在本技術中，例如，定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式的信息可以插入到容器的層中，並且處理單元可以基於插入到容器的層中的信息檢測編碼圖像數據的格式，該編碼圖像數據的格式由插入到編碼圖像數據中的識別信息指示。
本發明的效果
根據本技術，可以成功地將預定數量的高質量格式圖像數據連同基本格式圖像數據一起發送。需注意，本文所述的效果不一定受限，並且可以包括本公開中描述的任何效果。
附圖說明
圖1是示出根據實施例的收發系統的示例性配置的框圖。
圖2是示出發送設備的示例性配置的框圖。
圖3是示出生成基本格式圖像數據Vb和三個高質量格式圖像數據Vh1、Vh2和Vh3的圖像數據生成單元的示例性配置的框圖。
圖4是示出編碼單元的主要部分的示例性配置的框圖。
圖5為示出在示例性結構中NAL單元頭部和主要參數內容的圖表。
圖6是示出編碼圖像數據Cb、Ch1、Ch2和Ch3的示例性配置的示圖。
圖7是示出可擴展的擴展描述符的示例性結構的示圖。
圖8是示出在可擴展的擴展描述符的示例性結構中的主要信息的內容的示圖。
圖9是示出NAL單元頭部的「nuh_layer_id」的值與可擴展的擴展描述符的描述之間的相應關係的示圖。
圖10是示出傳輸流TS(在兩流的情況下)的示例性配置的圖。
圖11是示出傳輸流TS(在單流的情況下)的示例性配置的圖。
圖12是示出接收設備的示例性配置的框圖。
圖13是示出解碼單元的主要部分的示例性配置的框圖。
圖14為示意性地示出在兩流配置的情況下根據「nuh_layer_id」將壓縮數據緩存器(cpb)的輸出輸出到對應的解碼單元和將編碼圖像數據Cb、Ch1、Ch2和Ch3分布到對應的解碼單元的示圖。
圖15為示意性地示出在單流配置的情況下根據「nuh_layer_id」將壓縮數據緩存器(cpb)的輸出輸出到對應的解碼單元和將編碼圖像數據Cb、Ch1、Ch2和Ch3分布到對應的解碼單元的示圖。
圖16是示出基於顯示能力信息(顯示性能信息)確定解碼範圍的處理的示例的流程圖。
圖17是示出編碼圖像數據Cb、Ch1、Ch2和Ch3的示例性配置的視圖。
圖18是示出在NAL單元頭部的「nuh_layer_id」和「nuh_temporal_id_plus1」的值與可擴展的擴展描述符的描述之間的相應關係的示圖。
圖19是示出基於顯示能力信息(顯示性能信息)確定解碼範圍的處理的另一個示例的流程圖。
具體實施方式
在下文中，將描述實施本發明的模式(在下文中稱為「實施例」)。需注意本說明書將按以下順序進行。
1.實施例
2.修改的示例
[收發器系統]
圖1示出根據實施例的收發系統的示例性配置。收發系統10包括發送設備100和接收設備200。用作容器的傳輸流TS包括在廣播波或網絡包中並從發送設備100發送到接收設備200。在本實施例中，存在兩種配置：(1)傳輸流TS包括兩個視頻流(即，基本視頻流和擴展視頻流)的兩流配置；(2)傳輸流TS包括一個視頻流的單流配置。
「兩流配置的情況」
發送設備100包括用作廣播波或網絡包中的容器的傳輸流TS，並發送所生成的信號。兩個視頻流(即基本視頻流和擴展視頻流)包括在傳輸流TS中。基本視頻流包括基本格式圖像數據的編碼圖像數據。例如，通過對基本格式圖像數據執行H.264/AVC、H.265/HEVC等的預測編碼處理來生成基本視頻流。
擴展視頻流包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據。例如，通過對預定數量的高質量圖像數據執行H.264/AVC、H.265/HEVC等的預測編碼處理來生成擴展視頻流。
識別對應格式的識別信息被插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每個的編碼圖像數據中。接收側可以基於識別信息通過對預定編碼圖像數據選擇性地執行解碼處理而易於獲得根據顯示能力的圖像數據。在該實施例中，將識別信息插入到NAL單元的頭部中。
將定義由插入到所述編碼圖像數據的識別信息指示的編碼圖像數據的格式的信息插入到容器的層中。接收側可以基於該信息預先檢測編碼圖像數據的格式，所述編碼圖像數據的格式由插入到在容器的層中的編碼圖像數據中的識別信息指示。在該實施例中，將信息插入到與存在於節目映射表下的擴展視頻流相對應的每個視頻基本流循環中。
接收設備200接收在廣播波或網絡包中包括的並且從發送設備100發送的傳輸流TS。如上所述，傳輸流TS包括包含基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流。
如上所述，識別對應格式的識別信息插入到預定數量的高質量格式圖像數據中的每一個中的編碼圖像數據中。接收設備200基於識別信息和顯示能力信息處理包括在傳輸流TS中的視頻流，並且根據顯示能力獲取圖像數據。
「單流配置的情況」
發送設備100包括用作廣播波或網絡包中的容器的傳輸流TS，並發送所生成的信號。一個視頻流被包括在傳輸流TS中。視頻流包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據。例如，通過對基本格式圖像數據和預定數量的高質量格式圖像數據執行H.264/AVC、H.265/HEVC等的預測編碼處理來生成視頻流。
將識別基本格式或相應的高質量格式的識別信息插入到基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據中的每個的編碼圖像數據中。接收側可以基於識別信息通過對預定編碼圖像數據選擇性地執行解碼處理而易於獲得根據顯示能力的圖像數據。在該實施例中，將識別信息插入到NAL單元的頭部中。
將定義由插入到編碼圖像數據的識別信息指示的編碼圖像數據的格式的信息插入到容器的層中。接收側可以基於該信息預先檢測編碼圖像數據的格式，所述編碼圖像數據的格式由插入到在容器的層中的編碼圖像數據中的識別信息指示。在該實施例中，將該信息插入到與存在於節目映射表下的視頻流相對應的每個視頻基本流循環中。
接收設備200接收在廣播波或網絡包中包括的並且從發送設備100發送的傳輸流TS。如上所述，傳輸流TS包括視頻流，該視頻流包括基本格式圖像數據的編碼圖像數據和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據。
如上所述，將識別對應格式的識別信息插入到基本格式圖像數據和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。接收設備200基於識別信息和顯示能力信息處理包括在傳輸流TS中的視頻流，並且根據顯示能力獲取圖像數據。
「發送設備的配置」
圖2示出發送設備100的示例性配置。發送設備100處理作為發送圖像數據的基本格式圖像數據Vb和三個高質量格式圖像數據Vh1、Vh2和Vh3。這裡，基本格式圖像數據Vb是幀頻為50Hz的低動態範圍(LDR)圖像數據。高質量格式圖像數據Vh1是幀頻率為100Hz的LDR圖像數據。相對於根據現有技術的LDR圖像的白色峰值的亮度，LDR圖像數據具有0％至100％的亮度範圍。
高質量格式圖像數據Vh2是幀頻率為50Hz的高動態範圍(HDR)圖像數據。高質量格式圖像數據Vh3是幀頻率為100Hz的HDR圖像數據。當根據當前技術的LDR圖像的白色峰的亮度假定為100％時，HDR圖像數據具有0至100％*N的範圍例如0至1000％或更大的亮度。
圖3示出生成基本格式圖像數據Vb和三個高質量格式圖像數據Vh1、Vh2和Vh3的圖像數據生成單元150的示例性配置。圖像數據生成單元150包括HDR相機151、幀速率轉換單元152、動態範圍轉換單元153和幀速率轉換單元154。
HDR相機151將一個對象成像並輸出幀頻為100Hz的HDR圖像數據，即，高質量格式圖像數據Vh3。幀速率轉換單元152執行將從HDR相機151輸出的高質量格式圖像數據Vh3的幀頻率從100Hz轉換為50Hz的處理，並且輸出幀頻率為50Hz的HDR圖像數據，即，高質量格式圖像數據Vh2。
動態範圍轉換單元153執行這樣的處理：將從HDR相機151輸出的高質量格式圖像數據Vh3從HDR轉換成LDR，且輸出幀頻率為100Hz的LDR圖像數據，即高質量格式圖像數據Vh1。幀速率轉換單元154執行將從動態範圍轉換單元153輸出的高質量格式圖像數據Vh1的幀頻率從100Hz轉換為50Hz的處理，並且輸出幀頻率為50Hz的LDR圖像數據，即，基本格式圖像數據Vb。
重新參考圖2，發送設備100包括控制單元101、LDR光電轉換單元102和103、HDR光電轉換單元104和105、視頻編碼器106、系統編碼器107和發送單元108。控制單元101配置有中央處理單元(CPU)，並且基於控制節目來控制發送設備100的各個單元的操作。
LDR光電轉換單元102將用於LDR圖像的光電轉換特性(LDR OETF曲線)應用於基本格式圖像數據Vb，並獲得用於發送的基本格式圖像數據Vb'。LDR光電轉換單元103將用於LDR圖像的光電轉換特性應用於高質量格式圖像數據Vh1，並獲得用於發送的高質量格式圖像數據Vh1'。
HDR光電轉換單元104將用於HDR圖像的光電轉換特性(HDR OETF曲線)應用於高質量格式圖像數據Vh2，並獲得用於發送的高質量格式圖像數據Vh2'。HDR光電轉換單元105將用於HDR圖像的光電轉換特性應用於高質量格式圖像數據Vh3，並獲得用於發送的高質量格式圖像數據Vh3'。
視頻編碼器106包括四個編碼單元106-0、106-1、106-2和106-3。編碼單元106-0對用於發送的基本格式圖像數據Vb'執行H.264/AVC、H.265/HEVC等的預測編碼處理，並獲得編碼圖像數據Cb。在這種情況下，編碼單元106-0在圖像數據Vb'內執行預測。
編碼單元106-1對用於發送的高質量格式圖像數據Vh1'執行H.264/AVC、H.265/HEVC等的預測編碼處理，並獲得編碼圖像數據Ch1。在這種情況下，為了減少預測殘差，編碼單元106-1選擇性地在圖像數據Vh1'內執行預測或藉助在編碼塊的單元中的圖像數據Vb'執行幀間預測。
編碼單元106-2對用於發送的高質量格式圖像數據Vh2'執行H.264/AVC、H.265/HEVC等的預測編碼處理，並獲得編碼圖像數據Ch2。在這種情況下，為了減少預測殘差，編碼單元106-2選擇性地執行在圖像數據Vh2'內的預測或者藉助編碼塊的單元中的圖像數據Vb'選擇性地執行幀間預測。
編碼單元106-3對用於發送的高質量格式圖像數據Vh3'執行H.264/AVC、H.265/HEVC等的預測編碼處理，並且獲得編碼圖像數據Ch3。在這種情況下，為了減少預測殘差，編碼單元106-3選擇性地執行在圖像數據Vh3'內的預測或者藉助在編碼塊的單元中的圖像數據Vh2'執行幀間預測。
圖4示出編碼單元160的主要部分的示例性配置。編碼單元160可以應用至編碼單元106-1、106-2和106-3。編碼單元160包括層內預測單元161、層間預測單元162、預測調節單元163、選擇單元164和編碼功能單元165。
層內預測單元161對當前待編碼的圖像數據V1執行在圖像數據V1內的預測(層內預測)，並獲得預測殘差數據。層間預測單元162利用圖像數據V2對當前待編碼的圖像數據V1執行幀間預測(層間預測)執行幀間預測，並獲得預測殘差數據。
預測調節單元163根據用於圖像數據V2的圖像數據V1的可擴展的擴展類型執行以下處理，使得在層間預測單元162中有效地執行層間預測。在動態範圍擴展的情況下，執行用於將LDR轉換為HDR的層級調整。在空間上可擴展的擴展的情況下，執行將另一層的塊縮放到預定大小的縮放處理。在幀速率擴展的情況下，它被繞過。在色域擴展的情況下，對亮度和色度中的每一個執行映射。在位長擴展的情況下，執行用於對準像素的MSB的轉換。
例如，在編碼單元106-1的情況下，圖像數據V1是高質量格式圖像數據Vh1'(100Hz，LDR)，圖像數據V2是基本格式圖像數據Vb'(50Hz，LDR)，並且可擴展的擴展類型是幀速率擴展。為此，在預測調節單元163中，圖像數據Vb'被繞過而沒有改變。
此外，例如，在編碼單元106-2的情況下，圖像數據V1是高質量格式圖像數據Vh2'(50Hz，HDR)，圖像數據V2是基本格式圖像數據Vb'(50Hz，LDR)，並且可擴展的擴展類型是動態範圍擴展。因此，在預測調節單元163中，對圖像數據Vb'執行用於將LDR轉換為HDR的層級調整。需注意，可以基於從動態範圍轉換單元153提供的信息來執行層級調整。
此外，例如，在編碼單元106-3的情況下，圖像數據V1是高質量格式圖像數據Vh3'(100Hz，HDR)，圖像數據V2是高質量格式圖像數據Vh2'(50Hz，HDR)，並且可擴展的擴展類型是幀速率擴展。為此，在預測調節單元163中，圖像數據Vb'被繞過而沒有改變。
選擇單元164選擇性地提取由層內預測單元161獲得的預測殘差數據或由層間預測單元162獲得的在編碼塊的單元中的預測殘差數據，並將所選擇的預測殘差數據傳遞到編碼功能單元165。在這種情況下，選擇單元164例如選擇預測殘差中較小的預測殘差數據。編碼功能單元165對由選擇單元164選擇的預測殘差數據執行編碼處理諸如轉換編碼、量化和熵編碼的編碼功能，並且獲得編碼圖像數據CV。
再參考圖2，視頻編碼器106將識別對應格式的識別信息插入到編碼圖像數據Cb、Ch1、Ch2和Ch3中的每一個中。視頻編碼器106將識別信息插入到例如NAL單元的頭部中。
圖5(a)示出NAL單元頭部的示例性結構(語法)，圖5(b)示出示例性結構中的主要參數的內容(語義)。1比特欄位「forbidden_zero_bit」強制為0。6比特欄位「nal_unit_type」指示NAL單元類型。6比特欄位「nuh_layer_id」為指示流的層擴展類型的ID。3比特欄位「nuh_temporal_id_plus1」指示temporal_id(0至6)具有通過加1而獲得的值(1至7)。
在本實施例中，6比特欄位「nuh_layer_id」指示用於識別與NAL單元(編碼圖像數據)對應的格式的識別信息。例如，「0」指示基本的。「1」指示空間擴展。「2」指示幀速率擴展。「3」指示位長度擴展。「4」指示動態範圍擴展。「5」指示寬色域擴展。「6」指示幀速率擴展和動態範圍擴展。「7」指示空間擴展和幀速率擴展。
編碼圖像數據Cb對應於基本格式圖像數據Vb，且編碼圖像數據Cb的「nuh_layer_id」為「0」。另外，編碼圖像數據Ch1對應於幀速率擴展格式圖像數據Vh1，且編碼圖像數據Ch1的「nuh_layer_id」是「2」。另外，編碼圖像數據Ch2對應於動態範圍擴展格式圖像數據Vh2，且編碼圖像數據Ch2的「nuh_layer_id」是「4」。另外，編碼圖像數據Ch3對應於幀速率擴展和動態範圍擴展的格式圖像數據Vh3，且編碼圖像數據Ch3的「nuh_layer_id」是「6」。
圖6示出編碼圖像數據Cb、Ch1、Ch2和Ch3的示例性配置。水平軸指示顯示順序(組合的圖片順序(POC))，且隨著顯示時間越靠近左側而行進到較早時間，而顯示時間越靠近右側而行進到未來的時間。每個矩形框指示圖片，而箭頭指示在預測編碼處理中的圖片的參考關係。在層間預測和層內預測這兩者中，可以改變在塊的單元中的當前圖片，預測方向和參考數量不限於圖6所示的示例。
編碼圖像數據Cb配置有圖片「00，」「01，」...的編碼圖像數據。編碼圖像數據Ch1配置有位於在編碼圖像數據Cb的每兩個圖片之間的圖片「10，」「11，」...的編碼圖像數據。編碼圖像數據Ch2配置有與編碼圖像數據Cb的圖片相同的位置處的圖片「20，」「21，」...的編碼圖像數據。此外，編碼圖像數據Ch3配置有位於在編碼圖像數據Ch2的每兩個圖片之間的圖片「30，」「31，」...的編碼圖像數據。
再參考回圖2，系統編碼器107使用由視頻編碼器106生成的編碼圖像數據Cb、Ch1、Ch2和Ch3生成視頻流，並通過執行PES打包和TS打包來生成傳輸流TS。然後，發送單元108包括在廣播波或網絡包中的傳輸流TS，並將所生成的信號發送到接收設備200。
這裡，在兩流配置的情況下，系統編碼器107生成包括編碼圖像數據Cb的基本視頻流和包括編碼圖像數據Ch1、Ch2和Ch3的擴展視頻流。換句話說，在這種情況下，傳輸流TS包括兩個視頻流，即，包括編碼圖像數據Cb的基本視頻流和包括編碼圖像數據Ch1、Ch2和Ch3的擴展視頻流。
此外，在單流配置的情況下，系統編碼器107生成包括編碼圖像數據Cb，Ch1，Ch2和Ch3的視頻流。換句話說，在這種情況下，傳輸流TS包括包含編碼圖像數據Cb，Ch1，Ch2和Ch3的一個視頻流。
系統編碼器107將信息插入到容器的層(傳輸流)中，所述信息定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式。
在本實施例中，在雙流配置的情況下，將可擴展的擴展描述符插入到與存在於節目映射表(PMT)下的擴展視頻流(包括編碼數據Ch1、Ch2和Ch3)相對應的視頻基本流循環中。在這種情況下，定義由插入到編碼圖像數據Ch1、Ch2和Ch3中的識別信息指示的編碼圖像數據的格式。
另外，在本實施例中，在單流配置的情況下，可擴展的擴展描述符插入到與存在於節目映射表(PMT)下的視頻流(包括編碼圖像數據Cb、Ch1、Ch2和Ch3)相對應的視頻基本流循環中。在這種情況下，定義由插入到編碼圖像數據Cb、Ch1、Ch2和Ch3中的識別信息指示的編碼圖像數據的格式。
圖7示出可擴展的擴展描述符的示例性結構(語法)。圖8示出圖7所示的示例性結構中的主要信息的內容(語義)。8比特欄位「descriptor_tag」指示描述符類型且指示該描述符是可擴展的擴展描述符。8比特欄位「descriptor_length」指示描述符的長度(大小)，並且將後續比特的數量指示為描述符的長度。
標誌「Extended_spatial_resolution_flag」指示是否包括空間解析度擴展成分。「1」指示包括空間解析度擴展成分，而「0」表示不包括空間解析度擴展成分。標誌「Extended_frame_rate_flag」指示是否包括幀速率擴展組件。「1」指示包括幀速率擴展成分，而「0」指示不包括幀速率擴展組件。
標誌「Extended_bit_depth_flag」指示是否包括比特長度擴展成分。「1」指示包括比特長度擴展成分，「0」指示不包括比特長度擴展成分。標誌「Extended_dynamic_range_flag」指示是否包括動態範圍擴展成分。「1」指示包括動態範圍擴展成分，而「0」指示不包括動態範圍擴展成分。標誌「Extended_color_gamut_flag」指示是否包括色域擴展成分。「1」指示包括色域擴展成分，而「0」指示不包括色域擴展成分。
8比特欄位「number_of_layerIDs」指示包括在流中的層的數量。存在數量上與層數對應的6比特欄位「layerID」。欄位「layerID」指示層ID(Layer_id)。
這裡，在雙流配置的情況下，當擴展視頻流包括編碼圖像數據Ch1，Ch2和Ch3時，將「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」和「Extended_color_gamut_flag」設定為「0」，而「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」。此外，將「number_of_layerIDs」設定為「3」，並且將「2」、「4」和「6」依次設定為「layerID」。
通過該設定，「layerID」＝「2」指示幀速率擴展，且因此定義NAL單元的頭部的「nuh_layer_id」＝「2」以指示幀速率擴展的編碼圖像數據。另外，「layerID」＝「4」指示動態範圍擴展，且因此定義NAL單元的頭部的「nuh_layer_id」＝「4」以指示動態範圍擴展的編碼圖像數據。另外，「layerID」＝「6」指示幀速率擴展和動態範圍擴展，且定義NAL單元的頭部的「nuh_layer_id」＝「6」以指示幀速率擴展和動態範圍擴展的編碼圖像數據。
另外，在單流配置的情況下，當視頻流包括編碼數據Cb、Ch1、Ch2和Ch3時，將「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」和「Extended_color_gamut_flag」設定成「0」。將「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」。另外，將「number_of_layerIDs」設定成「4」，並且按順序將「0」、「2」、「4」和「6」設定為「layerID」。
通過該設定，「layerID」＝「0」指示基本格式，且因此定義NAL單元的頭部的「nuh_layer_id」＝「0」以指示基本格式的編碼圖像數據。此外，「layerID」＝「2」指示幀速率擴展，且因此定義NAL單元的頭部的「nuh_layer_id」＝「2」以指示幀速率擴展的編碼圖像數據。此外，「layerID」＝「4」指示動態範圍擴展，且因此定義NAL單元的頭部的「nuh_layer_id」＝「4」以指示動態範圍擴展的編碼圖像數據。此外，「layerID」＝「6」指示幀速率擴展和動態範圍擴展，且因此定義NAL單元的頭部的「nuh_layer_id」＝「6」以指示幀速率擴展和動態範圍擴展的編碼圖像數據。
圖9示出NAL單元頭部的「nuh_layer_id」的值與可擴展的擴展描述符的描述之間的對應關係。換句話說，當「nuh_layer_id」＝「0」的基本格式(基本成分)的編碼圖像數據包括在流中時，將「0」賦值給「layerID」。
此外，當流中包括「nuh_layer_id」＝「1」的空間擴展(空間擴展成分)的編碼圖像數據時，將「Extended_spatial_resolution_flag」設定為「1」，且將「1」賦值給「layerID」。另外，當在流中包括「nuh_layer_id」＝「2」的幀速率擴展(幀速率擴展成分)的編碼圖像數據時，將「Extended_frame_rate_flag」設定為「1」，並且將「2」賦值給「layerID」。另外，當流中包括「nuh_layer_id」＝「3」的幀速率擴展(位長擴展成分)的編碼圖像數據時，將「Extended_bit_depth_flag」設定為「1」，將「3」賦值給「layerID」。
另外，當流中包括「nuh_layer_id」＝「4」的動態範圍擴展(動態範圍擴展成分)的編碼圖像數據時，將「Extended_dynamic_range_flag」設定為「1」，將「4」賦值給「layerID」。另外，當在流中包括「nuh_layer_id」＝「5」的色域擴展(色域擴展成分)的編碼圖像數據時，將「Extended_color_gamut_flag」設定為「1」，並且將「5」賦值給「layerID」。
此外，當流中包括「nuh_layer_id」＝「6」的幀速率擴展和動態範圍擴展(幀速率擴展成分和動態範圍擴展成分)的編碼圖像數據時，將「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」，並且將「6」賦值給「layerID」。另外，當在流中包括「nuh_layer_id」＝「7」的空間擴展和幀速率擴展(空間擴展成分和幀速率擴展成分)的編碼圖像數據時，將「Extended_spatial_resolution_flag」和「Extended_frame_rate_flag」設定為「1」，並且將「7」賦值給「layerID」。
[傳輸流TS的配置]
圖10示出在兩流配置的情況下的傳輸流TS的示例性配置。兩個視頻流(即基本視頻流STb和擴展視頻流STe)包括在傳輸流TS中。在該示例性配置中，存在每個視頻流的PES包「視頻PES」。
基本視頻流STb的包標識符(PID)例如為PID1。基本格式的圖片的編碼圖像數據包括在基本視頻流STb中。在基本格式的圖片的編碼圖像數據中，存在NAL單元諸如AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI和EOS。在NAL單元的頭部中，將「nuh_layer_id」設定為例如「0」，並且指示與基本格式相關的編碼圖像數據。
此外，擴展視頻流STe的包標識符(PID)例如是PID2。在擴展視頻流STe中包括三個高質量格式(即幀速率擴展、動態範圍擴展以及幀速率擴展和動態範圍擴展)的圖片的編碼圖像數據。在高質量格式的圖片的編碼圖像數據中，存在NAL單元諸如AUD、SPS、PPS、PSEI、SLICE、SSEI和EOS。
需注意，在基本格式的圖片的編碼圖像數據中的SPS和在高質量格式的圖片的編碼圖像數據中的SPS具有相同的「nal_unit_type」值，但是不同在於其中是否包括擴展。換句話說，在高質量格式的圖片的編碼圖像數據中的SPS包括SPS擴展。需注意，基本格式的SPS和高質量格式的SPS可以具有不同的「nal_unit_type」值。
在構成幀速率擴展的圖片的編碼圖像數據的NAL單元的頭部中，將「nuh_layer_id」設定為「2」並且指示與幀速率擴展相關的編碼圖像數據。另外，在構成動態範圍擴展的圖片的編碼圖像數據的NAL單元的頭部中，「nuh_layer_id」設定為「4」並且指示與動態範圍擴展相關的編碼圖像數據。另外，在構成幀速率擴展和動態範圍擴展的圖片的編碼圖像數據的NAL單元的頭部中，將「nuh_layer_id」設定為「6」且表示與幀速率擴展和動態範圍擴展相關的編碼圖像數據。
另外，節目映射表(PMT)作為節目特定信息(PSI)包括在傳輸流TS中。PSI為指示與包括在傳輸流中的每個基本流相關的節目的信息。
在PMT中包括描述與所有節目相關的信息的節目循環(program loop)。另外，在PMT中包括基本流循環(包括與每個基本流相關的信息)。在該示例性配置中，包括與兩個視頻流(即，基本視頻流STb和擴展視頻流STe)相關的兩個視頻基本流循環(視頻ES循環)。諸如流類型(ST0)和包標識符(PID1)的信息布置在與基本視頻流STb對應的視頻基本流循環中。
另外，在與擴展視頻流STe對應的視頻基本流循環中，也布置了諸如流類型(ST1)和包標識符(PID2)的信息，並且還布置了用於描述與擴展視頻流STe相關聯的信息的描述符。插入作為描述符之一可擴展的擴展描述符(參見圖7)。
在該描述符中，將「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」，並且將「number_of_layerID」設定為「3」，並且將「2」、「4」和「6」依順序賦值給「layerID」。因此，定義NAL單元的頭部的「nuh_layer_id」＝「2」以指示幀速率擴展的編碼圖像數據。另外，定義NAL單元的頭部的「nuh_layer_id」＝「4」以指示動態範圍擴展的編碼圖像數據。此外，定義NAL單元的頭部的「nuh_layer_id」＝「6」以指示幀速率擴展和動態範圍擴展的編碼圖像數據。
圖11示出在單流配置的情況下中傳輸流TS的示例性配置。一個視頻流ST包括在傳輸流TS中。在該示例性配置中，存在視頻流ST的PES包「視頻PES」。
將視頻流ST的包標識符(PID)設定為例如PID1。在視頻流ST中，包括基本格式的圖片的編碼圖像數據，並且包括三種高質量格式(即幀速率擴展、動態範圍擴展以及幀速率擴展和動態範圍擴展)的圖片的編碼圖像數據。
在基本格式的圖片的編碼圖像數據中，存在諸如AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI和EOS的NAL單元。在NAL單元的頭部中，將「nuh_layer_id」設定為例如「0」且指示與基本格式相關的編碼圖像數據。
另外，在高質量格式的圖片的編碼圖像數據中，存在諸如AUD、SPS、PPS、PSEI、SLICE、SSEI和EOS的NAL單元。需注意，在基本格式的圖片的編碼圖像數據中的SPS和在高質量格式的圖片的編碼圖像數據中的SPS具有相同的「nal_unit_type」值，但是不同之處在於是否其中包括擴展。換句話說，在高質量格式的圖片的編碼圖像數據中的SPS包括SPS擴展。
在構成幀速率擴展的圖片的編碼圖像數據的NAL單元的頭部中，將「nuh_layer_id」設定為「2」且指示與幀速率擴展相關的編碼圖像數據。另外，在構成動態範圍擴展的圖片的編碼圖像數據的NAL單元的頭部中，將「nuh_layer_id」設定為「4」並且指示與動態範圍擴展有關的編碼圖像數據。另外，在構成幀速率擴展和動態範圍擴展的圖片的編碼圖像數據的NAL單元的頭部中，將「nuh_layer_id」設定為「6」且指示與幀速率擴展和動態範圍擴展有關的編碼圖像數據。
此外，節目映射表(PMT)作為節目特定信息(PSI)包括在傳輸流TS中。PSI為指示與包括在傳輸流中的每個基本流相關聯的節目的信息。
在PMT中包括描述與所有節目相關聯的信息的節目循環。另外，在PMT中包含包括與每個基本流相關聯的信息的基本流循環。在該示例性配置中，包括與一個視頻流ST相關聯的一個視頻基本流循環(視頻ES循環)。
在視頻基本流循環中，布置諸如流類型(ST0)和包標識符(PID1)的信息並且還布置用於描述與視頻流ST相關聯的信息的描述符。插入作為描述符之一的可擴展的擴展描述符(參見圖7)。
在該描述符中，將「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」，將「number_of_layerIDs」設定為「4」，並且將「0」、「2」、「4」和「6」順序地賦值給「layerID」。因此，定義NAL單元的頭部的「nuh_layer_id」＝「0」以指示基本格式的編碼圖像數據。定義NAL單元的頭部的「nuh_layer_id」＝「2」以指示幀速率擴展的編碼圖像數據。此外，定義NAL單元的頭部的「nuh_layer_id」＝「4」以指示動態範圍擴展的編碼圖像數據。此外，定義NAL單元的頭部的「nuh_layer_id」＝「6」以指示幀速率擴展和動態範圍擴展的編碼圖像數據。
將簡要描述在圖2所示的發送設備100的操作。將用作幀頻率為50Hz的LDR圖像數據的基本格式圖像數據Vb提供給LDR光電轉換單元102。LDR光電轉換單元102將用於LDR圖片的光電轉換特性(LDR OETF曲線)應用至基本格式圖像數據Vb，並獲得用於發送的基本格式圖像數據Vb'。將基本格式圖像數據Vb'提供給視頻編碼器106的編碼單元106-0、106-1和106-2。
此外，將用作幀頻率為100Hz的LDR圖像數據的高質量格式圖像數據Vh1提供給LDR光電轉換單元103。LDR光電轉換單元103將用於LDR圖像的光電轉換特性(LDR OETF曲線)轉換為高質量格式圖像數據Vh1並且獲得用於傳輸的高質量格式圖像數據Vh1'。將高質量格式圖像數據Vh1'提供給視頻編碼器106的編碼單元106-1。
此外，將用作幀頻率為50Hz的HDR圖像數據的高質量格式圖像數據Vh2提供給HDR光電轉換單元104。HDR光電轉換單元104將用於HDR圖像的光電轉換特性(HDR OETF曲線)應用至高質量格式圖像數據Vh2，並且獲得用於發送的高質量格式圖像數據Vh2'。將高質量格式圖像數據Vh2提供給視頻編碼器106的編碼單元106-2和106-3。
另外，將用作幀頻率為100Hz的HDR圖像數據的高質量格式圖像數據Vh3提供給HDR光電轉換單元105。HDR光電轉換單元105將用於HDR圖像的光電轉換特性(HDR OETF曲線)應用至高質量格式圖像數據Vh3，並且獲得用於發送的高質量格式圖像數據Vh3'。將高質量格式圖像數據Vh3'提供給視頻編碼器106的編碼單元106-3。
視頻編碼器106對基本格式圖像數據Vb'和高質量格式圖像數據Vh1'、Vh2'和Vh3'進行編碼處理並且生成編碼圖像數據Cb、Ch1、Ch2和Ch3。換句話說，編碼單元106-0對用於發送的基本格式圖像數據Vb'執行H.264/AVC、H.265/HEVC等預測編碼處理，並獲得編碼圖像數據Cb。
此外，編碼單元106-1對用於發送的高質量格式圖像數據Vh1'執行H.264/AVC、H.265/HEVC等預測編碼處理，並獲得編碼圖像數據Ch1。此外，編碼單元106-2對用於發送的高質量格式圖像數據Vh2'執行H.264/AVC、H.265/HEVC等預測編碼處理，並獲得編碼圖像數據Ch2。另外，編碼單元106-3對用於發送的高質量格式圖像數據Vh3'執行H.264/AVC、H.265/HEVC等預測編碼處理，並獲得編碼圖像數據Ch3。
視頻編碼器106將用於識別對應格式的識別信息插入到編碼圖像數據Cb、Ch1、Ch2和Ch3中的每一個中。換句話說，視頻編碼器106將用於識別與NAL單元(編碼圖像數據)相對應的格式的識別信息插入到NAL單元的頭部的欄位「nuh_layer_id」中。
將由視頻編碼器106獲得的編碼圖像數據Cb、Ch1、Ch2和Ch3提供給系統編碼器107。系統編碼器107使用編碼圖像數據Cb、Ch1、Ch2和Ch3生成視頻流，並且通過執行PES打包和TS打包來生成傳輸流TS。
這裡，在兩流配置的情況下，生成兩個視頻流，即，包括編碼圖像數據Cb的基本視頻流和包括編碼圖像數據Ch1、Ch2和Ch3的擴展視頻流。另外，在單流配置的情況下，生成包括編碼圖像數據Cb、Ch1，Ch2和Ch3的一個視頻流。
系統編碼器107將用於定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式的信息插入到容器的層(傳輸流)中。
這裡，在雙流配置的情況下，將可擴展的擴展描述符插入到與存在於PMT下的擴展視頻流(包括編碼圖像數據Ch1、Ch2和Ch3)相對應的視頻基本流循環中。另外，在單流配置的情況下，將可擴展的擴展描述符插入到與存在於PMT下的視頻流(包括編碼圖像數據Cb、Ch1、Ch2和Ch3)相對應的視頻基本流循環中。
由系統編碼器107生成的傳輸流TS被傳遞到發送單元108。發送單元108包括在廣播波或網絡包中的傳輸流TS，並將所生成的信號發送到接收設備200。
「接收設備的結構」
圖12示出接收設備200的示例性配置。接收設備200具有與圖2的發送設備100的示例性配置對應的示例性配置。接收設備200包括控制單元201、接收單元202、系統解碼器203、壓縮數據緩存器(cpb)204、視頻解碼器205、LDR電光轉換單元206和207、HDR電-光轉換單元208和209，以及顯示單元(顯示設備)210。
控制單元201配置有中央處理單元(CPU)並基於控制節目來控制接收設備200的各個單元的操作。接收單元202接收包括在從發送設備100發送的廣播波或網絡包中的傳輸流TS。系統解碼器203從傳輸流TS提取視頻流。
在兩流配置(參見圖10)的情況下，提取兩個視頻流(即，包括基本格式圖像數據的編碼圖像數據Cb的基本視頻流和包括高質量格式圖像數據的編碼圖像數據Ch1、Ch2和Ch3的擴展視頻流)。另外，在單流配置(參見圖11)的情況下，提取一個包含基本格式圖像數據的編碼圖像數據Cb和高質量格式圖像數據的編碼圖像數據Ch1、Ch2和Ch3的視頻流。
另外，系統解碼器203提取插入到容器的層(傳輸流)中的各種信息，並將所提取的信息傳遞到控制單元201。可擴展的擴展描述符也包括在該信息中。基於該描述符，控制單元201可以檢測編碼圖像數據的格式，該格式由預先插入到容器的層中的編碼圖像數據(在本實施例中，NAL單元的頭部的「nuh_layer_id」)的識別信息指示。
壓縮數據緩存器204暫時累積由系統解碼器203提取的視頻流。視頻解碼器205包括四個解碼單元205-0、205-1、205-2和205-3。解碼單元205-0對從壓縮數據緩存器204選擇性地讀取的基本格式(基本成分)的編碼圖像數據Cb執行解碼處理，並且生成基本格式圖像數據Vb'。在這種情況下，解碼單元205-0在圖像數據Vb'內執行預測和補償。
解碼單元205-1對從壓縮數據緩存器204選擇性地讀取的幀速率擴展(幀速率擴展成分)的編碼圖像數據Ch1執行解碼處理，並且生成高質量格式圖像數據Vh1'。在這種情況下，解碼單元205-1在編碼時在圖像數據Vh1'內執行預測和補償或者藉助在與預測相關聯的編碼塊的單元中的圖像數據內執行幀間預測和補償。
解碼單元205-2對從壓縮數據緩存器204選擇性地讀取的動態範圍擴展(動態範圍擴展成分)的編碼圖像數據Ch2執行解碼處理，並且生成高質量格式圖像數據Vh2'。在這種情況下，解碼單元205-2在編碼時在圖像數據Vh2'內執行預測和補償，或者藉助在與預測相關聯地編碼塊的單元中的圖像數據Vb'執行幀間預測和補償。
解碼單元205-3對從壓縮數據緩存器204選擇性讀取的幀速率擴展和動態範圍擴展(幀速率擴展成分和動態範圍擴展成分)的編碼圖像數據Ch3執行解碼處理，並生成高質量格式圖像數據Vh3'。在這種情況下，解碼單元205-3在編碼的同時在圖像數據Vh3'內執行預測和補償，或者藉助在與預測相關聯的編碼塊的單元中的圖像數據Vh2'執行幀間預測和補償。
圖13示出解碼單元250的主要部分的示例性配置。解碼單元250可以應用於解碼單元205-1、205-2和205-3。解碼單元250執行與圖4的編碼單元165的處理相反的處理。解碼單元250包括解碼功能單元251、層內預測補償單元252、層間預測補償單元253、預測調節單元254和選擇單元255。
解碼功能單元251對編碼圖像數據CV執行解碼處理，而非預測和補償，並且獲得預測殘差數據。層內預測補償單元252在圖像數據V1內對預測殘差數據執行預測和補償(層內預測和補償)，並獲得圖像數據V1。層間預測補償單元253藉助待參考的圖像數據V2(層間預測和補償)對預測殘差數據執行幀間預測和補償，並獲得圖像數據V1。
雖然省略了詳細描述，但是預測調節單元254根據用於圖像數據V2的圖像數據V1的可擴展的擴展類型來執行處理，類似於圖4的編碼單元160的預測調節單元163。選擇單元255在編碼的同時選擇性地提取和輸出由層內預測補償單元252獲得的圖像數據V1或由在與預測相關聯的編碼塊的單元中的層間預測補償單元253獲得的圖像數據V1。
參考圖12，LDR電-光轉換單元206基於由解碼單元205-0獲得的基本格式圖像數據Vb'來執行與發送設備100中的LDR光電轉換單元102的特性相反的電-光轉換，並獲得基本格式圖像數據Vb。基本格式圖像數據是幀頻率為50Hz的LDR圖像數據。
另外，LDR電-光轉換單元207對由解碼單元205-1獲得的高質量格式圖像數據Vh1'執行與在發送設備100中的LDR光電轉換單元103特性相反的電-光轉換，並獲得高質量格式圖像數據Vh1。高質量格式圖像數據Vh1是幀頻率為100Hz的LDR圖像數據。
另外，HDR電-光轉換單元208對由解碼單元205-2獲得的高質量格式圖像數據Vh2'執行與在發送設備100中的HDR光電轉換單元104特性相反的電光轉換，並獲得高質量格式圖像數據Vh2。高質量格式圖像數據Vh2是幀頻率為50Hz的HDR圖像數據。
另外，HDR電-光轉換單元209對由解碼單元205-3獲得的高質量格式圖像數據Vh3'執行與在發送設備100中的HDR光電轉換單元105相反的特性的電-光轉換，並獲得高質量格式圖像數據Vh3。高質量格式圖像數據Vh3是幀頻率為100Hz的HDR圖像數據。
顯示單元210配置有例如液晶顯示器(LCD)、有機電致發光(有機EL)面板等。根據顯示能力，顯示單元210顯示根據基本格式圖像數據Vb和高質量格式圖像數據Vh1、Vh2和Vh3中的任何一個的圖像。
在這種情況下，控制單元201控制待提供給顯示單元210的圖像數據。基於插入到每個編碼圖像數據中的基本格式和高質量格式的識別信息和顯示單元209的顯示能力信息來執行該控制。
換句話說，當顯示單元210不能夠執行高幀頻率的顯示和高動態範圍的顯示時，執行控制，由此使得將與基本格式(基本成分)的編碼圖像數據Cb的解碼相關的基本格式圖像數據Vb提供至顯示單元210。在這種情況下，控制單元201從壓縮數據緩存器204中選擇性地提取基本格式的編碼圖像數據Cb，並將基本格式的編碼的圖像數據Cb傳遞至解碼單元205-0。然後，控制單元201執行控制，由此使得解碼單元205-0對編碼圖像數據Cb進行解碼，且LDR電-光轉換部206輸出基本格式圖像數據Vb。
另外，當顯示單元210能夠執行高幀頻率的顯示，但是不能夠執行高動態範圍的顯示時，執行控制，由此使得將與幀速率擴展的編碼圖像數據Ch1的解碼相關的高質量格式圖像數據Vh1(幀速率擴展成分)提供給顯示單元210。
在這種情況下，控制單元201從壓縮數據緩存器204中選擇性地提取基本格式的編碼圖像數據Cb，並且將基本格式的編碼圖像數據Cb傳遞到解碼單元205-0，並且從壓縮數據緩存器204選擇性地提取幀速率擴展的編碼圖像數據Ch1，並將幀速率擴展的編碼圖像數據Ch1傳遞到解碼單元205-1。然後，控制單元201執行控制，由此使得解碼單元205-0對編碼圖像數據Cb進行解碼，解碼單元205-1對編碼圖像數據Ch1進行解碼，並且LDR電-光轉換單元207輸出高質量格式圖像數據Vh1。
另外，當顯示單元210不能夠執行高幀頻率的顯示，但是能夠執行高動態範圍的顯示時，執行控制，由此使得將與動態範圍擴展(動態範圍擴展成分)的編碼圖像數據Ch2的解碼相關的高質量格式圖像數據Vh2提供給顯示單元210。
在這種情況下，控制單元201從壓縮數據緩存器204中選擇性地提取基本格式的編碼圖像數據Cb，並將基本格式的編碼圖像數據Cb傳遞到解碼單元205-0，並且從壓縮數據緩存器204選擇性地提取動態範圍擴展的編碼圖像數據Ch2，並將動態範圍擴展的編碼圖像數據Ch2傳遞到解碼單元205-2。然後，控制單元201執行控制，由此使得解碼單元205-0對編碼圖像數據Cb進行解碼，解碼單元205-2對編碼圖像數據Ch2進行解碼，並且LDR電-光轉換單元208輸出高質量格式圖像數據Vh2。
另外，當顯示單元210能夠執行高幀頻率的顯示和高動態範圍的顯示時，執行控制，由此使得將與幀速率擴展和動態範圍擴展(幀速率擴展成分和動態範圍擴展成分)的編碼圖像數據Ch3的解碼相關的高質量格式圖像數據Vh3提供給顯示單元210。
在這種情況下，控制單元201從壓縮數據緩存器204中選擇性地提取基本格式的編碼圖像數據Cb，並將基本格式的編碼圖像數據Cb傳遞到解碼單元205-0，從壓縮數據緩存器204選擇性地提取動態範圍擴展的編碼圖像數據Ch2，並將動態範圍擴展的編碼圖像數據Ch2傳遞到解碼單元205-1，並且從壓縮數據緩存器204選擇性地提取幀速率擴展和動態範圍擴展的編碼圖像數據Ch3，並將幀速率擴展和動態範圍擴展的編碼圖像數據Ch3傳遞到解碼單元205-3。
然後，控制單元201執行控制，由此使得解碼單元205-0對編碼圖像數據Cb進行解碼，解碼單元205-2對編碼圖像數據Ch2進行解碼，解碼單元205-3對編碼圖像數據Ch3進行解碼，HDR電-光轉換單元209輸出高質量格式圖像數據Vh3。
圖14(a)和14(b)示意性地示出在兩流配置的情況下根據「nuh_layer_id」將壓縮數據緩存器(cpb)204的輸出輸出至對應解碼單元和將編碼圖像數據Cb，Ch1、Ch2和Ch3分布至對應解碼單元。
在兩流配置的情況下，如圖14(a)所示，從壓縮數據緩存器(cpb)204順序地讀取包括在基本視頻流(PID1)中的基本格式的編碼圖像數據Cb和包括在擴展視頻流(PID2)中的高質量格式的編碼圖像數據Ch1、Ch2和Ch3的圖片的編碼圖像數據。
這裡，「00，」「01，」...指示構成編碼圖像數據Cb的各個圖像的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「0」。控制單元201檢測到，「nuh_layer_id」＝「0」指示基本格式的編碼圖像數據，因為編碼圖像數據Cb包括在基本視頻流中。
另外，「10，」「11，」...指示構成編碼圖像數據Ch1的各個圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「2」。控制單元201基於可擴展的擴展描述符的定義而檢測到「nuh_layer_id」＝「2」表示幀速率擴展的編碼圖像數據。
另外，「20，」「21，」...指示構成編碼圖像數據Ch2的各個圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「4」。控制單元201基於可擴展的擴展描述符的定義，檢測「nuh_layer_id」＝「4」表示動態範圍擴展的編碼圖像數據。
另外，「30，」「31，」...指示構成編碼圖像數據Ch3的相應圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「6」。控制單元201基於可擴展的擴展描述符的定義，檢測到「nuh_layer_id」＝「6」表示幀速率擴展和動態範圍擴展的編碼圖像數據。
如圖14(b)所示，基於「nuh_layer_id」將從壓縮數據緩存器204讀取的各個圖片的編碼圖像數據傳遞到對應的解碼單元。在這種情況下，讀取並丟棄與解碼無關的層的編碼圖像數據。所示的示例是其中解碼所有數據的示例。
圖15(a)和15(b)示意性地示出在單流配置的情況下根據「nuh_layer_id」將壓縮數據緩存器(cpb)204的輸出輸出到對應解碼單元和將編碼圖像數據Cb、Ch1、Ch2和Ch3分布到對應解碼單元。
如圖15(a)所示，在單流配置的情況下，將包括在一個視頻流(PID1)中的基本格式的編碼圖像數據Cb和高質量格式的編碼圖像數據Ch1、Ch2和Ch3的圖片的編碼圖像數據從壓縮數據緩存器(cpb)204中順序地讀取。
這裡，「00，」「01，」...指示構成編碼圖像數據Cb的各個圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「0」。控制單元201基於可擴展的擴展描述符的定義而檢測到「nuh_layer_id」＝「0」表示基本格式的編碼圖像數據。
另外，「10，」「11，」...指示構成編碼圖像數據Ch1的各個圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「2」。控制單元201基於可擴展的擴展描述符的定義而檢測到「nuh_layer_id」＝「2」指示幀速率擴展的編碼圖像數據。
另外，「20，」「21，」...指示構成編碼圖像數據Ch2的各個圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「4」。控制單元201基於可擴展的擴展描述符的定義而檢測到「nuh_layer_id」＝「4」指示動態範圍擴展的編碼圖像數據。
此外，「30，」「31，」...指示構成編碼圖像數據Ch3的各個圖片的編碼圖像數據，並且將NAL單元的頭部的「nuh_layer_id」設定為「6」。控制單元201基於可擴展的擴展描述符的定義而檢測「nuh_layer_id」＝「6」指示幀速率擴展和動態範圍擴展的編碼圖像數據。
如圖15(b)所示，基於「nuh_layer_id」將從壓縮數據緩存器204讀取的各個圖片的編碼圖像數據傳遞到對應的解碼單元。在這種情況下，讀取並丟棄與解碼無關的層的編碼圖像數據。所示的示例為其中所有數據都被解碼的示例。
圖16的流程圖示出控制單元201基於顯示能力信息(顯示性能信息)確定解碼範圍的處理的示例。在步驟ST1中，控制單元201開始處理。
然後，在步驟ST2中，控制單元201參考可擴展的擴展描述符檢測每個格式的「nuh_layer_id」。在本實施例中，在基本格式中檢測到「nuh_layer_id」＝「0」，在幀速率擴展中檢測到「nuh_layer_id」＝「2」，在動態範圍速率擴展中檢測到「nuh_layer_id」＝「4」，而在幀速率擴展和動態範圍速率擴展中檢測到「nuh_layer_id」＝「6」。
然後，在步驟ST3中，控制單元201確定是否可以執行100p HDR的顯示，即，幀頻率為100Hz的HDR的顯示。當可以執行100p HDR的顯示(即，其幀頻率為100Hz的HDR的顯示)時，在步驟ST4中，控制單元201將「nuh_layer_id」為「0」、「4」和「6」的編碼圖像數據(即編碼圖像數據Cb、Ch2和Ch3)設定為解碼範圍，且然後在步驟ST11中，控制單元201結束處理。
當在步驟ST3中難以執行100p HDR的顯示(即，幀頻率為100Hz的HDR的顯示)時，在步驟ST5中，控制單元201確定是否可以執行50p HDR的顯示，即，幀頻率為50Hz的HDR的顯示。當可以執行50p HDR的顯示(即，幀頻率為50Hz的HDR的顯示)時，在步驟ST6中，控制單元201將「nuh_layer_id」為「0」和「4」的編碼圖像數據(即，編碼圖像數據Cb和Ch2)設定為解碼範圍，且然後在步驟ST11中，控制單元201結束處理。
當在步驟ST5中難以執行50p HDR的顯示(即，幀頻率為50Hz的HDR的顯示)時，在步驟ST7中，控制單元201確定是否可以執行100p LDR的顯示，即，幀頻率為100Hz的LDR的顯示。當可以執行100p LDR的顯示(即，幀頻率為100Hz的LDR的顯示)時，在步驟ST8中，控制單元201將「nuh_layer_id」為「0」和「2」的編碼圖像數據(即編碼圖像數據Cb和Ch1)設定為解碼範圍，且然後在步驟ST11中，控制單元201結束處理。
當在步驟ST7中難以執行100p LDR的顯示(即，幀頻率為100Hz的LDR的顯示)時，在步驟ST9中，控制單元201確定是否可以執行50p LDR的顯示，即，幀頻率為50Hz的LDR的顯示。當可以執行50p LDR的顯示(即，幀頻率為50Hz的LDR的顯示)時，在步驟ST10中，控制單元201將「nuh_layer_id」為「0」的編碼圖像數據(即，編碼圖像數據Cb)設定為解碼範圍，然後在步驟ST11中，控制單元201結束處理。需注意，當在步驟ST9中難以執行50p LDR的顯示(即，幀頻率為50Hz的LDR的顯示)時，在步驟ST11中，控制單元201結束處理。
將簡要描述圖12所示的接收設備200的操作。接收單元202接收包括在從發送設備100發送的廣播波或網絡包中的傳輸流TS。將傳輸流TS提供給系統解碼器203。系統解碼器203從傳輸流TS提取視頻流。在壓縮數據緩存器204中臨時累積視頻流。
這裡，在兩流配置(參見圖10)的情況下，提取兩個視頻流(即，包括基本格式圖像數據的編碼圖像數據Cb的基本視頻流和包括高質量的格式圖像數據的編碼圖像數據Ch1、Ch2和Ch3的擴展視頻流)。另外，在單流配置(參見圖11)的情況下，提取一個視頻流，其包括基本格式圖像數據的編碼圖像數據Cb和高質量格式圖像的編碼圖像數據Ch1、Ch2和Ch3。
另外，系統解碼器203提取插入到容器的層(傳輸流)中的各種信息，並將提取的信息傳遞到控制單元201。可擴展的擴展描述符還可包括在該信息中。基於該描述符，控制單元201可以檢測編碼圖像數據的格式，其由插入到編碼圖像數據中的識別信息(在本實施例中，NAL單元的頭部的「nuh_layer_id」)指示。
當顯示單元210不能夠執行高幀頻率的顯示和高動態範圍的顯示時，將基本格式圖像數據Vb從LDR電-光轉換單元206提供給顯示單元210。顯示單元210基於基本格式圖像數據Vb(即，幀頻率為50Hz的LDR圖像數據)而顯示50p LDR圖像。
在這種情況下，從壓縮數據緩存器204選擇性地提取NAL單元的頭部的「nuh_layer_id」為「0」的基本格式的編碼圖像數據Cb並將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數據Cb執行解碼處理，並且生成基本格式圖像數據Vb'。將基本格式圖像數據Vb'提供給LDR電-光轉換單元206。LDR電-光轉換單元206對基本格式圖像數據Vb'執行電光轉換，獲得基本格式圖像數據Vb，並將基本格式圖像數據Vb提供給顯示單元210。
另外，當顯示單元210能夠執行高幀頻率的顯示，但是不能夠執行高動態範圍的顯示時，將高質量格式圖像數據Vh1從LDR電-光轉換單元207提供至顯示單元210。將基於高質量格式圖像數據Vh1的圖像(即，幀頻率為100Hz的LDR圖像數據)顯示在顯示單元210上。
在這種情況下，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「0」的基本格式的編碼圖像數據Cb，並將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數據Cb執行解碼處理，並且生成基本格式圖像數據Vb'。
另外，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「2」的幀速率擴展的編碼圖像數據Ch1，並將其提供給解碼單元205-1。解碼單元205-1參考基本格式圖像數據Vb'對編碼圖像數據Ch1執行解碼處理，並且生成高質量格式圖像數據Vh1'。
將由解碼單元205-1生成的高質量格式圖像數據Vh1'提供給LDR電-光轉換單元207。LDR電-光轉換單元207對高質量格式圖像數據Vh1'執行電-光轉換，獲得高質量格式圖像數據Vh1，並將高質量格式圖像數據Vh1提供給顯示單元210。
另外，當顯示單元210不能夠執行高幀頻率的顯示，但是能夠執行高動態範圍的顯示時，將高質量格式圖像數據Vh2從HDR電-光轉換單元208提供至顯示單元210。將基於高質量格式圖像數據Vh2的圖像(即，幀頻率為50Hz的HDR圖像數據)顯示在顯示單元210上。
在這種情況下，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「0」的基本格式的編碼圖像數據Cb，並將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數據Cb執行解碼處理，並且生成基本格式圖像數據Vb'。
另外，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「4」的動態範圍擴展的編碼圖像數據Ch2，並將其提供給解碼單元205-2。解碼單元205-2參照基本格式圖像數據Vb'對編碼圖像數據Ch2執行解碼處理，並且生成高質量格式圖像數據Vh2'。
將由解碼單元205-2生成的高質量格式圖像數據Vh2'提供給HDR電-光轉換單元208。HDR電-光轉換單元208對高質量格式圖像數據Vh2'執行電-光轉換，獲得高質量格式圖像數據Vh2，並將高質量格式圖像數據Vh2提供給顯示單元210。
此外，當顯示單元210既能夠執行高幀頻率的顯示又能夠執行高動態範圍的顯示時，將高質量格式圖像數據Vh3從HDR電-光轉換單元209提供給顯示器單元210。將基於高質量格式圖像數據Vh3的圖像(即，幀頻率為100Hz的HDR圖像數據)顯示在顯示單元210上。
在這種情況下，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「0」的基本格式的編碼圖像數據Cb，並將其提供給解碼單元205-0。解碼單元205-0對編碼圖像數據Cb執行解碼處理，並且生成基本格式圖像數據Vb'。
另外，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「4」的動態範圍擴展的編碼圖像數據Ch2，並將其提供給解碼單元205-2。解碼單元205-2參考基本格式圖像數據Vb'對編碼圖像數據Ch2執行解碼處理，並且生成高質量格式圖像數據Vh2'。
另外，從壓縮數據緩存器204中選擇性地提取NAL單元的頭部的「nuh_layer_id」為「6」的幀速率擴展和動態範圍擴展的編碼圖像數據Ch3，並將其提供給解碼單元205-3。解碼單元205-3參考高質量格式圖像數據Vh2'對編碼圖像數據Ch2執行解碼處理，並且生成高質量格式圖像數據Vh3'。
將由解碼單元205-3生成的高質量格式圖像數據Vh3'提供給HDR電-光轉換單元209。HDR電-光轉換單元209對高質量格式圖像數據Vh3'執行電-光轉換，獲得高質量格式圖像數據Vh3，並將高質量格式圖像數據Vh3提供給顯示單元210。
如上所述，在圖1所示的收發系統10中，發送設備100將用於識別對應格式的識別信息插入到基本格式圖像數據編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。因此，接收側基於識別信息對預定的編碼圖像數據選擇性地執行解碼處理，從而可以易於根據顯示能力獲得圖像數據。
另外，在圖1所示的收發系統10中，發送設備100將用於定義由插入到編碼圖像數據中的識別信息指示的編碼圖像數據的格式的信息插入到容器的層中。因此，接收側可以預先檢測到由插入在容器的層中的編碼圖像數據中的識別信息指示的編碼圖像數據的格式。
需注意，已經結合其中使用NAL單元的頭部的「nuh_layer_id」的欄位將識別信息插入到編碼圖像數據中的示例描述了以上示例，但是也可以使用兩個欄位「nuh_layer_id」和「nuh_temporal_id_plus1」。
例如，如圖17所示，設置編碼圖像數據Cb、Ch1、Ch2和Ch3的「nuh_layer_id」和「nuh_temporal_id_plus1」。換句話說，對於基本格式的編碼圖像數據Cb，將「nuh_layer_id」設定為「0」，並且將「nuh_temporal_id_plus1」設定為「1至6」。另外，對於幀速率擴展的編碼圖像數據Ch1，將「nuh_layer_id」設定為「0」並且將「nuh_temporal_id_plus1」設定為「7」
另外，對於動態範圍擴展的編碼圖像數據Ch2，將「nuh_layer_id」設定為「4」，並將「nuh_temporal_id_plus1」設定為「1至6」。此外，對於幀速率擴展和動態範圍擴展的編碼圖像數據Ch3，將「nuh_layer_id」設定為「4」，而將「nuh_temporal_id_plus1」設定為「7」
在這種情況下，可擴展的擴展描述符(見圖7)設定如下。換句話說，在雙流配置的情況下，當編碼數據Ch2和Ch3包括在擴展視頻流中時，將「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」和「Extended_color_gamut_flag」設定為「0」，並且將「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」。另外，將「number_of_layer_ID」設定為「3」，並且將「4」和「4」按順序賦值給「layerID」。
通過該設定，定義「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「7」以指示幀速率擴展的編碼圖像數據。另外，定義「nuh_layer_id」＝「4」和定義「nuh_temporal_id_plus1」＝「1 to 6」以指示動態範圍擴展的編碼圖像數據。另外，定義「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「7」以指示幀速率擴展和動態範圍擴展的編碼圖像數據。
另外，在單流配置的情況下，當編碼數據Cb、Ch1、Ch2和Ch3包括在擴展視頻流中時，將「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」和「Extended_color_gamut_flag」和「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」。另外，將「number_of_layer_ID」設定為「4」，並且按順序將「0」、「0」、「4」和「4」賦值給「layerID」。
通過該設定，定義「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 6」以指示基本格式的編碼圖像數據。此外，定義「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「7」以指示幀速率擴展的編碼圖像數據。此外，定義「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「1 to 6」以指示動態範圍擴展的編碼圖像數據。此外，定義「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「7」以指示幀速率擴展和動態範圍擴展的編碼圖像數據。
圖18示出在NAL單元頭部的「nuh_layer_id」和「nuh_temporal_id_plus1」的值與可擴展的擴展描述符的描述之間的對應關係。換句話說，「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 6」的基本格式(基本成分)的編碼圖像數據包括在流中，將「0」賦值給「layerID。「。另外，「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「7」的幀速率擴展(幀速率擴展成分)的編碼圖像數據包括在流中，將「extended_spatial_resolution_flag」設定為「1」，並且將「0」賦值給「layerID」。
另外，「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「1 to 6」的動態範圍擴展(幀速率擴展成分)的編碼圖像數據包括在流中，將「Extended_dynamic_range_flag」設定為「1」，且將「4」賦值給「layerID」。另外，「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「7」的幀速率擴展和動態範圍擴展(幀速率擴展成分和動態範圍擴展成分)的編碼圖像數據包括在流中，且將「Extended_frame_rate_flag」和「Extended_dynamic_range_flag」設定為「1」，並且將「4」賦值給「layerID」。
圖19的流程圖示出處理的示例，其中如上所述當兩個欄位(即，NAL單元的頭部的「nuh_layer_id」和「nuh_temporal_id_plus1」)用於將識別信息插入到編碼圖像數據中時，控制單元201基於顯示能力信息(顯示性能信息)確定解碼範圍。
在步驟ST21中，控制單元201開始處理。然後，在步驟ST22中，控制單元201參考可擴展的擴展描述符檢測每個格式的「nuh_layer_id」和「nuh_temporal_id_plus1」。
這裡，在基本格式中檢測到「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 6」，在幀速率擴展中檢測到「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「7」，在動態範圍擴展中檢測到「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「1 to 6」，並且在幀速率擴展和動態範圍擴展中檢測到「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「7」。
然後，在步驟ST23中，控制單元201確定是否可以執行100p HDR的顯示，即幀頻率為100Hz的HDR的顯示。當可以執行100p HDR的顯示(即，幀頻率為100Hz的HDR的顯示)時，在步驟ST24中，控制單元201將「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 6」的編碼圖像數據Cb」，以及「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1、」＝「1 to 7」的編碼圖像數據Ch2、Ch3設定為解碼範圍，在步驟ST31中，控制單元201結束處理。
當在步驟ST23中難以執行100p HDR的顯示，即，幀頻率為100Hz的HDR的顯示時，在步驟ST25中，控制單元201確定是否可以執行50p HDR的顯示，即，幀頻率為50Hz的HDR的顯示。當可以執行50p HDR的顯示(即，幀頻率為50Hz的HDR的顯示)時，在步驟ST26中，控制單元201將「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 6」的編碼圖像數據Cb和「nuh_layer_id」＝「4」和「nuh_temporal_id_plus1」＝「1 to 6」的編碼圖像數據Ch2設定為解碼範圍，然後在步驟ST31中，控制單元201結束處理。
當在步驟ST25中難以執行50p HDR的顯示(即幀頻率為50Hz的HDR的顯示)時，在步驟ST27中，控制單元201確定是否可以執行100p LDR的顯示(即幀頻率為100Hz的LDR的顯示)。當可以執行100p LDR的顯示(即幀頻率為100Hz的LDR的顯示)時，在步驟ST28中，控制單元201將「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 7」的編碼圖像數據Cb設定為解碼範圍，然後在步驟ST31中，控制單元201結束處理。
當在步驟ST27中難以執行100p LDR的顯示(即幀頻率為100Hz的LDR的顯示)時，在步驟ST29中，控制單元201確定是否可以執行50p LDR的顯示(即幀頻率為50Hz的LDR的顯示)。當可以執行50p LDR的顯示(即幀頻率為50Hz的LDR的顯示)時，在步驟ST30中，控制單元201將「nuh_layer_id」＝「0」和「nuh_temporal_id_plus1」＝「1 to 6」的編碼圖像數據Cb設定為解碼範圍，然後在步驟ST31中，控制單元201結束處理。需注意，當在步驟ST29中難以執行50p LDR的顯示(即，幀頻率為50Hz的LDR的顯示)時，在步驟ST31中，控制單元201結束處理。
此外，在上述實施例中，已經描述了包括發送設備100和接收設備200的收發系統10，但是本技術可以應用到的收發系統的配置不限於此。例如，接收設備200的一部分可以是這樣的配置：通過數字接口諸如高清晰度多媒體接口(HDMI)連接的配置諸如機頂盒和監視器。在這種情況下，例如，機頂盒可以通過從監視器獲取擴展顯示識別數據(EDID)來獲得顯示能力信息。需注意，「HDMI」是註冊商標。
另外，在上述實施例中，已經描述了容器是傳輸流(MPEG-2TS)的示例。然而，本技術可以相似地應用於以下系統，該系統具有使用網絡諸如網際網路執行到接收終端的傳送(delivery)的配置。在網際網路傳送中，通常使用MP4或任何其他格式容器來執行傳送。換句話說，在將數字廣播標準中採用的或在網際網路傳送中使用的MP4的各種格式諸如傳輸流(MPEG-2TS)的容器用作容器。
此外，本技術可以具有以下配置。
(1)一種接收設備，包括：
圖像編碼單元，其生成包括基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流；和
發送單元，其發送包括由所述圖像編碼單元生成的所述基本視頻流和所述擴展視頻流的預定格式的容器；
其中，所述圖像編碼單元將識別對應格式的識別信息插入到所述基本格式圖像數據的所述編碼圖像數據中和所述預定數量的高質量格式圖像數據中的每一個的所述編碼圖像數據中。
(2)根據(1)所述的發送設備，
其中所述編碼圖像數據具有NAL單元結構，並且
所述圖像編碼單元將所述識別信息插入到所述NAL單元的頭部中。
(3)根據(2)所述的發送設備，
其中，所述圖像編碼單元使用所述NAL單元的所述頭部的「nuh_layer_id」欄位來插入所述識別信息。
(4)根據(2)所述的發送設備，
其中，所述圖像編碼單元使用所述NAL單元的所述頭部的「nuh_layer_id」欄位和「nuh_temporal_id_plus1」欄位插入所述識別信息。
(5)根據(1)到(4)中任一項所述的發送設備，還包括
信息插入單元，其信息插入到所述容器的層中，所述信息定義由插入到所述編碼圖像數據中的所述識別信息指示的所述編碼圖像數據的格式。
(6)根據(5)所述的發送設備，
其中，所述容器是MPEG2-TS，並且
所述信息插入單元將所述信息插入到與存在於節目映射表下的所述視頻流相對應的視頻基本流循環中。
(7)一種發送方法，包括：
圖像編碼步驟，生成包括基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流；和
發送步驟，由發送單元發送包括在所述圖像編碼步驟中生成的所述基本視頻流和所述擴展視頻流的預定格式的容器，
其中所述圖像編碼步驟包括將識別對應格式的識別信息插入到所述基本格式圖像數據的所述編碼圖像數據和所述預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中。
(8)一種接收設備，包括：
接收單元，其接收預定格式的容器，所述容器包括包含基本格式圖像數據的編碼圖像數據的基本視頻流和包括預定數量的高質量格式圖像數據中的每一個的編碼圖像數據的擴展視頻流；
其中，識別對應格式的識別信息被插入到所述基本格式圖像數據的所述編碼圖像數據中和所述預定數量的高質量格式圖像數據中的每個的所述編碼圖像數據中；和
處理單元，其基於所述識別信息和所述顯示能力信息來處理包括在所接收的容器中的所述視頻流。
(9)根據(8)所述的接收設備，
其中，所述編碼圖像數據具有NAL單元結構，並且
將所述識別信息插入到所述NAL單元的頭部中。
(10)根據(8)或(9)所述的接收設備，
其中，定義由插入到所述編碼圖像數據的所述識別信息指示的所述編碼圖像數據的格式的信息被插入到所述容器的層中，以及
所述處理單元基於插入到所述容器的層中的所述信息來檢測由插入到所述編碼圖像數據中的所述識別信息指示的所述編碼圖像數據的格式。
(11)一種發送設備，包括：
圖像編碼單元，其生成包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據的每一個的編碼圖像數據的視頻流；和
發送單元，其發送包括由所述圖像編碼單元生成的所述視頻流的預定格式的容器，
其中，所述圖像編碼單元將識別對應格式的識別信息插入到所述基本格式圖像數據的所述編碼圖像數據中和所述預定數量的高質量格式圖像數據中的每一個的所述編碼圖像數據中。
(12)根據(11)所述的發送設備，
其中，所述編碼圖像數據具有NAL單元結構，並且
所述圖像編碼單元將所述識別信息插入到所述NAL單元的頭部中。
(13)根據(12)所述的發送設備，
其中，所述圖像編碼單元使用所述NAL單元的所述頭部的「nuh_layer_id」欄位來插入所述識別信息。
(14)根據(12)所述的發送設備，
其中，所述圖像編碼單元使用所述NAL單元的所述頭部的「nuh_layer_id」欄位和「nuh_temporal_id_plus1」欄位插入所述識別信息。
(15)根據(11)到(14)所述的發送設備，還包括
信息插入單元，其信息插入到所述容器的層中，所述信息定義由插入到所述編碼圖像數據中的所述識別信息指示的所述編碼圖像數據的格式。
(16)根據(15)所述的發送設備，
其中所述容器是MPEG2-TS，並且
所述信息插入單元將所述信息插入到與存在於節目映射表下的所述視頻流相對應的視頻基本流循環中。
(17)一種發送方法，包括：
圖像編碼步驟，其生成包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據的每一個的編碼圖像數據的視頻流；和
發送步驟，由發送單元發送包括在所述圖像編碼步驟中生成的所述視頻流的預定格式的容器，
其中所述圖像編碼步驟包括將識別對應格式的識別信息插入到所述基本格式圖像數據的所述編碼圖像數據中和所述預定數量的高質量格式圖像數據中的每一個的所述編碼圖像數據中。
(18)一種接收設備，包括：
接收單元，其接收包括視頻流的預定格式的容器，所述視頻流包括基本格式圖像數據的編碼圖像數據和預定數量的高質量格式圖像數據的每個的編碼圖像數據，
其中，將識別對應格式的識別信息被插入到所述基本格式圖像數據的所述編碼圖像數據中和所述預定數量的高質量格式圖像數據中的每個的所述編碼圖像數據中；和
處理單元，其基於所述識別信息和所述顯示能力信息來處理包括在所接收的容器中的所述視頻流。
(19)根據(18)所述的接收設備，
其中，所述編碼圖像數據具有NAL單元結構，並且
將所述識別信息插入到所述NAL單元的頭部中。
(20)根據(18)或(19)所述的接收設備，
其中，定義由插入到所述編碼圖像數據的所述識別信息指示的所述編碼圖像數據的格式的信息被插入到所述容器的層中，以及
所述處理單元基於插入到所述容器的層中的所述信息來檢測由插入到所述編碼圖像數據中的所述識別信息指示的所述編碼圖像數據的格式。
本技術的主要特徵之一在於，將識別相應格式的識別信息插入到基本格式圖像數據的編碼圖像數據中和預定數量的高質量格式圖像數據中的每一個的編碼圖像數據中，並且發送所生成的數據，且因此接收側可以通過對預定的編碼圖像數據選擇性地執行解碼處理而易於根據顯示能力獲得圖像數據(參見圖10和圖11)。
10 收發系統
100 發送設備
101 控制單元
102、103 LDR光電轉換單元
104、105 HDR光電轉換單元
106 視頻編碼器
106-0、106-1,106-2、106-3 編碼單元
107 系統編碼器
108 發送單元
150 圖像數據生成單元
151 HDR相機
152、154 幀速率轉換單元
153 動態範圍轉換單元
160 編碼單元
161 層內預測單元
162 層間預測單元
163 預測調節單元
164 選擇單元
165 編碼功能單元
200 接收設備
201 控制單元
202 接收單元
203 系統解碼器
204 壓縮數據緩存器
205 視頻解碼器
205-0、205-1,205-2、205-3 解碼單元
206、207 LDR電-光轉換單元
208、209 HDR電-光轉換單元
210 顯示單元
250 解碼單元
251 解碼功能單元
252 層內預測補償單元
253 層間預測補償單元
254 預測調節單元
255 選擇單元。