圖像解碼裝置、圖像編碼裝置以及編碼數據變換裝置的製作方法
2023-09-20 21:30:15
本發明涉及對圖像以層次方式進行了編碼的層次編碼數據進行解碼的圖像解碼裝置、以及通過對圖像以層次方式進行編碼而生成層次編碼數據的圖像編碼裝置。
背景技術：
在通信系統中傳輸的信息或者在蓄積裝置中記錄的信息之一，有圖像或者運動圖像。以往，為了這些圖像(以後，包括運動圖像)的傳輸/蓄積，已知對圖像進行編碼的技術。
作為運動圖像編碼方式，已知AVC(H.264/MPEG-4高級視頻編碼(Advanced Video Coding))和作為其後繼編解碼器的HEVC(高效率的視頻編碼(High-Efficiency Video Coding))(非專利文獻1)。
在這些運動圖像編碼方式中，通常基於通過對輸入圖像進行編碼/解碼而獲得的局部解碼圖像來生成預測圖像，從輸入圖像(原圖像)減去該預測圖像而獲得的預測殘差進行編碼。作為預測圖像的生成方法，舉出畫面間預測(外部預測)以及畫面內預測(內部預測)。
在內部預測中，基於同一圖片(picture)內的局部解碼圖像，順次生成該圖片中的預測圖像。
在外部預測中，通過圖片間的運動補償來生成預測圖像。在外部預測中用於預測圖像生成的解碼完畢的圖片被稱為參照圖片。
此外，還已知通過將多個相互關聯的運動圖像分層(層次)而進行編碼，從而根據多個運動圖像來生成編碼數據的技術，被稱為層次編碼技術。通過層次編碼技術而生成的編碼數據也被稱為層次編碼數據。
作為代表性的層次編碼技術，已知以HEVC為基礎的SHVC(可分級(Scalable)HEVC)(非專利文獻2)。
在SHVC中，支持空域分級、時域分級、SNR分級。例如，在空域分級的情況下，將多個不同的解析度的運動圖像分層編碼而生成層次編碼數據。例如，將從原圖像下採樣為期望的解析度的圖像作為下位層來進行編碼。接著，為了去除層間的冗長性而對原圖像應用層間預測的基礎上，作為上位層來進行編碼。
作為其他的代表性的層次編碼技術，已知以HEVC為基礎的MV-HEVC(多視圖(Multi View)HEVC)。在MV-HEVC中，支持視圖分級。在視圖分級中，將與多個不同的視點(視圖)對應的運動圖像分層編碼而生成層次編碼數據。例如，將與成為基本的視點(基礎視圖)對應的運動圖像作為下位層來進行編碼。接著，在對與不同的視點對應的運動圖像應用層間預測的基礎上，作為上位層來進行編碼。
在SHVC或MV-HEVC中的層間預測中，有層間圖像預測和層間運動預測。在層間圖像預測中，利用下位層的解碼圖像來生成預測圖像。在層間運動預測中，利用下位層的運動信息來導出運動信息的預測值。在層間預測中，用於預測的圖片被稱為層間參照圖片。此外，包括層間參照圖片的層被稱為參照層。另外，以下，將用於外部預測的參照圖片和用於層間預測的參照圖片總的簡單稱為參照圖片。
在層間圖像預測中，包括導出與上位層上的預測對象像素的位置對應的下位層上的像素位置的參照像素位置導出處理、和導出相當於對下位層的圖片應用的放大處理中的放大率的標度的標度導出處理。
在SHVC或MV-HEVC中，在預測圖像的生成中，能夠利用外部預測、內部預測、層間圖像預測中的任一個。
利用SHVC或MV-HEVC的應用之一，有考慮了關注區域的影像應用。例如，在影像再現終端中，通常以比較低解析度來再現全區域的影像。在影像再現終端的視聽者將所顯示的影像的一部分指定作為關注區域的情況下，該關注區域以高解析度來顯示在再現終端中。
如上所述的考慮了關注區域的影像應用能夠使用層次編碼數據來實現，該層次編碼數據將全區域的比較低解析度的影像作為下位層的編碼數據、將關注區域的高解析度影像作為上位層的編碼數據來進行了編碼。即，通過在再現全區域的情況下，只解碼下位層的編碼數據而再現，在再現關注區域的高解析度影像的情況下，將上位層的編碼數據追加到所述下位層的編碼數據而傳輸，從而能夠以比傳輸對於低解析度影像的編碼數據和對於高解析度影像的編碼數據的雙方時少的傳輸頻帶來實現所述應用。此時，通過將與包括關注區域的區域對應的編碼數據從上位層以及下位層分別提取而傳輸，從而能夠進一步抑制傳輸頻帶。
在如上所述的考慮了關注區域的影像應用中，生成包括關注區域的上位層以及下位層的編碼數據的情況下，上位層的像素和下位層的像素的位置關係發生變化，其結果，存在在預測基於下位層的像素值的上位層的像素值時的預測的準確度降低的課題。
在非專利文獻3中，公開了如下方法：通過傳輸表示下位層上的替代圖片的位置的追加信息，並使用該追加信息來計算參照像素位置或標度，即使是從層次編碼數據提取了相當於關注區域的部分數據的情況下，也實現參照像素位置(對應參照位置)或標度的提取前後的一致。
現有技術文獻
非專利文獻
[非專利文獻1]「Recommendation H.265(04/13)」,ITU-T(2013年6月7日公開)
[非專利文獻2]JCTVC-Q1008_v1「Preliminary version of High efficiency video coding(HEVC)scalable extension Draft 6」,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting:Valencia,ES,27 March-4April 2014(2014年4月15日公開)
[非專利文獻3]JCTVC-Q0159「AHG 13:Sub-region extraction-position calculation and comparison of different approaches」,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting:Valencia,ES,27 March-4April 2014(2014年3月18日公開)
技術實現要素：
發明要解決的課題
但是，在非專利文獻3中公開的方式中，存在如下課題：為了將用於實現相當於關注區域的部分數據提取時的參照像素位置或標度維持的追加數據進行編碼或者解碼，需要將追加的語法元素多次導入。因此，在圖像解碼裝置以及圖像編碼裝置中，追加需要用於處理該追加語法元素的處理，存在導致解碼/編碼處理的處理量或電路規模的增大的課題。
本發明是鑑於上述問題而完成的，其目的在於，實現一種圖像編碼裝置以及圖像解碼裝置，其能夠使用比現有技術少的追加語法元素，實現相當於關注區域的部分數據提取時的參照像素位置或標度維持。即，實現一種圖像編碼裝置以及圖像解碼裝置，其能夠通過比以往少的處理量以及小的電路規模來進行編碼或者解碼處理，實現相當於關注區域的部分數據提取時的參照像素位置或標度維持。
用於解決課題的手段
為了解決上述課題，本發明的圖像編碼裝置是，一種圖像解碼裝置，對進行了層次編碼的編碼數據進行解碼，復原作為對象層的上位層的解碼圖片，其特徵在於，包括：參數集解碼部，對參數集進行解碼；以及預測圖像生成部，參照參照層圖片的解碼像素，通過層間預測來生成預測圖像，所述參數集解碼部對參照區域信息進行解碼，所述預測圖像生成部根據在所述參照區域信息中包含的參照區域位置信息來導出對象層參照區域位置以及參照層參照區域位置，使用所述參照區域位置以及所述參照層參照區域位置來導出在層間預測中使用的標度以及對應參照位置的至少一方。
此外，優選在上述圖像解碼裝置中，所述參照區域位置信息是參照區域偏移量信息，所述對象層參照區域位置是對象層參照區域偏移量，所述參照層參照區域位置是參照層對象區域偏移量。
此外，優選在上述圖像解碼裝置中，所述參照區域位置信息是將第一層識別信息和第二層識別信息設為索引的二維的排列變量，所述第一層識別信息是確定參照區域存在的層的信息，所述第二層識別信息是確定層間處理對象層的信息，所述預測圖像生成部在執行對象層和參照層之間的層間預測時，使用將表示所述對象層的所述第一層識別信息和表示所述參照層的所述第二層識別信息設為索引的所述參照區域位置信息來設定所述對象層參照區域位置，使用將表示所述參照層的所述第一層識別信息和表示所述對象層的所述第二層識別信息設為索引的所述參照區域位置信息來設定所述參照層參照區域位置。
此外，優選在上述圖像解碼裝置中，所述第一層識別信息是直接或者間接地指定參照區域存在的層的VPS內索引的信息，所述第二層識別信息是直接或者間接地指定層間處理對象層的VPS內索引的信息，所述預測圖像生成部在對於VPS內索引的值為C的所述對象層執行層間預測時，使用將表示VPS內索引C的所述第一層識別信息和表示小於C的VPS內索引R的所述第二層識別信息設為索引的所述參照區域位置信息來設定所述對象層參照區域位置，使用將表示所述VPS內索引R的所述第一層識別信息和表示VPS內索引C的所述第二層識別信息設為索引的所述參照區域位置信息來設定所述參照層參照區域位置。
此外，優選在上述圖像解碼裝置中，所述參照區域位置信息是將第一層識別信息和第二層識別信息設為索引的二維的排列變量，所述第一層識別信息是確定參照區域存在的層的信息，所述第二層識別信息是確定層間處理對象層的信息，所述預測圖像生成部在執行對象層和參照層之間的層間預測時，使用將表示所述對象層的所述第一層識別信息和表示所述參照層的所述第二層識別信息設為索引的所述參照區域位置信息來設定所述對象層參照區域位置，使用將表示所述對象層的所述第一層識別信息和表示所述對象層的所述第二層識別信息設為索引的所述參照區域位置信息來設定所述參照層參照區域位置。
此外，優選在上述圖像解碼裝置中，所述參數集解碼部對參照區域對象選擇信息進行解碼，根據該參照區域對象選擇信息來導出第一層識別信息和第二層識別信息，且將上述第一層識別信息和上述第二層識別信息的組合與上述參照區域位置信息相關聯而記錄，所述預測圖像生成部在執行對象層和參照層之間的層間預測時，使用與表示所述對象層的所述第一層識別信息和表示所述參照層的所述第二層識別信息的組合相關聯而記錄的所述參照區域位置信息來設定所述對象層參照區域位置，使用與表示參照層的所述第一層識別信息和表示對象層的所述第二層識別信息相關聯而記錄的所述參照區域位置信息來設定所述參照層參照區域位置。
此外，優選在上述圖像解碼裝置中，所述參數集解碼部對對象層和參照層的顯示區域信息進行解碼，所述預測圖像生成部在執行對象層和參照層之間的層間預測時，在不存在將表示所述對象層的所述第一層識別信息和表示所述參照層的所述第二層識別信息設為索引的所述參照區域位置信息的情況下，將對象層的所述顯示區域信息表示的顯示區域位置設定作為所述對象層參照區域位置，在不存在將表示參照層的所述第一層識別信息和表示對象層的所述第二層識別信息設為索引的所述參照區域位置信息的情況下，將參照層的所述顯示區域信息表示的顯示區域設定作為所述參照層參照區域位置。
此外，優選在上述圖像解碼裝置中，所述預測圖像生成部導出所述標度，來作為所述對象層參照區域位置表示的參照區域尺寸和所述參照層參照區域位置表示的參照區域尺寸之比或者將比近似的值。
為了解決上述課題，本發明的圖像編碼裝置是，一種圖像編碼裝置，根據輸入圖像來生成作為對象層的上位層的編碼數據，其特徵在於，包括：參數集編碼部，對參數集進行編碼；以及預測圖像生成部，參照參照層圖片的解碼像素，通過層間預測來生成預測圖像，所述參數集編碼部對參照區域信息進行編碼，所述預測圖像生成部根據在所述參照區域信息中包含的參照區域位置信息導出對象層參照區域位置以及參照層參照區域位置，使用所述參照區域位置以及所述參照層參照區域位置來導出在層間預測中使用的標度以及對應參照位置的至少一方。
為了解決上述課題，本發明的編碼數據變換裝置是，一種層次編碼數據變換裝置，包括參數集修正部，該參數集修正部基於輸入的關注區域信息來變換所輸入的層次編碼數據，生成關注區域層次編碼數據而輸出，其特徵在於，所述參數集修正部以根據層次編碼數據來導出的對象層參照區域位置以及參照層參照區域位置分別在變換前後一致的方式，修正參照區域位置信息。
為了解決上述課題，本發明的圖像編碼裝置是，一種圖像解碼裝置，對進行了層次編碼的編碼數據進行解碼，復原作為對象層的上位層的解碼圖片，其特徵在於，包括：參數集解碼部，對參數集進行解碼；以及預測圖像生成部，參照參照層圖片的解碼像素，通過層間預測來生成預測圖像，所述參數集解碼部對層間位置對應信息進行解碼，所述層間位置對應信息包括與參照層分別相關聯的放大參照層偏移量語法、參照層偏移量語法以及層間相位偏移量語法，所述參數集解碼部對表示特定的參照層的第一參照層識別符進行解碼，根據編碼數據來連續對與所述第一參照層識別符相關聯的所述放大參照層偏移量語法、與所述第一參照層識別符相關聯的所述參照層偏移量語法以及與所述第一參照層識別符相關聯的層間相位偏移量語法進行解碼，所述預測圖像生成部在生成使用預定的參照層時的預測圖像的情況下，使用與該參照層相關聯的所述放大參照層偏移量語法、所述參照層偏移量語法以及所述層間相位偏移量語法，導出在層間預測中使用的標度以及對應參照位置的至少一方。
此外，在上述圖像解碼裝置中，其特徵在於，所述層間位置對應信息包括與特定的參照層相關聯的參照層偏移量信息存在與否標記，所述預測圖像生成部根據所述參照層偏移量信息存在與否標記的值，對與該參照層偏移量相關聯的參照層有關的參照層偏移量語法進行解碼。
此外，在上述圖像解碼裝置中，其特徵在於，所述層間位置對應信息包括與特定的參照層相關聯的層間相位偏移量信息存在與否標記，所述預測圖像生成部根據所述層間相位偏移量信息存在與否標記的值，對該參照層偏移量相關聯的層間相位偏移量語法進行解碼。
此外，在上述圖像解碼裝置中，其特徵在於，所述層間位置對應信息包括與特定的參照層相關聯的層偏移量信息存在與否標記，所述預測圖像生成部根據所述層偏移量信息存在與否標記的值，對該參照層偏移量相關聯的放大參照層偏移量語法以及參照層偏移量語法進行解碼。
發明效果
本發明的圖像解碼裝置(圖像編碼裝置)包括：參數集解碼部，對包括參照區域位置信息的參數集進行解碼；以及預測圖像生成部，參照根據參照區域位置信息來導出的對象層參照區域位置以及參照層參照區域位置，導出層間預測中的標度或對應參照位置。
因此，本發明的圖像解碼裝置(圖像編碼裝置)能夠通過比以往少的處理量以及小的規模的電路的解碼處理(編碼處理)，實現在相當於關注區域的部分數據提取時的對應參照位置或標度的維持。
附圖說明
圖1是在本實施方式的層次運動圖像解碼裝置以及層次運動圖像編碼裝置中執行的對應參照位置導出處理的流程圖。
圖2是用於說明本發明的實施方式的層次編碼數據的層結構的圖，(a)表示層次運動圖像編碼裝置側，(b)表示層次運動圖像解碼裝置側。
圖3是用於說明本發明的實施方式的層次編碼數據的結構的圖，(a)表示規定序列SEQ的序列層，(b)表示規定圖片PICT的圖片層，(c)表示規定條帶S的條帶層，(d)表示規定編碼樹單元CTU的CTU層，(e)表示規定在編碼樹單元CTU中包含的編碼單位(CodingUnit；CU)的CU層。
圖4是說明本發明的實施方式的層次編碼數據中的圖片和瓦片(tile)/條帶(slice)的關係的圖，(a)例示將圖片通過瓦片/條帶而分割時的分割區域，(b)例示編碼數據的結構中的瓦片和條帶的關係。
圖5是表示上述層次運動圖像解碼裝置的概略結構的功能塊圖。
圖6是例示在上述層次運動圖像解碼裝置中包含的基礎解碼部的結構的功能塊圖。
圖7是例示作為圖片內的部分區域的顯示區域和顯示區域位置信息的關係的圖。
圖8是例示對象層圖片、對象層參照區域、參照層圖片、參照層參照區域與參照區域偏移量的關係的圖。
圖9是在VPS擴展的解碼時參照的語法表的一部分，且是有關參照區域信息所涉及的語法的部分。
圖10是在SPS擴展的解碼時參照的語法表的一部分，且是有關參照區域信息所涉及的語法的部分。
圖11是在SPS擴展的解碼時參照的語法表的一部分，且是有關參照區域信息所涉及的語法的部分的其他例。
圖12是在SPS擴展的解碼時參照的語法表的一部分，且是有關顯示區域利用控制標記的部分的例。
圖13是例示在上述層次運動圖像解碼裝置中包含的條帶解碼部的結構的功能塊圖。
圖14是表示本發明的一實施方式的層次運動圖像編碼裝置的概略結構的功能塊圖。
圖15是例示在上述層次運動圖像編碼裝置中包含的條帶編碼部的結構的功能塊圖。
圖16是表示了本發明的一實施方式的層次編碼數據變換裝置的概略結構的功能塊圖。
圖17是例示了變換前後的層次編碼數據中的圖片、關注區域以及瓦片的關係的圖。
圖18是表示了由上述層次運動圖像解碼裝置、層次運動圖像編碼裝置以及層次編碼數據變換裝置的組合來實現的關注區域顯示系統的結構的框圖。
圖19是表示搭載了上述層次運動圖像編碼裝置的發送裝置以及搭載了上述層次運動圖像解碼裝置的接收裝置的結構的圖。(a)表示搭載了層次運動圖像編碼裝置的發送裝置，(b)表示搭載了層次運動圖像解碼裝置的接收裝置。
圖20是表示搭載了上述層次運動圖像編碼裝置的記錄裝置以及搭載了上述層次運動圖像解碼裝置的再現裝置的結構的圖。(a)表示搭載了層次運動圖像編碼裝置的記錄裝置，(b)表示搭載了層次運動圖像解碼裝置的再現裝置。
圖21是例示對象層圖片、對象層對應區域、參照層圖片、參照層對象區域與放大參照層偏移量的關係的圖。
圖22是在PPS擴展的解碼時參照的語法表的一部分，且是有關層間位置對應信息所涉及的語法的部分。
圖23是在PPS擴展的解碼時參照的語法表的一部分的其他例，且是有關層間位置對應信息所涉及的語法的部分。
圖24是在PPS擴展的解碼時參照的語法表的一部分的其他例，且是有關層間位置對應信息所涉及的語法的部分。
具體實施方式
基於圖1～圖20，說明本發明的一實施方式的層次運動圖像解碼裝置1、層次運動圖像編碼裝置2以及編碼數據變換裝置3，則如下所述。
〔概要〕
本實施方式的層次運動圖像解碼裝置(圖像解碼裝置)1對通過層次運動圖像編碼裝置(圖像編碼裝置)2進行了層次編碼的編碼數據進行解碼。層次編碼是，將運動圖像從低質量的圖像到高質量的圖像層次性地編碼的編碼方式。層次編碼例如在SVC或SHVC中進行標準化。另外，這裡所稱的運動圖像的質量廣泛地意味著對主觀性以及客觀性的運動圖像的美觀產生影響的元素。在運動圖像的質量中，例如包括「解析度」、「幀頻」、「畫質」以及「像素的表現精度」。因此，以下，若說運動圖像的質量不同，則例示性地指「解析度」等不同，但並不限定於此。例如，在通過不同的量化步長而被量化的運動圖像的情況下(即，在通過不同的編碼噪聲而被編碼的運動圖像的情況下)，也可以說運動圖像的質量互相不同。
從被層次化的信息的種類的觀點出發，層次編碼技術有時也被分類為(1)空域分級、(2)時域分級、(3)SNR(Signal to Noise Ratio，信號對噪聲比)分級性以及(4)視圖分級。空域分級是，在解析度或圖像的尺寸上進行層次化的技術。時域分級是，在幀頻(單位時間的幀數)上進行層次化的技術。此外，SNR分級是，在編碼噪聲上進行層次化的技術。此外，視圖分級是，在與各圖像相對應的視點位置上進行層次化的技術。
此外，本實施方式的編碼數據變換裝置3將通過層次運動圖像編碼裝置2進行了層次編碼的編碼數據進行變換，生成與預定的關注區域有關的編碼數據(關注區域編碼數據)。關注區域編碼數據能夠在本實施方式的層次運動圖像解碼裝置1中進行解碼。
在本實施方式的層次運動圖像編碼裝置2、層次運動圖像解碼裝置1以及層次編碼數據變換裝置3的詳細的說明之前，首先說明(1)由層次運動圖像編碼裝置2或者層次編碼數據變換裝置3生成且由層次運動圖像解碼裝置1進行解碼的層次編碼數據的層結構，接著，說明(2)能夠在各層中採用的數據結構的具體例。
〔層次編碼數據的層結構〕
這裡，使用圖2說明層次編碼數據的編碼以及解碼，則如下所述。圖2是示意性地表示通過下位層次L3、中位層次L2以及上位層次L1的3個層次對運動圖像層次性地編碼/解碼的情況的圖。即，在圖2(a)以及(b)所示的例中，在3個層次中，上位層次L1成為最上位層，下位層次L3成為最下位層。
以下，與能夠從層次編碼數據進行解碼的特定的質量對應的解碼圖像被稱為特定的層次的解碼圖像(或者，與特定的層次對應的解碼圖像)(例如，上位層次L1的解碼圖像POUT#A)。
圖2(a)表示將輸入圖像PIN#A～PIN#C分別層次性地編碼而生成編碼數據DATA#A～DATA#C的層次運動圖像編碼裝置2#A～2#C。圖2(b)表示將層次性地編碼的編碼數據DATA#A～DATA#C分別進行解碼而生成解碼圖像POUT#A～POUT#C的層次運動圖像解碼裝置1#A～1#C。
首先，使用圖2(a)說明編碼裝置側。成為編碼裝置側的輸入的輸入圖像PIN#A、PIN#B以及PIN#C雖然原畫相同，但圖像的質量(解析度、幀頻以及畫質等)不同。圖像的質量按照輸入圖像PIN#A、PIN#B以及PIN#C的順序降低。
下位層次L3的層次運動圖像編碼裝置2#C對下位層次L3的輸入圖像PIN#C進行編碼而生成下位層次L3的編碼數據DATA#C。包括用於對下位層次L3的解碼圖像POUT#C進行解碼所需的基本信息(圖2中由「C」表示)。由於下位層次L3是最下層的層次，所以下位層次L3的編碼數據DATA#C也被稱為基本編碼數據。
此外，中位層次L2的層次運動圖像編碼裝置2#B一邊參照下位層次的編碼數據DATA#C一邊對中位層次L2的輸入圖像PIN#B進行編碼而生成中位層次L2的編碼數據DATA#B。在中位層次L2的編碼數據DATA#B中，除了在編碼數據DATA#C中包含的基本信息「C」之外，還包括用於對中位層次的解碼圖像POUT#B進行解碼所需的附加的信息(圖2中由「B」表示)。
此外，上位層次L1的層次運動圖像編碼裝置2#A一邊參照中位層次L2的編碼數據DATA#B一邊對上位層次L1的輸入圖像PIN#A進行編碼而生成上位層次L1的編碼數據DATA#A。在上位層次L1的編碼數據DATA#A中，除了用於對下位層次L3的解碼圖像POUT#C進行解碼所需的基本信息「C」以及用於對中位層次L2的解碼圖像POUT#B進行解碼所需的附加的信息「B」之外，還包括用於對上位層次的解碼圖像POUT#A進行解碼所需的附加的信息(圖2中由「A」表示)。
這樣，上位層次L1的編碼數據DATA#A包括與不同的多個質量的解碼圖像有關的信息。
接著，參照圖2(b)說明解碼裝置側。在解碼裝置側中，與上位層次L1、中位層次L2以及下位層次L3的各個層次對應的解碼裝置1#A、1#B以及1#C對編碼數據DATA#A、DATA#B以及DATA#C進行解碼而輸出解碼圖像POUT#A、POUT#B以及POUT#C。
另外，也能夠提取上位的層次編碼數據的一部分信息，通過在較下位的特定的解碼裝置中，對該提取出的信息進行解碼，從而再現特定的質量的運動圖像。
例如，中位層次L2的層次運動圖像解碼裝置1#B也可以從上位層次L1的層次編碼數據DATA#A中，提取用於對解碼圖像POUT#B進行解碼所需的信息(即，在層次編碼數據DATA#A中包含的「B」以及「C」)，對解碼圖像POUT#B進行解碼。換言之，在解碼裝置側中，能夠基於在上位層次L1的層次編碼數據DATA#A中包含的信息，對解碼圖像POUT#A、POUT#B以及POUT#C進行解碼。
另外，並不限定於以上的3個層次的層次編碼數據，層次編碼數據也可以通過2個層次進行層次編碼，也可以通過多於3個層次的層次數進行層次編碼。
此外，也可以如下構成層次編碼數據：將與特定的層次的解碼圖像有關的編碼數據的一部分或者全部，與其他的層次獨立地編碼，在特定的層次的解碼時，也可以不參照其他的層次的信息。例如，在使用了圖2(a)以及(b)的上述的例中，說明了在解碼圖像POUT#B的解碼中參照「C」以及「B」，但並不限定於此。也能夠如下構成層次編碼數據：解碼圖像POUT#B能夠只使用「B」進行解碼。例如，還能夠構成將在解碼圖像POUT#B的解碼中只由「B」構成的層次編碼數據和解碼圖像POUT#C作為輸入的層次運動圖像解碼裝置。
另外，在實現SNR分級的情況下，也能夠以在作為輸入圖像PIN#A、PIN#B以及PIN#C而使用了同一個原畫的基礎上，解碼圖像POUT#A、POUT#B以及POUT#C成為不同的畫質的方式生成層次編碼數據。此時，與上位層次的層次運動圖像編碼裝置相比，下位層次的層次運動圖像編碼裝置通過使用更大的量化步長對預測殘差進行量化，從而生成層次編碼數據。
在本說明書中，為了便於說明，如下定義用語。只要沒有特別提及，則以下的用語用於表示下述的技術事項。
上位層：將比某層次位於更上位的層次稱為上位層。例如，在圖2中，下位層次L3的上位層是中位層次L2以及上位層次L1。此外，上位層的解碼圖像是指，質量更高(例如，解析度更高、幀頻更高、畫質更高等)的解碼圖像。
下位層：將比某層次位於更下位的層次稱為下位層。例如，在圖2中，上位層次L1的下位層是中位層次L2以及下位層次L3。此外，下位層的解碼圖像是指，質量更低的解碼圖像。
對象層：是指成為解碼或者編碼的對象的層次。另外，將與對象層對應的解碼圖像稱為對象層圖片。此外，將構成對象層圖片的像素稱為對象層像素。
參照層(reference layer)：將在對與對象層對應的解碼圖像進行解碼時參照的特定的下位層稱為參照層。另外，將與參照層對應的解碼圖像稱為參照層圖片。此外，將構成參照層的像素稱為參照層像素。
在如圖2(a)以及(b)所示的例中，上位層次L1的參照層是中位層次L2以及下位層次L3。但是，並不限定於此，也能夠如下構成層次編碼數據：在特定的上述層的解碼中，也可以不參照下位層的全部。例如，也能夠如下構成層次編碼數據：上位層次L1的參照層成為中位層次L2以及下位層次L3中的任一個。
基本層(基礎層(base layer))：將位於最下層的層次稱為基本層。基本層的解碼圖像是能夠從編碼數據進行解碼的質量最低的解碼圖像，被稱為基本解碼圖像。換言之，基本解碼圖像是與最下層的層次對應的解碼圖像。基本解碼圖像的解碼所需的層次編碼數據的部分編碼數據被稱為基本編碼數據。例如，在上位層次L1的層次編碼數據DATA#A中包含的基本信息「C」是基本編碼數據。
擴展層：基本層的上位層被稱為擴展層。
層識別符：層識別符是用於識別層次的識別符，與層次1對1對應。在層次編碼數據中，包括用於選擇特定的層次的解碼圖像的解碼所需的部分編碼數據而使用的層次識別符。與對應於特定的層的層識別符相關聯的層次編碼數據的部分集合也被稱為層表現。
一般，在特定的層次的解碼圖像的解碼中，使用該層次的層表現和/或與該層次的下位層對應的層表現。即，在對象層的解碼圖像的解碼中，使用對象層的層表現和/或在對象層的下位層中包含的1個以上層次的層表現。
層間預測：層間預測是，基於在與對象層的層表現不同的層次(參照層)的層表現中包含的語法元素值、通過語法元素值而導出的值以及解碼圖像，預測對象層的語法元素值或在對象層的解碼中使用的編碼參數等。有時也將根據參照層的信息來預測與運動預測有關的信息的層間預測稱為運動信息預測。此外，有時也將根據下位層的解碼圖像來預測的層間預測稱為層間圖像預測(或者層間紋理預測)。另外，在層間預測中使用的層次，例示性地是對象層的下位層。此外，有時也將不使用參照層而在對象層內進行預測稱為層內預測。
另外，以上的用語到底是為了便於說明的，也可以由其他的用語來表現上述的技術事項。
〔關於層次編碼數據的數據結構〕
以下，例示作為生成各層次的編碼數據的編碼方式，使用HEVC及其擴展方式的情況。但是，並不限定於此，也可以通過MPEG-2或H.264/AVC等的編碼方式來生成各層次的編碼數據。
此外，下位層和上位層也可以通過不同的編碼方式來進行編碼。此外，各層次的編碼數據也可以經由相互不同的傳輸路徑而提供給層次運動圖像解碼裝置1，也可以經由相同的傳輸路徑而提供給層次運動圖像解碼裝置1。
例如，也可以在將超高清影像(運動圖像、4K影像數據)通過基本層以及1個擴展層進行可分級編碼而傳輸的情況下，基本層通過MPEG-2或者H.264/AVC對將4K影像數據進行縮放(down scaling)、交織化的影像數據進行編碼並通過電視廣播網而傳輸，擴展層通過HEVC對4K影像(漸進式)進行編碼並通過網際網路而傳輸。
(基本層)
圖3是例示在基本層中能夠採用的編碼數據(若以圖2的例來說，則層次編碼數據DATA#C)的數據結構的圖。層次編碼數據DATA#C例示性地包括序列以及構成序列的多個圖片。
圖3表示層次編碼數據DATA#C中的數據的層次結構。圖3的(a)～(e)是分別表示規定序列SEQ的序列層、規定圖片PICT的圖片層、規定條帶S的條帶層、規定編碼樹單元(Coding Tree Unit；CTU)的CTU層、規定在編碼樹單元CTU中包含的編碼單位(Coding Unit；CU)的CU層的圖。
(序列層)
在序列層中，規定有為了對處理對象的序列SEQ(以下，也稱為對象序列)進行解碼而層次運動圖像解碼裝置1參照的數據的集合。如圖3的(a)所示，序列SEQ包括視頻參數集VPS(Video Parameter Set)、序列參數集SPS(Sequence Parameter Set)、圖片參數集PPS(Picture Parameter Set)、圖片PICT1～PICTNP(NP為在序列SEQ中包含的圖片的總數)以及附加擴展信息SEI(Supplemental Enhancement Information)。
在視頻參數集VPS中，規定有在編碼數據中包含的層數、層間的依賴關係。
在序列參數集SPS中，規定有為了對對象序列進行解碼而層次運動圖像解碼裝置1參照的編碼參數的集合。SPS也可以在編碼數據內存在多個。此時，按每個對象序列從多個候選中選擇用於解碼的SPS。在特定序列的解碼中使用的SPS也被稱為有效SPS。以下，只要沒有特別說明，則意味著對於對象序列的有效SPS。
在圖片參數集PPS中，規定有為了對對象序列內的各圖片進行解碼而層次運動圖像解碼裝置1參照的編碼參數的集合。另外，PPS也可以在編碼數據內存在多個。此時，從對象序列內的各圖片中選擇多個PPS中的任一個。在特定圖片的解碼中使用的PPS也被稱為有效PPS。以下，只要沒有特別說明，則PPS意味著對於對象圖片的有效PPS。另外，有效SPS以及有效PPS也可以按每個層設定為不同的SPS或PPS。
(圖片層)
在圖片層中，規定有為了對處理對象的圖片PICT(以下，也稱為對象圖片)進行解碼而層次運動圖像解碼裝置1參照的數據的集合。如圖3的(b)所示，圖片PICT包括條帶頭SH1～SHNS以及條帶S1～SNS(NS是在圖片PICT中包含的條帶的總數)。
另外，以下，在不需要區分條帶頭SH1～SHNS或條帶S1～SNS的每個的情況下，有時省略標記的下標而記載。此外，關於在以下說明的層次編碼數據DATA#C中包含且標上下標的其他的數據，也是同樣的。
在條帶頭SHk中，包括為了決定對應的條帶Sk的解碼方法而層次運動圖像解碼裝置1參照的編碼參數群。例如，包括指定SPS的SPS識別符(seq_parameter_set_id)或指定PPS的PPS識別符(pic_parameter_set_id)。此外，指定條帶類型的條帶類型指定信息(slice_type)是在條帶頭SH中包含的編碼參數的一例。
作為能夠由條帶類型指定信息指定的條帶類型，舉出(1)在編碼時只使用內部預測的I條帶、(2)在編碼時使用單向預測或者內部預測的P條帶、(3)在編碼時使用單向預測、雙向預測或者內部預測的B條帶等。
(條帶層)
在條帶層中，規定有為了對處理對象的條帶S(也稱為對象條帶)進行解碼而層次運動圖像解碼裝置1參照的數據的集合。如圖3的(c)所示，條帶S包括編碼樹單元CTU1～CTUNC(NC是在條帶S中包含的CTU的總數)。
(CTU層)
在CTU層中，規定有為了對處理對象的編碼樹單元CTU(以下，也稱為對象CTU)進行解碼而層次運動圖像解碼裝置1參照的數據的集合。另外，有時也將編碼樹單元稱為編碼樹塊(CTB:Coding Tree block)或者最大編碼單位(LCU:Largest Cording Unit)。
編碼樹單元CTU包括CTU頭CTUH、編碼單位信息CU1～CUNL(NL是在CTU中包含的編碼單位信息的總數)。這裡，首先，若說明編碼樹單元CTU和編碼單位信息CU的關係，則如下所述。
編碼樹單元CTU分割為用於確定為了進行內部預測或者外部預測以及變換的各處理的塊尺寸的單位。
編碼樹單元CTU的上述單位通過遞歸的4叉樹分割而被分割。以下，將通過該遞歸的4叉樹分割而獲得的樹結構稱為編碼樹(coding tree)。
以下，將與作為編碼樹的末端的節點的葉(leaf)對應的單位作為編碼節點(coding node)而參照。此外，由於編碼節點成為編碼處理的基本的單位，所以以下也將編碼節點稱為編碼單位(CU)。
即，編碼單位信息(以下，稱為CU信息)CU1～CUNL是與將編碼樹單元CTU遞歸性地進行4叉樹分割而獲得的各編碼節點(編碼單位)對應的信息。
此外，編碼樹的根(root)與編碼樹單元CTU相對應。換言之，編碼樹單元CTU與將多個編碼節點遞歸性地包括的4叉樹分割的樹結構的最上位節點相對應。
另外，各編碼節點的尺寸的縱橫都是成為該編碼節點的父節點的編碼節點(即，該編碼節點的上位1個層次的節點)的尺寸的一半。
此外，編碼樹單元CTU的尺寸以及各編碼單元可取的尺寸，依賴於在序列參數集SPS中包含的最小編碼節點的尺寸指定信息以及最大編碼節點和最小編碼節點的層次深度的差分。例如，在最小編碼節點的尺寸為8×8像素且最大編碼節點和最小編碼節點的層次深度的差分為3的情況下，編碼樹單元CTU的尺寸為64×64像素，編碼節點的尺寸可取4種尺寸、即64×64像素、32×32像素、16×16像素以及8×8像素中的任一個。
(CTU頭)
在CTU頭CTUH中，包括為了決定對象CTU的解碼方法而層次運動圖像解碼裝置1參照的編碼參數。具體而言，如圖3的(d)所示，包括指定對象CTU至各CU的分割模式的CTU分割信息SP＿CTU以及指定量化步長的大小的量化參數差分Δqp(qp_delta)。
CTU分割信息SP＿CTU是表示用於分割CTU的編碼樹的信息，具體而言，是指定在對象CTU中包含的各CU的形狀、尺寸以及在對象CTU內的位置的信息。
另外，CTU分割信息SP＿CTU也可以不明示地包括CU的形狀或尺寸。例如，CTU分割信息SP＿CTU也可以是表示是否將對象CTU整體或者CTU的部分區域進行四分割的標記的集合。此時，通過並用CTU的形狀或尺寸，能夠確定各CU的形狀或尺寸。
(CU層)
在CU層中，規定有為了對處理對象的CU(以下，也稱為對象CU)進行解碼而層次運動圖像解碼裝置1參照的數據的集合。
這裡，在說明在CU信息CU中包含的數據的具體的內容之前，說明在CU中包含的數據的樹結構。編碼節點成為預測樹(prediction tree；PT)以及變換樹(transform tree；TT)的根的節點。若說明預測樹以及變換樹，則如下所述。
在預測樹中，編碼節點分割為一個或者多個預測塊，且規定有各預測塊的位置和尺寸。換言之，預測塊是構成編碼節點的一個或者多個不重複的區域。此外，預測樹包括通過上述的分割而獲得的一個或者多個預測塊。
預測處理對該每個預測塊進行。以下，也將作為預測的單位的預測塊稱為預測單位(prediction unit；PU)。
預測樹中的分割(以下，簡稱為PU分割)的種類大致有內部預測的情況和外部預測的情況的兩種。
在內部預測的情況下，分割方法有2N×2N(與編碼節點相同的尺寸)和N×N。此外，在外部預測的情況下，分割方法有2N×2N(與編碼節點相同的尺寸)、2N×N、2N×nU、2N×nD、N×2N、nL×2N以及nR×2N等。
此外，在變換樹中，編碼節點分割為一個或者多個變換塊，且規定有各變換塊的位置和尺寸。換言之，變換塊是構成編碼節點的一個或者多個不重複的區域。此外，變換樹包括通過上述的分割而獲得的一個或者多個變換塊。
在變換樹中的分割中，有將與編碼節點相同的尺寸的區域作為變換塊而分配的分割、以及與上述的樹塊的分割相同的遞歸的4叉樹分割的分割。
變換處理對該每個變換塊進行。以下，也將作為變換的單位的變換塊稱為變換單位(transform unit；TU)。
(CU信息的數據結構)
接著，參照圖3(e)說明在CU信息CU中包含的數據的具體的內容。如圖3(e)所示，CU信息CU具體包括跳過標記SKIP、預測樹信息(以下，簡稱為PT信息)PTI以及變換樹信息(以下，簡稱為TT信息)TTI。
跳過標記SKIP是表示是否對對象的PU應用跳過模式的標記，在跳過標記SKIP的值為1的情況下，即在對對象CU應用跳過模式的情況下，該CU信息CU中的PT信息PTI的一部分以及TT信息TTI被省略。另外，跳過標記SKIP在I條帶中被省略。
[PT信息]
PT信息PTI是與在CU中包含的預測樹(以下，簡稱為PT)有關的信息。換言之，PT信息PTI是與在PT中包含的一個或者多個PU的各個有關的信息的集合，在由層次運動圖像解碼裝置1生成預測圖像時參照。如圖3(e)所示，PT信息PTI包括預測類型信息PType以及預測信息PInfo。
預測類型信息PType是指定關於對象PU的預測圖像生成方法的信息。在基礎層中為指定是使用內部預測還是使用外部預測的信息。
預測信息PInfo是在由預測類型信息PType指定的預測方法中使用的預測信息。在基礎層中，在內部預測的情況下，包括內部預測信息PP_Intra。此外，在外部預測的情況下，包括外部預測信息PP_Inter。
外部預測信息PP＿Inter包括在層次運動圖像解碼裝置1通過外部預測而生成外部預測圖像時參照的預測信息。更具體而言，外部預測信息PP＿Inter包括指定對象CU至各外部PU的分割模式的外部PU分割信息以及關於各外部PU的外部預測參數(運動補償參數)。作為外部預測參數，例如包括合併標記(merge_flag)、合併索引(merge_idx)、估計運動矢量索引(mvp_idx)、參照圖片索引(ref_idx)、外部預測標記(inter_pred_flag)以及運動矢量殘差(mvd)。
內部預測信息PP＿Intra包括在層次運動圖像解碼裝置1通過內部預測而生成內部預測圖像時參照的編碼參數。更具體而言，在內部預測信息PP＿Intra中，包括指定對象CU至各內部PU的分割模式的內部PU分割信息以及關於各內部PU的內部預測參數。內部預測參數是用於指定關於各內部PU的內部預測方法(預測模式)的參數。
[TT信息]
TT信息TTI是與在CU中包含的變換樹(以下，簡稱為TT)有關的信息。換言之，TT信息TTI是與在TT中包含的一個或者多個變換塊的各個有關的信息的集合，在由層次運動圖像解碼裝置1解碼殘差數據時參照。
如圖3(e)所示，TT信息TTI包括指定對象CU至各變換塊的分割模式的TT分割信息SP＿TT以及量化預測殘差QD1～QDNT(NT是在對象CU中包含的塊的總數)。
具體而言，TT分割信息SP＿TT是用於決定在對象CU中包含的各變換塊的形狀、尺寸以及對象CU內的位置的信息。例如，TT分割信息SP＿TT能夠由表示是否進行對象節點的分割的信息(split_transform_unit_flag)和表示該分割的深度的信息(trafoDepth)實現。
此外，例如，在CU尺寸為64×64的情況下，通過分割而獲得的各變換塊可取32×32像素至4×4像素的尺寸。
各量化預測殘差QD是，層次運動圖像編碼裝置2通過對作為處理對象的變換塊的對象塊實施以下的處理1～3而生成的編碼數據。
處理1：對從編碼對象圖像減去預測圖像的預測殘差進行頻率變換(例如，DCT變換(離散餘弦變換(Discrete Cosine Transform))以及DST變換(離散正弦變換(Discrete Sine Transform))等)；
處理2：對通過處理1而獲得的變換係數進行量化；
處理3：對通過處理2而量化的變換係數進行可變長編碼；
另外，上述的量化參數qp表示在層次運動圖像編碼裝置2對變換係數進行量化時使用的量化步長QP的大小(QP＝2qp/6)。
(PU分割信息)
在由PU分割信息指定的PU分割類型中，若將對象CU的尺寸設為2N×2N像素，則有如下的共計8種模式。即，2N×2N像素、2N×N像素、N×2N像素、N×N像素的4個對稱的分割(symmetric splittings)、以及2N×nU像素、2N×nD像素、nL×2N像素、nR×2N像素的4個不對稱的分割(asymmetric splittings)。另外，意味著N＝2m(m是1以上的任意的整數)。以下，也將分割對象CU而獲得的預測單位稱為預測塊或者分區(Partition)。
(擴展層)
關於在擴展層的層表現中包含的編碼數據(以下，擴展層編碼數據)，例如能夠採用與圖3所示的數據結構大致相同的數據結構。但是，在擴展層編碼數據中，如以下所述，能夠追加附加的信息或者省略參數。
在條帶層中，也可以被編碼空域分級、時域分級以及SNR分級、視圖分級的層次的識別信息(分別為dependency_id、temporal_id、quality_id以及view_id)。
此外，在CU信息CU中包含的預測類型信息PType是指定關於對象CU的預測圖像生成方法是內部預測、外部預測、或者層間圖像預測中的哪一個的信息。在預測類型信息PType中，包括指定有無應用層間圖像預測模式的標記(層間圖像預測標記)。另外，層間圖像預測標記也被稱為texture_rl_flag、inter_layer_pred_flag、或者base_mode_flag。
在擴展層中，也可以指定對象CU的CU類型是內部CU、層間CU、外部CU、跳過CU中的哪一個。
內部CU能夠與基礎層中的內部CU相同地定義。在內部CU中，層間圖像預測標記設定為「0」，預測模式標記設定為「0」。
層間CU能夠將參照層的圖片的解碼圖像定義為在預測圖像生成中使用的CU。在層間CU中，層間圖像預測標記設定為「1」，預測模式標記設定為「0」。
跳過CU能夠與上述的HEVC方式的情況相同地定義。例如，在跳過CU中，對跳過標記設定「1」。
外部CU也可以定義為應用非跳過且運動補償(MC；MotionCompensation)的CU。在外部CU中，例如，對跳過標記設定「0」，對預測模式標記設定「1」。
此外，如上所述，也可以通過與下位層的編碼方式不同的編碼方式，生成擴展層的編碼數據。即，擴展層的編碼/解碼處理不依賴下位層的編解碼器的種類。
下位層也可以通過例如MPEG-2或H.264/AVC方式進行編碼。
也可以在擴展層編碼數據中，VPS被擴展而包括表示層間的參照結構的參數。
此外，也可以在擴展層編碼數據中，SPS、PPS、條帶頭被擴展而包括在層間圖像預測中使用的參照層的解碼圖像所涉及的信息(例如，用於直接或者間接地導出後述的層間參照圖片集、層間參照圖片列表、基礎控制信息等的語法)。
另外，以上說明的參數既可以單獨進行編碼，也可以是多個參數複合進行編碼。在多個參數複合進行編碼的情況下，對該參數的值的組合分配索引，被分配的該索引進行編碼。此外，若參數能夠從其他參數或解碼完畢的信息導出，則能夠省略該參數的編碼。
〔圖片、瓦片、條帶的關係〕
接著，關於圖片、瓦片、條帶，參照圖4說明相互的關係以及與編碼數據的關係。圖4是說明層次編碼數據中的圖片和瓦片/條帶的關係的圖。瓦片與圖片內的矩形的部分區域以及該部分區域所涉及的編碼數據相對應。條帶與圖片內的部分區域以及該部分區域所涉及的編碼數據、即該部分區域所涉及的條帶頭以及條帶數據相對應。
圖4(a)例示將圖片通過瓦片/條帶而分割時的分割區域。在圖4(a)中，圖片分割為矩形的6個瓦片(T00、T01、T02、T10、T11、T12)。瓦片T00、瓦片T02、瓦片T10、瓦片T12分別包括1個條帶(依次為條帶S00、條帶S02、條帶S10、條帶S12)。另一方面，瓦片T01包括2個條帶(條帶S01a和條帶S01b)，瓦片T11包括2個條帶(條帶S11a和條帶S11b)。
圖4(b)例示編碼數據的結構中的瓦片和條帶的關係。首先，編碼數據由多個VCL(視頻編碼層(Video Coding Layer))NAL單元和非VCL(non-VCL)NAL單元構成。相當於1張圖片的視頻編碼層的編碼數據由多個VCL NAL構成。在圖片分割為瓦片的情況下，在相當於圖片的編碼數據中，按照瓦片的光柵順序包括相當於瓦片的編碼數據。即，在如圖4(a)所示那樣圖片分割為瓦片的情況下，按照瓦片T00、T01、T02、T10、T11、T12的順序包括相當於瓦片的編碼數據。在瓦片分割為多個條帶的情況下，條帶開頭的CTU從在瓦片內的CTU光柵掃描順序上位於前方的條帶起依次，相當於條帶的編碼數據包含在相當於瓦片的編碼數據中。例如，如圖4(a)所示，在瓦片T01包括條帶S01a和S01b的情況下，按照條帶S01a、條帶S01b的順序，相當於條帶的編碼數據依次包含在相當於瓦片T01的編碼數據中。
如以上的說明可知，對相當於圖片內的特定的瓦片的編碼數據，相關聯了對應於一個以上的條帶的編碼數據。因此，若能夠生成與瓦片相關聯的條帶的解碼圖像，則能夠生成與該瓦片對應的圖片內的部分區域的解碼圖像。
以下，若沒有特別追加的說明，則以如上述的圖片、瓦片、條帶和編碼數據的關係為前提進行說明。
〔層次運動圖像解碼裝置〕
以下，參照圖1～圖13說明本實施方式的層次運動圖像解碼裝置1的結構。
(層次運動圖像解碼裝置的結構)
參照圖5說明層次運動圖像解碼裝置1的概略結構。圖5是表示了層次運動圖像解碼裝置1的概略結構的功能塊圖。層次運動圖像解碼裝置1對層次編碼數據DATA(從層次運動圖像編碼裝置2提供的層次編碼數據DATAF或者從編碼數據變換裝置3提供的層次編碼數據DATAR)進行解碼，生成對象層的解碼圖像POUT#T。另外，以下，以對象層作為將基本層設為參照層的擴展層來說明。因此，對象層也是相對於參照層的上位層。相反地，參照層也是相對於對象層的下位層。
如圖5所示，層次運動圖像解碼裝置1包括NAL解復用部11、參數集解碼部12、瓦片設定部13、條帶解碼部14、基礎解碼部15、解碼圖片管理部16。
NAL解復用部11對NAL(網絡提取層(Network Abstraction Layer))中的以NAL單元單位傳輸的層次編碼數據DATA進行解復用。
NAL是為了將VCL(視頻編碼層(Video Coding Layer))和對編碼數據進行傳輸/蓄積的下位系統之間的通信抽象化而設置的層。
VCL是進行運動圖像編碼處理的層，在VCL中進行編碼。另一方面，這裡所稱的下位系統與H.264/AVC以及HEVC的文件格式或MPEG-2系統對應。
另外，在NAL中，在VCL中生成的比特流以NAL單元的單位劃分而傳輸到成為目的地地址的下位系統。在NAL單元中，包括在VCL中進行了編碼的編碼數據以及用於該編碼數據適當地到達目的地地址的下位系統的頭。此外，各層次中的編碼數據通過存儲在NAL單元中且進行NAL復用，傳輸到層次運動圖像解碼裝置1。
在層次編碼數據DATA中，除了由VCL生成的NAL之外，還包括包含參數集(VPS、SPS、PPS)或SEI等的NAL。這些NAL相對於VCL NAL被稱為非VCL NAL。
NAL解復用部11對層次編碼數據DATA進行解復用而取出對象層編碼數據DATA#T以及參照層編碼數據DATA#$。此外，NAL解復用部11在對象層編碼數據DATA#T中包含的NAL中，將非VCLNAL供應給參數集解碼部12，將VCL NAL供應給條帶解碼部14。
參數集解碼部12在從被輸入的非VCL NAL中，將參數集、即VPS、SPS以及PPS進行解碼，並供應給瓦片設定部13和條帶解碼部14。另外，關於參數集解碼部12中的與本發明的關聯性高的處理的細節，在後面敘述。
瓦片設定部13基於被輸入的參數集來導出圖片的瓦片信息，並供應給條帶解碼部14。瓦片信息至少包括圖片的瓦片分割信息。
條帶解碼部14基於被輸入的VCL NAL、參數集、瓦片信息以及參照圖片來生成解碼圖片或者解碼圖片的部分區域，並記錄在解碼圖片管理部16內的緩衝器中。條帶解碼部的詳細的說明在後面敘述。
解碼圖片管理部16將被輸入的解碼圖片或基礎解碼圖片記錄在內部的解碼圖片緩衝器(DPB:Decoded Picture Buffer)中，且進行參照圖片列表生成或輸出圖片決定。此外，解碼圖片管理部16在預定的定時，將在DPB中記錄的解碼圖片作為輸出圖片POUT#T而輸出到外部。
基礎解碼部15根據參照層編碼數據DATA#R來對基礎解碼圖片進行解碼。基礎解碼圖片是在對象層的解碼圖片解碼時利用的參照層的解碼圖片。基礎解碼部15將進行了解碼的基礎解碼圖片記錄在解碼圖片管理部16內的DPB中。
使用圖6說明基礎解碼部15的詳細結構。圖6是例示了基礎解碼部15的結構的功能塊圖。
如圖6所示，基礎解碼部15包括基礎NAL解復用部151、基礎參數集解碼部152、基礎瓦片設定部153、基礎條帶解碼部154、基礎解碼圖片管理部156。
基礎NAL解復用部151對參照層編碼數據DATA#R進行解復用而提取VCL NAL和非VCL NAL，並將非VCL NAL供應給基礎參數集解碼部152，將VCL NAL供應給基礎條帶解碼部154。
基礎參數集解碼部152根據被輸入的非VCL NAL來解碼參數集、即VPS、SPS以及PPS，並供應給基礎瓦片設定部153和基礎條帶解碼部154。
基礎瓦片設定部153基於被輸入的參數集來導出圖片的瓦片信息，並供應給基礎條帶解碼部154。
基礎條帶解碼部154基於被輸入的VCL NAL、參數集、瓦片信息以及參照圖片來生成解碼圖片或者解碼圖片的部分區域，並記錄在基礎解碼圖片管理部156內的緩衝器中。
基礎解碼圖片管理部156將被輸入的解碼圖片記錄在內部的DPB中，且進行參照圖片列表生成或輸出圖片決定。此外，基礎解碼圖片管理部156在預定的定時，將在DPB中記錄的解碼圖片作為基礎解碼圖片而輸出。
(參數集解碼部12)
參數集解碼部12根據被輸入的對象層的編碼數據，解碼在對象層的解碼中使用的參數集(VPS、SPS、PPS)而輸出。一般，參數集的解碼基於既定的語法表來執行。即，按照語法表的確定的順序，從編碼數據讀出比特串，對在語法表中包含的語法元素的語法值進行解碼。此外，也可以根據需要，將基於進行了解碼的語法值來導出的變量包含在要輸出的參數集中。因此，從參數集解碼部12輸出的參數集能夠表現為在編碼數據中包含的參數集(VPS、SPS、PPS)所涉及的語法元素的語法值、以及根據該語法值來導出的變量的集合。
以下，詳細說明在參數集解碼部12中用於解碼的語法表中、與本發明的關聯性高的圖片信息以及層間位置對應信息所涉及的語法表的一部分。
(圖片信息)
參數集解碼部12根據被輸入的對象層編碼數據，對圖片信息進行解碼。圖片信息大致是確定對象層的解碼圖片的尺寸的信息。例如，圖片信息包括表示對象層的解碼圖片的寬度或高度的信息。
圖片信息包含在例如SPS中。在從SPS解碼的圖片信息中，包括解碼圖片的寬度(pic_width_in_luma_samples)和解碼圖片的高度(pic_height_in_luma_samples)。語法pic_width_in_luma_samples的值對應於以亮度像素單位的解碼圖片的寬度。此外，語法pic_height_in_luma_samples的值對應於以亮度像素單位的解碼圖片的高度。
另外，圖片信息在層間共享。即，能夠在對象層的解碼以及編碼時參照與對象層不同的層的圖片信息。
(顯示區域信息)
參數集解碼部12根據被輸入的對象層編碼數據，對顯示區域信息進行解碼。顯示區域信息包含在例如SPS中。從SPS解碼的顯示區域信息包括顯示區域標記(conformance_flag)。顯示區域標記示出表示顯示區域的位置的信息(顯示區域位置信息)是否追加地包含在SPS中。即，在顯示區域標記為1的情況下，表示追加地包含顯示區域位置信息，在顯示區域標記為0的情況下，表示不追加地包含顯示區域位置信息。
在顯示區域標記為1的情況下，從SPS解碼的顯示區域信息進一步作為顯示區域位置信息而包含顯示區域左偏移量(conf_win_left_offset)、顯示區域右偏移量(conf_win_right_offset)、顯示區域上偏移量(conf_win_top_offset)、顯示區域下偏移量(conf_win_bottom_offset)。
在顯示區域標記為0的情況下，顯示區域被設定圖片整體。另一方面，在顯示區域標記為1的情況下，被設定顯示區域位置信息表示的圖片內的部分區域。另外，顯示區域也被稱為一致性窗(conformance window)。
參照圖7說明顯示區域位置信息和顯示區域的關係。圖7是例示作為圖片內的部分區域的顯示區域和顯示區域位置信息的關係的圖。如圖所示，顯示區域包含在圖片內，顯示區域上偏移量表示圖片上邊和顯示區域上邊的距離，顯示區域左偏移量表示圖片左邊和顯示區域左邊的距離，顯示區域右偏移量表示圖片右邊和顯示區域右邊的距離，顯示區域下偏移量表示圖片下邊和顯示區域下邊的距離。因此，根據上述的顯示區域位置信息，能夠唯一地確定顯示區域在圖片內的位置以及尺寸。另外，顯示區域信息也可以是能夠唯一地確定顯示區域在圖片內的位置以及尺寸的其他的信息。
另外，顯示區域信息在層間共享。即，能夠在對象層的解碼以及編碼時參照與對象層不同的層的顯示區域信息。
(層間位置對應信息)
參數集解碼部12根據被輸入的對象層編碼數據，對層間位置對應信息進行解碼。層間位置對應信息大致表示對象層和參照層的對應的區域的位置關係。例如，在對象層的圖片和參照層的圖片中包含某物體(物體A)的情況下，對象層的圖片上的與物體A對應的區域和參照層的圖片上的與物體A對應的區域相當於所述對象層和參照層的對應的區域。另外，層間位置對應信息也可以不一定是準確地表示上述的對象層和參照層的對應的區域的位置關係的信息，但一般而言，為了提高層間預測的準確性，表示準確的對象層和參照層的對應的區域的位置關係。
(參照區域信息)
層間位置對應信息包括參照區域信息。參照區域信息是表示特定的層(以下，層A)中的、以下的2個區域的空間性的位置關係的信息。
(圖片區域)：層A上的與圖片對應的區域
(參照區域)：在層A與其他層(層B)之間的層間處理中，在表示層間的像素位置的對應關係的信息的導出中使用的、層A上的區域
在本實施方式中，作為參照區域信息而使用參照區域偏移量。參照區域偏移量是表示上述參照區域的各頂點和上述圖片區域的對應的各頂點之間的位移的信息，由與左、上、右、下分別對應的、以下的4個偏移量構成。
1.參照區域左偏移量：參照區域左上像素和圖片區域左上像素之間的水平方向的偏移量
2.參照區域上偏移量：參照區域左上像素和圖片區域左上像素之間的垂直方向的偏移量
3.參照區域右偏移量：參照區域右下像素和圖片區域右下像素之間的水平方向的偏移量
4.參照區域下偏移量：參照區域右下像素和圖片區域右下像素之間的垂直方向的偏移量
使用圖8說明在參照區域偏移量中包含的上述各偏移量、與圖片區域以及參照區域的關係。圖8是例示對象層圖片、對象層參照區域、參照層圖片、參照層參照區域、與參照區域偏移量的關係的圖。在圖8中，表示在對象層上的圖片區域(對象層圖片)中包含對象層上的參照區域(對象層參照區域)的情況下的、對象層中的各參照區域偏移量(對象層參照區域左偏移量、對象層參照區域上偏移量、對象層參照區域右偏移量、對象層參照區域下偏移量)的關係。此外，在圖8中，表示在參照層上的圖片區域(參照層圖片)中包含參照層上的參照區域(參照層參照區域)的情況下的、參照層中的各參照區域偏移量(參照層參照區域左偏移量、參照層參照區域上偏移量、參照層參照區域右偏移量、參照層參照區域下偏移量)的關係。以層間預測為代表的層間處理中的對應像素位置導出或標度導出使用對象層參照區域和參照層參照區域來執行。
另外，在圖8中，圖示了參照區域包含在圖片區域中的情況，但並不限定於此，既可以是圖片區域包含在參照區域中，也可以是參照區域和圖片區域的一部分重疊。在本實施方式中，參照區域偏移量的正負設為在參照區域包含在圖片區域中的情況下取正的值，在圖片區域中包含參照區域的情況下取負的值。即，在圖8所示的在圖片區域中包含參照區域的情況下，全部參照區域偏移量的值成為正。另外，參照區域偏移量的正負的定義也可以相反，但此時，需要適當地改變後述的對應參照位置或標度的導出式來應用。
另外，參照區域偏移量的目的在於，規定參照區域的形狀、以及圖片區域和參照區域的空間性的位置關係。因此，只要達到其目的，則也能夠使用上述以外的參照偏移量以外的參數。例如，也可以使用參照區域的左上像素相對於圖片區域左上像素的水平以及垂直方向的偏移量、和參照區域的矩形的寬度以及高度的組合。將規定參照區域的形狀、以及圖片區域和參照區域的空間性的位置關係的信息稱為參照區域位置信息。參照區域位置信息相當於參照區域偏移量的上位概念。在本實施方式的說明中，以作為參照區域位置信息而使用參照區域偏移量的情況為前提來記載。
(參照區域偏移量的語法)
參照圖9說明在參數集解碼部12中，根據被輸入的編碼數據來解碼的參照區域偏移量所涉及的語法。圖9是參數集解碼部12在VPS中包含的VPS擴展(vps_extension)的解碼時參照的語法表的一部分，並且是參照區域偏移量所涉及的部分。
在VPS中，包括參照區域偏移量所涉及的多個語法元素。以下，將這些總稱為參照區域偏移量關聯語法。圖9所示的語法表表示作為構成參照區域偏移量關聯語法的語法元素，以下的語法元素包含在VPS擴展中。
·A0：參照區域偏移量存在與否標記(ref_region_offsets_in_vps_flag)
·A1：參照區域偏移量數(num_ref_region_offsets[i])
·A2：參照區域層索引信息(ref_region_layer_idx_delta_minus1[i][j])
·A3L：參照區域左偏移量信息(ref_region_left_offset[i][j])
·A3T：參照區域上偏移量信息(ref_region_top_offset[i][j])
·A3R：參照區域右偏移量信息(ref_region_right_offset[i][j])
·A3B：參照區域下偏移量信息(ref_region_bottom_offset[i][j])
語法元素A0是1比特的標記(u(1))的碼。語法元素A1、A2通過在HEVC中規定的非負整數的0階指數哥倫布碼(ue(v))進行編碼。A3L、A3T、A3R、A3B通過在HEVC中規定的附帶符號的整數的0階指數哥倫布碼(se(v))進行編碼。
參照區域偏移量存在與否標記(A0)是表示除了該標記之外的參照區域偏移量關聯語法是否包含在VPS擴展中的標記。在該標記的值為1的情況下，表示包含參照區域偏移量關聯語法。在除此以外(該標記的值為0)的情況下，表示不包含參照區域偏移量關聯語法。
參照區域偏移量數(A1)表示相對於在VPS擴展中包含的根據索引i來確定的層(以下，層i)的參照區域偏移量的數。另外，索引i是表示在VPS擴展中包含的層的索引。參照區域偏移量的個數相當於與左、上、右、下分別對應的4個偏移量(上述A3L、A3T、A3R、A3B)的組合的個數。參照區域偏移量數對根據0以上且MaxLayersMinus1以下的索引的各值來確定的各層進行編碼/解碼。
另外，在VPS擴展中包含的參照區域偏移量數的個數，在實現還能夠進行對於任意層的參照區域偏移量的傳輸的功能性的基礎上，優選上述的個數。因此，在通過其他手段而清楚不能對一部分層利用參照區域偏移量的情況下，也可以省略與該層對應的參照區域偏移量數，將對於該層的參照區域偏移量的值估計為0。
參照區域層索引信息(A2)是確定與層i相關聯的第j個層的信息。具體而言，參照區域層索引信息在與層i相關聯的第j個層的VPS內的層索引(LIdx[i][j])的導出中利用。在將參照區域層索引信息的語法值ref_region_layer_idx_delta_minus1[i][j]設為RRL[i][j]的情況下，通過下式來導出LIdx[i][j]。
LIdx[i][j]＝i-(RRL[i][j]+1)...(j＝＝0)
LIdx[i][j]＝LIdx[i][j-1]+(RRL[i][j]+1)...(j>＝1)
即，在j等於0的情況下，設定比索引i小對參照區域層索引信息加1所得的數的層索引。此外，在j為1以上的情況下，設定比與層i相關聯的第(j-1)個層的索引大對參照區域層索引信息加1所得的數的層索引。這裡，RRL[i][j]的最大值小於比特流中的層數最大值(MaxLayersMinus1+1)。即，與層i相關聯的第j個層的索引的最大值可取大於層i的索引(索引i)的值。
另外，在如上所述那樣定義了參照區域層索引信息的情況下，具有抑制參照區域層索引信息的碼量的效果。因此，在該碼量的抑制不重要的情況下，也可以使用將索引j和特定的層相關聯的其他語法以及導出手段的組合。例如，也可以作為參照區域層索引信息而使用VPS內層索引。此時，通過以下的式來導出LIdx[i][j]。
LIdx[i][j]＝RRL[i][j]
參照區域偏移量信息(參照區域左偏移量信息(A3L)、參照區域上偏移量信息(A3T)、參照區域右偏移量信息(A3R)、參照區域下偏移量信息(A3B))是用於導出表示層i上的參照區域的偏移量(參照區域偏移量)的信息，該參照區域在層i和與層i相關聯的第j個層之間的層間處理(層間預測)中參照。參照區域偏移量信息也是表示參照區域的位置和大小(形狀)的信息，也稱為參照區域位置信息。
上述的參照區域偏移量信息能夠如下表現。即，參照區域位置信息是將第一層識別信息(上述i)和第二層識別信息(上述j)設為索引的排列變量。作為第一層識別信息的i是參照區域存在的層的VPS內層索引。此外，作為第二層識別信息的j是確定應用參照區域的層間處理的對象層的信息，且通過上述的LIdx[i][j]而與層間處理的對象層的VPS內層索引相關聯。
(條帶解碼部14)
條帶解碼部14基於被輸入的VCL NAL、參數集以及瓦片信息，生成解碼圖片而輸出。
使用圖13說明條帶解碼部14的概略結構。圖13是表示了條帶解碼部14的概略結構的功能塊圖。
條帶解碼部14包括條帶頭解碼部141、條帶位置設定部142、CTU解碼部144。CTU解碼部144進一步包括預測殘差復原部1441、預測圖像生成部1442以及CTU解碼圖像生成部1443。
(條帶頭解碼部)
條帶頭解碼部141基於被輸入的VCL NAL和參數集，對條帶頭進行解碼，並輸出到條帶位置設定部142、跳過條帶判定部143以及CTU解碼部144。
在條帶頭中，包括圖片內的條帶位置所涉及的信息(SH條帶位置信息)以及跳過條帶所涉及的信息(SH跳過條帶信息)。
在條帶頭中，作為條帶位置信息而包含圖片內開頭條帶標記(first_slice_segment_in_pic_flag)。在圖片內開頭條帶標記為1的情況下，表示對象條帶按照解碼順序位於圖片內的開頭。在圖片內開頭條帶標記為0的情況下，表示對象條帶沒有按照解碼順序位於圖片內的開頭。
此外，在條帶頭中，作為條帶位置信息而包含條帶PPS識別符(slice_pic_parameter_set_id)。條帶PPS識別符是與對象條帶相關聯的PPS的識別符，經由該PPS識別符來確定應與對象條帶相關聯的瓦片信息。
(條帶位置設定部)
條帶位置設定部142基於被輸入的條帶頭和瓦片信息來確定圖片內的條帶位置，並輸出到CTU解碼部144。在條帶位置設定部142中導出的圖片內的條帶位置包括在條帶中包含的各CTU在圖片內的位置。
(CTU解碼部)
CTU解碼部144大致基於被輸入的條帶頭、條帶數據以及參數集，對與在條帶中包含的各CTU對應的區域的解碼圖像進行解碼，生成條帶的解碼圖像。條帶的解碼圖像在被輸入的條帶位置表示的位置上，作為解碼圖片的一部分而輸出。CTU的解碼圖像由CTU解碼部144內部的預測殘差復原部1441、預測圖像生成部1442以及CTU解碼圖像生成部1443生成。預測殘差復原部1441對在輸入的條帶數據中包含的預測殘差信息(TT信息)進行解碼，生成對象CTU的預測殘差而輸出。預測圖像生成部1442基於在輸入的條帶數據中包含的預測信息(PT信息)表示的預測方法和預測參數，生成預測圖像而輸出。此時，根據需要，利用參照圖片的解碼圖像或編碼參數。CTU解碼圖像生成部1443將被輸入的預測圖像和預測殘差相加，生成對象CTU的解碼圖像而輸出。
(預測圖像生成部的細節)
說明在前述的預測圖像生成部1442的預測圖像生成處理中，選擇了層間圖像預測的情況下的預測圖像生成處理的細節。
在應用層間圖像預測的對象CTU中包含的對象像素的預測像素值的生成處理按照以下的順序來執行。首先，執行參照圖片位置導出處理，導出對應參照位置。這裡，對應參照位置是與對象層圖片上的對象像素對應的參照層上的位置。另外，由於對象層和參照層的像素不一定以1對1對應，所以對應參照位置以小於參照層中的像素單位的精度來表現。接著，通過以導出的對應參照位置作為輸入來執行插值濾波器處理，生成對象像素的預測像素值。
在對應參照位置導出處理中，基於在參數集中包含的圖片信息以及參照區域信息來導出對應參照位置。參照圖1說明對應參照位置導出處理的詳細順序。另外，以下，作為對應參照位置導出處理的對象層為層C(層C的VPS內索引為c)、對象層的參照層為層R(層R的VPS內索引為r)來說明。這裡，根據對象層的參照層為比對象層下位的層且與小的VPS內索引對應的層為更下位的層這樣的2個事實，成立r小於c的關係。圖1是對應參照位置導出處理的流程圖。在將層C設為對象層的情況下的層C和層R之間的層間圖像預測處理中的對應參照位置導出處理按照以下的S101～S107的順序來順次執行。
(S101)根據在參數集解碼部12中作為參照區域信息而解碼的、將i和j設為索引的參照區域偏移量信息，導出參照區域偏移量。以下，將導出的參照區域偏移量稱為RRO[k][l]。除此之外，如下定義構成RRO[k][l]的、與左、上、右、下分別對應的參照區域偏移量和其記號。
參照區域左偏移量：RRLO[k][l]
參照區域上偏移量：RRTO[k][l]
參照區域右偏移量：RRRO[k][l]
參照區域下偏移量：RRBO[k][l]
基於對應的參照區域偏移量信息，通過以下的計算來導出構成RRO[i][j][k][l]的各偏移量、RRLO[k][l]、RRTO[k][l]、RRRO[k][l]、RRBO[k][l]。
RRLO[k][l]＝(ref_region_left_offset[i][j]<<1)
RRTO[k][l]＝(ref_region_top_offset[i][j]<<1)
RRRO[k][l]＝(ref_region_right_offset[i][j]<<1)
RRBO[k][l]＝(ref_region_bottom_offset[i][j]<<1)
這裡，有k＝i、l＝LIdx[i][j]的關係。LIdx[i][j]是基於在參數集解碼部12中解碼的參照區域層索引信息來導出的排列，表示對於層i的第j個參照區域偏移量信息相關聯的層的VPS內索引。
另外，在對與特定的k和l的組合對應的參照區域偏移量(RRO[k][l])不存在與對應的i和j的組合對應的參照區域偏移量信息的情況下，構成RRO[k][l]的各偏移量的值被設定為0。即，在這樣的情況下，作為層k上的參照區域並且是在層k和層l之間的層間預測中參照的參照區域的既定值，被設定層k上的相當於圖片整體的區域。
根據上述式，將對應的參照區域偏移量信息的語法值設為2倍的值設定為參照區域偏移量，但參照區域偏移量和參照區域偏移量信息的關係並不限定於此。上述的參照區域偏移量信息和參照區域偏移量的關係到低是一例，也可以通過其他的妥當的方法來將兩者相關聯。
(S102)導出表示參照層(層r)上的參照區域的位置以及形狀的參照層參照區域偏移量(參照層參照區域位置)。參照層參照區域偏移量由與左、上、右、下分別對應的4個偏移量(依次為RL_RRLO、RL_RRTO、RL_RRRO、RL_RRBO)構成，且通過下式來導出。
RL_RRLO＝RRLO[r][c]
RL_RRTO＝RRTO[r][c]
RL_RRRO＝RRRO[r][c]
RL_RRBO＝RRBO[r][c]
即，作為參照層參照區域偏移量的值，設定參照層R上的參照區域並且是在參照層R和對象層C之間的層間預測中參照的參照區域偏移量。
另外，在參照層參照區域偏移量的值中利用的參照區域偏移量(RRO[r][c])是滿足「rr」的條件的參照區域偏移量。
上述中說明的對象層參照區域偏移量的導出處理能夠如下表現。即，參照將對象層的VPS內索引c設為第一個排列索引、將參照層的VPS內索引r設為第二個排列索引的參照區域偏移量的元素，設定執行對象層和參照層之間的層間預測時的對象層參照區域偏移量(對象層參照區域位置)。在S101中，對應於上述的參照區域偏移量的各元素被設定將對象層的VPS內索引i(第一層識別信息)設為第一個排列索引、將間接地表示參照層的VPS內索引的序號i(第二層識別信息)設為第二個排列索引的參照區域位置信息(RRO[i][j])的值。
(S105)基於在S104中導出的對象層參照區域偏移量和對象層圖片尺寸，導出對象層上的對象區域的尺寸。基於對象層圖片的寬度(CL_PICW)和高度(CL_PICH)，分別通過下式來導出對象層上的參照區域的寬度(CL_RRW)和高度(CL_RRH)。
CL_RRW＝CL_PICW-n*(CL_RRLO+CL_RRRO)
CL_RRH＝CL_PICH-n*(CL_RRTO+CL_RRBO)
這裡，n的值與在S103中說明的n相同，是用於使對象層圖片的像素單位和對象區域偏移量的單位一致的參數。
即，根據上述的式，通過將對象層參照區域左偏移量和對象層參照區域右偏移量之和使單位對齊而加到對象層圖片的寬度，導出對象層上的參照區域的寬度。關於對象層上的參照區域的高度，也是同樣的。
(S106)基於在S103中導出的參照層參照區域的尺寸和在S105中導出的對象層參照區域的尺寸，導出在層間預測中使用的標度。水平方向的標度sx和垂直方向的標度sy分別通過下式來導出。
sx＝((RL_RRW<>1))/CL_RRW
sy＝((RL_RRH<>1))/CL_RRH
另外，運算符「/」是表示整數的除法的運算符。
即，根據上式，將對參照層參照區域尺寸乘以預定的常數(在上式中為「<>1)」的項是調整基於除法的進位的項。因此，若排除單位或進位調整的效果，則標度能夠說明為參照層參照區域的尺寸(寬度或者高度)相對於對象層參照區域的尺寸(寬度或者高度)的比率。
(S107)基於在S102中導出的參照層參照區域偏移量和在S106中導出的標度，導出16分之1像素精度的參照像素位置。與對象層上的像素位置(xP、yP)對應的、參照層上的16分之1像素精度的參照像素位置的水平分量(x分量)xRef16和垂直分量(y分量)yRef16的值分別通過以下式來導出。
xRef16＝(((xP-CL_OX)*sx+addX+(1<>12)+deltaX+RL_OX
yRef16＝(((yP-CL_OY)*sy+addY+(1<>12)+deltaY+RL_OY
這裡，
CL_OX＝CL_RRLO/crAdjust
CL_OY＝CL_RRTO/crAdjust
RL_OX＝(RL_RRLO<<4)/crAdjust
RL_OY＝(RL_RRTO<<4)/crAdjust
另外，crAdjust是對亮度和色差的單位的差異進行校正的參數，例如，在處理4:2:0的解碼圖像的情況下，若是亮度則被設定1的值，若是色差則被設定2的值。此外，addX、addY、deltaX、deltaY是表示伴隨著上採樣或隔行掃描的對象層上的像素和參照層上的像素的偏差的參數。
即，根據上式，基於參照層參照區域偏移量和標度來計算參照像素位置。將導出的16分之1像素精度的參照像素位置作為對應參照位置，結束對應參照位置導出處理。
在上述的對應參照位置導出處理中，作為通過參照區域來確定的區域間的尺寸之比而不是作為圖片尺寸，導出標度。因此，即使是在根據關注區域提取的目的而對象層圖片或參照層圖片的圖片尺寸發生變更的情況下，通過將關聯語法值設定為參照區域相同，也能夠在提取前後導出相同的標度。
在插值濾波器處理中，通過對參照層圖片上的、所述對應參照位置附近的像素的解碼像素應用插值濾波器，生成與在上述對應參照位置導出處理中導出的對應參照位置相當的位置的像素值。
(運動圖像解碼裝置1的效果)
以上說明的本實施方式的層次運動圖像解碼裝置1(層次圖像解碼裝置)包括：參數集解碼部12，對參數集進行解碼；以及預測圖像生成部1442，參照參照層圖片的解碼像素，通過層間預測來生成預測圖像。參數集解碼部12對參照區域偏移量進行解碼，預測圖像生成部1442基於根據該參照區域偏移量來導出的參照層參照區域偏移量和對象層參照區域偏移量，計算標度，並參照該標度來導出對應參照位置，執行層間預測。換言之，層次運動圖像解碼裝置1能夠提供如下功能：通過根據編碼數據來解碼參照區域偏移量的導出所需的語法值，基於根據該語法值來導出的參數，計算對應參照位置，從而在執行關注區域提取的情況下，導出適當的對應參照位置。因此，層次運動圖像解碼裝置1能夠提供如下功能：使用比以往更少的語法元素，在關注區域提取前後維持上位層像素和下位層像素的位置關係的準確度。
[變形例1：相對於上位層的參照區域偏移量的限制]
在上述的層次運動圖像解碼裝置1的說明中，記載為在參數集解碼部12中對在參照區域信息中包含的參照區域層索引信息進行解碼，基於該參照區域層索引信息來導出的與層i相關聯的第j個層的索引LIdx[i][j]可取大於i的值。這意味著，與層i相關聯的第j個參照區域偏移量信息用於表示在與LIdx[i][j]之間的層間處理中的參照區域而利用，且由LIdx[i][j]表示的層能夠對比層i上位的各層獨立地指定。
將在變更基於上述的LIdx[i][j]的制約且設為將LIdx[i][j]可取的值設為i以下的基礎上，LIdx[i][j]的值成為i時的、與層i相關聯的第j個參照區域偏移量信息設為表示層i上的參照區域的偏移量的信息，該參照區域在層i和比層i上位的任意的層之間的層間處理中利用。
在如上所述那樣將LIdx[i][j]的值限制為i以下的情況下，在對應參照位置導出處理的S102中說明的參照層參照區域偏移量的導出處理修正為如下。即，導出表示參照層(層R、VPS內索引r)上的參照區域的對象層參照區域偏移量。參照層參照區域偏移量由與左、上、右、下分別對應的4個偏移量(依次為RL_RRLO、RL_RRTO、RL_RRRO、RL_RRBO)構成，且通過下式來導出。
RL_RRLO＝RRLO[r][r]
RL_RRTO＝RRTO[r][r]
RL_RRRO＝RRRO[r][r]
RL_RRBO＝RRBO[r][r]
即，作為對象層參照區域偏移量的值，設定在參照層R上的參照區域並且是在層R和比層R上位的任意層之間的層間預測中參照的參照區域偏移量。
根據上述變形例，能夠減少參照區域信息所需的碼量。這是因為，在參照共同的層(被參照層)的情況下，在該被參照層上能夠通過一組參照區域偏移量來確定相同的參照區域。一般而言，通過層間預測而被參照的參照區域是相同的情況較多，所以若能夠如上所述那樣在被參照層上設定相同的參照區域，則在多數應用中在功能上是充分的。
[變形例2：基於SPS的參照區域信息的傳輸]
在上述的層次運動圖像解碼裝置1的說明中，說明了將參照區域信息包含在VPS擴展中的例，但還能夠通過其他的參數集(SPS或PPS)或頭(條帶頭)來傳輸。以下，說明在SPS中包含參照區域信息時的變形例。
(SPS內的參照區域偏移量的語法)
參照圖10說明在參數集解碼部12中，根據被輸入的編碼數據來解碼的參照區域偏移量所涉及的語法。圖10是參數集解碼部12在SPS中包含的SPS擴展(sps_multilayer_extension)的解碼時參照的語法表的一部分，並且是參照區域偏移量所涉及的部分。
在SPS擴展中，包括參照區域偏移量所涉及的多個語法元素。以下，將這些總稱為SPS參照區域偏移量關聯語法。圖10所示的語法表表示作為構成SPS參照區域偏移量關聯語法的語法元素，以下的語法元素包含在SPS擴展中。
·B1：參照區域偏移量數(num_ref_region_offsets)
·B2：參照區域層識別符信息(ref_region_layer_id[i])
·B3L：參照區域左偏移量信息(ref_region_left_offset[i])
·B3T：參照區域上偏移量信息(ref_region_top_offset[i])
·B3R：參照區域右偏移量信息(ref_region_right_offset[i])
·B3B：參照區域下偏移量信息(ref_region_bottom_offset[i])
語法元素B1是6比特的2進位表現的碼，B2是在HEVC中規定的非負整數的0階指數哥倫布碼(ue(v))，B3L、B3T、A3R、A3B使用在HEVC中規定的附帶符號的整數的0階指數哥倫布碼(se(v))進行解碼或者編碼。
參照區域偏移量數(B1)表示相對於參照SPS擴展的條帶(圖片)所屬的層(以下，對象層)的參照區域偏移量的數。參照區域偏移量的個數相當於與左、上、右、下分別對應的4個偏移量(上述B3L，B3T、B3R、B3B)的組合的個數。
參照區域層識別符信息(B2)是確定對象層中的第i個參照區域偏移量相關聯的層的信息。具體而言，參照區域層識別符信息是與對象層相關聯的第i個層的層識別符(nuh_layer_id)。ref_region_layer_id[i]的值是對象層的層識別符以下。在ref_region_layer_id[i]的值小於對象層的層識別符的情況下，與索引i相關聯的參照區域偏移量信息表示對象層上的參照區域的偏移量，該參照區域在對象層和ref_region_layer_id[i]表示的層之間的層間預測中參照。在ref_region_layer_id[i]的值等於對象層的層識別符的情況下，與索引i相關聯的參照區域偏移量信息表示對象層上的參照區域並且是在將對象層設為參照層的層和對象層之間的層間預測中參照的參照區域偏移量。
此外，在索引i1和i2滿足「i1<i2」的情況下，優選滿足「ref_region_layer_id[i1]<ref_region_layer_id[i2]」的條件。即，參照區域層識別符信息優選在SPS擴展內按對應的層識別符成為升序的順序包含。若層識別符被賦予順序，則例如能夠通過ref_region_layer_id[num_ref_region_offsets-1]來簡單導出層識別符最大的參照區域層識別符信息。
參照區域偏移量信息(參照區域左偏移量信息(B3L)、參照區域上偏移量信息(B3T)、參照區域右偏移量信息(B3R)、參照區域下偏移量信息(B3B))是用於導出表示對象層上的參照區域的偏移量(參照區域偏移量)的信息，該參照區域在對象層和與對象層相關聯的第i個層之間的層間處理(層間預測)中參照。
(在使用基於SPS的參照區域信息時的對應參照導出處理)
接著，使用參照上述的圖10的語法表而解碼的SPS參照區域偏移量關聯語法，說明在基於預測圖像生成部1442的預測圖像生成處理中選擇了層間圖像預測時執行的、對應參照位置導出處理。
對象層和參照層之間的層間圖像預測處理中的對應參照位置導出處理按照以下的S201～S207的順序順次執行。
(S201)由參數集解碼部12根據從對象層參照的SPS作為參照區域信息而解碼的參照區域偏移量信息，導出對象層上的參照區域並且是在對象層(層C、層識別符cLId)和參照層(層R、層識別符rLId)之間的層間預測中參照的參照區域偏移量。以下，將被導出的參照區域偏移量稱為RRO[cLId][rLId]。除此之外，如下定義構成RRO[cLId][rLId]的與左、上、右、下分別對應的參照區域偏移量和記號。
參照區域左偏移量：RRLO[cLId][rLId]
參照區域上偏移量：RRTO[cLId][rLId]
參照區域右偏移量：RRRO[cLId][rLId]
參照區域下偏移量：RRBO[cLId][rLId]
基於對應的參照區域偏移量信息，通過以下的計算來導出構成RRO[i][j]的各偏移量、RRLO[i][j]、RRTO[i][j]、RRRO[i][j]、RRBO[i][j]。
RRLO[cLId][rLId]＝(ref_region_left_offset[rLId]<<1)
RRTO[cLId][rLId]＝(ref_region_top_offset[rLId]<<1)
RRRO[cLId][rLId]＝(ref_region_right_offset[rLId]<<1)
RRBO[cLId][rLId]＝(ref_region_bottom_offset[rLId]<<1)
(S202)導出表示參照層上的參照區域的參照層參照區域偏移量。參照層參照區域偏移量由與左、上、右、下分別對應的4個偏移量(依次為RL_RRLO、RL_RRTO、RL_RRRO、RL_RRBO)構成，且通過下式來導出。
RL_RRLO＝RRLO[cLId][cLId]
RL_RRTO＝RRTO[cLId][cLId]
RL_RRRO＝RRRO[cLId][cLId]
RL_RRBO＝RRBO[cLId][cLId]
即，作為參照層參照區域偏移量的值，設定參照層上的參照區域並且是在參照層和比參照層上位的層之間的層間預測中參照的參照區域偏移量。
另外，在並用VPS中的編碼等的情況下，能夠參照將第一排列索引設為rLIdx的參照區域偏移量，也可以使用以下。
RL_RRLO＝RRLO[rLId][rLId]
RL_RRTO＝RRTO[rLId][rLId]
RL_RRRO＝RRRO[rLId][rLId]
RL_RRBO＝RRBO[rLId][rLId]
(S203)基於在S202中導出的參照層參照區域偏移量和參照層圖片尺寸，導出參照層上的參照區域的尺寸。具體的處理除了參照層參照區域偏移量的值是在S202中導出的值之外，與S103的處理相同，省略記載。
(S204)導出表示對象層上的參照區域的對象層參照區域偏移量。對象層參照區域偏移量由與左、上、右、下分別對應的4個偏移量(依次為CL_RRLO、CL_RRTO、CL_RRRO、CL_RRBO)構成，且通過下式來導出。
CL_RRLO＝RRLO[cLId][rLId]
CL_RRTO＝RRTO[cLId][rLId]
CL_RRRO＝RRRO[cLId][rLId]
CL_RRBO＝RRBO[cLId][rLId]
即，作為對象層參照區域偏移量的值，設定對象層上的參照區域並且是在對象層(層識別符cLId)和參照層(層識別符rLId)之間的層間預測中參照的參照區域偏移量。
(S205)基於在S204中導出的對象層參照區域偏移量和對象層圖片尺寸，導出參照層上的參照區域的尺寸。具體的處理除了對象層參照區域偏移量的值是在S204中導出的值之外，與S105的處理相同，省略記載。
(S206)基於在S203中導出的參照層參照區域的尺寸和在S205中導出的對象層參照區域的尺寸，導出在層間預測中使用的標度。具體的處理除了參照層參照區域的尺寸是在S203中導出的值且對象層參照區域的尺寸是在S205中導出的值之外，與S106的處理相同，省略記載。
(S207)基於在S202中導出的參照層參照區域偏移量和在S206中導出的標度，導出16分之1像素精度的參照像素位置。具體的處理除了參照層參照區域偏移量是在S202中導出的值且標度是在S206中導出的值之外，與S207的處理相同，省略記載。
根據以上說明的在SPS中包含的參照區域偏移量所涉及的語法和使用了該語法值的對應參照位置的導出處理，本變形例的層次運動圖像解碼裝置能夠提供在執行關注區域提取時導出適當的對應參照位置的功能。
[變形例3：參照區域偏移量對於層的相對應的其他例]
在上述變形例2中，根據參照區域層識別符的值是小於對象層的層識別符還是等於層識別符，判定了後續的參照區域偏移量表示對象層上的參照區域和參照層上的參照區域中的哪個的偏移量。還能夠使用通過其他語法和導出方法來判定參照區域偏移量相關聯的層的方法。
例如，如以下參照圖11所說明，傳輸參照區域對象選擇信息，根據該參照區域對象選擇信息通過預定的方法，導出參照區域是哪一個層上的參照區域以及參照區域是在哪兩個層間的層處理中參照的參照區域。
圖11是在參數集解碼部12中在SPS參照區域偏移量關聯語法的解碼時參照的語法表，並且能夠代替在變形例2的圖10中說明的語法表來使用。
圖11的語法表表示代替在變形例2的圖10的語法表中包含的B2、B3L、B3T、B3R、B3B的語法元素而包括以下的語法元素。
·C2：參照區域對象選擇信息(ref_region_target_info[i])
·C3L：參照區域左偏移量信息(ref_region_left_offset[lid1][lid2])
·C3T：參照區域上偏移量信息(ref_region_top_offset[lid1][lid2])
·C3R：參照區域右偏移量信息(ref_region_right_offset[lid1][lid2])
·C3B：參照區域下偏移量信息(ref_region_bottom_offset[lid1][lid2])
大致，首先，參照區域對象選擇信息進行解碼，接著，根據該參照區域對象選擇信息來導出2個層識別符lid1和lid2。之後進行解碼的參照區域偏移量信息被設定為層lid1上的參照區域的偏移量，該參照區域在層lid1和層lid2之間的層間預測中參照。
參照區域對象選擇信息(C2)是用於確定後續的參照區域偏移量相關聯的層的信息。根據參照區域對象選擇信息，導出2個層識別符lid1和lid2。
層識別符lid1(第一層識別信息)表示參照區域存在的層的層識別符。lid1按照以下的順序來導出。另外，將參照區域對象選擇信息的值(ref_region_target_info[i])簡單記載為RRTI[i]。
1.在RRTI[i]小於對象層的層識別符(nuh_layer_id)的情況下，將lid1的值設定為nuh_layer_id。
2.在上述以外的情況下(RRTI[i]為nuh_layer_id以上的情況下)，將lid1的值設定為「RRTI[i]-nuh_layer_id」。
另外，圖11上所示的lid1的導出式是用數學式來表現了上述的順序的式。
層識別符lid2(第二層識別信息)表示參照區域是在層lid1和哪個層之間的層間預測中參照的參照區域。lid2按照以下的順序來導出。
1.在RRTI[i]小於對象層的層識別符(nuh_layer_id)的情況下，將lid2的值設定為RRTI[i]。
2.在上述以外的情況下(RRTI[i]為nuh_layer_id以上的情況下)，將lid2的值設定為nuh_layer_id。
另外，圖11上所示的lid2的導出式是用數學式來表現了上述的順序的式。
按照上述的順序，根據參照區域對象選擇信息的值來導出2個層識別符lid1和lid2。將上述的導出順序換句話說，在參照區域對象選擇信息小於對象層(參照SPS的層)的層識別符的值的情況下，將後續的參照區域偏移量利用作為對象層上的參照區域的偏移量，在參照區域對象選擇信息為對象層的層識別符的值以上的情況下，將後續的參照區域偏移量利用作為根據對象層的層識別符而將參照區域對象選擇信息的當前的值設為層識別符的層上的參照區域偏移量。
另外，也可以通過其他的方法來執行從參照區域對象選擇信息到2個層識別符的映射。但是，在這個情況下，需要如任一個層識別符成為對象層的層識別符這樣的導出處理。例如，在判定式或減法中使用了對象層的層識別符nuh_layer_id，但取而代之，也可以使用層識別符的最大值。在這個情況下，參照區域對象選擇信息的碼量增加，但具有即使是在從其他層參照SPS這樣需要改寫的情況下，也能夠省略參照區域對象選擇信息的值的改寫這樣的優點。
參照區域偏移量信息(參照區域左偏移量信息(C3L)、參照區域上偏移量信息(C3T)、參照區域右偏移量信息(C3R)、參照區域下偏移量信息(C3B))是用於導出表示對象層上的參照區域的偏移量(參照區域偏移量)的信息，該參照區域在層lid1上且在層lid1和層lid2之間的層間處理(層間預測)中參照。參照區域偏移量信息與lid1和lid2的組合相關聯而記錄。
如上所述，通過並用參照區域選擇對象信息而傳輸參照區域偏移量信息，能夠提供即使是在通過SPS傳輸的情況下，也以少的碼量的追加來對層的每個組合指定不同的參照區域偏移量的功能。
[變形例4：顯示區域利用的控制信息]
作為在執行2個層間的層間預測時隱式地決定參照區域的方法，已知使用顯示區域信息的方法。但是，在指定參照區域的用途上使用顯示區域信息的情況下，存在為了指定顯示區域而變更顯示區域信息受到限制的課題。此外，在特定的層的顯示區域發生變更的情況下，由於將該層設為參照層的上位層的層間預測圖像發生變化，所以存在產生再生成上位層的編碼數據的需要的課題。因此，優選能夠根據其他信息來控制是否將顯示區域使用作為參照區域。
(4-1：利用作為參照區域的規定值的方法)
在參照圖1而說明的對應參照位置導出處理的S101中，說明了在根據參照區域偏移量信息來導出參照區域偏移量時，作為不存在對應的參照區域偏移量信息時的參照區域偏移量既定值，以參照區域成為圖片整體的方式設定參照區域偏移量的值。通過將參照區域偏移量既定值設為顯示區域，在不傳輸參照區域偏移量的情況下，將顯示區域利用作為參照區域的既定值，且在需要變更顯示區域的情況下，指定與將參照區域偏移量顯式地變更前的顯示區域相當的值，從而能夠避免上位層的改寫的同時變更顯示區域。
以下，記載以將顯示區域利用作為參照區域的既定值的方式修正了對應參照位置導出處理的S101的處理、即S101a。
(S101a)根據在參數集解碼部12中作為參照區域信息進行了解碼的、將i和j設為索引的參照區域偏移量信息，導出對象層C(VPS內索引c)上的參照區域並且是在對象層C和參照層R之間的層間預測中參照的參照區域偏移量。以下，將導出的參照區域偏移量稱為RRO[c][r]。除此之外，如下定義構成RRO[c][r]的與左、上、右、下分別對應的參照區域偏移量和記號。
參照區域左偏移量：RRLO[c][r]
參照區域上偏移量：RRTO[c][r]
參照區域右偏移量：RRRO[c][r]
參照區域下偏移量：RRBO[c][r]
基於對應的參照區域偏移量信息，通過以下的計算來導出構成RRO[c][r]的各偏移量、RRLO[c][r]、RRTO[c][r]、RRRO[c][r]、RRBO[c][r]。
RRLO[c][r]＝(ref_region_left_offset[i][j]<<1)
RRTO[c][r]＝(ref_region_top_offset[i][j]<<1)
RRRO[c][r]＝(ref_region_right_offset[i][j]<<1)
RRBO[c][r]＝(ref_region_bottom_offset[i][j]<<1)
這裡，有c＝i、r＝LIdx[i][j]的關係。LIdx[i][j]表示基於在參數集解碼部12中進行了解碼的參照區域層索引信息來導出的排列並且是對於層i的第j個參照區域偏移量信息相關聯的層的VPS內索引。
另外，在對與特定的c和r的組合對應的參照區域偏移量(RRO[c][r])不存在與對應的i和j的組合對應的參照區域偏移量信息的情況下，對構成RRO[c][r]的各偏移量的值設定參照層R(VPS內索引r)的顯示區域信息的對應的值。即，在這樣的情況下，作為對象層C上的參照區域的既定值，設定參照層R上的顯示區域，該參照區域在對象層C和參照層R之間的層間預測中參照。具體而言，構成RRO[c][r]的各偏移量、RRLO[c][r]、RRTO[c][r]、RRRO[c][r]、RRBO[c][r]基於參照層R的顯示區域信息，通過以下的式來設定。
RRLO[c][r]＝conf_win_left_offset[r]
RRTO[c][r]＝conf_win_top_offset[r]
RRRO[c][r]＝conf_win_right_offset[r]
RRBO[c][r]＝conf_win_bottom_offset[r]
這裡，conf_win_left_offset[r]、conf_win_top_offset[r]、conf_win_right_offset[r]、conf_win_bottom_offset[r]分別是從參照層R參照的SPS解碼的各顯示區域位置信息(conf_win_left_offset、conf_win_top_offset、conf_win_right_offset、conf_win_bottom_offset)的對應的語法的值。
(4-2：追加控制標記的方法)
能夠將表示是否將參照區域設為顯示區域的標記(顯示區域利用控制標記)包含在參數集中，在參數集解碼部12中進行解碼，利用於預測圖像生成部1442中的對應參照位置導出處理。作為顯示區域利用控制標記，能夠利用以下的任一個。
顯示區域利用控制標記A：在顯示區域利用控制標記A的值為1的情況下，表示將顯示區域設為層間預測中的參照區域。在該標記的值為0的情況下，表示將圖片整體設為層間預測中的參照區域。
顯示區域利用控制標記B：在顯示區域利用控制標記B的值為1的情況下，表示將顯示區域設為層間預測中的參照區域。在該標記的值為0的情況下，表示將由參照區域偏移量信息指定的參照區域設為參照區域。
圖12表示在參數集解碼部12中進行解碼的、顯示區域利用控制標記A的例。顯示區域利用標記A(use_conf_win_il_flag)包含在SPS擴展中，作為1比特的標記進行解碼或者編碼。
在對應參照位置導出處理中，基於顯示區域利用標記A的值，參照層參照區域按照以下的順序來設定。
1.在顯示區域利用標記A的值為1的情況下，參照層參照區域偏移量的各偏移量被設定在用於確定參照層的顯示區域的顯示區域信息中包含的各偏移量的值。
2.在顯示區域利用標記A的值為0的情況下，參照層參照區域偏移量的各偏移量被設定0。
通過如上所述那樣利用顯示區域利用控制標記，能夠控制是否將顯示區域使用作為參照區域。因此，即使是在與層間預測中的參照區域不同的用途上使用顯示區域的情況下，也能夠避開層間預測中的參照區域。
[備註事項1：關於能夠傳輸參照區域位置信息的層]
在上述的實施方式或各變形例中，參照區域位置信息(參照區域偏移量信息)與2個層識別信息直接或者間接地相關聯。即，某一組的參照區域位置信息是表示層A上的參照區域的形狀以及位置的信息，該參照區域在層A和層B之間的層間處理中參照。
參照區域位置信息也可以不需要一定對全部層A和層B的組合包含在編碼數據中，而是使用以只將與必要的組合有關的參照區域位置信息能夠從編碼數據解碼的方式確定上述的層A或層B的層識別信息。例如，也可以將層B可取的範圍限制為層A的直接參照層(direct reference layer)。在該情況下，作為層識別信息，能夠使用對於列表的索引，該列表是對於層A的直接參照層的列表，由此，能夠削減層識別信息的碼量。尤其，在將參照區域位置信息包含在PPS或條帶頭中的情況下，優選將層B的範圍限制為對於層A的直接參照層。
此外，在參照區域位置信息包含在條帶頭中的情況下，也可以將層B的範圍限制為在包括該條帶頭的圖片中有效的直接參照層(active direct reference layer)。在該情況下，層B的層識別信息能夠使用對於列表的索引，該列表是在包括該條帶頭的圖片中有效的直接參照層的列表。
(層次運動圖像編碼裝置的結構)
使用圖14說明層次運動圖像編碼裝置2的概略結構。圖14是表示了層次運動圖像編碼裝置2的概略結構的功能塊圖。層次運動圖像編碼裝置2一邊參照參照層編碼數據DATA#R一邊對對象層的輸入圖像PIN#T進行編碼，生成對象層的層次編碼數據DATA。另外，設為參照層編碼數據DATA#R在與參照層對應的層次運動圖像編碼裝置中編碼完畢。
如圖14所示，層次運動圖像編碼裝置2包括NAL復用部21、參數集編碼部22、瓦片設定部23、條帶編碼部24、解碼圖片管理部16以及基礎解碼部15。
NAL復用部21通過將被輸入的對象層編碼數據DATA#T和參照層編碼數據DATA#R存儲在NAL單元中，生成進行了NAL復用的層次運動圖像編碼數據DATA，並輸出到外部。
參數集編碼部22基於被輸入的瓦片信息和輸入圖像，設定在輸入圖像的編碼中使用的參數集(VPS、SPS以及PPS)，並作為對象層編碼數據DATA#T的一部分，以VCL NAL的形式進行分組化而供應給NAL復用部21。
在參數集編碼部22進行編碼的參數集中，至少包括與層次運動圖像解碼裝置1關聯而說明的圖片信息、顯示區域信息以及參照區域信息。
瓦片設定部23基於輸入圖像而設定圖片的瓦片信息，並供應給參數集編碼部22和條帶編碼部24。例如，設定表示將圖片尺寸分割為M×N個瓦片的瓦片信息。這裡，M、N是任意的正的整數。
條帶編碼部24基於被輸入的輸入圖像、參數集、瓦片信息以及在解碼圖片管理部16中記錄的參照圖片，對與構成圖片的條帶對應的輸入圖像的一部分進行編碼，生成該部分的編碼數據，並作為對象層編碼數據DATA#T的一部分而供應給NAL復用部21。條帶編碼部24的詳細的說明在後面敘述。
解碼圖片管理部16是與已經說明的層次運動圖像解碼裝置1具備的解碼圖片管理部16相同的結構元素。其中，在層次運動圖像編碼裝置2具備的解碼圖片管理部16中，由於不需要將在內部的DPB中記錄的圖片作為輸出圖片而輸出，所以能夠省略該輸出。另外，在層次運動圖像解碼裝置1的解碼圖片管理部16的說明中作為「解碼」來說明的記載通過置換為「編碼」，還能夠應用於層次運動圖像編碼裝置2的解碼圖片管理部16。
基礎解碼部15是與已經說明的層次運動圖像解碼裝置1具備的基礎解碼部15相同的結構元素，省略詳細說明。
(條帶編碼部)
接著，參照圖15說明條帶編碼部24的結構的細節。圖15是表示了條帶編碼部24的概略結構的功能塊圖。
如圖15所示，條帶編碼部24包括條帶頭設定部241、條帶位置設定部242、CTU編碼部244。CTU編碼部244在內部包括預測殘差編碼部2441、預測圖像編碼部2442、CTU解碼圖像生成部1443。
條帶頭設定部241基於被輸入的參數集和條帶位置信息，生成在以條帶單位輸入的輸入圖像的編碼中使用的條帶頭。生成的條帶頭作為條帶編碼數據的一部分而輸出，且與輸入圖像一同供應給CTU編碼部244。
在條帶頭設定部241中生成的條帶頭中，至少包括SH條帶位置信息。
條帶位置設定部242基於被輸入的瓦片信息來決定圖片內的條帶位置，並供應給條帶頭設定部241。
CTU編碼部244基於被輸入的參數集、條帶頭，以CTU單位對輸入圖像(對象條帶部分)進行編碼，生成對象條帶所涉及的條帶數據以及解碼圖像(解碼圖片)並輸出。CTU的編碼由預測圖像編碼部2442、預測殘差編碼部2441、CTU解碼圖像生成部執行。
預測圖像編碼部2442決定在對象條帶中包含的對象CTU的預測方式以及預測參數，基於決定的預測方式來生成預測圖像，並輸出到預測殘差編碼部2441和CTU解碼圖像生成部1443。預測方式或預測參數的信息作為預測信息(PT信息)進行可變長編碼，並作為在條帶編碼數據中包含的條帶數據的一部分而輸出。在預測圖像編碼部2442中能夠選擇的預測方式中，至少包括層間圖像預測。
預測圖像編碼部2442在作為預測方式而選擇了層間圖像預測的情況下，執行對應參照位置導出處理，決定與預測對象像素對應的參照層像素位置，並通過基於該位置的插值處理來決定預測像素值。作為對應參照位置導出處理，能夠應用關於層次運動圖像解碼裝置1的預測圖像生成部1442進行了說明的各處理。例如，應用參照圖1來說明的、基於在參數集中包含的參照區域信息來導出對應參照位置的處理。
預測殘差編碼部2441將對被輸入的輸入圖像和預測圖像的差分圖像進行變換/量化而獲得的量化變換係數(TT信息)，作為在條帶編碼數據中包含的條帶數據的一部分來輸出。此外，對量化變換係數應用逆變換/逆量化而復原預測殘差，並將復原的預測殘差輸出到CTU解碼圖像生成部1443。
由於CTU解碼圖像生成部1443具有與層次運動圖像解碼裝置1的同名的結構元素相同的功能，所以賦予相同的標號，省略說明。
(運動圖像編碼裝置2的效果)
以上說明的本實施方式的層次運動圖像編碼裝置2(層次圖像編碼裝置)包括：參數集編碼部22，對參數集進行編碼；以及預測圖像編碼部2442，參照參照層圖片的解碼像素，通過層間預測來生成預測圖像。參數集編碼部22對參照區域信息進行編碼，預測圖像編碼部2442使用從參照區域信息導出的對象層參照區域偏移量和參照層參照區域信息的值，導出對於對象層上的像素的對應參照位置。
因此，上述層次運動圖像編碼裝置2通過適當地設定參照區域信息，即使是在以關注區域提取為代表的目的變換層次編碼數據的情況下，也能夠在變換的前後對相當於同一位置的對象層的像素導出相同的對應參照位置。此時，由於將在標度計算中使用的對象層和參照層的參照區域一同從參照區域信息導出，所以能夠實現使用比以往少的語法元素來導出在變換的前後相同的對應參照位置的功能。
〔層次編碼數據變換裝置3〕
使用圖16說明層次編碼數據變換裝置3的概略結構。圖16是表示了層次編碼數據變換裝置3的概略結構的功能塊圖。層次編碼數據變換裝置3對被輸入的層次編碼數據DATA進行變換，生成被輸入的關注區域信息所涉及的層次編碼數據DATA-ROI。另外，層次編碼數據DATA是由層次運動圖像編碼裝置2生成的層次編碼數據。此外，通過將層次編碼數據DATA-ROI輸入到層次運動圖像解碼裝置1，能夠再現關注區域信息所涉及的上位層的運動圖像。
如圖16所示，層次編碼數據變換裝置3包括NAL解復用部11、NAL復用部21、參數集解碼部12、瓦片設定部13、參數集修正部32、NAL選擇部34。
由於NAL解復用部11、參數集解碼部12、瓦片設定部13分別具有與層次運動圖像解碼裝置1包含的同名的結構元素相同的功能，所以賦予相同的標號，省略說明。
由於NAL復用部21具有與層次運動圖像編碼裝置2包含的同名的結構元素相同的功能，所以賦予相同的標號，省略說明。
參數集修正部32基於被輸入的關注區域信息和瓦片信息，對被輸入的參數集信息進行修正而輸出。參數集修正部32大致對在參數集中包含的圖片信息、顯示區域信息、層間像素對應信息、參照區域信息、PPS瓦片信息進行修正。
關注區域信息是在構成運動圖像的圖片中，用戶(例如，再現運動圖像的視聽者)指定的圖片的部分區域。關注區域信息被指定為例如矩形的區域。在該情況下，例如，能夠指定表示關注區域的矩形的上邊、下邊、左邊、右邊離圖片整體的對應的邊(上邊、下邊、左邊、或者、右邊)的位置的偏移量作為關注區域信息。另外，也可以使用矩形以外的形狀的區域(例如，圓、多角形、表示通過物體提取而提取的物體的區域)作為關注區域，但以下，為了簡化說明而假設矩形的關注區域。另外，在對矩形以外的區域應用以下記載的內容的情況下，例如，能夠將包括關注區域的面積最小的矩形當作以下的說明中的關注區域來應用。
(變換處理的概略)
首先，參照圖17說明基於層次編碼數據變換裝置3的變換處理的參數集修正的概略。圖17是例示了變換前後的層次編碼數據中的圖片、關注區域以及瓦片的關係的圖。在圖17中，表示在對由擴展層和基礎層的2個層構成的層次編碼數據(變換前層次編碼數據)進行變換而生成包括關注區域的層次編碼數據(變換後層次編碼數據)的情況下的、變換前後的圖片的關係。變換前層次編碼數據的擴展層是相當於變換前EL圖片的數據，基礎層是相當於變換前BL圖片的數據。同樣地，變換後層次編碼數據的擴展層是相當於變換後EL圖片的數據，基礎層是相當於變換後BL圖片的數據。
層次編碼數據變換裝置3大致從被輸入的變換前層次編碼數據除去在擴展層上不具有與關注區域重複的區域的瓦片，對關聯的參數集進行修正，從而生成變換後的層次編碼數據。層次運動圖像解碼裝置能夠將變換後層次編碼數據作為輸入，生成關注區域所涉及的解碼圖像。
(瓦片信息的修正)
參數集修正部32參照被輸入的關注區域信息和瓦片信息，以對應的區域的一部分只包括與關注區域重複的瓦片(提取對象瓦片)的方式，更新擴展層的PPS瓦片信息。基於提取對象瓦片的信息，更新擴展層的PPS瓦片信息。首先，在提取對象瓦片為1個的情況下，將tiles_enabled_flag修正為0。另外，在提取對象瓦片為2個以上的情況下，能夠省略修正處理。接著，基於在圖片的水平方向和垂直方向中包含的提取對象瓦片的個數，對表示瓦片行數的(num_tile_columns_minus1)和表示瓦片列數的(num_tile_rows_minus1)進行修正。接著，在瓦片尺寸為不均等(uniform_spacing_flag為0)的情況下，從參數集刪除與不包括提取對象瓦片的瓦片列的寬度、不包括提取對象瓦片的瓦片行的高度所涉及的語法對應的比特串。
除此之外，參數集修正部32在變換前BL圖片中包含的瓦片中，除去在擴展層中提取的瓦片的解碼中不需要的瓦片。例如，以與變換後BL圖片對應的擴展層上的區域(變換後參照層對應區域)包含變換後EL圖片的方式，更新基礎層的PPS瓦片信息。
(圖片信息的修正)
參數集修正部32將與擴展層的提取對象瓦片的集合對應的區域作為變換後EL圖片尺寸來修正圖片信息。將變換後EL圖片的寬度和高度作為擴展層SPS的pic_width_in_luma_samples和pic_height_in_luma_samples的值來分別設定。
除此之外，參數集修正部32將與基礎層的提取對象瓦片的集合對應的區域作為變換後BL圖片尺寸來修正圖片信息。將變換後BL圖片的寬度和高度作為基礎層SPS的pic_width_in_luma_samples和pic_height_in_luma_samples的值來分別設定。
(層間像素對應信息的修正)
參數集修正部32根據圖片尺寸的變更，對在參數集中包含的層間像素對應信息進行修正。具體而言，對在層間像素對應信息中包含的參照區域偏移量進行修正。這裡，為了說明，將擴展層的層識別符設為e，將基礎層的層識別符設為b。在參照區域偏移量中包含的、對於層e上的參照區域的參照區域左偏移量ref_region_right_offset[e][k](其中，b＝rLIdx[e][k])的值被設定將變換前EL圖片的左上像素和變換後EL圖片的左上像素的水平方向的距離以2個像素單位來表示的值設為絕對值的負值，該參照區域在層e和層b之間的層間預測中參照。除此之外，對於層b上的參照區域的參照區域左偏移量ref_region_right_offset[b][l](其中，e＝rLIdx[b][l])的值被設定將變換前BL圖片的左上像素和變換後BL圖片的左上像素的水平方向的距離以2個像素單位來表示的值設為絕對值的負值，該參照區域在層b和層e之間的層間預測中參照。其他的與上、右、下對應的參照區域偏移量的值也被同樣地設定。
(顯示區域信息的修正)
參數集修正部32以與被輸入的關注區域信息表示的關注區域一致的方式，改寫在被輸入的參數集中包含的SPS的顯示區域信息。顯示區域信息例如按照如下的S301至S303的順序改寫。
(S301)判定關注區域是否與圖片整體一致。在一致的情況下，進入S302，在不一致的情況下，進入S303。
(S302)在覆寫前的顯示區域標記的值為1的情況下，將該顯示區域標記的值覆寫為0，且從SPS除去顯示區域偏移量(conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset)而結束處理。
(S303)將顯示區域標記的值覆寫為1。將顯示區域偏移量的各偏移量設定為表示關注區域的矩形的各邊與圖片的對應的邊的位置的偏移量的值。例如，將關注區域上邊相對於圖片上邊的位置偏移量設定為顯示區域上偏移量(conf_win_top_offset)的值。另外，在改寫前的顯示區域標記的值為1的情況下，使用上述設定的關注區域偏移量的值，覆寫原來的關注區域偏移量的值。在改寫前的顯示區域標記的值為1的情況下，將上述設定的關注區域偏移量插入到SPS的顯示區域標記的緊跟後。
NAL選擇部34基於被輸入的關注區域信息和瓦片信息，進行被輸入的視頻編碼層NAL(VCL NAL)的選擇。被選擇的VCL NAL順次輸出到NAL復用部21，未被選擇的VCL NAL被丟棄。
在NAL選擇部34中選擇的VCL NAL是包括與在提取對象瓦片中包含的條帶有關的條帶頭以及條帶數據的VCL NAL。NAL選擇部34根據在條帶頭中包含的條帶地址和瓦片信息，判定條帶是否包含在提取對象瓦片中，在包含的情況下，選擇包含該條帶的VCL NAL，在不包含的情況下，丟棄該VCL NAL。
(層次編碼數據變換處理流程)
層次編碼數據變換裝置3的層次編碼數據變換處理通過順次執行S501～S506所示的順序來實現。
(S501)NAL解復用部11對被輸入的層次編碼數據DATA進行解復用。將參數集所涉及的部分(非VCL NAL)輸出到參數解碼部12，將作為條帶層(條帶頭、條帶數據)所涉及的部分的視頻編碼層NAL(VCL NAL)輸出到NAL選擇部34。
(S502)參數集解碼部12根據被輸入的非VCL NAL來解碼參數集(VPS、SPS、PPS)，並輸出到參數集修正部32和瓦片設定部13。
(S503)瓦片設定部13根據被輸入的參數集來導出瓦片信息，並輸出到參數集修正部32和NAL選擇部34。
(S504)參數集修正部32基於被輸入的關注區域信息和瓦片信息，對被輸入的參數集進行修正而輸出。
(S505)NAL選擇部34基於被輸入的瓦片信息和關注區域信息，選擇被輸入的VCL NAL的一部分，並將選擇的VCL NAL輸出到NAL復用部21。
(S506)NAL復用部21將被輸入的修正後的參數集和修正後的條帶頭和條帶數據作為修正後的對象層的編碼數據，與被輸入的參照層編碼數據DATA#R進行復用，並作為層次編碼數據DATA-ROI而輸出到外部。
(層次編碼數據變換裝置3的效果)
以上說明的本實施方式的層次編碼數據變換裝置3包括：NAL選擇部34，基於關注區域信息，對在對象層(上位層)的編碼數據中包含的視頻層的編碼數據(VCL NAL)的一部分進行修正；以及參數集修正部32。NAL選擇部34基於關注區域信息表示的關注區域，選擇具有與關注區域重複的區域的瓦片作為提取對象瓦片，在所述選擇的提取對象瓦片中包含的條帶所涉及的視頻層的編碼數據包含在變換後的層次編碼數據中。參數集修正部32基於關注區域信息和瓦片信息，對圖片信息、PPS瓦片信息、顯示信息以及參照區域信息進行修正。
根據上述的層次編碼數據變換裝置3，能夠對被輸入的層次編碼數據進行變換，提取在上位層中提取對象瓦片(具有與關注區域重複的區域的瓦片)所涉及的VCL NAL，構成變換後的層次編碼數據。由於不具有與關注區域重複的區域的瓦片所涉及的VCL NAL被丟棄，所以變換後的層次編碼數據的碼量比變換前的層次編碼數據少。此外，根據上述的層次編碼數據變換裝置3，由於能夠將參數集，配合提取對象瓦片來對圖片信息、PPS瓦片信息、顯示信息進行修正，所以能夠由層次運動圖像解碼裝置對變換後的層次編碼數據進行解碼，能夠顯示關注區域所涉及的解碼圖片。除此之外，由於參照區域信息被修正，所以在變換前後的層次編碼數據中維持了標度、和上位層的像素和參照層的像素的對應關係。因此，由變換前的編碼數據生成的層間預測的預測圖像和由變換後的編碼數據生成的層間預測的預測圖像被維持為同等程度。
〔關注區域顯示系統〕
能夠將上述的層次運動圖像解碼裝置1、層次運動圖像編碼裝置2以及層次編碼數據變換裝置3進行組合，構成顯示關注區域信息的系統(關注區域顯示系統SYS)。
基於圖18，說明能夠由上述的層次運動圖像解碼裝置1、層次運動圖像編碼裝置2以及層次編碼數據變換裝置3的組合構成關注區域顯示系統的情況。圖18是表示了基於層次運動圖像解碼裝置1、層次運動圖像編碼裝置2以及層次編碼數據變換裝置3的組合的關注區域顯示系統的結構的框圖。關注區域顯示系統SYS大致對質量不同的輸入圖像進行層次編碼而蓄積，根據來自用戶的關注區域信息，對蓄積的層次編碼數據進行變換而提供，通過對進行了變換的層次編碼數據進行解碼，顯示關注區域(ROI)所涉及的高質量的再現圖像。
如圖18所示，關注區域顯示系統SYS包括層次運動圖像編碼部SYS1A、層次運動圖像編碼部SYS1B、層次編碼數據蓄積部SYS2、層次編碼數據變換部SYS3、層次運動圖像解碼部SYS4、顯示部SYS6、ROI通知部SYS8作為結構元素。
在層次運動圖像編碼部SYS1A、SYS1B中，能夠利用前述的層次運動圖像編碼裝置2。
層次編碼數據蓄積部SYS2蓄積層次編碼數據，並根據要求而供應層次編碼數據。作為層次編碼數據蓄積部SYS2，能夠利用具備記錄介質(存儲器、硬碟、光碟)的計算機。
在層次編碼數據變換部SYS3中，能夠利用前述的層次編碼數據變換部3。因此，層次編碼數據變換部SYS3能夠配合被輸入的關注區域，將在被輸入的層次編碼數據中包含的參照區域信息設定為適當的值。
在層次運動圖像解碼部SYS4中，能夠利用前述的層次運動圖像解碼裝置1。因此，層次運動圖像解碼部SYS4能夠根據參數集來解碼參照區域信息，參照該參照區域信息而執行層間預測。
顯示部SYS6將解碼圖像顯示在預定的顯示區域的預定的顯示位置。例如，顯示區域是電視機的畫面，顯示位置是其整體。另外，顯示部SYS6優選將被輸入的解碼圖像放大或者縮小為與顯示區域的尺寸一致的尺寸而顯示。
ROI通知部SYS8通過預定的方法來通知用戶指定的關注區域信息。例如，用戶能夠通過在顯示了整體顯示圖像的顯示區域上指定相當於關注區域的區域，對ROI通知部傳遞關注區域。另外，ROI通知部SYS8在沒有用戶的指定的情況下，通知表示沒有關注區域的信息作為關注區域信息。
(關注區域顯示系統的流程)
關注區域顯示系統的處理能夠分為層次編碼數據生成蓄積處理和關注區域數據生成再現處理。
在層次編碼數據生成蓄積處理中，根據不同的質量的輸入圖像來生成層次編碼數據而蓄積。層次編碼數據生成蓄積處理按照T101至T103的順序執行。
(T101)層次運動圖像編碼部SYS1B對被輸入的低質量的輸入圖像進行編碼，並將生成的層次編碼數據供應給層次運動圖像編碼部SYS1A。即，層次運動圖像編碼部SYS1B根據輸入圖像，生成在層次運動圖像編碼部SYS1A中使用作為參照層(下位層)的層次編碼數據而輸出。
(T102)層次運動圖像編碼部SYS1A將被輸入的層次編碼數據作為參照層的編碼數據，對被輸入的高質量的輸入圖像進行編碼，生成層次編碼數據而輸出到層次編碼數據蓄積部SYS2。
(T103)層次編碼數據蓄積部SYS2對被輸入的層次編碼數據賦予適當的索引而記錄在內部的記錄介質中。
在關注區域數據生成再現處理中，從層次編碼數據蓄積部SYS2讀出層次編碼數據，變換為相當於關注區域的層次編碼數據，並對進行了變換的層次編碼數據進行解碼而再現以及顯示。關注區域數據生成再現處理按照以下的T201～T205的順序執行。
(T201)與用戶選擇的運動圖像有關的層次編碼數據從層次編碼數據蓄積部SYS2供應給層次編碼數據變換部SYS3。
(T202)ROI通知部SYS8將用戶指定的關注區域信息通知給層次編碼數據變換部SYS3。
(T203)層次編碼數據變換部SYS3基於被輸入的關注區域信息，對被輸入的層次編碼數據進行變換而輸出到層次運動圖像解碼部SYS4。
(T204)層次運動圖像解碼部SYS4對被輸入的層次運動圖像編碼數據(變換後)進行解碼，並將獲得的上位層的解碼圖片輸出到顯示部SYS6。
(T205)顯示部SYS6顯示被輸入的解碼圖像。
(關注區域顯示系統SYS的效果)
以上說明的本實施方式的關注區域顯示系統SYS包括：關注區域通知部(ROI通知部SYS8)，供應關注區域信息；層次編碼數據變換部SYS3，基於所述關注區域信息對層次編碼數據進行變換而生成變換後層次編碼數據；層次運動圖像解碼部SYS4，對上述變換後層次編碼數據進行解碼而輸出上位層以及下位層的解碼圖片；以及顯示部SYS6。
根據上述的關注區域顯示系統SYS，能夠顯示由關注區域信息指定的區域的解碼圖片。此時，由於由關注區域信息指定的區域的解碼圖片使用層間圖像預測而被解碼，所以畫質高，該層間圖像預測使用根據層次編碼數據的上位層的編碼數據來基於參照區域信息而導出的標度和對應參照位置。除此之外，基於關注區域進行了變換的層次編碼數據的碼量比變換前的層次編碼數據少。因此，通過使用上述的關注區域顯示系統SYS，能夠削減層次編碼數據的傳輸所需的頻帶，且能夠再現關注區域所涉及的畫質高的解碼圖片。
＜實施方式2＞
基於圖21～圖24說明本發明的一實施方式的層次運動圖像解碼裝置3，則如下所述。
[層次運動圖像解碼裝置]
說明層次運動圖像解碼裝置3的概略結構。層次運動圖像解碼裝置3是在參照圖5來說明的層次運動圖像解碼裝置1中，將參數集解碼部12置換為參數集解碼部12A、將條帶解碼部14置換為條帶解碼部14A的結構。即，層次運動圖像解碼裝置3包括NAL解復用部11、參數集解碼部12A、瓦片設定部13、條帶解碼部14A、基礎解碼部15、解碼圖片管理部16。以下，說明作為新的結構元素的參數解碼部12A以及條帶解碼部14A。
(參數集解碼部12A)
(層間位置對應信息)
參數集解碼部12A根據被輸入的對象層編碼數據，對層間位置對應信息進行解碼。層間位置對應信息大致表示對象層和參照層的對應的區域的位置關係。例如，在對象層的圖片和參照層的圖片中包括某物體(物體A)的情況下，對象層的圖片上的與物體A對應的區域和參照層的圖片上的與物體A對應的區域相當於所述對象層和參照層的對應的區域。另外，層間位置對應信息也可以不一定是準確地表示上述的對象層和參照層的對應的區域的位置關係的信息，但一般而言，為了提高層間預測的準確性，表示準確的對象層和參照層的對應的區域的位置關係。
在本實施方式中，層間位置對應信息包括放大參照層偏移量信息、參照層偏移量信息以及層間相位信息。
(層間位置對應信息：放大參照層偏移量信息)
在層間位置對應信息中，包括規定放大參照層偏移量的信息。放大參照層偏移量能夠在編碼數據內包括多個，各個放大參照層偏移量由與左、上、右、下分別對應的4個偏移量構成，且與對象圖片以及參照圖片的2張圖片的組合相關聯。換言之，對對象圖片和特定的參照圖片的每個組合，規定對應的放大參照層偏移量的信息包含在層間位置對應信息中。另外，不需要一定對全部對象圖片和參照圖片的組合包括規定參照層偏移量的信息，還能夠以特定的條件對一部分組合省略而使用既定值。
參照圖21說明構成放大參照層偏移量的各偏移量的含義。圖21是例示對象層圖片、參照層圖片以及層間像素對應偏移量的關係的圖。
圖21(a)是表示在參照層的圖片整體與對象層的圖片的一部分對應的情況下的例。在該情況下，與參照層圖片整體對應的對象層上的區域(對象層對應區域)包含在對象層圖片的內部中。圖21(b)表示在參照層的圖片的一部分與對象層的圖片整體對應的情況下的例。在該情況下，在參照層對應區域的內部中包括對象層圖片。另外，在對象層圖片整體中包括偏移量。
如圖21所示，放大參照層左偏移量(在圖中，SRL左偏移量)表示參照層對應區域左邊相對於對象層圖片左邊的偏移量。另外，在SRL左偏移量大於0的情況下，表示參照層對應區域左邊位於對象層圖片左邊的右側。
放大參照層上偏移量(在圖中，SRL上偏移量)表示參照層對應區域上邊相對於對象層圖片上邊的偏移量。另外，在SRL上偏移量大於0的情況下，表示參照層對應區域上邊位於對象層圖片上邊的下側。
放大參照層右偏移量(在圖中，SRL右偏移量)表示參照層對應區域右邊相對於對象層圖片右邊的偏移量。另外，在SRL右偏移量大於0的情況下，表示參照層對應區域右邊位於對象層圖片右邊的左側。
放大參照層下偏移量(在圖中，SRL下偏移量)表示參照層對應區域下邊相對於對象層圖片下邊的偏移量。另外，在SRL下偏移量大於0的情況下，表示參照層對應區域下邊位於對象層圖片下邊的上側。
(層間位置對應信息：參照層偏移量信息)
在層間位置對應信息中，包括規定參照層偏移量的信息(參照層偏移量信息)。參照層偏移量能夠在編碼數據內包括多個，各個參照層偏移量由與左、上、右、下分別對應的4個偏移量構成，且與對象圖片以及參照圖片的2張圖片的組合相關聯。換言之，對對象圖片和特定的參照圖片的每個組合，對應的參照層偏移量能夠包含在層間像素對應信息中。
參照層左偏移量表示參照層基準區域左邊相對於參照層圖片左邊的偏移量。另外，在偏移量值大於0的情況下，表示參照層基準區域左邊位於參照層圖片左邊的右側。
參照層上偏移量表示參照層基準區域上邊相對於參照層圖片上邊的偏移量。另外，在偏移量值大於0的情況下，表示參照層基準區域上邊位於參照層圖片上邊的下側。
參照層右偏移量表示參照層基準區域右邊相對於參照層圖片右邊的偏移量。另外，在偏移量值大於0的情況下，表示參照層基準區域右邊位於參照層圖片右邊的左側。
參照層下偏移量表示參照層基準區域下邊相對於參照層圖片下邊的偏移量。另外，在偏移量值大於0的情況下，表示參照層基準區域下邊位於參照層圖片下邊的上側。
(層間位置對應信息：層間相位信息)
在層間相位信息中，包括表示層間的相位差的信息(層間相位偏移量)。層間相位能夠在編碼數據內包括多個，各個層間相位偏移量由亮度水平方向、亮度垂直方向、色差水平方向、色差垂直方向的4個偏移量構成，且與對象圖片以及參照圖片的2張圖片的組合相關聯。換言之，對對象圖片和特定的參照圖片的每個組合，對應的層間相位偏移量能夠包含在層間像素對應信息中。
層間相位亮度水平偏移量表示對象層的亮度圖像上的、參照層對應區域左上像素和與該像素對應的參照層上的像素的小於1像素的水平方向的偏差。
層間相位亮度垂直偏移量表示對象層的亮度圖像上的、參照層對應區域左上像素和與該像素對應的參照層上的像素的小於1像素的垂直方向的偏差。
層間相位色差水平偏移量表示對象層的色差圖像上的、參照層對應區域左上像素和與該像素對應的參照層上的像素的小於1像素的水平方向的偏差。
層間相位色差垂直偏移量表示對象層的色差圖像上的、參照層對應區域左上像素和與該像素對應的參照層上的像素的小於1像素的垂直方向的偏差。
(層間位置對應信息的語法)
接著，說明包含在編碼數據中且由參數集解碼部12A進行解碼的放大參照層偏移量信息、參照層偏移量信息以及層間相位偏移量信息。
放大參照層偏移量信息、參照層偏移量信息以及層間相位偏移量信息例如包含在作為上位層的PPS的一部分的PPS擴展(pps_estension)中，且根據圖22所示的語法表進行解碼。圖22是參數集解碼部12A在PPS解碼時參照的語法表的一部分，並且是層間像素對應信息所涉及的部分。
在從PPS解碼的放大參照層偏移量信息中，包括在PPS擴展中包含的放大參照層偏移量數(num_scaled_ref_layer_offsets)。除此之外，所述放大參照層偏移量數表示的個數的放大參照層偏移量，與參照層識別符一同包含。參照層識別符(ref_layer_id)是表示後續的放大參照層偏移量相關聯的參照層的識別符。作為層間像素對應偏移量，包括放大參照層左偏移量(scaled_ref_layer_left_offset)、放大參照層上偏移量(scaled_ref_layer_top_offset)、放大參照層右偏移量(scaled_ref_layer_right_offset)以及放大參照層下偏移量(scaled_ref_layer_bottom_offset)。以下，將scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offset總稱為放大參照層偏移量語法。另外，在圖22的語法表中，在放大參照層偏移量語法的後方賦予排列索引「[ref_layer_id[i]]」表示放大參照層偏移量語法與ref_layer_id[i]表示的參照層相關聯。
參數集解碼部12A通過從編碼數據解碼附帶符號的指數哥倫布碼(se(v))的碼，對放大參照層偏移量語法的值進行解碼。具體而言，附帶符號的指數哥倫布碼能夠使用在HEVC中既定的同名的碼。被解碼的放大參照層偏移量語法的值以對象圖片的色差像素為單位。另外，在編碼數據中不存在與特定的參照層對應的放大參照層偏移量語法的情況下，與該參照層對應的各放大參照層偏移量的值被設定為0。
在從PPS解碼的參照層偏移量信息中，包括表示與層識別符「ref_layer_id[i]」表示的參照層相關聯的參照層偏移量信息在PPS內存在與否的標記、即參照層偏移量信息存在與否標記(ref_layer_offset_present_flag)。在排列索引為「i」的參照層偏移量信息存在與否標記的值(ref_layer_offset_present_flag[i])為1的情況下，在PPS中包括參照PPS的條帶所屬的層(對象層)和與該參照層相關聯的各參照層偏移量。具體而言，包括參照層左偏移量(ref_layer_left_offset)、參照層上偏移量(ref_layer_top_offset)、參照層右偏移量(ref_layer_right_offset)以及參照層下偏移量(ref_layer_bottom_offset)。以下，將ref_layer_left_offset、ref_layer_top_offset、ref_layer_right_offset、ref_layer_bottom_offset總稱為參照層偏移量語法。
參數集解碼部12A通過從編碼數據解碼附帶符號的指數哥倫布碼(se(v))的碼，對參照層偏移量語法的值進行解碼。被解碼的參照層偏移量語法的值以經由參照層識別符來與該參照層偏移量語法相關聯的參照層圖片的色差像素為單位。另外，在編碼數據中不存在與特定的參照層對應的參照層偏移量語法的情況下，與該參照層對應的各參照層偏移量的值被設定為0。
在從PPS解碼的層間相位偏移量信息中，包括表示與層識別符「ref_layer_id[i]」表示的參照層相關聯的層間相位偏移量信息在PPS內的存在與否的標記、即層間相位偏移量信息存在與否標記(resample_phase_present_flag)。在排列索引為「i」的層間相位偏移量信息存在與否標記(resample_phase_present_flag[i])的值為1的情況下，在PPS中包括參照PPS的條帶所屬的層(對象層)和與該參照層相關聯的各層間相位偏移量。具體而言，包括層間相位亮度水平偏移量(phase_hor_luma)、層間相位亮度垂直偏移量(phase_ver_luma)、層間相位色差水平偏移量(phase_hor_chroma)以及層間相位色差垂直偏移量(phase_ver_chroma)。以下，將phase_hor_luma、phase_ver_luma、phase_hor_chroma、phase_ver_chroma總稱為層間相位偏移量語法。
參數集解碼部12A通過從編碼數據解碼無符號的指數哥倫布碼(se(v))的碼，對層間相位偏移量語法的值進行解碼。另外，在編碼數據中不存在與特定的參照層對應的層間相位偏移量語法的情況下，與該參照層對應的層間相位偏移量的值被設定為0。
以上，參照圖22的語法表來說明的、在參數集解碼部12A中從PPS解碼的層間位置對應信息具有如下特徵。
在PPS內包括選擇參照層的一個的參照層識別符，在編碼數據內連續包含與同一個參照層識別符相關聯的放大參照層偏移量語法、參照層偏移量語法以及層間相位偏移量語法。換言之，在PPS中包括ref_layer_id[i]，具有同一個排列索引「[ref_layer_id[i]]」的放大參照層偏移量語法、參照層偏移量語法以及層間相位偏移量語法在編碼數據內連續包含。另外，也可以在之間包含各偏移量信息的存在與否標記(例如，前述的參照層偏移量信息存在與否標記或層間相位偏移量信息存在與否標記)，也可以根據該存在與否標記的值而省略一部分偏移量。此外，與同一個參照層識別符相關聯的放大參照層偏移量語法、參照層偏移量語法、層間相位偏移量語法在編碼數據內的順序也可以不一定是前述的順序，也可以調換順序。
如以上所述，通過在編碼數據內連續包含與同一個參照層識別符相關聯的放大參照層偏移量語法、參照層偏移量語法以及層間相位偏移量語法，與按各偏移量的每個種類來對與偏移量的數目相關聯的參照層的識別符進行解碼的情況相比，能夠根據更少的碼量的編碼數據來解碼層間位置對應信息。
換言之，參數集解碼部12A通過對表示特定的參照層的第一參照層識別符(ref_layer_id[i])進行解碼，根據編碼數據來接著對與所述第一參照層識別符相關聯的所述放大參照層偏移量語法、與所述第一參照層識別符相關聯的所述參照層偏移量語法、以及與所述第一參照層識別符相關聯的層間相位偏移量語法進行解碼，從而能夠根據更少的碼量的編碼數據來解碼層間位置信息。
此外，由於在層間位置對應信息中包括參照層偏移量信息存在與否標記，所以在不需要顯式地傳輸參照層偏移量的情況下，能夠削減碼量。由於參照層偏移量具有應用默認值的比例高的特性，所以通過使用參照層間偏移量信息存在與否標記，能夠削減平均的碼量。
此外，由於在層間位置對應信息中包括層間相位偏移量信息存在與否標記，所以在不需要顯式地傳輸層間相位偏移量的情況下，能夠削減碼量。由於層間相位偏移量具有應用默認值的比例高的特性，所以通過使用層間相位偏移量信息存在與否標記，能夠削減平均的碼量。
(條帶解碼部14A)
條帶解碼部14A具有與參照圖13來說明的條帶解碼部14相同的結構和功能。兩者的差異在於，代替條帶解碼部14包括的預測圖像生成部1442，條帶解碼部14A包括預測圖像生成部1443A。在預測圖像生成部1443A中，執行在選擇了層間預測時的預測圖像生成處理時，基於層間位置對應信息，按照以下的S401～S409的順序執行對應參照位置導出處理。
(S401)判定預測圖像生成處理的對象是亮度像素還是色差像素。在對象為亮度像素的情況下，執行S402。在對象為色差像素的情況下，執行S404。
(S402)根據在參數集解碼部12A中進行了解碼的、與參照層對應的放大參照層偏移量語法的值，導出放大參照層偏移量。以下，將導出的涉及參照層(層R)的放大參照層偏移量稱為SRLO[r]。除此之外，如下定義構成SRLO[r]的與左、上、右、下分別對應的放大參照層偏移量和記號。
放大參照層左偏移量：SRLLO[r]
放大參照層上偏移量：SRLTO[r]
放大參照層右偏移量：SRLRO[r]
放大參照層下偏移量：SRLBO[r]
基於對應的放大參照層偏移量語法的值，通過以下的計算來導出構成SRLO[r]的各偏移量、SRLLO、SRLTO、SRLRO、SRLBO。
SRLLO＝(scaled_ref_layer_left_offset[r]*SubWidthC)
SRLTO＝(scaled_ref_layer_top_offset[r]*SubHeightC)
SRLRO＝(scaled_ref_layer_right_offset[r]*SubWidthC)
SRLBO＝(scaled_ref_layer_bottom_offset[r]*SubHeightC)
這裡，SubWidthC以及SubHeightC是根據與對象層相對應的顏色格式來導出的亮度色差寬度比以及亮度色差高度比。
上述的放大參照層偏移量的導出處理能夠如下表現。即，在預測圖像生成處理的對象為亮度像素的情況下，根據放大參照層偏移量語法的值和對象層中的亮度色差尺寸比(亮度色差寬度比或者亮度色差高度比)之積，導出放大參照層偏移量。接著，執行S403。
(S403)導出參照層(層r)上的參照層偏移量。參照層偏移量由與左、上、右、下分別對應的4個偏移量(依次為RLLO、RLTO、RLRO、RLBO)構成，且基於參照層偏移量語法的值，通過下式來導出。
RLLO＝(ref_layer_left_offset[r]*RefSubWidthC)
RLTO＝(ref_layer_top_offset[r]*RefSubHeightC)
RLRO＝(ref_layer_right_offset[r]*RefSubWidthC)
RLBO＝(ref_layer_bottom_offset[r]*RefSubHeightC)
這裡，RefSubWidthC以及RefSubHeightC是根據與參照層相對應的顏色格式來導出的亮度色差尺寸比。即，基於參照層的顏色格式來導出的SubWidthC的值被設定為RefSubWidthC，基於參照層的顏色格式來導出的SubHeightC的值被設定為RefSubHeightC。
上述的參照層偏移量的導出處理能夠如下表現。即，在預測圖像生成處理的對象為亮度像素的情況下，根據參照層偏移量語法的值和參照層中的亮度色差尺寸比之積，導出參照層偏移量。接著，執行S406。
(S404)在S402中說明的構成SRLO[j]的各偏移量、SRLLO、SRLTO、SRLRO、SRLBO基於對應的放大參照層偏移量語法的值，通過以下的計算來導出。
SRLLO＝scaled_ref_layer_left_offset[r]
SRLTO＝scaled_ref_layer_top_offset[r]
SRLRO＝scaled_ref_layer_right_offset[r]
SRLBO＝scaled_ref_layer_bottom_offset[r]
上述的放大參照層偏移量的導出處理能夠如下表現。即，在預測圖像生成處理的對象為色差像素的情況下，將放大參照層偏移量語法的值作為放大參照層偏移量來導出。
接著，執行S405。
(S405)通過下式來導出在S403中說明的參照層偏移量(RLLO、RLTO、RLRO、RLBO)。
RLLO＝ref_layer_left_offset[r]
RLTO＝ref_layer_top_offset[r]
RLRO＝ref_layer_right_offset[r]
RLBO＝ref_layer_bottom_offset[r]
上述的參照層偏移量的導出處理能夠如下表現。即，在預測圖像生成處理的對象為色差像素的情況下，將參照層偏移量語法的值作為參照層偏移量的值來導出。接著，執行S406。
(S406)基於在S402或者S404中導出的放大參照層偏移量和對象層圖片尺寸，導出放大參照層的尺寸。基於對象層圖片的寬度(CL_PICW)和高度(CL_PICH)，分別通過下式來導出放大參照層的寬度(SRLW)和高度(SRLH)。
SRLW＝CL_PICW-(SRLLO+SRLRO)
SRLH＝CL_PICH-(SRLTO+SRLBO)
即，根據上述的式，通過從對象層圖片的寬度減去放大參照層左偏移量和放大參照層右偏移量之和，導出對象層上的放大參照層的寬度。關於對象層上的放大參照層的高度，也是同樣的。接著，執行S407。另外，在上述式中減去偏移量之和是因，如圖21(a)所示，偏移量的符號被定義為在放大參照層(圖中的參照層對應區域)位於對象層圖片的內部時偏移量的值成為正。
(S407)基於在S403或者S405中導出的參照層偏移量和參照層圖片尺寸，導出參照層上的成為標度計算的基準的區域(參照層基準區域)的尺寸。基於參照層圖片的寬度(RL_PICW)和高度(RL_PICH)，分別通過下式來導出參照層基準區域的寬度(RLW)和高度(RLH)。
RLW＝RL_PICW-(RLLO+RLRO)
RLH＝RL_PICH-(RLTO+RLBO)
即，根據上述的式，通過從參照層圖片寬度減去參照層左偏移量和參照層右偏移量之和，導出參照層基準區域的寬度。關於參照層基準區域的高度，也是同樣的。接著，執行S408。
(S408)基於在S406中導出的放大參照層的尺寸和在S407中導出的參照層基準區域的尺寸，導出在層間預測中使用的標度。水平方向的標度sx和垂直方向的標度sy分別通過下式來導出。
sx＝((RLW<>1))/SRLW
sy＝((RLH<>1))/SRLH
另外，運算符「/」是表示整數的除法的運算符。
即，根據上式，將對參照層參照區域尺寸乘以預定的常數(在上式中為「<>1)」的項是調整基於除法的進位的項。因此，若排除單位或進位調整的效果，則標度能夠說明為參照層基準區域的尺寸(寬度或者高度)相對於放大參照層的尺寸(寬度或者高度)的比率。接著，執行S409。
(S409)基於在S402或者S404中導出的放大參照層偏移量、在S403或者S405中導出的參照層基準區域偏移量、在S408中導出的標度、在參數集解碼部12A中進行了解碼的層間相位偏移量，導出16分之1像素精度的參照像素位置。與對象層上的像素位置(xP、yP)對應的、參照層上的16分之1像素精度的參照像素位置的水平分量(x分量)xRef16和垂直分量(y分量)yRef16的值分別通過下式來導出。
xRef16＝(((xP-CL_OX)*sx+addX+(1<>12)+RL_OX
yRef16＝(((yP-CL_OY)*sy+addY+(1<>12)+RL_OY
這裡，
CL_OX＝SRLLO
CL_OY＝SRLTO
RL_OX＝(RLLO<<4)
RL_OY＝(RLTO<>4
addY＝(sy*phaseY+8)>>4
這裡，若將參照層識別符的值設為r，則在對象像素為亮度像素的情況下，對phaseX的值設定phase_hor_luma[r]，對phaseY的值設定phase_ver_luma[r]。此外，在對象像素為色差像素的情況下，對phaseX設定phase_hor_chroma[r]的值，對phaseY設定phase_ver_chroma[r]的值。
即，若根據上述的xRef16和yRef16的導出式，則基於放大參照層偏移量、參照層偏移量、層間相位偏移量和標度來計算參照像素位置。將導出的16分之1像素精度的參照像素位置作為對應參照位置，結束對應參照位置導出處理。
在插值濾波器處理中，通過對參照層圖片上的、所述對應參照位置附近的像素的解碼像素應用插值濾波器，生成與在上述對應參照位置導出處理中導出的對應參照位置相當的位置的像素值。
[變形例5：放大參照層偏移量信息存在與否標記]
說明了在上述的參數集解碼部12A中進行解碼的層間位置對應信息中，包括參照層偏移量信息存在與否標記和層間相位偏移量信息存在與否標記的例，但也可以是如圖23所示，使用追加包括放大參照層偏移量信息存在與否標記的語法表的結構。放大參照層偏移量信息存在與否標記(scaled_ref_layer_offset_prsent_flag)是表示放大參照層偏移量信息在PPS內的存在與否的標記。與排列索引i對應的放大參照層偏移量信息存在與否標記(scaled_ref_layer_offset_present_flag[i])表示與層識別符為ref_layer_id[i]的參照層對應的放大參照層偏移量的語法(scaled_ref_layer_left_offset[ref_layer_id[i]、scaled_ref_layer_top_offset[ref_layer_id[i]scaled_ref_layer_right_offset[ref_layer_id[i]、scaled_ref_layer_bottom_offset[ref_layer_id[i])在編碼數據內的存在有無，在值為1的情況下，表示該語法存在，在值為0的情況下，表示該語法不存在。通過使用放大參照層偏移量信息存在與否標記，能夠削減在不需要放大參照層偏移量的情況下的碼量。
此外，在其他例中，也可以是如圖24所示，使用在層間位置對應信息中包括層偏移量信息存在與否標記和層間相位偏移量存在與否標記的語法表的結構。層偏移量信息存在與否標記(layer_offset_present_flag)是表示放大參照層偏移量信息和參照層偏移量信息在PPS內的存在的標記。與排列索引i對應的層偏移量信息存在與否標記(layer_offset_present_flag[i])表示與層識別符為ref_layer_id[i]的參照層對應的放大參照層偏移量和參照層偏移量語法在編碼數據內的存在有無，在值為1的情況下，表示該語法存在，在值為0的情況下，表示該語法不存在。在作為典型的用例的對象圖片整體對應於參照圖片整體的情況下，全部偏移量值為0，放大參照層偏移量和參照層偏移量被省略。因此，通過使用層偏移量信息存在與否標記，能夠削減在這樣的情況下的碼量。
(對於其他的層次運動圖像編碼/解碼系統的應用例)
上述的層次運動圖像編碼裝置2以及層次運動圖像解碼裝置1能夠搭載在進行運動圖像的發送、接收、記錄、再現的各種裝置中利用。另外，運動圖像既可以是通過相機等而拍攝的自然運動圖像，也可以是通過計算機等而生成的人工運動圖像(包括CG以及GUI)。
基於圖19說明將上述的層次運動圖像編碼裝置2以及層次運動圖像解碼裝置1能夠利用於運動圖像的發送以及接收的情況。圖19的(a)是表示搭載了層次運動圖像編碼裝置2的發送裝置PROD＿A的結構的框圖。
如圖19的(a)所示，發送裝置PROD＿A包括通過對運動圖像進行編碼而獲得編碼數據的編碼部PROD＿A1、通過使用編碼部PROD＿A1獲得的編碼數據對載波進行調製而獲得調製信號的調製部PROD＿A2、發送調製部PROD＿A2獲得的調製信號的發送部PROD＿A3。上述的層次運動圖像編碼裝置2作為該編碼部PROD＿A1而被利用。
發送裝置PROD＿A也可以作為輸入到編碼部PROD＿A1的運動圖像的供應源，進一步包括拍攝運動圖像的相機PROD＿A4、記錄了運動圖像的記錄介質PROD＿A5、用於從外部輸入運動圖像的輸入端子PROD＿A6、以及生成或者加工圖像的圖像處理部A7。在圖19的(a)中，雖然例示了發送裝置PROD＿A包括這些全部的結構，但也可以省略一部分。
另外，記錄介質PROD＿A5既可以是記錄了未進行編碼的運動圖像的介質，也可以是記錄了以與傳輸用的編碼方式不同的記錄用的編碼方式進行了編碼的運動圖像的介質。在後者的情況下，只要在記錄介質PROD＿A5和編碼部PROD＿A1之間，介入將從記錄介質PROD＿A5讀出的編碼數據根據記錄用的編碼方式進行解碼的解碼部(未圖示)即可。
圖19的(b)是表示搭載了層次運動圖像解碼裝置1的接收裝置PROD＿B的結構的框圖。如圖19的(b)所示，接收裝置PROD＿B包括接收調製信號的接收部PROD＿B1、通過對接收部PROD＿B1接收到的調製信號進行解調而獲得編碼數據的解調部PROD＿B2、通過對解調部PROD＿B2獲得的編碼數據進行解碼而獲得運動圖像的解碼部PROD＿B3。上述的層次運動圖像解碼裝置1作為該解碼部PROD＿B3而被利用。
接收裝置PROD＿B也可以作為解碼部PROD＿B3輸出的運動圖像的供應目的地，進一步包括顯示運動圖像的顯示器PROD＿B4、用於記錄運動圖像的記錄介質PROD＿B5、以及用於向外部輸出運動圖像的輸出端子PROD＿B6。在圖19的(b)中，雖然例示了接收裝置PROD＿B包括這些全部的結構，但也可以省略一部分。
另外，記錄介質PROD＿B5既可以是記錄了未進行編碼的運動圖像的介質，也可以是記錄了以與傳輸用的編碼方式不同的記錄用的編碼方式進行了編碼的運動圖像的介質。在後者的情況下，只要在解碼部PROD＿B3和記錄介質PROD＿B5之間，介入將從解碼部PROD＿B3取得的運動圖像根據記錄用的編碼方式進行編碼的編碼部(未圖示)即可。
另外，傳輸調製信號的傳輸介質既可以是無線，也可以是有線。此外，傳輸調製信號的傳輸方式既可以是廣播(這裡，指發送目的地沒有預先確定的發送方式)，也可以是通信(這裡，指發送目的地預先確定的發送方式)。即，調製信號的傳輸也可以通過無線廣播、有線廣播、無線通信以及有線通信中的任一個而實現。
例如，地面數字廣播的廣播站(廣播設備等)/接收站(電視接收機等)是通過無線廣播來發送接收調製信號的發送裝置PROD＿A/接收裝置PROD＿B的一例。此外，電纜電視廣播的廣播站(廣播設備等)/接收站(電視接收機等)是通過有線廣播來發送接收調製信號的發送裝置PROD＿A/接收裝置PROD＿B的一例。
此外，使用了網際網路的VOD(視頻點播(Video On Demand))服務或動畫共享服務等的伺服器(工作站等)/客戶端(電視接收機、個人計算機、智慧型手機等)是通過通信來發送接收調製信號的發送裝置PROD＿A/接收裝置PROD＿B的一例(通常，在LAN中作為傳輸介質而使用無線或者有線中的任一個，在WAN中作為傳輸介質而使用有線)。這裡，在個人計算機中，包括桌上型PC、膝上型PC以及平板型PC。此外，在智慧型手機中，還包括多功能便攜電話終端。
另外，動畫共享服務的客戶端除了具有將從伺服器下載的編碼數據進行解碼而在顯示器中顯示的功能之外，還具有將通過相機拍攝到的運動圖像進行編碼而上載到伺服器中的功能。即，動畫共享服務的客戶端作為發送裝置PROD＿A及接收裝置PROD＿B的雙方發揮作用。
基於圖20說明能夠將上述的層次運動圖像編碼裝置2以及層次運動圖像解碼裝置1利用於運動圖像的記錄及再現的情況。圖20的(a)是表示搭載了上述的層次運動圖像編碼裝置2的記錄裝置PROD＿C的結構的框圖。
如圖20的(a)所示，記錄裝置PROD＿C包括通過對運動圖像進行編碼而獲得編碼數據的編碼部PROD＿C1、以及將編碼部PROD＿C1獲得的編碼數據寫入記錄介質PROD＿M的寫入部PROD＿C2。上述的層次運動圖像編碼裝置2作為該編碼部PROD＿C1而被利用。
另外，記錄介質PROD＿M既可以是(1)如HDD(硬碟驅動器(Hard Disk Drive))或SSD(固態硬碟(Solid State Drive))等那樣內置在記錄裝置PROD＿C中的類型，也可以是(2)如SD存儲卡或USB(通用串行總線(Universal Serial Bus))閃速存儲器等那樣連接到記錄裝置PROD＿C的類型，也可以是(3)如DVD(數字視盤(DigitalVersatile Disc))或BD(藍光碟(Blu-ray Disc)(註冊商標))等那樣在內置於記錄裝置PROD＿C中的驅動器裝置(未圖示)中裝填的類型。
此外，記錄裝置PROD＿C也可以作為對編碼部PROD＿C1輸入的運動圖像的供應源，進一步包括拍攝運動圖像的相機PROD＿C3、用於從外部輸入運動圖像的輸入端子PROD＿C4、用於接收運動圖像的接收部PROD＿C5以及生成或者加工圖像的圖像處理部C6。在圖20的(a)中，例示了記錄裝置PROD＿C將這些全部具有的結構，但也可以省略一部分。
另外，接收部PROD＿C5既可以是接收沒有進行編碼的運動圖像的部分，也可以是接收以與記錄用的編碼方式不同的傳輸用的編碼方式進行了編碼的編碼數據的部分。在後者的情況下，只要在接收部PROD＿C5和編碼部PROD＿C1之間，介入對以傳輸用的編碼方式進行了編碼的編碼數據進行解碼的傳輸用解碼部(未圖示)即可。
作為這樣的記錄裝置PROD＿C，例如舉出DVD記錄器、BD記錄器、HDD(硬碟驅動器(Hard Disk Drive))記錄器等(在該情況下，輸入端子PROD＿C4或者接收部PROD＿C5成為運動圖像的主要的供應源)。此外，可攜式攝像機(在該情況下，相機PROD＿C3成為運動圖像的主要的供應源)、個人計算機(在該情況下，接收部PROD＿C5或者圖像處理部C6成為運動圖像的主要的供應源)、智慧型手機(在該情況下，相機PROD＿C3或者接收部PROD＿C5成為運動圖像的主要的供應源)等也是這樣的記錄裝置PROD＿C的一例。
圖20的(b)是表示搭載了上述的層次運動圖像解碼裝置1的再現裝置PROD＿D的結構的塊。如圖20的(b)所示，再現裝置PROD＿D包括讀出在記錄介質PROD＿M中寫入的編碼數據的讀出部PROD＿D1、以及通過對讀出部PROD＿D1讀出的編碼數據進行解碼而獲得運動圖像的解碼部PROD＿D2。上述的層次運動圖像解碼裝置1作為該解碼部PROD＿D2而被利用。
另外，記錄介質PROD＿M既可以是(1)如HDD或SSD等那樣內置在再現裝置PROD＿D中的類型，也可以是(2)如SD存儲卡或USB閃速存儲器等那樣連接到再現裝置PROD＿D的類型，也可以是(3)如DVD或BD等那樣在內置於再現裝置PROD＿D中的驅動器裝置(未圖示)中裝填的類型。
此外，再現裝置PROD＿D也可以作為解碼部PROD＿D2輸出的運動圖像的供應目的地，進一步包括顯示運動圖像的顯示器PROD＿D3、用於將運動圖像輸出到外部的輸出端子PROD＿D4以及發送運動圖像的發送部PROD＿D5。在圖20的(b)中，例示了再現裝置PROD＿D將這些全部具有的結構，但也可以省略一部分。
另外，發送部PROD＿D5既可以是發送沒有進行編碼的運動圖像的部分，也可以是發送以與記錄用的編碼方式不同的傳輸用的編碼方式進行了編碼的編碼數據的部分。在後者的情況下，只要在解碼部PROD＿D2和發送部PROD＿D5之間，介入以傳輸用的編碼方式對運動圖像進行編碼的編碼部(未圖示)即可。
作為這樣的再現裝置PROD＿D，例如舉出DVD播放器、BD播放器、HDD播放器等(在該情況下，電視接收機等連接的輸出端子PROD＿D4成為運動圖像的主要的供應目的地)。此外，電視接收機(在該情況下，顯示器PROD＿D3成為運動圖像的主要的供應目的地)、數字標牌(也稱為電子掛牌或電子布告牌等，顯示器PROD＿D3或者發送部PROD＿D5成為運動圖像的主要的供應目的地)、桌上型PC(在該情況下，輸出端子PROD＿D4或者發送部PROD＿D5成為運動圖像的主要的供應目的地)、膝上型或者平板型PC(在該情況下，顯示器PROD＿D3或者發送部PROD＿D5成為運動圖像的主要的供應目的地)、智慧型手機(在該情況下，顯示器PROD＿D3或者發送部PROD＿D5成為運動圖像的主要的供應目的地)等也是這樣的再現裝置PROD＿D的一例。
(關於硬體的實現以及軟體的實現)
最後，層次運動圖像解碼裝置1、層次運動圖像編碼裝置2的各塊既可以通過在集成電路(IC晶片)上形成的邏輯電路而以硬體方式實現，也可以使用CPU(中央處理器(Central Processing Unit))而以軟體方式實現。
在後者的情況下，上述各裝置包括執行用於實現各功能的控制程序的命令的CPU、存儲了上述程序的ROM(只讀存儲器(Read Only Memory))、展開上述程序的RAM(隨機存取存儲器(Random Access Memory))、存儲上述程序以及各種數據的存儲器等的存儲裝置(記錄介質)等。並且，通過將實現上述的功能的軟體即上述各裝置的控制程序的程序代碼(執行形式程序、中間代碼程序、源程序)以計算機能夠讀取的方式記錄的記錄介質提供給上述各裝置，其計算機(或者CPU或MPU(微處理器(Micro Processing Unit)))讀出在記錄介質中記錄的程序代碼而執行，也能夠達成本發明的目的。
作為上述記錄介質，例如，能夠使用磁帶或卡帶等的帶類、包括軟盤(註冊商標)/硬碟等的磁碟或CD-ROM(光碟只讀存儲器(Compact Disc Read-Only Memory))/MO(磁光碟(Magneto-Optical))/MD(迷你盤(Mini Disc))/DVD(數字視盤(Digital Versatile Disk))/CD-R(可錄式光碟(CD Recordable))等的光碟的盤類、IC卡(包括存儲卡)/光卡等的卡類、掩摸ROM/EPROM(可擦除可編程序只讀存儲器(Erasable Programmable Read-only Memory))/EEPROM(註冊商標)(電可擦除可編程只讀存儲器(Electrically Erasable and Programmable Read-only Memory))/閃速ROM等的半導體存儲器類、或者PLD(可編程邏輯電路(Programmable logic device))或FPGA(可編程門陣列(Field Programmable Gate Array))等的邏輯電路類等。
此外，也可以將上述各裝置構成為能夠與通信網絡連接，經由通信網絡而提供上述程序代碼。該通信網絡只要能夠傳輸程序代碼即可，沒有特別限定。例如，可以利用網際網路、內聯網、外聯網、LAN(區域網(Local Area Network))、ISDN(綜合服務數字網絡(Integrated Services Digital Network))、VAN(增值網絡(Value-Added Network))、CATV(共用天線電視(Community Antenna Television))通信網、虛擬專用網(virtual private network)、電話線路網、移動通信網、衛星通信網等。此外，作為構成該通信網絡的傳輸介質，只要能夠傳輸程序代碼的介質即可，並不限定於特定的結構或者種類。例如還能夠利用IEEE(電氣和電子工程師協會(Institute of Electrical and Electronic Engineers))1394、USB、電力線傳輸、電纜TV線路、電話線、ADSL(非對稱數字用戶線路(Asymmetric Digital Subscriber Line))線路等的有線，也可以使用IrDA(紅外數據協會(Infrared Data Association))或遙控那樣的紅外線、Bluetooth(註冊商標)、IEEE 802.11無線、HDR(高數據率(High Data Rate))、NFC(近場通信(Near Field Communication))、DLNA(數字生活網絡聯盟(Digital Living Network Alliance))、行動電話網、衛星線路、地面波數字網等的無線。另外，通過上述程序代碼以電子傳輸而具體化的、埋入載波的計算機數據信號的方式，也能夠實現本發明。
本發明並不限定於上述的實施方式，在權利要求書所示的範圍內能夠進行各種變更，將在不同的實施方式中公開的技術手段適當地組合而獲得的實施方式，也包含在本發明的技術範圍中。
產業上的可利用性
本發明能夠適合應用於對圖像數據以層次方式進行了編碼的編碼數據進行解碼的層次圖像解碼裝置、以及生成圖像數據以層次方式進行了編碼的編碼數據的層次圖像編碼裝置。此外，能夠適合應用於由層次圖像編碼裝置生成且由層次圖像解碼裝置參照的層次編碼數據的數據結構。
附圖標記說明
1、3 層次運動圖像解碼裝置(圖像解碼裝置)
11 NAL解復用部
12、12A 參數集解碼部
13 瓦片設定部
14、14A 條帶解碼部
141 條帶頭解碼部
142 條帶位置設定部
144 CTU解碼部
1441 預測殘差復原部
1442、1442A 預測圖像生成部
1443 CTU解碼圖像生成部
15 基礎解碼部
151 基礎NAL解復用部
152 基礎參數集解碼部
153 基礎瓦片設定部
154 基礎條帶解碼部
156 基礎解碼圖片管理部
16 解碼圖片管理部
2 層次運動圖像編碼裝置(圖像編碼裝置)
21 NAL復用部
22 參數集編碼部
23 瓦片設定部
24 條帶編碼部
241 條帶頭設定部
242 條帶位置設定部
244 CTU編碼部
2441 預測殘差編碼部
2442 預測圖像編碼部
3 層次編碼數據變換裝置(編碼數據變換裝置)
32 參數集修正部
34 NAL選擇部