編碼方法及編碼裝置與流程
2023-05-18 17:35:31
技術領域
本發明涉及圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置，特別涉及使用算術編碼或算術解碼的圖像解碼方法、圖像編碼方法、圖像解碼裝置、圖像編碼裝置及圖像編碼解碼裝置。
背景技術：
自然圖像的圖像信號具有統計上的波動，該波動呈變動性的特性。在利用統計上的波動的變動性的熵編碼方式之一中，有Context-Based Adaptive Binary Arithmetic Coding(CABAC，基於上下文的自適應二進位算術編碼)(參照非專利文獻1)。該CABAC方式在ITU-T/ISOIEC standard for video coding，H.264/AVC方式中被採用。
以下，說明在CABAC方式中使用的用語的意義。
(1)"Context-Based Adaptive"(基於上下文的自適應)，是使編碼及解碼方法自適應於統計性波動的變動。即，"Context-Based Adaptive"也可以說是在將某個碼元編碼或解碼的情況下，匹配於周圍的條件的發生事件作為該碼元的發生概率而預測適當的概率。例如，在編碼中，在決定某個碼元S的各值的發生概率p(x)的情況下，使用以實際發生的事件或事件的列F(z)為條件的帶條件的發生概率。
(2)"Binary"(二進位)是指將碼元用二進位排列表現。關於用多值表示的碼元，一次變形為稱作bin string的二值排列。並且對於各個排列要素，一邊切換使用預測概率(條件概率)，一邊將發生了兩個值的事件的哪個進行比特序列化。由此，能夠用比信號種類的單位更詳細的單位(二進位數要素單位)對值的概率進行管理(初始化及更新)(參照非專利文獻1的圖2等)。
(3)所謂"arithmetic"(算術)，是指上述的比特序列生成處理不是通過表的對應、而是通過計算輸出。在使用H.263、MPEG-4及H.264中的可變長代碼表的編碼方式中，即使是具有發生概率比0.5(50％)高的發生概率的碼元，也需要使碼元能夠取的各個值對應於1個二進位數列(比特序列)。由此，關於概率最高的值，也最短必須使1個比特與1個碼元建立對應。相對於此，算術編碼能夠將事件的較高的概率下的發生用整數值1比特以下表現。例如，有第1個二進位數的值為「0」的發生概率超過0.9(90％)那樣的信號種類，在作為事件而第1個二進位數的值連續N次是「0」的情況下，不再需要對各個值「0」將1比特的數據輸出N次。
現有技術文獻
非專利文獻
非專利文獻1：Detlev Marpe,et.al.,"Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard",IEEE Transaction on circuits and systems for video technology,Vol.13,No.7,July2003.
非專利文獻2：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28January,2011"WD2:Working Draft 2of High-Efficiency Video Coding"JCTVC-D503http://wftp3.itu.int/av-arch/jctvc-site/2011_01_D_Daegu/JCTVC-D503.doc
非專利文獻3：Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28January,2011,"Common test conditions and software reference configurations",JCTVC-E700
非專利文獻4：Gisle Bjontegaard,「Improvements of the BD-PSNR model,"ITU-T SG16Q.6Document,VCEG-AI11,Berlin,July 2008
發明概要
發明要解決的問題
但是，在這樣的圖像編碼方法及圖像解碼方法中，希望存儲器使用量(使用的存儲器容量)的減少。
技術實現要素：
所以，本發明的目的是提供一種能夠削減存儲器使用量的圖像編碼方法或圖像解碼方法。
用於解決問題的手段
為了達到上述目的，有關本發明的一技術方案的編碼方法，對用於控制圖像的編碼的控制參數進行編碼，其特徵在於，包括：上下文控制步驟，在多個上下文中決定對上述圖像內的處理對象塊使用的上下文；以及算術編碼步驟，使用所決定的上述上下文對上述處理對象塊的控制參數進行算術編碼，由此生成比特序列；在上述上下文控制步驟中，判斷用於上述處理對象塊的控制參數被分類的信號種類；在上述信號種類是第1種類的情況下，使用用於與上述處理對象塊的左側鄰接的左塊的已編碼的控制參數及用於與上述處理對象塊的上側鄰接的上塊的已編碼的控制參數，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，不使用用於上述上塊的上述已編碼的控制參數也不使用用於上述左塊的上述已編碼的控制參數，而使用用於上述處理對象塊的控制參數所屬的數據單位的層級的深度，決定上述上下文；表示上述處理對象塊是否被分割為多個塊的分割標誌、以及表示是否跳過上述處理對象塊的跳過標誌中的一方，被分類為上述第1種類；表示在上述處理對象塊的預測中使用uni-prediction及bi-prediction中的哪一方的塊間預測信息，被分類為上述第2種類。
另外，有關本發明的一技術方案的編碼裝置，對用於控制圖像的編碼的控制參數進行編碼，其特徵在於，包括：上下文控制部，在多個上下文中決定在上述圖像內的處理對象塊的算術編碼中使用的上下文；以及算術編碼部，使用所決定的上述上下文對上述處理對象塊的控制參數進行算術編碼，由此生成比特序列；上述上下文控制部，判斷用於上述處理對象塊的控制參數被分類的信號種類；在上述信號種類是第1種類的情況下，使用用於與上述處理對象塊的左側鄰接的左塊的已編碼的控制參數及用於與上述處理對象塊的上側鄰接的上塊的已編碼的控制參數，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，不使用用於上述上塊的上述已編碼的控制參數也不使用用於上述左塊的上述已編碼的控制參數，而使用用於上述處理對象塊的控制參數所屬的數據單位的層級的深度，決定上述上下文；表示上述處理對象塊是否被分割為多個塊的分割標誌、以及表示是否跳過上述處理對象塊的跳過標誌中的一方，被分類為上述第1種類；表示在上述處理對象塊的預測中使用uni-prediction及bi-prediction中的哪一方的塊間預測信息，被分類為上述第2種類。
本發明的圖像解碼方法，使用算術解碼，其特徵在於，包括：上下文控制步驟，在多個上下文中決定對處理對象塊使用的上下文；算術解碼步驟，將通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼，由此將二值排列復原；以及多值化步驟，通過將上述二值排列多值化，將上述控制參數復原；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第1種類的情況下，使用利用與上述處理對象塊鄰接的左塊及上塊的已解碼的控制參數的第1條件，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文；上述第1種類是"split_coding_unit_flag"或"skip_flag"；上述第2種類是"inter_pred_flag"。
發明效果
本發明能夠提供能削減存儲器使用量的圖像編碼方法或圖像解碼方法。
附圖說明
圖1是有關本發明的實施方式1的圖像編碼裝置的功能框圖。
圖2是有關本發明的實施方式1的可變長編碼部的功能框圖。
圖3是關於有關本發明的實施方式1的控制參數的上下文模型的表。
圖4是表示有關本發明的實施方式1的算術編碼方法的流程圖。
圖5是有關本發明的實施方式2的圖像解碼裝置的功能框圖。
圖6是有關本發明的實施方式2的可變長解碼部的功能框圖。
圖7是表示有關本發明的實施方式2的算術解碼方法的流程圖。
圖8是表示有關本發明的實施方式2的算術解碼方法的變形例的流程圖。
圖9是表示有關本發明的實施方式2的HEVC的分割塊(樹構造)的圖。
圖10是用來說明有關本發明的實施方式2的多層級塊構造的圖。
圖11是表示有關本發明的實施方式3的split_coding_unit_flag的算術解碼方法的表。
圖12A是表示有關本發明的實施方式3的關於split_coding_unit_flag的驗證結果的表。
圖12B是表示有關本發明的實施方式3的關於split_coding_unit_flag的驗證結果的表。
圖13是表示有關本發明的實施方式3的skip_flag的算術解碼方法的表。
圖14A是表示有關本發明的實施方式3的關於skip_flag的驗證結果的表。
圖14B是表示有關本發明的實施方式3的關於skip_flag的驗證結果的表。
圖15是表示有關本發明的實施方式3的inter_pred_flag的算術解碼方法的表。
圖16A是表示有關本發明的實施方式3的關於inter_pred_flag的驗證結果的表。
圖16B是表示有關本發明的實施方式3的關於inter_pred_flag的驗證結果的表。
圖17是用來說明有關本發明的實施方式的、利用鄰接兩塊的對應的控制參數的值的上下文模型的圖。
圖18是用來說明有關本發明的實施方式的、利用上塊的情況下的存儲器使用量的增加的圖。
圖19是實現內容分發服務的內容供給系統的整體結構圖。
圖20是數字廣播用系統的整體結構圖。
圖21是表示電視機的結構例的模塊圖。
圖22是表示對作為光碟的記錄介質進行信息的讀寫的信息再現/記錄部的結構例的模塊圖。
圖23是表示作為光碟的記錄介質的構造例的圖。
圖24A是表示便攜電話的一例的圖。
圖24B是表示便攜電話的結構例的模塊圖。
圖25是表示復用數據的結構的圖。
圖26是示意地表示各流在復用數據中怎樣被復用的圖。
圖27是更詳細地表示在PES包序列中視頻流怎樣被保存的圖。
圖28是表示復用數據的TS包和源包的構造的圖。
圖29是表示PMT的數據結構的圖。
圖30是表示復用數據信息的內部結構的圖。
圖31是表示流屬性信息的內部結構的圖。
圖32是表示識別影像數據的步驟的圖。
圖33是表示實現各實施方式的運動圖像編碼方法及運動圖像解碼方法的集成電路的結構例的模塊圖。
圖34是表示切換驅動頻率的結構的圖。
圖35是表示識別影像數據、切換驅動頻率的步驟的圖。
圖36是表示將影像數據的標準與驅動頻率建立了對應的查找表的一例的圖。
圖37A是表示將信號處理部的模塊共用的結構的一例的圖。
圖37B是表示將信號處理部的模塊共用的結構的另一例的圖。
具體實施方式
(作為本發明的基礎的認識)
本發明者發現，會發生以下的問題。
這裡，在作為下一代編碼方式的High-Efficiency Video Coding(HEVC)中，關於各種控制參數的編碼及解碼中的上下文模型的研究也正在進展(非專利文獻2)。所謂控制參數，是指包含在編碼比特流中、在編碼處理或解碼處理中使用的參數(標誌等)，具體而言，是syntax element。
所謂上下文模型，是表示(1)對怎樣的單位(多值、二進位數值、或二進位數排列(bin string)的各個要素)的信號、(2)考慮怎樣的條件(Condition)的信息。這裡，所謂怎樣的條件，是應用怎樣的條件的要素數的條件、或者作為條件考慮的控制參數的信號種類最好是什麼。將該條件越詳細地區分，即，越是增加條件數τ(the number of conditions)，與1個條件對應的次數越減少。結果，通過每個條件的學習次數減少，概率的預測的精度下降(例如，參照非專利文獻1的"dilution effect")。
此外，越是減少條件數，越是不考慮上下文(周圍的條件)，越不追隨於(adaptive)統計性變動。
在上下文的模型設計中決定模型的設計方針後，需要通過進行圖像內容的統計性波動的驗證、或控制圖像的編碼及解碼的控制參數的統計性波動的驗證等的為圖像而特殊化的驗證來考慮其妥當性。
在H.264中，將在碼元的編碼中使用限定的數量的事前事件作為規則的規範，並將上下文模型類型化為4個基本的類型(basic design types)。
第1及第2類型關於控制參數的編碼及解碼。
第1類型的上下文模型使用以兩個為上限(up to two)的鄰接的已編碼的值(參照非專利文獻1)。鄰接的兩個已編碼的值的定義依存於控制參數的各個信號種類，但通常使用在左及上鄰接的塊中包含的對應的控制參數的值。
第2上下文模型的類型是作為發生概率而基於二進位數樹決定上下文的類型。具體而言，應用到控制參數mb_type及sub_mb_type中。
第3及第4類型關於圖像數據等的殘差值(residual data)的編碼及解碼。在第3類型中，根據頻率係數(或量化係數)的掃描的順序，僅利用過去編碼或解碼的值。在第4類型中，根據解碼並累積的值(水平(level)值)決定上下文。
上述第1類型等的、H.264的概率轉移(probability transition)模型的設計方針及安裝方法被較長地驗證了效果，研究正在進展，以使得也應用到目前研究中的HEVC中(參照非專利文獻2)。例如正在研究將第1類型(使用相鄰語法元素(using neighbouring syntax elements)的上下文模型)用在控制參數alf_cu_flag、split_coding_unit_flag、skip_flag、merge_flag、intra_chroma_pred_mode、inter_pred_flag、ref_idx_lc、ref_idx_l0、ref_idx_l1、mvd_l0、mvd_l1、mvd_lc、no_residual_data_flag、cbf_luma、cbf_cb及cbf_cr中(參照非專利文獻2的9.3.3.1.1節)。
但是，關於利用該第1類型「利用鄰接兩塊的上下文模型」的編碼，本發明者發現，關於其存儲器使用量存在以下的問題。
圖17是用來說明利用鄰接兩塊的對應的控制參數的值的上下文模型的圖。此外，圖17表示H.264中的利用鄰接塊的上下文模型。
圖中的塊C包括作為當前(Current)的編碼或解碼對象的控制參數SE的值。在將該SE的值編碼的情況下，利用在已經編碼的上塊A及左塊B中包含的同種控制參數SE的值。具體而言，使用以上塊A的控制參數SE的值和左塊B的控制參數SE的值為條件的條件概率p(x|(condition A(上塊的值)且condition B(左塊的值)))預測塊C的控制參數SE(或控制參數SE的bin string的第1個二進位數)的值x是「1」還是「0」的概率p(x)。
圖18是用來說明利用上塊的情況下的存儲器使用量的增加的圖。
圖中的(xP，yP)表示包含塊C的Prediction Unit(PU：運動預測單位)的左上像素位置。這裡，塊C是包括當前的編碼對象的控制參數(例如skip_flag)的塊。此外，圖中的(xP，yA)表示作為condition A(上塊的控制參數skip_flag的值)使用的、塊B中包含的像素位置。圖中(xL，yP)表示作為condition B(左塊的控制參數skip_flag的值)使用的、塊A中包含的像素位置。
在此情況下，為了將塊C的控制參數skip_flag的值編碼或解碼，編碼或解碼裝置需要保持與上塊B中包含的(xP，yA)的位置對應的PU的skip_flag的值(或條件的判斷結果)、和與左塊A中包含的(xL，yP)的位置對應的PU的skip_flag的值(或條件的判斷結果)。這裡，如果設該圖片的橫寬是4096像素，則為了1個控制參數skip_flag的編碼，需要保持上塊行(圖18所示的Line L)中包含的全部的判斷值。即，為了1個控制參數，需要4096像素÷塊尺寸的存儲器容量。
這裡，編碼對象的塊C的塊尺寸是可變的，例如是64×64、16×16或4×4等。此外，在包含(xP，yA)的上方的行(Line L)中包含的塊的編碼或解碼時，在之後編碼或解碼的塊C的塊尺寸不能預測。這是因為，編碼或解碼裝置在上方的行(包含塊A的行)的編碼或解碼的時點，不知道其之下的行(包含塊C的行)的各塊的尺寸。因而，編碼或解碼裝置設想作為下方的行的塊尺寸而使用應用該控制參數的塊尺寸中的最小的塊尺寸的情況，必須按照每個該最小的塊尺寸保持控制參數的值(或判斷值)。另外，圖18的黑圈的位置表示實際在下方的行(包含塊C的行)的編碼或解碼中儘管不需要該條件值但必須保持的條件。
進而，圖18所示的鄰接兩塊(左塊A和上塊B)表示H.264時點的鄰接塊的概念，沒有導入新的層級塊分割的觀點。如後述那樣，對適應於計劃用HEVC導入的遞歸4分塊分割樹構造(quad tree partitioning)的控制參數，根據遞歸的執行順序、層級深度或塊的位置，有由圖18表示的參照的條件值沒有意義的情況。
這樣，本發明者發現，通過在控制參數的算術編碼或解碼中利用上塊的條件值，存儲器使用量增加。進而，本發明者發現，在HEVC中，該存儲器使用量進一步增加。
對此，有關本發明的一形態的圖像解碼方法，使用算術解碼，其特徵在於，包括：上下文控制步驟，在多個上下文中決定對處理對象塊使用的上下文；算術解碼步驟，將通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼，由此將二值排列復原；以及多值化步驟，通過將上述二值排列多值化，將上述控制參數復原；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第1種類的情況下，使用利用與上述處理對象塊鄰接的左塊及上塊的已解碼的控制參數的第1條件，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文；上述第1種類是"split_coding_unit_flag"或"skip_flag"；上述第2種類是"inter_pred_flag"。
據此，該圖像解碼方法能夠削減存儲器使用量。具體而言，該圖像解碼方法由於對第2種類的控制參數不使用上塊的控制參數，所以不需要保持上塊的第2種類的控制參數。由此，該圖像解碼方法與劃一地作為「利用基於鄰接塊的控制參數的值的上下文模型」而利用左塊和上塊的情況相比能夠削減存儲器使用量。進而，該圖像解碼方法能夠不損害圖像的BD-rate值評價等而適當地削減第2種類的控制參數的存儲器使用量。
此外，該圖像解碼方法能夠進行在現有技術的H.264中沒有考慮的、適合於新的HEVC特有的數據構造的層級樹構造的上下文的利用或存儲器參照。
此外，也可以是，上述第2條件是不利用上述上塊的已解碼的控制參數也不利用上述左塊的已解碼的控制參數的條件。
據此，該圖像解碼方法通過除了上塊以外也不使用左塊的控制參數，能夠進一步削減存儲器使用量。
此外，也可以是，在上述上下文控制步驟中，在上述信號種類是上述第2種類的情況下，作為上述第2條件，將預先設定的上下文決定為在上述對象塊的算術解碼中使用的上下文。
據此，該圖像解碼方法能夠降低處理量。
此外，也可以是，在上述信號種類是上述第2種類的情況下，作為上述第2條件，根據上述處理對象塊的控制參數所屬的數據單位的層級的深度決定上述上下文。
據此，該圖像解碼方法能夠在削減存儲器使用量的同時選擇適當的上下文。
此外，也可以是，在上述上下文控制步驟中，還基於上述處理對象塊的位置，判斷在解碼時是否能夠利用上述上塊的控制參數；在不能利用上述上塊的控制參數的情況下，使用上述第2條件決定上述上下文。
據此，該圖像解碼方法能夠降低處理量。
此外，也可以是，在上述上下文控制步驟中，在上述處理對象塊屬於切片邊界的情況下，判斷為在解碼時不能利用上述上塊的控制參數。
此外，也可以是，在上述上下文控制步驟中，根據上述處理對象塊的控制參數所屬的數據單位的層級的深度判斷在解碼時是否能夠利用上述上塊的控制參數。
此外，也可以是，上述第2種類是具有預先設定的數據構造的控制參數。
此外，也可以是，在上述上下文控制步驟中，還基於第1單位的控制參數的值，對比上述第1單位小的第2單位的控制參數，切換是使用上述第1條件決定上述上下文、還是使用上述第2條件決定上下文。
此外，也可以是，上述"split_coding_unit_flag"表示上述處理對象塊是否被分割為多個塊；上述"skip_flag"表示是否將上述處理對象塊跳過；上述"inter_pred_flag"表示在上述處理對象塊中使用uni-prediction及bi-prediction的哪個。
此外，也可以是，上述圖像解碼方法根據編碼信號中包含的、表示第1標準或第2標準的識別符，對依據上述第1標準的解碼處理、和依據上述第2標準的解碼處理進行切換；在上述ID表示第1標準的情況下，作為依據上述第1標準的解碼處理，進行上述上下文控制步驟、上述算術解碼步驟和上述多值化步驟。
此外，有關本發明的一形態的圖像編碼方法，使用算術編碼，其特徵在於，包括：二值化步驟，通過將處理對象塊的控制參數二值化，生成二值排列；上下文控制步驟，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術編碼步驟，通過使用所決定的上述上下文對上述二值排列進行算術編碼，生成比特序列；在上述上下文控制步驟中，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第1種類的情況下，使用利用與上述處理對象塊鄰接的左塊及上塊的控制參數的第1條件，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，使用不利用上述上塊的控制參數的第2條件，決定上述上下文；上述第1種類是"split_coding_unit_flag"或"skip_flag"；上述第2種類是"inter_pred_flag"。
據此，該圖像編碼方法能夠削減存儲器使用量。具體而言，該圖像編碼方法由於對第2種類的控制參數不使用上塊的控制參數，所以不需要保持上塊的第2種類的控制參數。由此，該圖像編碼方法與劃一地作為「利用基於鄰接塊的控制參數的值的上下文模型」而利用左塊和上塊的情況相比能夠削減存儲器使用量。進而，該圖像編碼方法能夠不損害圖像的BD-rate值評價等而適當地削減第2種類的控制參數的存儲器使用量。
此外，該圖像編碼方法能夠進行在現有技術的H.264中沒有考慮的、適合於新的HEVC特有的數據構造的層級樹構造的上下文的利用或存儲器參照。
此外，有關本發明的一形態的圖像解碼裝置，使用算術解碼，其特徵在於，包括：上下文控制部，在多個上下文中決定對處理對象塊使用的上下文；算術解碼部，將通過對控制參數進行算術編碼而得到的、與上述處理對象塊對應的比特序列使用所決定的上述上下文進行算術解碼，由此將二值排列復原；以及多值化部，通過將上述二值排列多值化，將上述控制參數復原；上述上下文控制部，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第1種類的情況下，使用利用與上述處理對象塊鄰接的左塊及上塊的已解碼的控制參數的第1條件，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，使用不利用上述上塊的已解碼的控制參數的第2條件，決定上述上下文；上述第1種類是"split_coding_unit_flag"或"skip_flag"；上述第2種類是"inter_pred_flag"。
據此，該圖像解碼裝置能夠削減存儲器使用量。
此外，有關本發明的一形態的圖像編碼裝置，使用算術編碼，其特徵在於，包括：二值化部，通過將處理對象塊的控制參數二值化，生成二值排列；上下文控制部，在多個上下文中，決定對上述處理對象塊使用的上下文；以及算術編碼部，通過使用所決定的上述上下文對上述二值排列進行算術編碼，生成比特序列；上述上下文控制部，判斷上述處理對象塊的控制參數的信號種類；在上述信號種類是第1種類的情況下，使用利用與上述處理對象塊鄰接的左塊及上塊的控制參數的第1條件，決定上述上下文；在上述信號種類是與上述第1種類不同的第2種類的情況下，使用不利用上述上塊的控制參數的第2條件，決定上述上下文；上述第1種類是"split_coding_unit_flag"或"skip_flag"；上述第2種類是"inter_pred_flag"。
據此，該圖像編碼裝置能夠削減存儲器使用量。
此外，有關本發明的一形態的圖像編碼解碼裝置包括上述圖像解碼裝置和上述圖像編碼裝置。
另外，這些總括性或具體的形態也可以通過系統、方法、集成電路、電腦程式或記錄介質實現，也可以通過系統、方法、集成電路、電腦程式及記錄介質的任意的組合實現。
以下，參照附圖對有關本發明的一形態的圖像解碼裝置及圖像編碼裝置具體地說明。
另外，以下說明的實施方式都是表示本發明的一具體例的。在以下的實施方式中表示的數值、形狀、材料、構成要素、構成要素的配置位置及連接形態、步驟、步驟的順序等是一例，不是限定本發明的意思。此外，關於以下的實施方式的構成要素中的、在表示最上位概念的獨立權利要求中沒有記載的構成要素，設為任意的構成要素進行說明。
(實施方式1)
以下，對有關本發明的實施方式1的圖像編碼裝置進行說明。有關本發明的實施方式1的圖像編碼裝置在算術編碼中根據控制參數的信號種類，切換(1)利用上塊決定上下文、還是(2)不利用上塊決定上下文。由此，能夠在抑制畫質的劣化的同時削減存儲器使用量。
首先，說明有關本發明的實施方式1的圖像編碼裝置的結構。
圖1是有關本實施方式的圖像編碼裝置100的框圖。
圖1所示的圖像編碼裝置100是使用算術編碼的圖像編碼裝置，通過將輸入圖像信號121編碼而生成比特流124。該圖像編碼裝置100包括控制部101、差分部102、變換及量化部103、可變長編碼部104、逆量化及逆變換部105、加法部106、畫面內預測部107、畫面間預測部108和開關109。
控制部101基於編碼對象的輸入圖像信號121計算控制參數130。例如，控制參數130包括表示編碼對象的輸入圖像信號121的圖片類型的信息、編碼對象塊的運動預測單位(Prediction Unit PU)的尺寸及運動預測單位的控制信息等。這裡，控制參數130(Control data)其自身為編碼對象。由此，控制部101將該控制參數130向可變長編碼部104輸出。
差分部102計算作為塊單位的輸入圖像信號121與預測圖像信號129的差值(殘差值)的殘差信號122。
變換及量化部103將殘差信號122變換為頻率係數值，通過將得到的頻率係數值量化，生成量化變換係數123(residual data)。
逆量化及逆變換部105將量化變換係數123逆量化為頻率係數值，通過將得到的頻率係數值逆變換，生成復原的殘差信號125。
加法部106通過將殘差信號125與預測圖像信號129相加，輸出復原圖像信號126。
畫面內預測部107通過使用復原圖像信號126進行畫面內預測處理而生成預測圖像信號127。畫面間預測部108通過使用復原圖像信號126進行畫面間預測處理而生成預測圖像信號128。
開關109選擇預測圖像信號127及預測圖像信號128的一方，將所選擇的信號作為預測圖像信號129輸出。
可變長編碼部104通過將輸入的各塊的量化變換係數123及控制參數130使用上述的CABAC編碼而生成比特流124。
接著，說明可變長編碼部104的結構。
圖2是可變長編碼部104的功能框圖。可變長編碼部104包括二值化部141、上下文控制部142和二值算術編碼部143。以下，對控制參數130的可變長編碼處理進行說明。另外，關於量化變換係數123的可變長編碼處理省略說明，例如可以使用已知的技術實現。
二值化部141通過將控制參數130二值化，生成二值排列151。具體而言，二值化部141是執行非專利文獻1中的II.1)binarizaion處理的處理部。該二值化部141將控制參數130通過按照每個信號種類事前設定的二值化處理方法變換為稱作bin string的二值排列151。另外，關於信號種類與二值化處理方法的對應在後面敘述。此外，二值化部141在輸入的控制參數130是flag等的1個二進位數值的情況下，將該控制參數130原樣作為二值排列151輸出。
上下文控制部142在多個上下文(概率狀態表)中，決定在包含於處理對象的塊中的控制參數130的算術編碼中使用的上下文。此外，上下文控制部142將指定所決定的上下文的上下文索引152向二值算術編碼部143輸出。
具體而言，上下文控制部142是執行非專利文獻1中的2)context modeling處理的處理部。對於該上下文控制部142，依次輸入在二值算術編碼部143輸出的二值排列151中包含的多個要素。上下文控制部142根據控制參數130的信號種類和該二進位數的二值排列151中的要素位置，在多個上下文中選擇在該二進位數中使用的上下文，將表示所選擇的上下文的索引即上下文索引152向二值算術編碼部143輸出。
此外，上下文控制部142作為上下文的狀態而保持著將控制參數130的二值排列的各個要素進一步詳細區分化為條件概率的條件的數量(所謂的上下文索引數)的概率狀態表，將該概率狀態表初始化及更新。
此外，上下文控制部142作為按照每個信號種類(在二值排列的要素數是2以上的情況下，是控制參數130的二值排列的每個要素號碼。以下相同)更加詳細區分而保持每個發生條件τ(每個上下文)的狀態(probability state index：概率狀態索引)。該狀態是「0」或「1」的二值中的概率較低一方的發生概率P(內分比率：典型地是6比特的值)、與概率較高一方是哪個的值(1比特)的合計7比特值。此外，所謂保持狀態，是初始化及更新。例如，所謂更新處理，與H264同樣，是64個有限的狀態間的轉變，是將現在處於哪個概率狀態probability state(即哪個概率)的indexing變更。
具體而言，上下文控制部142在二值中的概率較高的most probable側的事件X發生的情況下，使作為most probable側的概率的比例稍稍增加。例如，上下文控制部142通過使與64個表對應的概率索引(probability state index)的值增減1，能夠使作為most probable側的概率的比例稍稍增加。另一方面，在(與預測的概率相反)而概率較低的事件not X發生的情況下，上下文控制部142使保持的most probable的概率的比例變大，基於規定的縮放係數α(例如≒0.95)減少(參照非專利文獻1，圖6)。本實施方式的上下文控制部142與H.264同樣，基於建立了對應的表索引變更值使狀態轉變並保持，以便對應於考慮到該α的變更。
二值算術編碼部143通過使用由上下文控制部142決定的上下文將二值排列151算術編碼，生成比特流124(比特序列)。
具體而言，二值算術編碼部143是執行非專利文獻1的3)binary arithmetic coding處理的處理部。該二值算術編碼部143通過使用由上下文索引152指定的上下文將二值排列151算術編碼，從而生成比特流124。這裡，所謂算術編碼，是指將關於各種信號種類的控制參數130發生的事件作為概率的累計處置，將進行怎樣的事件一邊縮窄範圍一邊與1個數線(number line)上的規定範圍建立對應。
首先，二值算術編碼部143將1個數線根據從上下文控制部142給出的、二進位數能夠取的兩個值的發生概率內分為兩個半區間。在實際發生的二進位數的值(例如「0」)是較高的概率(超過0.5的概率(例如0.75))側的值的情況下，二值算術編碼部143不變更而維持數線中的範圍的下值限值low，將與對此次的概率0.75乘以1次縮放係數0.95的結果相對應的值設定為新的幅度Range。另一方面，在實際發生的二進位數的值是預測的較低的概率側的值的情況下，二值算術編碼部143使範圍的下限值low移動較高的概率的量，使幅度Range根據較低的概率而變更。這樣，通過概率幅度Range的相乘結果的累計而保持區間，但在概率較低的值連續發生的情況下，幅度Range的長度成為在運算中能夠確保的精度以下。在此情況下，二值算術編碼部143為了維持精度而進行將幅度Range擴大的處理(renorm)並且將用來表示當前時點的範圍的比特序列輸出。相反，在概率較高(0.95等)的值連續發生的情況下，即使乘以該概率值，在幅度Range的長度變得比規定的長度短之前也能夠進行多次的運算(在基於表的安裝的情況下是狀態轉變)。因而，在此情況下，在將比特輸出之前能夠累計的碼元數較多。
圖3是將利用基於鄰接塊的控制參數130的值的上下文模型的控制參數130整理的表。
從左起，說明列的意義。
(c2)信號種類(syntax element)表示控制參數130的信號種類的具體名稱。另外，各信號種類的意義後述。
(c3)二值化方式(binarization scheme)表示在由緊挨著的左方的列指定的控制參數130(SE)中應用的二值化方式。另外，二值化處理由上述二值化部141執行。此外，所謂欄中「固定長」，是指二值化部141將緊挨著的左方的控制參數130的值用固定長(Fixed Length)的二值排列(bin string)輸出。在HEVC中信號種類名用"flag"結束的信號種類的控制參數130是取「0」或「1」的某個值的1個二進位數值。因而，二值化部141輸出的二值排列151的要素只是第1個要素(binIdx＝0)，第2個以後的要素(binIdx>＝1的要素不輸出。即，二值化部141將控制參數130的值原樣作為二值排列151輸出。
此外，欄中「可變長」，表示二值化部141將控制參數130的值，使用以成為以該值的發生頻度順序由短到長的二進位數長的方式建立了對應的可變長的二進位數列(bin string或二值排列，要素數≧1)來進行二值排列化並輸出。例如，二值化部141將(Truncated)Unary型或Unary型與其他指數的Golomb方式等的多個方式的組合等的、對應於信號種類的方式輸出(參照非專利文獻1，A.Binarization)。另外，在可變長的情況下，也有二值排列151的排列要素是1個的情況，但也有為兩個以上的情況。此外，在後述的圖像解碼裝置的多值化部中，通過進行該二值化方式的逆變換，將輸入的二值排列復原為多值或標誌值。
(c4)第1個要素(binIdx＝0)上下文索引表示上下文控制部142對在通過由c3的欄指定的二值化方式生成的二進位數排列中包含的第1個要素應用的上下文索引(增值)的選擇分支。在欄中記載有「0，1，2」的情況下，意味著上下文控制部142從3個概率狀態表(上下文)中選擇應用一個概率狀態表。例如，對於信號種類"skip_flag"，關於該1個信號種類準備3個用條件細分化的上下文索引，即意味著準備3個上下文進行算術編碼。
同樣，在c4欄中記載有「0，1，2，3」的情況下，意味著在將由c2欄指定的信號種類的控制參數130的值應用到在通過c3欄的二值化方式二值排列化的二值排列151中包含的第1要素(binIdx＝0)中的上下文是0、1、2或3的4個擇一。另外，關於欄中的條件式在後面敘述。
(c5)左塊條件L(condL)表示上下文控制部142用來在欄c4中選擇0、1、2的值的某個值的左塊的條件(condition)。該條件對應於編碼對象(或解碼對象)的控制參數，取根據左塊的控制參數的值決定的true或false的值。
例如，在控制參數(SE)是skip_flag的情況下，如果skip_flag[xL][yL]的值是true(例如「1」)則輸出true，如果是false(例如「0」)則輸出false。
(c6)上塊條件A(condA)表示上下文控制部142用來在由欄c4指定的排列要素的編碼及解碼中選擇0、1、2的值的某個值的上塊的條件(condition)。該條件取與編碼對象(或解碼對象)的控制參數對應的、根據上塊的控制參數的值決定的true或false的值。例如，在控制參數(SE)是skip_flag的情況下，如果skip_flag[xA][yA]的值是true(例如「1」)則輸出true，如果是false(例如「0」)則輸出false。
另外，雖然沒有圖示，但將對(c7)「binIdx>＝1應用的上下文增量值」與2比特以上的信號種類建立了對應。該(c7)表示上下文控制部142對二值排列的第2要素以後的二進位數(具有binIdx>＝1的索引值的二進位數排列要素的二進位數值)應用的上下文模型。
有關本實施方式的圖像編碼方法對於上述左塊條件L及上塊條件A，根據控制參數130的信號種類切換以下的動作(利用不同的模式動作)。
(模式1)使用兩個鄰接塊(左塊條件L的判斷值和上塊條件A的判斷值)。
(模式2)使用1個鄰接塊(僅左塊條件L的判斷值)。
(模式3)使用0個鄰接塊(左塊條件L和上塊條件A都不使用)。
圖4是表示圖2所示的可變長編碼部104執行的有關本實施方式的圖像編碼方法的流程圖。
首先，二值化部141將控制參數130的值以與該控制參數130的信號種類對應的方式二值排列化(S101)。
接著，上下文控制部142取得在該控制參數130的算術編碼中使用的上下文的基本值(S102)。例如，上下文控制部142根據圖片類型(I，P，B)決定該基本值。
接著，上下文控制部142根據控制參數130的信號種類，使用上述模式1～模式3的某個來決定上下文值(S103)。這裡，所謂決定上下文值，與決定上下文的相對於基本值的調整值(遞增值CtxIdxInc)是等價的。
首先，上下文控制部142判別控制參數130的信號種類(S103)。在控制參數130的信號種類是與模式1對應的第1種類的情況下(S104中第1種類)，上下文控制部142使用根據鄰接的兩個塊(塊A和塊B)的各自的控制參數的值導出的判斷值決定上下文值(S105)。換言之，上下文控制部142使用利用左塊及上塊的兩個鄰接塊的控制參數的條件來決定上下文。在此情況下，上下文控制部142利用圖3所示的(c5)CondL的判斷結果和(c6)condA的判斷結果的兩者的值。因而，對於第1種類的控制參數保持圖片的橫一列的數據。
另一方面，在控制參數130的信號種類是與模式2對應的第2種類的情況下(S104中第2種類)，上下文控制部142決定使用1個鄰接塊(在編碼順序上最近的鄰接塊)的控制參數的值決定上下文值(S106)。換言之，上下文控制部142使用不利用上塊的控制參數的條件決定上下文。
另一方面，在控制參數130的信號種類是與模式3對應的第3種類的情況下(S104中第3種類)，上下文控制部142對上塊及左塊的控制參數都不利用，固定地決定上下文值(S107)。
接著，上下文控制部142通過對在步驟S102中決定的上下文的基本值加上在步驟S103中決定的增量值，導出上下文索引值(S108)。
最後，二值算術編碼部143通過將第1要素的二進位數值使用由在步驟S108中決定的上下文索引值指定的上下文值，進行算術編碼，生成比特序列(比特流124)(S109)。
接著，在步驟S102～S109的處理的執行對二值排列中包含的全部的要素沒有完成的情況下(S110中否)，可變長編碼部104對二值排列中包含的下個要素執行步驟S102～S109的處理。另一方面，在對二值排列中包含的全部的要素完成了步驟S102～S109的處理的執行的情況下(S110中「是」)，可變長編碼部104結束對於處理對象塊的控制參數的編碼處理。
如以上這樣，有關本實施方式的圖像編碼裝置100在算術編碼中，對第1種類的控制參數利用上塊決定上下文，對第2種類及第3種類的控制參數不利用上塊而決定上下文。
通過該結構，該圖像編碼裝置100與劃一地作為「利用基於鄰接塊的控制參數的值的上下文模型」而利用左塊和上塊的情況相比能夠削減存儲器使用量。由此，該圖像編碼裝置100能夠在抑制畫質的劣化的同時削減存儲器使用量。
(實施方式2)
在本實施方式中，對將由上述圖像編碼裝置100生成的比特流124解碼的圖像解碼裝置進行說明。
圖5是有關本實施方式的圖像解碼裝置200的框圖。該圖像解碼裝置200是使用算術解碼的圖像解碼裝置，通過將比特流124解碼而生成圖像信號229。這裡，比特流124例如是由上述圖像編碼裝置100生成的比特流124。
圖像解碼裝置200包括控制部201、可變長解碼部202、逆量化部204、逆變換部205、加法部206、畫面內預測部207和畫面間預測部208。
圖像解碼裝置200按照規定的處理單位的每個代碼序列進行解碼處理。這裡，處理單位例如是切片(slice)單位或塊單位。
可變長解碼部202通過對比特流124進行算術解碼，生成控制參數230(control data syntax element)和量化變換係數223(Residual data syntax element值)。將所生成的控制參數230向控制部201輸出。
控制部201根據控制參數230控制圖像解碼裝置200中包含的處理部。
逆量化部204通過將量化變換係數223逆量化，生成正交變換係數224。
逆變換部205通過將正交變換係數224逆變換，將殘差信號225復原。加法部206通過將殘差信號225與預測圖像信號(圖像信號229)相加，生成解碼圖像信號226。
畫面內預測部207通過使用解碼圖像信號226進行畫面內預測處理而生成預測圖像信號227。畫面間預測部208通過使用解碼圖像信號226進行畫面間預測處理而生成預測圖像信號228。
開關209選擇預測圖像信號227及預測圖像信號228的一方，將所選擇的信號作為圖像信號229(預測圖像信號)輸出。
接著，說明可變長解碼部202的結構。
圖6是表示可變長解碼部202的結構的功能框圖。可變長解碼部202包括二值算術解碼部243、上下文控制部242和多值化部241。以下，對控制參數230的可變長解碼處理進行說明。另外，關於量化變換係數223的可變長解碼處理省略說明，例如可以使用已知的技術實現。
上下文控制部242在多個上下文中，決定在處理對象的塊的控制參數230的算術解碼中使用的上下文。此外，上下文控制部242將指定所決定的上下文的上下文索引252向二值算術解碼部243輸出。
具體而言，上下文控制部242使用與圖2所示的上下文控制部142相同的上下文模型作為所保持的概率轉移模型。在二值算術編碼部143使用64個概率狀態的情況下，二值算術解碼部243也具有64個概率狀態。這是因為，需要將編碼的數線上的範圍在編碼側及解碼側的兩側同樣地解釋。由此，在解碼裝置側也使用與編碼側從上述模式1～3的3個模式中選擇的模式相同的模式。
二值算術解碼部243通過使用由上下文控制部242決定的上下文將比特序列(比特流124)算術解碼，將二值排列251復原。具體而言，二值算術解碼部243使用由從上下文控制部242給出的上下文索引指定的上下文(概率狀態表)，將輸入的比特序列復原為二值排列251。
多值化部241將二值排列251根據需要進行多值化從而復原為控制參數230。這樣，圖像編碼裝置100具備的上下文控制部142和圖像解碼裝置200具備的上下文控制部242在某個信號種類的控制參數的算術編碼及算術解碼時在兩者中利用相同的上下文模型。
圖7是表示可變長解碼部202執行的有關本實施方式的圖像解碼方法的流程圖。
首先，可變長解碼部202取得比特流124(S201)。
接著，上下文控制部242根據比特流124的數據構造決定解碼對象的控制參數的信號種類(S202)。
接著，上下文控制部242決定在解碼對象的控制參數的算術解碼中使用的上下文的基本值(S203)。例如，上下文控制部242根據圖片類型(I，P，B)決定該基本值。
接著，上下文控制部242根據控制參數的信號種類，使用上述模式1～模式3的某個決定上下文值(S204)。這裡，所謂決定上下文值，與決定上下文的相對於基本值的調整值(遞增值CtxIdxInc)等價。例如，上下文控制部242根據控制參數的信號種類，按照靜態地事前決定的表進行使用模式1～模式3的哪個的判斷。
上下文控制部242根據控制參數的信號種類，切換在為了通過算術解碼得到二值排列251中包含的第1要素的二進位數的值而使用的上下文的決定中搜索使用的鄰接塊。
首先，上下文控制部242判斷控制參數230的信號種類(S205)。在信號種類是與模式1對應的第1種類的情況下(S205中第1種類)，上下文控制部242使用鄰接的兩個塊的各自的控制參數決定上下文值(S206)。換言之，上下文控制部242使用利用左塊及上塊的兩個鄰接塊的已解碼的控制參數的條件來決定上下文。
另一方面，在信號種類是與模式2對應的第2種類的情況下(S205中第2種類)，上下文控制部242使用1個鄰接塊(在編碼順序上最近的鄰接塊)的控制參數的值決定上下文值(S207)。換言之，上下文控制部242使用不利用上塊的已解碼的控制參數的條件來決定上下文。
另一方面，在信號種類是與模式3對應的第3種類的情況下(S205中第3種類)，上下文控制部242固定地決定上下文值(S208)。換言之，上下文控制部242使用對上塊及左塊的已解碼的控制參數都不利用的條件來決定上下文。
接著，上下文控制部242通過將在步驟S203中決定的上下文索引的基本值與在步驟S204中決定的增量值相加，決定上下文索引值(S209)。
接著，二值算術解碼部243使用由從上下文控制部242給出的上下文索引值表示的上下文值，通過解碼得到二值排列的要素的1個(S210)。
接著，在步驟S203～S210的處理的執行對於二值排列中包含的全部的要素沒有完成的情況下(S211中「否」)，可變長解碼部202對二值排列中包含的下個要素執行步驟S203～S210的處理。
另一方面，在對二值排列中包含的全部的要素完成了步驟S203～S210的處理的執行的情況下(S211中「是」)，多值化部241通過將通過重複1次以上上述步驟S203～S210的處理而得到的二值排列251的1個以上的要素多值化，生成控制參數230(S212)。
根據以上，有關本實施方式的圖像解碼裝置200在算術解碼中，對第1種類的控制參數利用上塊決定上下文，對於第2種類及第3種類的控制參數不利用上塊而決定上下文。
通過該結構，該圖像解碼裝置200與劃一地作為「利用基於鄰接塊的控制參數的值的上下文模型」而利用左塊和上塊的情況相比能夠削減存儲器使用。由此，該圖像解碼裝置200能夠在抑制畫質的劣化的同時削減存儲器使用量。
另外，多值化部241在二值排列251是flag等、要素數是1個情況下，即在1binary的情況下，也可以將該二值排列251原樣輸出。
此外，除了上述說明以外，控制部101或201也可以經由未圖示的信號線進行控制各處理部的處理、或參照存儲器的值的處理等。
此外，在上述說明中，上下文控制部142或242根據控制參數的信號種類切換模式1～模式3的3個模式，但也可以根據信號種類切換模式1～模式3中的兩個模式。換言之，上下文控制部142或242也可以根據控制參數的信號種類對利用/不利用上塊條件進行切換。
此外，上下文控制部142或242也可以將這樣的選擇的上下文模型的切換方法(也包括變更上下文模型增量值的情況，以下相同)根據規定的圖像信息變更。例如，上下文控制部142或242也可以根據對存儲器保持量及各上下文的學習次數有影響的圖像的橫寬的尺寸或採樣格式等進一步切換該切換方針本身。
此外，在上述說明中，為了說明的簡略化，上下文控制部142或242對利用/不利用上塊條件進行切換，但上下文控制部142或242也可以將上塊原本不能利用的情況與其組合而應用。例如，上下文控制部142或242也可以根據處理對象的切片是否是熵切片(entropy_slice_flag是1還是0)來切換該切換方針本身。同樣，在原本不能保證上鄰接塊的可利用性的情況下，上下文控制部142或242也可以不利用上塊而變更切換方針。
例如，如圖8所示，上下文控制部142或242也可以根據規定的單位的參數的值(S301)，將上下文模型的決定方針通過第1決定規範(S302)和第2決定規範(S303)切換。這裡，所謂根據規定的單位的參數的值，如上述那樣，是根據切片是否是entropy slice等。此外，所謂第1決定規範，是進行圖7所示的處理的規範。所謂第2決定規範，是不包含圖7所示的步驟S204的決定規範，例如是現有技術的決定規範。這與將上下文索引的增量值通過局部的規定的單位的參數和比該單位大的單位的參數的值決定是等價的。
即，上下文控制部142或242也可以基於第1單位的控制參數的值，將在比第1單位小的單位中應用的決定規範切換為其他決定規範。
此外，上下文控制部142或242也可以根據圖像系列的特徵來變更所使用的決定規範。例如，上下文控制部142或242也可以根據I圖片的間隔(IntraPeriod的設定值)來變更所使用的決定規範。
另外，這裡上下文控制部142或242根據上述條件切換決定規範，但也可以切換是否利用上塊。
此外，上下文控制部142或242也可以基於在位置上上塊的控制參數是否能夠在編碼或解碼時利用，來決定是否利用上塊的控制參數。即，上下文控制部142或242也可以基於處理對象的塊位置，判斷在解碼時是否能夠利用上塊的控制參數，在不能利用上塊的控制參數的情況下，使用模式2或模式3決定上下文。進而，上下文控制部142或242也可以基於TU、CU或PU塊分割的樹構造決定是否能夠利用該上塊的參照值。即，上下文控制部142或242也可以根據處理對象的控制參數所屬的數據單位的層級的深度判斷在解碼時是否能夠利用上塊的控制參數。
圖9是表示HEVC標準中的圖片(picture)、切片和塊的關係的圖。1個圖片被分割為1個以上的切片。在圖9所示的例子中，圖片被分割為兩個切片(SLICE1及SLICE2)。1個切片由多個塊301(例如treeblocks)構成。這裡，塊301在將切片分割為規定的尺寸的情況下，作為某種控制單位是最大的單位，是將該單位作為層級分割的root(根)的情況下的該root的尺寸。
在圖9所示的例子中，SLICE2由從塊301A(startTb)開始、包括經由被塗陰影的塊301到右下角的塊的多個塊的1個序列構成。另外，圖中被塗陰影的塊是作為當前的處理對象的1個塊(Treeblock)。
各個塊301由N×M像素構成。此外，1個塊301在內部被遞歸地分割(典型地是4分割)。即，1個Treeblock在概念上構成1個4叉樹(QuadTree)。在圖9所示的塊301B中，4分割後的右上的塊遍及2層級被遞歸地4分割。即，塊301B從左上的0號到右下的9號，包括以規定的觀點分割的10個邏輯單元。
這裡，所謂觀點，是指關於編碼單位(CU)的tree、或關於residual_data的Tree等，以某個root為基點相互深度可能不同的多個樹。這裡，各種控制參數的值屬於某個葉節點。
這裡，實際在上塊中包含的某個信號種類的控制參數的值「是否能夠利用(available)」，依存於該控制參數屬於的樹的種類。由此，上下文控制部142或242也可以按照控制參數所屬的樹的種類來變更決定規範。這與變更為語法單位是等價的。例如，上下文控制部142或242也可以對關於自適應濾波器的alf_param等的數據構造的數據使用不利用上塊的模式2或模式3，對於其他語法使用現有技術那樣的上下文模型方針(模式1)。即，上述第2種類或第3種類也可以是具有預先設定的數據構造的控制參數。此外，這意味著根據鄰接的定義的樹的種類而變化。
實際是否能夠利用該控制參數的值、或者在存儲器使用量的削減中是否發生效果，根據塊的層級關係上的位置而不同。即，上下文控制部142或242也可以根據塊的層級及層級內的位置切換是否利用上塊。
例如，假設圖9所示的塊301B的各號碼0～9是解碼順序。在此情況下，在將號碼4的塊編碼或解碼的情況下，能夠利用號碼1的塊及號碼2的塊的控制參數。
進而，從存儲器使用量的削減的觀點，上下文控制部142或242也可以如果是不為Depth0的塊、並且是自己的位置為縱向分割的第二個以上的要素則選擇利用上塊的模式1。這裡，所謂depth(深度)，表示從root起的層級數。即，在將某個塊規定為block[xn]，[y0][depth]的情況下，也可以根據處理對象的塊是否是block[xn][(y0)+1][depth])成立的塊來變更決定規範。即，對圖9所示的號碼4～9的塊利用上塊。這是因為，如果該樹的編碼或解碼是圖示的號碼順序(從0開始、以9結束的順序)，則在號碼4～9的塊中顯然能夠利用上塊中包含的控制參數。進而，在這些塊中，還有數據的保持為暫時就可以的優點。此外，這也可以說是除了x、y坐標以外還根據包括層級的三維的位置決定上下文值。此外，能夠利用(沿襲)上層級的塊的條件值作為下層級的塊的條件值。
進而，上下文控制部142或242也可以考慮處理對象的塊與其他切片的位置關係來變更這些規範。以下，說明圖9所示的3個塗陰影的塊301A、301B及301C的例子。
這裡，塊301A是開始塊，左塊及上塊都包含在其他切片中。塊301B的上塊包含在別的切片中。塊301C的上塊及左塊都包含在與包含自身的塊的切片相同的切片中。上下文控制部142或242也可以根據這樣的條件來切換規範。即，上下文控制部142或242(1)也可以根據上塊是否包含在其他切片中來切換規範，(2)也可以根據左塊是否包含在其他切片中來切換規範，(3)也可以根據它們雙方來切換規範。換言之，上下文控制部142或242也可以在處理對象的塊屬於切片邊界的情況下，判斷為在解碼時不能利用上塊的控制參數。由此，例如在上方的切片1的解碼處理沒有結束的情況下，能夠實現考慮到在切片2的內部中是否自己能得到信息的解碼處理。
以下，對層級化的處理單位(多層級塊構造)進行說明。圖10是用來說明層級化的處理單位(多層級塊構造)的說明圖。
上述圖像編碼裝置100將運動圖像按照每個處理單位編碼，圖像解碼裝置200將編碼流按照每個處理單位解碼。以將該處理單位分割為多個較小的處理單位、將該較小的處理單位再分割為多個更小的處理單位的方式，進行層級化。另外，處理單位越小，該處理單位所處的層級越深，處於低層，表示該層級的值較大。相反，處理單位越大，該處理單位所處的層級越淺，處於高層，表示該層級的值較小。
在處理單位中，有編碼單位(CU)、預測單位(PU)和變換單位(TU)。CU是最大由128×128像素構成的塊，是相當於現有技術的宏塊的單位。PU是畫面間預測的基本單位。TU是正交變換的基本單位，該TU的尺寸是與PU相同、或比PU小一個級別的尺寸。CU例如被分割為4個子CU，其中的1個子CU包括與該子CU相同的尺寸的PU及TU(在此情況下，PU和TU處於相互重疊的狀態)。例如，該PU被進一步分割為4個子PU，TU也被進一步分割為4個子TU。另外，在處理單位被分割為多個較小的處理單位的情況下，將該較小的處理單位稱作子處理單位。例如，在處理單位是CU的情況下，子處理單位是子CU，在處理單位是PU的情況下，子處理單位是子PU，在處理單位是TU的情況下，子處理單位是子TU。
具體而言，是以下這樣的。
圖片被分割為切片。切片是最大編碼單位的序列。最大編碼單位的位置由最大編碼單位地址lcuAddr表示。
包括最大編碼單位的各個編碼單位被分割為4個編碼單位。結果，構成編碼單位的大小的四叉樹分割。編碼單位的位置由以最大編碼單位的左上端的樣本(像素或係數)為起點的編碼單位索引cuIdx表示。
在許可編碼單位的分割的情況下，將該編碼單位作為預測單位處置。與編碼單位同樣，預測單位的位置由以最大編碼單位的左上端的樣本為起點的預測單位索引puIdx表示。
預測單位也可以包括多個分區(預測單位分區或子PU)。預測單位分區由以預測單位的左上端的樣本為起點的預測單位分區索引puPartIdx表示。
預測單位也可以包括多個變換單位。與編碼單位同樣，變換單位也可以被分割為4個較小的尺寸的變換單位(子變換單位)。這許可殘差信號的四叉樹分割。變換單位的位置由以預測單位的左上端的樣本為起點的變換單位索引tuIdx表示。
這裡，各處理單位的定義是以下這樣的。
CTB(coding tree block，編碼樹塊)：用來確定正方形區域的四叉樹分割的基本單位。CTB具有正方形的多種多樣的尺寸。
LCTB(largest coding tree block，最大編碼樹塊)：在切片中許可的最大的尺寸的CTB。切片由不重複的多個LCTB構成。
SCTB(smallest coding tree block，最小編碼樹塊)：在切片中許可的最小的尺寸的CTB。不許可將SCTB分割為更小的CTB。
PU(prediction unit，預測單位)：用來確定預測處理的基本單位。PU的尺寸與不被許可分割的CU的尺寸相同。在CU中，許可將CU分割為4個正方形區域，相對於此，在PU中，能夠將PU分割為任意的形狀的多個分區。
TU(transform unit，變換單位)：用來確定變換及量化的基本單位。
CU(coding unit，編碼單位)：與CTB相同。
LCU(largest coding unit，最大編碼單位)：與最大CTB相同。
SCU(smallest coding unit，最小編碼單位)：與最小CTB相同。
此外，量化參數包括德爾塔量化縮放參數(delta QP或QP delta)、量化偏移參數、索引(Qmatrix select idc)及量化死區偏移參數中的至少1個。另外，索引是用來從多個量化縮放矩陣中選擇1個的。
德爾塔量化縮放參數(delta QP或QP delta)是應在變換係數中應用的量化縮放參數、與由序列頭或切片頭指定的量化縮放參數(或在z掃描順序上緊接著的之前的量化縮放參數)的差。
量化偏移參數也稱作量化偏移，是進行量化時的信號的取整方式的調整值(偏移值)。因而，圖像編碼裝置100在進行量化時，將其量化偏移編碼，圖像解碼裝置200將該編碼後的量化偏移解碼。並且，圖像解碼裝置200在將變換係數逆量化時，進行使用該量化偏移的修正。
索引(Qmatrix select idc)也稱作自適應量化矩陣，是表示從多個量化縮放矩陣中使用哪個量化縮放矩陣的索引。此外，Qmatrix select idc在僅有1個量化縮放矩陣的情況下表示是否使用該量化縮放矩陣。另外，自適應用量化矩陣能夠以塊單位(處理單位)控制。
量化死區偏移參數也稱作自適應死區，是用來將死區按照每個塊自適應地變更的控制信息。死區是頻率係數通過量化成為0的幅度(在量化後為+1或-1的之前的幅度)。
另外，在上述說明中，作為模式3而敘述了使用預先設定的固定值作為上下文值的例子，但只要是對上塊及左塊的控制參數都不利用的條件就可以，作為模式3也可以使用不包含上塊及左塊的控制參數的條件的條件。例如，作為模式3，上下文控制部142或242也可以根據控制參數所屬的數據單位的層級的深度決定上下文。
(實施方式3)
在本實施方式中，對作為上述第1種類及第2種類(或第3種類)應利用怎樣的信號種類進行說明。
具體而言，本發明者對在圖3(非專利文獻2，9.3.3.1.1.1節)所示的信號種類中的以下的各個信號種類進行了驗證。對各個信號種類進行驗證是因為，參數遍及多個分支，根據關於1個信號種類的驗證結果(模式1～模式3的哪個更好)難以進行其他信號種類的各模式是否滿足妥當性。
驗證依據在JCTVC-E700，"Common test conditions and software reference configurations"(參照非專利文獻3)中記載的結構(設定參數，及軟體版本HM3.0)。此外，是測試圖像的長度全部被限制為49幀的結果。
有關本實施方式的圖像編碼方法及圖像解碼方法是關於CABAC的。由此，作為Entropy Coding(熵編碼)模式，使用作為SymbolMode的值是1(#0：LCEC，1：CABAC)的設定值的組的以下的4個測試模式進行了驗證。
4.1Intra，high-efficiency setting
4.3Random access，high-efficiency setting
4.5Low delay，high-efficiency setting
4.7Low delay，high-efficiency setting(P slices only)
此外，評價使用在HEVC中的安裝評價中作為統一的評價尺度利用的稱作"BD-RATE"值的評價值。Y BD-rate、U BD-rate及V BD-rate是關於顏色空間Y、U、V的BD-rate，是評價尺度值。這裡，所謂BD-rate，是將記載在VCEG-AI11(非專利文獻4)中的兩組代碼量和PSNR的結果積分、通過其面積的比來表示編碼效率的評價值。此外，在BD-rate表示負值的情況下表示編碼效率變好。比較的基準是安裝模式1的參照程序的輸出結果，此次的結果表示模式2及模式3的各自相對於模式1的值。
以下，說明各信號種類的驗證結果。
(第1驗證)"split_coding_unit_flag"
(第2驗證)"skip_flag"
(第3驗證)"inter_pred_flag"
(第1驗證)"split_coding_unit_flag"
圖11是用來對split_coding_unit_flag的算術解碼方法進行說明的表。
在驗證中，僅驗證對象的信號種類將上下文模型從模式1變更為模式2或模式3，關於其他信號種類、以及由非專利文獻3指定的驗證用參數不進行變更而進行驗證。此外，在圖11的欄中的值中，所謂「固定」，是在上下文值(或增量值)的導出中不使用記載有「固定」的列的條件(不使用左塊條件或上塊條件)。即，在僅左塊條件及右塊條件的一方的條件是「固定」的情況下，僅使用另一方的條件。此外，在左塊條件及右塊條件的兩者為「固定」的情況下，作為上下文值(或增量值)而使用預先設定的值(例如「0」)。
信號種類"split_coding_unit_flag"的意義在以下定義。
split_coding_unit_flag[x0][y0]表示對象的CU是否被分割為水平及垂直的尺寸為一半的多個CU。x0及y0表示以位於圖像的左上角的亮度樣本為基準的、位於對象的CU的左上角的亮度樣本的坐標。即，split_coding_unit_flag表示對象的CU是否被4分割。具體而言，在split_coding_unit_flag的值為「1」的情況下，對象的CU被分割，在該值為「0」的情況下，對象的CU沒有被分割。
該split_coding_unit_flag作為syntax而數據構造化為Coding tree syntax。圖像解碼裝置依據該數據構造的語法解釋比特序列。
圖12A及圖12B是表示關於split_coding_unit_flag的驗證結果的表。
圖12A表示使用(模式2)1個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結果。圖12B表示使用(模式3)0個鄰接塊的(上塊條件L和左都沒有使用)的情況下的驗證結果。
此外，圖12A及圖12B所示的驗證結果表示上述4個測試模式的BD-Rate值的增減。
此外，評價值是表示與使用左塊及上塊的兩者的模式1的情況下的評價值的相對的值的評價尺度。具體而言，如果評價值是正值，則其結果比模式1的情況下的評價值(BD-rate)差。此外，如果評價值是負值，則其結果相比模式1的情況下的評價值被改善。
根據該結果可知，關於split_coding_unit_flag，作為上下文模型的模式，模式1較好。換言之，模式2及模式3的評價值比模式1差。
因而，上下文控制部142及242在控制參數的信號種類是"split_coding_unit_flag"的情況下，從BD-rate的觀點，利用作為現有技術那樣的上下文模型的模式的模式1決定上下文值。
(第2驗證)「skip_flag」
圖13是用來對skip_flag的算術解碼方法進行說明的表。另外，驗證方法與上述第1驗證是同樣的。
信號種類"skip_flag"的意義在以下定義。
在將P或B切片解碼的情況下，在skip_flag[x0][y0]的值是「1」的情況下，意味著在該skip_flag[x0][y0]後，除了預測運動矢量索引以外，不存在當前的CU用的語法要素。此外，在skip_flag[x0][y0]的值為「1」的情況下，意味著當前的CU不能被跳過。x0及y0表示以位於圖像的左上角的亮度樣本為基準的、位於對象的CU的左上角的亮度樣本的坐標。即，skip_flag表示是否將對象的CU跳過(是否作為被跳過的塊處置)。
該skip_flag作為syntax而被數據構造化為Coding unit syntax。即，skip_flag被按照每個CU設定。在圖像解碼裝置中，依據該數據構造的語法解釋比特序列。
圖14A及圖14B是表示關於skip_flag的驗證結果的表。
圖14A表示使用(模式2)1個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結果。圖14B表示使用(模式3)0個鄰接塊(上塊條件L和左都不使用)的情況下的驗證結果。
另外，圖14A及圖14B所示的驗證結果與第1驗證同樣，表示上述4個測試模式的BD-Rate值的增減。此外，評價值的意義與第1驗證是同樣的。
根據該結果可知，關於"skip_flag"，作為上下文模型的模式，模式1較好。換言之，模式2及模式3的評價值比模式1差。
因而，上下文控制部142及242在控制參數的信號種類是"skip_flag"的情況下，從BD-rate的觀點，利用作為現有技術那樣的上下文模型的模式的模式1決定上下文值。
(第3驗證)"inter_pred_flag"
圖15是用來對inter_pred_flag的算術解碼化方法說明的表。
信號種類"inter_pred_flag"的意義在以下定義。
inter_pred_flag[x0][y0]按照表7 11，表示在當前的PU中使用uni-prediction及bi-prediction的哪個。x0及y0表示以位於圖像的左上角的亮度樣本為基準的、位於對象的預測塊的左上角的亮度樣本的坐標。這裡，uni-prediction是使用lc(合成列表)的預測，bi-prediction是使用列表0及列表1的預測。此外，合成列表是將列表0及列表1合成(合併)的。此外，inter_pred_flag僅在對象切片為B切片的情況下使用。
該inter_pred_flag作為syntax而被數據構造化為"Prediction Unit"。在圖像解碼化裝置中，依據該數據構造的語法解釋比特序列。
圖16A及圖16B是表示關於inter_pred_flag的驗證結果的表。
圖16A表示使用(模式2)1個鄰接塊(僅左塊條件L的判斷值)的情況下的驗證結果。圖16B表示使用(模式3)0個鄰接塊(上塊條件L和左都不使用)的情況下的驗證結果。
另外，圖16A及圖16B所示的驗證結果與第1驗證同樣，表示上述4個測試模式的BD-Rate值的增減。此外，評價值的意義與第1驗證是同樣的。
根據該結果，結果與上述第1驗證的split_coding_unit_flag及第2驗證的skip_flag不同，關於該inter_pred_flag，作為上下文模型的模式而在模式1與模式2或模式3之間不發生BD-rate的較大的差。
因而，上下文控制部142及242在混合存在多個信號種類的控制參數的環境中，特別在信號種類是inter_pred_flag的情況下，決定作為鄰接塊而不利用上塊的上下文值。即，上下文控制部142及242在控制參數的信號種類是inter_pred_flag的情況下，使用模式2或模式3決定上下文值。換言之，上述第1種類包括"split_coding_unit_flag"或"skip_flag"，上述第2種類或第3種類包括"inter_pred_flag"。由此，有關本實施方式的圖像編碼裝置及圖像解碼裝置能夠在抑制BD-rate值的下降的同時削減存儲器使用量。
另外，在將對於inter_pred_flag的模式2與模式3比較的情況下，在它們的BD-rate中不發生較大的差。由此，對於inter_pred_flag更優選的是使用模式3。由此，能夠實現進一步的存儲器使用量的削減及處理量的削減。
這裡，在不是跳過模式及合併模式的通常的幀間(inter)預測模式的情況下使用inter_pred_flag。在跳過模式及合併模式中，作為處理對象塊的運動矢量而利用與上塊及左塊相同的運動矢量，但在除此以外的通常的幀間預測模式中，作為處理對象塊的運動矢量而利用與上塊及左塊不同的運動矢量。由此，如果對inter_pred_flag如模式1那樣利用上及左塊，則可以考慮編碼效率下降。即，通過對inter_pred_flag使用模式2或模式3，能夠使編碼效率提高。
進而，如上述那樣，對於inter_pred_flag，通過根據處理對象塊的層級決定上下文值，能夠進一步提高編碼效率。
以上，對有關本發明的實施方式的圖像編碼裝置及圖像解碼裝置進行了說明，但本發明並不限定於該實施方式。
例如，也可以將有關上述實施方式1～3的圖像編碼裝置、圖像解碼裝置及它們的變形例的功能中的至少一部分組合。
此外，在上述中使用的數字及邏輯值全部是為了具體地說明本發明而例示的，本發明並不受例示的數字限制。
此外，框圖中的功能塊的分割是一例，也可以將多個功能塊作為一個功能塊實現，或將一個功能塊分割為多個，或將一部分的功能轉移到其他功能塊中。此外，也可以是單一的硬體或軟體將具有類似的功能的多個功能塊的功能並行或分時處理。
此外，上述圖像編碼裝置的圖像編碼方法及圖像解碼裝置的圖像解碼方法中的執行各步驟的順序是為了具體地說明本發明而例示的，也可以是上述以外的順序。此外，上述步驟的一部分也可以與其他步驟同時(並行)執行。
(實施方式4)
通過將用來實現上述各實施方式所示的運動圖像編碼方法(圖像編碼方法)或運動圖像解碼方法(圖像解碼方法)的結構的程序記錄到存儲介質中，能夠將上述各實施方式所示的處理在獨立的計算機系統中簡單地實施。存儲介質是磁碟、光碟、光磁碟、IC卡、半導體存儲器等，只要是能夠記錄程序的介質就可以。
進而，這裡說明在上述各實施方式中示出的運動圖像編碼方法(圖像編碼方法)及運動圖像解碼方法(圖像解碼方法)的應用例和使用它的系統。該系統的特徵在於，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構成的圖像編碼解碼裝置。關於系統的其他結構，可以根據情況而適當變更。
圖19是表示實現內容分發服務的內容供給系統ex100的整體結構的圖。將通信服務的提供區劃分為希望的大小，在各小區內分別設置有作為固定無線站的基站ex106、ex107、ex108、ex109、ex110。
該內容供給系統ex100在網際網路ex101上經由網際網路服務提供商ex102及電話網ex104、及基站ex107～ex110連接著計算機ex111、PDA(Personal Digital Assistant)ex112、照相機ex113、便攜電話ex114、遊戲機ex115等的各設備。
但是，內容供給系統ex100並不限定於圖19那樣的結構，也可以將某些要素組合連接。此外，也可以不經由作為固定無線站的基站ex107～ex110將各設備直接連接在電話網ex104上。此外，也可以將各設備經由近距離無線等直接相互連接。
照相機ex113是能夠進行數字攝像機等的運動圖像攝影的設備，照相機ex116是能夠進行數位照相機等的靜止圖像攝影、運動圖像攝影的設備。此外，便攜電話ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便攜電話機、或PHS(Personal Handyphone System)等，是哪種都可以。
在內容供給系統ex100中，通過將照相機ex113等經由基站ex109、電話網ex104連接在流媒體伺服器ex103上，能夠進行現場轉播等。在現場轉播中，對用戶使用照相機ex113攝影的內容(例如音樂會現場的影像等)如在上述各實施方式中說明那樣進行編碼處理(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，向流媒體伺服器ex103發送。另一方面，流媒體伺服器ex103將發送來的內容數據對有請求的客戶端進行流分發。作為客戶端，有能夠將上述編碼處理後的數據解碼的計算機ex111、PDAex112、照相機ex113、便攜電話ex114、遊戲機ex115等。在接收到分發的數據的各設備中，將接收到的數據解碼處理而再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
另外，攝影的數據的編碼處理既可以由照相機ex113進行，也可以由進行數據的發送處理的流媒體伺服器ex103進行，也可以相互分擔進行。同樣，分發的數據的解碼處理既可以由客戶端進行，也可以由流媒體伺服器ex103進行，也可以相互分擔進行。此外，並不限於照相機ex113，也可以將由照相機ex116攝影的靜止圖像及/或運動圖像數據經由計算機ex111向流媒體伺服器ex103發送。此情況下的編碼處理由照相機ex116、計算機ex111、流媒體伺服器ex103的哪個進行都可以，也可以相互分擔進行。
此外，這些編碼解碼處理一般在計算機ex111或各設備具有的LSIex500中處理。LSIex500既可以是單晶片，也可以是由多個晶片構成的結構。另外，也可以將運動圖像編碼解碼用的軟體裝入到能夠由計算機ex111等讀取的某些記錄介質(CD－ROM、軟盤、硬碟等)中、使用該軟體進行編碼解碼處理。進而，在便攜電話ex114是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數據發送。此時的運動圖像數據是由便攜電話ex114具有的LSIex500編碼處理的數據。
此外，也可以是，流媒體伺服器ex103是多個伺服器或多個計算機，是將數據分散處理、記錄、及分發的。
如以上這樣，在內容供給系統ex100中，客戶端能夠接收編碼的數據而再現。這樣，在內容供給系統ex100中，客戶端能夠將用戶發送的信息實時地接收、解碼、再現，即使是沒有特別的權利或設備的用戶也能夠實現個人廣播。
另外，並不限定於內容供給系統ex100的例子，如圖20所示，在數字廣播用系統ex200中也能夠裝入上述實施方式的至少運動圖像編碼裝置(圖像編碼裝置)或運動圖像解碼裝置(圖像解碼裝置)的某個。具體而言，在廣播站ex201中，將對影像數據復用了音樂數據等而得到的復用數據經由電波向通信或廣播衛星ex202傳送。該影像數據是通過上述各實施方式中說明的運動圖像編碼方法編碼後的數據(即，通過本發明的一個方式的圖像編碼裝置編碼後的數據)。接受到該數據的廣播衛星ex202發出廣播用的電波，能夠對該電波進行衛星廣播接收的家庭的天線ex204接收該電波，通過電視機(接收機)ex300或機頂盒(STB)ex217等的裝置將接收到的復用數據解碼並將其再現(即，作為本發明的一個方式的圖像解碼裝置發揮作用)。
此外，也可以是，在將記錄在DVD、BD等的記錄介質ex215中的復用數據讀取並解碼、或將影像數據編碼再根據情況與音樂信號復用而寫入記錄介質ex215中的讀取器/記錄器ex218中也能夠安裝上述各實施方式所示的運動圖像解碼裝置或運動圖像編碼裝置。在此情況下，可以將再現的影像信號顯示在監視器ex219上，通過記錄有復用數據的記錄介質ex215在其他裝置或系統中能夠再現影像信號。此外，也可以是，在連接在有線電視用的線纜ex203或衛星/地面波廣播的天線ex204上的機頂盒ex217內安裝運動圖像解碼裝置，將其用電視機的監視器ex219顯示。此時，也可以不是在機頂盒、而在電視機內裝入運動圖像解碼裝置。
圖21是表示使用在上述各實施方式中說明的運動圖像解碼方法及運動圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對影像數據復用了聲音數據的復用數據的調諧器ex301、將接收到的復用數據解調或調製為向外部發送的編碼數據的調製/解調部ex302、和將解調後的復用數據分離為影像數據、聲音數據或將在信號處理部ex306中編碼的影像數據、聲音數據復用的復用/分離部ex303。
此外，電視機ex300具備：具有將聲音數據、影像數據分別解碼、或將各自的信息編碼的聲音信號處理部ex304和影像信號處理部ex305(即，作為本發明的一個方式的圖像編碼裝置或圖像解碼裝置發揮作用)的信號處理部ex306；具有將解碼後的聲音信號輸出的揚聲器ex307及顯示解碼後的影像信號的顯示器等的顯示部ex308的輸出部ex309。進而，電視機ex300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而，電視機ex300具有合併控制各部的控制部ex310、對各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽部ex314、用來與硬碟等的外部記錄介質連接的驅動器ex315、與電話網連接的數據機ex316等。另外，記錄介質ex216是能夠通過收存的非易失性/易失性的半導體存儲元件電氣地進行信息的記錄的結構。電視機ex300的各部經由同步總線相互連接。
首先，對電視機ex300將通過天線ex204等從外部取得的復用數據解碼、再現的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基於具有CPU等的控制部ex310的控制，將由調製/解調部ex302解調的復用數據用復用/分離部ex303分離。進而，電視機ex300將分離的聲音數據用聲音信號處理部ex304解碼，將分離的影像數據用影像信號處理部ex305使用在上述各實施方式中說明的解碼方法解碼。將解碼後的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以暫時將這些信號儲存到緩衝器ex318、ex319等中，以使聲音信號和影像信號同步再現。此外，電視機ex300也可以不是從廣播等、而從磁/光碟、SD卡等的記錄介質ex215、ex216讀出編碼的復用數據。接著，對電視機ex300將聲音信號或影像信號編碼、向外部發送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基於控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用在上述各實施方式中說明的編碼方法編碼。將編碼後的聲音信號、影像信號用復用/分離部ex303復用，向外部輸出。在復用時，可以暫時將這些信號儲存到緩衝器ex320、ex321等中，以使聲音信號和影像信號同步再現。另外，緩衝器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個，也可以是共用一個以上的緩衝器的結構。進而，在圖示以外，也可以是，在例如調製/解調部ex302或復用/分離部ex303之間等也作為避免系統的上溢、下溢的緩衝部而在緩衝器中儲存數據。
此外，電視機ex300除了從廣播等或記錄介質等取得聲音數據、影像數據以外，也可以具備受理麥克風或照相機的AV輸入的結構，對從它們中取得的數據進行編碼處理。另外，這裡，將電視機ex300作為能夠進行上述編碼處理、復用、及外部輸出的結構進行了說明，但也可以是，不能進行這些處理，而是僅能夠進行上述接收、解碼處理、外部輸出的結構。
此外，在由讀取器/記錄器ex218從記錄介質將復用數據讀出、或寫入的情況下，上述解碼處理或編碼處理由電視機ex300、讀取器/記錄器ex218的哪個進行都可以，也可以是電視機ex300和讀取器/記錄器ex218相互分擔進行。
作為一例，將從光碟進行數據的讀入或寫入的情況下的信息再現/記錄部ex400的結構表示在圖22中。信息再現/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對作為光碟的記錄介質ex215的記錄面照射雷射斑而寫入信息，檢測來自記錄介質ex215的記錄面的反射光而讀入信息。調製記錄部ex402電氣地驅動內置在光頭ex401中的半導體雷射器，根據記錄數據進行雷射的調製。再現解調部ex403將由內置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光而得到的再現信號放大，將記錄在記錄介質ex215中的信號成分分離並解調，再現所需要的信息。緩衝器ex404將用來記錄到記錄介質ex215中的信息及從記錄介質ex215再現的信息暫時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制部ex406一邊控制盤馬達ex405的旋轉驅動一邊使光頭ex401移動到規定的信息軌道，進行雷射斑的追蹤處理。系統控制部ex407進行信息再現/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統控制部ex407利用保持在緩衝器ex404中的各種信息、此外根據需要而進行新的信息的生成、追加、並且一邊使調製記錄部ex402、再現解調部ex403、伺服控制部ex406協調動作、一邊通過光頭ex401進行信息的記錄再現來實現。系統控制部ex407例如由微處理器構成，通過執行讀出寫入的程序來執行它們的處理。
以上，假設光頭ex401照射雷射斑而進行了說明，但也可以是使用近場光進行高密度的記錄的結構。
在圖23中表示作為光碟的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上，以螺旋狀形成有導引槽(溝)，在信息軌道ex230中，預先通過溝的形狀的變化而記錄有表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數據的單位的記錄塊ex231的位置的信息，通過在進行記錄及再現的裝置中將信息軌道ex230再現而讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數據記錄區域ex233、內周區域ex232、外周區域ex234。為了記錄用戶數據而使用的區域是數據記錄區域ex233，配置在比數據記錄區域ex233靠內周或外周的內周區域ex232和外周區域ex234用於用戶數據的記錄以外的特定用途。信息再現/記錄部ex400對這樣的記錄介質ex215的數據記錄區域ex233進行編碼的聲音數據、影像數據或復用了這些數據的編碼數據的讀寫。
以上，舉1層的DVD、BD等的光碟為例進行了說明，但並不限定於這些，也可以是多層構造、在表面以外也能夠記錄的光碟。此外，也可以是在盤的相同的地方使用不同波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現的構造的光碟。
此外，在數字廣播用系統ex200中，也可以由具有天線ex205的車ex210從衛星ex202等接收數據、在車ex210具有的車載導航儀ex211等的顯示裝置上再現運動圖像。另外，車載導航儀ex211的結構可以考慮例如在圖21所示的結構中添加GPS接收部的結構，在計算機ex111及便攜電話ex114等中也可以考慮同樣的結構。
圖24A是表示使用在上述實施方式中說明的運動圖像解碼方法和運動圖像編碼方法的便攜電話ex114的圖。便攜電話ex114具有由用來在與基站ex110之間收發電波的天線ex350、能夠拍攝影像、靜止圖像的照相機部ex365、顯示將由照相機部ex365攝影的影像、由天線ex350接收到的影像等解碼後的數據的液晶顯示器等的顯示部ex358。便攜電話ex114還具有包含操作鍵部ex366的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex357、用來進行聲音輸入的麥克風等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼後的數據或者解碼後的數據的存儲器部ex367、或者作為與同樣保存數據的記錄介質之間的接口部的插槽部ex364。
進而，使用圖24B對便攜電話ex114的結構例進行說明。便攜電話ex114對於合併控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號處理部ex355、照相機接口部ex363、LCD(Liquid Crystal Display：液晶顯示器)控制部ex359、調製/解調部ex352、復用/分離部ex353、聲音信號處理部ex354、插槽部ex364、存儲器部ex367經由總線ex370相互連接。
電源電路部ex361如果通過用戶的操作使通話結束及電源鍵成為開啟狀態，則通過從電池組對各部供給電力，便攜電話ex114起動為能夠動作的狀態。
便攜電話ex114基於具有CPU、ROM及RAM等的主控制部ex360的控制，在語音通話模式時，將由聲音輸入部ex356集音的聲音信號通過聲音信號處理部ex354變換為數字聲音信號，將其用調製/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理後經由天線ex350發送。此外，便攜電話ex114在語音通話模式時，將由天線ex350接收到的接收數據放大並實施頻率變換處理及模擬數字變換處理，用調製/解調部ex352進行波譜逆擴散處理，通過聲音信號處理部ex354變換為模擬聲音數據後，將其經由聲音輸出部ex357輸出。
進而，在數據通信模式時發送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數據經由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數據用調製/解調部ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理後，經由天線ex350向基站ex110發送。在接收電子郵件的情況下，對接收到的數據執行上述處理的大致逆處理，並輸出到顯示部ex350。
在數據通信模式時，在發送影像、靜止圖像、或者影像和聲音的情況下，影像信號處理部ex355將從照相機部ex365供給的影像信號通過上述各實施方式所示的運動圖像編碼方法進行壓縮編碼(即，作為本發明的一個方式的圖像編碼裝置發揮作用)，將編碼後的影像數據送出至復用/分離部ex353。另外，聲音信號處理部ex354對通過照相機部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號進行編碼，將編碼後的聲音數據送出至復用/分離部ex353。
復用/分離部ex353通過規定的方式，對從影像信號處理部ex355供給的編碼後的影像數據和從聲音信號處理部ex354供給的編碼後的聲音數據進行復用，將其結果得到的復用數據用調製/解調部(調製/解調電路部)ex352進行波譜擴散處理，由發送/接收部ex351實施數字模擬變換處理及頻率變換處理後，經由天線ex350發送。
在數據通信模式時接收到連結到主頁等的運動圖像文件的數據的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對經由天線ex350接收到的復用數據進行解碼，復用/分離部ex353通過將復用數據分離，分為影像數據的比特流和聲音數據的比特流，經由同步總線ex370將編碼後的影像數據向影像信號處理部ex355供給，並將編碼後的聲音數據向聲音信號處理部ex354供給。影像信號處理部ex355通過與上述各實施方式所示的運動圖像編碼方法相對應的運動圖像解碼方法進行解碼，由此對影像信號進行解碼(即，作為本發明的一個方式的圖像解碼裝置發揮作用)，經由LCD控制部ex359從顯示部ex358顯示例如連結到主頁的運動圖像文件中包含的影像、靜止圖像。另外，聲音信號處理部ex354對聲音信號進行解碼，從聲音輸出部ex357輸出聲音。
此外，上述便攜電話ex114等的終端與電視機ex300同樣，除了具有編碼器、解碼器兩者的收髮型終端以外，還可以考慮只有編碼器的發送終端、只有解碼器的接收終端的3種安裝形式。另外，在數字廣播用系統ex200中，設為發送、接收在影像數據中復用了音樂數據等得到的復用數據而進行了說明，但除聲音數據之外復用了與影像關聯的字符數據等的數據也可以，不是復用數據而是影像數據本身也可以。
這樣，將在上述各實施方式中表示的運動圖像編碼方法或運動圖像解碼方法用在上述哪種設備、系統中都可以，通過這樣，能夠得到在上述各實施方式中說明的效果。
此外，本發明並不限定於這樣的上述實施方式，能夠不脫離本發明的範圍而進行各種變形或修正。
(實施方式5)
也可以通過將在上述各實施方式中示出的運動圖像編碼方法或裝置、與依據MPEG－2、MPEG4－AVC、VC－1等不同的標準的運動圖像編碼方法或裝置根據需要而適當切換，來生成影像數據。
這裡，在生成分別依據不同的標準的多個影像數據的情況下，在解碼時，需要選擇對應於各個標準的解碼方法。但是，由於不能識別要解碼的影像數據依據哪個標準，所以產生不能選擇適當的解碼方法的問題。
為了解決該問題，在影像數據中復用了聲音數據等的復用數據採用包含表示影像數據依據哪個標準的識別信息的結構。以下，說明包括通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據在內的復用數據的具體的結構。復用數據是MPEG－2傳輸流形式的數字流。
圖25是表示復用數據的結構的圖。如圖25所示，復用數據通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的1個以上進行復用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這裡，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而製作的對話畫面。視頻流通過在上述各實施方式中示出的運動圖像編碼方法或裝置、依據以往的MPEG－2、MPEG4－AVC、VC－1等標準的運動圖像編碼方法或裝置編碼。音頻流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或線性PCM等的方式編碼。
包含在復用數據中的各流通過PID被識別。例如，對在電影的影像中使用的視頻流分配0x1011，對音頻流分配0x1100到0x111F，對演示圖形分配0x1200到0x121F，對交互圖形流分配0x1400到0x141F，對在電影的副影像中使用的視頻流分配0x1B00到0x1B1F，對與主聲音混合的副聲音中使用的音頻流分配0x1A00到0x1A1F。
圖26是示意地表示復用數據怎樣被復用的圖。首先，將由多個視頻幀構成的視頻流ex235、由多個音頻幀構成的音頻流ex238分別變換為PES包序列ex236及ex239，並變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數據分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復用數據ex247通過將這些TS包復用到1條流中而構成。
圖27更詳細地表示在PES包序列中怎樣保存視頻流。圖27的第1段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖27的箭頭yy1、yy2、yy3、yy4所示，視頻流中的多個作為Video Presentation Unit的I圖片、B圖片、P圖片按每個圖片被分割並保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時刻的PTS(Presentation Time-Stamp)及作為圖片的解碼時刻的DTS(Decoding Time-Stamp)。
圖28表示最終寫入在復用數據中的TS包的形式。TS包是由具有識別流的PID等信息的4位元組的TS頭和保存數據的184位元組的TS有效載荷構成的188位元組固定長度的包，上述PES包被分割並保存到TS有效載荷中。在BD－ROM的情況下，對於TS包賦予4位元組的TP_Extra_Header，構成192位元組的源包，寫入到復用數據中。在TP_Extra_Header中記載有ATS(Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉送開始時刻。在復用數據中，源包如圖28下段所示排列，從復用數據的開頭起遞增的號碼被稱作SPN(源包號)。
此外，在復用數據所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在復用數據中使用的PMT的PID是什麼，PAT自身的PID被登記為0。PMT具有復用數據所包含的影像、聲音、字幕等的各流的PID、以及與各PID對應的流的屬性信息，還具有關於復用數據的各種描述符。在描述符中，有指示許可/不許可復用數據的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時間軸的ATC(Arrival Time Clock)與作為PTS及DTS的時間軸的STC(System Time Clock)的同步，擁有與該PCR包被轉送至解碼器的ATS對應的STC時間的信息。
圖29是詳細地說明PMT的數據構造的圖。在PMT的開頭，配置有記述了包含在該PMT中的數據的長度等的PMT頭。在其後面，配置有多個關於復用數據的描述符。上述拷貝控制信息等被記載為描述符。在描述符之後，配置有多個關於包含在復用數據中的各流的流信息。流信息由記載有用來識別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構成。流描述符存在復用數據中存在的流的數量。
在記錄到記錄介質等中的情況下，將上述復用數據與復用數據信息文件一起記錄。
復用數據信息文件如圖30所示，是復用數據的管理信息，與復用數據一對一地對應，由復用數據信息、流屬性信息以及入口映射構成。
復用數據信息如圖30所示，由系統速率、再現開始時刻、再現結束時刻構成。系統速率表示復用數據的向後述的系統目標解碼器的PID濾波器的最大轉送速率。包含在復用數據中的ATS的間隔設定為成為系統速率以下。再現開始時刻是復用數據的開頭的視頻幀的PTS，再現結束時刻設定為對復用數據的末端的視頻幀的PTS加上1幀量的再現間隔的值。
流屬性信息如圖31所示，按每個PID登記有關於包含在復用數據中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構成視頻流的各個圖片數據的解析度是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數是多少、對應於哪種語言、採樣頻率是多少等的信息。這些信息用於在播放器再現之前的解碼器的初始化等中。
在本實施方式中，使用上述復用數據中的、包含在PMT中的流類型。此外，在記錄介質中記錄有復用數據的情況下，使用包含在復用數據信息中的視頻流屬性信息。具體而言，在上述各實施方式示出的運動圖像編碼方法或裝置中，設置如下步驟或單元，該步驟或單元對包含在PMT中的流類型、或視頻流屬性信息，設定表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的固有信息。通過該結構，能夠識別通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據、和依據其他標準的影像數據。
此外，在圖32中表示本實施方式的運動圖像解碼方法的步驟。在步驟exS100中，從復用數據中取得包含在PMT中的流類型、或包含在復用數據信息中的視頻流屬性信息。接著，在步驟exS101中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據。並且，在判斷為流類型、或視頻流屬性信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的復用數據情況下，在步驟exS102中，通過在上述各實施方式中示出的運動圖像解碼方法進行解碼。此外，在流類型、或視頻流屬性信息表示是依據以往的MPEG－2、MPEG4－AVC、VC－1等的標準的復用數據的情況下，在步驟exS103中，通過依據以往的標準的運動圖像解碼方法進行解碼。
這樣，通過在流類型、或視頻流屬性信息中設定新的固有值，在解碼時能夠判斷是否能夠通過在上述各實施方式中示出的運動圖像解碼方法或裝置解碼。因而，在被輸入了依據不同的標準的復用數據的情況下，也能夠選擇適當的解碼方法或裝置，所以能夠不發生錯誤地進行解碼。此外，將在本實施方式中示出的運動圖像編碼方法或裝置、或者運動圖像解碼方法或裝置用在上述任何設備、系統中。
(實施方式6)
在上述各實施方式中示出的運動圖像編碼方法及裝置、運動圖像解碼方法及裝置典型地可以由作為集成電路的LSI實現。作為一例，在圖33中表示1晶片化的LSIex500的結構。LSIex500具備以下說明的單元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經由總線ex510連接。電源電路部ex505通過在電源是開啟狀態的情況下對各部供給電力，起動為能夠動作的狀態。
例如在進行編碼處理的情況下，LSIex500基於具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等的控制部ex501的控制，通過AV I/Oex509從麥克風ex117及照相機ex113等輸入AV信號。被輸入的AV信號暫時儲存在SDRAM等的外部的存儲器ex511中。基於控制部ex501的控制，將儲存的數據根據處理量及處理速度適當地分為多次等，向信號處理部ex507發送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這裡，影像信號的編碼處理是在上述各實施方式中說明的編碼處理。在信號處理部ex507中，還根據情況而進行將編碼的聲音數據和編碼的影像數據復用等的處理，從流I/Oex506向外部輸出。將該輸出的比特流向基站ex107發送、或寫入到記錄介質ex215中。另外，在復用時，可以暫時將數據儲存到緩衝器ex508中以使其同步。
另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內部中的結構。緩衝器ex508也並不限定於一個，也可以具備多個緩衝器。此外，LSIex500既可以形成1個晶片，也可以形成多個晶片。
此外，在上述中，假設控制部ex510具有CPUex502、存儲器控制器ex503、流控制器ex504、驅動頻率控制部ex512等，但控制部ex510的結構並不限定於該結構。例如，也可以是信號處理部ex507還具備CPU的結構。通過在信號處理部ex507的內部中也設置CPU，能夠進一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號處理部ex507、或作為信號處理部ex507的一部分的例如聲音信號處理部的結構。在這樣的情況下，控制部ex501為具備具有信號處理部ex507或其一部分的CPUex502的結構。
另外，這裡設為LSI，但根據集成度的差異，也有稱作IC、系統LSI、超級(super)LSI、特級(ultra)LSI的情況。
此外，集成電路化的方法並不限定於LSI，也可以由專用電路或通用處理器實現。也可以利用在LSI製造後能夠編程的FPGA(Field Programmable Gate Array)、或能夠重構LSI內部的電路單元的連接及設定的可重構處理器。
進而，如果因半導體技術的進步或派生的其他技術而出現代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能模塊的集成化。有可能是生物技術的應用等。
(實施方式7)
在將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的情況下，考慮到與將依據以往的MPEG－2、MPEG4－AVC、VC－1等標準的影像數據的情況相比處理量會增加。因此，在LSIex500中，需要設定為比將依據以往的標準的影像數據解碼時的CPUex502的驅動頻率更高的驅動頻率。但是，如果將驅動頻率設得高，則發生消耗電力變高的問題。
為了解決該問題，電視機ex300、LSIex500等的運動圖像解碼裝置採用識別影像數據依據哪個標準、並根據標準切換驅動頻率的結構。圖34表示本實施方式的結構ex800。驅動頻率切換部ex803在影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的情況下，將驅動頻率設定得高。並且，對執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801指示將影像數據解碼。另一方面，在影像數據是依據以往的標準的影像數據的情況下，與影像數據是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的數據的情況相比，將驅動頻率設定得低。並且，對依據以往的標準的解碼處理部ex802指示將影像數據解碼。
更具體地講，驅動頻率切換部ex803由圖33的CPUex502和驅動頻率控制部ex512構成。此外，執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部ex801、以及依據以往的標準的解碼處理部ex802對應於圖33的信號處理部ex507。CPUex502識別影像數據依據哪個標準。並且，基於來自CPUex502的信號，驅動頻率控制部ex512設定驅動頻率。此外，基於來自CPUex502的信號，信號處理部ex507進行影像數據的解碼。這裡，可以考慮在影像數據的識別中使用例如在實施方式5中記載的識別信息。關於識別信息，並不限定於在實施方式5中記載的信息，只要是能夠識別影像數據依據哪個標準的信息就可以。例如，在基於識別影像數據利用於電視機還是利用於盤等的外部信號，來能夠識別影像數據依據哪個標準的情況下，也可以基於這樣的外部信號進行識別。此外，CPUex502的驅動頻率的選擇例如可以考慮如圖36所示的將影像數據的標準與驅動頻率建立對應的查找表進行。將查找表預先保存到緩衝器ex508、或LSI的內部存儲器中，CPUex502通過參照該查找表，能夠選擇驅動頻率。
圖35表示實施本實施方式的方法的步驟。首先，在步驟exS200中，在信號處理部ex507中，從復用數據中取得識別信息。接著，在步驟exS201中，在CPUex502中，基於識別信息識別影像數據是否是通過在上述各實施方式中示出的編碼方法或裝置生成的數據。在影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況下，在步驟exS202中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得高的信號。並且，在驅動頻率控制部ex512中設定為高的驅動頻率。另一方面，在表示是依據以往的MPEG－2、MPEG4－AVC、VC－1等的標準的影像數據的情況下，在步驟exS203中，CPUex502向驅動頻率控制部ex512發送將驅動頻率設定得低的信號。並且，在驅動頻率控制部ex512中，設定為與影像數據是通過在上述各實施方式中示出的編碼方法或裝置生成的數據的情況相比更低的驅動頻率。
進而，通過與驅動頻率的切換連動而變更對LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進一步提高節電效果。例如，在將驅動頻率設定得低的情況下，隨之，可以考慮與將驅動頻率設定得高的情況相比，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。
此外，驅動頻率的設定方法只要是在解碼時的處理量大的情況下將驅動頻率設定得高、在解碼時的處理量小的情況下將驅動頻率設定得低就可以，並不限定於上述的設定方法。例如，可以考慮在將依據MPEG4－AVC標準的影像數據解碼的處理量大於將通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據解碼的處理量的情況下，與上述的情況相反地進行驅動頻率的設定。
進而，驅動頻率的設定方法並不限定於使驅動頻率低的結構。例如，也可以考慮在識別信息是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得高，在表示是依據以往的MPEG－2、MPEG4－AVC、VC－1等的標準的影像數據的情況下，將對LSIex500或包括LSIex500的裝置施加的電壓設定得低。此外，作為另一例，也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，不使CPUex502的驅動停止，在表示是依據以往的MPEG－2、MPEG4－AVC、VC－1等的標準的影像數據的情況下，由於在處理中有富餘，所以使CPUex502的驅動暫停。也可以考慮在識別信息表示是通過在上述各實施方式中示出的運動圖像編碼方法或裝置生成的影像數據的情況下，也只要在處理中有富餘則使CPUex502的驅動暫停。在此情況下，可以考慮與表示是依據以往的MPEG－2、MPEG4－AVC、VC－1等的標準的影像數據的情況相比，將停止時間設定得短。
這樣，根據影像數據所依據的標準來切換驅動頻率，由此能夠實現節電化。此外，在使用電池來驅動LSIex500或包括LSIex500的裝置的情況下，能夠隨著節電而延長電池的壽命。
(實施方式8)
在電視機、便攜電話等上述的設備、系統中，有時被輸入依據不同的標準的多個影像數據。這樣，為了使得在被輸入了依據不同的標準的多個影像數據的情況下也能夠解碼，LSIex500的信號處理部ex507需要對應於多個標準。但是，如果單獨使用對應於各個標準的信號處理部ex507，則發生LSIex500的電路規模變大、此外成本增加的問題。
為了解決該問題，採用將用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部、和依據以往的MPEG－2、MPEG4－AVC、VC－1等的標準的解碼處理部一部分共用的結構。圖37A的ex900表示該結構例。例如，在上述各實施方式中示出的運動圖像解碼方法和依據MPEG4－AVC標準的運動圖像解碼方法在熵編碼、逆量化、解塊濾波器、運動補償等的處理中有一部分處理內容共通。可以考慮如下結構：關於共通的處理內容，共用對應於MPEG4－AVC標準的解碼處理部ex902，關於不對應於MPEG4－AVC標準的本發明的一個方式所特有的其他的處理內容，使用專用的解碼處理部ex901。特別是，本發明的一個方式在算術編碼方面具有特徵，因此可以考慮例如對於算術編碼使用專用的解碼處理部ex901，對於除此之外的逆量化、解塊濾波、運動補償中的某一個或者全部的處理，共用解碼處理部。關於解碼處理部的共用，也可以是如下結構：關於共通的處理內容，共用用來執行在上述各實施方式中示出的運動圖像解碼方法的解碼處理部，關於MPEG4－AVC標準所特有的處理內容，使用專用的解碼處理部。
此外，用圖37B的ex1000表示將處理一部分共用的另一例。在該例中，採用使用與本發明的一個方式所特有的處理內容對應的專用的解碼處理部ex1001、和與其他的以往標準所特有的處理內容對應的專用的解碼處理部ex1002、和與在本發明的一個方式的運動圖像解碼方法和其他的以往標準的運動圖像解碼方法中共通的處理內容對應的共用的解碼處理部ex1003的結構。這裡，專用的解碼處理部ex1001、ex1002並不一定是為本發明的一個方式、或者其他的以往標準所特有的處理內容而特殊化的，可以是能夠執行其他的通用處理的結構。此外，也能夠由LSIex500安裝本實施方式的結構。
這樣，對於在本發明的一個方式的運動圖像解碼方法和以往的標準的運動圖像解碼方法中共通的處理內容，共用解碼處理部，由此能夠減小LSI的電路規模並且降低成本。
產業上的可利用性
本發明能夠應用在圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中，特別能夠在進行算術編碼及算術解碼的圖像編碼方法、圖像解碼方法、圖像編碼裝置及圖像解碼裝置中利用。
標號說明
100 圖像編碼裝置
101 控制部
102 差分部
103 變換及量化部
104 可變長編碼部
105 逆量化及逆變換部
106、206 加法部
107、207 面內預測部
108、208 面間預測部
109、209 開關
121 輸入圖像信號
122、125、225 殘差信號
123、223 量化變換係數
124 比特流
126 復原圖像信號
127、128、129、227、228 預測圖像信號
130、230 控制參數
141 二值化部
142、242 上下文控制部
143 二值算術編碼部
151、251 二值排列
152、252 上下文索引
200 圖像解碼裝置
201 控制部
202 可變長解碼部
204 逆量化部
205 逆變換部
224 正交變換係數
226 解碼圖像信號
229 圖像信號
241 多值化部
243 二值算術解碼部