圖像編碼裝置和方法、圖像解碼裝置和方法以及記錄介質與流程
2023-11-02 04:21:52 2
技術領域
本發明涉及高效地對圖像進行編碼的圖像編碼裝置以及圖像編碼方法、對高效地編碼了的圖像進行解碼的圖像解碼裝置以及圖像解碼方法、和圖像預測裝置。
背景技術：
例如，在MPEG(Moving Picture Experts Group，運動圖像專家組)、「ITU-T H.26x」等國際標準影像編碼方式中，將輸入影像幀分割為矩形的塊(編碼塊)，並對該編碼塊實施使用已編碼的圖像信號的預測處理從而生成預測圖像，將作為該編碼塊與預測圖像的差分的預測誤差信號按照塊單位進行正交變換、量化處理，從而進行信息壓縮。
例如，在作為國際標準方式的MPEG-4 AVC/H.264(ISO/IEC 14496-10|ITU-T H.264)中，根據已編碼的附近像素進行幀內部(Intra)預測處理或者鄰近幀間的運動補償預測處理(例如，參照非專利文獻1)。
在MPEG-4 AVC/H.264中，在亮度的幀內部預測模式中，能夠按照塊單位，從多個預測模式中選擇1個預測模式。
圖14是示出亮度的塊尺寸是4×4像素的情況的幀內部預測模式的說明圖。
在圖14中，塊內的白圈表示編碼對象的像素，黑圈表示作為預測中使用的像素的已編碼的像素。在亮度的塊尺寸是4×4像素的情況下，規定了模式0至模式8這9個幀內部預測模式。
在圖14中，模式2是進行平均值預測的模式，利用塊的上面和左面的鄰接像素的平均值，預測塊內的像素。
模式2以外的模式是進行方向性預測的模式。模式0是垂直方向預測，通過在垂直方向上重複塊的上面的鄰接像素從而生成預測圖像。例如，在豎條紋花紋時選擇模式0。
模式1是水平方向預測，通過在水平方向上重複塊的左面的鄰接像素從而生成預測圖像。例如，在橫條紋花紋時選擇模式1。
在模式3至模式8中，使用塊的上面或者左面的已編碼的像素，在規定的方向(箭頭表示的方向)上生成插值像素來生成預測圖像。
此處，應用幀內部預測的亮度的塊尺寸能夠從4×4像素、8×8像素、16×16像素中選擇，在8×8像素的情況下，與4×4像素同樣地規定了9個幀內部預測模式。但是，關於預測中使用的像素，並非是已編碼的像素自身，而是使用針對這些像素實施濾波處理而得到的像素。
相對於此，在16×16像素的情況下，除了與平均值預測、垂直方向預測以及水平方向預測有關的幀內部預測模式以外，還規定了被稱為Plane預測的4個幀內部預測模式。
與Plane預測有關的幀內部預測模式是將針對塊的上面和左面的已編碼的鄰接像素在傾斜方向上進行內插插值而生成的像素作為預測值的模式。
另外，在方向性預測模式中，通過在預定的方向(預測方向)上重複塊的鄰接像素或者根據鄰接像素生成的插值像素從而生成預測值，所以在圖15所示那樣的預測對象塊內的目標的邊界(邊緣)的方向與預測方向一致、並且塊內的信號值沿著預測方向而恆定的情況下，預測效率變高而能夠削減符號量。
非專利文獻1：MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264標準
技術實現要素：
以往的運動圖像編碼裝置如以上那樣構成，所以如果預測對象塊內的目標的邊界(邊緣)的方向與預測方向一致、並且預測對象塊內的信號值沿著該預測方向而恆定，則能夠通過使用方向性預測來高精度地進行預測。但是，存在如下課題：即便預測對象塊內的目標的邊界(邊緣)的方向與預測方向一致，在如圖16所示，在信號值沿著該預測方向而變化的情況下，預測誤差也會變大。
本發明是為了解決上述那樣的課題而完成的，其目的在於得到一種圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法以及圖像預測裝置，即使在信號值沿著預測方向而變化的情況下，也能夠實現高精度的預測來提高圖像質量。
在本發明的圖像編碼裝置中，幀內部預測單元在幀內部預測參數表示水平方向預測處理的情況下，對成為編碼塊的預測處理的單位的各塊的左面所鄰接的像素的亮度值相加與塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值作為預測圖像的預測值，在幀內部預測參數表示垂直方向預測處理的情況下，對塊的上面所鄰接的像素的亮度值相加與塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值作為預測圖像的預測值。
根據本發明，幀內部預測單元構成為在幀內部預測參數表示水平方向預測處理的情況下，對塊的左面所鄰接的像素的亮度值相加與塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值作為預測圖像的預測值，在幀內部預測參數表示垂直方向預測處理的情況下，對塊的上面所鄰接的像素的亮度值相加與塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值作為預測圖像的預測值，所以具有即使在信號值沿著預測方向而變化的情況下也能夠實現高精度的預測來提高圖像質量的效果。
附圖說明
圖1是示出本發明的實施方式1的運動圖像編碼裝置的結構圖。
圖2是示出本發明的實施方式1的運動圖像編碼裝置的處理內容(運動圖像編碼方法)的流程圖。
圖3是示出本發明的實施方式1的運動圖像解碼裝置的結構圖。
圖4是示出本發明的實施方式1的運動圖像解碼裝置的處理內容(運動圖像解碼方法)的流程圖。
圖5是示出最大編碼塊被層次性地分割為多個編碼塊的例子的說明圖。
圖6的(a)是示出分割後的編碼塊以及預測塊的分布的說明圖，(b)是示出通過層次分割而分配了編碼模式m(Bn)的狀況的說明圖。
圖7是示出編碼塊Bn內的各預測塊Pin可選擇的幀內部預測參數(幀內部預測模式)的一個例子的說明圖。
圖8是示出在lin＝min＝4的情況下生成預測塊Pin內的像素的預測值時使用的像素的一個例子的說明圖。
圖9是示出以預測塊Pin內的左上像素為原點的相對坐標的說明圖。
圖10是示出垂直方向預測中的以往的為了計算對預測值相加的亮度值變化量而參照的左面的預測塊的鄰接像素的一個例子的說明圖。
圖11是示出垂直方向預測中的以往的對預測值相加的亮度值變化量的縮放值的一個例子的說明圖。
圖12是示出水平方向預測中的以往的為了計算對預測值相加的亮度值變化量而參照的上面的預測塊的鄰接像素的一個例子的說明圖。
圖13是示出水平方向預測中的以往的對預測值相加的亮度值變化量的縮放值的一個例子的說明圖。
圖14是示出亮度的塊尺寸是4×4像素的情況的幀內部預測模式的說明圖。
圖15是示出通過水平方向預測而高精度地預測的預測圖像的一個例子的說明圖。
圖16是示出在通過水平方向預測進行了預測時發生大的預測誤差的一個例子的說明圖。
圖17是示出編碼塊Bn內的各預測塊Pin可選擇的幀內部預測參數(幀內部預測模式)的一個例子的說明圖。
(符號說明)
1：塊分割部(塊分割單元)；2：編碼控制部(編碼控制單元)；3：切換開關；4：幀內部預測部(幀內部預測單元)；5：運動補償預測部(運動補償預測單元)；6：減法部(量化單元)；7：變換/量化部(量化單元)；8：逆量化/逆變換部；9：加法部；10：幀內部預測用存儲器(幀內部預測單元)；11：環路濾波器部；12：運動補償預測幀存儲器(運動補償預測單元)；13：可變長編碼部(可變長編碼單元)；31：可變長解碼部(可變長解碼單元)；32：逆量化/逆變換部(逆量化單元)；33：切換開關；34：幀內部預測部(幀內部預測單元)；35：運動補償部(運動補償預測單元)；36：加法部；37：幀內部預測用存儲器(幀內部預測單元)；38：環路濾波器部；39：運動補償預測幀存儲器(運動補償預測單元)。
具體實施方式
以下，為了更詳細地說明本發明，依照附圖來說明用於實施本發明的方式。
實施方式1.
圖1是示出本發明的實施方式1的運動圖像編碼裝置的結構圖。
在圖1中，塊分割部1實施如下處理：如果輸入了表示輸入圖像的影像信號，則將該輸入圖像分割為由編碼控制部2決定的最大尺寸的編碼塊即最大編碼塊，並且直至達到由編碼控制部2決定的上限的層次數為止，將該最大編碼塊層次性地分割為各編碼塊。
即，塊分割部1實施如下處理：根據由編碼控制部2決定的分割而將輸入圖像分割為各編碼塊，並輸出該編碼塊。另外，各編碼塊被分割為成為預測處理單位的一個或多個預測塊。
另外，塊分割部1構成了塊分割單元。
編碼控制部2實施如下處理：決定成為實施預測處理時的處理單位的編碼塊的最大尺寸，並且決定最大尺寸的編碼塊被層次性地分割時的上限的層次數，從而決定各個編碼塊的尺寸。
另外，編碼控制部2實施如下處理：從可選擇的1個以上的編碼模式(1個以上的幀內部編碼模式、1個以上的幀間編碼模式)中，選擇針對從塊分割部1輸出的編碼塊的編碼效率最高的編碼模式。
另外，編碼控制部2實施如下處理：在編碼效率最高的編碼模式是幀內部編碼模式的情況下，針對作為預測處理單位的每個預測塊，決定在以該幀內部編碼模式實施針對編碼塊的幀內部預測處理時所使用的幀內部預測參數，在編碼效率最高的編碼模式是幀間編碼模式的情況下，針對作為預測處理單位的每個預測塊，決定在以該幀間編碼模式實施針對編碼塊的幀間預測處理時所使用的幀間預測參數。
而且，編碼控制部2實施如下處理：決定對變換/量化部7以及逆量化/逆變換部8提供的預測差分編碼參數。
另外，編碼控制部2構成了編碼控制單元。
切換開關3實施如下處理：如果由編碼控制部2決定的編碼模式是幀內部編碼模式，則將從塊分割部1輸出的編碼塊輸出到幀內部預測部4，如果由編碼控制部2決定的編碼模式是幀間編碼模式，則將從塊分割部1輸出的編碼塊輸出到運動補償預測部5。
幀內部預測部4實施如下處理：針對從切換開關3輸出的編碼塊，按照作為預測處理單位的每個預測塊，一邊參照幀內部預測用存儲器10中儲存的局部解碼圖像，一邊實施使用了由編碼控制部2決定的幀內部預測參數的幀內部預測處理(幀內預測處理)來生成幀內部預測圖像。
另外，幀內部預測部4在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，對預測塊的左面所鄰接的像素的亮度值相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值。
由幀內部預測部4以及幀內部預測用存儲器10構成了幀內部預測單元。
運動補償預測部5實施如下處理：按照作為預測處理單位的預測塊單位，比較從切換開關3輸出的編碼塊和儲存在運動補償預測幀存儲器12中的1幀以上的局部解碼圖像，來搜索運動矢量，並使用該運動矢量和由編碼控制部2決定的幀間預測參數，按照預測塊單位實施針對該編碼塊的幀間預測處理(運動補償預測處理)而生成幀間預測圖像。
減法部6實施如下處理：從由塊分割部1輸出的編碼塊減去由幀內部預測部4生成的幀內部預測圖像或者由運動補償預測部5生成的幀間預測圖像，將作為其相減結果的預測差分信號(差分圖像)輸出到變換/量化部7。
變換/量化部7實施如下處理：參照由編碼控制部2決定的預測差分編碼參數，實施針對從減法部6輸出的預測差分信號的正交變換處理(例如，DCT(離散餘弦變換)、預先對特定的學習序列進行基底設計的KL變換等正交變換處理)來計算變換係數，並且參照該預測差分編碼參數，對該變換係數進行量化，將作為量化後的變換係數的壓縮數據輸出到逆量化/逆變換部8以及可變長編碼部13。
另外，由減法部6以及變換/量化部7構成了量化單元。
逆量化/逆變換部8實施如下處理：參照由編碼控制部2決定的預測差分編碼參數，對從變換/量化部7輸出的壓縮數據進行逆量化，並且參照該預測差分編碼參數，實施針對作為逆量化後的壓縮數據的變換係數的逆正交變換處理，計算與從減法部6輸出的預測差分信號相當的局部解碼預測差分信號。
加法部9實施如下處理：將由逆量化/逆變換部8計算出的局部解碼預測差分信號、與由幀內部預測部4生成的幀內部預測圖像或者由運動補償預測部5生成的幀間預測圖像進行相加，來計算與從塊分割部1輸出的編碼塊相當的局部解碼圖像。
幀內部預測用存儲器10是儲存由加法部9計算出的局部解碼圖像的記錄介質。
環路濾波器部11實施如下處理：對由加法部9計算出的局部解碼圖像實施規定的濾波處理，輸出濾波處理後的局部解碼圖像。
運動補償預測幀存儲器12是儲存濾波處理後的局部解碼圖像的記錄介質。
可變長編碼部13實施如下處理：對從變換/量化部7輸出的壓縮數據、編碼控制部2的輸出信號(最大編碼塊內的塊分割信息、編碼模式、預測差分編碼參數、幀內部預測參數或者幀間預測參數)、以及從運動補償預測部5輸出的運動矢量(編碼模式是幀間編碼模式的情況)進行可變長編碼，而生成比特流。
另外，可變長編碼部13構成了可變長編碼單元。
在圖1的例子中，設想作為運動圖像編碼裝置的構成要素的塊分割部1、編碼控制部2、切換開關3、幀內部預測部4、運動補償預測部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、幀內部預測用存儲器10、環路濾波器部11、運動補償預測幀存儲器12以及可變長編碼部13的各個由專用的硬體(例如，安裝了CPU的半導體集成電路、單片式微型計算機等)構成的例子，但在運動圖像編碼裝置由計算機構成的情況下，也可以將記述了塊分割部1、編碼控制部2、切換開關3、幀內部預測部4、運動補償預測部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環路濾波器部11以及可變長編碼部13的處理內容的程序儲存到計算機的存儲器中，並由該計算機的CPU執行該存儲器中儲存的程序。
圖2是示出本發明的實施方式1的運動圖像編碼裝置的處理內容(運動圖像編碼方法)的流程圖。
圖3是示出本發明的實施方式1的運動圖像解碼裝置的結構圖。
在圖3中，可變長解碼部31實施如下處理：如果輸入了由圖1的運動圖像編碼裝置生成的比特流，則從該比特流，對壓縮數據、塊分割信息、編碼模式、幀內部預測參數(編碼模式是幀內部編碼模式的情況)、幀間預測參數(編碼模式是幀間編碼模式的情況)、預測差分編碼參數以及運動矢量(編碼模式是幀間編碼模式的情況)進行可變長解碼。
另外，可變長解碼部31構成了可變長解碼單元。
逆量化/逆變換部32實施如下處理：參照由可變長解碼部31可變長解碼了的預測差分編碼參數，對由可變長解碼部31可變長解碼了的壓縮數據進行逆量化，並且參照該預測差分編碼參數來實施針對作為逆量化後的壓縮數據的變換係數的逆正交變換處理，計算與從圖1的逆量化/逆變換部8輸出的局部解碼預測差分信號相同的解碼預測差分信號。
另外，逆量化/逆變換部32構成了逆量化單元。
切換開關33實施如下處理：如果由可變長解碼部31可變長解碼了的編碼模式是幀內部編碼模式，則將由可變長解碼部31可變長解碼了的幀內部預測參數輸出到幀內部預測部34，如果由可變長解碼部31可變長解碼了的編碼模式是幀間編碼模式，則將由可變長解碼部31可變長解碼了的幀間預測參數以及運動矢量輸出到運動補償部35。
幀內部預測部34實施如下處理：針對根據由可變長解碼部31可變長解碼了的塊分割信息以及編碼模式而確定的解碼塊(與圖1的運動圖像編碼裝置的「編碼塊」相當的塊)，按照作為預測處理單位的每個預測塊，一邊參照幀內部預測用存儲器37中儲存的解碼圖像，一邊實施使用了從切換開關33輸出的幀內部預測參數的幀內部預測處理(幀內預測處理)而生成幀內部預測圖像。
另外，幀內部預測部34在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，對預測塊的左面所鄰接的像素的亮度值相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值。
由幀內部預測部34以及幀內部預測用存儲器37構成了幀內部預測單元。
運動補償部35實施如下處理：針對根據由可變長解碼部31可變長解碼了的塊分割信息以及編碼模式而確定的解碼塊，按照作為預測處理單位的每個預測塊，一邊參照運動補償預測幀存儲器39中儲存的解碼圖像，一邊實施使用了從切換開關33輸出的運動矢量和幀間預測參數的幀間預測處理(運動補償預測處理)而生成幀間預測圖像。
加法部36實施如下處理：將由逆量化/逆變換部32計算出的解碼預測差分信號、與由幀內部預測部34生成的幀內部預測圖像或者由運動補償部35生成的幀間預測圖像進行相加，計算與從圖1的加法部9輸出的局部解碼圖像相同的解碼圖像。
幀內部預測用存儲器37是儲存由加法部36計算出的解碼圖像的記錄介質。
環路濾波器部38實施如下處理：對由加法部36計算出的解碼圖像實施規定的濾波處理，輸出濾波處理後的解碼圖像。
運動補償預測幀存儲器39是儲存濾波處理後的解碼圖像的記錄介質。
在圖3的例子中，設想作為運動圖像解碼裝置的構成要素的可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內部預測部34、運動補償部35、加法部36、幀內部預測用存儲器37、環路濾波器部38以及運動補償預測幀存儲器39的各個由專用的硬體(例如，安裝了CPU的半導體集成電路、單片式微型計算機等)構成的例子，但在運動圖像解碼裝置由計算機構成的情況下，也可以將記述了可變長解碼部31、逆量化/逆變換部32、切換開關33、幀內部預測部34、運動補償部35、加法部36以及環路濾波器部38的處理內容的程序儲存到計算機的存儲器中，並由該計算機的CPU執行該存儲器中儲存的程序。
圖4是示出本發明的實施方式1的運動圖像解碼裝置的處理內容(運動圖像解碼方法)的流程圖。
接下來，說明動作。
在該實施方式1中，說明運動圖像編碼裝置和運動圖像解碼裝置，其中，所述運動圖像編碼裝置將影像的各幀圖像作為輸入圖像，實施基於已編碼的附近像素的幀內部預測或者鄰近幀間的運動補償預測，針對所得到的預測差分信號實施基於正交變換/量化的壓縮處理，之後進行可變長編碼來生成比特流，所述運動圖像解碼裝置對從該運動圖像編碼裝置輸出的比特流進行解碼。
圖1的運動圖像編碼裝置的特徵在於，適應於影像信號的空間/時間方向的局部性的變化，將影像信號分割為各種尺寸的塊，來進行幀內/幀間自適應編碼。
一般，影像信號具有信號的複雜度在空間/時間上局部地變化的特性。在空間上觀察時，有時在某個影像幀上，例如既有在天空、壁等那樣的比較寬的圖像區域中具有均勻的信號特性的圖樣，也混合存在人物或包含細微的紋理的繪畫等在小的圖像區域內具有複雜的紋理圖案的圖樣。
即使在時間上觀察，雖然關於天空、壁，局部性地時間方向的圖樣的變化小，但關於活動的人物、物體，由於其輪廓在時間上進行剛體/非剛體的運動，所以時間上的變化大。
在編碼處理中，進行通過時間/空間上的預測來生成信號功率或熵小的預測差分信號從而削減整體的符號量的處理，但只要能夠將預測中使用的參數均勻地應用於儘可能大的圖像信號區域，就能夠減小該參數的符號量。
另一方面，如果針對時間上/空間上變化大的圖像信號圖案，將同一預測參數應用於大的圖像區域，則預測的錯誤增加，所以預測差分信號的符號量增加。
因此，在時間上/空間上變化大的區域中，優選減小應用同一預測參數來進行預測處理的塊尺寸，增加預測中使用的參數的數據量，降低預測差分信號的功率/熵。
在該實施方式1中，為了進行與這樣的影像信號的一般的性質適應的編碼，採用如下結構：最初從規定的最大塊尺寸開始預測處理等，層次性地分割影像信號的區域，針對所分割的每個區域，使預測處理、其預測差分的編碼處理自適應化。
關於圖1的運動圖像編碼裝置設為處理對象的影像信號格式，除了由亮度信號和2個色差信號構成的YUV信號、從數字攝像元件輸出的RGB信號等任意的顏色空間的彩色影像信號以外，還設為單色圖像信號、紅外線圖像信號等影像幀由水平和垂直二維的數字採樣(像素)列構成的任意的影像信號。
其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
在以下的說明中，為了方便，只要沒有特別說明，就說明設為輸入圖像的影像信號是YUV信號、並且處理2個色差分量U、V相對亮度分量Y被子採樣了的4：2：0格式的信號的情況。
另外，將與影像信號的各幀對應的處理數據單位稱為「圖片」。
在該實施方式1中，將「圖片」設為依次掃描(逐行掃描)了的影像幀信號而進行說明，但在影像信號是隔行掃描信號的情況下，「圖片」也可以是作為構成影像幀的單位的場圖像信號。
最初，說明圖1的運動圖像編碼裝置的處理內容。
首先，編碼控制部2決定成為編碼對象的圖片(當前圖片)的編碼中使用的最大編碼塊的尺寸、和對最大編碼塊進行層次分割的層次數的上限(圖2的步驟ST1)。
作為最大編碼塊的尺寸的決定方法，例如既可以根據輸入圖像的影像信號的解析度而對所有圖片決定同一尺寸，也可以將輸入圖像的影像信號的局部性的運動的複雜度的差異作為參數而進行定量化，對於運動劇烈的圖片決定小的尺寸，另一方面對於運動少的圖片決定大的尺寸。
作為分割層次數的上限的決定方法，例如有根據輸入圖像的影像信號的解析度針對所有圖片決定同一層次數的方法、或在輸入圖像的影像信號的運動劇烈的情況下設定為增大層次數而能夠檢測更細微的運動且在運動少的情況下設定為抑制層次數的方法等。
另外，編碼控制部2從可利用的1個以上的編碼模式中選擇與層次性地分割的各個編碼塊對應的編碼模式(步驟ST2)。
即，編碼控制部2針對最大編碼塊尺寸的每個圖像區域，直至達到預先決定的分割層次數的上限為止，層次性地分割為具有編碼塊尺寸的編碼塊，決定針對各個編碼塊的編碼模式。
在編碼模式中有一個或多個幀內部編碼模式(總稱為「INTRA」)、和一個或多個幀間編碼模式(總稱為「INTER」)，編碼控制部2從在該圖片中可利用的所有編碼模式或者其子集中，選擇與各個編碼塊對應的編碼模式。
其中，由後述塊分割部1層次性地分割的各個編碼塊被進一步分割為作為進行預測處理的單位的一個或多個預測塊，預測塊的分割狀態也作為信息而被包含於編碼模式中。
編碼控制部2的編碼模式的選擇方法是公知的技術，所以省略詳細的說明，例如有如下方法等：使用可利用的任意的編碼模式來實施針對編碼塊的編碼處理而驗證編碼效率，在可利用的多個編碼模式中選擇編碼效率最佳的編碼模式。
另外，編碼控制部2針對各個編碼塊的每一個，決定在壓縮差分圖像時使用的量化參數以及變換塊尺寸，並且決定在實施預測處理時使用的預測參數(幀內部預測參數或者幀間預測參數)。
其中，在編碼塊進一步被分割為進行預測處理的預測塊單位的情況下，能夠針對每個預測塊選擇預測參數(幀內部預測參數或者幀間預測參數)。
進而，在編碼模式是幀內部編碼模式的編碼塊中，由於在如後所述那樣進行幀內部預測處理時使用與預測塊鄰接的已編碼的像素，所以需要按照預測塊單位進行編碼，所以可選擇的變換塊尺寸被限制為預測塊的尺寸以下。
編碼控制部2將包括量化參數以及變換塊尺寸的預測差分編碼參數輸出到變換/量化部7、逆量化/逆變換部8以及可變長編碼部13。
另外，編碼控制部2將幀內部預測參數根據需要而輸出到幀內部預測部4。
另外，編碼控制部2將幀間預測參數根據需要而輸出到運動補償預測部5。
如果輸入了輸入圖像的影像信號，則塊分割部1將該輸入圖像的影像信號分割為由編碼控制部2決定的最大編碼塊尺寸，進而將分割了的最大編碼塊層次性地分割為由編碼控制部2決定的編碼塊，並輸出該編碼塊。
此處，圖5是示出最大編碼塊被層次性地分割為多個編碼塊的例子的說明圖。
在圖5中，最大編碼塊是被記載為「第0層次」的亮度分量具有(L0，M0)的尺寸的編碼塊。
將最大編碼塊設為出發點，直至利用四叉樹構造另行決定的規定的深度為止，層次性地進行分割，從而得到編碼塊。
在深度n中，編碼塊是尺寸(Ln，Mn)的圖像區域。
其中，Ln和Mn既可以相同，也可以不同，但在圖5中示出了Ln＝Mn的情形。
以後，將由編碼控制部2決定的編碼塊尺寸定義為編碼塊的亮度分量中的尺寸(Ln，Mn)。
由於進行四叉樹分割，所以(Ln+1，Mn+1)＝(Ln/2，Mn/2)始終成立。
另外，在RGB信號等所有顏色分量具有同一採樣數的彩色影像信號(4：4：4格式)中，所有顏色分量的尺寸成為(Ln，Mn)，但在處理4：2：0格式的情況下，所對應的色差分量的編碼塊尺寸成為(Ln/2，Mn/2)。
以後，設為用Bn來表示第n層次的編碼塊，用m(Bn)來表示在編碼塊Bn中可選擇的編碼模式。
在由多個顏色分量構成的彩色影像信號的情況下，編碼模式m(Bn)既可以構成為針對每個顏色分量分別使用單獨的模式，也可以構成為針對所有顏色分量使用共同的模式。以後，只要沒有特別說明，就指與YUV信號、4：2：0格式的編碼塊的亮度分量對應的編碼模式而進行說明。
編碼塊Bn如圖6所示，通過塊分割部1而被分割為表示預測處理單位的一個或多個預測塊。
以後，將屬於編碼塊Bn的預測塊記載為Pin(i是第n層次中的預測塊編號)。圖5示出P00和P10的一個例子。
在編碼模式m(Bn)中作為信息而包含有如何進行編碼塊Bn的預測塊分割。
關於預測塊Pin，全部依照編碼模式m(Bn)進行預測處理，但能夠針對每個預測塊Pin，選擇單獨的預測參數(幀內部預測參數或者幀間預測參數)。
編碼控制部2針對最大編碼塊，例如生成圖6所示那樣的塊分割狀態來確定編碼塊。
圖6(a)的虛線所包圍的矩形表示各編碼塊，各編碼塊內存在的用斜線塗覆的塊表示各預測塊的分割狀態。
圖6(b)是關於圖6(a)的例子利用四叉樹圖形表示了通過層次分割來分配編碼模式m(Bn)的狀況的圖。圖6(b)的□所包圍的節點是分配了編碼模式m(Bn)的節點(編碼塊)。
該四叉樹圖形的信息與編碼模式m(Bn)一起從編碼控制部2輸出到可變長編碼部13而被復用到比特流。
切換開關3在由編碼控制部2決定的編碼模式m(Bn)是幀內部編碼模式的情況(m(Bn)∈INTRA的情況)下，將從塊分割部1輸出的編碼塊Bn輸出到幀內部預測部4。
另一方面，在由編碼控制部2決定的編碼模式m(Bn)是幀間編碼模式的情況(m(Bn)∈INTER的情況)下，將從塊分割部1輸出的編碼塊Bn輸出到運動補償預測部5。
在幀內部預測部4中，如果由編碼控制部2決定的編碼模式m(Bn)是幀內部編碼模式(m(Bn)∈INTRA的情況)，且從切換開關3接收到編碼塊Bn(步驟ST3)，則一邊參照幀內部預測用存儲器10中儲存的局部解碼圖像，一邊使用由編碼控制部2決定的幀內部預測參數，來實施針對該編碼塊Bn內的各預測塊Pin的幀內部預測處理而生成幀內部預測圖像PINTRAin(步驟ST4)。
另外，運動圖像解碼裝置需要生成與幀內部預測圖像PINTRAin完全相同的幀內部預測圖像，所以幀內部預測圖像PINTRAin的生成中使用的幀內部預測參數從編碼控制部2輸出到可變長編碼部13而被復用到比特流。
在後面詳細敘述幀內部預測部4的處理內容。
在運動補償預測部5中，如果由編碼控制部2決定的編碼模式m(Bn)是幀間編碼模式(m(Bn)∈INTER的情況)，且從切換開關3接收到編碼塊Bn(步驟ST3)，則比較該編碼塊Bn內的各預測塊Pin和運動補償預測幀存儲器12中儲存的濾波處理後的局部解碼圖像來搜索運動矢量，使用該運動矢量和由編碼控制部2決定的幀間預測參數，實施針對該編碼塊Bn內的各預測塊Pin的幀間預測處理，生成幀間預測圖像PINTERin(步驟ST5)。
另外，運動圖像解碼裝置需要生成與幀間預測圖像PINTERin完全相同的幀間預測圖像，所以幀間預測圖像PINTERin的生成中使用的幀間預測參數從編碼控制部2輸出到可變長編碼部13而被復用到比特流。
另外，由運動補償預測部5搜索到的運動矢量也輸出到可變長編碼部13而被復用到比特流。
減法部6如果從塊分割部1接收到編碼塊Bn，則從該編碼塊Bn內的預測塊Pin減去由幀內部預測部4生成的幀內部預測圖像PINTRAin或者由運動補償預測部5生成的幀間預測圖像PINTERin中的某一方，將作為其相減結果的預測差分信號ein輸出到變換/量化部7(步驟ST6)。
變換/量化部7如果從減法部6接收到預測差分信號ein，則參照由編碼控制部2決定的預測差分編碼參數，實施針對該預測差分信號ein的正交變換處理(例如，DCT(離散餘弦變換)、對預先確定的學習序列進行了基底設計的KL變換等正交變換處理)，計算變換係數。
另外，變換/量化部7參照該預測差分編碼參數，對該變換係數進行量化，將作為量化後的變換係數的壓縮數據輸出到逆量化/逆變換部8以及可變長編碼部13(步驟ST7)。
逆量化/逆變換部8如果從變換/量化部7接收到壓縮數據，則參照由編碼控制部2決定的預測差分編碼參數，對該壓縮數據進行逆量化。
另外，逆量化/逆變換部8參照該預測差分編碼參數，實施針對作為逆量化後的壓縮數據的變換係數的逆正交變換處理(例如，逆DCT、逆KL變換等)，計算與從減法部6輸出的預測差分信號ein相當的局部解碼預測差分信號並輸出到加法部9(步驟ST8)。
加法部9如果從逆量化/逆變換部8接收到局部解碼預測差分信號，則將該局部解碼預測差分信號、與由幀內部預測部4生成的幀內部預測圖像PINTRAin和由運動補償預測部5生成的幀間預測圖像PINTERin中的某一方進行相加，從而計算局部解碼圖像(步驟ST9)。
另外，加法部9將該局部解碼圖像輸出到環路濾波器部11，並且將該局部解碼圖像儲存到幀內部預測用存儲器10中。
該局部解碼圖像成為在以後的幀內部預測處理時使用的已編碼的圖像信號。
環路濾波器部11如果從加法部9接收到局部解碼圖像，則對該局部解碼圖像實施規定的濾波處理，將濾波處理後的局部解碼圖像儲存到運動補償預測幀存儲器12中(步驟ST10)。
另外，關於由環路濾波器部11執行的濾波處理，既可以以所輸入的局部解碼圖像的最大編碼塊或者各個編碼塊為單位進行，也可以在輸入了1個圖片量的局部解碼圖像之後集中1個圖片量來進行。
另外，作為規定的濾波處理的例子，可以舉出以使編碼塊邊界的不連續性(塊噪聲)不會變得顯著的方式對塊邊界進行濾波的處理、以使作為輸入圖像的圖1的影像信號與局部解碼圖像之間的誤差成為最小的方式對局部解碼圖像的失真進行補償的濾波處理等。
但是，在進行以使作為輸入圖像的圖1的影像信號與局部解碼圖像之間的誤差成為最小的方式對局部解碼圖像的失真進行補償的濾波處理的情況下，需要在環路濾波器部11中參照影像信號，所以需要變更圖1的運動圖像編碼裝置使得對環路濾波器部11輸入影像信號。
直至針對層次性地分割了的所有編碼塊Bn的處理完成為止重複實施步驟ST3～ST9的處理，如果針對所有編碼塊Bn的處理完成，則轉移到步驟ST13的處理(步驟ST11、ST12)。
可變長編碼部13對從變換/量化部7輸出的壓縮數據、從編碼控制部2輸出的最大編碼塊內的塊分割信息(以圖6(b)為例子的四叉樹信息)、編碼模式m(Bn)以及預測差分編碼參數、從編碼控制部2輸出的幀內部預測參數(編碼模式是幀內部編碼模式的情況)或者幀間預測參數(編碼模式是幀間編碼模式的情況)、以及從運動補償預測部5輸出的運動矢量(編碼模式是幀間編碼模式的情況)進行可變長編碼，生成表示這些編碼結果的比特流(步驟ST13)。
接下來，詳細說明幀內部預測部4的處理內容。
圖7是示出編碼塊Bn內的各預測塊Pin可選擇的幀內部預測參數(幀內部預測模式)的一個例子的說明圖。
在圖7中，示出幀內部預測模式和該幀內部預測模式所表示的預測方向矢量，在圖7的例子中，進行設計使得隨著可選擇的幀內部預測模式的個數增加而使預測方向矢量彼此的相對角度變小。
幀內部預測部4如上述那樣參照預測塊Pin的幀內部預測參數，實施針對該預測塊Pin的幀內部預測處理，生成幀內部預測圖像PINTRAin，但此處說明生成亮度信號中的預測塊Pin的幀內部預測信號的幀內部處理。
將預測塊Pin的尺寸設為lin×min像素。
圖8是示出生成lin＝min＝4的情況的預測塊Pin內的像素的預測值時使用的像素的一個例子的說明圖。
在圖8中，將預測塊Pin的上面的已編碼的像素(2×lin+1)個、和左面的已編碼的像素(2×min)個設為預測中使用的像素，但預測中使用的像素既可以多於圖8所示的像素也可以少於圖8所示的像素。
另外，在圖8中，將預測塊Pin的附近的1行或者1列量的像素用於預測，但也可以將2行或2列、或者其以上的像素用於預測。
在針對預測塊Pin的幀內部預測模式的索引值是0(垂直方向預測)的情況下，根據下述式(1)而計算預測塊Pin內的像素的預測值，生成預測圖像。
S′(x，y)＝S(x，-1)+(S(-1，y)-S(-1，-1))/t (1)
其中，坐標(x，y)是以預測塊Pin內的左上像素為原點的相對坐標(參照圖9)，S』(x，y)是坐標(x，y)中的預測值，S(x，y)是坐標(x，y)中的已編碼的像素的亮度值(解碼了的亮度值)。
這樣，對作為以往(MPEG-4 AVC/H.264)的垂直方向預測的預測值的預測塊Pin的上面所鄰接的已編碼的像素的亮度值S(x，-1)，相加與預測塊Pin的左面所鄰接的已編碼的像素(圖10的粗框所包圍的像素)的表示垂直方向的亮度值的變化量的S(-1，y)-S(-1，-1)成比例的值(將表示垂直方向的亮度值的變化量的S(-1，y)-S(-1，-1)縮放為1/t而得到的值)，將該相加後的值決定為預測圖像的預測值，從而能夠實現追隨向預測方向的亮度值的變化的垂直方向預測。
但是，在上述預測值未收斂於亮度值可取的值的範圍內的情況下，對值進行捨入使得收斂於該範圍內。
另外，上述1/t也可以設為固定值，但還可以設為根據坐標(x，y)而變化的變量。
例如，如果設為t＝2x+1，則如圖11所示，縮放值從左端的列起依次如1/2、1/4、1/8、1/16那樣變小，所以從預測塊Pin的左面所鄰接的已編碼的像素起的距離越遠，相加的垂直方向的亮度值的變化量越小。
由此，越是與預測塊Pin的左面所鄰接的已編碼的像素之間的距離遠而相關變低的預測對象像素，越能夠使預測塊Pin的左面所鄰接的已編碼的像素的影響變小，所以能夠進行和與預測塊Pin的左面所鄰接的已編碼的像素之間的相關對應的高精度的預測。
進而，也可以限定進行式(1)的預測處理的預測塊Pin的塊尺寸。一般在大的塊尺寸中，在塊內易於包含各種信號變化，能夠使用方向性預測而高精度地進行預測的情形少，所以例如在16×16像素以上的塊尺寸的預測塊Pin中不應用式(1)而設為以往的垂直方向預測的預測值(預測塊Pin的上面所鄰接的已編碼的像素的亮度值S(x，-1))，僅在比16×16像素小的塊中應用式(1)，從而相比於以往的垂直方向預測，能夠提高預測性能，並且抑制運算量的增加。
另外，在針對預測塊Pin的幀內部預測模式的索引值是1(水平方向預測)的情況下，根據下述式(2)而計算預測塊Pin內的像素的預測值，生成預測圖像。
S′(x，y)＝S(-1，y)+(S(x，-1)-S(-1，-1))/u (2)
其中，坐標(x，y)是以預測塊Pin內的左上像素為原點的相對坐標(參照圖9)，S』(x，y)是坐標(x，y)中的預測值，S(x，y)是坐標(x，y)中的已編碼的像素的亮度值(解碼了的亮度值)。
這樣，對作為以往(MPEG-4 AVC/H.264)的水平方向預測的預測值的預測塊Pin的左面所鄰接的已編碼的像素的亮度值S(-1，y)，相加與預測塊Pin的上面所鄰接的已編碼的像素(圖12的粗框所包圍的像素)的表示水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)成比例的值(將表示水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)縮放為1/u而得到的值)，並將該相加後的值決定為預測圖像的預測值，從而能夠實現追隨向預測方向的亮度值的變化的水平方向預測。
但是，在上述預測值未收斂於亮度值可取的值的範圍內的情況下，對值進行捨入使得收斂於該範圍內。
另外，上述1/u也可以設為固定值，但還可以設為隨著坐標(x，y)而變化的變量。
例如，如果設為u＝2y+1，則如圖13所示，縮放值從上端的行起依次如1/2、1/4、1/8、1/16那樣變小，所以從預測塊Pin的上面所鄰接的已編碼的像素起的距離越遠，相加的水平方向的亮度值的變化量越小。
由此，越是與預測塊Pin的上面所鄰接的已編碼的像素之間的距離遠而相關變低的像素，越能夠使預測塊Pin的上面所鄰接的已編碼的像素的影響變小，所以能夠進行和與預測塊Pin的上面所鄰接的已編碼的像素之間的相關對應的高精度的預測。
進而，也可以限定進行式(2)的預測處理的預測塊Pin的塊尺寸。一般在大的塊尺寸中，在塊內易於包含各種信號變化，能夠使用方向性預測而高精度地進行預測的情形少，所以例如在16×16像素以上的塊尺寸的預測塊Pin中不應用式(2)而設為以往的水平方向預測的預測值(預測塊Pin的左面所鄰接的已編碼的像素的亮度值S(-1，y))，僅在比16×16像素小的塊中應用式(2)，從而相比於以往的水平方向預測，能夠提高預測性能，並且抑制運算量的增加。
另外，在針對預測塊Pin的幀內部預測模式的索引值是2(平均值預測)的情況下，將預測塊Pin的上面所鄰接的已編碼的像素和預測塊Pin的左面所鄰接的已編碼的像素的平均值作為預測塊Pin內的像素的預測值而生成預測圖像。
在幀內部預測模式的索引值是0(垂直方向預測)、1(水平方向預測)、2(平均值預測)以外的情況下，根據索引值表示的預測方向矢量υp＝(dx，dy)，生成預測塊Pin內的像素的預測值。
如圖9所示，如果以預測塊Pin的左上像素為原點而將預測塊Pin內的相對坐標設定為(x，y)，則預測中使用的參照像素的位置成為下述L和鄰接像素的交點。
其中，k是負的標量值。
在參照像素處於整數像素位置的情況下，將該整數像素設為預測對象像素的預測值，在參照像素不處於整數像素位置的情況下，將根據與參照像素鄰接的整數像素而生成的插值像素設為預測值。
在圖8的例子中，參照像素不處於整數像素位置，所以將根據與參照像素鄰接的2個像素進行內插而得到的結果作為預測值。另外，並非僅根據鄰接的2個像素，而也可以根據鄰接的2個像素以上的像素來生成插值像素作為預測值。
通過增加插值處理中使用的像素，具有提高插值像素的插值精度的效果，另一方面，由於插值處理所需的運算的複雜度增加，所以在即使運算負荷大但仍要求高編碼性能的運動圖像編碼裝置的情況下，優選根據更多的像素來生成插值像素。
通過同樣的步驟，生成與預測塊Pin內的亮度信號的所有像素對應的預測像素而輸出幀內部預測圖像PINTRAin。
另外，關於幀內部預測圖像PINTRAin的生成中使用的幀內部預測參數，為了復用到比特流而被輸出到可變長編碼部13。
另外，與之前說明的MPEG-4 AVC/H.264中的8×8像素的塊的幀內部預測同樣地，關於在進行幀內部預測時使用的像素，也可以並非使用已編碼的鄰接塊內的像素自身，而是使用對這些像素實施濾波處理而得到的結果。
針對預測塊Pin的色差信號，也通過與亮度信號同樣的步驟，實施基於幀內部預測參數(幀內部預測模式)的幀內部預測處理，將幀內部預測圖像的生成中使用的幀內部預測參數輸出到可變長編碼部13。
其中，在色差信號中可選擇的幀內部預測參數(幀內部預測模式)無需與亮度信號相同，另外，關於垂直方向預測以及水平方向預測，也可以是以往(MPEG-4 AVC/H.264)的預測方法。
例如，在YUV信號4：2：0格式的情況下，色差信號(U、V信號)是相對亮度信號(Y信號)將解析度在水平方向、垂直方向上都縮小為1/2而得到的信號，相比於亮度信號，圖像信號的複雜性低且預測容易，所以可選擇的幀內部預測參數(幀內部預測模式)的數量比亮度信號少，關於垂直方向預測以及水平方向預測也設為以往的簡易的預測方法，從而幾乎不會降低預測效率而能夠實現對幀內部預測參數(幀內部預測模式)進行編碼所需的符號量的削減、預測處理的低運算化。
另外，關於作為垂直方向預測中使用的縮放值的1/t、和作為水平方向預測中使用的縮放值的1/u，也可以預先在運動圖像編碼裝置以及運動圖像解碼裝置之間約定，但也可以由運動圖像編碼裝置的幀內部預測部4按照序列單位或者圖片單位，將t、u輸出到可變長編碼部13，可變長編碼部13對t、u進行可變長編碼而包含到比特流中，運動圖像解碼裝置從比特流對t、u進行可變長解碼來使用。
這樣能夠按照序列單位或者圖片單位對t、u進行自適應控制，從而能夠實現進一步與輸入圖像的影像信號的特性對應的預測處理。
另外，關於使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸，也可以預先在運動圖像編碼裝置以及運動圖像解碼裝置之間約定，但也可以由運動圖像編碼裝置的幀內部預測部4按照序列單位或者圖片單位，將表示使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸的每個塊尺寸的ON(開)/OFF(關)標誌輸出到可變長編碼部13，可變長編碼部13對上述ON/OFF標誌進行可變長編碼而包含到比特流中，運動圖像解碼裝置從比特流對上述ON/OFF標誌進行可變長解碼而使用。
這樣能夠按照序列單位或者圖片單位對使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸進行自適應控制，從而能夠實現進一步與輸入圖像的影像信號的特性對應的預測處理。
接下來，具體說明圖3的運動圖像解碼裝置的處理內容。
可變長解碼部31如果輸入了由圖1的運動圖像編碼裝置生成的比特流，則實施針對該比特流的可變長解碼處理(圖4的步驟ST21)，按照由1幀以上的圖片構成的序列單位、或者圖片單位，對幀尺寸的信息進行解碼。
此時，在垂直方向預測中使用的縮放值的參數t、水平方向預測中使用的縮放值的參數u、表示使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸的每個塊尺寸的ON/OFF標誌中，只要任意一個被可變長編碼並被復用到比特流的情況下，就按照由圖1的運動圖像編碼裝置編碼了的單位(序列單位或者圖片單位)進行解碼。
可變長解碼部31通過與運動圖像編碼裝置同樣的步驟，決定由圖1的運動圖像編碼裝置的編碼控制部2決定的最大編碼塊尺寸以及分割層次數的上限(步驟ST22)。
例如，在根據影像信號的解析度決定了最大編碼塊尺寸、分割層次數上限的情況下，根據所解碼的幀尺寸信息，通過與運動圖像編碼裝置同樣的步驟來決定最大編碼塊尺寸。
最大編碼塊尺寸以及分割層次數上限在運動圖像編碼裝置側被復用到比特流中的情況下，使用從比特流解碼得到的值。
以後，在運動圖像解碼裝置中，將上述最大編碼塊尺寸稱為最大解碼塊尺寸，將最大編碼塊稱為最大解碼塊。
可變長解碼部31按照所決定的最大解碼塊單位，對圖6所示那樣的最大解碼塊的分割狀態進行解碼。根據所解碼的分割狀態，層次性地確定解碼塊(與圖1的運動圖像編碼裝置的「編碼塊」相當的塊)(步驟ST23)。
接下來，可變長解碼部31解碼對解碼塊分配的編碼模式。根據所解碼的編碼模式中包含的信息，將解碼塊進一步分割為一個或多個預測處理單位即預測塊，解碼對預測塊單位分配的預測參數(步驟ST24)。
在對解碼塊分配的編碼模式是幀內部編碼模式的情況下，可變長解碼部31針對包含在解碼塊中且成為預測處理單位的一個以上的預測塊的每一個，對幀內部預測參數進行解碼。
進而，可變長解碼部31根據預測差分編碼參數中包含的變換塊尺寸的信息，將解碼塊分割為成為變換處理單位的一個或多個變換塊，針對每個變換塊，對壓縮數據(變換/量化後的變換係數)進行解碼(步驟ST24)。
在切換開關33中，如果由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀內部編碼模式(m(Bn)∈INTRA的情況)，則將由可變長解碼部31可變長解碼了的預測塊單位的幀內部預測參數輸出到幀內部預測部34。
另一方面，如果由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀間編碼模式(m(Bn)∈INTER的情況)，則將由可變長解碼部31可變長解碼了的預測塊單位的幀間預測參數以及運動矢量輸出到運動補償部35。
幀內部預測部34在由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀內部編碼模式(m(Bn)∈INTRA)的情況下(步驟ST25)，接收從切換開關33輸出的預測塊單位的幀內部預測參數，通過與圖1的幀內部預測部4同樣的步驟，一邊參照幀內部預測用存儲器37中儲存的解碼圖像，一邊實施使用了上述幀內部預測參數的針對解碼塊Bn內的各預測塊Pin的幀內部預測處理，生成幀內部預測圖像PINTRAin(步驟ST26)。
即，幀內部預測部34在針對預測塊Pin的幀內部預測模式的索引值是0(垂直方向預測)的情況下，根據上述式(1)計算預測塊Pin內的像素的預測值，生成幀內部預測圖像PINTRAin。
另外，在針對預測塊Pin的幀內部預測模式的索引值是1(水平方向預測)的情況下，根據上述式(2)計算預測塊Pin內的像素的預測值，生成幀內部預測圖像PINTRAin。
但是，在使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸被限制了的情況下，在使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸以外的尺寸的預測塊Pin中通過以往(MPEG-4 AVC/H.264)的垂直方向預測及水平方向預測進行幀內部預測處理。
運動補償部35在由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀間編碼模式(m(Bn)∈INTER)的情況下(步驟ST25)，接收從切換開關33輸出的預測塊單位的運動矢量和幀間預測參數，一邊參照運動補償預測幀存儲器39中儲存的濾波處理後的解碼圖像，一邊實施使用了上述運動矢量和幀間預測參數的針對解碼塊內的各預測塊Pin的幀間預測處理來生成幀間預測圖像PINTERin(步驟ST27)。
逆量化/逆變換部32如果從可變長解碼部31接收到壓縮數據以及預測差分編碼參數，則通過與圖1的逆量化/逆變換部8同樣的步驟，參照該預測差分編碼參數，對該壓縮數據進行逆量化，並且參照該預測差分編碼參數，實施針對作為逆量化後的壓縮數據的變換係數的逆正交變換處理，計算與從圖1的逆量化/逆變換部8輸出的局部解碼預測差分信號相同的解碼預測差分信號(步驟ST28)。
加法部36將由逆量化/逆變換部32計算出的解碼預測差分信號、與由幀內部預測部34生成的幀內部預測圖像PINTRAin和由運動補償部35生成的幀間預測圖像PINTERin中的某一方進行相加而計算出解碼圖像，並輸出到環路濾波器部38，並且將該解碼圖像儲存到幀內部預測用存儲器37中(步驟ST29)。
該解碼圖像成為在以後的幀內部預測處理時使用的已解碼的圖像信號。
在環路濾波器部38中，如果針對所有解碼塊Bn的步驟ST23～ST29的處理完成(步驟ST30)，則對從加法部36輸出的解碼圖像實施規定的濾波處理，將濾波處理後的解碼圖像儲存到運動補償預測幀存儲器39中(步驟ST31)。
另外，關於環路濾波器部38的濾波處理，即可以以所輸入的解碼圖像的最大解碼塊或者各個解碼塊為單位來進行，也可以在輸入了1個圖片量的解碼圖像之後集中1個圖片量來進行。
另外，作為規定的濾波處理的例子，可以舉出以使編碼塊邊界的不連續性(塊噪聲)不會變得顯著的方式對塊邊界進行濾波的處理、對解碼圖像的失真進行補償的濾波處理等。
該解碼圖像成為運動補償預測用的參照圖像，並且成為再生圖像。
根據以上可知，根據該實施方式1，運動圖像編碼裝置的幀內部預測部4構成為在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，對預測塊的左面所鄰接的像素的亮度值相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，所以起到即使在信號值沿著預測方向而變化的情況下也能夠實現高精度的預測來提高圖像質量的效果。
另外，根據該實施方式1，運動圖像解碼裝置的幀內部預測部34構成為在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，對預測塊的左面所鄰接的像素的亮度值相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，所以起到即使在信號值沿著預測方向而變化的情況下也能夠實現高精度的預測來提高圖像質量的效果。
根據該實施方式1，關於由幀內部預測部4、34實施水平方向預測處理時所使用的縮放值即1/u，構成為越是與從預測塊的上面所鄰接的像素起距離遠的行有關的縮放值，設定為越小的值，所以越是與預測塊的上面所鄰接的像素之間的距離遠而相關變低的像素，越能夠使預測塊的上面所鄰接的像素的影響變小，其結果，起到能夠高精度地進行預測的效果。
另外，關於由幀內部預測部4、34實施垂直方向預測處理時所使用的縮放值即1/t，構成為越是與從預測塊的左面所鄰接的像素起距離遠的列有關的縮放值，設定為越小的值，所以越是與預測塊的左面所鄰接的像素之間的距離遠而相關變低的像素，越能夠使預測塊的左面所鄰接的像素的影響變小，其結果，起到能夠高精度地進行預測的效果。
另外，在該實施方式1中，示出了由幀內部預測部4、34實施水平方向預測處理時的預測塊內的第N行(從預測塊的上端起第N行)的縮放值是1/2N+1(＝1/2，1/4，1/8，1/16，···)、由幀內部預測部4、34實施垂直方向預測處理時的預測塊內的第M列(從預測塊的左端起第M列)的縮放值是1/2M+1(＝1/2，1/4，1/8，1/16，···)的例子，但這只是一個例子，只要由幀內部預測部4、34實施水平方向預測處理時越是從預測塊的上端遠離的行的縮放值越小、並且由幀內部預測部4、34實施垂直方向預測處理時越是從預測塊的左端遠離的列的縮放值越小，就可以是任意值。
實施方式2.
在上述實施方式1中，幀內部預測部4、34在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值，相加對該預測塊的左面所鄰接的像素的垂直方向的亮度值變化量乘以針對預測塊內的每列設定的縮放值而得到的值，將該相加後的值決定為預測圖像的預測值，但為了實現低運算的處理，也可以關於從預測塊內的左端起的規定的幾列，對該預測塊的上面所鄰接的像素的亮度值，相加與該預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，但關於該預測塊內的剩餘的列，將該預測塊的上面所鄰接的像素的亮度值決定為預測圖像的預測值。
另外，根據同樣的理由，在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，也可以關於從預測塊內的上端起的規定的幾行，對該預測塊的左面所鄰接的像素的亮度值，相加對該預測塊的上面所鄰接的像素的水平方向的亮度值變化量乘以針對預測塊內的每行設定的縮放值而得到的值，將該相加後的值決定為預測圖像的預測值，但關於該預測塊內的剩餘的行，將該預測塊的左面所鄰接的像素的亮度值決定為預測圖像的預測值。
以下，具體說明幀內部預測部4、34的處理內容。
幀內部預測部4、34在針對預測塊Pin的幀內部預測模式的索引值是0(垂直方向預測)的情況下，根據下述式(4)計算預測塊Pin內的像素的預測值來生成預測圖像。
其中，B是0以上的整數，在應用式(4)的上式的x<B時，在所計算出的預測值超過亮度值可取的值的範圍的情況下，以使預測值收斂於該範圍內的方式對值進行捨入。
使B的值越小，能夠實現越低運算的處理，在B＝0的情況下，與僅使用預測塊Pin的上面所鄰接的已編碼(已解碼)像素的亮度值S(x，-1)的以往(MPEG-4 AVC/H.264)的垂直方向預測一致。
B的值也可以根據預測塊Pin的塊尺寸而變更。一般，如果所預測的塊尺寸變大，則在塊內易於包含各種信號變化，難以在單一的方向上進行預測，所以能夠利用方向性預測高精度地進行預測的情形減少。
因此，僅在預測塊Pin的塊尺寸小於規定尺寸的情況下設定為B≥1，如果預測塊Pin的塊尺寸是規定尺寸以上，則設為B＝0。
例如，如果規定尺寸是16×16像素，則在16×16像素以上的塊尺寸的預測塊Pin中成為B＝0，所以與以往的垂直方向預測相同，能夠抑制運算處理的增加。即，在B＝0的塊尺寸中，屬於x<B或x≥B中的哪一個的條件判定處理變得不需要，所以始終不進行上述條件判定處理而進行以往的垂直方向預測，從而不會發生任何由以往的垂直方向預測處理所致的運算處理的增加。
另一方面，在4×4像素、8×8像素等比16×16像素小的塊尺寸的預測塊Pin中，成為B≥1，所以相比於以往的垂直方向預測，能夠提高預測性能。
例如，在4×4像素的塊尺寸的預測塊Pin中，在是B＝1的情況下，針對預測塊Pin內的最左邊的列，應用式(4)的上式，相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值。
另一方面，針對預測塊Pin內的從左端起的第2～第4列，應用式(4)的下式，不相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值。
通過這樣將B的值設定為小的值，能夠大幅抑制運算量的增加。
另外，作為實際的裝置，也可以如上述式(4)所示，在x<B的位置的像素和x≥B的位置的像素中，區分地構成預測值的計算式，還可以構成為針對預測塊Pin內的所有像素，在拷貝了作為以往的垂直方向預測的預測值的預測塊Pin的上面所鄰接的已編碼(已解碼)像素的亮度值S(x，-1)之後，僅對x<B的位置的像素相加將S(-1，y)-S(-1，-1)縮放為1/t而得到的值等，只要能夠計算與上述式等價的預測值，則可以任意地構成。
另外，幀內部預測部4、34在針對預測塊Pin的幀內部預測模式的索引值是1(水平方向預測)的情況下，根據下述式(5)計算預測塊Pin內的像素的預測值來生成預測圖像。
其中，C是0以上的整數，在應用式(5)的上式的x<C時，在所計算出的預測值超過亮度值可取的值的範圍的情況下，以使預測值收斂於該範圍內的方式對值進行捨入。
使C的值越小，能夠實現越低運算的處理，在C＝0的情況下，與僅使用預測塊Pin的左面所鄰接的已編碼(已解碼)像素的亮度值S(-1，y)的以往(MPEG-4 AVC/H.264)的水平方向預測一致。
C的值也可以根據預測塊Pin的塊尺寸而變更。一般，如果所預測的塊尺寸變大，則在塊內易於包含各種信號變化，難以在單一的方向上進行預測，所以能夠通過方向性預測來高精度地進行預測的情形減少。
因此，僅在預測塊Pin的塊尺寸比規定尺寸小的情況下設定為C≥1，如果預測塊Pin的塊尺寸是規定尺寸以上，則設為C＝0。
例如，如果規定尺寸是16×16像素，則在16×16像素以上的塊尺寸的預測塊Pin中，成為C＝0，所以與以往的水平方向預測相同，能夠抑制運算處理的增加。即，在C＝0的塊尺寸中，屬於y<C或y≥C中的哪一個的條件判定處理變得不需要，所以始終不進行上述條件判定處理而進行以往的水平方向預測，從而不會發生任何由以往的水平方向預測處理所致的運算處理的增加。
另一方面，在4×4像素、8×8像素等比16×16像素小的塊尺寸的預測塊Pin中，成為C≥1，所以相比於以往的水平方向預測，能夠提高預測性能，並且大幅抑制運算量的增加。
例如，在4×4像素的塊尺寸的預測塊Pin中，在是C＝1的情況下，針對預測塊Pin內的最上面的行，應用式(5)的上式，相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值。
另一方面，針對預測塊Pin內的從上端起的第2～第4行，應用式(5)的下式，不相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值。
通過這樣將C的值設定為小的值，能夠大幅抑制運算量的增加。
另外，作為實際的裝置，也可以如上述式(5)所示，在y<C的位置的像素和y≥C的位置的像素中，區分地構成預測值的計算式，還可以構成為針對預測塊Pin內的所有像素，在拷貝了作為以往的水平方向預測的預測值的預測塊Pin的左面所鄰接的已編碼(已解碼)像素的亮度值S(-1，y)之後，僅對y>a」表示向右算術移位a比特的運算。
通過使用移位運算來代替式(1)的除法，從而在計算機上安裝的情況下能夠實現高速的運算。
但是，S(-1，y)-S(-1，-1)還可以取負值，所以有時根據安裝環境(編譯器)等，「>>」並非被處理為算術移位而被處理為邏輯移位，計算結果與式(1)不同。
因此，作為不依賴於安裝環境的t＝2x+1的情況的式(1)的近似式，可以舉出下述式(1b)。
S′(x，y)＝S(x，-1)+S(-1，y)＞＞(x+1)-S(-1，-1)＞＞(x+1) (1b)
在式(1b)中，使亮度值S(-1，y)、S(-1，-1)分別先向右移位(x+1)比特之後進行減法運算，所以如果用正值來定義亮度值，則算術移位、邏輯移位都得到同一計算結果。
另外，進行式(1)的預測處理的預測塊Pin的塊尺寸也可以限定為特定的尺寸。一般，在大的塊尺寸中，在塊內易於包含各種信號變化，能夠使用方向性預測而高精度地預測的情形少，所以例如在16×16像素以上的塊尺寸的預測塊Pin中，不應用式(1)，而作為以往的垂直方向預測的預測值(預測塊Pin的上面所鄰接的已編碼的像素的亮度值S(x，-1))，僅在比16×16像素小的塊中應用式(1)，從而相比於以往的垂直方向預測，能夠提高預測性能並且抑制運算量的增加。
另外，在針對預測塊Pin的幀內部預測模式的索引值是2(水平方向預測)的情況下，根據下述式(2)計算預測塊Pin內的像素的預測值來生成預測圖像。
S′(x，y)＝S(-1，y)+(S(x，-1)-S(-1，-1))/u (2)
其中，坐標(x，y)是以預測塊Pin內的左上像素為原點的相對坐標(參照圖9)，S』(x，y)是坐標(x，y)中的預測值，S(x，y)是坐標(x，y)中的已編碼的像素的亮度值(解碼了的亮度值)。
這樣，對作為以往(MPEG-4 AVC/H.264)的水平方向預測的預測值的預測塊Pin的左面所鄰接的已編碼的像素的亮度值S(-1，y)，相加與預測塊Pin的上面所鄰接的已編碼的像素(圖12的粗框所包圍的像素)的表示水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)成比例的值(將表示水平方向的亮度值的變化量的S(x，-1)-S(-1，-1)縮放為1/u而得到的值)，將該相加後的值決定為預測圖像的預測值，從而能夠實現追隨向預測方向的亮度值的變化的水平方向預測。
但是，在上述預測值未收斂於亮度值可取的值的範圍內的情況下，也可以對值進行捨入使得收斂於該範圍內。由此，雖然與進行捨入處理相應地運算量稍微增加，但能夠抑制成為亮度值可取的值的範圍外的預測值的發生而減少預測誤差。
另外，上述1/u也可以設為固定值，但還可以設為根據坐標(x，y)而變化的變量。
例如，如果設為u＝2y+1，則如圖13所示，縮放值從上端的行起依次如1/2、1/4、1/8、1/16那樣變小，所以從預測塊Pin的上面所鄰接的已編碼的像素起的距離越遠，相加的水平方向的亮度值的變化量越小。
由此，越是與預測塊Pin的上面所鄰接的已編碼的像素之間的距離遠而相關變低的像素，越能夠使預測塊Pin的上面所鄰接的已編碼的像素的影響變小，所以能夠進行和與預測塊Pin的上面所鄰接的已編碼的像素之間的相關對應的高精度的預測。
另外，在u＝2y+1的情況下，能夠如下所述通過基於比特移位的式來表現式(2)。
S′(x，y)＝S(-1，y)+(S(x，-1)-S(-1，-1))＞＞(y+1) (2a)
在式(2a)中，「>>a」表示向右算術移位a比特的運算。
通過使用移位運算來代替式(2)的除法，從而在計算機上安裝的情況下能夠實現高速的運算。
但是，S(x，-1)-S(-1，-1)也可以取負值，所以有時根據安裝環境(編譯器)等，「>>」並非被處理為算術移位而被處理為邏輯移位，計算結果與式(2)不同。
因此，作為不依賴於安裝環境的u＝2y+1的情況的式(2)的近似式，可以舉出下述式(2b)。
S′(x，y)＝S(-1，y)+S(x，-1)＞＞(y+1)-S(-1，-1)＞＞(y+1) (2b)
在式(2b)中，使亮度值S(x，-1)、S(-1，-1)分別先向右移位(y+1)比特之後進行減法運算，所以如果用正值來定義亮度值，則算術移位、邏輯移位都得到同一計算結果。
另外，進行式(2)的預測處理的預測塊Pin的塊尺寸也可以限定為特定的尺寸。一般，在大的塊尺寸中，在塊內易於包含各種信號變化，能夠使用方向性預測而高精度地預測的情形少，所以例如在16×16像素以上的塊尺寸的預測塊Pin中，不應用式(2)，而設為以往的水平方向預測的預測值(預測塊Pin的左面所鄰接的已編碼的像素的亮度值S(-1，y))，僅在比16×16像素小的塊中應用式(2)，從而相比於以往的水平方向預測，能夠提高預測性能並且抑制運算量的增加。
另外，在針對預測塊Pin的幀內部預測模式的索引值是3(平均值(DC)預測)的情況下，將預測塊Pin的上面所鄰接的已編碼的像素和預測塊Pin的左面所鄰接的已編碼的像素的平均值作為預測塊Pin內的像素的預測值而生成預測圖像。
在幀內部預測模式的索引值是0(平面(Planar)預測)、1(垂直方向預測)、2(水平方向預測)、3(平均值(DC)預測)以外的情況下，根據索引值表示的預測方向矢量υp＝(dx，dy)，生成預測塊Pin內的像素的預測值。
如圖9所示，如果以預測塊Pin的左上像素為原點而將預測塊Pin內的相對坐標設定為(x，y)，則預測中使用的參照像素的位置成為下述L和鄰接像素的交點。
其中，k是負的標量值。
在參照像素處於整數像素位置的情況下，將該整數像素設為預測對象像素的預測值，在參照像素不處於整數像素位置的情況下，將根據與參照像素鄰接的整數像素而生成的插值像素設為預測值。
在圖8的例子中，參照像素不處於整數像素位置，所以將根據與參照像素鄰接的2個像素進行內插而得到的結果作為預測值。另外，不僅是鄰接的2個像素，也可以根據鄰接的2個像素以上的像素生成插值像素而作為預測值。
通過增加插值處理中使用的像素，從而具有提高插值像素的插值精度的效果，另一方面，由於插值處理所需的運算的複雜度增加，所以在即使運算負荷大也仍要求高的編碼性能的運動圖像編碼裝置的情況下，優選根據更大量的像素生成插值像素。
通過同樣的步驟，生成與預測塊Pin內的亮度信號的所有像素對應的預測像素而輸出幀內部預測圖像PINTRAin。
另外，幀內部預測圖像PINTRAin的生成中使用的幀內部預測參數為了復用到比特流而被輸出到可變長編碼部13。
另外，與之前說明的MPEG-4 AVC/H.264中的8×8像素的塊的幀內部預測同樣地，關於在進行幀內部預測時使用的像素，也可以並非使用已編碼的鄰接塊內的像素自身，而是使用對這些像素實施濾波處理而得到的結果。
針對預測塊Pin的色差信號，也通過與亮度信號同樣的步驟，實施基於幀內部預測參數(幀內部預測模式)的幀內部預測處理，將幀內部預測圖像的生成中使用的幀內部預測參數輸出到可變長編碼部13。
但是，在色差信號中可選擇的幀內部預測參數(幀內部預測模式)無需與亮度信號相同，另外，關於垂直方向預測以及水平方向預測，也可以是以往(MPEG-4 AVC/H.264)的預測方法。
例如，在YUV信號4：2：0格式的情況下，色差信號(U、V信號)是相對亮度信號(Y信號)將解析度在水平方向、垂直方向上都縮小為1/2而得到的信號，相比於亮度信號，圖像信號的複雜性低且預測容易，所以可選擇的幀內部預測參數(幀內部預測模式)的數量少於亮度信號，對於垂直方向預測以及水平方向預測也設為以往的簡易的預測方法，從而幾乎不會降低預測效率而能夠實現對幀內部預測參數(幀內部預測模式)進行編碼而所需的符號量的削減、預測處理的低運算化。
另外，關於作為垂直方向預測中使用的縮放值的1/t、和作為水平方向預測中使用的縮放值的1/u，也可以預先在運動圖像編碼裝置以及運動圖像解碼裝置之間約定，但也可以由運動圖像編碼裝置的幀內部預測部4按照序列單位或者圖片單位，將t、u輸出到可變長編碼部13，由可變長編碼部13對t、u進行可變長編碼而包含到比特流中，並由運動圖像解碼裝置從比特流對t、u進行可變長解碼來使用。
這樣按照序列單位或者圖片單位，自適應地控制t、u，從而能夠實現進一步與輸入圖像的影像信號的特性對應的預測處理。
另外，關於使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸，也可以預先在運動圖像編碼裝置以及運動圖像解碼裝置之間約定，但也可以由運動圖像編碼裝置的幀內部預測部4按照序列單位或者圖片單位，將表示使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸的每個塊尺寸的ON/OFF標誌輸出到可變長編碼部13，由可變長編碼部13對上述ON/OFF標誌進行可變長編碼而包含到比特流中，並由運動圖像解碼裝置從比特流對上述ON/OFF標誌進行可變長解碼來使用。
這樣能夠按照序列單位或者圖片單位，自適應地控制使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸，從而能夠實現進一步與輸入圖像的影像信號的特性對應的預測處理。
接下來，具體說明圖3的運動圖像解碼裝置的處理內容。
可變長解碼部31如果輸入了由圖1的運動圖像編碼裝置生成的比特流，則實施針對該比特流的可變長解碼處理(圖4的步驟ST21)，按照由1幀以上的圖片構成的序列單位、或者圖片單位，對幀尺寸的信息進行解碼。
此時，在垂直方向預測中使用的縮放值的參數t、水平方向預測中使用的縮放值的參數u、表示使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸的每個塊尺寸的ON/OFF標誌中，只要任意一個被可變長編碼並被復用到比特流的情況下，就按照由圖1的運動圖像編碼裝置編碼了的單位(序列單位或者圖片單位)進行解碼。
可變長解碼部31通過與運動圖像編碼裝置同樣的步驟，決定由圖1的運動圖像編碼裝置的編碼控制部2決定的最大編碼塊尺寸以及分割層次數的上限(步驟ST22)。
例如，在根據影像信號的解析度決定了最大編碼塊尺寸、分割層次數上限的情況下，根據所解碼的幀尺寸信息，通過與運動圖像編碼裝置同樣的步驟來決定最大編碼塊尺寸。
最大編碼塊尺寸以及分割層次數上限在運動圖像編碼裝置側被復用到比特流中的情況下，使用從比特流解碼得到的值。
以後，在運動圖像解碼裝置中，將上述最大編碼塊尺寸稱為最大解碼塊尺寸，將最大編碼塊稱為最大解碼塊。
可變長解碼部31按照所決定的最大解碼塊單位，對圖6所示那樣的最大解碼塊的分割狀態進行解碼。根據所解碼的分割狀態，層次性地確定解碼塊(與圖1的運動圖像編碼裝置的「編碼塊」相當的塊)(步驟ST23)。
接下來，可變長解碼部31解碼對解碼塊分配的編碼模式。根據所解碼的編碼模式中包含的信息，將解碼塊進一步分割為一個或多個預測處理單位即預測塊，解碼對預測塊單位分配的預測參數(步驟ST24)。
即，在對解碼塊分配的編碼模式是幀內部編碼模式的情況下，可變長解碼部31針對包含在解碼塊中且成為預測處理單位的一個以上的預測塊的每一個，對幀內部預測參數進行解碼。
另一方面，在對解碼塊分配的編碼模式是幀間編碼模式的情況下，針對包含在解碼塊中且成為預測處理單位的一個以上的預測塊的每一個，對幀間預測參數以及運動矢量進行解碼(步驟ST24)。
進而，可變長解碼部31根據預測差分編碼參數中包含的變換塊尺寸的信息，將解碼塊分割為成為變換處理單位的一個或多個變換塊，針對每個變換塊，對壓縮數據(變換/量化後的變換係數)進行解碼(步驟ST24)。
在切換開關33中，如果由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀內部編碼模式(m(Bn)∈INTRA的情況)，則將由可變長解碼部31可變長解碼了的預測塊單位的幀內部預測參數輸出到幀內部預測部34。
另一方面，如果由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀間編碼模式(m(Bn)∈INTER的情況)，則將由可變長解碼部31可變長解碼了的預測塊單位的幀間預測參數以及運動矢量輸出到運動補償部35。
幀內部預測部34在由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀內部編碼模式(m(Bn)∈INTRA)的情況下(步驟ST25)，接收從切換開關33輸出的預測塊單位的幀內部預測參數，通過與圖1的幀內部預測部4同樣的步驟，一邊參照幀內部預測用存儲器37中儲存的解碼圖像，一邊實施使用了上述幀內部預測參數的針對解碼塊Bn內的各預測塊Pin的幀內部預測處理，生成幀內部預測圖像PINTRAin(步驟ST26)。
即，幀內部預測部34在針對預測塊Pin的幀內部預測模式的索引值是0(垂直方向預測)的情況下，根據上述式(1)計算預測塊Pin內的像素的預測值，生成幀內部預測圖像PINTRAin。
另外，在針對預測塊Pin的幀內部預測模式的索引值是1(水平方向預測)的情況下，根據上述式(2)計算預測塊Pin內的像素的預測值，生成幀內部預測圖像PINTRAin。
但是，在使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸被限制了的情況下，在使用式(1)的垂直方向預測、式(2)的水平方向預測的塊尺寸以外的尺寸的預測塊Pin中通過以往(MPEG-4 AVC/H.264)的垂直方向預測及水平方向預測進行幀內部預測處理。
運動補償部35在由可變長解碼部31可變長解碼了的編碼模式m(Bn)是幀間編碼模式(m(Bn)∈INTER)的情況下(步驟ST25)，接收從切換開關33輸出的預測塊單位的運動矢量和幀間預測參數，一邊參照運動補償預測幀存儲器39中儲存的濾波處理後的解碼圖像，一邊實施使用了上述運動矢量和幀間預測參數的針對解碼塊內的各預測塊Pin的幀間預測處理來生成幀間預測圖像PINTERin(步驟ST27)。
逆量化/逆變換部32如果從可變長解碼部31接收到壓縮數據以及預測差分編碼參數，則通過與圖1的逆量化/逆變換部8同樣的步驟，參照該預測差分編碼參數，對該壓縮數據進行逆量化，並且參照該預測差分編碼參數，實施針對作為逆量化後的壓縮數據的變換係數的逆正交變換處理，計算與從圖1的逆量化/逆變換部8輸出的局部解碼預測差分信號相同的解碼預測差分信號(步驟ST28)。
加法部36將由逆量化/逆變換部32計算出的解碼預測差分信號、與由幀內部預測部34生成的幀內部預測圖像PINTRAin和由運動補償部35生成的幀間預測圖像PINTERin中的某一方進行相加而計算出解碼圖像，並輸出到環路濾波器部38，並且將該解碼圖像儲存到幀內部預測用存儲器37中(步驟ST29)。
該解碼圖像成為在以後的幀內部預測處理時使用的已解碼的圖像信號。
在環路濾波器部38中，如果針對所有解碼塊Bn的步驟ST23～ST29的處理完成(步驟ST30)，則對從加法部36輸出的解碼圖像實施規定的濾波處理，將濾波處理後的解碼圖像儲存到運動補償預測幀存儲器39中(步驟ST31)。
另外，關於環路濾波器部38的濾波處理，即可以以所輸入的解碼圖像的最大解碼塊或者各個解碼塊為單位來進行，也可以在輸入了1個圖片量的解碼圖像之後集中1個圖片量來進行。
另外，作為規定的濾波處理的例子，可以舉出以使編碼塊邊界的不連續性(塊噪聲)不會變得顯著的方式對塊邊界進行濾波的處理、對解碼圖像的失真進行補償的濾波處理等。
該解碼圖像成為運動補償預測用的參照圖像，並且成為再生圖像。
根據以上可知，根據該實施方式3，運動圖像編碼裝置的幀內部預測部4構成為在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，對預測塊的左面所鄰接的像素的亮度值相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，所以起到即使在信號值沿著預測方向而變化的情況下也能夠實現高精度的預測來提高圖像質量的效果。
另外，根據該實施方式3，運動圖像解碼裝置的幀內部預測部34構成為在生成預測圖像時的幀內預測處理是水平方向預測處理的情況下，對預測塊的左面所鄰接的像素的亮度值相加與預測塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，在生成預測圖像時的幀內預測處理是垂直方向預測處理的情況下，對預測塊的上面所鄰接的像素的亮度值相加與預測塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加後的值決定為預測圖像的預測值，所以起到即使在信號值沿著預測方向而變化的情況下也能夠實現高精度的預測來提高圖像質量的效果。
根據該實施方式3，關於由幀內部預測部4、34實施水平方向預測處理時所使用的縮放值即1/u，構成為越是與從預測塊的上面所鄰接的像素起距離遠的行有關的縮放值，設定為越小的值，所以越是與預測塊的上面所鄰接的像素之間的距離遠而相關變低的像素，越能夠使預測塊的上面所鄰接的像素的影響變小，其結果，起到能夠高精度地進行預測的效果。
另外，關於由幀內部預測部4、34實施垂直方向預測處理時所使用的縮放值即1/t，構成為越是與從預測塊的左面所鄰接的像素起距離遠的列有關的縮放值，設定為越小的值，所以越是與預測塊的左面所鄰接的像素之間的距離遠而相關變低的像素，越能夠使預測塊的左面所鄰接的像素的影響變小，其結果，起到能夠高精度地進行預測的效果。
另外，在該實施方式3中，示出了由幀內部預測部4、34實施水平方向預測處理時的預測塊內的第N行(從預測塊的上端起第N行)的縮放值是1/2N+1(＝1/2，1/4，1/8，1/16，···)、由幀內部預測部4、34實施垂直方向預測處理時的預測塊內的第M列(從預測塊的左端起第M列)的縮放值是1/2M+1(＝1/2，1/4，1/8，1/16，···)的例子，但這只是一個例子，只要由幀內部預測部4、34實施水平方向預測處理時越是從預測塊的上端遠離的行的縮放值越小、並且由幀內部預測部4、34實施垂直方向預測處理時越是從預測塊的左端遠離的列的縮放值越小，就可以是任意值。
另外，本申請發明能夠在本發明的範圍內實現各實施方式的自由的組合、或者各實施方式的任意的構成要素的變形、或者各實施方式中的任意的構成要素的省略。
(產業上的可利用性)
本發明適用於需要高效地對運動圖像進行編碼的運動圖像編碼裝置，另外適用於需要對高效地編碼了的運動圖像進行解碼的運動圖像解碼裝置。