圖像解碼方法

2023-06-30 17:45:56

專利名稱：圖像解碼方法
技術領域：
本發明涉及圖像數據的編碼技術、解碼技術。
背景技術：
以往，作為將圖像數據壓縮並傳輸的編碼技術、解碼技術，有以MPEG(Moving Picture Experts Group :運動圖像專家組)為代表的國際標準編碼標準。例如，在國際標 準編碼標準中，H,264/AVC (Advanced Video Coding :高級視頻編碼)標準的編碼效率非常 高，被廣泛用作地面數字廣播、數字視頻攝像機、下一代記錄介質、手機等的動態圖像壓縮 標準。按照這種標準壓縮後的數據通過電視接收機或DVD播放器等被解碼，並在顯示器上 顯示解碼後的影像數據。 在此，專利文獻1公開了以下內容，在顯示解碼後的影像數據時，為了消除動態圖 像模糊或運動的不自然狀態，使用將編碼流解碼得到的運動量(運動矢量)和解碼圖像進 行幀速率變換。專利文獻1日本特開2003-333540 在專利文獻1公開的技術中，對解碼後的影像數據進行幀速率變換處理。但是，該 處理是以從編碼側向解碼側傳輸運動矢量或差分圖像為前提的幀速率變換處理，該幀速率 變換處理無助於傳輸數據量的削減，存在不能充分提高數據壓縮率的問題。

發明內容
本發明就是為了解決上述問題而提出的，其目的在於提高數據壓縮率。 為了解決上述問題，本發明的一個實施方式例如可以按照權利要求書所記述的那
樣構成。 根據本發明能夠提高數據壓縮率。


圖1是實施例1的圖像編碼裝置的結構圖。 圖2是圖1中的編碼部的結構圖。 圖3是圖1中的插補圖像生成部的結構圖。 圖4是在實施例1中根據圖片類型確定插補幀和編碼幀的示例。 圖5是實施例1中的運動估計部的運動估計方法的一例。 圖6是圖3中的運動估計部的結構圖。 圖7是圖1中的插補圖像生成部的動作流程圖。 圖8是在實施例1的編碼數據存儲部中存儲的數據的一例。 圖9是本發明的運動預測矢量的計算示例。 圖10是實施例1的圖像解碼裝置的結構圖。 圖11是圖10中的插補圖像生成部的結構圖。
6
圖12是實施例1中的圖像解碼裝置的動作流程圖。 圖13是實施例2的模式選擇部的結構圖。 圖14是在實施例的編碼數據存儲部中存儲的數據的一例。 圖15是實施例2的圖像解碼裝置的動作流程圖。 圖16是在實施例3中根據圖片類型確定插補幀和編碼幀的示例。 圖17是實施例3中的運動估計部的運動估計方法的一例。 圖18是實施例3的插補方向確定部的結構圖。 圖19是在實施例3的編碼數據存儲部中存儲的數據的一例。 圖20是實施例3的圖像解碼裝置的運動估計部的結構圖。 圖21是實施例3的圖像解碼裝置的動作流程圖。 圖22是在實施例4的編碼數據存儲部中存儲的數據的一例。 圖23是實施例4的圖像解碼裝置的動作流程圖。 圖24是實施例5中的編碼數據存儲部中存儲的數據的一例。 圖25是實施例6中的編碼數據存儲部中存儲的數據的一例。 圖26是插補圖像的生成方法的第1變形例的一例。 圖27是插補圖像的生成方法的第2變形例的一例。 圖28是插補圖像的生成方法的第3變形例的一例。 標號說明 101影像輸入部；102區域分割部；103編碼部；104插補圖像生成部；105模式選擇 部；106編碼數據存儲部；107可變長度編碼部；201減法器；202頻率變換/量化部；203逆 量化/逆頻率變換部；204加法器；205解碼圖像存儲部；206畫面內預測部；207畫面間預
測部；208畫面內/畫面間預測圖像選擇部；301插補幀確定部；302運動估計部；303插補 像素生成部；601預測誤差計算部；602運動矢量確定部；1001可變長度解碼部；1002句法 分析部；1003逆量化/逆頻率變換部；1004加法器；1005解碼圖像存儲部；1006運動補償 部；1007插補圖像生成部；1008輸出部；1009模式判定部；1101運動估計部；1102插補像
素生成部；1301 、1302差分絕對值計算部；1303判定部；1801、 1802、 1803差分絕對值計算
部；1804運動估計方向判定部；1805插補方向確定部；2001運動估計方法確定部；2002運
動估計部；2003預測誤差計算部；2004運動矢量確定部；2005運動估計部。
具體實施例方式以下，使用

本發明的實施例。
實施例1
圖1表示本發明的實施例1的圖像編碼裝置的示例。實施例1的圖像編碼裝置例
如具有輸入圖像的影像輸入部101 ;區域分割部102，其將輸入圖像分割為編碼對象區域； 編碼部103，其對由區域分割部分割後的輸入圖像數據進行編碼及局部解碼；插補圖像生
成部104，其按照時間方向對由編碼部103局部解碼後的圖像(編碼圖像)進行約簡(間引 巻，即間隔剔除)，並生成用於插補該約簡後的圖像的插補圖像；模式選擇部105，其選擇 編碼圖像或是插補圖像；編碼數據存儲部106，其記錄編碼圖像數據或標誌數據；可變長度 編碼部107，其對存儲在編碼數據存儲部106中的數據進行可變長度編碼，並輸出編碼流。
7下面，具體說明實施例1的圖像編碼裝置中的各個處理部的動作。 首先，在影像輸入部101中，按照將要編碼的順序重排輸入圖像。順序的重排是按 照圖片類型由顯示順序替換排列為編碼順序。然後，在區域分割部102中，把編碼對象幀分 割為編碼對象區域。將要分割的區域尺寸可以是正方形、長方形區域那樣的塊單位，也可以 是使用watershed法那樣的方法提取的對象單位。由區域分割部102分割後的圖像被發送 給編碼部103。 在此，圖2表示編碼部103的具體結構。編碼部103例如具有差分器201，其計 算由區域分割部102分割後的圖像與由畫面內/畫面間預測圖像選擇部208所選擇的預 測圖像之間的差分；頻率變換/量化部202，其對由差分器201生成的差分數據實施頻率變 換及量化；逆量化/逆頻率變換部203，其對頻率變換/量化部202輸出的數據實施逆量化 及逆頻率變換；加法器204，其將由頻率變換/量化部202解碼後的數據與由畫面內/畫面 間預測圖像選擇部208選擇的預測圖像相加；解碼圖像存儲部205，其存儲由加法器204相 加後的圖像；畫面內預測部206，其根據編碼對象區域的周邊像素生成預測圖像；畫面間預 測部207，其通過匹配(matching)處理，從屬於與編碼對象區域不同的幀的區域中檢測接 近編碼對象區域的圖像(參照圖像)，並生成為預測圖像；畫面內/畫面間預測圖像選擇部 208，其選擇畫面內預測圖像或畫面間預測圖像中編碼效率高的一方。 下面，說明編碼部103的各個處理部分的具體動作。在頻率變換/量化部202中， 使用DCT(Discrete Cosine transform :離散餘弦變換)或小波變換等對差分圖像進行頻 率變換，對頻率變換後的係數進行量化。量化後的數據被發送給模式選擇部105和逆量化 /逆頻率變換部203。在逆量化/逆頻率變換部203中，進行由頻率變換/量化部202進行 的處理的逆處理。然後，加法器204將由畫面內/畫面間預測圖像選擇部208選擇的預測 圖像、與通過逆量化/逆頻率變換部203的逆量化/逆頻率變換而生成的差分圖像相加，並 生成解碼圖像。所生成的解碼圖像被存儲在解碼圖像存儲部205中。畫面內預測部206使 用存儲在解碼圖像存儲部205中的已解碼的周邊區域的像素，生成預測圖像。並且，畫面間 預測部207通過由解碼圖像存儲部205存儲的已解碼的幀內的數據與輸入圖像之間的匹配 處理，生成預測圖像。並且，解碼圖像存儲部205向插補圖像生成部104發送解碼圖像。
在此，圖3表示插補圖像生成部104的具體結構。插補圖像生成部104例如具有 插補幀確定部301、運動估計部302和插補像素生成部303。在插補幀確定部301中，例如 按照幀單位確定根據圖片類型插補的幀(插補幀)、和不插補而進行通常的編碼的幀(編碼 幀)。 在此，圖4表示由插補圖像生成部104的插補幀確定部301進行的插補幀確定的 具體示例。圖4中的橫軸表示編碼時的圖像的輸入順序，即解碼時的圖像的顯示順序。與 此相對，編碼時的編碼處理順序/解碼時的解碼處理順序是如圖4所示的順序。S卩，B圖片 (B picture)在顯示順序位於該B圖片之後的P圖片(P picture)之後進行編碼處理、解碼 處理。 在此，如後面在圖5的說明中敘述的那樣，在實施例1的插補像素生成部303中， 根據先進行編碼處理(在解碼時先進行解碼處理)的多個圖片，通過插補處理生成作為顯 示順序位於該多個圖片之間的圖片的、幀的像素。即，實施例1的插補像素生成部303的插 補像素生成處理是在編碼處理時或解碼處理時，適合於前後顯示順序的圖片是已編碼處理或已解碼處理的B圖片的處理。在圖4的示例中，在B圖片402的編碼處理時或解碼處理 時，顯示順序在前的I圖片401和顯示順序在後的P圖片403已經完成編碼處理或解碼處 理。另外，在B圖片404的編碼處理時或解碼處理時，顯示順序在前的P圖片403和顯示順 序在後的P圖片405已經完成編碼處理或解碼處理。 因此，插補幀確定部301按照圖4所示，例如把B圖片設為插補幀，把I圖片和P 圖片設為編碼幀。由此，在插補像素生成部303中，根據最接近B圖片的前向或向的I圖片 及P圖片，通過後面敘述的圖5所示的插補處理，能夠生成該B圖片的像素值。
另外，在圖4的示例中，示出了在I圖片-P圖片之間、P圖片-P圖片之間插入1個 B圖片的圖片結構，但也可以在編碼時計算幀之間的亮度、色差差分，在差分小時判定為幀 之間的相關性高，增加插入I或P圖片之間的B圖片的數量。該情況時，可以把B圖片設為 插補幀，把I圖片或P圖片設為編碼幀。此時，在插補像素生成部303中，根據最接近B圖 片的前向或後向的I圖片及P圖片，通過插補處理生成各個B圖片的像素值。
下面，使用圖6說明運動估計部302的具體結構。運動估計部302如圖6所示，具 有預測誤差計算部601和運動矢量確定部602。在由插補幀確定部301確定插補幀後，運動 估計部302進行用於計算插補幀的像素的像素值的運動估計。關於運動估計方法，可以採 用一般廣為使用的區域匹配法。 下面，使用圖5具體說明由運動估計部302的預測誤差計算部601、運動矢量確定 部602、以及插補像素生成部303進行的插補幀的像素生成處理。 在圖5中，首先，預測誤差計算部601對於插補幀n的插補對象像素501，使用顯示 順序在插補幀n之前的編碼幀n-l內的像素500的像素值fn—工(x-dx， y-dy)、和顯示順序在 插補幀n之後的編碼幀n+l內的像素502的像素值fn+1 (x+dx， y+dy)，求出式1所示的預測 誤差絕對值之和SADn(x，y)。其中，像素500、502被設定成為在時間空間坐標中和插補對象 像素501(x， y)位於同一直線上。其中，R表示插補對象像素所屬的圖像區域尺寸，n表示 幀序號，x、 y表示像素坐標，dx、 dy、 i、 j表示像素表的差分，a、 b表示插補對象像素所屬的 圖像區域的序號。
式1
formula see original document page 9 然後，運動矢量確定部602求出式1所示的預測誤差絕對值之和SADn(x， y)為最 小的值的組合(dx。， dy。)，計算將顯示順序在插補幀n之前的編碼幀n-l內的坐標(x-dx。， y-dy。)的像素、與顯示順序在插補幀n之後的編碼幀n+l內的像素(x+dx。，y+dy。)的像素相 連接得到的運動矢量。 在計算運動矢量後，插補像素生成部303使用式2，計算插補幀前後的編碼幀內的
像素的像素值(x-dx。， y-dy。) 、 fn+1 (x+dx。， y+dy。)的平均值，生成插補對象像素(x， y)的
像素值4(x，y)。 式2formula see original document page 10 根據以上說明的圖5所示的插補幀的像素生成處理，能夠根據顯示順序位於編碼 對象幀前後的編碼幀內的像素值生成插補幀的像素。 另外，在式2的示例中，利用單純平均值計算插補像素值，但本發明的插補像素計 算方法不限於單純平均值。例如，在編碼幀n-l和編碼幀n的時間距離、與編碼幀n和編碼 幀n+l的時間距離不是相等間隔時，也可以向各自的像素值乘以對應各個時間距離的加權 係數後進行相加。即，只要是利用把編碼幀n-l上的像素值4—工(x-dx。，y-dy。)、和編碼幀n+l 上的像素值Ux+dx。，y+dy。)設為變量的函數算出的像素值，則可以使用任何方法。
下面，使用圖7具體說明模式選擇部105的模式選擇處理。模式選擇部105對於 插補幀的多個分割區域的各個區域，確定選擇由編碼部103生成的編碼圖像和由插補圖像 生成部104生成的插補像素所構成的插補圖像中的哪個圖像。 首先，模式選擇部105對於編碼對象區域，例如按照式3所示計算由運動估計部
302計算的預測誤差與編碼對象區域的周邊的預測誤差之間的差分f' (SADn(a，b)) (S701)。
其中，n表示幀序號，a、 b表示插補對象像素所屬的圖像區域的序號，k、 1是表示周邊圖像
區域與插補對象像素所屬的圖像區域的序號之差的變量。 式3
formula see original document page 10 然後，由運動估計部302判定根據式1求出的最小的預測誤差絕對值之和SADn(a， b)是否為閾值^以下、或者式3所示的預測誤差差分絕對值之和f' (SADn(a，b))是否為閾 值&以上(S702)。這是因為在預測誤差絕對值之和SADn(a，b)小時，認為生成插補圖像時 的運動檢測結果的可靠性比較高。並且，認為在預測誤差差分絕對值之和f' (SADn(a，b)) 大時，雖然在通常的編碼圖像中產生較多的編碼量，但是在圖案複雜的區域的畫質多少惡 化時，在視覺上也不明顯，所以選擇插補圖像比較有利。 在此，當在步驟702滿足條件時，選擇插補圖像(S703)。此時，不輸出預測區域的 種類等頭(head)信息、運動矢量、預測誤差數據等而結束處理(S705)。另一方面，當在步驟 702不滿足條件時，選擇編碼圖像(S706)。此時，向編碼數據存儲部106輸出預測區域的種 類等頭信息、運動矢量、預測誤差數據，並結束處理。 S卩，在選擇了編碼圖像時，與通常的編碼技術相同，編碼流中包含預測區域的種類 等頭信息、運動矢量、預測誤差數據等。與此相對，在選擇了插補圖像時，在解碼側即使沒有 這些數據，也能夠通過在圖17中說明的插補處理來生成解碼圖像，所以編碼流中不包含這 些數據。因此，在選擇了插補圖像時，能夠減少編碼數據量，能夠提高壓縮率。
關於以上說明的編碼圖像、插補圖像的模式選擇，列舉幀單位下的選擇示例進行 了說明。但是，也可以把被選擇為插補幀的B圖片中的一部分區域選擇為編碼圖像，把其他 區域選擇為插補圖像。該區域例如可以採用塊單位等。
下面，使用圖8說明利用以往的編碼技術編碼的幀、和利用實施例1的圖像編碼裝 置及圖像編碼方法編碼的幀的編碼數據量的比較示例。在圖8中，灰色區域表示選擇了編 碼圖像的區域，白色區域表示選擇了插補圖像的區域。 圖8(al)表示利用以往的編碼技術編碼的幀。在以往的編碼技術中，由於不存在 插補圖像區域，所以各個區域都是編碼圖像。在圖8(al)的示例中，24個區域全部是編碼圖 像。在此，在以往的編碼技術中，原則上對於圖8(a)中的幀的全部區域，把預測區域的種類 等頭信息、運動矢量、預測誤差數據等信息存儲在編碼流中。在此，利用以往的編碼技術編 碼的幀的編碼流如圖8(a2)所示。在圖8(a2)的示例中，對於24個編碼圖像的全部區域， 把預測區域的種類等頭信息、運動矢量、預測誤差數據等信息存儲在編碼流中。
與此相對，圖8(bl)表示利用實施例1的圖像編碼裝置及圖像編碼方法編碼的幀 的示例。在圖8(bl)的示例中，只在24個區域中的8個區域中選擇編碼圖像。在剩餘16個 區域中選擇插補圖像。在此，對應圖8(bl)的示例的編碼流如圖8(b2)所示。S卩，在實施例 1的圖像編碼裝置及圖像編碼方法的編碼處理中，對於選擇了插補圖像的區域，在解碼側不 需要預測區域的種類等頭信息、運動矢量、預測誤差數據等信息，所以編碼流中不包含這些 信息。在圖8(b2)的示例中，編碼流中包含有關編碼圖像區域中的8個區域的預測區域的 種類等頭信息、運動矢量、預測誤差數據等信息。 因此，根據實施例1的圖像編碼裝置及圖像編碼方法，與以往的編碼技術相比，能 夠減少編碼流中包含的編碼數據的量，能夠提高編碼壓縮率。 下面，使用圖9和圖8，說明本發明的實 例1的圖像編碼裝置的可變長度編碼部 106中的運動矢量的編碼處理。 首先，在作為以往的編碼技術的11.264標準中，在編碼對象區域的運動矢量的編 碼處理中，根據編碼對象區域的周邊區域的運動矢量的中間值計算運動預測矢量，只把編 碼對象區域的運動矢量與運動預測矢量之間的差分作為編碼數據，由此削減數據量。
在實施例1的可變長度編碼部106中，計算運動預測矢量(PMV)，計算編碼對象區 域的運動矢量(MV)與運動預測矢量(PMV)之間的差分矢量(DMV)，把差分矢量(DMV)作為 編碼數據。但是，如圖8(bl)所示，在利用實施例1的圖像編碼裝置及圖像編碼方法編碼的 幀中，混合存在編碼圖像區域和插補圖像區域，所以運動預測矢量(PMV)的計算方法採用 與作為以往的編碼技術的H. 264標準不同的方法。 首先，圖9 (a)表示以往的H. 264標準的相應技術的具體示例。在H. 264標準中， 如圖9(a)所示，使用在編碼對象區域X的鄰近區域、即在編碼對象區域X之前先編碼的區 域A、B、C中用於編碼處理的運動矢量的中間值(median)，計算編碼對象區域X的運動預測 矢量(PMV)。該運動預測矢量的計算需要在編碼處理和解碼處理中進行相同的處理。
在此，說明本發明的實施例1的運動矢量的編碼處理。本發明的實施例1的運動矢 量的編碼處理是只對編碼圖像區域和插補圖像區域中的編碼圖像區域進行的處理。關於插 補圖像區域，由於在解碼側進行插補圖像用的運動估計，所以不需要運動矢量的編碼處理。
在此，在本發明的實施例1的運動矢量的編碼處理中，根據圖9中與編碼對象區域 X鄰近的塊A、 B、 C、 D分別是編碼圖像區域還是插補圖像區域，變更在運動矢量的編碼處理 中使用的預測矢量的計算處理。下面，說明有關各個情況的具體處理。
首先，例如如圖9(a)所示，在周邊區域A、 B、 C都是編碼圖像區域時，與以往的H. 264標準相同，使用在周邊區域A、B、C中用於編碼處理的預測矢量(MVA、MVB、MVC)的中間 值(median)，計算運動預測矢量。 下面，說明編碼對象區域X的周邊區域包含插補圖像區域的情況(圖9(b) (c))。 如上所述，對於插補圖像區域不對運動矢量進行編碼，即，不向解碼側發送在編碼處理中使 用的運動矢量。因此，如果把在編碼處理中使用的運動矢量用於計算預測運動矢量(PMV)， 則在解碼時不能計算預測運動矢量(PMV)。因此，在實施例1中按照下面所述進行預測運動 矢量(PMV)的計算。 首先，在編碼對象區域X的周邊區域都是插補圖像區域時(圖9 (b))，使用在插補 圖像生成處理中使用的運動矢量、即由插補圖像生成部104的運動估計部302計算的運動 矢量(MVCA、 MVCB、 MVCe)。在運動估計部302的運動估計是像素單位等情況下，對於各個區 域，由於存在多個運動矢量，所以使用該多個運動矢量的平均值計算運動矢量(MVCA、 MVCB、 MVCC)。並且，計算運動矢量(MVCA、MVCB、MVCC)的中間值作為預測運動矢量(PMV)。
然後，在編碼對象區域X的周邊區域A、B、C的一部分是編碼圖像區域、一部分是插 補圖像區域時(圖9(c))，對於編碼圖像區域使用在編碼處理中使用的運動矢量MV、對於插 補圖像區域使用在插補圖像生成處理中使用的運動矢量MVC，計算它們的中間值作為預測 運動矢量(PMV)。 gp，在圖9(c)的示例中，周邊區域A、C是編碼圖像區域，周邊區域B是插補圖像區 域。該情況時，如圖9(c) (1)所示，計算運動矢量(MVA、MVCB、MVC)的中間值作為預測運動矢 量(PMV)。 並且，作為在編碼對象區域X的周邊區域A、B、C的一部分是編碼圖像區域、一部分 是插補圖像區域時(圖9(c))計算預測運動矢量(PMV)的變形例，也可以優先選擇使用編 碼圖像區域的運動矢量。例如，在圖9(c)的示例中，在位於編碼對象區域X的左上方的周 邊區域D是編碼圖像區域時，不使用作為插補圖像區域的周邊區域B的MVCB，而使用在周邊 區域D的編碼處理中使用的運動矢量MVD。並且，計算運動矢量(MVA、 MVC、 MVD)的中間值作 為預測運動矢量(PMV)。 並且，在周邊區域A、 B、 C、 D中有兩個編碼圖像區域時，可以把這兩個區域的運動
矢量MV的平均值作為預測運動矢量(PMV)。並且，在周邊區域A、B、C、D中有一個編碼圖像
區域時，可以把有關該區域的運動矢量MV本身作為預測運動矢量(PMV)。 這樣，通過優先選擇編碼圖像區域的運動矢量，能夠降低編碼側的插補圖像生成
處理的運動估計與解碼側的插補圖像生成處理的運動估計之間的估計誤差的影響。 根據以上說明的實施例1的圖像編碼裝置及圖像編碼方法，相比以往的編碼裝置
及編碼方法，能夠提高數據壓縮率。 下面，使用圖10說明實施例1的圖像解碼裝置。實施例1的圖像解碼裝置例如具 有可變長度解碼部IOOI，其對從編碼側發送的編碼數據進行解碼；句法分析部1002，其對 實施了可變長度解碼的數據進行句法分析；模式判定部1009，其根據句法分析部1002的分 析結果及插補圖像生成部1007的預測誤差計算結果等，判定是進行解碼處理還是進行插 補圖像生成處理；逆量化/逆頻率變換部1003，其對句法分析部1002發送的數據實施逆量 化/逆頻率變換；加法器1004，其將逆量化/逆頻率變換部1003輸出的數據與由運動補償 部10Q6生成的預測圖像相加；解碼圖像存儲部1005，其存儲由加法器1004輸出的數據；運動補償部1006，其在由解碼圖像存儲部1005存儲的數據之間進行運動補償；插補圖像生成 部1007，其使用從句法分析部1002和解碼圖像存儲部1005獲取的數據，進行運動估計處理 和插補圖像生成處理，並生成插補圖像；輸出部1008，其向影像顯示裝置等輸出由插補圖 像生成部1007生成的插補圖像、或者由加法器1004生成的解碼圖像中的任一方。
下面，具體說明實施例1的圖像解碼裝置的各個處理部分的動作。
首先，使用圖11具體說明插補圖像生成部1007。插補圖像生成部1007具有運動 估計部1101和插補像素生成部1102。運動估計部1101進行與圖3中的運動估計部302相 同的處理，插補像素生成部1102進行與圖3中的插補像素生成部303相同的處理。並且， 運動估計部1101與運動估計部302相同，具有圖6所示的預測誤差計算部601和運動矢量 確定部602，進行與編碼處理時相同的預測誤差計算處理和運動矢量計算處理。關於該預測 誤差計算處理和運動矢量計算處理、以及由運動估計部302和插補像素生成部303進行的 插補圖像生成處理，已經使用圖5等進行了說明，所以省略說明。 下面，使用圖12說明實施例1的圖像解碼裝置的圖像解碼方法的處理流程。該處 理例如對每個區域實施。首先，由可變長度解碼部1001對編碼流進行解碼，並發送給句法 分析部1002(S1201)。然後，由句法分析部1002進行解碼後的流數據的句法拆分(構文分 W )，並向逆量化/逆頻率變換部1003和插補圖像生成部1007發送編碼數據(S1202)。然 後，由句法分析部1002判定編碼對象幀的圖片類型，判定編碼對象幀是編碼幀還是插補幀 (S1203)。在編碼對象幀是插補幀時，插補圖像生成部1007對於解碼對象區域，使用顯示時 間順序位於對象幀前後的多個已解碼圖像區域，進行運動估計處理(S1204)。在運動估計 部1101中，通過與圖3中的運動估計部302相同的處理，計算最小的預測誤差絕對值之和 SADn(a， b)並確定運動矢量。然後，模式判定部1009計算由運動估計部1101算出的預測 誤差絕對值之和與解碼對象區域的周邊的預測誤差絕對值之和之間的差分f' (SADn(a，b)) (S1205)。然後，模式判定部1009判定由運動估計部1101算出的最小的預測誤差絕對值之 和SADn(a，b)是否為閾值S工以下、或者與周邊的預測誤差絕對值之和的差分f' (SADn(a，b)) 是否為閾值^以上(S1206)。在預測誤差絕對值之和SADn(a，b)為閾值S工以下時、或者預 測誤差差分絕對值之和f' (SADn(a，b))為閾值^以上時，判定為解碼對象區域是插補圖像 區域。在其他情況時，判定為解碼對象區域是作為編碼圖像區域而被編碼的區域。
在此，在由模式判定部1009判定為解碼對象區域是插補圖像區域時，插補圖像生 成部1007的插補像素生成部1102生成插補像素，通過插補圖像的生成處理，生成圖像，並 存儲在解碼圖像存儲部106中(S1207)。 另一方面，在編碼對象幀不是插補幀時(是編碼幀時)，或者，在由模式判定部 1009判定為解碼對象區域是作為編碼圖像區域而被編碼的區域時，逆量化/逆頻率變換部 1003對從句法分析部1002獲取的編碼數據進行逆量化/逆頻率變換處理，並對差分數據進 行解碼(S1208)。然後，運動補償部1006使用從句法分析部1002獲取的頭信息、運動矢量 等，進行運動補償處理並生成預測圖像(S1209)。然後，加法器1004將運動補償部1006生 成的預測圖像與逆量化/逆頻率變換部1003輸出的差分數據相加，生成解碼圖像並存儲在 解碼圖像存儲部106中(S1210)。最後，由輸出部1008輸出在步驟1207生成的插補圖像或 在步驟1210生成的解碼圖像(S1211)，並結束處理。 另外，在步驟1209，在該編碼區域是畫面間預測時，運動補償部1006根據解碼對象區域的周邊區域的運動矢量計算運動預測矢量(PMV)，並與存儲在編碼數據中的差分矢 量(匿V)相加，生成解碼對象區域的運動矢量(MV)，根據該運動矢量(MV)進行運動補償處 理。在此，關於上述運動預測矢量(PMV)的計算處理，可以進行與使用圖9說明的在編碼側 進行的運動預測矢量(PMV)的計算處理相同的處理，所以省略說明。 根據以上說明的實施例1的圖像解碼裝置及圖像解碼方法，能夠適合對利用相比 以往的編碼裝置及編碼方法能夠提高數據壓縮率的編碼方法編碼後的數據進行解碼。
根據以上說明的實施例1的圖像編碼裝置和圖像編碼方法、以及圖像解碼裝置和 圖像解碼方法，能夠生成提高了數據壓縮率的編碼數據，並適合對該編碼數據進行解碼。
實施例2
下面，說明本發明的實施例2 。在本發明的實施例2中，與實施例1不同，在編碼流 中包含表示在編碼側對於每個編碼對象區域選擇了編碼圖像還是選擇了插補圖像的標誌 數據。由此，在解碼側，對於解碼對象區域，能夠容易判別是選擇了編碼圖像的區域還是選 擇了插補圖像的區域。因此，能夠簡化解碼時的處理，並減少處理量。下面具體說明實施例 2。 實施例2的圖像編碼裝置把實施例1的圖像編碼裝置中的圖1所示的模式選擇部 105替換為圖13所示的模式選擇部1304。其他部分的結構、動作與實施例1的動作相同， 所以省略說明。 在模式選擇部1304中，首先，由差分絕對值計算部1301計算由區域分割部102分 割後的輸入圖像與由插補圖像生成部104生成的插補圖像之間的差分。同樣，由差分絕對 值計算部1302計算由區域分割部102分割後的輸入圖像與由編碼部103生成的編碼圖像 之間的差分。然後，由判定部1303選擇由差分絕對值計算部1301、1302計算的差分絕對值 中較小的一方，並輸出判定標誌(模式判定標誌)。例如，在選擇了編碼圖像時，模式判定標 志為O，在選擇了插補圖像時，模式判定標誌為1。 在此，圖14表示實施例2的圖像編碼裝置的編碼數據存儲部106中的數據的一 例。如圖14所示，採取按每個編碼對象區域，附加表示選擇了編碼圖像還是選擇了插補圖 像的1比特的標誌數據的形式。即，在從實施例2的圖像編碼裝置輸出的編碼流中，包含按 每個編碼對象區域表示選擇了編碼圖像還是選擇了插補圖像的標誌數據。由此，在解碼側， 即使不進行實施例1所示的預測誤差絕對值之和SADn(a， b)及預測誤差差分f' (SADn(a， b))的計算處理及比較處理，也能夠判別解碼對象區域是選擇了編碼圖像的區域還是選擇 了插補圖像的區域。因此，能夠簡化解碼時的處理，並減少處理量。 根據以上說明的實施例2的圖像編碼裝置和圖像編碼方法，與實施例1不同，在輸 出編碼流中包含按每個編碼對象區域表示是選擇了編碼圖像還是選擇了插補圖像的標誌 數據。因此，在解碼側，能夠容易判別解碼對象區域是選擇了編碼圖像的區域還是選擇了插 補圖像的區域。因此，能夠簡化解碼時的處理，並減少處理量。 下面，說明實施例2的圖像解碼裝置。實施例2的解碼裝置的結構與實施例1的
圖io相同，所以省略說明。 在此，使用圖15說明實施例2的圖像解碼裝置的處理流程。 實施例2的圖像解碼裝置被輸入了圖14所示的編碼流，該編碼流包含按每個編碼 對象區域表示選擇了編碼圖像還是選擇了插補圖像的標誌數據。首先，由可變長度解碼部
141001對該編碼流進行解碼，並發送給句法分析部1002 (S1501)。然後，由句法分析部1002 進行解碼後的流數據的句法拆分，向模式判定部1009發送頭信息及模式判定標誌，並向逆 量化/逆頻率變換部1003發送編碼數據(S1502)。然後，由句法分析部1002或模式判定部 1009，根據編碼對象幀的圖片類型，判定編碼對象幀是編碼幀還是插補幀(S1503)。
在此，在編碼對象幀是插補幀時，模式判定部1009對於解碼對象區域，進行由句 法分析部1002發送的模式判定是1還是0的判定(S1504)。在模式判定標誌是1時(表示 選擇了插補圖像的區域)，判定解碼對象區域是插補圖像區域。在模式判定標誌是O時(表 示選擇了編碼圖像的區域)，判定解碼對象區域是作為編碼圖像區域而被編碼的區域。
在此，在由模式判定部1009判定為解碼對象區域是插補圖像區域時，插補圖像生 成部1007的運動估計部1101進行運動估計(S1505)。然後，根據運動估計部1101的運動 估計結果，插補像素生成部1102生成插補像素，通過插補圖像的生成處理，生成圖像並存 儲在解碼圖像存儲部106中(S1506)。 另一方面，在編碼對象幀不是插補幀時(是編碼幀時)，或者，在由模式判定部 1009判定為解碼對象區域是作為編碼圖像區域而被編碼的區域時，逆量化/逆頻率變換部 1003對從句法分析部1002獲取的編碼數據進行逆量化/逆頻率變換處理，並對差分數據進 行解碼(S1507)。然後，運動補償部1006使用從句法分析部1002獲取的頭信息、運動矢量 等，進行運動補償處理並生成預測圖像(S1508)。然後，加法器1004將運動補償部1006生 成的預測圖像與逆量化/逆頻率變換部1003輸出的差分數據相加，生成解碼圖像並存儲在 解碼圖像存儲部106中(S12509)。最後，由輸出部1008輸出在步驟1207生成的插補圖像 或在步驟1210生成的解碼圖像(S1510)，並結束處理。 根據以上說明的實施例2的圖像解碼裝置及圖像解碼方法，在實施例1的效果的 基礎上，即使不進行實施例1所示的預測誤差絕對值之和SADn(a， b)或預測誤差差分絕對 值之和f' (SADn(a，b))的計算處理及比較處理，對於解碼對象區域，也能夠判別是選擇了編 碼圖像的區域還是選擇了插補圖像的區域。因此，能夠簡化解碼時的處理，並減少處理量。
根據以上說明的實施例2的圖像編碼裝置和圖像編碼方法、以及圖像解碼裝置和 圖像解碼方法，能夠生成提高了數據壓縮率的編碼數據，並適合對該編碼數據進行解碼。
實施例3
下面，說明本發明的實施例3。在本發明的實施例1中，在插補圖像生成部104中， 按照圖4和圖5所示，根據先進行編碼處理(在解碼時先進行解碼處理)的多個圖片，通過 插補處理(以下稱為內插插補)生成作為顯示順序位於該多個圖片之間的圖片的、幀的像素。 與此相對，在本發明的實施例3中，追加了下述的插補處理(以下稱為外插插補)， 即，根據先進行編碼處理(在解碼時先進行解碼處理)的多個圖片，通過插補處理生成作為 顯示順序位於該多個圖片之前或之後的圖片的、幀的像素。
下面，說明實施例3的圖像編碼裝置的具體結構及動作。 實施例3的圖像編碼裝置在實施例1的圖像編碼裝置中，對插補圖像生成部104 追加了後面敘述的基於後方插補的插補圖像生成處理動作，並在該插補圖像生成部104的 後面追加了插補方向確定部1805。其他部分的結構和動作與實施例1的動作相同，所以省 略說明。
在此，所追加的外插插補處理有前方插補處理和後方插補處理這兩種。說明圖像 編碼裝置的插補圖像生成部104在各個插補處理中的動作。 首先，說明前方插補處理。在此，說明以下示例，即，使用在圖16(a)所示的輸入圖 像中顯示順序位於插補幀1603前方的兩個編碼幀1601、 1602，生成插補幀1603 (B圖片)的 插補圖像。 該情況時，為了求出插補幀的像素，在運動估計部302進行下面敘述的運動估計。 如圖17(a)所示，使用在插補幀1603之前顯示的兩個編碼幀(1601、 1602)內的像素值，求 出式4所示的預測誤差絕對值之和SADn(a，b)。具體地講，使用編碼幀1601上的像素1700 的像素值fn—2 (x-2dx， y-2dy)、和編碼幀1602上的像素1701的像素值fn—: (x-dx， y-dy)。其 中，R表示插補對象像素所屬的對象區域的尺寸。在此，編碼幀1601上的像素1700和編碼幀1602上的像素1701被設定成為在時 間空間坐標上和插補幀1603上的插補對象像素1702位於同一直線上。
式4
formula see original document page 16
然後，求出式4所示的預測誤差絕對值之和為最小的位置(dx，dy)，通過與在實施 例1中敘述的插補像素生成部303相同的處理，生成插補像素。
通過以上步驟，能夠通過前方插補處理來生成插補像素。 另外，上述的前方插補處理只要顯示順序位於前面的兩個編碼幀先被編碼、解碼， 就能夠適用，所以也能夠適用於如圖16(b)所示的插補幀1603 (P圖片)的情況。
下面，說明後方插補處理。在此，說明以下示例，S卩，使用在圖16(a)所示的輸入圖 像中顯示順序位於插補幀1603後方的兩個編碼幀1603、 1604，生成插補幀1603的插補圖像。 該情況時，為了求出插補幀的像素，在運動估計部302進行下面敘述的運動估計。 如圖17(b)所示，使用在插補幀1603之後顯示的兩個編碼幀(1604、 1605)內的像素，求出 式5所示的預測誤差絕對值之和SADn(x，y)。具體地講，使用編碼幀1604上的像素1711的 像素值Ux+dx，y+dy)、和編碼幀1605上的像素1712的像素值fn+2 (x+2dx， y+2dy)。其中， R表示插補對象像素所屬的對象區域的尺寸。 在此，編碼幀1604上的像素1711和編碼幀1605上的像素1712被設定成為在時 間空間坐標上和插補幀1603上的插補對象像素1710位於同一直線上。
式5
formula see original document page 16 然後，求出式5所示的預測誤差絕對值之和為最小的位置(dx，dy)，通過與在實施 例1中敘述的插補像素生成部303相同的處理，生成插補像素。
通過以上步驟，能夠通過後方插補處理來生成插補像素。
在插補圖像生成部104中，進行上述的後方插補處理和與實施例1相同的前方插 補處理這兩種處理，生成三種插補圖像。 然後，由圖18所示的插補方向確定部1805進行運動估計方法的判定。下面，說明 插補方向確定部1805的處理。首先，由差分絕對值計算部1801計算通過進行在實施例1 中敘述的雙向運動估計而生成的插補圖像與輸入圖像之間的差分絕對值。然後，由差分絕 對值計算部1802計算通過進行在本實施例中敘述的前向的運動估計而生成的插補圖像與 輸入圖像之間的差分絕對值。並且，由差分絕對值計算部1803計算通過進行後向的運動估 計而生成的插補圖像與輸入圖像之間的差分絕對值。然後，由運動估計方向判定部1804選 擇輸入圖像與插補圖像之間的差分變小的插補圖像，把所選擇的結果作為運動估計方向判 定標誌輸出。運動估計方向判定標誌可以設為2比特的數據，例如在是雙向時為OO，在是前 向時為01，在是後向時為10。這樣生成的運動估計方向判定標誌被發送給編碼數據存儲部 106。 圖19表示存儲在編碼數據存儲部106中存儲的數據的一例。如圖19所示，在插 補像素區域中附加了判定根據哪個方向生成插補圖像的標誌數據。即，在從實施例3的圖 像編碼裝置輸出的編碼流中，包含表示對於選擇了插補圖像的區域生成插補圖像用的插補 方向的標誌數據。 由此，能夠增加插補圖像的生成方法的種類，除B圖片外，P圖片也能夠設為插補 圖像幀，所以能夠進一步削減數據。 並且，在B圖片中，在基於插補對象幀的前後的幀的、雙向插補的基礎上，還能夠 進行從前方的兩個編碼幀生成插補圖像的前方插補、和從後方的兩個編碼幀生成插補圖像 的後方插補，所以能夠期待畫質提高。 尤其在根據背景和前景進行不同的運動的圖像中，在只從雙向生成插補圖像時， 在背景隱藏於前景後面而看不到的區域(遮擋(occlusion)區域)中，畫質惡化變明顯，但 通過前方或後方外插插補，能夠解決這種畫質惡化的問題。 根據以上說明的實施例3的圖像編碼裝置及圖像編碼方法，與實施例1不同，輸出 編碼流中包含表示用於生成插補圖像的插補方向的標誌數據。由此，能夠增加在解碼側進 行的插補處理的種類，除B圖片外，P圖片也能夠設為插補圖像幀，所以能夠進一步削減數 據。並且，也能夠實現B圖片的插補圖像的高畫質。 下面，說明實施例3的圖像解碼裝置。關於實施例3的圖像解碼裝置的結構，把實 施例1中的圖11所示的運動估計部1101替換為圖20所示的運動估計部2005，其他部分與 實施例1相同，所以省略說明。 實施例3的解碼裝置的運動估計部2005由運動估計方法確定部2001、運動估計 部2002、預測誤差計算部2003和運動矢量確定部2004構成。在運動估計方法確定部2001 中，根據由句法分析部1002發送的運動估計方向判定標誌的信息，確定雙向、前向、後向的 運動估計方法。在確定運動估計方法後，由運動估計部2002、預測誤差計算部2003、運動矢 量確定部2004進行運動估計、預測誤差計算、運動矢量確定。關於雙向估計與實施例1相 同，關於前向估計、後向估計，進行與本實施例的圖像編碼裝置的前向估計、後向估計相同 的處理即可。 下面，圖21表示實施例3的圖像解碼裝置的處理流程。
首先，由可變長度解碼部1001對編碼流進行可變長度解碼，並發送給句法分析部 1002 (S2101)。然後，由句法分析部1002進行解碼後的流數據的句法拆分，向逆量化/逆頻 率變換部1003、插補圖像生成部1007發送編碼數據(S2102)。然後，由句法分析部1002判 定編碼對象幀的圖片類型(S2103)。在編碼對象幀是插補幀時，對於解碼對象區域，根據由 句法分析部1002發送的運動估計方向判定標誌，由運動估計方法確定部2001根據雙向、前 向或後向等運動估計方向，確定使用一個運動估計方向的運動估計方法(S2104)。在確定運 動估計方法後，由運動估計部2005實施運動估計(S2105)。在運動估計部2005中，計算預 測誤差絕對值之和及運動矢量，並且通過與實施例1的運動估計部1101相同的處理，計算 預測誤差差分絕對值之和(S2106)。然後，在預測誤差絕對值之和差分為閾值S工以下或者 預測誤差差分絕對值之和為閾值S2以上時，插補圖像生成部1102通過與實施例1相同的 處理，生成插補像素(S2108)。另一方面，在編碼對象幀不是插補幀時、和不滿足S2107的 條件時，由逆量化/逆頻率變換部1003進行逆量化/逆頻率變換，並加算來自運動補償部 1006的數據，然後將數據存儲在解碼圖像存儲部1005中。然後，使用存儲在解碼圖像存儲 部1006中的數據，由運動補償部1006進行運動補償(S2109)。在運動補償部1006中，使用 由解碼圖像存儲部1005存儲的解碼圖像和由句法分析部1002發送的運動矢量，進行運動 補償並生成解碼圖像，存儲在解碼圖像存儲部1005中(S2111)。將利用上述方法生成的解 碼圖像或插補圖像輸出給影像顯示裝置1008(S2111)，並結束處理。 根據以上說明的實施例3的圖像解碼裝置及圖像解碼方法，通過進行使用了編碼 流中包含的運動估計方向判定標誌的處理，能夠應對多種插補處理。另外，能夠在解碼側一 次完成該多種插補處理的運動估計處理，能夠大量削減處理量。 根據以上說明的實施例3的圖像編碼裝置和圖像編碼方法、以及圖像解碼裝置和 圖像解碼方法，能夠生成提高了數據壓縮率的編碼數據，並適合對該編碼數據進行解碼。
實施例4
下面，說明本發明的實施例4的圖像編碼裝置。實施例4的圖像編碼裝置是在實 施例1的圖像編碼裝置中，還設置了實施例2的模式選擇部1304、和實施例3的運動估計部 302及插補方向確定部1805的編碼裝置。即，實施例4的圖像編碼裝置使編碼流包含模式 判定標誌和運動估計方向判定標誌並輸出。 實施例4的編碼裝置的各個構成部分和各個處理內容，與實施例1、實施例2、實施 例3記述的各個構成部分和各個處理內容相同，所以省略說明。 在此，圖22表示在實施gh例4的編碼數據存儲部106中存儲的數據的一例。如圖 22所示，在各個分割區域中附加用於判定是編碼圖像區域還是插補圖像區域的模式判定標 志，還在插補圖像區域中附加用於進行判定雙向、前向、後向的運動估計方法的運動估計方 法判定標誌。 由此，能夠實現具有實施例2的效果和實施例3的效果的圖像編碼裝置及圖像編 碼方法，實施例2的效果是能夠簡化解碼時的處理，並減少數據量，實施例3的效果是除B 圖片之外，P圖片也能夠作為插補對象幀，並進一步減少數據量，提高B圖片的畫質。
下面，說明實施例4的圖像解碼裝置。實施例4的圖像解碼裝置的結構與實施例 3相同，所以省略說明。 使用圖23說明實施例4的解碼裝置的解碼對象區域圖像處理的流程。首先，由可變長度解碼部1001對編碼流進行解碼，並發送給句法分析部1002 (S2301)。然後，由句法分 析部1002進行解碼後的流數據的句法拆分，向逆量化/逆頻率變換部1003、插補圖像生成 部1007發送模式判定標誌及運動估計方法判定標誌、編碼數據(S2302)。然後，由句法分析 部1002根據編碼對象幀的圖片類型，判定編碼對象幀是編碼幀還是插補幀(S2303)。在編 碼對象幀是插補幀時，對於解碼對象區域，判定由句法分析部1002發送的模式判定標誌是 否是1 (表示解碼對象區域是插補圖像)(S2304)。在模式判定標誌是1時，運動估計方法確 定部2001根據由句法分析部1002發送的運動估計方向判定標誌，確定有關插補處理的運 動估計方向(S2305)，運動估計部2002、預測誤差計算部2003、運動矢量確定部2004進行運 動估計、預測誤差計算、運動矢量確定(S2306)，插補像素生成部1102使用所確定的運動矢 量，生成插補像素，由此生成插補圖像(S2307)。 另一方面，在編碼對象幀不是插補幀時、和不滿足S2107的條件時，由逆量化/逆 頻率變換部1003進行逆量化/逆頻率變換，並加算來自運動補償部1006的數據，然後將數 據存儲在解碼圖像存儲部1005中。然後，使用存儲在解碼圖像存儲部1006中的數據，由運 動補償部1006進行運動補償(S2309)。在運動補償部1006中，使用由解碼圖像存儲部1005 存儲的解碼圖像和由句法分析部1002發送的運動矢量，進行運動補償並生成解碼圖像，存 儲在解碼圖像存儲部1005中(S2310)。將利用上述方法生成的解碼圖像或插補圖像輸出給 影像顯示裝置1008(S2311)，並結束處理。 根據以上說明的實施例4的圖像解碼裝置及圖像解碼方法，能夠實現具有實施例 2的效果和實施例3的效果的圖像編碼裝置及圖像編碼方法，實施例2的效果是簡化解碼時 的處理，並減少數據量，實施例3的效果是通過進行使用了編碼流中包含的運動估計方向 判定標誌的處理，能夠應對多種插補處理，能夠在解碼側一次完成該多種插補處理的運動 估計處理，能夠大量削減處理量。 根據以上說明的實施例4的圖像編碼裝置和圖像編碼方法、以及圖像解碼裝置和 圖像解碼方法，能夠生成提高了數據壓縮率的編碼數據，並適合對該編碼數據進行解碼。
實施例5
下面，說明本發明的實施例5的圖像編碼裝置。實施例5的圖像編碼裝置具有與 實施例2的圖像編碼裝置相同的結構，但實施例2的模式選擇部1304按每個圖像塊生成模 式判定標誌，而實施例5的模式選擇部1304是在連續存在多個解碼對象區域是插補圖像的 塊(插補圖像模式塊)的情況下，生成表示該插補圖像模式塊連續的數量的標誌(插補圖 像模式連續塊數量標誌)，對於該多個連續的插補圖像模式塊，將一個插補圖像模式連續塊 數量標誌包含在編碼流中進行輸出。實施例5的圖像編碼裝置的其他各個結構及各個處理 內容，與實施例1和實施例2記載的各個結構及各個處理內容相同，所以省略說明。
並且，對於解碼對象區域是編碼圖像的塊，生成表示該塊是除插補圖像模式之外 的模式的非插補圖像模式的模式標誌並輸出。非插補圖像模式的模式標誌可以單純表示除 插補圖像模式之外的模式，也可以表示編碼模式的種類自身(宏塊類型等)。
在此，圖24表示實施例5的圖像編碼裝置的編碼數據存儲部106的數據的一例。 圖24(a)表示實施例2的圖像編碼裝置生成的數據，圖24(b)表示實施例5的圖像編碼裝 置生成的數據。 如圖所示，在圖24(a)所示的實施例2的數據中，存在多個連續的模式判定標誌。
19與此相對，在圖24(b)所示的實施例5的數據中，只在插補圖像模式塊連續的部分中插入了 一個插補圖像模式連續塊數量標誌。在圖24(b)的示例中，對應於插補圖像模式連續塊數 量標誌利用箭頭示出的數字，是插補圖像模式連續塊數量標誌表示的連續的插補圖像模式 塊的數量的示例。具體地講，在圖24 (b)的示例中，插補圖像模式連續塊數量標誌2401表示 數"4"，其表示4個塊a、b、c、d是連續的插補圖像模式塊。同樣，插補圖像模式連續塊數量 標誌2402表示數"l"，其表示只有一個塊e是插補圖像模式塊。同樣，插補圖像模式連續塊 數量標誌2403表示數"5"，其表示5個塊f、g、h、 i、 j是連續的插補圖像模式塊。圖24(b) 所示的實施例5的數據使用這種插補圖像模式連續塊數量標誌，相比對每個塊附加模式判 定標誌的圖24(a)所示的實施例2的數據，能夠削減數據量。另外，對於解碼對象區域是編 碼圖像的塊中的各個塊，插入非插補圖像模式的模式標誌。 根據以上說明的實施例5的圖像編碼裝置及圖像編碼方法，除了實施例2的效果、 即簡化解碼時的處理並減少處理量之外，還能夠根據插補圖像模式連續塊數量標誌，利用 一個標誌表示多個塊的模式，能夠削減編碼數據量。 下面，說明本發明的實施例5的圖像解碼裝置。本發明的實施例5的圖像解碼裝 置的結構與實施例2的圖像解碼裝置的結構相同，所以省略說明。但是，關於本發明的實施 例5的圖像解碼裝置的處理流程，以下幾點與圖15所示的實施例2的圖像解碼裝置的處理 流程不同。除以下幾點之外，其他與圖15所示的流程相同，所以省略利用其他附圖進行說 明。即，在實施例2中，在圖15中的S1504，如果模式判定標誌是1，則進行S1505以後的插 補圖像的生成處理，如果模式判定標誌是O，則進行S1507以後的圖像解碼處理。
與此相對，在實施例5中，在圖15中的S1504檢測標誌，並判定是插補圖像模式連 續塊數量標誌還是非插補圖像模式的模式標誌。在檢測到的標誌是插補圖像模式連續塊 數量標誌的情況下，對於該插補圖像模式連續塊數量標誌所表示的數量的連續的塊，進行 S1505以後的插補圖像的生成處理。在標誌是非插補圖像模式的模式標誌的情況下，對該標 志所對應的塊進行S1507以後的圖像解碼處理。由此，在標誌是插補圖像模式連續塊數量 標誌，而且該標誌表示2以上的數字的情況下，通過一次判定處理即可確定有關多個塊的 圖像生成處理。 由此，實施例5的圖像解碼裝置相比實施例2，能夠進一步簡化解碼時的處理，並 減少處理量。 根據以上說明的實施例5的圖像解碼裝置和圖像解碼方法，對應於編碼流中包含 的插補圖像模式連續塊數量標誌，通過一次判定處理即可確定有關多個塊的圖像生成處 理。由此，具有相比實施例2能夠進一步簡化解碼時的處理和減少處理量的效果。
實施例6
下面，說明本發明的實施例6的圖像編碼裝置。實施例6的圖像編碼裝置具有與 實施例4的圖像編碼裝置相同的結構，但實施例4的模式選擇部1304按每個圖像塊生成模 式判定標誌和運動估計方向判定標誌，而實施例6的模式選擇部1304則與實施例5相同， 生成插補圖像模式連續塊數量標誌或非插補圖像模式的模式標誌，按每個插補圖像模式連 續塊數量標誌，生成運動估計方向判定標誌。有關運動估計方向判定標誌的具體說明與實 施例3和實施例4相同，所以省略說明。另外，有關插補圖像模式連續塊數量標誌或非插補 圖像模式的模式標誌的具體說明與實施例5相同，所以省略說明。實施例6的圖像編碼裝
20置的其他各個結構及各個處理內容，與實施例1 5記載的各個結構及各個處理內容相同，所以省略說明。 在此，圖25表示實施例6的圖像編碼裝置的編碼數據存儲部106的數據的一例。圖25(a)表示實施例4的圖像編碼裝置生成的數據，圖25(b)表示實施例6的圖像編碼裝置生成的數據。圖25(b)與圖24(b)相同，對應於插補圖像模式連續塊數量標誌利用箭頭示出的數字，示出插補圖像模式連續塊數量標誌表示的連續的插補圖像模式塊的數量的示例。在圖25(b)的示例中，插補圖像模式連續塊數量標誌2401表示數"4"，其表示4個塊a、b、c、d是連續的插補圖像模式塊。這與實施例5相同。在此，在實施例6中，對每個插補圖像模式連續塊數量標誌生成運動估計方向判定標誌，所以在插補圖像模式連續塊數量標誌2501後面插入運動估計方向判定標誌2502。在此，對於通過插補圖像模式連續塊數量標誌2501表示為連續的插補圖像模式塊的4個塊a、b、c、d，使用根據插補圖像模式連續塊數量標誌2501附帶的運動估計方向判定標誌2502所表示的運動估計方向而確定的運動估計方法，生成插補圖像。 圖25(b)所示的實施例5的數據使用這種插補圖像模式連續塊數量標誌，對每個插補圖像模式連續塊數量標誌，將運動估計方向判定標誌插入到編碼數據中。由此，相比對每個塊附加模式判定標誌和運動估計方向判定標誌的、圖25 (a)所示的實施例4的數據，能夠削減數據量。另外，對於解碼對象區域是編碼圖像的塊中的每個塊，插入非插補圖像模式的模式標誌，這一點與實施例5相同。 根據以上說明的實施例6的圖像編碼裝置及圖像編碼方法，具有實施例4的效果，即，簡化解碼時的處理，減少處理量，除B圖片之外，P圖片也被作為插補對象幀，能夠進一步減少數據量，並提高B圖片的畫質，除實施例4的效果之外，還能夠根據插補圖像模式連續塊數量標誌，利用一個標誌分別表示多個塊的模式和運動估計方向，能夠削減編碼數據 下面，說明本發明的實施例6的圖像解碼裝置。本發明的實施例6的圖像解碼裝置的結構與實施例4的圖像解碼裝置的結構相同，所以省略說明。但是，關於本發明的實施例6的圖像解碼裝置的處理流程，以下幾點與圖23所示的實施例4的圖像解碼裝置的處理流程不同。除以下幾點之外，其他與圖23所示的流程相同，所以省略利用其他附圖進行說明。即，在實施例4中，在圖23中的S2304，如果模式判定標誌是1，則進行S2305以後的插補圖像的生成處理，此時在S2305根據有關各個塊的運動估計方向判定標誌來確定運動估計方法，並進行S2306的運動估計。並且，如果在S2304模式判定標誌是0，則進行S2308以後的圖像解碼處理。 與此相對，在實施例6中，在圖23中的S2304檢測標誌，並判定是插補圖像模式連續塊數量標誌還是非插補圖像模式的模式標誌。在檢測到的標誌是插補圖像模式連續塊數量標誌的情況下，對於該插補圖像模式連續塊數量標誌所表示的數量的連續的塊，進行S2305以後的插補圖像的生成處理。此時在S2305根據該插補圖像模式連續塊數量標誌附帶的運動估計方向判定標誌，確定有關對該連續的多個塊生成插補圖像時的運動估計方法。在S2306，利用對該連續的多個塊所確定的運動估計方法來進行運動估計。在S2307，根據該估計結果生成插補圖像。並且，在S2304，在標誌是非插補圖像模式的模式標誌的情況下，對該標誌所對應的塊進行S1507以後的圖像解碼處理。
根據以上流程，通過使用了運動估計方向判定標誌的處理，能夠應對多種插補處理，同時在標誌是插補圖像模式連續塊數量標誌，而且該標誌表示2以上的數字的情況下，通過一次判定處理即可確定有關多個塊的圖像生成處理。 由此，實施例6的圖像解碼裝置除了實施例4的效果、即應對多種插補處理之外，相比實施例4能夠進一步簡化解碼時的處理，並減少處理量。 根據以上說明的實施例6的圖像解碼裝置和圖像解碼方法，能夠應對多種插補處理，並對應編碼流中包含的插補圖像模式連續塊數量標誌，通過一次判定處理即可確定有關多個塊的圖像生成處理。由此，具有相比實施例4能夠進一步簡化解碼時的處理和減少處理量的效果。 另外，在把以上說明的各個實施例的插補圖像的生成方法變更為下述的第1變形例、第2變形例或第3變形例時，也能夠實現為一種實施方式。 使用圖26說明第1變形例。圖26是表示第1變形例的插補圖像的生成方法的圖。第1變形例表示編碼/解碼對象幀是存在於參照幀之間的一個B圖片的情況。在圖26中，fn表示編碼/解碼對象幀，fn—工表示顯示順序在前、而且位於最接近編碼/解碼對象幀的位置的已編碼/解碼的參照幀，fn+1表示顯示順序在後、而且位於最接近編碼/解碼對象幀的位置的已編碼/解碼的參照幀。 在第1變形例中，按照以下所述執行運動矢量MV(u， v)的估計方法和插補像素值fn(x， y)的計算方法。 第1變形例中的運動估計按照塊單位進行。例如，在幀fn—工中從左上端開始運動估計，在幀4+1中從右下端開始運動估計，左右上下對稱地進行估計。計算兩個塊的絕對誤差之和(SAD)的合計值，選擇SAD為最小、而且MV為最小的塊的組合。在此，例如在1/4像素精度平面中進行運動估計。在1/4像素精度平面中，運動估計的塊尺寸為64X64像素，把其中跳過4像素的16像素用作採樣點。運動估計範圍以編碼對象塊的中心為基準。
關於第1變形例中的編碼/解碼對象幀內的插補像素值fn(x， y)的計算，使用幀fw和幀4+1之間的運動矢量MV(u， v)，根據下式6進行計算。
式6
formula see original document page 22 在式6中，利用作為MV(u， v)的起始點和終止點的參照幀fn—工和參照幀fn+1上的像素的平均值，計算4(x， y)。這是因為在第l變形例中，編碼/解碼對象幀是一個位於多個參照幀的中央的B圖片，其距兩個參照幀的時間距離相等。另外，在距兩個參照幀的時間距離有偏差的情況下，可以根據該偏差對在式6中向u和v乘以的係數1/2進行變更。該情況時，距參照幀的時間距離越近，該係數越小。此時，還可以向參照幀4—i上的像素值和參照幀fn+1上的像素值分別乘以對應於時間距離而偏差的係數。該情況時，距參照幀的時間距離越近，該係數越大。 以上是第1變形例的運動矢量MV(u，v)的估計方法和插補像素值fn(x，y)的計算方法。
下面，使用圖27說明第2變形例。第2變形例表示編碼/解碼對象幀是存在於參照幀之間的兩個B圖片中的任一圖片的情況。該情況時，對所存在的這兩個B圖片只進行一次運動估計。在圖27(a)中，4表示第1編碼/解碼對象幀，4+1表示第2編碼/解碼對象幀，fn—i表示顯示順序在前、而且位於最接近編碼/解碼對象幀的位置的已編碼/解碼的參照幀，fn+2表示顯示順序在後、而且位於最接近編碼/解碼對象幀的位置的已編碼/解碼的參照幀，fc表示虛擬的中心圖片。 在第2變形例中，按照以下所述執行運動矢量MV(u，v)的估計方法、和第1編碼/解碼對象幀的插補像素值4(x， y)及第2編碼/解碼對象幀的插補像素值f^(x， y)的計算方法。 首先，第2變形例中的運動估計的運動估計範圍的中心，是把虛擬中心圖片fc的編碼/解碼對象幀位置(x， y)定義為中心。關於運動矢量MV(u， v)的計算的其他具體情況，與第1變形例相同，所以省略說明。 關於第1編碼/解碼對象幀的插補像素值fn(x，y)和第2編碼/解碼對象幀的插補像素值fn+1 (x， y)，可以使用幀fn—:和幀fn+2之間的運動矢量MV (u， v)，分別利用下式7和式8進行計算。formula see original document page 23 使用圖27(b)說明式7的計算方法。圖27(b)是平面地表示圖27(a)的示例。在此，表示使用通過把虛擬的中心圖片fc的位置(x，y)作為基準的運動估計而算出的運動矢量MV(u， v)，計算第1編碼/解碼對象幀fn的位置(x， y)上的像素值的情況。在圖27(b)的示例中，第1編碼/解碼對象幀fn處於在從參照幀fn—i到參照幀fn+2的時間距離中、相距參照幀fn—i為1/3相距參照幀fn+2為2/3的位置。因此，在式7中，把第1編碼/解碼對象幀4的位置(x， y)作為基準，對於使用向運動矢量MV乘以1/3後的1/3MV來表示的參照幀fn—工上的像素的像素值、和使用向運動矢量MV乘以2/3後的2/3MV來表示的參照幀fn+2上的像素的像素值，乘以與各自相距參照幀的時間距離對應的加權係數並相加，由此，計算第l編碼/解碼對象幀4(x，y)的像素值。其中，只要距參照幀的時間距離越近，該加權係數越大即可，在圖27(b)的示例中，向參照幀fn—工上的像素的像素值乘以2/3，向參照幀fn+2上的像素的像素值乘以1/3。 下面，圖27(c)表示式8的計算方法。在式8的計算方法中，也使用運動矢量MV(u，v)，並且，把第2編碼/解碼對象幀fn+1的位置(x， y)作為基準，使用根據從編碼/解碼對象幀到參照幀的時間距離向運動矢量MV(u， v)乘以係數後的運動矢量，來選擇參照幀上的像素，而且，向所選擇的像素值乘以與距參照幀的時間距離對應的加權係數並相加，這三點都與式7的計算方法相同。圖27(c)相對於圖27(b)的不同之處僅僅是從編碼/解碼對象 幀到參照幀的時間距離的關係不同，由此向運動矢量MV(u， v)乘以的係數也不同，所以省 略具體說明。 另外，像第2變形例這樣，當參照幀之間存在兩個B圖片時，在B圖片的時間位置 不是將參照幀之間三等分之後的位置時，也可以根據距參照幀的時間距離來變更係數。
以上是第2變形例的運動矢量MV(u， v)的估計方法、和第l編碼/解碼對象幀的 插補像素值fn(x， y)及第2編碼/解碼對象幀的插補像素值fn+1 (x， y)的計算方法。
S卩，根據第2變形例，通過一次運動估計，即可對位於參照幀之間的兩個編碼/解 碼對象幀上處於相同位置的每個像素，計算插補像素值。 下面，使用圖28說明第3變形例。第3變形例是將第1變形例和第2變形例普通 化(一般化)後形成的示例，表示在兩個參照幀之間存在m個B圖片的情況。在圖28中， 在參照幀fA和參照幀fB之間插入有從f:(第1個B圖片)到fm (第m個B圖片)的m個B 圖片。其中，fc是虛擬的中心圖片，並且與第2變形例相同，被作為計算運動矢量MV(u，v) 時的基準。 在第3變形例中，可以根據式9計算圖28所示的第k個B圖片fk是編碼/解碼 對象幀時的插補像素值fk(x， y)。
式9
W + l /M+l /M + l 併+ 1 在式9的計算方法中，也使用運動矢量MV(u， v)，並且，把編碼/解碼對象幀fk的 位置(x，y)作為基準，使用根據從編碼/解碼對象幀到參照幀的時間距離向運動矢量MV(u， v)乘以係數後的運動矢量來選擇參照幀上的像素，而且，向所選擇的像素值乘以與距參照 幀的時間距離對應的加權係數並相加，這三點都與式7或式8的計算方法相同。
以上是第3變形例的編碼/解碼對象幀的插補像素值fk(x， y)的計算方法。
S卩，根據第3變形例，通過一次運動估計，即可對位於參照幀之間的m個編碼/解 碼對象幀上處於相同位置的每個像素，計算插補像素值。 在以上的實施例中說明的插補圖像幀、插補圖像區域、插補圖像模式、插補圖像模 式塊，都是通過基於參照圖像間的運動預測的插補處理來生成插補圖像，所以可以分別表 述為參照圖像間運動預測幀、參照圖像間運動預測區域、參照圖像間運動預測模式、參照圖 像間運動預測模式塊。 並且，在以上的實施例中說明的使用了插補圖像的圖像編碼/圖像解碼技術、即 基於參照圖像間運動預測的圖像編碼/圖像解碼技術，相比現有技術，其效果如下所述。
g卩，在H. 264/AVC中的雙向運動補償預測中，採用根據已編碼的塊的運動信息來 預測生成運動信息的跳躍(skip)模式和直接(direct)模式。跳躍模式和直接模式不需要 傳輸運動信息，所以是對削減編碼量有效的技術。但是，跳躍模式和直接模式有時運動信息 的預測精度會下降。例如，在利用時間方向的運動信息的相關性的時間直接模式中，利用和 在顯示順序中位於編碼對象圖像後方最近的參照圖像內的編碼對象塊處於相同位置的塊 (錨定塊anchor block)的運動矢量，在錨定塊被實施畫面內編碼的圖像中，將不能獲取運動信息，所以預測精度下降。並且，在利用空間方向的運動信息的相關性的空間直接模式 中，利用編碼對象塊的周邊塊的運動矢量，在周邊塊分別進行不同的運動的圖像中，運動信 息的空間相關性下降，所以預測精度下降。 與此相對，在以上各個實施例中說明的使用了插補圖像的圖像編碼/圖像解碼技 術、即基於參照圖像間運動預測的圖像編碼/圖像解碼技術中，檢測在前向參照圖像和後 向圖像之間相關性較高的塊，並使用該檢測到的運動矢量。因此，即使是作為在跳躍模式或 直接模式中容易產生預測精度下降的圖像的、編碼對象幀在運動的圖像、而且是錨定塊被 實施了畫面內編碼的圖像，也能夠抑制預測精度的下降。 並且，同樣，在以上各個實施例中說明的使用了插補圖像的圖像編碼/圖像解碼 技術中，在預測運動矢量時，不使用編碼對象塊的周邊塊的運動矢量。因此，即使是作為在 跳躍模式或直接模式中容易產生預測精度下降的圖像的、周邊塊分別進行不同的運動的圖 像，也能夠抑制預測精度的下降。 S卩，根據本發明的各個實施例的圖像編碼、圖像解碼技術，相比以往的跳躍模式或 直接模式，更能適合於實現數據壓縮率的提高。
2權利要求
一種圖像解碼方法，是動態圖像的解碼方法，其特徵在於，包括運動估計步驟，對於解碼對象幀的解碼對象區域，使用已解碼的多個幀的圖像進行運動估計；和判定步驟，根據所述運動估計的結果，判定是通過插補處理來生成所述解碼對象區域的圖像、還是通過使用了編碼流中包含的數據的運動補償來生成解碼圖像。
2. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括如下步驟在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像的情況下，根據與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域中的每個圖像區域是在編碼時作為編碼圖像區域而被處理的區域、還是在編碼時作為插補圖像區域而被處理的區域，變更預測矢量的計算方法，來進行運動補償，並生成解碼圖像。
3. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括如下步驟在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像、而且與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域都是在編碼時作為插補圖像區域而被處理的區域的情況下，根據在所述鄰接的多個圖像區域的解碼時的插補處理中使用的運動矢量來計算預測矢量，使用該預測矢量來進行運動補償，並生成解碼圖像。
4. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括如下步驟在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像、而且與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域都是在編碼時作為插補圖像區域而被處理的區域的情況下，計算在所述鄰接的多個圖像區域的解碼時的插補處理中使用的運動矢量的中間值矢量，作為預測矢量，使用該預測矢量來進行運動補償，並生成解碼圖像。
5. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括如下步驟在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像、而且與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域中的一部分是在編碼時作為編碼圖像區域而被處理的區域、所述鄰接的多個圖像區域中的剩餘圖像區域是在編碼時作為插補圖像區域而被處理的區域的情況下，根據在所述編碼時作為編碼圖像區域而被處理的區域中在解碼時的運動補償中使用的運動矢量、和在所述編碼時作為插補圖像區域而被處理的區域中在解碼時的插補處理中使用的運動矢量，計算預測矢量，使用該預測矢量來進行運動補償，並生成解碼圖像。
6. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括如下步驟在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像、而且與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域中的一部分是在編碼時作為編碼圖像區域而被處理的區域、所述鄰接的多個圖像區域中的剩餘圖像區域是在編碼時作為插補圖像區域而被處理的區域的情況下，根據在所述編碼時作為編碼圖像區域而被處理的區域中在解碼時的運動補償中使用的運動矢量、和在所述編碼時作為插補圖像區域而被處理的區域中在解碼時的插補處理中使用的運動矢量，計算中間值矢量作為預測矢量，使用該預測矢量來進行運動補償，並生成解碼圖像。
7. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括插補圖像生成步驟，該插補圖像生成步驟為在所述判定步驟中判定為通過插補處理來生成所述解碼對象區域的圖像的情況下，對於所述解碼對象區域的圖像，使用在所述運動估計步驟中使用的所述已解碼的多個幀的圖像上的像素值，計算所述解碼對象區域的圖像上的像素值，來生成所述解碼對象區域的插補圖像。
8. 根據權利要求1所述的圖像解碼方法，其特徵在於，在所述運動估計步驟中，計算在時間空間上與所述解碼對象區域中包含的對象像素位於同一直線上、並且位於所述已解碼的多個幀的圖像上的多個像素之間的像素值的絕對差，對所述解碼對象區域中包含的像素計算該像素值的絕對差之和，將該絕對差之和為最小的運動矢量、以及所述最小的絕對值之和作為運動矢量估計結果，在所述判定步驟中，通過所述最小的絕對值之和與預定值之間的比較，判定是否通過插補處理來生成所述解碼對象區域的圖像。
9. 根據權利要求1所述的圖像解碼方法，其特徵在於，在所述運動估計步驟中，計算在時間空間上與所述解碼對象區域中包含的對象像素位於同一直線上、並且位於所述已解碼的多個幀的圖像上的多個像素之間的像素值差，對所述解碼對象區域中包含的像素計算該像素值的絕對差之和，確定所述絕對差之和為最小的運動矢量，計算差分的絕對值之和，該差分是所述最小的絕對值之和與所述解碼對象區域的周邊區域的絕對值之和的差分，並將所述運動矢量、以及所述最小的絕對值之和與所述解碼對象區域的周邊區域的絕對值之和的差分的絕對值之和，作為運動矢量估計結果，在所述判定步驟中，通過所述最小的絕對值之和與所述解碼對象區域的周邊區域的絕對值之和的差分的絕對值之和、與預定值之間的比較，判定是否通過插補處理來生成所述解碼對象區域的圖像。
10. 根據權利要求1所述的圖像解碼方法，其特徵在於，在所述運動估計步驟中，根據編碼流中包含的運動估計方法判定標誌，來確定運動估計的時間方向。
11. 一種圖像解碼方法，是動態圖像的解碼方法，其特徵在於，包括判定步驟，根據編碼流中包含的模式判定標誌，判定是通過使用了已解碼圖像的插補處理來生成解碼對象區域的圖像、還是通過使用了編碼流中包含的數據的運動補償處理來生成解碼圖像；禾口圖像生成步驟，根據所述判定步驟的判定結果，對使用了已解碼圖像的插補處理和使用了編碼流中包含的數據的運動補償處理進行切換，並生成解碼圖像。
12. 根據權利要求11所述的圖像解碼方法，其特徵在於，在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像的情況下，在所述圖像生成步驟中，根據與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域中的每個圖像區域是在編碼時作為編碼圖像區域而被處理的區域、還是在編碼時作為插補圖像區域而被處理的區域，變更預測矢量的計算方法，來進行運動補償，並生成解碼圖像。
13. 根據權利要求11所述的圖像解碼方法，其特徵在於，在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像、而且與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域都是在編碼時作為插補圖像區域而被處理的區域的情況下，在所述圖像生成步驟中，根據在所述鄰接的多個圖像區域的解碼時的插補處理中使用的運動矢量來計算預測矢量，使用該預測矢量來進行運動補償，並生成解碼圖像。
14. 根據權利要求11所述的圖像解碼方法，其特徵在於，在所述判定步驟中對所述解碼對象區域的圖像判定為通過使用了編碼流中包含的數據的運動補償來生成解碼圖像、而且與所述解碼對象幀的解碼對象區域鄰接的多個圖像區域中的一部分是在編碼時作為編碼圖像區域而被處理的區域、所述鄰接的多個圖像區域中的剩餘圖像區域是在編碼時作為插補圖像區域而被處理的區域的情況下，在所述圖像生成步驟中，根據在所述編碼時作為編碼圖像區域而被處理的區域中在解碼時的運動補償中使用的運動矢量、和在所述編碼時作為插補圖像區域而被處理的區域中在解碼時的插補處理中使用的運動矢量，計算預測矢量，使用該預測矢量來進行運動補償，並生成解碼圖像。
15. 根據權利要求11所述的圖像解碼方法，其特徵在於，在所述判定步驟中判定為通過使用了已解碼圖像的插補處理來生成所述解碼對象區域的圖像的情況下，在所述圖像生成步驟中，根據編碼流中包含的運動估計方法判定標誌來確定運動估計方法，並根據該確定的運動估計方法，使用已解碼的多個幀的圖像來進行運動估計，根據通過該運動估計而確定的運動矢量所表示的所述已解碼的多個幀上的像素的像素值，計算插補對象像素的像素值，並生成插補圖像。
16. —種圖像解碼方法，是動態圖像的解碼方法，其特徵在於，編碼流中包含第1標誌和第2標誌，該第1標誌表示在解碼對象區域中通過使用了已解碼圖像的插補處理生成的圖像塊連續存在的數量，該第2標誌表示對解碼對象區域的圖像塊通過使用了編碼流中包含的數據的運動補償處理來生成解碼圖像，該圖像解碼方法包括判定步驟，從所述編碼流中檢測標誌，並判定所檢測出的標誌是第1標誌還是第2標誌；禾口圖像生成步驟，根據所述判定步驟的判定結果，對以下兩個處理進行切換並生成解碼圖像，這兩個處理是對第1標誌所對應的多個圖像塊進行的使用了已解碼圖像的插補處理，和對第2標誌所對應的多個圖像塊進行的使用了編碼流中包含的數據的運動補償處理。
17. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括插補圖像生成步驟，該插補圖像生成步驟為在所述已解碼的多個幀之間存在1個B圖片，該B圖片是所述解碼對象幀，而且在所述判定步驟中判定為通過插補處理來生成所述解碼對象區域的圖像的情況下，使用在所述運動估計步驟中所使用的所述已解碼的多個幀的圖像上的多個像素值的平均值、或者對該多個像素值中的每一個像素值乘以係數之後的值，來計算所述解碼對象區域的圖像上的像素值，並生成所述解碼對象區域的插補圖像，其中所述係數與從所述解碼對象幀到所述已解碼的多個幀中的每一個幀的距離相對應。
18. 根據權利要求1所述的圖像解碼方法，其特徵在於，包括插補圖像生成步驟，該插補圖像生成步驟為在所述已解碼的多個幀之間存在m個B圖片，該m個B圖片中的一個圖片是所述解碼對象幀，而且在所述判定步驟中判定為通過插補處理來生成所述解碼對象區域的圖像的情況下，使用對在所述運動估計步驟中所使用的所述已解碼的多個幀的圖像上的多個像素值中的每一個像素值乘以係數之後的值，來計算所述解碼對象區域的圖像上的像素值，並生成所述解碼對象區域的插補圖像，其中所述係數與從所述解碼對象幀到所述已解碼的多個幀中的每一個幀的距離相對應。
19. 根據權利要求11所述的圖像解碼方法，其特徵在於，包括插補圖像生成步驟，該插補圖像生成步驟為在所述已解碼的多個幀之間存在1個B圖片，該B圖片是所述解碼對象幀，而且在所述判定步驟中判定為通過插補處理來生成所述解碼對象區域的圖像的情況下，使用在所述運動估計步驟中所使用的所述已解碼的多個幀的圖像上的多個像素值的平均值、或者對該多個像素值中的每一個像素值乘以係數之後的值，來計算所述解碼對象區域的圖像上的像素值，並生成所述解碼對象區域的插補圖像，其中所述係數與從所述解碼對象幀到所述已解碼的多個幀中的每一個幀的距離相對應。
20. 根據權利要求11所述的圖像解碼方法，其特徵在於，包括插補圖像生成步驟，該插補圖像生成步驟為在所述已解碼的多個幀之間存在m個B圖片，該m個B圖片中的一個圖片是所述解碼對象幀，而且在所述判定步驟中判定為通過插補處理來生成所述解碼對象區域的圖像的情況下，使用對在所述運動估計步驟中所使用的所述已解碼的多個幀的圖像上的多個像素值中的每一個像素值乘以係數之後的值，來計算所述解碼對象區域的圖像上的像素值，並生成所述解碼對象區域的插補圖像，其中所述係數與從所述解碼對象幀到所述已解碼的多個幀中的每一個幀的距離相對應。
全文摘要
一種圖像解碼方法，提高數據壓縮率。在動態圖像的解碼方法中，包括運動估計步驟，對於解碼對象幀的解碼對象區域，使用已解碼的多個幀的圖像進行運動估計；和判定步驟，根據所述運動估計的結果，判定是通過插補處理來生成所述解碼對象區域的圖像、還是通過使用了編碼流中包含的數據的運動補償來生成解碼圖像。
文檔編號H04N7/32GK101742331SQ20091022493
公開日2010年6月16日 申請日期2009年11月26日 優先權日2008年11月26日
發明者伊藤浩朗, 山口宗明, 齋藤昇平, 浜田宏一, 高橋昌史 申請人:日立民用電子株式會社