圖像編碼和解碼的方法以及裝置的製作方法

2023-05-04 11:33:06

專利名稱：圖像編碼和解碼的方法以及裝置的製作方法
技術領域：
本發明涉及一種用於運動圖像或者靜止圖像的編碼和解碼的方 法以及裝置。
背景技術：
近年來，作為大幅提高編碼效率的圖像編碼方法，ITU-T和 ISO/IEC共同建議使用ITU-T Rec.H.264以及ISO/IEC 14496-10 (以 下稱作H.264 )。在ISO/IEC MPEG-1、 2以及4、 ITU-T H.261以及 H.263這樣的編碼方式中，進行正交變換後的頻域(DCT係數)上的 幀內預測，從而減少變換係數的碼量。與此相對，在H.264中通過引 入空間區域(像素區域)中的方向預測(參照Greg Conklin，"New Intra Prediction Modes" ， ITU-T Q.6/SG16 VCEG， VCEG國N54, Sep.2001.)， 與ISO/IEC MPEG-1 、 2以及4中的幀內預測相比，實現了更高的預 測效率。
在H.264高規格(High profile)中，對亮度信號規定了 3種幀 內預測方式，能夠將其中之一選擇為宏塊(16x16像素塊)單位。3 種幀內預測方式,皮稱作4x4像素預測、8x8像素預測以及16x16像素 預測。
在16x16像素預測中，規定了被稱作垂直預測、水平預測、DC 預測以及平面預測的4個預測才莫式。在4個預測才莫式中，將應用去塊 濾波器(Deblocking filter )前的局部解碼信號中的編碼對象宏塊周圍 的宏塊的像素值用作參照像素值來進行預測。
4x4像素預測將宏塊分割為16個4x4像素塊(子塊)，對於各 個4x4像素塊，對每個塊選擇9個預測模式中的某一個。9個預測模 式中除了以可利用的參照像素的平均像素值進行預測的DC預測(模
10式2)之外的8個模式，分別具有以22.5度間隔錯開的預測方向。通 過使用參照像素在預測方向上進行外插插值，從而生成預測信號。
8x8像素預測將宏塊分割為4個8x8像素塊(子塊)，對於各個 8x8像素塊，按每塊選擇上述9個預測模式中的某一個。預測模式是 以與4x4像素預測相同的框架進行設計的。但是追加了如下處理通 過對編碼完成的參照像素進行3抽頭的濾波，使預測中使用的參照像 素平坦化，從而使編碼失真平均化。
在Kenneth K.C.Lee et al. "Spatial Domain Contribution to a High Compression Efficiency System" IWAIT2006， Jun. 2006中公開 了如下方法從上述9個預測模式候補中選擇2個預測模式，對按照 所選擇的2個預測模式而生成的預測信號以像素為單位求出平均值， 從而生成預測信號。根據該方法，對於在通常的4x4像素預測、8x8 像素預測中無法假想的複雜的結構，也實現了較高的預測效率。
才艮才居Kenneth K.C.Lee et al. "Spatial Domain Contribution to a High Compression Efficiency System" IWAIT2006，Jun.2006，宏塊內 的子塊(4x4像素塊或者8x8像素塊)的預測順序^C統一固定。例如， 在4x4像素塊的預測中，考慮將宏塊進行了 4分割的8x8像素塊，對 將8x8像素塊進一步進行4分割的4x4像素塊依次進行外插預測。通 過將這種8x8 ^f象素塊單位的處理重複進行4次，從而完成16個4x4 像素塊的預測編碼。另一方面，在8x8像素塊的預測中，對將宏塊進 行了 4分割的8x8像素塊依次進行外插預測。

發明內容
H.264的幀內預測以外插預測為基本，因此理論上對於宏塊內的 子塊只能參照左以及上的像素。因而，當子塊的像素和左以及上的像 素之間的亮度的相關性低時，預測殘差增大，結果使編碼效率下降。
另夕卜，在Kenneth K,C丄ee et al."Spatial Domain Contribution to a High Compression Efficiency System" IWAIT2006，Jun.2006中，始 終使用2個預測模式。即，即使利用單一的預測模式就足夠時，也使用2個^=莫式來進行預測，因此在編碼效率方面具有改良的餘地。
本發明的目的在於，提供一種編碼效率高的圖像編碼和解碼的方 法以及裝置。
根據本發明的一個觀點，提供一種圖像編碼裝置，具備第1 選擇部，從預先決定的多個預測順序中，選擇針對將分割輸入圖像信
號的幀而得到的多個^^素塊進一步分割後的多個子塊的預測順序；第 2選擇部，從對參照編碼完成像素而生成上述各子塊的第l預測信號 時的該編碼完成像素的參照方法進行規定的多個預測模式中，選擇上 述第l預測信號的預測中使用的預測模式的數量；第3選擇部，從上 述多個預測模式中，選擇用於在上述第l預測信號的預測中使用的、 上述所選擇的數量的預測模式；生成部，為了生成與上述像素塊對應 的第2預測信號，使用上述所選擇的數量的上述所選擇的預測模式， 以所選擇的預測順序生成上述第l預測信號；以及編碼部，為了生成 基於上述預測編碼的編碼數據，對表示上述像素塊的圖像信號和上述 第2預測信號之差的預測殘差信號進行編碼。
根據本發明的其它觀點，提供一種圖像解碼裝置，具備第1 選擇部，從預先決定的多個預測順序中，選擇針對將分割圖像信號的 幀而得到的多個像素塊進一步分割後的多個子塊的預測順序；第2選 擇部，從對參照解碼完成像素而生成上述各子塊的第l預測信號時的 該解碼完成像素的參照方法進行規定的多個預測模式中，選擇上述第 1預測信號的預測中使用的預測模式的數量；第3選擇部，從上述多 個預測模式中，選擇用於在上述第l預測信號的預測中使用的、上述 所選擇的數量的預測模式；為了生成與上述像素塊對應的第2預測信 號，使用上述所選擇的數量的上述所選擇的預測模式，以所選擇的預 測順序生成上述第l預測信號的生成部；以及使用上述第2預測信號 來生成解碼圖像信號的生成部。
在本發明的另外其它觀點中，提供一種保存有用於使計算機執行 上述圖像編碼處理以及圖像解碼處理中的至少一個處理的程序的計 算機可讀取的記錄介質。


圖l是表示一個實施方式的圖像編碼裝置的框圖。
圖2A是表示編碼對象幀中的編碼對象塊以及編碼完成塊的圖。 圖2B是表示宏塊的塊大小的圖。 圖3A是表示8x8像素塊的圖。 圖3B是表示4x4像素塊的圖。 圖3C是表示8x8/4x4像素塊的圖。 圖4是表示圖1中的預測部的詳細結構的框圖。 圖5是表示圖1中的預測信號生成部的詳細結構的框圖。 圖6A是表示8x8像素塊和塊索引的圖。 圖6B是表示對圖6A的塊進行依次預測的預測順序的圖。 圖6C是表示對圖6A的塊進行外插/內插預測的預測順序的變更 例的圖。
圖6D是表示針對圖6A的塊的其它預測順序的變更例的圖。 圖7A是表示4x4像素塊和塊索引的圖。 圖7B是表示對圖7A的塊進行依次預測的預測順序的圖。 圖7C是表示對圖7A的塊進行外插/內插預測的預測順序的變更 例的圖。
圖7D是表示針對圖7A的塊的其它預測順序的變更例的圖。 圖8是說明預測順序切換部中所使用的預測順序表格的圖。 圖9A是表示單方向預測部中的依次塊預測的預測模式的圖。 圖9B是表示4x4像素預測中的預測像素和參照像素之間的關係的圖。
圖9C是說明模式0中的預測信號生成方法的圖。 圖9D是說明模式4中的預測信號生成方法的圖。 圖10是表示單方向預測部中的預測模式的名稱和模式索引的圖。
圖11是表示雙方向預測部中的預測模式的名稱和模式索引的
13圖。
圖12A是4x4像素預測中的垂直/水平預測(模式01)的概念圖。 圖12B是4x4像素預測中的垂直/正交右下預測(模式04)的概念圖。
圖13A是說明對8x8像素塊進行外插/內插塊預測的圖。 圖13B是說明對4x4像素塊進行外插/內插塊預測的圖。 圖14A是表示外插塊預測中的參照像素和預測像素的位置關係的圖。
圖14B是表示4x4像素預測中的內插塊(1)和參照像素之間的 關係的圖。
圖14C是表示4x4像素預測中的內插塊(2)和參照像素之間的 關係的圖。
圖14D是表示4x4像素預測中的內插塊(3 )和參照像素之間的 關係的圖。
圖15A是說明在外插塊預測中選擇了垂直預測(模式O)的情況 下的預測信號生成方法的圖。
圖15B是說明在外插塊預測中選擇了正交右下預測(模式4)的 情況下的預測信號生成方法的圖。
圖16是表示單方向預測部中的內插塊預測的預測模式的圖。
圖17是表示單方向預測部中的內插塊預測中進行的單方向預測 的預測模式的圖。
圖18A是表示在單方向預測部中對內插塊(1)能夠選擇的預測 模式的圖。
圖18B是表示在單方向預測部中對內插塊(2)能夠選擇的預測 模式的圖。
圖18C是表示在單方向預測部中對內插塊(3)能夠選擇的預測 模式的圖。
圖18D是表示在單方向預測部中對外插塊(4)能夠選擇的預測 模式的圖。圖19A是說明反方向垂直預測(模式9)中的內插塊(1)的預 測信號生成方法的圖。
圖19B是說明反方向垂直預測(模式9)中的內插塊(2)的預 測信號生成方法的圖。
圖20A是說明反方向水平預測(模式10)中的內插塊(1)的預 測信號生成方法的圖。
圖20B是說明反方向水平預測(模式10)中的內插塊(3)的預 測信號生成方法的圖。
圖21A是說明正交左值預測(模式12)中的內插塊(1)的預測 信號生成方法的圖。
圖21B是說明正交左值預測(模式12)中的內插塊(1)的預測 信號生成方法的圖。
圖21C是說明正交左值預測(模式12)中的內插塊(2)的預測 信號生成方法的圖。
圖22是表示雙方向預測部中的內插塊預測的預測模式的名稱和 模式索引的圖。
圖2 3是表示 一 個實施方式的圖像編碼的處理過程的流程圖。 圖24是詳細地表示圖23的一部分處理過程的流程圖。 圖25是表示圖像編碼部中所使用的語法(syntax)構造的一個 例子的圖。
圖26是表示宏塊層語法的數據構造的一個例子的圖。 圖27是表示宏塊預計語法的數據構造的一個例子的圖。 圖28是說明將預測模式變換為編碼索引的公式的圖。 圖29是說明將預測模式變換為編碼索引的表格的圖。 圖30是表示對於內插塊(1) 、 (2)以及(3)和外插塊(4) 能夠利用的預測模式的名稱和模式索引的圖。
圖31是表示宏塊預計語法的數據構造的其它例子的圖。
圖32是表示預測模式的導出方法的圖。
圖33是表示對預測模式進行預測時所參照的塊位置的圖。圖34是表示宏塊預計語法的數據構造的其它例子的圖。 圖35是表示序列參數設置語法的數據構造的一個例子的圖。 圖36是表示圖片參數設置語法的數據構造的一個例子的圖。 圖37是表示片頭語法(slice header syntax )的數據構造的一個 例子的圖。
圖38是表示宏塊層語法的數據構造的一個例子的圖。
圖39是表示宏塊預計語法的另外其它例子的圖。
圖40是表示一個實施方式的圖像解碼裝置的框圖。
圖41是表示圖40中的預測信號生成部的詳細結構的框圖。
圖42是說明將進行了解碼的索引逆變換為預測模式的公式的圖。
圖43是說明將進行了解碼的索引逆變換為預測模式的表格的圖。
圖44A是說明對預測模式進行內插塊(1)的預測時所參照的塊 位置的圖。
圖44B是說明對預測模式進行內插塊(2)的預測時所參照的塊 位置的圖。
圖44C是說明對預測模式進行內插塊(3)的預測時所參照的塊 位置的圖。
圖44D是說明對預測模式進行外插塊(4)的預測時所參照的塊 位置的圖。
具體實施例方式
下面參照

本發明的實施方式。
如圖l所示，在本發明的一個實施方式的圖像編碼裝置中，運動 圖像或者靜止圖像的輸入圖像信號120被輸入到圖像編碼部100。圖 像編碼部IOO具有幀分割部101、預測部102、模式選擇部103、正交 變換/量化部104、逆量化/逆正交變換部105、加法器106、參照圖像存儲器107以及熵編碼部108。
編碼控制部110為了對圖像編碼部100的全部編碼處理進行控 制，將編碼控制信息140提供給圖像編碼部100，並且從圖像編碼部 100適當接受反饋信息150。在編碼控制信息140中包括後述的預測 模式索引信息、塊大小切換信息、預測順序切換信息、預測模式數切 換信息以及量化參數信息等。量化參數信息包括量化幅度(量化階躍 大小)以及量化矩陣等信息。反饋信息150中包括決定量化參數所需 的、圖像編碼部100中的產生碼量信息。
在圖像編碼部100內，輸入運動圖像信號120被輸入到幀分割部 101。在幀分割部101中，通過將輸入圖像信號120的編碼對象幀分 割為多個像素塊來生成塊圖像信號121。例如，圖2A的編碼對象幀 被分割為如圖2B所示的16x16像素/塊的大小的多個塊。圖2B的塊 被稱作宏塊，它成為編碼的基本處理單位。即，編碼是以宏塊為單位 進行的。
從幀分割部IOI輸出的塊圖像信號121首先一皮預測部102施以幀 內預測。已知幀內預測是進行在幀內封閉的預測的方式。預測部102 通過將編碼完成的像素用作參照^象素來預測編碼對象塊，從而生成以 宏塊為單位的預測信號122。
在預測部102中，準備了用於幀內預測的多個預測才莫式，按照可 選擇的全部預測才莫式進行預測。預測部102也可以具有進行H.264的 幀內預測、即圖3A的8x8像素預測、圖3B的4x4像素預測或者圖 3C的8x8/4x4像素預測(在宏塊內混合存在8x8〗象素預測和4x4像 素預測)的預測模式。在這種H.264的幀內預測中，如果在宏塊內沒 有製作局部解碼圖像，則無法進行接下來的預測。這種情況下，也可 以在預測部102的內部進行正交變換/量化、逆量化/逆正交變換。
在8x8像素預測以及4x4〗象素預測中，將宏塊分別分割為8x8 像素塊以及4x4像素塊的子塊。在此，預測模式規定生成子塊預測信 號時的編碼完成像素的參照方法。子塊的形狀(包括大小)沒有被特 定限定，例如可以是16x8像素、8x16像素、8x4像素、4x8像素之
17像素預測也能夠以同樣的框架 來實現。
當減小子塊的塊大小時，即增大宏塊的分割數時，對後述的塊大 小切換信息進行編碼時的編碼量將增加，但是能夠實現預測效率更高 的幀內預測，因此預測殘差將被削減。因而，考慮後述的變換係數信 息的碼量和局部解碼信號之間的平衡來選擇塊大小即可。另外，也可 以對利用區域分割方法所生成的任意形狀的像素區域進行相同處理。
在預測部102中，生成預測信號122和從塊圖像信號121減去預 測信號122得到的預測殘差信號123。預測殘差信號123被輸入到正 交變換/量化部104和模式選擇部103。在正交變換/量化部104中，對 預測殘差信號123施以正交變換，並且對通過正交變換所得到的變換 係數進行量化，從而生成量化變換係數信息127。
關於作為正交變換/量化部104中的處理單位的變換/量化塊的形 狀，也能夠選擇8x8像素、4x4像素、16x8像素、8x16像素、8x4 像素、4x8像素之類的形狀。或者使變換/量化塊的形狀在一個宏塊內 不同，例如如圖3C所示，也可以在宏塊內使8x8像素塊和4x4像素 塊混合存在。
在模式選擇部103中，根據預測殘差信號123和經預測部102 輸入的預測模式索引信息、塊大小切換信息、預測順序切換信息以及 預測模式數兮換信息之類的與預測模式有關的信息(以下將預測模式 索引信息、塊大小切換信息、預測順序切換信息以及預測模式數切換 信息統稱為預測模式信息)124，計算出編碼成本，並基於該編碼成 本選擇最佳的預測模式。
更具體地說，例如將預測模式信息124設為OH、將預測殘差信 號的絕對值和(sum of absolute value) i殳為SAD時，才莫式選擇部103 將給出由下式計算出的編碼成本K的最小值的預測模式選擇為最佳 模式。
J = D+AxR (2)
在此，D是表示塊圖像信號121和解碼圖像信號130之間的平方 誤差的編碼失真。另一方面，R表示通過偽編碼估計的碼量。
在使用了式(2)的編碼成本J的情況下，每個預測模式都需要 偽編碼和局部解碼(逆量化、逆正交變換)，因此處理量或者電路規 模增大。但是，由於J反映正確的碼量和編碼失真，因此能夠選擇更 適合的預測才莫式。其結果，能夠得到更高的編碼效率。在式(2)中， 在編碼成本J的計算中使用了編碼失真D以及碼量R，但是也可以只 使用D以及R中的任一個來計算編碼成本。另外，也可以使用近似D 以及R的值來製作成本函數。
從模式選擇部103輸出表示所選擇的預測模式的最佳預測模式 信息125、和與所選擇的預測模式相對應的預測信號126。最佳預測 才莫式信息125和來自預測部102的預測殘差信號123被一起輸入到正 交變換/量化部104。正交變換/量化部104參照最佳預測模式信息125， 對預測殘差信號123施以正交變換、例如離散餘弦變換(DCT)。作 為正交變換，除此之外也可以使用小波變換、獨立成分分析等。在正 交變換/量化部104中，通過正交變換所得到的變換係數被量化，生成 量化變換係數信息127。在此，在正交變換/量化部104中量化所需的量化幅度等量化參數，根據來自編碼控制部110的編碼控制信息140 中包括的上述量化參數信息而被指示。
量化變換係數信息127、和編碼控制信息140中包括的預測模式 索引信息141、塊大小切換信息142、預測順序切換信息143、預測模 式數切換信息144以及量化參數等的與預測有關的信息被一起輸入到 熵編碼部108。熵編碼部108對量化變換係數信息127以及與預測有 關的信息施以例如霍夫曼編碼、對象關係映射(GORM)編碼或者算 術編碼那樣的熵編碼，生成編碼數據146。編碼數據146通過多路復 用部111被多路復用，並且通過輸出緩沖器112作為編碼比特流147 而,皮輸出。
量化變換係數信息127還被輸入到逆量化/逆正交變換部105。逆 量化/逆正交變換部105按照來自編碼控制部110的量化參數信息對量 化變換係數信息127進行逆量化，對通過逆量化所得到的變換係數施 以例如逆離散餘弦變換(IDCT)那樣的逆正交變換，從而生成與從 預測部102輸出的預測殘差信號123等效的預測殘差信號128。
由逆量化/逆正交變換部105生成的預測殘差信號128在加法器 106中與來自模式選擇部103的預測信號126相加，從而生成局部解 碼信號129。局部解碼信號129被存儲到參照圖像存儲器106。存儲 在參照圖像存儲器107中的局部解碼信號作為參照圖像信號130而初L 讀出，在由預測部102生成預測殘差信號123時被參照。
當針對編碼對象塊中可選擇的所有預測模式的處理結束時，編碼 循環(圖1中的預測部102—正交變換/量化部104—逆量化/逆正交變 換部105—參照圖像存儲器130—預測部102)完成一次。當針對某個 編碼對象宏塊的編碼循環處理結束時，下個編碼對象塊的塊圖像信號 121 ,皮輸入到預測部101，再次進4於編碼。
編碼控制部110進行基於產生碼量的反饋控制、量化參數控制進 行的比率(rate)控制、編碼模式控制以及預測部的控制等編碼全體 的控制。圖1的圖像編碼裝置通過LSI晶片等硬體來實現、或者通過 在計算機中執行圖像編碼程序來實現。
接著，使用圖4說明預測部102。預測部102具有生成預測信號 的預測信號生成部113，並且為了進行將宏塊進行分割得到的多個小 像素塊(稱為子塊)單位的預測，具有內部模式選擇部114、內部正 交變換/量化部115、內部逆量化/逆正交變換部116以及內部參照圖像 存儲器118。
當塊圖像信號121被輸入到預測部102時，通過預測信號生成部 113生成基於後述的單方向預測或者後述的雙方向預測的預測信號 122。此時，在預測生成部113中，從編碼控制部110傳遞包括預測 模式索引信息141、塊大小切換信息142、預測順序切換信息143以 及預測模式切換信息144的預測模式信息。編碼控制部110將多個預 測模式傳遞給預測生成部113,使預測信號生成部113進行基於多個 預測模式中的各個模式的預測。預測信號生成部113除了基於各個預 測才莫式的預測信號122之外，還生成與預測信號122相對應的預測才莫 式信息161。
減法器119從塊圖像信號121減去預測信號114而生成預測殘差 信號123。內部模式選擇部114根據經預測信號生成部113傳遞過來 的預測模式信息161 (包括預測模式索引信息141、塊大小切換信息 142、預測順序切換信息143以及預測模式切換信息144)和預測殘差 信號123，進行預測模式的選擇，輸出表示所選擇的預測模式的預測 模式信息124。
預測誤差信號123和從內部模式選擇部114輸出的預測模式信息 124被輸入到內部正交變換/量化部115。在內部正交變換/量化部115 中，參照預測模式信息124對預測殘差信號123施以正交變換例如 DCT。作為正交變換，除此之外還可以使用小波變換、獨立成分解析 等。在內部正交變換/量化部115中，通過正交變換所得到的變換係數 被量化，生成量化變換係數信息163。在此，在正交變換/量化部115 中量化所需的量化幅度等量化參數，是根據來自編碼控制部110的編 碼控制信息140中包括的上述量化參數信息而被指示的。量化變換係數信息163被輸入到內部逆量化/逆正交變換部116。 內部逆量化/逆正交變換部116按照來自編碼控制部110的量化參數信 息將量化變換係數信息163進行逆量化，對通過逆量化所得到的變換 係數施以例如IDCT這樣的逆正交變換，從而生成與預測殘差信號123 等效的預測殘差信號164。
由內部逆量化/逆正交變換部116生成的預測殘差信號164在加 法器117中與來自內部模式選擇部114的預測信號162相加，從而生 成內部解碼信號165。內部解碼信號165被存儲到內部參照圖像存儲 器118中。
存儲到內部參照圖像存儲器118中的局部解碼信號作為內部參 照圖像信號166而被讀出，在由預測信號生成部113生成預測殘差信 號時被參照。當在預測部102中完成所有子塊中的預測時，與宏塊相 對應的預測信號122、預測殘差信號123以及預測模式信息124被輸 出到向預測部102的外部。

接著，使用圖5說明預測信號生成部113。圖5隻示出了預測信 號生成部113中的與預測信號122的生成相關的部分。在圖5中，預 測順序切換部170針對塊圖像信號121,根據預測順序切換信息143 切換宏塊中的子塊的預測順序。即，預測順序切換部170從預先確定 的多個預測順序中選擇針對分割像素塊(宏塊)得到的多個子塊的預 測順序。由預測順序切換部170切換了預測順序的塊圖像信號被輸入 到單方向預測部171以及雙方向預測部172。
單方向預測部171以及雙方向預測部172為了生成與宏塊相對應 的預測信號，按照由預測順序切換部170切換選擇的預測順序和分別 選擇的預測模式，參照編碼完成像素來預測宏塊。
即，單方向預測部171根據預測模式索引信息141,選擇已準備 的多個預測模式中的一個預測模式。單方向預測部171按照這樣選擇 的預測模式以及塊大小切換信息142，參照參照圖像信號166來生成 預測信號。雙方向預測部172根據預測模式索引信息141，選擇上述已準備的多個預測模式中的兩個預測模式。雙方向預測部172按照這 樣選擇的兩個預測模式以及塊大小切換信息142，參照參照圖像信號 166來生成預測信號。從單方向預測部171以及雙方向預測部172輸 出的預測信號被輸入到預測模式數切換部173。
預測模式數切換部173按照預測模式數切換信息144而被控制， 從而選擇由單方向預測部171生成的預測信號以及由雙方向預測部 172生成的預測信號中的任一個，並輸出所選擇的預測信號122。換 言之，預測模式數切換部173從預先確定的多個預測模式中選擇可使 用的預測模式的數量。
使用圖6A 圖6D、圖7A 圖7D以及圖8說明預測順序切換部 170的動作。圖6A示出了 8x8像素預測中的成為宏塊內的子塊(8x8 像素塊)基準的索引blk。同樣地，圖7A示出了 4x4像素預測中的 宏塊內的子塊(4x4像素塊)的索引blk。在圖6A中，以對4分割宏 塊得到的8x8像素塊進行依次預測以及編碼處理的方式分配順序。在 圖7A中，考慮4分割宏塊得到的8x8像素塊，以對將該8x8像素塊 內進一步進行4分割得到的4x4像素塊進行依次預測以及編碼處理的 方式分配順序。
預測順序切換部170根據預測順序切換信息143而被控制，通過 根據表示預測順序切換信息143的後述的標誌block—order_flag的值 來變換成為上述基準的索引blk，從而切換子塊的預測順序。對於子 塊的次序idx，由下式給出實際編碼時的子塊的索引order(表示預測 順序)。 (3) 圖8示出了 blkConv[[的具體的變換表格的例子。在標誌 block—order—flag是0 (FALSE:假)的情況下，實際進行預測編碼 時的子塊的索引order是編碼對象的子塊的索引idx本身，不變更塊 的預測以及預測順序(以後將根據這種預測順序進行的預測稱為依次 預測)。
23圖6B以及圖7B分別示出了對圖6A以及圖7A進行依次預測的預測順序。即，在圖6B中，預測順序被設定為按照索引idx的順序(0—1—2—3)。同樣地，在圖7B中預測順序被設定為按照索引idx的順序(0—1—2—."~>14—15)。
另一方面，在標誌block—order—flag是1 (TRUE:真)的情況下，實際進行預測編碼的子塊的索引order表示如下的預測順序首先通過外插來預測4個子塊中的對角的l塊，並通過外插或者內插來預測剩餘的3塊。以下，將根據這種預測順序進行的預測稱為外插/內插預測。
圖6C以及圖7C分別示出了對圖6A以及圖7A進行外插/內插預測的預測順序變更例。在圖6C中，最初通過外插來預測idx=3的子塊，接著預測idx=l以及idx-2的子塊，最後通過外插來預測相對idx-3的子塊位於對角位置的idx=0的子塊。在圖7C中，對將8x8像素塊內進行4分割得到的4x4像素的4個子塊的每個子塊，與圖6C相同地設定預測順序。
並且作為其它例子，也可以根據宏塊內的像素的相關等性質，例如4象圖6D以及圖7D那樣任意地i殳定子塊的預測順序。
如上所述，由預測順序切換部170切換了預測順序的子塊被輸入到單方向預測部171或者雙方向預測部172，從而生成與各子塊相對應的預測信號。當預測模式數切換信息144表示預測模式數"1"時，模式數切換開關173輸出由單方向預測部171得到的預測信號，當預測模式數切換信息144表示預測模式數"2"時，輸出由雙方向預測部172得到的預測信號。從模式數切換開關173輸出的預測信號作為預測信號生成部113的輸出122而^皮取出。
接著，說明與根據標誌bloc、ordei^flag設定的預測順序相對應的單方向預測部171以及雙方向預測部172的處理。如上所述，單方向預測部171以及雙方向預測部172將圖4中所示的內部參照圖^f象存儲器118中保存的已經完成解碼的像素用作參照圖像信號166，從而進行編碼對象的子塊的預測。
24(依次塊預測中的單方向預測部171的處理)
作為單方向預測部171中的依次塊預測的預測模式，例如存在模 式0至模式8的9個模式。如圖9A所示，除了模式2的8個模式(模 式0、模式l、模式3~8)具有在輸入圖像信號IOO所形成的圖像空間 內以22.5度間隔進行了偏移的預測方向(參照編碼完成像素的方向)， 被稱作方向預測模式。在單方向預測部171中，模式2是DC預測模 式。圖10示出了單方向預測部171中的依次塊預測的預測模式即模 式0 8的名稱，對各名稱標記了表示模式0-8的模式索引。
圖9B示出了 4x4像素預測中的預測像素和參照像素之間的關 系。在圖9B中像素A M是參照像素，像素a p是預測像素。下面使 用圖9A、圖9B、圖9C以及圖9D說明具體的預測方法。
在單方向預測部171中，在選擇了模式2的DC預測的情況下， 通過下式計算出預測像素a p的值，從而生成預測信號。
a p = ave (A, B, C' D' RA' RB' RC, RD，
Q, R, S' T, RE， RF， RG, RH) (14)
對於內插塊(2)，根據下式來計算預測信號。 [式15
a p = ave (Q， R, S, T, E， F， G, H,
RA， RB， RC, RD) (15)
對於內插塊(3)，根據下式來計算預測信號。 [式16
a p = ave A B, C, D， U, V' W， X,
RE, RF, RG,鵬 (16)
在此，在式(14) 、 (15)以及(16)中，ave ( )表示內 所示的參照像素的平均像素值。
在內的參照像素的一部分無法利用的情況下，通過僅計算出 能夠利用的參照像素的平均像素值來生成預測信號。
在選擇了模式2以外的模式的情況下，單方向預測部171使用對 於圖16中所示的各預測方向將參照像素複製到預測像素的預測方法。 關於模式0 模式8的預測像素的計算是以與上述外插塊相同的預測角
31度進行預測，因此省略說明。
關於模式9 模式16，參照編碼完成的外插塊(4 )的像素或者根 據預測順序配置在宏塊內的編碼完成塊。具體地說，在選擇了模式9 (反方向垂直預測)的情況下，根據在下方向位於最近的參照像素而 生成預測信號。關於內插塊(1)以及內插塊(2),根據下式來計算 預測信號。
a, b， c， d = RE
e, f, g， h = RF
i,j，k, h = RG (18) m, n, o, p = RH
圖20A以及圖20B示出了基於^=莫式10的針對內插塊(1)以及 內插塊(3 )的預測信號的生成方法。參照像素RE RH直接被複製到 在水平方向上排列的預測像素，從而生成預測信號。關於內插塊(2)， 由於在右方向不存在參照^像素，因此無法利用才莫式IO。
並且，在選擇了模式12 (正交左上預測)的情況下，對於內插 塊(1),根據下式來計算預測信號。d - CRE+(RF l)+RG+2) 2
c, h = (RF+(RG l)+RH+2)》2 b, g, 1 = (RG+(RH l)+RI+2) 2
a, f, k， p = (RH+(RI l)+RD+2) 2 (19) e, j， o - (RI+(RD l)+RC+2) >> 2
i, n = (RD+(RC l)+RB+2) 2 m = (RC+(RB l)+RA+2) 2
關於內插塊(2),根據下式來計算預測信號。 [式20
d, c, h, b， g, 1, a, f, k， p = RD
e， j, o = (RC+(RD《l)+RD+2) 2
.i， n = (RB+OlC$<:l)+IlD+2)》2 (20)
m = (RA+(RB《l)+RC+2)》2
關於內插塊(3)，根據下式來計算預測信號。 [式21〗
d = (RE+(RF l)+RG+2) 2 c， li - (RF+(RG l)+RH+2) 2
b, g, 1 = (RG+(RH《l)+RH+2) 2 (21) a, f， k, p, e, j, o, m = RH
圖21A、圖21B以及圖21C示出了基於模式12的針對內插塊(1 )、 內插塊(2)以及內插塊(3)的預測信號的生成方法。將通過3抽頭 的濾波器而生成的值複製到左上45度方向上從而生成預測信號。
關於上述模式2、 9以及ll以外的預測模式(模式12~16)，也 使用如下的預測方法對於圖18A、圖18B、圖18C以及圖18D中所 示的預測方向，複製可參照且從最近的像素中進行了插值的預測信 號。在對於預測方向未配置參照像素的情況下，也可以複製最近的參 照像素的值來生成參照像素並利用，或者也可以根據多個參照像素的 內插插值而生成虛擬的參照像素，並將該虛擬的參照像素利用於預 測。
(內插塊預測中的雙方向預測部172的處理) 雙方向預測部172通過同時使用在內插塊預測中由單方向預測 部171進行的內插塊預測的17個預測才莫式(也包括DC預測)中的 兩個模式來進行包括多個方向性的預測。具體的預測信號生成方法與式(10)相同。即，將基於所選擇的兩個模式(在式(10)中是模式 "U"以及模式"V")的預測信號以像素為單位平均化後的值，設
為預測素的預測信號。
圖22示出了在雙方向預測部172中與在內插塊預測中進行的預 測模式的名稱相對應的模式索引。在圖22中存在使用兩個模式的預 測模式。例如，將使用垂直預測(模式0)和反方向水平預測(模式 10)的情況下的預測模式的名稱以及模式索引表述為"垂直/反方向水 平預測，，以及"模式0010"。在各預測模式的編號是1位數的情況下， 在開頭加0而標記為2位數。模式0和模式00具有相等的意思。
這樣，內插塊的雙方向預測不僅是預測模式的方向完全正對的單 純的內插預測，而且還能夠進行與該塊的極小的方向性變化、或者復 雜度相對應的內插預測。因而，能夠得到降低預測殘差信號的效果。
(圖像編碼的處理過程)
參照圖23說明圖像編碼部100的處理過程。當圖^f象編碼部100 被輸入1幀的輸入圖像信號120時(步驟S101)，輸入圖像信號120 的編碼對象幀被幀分割部101分割為多個像素塊(宏塊)，生成塊圖 像信號121。對塊圖像信號121開始進行編碼(步驟S102)。塊圖像 信號121 ,皮輸入到預測部102。
在預測部102中，首先判斷是否根據預測順序切換信息143來變 更子塊的預測順序(步驟S103)。在不變更預測順序的情況下(S103 的結果是"否")，block—order—flag是FALSE,預測順序切換部170 選擇按照式(3)所示的order對子塊進行預測編碼的"依次塊預測"。
在依次塊預測中，根據預測模式數切換信息144判斷是否對子塊 進行單方向預測(步驟S104)。在此，在進行單方向預測的情況下(S104 的結果是"是")，單方向預測部171進行預測(步驟S106)，在不 進行單方向預測的情況下(S104的結果是"否")，雙方向預測部 172進行預測(步驟S107)。
另一方面，在變更預測順序的情況下(S103的結果是"是")， blockjrder—flag是TRUE，預測順序切換部170按照式(3)所示的order選擇對子塊進行預測編碼的"外插/內插塊預測"。
在外插/內插塊預測中，根據預測模式數切換信息144判斷是否 對子塊進行單方向預測(步驟S105)。在此，在進行單方向預測的情 況下(S105的結果是"是")，單方向預測部171進行預測(步驟 S108)，在不進行單方向預測的情況下(S105的結果是"否")，雙 方向預測部172進行預測(步驟S109 )。
當步驟S106、 S107、 S108或者S109的預測結束時，根據式(3) 以及式(4)計算出宏塊內的總成本(1) (2) (3)或者(4)(步 驟Slll、 S112、 S113或者S114)。比較通過步驟Slll、 S112、 S113 或者S114計算出的各總成本，來確定預測方法(步驟S115)。以這 樣決定的預測方法由正交變換/量化部104以及熵編碼部108進行編 碼，並輸出編碼數據146 (步驟S116)。
此時由逆量化/逆正交變換部105對量化變換係數信息127進行 逆量化以及逆正交變換，從而生成被解碼的預測殘差信號128。通過 加法器106將被解碼的預測殘差信號128和從模式選擇部103輸入的 預測信號126進行相加，從而生成局部解碼信號129。局部解碼信號 129被存儲到參照圖像存儲器106中。
判定輸入運動圖像信號120的1幀的預測編碼是否結束(步驟 S117)。在預測編碼結束的情況下(S117的結果是"是")，輸入下 1幀的輸入圖像信號120，再次進行預測編碼。另一方面，在1幀的 預測編碼沒有結束的情況下(S117的結果是"否，，)，返回到步驟 S102,對下個宏塊的塊圖像信號121進行預測編碼。
接著，使用圖24說明圖23中的步驟S104以及S105的預測處理過程。
當預測部102被輸入塊圖像信號121時，首先對預測信號生成部 113設置以blk-O表示的子塊(步驟S201)。並且，進行模式選擇部 103以及內部模式選擇部114中的預測模式以及編碼成本的初始化(步 驟S202 )。例如，將預測模式index設置為O，將最小編碼成本min_cost 設置為無窮大。接著，由預測信號生成部113根據對於以blk-0表示的子塊能夠 選擇的一個模式，生成預測信號122 (步驟S203 )。取塊圖像信號121 和預測信號122之間的差分來生成預測殘差信號123，根據式(1)或 者式(2)計算編碼成本(步驟S204)。
模式選擇部103判別所計算出的編碼成本是否小於最小編碼成 本min—cost (步驟S205 )，在小的情況下(S205的結果是"是")， 以所計算出的編碼成本來更新最小編碼成本，並且將此時的預測模式 信息作為表示是最佳預測模式信息的best—mode索引而保持(步驟 S206 )。在所計算出的成本大於最小編碼成本min_cost的情況下(S205 的結果是"否")，使模式索引index遞增，判斷遞增後的index是 否大於模式的最後的編號(MAX)(步驟S207 )。
在index大於MAX的情況下(S207的結果是"是")，從模式 選擇部103將最佳預測模式信息125以及預測殘差信號126傳遞到正 交變換/量化部104,進行正交變換以及量化。通過熵編碼部108將由 正交變換/量化部104所得到的量化變換係數信息127與預測模式索引 信息141 一起進行熵編碼(步驟S208 )。另一方面，在index小於 MAX的情況下(S207的結果是"否")，返回步驟S203,生成由下 個index表示的預測模式的預測信號122。
當進行best_mode下的編碼時，將通過內部正交變換/量化部115 所得到的量化變換係數信息163傳遞給內部逆量化/逆正交變換部 116，進行逆量化和逆變換。通過內部加法器117將由內部逆量化/逆 正交變換部116生成的被解碼的預測殘差信號164與從內部模式選擇 部114輸入的best—mode的預測信號162進行相加。將由內部加法器 117生成的內部解碼信號165保存到內部參照圖像存儲器118中(步 驟S208)。
使該塊編碼數blk遞增，判斷遞增後的blk的值是否大於宏塊內 的小塊的總數BLK—MAX(如果是4x4像素預測則為16，如果是8x8 4象素預測則為4)(步驟S209)。在遞增後的blk的值大於BLK_MAX 的情況下(S209的結果是"是，，)，該宏塊內的預測處理結束。另一方面，在遞增後的blk小於BLK_MAX的情況下(S209的結果是 "否，，)，返回步驟S202，進行由下一個blk表示的小塊的預測處理。
如上所述，根據本實施方式，根據圖像的每個區域的性質(方向 性、複雜度以及結構)適應性地進行預測順序的切換、以及單方向預 測和雙方向預測的切換(預測模式數的切換)。因而，提高了預測效 率，結果提高了編碼效率。
在本發明一個實施方式的圖像編碼裝置中，能夠進行如下的各種變更。
(a) 在一個實施方式中，敘述了與4x4像素預測有關的幀內預 測。然而，在8x8像素、16x16像素預測中，或者對於色差信號，也 能 夠進行相同的幀內預測。
(b) 為了抑制運算成本，也可以進一步減少預測模式數。關於 預測方向並不限定於22.5度間隔，既可以將角度間隔設定得更細，也 可以將角度間隔設定得更粗。
(c) 在一個實施方式中，幀內預測的預測模式除去模式2而利 用了方向預測。然而，作為預測模式不僅是方向預測，也可以將平面 預測、共一次內插預測、三次巻積內插預測、最近內插預測這樣的內 插預測設定為 一 個預測模式。
(d) 在一個實施方式中，從多個預測模式中將為了雙方向預測 模式而準備的兩個模式下的平均像素值設為預測值。代替計算平均像 素值，也可以通過使用了 1:3、 l:4等權重係數的加權平均來求出預測 值。在這種情況下，也可以將各預測模式的權重係數表格化。
或者也可以利用記述了與最大值濾波器、最小值濾波器、中間值 濾波器、方向預測的角度、使用預測模式數相應的權重係數的權重表 格來計算預測像素。也可以從多個預測模式中選擇三個以上的預測模 式來生成預測值。關於來自多個預測模式的模式的選擇數、上述權重 表格，也可以按每個序列、每個圖片、每個片(slice)、每個宏塊、 或者像素這樣的每個單位，保持多個候補，並以各單位進行切換。
(d)在一個實施方式中，針對16x16像素的每個宏塊，切換對於子塊的預測順序是進行變更還是不進行變更。也可以對32x32像素、 64x64像素、64x32像素這樣的每個其它像素大小或者每幀，進行預 測順序變更的切換。
(e) 在一個實施方式中，說明了對宏塊內的子塊從幀的左上塊 向右下進行依次預測的情況，但是預測順序不限於此，例如既可以從 右下向左上進行依次預測，也可以從幀的中央螺旋狀地進行依次預 測。既可以從右上向左下進行依次預測，也可以從幀的周邊部向中心 部進行依次預測。
(f) 在一個實施方式中，作為預測模式只說明了幀內預測。但 是，也可以使用利用幀間的相關性來進行預測的幀間預測。當從多個 預測模式候補中選擇至少一個預測模式時，既可以選擇基於幀內預測 的預測模式和基於幀間預測的預測模式中的某一個，也可以選擇兩 者。當選擇基於幀內預測的預測模式和基於幀間預測的預測模式兩者 時，可實現將參照像素和預測像素的空間相關性以及時間相關性並用 的3維預測。
(g) 也可以在幀間編碼片中進行在一個實施方式中使用的幀內 預測。在這種情況下，幀內預測和幀間預測的切換無需是宏塊單位， 既可以是8x8像素塊單位，也可以是8x4像素塊單位。對於利用區域 分割方法生成的任意形狀的像素區域，也可以進行相同的處理。
(h) 在一個實施方式中，根據從式(1)或者式(2)計算出的 編碼成本，來切換是否變更預測順序以及是進行單方向預測還是進行 雙方向預測。編碼成本不限於式(1)以及(2)，還能夠使用從對象 塊、鄰接塊中計算出的分散、標準偏差、頻度分布或者相關係數這樣 的活度(activity)信息。也可以根據該活度信息切換預測順序變更切 換是進行單方向預測還是進行雙方向預測。
例如，對於對象塊內的預測像素，計算與左以及上的參照像素之 間的相關係數，如果相關係數例如大於某閾值，則判斷為預測像素和 左以及上的參照像素之間的相關性高，不變更預測順序。例如，計算 對象塊內的分散，如果分散值例如大於某閾值，則判斷為塊內的結構複雜而進行雙方向預測。另一方面，如果該分散值例如小於閾值，則 判斷為塊內的結構單調而進行單方向預測。
(j)在圖3所示的正交變換/量化部104以及逆量化/逆正交變換 部105中，無需對全部的預測殘差信號進行處理。例如，也可以由熵 編碼部108直接對預測殘差信號的一部分進行編碼。或者既可以省略 量化以及逆量化的處理，也可以省略正交變換和逆正交變換的處理。
(語法構造的第l例子) 接著，參照圖25說明在圖像編碼部100中所使用的語法構造的概要。
語法主要包括高級別語法201、片級別語法204以及宏塊級別語 法207這樣的三個部分。在高級別語法201中，填入有片以上的上位 層的語法信息。在片級別語法204中，明確記載有每個片所需的信息。 在宏塊級別語法207中，明確記載有每個宏塊所需的量化參數的變更 值、模式信息等。
三個部分由進一步詳細的多個語法構成。即，高級別語法201包 括序列參數設置語法202以及圖片參數設置語法203這樣的序列級別 以及圖片級別的語法。片級別語法204包括片頭語法205以及片數據 語法206。宏塊級別語法207包4舌宏塊層語法208以及宏塊預計語法 209。
在本實施方式中特別需要的語法信息是宏塊層語法208以及宏 塊預計語法209。下面使用圖26以及圖27詳細地說明宏塊層語法208 以及宏塊預計語法209。
圖26的宏塊層語法內所示的block一order—flag表示是否在宏塊 內進行預測順序的切換。即，標誌block—order—flag為FALSE表示 在宏塊內不進行預測順序的切換，標誌block_order—flag為TRUE表 示在宏塊內進行預測順序的切換。
在圖27的宏塊預計語法中，明確記載有宏塊內的每個子塊(4x4 像素塊或者8x8像素塊)的預測模式信息。關於單方向預測，以 intra4x4(8x8)—pred—mode 10—org或者intra 4x4 (8x8) — pred _ mode_11—org示出表示從多個預測模式中所使用的模式的預測模式信息。 關於雙方向預測中，預測模式信息具備兩個語法。在此，以 intra4x4(8x8)_pred—mode—10—org表示從多個預測模式中選擇2種預 測模式時的模式索引較小的一方(列表0)的預測模式，以 intra4x4(8x8)—pred_mode—11—org表示模式索引較大的一方(列表1) 的預測才莫式。也可以以intra4x4(8x8)_pred—mode—10—org表示才莫式索 引較大的一方(列表0 )的預測模式,以intra 4x4 (8x8) _ pred — mode 」ljrg表示模式索引較小的一方(列表l)的預測模式。
下面使用圖27說明選擇了 4x4像素預測的情況下的宏塊預計語 法的結構。
圖27中的blkConv[block-Order—flag[luma4x4Blkldxl具有進行 如圖8所示的預測順序變換的變換表格，輸出編碼對象塊的索引。
圖27中的intra4x4—pred—mode—10[block一order—flag[order]是 將intra4x4—pred—mode10—org[blockorder一flag[order按照後述的 modeConv[block一order—flag] [intra4x4—predmode—10org]進行變換 後的索引的數據。
圖27中的intra4x4—bi_pred_flag是切換對該4x4 4象素塊進行雙 方向預測還是不進行雙方向預測的標誌。即，該標誌 intra4x4_bi_pred—flag為FALSE意味著該4x4像素塊是單方向預測， 該標誌intra4x4—bi—pred—flag為TRUE意味著該4x4像素塊是雙方 向子貞測。
圖27中的intra4x4_pred_mode_ll是將intra 4x4 _ pred — mode 11—org [block order—flag] [order]按照後述的 modeConv [block — order—flag] [intra4x4—pred—mode—ll—org]進行變換後的索引的數據。 該數據intra4x4_pred_mode_ll在intra4x4—bi_pred_flag為TRUE時
被編碼。
下面詳細說明各語法。
對於luma4x4Blk，針對每個block—order—flag按照blkConv [block—order—flagl[luma4x4Blkldx所示的表格施以變換，計算出表示編碼對象子塊的塊索引order (參照圖8)。
在對塊索引order所示的4x4像素塊進行預測的情況下，如圖28所示將intra4x4—pred—modelO—orgblock—order一flagjorder變換為intra4x4_pred_mode_10[order。這是由於可利用的預測模式根據block_order_flag以及宏塊內的4x4像素塊的位置而不同因此所進行的處理。具體地說，如圖29所示，在block_order_flag為0 ( FALSE )的情況下,將intra4x4—pred—mode—10—org直接代入intra 4x4 — pred—mode—10。此時，intra4x4—pred—mode_10成為如下數據，該數據表示將已準備的單方向預測的9種預測模式中的哪個模式用於4x4像素塊的預測。
另一方面，在block—order_flag是1 ( TRUE:外插/內插塊預測)的情況下，根據編碼對象宏塊內的4x4像素塊的位置來切換表格。圖30示出了在能夠參照相對於編碼對象宏塊在左、上、右上以及左上鄰接的宏塊的情況下對應於由圖13B所示的子塊(內插塊(1) (2)和(3)、以及外插塊(4))而可利用的預測模式及其名稱。
從圖30可知，內插塊(1)能夠利用全部的17個模式，與此相對，內插塊(2)以及(3)存在不能利用的模式。因此，如圖28所示通過modeConv[ I[]將intra4x4—pred—mode J0org[Mockorder—flag][orderl變換為intra4x4—pred—mode—10,預先去除不能利用的預測模式，從而提高後述的熵編碼的效率。如果示出具體變換例子，在內插塊(2)的預測模式是模式15 (反方向垂直右預測)的情況下，向intra4x4—pred_mode_10代入"13"。在內插塊(3)的預測模式是模式14 (反方向水平上預測)的情況下，向intra4x4一pred—modeJ0代入"12"。
對intra4x4_pred—mode—10進4亍編石馬時，在每個block_order_flag以及塊位置上能夠利用的模式的狀態數不同，因此根據編碼對象的4x4像素塊的位置進行熵編碼(霍夫曼編碼、對象關係映射編碼或者算術編碼等)。具體的符號可獲取的狀態數示出在圖30中。以上是與intra4x4_pred—mode_10—org的編石馬相關的i吾法i兌明。在intra4x4—bi—pred_flag為TRUE的情況下，進一步對intra4x4—pred—mode—11—org進行編碼。關於 intra4x4—predmode—11—org的編碼，進4亍與intra4x4—pred_mode—10_org時大致相同的處理。
首先，按照modeConv[[將intra4x4—pred—mode—11—org變換為intra4x4_pred—modell，根據與block—order flag及order相應的可變長度碼對intra4x4—pred—mode_ll進行熵編碼。但是，intra4x4—pred—modell在與intra4x4—pred—mode—10之間不會成為相同的預測模式，因此從intra4x4—pred—mode—10的狀態數減去1得到的數變成intra4x4一pred—mode—11能夠獲取的符號的狀態數。根據該狀態數進行熵編碼。
作為其它例子，也可以不a奪intra4x4(8x8)—pred—mode—10—org以及intra4x4(8x8)—pred—mode—11—org按照modeConv[[進4亍變才灸，而是直接進行熵編碼。以上是各語法的詳細情況。
在此,關於blockorder—flag以及intra4x4bi—pred—flag,也可以是將它們進行編碼後多路復用為編碼流來傳送。另一方面，也可以不進行這種多路復用以及傳送，而是利用從編碼完成塊以及像素計算出的活度信息來表示block—order—flag以及intra4x4—bi—pred_flag的信息。在這種情況下，通過在解碼側也使用與編碼側相同的邏輯，block—order—flag以及intra4x4—bi—pred —flag的信息表示與編碼側相同的信息。
關於8x8〗象素預測，由於與如圖27所示的4x4〗象素預測時的語法相同，因此省略iJL明。
作為其它例子，也可以利用與鄰接塊中的intra4x4—pred_mode_10一org之間的相關性來對intra4x4一pred一mode一10一org進行編碼。具體的語法構造示出在圖31中，圖27所示的宏塊預計語法的結構被替換為圖 31。 圖 31 中的 prev_intra4x4_pred_mode_10—flag[block_order—flag][order是表示從後述的參數塊計算出的列表0的預測模式 ref—pred—mode—org與該塊的列表0 的預觀'模式intra4x4_pred—mode—10org[block一order一flag[order是否相同的標士
圖 32 示出了 prev一intra4x4pred—mode—10—flag[blockorder—flag][order的導出方法。在此，圖32中的ref—blkA_mode_10表示相對於塊blkA位於左側的最近的編碼完成的塊blkA的列表0的預測模式，ref—blkB_mode—10表示相對於塊blkB位於上側的最近的編碼完成的塊的列表0 的預測模式。ref一blkA—mode一10及ref—blkB—mode—10針對每個block—order—flag的位置不同，具體表示在圖33、 44A、圖44B、圖44C以及圖44D中。在block—order—flag為FALSE的情況下，blkA以及blkB成為與該塊鄰接的左以及上的編碼完成塊(參照圖33)。另一方面，在該標誌為TRUE的情況下，塊blkA以及blkB成為離blkA以及blkB最近的左以及上的編碼完成塊(參照圖44A、圖44B、圖44C以及圖44D )。
在 prev—intra4x4_pred—mode_10—flag[block—order_flagj [order]是TRUE的情況下，由於能夠利用與鄰接塊之間的相關性以1比特表示intra4x4_pred_mode—10_org的信息，因此提高了編碼效率。
另一方面，在 prev_intra4x4—pred_mode_10—flag[block_order—flag][order]是FALSE的情況下，作為prev—intra4x4_pred_mode_10—flag[block—order—flag][order]以夕卜的列表0的預測模式，示出rem—intra4x4_pred—mode—10[block_order—flag] [order]。 這是如下的數據，該數據表示是從rem—intra4x4—pred—mode10[block—order—flag[order中除去ref_pred—mode—org的預測模式中的哪個才莫式。該數據根據從在列表0的預測模式中能夠獲得的符號除去ref_pred_mode—org得到的狀態數而被熵編碼。
關於8x8l象素預測，由於與如圖31所示的4x4像素預測時的語法相同，因此省略說明。
通過具備如上所述的語法構造，從而在預測模式的編碼中也提高了編碼效率。
(語法構造的第2例子)圖34示出了圖像編碼部100中所使用的語法構造的其它例子。所需的語法信息是圖25中的宏塊層語法208，在此將圖26所示的宏塊層語法的結構替換為圖34。下面說明各語法。
圖34的宏塊層語法內所示的block_order—flag是表示是否在該宏塊內進行預測順序切換的標誌。當block—order—flag是TRUE時，切換預測順序並進行外插/內插塊預測。另一方面，當block—order—flag是FALSE時，不切換預測順序而進行依次塊預測。block_order_flag是TRUE時的預測順序的具體記述方法被示出在block—order_in_mb—mode中。block—order—in—mbmode如下地表示預觀'J順序。
在預測模式是模式0的情況下，提供進行第1實施方式中示出的外插/內插塊預測時的預測順序。在預測模式是模式1的情況下，將預測順序的組合變換為索引，以索引信息表示預測順序。當對於4個塊決定預測順序時，從根據排列從24個(=4P4)除去依次塊預測的23個預測順序中，對每個宏塊決定一個。具體地說，圖34中的block—order—idx給出上述塊組合索引。在預測模式是才莫式2的情況下，對各塊直接示出順序編號。對於4x4像素塊，在16個block—order4x4[BLK中示出其次序。另外，對於8x8像素塊，在4個block—order8x8[BLK中示出其次序。
上述的語法構造還能夠進行如下變形。
(a) 當block一order一in一mb一mode是1時，也可以只示出最初編碼的1塊。
(b) 在4x4像素預測中，預測順序的索引變得龐大，因此也可以通過將以8x8像素塊為單位表示的4x4像素塊的預測順序重複4次，從而削減索引的信息。
(c )在block_order_in—mb—mode是2的情況下，對於block—order4x4[BLK既可以利用來自外部的表格來表示，也可以利用可變的碼長來表現與鄰接block—order4x4[之間的差分。
(d)最後的blockjrder4x15是剩餘的一個預測順序，因此無需示出block—order4x4[15。對於8x8 4象素塊也相同。在4x4像素預測的情況下，也可以通過將以8x8像素塊為單位表示的4x4像素塊的預測順序重複4次，從而削減block—order4x4的信息。
(e)也可以對每個序列、每個圖片、每個片或者每個宏塊，適應性地設定 block—orderinmbmode 、 blockorderidx 、block—order4x4、 bIock_order8x8這樣的信息的值。
(語法構造的第3例子)
圖35、圖36、圖37、圖38以及圖39示出了圖像編碼部100中所使用的語法構造的另外其它例子。本例所需的語法信息是圖25中的序列參數設置語法702、圖片參數設置語法703、片頭語法705以及宏塊層語法708,對第1例子的語法構造追加圖35、圖36、圖37、圖38以及圖39中所示的語法。下面說明各語法。
圖35的序列參數i殳置語法內所示的block_order_in_seq_flag是表示是否能夠在序列內進行預測順序切換的標誌。當block—order—in—seq—flag是TRUE時，能夠在序列內切換預測順序。另一方面，當block—order—in—seq—flag是FALSE時，不能在序列內切換預測順序。
圖36的圖片參數i殳置語法內所示的block—order—in—pic_flag是表示是否能夠在該圖片內進行預測順序切換的標誌。當block—order_in—pic_flag是TRUE時，能夠在圖片內切換預測順序。另 一方面，當block—order_in—pic_flag是FALSE時，不能在圖片內
切^L預測順序。
圖37的片頭i吾法內所示的block_order_in—slice—flag是表示是否能夠在該片內進行預測順序切換的標誌。當block—order—in—slice _flag是TRUE時，能夠在片內切換預測順序。另一方面，當block—order—in—slice—flag是FALSE時，不能在片內切換預測順序。
圖38的宏塊層語法內所示的block一order一flag是表示是否在該宏塊內進行預測順序切換的標誌。當block_order—flag是TRUE時，切換預測順序，進行外插/內插塊預測。另一方面，當block_order_flag是FALSE時，不切換預測順序而進行依次塊預測。block_order—flag只在block—order_in—slice—flag是TRUE時有效，另外只能在宏塊的預測類型是幀內預測時利用。
圖35的序列參數設置語法內所示的intra_bi_pred—in_seq—flag是表示是否能夠在該序列內進行雙方向預測的標誌。當intra_bi—pred一in—seq_flag是TRUE時，能夠在序列內進行雙方向預測。另一方面，當intra—bi_pred—in_seq_flag是FALSE時，不能在序列內進行雙方向預測。
圖36的圖片參數i殳置語法內所示的intra_bi_pred—in—pic_flag是表示是否能夠在該圖片內進行雙方向預測的標誌。當intra_bi—pred_in—pic—flag是TRUE時，能夠在圖片內進行雙方向預測。另一方面，當intra—bi—pred—in_pic_flag是FALSE時，不能在圖片內進4亍雙方向預測。
圖37的片頭i吾法內所示的intra—bi—pred_in—slice—flag是表示是否能夠在片內進行雙方向預測的標誌。當intra—bi—pred_in—slice—flag是TRUE時，能夠在片內進行雙方向預測。另一方面，當intra—bi—pred—in—slice—flag是FALSE時，不能在片內進行雙方向預測。
圖38的宏塊層語法內所示的intra—bi—pred_in—mb_flag是表示是否能夠在宏塊內進行雙方向預測的標誌。當intra—bi_pred_in—mb—flag是TRUE時，能夠在宏塊內進行雙方向預測。另一方面，當intra_bi—pred_in—mb—flag是FALSE時，不能在宏塊內進行雙方向預測。
圖39的宏塊預計語法內所示的intra4x4_bi_pred—flag是表示是否能夠在預測塊內進行雙方向預測的標誌。當intra4x4—bi_pred_flag是TRUE時，能夠在預測塊內進行雙方向預測。另一方面，當intra4x4—bi—pred—flag是FALSE時，在宏塊內不進行雙方向預測。intra4x4_bi_pred—flag只在intra—bi一pred—in—mb_flag是TRUE時有效，另外只能在宏塊的預測類型是幀內預測時利用。此外，上述語法的初始值^L為FALSE。
在圖40所示的本發明的一個實施方式的圖像解碼裝置中，被輸入從未圖示的圖像編碼裝置(例如圖1的圖像編碼裝置)發送並經過傳送系統或者蓄積系統而發送過來的編碼比特流320。編碼比特流320被臨時存儲到輸入緩沖器901中，並且由逆多路復用部302按每1幀根據語法進行分離後，被輸入到解碼部304。解碼部304具有熵解碼部305、逆量化/逆正交變換部306、加法器307、參照圖像存儲器308以及預測信號生成部309。
在解碼部304內，被逆多路復用部302分離後的編碼比特流;故輸入到熵解碼部303。在熵解碼部303中，按照圖25所示的語法構造，分別對編碼比特流的高級別語法、片級別語法以及宏塊級別語法，碼串被熵解碼。
由此，從熵解碼部303除了量化變換係數信息321以及量化參數信息之外還輸出預測模式索引信息331、塊大小切換信息332、預測順序切換信息333、預測模式數切換信息334這樣的與預測模式相關的信息(以下將預測模式索引信息、塊大小切換信息、預測順序切換信息以及預測模式數切換信息統稱為預測模式信息)。量化變換係數信息321是對預測殘差信號進行正交變換以及量化後的信息。量化參數信息包括量化幅度(量化階躍大小)以及量化矩陣等信息。
量化變換係數信息321按照被復原的量化參數通過逆量化/逆正交變換部306被逆量化，並且施以如IDCT那樣的逆正交變換。在此說明了逆正交變換，但是在編碼側進行小波變換等的情況下，逆量化/逆變換部306也可以進行相對應的逆量化/逆小波變換等。
從逆量化/逆變換部306輸出預測誤差信號322，並輸入到加法器307。在加法器307中，將從預測信號生成部309輸出的預測信號323與預測殘差信號322進行相加，生成解碼圖像信號324。解碼圖像信號324被輸入到參照圖像存儲器308並且傳遞到輸出緩沖器311，從輸出緩衝器311以解碼控制部310所管理的定時(timing)被輸出。
另一方面，由熵解碼部305進行解碼的預測模式索引信息331 、塊大小切換信息332、預測順序切換信息333以及預測模式數切換信息334被輸入到預測信號生成部309。還從參照圖像存儲器308向預 測信號生成部309輸入已經被解碼的參照圖像信號325。預測信號生 成部309根據預測模式索引信息331、塊大小切換信息332、預測順 序切換信息333以及預測模式數切換信息334，參照參照圖像信號325 來生成預測信號323。解碼控制部310進行解碼部304的全部解碼處 理的控制、例如輸入緩衝器301以及輸出緩衝器311的控制、解碼定 時的控制等。

接著，參照圖41說明預測信號生成部309。圖41所示的預測信 號生成部309與上述圖像編碼裝置內的預測信號生成部113基本相 同。在圖41中，預測順序切換部370對於來自參照圖像存儲器308 的參照圖像信號325，根據預測順序切換信息333來切換宏塊中的子 塊的預測順序。由預測順序切換部370切換預測順序後的圖像信號被 輸入到單方向預測部371以及雙方向預測部372。
單方向預測部3 71根椐預測模式索引信息3 31 ，選擇已準備的多 個預測模式中的一個預測模式，按照所選擇的預測模式以及塊大小切 換信息332，參照參照圖像信號325而生成預測信號。雙方向預測部 372根據預測模式索引信息331,選擇上述已準備的多個預測模式中 的兩個預測模式，按照所選擇的預測模式以及塊大小切換信息332, 參照參照圖像信號325而生成預測信號。從單方向預測部371以及雙 方向預測部372輸出的預測信號被輸入到預測模式數切換部373。在 此，預測模式規定生成子塊的預測信號時的解碼完成像素的參照方 法。
按照預測模式數切換信息344來控制預測模式數切換部373，從 而選擇由單方向預測部371生成的預測信號以及由雙方向預測部372 生成的預測信號中的任一個，並輸出所選擇的預測信號323。
根據預測順序切換信息333來控制預測順序切換部370，根據表 示預測順序切換信息333的後述的標誌block一order一flag的值來變換 成為上述基準的索引blk，從而切換子塊的預測順序。對於子塊的次
48序idx，實際編碼時的子塊的索引order (表示預測順序)如式(3) 所示。另外，用於blkConv[[變換的變換表格如圖8所示。
在標誌block_order—flag是0 (FALSE)的情況下，實際進行預 測編碼時的子塊的索引order是編碼對象的子塊的索引idx本身，不 變更塊的預測以及預測順序(以下將根據這種預測順序進行的預測稱 為依次預測)。圖6B以及圖7B示出了分別針對圖6A以及圖7A的 依次預測的預測順序。
另一方面，在標誌block—order—flag是1 (TRUE)的情況下， 實際進行預測編碼的子塊的索引order,表示首先通過外插來預測4 個子塊中的對角的l塊、並通過外插預測或者內插來預測剩餘的3塊 這樣的預測順序。以下將根據這種預測順序進行的預測稱為外插/內插 預測。圖6C以及圖7C示出了分別針對圖6A以及圖7A的外插/內插 預測的預測順序變更例。
如上所述，由預測順序切換部370切換了預測順序的子塊被輸入 到單方向預測部371或者雙方向預測部372，從而生成與各子塊相對 應的預測信號。當預測模式數切換信息334表示預測模式數"1"時， 模式數切換開關373輸出由單方向預測部371得到的預測信號，當預 測模式數切換信息334表示預測模式數"2"時，模式數切換開關373 輸出由雙方向預測部372得到的預測信號。從;f莫式數切換開關373輸 出的預測信號作為預測信號生成部309的輸出323而被取出。
按照提供給每個預測塊(4x4像素塊或者8x8像素塊)的預測模 式數切換信息334來控制模式數切換開關373,從而輸出預測信號 323。具體地說，4x4像素預測時，按每個4x4像素塊記述有 intra4x4一bi一pred一flag。
即，在預測模式數切換信息334即標誌intra4x4_bi_pred_flag 是FALSE的情況下，模式數切換開關373選擇由單方向預測部371 所得到的預測信號，在intra4x4—bi—pre^flag是TRUE的情況下，選 擇由雙方向預測部372所得到的預測信號。
單方向預測部371以及雙方向預測部372的具體處理與圖像編碼裝置中的單方向預測部171以及雙方向預測部172相同，因此省略說 明。
語法構造基本上如圖19所示，下面使用圖27說明選擇了 4x4 像素預測的情況下的宏塊預計語法的結構。
圖27中的blkConv[block—orde匸flag[luma4x4Blkldx具有如圖 8所示的進行預測順序變換的變換表格，輸出解碼對象塊的索引。 intra4x4—pred—mode—10[block_order_flag[order]是被解碼的索引的 數據。
圖27中的intra4x4_bi—pred—flag是切換對該4x4像素塊進行雙 方向預測還是不進行雙方向預測的標誌。即，該標誌 intra4x4_bi—pred—flag為FALSE意味著該4x4像素塊是單方向預測， TRUE意味著該4x4像素塊是雙方向預測。
圖27中的intra4x4—pred—mode—11是^皮解碼的索引的數據。該 數才居intra4x4—pred_mode—11在intra4x4—bi—pred—flag為TRUE時一皮 解碼。
下面說明各語法的詳細情況。
對於luma4x4Blk，對每個block—order—flag按照blkConv [block—order—flag] [luma4x4Blkldx所示的表格施以變換，計算出表示 編碼對象子塊的塊索引order (參照圖8)。
在對塊索引order所示的4x4像素塊進行解碼的情況下，對 intra4x4—pred—mode—10[blockorder—flag][order]進行解碼,如圖42 所示將其逆變換為 intra4x4—pred—mode—10_org[block_order—flagl [order。這是由於能夠利用的預測模式根據block—order—flag以及宏 塊內的該塊的位置而不同從而所進行的處理。具體地說，如圖43所 示，在block一order一flag是0 ( FALSE )的情況下，向intra4x4—pred— modelO—org直才妄4戈入intra4x4_pred—mode—10的值。》匕時，intra4x4_ pred一mode一10一org成為如下數據，該數據表示在已準備的單方向預測 的9種預測模式中將哪個預測模式用於4x4像素塊的解碼。
另一方面，在block_order_flag是1 ( TRUE:外插/內插塊預測)的情況下，根據該4x4像素塊位於宏塊內的何處，來切換表格。具體地說，在對內插塊(2)進行了解碼的intra4x4—pred—mode—H)[l[order]是13的情況下，該預測才莫式intra4x4_pred_mode_I0_org[l[order]變成15 (反方向垂直右預測)。另外，在對內插塊(3)進行了解碼的intra4x4—pred—mode—10[1[order]是12的情況下，該預測才莫式intra4x4—pred—mode—10_org[l[order]變成14 (反方向水平上預測)。
在intra4x4_bi—pred_flag是TRUE的情況下，進一步對intra4x4—pred—mode 11 [block order—flag][order進4亍解石馬。淨皮解石馬的intra4x4—pred—mode 10[block order—flag][order]如圖43所示，變才灸為intra4x4_pred—mode—10_org[block_order_flag][order]。
在其它例子中，block—order—flag以及intra4x4—bi—pred_flag信息從編碼比特流中分離而被解碼，但是也可以利用從解碼完成的塊以及像素計算出的上述活度信息，表示block_order—flag以及intra4x4—bi—pred—flag的信息。在這種情況下，通過使用與編碼側相同的邏輯，block—order—flag以及intra4x4bi—pred—flag信息與編碼側示出的相同，因此無需進行從編碼比特流分離以及解碼的處理。
作為另外其它例子，也可以利用與鄰接塊中的intra4x4_pred—mode—10_org之間的相關性來對intra4x4—pred—mode—10_org進4亍編碼。具體的語法構造示出在圖31中，圖27所示的宏塊預計語法的結構被替換為圖31。圖31中的prev—intra4x4_pred—mode_10—flag[block—order—flag[order是如下的標誌，該標誌表示從後述的參照塊計算出的列表0的預測模式ref—pred—mode—org、與對象塊的列表0的預須"才莫式intra4x4_pred_mode_10_org[block—order—flag[order是否相同。
圖 32 示出 了 prev_intra4x4_pred—mode_10_flag[block—order—flagHorderl的導出方法，在此，圖32中的ref—blkA—mode—10表示相對於塊blkA位於左側的最近的編碼完成的塊blkA的列表0的預測才莫式。ref_blkB_mode—10表示相對於塊blkB位於上側的最近的編碼完成的塊的列表0的預測模式。ref—blkA—mode—10以及ref—blkB—modeJO的位置按每個 block—order—flag而不同，具體表示在圖33、圖44A、圖44B、圖44C 以及圖44D中。在block—order—flag是FALSE的情況下，blkA以及 blkB成為與對象塊鄰接的左以及上的解碼完成塊(參照圖33)。另 一方面，在block—order_flag是TRUE的情況下，ref—blkA以及 refJ)lkB成為離對象塊最近的左以及上的解碼完成塊(參照圖44A、 圖44B、圖44C以及圖44D)。
在 prev—intra4x4—pred—modelO—flag [block—order—flag] [order] 是TRUE的情況下，利用對象塊和鄰接塊之間的相關性，以1比特來 表示intra4x4—pred_mode—10—org的信息。
另一方面，在prev—intra4x4—pred—mode_10—flag[block_order_ flag][order是FALSE的情況下，作為prev—intra4x4—pred—mode—10— flag[block—order—flag][order]以外的列表0的預測模式，示出 rem_intra4x4—pred—modeJO [block—order—flag] [order]。 表示是從 rem—intra4x4—pred—modelO [block order_flag[order] 除 去 ref—pred_mode—org的預測模式中的哪個預測模式的數據，是根據從 按照列表0的預測模式可獲取的符號中除去ref—pred_mode—org後的 狀態數而被解碼的。
關於8x8像素預測，由於如圖27所示與4x4像素預測時的語法 相同，因此省略i兌明。
接著，以與到目前為止的說明不同的部分為中心對其它實施方式 的圖像編碼裝置進行說明。圖33的宏塊層語法內所示的 block—order一flag是表示是否在宏塊內進行預測順序切換的標誌。當 block—order—flag是TRUE時，切換預測順序而進行外插/內插塊預測。 另一方面，當block_order—flag是FALSE時，不進《亍預測順序的切 換而進行依次塊預測。
在block_order_flag是TRUE時，預測順序的具體記述方法由 blockorderin—mb—mode表示。block—order—inmb—mode按照以下 來表示預測順序。(a) 在模式是0的情況下，給出進行外插/內插塊預測時的預測順序。
(b) 在模式是l的情況下，將預測順序的組合變換為索引信息， 以索引信息表示預測順序。對4個塊決定預測順序時，根據通過排列 從4P4=24個除去依次塊預測的23個預測順序，對每個宏塊決定一個 預測順序。具體地說，圖33中的block_order—idx給出上述塊組合索 引。
(c) 在模式是2的情況下，對各塊直接表示順序編號。對於4x4 像素塊，在16個block—order4x4[BLK中示出其順序。另外，對於8x8 像素塊，在4個block—order8x8[BLK]中示出其順序。
作為其它例子，當block—orderin—mb—mode是1時，也可以只 示出最初進行解碼的l塊。4x4像素預測時，預測順序的索引變得龐 大，因此也可以將以8x8《象素塊為單位表示的4x4^象素塊的順序重複 4次，削減索引的信息。
另夕卜，當block—order—in—mb_mode是2時，也可v乂通過來自夕卜 部的表格來示出block—order4x4[BLK。也可以計算與鄰接的 block_order4x4[之間的差分，以可變的碼長來表現。最後的 block—order4x4[15是剩餘的 一 個的順序，因此沒有必要示出 block—order4x4[15]。對於8x8像素塊也相同。4x4像素預測時，也可 以將以8x8像素塊為單位示出的4x4像素塊的順序重複4次，削減 block—order4x4的信息。
block—order—in_mb—mode 、 block—order—idx 、 block一order4x4 以及block一order8x8這樣的信息，也可以按每個序列、每個圖片、每 個片、每個宏塊，適應性地設定值。
根據本發明的一個實施方式，通過設為能夠選擇預測順序，不僅 能夠進行例如利用與左、上的像素之間的相關性的外插預測，還能夠 進行有效利用與右、下的像素之間的相關性的內插預測。另外，能夠 選擇可使用的預測模式數，因此例如通過選擇以像素為單位計算基於 多個預測模式的預測信號的雙方向預測，對複雜的結構也可實現高的預測效率。並且，關於預測順序切換信息、預測模式選擇數信息，能 夠按每個序列、每個圖片、每個片、每個宏塊、或者每個子塊，適應 性地進行切換而進行編碼。因而，能夠實現編碼效率高的圖像編碼以 及被編碼的圖像的解碼。
基於以上所說明的一個實施方式的圖像編碼處理以及圖像解碼 處理可以由硬體來實現，但是還可以使用如個人計算機那樣的計算機 通過軟體來實現。因而，根據本發明的觀點，還能夠提供用於使計算 機執行上述圖像編碼處理以及圖像解碼處理中的至少一個處理的圖 像編碼程序或圖像解碼程序、或者保存該程序的計算機可讀取的記錄介質。
此外，本發明並不限定於上述實施方式本身，在實施階段中，能 夠在不超出其要旨的範圍內使結構要素變形而具體化。另外，通過適 當組合上述實施方式中公開的多個結構要素，能夠形成各種發明。例 如，也可以從實施方式中示出的全部結構要素中刪除幾個結構要素。 並且，也可以將不同實施方式中的結構要素適當進行組合。
產業上的可利用性
本發明能夠利用於運動圖像、靜止圖像的高效率壓縮編碼/解碼技術。
5權利要求
1. 一種圖像編碼方法，對分割輸入圖像信號的幀而得到的多個像素塊中的每個像素塊進行預測編碼，其中，該圖像編碼方法具備如下步驟從預先決定的多個預測順序中，選擇針對分割上述像素塊而得到的多個子塊的預測順序；從對參照編碼完成像素而生成上述各子塊的第1預測信號時的該編碼完成像素的參照方法進行規定的多個預測模式中，選擇上述第1預測信號的預測中使用的預測模式的數量；從上述多個預測模式中，選擇用於在上述第1預測信號的預測中使用的、上述所選擇的數量的預測模式；為了生成與上述像素塊對應的第2預測信號，使用上述所選擇的數量的上述所選擇的預測模式，以所選擇的預測順序生成上述第1預測信號；以及為了生成基於上述預測編碼的編碼數據，對表示上述像素塊的圖像信號和上述第2預測信號之差的預測殘差信號進行編碼。
2. —種圖像編碼裝置，對分割輸入圖像信號的幀而得到的多個像素塊中的每個像素塊進行預測編碼，其中，該圖像編碼裝置具備第l選擇部，從預先決定的多個預測順序中，選擇針對分割上述像素塊而得到的多個子塊的預測順序；第2選擇部，從對參照編碼完成像素而生成上述各子塊的第1預測信號時的該編碼完成像素的參照方法進行規定的多個預測模式中，選擇上述第l預測信號的預測中使用的預測模式的數量；第3選擇部，從上述多個預測模式中，選擇用於在上述第l預測信號的預測中使用的、上述所選擇的數量的預測模式；生成部，為了生成與上述像素塊對應的第2預測信號，使用上述所選擇的數量的上述所選擇的預測模式，以所選擇的預測順序生成上述第l預測信號；以及編碼部，為了生成基於上述預測編碼的編碼數據，對表示上述像素塊的圖像信號和上述第2預測信號之差的預測殘差信號進行編碼。
3. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述圖像編碼裝置構成為使用幀內預測以及幀間預測中的至少一個來進行上述預測編碼。
4. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第l選擇部對每個上述像素塊選擇上述預測順序。
5. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第l選擇部對每個上述像素塊選擇第l預測順序和第2預測順序中的某一個。
6. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第1選擇部構成為能夠控制是否對每個上述像素塊切換並選擇上述預測順序。
7. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第l選擇部構成為對每個上述像素塊能夠控制選擇第l預測順序和第2預測順序中的哪一個。
8. 根據權利要求2所述的圖像編碼裝置，其特徵在於，的預測順序的信息進行編碼。
9. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述預測模式中的至少一個是在上述輸入圖像信號所形成的空間內從特定的方向參照上述編碼完成像素的方向預測模式。
10. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述預測部具有第1預測部，在從上述多個預測模式中選擇了一個預測模式的情況下，按照上述所選擇的預測順序以及該所選擇的一個預測模式來預測上述像素塊；以及第2預測部，在從上述多個預測模式中選擇了 2個以上的數量的預測模式的情況下，為了生成多個預測信號且以像素單位進行組合從而生成上述第2預測信號，按照上述所選擇的預測順序以及該所選擇的2個以上的數量的預測模式，預測上述像素塊。
11. 根據權利要求IO所述的圖像編碼裝置，其特徵在於，上述第2預測部構成為根據(a) 加權平均、(b) 最大值濾波器、(c) 最小值濾波器、(d) 中間值濾波器、以及(e) 記述了與在上述輸入圖像信號形成的空間內從特定的方向式的數量數相應的權重係數的表格中的至少一個，來進行上述像素單位的組合。
12. 根據權利要求2所述的圖像編碼裝置，其特徵在於，的預測模式的數量的信息進行編碼。
13. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第1選擇部構成為根據上述像素塊或者鄰接像素塊的活度信息來選擇上述預測順序。
14. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第1選擇部構成為根據上述像素塊或者鄰接像素塊的活度信息來選擇上述預測順序，的預測順序的信息進行編碼。
15. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第2選擇部構成為根據上述像素塊或者鄰接像素塊的活度信息來選擇上述第1預測信號的預測中使用的預測模式的數量。
16. 根據權利要求2所述的圖像編碼裝置，其特徵在於，上述第2選擇部構成為根據上述像素塊或者鄰接像素塊的活度信息來選擇上述第1預測信號的預測中使用的預測模式的數量，.編碼部構成為為了生成上迷編媽 的預測模式的數量的信息進行編碼。
17. —種圖像解碼方法，對分割圖像信號的幀而得到的多個像素 塊中的每個像素塊解碼編碼數據，其中，該圖像解碼方法具備如下步驟從預先決定的多個預測順序中，選擇針對分割上述像素塊而得到的多個子塊的預測順序；從對參照解碼完成像素而生成上述各子塊的第1預測信號時的 該解碼完成像素的參照方法進行規定的多個預測模式中，選擇上述第l預測信號的預測中使用的預測模式的數量；從上述多個預測模式中，選擇用於在上述第l預測信號的預測中 使用的、上述所選擇的數量的預測模式；為了生成與上述像素塊對應的第2預測信號，使用上述所選擇的 數量的上述所選擇的預測模式，以所選擇的預測順序生成上述第l預 測信號；以及使用上述第2預測信號來生成解碼圖像信號。
18. —種圖像解碼裝置，對分割圖像信號的幀而得到的多個像素 塊中的每個像素塊解碼編碼數據，其中，該圖像解碼裝置具備第l選擇部，從預先決定的多個預測順序中，選擇針對分割上述 像素塊而得到的多個子塊的預測順序；第2選擇部，從對參照解碼完成像素而生成上述各子塊的第1 預測信號時的該解碼完成像素的參照方法進行規定的多個預測模式 中，選擇上述第l預測信號的預測中使用的預測模式的數量；第3選擇部，從上述多個預測模式中，選擇用於在上述第l預測 信號的預測中使用的、上述所選擇的數量的預測模式；為了生成與上述像素塊對應的第2預測信號，使用上述所選擇的 數量的上述所選擇的預測模式，以所選擇的預測順序生成上述第l預 測信號的生成部；以及使用上述第2預測信號來生成解碼圖像信號的生成部。
19. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述第l選擇部對每個上述像素塊選擇上述預測順序。
20. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述第l選擇部對每個上述像素塊選擇笫l預測順序和第2預測順序中的某一個。
21. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述第1選擇部構成為能夠控制是否對每個上述像素塊切換並選擇上述預測順序。
22. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述第l選擇部構成為對每個上述像素塊能夠控制選擇第l預測順序和第2預測順序中的哪一個。
23. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 還具備分離上述編碼數據中包括的第l信息的分離部，其中，所述第l信息表示針對分割上述像素塊而得到的多個子塊的預測順序， 上述第l選擇部構成為選擇由第l信息所表示的預測順序。
24. 根據權利要求18所述的圖像解碼裝置，其特徵在於，上述預測模式中的至少 一 個是在上述圖像信號所形成的空間內 從特定的方向參照上述解碼完成像素的方向預測模式。
25，根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述預測部具有第1預測部，在從上述多個預測模式中選擇了一個預測模式的情 況下，按照上述所選擇的預測順序以及該所選擇的一個預測模式，預 測上述像素塊；以及第2預測部，在從上述多個預測模式中選擇了 2個以上的數量的 預測模式的情況下，為了生成多個預測信號且以像素為單位進行組合 從而生成與上述像素塊對應的預測信號，按照上述所選擇的預測順序 以及該所選擇的2個以上的數量的預測模式，預測上述像素塊。
26.根據權利要求25所述的圖像解碼裝置，其特徵在於，上述第2預測部構成為#>據(a) 加權平均、(b) 最大值濾波器、(c) 最小值濾波器、(d) 中間值濾波器、以及(e) 記述了與在上述輸入圖像信號所形成的空間內從特定的方 向參照上述編碼完成像素的方向預測角度或者上述所選擇的預測模 式的數量相應的權重係數的表格中的至少一個，進行上述像素單位的組合。
27. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 還具備分離上述編碼數據中包括的第2信息的分離部，其中，所述第2信息表示上述第l預測信號的預測中使用的預測模式的數量， 上述第2選擇部構成為選擇由第2信息所表示的預測模式的數量。
28. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述第1選擇部構成為根據上述像素塊或者鄰接像素塊的活度信息來選擇上述預測順序。
29. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 還具備分離上述編碼數據中包括的第l信息的分離部，其中，所述第l信息表示針對分割上述像素塊而得到的多個子塊的預測順序，上述第1選擇部構成為根據上述第1信息、以及上述像素塊或鄰 接像素塊的活度信息中的至少 一個來選擇上述預測順序。
30. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 上述第2選擇部構成為根據上述像素塊或者鄰接像素塊的活度信息來選擇上述第1預測信號的預測中使用的預測模式的數量。
31. 根據權利要求18所述的圖像解碼裝置，其特徵在於， 還具備分離上述編碼數據中包括的第2信息的分離部，其中，所述第2信息表示上迷第l預測信號的預測中使用的預測模式的數量，上述第2選擇部構成為根據上述第2信息、以及上述像素塊或鄰 接像素塊的活度信息中的至少 一個來選擇上述第1預測信號的預測中7使用的預測模式的數量。
32. —種計算機可讀取的記錄介質，保存有用於使計算機執行圖 像編碼的圖像編碼程序，其中，所述圖像編碼包括對分割輸入圖像信 號的幀而得到的多個像素塊中的每個像素塊進行預測編碼，上述程序 具備用於使上述計算機執行如下處理的單元，即，從預先決定的多個 預測順序中，選擇針對分割上述像素塊而得到的多個子塊的預測順序；用於使上述計算機執行如下處理的單元，即，從對參照編碼完成 像素而生成上述各子塊的第i預測信號時的該編碼完成像素的參照方 法進行規定的多個預測模式中，選擇上述第i預測信號的預測中使用 的預測模式的數量；用於使上述計算機執行如下處理的單元，即，從上述多個預測模 式中，選擇用於在上述第l預測信號的預測中使用的、上述所選擇的 數量的預測模式；用於使上述計算機執行如下處理的單元，即，為了生成與上述像 素塊對應的第2預測信號，使用上述所選擇的數量的上述所選擇的預 測模式，以所選擇的預測順序生成上述第l預測信號；以及用於使上述計算機執行如下處理的單元，即，為了生成基於上述 預測編碼的編碼數據，對表示上述像素塊的圖像信號和上述第2預測 信號之差的預測殘差信號進行編碼。
33. —種計算機可讀取的記錄介質，保存有用於使計算機執行圖 像解碼的圖像解碼程序，其中，所述圖像解碼包括在分割圖像信號的幀而得到的多個像素塊的每個像素塊中對編碼數據進行解碼，上述程 序具備用於使上述計算機執行如下處理的單元，即，從預先決定的多個 預測順序中，選擇針對分割上述像素塊而得到的多個子塊的預測順 序；用於使上述計算機執行如下處理的單元，即，從對參照解碼完成像素而生成上述各子塊的第1預測信號時的該解碼完成像素的參照方 法進行規定的多個預測模式中，選擇上述第l預測信號的預測中使用的預測模式的數量；用於使上述計算機執行如下處理的單元，即，從上述多個預測模 式中，選擇用於在上述第l預測信號的預測中使用的、上述所選擇的 數量的預測模式；用於使上述計算機執行如下處理的單元，即，為了生成與上述像 素塊對應的第2預測信號，使用上述所選擇的數量的上述所選擇的預 測模式，以所選擇的預測順序生成上述第l預測信號；以及用於使上述計算機執行如下處理的單元，即，使用上述第2預測 信號來生成解碼圖像信號。
全文摘要
圖像編碼裝置包括第1選擇部，從預先決定的多個預測順序中，選擇針對將分割輸入圖像信號的幀而得到的多個像素塊進一步分割後的多個子塊的預測順序；第2選擇部，從對參照編碼完成像素而生成各子塊的第1預測信號時的該編碼完成像素的參照方法進行規定的多個預測模式中，選擇第1預測信號的預測中使用的預測模式的數量；第3選擇部，從多個預測模式中，選擇用於在第1預測信號的預測中使用的、所選擇的數量的預測模式；生成部，為了生成與像素塊對應的第2預測信號，使用所選擇的數量的所選擇的預測模式，以所選擇的預測順序生成第1預測信號；以及編碼部，為了生成基於預測編碼的編碼數據，對表示像素塊的圖像信號和第2預測信號之差的預測殘差信號進行編碼。
文檔編號H04N7/32GK101502124SQ20068005544
公開日2009年8月5日 申請日期2006年7月28日 優先權日2006年7月28日
發明者中條健, 鹽寺太一郎, 谷澤昭行 申請人:株式會社東芝