圖像解碼裝置、圖像編碼裝置以及用於圖像解碼和編碼的方法和程序的製作方法

2023-09-21 05:21:10 5

專利名稱：圖像解碼裝置、圖像編碼裝置以及用於圖像解碼和編碼的方法和程序的製作方法
技術領域：
本發明涉及一種圖像解碼裝置、一種圖像編碼裝置以及一種用於圖像解碼和編碼的方法和程序。更具體地，本發明提供了能夠執行高效的解碼和編碼的圖像解碼裝置和圖像編碼裝置以及用於這樣的解碼和編碼的方法和程序。
背景技術：
近年來，為了處置作為數字信息的圖像信息並且實現高效的信息傳送和積累，符合諸如用於通過使用圖像信息固有的冗餘經由正交變換和運動補償來壓縮圖像信息的MPEG的標準的裝置已在用於分送信息的廣播電臺以及用於接收信息的一般住宅中普及。特別地，MPEG2 (IS0/IEC 13818-2)被定義為通用圖像編碼技術。MPEG2壓縮技術適用於隔行掃描圖像和非隔行掃描圖像，並且適用於標準解析度圖像和高清晰度圖像。目前，MPEG2用於針對專業人員和一般消費者的範圍廣泛的應用。通過使用MPEG2壓縮技術，例如，對具有1920 X 1088個像素的高解析度的隔行掃描圖像分配18至22Mbps的位率，以實現高的壓縮率和出色的圖像質量。MPEG2主要設計用於廣播的高質量圖像編碼，但是不兼容比MPEGl低的位率或者具有較高壓縮率的編碼技術。隨著移動終端正在變得普遍，預期對這些編碼技術的需求在未來會增加，並且為了滿足該需求，已將MPEG4編碼技術設定為標準。對於圖像編碼技術，IS0/IEC 14496-2標準在1998年12月被批准為國際標準。此外，近年來，能夠實現比諸如MPEG2和MPEG4的編碼技術更高的編碼效率的H. 264和MPEG-4Part 10 (高級視頻編碼，以下稱為H. 264/AVC)已變為國際標準，儘管其需要更大的計算量用於解碼。H. 264/AVC基於H. 26L，但是也具有H. 26L不支持的功能。專利文獻I等公開了使用H. 264/AVC的更高效的圖像數據編碼。引用文獻列表專利文獻專利文獻I :日本專利申請公開第2008-4984號

發明內容
待由本發明解決的問題在幀內預測中，已建議了一種稱為MDDT (依賴模式的定向變換)的技術，其根據幀內預測的方向切換變換方法。在使用MDDT技術的情況下，難於提高編碼效率，除非對根據幀內預測的方向執行的變換進行最優化。因此，本發明的目的在於提供能夠提高編碼效率的圖像解碼裝置和圖像編碼裝置，以及用於圖像解碼和編碼的方法和程序。對問題的解決方案本發明的第一方面是一種圖像解碼裝置，其對每個變換塊的預測誤差數據執行正交變換，並且根據通過處理經歷正交變換的係數數據而生成的編碼位流對圖像數據進行解碼，預測誤差數據是圖像數據和預測圖像數據之間的差。該圖像解碼裝置包括數據處理單元，其處理編碼位流以獲得經歷正交變換的係數數據以及編碼參數信息；逆正交變換單元，其通過使用基底對係數數據執行逆正交變換以獲得預測誤差數據，基底是根據編碼參數信息指示的宏塊中的變換塊的位置預先設定的；預測圖像數據生成單元，其生成預測圖像數據；以及加法單元，其使預測圖像數據生成單元生成的預測圖像數據與逆正交變換單元獲得的預測誤差相加以對圖像數據解碼。在本發明的圖像解碼裝置中，當對通過處理編碼位流而獲得的經正交變換的係數數據執行逆正交變換時，通過使用根據編碼位流中包含的並且被設計用於對圖像數據解碼的編碼參數信息指示的宏塊中的變換塊的塊位置，或者通過塊位置和編碼參數信息指示的預測模式預先設定的基底，來執行諸如Karhunen-Loeve逆變換的逆正交變換。當宏塊包含不止一個變換塊時，通過使用基底來對使用在各個變換塊的正交變換之後的最低頻率分量係數的塊的經正交變換的係數數據執行Karhunen-Loeve逆變換，基底是根據預測模式預先設定的。逆正交變換單元使用的基底是每個變換塊的預測誤差數據的正交變換中使用的·基底的逆矩陣。在預先提供這些基底的情況下，通過使用根據塊位置等選擇的基底來執行逆正交變換以生成仍未經歷正交變換的預測誤差數據。本發明的第二方面是一種圖像解碼方法，用於對每個變換塊的預測誤差數據執行正交變換，並且根據通過處理經歷正交變換的係數數據而生成的編碼位流對圖像數據進行解碼，預測誤差數據是圖像數據和預測圖像數據之間的差。該圖像解碼方法包括步驟處理編碼位流以獲得經歷正交變換的係數數據以及編碼參數信息；通過使用基底對係數數據執行逆正交變換以獲得預測誤差，基底是根據編碼參數信息指示的宏塊中的變換塊的位置預先設定的；生成預測圖像數據；以及使所生成的預測圖像數據與逆正交變換單元獲得的預測誤差相加以對圖像數據解碼。本發明的第三方面涉及一種程序，用於使計算機對每個變換塊的預測誤差數據執行正交變換，並且根據通過處理經歷正交變換的係數數據而生成的編碼位流對圖像數據進行解碼，預測誤差數據是圖像數據和預測圖像數據之間的差。該程序使計算機處理編碼位流以獲得的經歷正交變換的係數數據以及編碼參數信息；通過使用基底對係數數據執行逆正交變換以獲得預測誤差，基底是根據編碼參數信息指示的宏塊中的變換塊的位置預先設定的；生成預測圖像數據；以及使所生成的預測圖像數據與逆正交變換單元獲得的預測誤差相加以對圖像數據解碼。本發明的第四方面涉及一種對圖像數據進行編碼的圖像編碼裝置。該圖像編碼裝置包括預測單元，其生成圖像數據的預測圖像數據；減法單元，其生成預測誤差數據，預測誤差數據是圖像數據和預測圖像數據之間的差；正交變換單元，其通過使用根據宏塊中的變換塊的位置預先設定的基底對每個變換塊的預測誤差執行正交變換；以及數據處理單元，其處理從正交變換單元輸出的數據以生成編碼位流。在本發明的圖像編碼裝置中，當針對每個變換塊對指示圖像數據和預測圖像數據之間的差的預測誤差數據進行正交變換時，通過使用根據宏塊中的變換塊的塊位置或者通過塊位置和當生成預測圖像數據時使用的預測模式預先設定的基底來執行諸如Karhunen-Loeve變換的正交變換。當宏塊包含不止一個變換塊時，對在各個變換塊的正交變換之後被形成為具有最低頻率分量係數的塊執行Karhunen-Loeve變換。在該Karhunen-Loeve變換中，使用根據預測模式預先設定的基底。該基底是與使用預先準備的多個圖像來根據每個宏塊尺寸、每個變換塊尺寸、宏塊中的每個變換塊的位置、以及每個預測模式中的每個變換塊中的預測誤差數據計算的矩陣的特徵值對應的特徵向量。根據基底之間的距離或者距參考像素的距離來對基底進行編組。在預先提供這些基底的情況下，通過使用根據塊位置等選擇的基底來執行正交變換。此外，對經正交變換的係數數據執行諸如量化和無損編碼的處理以生成編碼位流。本發明的第五方面是一種用於對圖像數據進行編碼的圖像編碼方法。該圖像編碼方法包括如下步驟生成圖像數據的預測圖像數據；生成預測誤差數據，該預測誤差數據是圖像數據和預測圖像數據之間的差；以及通過使用根據宏塊中的變換塊的位置預先設定的基底對每個變換塊的預測誤差執行正交變換。本發明的第六方面是一種用於使計算機對圖像數據進行編碼的程序。該程序使計算機生成圖像數據的預測圖像數據；生成預測誤差數據，該預測誤差數據是圖像數據和預測圖像數據之間的差；以及通過使用根據宏塊中的變換塊的位置預先設定的基底對每個變換塊的預測誤差執行正交變換。本發明的程序是一種可以經由諸如光碟、磁碟、半導體存儲器或者網絡的、以計算機可讀形式提供的存儲介質或通信介質提供給能夠執行各種程序代碼的通用計算機系統的程序。通過以計算機可讀形式提供這種程序，在計算機系統中實現根據程序的處理。本發明的效果根據本發明，在圖像數據編碼時，通過使用根據宏塊中的變換塊的塊位置預先設定的基底來執行正交變換。再者，在使用根據塊位置預先設定的基底對通過處理經由正交變換獲得的係數數據而生成的編碼位流進行解碼時，通過使用根據編碼位流中包含的編碼參數信息指示的宏塊中的塊位置預先設定的基底來執行逆正交變換。因此，可以使經正交變換的係數數據返回仍未經歷正交變換的預測誤差數據。由於如上文所述通過使用與宏塊中的塊位置兼容的基底來執行正交變換和逆正交變換，因此可以執行根據塊位置進行最優化的變換，並且可以提聞編碼效率。



圖I是圖示圖像編碼裝置的結構的示圖。
圖2是示出4X4像素塊的幀內預測模式的示圖。圖3是示出預測模式和預測誤差之間的關係的示圖。圖4是圖示在正交變換單元的KL變換的示圖。圖5是圖示正交變換單元的結構的示圖。圖6是示出圖像編碼操作的流程圖。圖7是示出預測操作的流程圖。圖8是示出幀內預測操作的流程圖。圖9是示出幀間預測操作的流程圖。圖10是示出編碼參數生成操作的流程圖。 圖11是示出正交變換操作的流程圖。
圖12是用於解釋正交變換操作的示圖。圖13是圖示圖像解碼裝置的結構的示圖。圖14是圖示逆正交變換單元的結構的示圖。圖15是示出圖像解碼操作的流程圖。圖16是示出逆正交變換操作的流程圖。圖17是用於解釋逆正交變換操作的示圖。圖18是示出預測操作的流程圖。圖19是示出基底學習操作的流程圖。
圖20是用於解釋基底編組的示圖。圖21是示意性示出電視機裝置的示例結構的示圖。圖22是示意性示出可攜式電話設備的示例結構的示圖。圖23是示意性示出記錄/再現裝置的示例結構的示圖。圖24是示意性示出成像裝置的示例結構的示圖。
具體實施例方式下文是用於實施本發明的實施例的描述。將按如下順序進行描述。I.圖像編碼裝置的結構2.正交變換單元的結構3.圖像編碼裝置的操作4.圖像解碼裝置的結構5.逆正交變換單元的結構6.圖像解碼裝置的操作7.基底學習操作8.軟體處理的情況9.針對電子設備的應用的情況〈I.圖像編碼裝置的結構〉圖I圖示了圖像編碼裝置的結構。圖像編碼裝置10包括模擬/數字轉換單元(A/D轉換單元)11、圖片重排緩衝器12、減法單元13、正交變換單元14、量化單元15、無損編碼單元16、積累緩衝器17和速率控制單元18。圖像編碼裝置10進一步包括逆量化單元21、逆正交變換單元22、加法單元23、解塊濾波器24、幀存儲器27、幀內預測單元31、運動預測/補償單元32和預測圖像/最優模式選擇單元33。A/D轉換單元11將模擬圖像信號轉換成數字圖像數據，並且將圖像數據輸出到圖片重排緩衝器12。圖片重排緩衝器12重新排列從A/D轉換單元11輸出的圖像數據的幀。圖片重排緩衝器12根據與編碼操作相關的GOP (圖片組)結構重新排列幀，並且將重新排列的圖像數據輸出到減法單元13、幀內預測單元31和運動預測/補償單元32。減法單元13接收從圖片重排緩衝器12輸出的圖像數據以及由後面描述的預測圖像/最優模式選擇單元33選擇的預測圖像數據。減法單元13計算作為從圖片重排緩衝器12輸出的圖像數據和從預測圖像/最優模式選擇單元33提供的預測圖像數據之間的差的預測誤差數據，並且將預測誤差數據輸出到正交變換單元14。正交變換單元14對從減法單元13輸出的預測誤差數據執行正交變換操作。當進行幀內預測時，正交變換單元14根據預測模式執行正交變換操作。正交變換單元14向量化單元15輸出通過執行正交變換操作獲得的係數數據。量化單元15接收從正交變換單元14輸出的係數數據和從後面描述的速率控制單元18提供的速率控制信號。量化單元15對係數數據進行量化，並且將量化數據輸出到無損編碼單元16和逆量化單元21。基於從速率控制單元18提供的速率控制信號，量化單元15切換量化參數(量化位階)以改變量化數據的位率。無損編碼單元16接收從量化單元15輸出的量化數據，以及從後面描述的幀內預測單元31、運動預測/補償單元32和預測圖像/最優模式選擇單元33提供的編碼參數信息。編碼參數信息包含指示預測是幀內預測還是幀間預測的信息、指示宏塊尺寸的宏塊信息、關於幀內預測的信息、關於幀間預測的信息等。無損編碼單元16通過可變長度編碼或 算術編碼等對量化數據執行無損編碼操作以生成編碼位流並且將其輸出到積累緩衝器17。無損編碼單元16還對編碼參數信息執行無損編碼，並且將得到的信息添加到例如編碼位流中的報頭信息。量化單元15和無損編碼單元16等同於處理從正交變換單元14輸出的數據以生成編碼位流的數據處理單元。積累緩衝器17存儲從無損編碼單元16提供的編碼位流。積累緩衝器17還根據傳輸路徑的傳輸率輸出所存儲的編碼位流。速率控制單元18監控積累緩衝器17中的自由空間。速率控制單元18根據自由空間生成速率控制信號，並且將速率控制信號輸出到量化單元15。速率控制單元18例如從積累緩衝器17獲得關於自由空間的信息。當剩餘的自由空間小時，速率控制單元18通過速率控制信號降低量化數據的位率。當積累緩衝器17中的剩餘的自由空間充分大時，速率控制單元18通過速率控制信號增加量化數據的位率。逆量化單元21對從量化單元15提供的量化數據進行逆量化。逆量化單元21將通過執行逆量化操作獲得的係數數據輸出到逆正交變換單元22。逆正交變換單元22對從逆量化單元21提供的係數數據執行逆正交變換操作，並且將得到的數據輸出到加法單元23。加法單元23使從逆正交變換單元22提供的數據與從預測圖像/最優模式選擇單元33提供的預測圖像數據相加以生成參考圖像數據。加法單元23將參考圖像數據輸出到解塊濾波器24和幀內預測單元31。解塊濾波器24執行濾波操作以減少在圖像編碼時出現的塊失真。解塊濾波器24執行濾波操作以從加法單元23提供的參考圖像數據去除塊失真，並且將經歷濾波操作的參考圖像數據輸出到幀存儲器27。幀存儲器27保存已經歷濾波操作並且從解塊濾波器24提供的參考圖像數據。幀內預測單元31通過使用從圖片重排緩衝器12輸出的並且關於待編碼圖像的圖像數據以及從加法單元23提供的參考圖像數據來執行幀內預測操作。幀內預測單元31針對正交變換中的每個變換塊尺寸並且針對幀內預測中的每個預測模式執行幀內預測操作。幀內預測單元31將所生成的預測圖像數據輸出到預測圖像/最優模式選擇單元33。幀內預測單元31還生成關於幀內預測操作的編碼參數信息，並且將編碼參數信息輸出到無損編碼單元16和預測圖像/最優模式選擇單元33。幀內預測單元31將宏塊尺寸、變換塊尺寸、宏塊中的變換塊的位置、預測模式等併入到編碼參數信息中。幀內預測單元31還計算每個幀內預測操作中的成本函數值，並且選擇具有最小成本函數值的幀內預測操作作為計算結果，或者具有最高編碼效率的最優幀內預測操作。幀內預測單元31將最優幀內預測操作中的成本值和編碼參數信息以及通過最優幀內預測操作生成的預測圖像數據輸出到預測圖像/最優模式選擇單元33。運動預測/補償單元32按與宏塊對應的所有經運動補償的塊尺寸執行幀間預測操作，以生成預測圖像數據並且將其輸出到預測圖像/最優模式選擇單元33。使用已經歷濾波操作並且從幀存儲器27讀取的參考圖像數據，運動預測/補償單元32從讀取自圖片重排緩衝器12並且關於待編碼圖像的圖像中的每個經運動補償的塊尺寸的圖像檢測運動向量。基於檢測到的運動向量，運動預測/補償單元32進一步對參考圖像執行運動補償操作以生成預測圖像數據。運動預測/補償單元32還生成關於幀間預測操作的編碼參數信息，諸如指示宏塊尺寸、經運動補償的塊尺寸、運動向量等的編碼參數信息。運動預測/補償單元32將編碼參數信息輸出到無損編碼單元16和預測圖像/最優模式選擇單元33。 運動預測/補償單元32還計算每個經運動補償的塊尺寸的成本函數值，並且選擇具有最小成本函數值的幀間預測操作作為計算結果，或者具有最高編碼效率的幀間預測操作。運動預測/補償單元32將最優幀間預測操作中的成本值和編碼參數信息以及通過最優幀間預測操作生成的預測圖像數據輸出到預測圖像/最優模式選擇單元33。當幀內預測單元31針對每個變換塊尺寸和每個預測模式執行幀內預測操作以選擇最優幀內預測操作時，預測圖像/最優模式選擇單元33將編碼參數信息輸出到正交變換單元14、無損編碼單元16，並且將預測圖像數據輸出到減法單元13。當運動預測/補償單元32針對每個預測塊執行幀間預測操作以選擇最優幀間預測操作時，預測圖像/最優模式選擇單元33將編碼參數信息輸出到正交變換單元14和無損編碼單元16，並且將預測圖像數據輸出到減法單元13。此外，當選擇最優幀內預測操作或最優幀間預測操作作為最優模式時，預測圖像/最優模式選擇單元33將最優幀內預測操作的成本函數值與最優幀間預測操作的成本函數值比較。基於比較結果，預測圖像/最優模式選擇單元33選擇具有較小成本函數值的預測操作，或者具有較高編碼效率的預測操作，作為最優模式，並且將在所選擇的最優模式中生成的預測圖像數據輸出到減法單元13。再者，預測圖像/最優模式選擇單元33將指示最優模式中的預測操作的編碼參數信息輸出到正交變換單元14和無損編碼單元16。<2.正交變換單元的結構〉在幀內預測操作中，使用相鄰編碼塊中的像素進行預測，並且從兩個或更多個預測方向中選擇最優預測方向。例如，在H. 264/AVC中，對於16X 16個像素的塊，預測模式O至預測模式3的四個模式被設定為預測模式。再者，對於8X8個像素的塊，預測模式O至預測模式8的九個模式被設定為預測模式。此外，對於4X4個像素的塊，預測模式O至預測模式8的九個模式被設定為預測模式。圖2示出了例如4X4個像素的塊的預測模式。在下文中，簡要描述了圖2中所示的每個預測模式。在圖2中，箭頭指示預測方向。圖2 (A)圖示了預測模式O (豎直)。預測模式O是用於從在豎直方向上相鄰的參考像素A至D生成預測值的模式。圖2 (B)圖示了預測模式I (水平)。預測模式I是用於從如箭頭指示的水平方向上相鄰的參考像素I至L生成預測值的模式。圖2 (C)圖示了預測模式2 (DC)。預測模式2是用於從十三個參考像素A至M中的、在豎直方向上和在水平方向上相鄰的參考像素A至D和參考像素I至L生成預測值的模式。圖2 (D)圖示了預測模式3 (左下對角線)。預測模式3是用於從十三個參考像素A至M中的、在水平方向上連續的參考像素A至H生成預測值的模式。圖2 (E)圖示了預測模式4 (右下對角線)。預測模式4是用於從十三個參考像素A至M中的、與塊相鄰的參考像素A至D和I至M生成預測值的模式。圖2 (F)圖示了預測模式5 (右豎直)。預測模式5是用於從十三個參考像素A至M中的、與塊相鄰的參考像素A至D和I至M生成預測值的模式。圖2 (G)圖示了預測模式6 (下水平)。如同預測模式4和預測模式5，預測模式6是用於從十三個參考像素A至M中的、與塊相鄰的參考像素A至D和I至M生成預測值的模式。圖2 (H)圖示了預測模式7 (左豎直)。預測模式7是用於從十三個參考像素A至M中的、位於塊上方並且與塊相鄰的四個參考像素A至D，以及跟隨四個參考像素A至D的四個參考像素E至G生成預測值的模式。圖2 (I)圖示了預測模式8 (下水平)。預測模式8是用於從十三個參考像素A至M中的、位於塊左側並且與塊相鄰的四個參考像素I至L生成預測值的模式。·當以該方式生成預測值時，存在許多如下情況，其中在塊中的像素中，較接近預測中使用的像素的像素具有相對預測值的較小的差(預測誤差)。因此，在如圖3 (A)中所示的其中選擇預測模式O (豎直)作為最優模式的情況下，例如，像素PO至P3較之像素P12至P15具有較小的預測誤差。在如圖3 (B)中所示的其中選擇預測模式I (水平)的情況下，像素P0、P4、P8和P12較之像素P3、P7、P11和P15具有較小的預測誤差。在如圖3 (C)中所示的其中選擇預測模式4 (右下對角線)的情況下，像素PO較之像素P15具有較小的預測誤差。如上文所述，預測誤差取決於預測模式。對於每個宏塊中的塊位置，存在許多如下情況，其中較接近已被編碼的相鄰宏塊的塊具有較小的預測誤差，並且預測誤差還取決於宏塊中的塊位置。因此，正交變換單元14針對每個預測模式和宏塊中的將經歷正交變換的每個塊的位置設定最優基底。通過該方式，正交變換單元14針對預測誤差對正交變換進行最優化。在正交變換中，Karhunen-Loeve變換技術(以下稱為KL變換技術)被稱為最優變換技術，用於以變換係數不相關，或者實現最高編碼效率的方式執行變換。然而，為了確定KL變換的基底，有必要基於預測誤差生成矩陣並且計算與所生成的矩陣的特徵值對應的特徵向量。如果圖像編碼裝置每次都計算基底，則圖像編碼裝置中的計算量將變得較大。如果將計算的基底添加到編碼位流，則編碼效率將變得較低。因此，通過預先學習來計算關於每個宏塊中的將被正交變換的每個塊的位置並且關於每個預測模式的最優模式。在圖像編碼裝置和圖像解碼裝置中使用計算的基底的情況下，不需要圖像編碼裝置和圖像解碼裝置計算基底，並且可以使圖像編碼裝置和圖像解碼裝置的結構比用於計算基底的圖像編碼裝置和圖像解碼裝置的結構簡單。此外，由於不需要傳送基底，因此通過使用KL變換可以提高編碼效率。後面將描述基底的學習。在幀內預測中，在宏塊由16X16個像素形成的情況下，作為待編碼圖像的塊尺寸的變換塊尺寸是例如16X16個像素、8X8個像素或者4X4個像素。在宏塊由8X8個像素形成的情況下，變換塊尺寸是例如8X8個像素或者4X4個像素。因此，在如圖4中所示的宏塊由16X 16個像素形成的情況下，正交變換單元14被設計為能夠執行與按16X 16個像素、8X8個像素或者4X4個像素的塊尺寸的預測模式兼容的KL變換。再者，在宏塊由8 X 8個像素形成的情況下，正交變換單元14被設計為能夠執行與按8 X 8個像素或者4X4個像素的塊尺寸的預測模式兼容的KL變換。此外，在其中存在按宏塊的變換塊的情況下，正交變換單元14根據宏塊中的每個塊的位置Ioc執行KL變換。圖5圖示了使用KL變換的正交變換單元14的示例結構。正交變換單元14包括16X16KL變換單元141、8X8KL變換單元142、2X 2KL變換單元143和146、4X4KL變換單元144和145、DCT單元147和係數選擇單元148。16X16KL變換單元141使用針對每個預測模式預先學習的最優基底，並且針對關於每個16X16塊的預測誤差數據執行KL變換。得到的係數被輸出到係數選擇單元148。8X8KL變換單元142使用針對每個預測模式並且針對宏塊中的每個塊位置預先學習的最優基底，並且對關於每個8X8塊的預測誤差數據執行KL變換。在預測誤差數據是與16X16個像素的塊尺寸兼容的數據的情況下，每個16X16個像素的塊包括四個8X8個像素的塊。因此，8X8KL變換單元142將每個8X8個像素的塊中的最低頻率分量的係數(以下稱為「最低頻率分量係數」)輸出到2X2KL變換單元143，並且將其他係數輸出到係數選擇單元148。再者，在預測誤差數據是與8X8個像素的塊尺寸兼容的數據的情況下，8 X 8KL變換單元142通過使用針對每個預測模式預先學習的最優基底，對關於每個8 X 8個像素的塊的預測誤差數據執行KL變換。8X8KL變換單元142將通過KL變換獲得的係數輸出到係數選擇單元148。使用與關於各個預測模式的預先學習的最優基底中的與預測模式兼容的基底，
2X 2KL變換單元143對從8 X 8KL變換單元142提供的每個2 X 2塊的係數執行KL變換，並且將得到的係數輸出到係數選擇單元148。4X4KL變換單元144使用針對每個預測模式並且針對宏塊中的每個塊位置預先學習的最優基底，並且對關於每個4X4個像素的塊的預測誤差數據執行KL變換。在預測誤差數據是與16X16個像素的塊尺寸兼容的數據的情況下，每個16X16個像素的塊包括十六個8X8個像素的塊。因此，4X4KL變換單元144將每個4X4個像素的塊中的最低頻率分量係數輸出到4X4KL變換單元145，並且將其他係數輸出到係數選擇單元148。在預測誤差數據是與8X8個像素的塊尺寸兼容的數據的情況下，每個8X8個像素的塊包括四個4X4個像素的塊。因此，4X4KL變換單元144將每個4X4個像素的塊中的最低頻率分量係數輸出到2X2KL變換單元146，並且將其他係數輸出到係數選擇單元148。使用與關於各個預測模式的預先學習的最優基底中的與4X4KL變換單元144指定的預測模式兼容的基底，4X4KL變換單元145對從4X4KL變換單元144提供的4X4塊的最低頻率分量係數執行KL變換。4X4KL變換單元145將通過KL變換獲得的係數輸出到係數選擇單元148。使用與關於各個預測模式的預先學習的最優基底中的與預測模式兼容的基底，2X2KL變換單元143對從4X4KL變換單元144提供的2X2塊的最低頻率分量係數執行KL變換。2X2KL變換單元146將通過KL變換獲得的係數輸出到係數選擇單元148。
DCT單元147對預測誤差數據執行離散餘弦變換，並且將得到的係數輸出到係數選擇單元148。係數選擇單元148根據宏塊尺寸和變換塊尺寸選擇係數，變換塊尺寸是與預測誤差數據對應的塊尺寸。在宏塊尺寸是16X16個像素的情況下，係數選擇單元148基於變換塊尺寸選擇從16 X 16KL變換單元141輸出的係數、從8 X 8KL變換單元142和2 X 2KL變換單元143輸出的係數、或者從4X 4KL變換單元144和4X 4KL變換單元145輸出的係數。係數選擇單元148將所選擇的係數輸出到量化單元15。在宏塊尺寸是8X8個像素的情況下，係數選擇單元148基於變換塊尺寸選擇從8X8KL變換單元142輸出的係數或者從4 X 4KL變換單元144和2X2KL變換單元146輸出的係數。係數選擇單元148將所選擇的係數輸出到量化單元15。當從預測圖像/最優模式選擇單元33提供的編碼參數信息指示幀間預測模式時，係數選擇單元148將從DCT單元147輸出的係數輸出到量化單元15。<3.圖像編碼裝置的操作〉 接下來，描述圖像編碼操作。圖6是示出圖像編碼操作的流程圖。在步驟STll中，A/D轉換單元11對輸入圖像信號執行A/D轉換。在步驟ST12中，圖片重排緩衝器12執行圖像重排。圖片重排緩衝器12存儲從A/D轉換單元11提供的圖像數據，並且按編碼順序而非顯示順序重排各個圖片。在步驟ST13中，減法單元13生成預測誤差數據。減法單元13通過計算在步驟ST12中重排的圖像的圖像數據和由預測圖像/最優模式選擇單元33選擇的預測圖像數據之間的差來生成預測誤差數據。預測誤差數據具有比原始圖像數據小的數據量。因此，較之其中直接對圖像編碼的情況，可以使數據量較小。在步驟ST14中，正交變換單元14執行正交變換操作。正交變換單元14對從減法單元13提供的預測誤差數據進行正交變換。正交變換單元14對預測誤差數據執行諸如Karhunen-Loeve變換或離散餘弦變換的正交變換，並且輸出係數數據。後面將詳細描述正交變換單元14的操作。在步驟ST15中，量化單元15執行量化操作。量化單元15對係數數據進行量化。在量化中，如後面在步驟ST26的描述中所描述的，執行速率控制。在步驟ST16中，逆量化單元21執行逆量化操作。逆量化單元21對具有與量化單元15的特性兼容的特性的、由量化單元15量化的係數數據進行逆量化。在步驟ST17中，逆正交變換單元22執行逆正交變換操作。逆正交變換單元22對具有與正交變換單元14的特性兼容的特性的、由逆量化單元21逆量化的係數數據執行逆正交變換。在步驟ST18中，加法單元23生成參考圖像數據。加法單元23通過使從預測圖像/最優模式選擇單元33提供的預測圖像數據與對應於預測圖像數據並且已經歷逆正交變換的塊位置的數據相加，來生成參考圖像數據。在步驟ST19中，解塊濾波器24執行濾波操作。解塊濾波器24通過對從加法單元23輸出的參考圖像數據濾波來去除塊失真。在步驟ST20中，幀存儲器27存儲參考圖像數據。幀存儲器27存儲經濾波的參考圖像數據。
在步驟ST21中，幀內預測單元31和運動預測/補償單元32均執行預測操作。具體地，幀內預測單元31在幀內預測模式中執行幀內預測操作，而運動預測/補償單元32在幀間預測模式中執行運動預測/補償操作。後面將參照圖7描述預測操作。在該步驟中，在所有候選預測模式中執行預測操作，並且在所有候選預測模式中計算成本函數值。基於計算的成本函數值，選擇最優幀內預測操作和最優幀間預測操作，並且通過所選擇的預測操作生成的預測圖像數據、成本函數和編碼參數信息被提供給預測圖像/最優模式選擇單元33。
在步驟ST22中，預測圖像/最優模式選擇單元33選擇圖像數據，基於從幀內預測單元31和運動預測/補償單元32輸出的各個成本函數值，預測圖像/最優模式選擇單元33確定使編碼效率最優化的最優模式。預測圖像/最優模式選擇單元33還選擇所確定的最優模式中的預測圖像數據，並且將所選擇的預測圖像數據提供給減法單元13和加法單元23。如上文所述，在步驟ST13和ST18中的操作中使用該預測圖像數據。在步驟ST23中，預測圖像/最優模式選擇單元33執行編碼參數信息生成操作。預測圖像/最優模式選擇單元33將關於所選擇的預測圖像數據的編碼參數信息作為關於最優模式的編碼參數信息輸出到正交變換單元14和無損編碼單元16。在步驟ST24中，無損編碼單元16執行無損編碼操作。無損編碼單元16對從量化單元15輸出的量化數據執行無損編碼。就是說，對量化數據執行諸如可變長度編碼或算術編碼的無損編碼以壓縮數據。此時，還對如上文所述在步驟ST23中提供給無損編碼單元16的編碼參數信息執行無損編碼。此外，將諸如編碼參數信息的無損編碼數據添加到通過對量化數據執行無損編碼生成的編碼位流中的報頭信息。在步驟ST25中，積累緩衝器17執行積累操作。積累緩衝器17存儲從無損編碼單元16輸出的編碼位流。在必要的情況下，讀取積累緩衝器17中存儲的編碼位流並且經由傳輸路徑將其傳送到解碼側。在步驟ST26中，速率控制單元18執行速率控制。速率控制單元18控制量化單元15的量化操作速率，使得當積累緩衝器17存儲編碼位流時不會在積累緩衝器17中發生過流或欠流。現在參照圖7的流程圖，描述圖6的步驟ST21中的預測操作。在步驟ST31中，幀內預測單元31執行幀內預測操作。幀內預測單元31在所有候選預測模式中對當前塊的圖像執行幀內預測操作。在幀內預測操作中，使用從加法單元23提供的參考圖像數據。在幀內預測中，如後面將描述的，在各個預測模式中執行幀內預測操作，並且計算各個預測模式中的成本函數值。基於所計算的成本函數值，選擇具有最高編碼效率的幀內預測操作。在步驟ST32中，運動預測/補償單元32進行幀間預測。使用幀存儲器27中存儲的經濾波的參考圖像數據，運動預測/補償單元32按各個經運動補償的塊尺寸執行幀間預測操作。在幀間預測中，按各個經運動補償的塊尺寸以及各個預測塊中的成本函數值，執行幀間預測操作。基於計算的成本函數值，選擇具有最高編碼效率的幀間預測操作。現在參照圖8的流程圖，描述圖7的步驟ST31中的幀內預測操作。在步驟ST41中，幀內預測單元31按各個預測模式和變換塊尺寸臨時執行幀內預測操作。幀內預測單元31使用從加法單元23提供的參考圖像數據，臨時執行如下操作，其開始於生成預測圖像數據和生成預測誤差數據並且結束於按每個預測模式和每個變換塊尺寸的無損編碼。在每個幀內預測操作中，幀內預測單元31將關於幀內預測操作的編碼參數信息輸出到正交變換單元14和無損編碼單元16。在步驟ST42中，幀內預測單元31按每個預測模式和每個變換塊尺寸計算成本函數值。如作為H. 264/AVC中的參考軟體的JM (聯合模型)中規範的，通過高複雜度模式和低複雜度模式的技術來計算成本函數值。具體地，在高複雜度模式中，作為步驟ST41的操作，按每個預測模式和每個變換塊尺寸臨時執行結束於無損編碼操作的操作，以計算按每個預測模式和每個變換塊尺寸的、由下式(I)表述的成本函數值成本(模式eΩ)= +λ · R …(I)這裡，Ω表示用於對塊或宏塊編碼的候選預測模式和變換塊尺寸的全體集合。D表示在其中按預測模式和變換塊尺寸執行編碼的情況下，參考圖像和輸入圖像之間的能量·差(失真)。R表示所生成的編碼量，其包括正交變換係數和編碼參數信息，並且λ表示作為量化參數Qp的函數給出的拉格朗日乘數。就是說，為了在高複雜度模式中執行編碼，需要按所有候選預測模式和變換塊尺寸執行臨時編碼操作以計算以上參數D和R，並且因此，需要較大的計算量。另一方面，在低複雜度模式中，作為步驟ST41的操作，按所有預測模式和變換塊尺寸執行預測圖像的生成以及諸如編碼參數信息的報頭位的計算，並且在每個預測模式中計算由下式(2)表示的成本函數值成本(模式G Ω ) =D+QPtoQuant (QP) .Headei^Bit ... (2)這裡，Ω表示用於對塊或宏塊編碼的候選預測模式和變換塊尺寸的全體集合。D表示在其中按預測模式和變換塊尺寸執行編碼的情況下，參考圖像和輸入圖像之間的能量差(失真)。Header_Bit表示與預測模式和變換塊尺寸對應的報頭位，並且QPtoQuant是作為量化參數Qp的函數給出的函數。就是說，在低複雜度模式中，需要按每個預測模式和每個變換塊尺寸的執行預測操作，但是不需要任何解碼圖像。因此，較之高複雜度模式中需要的計算量，計算量可以較小。在步驟ST43中，幀內預測單元31確定最優幀內預測操作。基於在步驟ST42中計算的成本函數值，幀內預測單元31選擇具有計算的成本函數值中的最小成本函數值的一個幀內預測操作，並且確定所選擇的幀內預測操作是最優幀內預測操作。現在參照圖9的流程圖，描述圖7的步驟ST32中的幀間預測操作。在步驟ST51中，運動預測/補償單元32按每個經運動補償的塊尺寸臨時執行幀間預測操作。使用待編碼的當前塊的圖像數據和參考圖像數據，運動預測/補償單元32按每個經運動補償的塊尺寸臨時進行運動預測。基於檢測到的運動向量，運動預測/補償單元32對參考圖像數據執行運動補償以生成預測圖像數據等。在每個幀間預測操作中，運動預測/補償單元32將關於幀間預測操作的編碼參數信息輸出到正交變換單元14和無損編碼單元16。在步驟ST52中，運動預測/補償單元32計算關於每個經運動補償的塊尺寸的成本函數值。使用上述式(I)或(2)，運動預測/補償單元32計算成本函數值。在成本函數值的計算中，使用包括編碼參數信息等的所生成的編碼量。幀間預測模式中的成本函數值計算牽涉H. 264/AVC中規範的跳躍模式和直接模式中的成本函數值的估值。在步驟ST53中，運動預測/補償單元32確定最優幀間預測操作。基於在步驟ST52中計算的成本函數值，運動預測/補償單元32選擇具有計算的成本函數值中的最小成本函數值的一個幀間預測操作，並且確定所選擇的幀間預測操作是最優幀間預測操作。現在參照圖10中的流程圖，描述在幀內預測操作的情況下的圖6的步驟ST23中的編碼參數信息生成操作。如上文所述，由幀內預測單元31生成編碼參數信息。在預測圖像/最優模式選擇單元33選擇最優模式的情況下，可以由預測圖像/最優模式選擇單元33生成與所選擇的預測操作對應的編碼參數信息。在步驟ST61中，幀內預測單元31確定宏塊尺寸是否是16X16個像素。如果宏塊尺寸是16 X 16個像素，則幀內預測單元31移至步驟ST62，並且如果不是16 X 16個像素，則 幀內預測單元31移至步驟ST63。在步驟ST62中，幀內預測單元31按16X 16個像素設定變換塊尺寸信息，並且移至步驟ST65。在用於執行KL變換的正交變換單元14的變換塊尺寸是4X4個像素的情況下，幀內預測單元31將指示變換塊尺寸的變換塊尺寸信息設定為「O」。在用於執行KL變換的正交變換單元14的變換塊尺寸是8X8個像素的情況下，幀內預測單元31將變換塊尺寸信息設定為「I」。在變換塊尺寸是16X16個像素的情況下，幀內預測單元31將變換塊尺寸信息設定為「2」。在步驟ST63中，幀內預測單元31確定宏塊尺寸是否是8X8個像素。如果宏塊尺寸是8 X 8個像素，則幀內預測單元31移至步驟ST64，並且如果不是8 X 8個像素，則幀內預測單元31移至步驟ST65。在步驟ST64中，幀內預測單元31按8X8個像素設定變換塊尺寸信息，並且移至步驟ST65。在用於執行KL變換的正交變換單元14的變換塊尺寸是4X4個像素的情況下，幀內預測單元31將變換塊尺寸信息設定為「O」。在用於執行KL變換的正交變換單元14的變換塊尺寸是8X8個像素的情況下，幀內預測單元31將變換塊尺寸信息設定為「I」。在步驟ST65中，幀內預測單元31生成編碼參數信息。幀內預測單元31使用指示預測是幀內預測的信息、宏塊尺寸、變換塊尺寸信息、預測模式、宏塊中的塊位置等，形成編碼參數信息。現在參照圖11中的流程圖，描述正交變換操作。在步驟ST71中，正交變換單元14確定是否存在幀內預測。如果編碼參數信息指示幀內預測，則正交變換單元14移至步驟ST72，並且如果未指示幀內預測，則正交變換單元14移至步驟ST81。在步驟ST72中，正交變換單元14確定宏塊尺寸是否是16X16個像素。如果編碼參數信息指示宏塊尺寸是16 X 16個像素，則正交變換單元14移至步驟ST73，並且如果不是16X16個像素，則正交變換單元14移至步驟ST78。在步驟ST73中，正交變換單元14確定變換塊尺寸是否是4X4個像素。如果編碼參數信息指示變換塊尺寸是4 X 4個像素，則正交變換單元14移至步驟ST74，並且如果不是4X4個像素，則正交變換單元14移至步驟ST75。在步驟ST74中，正交變換單元14執行4X4正交變換操作。使用根據預測模式和塊位置預先學習的基底，正交變換單元14對每個4X4個像素的塊執行KL變換。由於16 X 16個像素的塊包括十六個4X4個像素的塊,因此這裡執行十六次KL變換。此外,正交變換單元14從通過對4X 4個像素的塊執行KL變換獲得的係數中選擇最低頻率分量係數，並且通過使用與預測模式兼容的基底對所選擇的4X4個係數執行KL變換。正交變換單元14將通過對最低頻率分量係數執行KL變換獲得的係數以及最低頻率分量係數以外的係數輸出到量化單元15。就是說，圖5中所示的正交變換單元14的係數選擇單元148選擇從4X4KL變換單元144和146輸出的係數，並且將所選擇的係數輸出到量化單元15。在步驟ST75中，正交變換單元14確定變換塊尺寸是否是8 X 8個像素。如果編碼參數信息指示變換塊尺寸是8 X 8個像素，則正交變換單元14移至步驟ST76，並且如果不是8X8個像素，則正交變換單元14移至步驟ST77。在步驟ST76中，正交變換單元14執行8X8正交變換操作。使用根據預測模式和塊位置預先學習的基底，正交變換單元14對每個8X8個像素的塊執行KL變換。由於16X 16個像素的塊包括四個8X8個像素的塊，因此這裡執行四次KL變換。此外，正交變換單元14從通過對8X8個像素的塊執行KL變換獲得的係數中選擇最低頻率分量係數，·並且通過使用與預測模式兼容的基底對所選擇的8X8個係數執行KL變換。正交變換單元14將通過對最低頻率分量係數執行KL變換獲得的係數以及最低頻率分量係數以外的係數輸出到量化單元15。就是說，圖5中所示的正交變換單元14的係數選擇單元148選擇從
8X 8KL變換單元142和2 X 2KL變換單元143輸出的係數，並且將所選擇的係數輸出到量化單元15。在步驟ST77中，正交變換單元14執行16 X 16正交變換操作。使用根據預測模式預先學習的基底，正交變換單元14對16X 16個像素的塊執行KL變換，並且將得到的係數輸出到量化單元15。就是說，圖5中所示的正交變換單元14的係數選擇單元148選擇從16X16KL變換單元141輸出的係數，並且將所選擇的係數輸出到量化單元15。當從步驟ST72移至步驟ST78時，正交變換單元14確定變換塊尺寸是否是4X4個像素。如果編碼參數信息指示變換塊尺寸是4X4個像素，則正交變換單元14移至步驟ST79，並且如果不是4X4個像素，則正交變換單元14移至步驟ST80。在步驟ST79中，正交變換單元14執行4X4正交變換操作。使用根據預測模式和塊位置預先學習的基底，正交變換單元14對每個4X4個像素的塊執行KL變換。由於8X8個像素的塊包括四個4 X 4個像素的塊，因此這裡執行四次KL變換。此外，從通過對4X4個像素的塊執行KL變換獲得的係數中選擇最低頻率分量係數，並且通過使用與預測模式兼容的基底對所選擇的2X 2個係數執行KL變換。正交變換單元14將通過對最低頻率分量係數執行KL變換獲得的係數以及最低頻率分量係數以外的係數輸出到量化單元15。就是說，圖5中所示的正交變換單元14的係數選擇單元148選擇從4X4KL變換單元144和2X2KL變換單元146輸出的係數，並且將所選擇的係數輸出到量化單元15。在步驟ST80中，正交變換單元14對每個8 X 8個像素的塊執行正交變換。使用根據預測模式預先學習的基底，正交變換單元14對8X8個像素的塊執行KL變換，並且將得到的係數輸出到量化單元15。就是說，圖5中所示的正交變換單元14的係數選擇單元148選擇從8X8KL變換單元142輸出的係數，並且將所選擇的係數輸出到量化單元15。在步驟ST81中，正交變換單元41執行離散餘弦變換(DCT)。正交變換單元14將通過離散餘弦變換獲得的係數輸出到量化單元15。就是說，圖5中所示的正交變換單元14的係數選擇單元148選擇從DCT單元147輸出的係數，並且將所選擇的係數輸出到量化單元15。圖12是用於說明正交變換操作的示圖。在如圖12 (A)中所示宏塊尺寸是16X16個像素並且變換塊尺寸是4X4個像素的情況下，如圖12 (B)中所示在宏塊中包含十六個變換塊。應注意，塊中的數字表示塊位置loc。使用針對預測模式和每個塊的塊位置最優化的基底，正交變換單元14的4X4KL變換單元144對每個變換塊執行KL變換，以生成如圖12 (C)中所示的各個塊的係數。此外，使用各個塊中的(由陰影部分指示的)最低頻率分量係數，4X4KL變換單元145形成如圖12 (D)中所示的4X4塊。使用根據預測模式最優化的基底，4X4KL變換單元145對該塊執行KL變換，並且生成如圖12 (E)中所示的每個塊的係數。正交變換單元14將圖12 (E)中所示的係數以及圖12 (C)中的除了最低頻率分量係數以外的係數輸出到量化單元15。在如圖12(F)中所示宏塊尺寸是8X8個像素並且變換塊尺寸是4X4個像素的情況下，如圖12 (G)中所示在宏塊中包含四個變換塊。應注意，塊中的數字表示塊位置loc。 使用針對預測模式和每個塊的塊位置最優化的基底，正交變換單元14的4X4KL變換單元144對每個變換塊執行KL變換，以生成如圖12 (H)中所示的各個塊的係數。此外，使用各個塊中的(由陰影部分指示的)最低頻率分量係數，2X2KL變換單元146形成如圖12 (I)中所示的2 X 2塊。使用根據預測模式最優化的基底，2 X 2KL變換單元146對該塊執行KL變換，並且生成如圖12 (J)中所示的每個塊的係數。正交變換單元14將圖12 (J)中所示的係數以及圖12 (H)中的除了最低頻率分量係數以外的係數輸出到量化單元15。如上文所述，通過本發明的圖像編碼裝置和方法，使用根據宏塊中的的變換塊的塊位置預先設定的基底來執行圖像數據編碼時的正交變換。因此，可以執行根據塊位置最優化的變換，並且可以提高編碼效率。再者，使用不僅根據塊位置而且根據預測模式預先設定的基底來執行更大程度上最優化的正交變換。因此，可以進一步提高編碼效率。隨著編碼效率的提高，例如可以在不增加編碼位流數據流的情況下提高圖像質量。<4.圖像解碼裝置的結構〉通過對輸入圖像編碼而生成的編碼位流經由預定傳輸路徑或記錄介質等被提供給圖像解碼裝置，並且在其中被解碼。圖13圖示了圖像解碼裝置的結構。圖像解碼裝置50包括積累緩衝器51、無損解碼單元52、逆量化單元53、逆正交變換單元54、加法單元55、解塊濾波器56、圖片重排緩衝器57和數字/模擬轉換單元(D/A轉換單元)58。圖像解碼裝置50進一步包括幀存儲器61、幀內預測單元62、運動補償單元63和選擇器64。積累緩衝器51存儲所傳送的編碼位流。無損解碼單元52通過與圖I的無損編碼單元16使用的編碼技術兼容的技術對從積累緩衝器51提供的編碼位流解碼。無損解碼單元52對編碼位流中的報頭信息解碼，並且將得到的編碼參數信息輸出到幀內預測單元62、運動補償單元63和解塊濾波器56。使用待解碼的塊和解碼相鄰塊的運動向量，無損解碼單元52設定預測運動向量候選者。基於通過對編碼位流執行無損解碼獲得的預測運動向量選擇信息，無損解碼單元52從預測運動向量候選者中選擇運動向量，並且將所選擇的運動向量設定為預測運動向量。無損解碼單元52使預測運動向量與對編碼位流執行無損解碼獲得的運動向量差相加，並且計算待解碼的塊的運動向量並將其輸出到運動補償單元63。逆量化單元53使用與圖I的量化單元15使用的量化技術兼容的技術，對無損解碼單元52解碼的量化數據進行逆量化。逆正交變換單元54通過與圖I的正交變換單元14使用的正交變換技術兼容的技術對來自逆量化單元53的輸出執行逆正交變換，並且將結果輸出到加法單元55。加法單元55通過使經歷逆正交變換的數據與從選擇器64提供的預測圖像數據相加來生成解碼圖像數據，並且將解碼圖像數據輸出到解塊濾波器56和幀內預測單元62。解塊濾波器56對從加法單元55提供的解碼圖像數據執行濾波，並且去除塊失真。將得到的數據提供給幀存儲器61並且存儲到其中，並且得到的數據還被輸出到圖片重排緩衝器57。
圖片重排緩衝器57執行圖像重排。具體地，由圖I的圖片重排緩衝器12執行的 按編碼順序重排的幀順序被重新排列成原始顯示順序，並且被輸出到D/A轉換單元58。D/A轉換單元58對從圖片重排緩衝器57提供的圖像數據執行D/A轉換，並且將經轉換的圖像數據輸出到顯示器(未示出)以顯示圖像。幀存儲器61保存已經歷濾波操作並且從解塊濾波器24提供的解碼圖像數據。基於從無損解碼單元52提供的編碼參數信息，幀內預測單元62生成預測圖像，並且將所生成的預測圖像輸出到選擇器64。基於從無損解碼單元52提供的編碼參數信息和運動向量，運動補償單元63執行運動補償，以生成預測圖像數據並且將其輸出到選擇器64。具體地，基於從無損解碼單元52提供的運動向量和參考幀信息，運動補償單元63使用運動向量對參考幀信息指示的參考圖像執行運動補償，並且生成經運動補償的塊尺寸的預測圖像數據。選擇器64將幀內預測單元62生成的預測圖像數據提供給加法單元55。選擇器64還將運動補償單元63生成的預測圖像數據提供給加法單元55。〈5.逆正交變換單元的結構〉圖14圖示了逆正交變換單元54的結構。逆正交變換單元54包括16X 16KL逆變換單元541、2 X 2KL逆變換單元542和545、8 X 8KL逆變換單元543、4 X 4KL逆變換單元544和546、IDCT單元547和數據選擇單元548。16X16KL逆變換單元541執行與圖5中所示的16X16KL變換單元141執行的KL變換對應的KL逆變換。使用與從無損解碼單元52提供的關於最優模式的編碼參數信息指示的預測模式(最優預測模式)兼容的基底，16X16KL逆變換單元541對從逆量化單元53輸出的逆量化數據執行KL逆變換。16X 16KL逆變換單元541將通過執行KL逆變換獲得的圖像數據輸出到數據選擇單元548。2 X 2KL逆變換單元542執行與圖5中所示的2 X 2KL變換單元143執行的KL變換對應的KL逆變換。使用與最優模式編碼參數信息指示的預測模式兼容的基底，2 X 2KL逆變換單元542對從逆量化單元53輸出的逆量化數據執行KL逆變換。2 X 2KL逆變換單元542將通過執行KL逆變換獲得的最低頻率分量係數輸出到8X8KL逆變換單元543。8X8KL逆變換單元543執行與圖5中所示的8X8KL變換單元143執行的KL變換對應的KL逆變換。基於從無損解碼單元52提供的最優模式編碼參數信息，8 X 8KL逆變換單元543執行KL逆變換。在宏塊尺寸是例如16X 16個像素的情況下，8X8KL逆變換單元543使用與最優模式編碼參數信息指示的預測模式和塊位置兼容的基底，對從2 X 2KL逆變換單元542輸出的最低頻率分量係數和從逆量化單元53輸出的逆量化數據執行KL逆變換。8X8KL逆變換單元543將通過執行KL逆變換獲得的圖像數據輸出到數據選擇單元548。在宏塊尺寸是8X8個像素的情況下，8X8KL逆變換單元543使用與預測模式和塊位置兼容的基底，對從逆量化單元53輸出的逆量化數據執行KL逆變換。得到的圖像數據被輸出到數據選擇單元548。4 X 4KL逆變換單元544執行與圖5中所示的4 X 4KL變換單元145執行的KL變換對應的KL逆變換。使用與最優模式編碼參數信息指示的預測模式兼容的基底，4X 4KL逆變換單元544對從逆量化單元53輸出的逆量化數據執行KL逆變換。4X4KL逆變換單元544將通過執行KL逆變換獲得的最低頻率分量係數輸出到4X4KL逆變換單元546。2 X 2KL逆變換單元545執行與圖5中所示的2 X 2KL變換單元146執行的KL變換對應的KL逆變換。使用與最優模式編碼參數信息指示的預測模式兼容的基底，2 X 2KL逆變換單元545對從逆量化單元53輸出的逆量化數據執行KL逆變換。2 X 2KL逆變換單元545 將通過執行KL逆變換獲得的最低頻率分量係數輸出到4X4KL逆變換單元546。4X4KL逆變換單元546執行與圖5中所示的4X4KL變換單元144執行的KL變換對應的KL逆變換。基於從無損解碼單元52提供的最優模式編碼參數信息，4X4KL逆變換單元546執行KL逆變換。在宏塊尺寸是例如16X 16個像素的情況下，4X4KL逆變換單元546使用與最優模式編碼參數信息指示的預測模式和塊位置兼容的基底，對從4 X 4KL逆變換單元544輸出的最低頻率分量係數和從逆量化單元53輸出的逆量化數據執行KL逆變換。4X4KL逆變換單元546將通過執行KL逆變換獲得的圖像數據輸出到數據選擇單元548。在宏塊尺寸是8X8個像素的情況下，4X4KL逆變換單元546使用與預測模式和塊位置兼容的基底，對從2 X 2KL逆變換單元545輸出的最低頻率分量係數和從逆量化單元53輸出的逆量化數據執行KL逆變換。4 X 4KL逆變換單元546將通過執行KL逆變換獲得的圖像數據輸出到數據選擇單元548。使用從逆量化單元53輸出的逆量化數據，IDCT單元547執行逆離散餘弦變換，並且將得到的圖像數據輸出到數據選擇單元548。基於編碼參數信息，數據選擇單元548從16 X 16KL逆變換單元541、8 X 8KL逆變換單元543、4X4KL逆變換單元546和IDCT單元547輸出的圖像數據中選擇圖像數據。數據選擇單元548將所選擇的圖像數據作為預測誤差數據輸出到加法單元55。<6.圖像解碼裝置的操作〉現在參照圖15的流程圖，描述將由圖像解碼裝置50執行的圖像解碼操作。在步驟ST91中，積累緩衝器51存儲所傳送的編碼位流。在步驟ST92中，無損解碼單元52執行無損解碼操作。無損解碼單元52對從積累緩衝器51提供的編碼位流解碼。具體地，獲得圖I的無損編碼單元16編碼的每個圖片的量化數據。無損解碼單元52對編碼位流中的報頭信息中包含的編碼參數信息執行無損解碼，並且將得到的編碼參數信息提供給解塊濾波器56和選擇器64。此外，在其中編碼參數信息是關於幀內預測模式的信息的情況下，無損解碼單元52將編碼參數信息輸出到幀內預測單元62。在其中編碼參數信息是關於幀間預測模式的信息的情況下，無損解碼單元52將編碼參數信息輸出到運動補償單元63。
在步驟ST93中，逆量化單元53執行逆量化操作。逆量化單元53對無損解碼單元52解碼的量化數據進行逆量化，具有與圖I的量化單元15的特性兼容的特性。在步驟ST94中，逆正交變換單元54執行逆正交變換操作。逆正交變換單元54對從逆量化單元53提供的逆量化數據執行與圖I的正交變換單元14執行的正交變換兼容的逆正交變換。在步驟ST95中，加法單元55生成解碼圖像數據。加法單元55使通過逆正交變換操作獲得的預測誤差數據與在後面描述的步驟ST99中選擇的預測圖像數據相加，並且生成解碼圖像數據。通過該方式，原始圖像被解碼。在步驟ST96中，解塊濾波器56執行濾波操作。解塊濾波器56對從加法單元55輸出的解碼圖像數據執行濾波，並且去除解碼圖像中包含的塊失真。在步驟ST97中，幀存儲器61執行解碼圖像數據存儲操作。
在步驟ST98中，幀內預測單元62和運動補償單元63執行預測操作。幀內預測單元62和運動補償單元63均根據從無損解碼單元52提供的編碼參數信息執行預測操作。具體地，在其中從無損解碼單元52提供的編碼參數信息指示幀內預測的情況下，幀內預測單元62基於編碼參數信息執行幀內預測操作以生成預測圖像數據。在其中從無損解碼單元52提供的編碼參數信息指示幀間預測的情況下，運動補償單元63基於編碼參數信息執行運動補償以生成預測圖像數據。在步驟ST99中，選擇器64選擇預測圖像數據。具體地，選擇器64選擇從幀內預測單元62提供的預測圖像數據和由運動補償單元63生成的預測圖像數據，並且將所選擇的預測圖像數據提供給加法單元55，如上文所述，加法單元55使所選擇的預測圖像數據與來自步驟ST95中的逆正交變換單元54的輸出相加。在步驟ST100中，圖片重排緩衝器57執行圖像重排。具體地，由圖I的圖像編碼裝置10的圖片重排緩衝器12重排的用於編碼的幀順序被圖片重排緩衝器57重新排列成原始顯示順序。在步驟STlOl中，D/A轉換單元58對從圖片重排緩衝器57提供的圖像數據執行D/A轉換。圖像被輸出到顯示器(未示出)，並且被顯示。現在參照圖16中所示的流程圖，描述逆正交變換操作。在步驟STlll中，逆正交變換單元54確定是否存在幀內預測。逆正交變換單元54基於例如無損解碼單元52從編碼位流提取的編碼參數信息，確定待解碼的塊是否是幀內預測。如果編碼參數信息指示幀內預測，則逆正交變換單元54移至步驟ST112，並且如果不指示幀內預測或者指示幀間預測，則逆正交變換單元54移至步驟ST121。在步驟ST112中，逆正交變換單元54確定宏塊尺寸是否是16X16個像素。如果編碼參數信息指示的宏塊尺寸是16 X 16個像素，則逆正交變換單元54移至步驟STl 13，並且如果不是16X 16個像素，則逆正交變換單元54移至步驟ST118。在步驟ST113中，逆正交變換單元54確定變換塊尺寸是否是4X4個像素。如果編碼參數信息中的變換塊尺寸信息是「O」並且變換塊尺寸是4X4個像素，則逆正交變換單元54移至步驟STl 14，並且如果不是「O」，則逆正交變換單元54移至步驟STl 15。在步驟STl 14中，逆正交變換單元54執行4X4逆正交變換操作。使用根據預測模式和塊位置預先學習的基底，逆正交變換單元54執行4 X 4KL逆變換。在宏塊尺寸是16 X 16個像素的情況下，在編碼中，執行十六次KL變換，並且在從通過執行KL變換獲得的係數中選擇最低頻率分量係數之後進一步執行KL變換。因此，逆正交變換單元54使用與預測模式兼容的基底，對最低頻率分量係數的逆量化數據執行KL逆變換。逆正交變換單元54還使用與預測模式和塊位置兼容的基底，對通過經由KL逆變換獲得的最低頻率分量係數和其他分量的係數形成的十六個塊執行KL逆變換。逆正交變換單元54將通過執行KL逆變換獲得的預測誤差數據輸出到加法單元55。就是說，圖14中所示的逆正交變換單元54的數據選擇單元548選擇4X4KL逆變換單元546使用來自4X4KL逆變換單元544的輸出執行KL逆變換獲得的數據，並且將所選擇的數據輸出到加法單元55。在步驟ST115中，逆正交變換單元54確定變換塊尺寸是否是8X8個像素。如果編碼參數信息中的變換塊尺寸信息是「I」並且變換塊尺寸是8X8個像素，則逆正交變換單元54移至步驟STl 16，並且如果不是「O」，則逆正交變換單元54移至步驟STl 17。 在步驟STl 16中，逆正交變換單元54執行8X8逆正交變換操作。使用根據預測模式和塊位置預先學習的基底，逆正交變換單元54執行8 X 8KL逆變換。在宏塊尺寸是16 X 16個像素的情況下，在編碼中，執行四次KL變換，並且在從通過執行KL變換獲得的係數中選擇最低頻率分量係數之後進一步執行KL變換。因此，逆正交變換單元54使用與預測模式兼容的基底，對最低頻率分量係數的逆量化數據執行KL逆變換。逆正交變換單元54還使用與預測模式和塊位置兼容的基底，對通過經由KL逆變換獲得的最低頻率分量係數和其他分量的係數形成的四個塊執行KL逆變換。逆正交變換單元54將通過執行KL逆變換獲得的預測誤差數據輸出到加法單元55。就是說，圖14中所示的逆正交變換單元54的數據選擇單元548選擇8 X 8KL逆變換單元543使用來自2 X 2KL逆變換單元542的輸出執行KL逆變換獲得的數據，並且將所選擇的數據輸出到加法單元55。在步驟STl 17中，逆正交變換單元54執行16 X 16逆正交變換操作。使用根據預測模式和塊位置預先學習的基底，逆正交變換單元54執行16X16KL逆變換。逆正交變換單元54將通過執行KL逆變換獲得的預測誤差數據輸出到加法單元55。就是說，圖14中所示的逆正交變換單元54的數據選擇單元548選擇16X 16KL逆變換單元541執行KL逆變換獲得的數據，並且將所選擇的數據輸出到加法單元55。當從步驟ST112移至步驟ST118時，逆正交變換單元54確定變換塊尺寸是否是4X4個像素。如果編碼參數信息中的變換塊尺寸信息是「O」並且變換塊尺寸是4X4個像素，則逆正交變換單元54移至步驟ST119，並且如果不是「0」，則逆正交變換單元54移至步驟 ST120。在步驟ST119中，逆正交變換單元54執行4X4逆正交變換操作。使用根據預測模式和塊位置預先學習的基底，逆正交變換單元54執行4X4KL逆變換。在宏塊尺寸是8X8個像素的情況下，在編碼中，執行四次KL變換，並且在從通過執行KL變換獲得的係數中選擇最低頻率分量係數之後進一步執行KL變換。因此，逆正交變換單元54使用與預測模式兼容的基底，對最低頻率分量係數的逆量化數據執行KL逆變換。逆正交變換單元54還使用與預測模式和塊位置兼容的基底，對通過經由KL逆變換獲得的最低頻率分量係數和其他分量的係數形成的四個塊執行KL逆變換。逆正交變換單元54將通過執行KL逆變換獲得的預測誤差數據輸出到加法單元55。就是說，圖14中所示的逆正交變換單元54的數據選擇單元548選擇4 X 4KL逆變換單元546使用來自2 X 2KL逆變換單元545的輸出執行KL逆變換獲得的數據，並且將所選擇的數據輸出到加法單元55。在步驟ST120中，逆正交變換單元54執行8X8逆正交變換操作。使用根據預測模式和塊位置預先學習的基底，逆正交變換單元54執行8X8KL逆變換。逆正交變換單元54將通過執行KL逆變換獲得的預測誤差數據輸出到加法單元55。就是說，圖14中所示的逆正交變換單元54的數據選擇單元548選擇8X8KL逆變換單元543執行KL逆變換獲得的數據，並且將所選擇的數據輸出到加法單元55。在步驟ST121中，逆正交變換單元54執行逆離散餘弦變換(IDCT)。逆正交變換單元54將通過執行逆離散餘弦變換獲得的係數輸出到加法單元55。就是說，圖14中所示的逆正交變換單元54的數據選擇單元548選擇從IDCT單元547輸出的數據，並且將所選擇的數據輸出到加法單元55。圖17是用於說明逆正交變換操作的示圖，並且示出了由圖12的正交變換操作生成的變換係數的示例逆正交變換。
存在例如其中宏塊尺寸是16X 16個像素，並且變換塊尺寸是4X4個像素的情況。在該情況下，4X4KL逆變換單元544使用與最優模式編碼參數信息指示的預測模式兼容的基底，對圖17 (A)中所示的最低頻率分量係數的KL變換數據(逆量化數據)執行KL逆變換。通過KL逆變換，4X4KL逆變換單元544生成圖17 (B)中所示的最低頻率分量的係數。如圖17 (C)中所示，4X4KL逆變換單元546使最低頻率分量係數和其他KL變換數據(逆量化數據)返回到各個塊的係數。此外，如圖17 (D)中所示，4X4KL逆變換單元546使用與編碼參數信息指示的預測模式和塊位置兼容的基底，對十六個4X4塊中的每個執行KL逆變換。結果，生成圖17 (E)中所示的預測誤差數據。數據選擇單元548選擇所生成的預測誤差數據，並且將所選擇的數據輸出到加法單元55。還存在例如其中宏塊尺寸是8 X 8個像素，並且變換塊尺寸是4X4個像素的情況。在該情況下，2 X 2KL逆變換單元545使用與最優模式編碼參數信息指示的預測模式兼容的基底，對圖17 (F)中所示的最低頻率分量係數的KL變換數據(逆量化數據)執行KL逆變換。通過KL逆變換，2X2KL逆變換單元545生成圖17 (G)中所示的最低頻率分量的係數。如圖17 (H)中所示，4X4KL逆變換單元546使最低頻率分量係數和其他KL變換數據(逆量化數據)返回到各個塊的係數。此外，如圖17 (I)中所示，4X4KL逆變換單元546使用與編碼參數信息指示的預測模式和塊位置兼容的基底，對四個4X4塊中的每個執行KL逆變換。結果，生成圖17 (J)中所示的預測誤差數據。數據選擇單元548選擇所生成的預測誤差數據，並且將所選擇的數據輸出到加法單元55。現在參照圖18中的流程圖，描述圖15的步驟ST98的預測操作。在步驟ST131中，無損解碼單元52確定當前塊是否被幀內編碼。如果通過執行無損解碼獲得的編碼參數信息是幀內預測信息，則無損解碼單元52將編碼參數信息提供給幀內預測單元62，並且移至步驟ST132。如果編碼參數信息不是幀內預測信息，則無損解碼單元52將編碼參數信息提供給運動補償單元63，並且移至步驟ST133。在步驟ST132中，幀內預測單元62執行幀內預測操作。使用從加法單元55提供的解碼圖像數據和編碼參數信息，幀內預測單元62執行幀內預測以生成預測圖像數據。在步驟ST133中，運動補償單元63執行幀間預測操作。基於從無損解碼單元52提供的運動向量和編碼參數信息，運動補償單元63對從幀存儲器61提供的解碼圖像數據執行運動補償。此外，運動補償單元63將通過運動補償生成的預測圖像數據輸出到選擇器64。如上文所述，通過本發明的圖像解碼裝置和方法，使用根據塊位置預先設定的基底，對通過處理經由正交變換獲得的係數數據而生成的編碼位流執行解碼。在該解碼中，通過使用根據編碼位流中包含的編碼參數信息指示的宏塊中的塊位置而預先設定的基底來執行逆正交變換。經歷正交變換的係數數據可以返回到未經歷正交變換的預測誤差數據。因此，即使在使用與宏塊中的塊位置兼容的基底執行正交變換之後，得到的數據仍可以返回未經歷正交變換的預測誤差數據。再者，即使在通過使用根據預測模式的基底執行編碼之後，通過使用根據編碼參數信息指示的預測模式預先設定的基底，經歷正交變換的係數數據仍可以返回到未經歷正交變換的預測誤差數據。接下來，描述基底生成單元，其通過學習操作生成將在正交變換單元14和逆正交變換單元54中使用的基底。圖19是示出基底學習操作的流程圖，並且基底生成單元通過使用為學習準備的圖像執行圖19中所示的操作來生成基底。作為用於學習的圖像，使用盡 可能多的不同的圖像，使得不會在學習中出現依賴於圖像內容的偏差。在步驟ST141中，基底生成單元確定是否存在仍未被用於學習的圖像。如果存在仍未被用於學習的圖像，則基底生成單元移至步驟ST142。如果所有圖像已被用於學習，則基底生成單元移至步驟ST152。在步驟ST142中，基底生成單元確定是否存在仍未被用於學習的宏塊。如果存在仍未被用於學習的宏塊，則基底生成單元移至步驟ST143。如果所有宏塊已被用於學習，則基底生成單元返回步驟ST141。在步驟ST143中，基底生成單元確定宏塊尺寸是否是16X16個像素。如果宏塊尺寸是16 X 16個像素，則基底生成單元移至步驟ST144，並且如果不是16 X 16個像素，則基底生成單元移至步驟ST148。在步驟ST144中，基底生成單元生成16 X 16預測誤差數據。基底生成單元執行幀內預測以生成16X16個像素的預測誤差數據。在步驟ST145中，基底生成單元計算4X4正交變換的對稱矩陣。基底生成單元將16X16預測誤差數據分成十六個4X4個像素的變換塊，並且針對每個預測模式以及宏塊中的每個變換塊的塊位置計算對稱矩陣M。基底生成單元將4X 4個像素的變換塊的預測誤差數據排列成16階向量，並且計算16階向量的平均值和每個向量之間的差。在差是「q」的情況下，基底生成單元執行由下式(3)表述的計算，以確定對稱矩陣M。[數學式I]M( mdt mdi, Icx ) — I q (X q (X ...⑶
(X=Iium在式(3)中，「mdt」表示能夠根據其確定宏塊尺寸和變換塊尺寸的變換模式信息。在上式中，「mid」表示幀內預測的預測模式。在上式中，「loc」表示宏塊中的變換塊的塊位置。在上式中，「num」表示學習次數。再者，在上式中，「T」指示矩陣是轉置矩陣。在步驟ST146中，基底生成單元計算8X8正交變換的對稱矩陣。基底生成單元將16X16預測誤差數據分成四個8X8個像素的變換塊，並且針對每個預測模式以及宏塊中的每個變換塊的塊位置計算對稱矩陣M。基底生成單元將8 X 8個像素的變換塊的預測誤差數據排列成64階向量，並且計算64階向量的平均值和每個向量之間的差。在差是「q」的情況下，基底生成單元執行由式(3)表述的計算，以確定對稱矩陣M。在步驟ST147中，基底生成單元計算16X 16正交變換的對稱矩陣。基底生成單元針對每個預測模式將16 X 16個像素的變換塊的預測誤差數據排列成256階向量，並且計算256階向量的平均值和每個向量之間的差。在差是「q」的情況下，基底生成單元執行由式
(3)表述的計算，以確定每個預測模式的對稱矩陣M。從步驟ST143移至步驟ST148，基底生成單元確定宏塊尺寸是否是8 X 8個像素。如果宏塊尺寸是8 X 8個像素，則基底生成單元移至步驟ST149，並且如果不是8 X 8個像素，則基底生成單元移至步驟ST142。
在步驟ST149中，基底生成單元生成8X8預測誤差數據。基底生成單元執行幀內預測以生成8 X 8個像素的預測誤差數據。在步驟ST150中，基底生成單元計算4X4正交變換的對稱矩陣。基底生成單元將8X8預測誤差數據分成四個4X4個像素的變換塊，並且針對每個預測模式以及宏塊中的每個變換塊的塊位置計算對稱矩陣M。基底生成單元將4X4個像素的變換塊的預測誤差數據排列成16階向量，並且計算16階向量的平均值和每個向量之間的差。在差是「q」的情況下，基底生成單元執行由式(3)表述的計算，以確定對稱矩陣M。在步驟ST151中，基底生成單元計算8X8正交變換的對稱矩陣。基底生成單元針對每個預測模式將8X8個像素的變換塊的預測誤差數據排列成64階向量，並且計算64階向量的平均值和每個向量之間的差。在差是「q」的情況下，基底生成單元執行由式(3)表述的計算，以確定每個預測模式的對稱矩陣M。在步驟ST152中，基底生成單元計算KL變換的基底。基底生成單元確定與各個對稱矩陣M的特徵值對應的特徵向量，並且按照特徵值尺寸的順序排列特徵向量，以生成KL變換的基底。通過執行以上操作，可以生成16X16KL變換單元141、8X8KL變換單元142、2X2KL變換單元143和146以及4X4KL變換單元144和145的KL變換中使用的基底。再者，通過計算各個基底的逆矩陣，可以生成16X16KL逆變換單元541、2X2KL逆變換單元542和545、8 X 8KL逆變換單元543以及4 X 4KL逆變換單元544和546的KL逆變換中使用的基底。此外，如果針對每個宏塊尺寸的各個塊位置以及每個預測模式的、用於對各個塊執行KL變換和KL逆變換的基底被存儲在圖像編碼裝置和圖像解碼裝置中，則要存儲的基底數目變大。就是說，需要大容量的存儲器。考慮到這一點，基底被分成組，以減少要存儲的基底。接下來，描述兩個示例分組方法。通過第一方法，計算通過學習而學習到的基底之間的歐幾裡德距離，並且其間距離短的基底被編組在一起。組中的基底由表示該組的一個基底替換。通過以該方式執行編組可以減少基底的數目。通過第二方法，根據距參考像素的距離來執行編組。如圖20中所示，在預測模式
O(豎直)中，組I的塊={P4，P5，P6，P7}距參考像素的距離相同。在該情況下，像素P4、P5、P6和P7的預測誤差常常具有相似的特性。因此，一個基底用於組I。同樣地，一個基底用於組O，一個基底用於組2，並且一個基底用於組3。因此，基底的數目可以從16減少到4。同樣地，在預測模式I (水平)中，組I的塊={P1，P5，P9，P13}具有相對參考像素的相同的位置關係(或者距參考像素的距離相同)。在該情況下，像素P1、P5、P9和P13的預測誤差常常具有相似的特性。因此，一個基底用於組I。同樣地，一個基底用於組0，一個基底用於組2，並且一個基底用於組3。因此，基底的數目可以從16減少到4。在預測模式4 (右下對角線)中，參考像素和各個塊之間的關係不相同。然而，當旋轉90度時，P12具有與P3相同的相對參考像素的位置關係。考慮到這一點，像素被編組成{P1，P4}、{P2，P8}、{P6，P9}、{P7, P13}和{PI 1，P14}，在每個組中，當旋轉 90 度時，塊具有相同的相對參考像素的位置關係，並且對於一個組使用一個基底。此外，當在預測模式O (豎直)中旋轉90度時，各個塊具有與預測模式I (水平)中的各個塊相同的相對參考像素的位置關係。因此，預測模式O (豎直)和預測模式I (水平)被編組在一起，使得可以進一步減少基底的數目。 〈8.軟體處理的情況>本文所描述的系列處理可以通過硬體、軟體或者硬體和軟體的組合來執行。在由軟體執行操作的情況下，其中記錄操作序列的程序被安裝在併入計算機中的專用硬體中的存儲器中。替選地，通過將程序安裝到能夠執行各種操作的通用計算機中，可以執行操作。例如，程序可以預先記錄在作為記錄介質的硬碟或只讀存儲器(ROM)中。替選地，程序可以暫時或永久地存儲(被記錄)在可移動記錄介質上，諸如柔性盤、緻密盤只讀存儲器(⑶-ROM)、磁光(MO)盤、數字多功能盤(DVD)、磁碟或半導體存儲器。這種可移動記錄介質可以被設置作為所謂的套裝軟體。程序不僅可以如上所述從可移動記錄介質安裝到計算機中，也可以從下載站點無線地傳輸至計算機或者經由區域網(LAN)或網際網路有線地傳輸至計算機，使得以該方式傳輸的程序可以在計算機中接收並且被安裝到諸如內置硬碟的記錄介質中。描述程序的步驟包括不一定以時間順序彼此並行地或單獨地執行的處理，以及按照根據指定順序的時間序列執行的處理。<9.針對電子設備的應用的情況〉在上述示例中，H. 264/AVC方案被用作編碼/解碼技術，然而，本發明可以應用於使用其他編碼/解碼技術的圖像編碼裝置和圖像解碼裝置。此外，本發明可以應用於如下圖像編碼裝置和圖像解碼裝置當經由諸如衛星廣播、有線電視(TV)、網際網路或可攜式電話設備接收，或者在例如諸如光碟或磁碟或者閃速存儲器的存儲介質中處理如MPEG或H. 26x中的那樣通過諸如離散餘弦變換的正交變換和運動補償壓縮的圖像信息(編碼位流)時，使用這些圖像編碼裝置和圖像解碼裝置。上述圖像編碼裝置10和圖像解碼裝置50可以應用於任何電子裝置。下文是這些示例的描述。圖21示意性地示出了被應用本發明的電視機裝置的示例結構。電視機裝置90包括天線901、調諧器902、解復用器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908和外部接口單元909。電視機裝置90還包括控制單元910、用戶接口單元911等。
調諧器902從在天線901處接收到的廣播波信號中選擇期望的信道，並且執行解調。得到的編碼位流被輸出至解復用器903。解復用器903從編碼位流中提取要觀看的節目的視頻和音頻分組，並且將所提取的分組的數據輸出至解碼器904。解復用器903還將諸如電子節目指南(EPG)的數據分組提供給控制單元910。在執行加擾的情況下，解復用器等取消加擾。解碼器904執行分組解碼操作，並且將通過解碼操作生成的視頻數據輸出至視頻信號處理單元905，並且將音頻數據輸出至音頻信號處理單元907。視頻信號處理單元905根據用戶的設置使視頻數據經歷噪聲去除和視頻處理等。視頻信號處理單元905基於經由網絡提供的應用通過操作來生成要在顯示單元906上顯示的節目的視頻數據，或者生成圖像數據等。視頻信號處理單元905還生成用於顯示菜單畫面等的用於選擇項目的視頻數據，並且將該視頻數據疊加在節目的視頻數據上。視頻信號處理單元905基於以這種方式生成的視頻數據來生成驅動信號以驅動顯示單元906。
顯示單元906基於來自視頻信號處理單元905的驅動信號來驅動顯示設備(例如，液晶顯示元件)以顯示節目的視頻。音頻信號處理單元907使音頻數據經歷諸如噪聲去除的預定處理，並且對處理後的音頻數據執行D/A轉換操作和放大操作。得到的音頻數據數據作為音頻輸出被提供給揚聲器908。外部接口單元909是用於與外部設備或網絡連接的接口，並且傳送和接收諸如視頻數據和音頻數據的數據。用戶接口單元911連接至控制單元910。用戶接口單元911由操作開關、遠程控制信號接收單元等形成，並且將根據用戶操作的操作信號提供給控制單元910。控制單元910由中央處理單元(CPU)、存儲器等形成。存儲器存儲要由CPU執行的程序、CPU執行操作所需的各種數據、EPG數據、經由網絡獲得的數據等。在預定的時間，諸如在電視機裝置90啟動時，存儲在存儲器中的程序被CPU讀取並且執行。CPU執行程序以控制各個部件，使得電視機裝置90根據用戶操作進行工作。在電視機裝置90中，設置了總線912，用於將調諧器902、解復用器903、視頻信號處理單元905、音頻信號處理單元907、外部接口單元909等連接至控制單元910。在具有這樣的結構的電視機裝置中，解碼器904具有本發明的圖像解碼裝置(圖像解碼方法)的功能。由於在廣播電臺側使用本發明的圖像編碼裝置的功能，因此可以在電視機裝置中正確地對編碼位流解碼，即使編碼位流是以較高的編碼效率生成的並且具有較高的圖像質量。圖22示意性地示出了被應用本發明的可攜式電話設備的示例結構。可攜式電話設備92包括通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、解復用單元928、記錄/再現單元929、顯示單元930和控制單元931。這些部件經由總線933彼此連接。天線921連接至通信單元922，並且揚聲器924和麥克風925連接至音頻編解碼器923。此外，操作單元932連接至控制單元931。可攜式電話設備92在諸如音頻通信模式和數據通信模式的各種模式中執行各種操作，諸如音頻信號的傳送和接收、電子郵件和圖像數據的傳送和接收、圖像拍攝和數據記錄。在音頻通信模式中，在麥克風925處生成的音頻信號被轉換成音頻數據，並且該數據在音頻編解碼器923處被壓縮。壓縮數據被提供給通信單元922。通信單元922對音頻數據執行調製操作、頻率轉換操作等，以生成傳送信號。通信單元922還將傳送信號提供給天線921，並且該傳送信號被傳送至基站(未示出)。通信單元922還對在天線921處接收的信號進行放大，並且執行頻率轉換操作、解調操作等。所得到的音頻數據被提供給音頻編解碼器923。音頻編·解碼器923對音頻數據進行解壓縮，並且將音頻數據轉換成輸出到揚聲器924的模擬音頻信號。在數據通信模式中執行郵件傳送的情況下，控制單元931接收通過操作單元932的操作輸入的文本數據，並且在顯示單元930上顯示輸入的文本。控制單元931根據經由操作單元932的用戶指令等生成郵件數據並且將其提供給通信單元922。通信單元922對郵件數據執行調製操作、頻率轉換操作等，並且從天線921傳送所得到的傳送信號。通信單元922還對在天線921處接收到的信號進行放大，並且執行頻率轉換操作、解調操作等，以恢復郵件數據。郵件數據被提供給顯示單元930，並且郵件內容被顯示。可攜式電話設備92可以使記錄/再現單元929將接收到的郵件數據存儲到存儲介質中。存儲介質是可重寫存儲介質。例如，存儲介質可以是諸如RAM或內置閃速存儲器的半導體存儲器，硬碟，或者諸如磁碟、磁光碟、光碟、USB存儲器或存儲器卡的可移動介質。在數據通信模式中傳送圖像數據的情況下，在相機單元926處生成的圖像數據被提供給圖像處理單元927。圖像處理單元927對該圖像數據執行編碼以生成編碼數據。解復用單元928通過預定技術對在圖像處理單元927處生成的編碼數據和從音頻編解碼器923提供的音頻數據進行復用，以將復用的數據提供給通信單元922。通信單元922對復用的數據執行調製操作、頻率轉換操作等，並且從天線921傳送所得到的傳送信號。通信單元922還對在天線921處接收到的信號進行放大，並且執行頻率轉換操作、解調操作等以恢復復用的數據。該復用的數據被提供給解復用單元928。解復用單元928將復用的數據分離，並且將編碼數據提供給圖像處理單元927，並且將音頻數據提供給音頻編解碼器923。圖像處理單元927對編碼數據執行解碼操作以生成圖像數據。該圖像數據被提供給顯示單元930以顯示接收到的圖像。音頻編解碼器923將音頻數據轉換成輸出到揚聲器924的模擬音頻信號，並且接收到的聲音被輸出。在具有以上結構的可攜式電話設備中，圖像處理單元927具有本發明的圖像編碼裝置(圖像編碼方法)的功能和圖像解碼裝置(圖像解碼方法)的功能。因此，當進行圖像數據通信時，可以提高編碼效率和圖像質量。圖23示意性地示出了被應用本發明的記錄/再現裝置的結構的示例。例如，記錄/再現裝置94將接收的廣播節目的音頻數據和視頻數據記錄在記錄介質上，並且在根據來自用戶的指令的時間將所記錄的數據提供給用戶。例如，記錄/再現裝置94也可以從另外的裝置獲得音頻數據和視頻數據，並且將該數據記錄在記錄介質上。此外，記錄/再現裝置94對記錄在記錄介質上的音頻數據和視頻數據進行解碼和輸出，使得監控設備等可以顯示圖像或輸出聲音。記錄/再現裝置94包括調諧器941、外部接口單元942、編碼器943、硬碟驅動(HDD)單元944、盤驅動器945、選擇器946、解碼器947、畫面顯示(OSD)單元948、控制單元949和用戶接口單元950。調諧器941從在天線(未示出)處接收到的廣播信號中選擇期望的信道。調諧器941對期望的信道的接收信號進行解調，並且將所得到的編碼位流輸出至選擇器946。外部接口單元942由IEEE 1394接口、網絡接口單元、USB接口、閃速存儲器接口等中的至少之一形成。外部接口單元942是用於與外部設備、網絡、存儲器卡等連接的接口，並且接收要被記錄的諸如視頻數據或音頻數據的數據等。編碼器943對從外部接口單元942提供的並且未被編碼的視頻數據和音頻數據執行預定編碼，並且編碼位流輸出至選擇器946。 HDD單元944將諸如視頻和聲音的內容數據、各種程序、其他數據等記錄在內置硬碟上，並且在再現時從硬碟讀取該數據。盤驅動器945在安裝的光碟上執行信號記錄和再現。光碟可以是例如DVD盤(諸如 DVD-視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R 或 DVD+RW)或者 Blu_ray 盤。在記錄視頻或音頻時選擇器946選擇來自調諧器941或編碼器943的編碼位流，並且將該編碼位流提供給HDD單元944或盤驅動器945。在再現視頻或音頻時選擇器946還將從HDD單元944或盤驅動器945輸出的編碼位流提供給解碼器947。解碼器947對編碼位流執行解碼操作。解碼器947將通過執行解碼操作生成的視頻數據提供給OSD單元948。解碼器947也輸出通過執行解碼生成的音頻數據。OSD單元948也生成用於顯示菜單畫面等的用於選擇項目的視頻數據，並且將視頻數據疊加在從解碼器947輸出的視頻數據上。用戶接口單元950連接到控制單元949。用戶接口單元950由操作開關、遠程控制信號接收單元等形成，並且將根據用戶操作的操作信號提供給控制單元949。控制單元949通過CPU、存儲器等形成。存儲器存儲要由CPU執行的程序和CPU執行操作所需的各種數據。在預定的時間，諸如在記錄/再現裝置94啟動時，存儲在存儲器中的程序被CPU讀取並且執行。CPU執行該程序以控制各個部件，使得記錄/再現裝置94根據用戶操作進行操作。在具有以上結構的記錄/再現裝置中，編碼器943具有本發明的圖像編碼裝置(圖像編碼方法)的功能，並且解碼器947具有本發明的圖像解碼裝置(圖像解碼方法)的功能，使得可以提高編碼效率和圖像質量，並且可以高效地執行視頻記錄和再現。圖24示意性地示出了被應用本發明的成像裝置的示例結構。成像裝置96拍攝對象的圖像，並且使顯示單元顯示對象的圖像並且將該圖像作為圖像數據錄該在記錄介質上。成像裝置96包括光學塊961、成像單元962、相機信號處理單元963、圖像數據處理單元964、顯示單元965、外部接口單元966、存儲器單元967、介質驅動器968、0SD單元969和控制單元970。用戶接口單元971連接到控制單元970。此外，圖像數據處理單元964、外部接口單元966、存儲器單元967、介質驅動器968、OSD單元969、控制單元970等經由總線972連接。光學塊961由聚焦透鏡、光圈等形成。光學塊961在成像單元962的成像表面上形成對象的光學圖像。成像單元962由CCD或CMOS圖像傳感器形成，通過光電轉換根據光學圖像來生成電信號，並且將電信號提供給相機信號處理單元963。
相機信號處理單兀963對從成像單兀962提供的電信號執行各種相機信號處理，諸如拐點校正、伽馬校正和色彩校正。相機信號處理單元963將經歷相機信號處理的圖像數據提供給圖像數據處理單元964。圖像數據處理單元964對從相機信號處理單元963提供的圖像數據執行編碼操作。圖像數據處理單元964將通過執行編碼操作生成的編碼數據提供給外部接口單元966和介質驅動器968。圖像數據處理單元964還對從外部接口單元966和介質驅動器968提供的編碼數據執行解碼操作。圖像數據處理單元964將通過執行解碼操作生成的圖像數據提供給顯示單元965。圖像數據處理單元964還執行將從相機信號處理單元963提供的圖像數據提供給顯示單元965的操作，或者將從OSD單元969獲得的顯示數據疊加在圖像數據上並且將圖像數據提供給顯示單元965。OSD單元969生成由符號、字符或圖形形成的菜單畫面或者諸如圖標的顯示數據，並且該數據輸出至圖像數據處理單元964。
外部接口單元966由例如USB輸入/輸出端子等形成，並且當執行圖像列印時連接至印表機。當需要時，驅動器也連接至外部接口單元966，並且諸如磁碟或光碟的可移動介質被適當地安裝在驅動器上。當需要時，安裝從這種可移動盤讀取的電腦程式。此外，外部接口單元966包括連接至諸如LAN或網際網路的預定網絡的網絡接口。控制單元970根據例如來自用戶接口單元971的指令從存儲器單元967讀取編碼數據，並且可以將來自外部接口單元966的編碼數據提供給經由網絡連接的另一裝置。控制單元970也可以經由外部接口單元966獲得經由網絡從另一裝置提供的編碼數據或圖像數據，並且將編碼數據或圖像數據提供給圖像數據處理單元964。由介質驅動器968驅動的記錄介質可以是可讀/可重寫的可移動盤，諸如磁碟、磁光碟、光碟或半導體存儲器。記錄介質可以是任何類型的可移動介質，並且可以是磁帶設備，盤或存儲器卡。當然，記錄介質可以是非接觸式IC卡等。替選地，介質驅動器968和記錄介質可以集成，並且可以由諸如內置硬碟驅動器或固態驅動器(SSD)的固定存儲介質形成。控制單元970由CPU、存儲器等形成。存儲器存儲要由CPU執行的程序、CPU執行操作所需的各種數據等。在預定的時間，諸如在成像裝置96啟動時，存儲在存儲器中的程序被CPU讀取並且執行。CPU執行該程序以控制各個部件，使得成像裝置96根據用戶操作進行操作。在具有以上結構的成像裝置中，圖像數據處理單元964具有本發明的圖像編碼裝置(圖像編碼方法)和圖像解碼裝置(圖像解碼方法)的功能。因此，當所拍攝的圖像被記錄到存儲器單元967或記錄介質等時，可以提高編碼效率和圖像質量，並且所拍攝的圖像可以被高效地記錄和再現。此外，本發明不應被解釋為限於本發明的上述實施例。例如，本發明不應限於上述宏塊尺寸、變換塊尺寸和預測模式。本發明的實施例通過示例公開了本發明，並且應顯見的是，在不偏離本發明的範圍的情況下，本領域技術人員可以修改這些實施例或者將這些實施例替換為其他實施例。就是說，在理解本發明的主題內容時應考慮權利要求。工業適用性通過本發明的圖像解碼裝置，圖像編碼裝置以及方法和程序，在圖像數據編碼時使用根據宏塊中的變換塊的塊位置預先設定的基底來執行正交變換。再者，在使用根據塊位置預先設定的基底對通過處理經由正交變換獲得的係數數據生成的編碼位流解碼時，使用根據由編碼位流中包含的編碼參數信息指示的宏塊中的塊位置預先設定的基底來執行逆正交變換，並且經歷正交變換的像素數據返回到仍未經歷正交變換的預測誤差數據。由於如上文所述通過使用與宏塊中的塊位置兼容的基底來執行正交變換和逆正交變換，因此可以執行根據塊位置進行最優化的變換，並且可以提高編碼效率。因此，本發明適用於在經由諸如衛星廣播、有線電視、網際網路或可攜式電話設備的網絡介質傳送或接收如MPEG、
H.26x等中的那樣通過基於塊的編碼獲得的圖像信息(編碼位流)時使用的圖像解碼裝置、圖像編碼裝置等。附圖標記列表10...圖像編碼裝置11. . . A/D轉換單元12、57...圖片重排緩衝器13. .·減法單元14...正交變換單元15...量化單元16...無損編碼單元17、51...積累緩衝器 18...速率控制單元21、53...逆量化單元22、54...逆正交變換單元23、55...加法單元
24.56...解塊濾波器27、61...幀存儲器31、62...幀內預測單元32、63...運動預測/補償單元33...預測圖像/最優模式選擇單元50...圖像解碼裝置52...無損解碼單元58. . . D/A轉換單元64、946...選擇器90...電視機裝置92...可攜式電話設備94...記錄/再現裝置96…·成像裝置14L…16X16KL變換單元142.…8X8KL變換單元143、146. . . 2X2KL變換單元144、145. . . 4X4KL變換單元147. .. DCT單元148...係數選擇單元541. . . 16X16KL逆變換單元542、545. . . 2X2KL逆變換單元543. . . 8X8KL逆變換單元544,546. . . KL逆變換單元547. . . IDCT單元548...數據選擇單元901、921...天線902、
941...調諧器903...解復用器904、947...解碼器905...視頻信號處理單元906...顯示單元907...音頻信號處理單元908...揚聲器909、942、966...外部接口單元910、931、
949.970...控制單元911、932、971...用戶接口單元 912、933、972...總線 922...通信單元923...音頻編解碼器924...揚聲器925...麥克風926...相機單元927...圖像處理單元928...解復用單元929...記錄/再現單元930...顯示單元943...編碼器944. . . HDD單元945. · ·盤驅動器948,969. · · OSD單元961. · ·光學塊962. · ·成像單元963. · ·相機信號處理單元964...圖像數據處理單元965...顯示單元967...存儲器單元968…介質驅動器
權利要求
1.一種圖像解碼裝置，其對每個變換塊的預測誤差數據執行正交變換，並且根據通過處理經歷正交變換的係數數據而生成的編碼位流對圖像數據進行解碼，所述預測誤差數據是所述圖像數據和預測圖像數據之間的差， 所述圖像解碼裝置包括 數據處理單元，被配置成處理所述編碼位流以獲得所述的經歷正交變換的係數數據以及編碼參數信息； 逆正交變換單元，被配置成通過使用基底對所述係數數據執行逆正交變換以獲得所述預測誤差數據，所述基底是根據所述編碼參數信息指示的宏塊中的所述變換塊的位置預先設定的； 預測圖像數據生成單元，被配置成生成所述預測圖像數據；以及 加法單元，被配置成使所述預測圖像數據生成單元生成的所述預測圖像數據與所述逆正交變換單元獲得的所述預測誤差數據相加以對所述圖像數據解碼。
2.根據權利要求I所述的圖像解碼裝置，其中所述逆正交變換單元通過使用根據所述變換塊的位置預先設定的基底以及由所述編碼參數信息指示的預測模式來執行逆正交變換。
3.根據權利要求2所述的圖像解碼裝置，其中當所述編碼參數信息指示宏塊包含多個變換塊時，所述逆正交變換單元通過使用基底來對在所述宏塊中包含的各個變換塊的正交變換之後的，最低頻率分量係數數據的經正交變換的係數數據執行逆正交變換，所述基底是根據所述預測模式預先設定的。
4.根據權利要求2所述的圖像解碼裝置，其中所述逆正交變換單元使用的基底是每個變換塊的所述預測誤差數據的正交變換中使用的基底的逆矩陣。
5.根據權利要求I所述的圖像解碼裝置，其中所述逆正交變換單元使用所述基底執行Karhunen-Loeve 逆變換。
6.一種圖像解碼方法，用於對每個變換塊的預測誤差數據執行正交變換，並且根據通過處理經歷正交變換的係數數據而生成的編碼位流對圖像數據進行解碼，所述預測誤差數據是所述圖像數據和預測圖像數據之間的差， 所述圖像解碼方法包括步驟 處理所述編碼位流以獲得所述的經歷正交變換的係數數據以及編碼參數信息； 通過使用基底對所述係數數據執行逆正交變換以獲得所述預測誤差，所述基底是根據所述編碼參數信息指示的宏塊中的所述變換塊的位置預先設定的； 生成所述預測圖像數據；以及 使所生成的預測圖像數據與所述逆正交變換單元獲得的所述預測誤差相加以對所述圖像數據解碼。
7.一種程序，用於使計算機對每個變換塊的預測誤差數據執行正交變換，並且根據通過處理經歷正交變換的係數數據而生成的編碼位流對圖像數據進行解碼，所述預測誤差數據是所述圖像數據和預測圖像數據之間的差， 所述程序使所述計算機 處理所述編碼位流以獲得所述的經歷正交變換的係數數據以及編碼參數信息； 通過使用基底對所述係數數據執行逆正交變換以獲得所述預測誤差，所述基底是根據所述編碼參數信息指示的宏塊中的所述變換塊的位置預先設定的； 生成所述預測圖像數據；以及 使所生成的預測圖像數據與所述逆正交變換單元獲得的所述預測誤差相加以對所述圖像數據解碼。
8.一種對圖像數據進行編碼的圖像編碼裝置， 所述圖像編碼裝置包括 預測單元，被配置成生成所述圖像數據的預測圖像數據； 減法單元，被配置成生成預測誤差數據，所述預測誤差數據是所述圖像數據和所述預測圖像數據之間的差； 正交變換單元，被配置成通過使用根據宏塊中的變換塊的位置預先設定的基底對每個變換塊的所述預測誤差執行正交變換；以及 數據處理單元，被配置成處理從所述正交變換單元輸出的數據，以生成編碼位流。
9.根據權利要求8所述的圖像編碼裝置，其中所述正交變換單元通過使用基底來執行正交變換，所述基底是根據所述變換塊的位置以及當所述預測單元生成所述預測圖像數據時使用的預測模式預先設定的。
10.根據權利要求9所述的圖像編碼裝置，其中當所述宏塊包含多個變換塊時，所述正交變換單元通過使用基底執行正交變換，所述正交變換是對所述宏塊中的經歷正交變換的各個變換塊中的使用最低頻率分量係數的塊執行的，所述基底是根據所述預測模式預先設定的。
11.根據權利要求9所述的圖像編碼裝置，其中所述正交變換單元使用的基底是與使用預先準備的多個圖像來根據所述宏塊的尺寸、所述變換塊的尺寸、所述宏塊中的變換塊的位置、以及每個預測模式中的每個變換塊中的預測誤差數據而計算的矩陣的特徵值對應的特徵向量。
12.根據權利要求11所述的圖像編碼裝置，其中所述正交變換單元使用的基底根據基底之間的距離進行編組。
13.根據權利要求11所述的圖像編碼裝置，其中所述正交變換單元使用的基底根據距參考像素的距離進行編組。
14.根據權利要求8所述的圖像編碼裝置，其中所述正交變換單元通過使用所述基底來執行Karhunen-Loeve變換。
15.一種用於對圖像數據進行編碼的圖像編碼方法， 所述圖像編碼方法包括如下步驟 生成所述圖像數據的預測圖像數據； 生成預測誤差數據，所述預測誤差數據是所述圖像數據和所述預測圖像數據之間的差；以及 通過使用根據宏塊中的變換塊的位置預先設定的基底對每個變換塊的所述預測誤差執行正交變換。
16.一種用於使計算機對圖像數據進行編碼的程序， 所述程序使所述計算機 生成所述圖像數據的預測圖像數據；生成預測誤差數據，所述預測誤差數據是所述圖像數據和所述預測圖像數據之間的差；以及 通過使用根據宏塊中的變換塊的位置預先設定的基底對每個變換塊的所述預測誤差執行正交變換。
全文摘要
編碼位流由無損解碼單元(52)、逆量化單元(53)和逆正交變換單元(54)按此順序處理，以獲得經正交變換的係數數據和編碼參數信息。逆正交變換單元(54)通過使用根據由編碼參數信息指示的宏塊中的變換塊的位置預先設定的基底來對係數數據執行逆正交變換。通過該方式，獲得了預測誤差數據。幀內預測單元(62)生成預測圖像數據。加法單元(55)使預測圖像數據與預測誤差數據相加以對圖像數據解碼。通過使用根據變換塊的位置設定的基底，可以執行最優逆正交變換，並且可以提高編碼效率。
文檔編號H04N7/32GK102918843SQ20118002720
公開日2013年2月6日 申請日期2011年5月25日 優先權日2010年6月9日
發明者近藤健治 申請人:索尼公司