圖像解碼裝置、圖像編碼裝置、圖像解碼電路以及圖像解碼方法

2023-10-08 05:08:24

專利名稱：圖像解碼裝置、圖像編碼裝置、圖像解碼電路以及圖像解碼方法
技術領域：
本發明涉及圖像解碼裝置、圖像編碼裝置、圖像解碼電路以及圖像解碼方法。
背景技術：
近年來，有一種已被廣泛利用的圖像壓縮技術的標準規格。例如，有ITU_T(國際電信聯盟電信標準化部門)的H. 261及H. ^3、IS0/IEC(國際標準化組織國際電工委員會) 的 MPEG(Moving Picture Experts Group 運動圖像專家組)-1、MPEG2 及 MPEG4 等以及作為 ITU-T 和 MPEG 之聯合的 JVT(Joint Video iTeam:聯合視頻組)的 H.洸4 (MPEG4-AVC)等。 再者，下一代的圖像壓縮技術正在由ITU-T或IS0/IEC等研究。作為圖像壓縮技術的重要因素，有一種用於削減空間方向的冗餘度的正交變換。 這裡，所謂正交變換是指，利用在圖像信號中相鄰的像素間的相關性強、若利用適當的正交變換基來進行正交變換則變換後的係數的能量中產生誤差的性質來進行比特的分配，由此降低傳送比特量的方法。例如，在 H. 261、H. 263、MPEGU MPEG2、MPEG4、H. 264(MPEG4-AVC) 等的圖像壓縮規格中，作為正交變換而利用離散餘弦變換(以下，也稱作「DCT」)。對於DCT 而言，已知尤其針對自然圖像信號得到與作為最佳變換的Karhimen Loeve變換(以下，也稱作「KLT」 )接近的性能，其具有對於自然圖像，在低頻上能量集中，在高頻上能量幾乎沒有的性質。另一方面，在由ITU-T及IS0/IEC等在下一代的圖像壓縮技術中提出的正交變換中，為了實現更好的編碼效率，提出了將作為最佳變換的Karhimen Loeve變換利用為正交變換(非專利文獻1)。一般，在正交變換中利用Karhunen Loeve變換的情況下，正交變換基依賴於編碼對象的圖像，因此必須傳輸正交變換基的信息。因此，與不需要傳輸基的信息的DCT等的正交變換相比，需要傳輸正交變換基的信息，相應地信息量變多。另外，正交變換基與正交變換矩陣為同義，也可以稱為正交變換基矩陣。針對於此，在專利文獻1中公開了編碼流中不包括正交變換基的信息、從運動補償時的參照圖像中導出基的信息，從而提高編碼效率的方法。此外，在專利文獻1中公開了如下方法按編碼流中包含的幀內預測的預測模式的每一個模式，定義在正交變換的解碼中利用的正交變換基，根據幀內預測的預測模式來切換在解碼中利用的正交變換基，由此減少必須傳輸的正交變換基的信息量。圖34是表示專利文獻1所記載的以往的圖像解碼裝置的結構的框圖。圖34所示的圖像解碼裝置1010具備運動補償部1207、逆量化部1215、逆正交變換部1216、可變長度解碼部1220、幀存儲器1222以及變換基積蓄部1251。在該圖像解碼裝置1010中，若接收到圖像編碼流1214，則由可變長度解碼部1220檢測出表示圖像編碼流1214中包含的各幀的開頭的同步字。並且，在可變長度解碼部1220中，按每個宏塊單位復原在各個正交變換單位中使用的正交變換基ID信息1250、運動矢量1205以及量化正交變換係數1221。
運動矢量1205被發送到運動補償部1207。這裡，運動補償部1207從幀存儲器 1222中取出移動了運動矢量1205的量的圖像部分作為預測圖像1206。量化正交變換係數 1221經逆量化部1215、逆正交變換部1216解碼之後，與預測圖像1206相加而成為最終的解碼圖像1217。變換基積蓄部1251中保存有與圖像編碼裝置側相同的正交變換基集Ai，基於正交變換基ID信息1250選擇正交變換基1219，將該選擇的正交變換基1219發送至逆正交變換部1216。逆正交變換部1216利用被選擇的正交變換基1219對正交變換係數進行逆變換，從而恢復到圖像空間上的信號。解碼圖像1217在規定的顯示定時輸出到顯示設備，再現影像。像這樣利用KLT編碼而得到的圖像編碼流的解碼中，需要對變換基積蓄部1251保存正交變換基、從變換基積蓄部1251讀出正交變換基。因此，由於正交變換基信息的讀出以及保存等的訪問，變換基積蓄部的存儲器頻帶及存儲器訪問延遲變得非常大。現有技術文獻專利文獻專利文獻1 日本專利第3887178號公報非專利文獻非專禾0 文獻 1 kai Zhang et al 著 「Improved Inter Coding"ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG) document VCEG-AGl1, Oct 2007
發明概要發明要解決的問題但是，在上述以往的結構中沒有記載保存了在下一代的圖像壓縮技術中所提出的正交變換中使用的正交變換基的存儲器的存儲器訪問，具有以下問題難以縮減使用了正交變換的情況的保存了正交變換基的存儲器的存儲器頻帶以及減少存儲器訪問延遲。

發明內容
本發明用於解決上述以往的問題，其目的是提供一種能夠縮減保存了進行正交變換時使用的正交變換基的存儲器的存儲器頻帶、以及減少存儲器訪問延遲的圖像解碼裝置、圖像編碼裝置、圖像解碼電路以及圖像解碼方法。用於解決問題的手段為了解決上述以往的問題，本發明的運動圖像解碼裝置是進行編碼流的解碼的圖像解碼裝置，具備解碼部，從上述編碼流將確定信息進行解碼，該確定信息用於確定在逆正交變換中利用的正交變換基；積蓄部，用於保存在上述編碼流的逆正交變換中利用的多個正交變換基；存儲部，用於保存上述積蓄部中保存的多個正交變換基之中、進行上述逆正交變換時需要的至少一個正交變換基；逆正交變換部，利用保存在上述存儲部中、且由上述確定信息確定的正交變換基，進行逆正交變換；以及傳送控制部，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。根據該結構，能夠實現可縮減存放了進行正交變換時使用的正交變換基的存儲器
7的存儲器頻帶以及可減小存儲器訪問延遲的圖像解碼裝置。此外，為了解決上述以往的問題，本發明的運動圖像編碼裝置是生成編碼流的圖像編碼裝置，具備生成部，生成在正交變換中利用的正交變換基以及用於確定上述正交變換基的確定信息；積蓄部，用於保存由上述生成部生成的多個上述正交變換基；存儲部，用於保存上述積蓄部中保存的多個正交變換基中的、進行上述正交變換時需要的至少一個正交變換基；正交變換部，利用保存在上述存儲部中、且由上述確定信息確定的正交變換基進行正交變換；以及傳送控制部，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。另外，本發明不僅可以作為裝置來實現，還可以作為具備這種裝置所具備的處理單元的集成電路來實現，或者作為以構成該裝置的處理單元為步驟的方法來實現。發明效果根據本發明，能夠實現可縮減存放了進行正交變換時使用的正交變換基的存儲器的存儲器頻帶以及可減少存儲器訪問延遲的圖像解碼裝置、圖像編碼裝置、圖像解碼電路以及圖像解碼方法。


圖1是表示本發明實施方式1的解碼裝置的結構的框圖。圖2A是表示按照運動圖像壓縮技術的標準規格編碼後的編碼流的概要的圖。圖2B是按照運動圖像壓縮技術的標準規格編碼後的編碼流的概要的圖。圖2C是表示本發明的編碼流的一例的圖。圖3是本發明的正交變換基存儲狀態管理表所保存的信息的一例。圖4是表示本發明實施方式1的解碼裝置的解碼處理動作的流程圖。圖5是本發明實施方式1的解碼裝置的最小結構的框圖。圖6是本發明實施方式2的解碼裝置的結構的框圖。圖7A是本發明的正交變換基參照履歷管理表所保存的信息的一例。圖7B是本發明的正交變換基參照履歷管理表所保存的信息的一例。圖8是本發明實施方式2的解碼裝置的解碼處理動作的流程圖。圖9是本發明實施方式3的解碼裝置的結構的框圖。圖10是本發明的正交變換基統計信息管理表所保存的信息的一例。圖11是本發明的正交變換基統計信息管理表所保存的信息的一例。圖12A是表示根據本發明的正交變換基統計信息管理表來更新正交變換基存儲部的正交變換基的狀況的圖。圖12B是表示根據本發明的正交變換基統計信息管理表來更新正交變換基存儲部的正交變換基的狀況的圖。圖13A是表示根據本發明的正交變換基統計信息管理表來更新正交變換基存儲部的正交變換基的狀況的圖。圖1 是表示根據本發明的正交變換基統計信息管理表來更新正交變換基存儲部的正交變換基的狀況的圖。圖14是表示本發明實施方式3的解碼裝置的解碼處理動作的流程圖。
圖15是表示本發明實施方式3的解碼裝置的最小結構的框圖。圖16是表示本發明實施方式4的解碼裝置的結構的框圖。圖17是表示本發明實施方式4的解碼裝置的解碼處理動作的流程圖。圖18是表示本發明實施方式5的編碼裝置的結構的框圖。圖19是正交變換基存儲狀態管理表所保存的信息的一例。圖20是用於說明正交變換部決定正交變換基ID的方法的圖。圖21是表示本發明實施方式5的編碼裝置的編碼處理動作的流程圖。圖22是表示本發明實施方式6的編碼裝置的結構的框圖。圖23是表示本發明實施方式6的編碼裝置的編碼處理動作的流程圖。圖M是表示本發明實施方式7的編碼裝置的結構的框圖。圖25是表示本發明實施方式7的編碼裝置的編碼處理動作的流程圖。圖沈是實現內容分發服務的內容供給系統的整體結構圖。圖27是數字廣播用系統的整體結構圖。圖觀是表示電視的結構例的框圖。圖四是表示向作為光碟的記錄介質進行信息的讀寫的信息再現/記錄部的結構例的框圖。圖30是表示作為光碟的記錄介質的構造例的圖。圖31是表示實現各實施方式的圖像編碼方法以及圖像解碼方法的集成電路的結構例的框圖。圖32是表示通過集成電路實現的各實施方式的圖像編碼處理的框圖。圖33是表示通過集成電路實現的各實施方式的運動圖像解碼處理的框圖。圖34是表示以往例的解碼裝置的結構的框圖。
具體實施例方式以下參照

本發明的實施方式。(實施方式1)圖1是表示本發明實施方式1的解碼裝置的結構的框圖。圖2A及圖2B是表示按照運動圖像壓縮技術的標準規格編碼後的編碼流的概要的圖。圖2C是表示本發明的編碼流的一例的圖。圖3是本發明的正交變換基存儲狀態管理表所保存的信息的一例。圖1所示的解碼裝置100是進行編碼流的解碼的圖像解碼裝置，所述編碼流包括用於確定在逆正交變換中利用的正交變換基(正交變換基矩陣)的確定信息。該解碼裝置 100具備解碼部101、正交變換基傳送控制部102、正交變換基存儲部103、正交變換基存儲狀態管理表104、參照圖像傳送控制部105、參照圖像存儲部106、預測圖像生成部107、加法運算器108、存儲器109、正交變換基積蓄部110、逆量化部111以及逆正交變換部112。解碼部101從編碼流將確定信息進行解碼，該確定信息用於確定在逆正交變換中利用的正交變換基。具體而言，解碼部101具有對按照圖像壓縮技術的標準規格編碼後的流進行解碼、至少輸出頭信息和量化係數的功能。這裡，對於按照運動圖像壓縮技術的標準規格編碼後的流，利用圖2A及圖2B進行說明。如圖2A所示，在編碼流中，一系列的圖像(運動圖像)具有分層級的結構。例如，有將多個圖片作為1組的序列(或者稱為GOP(Group Of Pictures 圖片組))。構成序列的各圖片具有被分割為切片(slice)、再分割為由16x16像素構成的宏塊的結構。另外，還有不將圖片分割為切片的情況。並且，解碼裝置100以切片或宏塊為單位進行解碼動作。此外，在編碼流中，如圖2B所示，它們被分層級地進行了編碼，由控制序列的序列頭、控制圖片的圖片頭、控制切片的切片頭以及宏塊數據等構成。宏塊數據還分為宏塊種類、幀內預測(內部預測)模式、運動矢量信息、量化參數等的編碼信息以及與各像素數據對應的係數信息。另外，在H. 264規格中，將序列頭稱為SPSGequence Parameter Set 序列參數集)，將圖片頭稱為PPS (Picture Parameter set:圖片參數集)。以下設為在GOP或者序列的頭中，包含有全部的在該GOP或者序列的圖片中利用於逆正交變換的正交變換基(正交變換矩陣)、以及用於確定(表示)在逆正交變換時使用哪個正交變換基的信息(以下也稱為「正交變換基ID」)。並且，作為圖片的編碼單位，例如在宏塊中僅包含對該宏塊進行逆正交變換時使用的正交變換基ID。另外，也可以不是以GOP或者序列單位包含正交變換基和正交變換基ID，而是以圖片單位包含。此外，也可以是，在GOP或者序列的頭中僅包含有在該GOP或者序列中的多個圖片中利用的所有正交變換基ID，在多個圖片的各個宏塊(編碼單位)的頭中，僅包含有在該宏塊(編碼單位)中使用的正交變換基ID。此外，如圖2C所示，也可以設為僅將正交變換基ID以圖片單位包含，而不是以GOP或者序列單位包含，在多個圖片的各個宏塊(編碼單位)的頭中僅包含有在該宏塊(編碼單位)中使用的正交變換基ID。同樣，既可以以上述的某個組合為單位，也可以以其他的組合為單位。正交變換基傳送控制部102相當於本發明的傳送控制部，從正交變換基積蓄部 110向正交變換基存儲部103傳送由確定信息(正交變換基ID)確定的正交變換基。正交變換基傳送控制部102僅在正交變換基存儲部103未保存由用於確定在逆正交變換中利用的正交變換基的確定信息確定的正交變換基的情況下，從正交變換基積蓄部 110向正交變換基存儲部103傳送由確定信息(正交變換基ID)確定的正交變換基。具體而言，正交變換基傳送控制部102具有將在編碼流中定義並且在逆正交變換中使用的正交變換基寫入到正交變換基積蓄部110中的功能。此外，正交變換基傳送控制部102具有如下功能根據解碼部101所解碼的頭信息中包含的、表示在逆正交變換中使用哪個正交變換基的信息即正交變換基ID，來參照正交變換基存儲狀態管理表104的信息。並且，正交變換基傳送控制部102根據正交變換基存儲狀態管理表104的信息，確認正交變換基ID所表示的正交變換基是否保存在正交變換基存儲部103中。例如，正交變換基傳送控制部102在確認出正交變換基ID所表示正交變換基未保存在正交變換基存儲部103中的情況下，從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基，並向正交變換基存儲部103寫入(傳送)。另一方面，正交變換基傳送控制部102在確認出正交變換基ID所表示的正交變換基保存(存儲)在正交變換基存儲部 103中的情況下，不從正交變換基積蓄部110讀出正交變換基(不傳送)。另外，也可以是，正交變換基傳送控制部102僅將向正交變換基積蓄部110寫入正交變換基的命令發給解碼部101，由解碼部101將正交變換基寫入正交變換基積蓄部110 中。同樣，也可以是，正交變換基傳送控制部102僅將從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基的命令發給正交變換基存儲部103，由正交變換基存儲部103從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基，並加以保存。正交變換基存儲部103相當於本發明的存儲部，用於保存正交變換基積蓄部110 中所保存的多個正交變換基之中、進行逆正交變換時需要的正交變換基。具體而言，正交變換基存儲部103具有保存至少1種以上的從正交變換基積蓄部110傳送的正交變換基的功能、和對逆正交變換部112設定正交變換基ID所表示的正交變換基的功能。正交變換基存儲狀態管理表104相當於本發明的存儲狀態管理部，管理表示正交變換基存儲部103是否保存著由確定信息(正交變換基ID)確定的正交變換基的信息。具體而言，正交變換基存儲狀態管理表104具有以正交變換基ID為輸入，向正交變換基存儲部103輸出是否保存著正交變換基ID所表示的正交變換基的信息的功能。正交變換基存儲狀態管理表104例如保存著如圖3所示的信息。即，正交變換基存儲狀態管理表104將解碼部101解碼的編碼流的例如序列頭或圖片頭等的頭信息中包含的所有正交變換基ID作為正交變換基ID來保存。並且，保存由各個正交變換基ID確定的正交變換基是否存儲在正交變換基存儲部103中，來作為存儲狀態。參照圖像傳送控制部105具有根據解碼部101輸出的預測模式、運動矢量以及參照畫面信息等的頭信息，從存儲器109讀出預測圖像生成中需要的參照像素，寫入參照圖像存儲部106中的功能。 另外，參照圖像傳送控制部105也可以根據包含解碼部101輸出的運動矢量以及參照畫面信息等的頭信息，向參照圖像存儲部106僅發出從存儲部109讀出預測圖像生成中需要的參照像素的命令，參照圖像存儲部106從存儲部109讀出並保存預測圖像生成中需要的參照像素。參照圖像存儲部106具有保存從存儲器109傳送的參照像素的功能。預測圖像生成部107具有取得解碼部101輸出的預測模式以及正交變換基ID等的頭信息、以及參照圖像存儲部106所保存的預測圖像生成所需要的參照像素的功能。並且，預測圖像生成部107具有利用這些生成預測圖像，並輸出給加法運算器108的功能。加法運算器108具有將逆正交變換部112輸出的預測誤差信號和預測圖像生成部 107輸出的預測圖像相加並作為解碼圖像輸出的功能、以及將該解碼圖像輸送(輸出)給存儲器109的功能。存儲器109具有保存預測圖像生成部107所參照的參照畫面的功能。正交變換基積蓄部110相當於本發明的積蓄部，用於保存在編碼流的逆正交變換中利用的多個正交變換基。具體而言，正交變換基積蓄部110具有保存逆正交變換部112 在逆正交變換處理中利用的正交變換基的功能。另外，正交變換基積蓄部110設為了與存儲器109不同的存儲單元，但正交變換基積蓄部110與存儲器109也可以為相同的存儲單兀。逆量化部111具有對由解碼部101輸出的量化係數進行逆量化，輸出正交變換係數的功能。逆正交變換部112利用保存在正交變換基存儲部103中、並且由確定信息(正交變換基ID)確定的正交變換基進行逆正交變換。具體而言，逆正交變換部112具有如下功能利用正交變換基存儲部103所輸出的正交變換基，對由逆量化部111輸出的正交變換係數進行逆正交變換，輸出預測誤差信號。
接著，對如以上那樣構成的解碼裝置100的解碼處理動作進行說明。圖4是表示本發明實施方式1的解碼裝置的解碼處理動作的流程圖。如圖4所示，在解碼裝置100中，首先，接收到編碼流的解碼部101將構成編碼流的頭信息進行解碼(SlOl)，作為頭信息至少輸出正交變換基。並且，正交變換基傳送控制部102將在SlOl中由解碼部101解碼的正交變換基全部寫入正交變換基積蓄部110中 (S102)。接著，解碼部101將構成編碼流的多個圖片(或構成多個圖片的宏塊)的頭信息和量化係數進行解碼(S104)，作為頭信息至少輸出正交變換基ID。接著，正交變換基傳送控制部102參照正交變換基存儲狀態管理表104，檢查正交變換基存儲部103是否保存著在S104中解碼的正交變換基ID所表示的正交變換基 (S105)。正交變換基傳送控制部102在正交變換基存儲部103未保存正交變換基ID所表示的正交變換基的情況下(S105的否的情況)，從正交變換基積蓄部110讀出正交變換基 ID所表示的正交變換基。並且，寫入到正交變換基存儲部103中例如存儲著最早從正交變換基積蓄部110讀出的正交變換基的區域(S106)。接著，正交變換基傳送控制部102更新正交變換基存儲狀態管理表104 (S107)。具體而言，正交變換基傳送控制部102在正交變換基存儲狀態管理表104中將讀出的正交變換基的存儲狀態變更為「保存」，將刪除的正交變換基的存儲狀態變更為「未保存」。另一方面，正交變換基傳送控制部102在正交變換基存儲部103保存著正交變換基ID所表示的正交變換基的情況下(S105的是的情況)，不從正交變換基積蓄部110讀出正交變換基，前進到S108。接著，逆量化部111將由解碼部101輸出的圖片(或構成圖片的宏塊)的量化係數進行逆量化，輸出正交變換係數(S108)。接著，逆正交變換部112讀出正交變換基存儲部103所保存著的正交變換基，並將讀出的正交變換基設定為用於逆正交變換的正交變換基(S109)。逆正交變換部112利用設定的正交變換基，將逆量化部111輸出的圖片(或構成圖片的宏塊)的正交變換係數進行逆正交變換(SllO)，將預測誤差信號輸出給加法運算器108。此外，預測圖像生成部107生成預測圖像(Slll)。具體而言，參照圖像傳送控制部 105基於在S104中由解碼部101解碼並輸出的預測模式、運動矢量以及參照畫面信息等的頭信息，根據需要從存儲器109讀出利用於預測圖像生成的參照圖像，寫入到參照圖像存儲部106。預測圖像生成部107設定在S104中由解碼部101解碼並輸出的預測模式以及運動矢量，根據需要讀出參照圖像存儲部106所保存著的參照圖像，進行幀內預測或幀間預測來生成預測圖像。預測圖像生成部107將生成的預測圖像輸出給加法運算器108。接著，加法運算器108將在Slll中預測圖像生成部107輸出的預測圖像與在SllO 中逆正交變換部112輸出的預測殘差信號相加並輸出(Si 12)。接著，解碼部101判斷是否將編碼流全部進行了解碼(S113)，如果是已全部解碼 (S113的是的情況)，則完成解碼。反之，存在尚未解碼的編碼流的情況下(S113的否的情況)，返回S104重複處理。如以上那樣，解碼裝置100進行解碼處理動作。
另外，解碼裝置100在將序列或GOP中包含的圖像(圖片)進行解碼的最開始時， 在S102中將在SlOl中由解碼部101解碼的正交變換基全部寫入正交變換基積蓄部110中， 但是不寫入正交變換基存儲狀態管理表104中。然後，通過反覆S104 Sl 13的處理，在正交變換基存儲部103中保存正交變換基的一部分。以上，根據本實施方式，在參照正交變換基存儲狀態管理表104的結果為，正交變換基存儲部103中存在正交變換基ID所表示的正交變換基的情況下，不從正交變換基積蓄部110讀出該正交變換基。因此，能夠減少對正交變換基積蓄部110的訪問次數。由此，能夠縮減與正交變換基積蓄部110有關的存儲器頻帶及減少存儲器訪問延遲。另外，在本實施方式中，在正交變換基存儲部103未保存正交變換基ID所表示的正交變換基的情況下，正交變換基傳送控制部102從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基。並且，假設寫入到正交變換基存儲部103的存儲著最早從正交變換基積蓄部110讀出的正交變換基的區域，但不限於此。例如既可以寫入到存儲著最新從正交變換基積蓄部110讀出的正交變換基的區域，也可以隨機選擇存儲著正交變換基的區域來進行寫入。只要是能夠減少對正交變換基積蓄部110的訪問、並且還能夠減小正交變換基存儲部103的容量的方法，選擇哪一種都可以。此外，在本實施方式中，正交變換基積蓄部110設為了與存儲器109不同的存儲單元，但正交變換基積蓄部110與存儲器109也可以是相同的存儲單元。此外，在本實施方式中，假設正交變換基包含在編碼流內來進行了說明，但不限於此。也可以是，在編碼流內僅包含正交變換基ID，正交變換基預先設定在編碼裝置和解碼裝置之間，預先設定的正交變換基保存在正交變換基積蓄部110中。此外，在本實施方式中，解碼裝置100具備解碼部101、正交變換基傳送控制部 102、正交變換基存儲部103、正交變換基存儲狀態管理表104、參照圖像傳送控制部105、參照圖像存儲部106、預測圖像生成部107、加法運算器108、存儲器109、正交變換基積蓄部 110、逆量化部111以及逆正交變換部112，但不限於此。如圖5所示，作為解碼裝置100的最小結構，只要具備解碼裝置部10即可。即，只要具備下述解碼裝置部10即可，該解碼裝置部10具有解碼部101、正交變換基傳送控制部102、正交變換基存儲部103、正交變換基積蓄部110以及逆正交變換部112。更具體而言，該解碼裝置部10是進行包含確定信息(正交變換基ID)的編碼流的解碼的圖像解碼裝置，上述確定信息用於確定在逆正交變換中利用的正交變換基，該解碼裝置部10隻要具備如下各部即可，即解碼部101，從編碼流解碼確定信息(正交變換基 ID)；正交變換基積蓄部110，用於保存在編碼流的逆正交變換中利用的多個正交變換基； 正交變換基存儲部103，用於保存正交變換基積蓄部110所保存著的多個正交變換基之中、 在進行逆正交變換時需要的正交變換基；逆正交變換部112，利用保存在正交變換基存儲部103中、並且由確定信息(正交變換基ID)確定的正交變換基，進行逆正交變換；以及正交變換基傳送控制部102，僅在正交變換基存儲部103未保存由確定信息(正交變換基ID) 確定的正交變換基的情況下，從正交變換基積蓄部110向正交變換基存儲部103傳送由確定信息(正交變換基ID)確定的正交變換基。解碼裝置100至少具備解碼裝置部10來作為最小結構，因此正交變換基傳送控制部102將存儲於正交變換基積蓄部110中並且在逆正交變換中使用的正交變換基的至少一
13部分傳送給正交變換基存儲部103加以保存。由此，能夠減少對正交變換基積蓄部110直接訪問的次數。(實施方式2)圖6是表示本發明實施方式2的解碼裝置的結構的框圖。圖7A及圖7B是正交變換基參照履歷管理表所保存的信息的一例。在圖6中，對於與圖1相同的結構要素使用相同的符號，並省略說明。圖6所示的解碼裝置200具備解碼部101、正交變換基傳送控制部102、正交變換基存儲部103、正交變換基存儲狀態管理表104、參照圖像傳送控制部105、參照圖像存儲部 106、預測圖像生成部107、加法運算器108、存儲器109、正交變換基積蓄部110、逆量化部 111、逆正交變換部112以及正交變換基參照履歷管理表201。圖6所示的解碼裝置200相對於實施方式1的解碼裝置100，其結構的不同之處在於具備正交變換基參照履歷管理表 201。正交變換基參照履歷管理表201相當於本發明的參照履歷管理部，對每個正交變換基的表示從解碼開始被參照的次數的利用履歷信息進行管理。具體而言，正交變換基參照履歷管理表201具有以正交變換基ID為輸入，輸出在正交變換基存儲部103中正交變換基ID所表示的正交變換基從解碼開始被參照的次數的功能。正交變換基參照履歷管理表 201例如保存著如圖7A所示的信息。即，正交變換基參照履歷管理表201保存著由解碼部 101解碼的編碼流的例如頭信息中包含的正交變換基ID。並且，將由各個正交變換基ID確定的正交變換基從解碼開始被參照的次數作為此前的流中的參照次數來保存。另外，正交變換基參照履歷管理表201也可以具有以正交變換基ID為輸入，輸出表示在正交變換基存儲部103中正交變換基ID所表示的正交變換基在逆正交變換部112 當前進行的逆正交變換的幾次之前被參照過的次數的功能。在該情況下，正交變換基參照履歷管理表201例如保存如圖7B所示的信息。即，正交變換基參照履歷管理表201將由解碼部101解碼的編碼流的例如頭信息中包含的正交變換基ID作為正交變換基來保存著。並且，將表示正交變換基ID所示的正交變換基在逆正交變換部112進行的逆正交變換處理的幾次前被參照過的信息(次數)，保存為在幾次前被參照過。下面，對如以上構成的解碼裝置200的解碼處理動作進行說明。圖8是表示本發明實施方式2的解碼裝置的解碼處理動作的流程圖。如圖8所示，在解碼裝置200中，首先，接收到編碼流的解碼部101對構成編碼流的頭信息進行解碼(S201)，作為頭信息而至少輸出正交變換基。並且，正交變換基傳送控制部102將在S201中由解碼部101解碼的正交變換基全部寫入正交變換基積蓄部110中 (S202)。接著，解碼部101對構成編碼流的多個圖片(或者構成多個圖片的宏塊)的頭信息和量化係數進行解碼(S204)，作為頭信息至少輸出正交變換基ID。接著，正交變換基傳送控制部102參照正交變換基存儲狀態管理表104，檢查正交變換基存儲部103是否保存著在S204中解碼的正交變換基ID所表示的正交變換基 (S205)。正交變換基傳送控制部102在正交變換基存儲部103未保存正交變換基ID所表示的正交變換基的情況下(S205的否的情況)，從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基。並且，寫入正交變換基存儲部103中例如存儲著此前參照次數最少的正交變換基的區域中(S206)。這裡，正交變換基傳送控制部102參照正交變換基參照履歷管理表201，確定參照次數最少的正交變換基。接著，正交變換基傳送控制部102更新正交變換基參照履歷管理表201 (S207)。 即，正交變換基傳送控制部102曾加正交變換基參照履歷管理表201的、所參照的正交變換基的參照次數。此外，正交變換基傳送控制部102更新正交變換基存儲狀態管理表104 (S208)。具體而言，正交變換基傳送控制部102將正交變換基存儲狀態管理表104的讀出的正交變換基的存儲狀態變更為「保存」，將刪除的正交變換基的存儲狀態變更為「未保存」。另一方面，正交變換基傳送控制部102在正交變換基存儲部103保存著正交變換基ID所表示的正交變換基的情況下(S205的是的情況)，不從正交變換基積蓄部110讀出正交變換基，前進到S209。接著，逆量化部111將解碼部101輸出的圖片(或者構成圖片的宏塊)的量化係數進行逆量化，輸出正交變換係數(S209)。接著，逆正交變換部112讀出正交變換基存儲部103保存著的正交變換基，將讀出的正交變換基設定為在逆正交變換中使用的正交變換基(S210)。逆正交變換部112使用所設定的正交變換基對由逆量化部111輸出的圖片(或者構成圖片的宏塊)的正交變換係數進行逆正交變換(S211)，將預測誤差信號輸出給加法運算器108。此外，預測圖像生成部107生成預測圖像(S21 。具體而言，參照圖像傳送控制部 105根據在S204中由解碼部101解碼並輸出的預測模式、運動矢量以及參照畫面信息等的頭信息，根據需要從存儲器109讀出在預測圖像生成中利用的參照圖像，寫入參照圖像存儲部106中。預測圖像生成部107設定在S204中由解碼部101解碼並輸出的預測模式以及運動矢量，根據需要讀出參照圖像存儲部106保存著的參照圖像，進行幀內預測或幀間預測而生成預測圖像。預測圖像生成部107將生成的預測圖像輸出給加法運算器108。接著，加法運算器108將在S212中預測圖像生成部107輸出的預測圖像和在S211 中逆正交變換部112輸出的預測殘差信號相加並輸出(S212)。接著，解碼部101判斷是否將編碼流全部進行了解碼(S214)，如果全部進行了解碼(S214的是的情況)，則完成解碼。相反，在還有尚未解碼的編碼流的情況下(S214的否的情況)，返回S204重複處理。如以上那樣，解碼裝置200進行解碼處理動作。以上，根據本實施方式，通過參照正交變換基參照履歷管理表201，來確定參照次數最少的正交變換基。並且，正交變換基傳送控制部102向正交變換基存儲部103寫入時， 寫入到存儲著此前參照次數最少的正交變換基的區域中。由此，被參照的可能性低的正交變換基不保存在正交變換基存儲部103中，而能夠在正交變換基存儲部103中保存被頻繁參照的可能性高的正交變換基。其結果，能夠減少對正交變換基積蓄部110的訪問次數。由此，能夠縮減與正交變換基有關的存儲器的存儲器頻帶以及存儲器訪問延遲。另外，在本實施方式中，在正交變換基存儲部103未保存正交變換基ID所表示的正交變換基情況下，通過參照正交變換基參照履歷管理表201，確定參照次數最少的正交變換基。並且，正交變換基傳送控制部102從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基，寫入到正交變換基存儲部103的存儲著此前參照次數最少的正交變換基的區域中，但不限於此。例如，既可以寫入到存儲著最近(從當前到規定期間的過去)最不常使用的正交變換基的區域中，也可以寫入到存儲著最近最常使用的正交變換基的區域中，也可以寫入到存儲著此前參照次數最多的正交變換基的區域中。只要是能夠減少對正交變換基積蓄部110的訪問、且還能夠減少正交變換基存儲部103的容量的方法，選擇哪一種都可以。此外，在本實施方式中，正交變換基積蓄部110設為了與存儲器109不同的存儲單元，但正交變換基積蓄部110和存儲器109也可以是相同的存儲單元。即，既可以是正交變換基積蓄部110包含存儲器109的結構，也可以是正交變換基積蓄部110包含於存儲器109 中的結構。此外，在本實施方式中，設為正交變換基包含於編碼流內來進行了說明，但不限於此。也可以是，在編碼流內僅包含正交變換基ID，正交變換基預先設定在編碼裝置與解碼裝置之間，將預先設定的正交變換基保存在正交變換基積蓄部110中。(實施方式3)圖9是表示本發明實施方式3的解碼裝置的結構的框圖。圖10及圖11是正交變換基統計信息管理表所保存的信息的一例。在圖9中，對於與圖1相同的結構要素使用相同的符號，省略其說明。圖9所示的解碼裝置300具備解碼部101、正交變換基傳送控制部102、正交變換基存儲部103、正交變換基存儲狀態管理表104、參照圖像傳送控制部105、參照圖像存儲部 106、預測圖像生成部107、加法運算器108、存儲器109、正交變換基積蓄部110、逆量化部 111、逆正交變換部112、預解碼部301、正交變換基統計信息管理表302。圖9所示的解碼裝置300相對於實施方式1的解碼裝置100，不同的結構是具備預解碼部301以及正交變換基統計信息管理表302。預解碼部301比解碼部101先行從編碼流至少解碼確定信息(正交變換基ID)的一部分。具體而言，預解碼部301與解碼部101相比至少提前1比特以上，來對根據圖像壓縮技術的標準規格來編碼而得到的編碼流的一部分或全部進行解碼。這裡，預解碼部301 具有至少輸出正交變換基ID的功能。另外，預解碼部301也可以構成為解碼裝置300另外具備的例如將 CABAC (Context-based Adaptive Binary Arithmetic Coding :基於上下文自適應二進位算術編碼)等的算術代碼進行解碼的CABAC解碼部。此外，也可以設置於解碼部101的前面。 即，預解碼部301隻要是不解碼到圖像、比解碼部101至少提前1比特以上來從編碼流中將正交變換基ID進行解碼並輸出給正交變換基統計信息管理表302的結構即可。正交變換基統計信息管理表302相當於本發明的統計信息管理部，管理由通過預解碼部301解碼、且通過解碼部101此後解碼的確定信息(正交變換基ID)確定的每個正交變換基的利用狀況。具體而言，正交變換基統計信息管理表302具有以預解碼部301輸出的正交變換基ID為輸入，輸出解碼部101此後(以後或者今後)解碼的編碼流中包含的每個正交變換基ID的正交變換基的利用次數的功能。正交變換基統計信息管理表302例如保存著如圖10所示的信息。即，正交變換基統計信息管理表302保存著預解碼部301解碼的編碼流的頭信息中包含的正交變換基ID。此外，正交變換基統計信息管理表302將由正交變換基ID確定的正交變換基在解碼部101 的解碼中被參照之前的次數作為今後的流中的參照次數來保存著。此外，正交變換基統計信息管理表302例如也可以保存如圖11所示的信息。即，正交變換基統計信息管理表302 也可以保存著預解碼部301所解碼的編碼流的頭信息中包含的正交變換基ID。此外，正交變換基統計信息管理表302也可以將由正交變換基ID確定的正交變換基在解碼部101的解碼中被參照之前的次數作為表示在今後的流中在幾塊後被參照的信息來保存。如以上構成的解碼裝置300通過由正交變換基統計信息管理表302管理解碼部 101此後解碼的正交變換基ID的出現頻率，能夠預先知道此後解碼部101要解碼的正交變換基ID出現的概率。因此，能夠使正交變換基存儲部103保存此後出現概率高的正交變換基，廢棄此後出現概率低的正交變換基。由此不僅能夠削減對正交變換基積蓄部110的訪問次數，而且能夠縮減正交變換基存儲部103的存儲器頻帶。這裡，對於在圖10所示的表示在今後的流中幾塊後被參照的信息和圖11所示的表示在今後的流中的參照次數的效果差異，舉例進行說明。圖12A及圖12B以及圖13A及圖1 是表示根據正交變換基統計信息管理表來更新正交變換基存儲部的正交變換基的狀況的圖。這裡，圖13A及圖13B與圖12A及圖12B 在時間上連續，表示由解碼部101進行與圖12A及圖12B相比1個宏塊之後的解碼時的狀況。另外，預解碼部301對於編碼流，比解碼部101提前例如2個宏塊的量進行解碼。此外，正交變換基存儲部103是僅能保存兩個正交變換基的結構。預解碼部301如圖12A所示，對於編碼流，比解碼部101提前例如3個宏塊的量進行解碼，在正交變換基統計信息管理表302中保存著圖12B所示的信息。例如，正交變換基統計信息管理表302保存著預解碼部301對於編碼流此前進行了解碼的正交變換基ID (0， 1,2)和表示它們在今後的流中在幾塊後被參照的信息(⑴，2，1)。這裡，在圖12B中，⑴表示在預解碼部301先於解碼部101進行了解碼的2個宏塊後沒有正交變換基ID為0的信息。相對於此，正交變換基ID為1的信息表示解碼部101此後(1個塊之後)解碼時進行參照。同樣，正交變換基ID為2的信息表示解碼部101在2個塊之後解碼時進行參照。因此，正交變換基傳送控制部102參照正交變換基統計信息管理表302和正交變換基存儲狀態管理表104，變更對正交變換基存儲部103所保存的與正交變換基ID (0，1)對應的正交變換基之中、與正交變換基ID為0對應的正交變換基進行存儲的區域。即，正交變換基傳送控制部102將正交變換基存儲部103所保存的與正交變換基ID = 0對應的正交變換基變更為與正交變換基ID = 2對應的正交變換基。並且，圖13A及圖1 所示的情況也相同。具體而言，正交變換基傳送控制部102 參照正交變換基統計信息管理表302和正交變換基存儲狀態管理表104，決定應該變更正交變換基存儲部103所保存的與正交變換基ID(2，1)對應的正交變換基之中的哪一個。這裡，通過參照正交變換基統計信息管理表302，能夠判斷出應該變更存儲與正交變換基ID 為2對應的正交變換基的區域。但是，正交變換基傳送控制部102通過參照正交變換基存儲狀態管理表104，能夠確認在正交變換基存儲部103中保存著與正交變換基ID = 1對應的正交變換基。因此，正交變換基傳送控制部102判斷為對於正交變換基存儲部103不需要進行變更，對於正交變換基存儲部103什麼都不做(不傳送)。這樣，由於預先知道此後解碼部101要解碼的正交變換基ID出現的概率，因此能
17夠削減對正交變換基積蓄部110的訪問次數。接著，說明如以上那樣構成的解碼裝置300的解碼處理動作。圖14是表示本發明實施方式3的解碼裝置的解碼處理動作的流程圖。如圖14所示，在解碼裝置300中，首先，接收到編碼流的解碼部101對構成編碼流的頭信息進行解碼(S301)，作為頭信息至少輸出正交變換基。並且，正交變換基傳送控制部102將在S301中由解碼部101解碼的正交變換基全部寫入正交變換基積蓄部110中 (S302)。接著，預解碼部301比解碼部101先行進行編碼流的解碼(S304)，更新正交變換基統計信息管理表302 (S305)。具體而言，預解碼部301比解碼部101先行進行編碼流的解碼，將尚未由解碼部101解碼的編碼流內的正交變換基ID的出現概率寫入正交變換基統計信息管理表302中。接著，解碼部101對構成編碼流的多個圖片(或者構成多個圖片的宏塊)的頭信息和量化係數進行解碼，作為頭信息至少輸出正交變換基信息ID(S306)。接著，正交變換基傳送控制部102參照正交變換基存儲狀態管理表104，檢查正交變換基存儲部103是否保存著在S306中由解碼部101解碼的正交變換基ID所表示的正交變換基(S307)。正交變換基傳送控制部102在正交變換基存儲部103未保存著正交變換基ID所表示的正交變換基情況下(S307的否的情況)，從正交變換基積蓄部110讀出正交變換基 ID所表示的正交變換基。並且，寫入正交變換基存儲部103中例如存儲著此後參照次數最少的正交變換基的區域中(S308)。這裡，正交變換基傳送控制部102參照正交變換基統計信息管理表302，確定解碼部101今後解碼時參照次數最少的正交變換基。接著，正交變換基傳送控制部102更新正交變換基存儲狀態管理表104 (S309)。具體而言，正交變換基傳送控制部102將正交變換基存儲狀態管理表104的讀出的正交變換基的存儲狀態變更為「保存」，將刪除的正交變換基的存儲狀態變更為「未保存」。另一方面，正交變換基傳送控制部102在正交變換基存儲部103保存著正交變換基ID所表示的正交變換基的情況下(S307的是的情況)，正交變換基傳送控制部102不從正交變換基積蓄部110讀出正交變換基(不傳送)，前進到S310。另外，S310 S315的處理與S209 S214相同，因此省略說明。如以上那樣，解碼裝置300進行解碼處理動作。以上，根據本實施方式，預解碼部301比解碼部101先行對編碼流進行解碼，由正交變換基統計信息管理表302管理解碼部101此後要解碼的正交變換基ID的出現頻率。由此，能夠預先知道解碼部101此後要解碼的正交變換基ID所出現的概率。然後，通過使正交變換基存儲部103保存此後的出現概率高的正交變換基，能夠削減對正交變換基積蓄部 110的訪問次數。由此，能夠縮減與正交變換基有關的存儲器的存儲器頻帶以及減小存儲器訪問延遲。另外，在本實施方式中，在正交變換基存儲部103未保存正交變換基ID所表示的正交變換基的情況下，通過參照正交變換基統計信息管理表302，來確定今後參照次數最少的正交變換基。然後，正交變換基傳送控制部102從正交變換基積蓄部110讀出正交變換基ID所表示的正交變換基，寫入正交變換基存儲部103的存儲著今後參照次數最少的正交變換基的區域中，但不限於此。例如，也可以寫入存儲著今後不太使用的、即今後規定的期間內參照次數少的正交變換基的區域中。像這樣，只要是能夠減少對正交變換基積蓄部110 的訪問、並且還能夠減少正交變換基存儲部103的容量的方法，選擇哪一種都可以。此外，在本實施方式中，正交變換基積蓄部110設為了與存儲器109不同的存儲單元，但是正交變換基積蓄部110和存儲器109也可以是相同的存儲單元。即，既可以是正交變換基積蓄部110包括存儲器109的結構，也可以是正交變換基積蓄部110包含於存儲器 109中的結構。此外，在本實施方式中，設為正交變換基包含於編碼流內來進行了說明，但不限於此。也可以是，在編碼流內僅包含正交變換基ID，正交變換基預先設定於編碼裝置與解碼裝置之間，將預先設定的正交變換基保存在正交變換基積蓄部110中。此外，上述的解碼裝置300具備解碼部101、正交變換基傳送控制部102、正交變換基存儲部103、正交變換基存儲狀態管理表104、參照圖像傳送控制部105、參照圖像存儲部106、預測圖像生成部107、加法運算器108、存儲器109、正交變換基積蓄部110、逆量化部111、逆正交變換部112、預解碼部301、正交變換基統計信息管理表302，但不限於此。也可以如圖15所示，作為解碼裝置300的最小結構而具備解碼裝置部350即可。S卩，只要具備下述的解碼裝置部350即可，該解碼裝置部350具有解碼部101、正交變換基傳送控制部 102、正交變換基存儲部103、正交變換基積蓄部110以及預解碼部301。這裡，圖15是表示本發明實施方式3的解碼裝置的最小結構的框圖。具體而言，該解碼裝置部350隻要具備如下各部即可，所述各部包括解碼部101， 從編碼流解碼用於確定在逆正交變換中利用的正交變換基的信息的確定信息；預解碼部 301，比解碼部101先行從編碼流至少解碼確定信息(正交變換基ID)的一部分；正交變換基積蓄部110，用於保存被解碼的編碼流的逆正交變換中利用的多個正交變換基；正交變換基存儲部103，用於保存正交變換基積蓄部110所保存的多個正交變換基中的、進行逆正交變換時需要的正交變換基；以及正交變換基傳送控制部102，從正交變換基積蓄部110向正交變換基存儲部103傳送由確定信息(正交變換基ID)確定的正交變換基。圖15所示的解碼裝置至少具備解碼裝置部350作為最小結構，由此利用由預解碼部301解碼的確定信息(正交變換基ID)進行預讀分析，來將在逆正交變換中利用的多個正交變換基的一部分保存在正交變換基存儲部103中。由此，在保存在正交變換基存儲部 103中的情況下，能夠通過使用正交變換基存儲部103所保存的正交變換基，來減少對正交變換基積蓄部110直接訪問的次數這樣的效果。(實施方式4)圖16是表示本發明實施方式4的解碼裝置的結構的框圖。在圖16中，對與圖1 相同的結構要素使用相同的符號，並省略其說明。圖16所示的解碼裝置400具備解碼部101、正交變換基傳送控制部102、正交變換基存儲部103、參照圖像傳送控制部105、參照圖像存儲部106、預測圖像生成部107、加法運算器108、存儲器109、正交變換基積蓄部110、逆量化部111、逆正交變換部112、可逆編碼部 401、可逆解碼部402。這裡，圖16所示的解碼裝置400相對於實施方式1的解碼裝置100， 其結構的不同之處在於具備可逆編碼部401以及可逆解碼部402，而不具備正交變換基存儲狀態管理表104。可逆編碼部401對編碼流中包含的在逆正交變換中利用的多個正交變換基進行可逆編碼。具體而言，可逆編碼部401具有對由解碼部101解碼的正交變換基進行可逆編碼(可逆壓縮)，並寫入正交變換基積蓄部110中的功能。可逆解碼部402對由可逆編碼部401可逆編碼後的多個正交變換基中的、由確定信息(正交變換基ID)確定的正交變換基進行可逆解碼，並經由正交變換基傳送控制部 102，將可逆解碼後的正交變換基寫入正交變換基積蓄部110中。具體而言，可逆解碼部402 具有讀出正交變換基積蓄部110中存放的正交變換基、進行可逆解碼、並經由正交變換基傳送控制部102寫入正交變換基存儲部103中的功能。另外，可逆解碼部402也可以不經由正交變換基傳送控制部102，而寫入正交變換基存儲部103中。接著，說明如上構成的解碼裝置400的解碼處理動作。圖17是表示本發明實施方式4的解碼裝置的解碼處理動作的流程圖。如圖17所示，在解碼裝置400中，首先，接收到編碼流的解碼部101對構成編碼流的頭信息進行解碼(S401)，作為頭信息至少輸出正交變換基。接著，可逆編碼部401對由解碼部101解碼後的正交變換基進行可逆編碼(可逆壓縮)(S40》。接著，正交變換基傳送控制部102將由可逆編碼部401進行可逆編碼後的正交變換基寫入正交變換基積蓄部110中 (S403)。接著，解碼部101對構成編碼流的多個圖片(或者構成多個圖片的宏塊)的頭信息和量化係數進行解碼，作為頭信息至少輸出正交變換基信息ID、運動矢量信息以及量化係數(S405)。另夕卜，S408 S413的處理與S108 S113相同，因此省略說明。如以上那樣，解碼裝置400進行解碼處理動作。以上，根據本實施方式，通過由可逆編碼部401壓縮正交變換基，能夠減小向正交變換基積蓄部110存放的正交變換基的數據大小。由此，能夠削減與正交變換基有關的存儲器的存儲器容量。另外，圖16所示的解碼裝置400也可以至少具備上述正交變換基存儲狀態管理表 104，並具備正交變換基參照履歷管理表201或正交變換基統計信息管理表。在該情況下， 不僅能夠削減與正交變換基有關的存儲器的存儲器容量，還能夠如上述那樣縮減存儲器頻帶以及減少存儲器訪問延遲，所以更加優選。此外，在本實施方式中，說明了由解碼部101 —次解碼正交變換基，並由可逆編碼部401重新進行編碼而存放到正交變換基積蓄部110中，由可逆解碼部402解碼的情況，但不限於此。例如，也可以是，不由解碼部101解碼編碼流內的正交變換基，而將編碼流內的正交變換基部分存放到正交變換基積蓄部110中，由可逆解碼部402解碼。此外，在可逆編碼部401中利用的編碼算法只要是可逆且使輸出大小比輸入大小小的編碼方法，則任何方法都可以。此外，在本實施方式中，正交變換基積蓄部110設為了與存儲器109不同的存儲單元，但正交變換基積蓄部Iio與存儲器109也可以是相同的存儲單元。即，既可以是正交變換基積蓄部110包含存儲器109的結構，也可以是正交變換基積蓄部110包含於存儲器109 的結構。
此外，在本實施方式中，設為正交變換基包含在編碼流內中來進行了說明，但不限於此。也可以是，在編碼流內僅包含正交變換基ID，正交變換基預先設定於編碼裝置與解碼裝置之間，將預先設定的正交變換基保存在正交變換基積蓄部110中。(實施方式5)圖18是表示本發明的實施方式5的編碼裝置的結構的框圖。圖18所示的編碼裝置500是生成包含確定信息的編碼流的圖像編碼裝置，所述確定信息用於確定在逆正交變換中利用的正交變換基(正交變換基矩陣)。該編碼裝置500 具備編碼部501、正交變換基傳送控制部502、正交變換基存儲部503、正交變換基存儲狀態管理表504、參照圖像傳送控制部505、參照圖像存儲部506、預測圖像生成部507、加法運算器508、存儲器509、正交變換基積蓄部510、逆量化部511、逆正交變換部512、減法運算器 513、正交變換部514、量化部515、正交變換基生成部516。編碼部501具有如下功能至少以由量化部515輸出的量化係數、正交變換基ID 以及正交變換基為輸入，依據圖像壓縮技術的標準規格對它們進行編碼，並輸出編碼流。正交變換基傳送控制部502相當於本發明的傳送控制部，僅在正交變換基存儲部 503沒有保存由確定信息(正交變換基ID)確定的正交變換基的情況下，從正交變換基積蓄部510向正交變換基存儲部503傳送由確定信息(正交變換基ID)確定的正交變換基。具體而言，正交變換基傳送控制部502具有將由正交變換基生成部516生成且在正交變換中使用的正交變換基向正交變換基積蓄部510寫入的功能。此外，具有根據表示在預測圖像生成部507所生成的預測圖像的正交變換中使用哪個正交變換基的確定信息(正交變換基 ID)，參照正交變換基存儲狀態管理表504的信息的功能。正交變換基傳送控制部502根據正交變換基存儲狀態管理表504的信息，能夠確認正交變換基ID所表示的正交變換基是否保存在正交變換基存儲部503中。例如，正交變換基傳送控制部502在確認了正交變換基ID所表示的正交變換基未保存在正交變換基存儲部503中的情況下，從正交變換基積蓄部510讀出正交變換基ID所表示的正交變換基，向正交變換基存儲部503寫入(傳送)。另一方面，正交變換基傳送控制部502在確認了正交變換基ID所表示的正交變換基保存在正交變換基存儲部503中的情況下，不從正交變換基積蓄部510讀出正交變換基(不傳送)。另外，正交變換基傳送控制部502也可以僅將向正交變換基積蓄部510寫入正交變換基的命令發給預測圖像生成部507，由預測圖像生成部507將正交變換基寫入正交變換基積蓄部510中。同樣，正交變換基傳送控制部502也可以僅將從正交變換基積蓄部510 讀出正交變換基ID所表示的正交變換基的命令發給正交變換基存儲部503，由正交變換基存儲部503從正交變換基積蓄部510讀出正交變換基ID所表示的正交變換基並進行保存。正交變換基存儲部503相當於本發明的存儲部，用於保存正交變換基積蓄部510 所保存的多個正交變換基中的、進行正交變換時所需要的正交變換基。具體而言，正交變換基存儲部503具有至少保存一種以上的從正交變換基積蓄部510傳送的正交變換基的功能、以及對正交變換部514以及逆正交變換部512設定正交變換基ID所表示的正交變換基的功能。另外，也可以是，正交變換基存儲部503保存正交變換基ID所表示的正交變換基， 正交變換基傳送控制部502對正交變換部514以及逆正交變換部512設定正交變換基ID 所表示的正交變換基。
正交變換基存儲狀態管理表504相當於本發明的存儲狀態管理部，管理表示正交變換基存儲部503是否保存著由確定信息(正交變換基ID)確定的正交變換基的信息。具體而言，正交變換基存儲狀態管理表504具有以正交變換基ID為輸入，輸出表示正交變換基存儲部503是否保存著正交變換基ID所表示的正交變換基的信息的功能。正交變換基存儲狀態管理表504例如上述圖3所示，將表示正交變換基ID所表示的正交變換基是否保存在正交變換基存儲部503中的存儲狀態作為表(信息)來進行保存。參照圖像傳送控制部505具有至少根據編碼對象塊的位置信息，從存儲器509讀出由預測圖像生成部507生成預測圖像時所需要的參照像素，並寫入參照圖像存儲部506 中的功能。參照圖像存儲部506具有保存從存儲器509傳送的參照像素的功能。預測圖像生成部507以編碼圖像以及參照圖像為輸入，根據需要使用參照圖像存儲部506中保存的、預測圖像生成所需要的參照像素，實施幀間預測、幀內預測或其他的預測來生成預測圖像。並且，預測圖像生成部507具有將生成的預測圖像輸出給減法運算器 513及加法運算器508的功能、以及將預測模式等的編碼信息輸出給編碼部501的功能。此外，預測圖像生成部507具有將編碼信息和根據需要將編碼圖像、參照圖像以及預測圖像輸出給正交變換基生成部516的功能。加法運算器508具有將逆正交變換部512輸出的預測誤差信號與預測圖像生成部 507輸出的預測圖像相加並作為解碼圖像來輸出的功能、以及將該解碼圖像向存儲器509 傳送(輸出)的功能。存儲器509具有保存預測圖像生成部507所參照的參照畫面的功能。正交變換基積蓄部510相當於本發明的積蓄部，具有保存正交變換部514的正交變換處理以及逆正交變換部512的逆正交變換處理中利用的正交變換基的功能。逆量化部511具有對量化部515輸出的量化係數進行逆量化，輸出正交變換係數的功能。逆正交變換部512具有使用由正交變換基存儲部503輸出的正交變換基對由逆量化部511輸出的正交變換係數進行逆正交變換，並輸出預測誤差信號的功能。減法運算器513具有從編碼對象圖像中減去預測圖像生成部507輸出的預測圖像，將預測誤差信號輸出給正交變換部514的功能。正交變換部514利用保存在正交變換基存儲部503中、且由確定信息(正交變換基ID)確定的正交變換基進行正交變換。具體而言，正交變換部514具有利用由正交變換基存儲部503輸出的正交變換基對由減法運算器513輸出的預測誤差信號進行正交變換， 並將正交變換後的正交變換係數輸出給量化部515的功能。量化部515具有對由正交變換部514輸出的正交變換係數進行量化，並將量化係數輸出給編碼部501以及逆量化部511的功能。正交變換基生成部516相當於本發明的生成部，生成正交變換基、以及確定正交變換基的確定信息(正交變換基ID)。具體而言，正交變換基生成部516具有在編碼圖像以及參照圖像的基礎上還根據需要以預測圖像為輸入，生成正交變換基和正交變換基ID，並輸出給編碼部501及正交變換基傳送控制部502的功能。這裡，舉出一例來說明正交變換部514決定正交變換基ID的方法。圖19是正交
22變換基存儲狀態管理表所保存的信息的一例。圖20是用於說明正交變換部決定正交變換基ID的方法的圖。另外，這裡如圖19所示，設正交變換基存儲狀態管理表保存著正交變換基ID(0 100)、和與它們對應的正交變換基在正交變換基存儲部503中的存儲狀態。此外，設正交變換基存儲部503中存儲著與正交變換基ID70 79對應的正交變換基。進而，設正交變換基存儲部503僅能保存20個正交變換基。即，正交變換基存儲部503如圖20(a)所示，保存著10個與正交變換基ID70 79對應的正交變換基，並具有還能保存10個正交變換基的區域。在該情況下，正交變換部514如以下這樣決定表示在正交變換中利用的正交變換基的種類的正交變換基ID。首先，正交變換部514如圖20 (b)所示，使正交變換基傳送控制部502將與正交變換基IDO 9對應的正交變換基寫入正交變換基存儲部503中，並確認是否是在正交變換中利用的正交變換基ID。接著，正交變換部514同樣如圖20 (c)所示，使正交變換基傳送控制部502將與正交變換基IDlO 19對應的正交變換基寫入正交變換基存儲部503中，並確認是否是在正交變換中利用的正交變換基ID。同樣，正交變換部514將與正交變換基IDO 69以及80 100對應的正交變換基寫入正交變換基存儲部503中，並確認是否是在正交變換中利用的正交變換基ID。另一方面，與正交變換基ID70 79對應的正交變換基預先保存在正交變換基存儲部503中。因此，正交變換基傳送控制部502不傳送與正交變換基ID70 79對應的正交變換基。這樣，能夠縮減與正交變換基有關的存儲器頻帶以及減少存儲器訪問延遲。另外，作為由正交變換部514決定正交變換基ID的方法而在上面說明的方法是一例，當然也可以是其他的方法。此外，對於逆正交變換部512，由於與正交變換部514相同， 因此省略說明。編碼裝置500如以上那樣構成。接著，說明如以上那樣構成的編碼裝置500的編碼處理動作。圖21是表示本發明實施方式5的編碼裝置的編碼處理動作的流程圖。如圖21所示，首先，接收到編碼圖像的編碼裝置500使正交變換基生成部516以編碼圖像、參照圖像以及根據需要還以預測圖像為輸入，生成在以後的編碼中利用的正交變換基(S501)，並向編碼部501以及正交變換基傳送控制部502輸出。接著，正交變換基傳送控制部502將在S501中由正交變換基生成部516生成的全部正交變換基寫入正交變換基積蓄部510中(S502)。接著，預測圖像生成部507生成預測圖像(S504)。具體而言，參照圖像傳送控制部 505根據需要從存儲器509讀出在預測圖像生成中利用的參照圖像所需要的參照像素，並寫入參照圖像存儲部506中。並且，預測圖像生成部507以編碼圖像及參照圖像為輸入，生成與編碼圖像的相關性高的預測圖像及其編碼信息，並將生成的預測圖像輸出給減法運算器513以及加法運算器508。此外將用於生成預測圖像的編碼信息輸出給編碼部501。此外，預測圖像生成部507向正交變換基生成部516輸出編碼信息、以及根據需要輸出編碼圖像、參照圖像和/或預測圖像(S504)。
接著，減法運算器513進行減法運算處理650 。具體而言，減法運算器513對編碼圖像和預測圖像生成部507所輸出的預測圖像進行減法運算，並向正交變換部514輸出。接著，正交變換基生成部516決定正交變換基ID (S506)。具體而言，正交變換基生成部516以預測圖像生成部507所輸出的編碼信息、以及根據需要還以輸入圖像、參照圖像以及預測圖像為輸入，決定(生成)在正交變換中利用的正交變換基，並將該正交變換基 ID向編碼部501以及正交變換基傳送控制部502輸出。接著，正交變換基傳送控制部502參照正交變換基存儲狀態管理表504，檢查正交變換基存儲部503是否保存著在S506中確定的正交變換基ID所表示的正交變換基 (S507)。接著，正交變換基傳送控制部502在S507中正交變換基存儲部503未保存正交變換基ID所表示的正交變換基的情況下(S507的否的情況)，從正交變換基積蓄部510讀出正交變換基ID所表示的正交變換基。然後，寫入正交變換基存儲部503中例如存儲著最早從正交變換基積蓄部510讀出的正交變換基的區域中(S508)。接著，正交變換基傳送控制部502更新正交變換基存儲狀態管理表504 (S509)。具體而言，正交變換基傳送控制部502 將正交變換基存儲狀態管理表504的讀出的正交變換基的存儲狀態變更為「保存」，將刪除的正交變換基的存儲狀態變更為「未保存」(S509)。另一方面，正交變換基傳送控制部502在S507中正交變換基存儲部503保存著正交變換基ID所表示的正交變換基的情況下(S507的是的情況)，不從正交變換基積蓄部 510讀出正交變換基(不傳送)，而前進到S510。接著，正交變換部514讀出正交變換基存儲部503所保存著的正交變換基並進行設定(S510)。然後，對由運算器513輸出的預測誤差信號進行正交變換(S511)，並向量化部515輸出正交變換係數。接著，量化部515對由正交變換部514輸出的正交變換係數進行量化，並將量化係數輸出給編碼部501以及逆量化部511 (S512)。接著，編碼部501進行編碼處理(S514)。具體而言，編碼部501被輸入由量化部 515輸出的量化係數、以及由正交變換基生成部516輸出的正交變換基ID，依據圖像壓縮技術的標準規格對它們進行編碼，並輸出生成的編碼流。接著，逆量化部511對由量化部515輸出的量化係數進行逆量化，將正交變換係數輸出給逆正交變換部512 (S515)。接著，逆正交變換部512讀出正交變換基存儲部503中保存著的正交變換基，對由逆量化部511輸出的正交變換係數進行逆正交變換，將預測誤差信號輸出給加法運算器 508(S516)。接著，加法運算器508將在S504中由預測圖像生成部507輸出的預測圖像和在 S516中由逆正交變換部512輸出的預測誤差信號相加，並輸出給存儲器509 (S517)。接著，編碼裝置500判斷是否將編碼圖像全部進行了編碼(S518)，如果全部進行了編碼(S518的是的情況)，則完成編碼。相反，存在尚未編碼的編碼圖像的情況下，重複 S504 至 S518 的處理(S518)。如以上那樣，編碼裝置500進行編碼處理動作。另外，在本實施方式中，舉出編碼流的GOP或者序列的編碼圖像為例進行了說明，但不限於此。即，也可以將編碼圖像作為編碼圖像的編碼對象塊，將編碼流的GOP或者序列作為編碼圖像。以上，根據本實施方式，參照正交變換基存儲狀態管理表504的結果為，正交變換基存儲部503中存在正交變換基ID所表示的正交變換基的情況下，S507中不從正交變換基積蓄部510讀出正交變換基(不傳送)。因此，能夠減少對正交變換基積蓄部510的訪問次數。由此，能夠縮減與正交變換基有關的存儲器頻帶以及減小存儲器訪問延遲。另外，在本實施方式中，正交變換基存儲部503未保存正交變換基ID所表示的正交變換基的情況下，正交變換基傳送控制部502從正交變換基積蓄部510讀出(傳送)正交變換基ID所表示的正交變換基。並且，說明了寫入到正交變換基存儲部503的存儲著最早從存儲器讀出的正交變換基的區域中的情況，但不限於此。例如，也可以寫入到存儲著最新從存儲器讀出的正交變換基的區域中，也可以隨機選擇存放著正交變換基的區域來進行寫入。只要是能夠減少對正交變換基存儲部503的訪問、並且還能夠減少正交變換基存儲部103的容量的方法，選擇哪一種都可以。此外，在本實施方式中，正交變換基積蓄部510設為了與存儲器509不同的存儲單元，但正交變換基積蓄部510與存儲器509也可以是相同的存儲單元。即，既可以是正交變換基積蓄部510包含存儲器509的結構，也可以是正交變換基積蓄部510包含於存儲器509 中的結構。此外，在本實施方式中記載了正交變換基由正交變換基生成部516生成，但不限於此。正交變換基也可以預先設定於編碼裝置500及其解碼裝置之間，並分別加以保持。此外，在本實施方式中設為了編碼裝置500具備編碼部501、正交變換基傳送控制部502、正交變換基存儲部503、正交變換基存儲狀態管理表504、參照圖像傳送控制部505、 參照圖像存儲部506、預測圖像生成部507、加法運算器508、存儲器509、正交變換基積蓄部 510、逆量化部511、逆正交變換部512、減法運算器513、正交變換部514、量化部515、正交變換基生成部516，但不限於此。只要作為編碼裝置500的最小結構，具備正交變換基傳送控制部502、正交變換基存儲部503、正交變換基積蓄部510、正交變換部514以及正交變換基生成部516即可。更具體而言，編碼裝置500是一種圖像編碼裝置，生成包含確定信息的編碼流，該確定信息用於確定在逆正交變換中利用的正交變換基，並且該編碼裝置只要具備如下各部即可，所述各部包括正交變換基生成部516，生成正交變換基以及用於確定上述正交變換基的確定信息(正交變換基ID)；正交變換基積蓄部510，用於保存由正交變換基生成部 516生成的多個正交變換基；正交變換基存儲部503，用於保存正交變換基積蓄部510所保存的多個正交變換基中的、進行正交變換時所需要的正交變換基；正交變換部514，利用保存在正交變換基存儲部503中、並且由確定信息(正交變換基ID)確定的正交變換基進行正交變換；正交變換基傳送控制部502，僅在正交變換基存儲部503未保存由確定信息確定的正交變換基的情況下，從正交變換基積蓄部510向正交變換基存儲部503傳送由確定信息(正交變換基ID)確定的正交變換基。根據該最小結構，在正交變換基存儲部503中存在正交變換基ID所表示的正交變換基的情況下，能夠不從正交變換基積蓄部510讀出正交變換基。因此，能夠減少對正交變換基積蓄部510的訪問次數。由此，能夠縮減與正交變換基有關的存儲器頻帶以及減少存儲器訪問延遲。(實施方式6)圖22是表示本發明的實施方式6的編碼裝置的結構的框圖。在圖22中，對與圖 18相同的結構要素使用相同的符號，並省略說明。圖22所示的編碼裝置600具備編碼部501、正交變換基傳送控制部502、正交變換基存儲部503、正交變換基存儲狀態管理表504、參照圖像傳送控制部505、參照圖像存儲部506、預測圖像生成部507、加法運算器508、存儲器509、正交變換基積蓄部510、逆量化部511、逆正交變換部512、減法運算器513、正交變換部514、量化部515、正交變換基生成部 516以及正交變換基參照履歷管理表601。這裡，圖22所示的編碼裝置600相對於實施方式5的編碼裝置500，其結構的不同之處為具備正交變換基參照履歷管理表601。正交變換基參照履歷管理表601相當於本發明的參照管理部，對每個正交變換基的、表示從正交變換開始起被參照的次數的利用履歷信息進行管理。具體而言，具有以正交變換基ID為輸入、向正交變換基存儲部503輸出正交變換基ID所表示的正交變換基從編碼開始起被參照的次數的功能。另外，正交變換基參照履歷管理表601所保存的信息由於與圖7A及圖7B所示的內容相同，因此省略說明。接著，說明如以上那樣構成的編碼裝置600的編碼處理動作。圖23是表示本發明的實施方式6的編碼裝置的編碼處理動作的流程圖。如圖23所示，首先，接收到編碼圖像的編碼裝置600使正交變換基生成部516以編碼圖像、以及參照圖像為輸入、根據需要還以預測圖像為輸入，生成在以後的編碼中利用的正交變換基(S601)，並輸出給編碼部501以及正交變換基傳送控制部502。另外，S602至S607的處理由於與S502 S507相同，因此省略說明。接著，在S607中，正交變換基傳送控制部502在正交變換基存儲部503未保存正交變換基ID所表示的正交變換基的情況下(S607的否的情況下)，從正交變換基積蓄部 510讀出正交變換基ID所表示的正交變換基。然後，寫入到在正交變換基存儲部503中例如存儲著此前參照次數最少的正交變換基的區域中(S608)。這裡，正交變換基傳送控制部 502參照正交變換基參照履歷管理表601，確定參照次數最少的正交變換基。接著，正交變換基傳送控制部502更新正交變換基參照履歷管理表601 (S609)。具體而言，正交變換基傳送控制部502在正交變換基參照履歷管理表601中增加所參照的正交變換基的參照次數。接著，正交變換基傳送控制部502更新正交變換基存儲狀態管理表504 (S610)。具體而言，正交變換基傳送控制部502在正交變換基存儲狀態管理表504中將讀出的正交變換基的存儲狀態變更為「保存」，將刪除的正交變換基的存儲狀態變更為「未保存」。另一方面，正交變換基傳送控制部502在正交變換基存儲部503保存著正交變換基ID所表示的正交變換基的情況下(S607的是的情況)，不從正交變換基積蓄部510讀出正交變換基(不傳送)，前進到S611。正交變換部514讀出正交變換基存儲部503所保存著的正交變換基(S611)，對由減法運算器513輸出的預測誤差信號進行正交變換(S612)，輸出正交變換係數。另外，S613 S619的處理由於與S510 S519相同，因此省略說明。如以上那樣，編碼裝置600進行編碼處理動作。
以上，根據本實施方式，通過參照正交變換基參照履歷管理表601，確定參照次數最少的正交變換基。並且，當正交變換基傳送控制部502向正交變換基存儲部503進行寫入時，寫入到存儲著此前參照次數最少的正交變換基的區域中。由此，被參照的可能性低的正交變換基不保存在正交變換基存儲部503中，而能夠將頻繁被參照的可能性高的正交變換基保存在正交變換基存儲部503中。其結果，能夠減少對正交變換基積蓄部510的訪問次數。這樣，能夠縮減與正交變換基有關的存儲器頻帶以及減少存儲器訪問延遲。另外，在本實施方式中，在正交變換基存儲部503未保存正交變換基ID所表示的正交變換基的情況下，通過參照正交變換基參照履歷管理表601，確定參照次數最少的正交變換基。然後，說明了正交變換基傳送控制部502從正交變換基積蓄部510讀出正交變換基ID所表示的正交變換基，寫入到正交變換基存儲部503的存儲著此前參照次數最少的正交變換基的區域中的情況，但不限於此。也可以寫入到例如存儲著最近最不常使用的正交變換基的區域中，也可以寫入到存儲著最近最常使用的正交變換基的區域中，也可以寫入到存儲著此前參照次數最多的正交變換基的區域中。只要是能夠減少對正交變換基存儲部 503的訪問、並且還能夠減小正交變換基存儲部103的容量的方法，選擇哪一種都可以。此外，在本實施方式中，正交變換基積蓄部510設為了與存儲器509不同的存儲單元，但正交變換基積蓄部510和存儲器509也可以是相同的存儲單元。即，既可以是正交變換基積蓄部510包含存儲器509的結構，也可以是正交變換基積蓄部510包含於存儲器509 中的結構。此外，在本實施方式中記載了正交變換基由正交變換基生成部516生成，但不限於此。正交變換基也可以預先設定於編碼裝置600及其解碼裝置之間，並分別加以保存。(實施方式7)圖M是表示本發明的實施方式7的編碼裝置的結構的框圖。在圖M中，對於與圖18相同的結構要素使用相同的符號，並省略說明。圖M所示的編碼裝置700具備編碼部501、正交變換基傳送控制部502、正交變換基存儲部503、正交變換基存儲狀態管理表504、參照圖像傳送控制部505、參照圖像存儲部506、預測圖像生成部507、加法運算器508、存儲器509、正交變換基積蓄部510、逆量化部511、逆正交變換部512、減法運算器513、正交變換部514、量化部515、正交變換基生成部 516、編碼部501、可逆編碼部701以及可逆解碼部702。這裡，圖M所示的編碼裝置700相對於實施方式5的編碼裝置500，結構上的不同之處在於不具備正交變換基存儲狀態管理表504，而具備可逆編碼部701以及可逆解碼部702。可逆編碼部701對在逆正交變換中利用的多個正交變換基進行可逆編碼。具體而言，可逆編碼部701具有對由正交變換基生成部516生成的正交變換基進行可逆編碼，並寫入正交變換基積蓄部510中的功能。可逆解碼部702對由可逆編碼部701可逆編碼後的多個正交變換基中的、由確定信息確定的正交變換基進行可逆解碼，並經由正交變換基傳送控制部502將可逆解碼後的正交變換基寫入正交變換基積蓄部510中。具體而言，可逆解碼部702具有讀出正交變換基積蓄部510中存放的正交變換基，進行可逆解碼，並寫入正交變換基存儲部503中的功能。 另外，可逆解碼部702也可以不經由正交變換基傳送控制部502而寫入正交變換基存儲部 503 中。
27
接著，說明如以上那樣構成的編碼裝置700的編碼處理動作。圖25是表示本發明的實施方式7的編碼裝置的編碼處理動作的流程圖。如圖25所示，首先，接收到編碼對象圖像的正交變換基生成部516生成在以後的編碼中利用的正交變換基(S701)並進行輸出。接著，可逆編碼部701對由正交變換基生成部516生成的正交變換基進行可逆編碼(可逆壓縮)(S702)。接著，正交變換基傳送控制部502將在S702中由可逆編碼部701可逆編碼後的正交變換基寫入正交變換基積蓄部510中(S703)。另夕卜，S705至S707的處理由於與S503 S506相同，因此省略說明。接著，在S707中，正交變換基傳送控制部502從正交變換基積蓄部510讀出正交變換基ID所表示的可逆編碼後的正交變換基(S708)。接著，可逆解碼部702對可逆編碼後的正交變換基進行可逆解碼(S709)，寫入正交變換基存儲部503中。接著，正交變換部514讀出正交變換基存儲部503所保存著的正交變換基並進行設定(S710)。然後，對由減法運算器513輸出的預測誤差信號進行正交變換(S711)，輸出正交變換係數。另外，S712至S718的處理由於與S511 S518相同，因此省略說明。如以上那樣，編碼裝置700進行編碼處理動作。以上，根據本實施方式，通過由可逆編碼部701對正交變換基進行壓縮，能夠縮小向正交變換基積蓄部510存放的正交變換基的數據大小。由此，能夠減小與正交變換基有關的存儲器容量。另外，圖對所示的編碼裝置700也可以至少具備上述正交變換基存儲狀態管理表 504，並具備正交變換基參照履歷管理表601。在該情況下，不僅能夠削減與變換基有關的存儲器容量，還能夠縮減存儲器頻帶以及減少存儲器訪問延遲，是更加優選的。此外，在本實施方式中，說明了由正交變換基生成部516生成正交變換基，由可逆編碼部701進行編碼並存放在正交變換基積蓄部510中，由可逆解碼部702進行解碼的情況，但不限於此。例如，也可以是將由編碼部501編碼到編碼流內的正交變換基部分存放到正交變換基積蓄部510中，由可逆解碼部702進行解碼。此外，在本實施方式中，正交變換基積蓄部510設為了與存儲器509不同的存儲單元，但正交變換基積蓄部510和存儲器509也可以是相同的存儲單元。即，既可以是正交變換基積蓄部510包含存儲器509的結構，也可以是正交變換基積蓄部510包含於存儲器509 中的結構。此外，在本實施方式中記載了正交變換基由正交變換基生成部516生成，但不限於此。正交變換基也可以預先設定於編碼裝置600及其解碼裝置之間，並分別加以保存。(實施方式8)在上述各實施方式中說明的運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法或運動圖像解碼方法還能夠作為應用加以利用。例如，通過將用於實現上述各實施方式中所示的圖像編碼方法或圖像解碼方法的結構的程序記錄於存儲介質中，能夠在獨立的計算機系統中簡單地實現上述各實施方式中所示的處理。另外，存儲介質可以是磁碟、光碟、光磁碟、IC卡及半導體存儲器等的任意一個，只要是能夠記錄程序的設備即可。下面，說明上述各實施方式中所示的圖像編碼方法及圖像解碼方法等的應用例及使用該應用例的系統。圖沈是表示實現內容分發服務的內容提供系統exlOO整體結構的圖。在圖沈所示的內容提供系統exlOO中，將通信服務的提供區域分割為期望的大小，在各單元內分別設置了作為固定無線電臺的基站exl07 exllO。在內容提供系統exlOO中，在網際網路exlOl上經由網際網路服務提供商exl02、電話網 exl04 及基站 exl07 exllO，連接有計算機 exl 11、PDA (Personal Digital Assistant 個人數字助理)exll2、攝像機(Camera)ex113、行動電話exll4及遊戲機exll5等各設備。另外，內容提供系統exlOO不限定於如圖沈的結構，也可以組合任一個的要件進行連接。另外，內容提供系統exlOO也可以不經由作為固定無線電臺的基站exl07 exllO， 而在電話網exl04上直接連接各設備。另外，各設備也可以通過短距離無線等直接相互連接。例如，攝像機exll3是數字視頻攝像機等能夠進行運動圖像攝影的設備。另外，攝像機exll6是數字攝像機等能夠進行靜止圖像攝影、運動圖像攝影的設備。行動電話exl 14 是使用 GSM(Global System for Mobile Communications 全球移動通信系統)方式、CDMA (Code Division Multiple Access :碼分多址)方式、 W-CDMA(Wideband-Code Division Multiple Access :寬帶碼分多址)方式或者 LTE (Long Term Evolution :長期演進)方式、HSPA (High Speed Packet Access :高速分組接入)的行動電話機或PHS(Personal Handyphone System 個人手持電話系統)等，任一種都可以。在內容提供系統exlOO中，攝像機exl 13等通過基站exl09、電話網exl04連接於流伺服器exl03上，由此能夠實現實時分發等。具體而言，在實時分發中，對於由用戶使用攝像機exll3拍攝的內容(例如音樂會實況的影像等)實施上述各實施方式中所說明的編碼處理，發送給流伺服器exl03。另一方面，流伺服器exl03對於發出過請求的客戶端，將所發送的內容數據進行流分發。作為客戶端，有能夠將上述編碼處理後的數據解碼的計算機eXlll、PDAeX112、攝像機exll3、行動電話exll4及遊戲機exll5等。通過接收到所分發的數據的各設備，對接收到的數據進行解碼處理並再現。另外，拍攝到的數據的編碼處理由攝像機exll3進行，也可以由進行數據發送處理的流伺服器exl03進行，還可以由它們相互分擔加以實施。同樣，所分發的數據的解碼處理既可以由客戶端進行，也可以由流伺服器exl03進行，還可以相互分擔加以實施。此外，也可以不限於攝像機exll3，而將由攝像機exll6拍攝到的靜止圖像數據及 /或運動圖像數據，經由計算機exlll發送給流伺服器exl03。此時的編碼處理既可以由攝像機exl 16、計算機exl 11、流伺服器exl03的任一個實施，也可以相互分擔加以實施。這些編碼/解碼處理一般在計算機exlll或各設備具有的LSIex500中進行處理。 這裡，LSIex500既可以是單晶片，也可以是由多個晶片組成的結構。另外，也可以將圖像編碼/解碼用的軟體裝入能夠由計算機exlll等讀取的某個記錄媒體(⑶-ROM、軟盤、硬碟等)中，使用該軟體來進行編碼/解碼處理。再者，在行動電話exll4附帶攝像機的情況下，也可以發送由該攝像機所取得的運動圖像數據。此時的運動圖像數據是由行動電話exll4 具有的LSIex500進行編碼處理後的數據。此外，流伺服器exl03也可以是多個伺服器或多個計算機，用於將數據分散而進行處理或記錄，並進行分發。如同上面那樣，在內容提供系統exlOO中，可以由客戶端接收並再現編碼後的數據。這樣，在內容提供系統exlOO中，可以由客戶端實時接收用戶所發送的信息，進行解碼及再現，即便是沒有特殊權利及設備的用戶也可以實現個人廣播。另外，作為上述各實施方式的至少裝入圖像編碼裝置及圖像解碼裝置中的某一個的例子，不限於內容提供系統exlOO的例子。如圖27所示，也可以在數字廣播用系統ex200 中至少裝入圖像編碼裝置及圖像解碼裝置中的某一個。下面，使用該系統進行說明。圖27 是表示數字廣播用系統ex200的整體結構的圖。具體而言，在廣播站ex201中，影像信息的比特流經由電波傳輸到通信或者廣播衛星ex202。該比特流是採用上述各實施方式中所說明的圖像編碼方法來編碼後的編碼比特流。廣播衛星ex202接收該比特流並發出廣播用的電波。天線ex204是能夠進行衛星廣播接收的家用天線，接收來自天線ex204、廣播衛星 ex202的廣播用電波。電視機(接收機)ex300或者機頂盒(STB) ex217等的裝置將從天線ex204接收到的廣播用電波中包含的比特流解碼並進行再現。讀出器/記錄器ex218能夠讀取DVD、BD等記錄媒體ex215中所記錄的編碼比特流並進行解碼。另外，還能夠將影像信號編碼而寫入記錄媒體ex215中。這裡，讀出器/記錄器ex218安裝上述各實施方式中所示的圖像解碼裝置或者圖像編碼裝置。該情況下，由讀出器/記錄器ex218再現的影像信號可以顯示於監視器ex219上，通過記錄有編碼比特流的記錄媒體ex215，能夠在其他的裝置或系統中再現影像信號。另外，機頂盒ex217也可以連接於有線電視用的電纜ex203或者衛星/地面波廣播的天線ex204上，也可以在本裝置內安裝圖像解碼裝置，將其在電視機的監視器ex219上進行顯示。另外，不只是機頂盒ex217，還可以在電視機ex300內裝入圖像解碼裝置。圖28是表示電視機ex300結構例的框圖。電視機ex300使用了上述各實施方式中所說明的圖像解碼方法及圖像編碼方法。 電視機ex300具備調諧器ex301，經由接收上述廣播的天線ex204或者電纜ex203等，取得或者輸出影像信號的比特流；調製/解調部ex302，對接收到的編碼數據進行解調，或者調製為向外部發送的編碼數據；以及多路復用/分離部ex303，將解調後的影像數據、聲音數據分離，或者將編碼後的影像數據、聲音數據多路復用。另外，電視機ex300具有信號處理部ex306，具有將聲音數據及影像數據分別解碼，或者將各個信息編碼的聲音信號處理部ex304及影像信號處理部ex305 ；以及輸出部ex309，具有輸出解碼後的聲音信號的揚聲器ex307及顯示解碼後的影像信號的顯示器等顯示部ex308。再者，電視機eX300具有接口部ex317，該接口部ex317具有受理用戶操作的輸入的操作輸入部ex312等。再者，電視機 ex300具有統一控制各部的控制部ex310和給各部供應電力的電源電路部ex311。
另外，接口部ex317除操作輸入部ex312之外，還可以具有電橋ex313，與讀出器 /記錄器ex218等的外部設備連接；插槽部ex314，用於能夠安裝SD卡等記錄媒體ex216 ； 驅動器ex315，用於與硬碟等的外部記錄媒體連接；以及數據機ex316等，該數據機ex316與電話網連接。另外，記錄媒體ex216能夠通過存放的非易失性/易失性的半導體存儲元件電氣地記錄信息。電視機ex300的各部經由同步總線相互連接。接著，首先說明電視機ex300將通過天線ex204等從外部取得的數據解碼並再現的結構。電視機ex300接受來自遙控器ex220等的用戶操作，根據具有CPU等的控制部 ex310的控制，通過多路復用/分離部ex303分離由調製/解調部ex302解調後的影像數據、聲音數據。再者，電視機ex300由聲音信號處理部ex304將所分離的聲音數據解碼，由影像信號處理部ex305使用上述各實施方式中所說明的解碼方法，將所分離的影像數據解碼。解碼後的聲音信號、影像信號分別被從輸出部ex309朝向外部輸出。當輸出時，可以在緩存器ex318、ex319等中暫時積蓄這些信號，以便聲音信號和影像信號同步進行再現。另外，電視機ex300不只是從廣播等，還可以從磁/光碟、SD卡等的記錄媒體 ex215、ex216讀出編碼後的編碼比特流。下面，說明電視機ex300將聲音信號或影像信號編碼，向外部發送或者寫入記錄媒體等中的結構。電視機ex300接受來自遙控器ex220等的用戶操作，根據控制部ex310的控制，由聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305使用上述各實施方式中所說明的編碼方法，將影像信號編碼。編碼後的聲音信號、影像信號由多路復用/分離部 ex303進行多路復用，向外部輸出。當進行多路復用時，可以在緩存器ex320、ex321等中暫時積蓄這些信號，以便使聲音信號和影像信號同步。還有，緩存器ex318 ex321既可以如圖所示具備多個，也可以是共用1個以上的緩存器的結構。再者，除了圖示之外，例如還可以作為在調製/解調部ex302及多路復用/分離部ex303之間等也避免系統的上溢、下溢的緩衝器件，而在緩存器中積蓄數據。此外，電視機ex300也可以具備除了從廣播等或記錄媒體等取得聲音數據、影像數據之外，還受理麥克或攝像機的AV輸入的結構，針對從它們取得的數據進行編碼處理。另外，這裡電視機ex300設為可以實施上述編碼處理、多路復用及外部輸出的結構進行了說明，但也可以是不能進行這些處理，而僅僅能夠實施上述接收、解碼處理及外部輸出的結構。此外，在由讀出器/記錄器ex218從記錄媒體讀出編碼比特流或者進行寫入的情況下，上述解碼處理或者編碼處理既可以由電視機ex300、讀出器/記錄器ex218的任一個進行，也可以由電視機ex300和讀出器/記錄器ex218相互分擔來進行。作為一例，在圖四中表示從光碟進行數據的讀入或者寫入時的信息再現/記錄部 ex400的結構。圖四是表示對作為光碟的記錄媒體進行信息讀寫的信息再現/記錄部的結構例的框圖。圖四所示的信息再現/記錄部ex400具備下面說明的要素ex401 ex407。光頭ex401對作為光碟的記錄媒體ex215的記錄面照射雷射點而寫入信息，檢測來自記錄媒體ex215記錄面的反射光，讀入信息。
調製記錄部ex402電氣驅動光頭ex401中內置的半導體雷射器，根據記錄數據進行雷射的調製。再現解調部ex403通過光頭401中內置的光電探測器將電氣檢測到了來自記錄面的反射光的再現信號放大，分離記錄媒體ex215中記錄的信號成分並進行解調，再現需要的信息。緩存器ex404暫時保存用於記錄到記錄媒體ex215中的信息及從記錄媒體ex215 再現出的信息。盤電機ex405使記錄媒體ex215旋轉。伺服控制部ex406 —邊控制盤電機ex405的旋轉驅動，一邊使光頭ex401沿規定的信息軌道移動，進行雷射點的跟蹤處理。系統控制部ex407進行信息再現/記錄部ex400整體的控制。上述讀出或寫入的處理以如下方式實現系統控制部ex407禾Ij用緩存器ex404中保存的各種信息，或者根據需要進行新的信息生成/添加，並且，一邊使調製記錄部ex402、再現解調部ex403及伺服控制部ex406進行協同動作，一邊通過光頭ex401進行信息的記錄再現。系統控制部ex407例如由微處理器構成，通過執行讀出寫入的程序來執行那些處理。另外，在上面假設光頭ex401照射雷射點來進行了說明，但是也可以是使用近場光進行更高密度的記錄的結構。圖30是表示作為光碟的記錄媒體的結構例的圖。在圖30中，表示出作為光碟的記錄媒體ex215的示意圖。在記錄媒體ex215的記錄面上，引導槽(groove 溝槽)形成為螺旋狀，在信息軌道ex230上，預先利用溝槽的形狀變化記錄有表示碟片上的絕對位置的地址信息。該地址信息包含用於確定記錄塊ex231的位置的信息，該記錄塊是記錄數據的單位。可以通過在進行記錄或再現的裝置中，再現信息軌道ex230，讀取該地址信息，來確定記錄塊。另外，記錄媒體ex215包含數據記錄區域ex233、內周區域ex232和外周區域ex234。用於記錄用戶數據的區域是數據記錄區域ex233，從數據記錄區域ex233配置到內周或者外周的內周區域ex232和外周區域ex234用於用戶數據的記錄以外的特定用途。信息再現/記錄部ex400針對這種記錄媒體ex215的數據記錄區域ex233，進行編碼後的聲音數據、影像數據或者將這些數據多路復用後的編碼數據的讀寫。還有，在上面舉出1層的DVD、BD等光碟為例進行了說明，但是並不限於這些，也可以是多層結構並且能夠在表面以外進行記錄的光碟。另外，也可以是在碟片的同一部位使用各種各樣不同波長的色光來記錄信息，或者從各種各樣的角度記錄不同信息的層等，來進行多維記錄/再現的結構的光碟。此外，在數字廣播用系統ex200中，還能夠由具有天線ex205的汽車ex210從廣播衛星ex202等接收數據，在汽車ex210具有的汽車導航儀ex211等的顯示裝置上再現運動圖像。還有，汽車導航儀ex211的結構例如考慮在圖觀所示的結構之中加上GPS接收部而成的結構，同樣的情況在計算機exlll及行動電話exll4等中也可以考慮。另外，上述行動電話exll4等的終端與電視機ex300相同，除了具有編碼器/解碼器雙方的收髮型終端之外，還要考慮只有編碼器的發送終端、只有解碼器的接收終端這樣的3種安裝形式。這樣，就能夠將上述各實施方式中所示的圖像編碼方法或者圖像解碼方法用於上述任一個設備/系統中，如此一來，就可以獲得上述各實施方式中所說明的效果。另外，本發明並不限定於所涉及的上述實施方式，在不脫離本發明範圍的狀況下能夠進行各種變形或者修改。(實施方式9)上述各實施方式中所示的圖像編碼方法及裝置、圖像解碼方法及裝置典型的是， 由作為集成電路的LSI來實現。作為一例，在圖31中表示單晶片化後的LSIex500的結構。 這裡，圖31是表示實現各實施方式的圖像編碼方法及圖像解碼方法的集成電路的結構例的框圖。LSIex500具備下面說明的要素ex501 ex509，各要素經由總線ex510連接。電源電路部ex505通過在電源為接通狀態時對各部供應電力，而啟動為可工作的狀態。例如在進行編碼處理時，LSIex500根據具有CP&X502、存儲器控制器ex503及流控制器ex504等的控制部ex501的控制，通過AV I/0ex509從麥克exll7或攝像機exll3 等輸入AV信號。所輸入的AV信號被暫時積蓄於SDRAM等外部的存儲器ex511中。基於控制部ex501的控制，所積蓄的數據根據處理量或處理速度適當分為多次等，向信號處理部 ex507傳送，在信號處理部ex507中進行聲音信號的編碼及/或影像信號的編碼。這裡，影像信號的編碼處理是上述各實施方式中所說明的編碼處理。在信號處理部ex507中還根據情況的不同，實施將編碼後的聲音數據和編碼後的影像數據多路復用等的處理，從流I/ 0ex506向外部輸出。該輸出的比特流朝向基站exl07進行發送，或者寫入記錄媒體ex215 中。還有，當進行多路復用時可以暫時在緩存器ex508中積蓄數據以便同步。圖32是簡單表示這裡的編碼處理的框圖。也就是說，圖32是表示由集成電路實現的各實施方式的圖像編碼處理的框圖。如圖32所示，首先，作為輸入信號和預測信號之間的差分的預測誤差信號通過變換部ex601進行變換，由量化部ex602進行量化。量化係數由熵編碼部ex606進行熵編碼，輸出編碼信號。該輸出如同在圖28中舉出電視機ex300 為例所說明的那樣，也可以是為了和編碼後的聲音數據進行多路復用而暫時積蓄於緩存器 ex508或存儲器ex511中的結構。逆量化部ex604、逆變換部ex605及預測部ex608作為延遲部進行工作，該延遲部能夠對對象信號和根據其以前的信號生成的預測信號進行比較。另外，在LSIex500上，可以作為緩衝器件將量化係數積蓄於一端內部的緩存器 ex508或存儲器ex511中等，以不引起處理的上溢、下溢的方式進行調整。除量化係數之外， 還可以根據處理量或處理速度，將數據分為多個而並行進行處理，一邊在內部或外部的存儲器等的記錄部中適當積蓄處理中的數據一邊調整處理。上面的處理根據控制部ex501的控制進行。此外，例如在進行解碼處理時，LSIex500根據控制部ex501的控制，將通過流I/ 0ex506經由基站exl07，或者從記錄媒體ex215讀出而得到的編碼數據暫時積蓄於存儲器 ex511等中。基於控制部ex501的控制，所積蓄的數據根據處理量或處理速度適當分為多次等，向信號處理部ex507傳送，在信號處理部ex507中進行聲音數據的解碼及/或影像數據的解碼。這裡，影像信號的解碼處理是上述各實施方式中所說明的解碼處理。再者，可以根據情況的不同，為了能夠同步再現解碼後的聲音信號和解碼後的影像信號而將各個信號暫時積蓄於緩存器ex508等中。解碼後的輸出信號雖然適當經過存儲器ex511，但是從行動電話ex 114、遊戲機exll5及電視機ex300等的各輸出部輸出。
33
圖33是簡單表示這裡的解碼處理的框圖。也就是說，圖33是表示由集成電路實現的各實施方式的圖像解碼處理的框圖。如圖33所示，首先所輸入的編碼信號由熵解碼部ex701進行熵解碼。通過熵解碼而得到的量化係數由逆量化部ex703進行逆量化，通過逆變換部ex704進行逆變換。這裡的逆變換意味著是解碼處理中的變換，並不一定限定於編碼處理中的變換的逆向處理。解碼變換輸入加上預測信號，作為解碼信號向外部輸出。存儲器ex511作為積蓄解碼信號、並能夠在後續的編碼信號的解碼中進行參照的延遲部工作。預測部ex705根據存儲器ex511 中積蓄的已解碼的解碼信號，生成預測信號。當進行向外部的輸出時，如同在圖觀中舉出電視機ex300為例所說明的那樣，也可以是為了與解碼後的聲音信號同步顯示，而暫時積蓄於緩存器ex508或外部的存儲器ex511中的結構。這裡，也可以將量化係數積蓄於緩存器ex508或存儲器ex511中等，以不引起處理的上溢、下溢的方式一邊分割為規定的處理單位，一邊並行地進行處理。上面的處理基於控制部ex501的控制進行。另外，在上面說明了存儲器ex511作為LSIex500的外部的結構，但也可以是包含於LSIex500的內部的結構。緩存器ex508也不限於1個，也可以具備多個緩存器。此外， LSIex500既可以進行單晶片化，也可以進行多晶片化。此外，這裡雖然設為LSI，但是也有時根據集成度的不同，稱呼為IC、系統LSI、超級LSI和特級LSI。此外，集成電路化的方法並不限於LSI，也可以由專用電路或通用處理器實現。在 LSI製造後，也可以利用可編程的FPGA(Field Programmable Gate Array 可現場編程門陣列)或下述可重構處理器，該可重構處理器能夠重新構成LSI內部電路單元的連接及設定。再者，如果由半導體技術的進步或者派生的其他技術替換LSI的集成電路化的技術出現，則當然也可以使用該技術進行功能塊的集成化。生物技術的應用等是有可行性的。如上，上述各實施方式中所說明的圖像編碼裝置、圖像解碼裝置、圖像編碼方法或者圖像解碼方法也可以作為應用加以利用。另外，在實施方式1中構成圖1所示的解碼裝置100的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說在單個的LSI內作為綜合的系統來實現。此外，同樣在實施方式2中構成圖6所示的解碼裝置200的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說作為在單個的LSI內集成的系統來實現。此外，同樣在實施方式3中構成圖9所示的解碼裝置300的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說作為在單個的LSI內集成的系統來實現。此外，同樣在實施方式4中構成圖16所示的解碼裝置400的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說作為在單個的LSI內集成的系統來實現。
此外，同樣在實施方式5中構成圖17所示的編碼裝置500的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說作為在單個的LSI內集成的系統來實現。此外，同樣在實施方式6中構成圖22所示的編碼裝置600的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說在單個的LSI內作為綜合的系統來實現。此外，同樣在實施方式7中構成圖M所示的編碼裝置700的各功能塊典型的是作為集成電路的LSI來實現。它們既可以進一步如解碼電路、外部存儲器那樣分別進行晶片化，也可以包含一部分或者全部而單晶片化，也就是說作為在單個的LSI內集成的系統來實現。此外，在實施方式1 7中，正交變換基積蓄部110、正交變換基積蓄部510、存儲器109以及存儲器509既可以由DRAM構成，也可以由SRAM構成，也可以由觸發器構成。也就是說，只要由可存儲的元件來構成即可。再者，在實施方式1 7中，存儲器109、存儲器509、正交變換基積蓄部110、正交變換基積蓄部510、正交變換基存儲部103以及正交變換基存儲部503典型的是由DDR構成，但是不需要必須由DDR構成，既可以由SRAM構成，也可以由觸發器構成。也就是說，只要由可存儲的元件來構成即可。此時，優選的是，正交變換基積蓄部110及正交變換基積蓄部510由低速存儲元件構成，正交變換基存儲部103及正交變換基存儲部503由高速存儲元件構成。此外，在實施方式1 7中，由逆正交變換部112、逆正交變換部512以及正交變換部514進行的正交變換隻要是例如Karhunen Loeve變換等、正交變換基可變的正交變換即可。以上，根據實施方式說明了本發明的圖像解碼裝置、圖像編碼裝置、圖像解碼電路及圖像解碼方法，，但是本發明並不限定於該實施方式。在不脫離本發明宗旨的範圍內，將本領域技術人員聯想到的各種變形施加到本實施方式中的方式或者組合不同的實施方式中的結構要素來構建的方式都包含於本發明的範圍內。工業實用性本發明能夠利用於圖像解碼裝置、圖像編碼裝置、圖像解碼電路以及圖像解碼方法，尤其在行動電話、DVD裝置、BD裝置、個人計算機、電視機電話、機頂盒、數位電視、汽車及安全系統等對構成圖像的圖片進行解碼或顯示的設備中有用。符號說明100解碼裝置101 解碼部102、502正交變換基傳送控制部103、503 正交變換基存儲部104、504正交變換基存儲狀態管理表105、505參照圖像傳送控制部
35106、506參照圖像存儲部
107、507預測圖像生成部
108、508加法運算器 109,509存儲器
110、510正交變換基積蓄部
111.511.1215逆量化部
112.512.1216逆正交變換部 201,601正交變換基參照履歷管理表 301預解碼部
302正交變換基統計信息管理表
401、701可逆編碼部
402、702可逆解碼部 501編碼部
513減法運算器
514正交變換部
515 量化部
516正交變換基生成部
1222幀存儲器
exlOO內容供給系統
exlOl 網際網路
exl02網際網路服務提供商
exl03流伺服器
exl04 電話網
exl06、exl07、exl08、exl09、exllO 基站
exlll 計算機
exll2 PDA
exll3攝像機
ex 114 行動電話
exll5遊戲機
ex 116攝像機
exll7 麥克
ex200數字廣播用系統
ex201 廣播站
ex202廣播衛星
ex203 電纜
ex204、ex205 天線
ex210 汽車
ex211汽車導航儀
ex212再現裝置
ex213監視器
ex215、ex216 記錄媒體
ex217機頂盒
ex218讀出器/記錄器
ex219監視器
ex230信息軌道
ex231記錄塊
ex232內周區域
ex233數據記錄區域
ex234外周區域
ex300電視機
ex301調諧器
ex302調製/解調部
ex303多路復用/分離-
ex304聲音信號處理部
ex305影像信號處理部
ex306信號處理部
ex307揚聲器
ex308顯示部
ex309輸出部
ex310控制部
ex311電源電路部
ex312操作輸入部
ex313電橋
ex314插槽部
ex315驅動器
ex316調製解碼器
ex317接口部
ex318、ex319緩存器
ex400信息再現/記錄-
ex401光頭
ex402調製記錄部
ex403再現解調部
ex404緩存器
ex405盤電機
ex406伺服控制部
ex407系統控制部
ex500LSI
ex501控制部
ex502CPU
ex503存儲器控制器
ex504流控制器
ex505電源電路部
ex506流I/O
ex507信號處理部
ex508緩存器
ex509AV I/O
ex510總線
ex511存儲器
ex601變換部
ex602量化部
ex604逆量化部
ex605逆變換部
ex606熵編碼部
ex608預測部
ex701熵解碼部
ex703逆量化部
ex704逆變換部
ex705預測部
權利要求
1.一種圖像解碼裝置，進行編碼流的解碼，具備解碼部，從上述編碼流將確定信息進行解碼，該確定信息用於確定在逆正交變換中利用的正交變換基；積蓄部，用於保存在上述編碼流的逆正交變換中利用的多個正交變換基；存儲部，用於保存上述積蓄部中保存的多個正交變換基中的、進行上述逆正交變換時需要的至少一個正交變換基；逆正交變換部，利用保存於上述存儲部中、且由上述確定信息確定的正交變換基，進行逆正交變換；以及傳送控制部，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
2.如權利要求1所述的圖像解碼裝置，上述傳送控制部僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下， 從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
3.如權利要求2所述的圖像解碼裝置，上述積蓄部預先保存在上述編碼流的逆正交變換中利用的多個正交變換基；上述圖像解碼裝置還具備存儲狀態管理部，該存儲狀態管理部管理表示上述存儲部是否保存著由上述確定信息確定的正交變換基的信息；上述傳送控制部根據上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
4.如權利要求2所述的圖像解碼裝置，上述解碼部從上述編碼流至少將在正交變換中利用且在逆正交變換中利用的多個正交變換基、以及用於確定所需要的上述正交變換基的確定信息進行解碼；上述圖像解碼裝置還具備存儲狀態管理部，該存儲狀態管理部管理表示上述存儲部是否保存著由上述確定信息確定的正交變換基的信息；上述傳送控制部根據上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
5.如權利要求3或4所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的上述正交變換基的情況下，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著上述正交變換基的上述存儲部的區域、且是存儲著從上述積蓄部最早傳送的正交變換基的區域。
6.如權利要求3或4所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著正交變換基的上述存儲部的區域、且是存儲著從上述積蓄部最新傳送的正交變換基的區域。
7.如權利要求3或4所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，隨機選擇上述存儲部的存儲著正交變換基的區域， 並從上述積蓄部向所選擇的上述區域傳送由上述確定信息確定的正交變換基。
8.如權利要求3或4所述的圖像解碼裝置，上述圖像解碼裝置還具備參照履歷管理部，該參照履歷管理部管理每個正交變換基的、表示從解碼開始起被參照的次數的利用履歷信息；上述傳送控制部根據上述存儲狀態管理部管理的上述信息和上述參照履歷管理部管理的上述利用履歷信息，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
9.如權利要求8所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的上述正交變換基的情況下，參照上述利用履歷信息，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著上述正交變換基的上述存儲部的區域、且是存儲著參照次數最少的正交變換基的區域。
10.如權利要求8所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，參照上述利用履歷信息，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著正交變換基的上述存儲部的區域、且是存儲著從當前起的規定期間的過去最不常利用的正交變換基的區域。
11.如權利要求8所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，參照上述利用履歷信息，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著正交變換基的上述存儲部的區域、且是存儲著從當前起的規定期間的過去最常利用的正交變換基的區域。
12.如權利要求8所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，參照上述利用履歷信息，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著正交變換基的上述存儲部的區域、且是存儲著此前參照次數最多的正交變換基的區域。
13.如權利要求3或4所述的圖像解碼裝置， 上述圖像解碼裝置還具備預解碼部，比上述解碼部先從上述編碼流將上述確定信息的至少一部分進行解碼；以及統計信息管理部，管理由通過上述預解碼部解碼、且通過上述解碼部此後要解碼的上述確定信息確定的每個正交變換基的利用狀況；上述傳送控制部根據上述存儲狀態管理部管理的信息和上述統計信息管理部管理的利用狀況，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
14.如權利要求13所述的圖像解碼裝置，上述傳送控制部參照上述存儲狀態管理部管理的信息，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，參照上述利用狀況，將由上述確定信息確定的正交變換基從上述積蓄部向如下區域傳送，該區域是存儲著正交變換基的上述存儲部的區域、 且是存儲著今後參照次數最少的正交變換基的區域。
15.如權利要求1 14中任一項所述的圖像解碼裝置， 上述圖像解碼裝置還具備可逆編碼部，對在上述逆正交變換中利用的多個正交變換基進行可逆編碼；以及可逆解碼部，對由上述可逆編碼部可逆編碼後的上述多個正交變換基中的、由上述確定信息確定的正交變換基進行可逆解碼，並經由上述傳送控制部將可逆解碼後的上述正交變換基寫入上述積蓄部。
16.一種圖像編碼裝置，生成編碼流，具備生成部，生成在正交變換中利用的正交變換基、以及用於確定上述正交變換基的確定 fn息；積蓄部，用於保存由上述生成部生成的多個上述正交變換基； 存儲部，用於保存上述積蓄部中保存的多個正交變換基中的、進行上述正交變換時需要的至少一個正交變換基；正交變換部，利用保存於上述存儲部中、且由上述確定信息確定的正交變換基，進行正交變換；以及傳送控制部，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
17.如權利要求16所述的上述圖像編碼裝置，還具備存儲狀態管理部，該存儲狀態管理部管理表示上述存儲部是否保存著由上述確定信息確定的正交變換基的信息；上述傳送控制部根據上述存儲狀態管理部管理的信息，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
18.如權利要求16所述的圖像編碼裝置，上述圖像編碼裝置還具備參照管理部，該參照管理部管理每個正交變換基的、表示從上述正交變換的開始起被參照的次數的利用履歷信息；上述傳送控制部根據上述存儲狀態管理部管理的上述信息和上述參照履歷管理部管理的上述利用履歷信息，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
19.如權利要求16 18中任一項所述的圖像編碼裝置， 上述圖像編碼裝置還具備可逆編碼部，對在上述正交變換中利用的多個正交變換基進行可逆編碼；以及可逆解碼部，對由上述可逆編碼部可逆編碼後的上述多個正交變換基中的、由上述確定信息確定的正交變換基進行可逆解碼，並經由上述傳送控制部，將可逆解碼後的上述正交變換基寫入上述積蓄部；上述傳送控制部從上述積蓄部讀出由上述確定信息確定、且被編碼的正交變換基，傳送給上述可逆解碼部。
20.一種圖像解碼電路，進行編碼流的解碼，具備解碼部，從上述編碼流將確定信息進行解碼，該確定信息用於確定在正交變換中利用的正交變換基；積蓄部，用於保存在上述編碼流的逆正交變換中利用的多個正交變換基； 存儲部，用於保存上述積蓄部中保存的多個正交變換基中的、進行上述逆正交變換時需要的至少一個正交變換基；逆正交變換部，利用保存於上述存儲部中、且由上述確定信息確定的正交變換基，進行逆正交變換；以及傳送控制部，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下，從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
21.—種圖像解碼方法，進行編碼流的解碼，包括解碼步驟，從上述編碼流將確定信息進行解碼，該確定信息用於確定在逆正交變換中利用的正交變換基；積蓄步驟，用於將在上述編碼流的逆正交變換中利用的多個正交變換基保存於積蓄部；存儲步驟，用於將上述積蓄步驟中保存的多個正交變換基中的、進行上述逆正交變換時需要的至少一個正交變換基保存於存儲部；逆正交變換步驟，利用保存於上述存儲部中、且由上述確定信息確定的正交變換基，進行逆正交變換；以及傳送控制步驟，僅在上述存儲部未保存由上述確定信息確定的正交變換基的情況下， 從上述積蓄部向上述存儲部傳送由上述確定信息確定的正交變換基。
22.—種圖像解碼裝置，具備解碼部，從上述編碼流將確定信息進行解碼，該確定信息用於確定在逆正交變換中利用的正交變換基；預解碼部，比上述解碼部先從上述編碼流將上述確定信息進行解碼； 積蓄部，用於保存在上述編碼流的逆正交變換中利用的多個正交變換基； 存儲部，用於保存上述積蓄部中保存的多個正交變換基中的、進行上述逆正交變換時需要的至少一個正交變換基；控制部，根據由上述預解碼部解碼後的上述確定信息，使上述存儲部保存上述至少一個正交變換基。
全文摘要
本發明的解碼裝置(100)，具備；解碼部(101)，從上述編碼流將確定信息進行解碼，該確定信息用於確定在正交變換中利用的正交變換基；正交變換基積蓄部(110)，用於保存在逆正交變換中利用的多個正交變換基；正交變換基存儲部(103)，保存被保存的多個正交變換基中的，逆正交變換所需要的正交變換基；逆正交變換部(112)，利用保存在正交變換基存儲部(103)中、且由確定信息確定的正交變換基進行逆正交變換；以及正交變換基傳送控制部(102)，僅在正交變換基存儲部(103)未保存被確定的正交變換基的情況下，從正交變換基積蓄部(110)向正交變換基存儲部(103)傳送被確定的正交變換基。根據該結構，能夠縮減存放了正交變換基的存儲器的存儲器頻帶以及減少存儲器訪問延遲。
文檔編號H04N7/30GK102439977SQ20118000216
公開日2012年5月2日 申請日期2011年3月16日 優先權日2010年3月24日
發明者天野博史, 林宙輝, 橋本隆, 田中健 申請人:松下電器產業株式會社