運動圖像編碼方法、運動圖像解碼方法、運動圖像編碼裝置、運動圖像解碼裝置、程序、及...的製作方法

2023-05-14 01:16:31

專利名稱：運動圖像編碼方法、運動圖像解碼方法、運動圖像編碼裝置、運動圖像解碼裝置、程序、及 ...的製作方法
技術領域：
本發明涉及將運動圖像數據壓縮的編碼，特別涉及實現較高的編碼效率的運動圖像編碼方法、運動圖像解碼方法及其裝置。特別涉及使量化的非零係數的位置的記述方法適應性地變化者。
背景技術：
運動圖像數據被廣泛地應用於從視頻電話及視頻會議到DVD及數位電視。在將運動圖像數據發送或記錄時，必須將相當量的數據經由具有有限的可利用的頻率帶的傳送頻道發送、或者保存到具有有限的數據容量的以往的記錄介質中。因此，為了將數字數據向以往的頻道發送、或保存到介質中，將數字數據量壓縮或削減是必不可少的。關於運動圖像數據的壓縮，開發了多個運動圖像編碼標準。在這樣的運動圖像標準中，例如有由H. 26x表示的ITU-T標準、以及由MPEG-x表示的IS0/IEC標準。最新的運動圖像編碼標準是H. 264/MPEG-4AVC標準(非專利文獻1)。作為這些標準的許多的基礎的編碼方法包括以下所示的主要的階段。(a)為了使各個視頻幀成為塊水平下的數據壓縮的單位，將各個視頻幀分割為多個像素塊。(b)將運動圖像數據的各自的塊從空間域變換為頻率域。(c)通過將頻率域的變換係數量化，將整體的數據量削減。(d)將量化變換係數熵編碼。(e)為了僅將連續的幀的塊間的變化編碼，利用連續的幀的塊間的時間的依存性。 這使用運動預測及補償技術。將圖像信息從空間域變換為頻率域是目前的運動圖像編碼標準的典型的方法。圖像的信息壓縮可以通過將圖像內容用很少的頻率要素表示來實現。自然圖像內容的頻率成分的許多集中在低頻率域的係數中。高頻成分對人的眼睛幾乎沒有影響，所以為了減少作為編碼對象的數據量而刪除或量化。MPEG-1、MPEG-2、MPEG-4、H.洸3、及H. ^4/AVC等目前的運動圖像編碼標準為了將
量化後的頻率係數進一步壓縮而使用熵編碼。該熵編碼為了將2維的量化變換係數塊變換為1維序列而包括遍歷量化的變換係數的2維塊的處理。由使用鋸齒遍歷那樣的規定的遍歷方法的情況、和使用零樹遍歷方法 (專利文獻幻的情況。圖1是鋸齒遍歷的概念圖。如果將2維的量化變換係數塊11以圖的鋸齒遍歷順序12遍歷，則能夠得到量化變換係數的1維序列13。該遍歷從最低頻率係數(即DC係數) 開始，在遍歷出塊的不是零的全部係數的同時結束。這樣的遍歷方法的問題之一是在到達不是零的最後的係數之前必須遍歷許多是零的係數。這樣，將所取得的量化變換係數的1維序列分離為非零係數和零係數。非零係數表現為稱作水平及標記的一連串的一些組。水平是絕對值，標記是+_的符號。圖2是向非零係數和零係數的分離的概念圖。如果設在要素中具有一些0的量化變換係數塊21為輸入進行說明，則將其如上述那樣向1維序列22遍歷。將該1維序列向表示非零係數的位置的二進位序列23和集中了非零係數的非零係數序列M分離。在許多應用中，編碼運動圖像數據的能夠儲存或轉送的量或帶寬非常受限制。由此，需要儘可能將運動圖像數據壓縮。但是，通過更粗地進行量化來減少數據量、增加數據壓縮率，會引起編碼圖像的畫質變差。作為減小是零的係數的冗餘性的技術，已知有頻率選擇編碼(Frequency Selective Coding)(專利文獻1)。是利用人的視覺特性對於高頻域較遲鈍的性質、抑制高頻域係數的編碼頻度、以及對於特定的高頻域係數位置在同一幀內完全不將係數編碼、來減小是零的係數的數據量的編碼方法及解碼方法。圖3是頻率選擇編碼FSC的概念圖。將2維的量化變換係數塊11通過FSC遍歷順序32僅遍歷a、b、e、l的位置，不遍歷其以外的位置。由此，能夠大幅減少得到的1維序列33的數據個數。通過將高頻域跨越多個幀循環編碼，能夠抑制畫質變差。圖4是循環性的高頻域編碼的概念圖，是在幀Π中將高頻域6編碼、在幀f2中將高頻域7編碼、在幀f3 中將高頻域8編碼的例子。如上所述，在頻率選擇編碼中，抑制了高頻域係數的代碼量。但是，在邊緣等的信息量較多的區域(塊等的單位)中，也有如果不將高頻域係數編碼則能夠辨識出畫質變差的情況。說明上述零樹遍歷方法(專利文獻幻。圖5是零樹遍歷方法的概念圖。在零樹遍歷方法中，對於2維的量化變換係數塊61，將各係數的位置用樹構造62表現。樹由節點構成，將具有子節點的節點稱作內部節點，將不具有子節點的節點稱作葉節點。對於該樹構造，在以深度方向優先從左向右進行探索時，通過的葉節點的順序為對於量化變換係數塊61的零樹遍歷順序65。將以通過順序表示節點是否具有有效的值(在是內部節點的情況下是否具有子節點、在葉節點的情況下是否具有係數)的信息稱作表示有效節點的二進位序列66、或者表示節點的值的二進位序列66。在該例中，表示有效節點的二進位序列66(或者表示節點的值的二進位序列)具有節點的數量的要素1。在該例中，由於全部的節點是有效(值是1，即，葉節點具有係數、 中間節點具有有效的子節點)的，所以要素都為1。但是，在某個葉或中間節點不為有效的情況下，要素為0。在中間節點為0的情況下，不進行該子節點的探索。即，由於不再需要記述關於其子節點(如果再有子節點則也有該子節點)的值，所以表示有效節點的二進位序列66變短。例如，如圖6所示，對於在要素中具有一些0的量化變換係數塊71，以上述的樹構造62進行遍歷。此時，由於節點73的子節點都不具有值，所以節點73的值表示0。在解碼時，當某個節點具有0的值時，可知其子節點不具有值。對應於該例的、表示有效節點的二進位序列72為圖示那樣，可知與圖5的例子相比能夠削減數據量。如圖5及圖6所示，樹構造62與鋸齒遍歷相比，數據構造較複雜，編碼及解碼的處理量及存儲量較多。因此，將樹構造數據的整體編碼是冗長的。但是，在頻率選擇的更新、 或頻率選擇的編碼的情況下，需要將不易發生的係數的位置、或者不發生的係數的位置用幀等的單位更新，希望高效率的數據記述。此外，在鋸齒遍歷的情況下，由於遍歷是一次行程，所以在頻率選擇的編碼中，能夠基於沒有編碼的零係數的個數容易地確定非零係數的位置。但是，在零樹遍歷順序中，由於將係數的位置分叉記述，所以有沒有編碼的零係數的有無的前後不容易掌握係數的位置關係的問題。在先技術文獻專利文獻1 國際公開第2006/11擬88號公報專利文獻2 美國專利申請公開第2006/0133680號公報非專利文獻1 ITU-T Rec. H264 | IS0/IEC14496-10versionl" Informationtech 否 logy-Coding of audio-visual objects-Part 10 :Advanced video coding"

發明內容
發明的概要發明要解決的課題本發明的目的是提供一種不使畫質變差、並且實現較高的數據壓縮率的運動圖像編碼方法、運動圖像解碼方法及其裝置。解決課題的手段有關本發明的一技術方案的編碼方法，是將圖像編碼的方法。具體而言，包括變換步驟，將上述圖像的像素值變換為由表示頻率的η (η是2以上的整數)個係數構成的2 維矩陣；量化步驟，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數；序列生成步驟，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；編碼步驟，將由上述序列生成步驟生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號。上述序列生成步驟包括參照目標決定步驟，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配步驟，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；遍歷步驟，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列，生成上述 1維序列。通過如上述結構那樣、每當生成1維序列時將參照目標信息更新，能夠削減1維序列的代碼量。結果，能夠實現編碼效率較高的解碼方法。此外，不需要將樹構造信息本身變更，所以能夠減輕處理負荷。作為一技術方案，在上述值分配步驟中，對上述η個葉節點分別在將保持在由上述參照目標信息表示的上述2維矩陣的位置中的上述量化係數用上述編碼步驟編碼的情況下分配上述第1值、在不用上述編碼步驟編碼的情況下分配上述第2值；對於上述內部節點，在對兩個子節點的至少一個分配了上述第1值的情況下分配上述第1值、在對兩個子節點的哪個都分配了上述第2值的情況下分配上述第2值。在上述遍歷步驟中，在對上述內部節點分配了上述第2值的情況下，將該內部節點的子孫節點的遍歷省略。並且，在上述參照目標決定步驟中，決定上述參照目標信息，以使由上述遍歷步驟生成的上述1維序列為最短。通過如上述結構那樣將參照目標信息更新以使1維序列為最短，能夠削減代碼量。
此外，也可以是，在上述編碼步驟中，在由上述參照目標決定步驟生成的參照目標信息與之前的參照目標信息不同的情況下，還將該生成的參照目標信息編碼。通過這樣僅在被更新的情況下將參照目標信息編碼，能夠抑制編碼效率的惡化。此外，上述參照目標信息也可以是將確定上述2維矩陣的各位置的位置信息、與確定上述位置信息的索引建立對應而保持的中間表。並且，上述樹構造信息也可以包括確定上述二叉樹的構造的構造信息、和表示上述η個葉節點參照的上述中間表的索引的索引信息。由此，使向已有的解碼裝置的影響極小化，所以能夠有效利用遺留資產。此外，也可以是，在上述參照目標信息決定步驟中，變更上述2維矩陣的各位置與索引的組合，以將保持編碼的上述量化係數的上述2維矩陣的位置分配給保持不編碼的上述量化係數的上述2維矩陣的位置遍歷順序早的上述葉節點。由此，能夠使1維序列變短。作為一技術方案，也可以是，在上述編碼步驟中，僅將上述η個量化係數中的不是 0的量化係數有選擇地編碼。作為另一技術方案，也可以將上述2維矩陣劃分為第1組和第 2組。並且，在上述編碼步驟中，也可以僅將屬於上述第1組的全部的上述量化係數、和根據屬於上述第1組的上述量化係數的值從上述第2組選擇的上述量化係數有選擇地編碼。有關本發明的一技術方案的解碼方法，是使用定義由包括內部節點及η(η是2以上的整數)個葉節點的多個節點構成的二叉樹的樹構造信息、根據編碼信號生成圖像的方法。具體而言，包括解碼步驟，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及1個以上的量化係數；矩陣生成步驟，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化步驟， 將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；逆變換步驟， 將上述η個係數逆變換，生成上述圖像的像素值。並且，上述矩陣生成步驟包括逆遍歷步驟，是將上述二叉樹以先根順序遍歷、將由上述1維序列表示的值分配給各節點的步驟，在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；係數分配步驟，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。有關本發明的一技術方案的編碼裝置，是將圖像編碼的裝置。具體而言，具備變換部，將上述圖像的像素值變換為由表示頻率的η (η是2以上的整數)個係數構成的2維矩陣；量化部，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數；序列生成部， 基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；編碼部，將由上述序列生成部生成的上述 1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號。並且，上述序列生成部具備參照目標決定部，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配部，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；遍歷部，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列，生成上述1維序列。有關本發明的一技術方案的解碼裝置，是使用定義由包括內部節點及η(η是2以上的整數)個葉節點的多個節點構成的二叉樹的樹構造信息、根據編碼信號生成圖像的裝置。具體而言，具備解碼部，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及1個以上的量化係數；矩陣生成部，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化部，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；逆變換部，將上述η個係數逆變換，生成上述圖像的像素值。並且，上述矩陣生成部具備逆遍歷部，是將上述二叉樹以先根順序遍歷、將由上述1維序列表示的值分配給各節點的部，在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；係數分配部，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述 1個以上的量化係數。有關本發明的一技術方案的程序，使計算機將圖像編碼。具體而言，包括變換步驟，將上述圖像的像素值變換為由表示頻率的η (η是2以上的整數)個係數構成的2維矩陣；量化步驟，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數；序列生成步驟，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；編碼步驟，將由上述序列生成步驟生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號。並且，上述序列生成步驟使計算機執行參照目標決定步驟，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配步驟，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2 值的某個；遍歷步驟，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列，生成上述1維序列。有關本發明的另一技術方案的程序，使計算機使用定義由包括內部節點及η(η是 2以上的整數)個葉節點的多個節點構成的二叉樹的樹構造信息、根據編碼信號生成圖像。 具體而言，包括解碼步驟，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、 以及1個以上的量化係數；矩陣生成步驟，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化步驟，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；逆變換步驟，將上述η 個係數逆變換，生成上述圖像的像素值。並且，上述矩陣生成步驟使計算機執行逆遍歷步驟，是將上述二叉樹以先根順序遍歷、將由上述1維序列表示的值分配給各節點的步驟，在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；係數分配步驟，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。有關本發明的一技術方案的集成電路，將圖像編碼。具體而言，具備變換部，將上述圖像的像素值變換為由表示頻率的η (η是2以上的整數)個係數構成的2維矩陣；量化部，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數；序列生成部，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；編碼部，將由上述序列生成部生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號。並且，上述序列生成部具備參照目標決定部，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配部，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；遍歷部，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列，生成上述1維序列。有關本發明的另一技術方案的集成電路，使用定義由包括內部節點及n(n是2以上的整數)個葉節點的多個節點構成的二叉樹的樹構造信息，根據編碼信號生成圖像。具體而言，具備解碼部，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及 1個以上的量化係數；矩陣生成部，基於上述1維序列、上述量化係數、上述參照目標信息、 及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化部，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；逆變換部，將上述η個係數逆變換，生成上述圖像的像素值。並且，上述矩陣生成部具備逆遍歷部，是將上述二叉樹以先根順序遍歷、將由上述1維序列表示的值分配給各節點的部，在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；係數分配部，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。為了解決作為上述以往的問題的、如果在零樹遍歷中採用頻率適應編碼則難以進行非零係數的位置關係的管理的問題，本發明的運動圖像編碼方法將構成塊的多個像素正交變換為表示頻率的多個係數，將上述多個係數量化，將多個量化係數向位置信息、水平和標記(符號)編碼，將上述多個量化係數劃分為至少兩個以上的係數組，將第1組的位置信息、水平和標記(符號)編碼，決定是選擇第2組的係數的子集還是選擇整體，將上述選擇的係數的位置信息、水平和標記編碼。通過本發明，在將低域的係數的位置信息編碼後，立即將低域的係數編碼，通過使低域部分的需要的信息齊備，與後續的高頻域部分在數據的排列上使處理獨立，由此，即使有零係數的跳過，非零係數的位置關係的掌握也變得容易。本發明的運動圖像解碼方法是對將多個像素劃分為塊而編碼的數據進行解碼的運動圖像解碼方法，其特徵在於，將該塊的非零係數的位置信息根據非零係數的有無信息和非零係數的位置的樹構造信息解碼，將非零係數的水平和標記(符號)解碼，將上述非零係數的位置信息、上述水平和上述標記合併，將上述合併信號逆量化，將上述逆量化信號進行逆正交變換，向像素值變換，該塊的非零係數的位置信息的上述解碼在某個非零係數的位置信息的決定時點根據已解碼的非零係數的信息而變化。此外，該塊的非零係數的位置信息的上述解碼根據下述⑴ (iv)的至少1個進行解碼。(i)已解碼的上述非零係數的位置信息，( )已解碼的上述合併信號，(iii)已解碼的逆量化信號，(iv)量化參數。發明效果根據本發明的運動圖像編碼方法，能夠不變更零樹構造的樹部分的數據(樹構造信息)而容易地變更係數的位置。結果能夠實現編碼效率較高的運動圖像編碼方法。


圖1是以往的鋸齒遍歷的概念圖。
圖2是以往的向非零係數和零係數的分離的概念圖。圖3是以往的頻率選擇編碼FSC的概念圖。圖4是以往的頻率選擇編碼FSC的時間變化的概念圖。圖5是以往的零樹遍歷方法的概念圖。圖6是以往的零樹遍歷方法的概念圖。圖7是有關本發明的實施方式1的僅更新葉與係數位置的對應關係的方法的概念圖。圖8是有關實施方式1的用來僅更新葉與係數位置的對應關係的中間存儲器的概念圖。圖9是有關實施方式1的運動圖像編碼裝置的塊圖。圖10是表示圖9所示的運動圖像編碼裝置的動作的流程圖。圖11是有關實施方式1的運動圖像解碼裝置的塊圖。圖12是表示圖11所示的運動圖像解碼裝置的動作的流程圖。圖13是有關實施方式1的序列生成部的塊圖。圖14是有關實施方式1的矩陣生成部的塊圖。圖15A是表示有關實施方式1的運動圖像編碼方法的流程圖。圖15B是表示有關實施方式1的運動圖像解碼方法的流程圖。圖16是表示有關實施方式1的序列生成處理的流程圖。圖17是表示圖16的序列生成處理的概念圖。圖18是表示有關實施方式1的矩陣生成處理的流程圖。圖19是表示圖18的矩陣生成處理的概念圖。圖20是與有關實施方式2的運動圖像編碼方法生成的樹構造關聯的數據的概念圖。圖21是表示有關實施方式2的運動圖像編碼方法的流程圖。圖22A是表示有關實施方式2的運動圖像編碼方法的流程圖。圖22B是表示有關實施方式2的運動圖像解碼化裝置的流程圖。圖23是有關實施方式3的局部適應FSC的概念圖。圖M是與有關實施方式4的運動圖像編碼方法生成的樹構造關聯的數據的概念圖。圖25是與有關實施方式4的運動圖像編碼方法生成的樹構造關聯的數據的概念圖。圖沈是有關實施方式4的運動圖像編碼方法的動作流程圖。圖27是與有關實施方式5的運動圖像編碼方法生成的樹構造關聯的數據的概念圖。圖觀是有關實施方式5的根據已解碼的數據更新樹構造的零樹解碼部和周邊的塊圖。圖四是有關實施方式5的根據已解碼的數據更新樹構造的零樹解碼部的動作流程圖。圖30是關於有關實施方式6的具有多個值的節點的樹構造的探索的概念圖。
圖31是關於有關實施方式6的具有多個值的節點的樹構造的探索的概念圖。圖32是與有關實施方式7的運動圖像編碼方法生成的樹構造關聯的數據的概念圖。圖33是表示有關實施方式7的二進位序列與非零係數序列的數據的排列的圖。圖34A是表示有關實施方式7的運動圖像編碼方法的流程圖。圖34B是表示有關實施方式7的運動圖像解碼方法的流程圖。圖35是表示有關實施方式7的不具有指示係數位置的信息的零樹構造的一例的概念圖。圖36是表示實施方式8的將指示係數位置的序列編碼的一例的概念圖。圖37是表示實現內容分發服務的內容供給系統的整體結構的一例的示意圖。圖38是表示便攜電話的外觀的圖。圖39是表示便攜電話的結構例的塊圖。圖40是表示數字廣播用系統的整體結構的一例的示意圖。圖41是表示電視機的結構例的塊圖。圖42是表示對作為光碟的記錄介質進行信息的讀寫的信息再現記錄部的結構例的塊圖。圖43是表示作為光碟的記錄介質的構造例的圖。圖44是表示實現有關各實施方式的圖像編碼方法及圖像解碼方法的集成電路的結構例的塊圖。
具體實施例方式(實施方式1)首先，參照圖7及圖8，說明有關本發明的實施方式1的編碼方法及解碼方法的概念。如上所述，在頻率選擇的更新中，不發生的係數的位置至少變化為幀單位，但由於樹構造62較複雜，所以頻繁地更新是冗長的。為了解決該問題，如圖7的概念圖所示，不將樹構造62中的節點間的連接關係更新，而僅更新葉節點與係數的位置關係的對應。此外，如圖8的概念圖所示，通過在葉節點與係數的位置關係的對應之間設置、改變排列用的數據陣列(也稱作「參照目標信息」)1101，能夠實現僅係數的位置信息的更新。 某個葉節點的值指示數據陣列1101內的順序，指示的要素表示係數的位置。在該例中，具有3的值的葉節點的位置參照數據陣列1101的第3個要素而得到。 幀fl的時點的數據陣列1101的第3個要素指向係數的位置a。另一方面，幀f2的時點的數據陣列1101的第3個要素指向係數的位置b。數據陣列能夠沒有樹構造那樣的複雜度而容易地實現。如果使用別的表現方式， 則葉節點指示的位置信息是間接位置信息，表示數據陣列1101上的位置。在數據陣列1101 之中，被指示的要素的值指向的是係數的位置信息。此外，如圖8的表示係數零的要素1102那樣，通過分配塊的係數位置a f以外的值，指向該要素的葉節點(具有值5的節點)表示不具有非零係數。在此情況下，係數位置f由於沒有被從索引指針1103的任何要素指向，所以可知不具有非零係數，即係數是零。接著，參照圖9及圖10，說明有關本發明的實施方式1的運動圖像編碼裝置100。圖9是運動圖像編碼裝置100的功能塊圖。圖10是表示運動圖像編碼裝置100的動作的流程圖。運動圖像編碼裝置100如圖9所示，具備減法器105、變換/量化部110、逆量化/ 逆變換部120、加法器125、解塊過濾器130、序列生成部180、熵編碼部190、輸出編碼信號的輸出部(圖示省略)、和預測塊生成部(圖示省略)。該運動圖像編碼裝置100將作為輸入信號的運動圖像信號編碼，將編碼信號輸出。輸出目標沒有特別限定，例如既可以是DVD(Digital VersatileDisc)或BD(Blu_ray Disc)等的記錄介質，也可以通過傳送路向運動圖像解碼裝置200傳送。減法器105從編碼對象塊(輸入信號)減去預測塊(預測信號)而生成預測誤差信號。變換/量化部110將預測誤差信號進行DCT變換(DiscreteCosine Transformation 離散餘弦變換)，並且量化而生成量化係數。更具體地講，將運動圖像信號的像素值變換為由表示頻率的η (η是2以上的整數)個係數構成的2維矩陣。並且，將構成該2維矩陣的 η個係數分別量化，生成η個量化係數。序列生成部180將包括η個量化係數的2維矩陣分割為1維序列和量化係數。序列生成部180的具體的動作在後面敘述。熵編碼部190將從序列生成部180輸出的1維序列等進行熵編碼而生成編碼信號。逆量化/逆變換部120將從變換/量化部110輸出的量化係數逆量化，並且進行 DCT逆變換而生成量化預測誤差信號。加法器125將量化預測誤差信號與預測信號相加而生成再構建信號。解塊過濾器130從再構建信號中除去塊畸變而生成解碼信號。預測塊生成部基於在比編碼對象塊(輸入信號)靠前編碼的圖像，生成預測該編碼對象塊的預測信號。該預測塊生成部由存儲器140、內插過濾器150、運動預測部165、運動補償預測部160、幀內預測部170、和開關175構成。存儲器140作為臨時存儲解碼信號的延遲器發揮功能。更具體地講，將由變換/量化部Iio量化、並且由逆量化/逆變換部120逆量化的塊依次存儲，存儲1張圖像(圖片)。 內插過濾器150在運動補償預測之前將解碼信號的像素值在空間上內插。運動預測部165 基於解碼信號和下個編碼對象塊進行運動預測，生成運動數據(運動矢量)。運動補償預測部160基於解碼信號和運動數據進行運動補償預測，生成預測信號。幀內預測部170將解碼信號進行畫面內預測而生成預測信號。開關175作為預測模式而選擇「內」模式及「間」 模式的某個。並且，從開關175輸出的預測塊為預測下個編碼對象塊的信號。接著，參照圖10，說明運動圖像編碼裝置100的動作。首先，減法器105從輸入信號減去預測信號，生成預測誤差信號(Sll)。接著，變換 /量化部110將預測誤差信號進行DCT變換，並且量化而生成量化係數(S12)。這裡，從變換/量化部110輸出的是由η個(典型地是8X8 = 64個)的量化係數構成的2維矩陣。接著，序列生成部180執行將從變換/量化部110輸出的2維矩陣變換為1維序列的序列生成處理(SU)。序列生成處理的詳細情況在後面敘述。接著，熵編碼部190將1維序列、量化係數、運動數據、及參照目標信息(後述)等進行熵編碼而生成編碼信號(S14)。另一方面，與熵編碼部190的動作並行，逆量化/逆變換部120將從變換/量化部 110輸出的量化係數逆量化、並DCT逆變換而生成量化預測誤差信號。此外，加法器125將量化預測誤差信號與預測塊相加而生成再構建信號。解塊過濾器130從再構建信號除去塊畸變而生成解碼信號。並且，預測塊生成部基於解碼信號生成預測塊(S16)。接著，參照圖11及圖12，說明有關本發明的一實施方式的運動圖像解碼裝置200 的結構及動作。圖11是運動圖像解碼裝置200的塊圖。圖12是表示運動圖像解碼裝置 200的動作的流程圖。運動圖像解碼裝置200如圖11所示，具備取得編碼信號的取得部(取得部)、熵解碼部四0、矩陣生成部觀0、逆量化/逆變換部220、加法器225、解塊過濾器230、和預測塊生成部(圖示省略)。該運動圖像解碼裝置200將由圖9所示的運動圖像編碼裝置100編碼的編碼信號解碼而生成解碼塊(解碼信號)。熵解碼部290將從運動圖像編碼裝置100輸出的編碼信號進行熵解碼，取得1維序列、量化係數、運動數據、及參照目標信息。矩陣生成部280將1維序列與量化係數結合， 生成由η個量化係數構成的2維矩陣。矩陣生成部觀0的具體的動作在後面敘述。逆量化/逆變換部220通過將從矩陣生成部280輸出的2維矩陣的各量化係數逆量化並進行DCT逆變換，生成量化預測誤差信號。加法器225將從逆量化/逆變換部220 輸出的量化預測誤差信號、與從預測塊生成部輸出的預測信號相加，生成再構建信號。解塊過濾器230對從加法器225輸出的再構建信號作用，使塊的邊緣平滑化而改善主觀的畫質。預測塊生成部具備存儲器Μ0、幀內預測部270、運動補償預測部沈0、內插過濾器 250、和開關275。該預測塊生成部的基本的結構及動作是共通的，但將運動預測部165省略、從熵解碼部290取得運動數據這一點不同。接著，參照圖12，說明運動圖像解碼裝置200的動作。首先，熵解碼部290將編碼信號進行熵解碼，取得1維序列、量化係數、運動數據、 及參照目標信息(S21)。接著，矩陣生成部280執行將1維序列與量化係數結合而生成2維矩陣的矩陣生成處理(S22)。矩陣生成處理的詳細情況在後面敘述。接著，逆量化/逆變換部220通過將從矩陣生成部280輸出的2維矩陣的各量化係數逆量化並進行DCT逆變換，生成量化預測誤差信號(S23)。接著，加法器225將量化預測誤差信號與預測塊相加而生成再構建信號。此外，解塊過濾器230從再構建信號中除去塊畸變而生成解碼信號。並且，運動圖像解碼裝置200將該解碼信號輸出(典型的是顯示在顯示器上)(SM)。另一方面，預測塊生成部使用再構建信號生成預測信號(S25)。圖13是本實施方式1的序列生成部180的塊圖。序列生成部180具備樹構造決定部1001、樹構造信息存儲器1003、參照目標決定部1005、參照目標信息存儲器1007、和係數遍歷單元1009。樹構造決定部1001基於預先決定的構造信息1000、或者之前編碼的幀或片段的係數的發生頻度及強度信息等決定樹構造信息1002。樹構造決定部1001將所決定的樹構造信息1002向樹構造信息存儲器1003保存，並且向儲存介質或傳送路1030輸出。同時， 決定保存到葉節點中的參照目標信息1013的初始值，向參照目標信息存儲器1007保存。這裡，樹構造信息1002是定義由包括內部節點及η個葉節點的多個節點構成的二叉樹(也稱作「零樹」)的信息。參照目標信息1013是表示η個葉節點分別參照的2維矩陣的位置的信息。將由η個量化係數構成的2維矩陣1010輸入到係數遍歷單元1009中。係數遍歷單元1009基於從樹構造信息存儲器1003讀出的樹構造信息1004、和從參照目標信息存儲器1007讀出的參照目標信息1006，按照零樹的遍歷方法遍歷係數，向表示有效節點的二進位序列和非零係數的水平與標記的信息1012變換，向儲存介質或傳送路1030輸出。更具體地講，係數遍歷單元1009基於樹構造信息1004、參照目標信息1006、以及包括η個量化係數的2維矩陣1010，生成1維序列。該係數遍歷單元1009由值分配部1009a 和遍歷部1009b構成。值分配部1009a對由樹構造信息1004定義的二叉樹的各節點分配相互不同的第 1及第2值某個。在實施方式1中，第1值是「 1」，第2值是「 0 」。值分配部1009a首先對η個葉節點分別將保持在由參照目標信息1013表示的2 維矩陣的位置上的量化係數在由熵編碼部190編碼的情況下分配「1」、在不由熵編碼部190 編碼的情況下分配「0」。接著，對於內部節點，在兩個子節點的至少其一中被分配了 「1」的情況下分配「1」，在兩個子節點的哪個中都分配了 「0」的情況下分配「0」。遍歷部1009b將二叉樹以先根順序(preorder)遍歷，通過將對各節點分配的值以遍歷順序排列而生成1維序列。此時，遍歷部1009b在內部節點中被分配了「0」的情況下， 將該內部節點的子孫節點的遍歷省略。參照目標決定部1005如果接收到進行改變排列的觸發信號1011，則生成新的參照目標信息1006。並且，用該新的參照目標信息1006將參照目標信息存儲器1007覆蓋，並且將新的參照目標信息1006向儲存介質或傳送路1030輸出。這裡，所謂進行改變排列的觸發信號1011，是頻率適應選擇更新中的、更新的高頻域係數的位置被變更的情況等。此時，參照目標決定部1005通過值分配部1009a的處理決定參照目標信息1006，以對更上位的內部節點分配「0」 (換言之，使1維序列儘可能短)。圖14是本實施方式1的矩陣生成部觀0的塊圖。矩陣生成部280具備樹構造信息存儲器1003、參照目標信息存儲器1007、和係數逆遍歷單元2209。從儲存介質及傳送路1030以幀、片段或多個塊等的較寬的周期接收樹構造信息 1002，保存到樹構造信息存儲器1003中。將所保存的樹構造信息1002向係數逆遍歷單元 2209輸出。樹構造信息1002由於有具有表示葉節點與係數的位置信息的關係的參照目標信息1013的初始值的情況，所以在具有的情況下向參照目標信息存儲器1007保存。如果以同樣的頻度或塊單位的頻度接收新的參照目標信息1006，則用該新的參照目標信息1006 覆蓋參照目標信息存儲器1007。係數逆遍歷單元2209輸入表示有效節點的二進位序列、和非零係數的水平與標記的信息1012，基於樹構造信息1002和參照目標信息1006，按照表示有效節點的二進位序列決定非零係數的位置，將非零係數的水平與標記合併，輸出包括η個量化係數的2維矩陣 1010。更具體地講，係數逆遍歷單元2209基於1維序列、量化係數、參照目標信息1006、 及樹構造信息1002，生成由η個量化係數構成的2維矩陣1010。該係數逆遍歷單元2209 由逆遍歷部2209a和係數分配部2209b構成。逆遍歷部2209a將二叉樹以先根順序(preorder)遍歷，將由1維序列表示的值分配給各節點。但是，在對內部節點分配了「0」的情況下，將該內部節點的子孫節點的遍歷省略。係數分配部2209b基於參照目標信息1006，對被分配了 「0」的葉節點參照的2維矩陣的位置依次分配量化係數。
圖15A是表示本實施方式1的運動圖像編碼裝置100的動作次序的流程圖。首先， 將由樹構造決定部1001生成的樹構造信息1002通過熵編碼部190編碼並輸出(S901)。該樹構造信息1002由於信息量較大，所以一般1次生成並輸出。接著，在幀單位或片段單位或多個塊的單位的重複處理(S902 S9(^)中，將一個或多個塊的量化係數及1維序列編碼(S90;3)。此外，在頻率適應更新中的、更新的係數的位置變化的情況下等，將葉節點具有的係數的參照目標信息1006編碼(S904)。並且，將這些信息通過熵編碼部190編碼，作為已編碼流(也稱作「編碼信號」)輸出。如果還剩餘有編碼對象的幀或片段或多個塊，則再次進行係數的編碼(S903)。另外，參照目標信息的更新 (S904)也可以在量化係數的編碼(S90;3)之前進行。此外，在上述的FSC中有不編碼的係數位置，但在位置信息的改變排列時，也可以將不存在有效的係數位置的情況用特別的值表現(例如分配-1。或者，在具有4X4的16 係數的塊中在將0到15的值分配給係數位置的情況下分配16等)。在將這樣的無效的位置分配給葉節點的值的情況下，在其父節點具有的另一個子節點的值也是0的情況下，需要將該父節點的值也改寫為0。該改寫從全部的葉節點朝向根進行。圖15B是表示本實施方式的運動圖像解碼裝置200的動作次序的流程圖。首先， 根據已編碼流解碼樹構造信息1002(S911)。接著，在幀單位或片段單位或多個塊單位的重複處理(S912 S9M)中，將量化係數及1維序列解碼(S9i;3)。此外，如果在已編碼流中有將葉節點具有的係數的參照目標信息1006更新的信息，則將參照目標信息存儲器1007的參照目標信息1006更新(S914)。如果在已編碼流中還剩餘有沒有解碼的已編碼數據(S915)，則繼續解碼處理 (S912)。另外，參照目標信息1006的解碼(S914)和量化係數及1維序列的解碼(S913)也
可以替換順序。接著，參照圖16及圖17，說明實施方式1的序列生成處理的一例。圖16是序列生成處理的流程圖。圖17是表示通過序列生成處理生成的數據的一例的圖。2維矩陣1010由η個量化係數構成。此外，在圖17中，將2維矩陣1010的各單元格的位置用a f表示。另外，在圖17中，為了簡單而表示了由6個量化係數構成的2維矩陣1010的例，但本發明並不限定於此。例如，也可以是4X4( = 16)矩陣或8X8( = 64) 矩陣。樹構造信息1002是用來定義二叉樹的構造的信息。具體的數據構造並沒有特別限定，例如由構造信息(ztree structure)和索引信息(ztree leaf index)構成。構造信息是用來確定二叉樹的構造的信息，例如表示將二叉樹以先根順序遍歷的情況下的內部節點及葉節點的排列順序。這裡，所謂「先根順序」，是按照構成二叉樹的各部分樹以「父節點一左節點一右節點」的順序、或「父節點一右節點一左節點」的順序遍歷。在圖17的例子中，「0」表示內部節點，「1」表示葉節點。索引信息表示η個葉節點參照的中間表(後述)的索引。另外，在圖17的二叉樹中，各節點的左肩所示的數值χ表示該節點的遍歷順序。以下，在指向特定的節點的情況下表述為「節點⑴」。並且，參照目標決定部1005基於2維矩陣1010及樹構造信息1002生成參照目標信息1006 (S31)。在圖17中表示作為參照目標信息1006的具體例的參照目標信息1006a、 1006b。參照目標信息1006a、1006b是將表示2維矩陣的各位置(a f)的位置信息與確定該位置信息的索引(I VI)建立對應而保持的中間表。索引(I VI)對應於樹構造信息 1002的索引信息。即，二叉樹的各葉節點經由參照目標信息10061100 對2維矩陣1010 訪問ο這裡，參照目標決定部1005生成所生成的1維序列為最短那樣的參照目標信息 1006。即，變更表示2維矩陣的各位置的位置信息與索引的組合。例如，通過值分配部1009a 的處理，生成對更上位的內部節點分配「0」那樣的參照目標信息1006。或者，生成參照目標信息1006，以將保持編碼的量化係數的2維矩陣的位置分配被比保持沒有被編碼的量化係數的2維矩陣的位置遍歷順序更早的葉節點。參照目標信息1006的具體的決定方法並沒有特別限定，例如也可以預先準備多個參照目標信息1006a、1006b、基於該多個參照目標信息1006a、1006b生成1維序列、選擇能夠生成最短的1維序列的參照目標信息1006。或者，也可以基於之前生成的參照目標信息1006a生成1維序列，變更參照目標信息1006a的位置信息與索引組合而生成新的參照目標信息1006b，以變能夠生成比該生成的1維序列短的1維序列。首先，說明使用參照目標信息1006a生成1維序列的處理。值分配部1009a對由樹構造信息1002定義的二叉樹的各節點分配「1」及「0」的某個(S32)。首先，對η個葉節點分別分配值。具體而言，在將保持在由參照目標信息1006a表示的2維矩陣1010的位置上的量化係數編碼的情況下分配「1」。另一方面，在不將該量化係數編碼的情況下分配「0」分配。這裡，在實施方式1中，僅將不是0的量化係數編碼。例如，節點⑶的索引是I，將位置a與參照目標信息1006a的索引I建立了對應。 位置a的量化係數是「15」，由於該量化係數被編碼，所以對於節點(3)分配「1」。另一方面， 節點(11)的索引是VI，將位置f與參照目標信息1006a的索引VI建立了對應。位置f的量化係數是「0」，由於該量化係數沒有被編碼，所以對於節點(11)分配「0」。接著，對內部節點分配值。具體而言，在兩個子節點的至少一個被分配了「1」的情況下分配「1」。另一方面，在兩個子節點都被分配了 「0」的情況下分配「0」。例如，對於作為節點(2)的子節點的節點(3)及節點(4)分配「1」。即，對於節點 (2)分配「1」。另一方面，對於作為節點(8)的子節點的節點(9)及節點(10)分配「0」。即， 對於節點⑶分配「0」。接著，遍歷部1009b將在各節點被分配了值的二叉樹以先根順序遍歷，將對各節點分配的值以遍歷順序排列(S33)。結果，通過使用參照目標信息1006a，得到1維序列 (111111100)。此外，被編碼的量化係數的列是(15，7，2)。接著，說明使用參照目標信息1006b生成1維序列的處理。另外，參照目標信息 1006b在將索引III與位置f建立對應、將索引VI與位置c建立了對應這一點上與參照目標信息1006a不同。此外，1維序列的生成次序由於已經說明了，所以省略再次的說明。通過使用參照目標信息1006b，得到1維序列(1111101)。此外，被編碼的量化係數的列是(15， 7，2)。參照圖17可知，在使用參照目標信息1006a的情況下，對節點⑶分配「0」。另一方面，在使用參照目標信息1006b的情況下，對節點(6)分配「0」。即，通過使用參照目標信息1006b，能夠對更上位的內部節點分配「0」。
此外，使用參照目標信息1006a生成的1維序列是9位。相對於此，使用參照目標信息1006b生成的1維序列是7位。S卩，通過使用參照目標信息1006b，能夠生成更短的1 維序列。接著，序列生成部180判斷所生成(使用)的參照目標信息1006b是否與之前生成(使用)的參照目標信息不同(即是否被更新)(S34)。在參照目標信息1006b與之前生成者不同的情況下(S34中是)，序列生成部180將1維序列、量化係數的列、及參照目標信息1006b向熵編碼部190輸出(S35)。另外，熵編碼部190既可以將參照目標信息1006b 整體編碼，也可以僅將與最近的參照目標信息1006a的差編碼。另一方面，在參照目標信息1006b與之前生成者相同的情況下(S34中否)，序列生成部180將1維序列及量化係數的列向熵編碼部190輸出(S36)。通過做成上述結構，能夠削減熵編碼部190中的代碼量。此外，上述的處理由於能夠不變更數據量較大的樹構造信息1002、而僅通過參照目標信息1006的變更來實現，所以處理負荷不會大幅增大。另外，實施方式1的樹構造信息1002包括構造信息(ztree structure)和索引信息(ztree leaf index)。此外，參照目標信息1006是將確定2維矩陣1010的各位置的位置信息、與確定位置信息的索引建立對應而保持的中間表。但是，也可以是將中間表省略、 將樹構造信息1002中的索引信息優化(即索引信息相當於參照目標信息)的結構。接著，參照圖18及圖19，說明實施方式1的矩陣生成處理的一例。圖18是矩陣生成處理的流程圖。圖19是表示通過矩陣生成處理生成的數據的一例的圖。首先，矩陣生成部280取得從熵解碼部290輸出的信號。在該信號中，包括由運動圖像編碼裝置100生成的1維序列(1111101)、量化係數的列(15，7，2)、以及新生成的參照目標信息1006b。所以，矩陣生成部280在從熵解碼部290輸出的信號中包含參照目標信息1006b 的情況下，即在參照目標信息1006被更新的情況下(S41中是)，用該新的參照目標信息 1006b將參照目標信息存儲器1007覆蓋(S42)。另一方面，在從熵解碼部290輸出的信號中不包含參照目標信息1006的情況下(S41中否)，矩陣生成部280將S42的處理省略。接著，逆遍歷部2209a將二叉樹以先根順序遍歷，將由1維序列表示的值分配給各節點(S43)。但是，在對內部節點分配了「0」的情況下，將內部節點的子孫節點的遍歷省略。使用圖19說明該逆遍歷處理(S43)。首先，將1維序列的各值分配給各節點。具體而言，對節點(1) (5)分配「1」，對節點(6)分配「0」。這裡，由於在作為內部節點的節點(6)中設定了 「0」，所以將作為該節點(6)的子孫節點的節點(7) (10)的遍歷(值的分配)省略。即，將1維序列的最後的值「1」分配給節點(11)。接著，係數分配部2209b基於參照目標信息1006b，對被分配了 「1」的葉節點參照的2維矩陣的位置依次分配包含在量化係數的列中的各係數(S44)。由此，生成2維矩陣。在逆遍歷處理(S43)中分配了「1」的葉節點是節點(3)、(4)、(11)。此外，分別對節點(3)分配了參照目標信息1006b的索引I、對節點(4)分配了索引II、對節點(11)分配了索引VI。所以，係數分配部2209b對節點(3)經由參照目標信息1006b參照的2維矩陣的位置a分配量化係數的列中的最初的係數「15」。同樣，係數分配部2209b對節點(4) 參照的位置b分配量化係數「7」，對節點(11)參照的位置c分配量化係數「2」。另一方面，對於被設定了 「0」的葉節點(節點(7)、(9)、(10))參照的位置d、e、f設定量化係數「0」。根據上述結構，不變更數據量較大的樹構造信息1002，僅通過參照目標信息1006 的變更就能夠從1維序列再構成2維矩陣，所以處理負荷不會大幅增大。(實施方式2)接著，參照圖20 圖22B，說明有關本發明的實施方式2的運動圖像編碼裝置100 及運動圖像解碼裝置200的動作。另外，運動圖像編碼裝置100及運動圖像解碼裝置200 的結構及基本的動作與實施方式1是共通的，所以省略詳細的說明。在實施方式1中，表示了僅將2維矩陣中的不是0的量化係數編碼的例子，但本發明並不限定於此。例如，也可以利用頻率選擇編碼選擇應編碼的量化係數。S卩，預先將2維矩陣劃分為第1組和第2組。並且，熵編碼部190根據屬於第1組的全部的量化係數、和屬於第1組的量化係數的值，僅將從第2組選擇的量化係數有選擇地編碼。並且，序列生成部180隻要基於上述規則將被編碼的量化係數與沒有被編碼的量化係數區別就可以。如上所述，在頻率選擇的更新中，僅將低域的係數和一部分的高頻域的係數編碼， 不將其餘的許多係數編碼。在此情況下，如圖20的概念圖所示，從零樹構造1202的最上位的父節點1203看，對最初被遍歷者的子節點(在該例中，由於有從左向右的優先位次，所以是左側的部分樹1204)配置有可能具有非零係數的係數的位置，對第2個被遍歷者的子節點(在該例中是右側的部分樹120 都配置不具有非零係數的係數的位置。所謂有可能具有非零係數的狀態，是指既有為非零的情況、也有為零的情況、不一定是零的狀態。在頻率選擇的更新中，不具有非零係數的係數的個數一般較多，但通過這樣將不具有非零係數的係數的位置集中，能夠使表示有效節點的二進位序列(1維序列)1206 的、關於非零係數的部分序列1207成為最小限度的個數(在該例中是1個)。有關本實施方式2的運動圖像編碼裝置100如圖21的流程圖所示那樣決定零樹構造。將係數位置分類為總是具有零係數的係數的位置、和有可能具有非零係數的係數的位置(S1301)。接著，將有可能具有非零係數的係數的位置首先編碼到同一個子節點之下 (S1302)。並且，將總具有零係數的係數的位置編碼到別的同一個子節點之下(S1303)。由此，能夠使表示有效節點的二進位序列的數據量成為最小限度。並且，使用圖16及圖17說明的序列生成處理在有關實施方式2的運動圖像編碼裝置100中也能夠採用。即，序列生成部180的參照目標決定部1005決定參照目標信息1006，以將被編碼的非零係數分配給部分樹1204、將沒有被編碼的零係數分配給部分樹 1205。由此，能夠使頻率選擇編碼中的1維序列最小化。圖22A是本發明的實施方式2的運動圖像編碼裝置的動作流程圖。是將圖15A變形、對應於在不通過頻率選擇編碼FSC將特定位置的係數編碼的情況下通知不編碼的係數位置的流程圖。將零樹構造編碼(S2301)。零樹構造的葉節點的值表示的目標不是直接指向係數的位置，而是經由改變排列的數據陣列指示係數的位置信息的間接位置信息。接著，在幀單位或片段單位或多個塊的單位的重複處理(S2302)中，決定不編碼的係數位置(S2303)。另一方面，不編碼的係數位置表現為不從零樹的任意的葉節點參照的狀態。例如，將用特別的值(超過塊的係數的總數的數值或-1等)表現的位置更新信息編碼到改變排列的數據陣列上(S2304)。接著，僅對有可能將係數編碼的係數位置將量化係數編碼(S230Q。將S2303 S2305的處理對應於S2301重複(S2306)。位置更新信息的編碼S2304在位置信息與以前的幀或片段或多個塊相同的情況下可以省略。此外，零樹構造的編碼S2301也有在S2302 S2306的重複之中進行的情況。圖22B是本發明的實施方式2的運動圖像解碼裝置的動作流程圖。是將圖15B變形、對應於在沒有通過頻率選擇編碼FSC將特定位置的係數編碼的情況下通知沒有編碼的係數位置。將零樹構造解碼(S2311)，對於全部的葉節點，將從葉節點指示改變排列的數據陣列上的要素的關係(即間接位置信息)解碼。在幀單位或片段單位或多個塊的單位的重複處理(S2312)中，如果有位置更新信息則將位置信息更新，如果沒有則使用之前狀態的位置信息等，決定位置信息(S2313)。這裡，在對某個葉節點分配的間接位置信息指向的、改變排列的數據陣列上的要素是表現沒有編碼的係數位置的特別的值(超過塊的係數的總數的數值或-1等)的情況下，該葉節點的值為0。在該為0的節點的父節點具有的另一個子節點的值也為0的情況下父節點為0。接著，朝向根方向依次進行改寫(S2313)。進而，在有從改變排列的數據陣列上的哪個要素都沒有指示的係數位置的情況下，可知該係數是沒有被編碼的係數，對該係數設定 0(S2314)。接著，將量化係數按照零樹遍歷的逆遍歷的次序向本來的係數位置設定。在本發明的解碼方法中，零樹的葉節點指示的不是直接的係數位置，而是間接位置信息。即，指向改變排列的數據陣列上的要素。在改變排列的數據陣列上指示的要素表示的目標是最終的係數的位置信息(S2315)。對於S2313 S2315，以上述的S2312的單位進行重複(S2316)。此外，為了實現局部適應的頻率選擇編碼，也可以定義在頻率選擇編碼的條件為真的情況下使用的第2改變排列的數據陣列。(實施方式3)接著，參照圖23說明本發明的實施方式3。在實施方式3中，是將有關實施方式2 的序列生成處理及矩陣生成處理應用到鋸齒遍歷中的實施方式。如上所述，在頻率選擇編碼中抑制了高頻域係數的代碼量。但是，在邊緣等的信息量較多的區域(塊等的單位)中，如果不將高頻域係數編碼則也有容易看出畫質變差的傾向，所以在這樣的區域中優選的是不進行FSC。需要將塊單位的FSC的有無信息向解碼裝置通知的機制，但如果按照塊賦予信息，則因塊有許多，所以有整體的代碼量顯著增加的問題。本實施方式3的局部適應頻率選擇編碼的裝置及方法基於不論FSC的有無都總是被編碼的低域係數的信息決定FSC的有無。使用圖23說明局部適應頻率選擇編碼。將2維的量化變換係數塊11通過第1遍歷順序502遍歷，但在遍歷到預先決定的位置後進行FSC有無的判斷。在該圖中，在遍歷到位置e後進行判斷。在容易感知邊緣等的變差的區域中，有在低域中也發生較大的係數的趨勢。利用該趨勢，基於低域的係數進行FSC的判斷504。也可以不是係數、而基於上述的水平或標記、或是零係數還是非零係數而進行判斷。或者，也可以對這些信息進行基於位置的加權，也可以基於使用了某種函數處理後的結果進行判斷。這裡，基於通過第1遍歷順序502遍歷的係數序列、以及第1係數序列503，將係數的絕對值的和與預先決定的閾值比較。如果比閾值大，則通過第2遍歷順序505遍歷其餘的係數。與第1係數序列503 —起，如圖23那樣得到1維序列506。另一方面，在判斷 504中，在判斷為低域的係數不強的情況下，通過第3遍歷順序507遍歷其餘的係數。在該例中，僅遍歷1的位置的係數。與第1係數序列503 —起得到1維序列508。另外，這裡設第1遍歷順序502與第2遍歷順序505獨立而進行了說明，但第1遍歷順序502和第2遍歷順序505是連續的。第1遍歷順序502可以認為是該連續的遍歷順序的前半的一部分。此外，該連續的遍歷順序能夠通過設為鋸齒遍歷等的一般性的遍歷而容易地安裝。(實施方式4)在上述實施方式2的例子中，減小了表示非零係數的位置的二進位序列的數據量，但還通過不將配置有不具有非零係數的係數的位置的部分樹1205編碼，進一步削減了零樹構造的數據量、以及表示有效節點的二進位序列的數據量。圖M是說明有關本實施方式的運動圖像編碼方法的圖。具體而言，是表示零樹構造的決定、以及表示非零係數的位置的二進位序列的決定的概念圖。僅對於有可能具有非零係數的係數的位置，將零樹構造1402與表示有效節點的二進位序列1406編碼。在該圖中，是有可能具有非零係數的係數都是非零(都為1)的例子，但也包括一部分的係數是零的情況。此外，由於零樹構造的最上位的父節點1403是冗餘的，所以也可以做成圖25所示的零樹構造1502。有關本實施方式4的運動圖像編碼方法在零樹構造的決定中，如圖沈的流程圖所示那樣決定零樹構造。首先，將係數位置分類為總是具有零係數的係數的位置、和有可能具有非零係數的係數(為零或非零係數)的位置(S1601)。並且，僅將有可能具有非零係數的係數(為零或非零係數)的位置編碼(S1602)。(實施方式5)在上述實施方式3中，表示了鋸齒遍歷的情況下的局部適應頻率選擇編碼(局部適應FSC)。在本實施方式5中，表示零樹構造的情況下的局部適應FSC。圖27是表示本實施方式5的概念圖。根據零樹構造的已經解碼的部分樹1702的狀態，切換後續的部分的零樹構造。在圖27的例子中，定義了表示進行切換判斷的定時的作為虛擬的節點的帶條件節點1703。當零樹構造的探索(或橫動)到達該節點的位置時，進行局部適應FSC的條件判斷。它是虛擬的節點，不需要表示與該節點建立關聯付的有效節點的二進位序列的要素。 在該帶條件節點的判斷結果是真的情況下，選擇零樹構造的部分1704。並且，在判斷結果不是真的情況下，選擇零樹構造的部分1705。上述的已經被解碼的部分樹1702的狀態，基於包含在部分樹1702中的位置的係數本身、該係數的水平及標記、係數是零係數還是非零係數、或者節點是否具有有效的值等的信息定義。既可以對這些信息進行基於位置的加權，也可以基於應用了某種函數處理後的結果來定義。
進而，也可以基於量化參數或塊的幀內的位置信息、生成預測圖像的方式的種類來定義。量化參數是在編碼裝置側為了變更向在視覺上變差醒目的區域和不怎麼醒目的區域的數據量的分配而控制的參數。通過根據該參數使條件判斷適應，能夠進行使畫質變差不易醒目的控制。另外，在上述中，進行局部適應FSC的判斷的定時是虛擬的節點，表示有效節點的二進位序列的要素沒有建立關聯。但是，作為局部適應FSC的判斷條件之一，可以也考慮將表示有效節點的二進位序列的要素建立關聯的結構。在該結構中，有能夠從編碼裝置側明示地控制局部適應FSC的判斷的優點，但也有數據量增加的缺點。在本實施方式5中，假設沒有建立了關聯的二進位序列的要素。圖觀是本實施方式5的解碼裝置的塊圖。本解碼裝置由零樹解碼部1801、合併部 1802、逆量化部1803、和逆正交變換部1804構成。零樹解碼部1801輸入零樹構造1811和表示有效節點的二進位序列1812，在樹上進行節點的有效無效判斷。並且，在樹上進行探索，直到找到下個有效的葉節點，將與探索到的葉節點建立了關聯的(非零的)係數的位置信息1814輸出。將該位置信息1814輸入到合併部1802中。合併部1802輸出將另外輸入的水平和標記1813按照位置信息1814向本來的排列O維塊等)變換後的合併信號1815。另外，在編碼裝置側與該信號對應的是量化係數。逆量化部1803輸入合併信號1815，進行逆量化變換，輸出逆量化後信號1816。另外，在編碼裝置側與該信號對應的是正交變換係數。逆正交變換部1804以逆量化後信號 1816為輸入，進行逆正交變換，輸出信號1817。在本實施方式5的解碼裝置中，特徵性的結構是具備一個以上的多個以下的(i) 到(iv)。(i)將零樹解碼部1801的過去的輸出向零樹解碼部1801輸入，使輸出的位置信息1814適應性地變化。(ii)將過去的合併信號1815輸入到零樹解碼部1801中，使輸出的位置信息1814適應性地變化。(iii)將過去的逆量化後信號1816輸入到零樹解碼部1801 中，使輸出的位置信息1814適應性地變化。(iv)將其他能夠在該塊內利用的信息(信號 1817)輸入到零樹解碼部1801中，使輸出的位置信息1814適應性地變化。另外，也有(i) 包括在零樹上已經探索到的節點具有的值的情況。此外，本實施方式5的編碼裝置如果將在局部適應FSC中作為FSC的判斷條件參照的部分零樹構造、或對應於低域的係數的部分零樹構造稱作第1零樹構造，則決定第1零樹構造，以使其對應於屬於第1零樹構造的係數的發生頻度為最優。同樣，如果將由局部適應FSC切換的部分的兩個部分零樹構造稱作第2零樹構造、第3零樹構造，則決定第2零樹構造，以使其對應於屬於第2零樹構造的係數的發生頻度為最優。決定第3零樹構造，以使其對應於屬於第3零樹構造的係數的發生頻度為最優。圖四是說明有關本實施方式5的編碼裝置及解碼裝置中的、零樹解碼部的局部適應處理的流程圖。在零樹解碼部中，在探索節點的過程中，與以往不同，有包含帶條件節點的情況。所以，首先調查當前的探索位置的節點的類型(S1901)。接著，如果該節點類型為不是帶條件的通常的節點，則從表示有效節點的二進位序列中將要素取出一個(S1903)向下個節點移動(S1907)。
在節點的類型是依存於過去得到的節點的值的類型的帶條件節點的情況下，進行其條件的判斷，根據判斷結果，按照預先定義的(由編碼裝置通知的)方法決定樹構造 (S1904)。樹構造的決定，既可以是一部分的變更，也可以是不變更樹的構造、而是葉節點與係數的位置的關係的再變更。在樹構造的決定後，向下個節點移動(S1907)。在節點的類型是取決於過去得到的節點指示的係數的水平、標記、或係數本身的類型的帶條件節點的情況下，取得需要的水平、標記、或係數本身(S1905)。然後，與上述的判斷動作S1904同樣，基於水平、標記、或係數本身，決定樹構造 (S1906)。在樹構造的決定後，向下個節點移動(S1907)。在向下個節點的移動(S1907)中， 在樹構造中不存在下個節點的情況下結束處理。(實施方式6)在本實施方式6中，作為用來如局部適應FSC那樣變更樹的部分的樹構造，提供具有一個節點的多個值的數據構造、以及將該數據構造編碼及解碼的方法。在圖30中表示由具有多個值的節點構成的樹構造的部分變更的概念圖。在有關實施方式6的零樹構造中，為各節點具有多個、至少兩個值的構造。在零樹構造的探索開始時，為參照第1值的狀態。在FSC的判斷在切換節點2000中為真的情況下， 其以後成為參照第2值的狀態。第2值與以往同樣，定義了作為表示在探索時從表示有效節點的二進位序列取出要素的值的「取出」、和預先以幀單位、片段單位或多個塊的單位將值固定的「默認」的兩種值。在圖30中，「取出」是在內部節點中記載「_」、在葉中記載對應於係數的位置的拉丁字母。通過在第2值中預先輸入「默認」的0，能夠記述節點的無效化，能夠將零係數的編碼跳過(在圖30中對應於節點2002和節點2004)。此外，如節點2003那樣，在第2值中設定與第1值不同的係數位置也有優點。如節點2005和節點2003的係數f、c的例子那樣，能夠變更到探索為止的應通過的節點數。通過這樣使發生頻度更高的係數移動到通過順序較早的節點，有可能能夠削減表示有效節點的二進位序列的數據量。圖31是一邊切換讀取具有多個值的節點中的哪個值一邊探索樹構造的、本實施方式的樹構造解碼方法的動作流程圖。這裡，將在某個節點中應讀取哪個值的信息稱作路線。首先，最開始將路線初始化(S2101)。接著，開始探索，在某個節點確認節點的形式。如果該節點是進行局部適應FSC等的條件判斷的開關節點(S2102中是)，則進行建立了關聯的條件判斷(S2103)。如果判斷結果是真(S2103中是)，則進行建立了關聯的路線變更等的動作 (S2104)，向下個節點移動(S2105)。另一方面，如果判斷結果不是真(S2103中否)，則不進行路線變更，向下個節點移動(S2105)。上述的節點的類型判斷中，如果不是轉變節點(S2102中否)，則讀入當前的節點的當前的路線的值(S2104)，進行零樹構造解碼的通常動作，向下個節點移動(S2105)。在向下個節點的移動(S210Q中，如果有剩餘的節點則向節點的類型判斷S2102返回，如果沒有剩餘的節點則結束。
(實施方式7)在圖27中表示了使用虛擬的節點的結構，但也可以想到樹作為整體變大有管理上的不良狀況的情況。如圖32所示，將2維的量化變換係數塊MOl分組為第1組和第2組。關於第1組，定義一個部分零樹構造M02。關於第2組，定義一個或多個部分零樹構造對03、2405。選擇第2組的部分零樹構造M03、2405的哪個，基於在第1組的部分零樹構造M02的探索(或橫動)後得到的係數、水平、標記、或表示有效節點的二進位序列決定。在該結構中，由於將條件分叉的虛擬節點與樹分別定義，所以具有也可以不將解碼樹構造的單元從以往變更的優點。第2組的部分樹構造M03、2405在圖32中有2個，但也可以有3個以上。此外，在圖32中，將量化係數組劃分為第1組和第2組，但也可以劃分為3個以上的組。在以往的作為固定的遍歷的鋸齒遍歷、以及零樹遍歷哪種中，都將量化係數通過編碼裝置再分解為表示非零係數的二進位序列(或表示有效節點的二進位序列)和非零係數序列，將非零係數再分解為水平和標記。如本實施方式7那樣，需要將量化係數劃分為兩個以上的組、將二進位序列和非零係數序列(也包括水平或標記)也劃分為兩個組。圖33表示二進位序列和非零係數序列的數據的排列。在第1組的有效節點的二進位序列2501之後排列第1組的非零係數序列2502，然後排列第2組的有效節點的二進位序列2503，然後排列第2組的非零係數序列2504。第1組的非零係數序列2502處於該位次是因為，為了決定第2組的部分零樹構造而需要非零係數。另一方面，在不使用非零係數決定的情況下(僅使用第1組的有效節點的二進位序列2501或使用該塊的量化參數等)，數據的排列也可以是第1組的有效節點的二進位序列2501、第2組的有效節點的二進位序列2503、第1組的非零係數序列2502、第2組的非零係數序列2504的排列。兩個非零係數序列2502、2504也可以不分割。圖34A是本實施方式7的編碼裝置的各塊的動作流程圖。預先以幀單位、片段單位或多個塊的單位，將第1組的部分零樹構造、第2組的部分零樹構造編碼。在各塊中，將第1 組的有效節點的二進位序列編碼(S^K)I)。接著，進行第1組的非零序列的編碼(S^K)2)。 接著，決定第2組的部分零樹構造(S260;3)。在決定後，進行第2組的有效節點的二進位序列的編碼(S^KM)。接著，進行第2組的非零係數序列的編碼(S^K)5)。圖34B是本實施方式7的解碼裝置的各塊的動作流程圖。為與解碼裝置對應的動作。假設預先以幀單位、片段單位或多個塊的單位將第1組的部分零樹構造、第2組的部分零樹構造解碼。在各塊中，將第1組的有效節點的二進位序列解碼(S^ll)。接著，將第1 組的非零序列解碼(S^12)。接著，決定第2組的部分零樹構造(S^13)。在決定後，將第2 組的有效節點的二進位序列解碼(S^14)。並且，將第2組的非零係數序列解碼(S^15)。另外，這裡，設為第2組的部分零樹以幀單位等明示地被從編碼裝置向解碼裝置通知。但是，由於通過將係數分割為多組而組的要素數減少，所以也可以考慮不使用零樹遍歷、而如以往那樣通過使用鋸齒遍歷能夠減輕處理量的結構。特別是，在第1組是低域區域的較窄的範圍0X2)的情況下，鋸齒遍歷更簡單。此外，在使用頻率選擇編碼FSC的情況下，由於高頻域的係數的個數較少，所以不使用零樹構造而直接通知係數位置的序列、零樹構造限定為是不具有分支的構造的方法較簡單。在圖35的概念圖中表示例子。如圖35所示，按照係數位置的個數，預先規定不具有指示係數位置的信息的零樹構造2712、2722、2732、2742。並且，通過將係數位置序列2711、2721、2731、2741、與不具有指示係數位置的信息的零樹構造2712、2722、2732、2742組合，得到了零樹構造2713、2723、 2733,2743ο不具有指示係數位置的信息的零樹構造2712、2722、2732、2742通過如僅用進行多個幀的編碼的開頭髮送、或以多個幀的單位發送等那樣抑制送出頻度，能夠削減數據量。 如頻率選擇編碼FSC的情況那樣，在許多應用例中，不具有指示係數位置的信息的零樹構造遍及多個幀不變化，僅將係數的位置更新，所以能夠期待效果。(實施方式8)作為將2維的量化變換係數塊MOl分組為第1組和第2組的實施方式7的變形例，提供以更少的數據量將第2組的部分零樹構造編碼及解碼的方法。在局部適應的頻率選擇編碼中，將第2組的編碼的係數位置以幀單位(或片段單位、多個塊單位)更新，但係數的個數是一定的，僅係數的位置變化。因而，如果僅能夠將第 2組的部分零樹構造更新，則能夠使更新所需要的數據量成為最小限度。進而，如果預先定義圖35所示那樣的、不具有指示係數位置的信息的零樹構造，則在各幀中，只要僅將編碼的係數位置的序列編碼就可以。使用圖36的概念圖進行說明。以多個幀的單位將第1組的部分零樹構造2702編碼，在第2組的部分零樹構造中，在頻率選擇編碼在該塊中為真的情況下將所選擇的第2部分零樹構造2703編碼，進而， 將第2組的其餘的部分零樹構造2704編碼。頻率選擇編碼為真的情況下的第2部分零樹構造2703如圖36所示，也可以具有指示係數位置的信息，或者也可以是不具有指示係數位置的信息的零樹構造。在哪種情況下，都在各幀單位中將頻率選擇編碼為真的情況下的第2部分零樹構造2703覆蓋到以各幀單位編碼的係數位置的序列上(或組合)，由此得到各幀的、頻率選擇編碼為真的情況下的第2部分零樹構造。在幀fl中，將係數位置序列2705與第2部分零樹構造2703組合，得到幀fl的、 頻率選擇編碼為真的情況下的第2部分零樹構造2706。同樣，在幀f2中，將係數位置序列 2707與第2部分零樹構造2703組合，得到幀f2的、頻率選擇編碼為真的情況下的第2部分零樹構造2708。(實施方式9)通過將用來實現上述實施方式所示的圖像編碼方法或圖像解碼方法的結構的程序記錄到存儲介質中，能夠將由上述實施方式表示的處理在獨立的計算機系統中簡單地實施。存儲介質可以是磁碟、光碟、光磁碟、IC卡、半導體存儲器等，只要能夠記錄程序就可以。進而，這裡說明上述實施方式所示的圖像編碼方法及圖像解碼方法的應用例和使用它的系統。圖37是表示實現內容分發服務的內容供給系統exlOO的整體結構的圖。將通信服務的提供區劃分為希望的大小，在各單元格內分別設置有作為固定無線站的基站exl06 exllO。
該內容供給系統exlOO在網際網路exlO 1上經由網際網路服務提供商exl02及電話網 exl04、以及基站 exl06 exllO，連接計算機 exlll、PDA (Personal Digital Assistant) exll2、照相機exll3、便攜電話exll4、遊戲機exll5等的各設備。但是，內容供給系統exlOO並不限定於圖37那樣的結構，也可以將某些要素組合連接。此外，也可以不經由作為固定無線站的基站exl06 exllO，而將各設備直接連接在電話網exl04上。此外，各設備也可以經由近距離無線等直接相互連接。照相機exll3是數字攝像機等的能夠進行運動圖像攝影的設備，照相機exll6是數位照相機等的能夠進行靜止圖像攝影、運動圖像攝影的設備。此外，便攜電話exll4是 GSM (Global System for Mobile Communications)方式、CDMA (Code Division Multiple Access)方式、W-CDMA(Wideband-Code Division Multiple Access)方式、或 LTE(Long TermEvolution)(High Speed Packet Access)的{gg!電i舌豐幾、$ PHS (Personal Handyphone System)等，是哪種都可以。在內容供給系統exlOO中，通過將照相機exl 13等經由基站exl09、電話網exl04 連接在流媒體伺服器exl03上，能夠進行現場分發等。在現場分發中，對於用戶使用照相機exll3攝影的內容(例如音樂現場的影像等)如在上述實施方式中說明那樣進行編碼處理，向流媒體伺服器exl03發送。另一方面，流媒體伺服器exl03對有請求的客戶端將發送來的內容數據流分發。作為客戶端，有能夠將上述編碼處理的數據解碼的計算機exlll、 PDAexll2、照相機exll3、便攜電話exll4、遊戲機exll5等。在接收到分發的數據的各設備中，將接收到的數據解碼處理並再現。另外，攝影的數據的編碼處理既可以由照相機exll3進行，也可以由進行數據的發送處理的流媒體伺服器exl03進行，也可以相互分擔進行。同樣，分發的數據的解碼處理既可以由客戶端進行，也可以由流媒體伺服器exl03進行，也可以相互分擔進行。此外，並不限定於照相機exll3，也可以將由照相機exll6攝影的靜止圖像及/或運動圖像數據經由計算機exlll發送給流媒體伺服器exl03。該情況下的編碼處理由照相機exll6、計算機 exlll、流媒體伺服器exl03的哪個進行都可以，也可以相互分擔進行。此外，這些編碼處理及解碼處理一般在計算機exlll及各設備具有的LSI (Large Scale htegration)ex500中處理。LSIex500既可以是單晶片，也可以是由多個晶片構成的結構。另外，也可以將圖像編碼用及圖像解碼用的軟體裝入到能夠由計算機exlll等讀取的某種記錄介質(CD-ROM、軟盤、硬碟等)中、使用該軟體進行編碼處理及解碼處理。進而，在便攜電話exll4是帶有照相機的情況下，也可以將由該照相機取得的運動圖像數據發送。此時的運動圖像數據是由便攜電話exll4具有的LSIex500編碼處理後的數據。此外，流媒體伺服器exl03既可以是多個伺服器或多個計算機，也可以是將數據分散處理或記錄並分發的設備。如以上這樣，在內容供給系統exlOO中，客戶端能夠將編碼的數據接收並再現。這樣，在內容供給系統exlOO中，客戶端能夠實時地接收用戶發送的信息並解碼、再現，即使是不具有特別的權利或設備的用戶也能夠實現個人廣播。在構成該內容供給系統的各設備的編碼、解碼中，只要使用由上述實施方式表示的圖像編碼方法或圖像解碼方法就可以。作為其一例，對便攜電話exll4進行說明。
圖38是表示使用在上述實施方式中說明的圖像編碼方法和圖像解碼方法的便攜電話exll4的圖。便攜電話exll4具有用來在與基站exllO之間收發電波的天線ex601、 CXD照相機等的能夠拍攝影像、靜止圖像的照相機部ex603、由顯示由照相機部ex603攝影的影像、由天線ex601接收到的影像等解碼的數據的液晶顯示器等的顯示部ex602、操作鍵 ex604群構成的主體部、用來進行聲音輸出的揚聲器等的聲音輸出部ex608、用來進行聲音輸入的麥克風等的聲音輸入部ex605、用來保存攝影的運動圖像或靜止圖像的數據、接收到的郵件的數據、運動圖像的數據或靜止圖像的數據等、編碼的數據或解碼的數據的記錄介質ex607、用來使得能夠對便攜電話exll4安裝記錄介質ex607的插槽部ex606。記錄介質 ex607是SD卡等的在塑料殼內收納有能夠電改寫及刪除的作為非易失性存儲器的EEPROM 的一種的快閃記憶體存儲器元件的結構。進而，對便攜電話exll4使用圖39進行說明。便攜電話exll4對於綜合控制具備顯示部ex602及操作鍵ex604的主體部的各部的主控制部ex711，經由同步總線ex713 將電源電路部ex710、操作輸入控制部ex704、圖像編碼部ex712、照相機接口部ex703、 LCD(Liquid Crystal Display)控制部ex702、圖像解碼部ex709、多路分離部ex708、記錄再現部ex707、調製解調電路部ex706及聲音處理部ex705相互連接。電源電路部ex710如果通過用戶的操作使結束通話及電源鍵成為開啟狀態，則通過從電池組對各部供電，將帶照相機的數字便攜電話exll4啟動為能夠動作的狀態。便攜電話exll4基於由CPU、ROM及RAM等構成的主控制部ex711的控制，將在聲音通話模式時由聲音輸入部ex605集音的聲音信號通過聲音處理部ex705變換為數字聲音數據，將其用調製解調電路部ex706進行波譜擴散處理，由收發電路部ex701實施數字模擬變換處理及頻率變換處理後，經由天線ex601發送。此外，便攜電話ex 114將在聲音通話模式時由天線ex601接收到的接收數據放大而實施頻率變換處理及模擬數字變換處理，用調製解調電路部ex706進行波譜逆擴散處理，由聲音處理部ex705變換為模擬聲音數據後，經由聲音輸出部ex608將其輸出。進而，在數據通信模式時發送電子郵件的情況下，將通過主體部的操作鍵ex604 的操作輸入的電子郵件的文本數據經由操作輸入控制部ex704向主控制部ex711送出。主控制部ex711將文本數據通過調製解調電路部ex706進行波譜擴散處理，由收發電路部 ex701實施數字模擬變換處理及頻率變換處理後，經由天線ex601向基站exllO發送。在數據通信模式時發送圖像數據的情況下，將由照相機部ex603攝像的圖像數據經由照相機接口部ex703向圖像編碼部ex712供給。此外，在不發送圖像數據的情況下，也可以將由照相機部ex603攝像的圖像數據經由照相機接口部ex703及IXD控制部ex702直接顯示在顯示部ex602上。圖像編碼部ex712是具備在本發明中說明的圖像編碼裝置的結構，通過將從照相機部ex603供給的圖像數據用在由上述實施方式表示的圖像編碼裝置中使用的編碼方法進行壓縮編碼而變換為編碼圖像數據，將其向多路分離部ex708送出。此外，與此同時，便攜電話exll4將在由照相機部ex603攝像中由聲音輸入部ex605集音的聲音經由聲音處理部ex705作為數字的聲音數據向多路分離部ex708送出。多路分離部ex708將從圖像編碼部ex712供給的編碼圖像數據和從聲音處理部 ex705供給的聲音數據以規定的方式多路復用，將結果得到的多路復用數據用調製解調電路部ex706進行波譜擴散處理，由收發電路部ex701實施數字模擬變換處理及頻率變換處理後，經由天線ex601發送。在數據通信模式時接收到連結到主頁等上的運動圖像文件的數據的情況下，將經由天線ex601從基站exllO接收到的接收數據用調製解調電路部ex706進行波譜逆擴散處理，將結果得到的多路復用數據向多路分離部ex708送出。此外，為了將經由天線ex601接收到的多路復用數據解碼，多路分離部ex708通過將多路復用數據分離而分為圖像數據的比特流和聲音數據的比特流，經由同步總線ex713 將該編碼圖像數據向圖像解碼部ex709供給，並且將該聲音數據向聲音處理部ex705供給。接著，圖像解碼部ex709是具備在本申請中說明的圖像解碼裝置的結構，通過將圖像數據的比特流用對應於由上述實施方式表示的編碼方法的解碼方法解碼而生成再現運動圖像數據，將其經由IXD控制部ex702供給到顯示部ex602中，由此，將包含在例如連結在主頁上的運動圖像文件中的運動圖像數據顯示。與此同時，聲音處理部ex705將聲音數據變換為模擬聲音數據後，將其向聲音輸出部ex608供給，由此，將包含在例如連結在主頁上的運動圖像文件中的聲音數據再現。另外，並不限於上述系統的例子，最近通過衛星、地面波的數字廣播成為話題，如圖40所示，在數字廣播用系統中也能夠裝入上述實施方式的至少圖像編碼裝置或圖像解碼裝置。具體而言，在廣播局ex201中，將聲音數據、影像數據或多路復用了這些數據的比特流經由電波傳送給通信或廣播衛星ex202。接受到它的廣播衛星ex202發送廣播用的電波，具有衛星廣播接收設備的家庭的天線ex204接收該電波，電視機(接收機)ex300或機頂盒(STB) ex217等的裝置將比特流解碼並將其再現。此外，在將記錄在作為記錄介質的CD 及DVD等的記錄介質ex215、ex216中的多路復用了圖像數據、聲音數據的比特流讀取、解碼的讀取機/記錄機ex218中也能夠安裝在上述實施方式中表示的圖像解碼裝置。在此情況下，將再現的影像信號顯示在監視器ex219上。此外，也可以考慮在連接在有線電視用的電纜ex203或衛星/地面波廣播的天線ex204上的機頂盒ex217內安裝圖像解碼裝置、將其用電視機的監視器ex219再現的結構。此時，也可以不是機頂盒、而在電視機內裝入圖像解碼裝置。此外，也可以用具有天線ex205的車ex210從衛星ex202或基站等接收信號、在車 ex210具有的汽車導航儀ex211等的顯示裝置中再現運動圖像。此外，在可以將記錄在DVD、BD等的記錄介質ex215中的聲音數據、影像數據或多路復用了這些數據的編碼比特流讀取並解碼、或在記錄介質ex215中將聲音數據、影像數據或這些數據編碼、作為多路復用數據記錄的讀取機/記錄機ex218中也能夠安裝由上述實施方式表示的圖像解碼裝置或圖像編碼裝置。在此情況下，將再現的影像信號顯示在監視器ex219上。此外，通過記錄有編碼比特流的記錄介質ex215，其他裝置及系統等能夠將影像信號再現。例如，其他再現裝置ex212能夠使用複製了編碼比特流的記錄介質ex214 在監視器ex213上再現影像信號。此外，也可以在連接在有線電視用的電纜ex203或衛星/地面波廣播的天線ex204 上的機頂盒ex217內安裝圖像解碼裝置、將其用電視機的監視器ex219顯示。此時，也可以不是機頂盒、而在電視機內裝入圖像解碼裝置。圖41是表示使用在上述實施方式中說明的圖像解碼方法及圖像編碼方法的電視機(接收機)ex300的圖。電視機ex300具備經由接收上述廣播的天線ex204或電纜ex203等取得或輸出影像信息的比特流的調諧器ex301、將接收到的編碼數據解調、或者為了將所生成的編碼數據向外部發送而調製的調製/解調部ex302、將解調後的影像數據和聲音數據分離、或將編碼的影像數據和聲音數據多路復用的多路復用/分離部ex303。此外，電視機eX300具備具有將聲音數據、影像數據分別解碼、或將各自的信息編碼的聲音信號處理部ex304、影像信號處理部ex305的信號處理部ex306、和具有將解碼後的聲音信號輸出的揚聲器ex307、將解碼後的影像信號顯示的顯示器等的顯示部ex308的輸出部ex309。進而， 電視機eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進而， 電視機ex300具有綜合控制各部的控制部ex310、和對各部供電的電源電路部ex311。接口部ex317除了操作輸入部ex312以外，也可以還具有與讀取機/記錄機ex218等的外部設備連接的橋接器ex313、用來能夠安裝SD卡等的記錄介質ex216的插槽部ex314、用來與硬碟等的外部記錄介質連接的驅動器ex315、與電話網連接的數據機ex316等。另外，記錄介質ex216是能夠通過收納的非易失性/易失性的半導體存儲器元件電氣地進行信息的記錄的介質。電視機ex300的各部經由同步總線相互連接。首先，對電視機ex300將通過天線ex204等從外部取得的數據解碼、再現的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基於具有CPU等的控制部 ex310的控制，將由調製/解調部ex302解調的影像數據、聲音數據用多路復用/分離部 ex303分離。進而，電視機eX300將分離的聲音數據用聲音信號處理部ex304解碼，將分離的影像數據用影像信號處理部ex305使用用上述實施方式說明的解碼方法解碼。將解碼的聲音信號、影像信號分別從輸出部ex309朝向外部輸出。在輸出時，可以將這些信號暫時儲存到緩存ex318、ex319等中，以使聲音信號和影像信號同步再現。此外，電視機ex300也可以不從廣播等、而從磁/光碟、SD卡等的記錄介質ex215、ex216將編碼的編碼比特流讀出。接著，對電視機ex300將聲音信號及影像信號編碼、向外部發送或寫入到記錄介質等中的結構進行說明。電視機ex300接受來自遙控器ex220等的用戶操作，基於控制部ex310 的控制，用聲音信號處理部ex304將聲音信號編碼，由影像信號處理部ex305將影像信號使用由上述實施方式說明的編碼方法編碼。將編碼的聲音信號、影像信號用多路復用/分離部ex303多路復用，向外部輸出。在多路復用時，可以暫時將這些信號儲存到緩存ex320、 ex321等中，以使聲音信號與影像信號同步。另外，緩存ex318 ex321既可以如圖示那樣具備多個，也可以是共有一個以上的緩存的結構。進而，在圖示以外，也可以在例如調製/ 解調部ex302與多路復用/分離部ex303之間等也作為避免系統的溢出及下溢的緩衝部件而在緩存中儲存數據。此外，電視機ex300也可以除了從廣播及記錄介質等取得聲音數據及影像數據以外，還具備受理麥克風及照相機的AV輸入的結構，對從它們取得的數據進行編碼處理。另外，這裡，電視機ex300設為能夠進行上述的編碼處理、多路復用、及外部輸出的結構進行了說明，但也可以是不能進行這些全部的處理、僅能夠進行上述接收、解碼處理、及外部輸出中的某種的結構。此外，在由讀取機/記錄機ex218從記錄介質讀出或寫入編碼比特流的情況下，上述解碼處理或編碼處理既可以由電視機ex300及讀取機/記錄機ex218中的某個進行，也可以是電視機ex300和讀取機/記錄機ex218相互分擔進行。作為一例，在圖42中表示從光碟進行數據的讀入或寫入的情況下的信息再現/記錄部ex400的結構。信息再現/記錄部ex400具備以下說明的要素ex401 ex407。光頭 ex401對作為光碟的記錄介質ex215的記錄面照射雷射斑而寫入信息，檢測來自記錄介質 ex215的記錄面的反射光而讀入信息。調製記錄部ex402將內置在光頭ex401中的半導體雷射器電氣驅動，根據記錄數據進行雷射的調製。再現解調部ex403將由內置在光頭ex401中的光檢測器電氣地檢測到來自記錄面的反射光的再現信號放大，將記錄在記錄介質ex215 中的信號成分分離而解調，將需要的信息再現。緩存ex404將用來記錄到記錄介質ex215 中的信息及從記錄介質ex215再現的信息臨時保持。盤馬達ex405使記錄介質ex215旋轉。伺服控制部ex406 —邊控制盤馬達ex405的旋轉驅動一邊使光頭ex401移動到規定的信息軌道，進行雷射斑的追蹤處理。系統控制部ex407進行信息再現/記錄部eX400整體的控制。上述的讀出及寫入的處理通過系統控制部ex407利用保持在緩存ex404中的各種信息、此外根據需要而進行新的信息的生成及追加、並且一邊使調製記錄部ex402、再現解調部ex403及伺服控制部ex406協同動作、一邊經由光頭ex401進行信息的記錄再現來實現。系統控制部ex407由例如微處理器構成，通過執行讀出寫入的程序來執行這些處理。以上，設光頭ex401照射雷射斑而進行了說明，但也可以是使用近場光進行更高密度的記錄的結構。在圖43中表示作為光碟的記錄介質ex215的示意圖。在記錄介質ex215的記錄面上以螺旋狀形成有導引槽(溝槽)，在信息軌道ex230中，預先記錄有通過溝槽的形狀的變化表示盤上的絕對位置的地址信息。該地址信息包括用來確定作為記錄數據的單位的記錄塊ex231的位置的信息，進行記錄及再現的裝置通過將信息軌道ex230再現並讀取地址信息，能夠確定記錄塊。此外，記錄介質ex215包括數據記錄區域ex233、內周區域ex232、 外周區域ex234。用戶數據為了記錄而使用的區域是數據記錄區域ex233，配置在數據記錄區域ex233的內周或外周的內周區域ex232和外周區域ex234被用於用戶數據的記錄以外的特定用途。信息再現/記錄部ex400對這樣的記錄介質ex215的數據記錄區域ex233進行編碼的聲音數據、影像數據或多路復用了這些數據的編碼數據的讀寫。以上，舉1層的DVD、BD等的光碟為例進行了說明，但並不限定於此，也可以是多層構造、在表面以外也能夠記錄的光碟。此外，也可以是在盤的相同的地方使用各種不同的波長的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進行多維的記錄/再現的構造的光碟。此外，在數字廣播用系統ex200中，也可以由具有天線ex205的車ex210從衛星 ex202等接收數據、在車ex210具有的汽車導航儀ex211等的顯示裝置上再現運動圖像。另外，汽車導航儀ex211的結構可以考慮在例如圖41所示的結構中添加了 GPS接收部的結構，同樣的結構也可以在計算機exlll及便攜電話exll4等中考慮。此外，上述便攜電話 exll4等的終端與電視機ex300同樣，除了具有編碼器及解碼器兩者的收髮型終端以外，還可以考慮只有編碼器的發送終端、只有解碼器的接收終端的3種安裝形式。這樣，能夠將在上述實施方式中表示的圖像編碼方法或圖像解碼方法用在上述任一種設備及系統中，通過這樣，能夠得到在上述實施方式中說明的效果。此外，本發明並不限定於上述實施方式，能夠不脫離本發明的範圍而進行各種變形或修正。(實施方式10)
由上述各實施方式表示的圖像編碼方法及裝置、圖像解碼方法及裝置典型地可以通過作為集成電路的LSI實現。作為一例，在圖44中表示1晶片化的LSIex500的結構。 LSIex500具備以下說明的要素ex501 ex509，各要素經由總線ex510連接。通過電源電路部ex505在電源為開啟狀態的情況下對各部供電，啟動為能夠動作的狀態。例如在進行編碼處理的情況下，LSIex500基於具有CP&X502、存儲器控制器 ex503及流控制器ex504等的控制部ex501的控制，通過AVI/0ex509從麥克風exll7及照相機exll3等受理AV信號的輸入。將輸入的AV信號暫時儲存到SDRAM等的外部的存儲器ex511中。基於控制部ex501的控制，將儲存的數據根據處理量及處理速度適當分為多次等，發送給信號處理部ex507。信號處理部ex507進行聲音信號的編碼及/或影像信號的編碼。這裡，影像信號的編碼處理是在上述實施方式中說明的編碼處理。在信號處理部 ex507中，還根據情況而進行將編碼的聲音數據和編碼的影像數據多路復用等的處理，從流 I/0ex506向外部輸出。將該輸出的比特流朝向基站exl07發送、或寫入到記錄介質ex215 中。另外，在多路復用時，也可以將數據暫時儲存到緩存ex508中以便同步。此外，例如在進行解碼處理的情況下，LSIex500基於控制部ex501的控制，將由流 I/0ex506經由基站exl07得到的編碼數據、或從記錄介質ex215讀出而得到的編碼數據暫時儲存到存儲器ex511等中。基於控制部ex501的控制，將儲存的數據根據處理量及處理速度適當分為多次等，發送給信號處理部ex507。信號處理部ex507進行聲音數據的解碼及/或影像數據的解碼。這裡，影像信號的解碼處理是在上述實施方式中說明的解碼處理。 進而，根據情況，可以將解碼的聲音信號和解碼的影像信號暫時儲存到緩存ex508等中，以便能夠將這些信號同步再現。將解碼後的輸出信號適當經由存儲器ex511等，從便攜電話 ex 114、遊戲機exll5及電視機ex300等的各輸出部輸出。另外，在上述中，設存儲器ex511為LSIex500的外部的結構進行了說明，但也可以是包含在LSIex500的內部中的結構。緩存ex508也並不限定於一個，也可以具備多個緩存。 此外，LSIex500既可以1晶片化，也可以多晶片化。另外，這裡設為LSI，但根據集成度的差異，也有稱作IC、系統LSI、超級LSI、超大規模LSI的情況。此外，集成電路化的方法並不限於LSI，也可以由專用電路或通用處理器實現。也可以使用在LSI製造後能夠編程的FPGA、或能夠再構成LSI內部的電路單元格的連接及設定的可重構處理器。進而，如果因半導體技術的進步或派生的其他技術出現了代替LSI的集成電路化的技術，則當然也可以使用該技術進行功能塊的集成化。有可能是生物技術的應用等。(其他變形例)另外，基於上述實施方式說明了本發明，但本發明當然並不限定於上述實施方式。 以下這樣的情況也包含在本發明中。(1)上述各裝置具體而言是由微處理器、R0M、RAM、硬碟單元、顯示器單元、鍵盤、滑鼠等構成的計算機系統。在上述RAM或硬碟單元中存儲有電腦程式。通過上述微處理器按照上述電腦程式動作，各裝置實現其功能。這裡，電腦程式是為了達到規定的功能而將表示對計算機的指令的命令代碼組合多個而構成的。(2)構成上述各裝置的構成要素的一部分或全部也可以由1個系統LSI (LargeScale htegration:大規模集成電路)構成。系統LSI是將多個結構部集成在1個晶片上而製造的超多功能LSI，具體而言是包括微處理器、ROM、RAM等而構成的計算機系統。在上述RAM中存儲有電腦程式。通過上述微處理器按照上述電腦程式動作，系統LSI實現其功能。 (3)構成上述各裝置的構成要素的一部分或全部也可以由相對於各裝置能夠拆裝的IC卡或單體的模組構成。上述IC卡或上述模組是由微處理器、ROM、RAM等構成的計算機系統。上述IC卡或上述模組也可以包括上述超多功能LSI。通過微處理器按照電腦程式動作，上述IC卡或上述模組實現其功能。該IC卡或該模組也可以具有耐篡改性。
(4)本發明也可以是上述所示的方法。此外，也可以是將這些方法通過計算機實現的電腦程式，也可以是由上述電腦程式構成的數位訊號。此外，本發明也可以是將上述電腦程式或上述數位訊號記錄到計算機可讀取的記錄介質、例如，軟盤、硬碟、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD (Blu-rayDisc)、半導體存儲器等中的產品。此外，也可以是記錄在這些記錄介質中的上述數位訊號。此外，本發明也可以是將上述電腦程式或上述數位訊號經由電氣通信線路、無線或有線通信線路、以網際網路為代表的網絡、數據廣播等傳送的系統。此外，本發明也可以是具備微處理器和存儲器的計算機系統，上述存儲器存儲有上述電腦程式，上述微處理器按照上述電腦程式動作。此外，也可以通過將上述程序或上述數位訊號記錄到上述記錄介質中並移送、或將上述程序或上述數位訊號經由上述網絡等移送，由獨立的其他計算機系統實施。(5)也可以將上述實施方式及上述變形例分別組合。以上，基於實施方式對有關本發明的圖像編碼方法、圖像編碼裝置、圖像解碼方法及圖像解碼裝置進行了說明，但本發明並不限定於這些實施方式。只要不脫離本發明的主旨，對該實施方式實施了本領域的技術人員想到的各種變形的形態、以及將不同的實施方式的構成要素及步驟等組合而構建的其他形態也包含在本發明的範圍內。工業實用性
本發明能夠良好地在圖像編碼方法(裝置)及圖像解碼方法(裝置)中使用。
標號說明
1U2U6U7U2401量化變換係數塊
12鋸齒遍歷順序
13、22、33、506、5081 維序列
23、66、72、1206、1406、1812、2501、2503 二進位序列
24非零係數序列
32FSC遍歷順序
62樹構造
65零樹遍歷順序
73、1203、1403、2002、2003、2004、2005 節點
100運動圖像編碼裝置
105減法器
110變換/量化部
120逆量化/逆變換部125、225 加法器130、230解塊過濾器140、240 存儲器150,250內插過濾器160、260運動補償預測部165運動預測部170、270幀內預測部175、275 開關180序列生成部190熵編碼部200運動圖像解碼裝置220逆量化/逆變換部280矩陣生成部290熵解碼部502第1遍歷順序503第1係數序列504 判斷505第2遍歷順序507第3遍歷順序1000構造信息1001樹構造決定部1002、1004樹構造信息1003樹構造信息存儲器1005參照目標決定部1006、1006a、1006b、1013 參照目標信息1007參照目標信息存儲器1009係數遍歷單元1009a值分配部1009b 遍歷部10102 維矩陣1011觸發信號1012 信息1030 傳送路1101數據陣列1102 要素1103索引指針1202、1402、1502、1811、2712、2713、2722、2723、2732、2733、2742、2743 零樹構造1204、1205、1702 部分樹
1207部分序列1703帶條件節點1704、1705 部分1801零樹解碼部1802 合併部1803逆量化部1804逆正交變換部1813水平和標記1814位置信息1815合併信號1816逆量化後信號1817 信號2000切換節點2209係數逆遍歷單元2209a逆遍歷部2209b係數分配部2402、2403,2405,2702,2704 部分零樹構造2502、2504非零係數序列2703、2706、2708第2部分零樹構造2705、2707、2711、2721、2731、2741 係數位置序列ex 100內容供給系統ex 101 網際網路exl02網際網路服務提供商exl03流媒體伺服器exl04 電話網exl06、exl07、exl08、exl09、exllO 基立佔exlll 計算機exll2PDAexll3、exll6 照相機exl 14帶照相機的數字便攜電話(便攜電話)exl 15 遊戲機exl 17 麥克風ex200數字廣播用系統ex201 廣播局ex202廣播衛星(衛星)ex203 電纜ex204、ex205、ex601 天線ex210 車ex211汽車導航儀(車載導航)
ex212再現裝置ex213、ex219 監視器ex214、ex215、ex216、ex607 記錄介質ex217 機頂盒(STB)ex218讀取機/記錄機ex220 遙控器ex230信息軌道ex231 記錄塊ex232內周區域ex233數據記錄區域ex2;34外周區域ex300 電視機ex301 調諧器ex302調製/解調部ex303多路復用/分離部ex304聲音信號處理部ex305影像信號處理部ex306、ex507 信號處理部ex307 揚聲器ex308、ex602 顯示部ex309 輸出部ex310、ex501 控制部ex311、ex505、ex710 電源電路部ex312操作輸入部ex313 橋接器ex314、ex606 插槽部ex315 驅動器ex316數據機ex317 接口部ex318、ex319、ex320、ex321、ex404、ex508 緩存
ex400信息再現/記錄部ex401 光頭ex402調製記錄部ex403再現解調部ex405 盤馬達ex406伺服控制部ex407系統控制部ex500LSIex502CPU
ex503存儲器控制器ex504流控制器ex506 流 I/Oex509AVI/0ex510 總線ex511 存儲器ex603照相機部ex604 操作鍵ex605聲音輸入部ex608聲音輸出部ex701收發電路部ex702LCD 控制部ex703照相機接口部(照相機I/F部)ex704操作輸入控制部ex705聲音處理部ex706調製解調電路部ex707記錄再現部ex708多路分離部ex709圖像解碼部ex711主控制部ex712圖像編碼部ex713同步總線
權利要求
1.一種編碼方法，將圖像編碼，其特徵在於， 包括變換步驟，將上述圖像的像素值變換為由表示頻率的η個係數構成的2維矩陣，η是2 以上的整數；量化步驟，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數； 序列生成步驟，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；編碼步驟，將由上述序列生成步驟生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號； 上述序列生成步驟包括參照目標決定步驟，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配步驟，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；以及遍歷步驟，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列， 生成上述1維序列。
2.如權利要求1所述的編碼方法，其特徵在於， 在上述值分配步驟中，對於上述η個葉節點分別進行如下分配，即，在對保持在由上述參照目標信息表示的上述2維矩陣的位置中的上述量化係數用上述編碼步驟編碼的情況下，分配上述第1值；在對保持在由上述參照目標信息表示的上述2維矩陣的位置中的上述量化係數不用上述編碼步驟編碼的情況下，分配上述第2值；對於上述內部節點，在對兩個子節點的至少一個分配有上述第1值的情況下分配上述第1值、在對兩個子節點的哪個都分配有上述第2值的情況下分配上述第2值；在上述遍歷步驟中，在對上述內部節點分配了上述第2值的情況下，將該內部節點的子孫節點的遍歷省略；在上述參照目標決定步驟中，決定上述參照目標信息，以使由上述遍歷步驟生成的上述1維序列為最短。
3.如權利要求2所述的編碼方法，其特徵在於，在上述編碼步驟中，在由上述參照目標決定步驟生成的參照目標信息與之前的參照目標信息不同的情況下，還將該生成的參照目標信息編碼。
4.如權利要求1 3中任一項所述的編碼方法，其特徵在於，上述參照目標信息是將確定上述2維矩陣的各位置的位置信息、與確定上述位置信息的索引建立對應而保持的中間表；上述樹構造信息包括確定上述二叉樹的構造的構造信息、和表示上述η個葉節點參照的上述中間表的索引的索引信息。
5.如權利要求4所述的編碼方法，其特徵在於，在上述參照目標信息決定步驟中，變更上述2維矩陣的各位置與索引的組合，以將保持被編碼了的上述量化係數的上述2維矩陣的位置分配給遍歷順序比保持沒有被編碼的上述量化係數的上述2維矩陣的位置早的上述葉節點。
6.如權利要求1 5中任一項所述的編碼方法，其特徵在於，在上述編碼步驟中，僅將上述η個量化係數中的不是0的量化係數有選擇地編碼。
7.如權利要求1 6中任一項所述的編碼方法，其特徵在於， 上述2維矩陣被劃分為第1組和第2組；在上述編碼步驟中，僅將屬於上述第1組的全部的上述量化係數、和根據屬於上述第1 組的上述量化係數的值從上述第2組選擇的上述量化係數有選擇地編碼。
8.一種解碼方法，使用定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息，根據編碼信號生成圖像，η是2以上的整數，其特徵在於，包括解碼步驟，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1 維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及1個以上的量化係數；矩陣生成步驟，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化步驟，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；以及逆變換步驟，將上述η個係數逆變換，生成上述圖像的像素值； 上述矩陣生成步驟包括逆遍歷步驟，是將上述二叉樹以先根順序遍歷、將由上述1維序列表示的值分配給各節點的步驟，在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；以及係數分配步驟，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。
9.一種編碼裝置，將圖像編碼，其特徵在於， 具備變換部，將上述圖像的像素值變換為由表示頻率的η個係數構成的2維矩陣，η是2以上的整數；量化部，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數； 序列生成部，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；以及編碼部，將由上述序列生成部所生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號； 上述序列生成部具備參照目標決定部，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配部，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；以及遍歷部，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列，生成上述1維序列。
10.一種解碼裝置，使用定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息，根據編碼信號生成圖像，η是2以上的整數，其特徵在於，具備解碼部，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及1個以上的量化係數；矩陣生成部，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化部，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；以及逆變換部，將上述η個係數逆變換，生成上述圖像的像素值； 上述矩陣生成部具備逆遍歷部，將上述二叉樹以先根順序遍歷，將由上述1維序列表示的值分配給各節點， 在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；以及係數分配部，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。
11.一種程序，使計算機將圖像編碼，其特徵在於， 包括變換步驟，將上述圖像的像素值變換為由表示頻率的η個係數構成的2維矩陣，η是2 以上的整數；量化步驟，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數； 序列生成步驟，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；以及編碼步驟，將由上述序列生成步驟生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號；上述序列生成步驟使計算機執行參照目標決定步驟，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配步驟，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；以及遍歷步驟，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列， 生成上述1維序列。
12.—種程序，使計算機使用定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、根據編碼信號生成圖像，η是2以上的整數，其特徵在於，包括解碼步驟，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1 維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及1個以上的量化係數；矩陣生成步驟，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化步驟，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；以及逆變換步驟，將上述η個係數逆變換，生成上述圖像的像素值； 上述矩陣生成步驟使計算機執行逆遍歷步驟，是將上述二叉樹以先根順序遍歷、將由上述1維序列表示的值分配給各節點的步驟，在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；係數分配步驟，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。
13.一種集成電路，將圖像編碼，其特徵在於， 具備變換部，將上述圖像的像素值變換為由表示頻率的η個係數構成的2維矩陣，η是2以上的整數；量化部，將構成上述2維矩陣的η個係數分別量化，生成η個量化係數； 序列生成部，基於定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息、和包括上述η個量化係數的上述2維矩陣，生成1維序列；以及編碼部，將由上述序列生成部生成的上述1維序列、以及上述η個量化係數的至少一部分編碼，生成編碼信號； 上述序列生成部具備參照目標決定部，基於上述2維矩陣，生成表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息；值分配部，基於上述2維矩陣及上述參照目標信息，對由上述樹構造信息定義的二叉樹的各節點分配相互不同的第1及第2值的某個；遍歷部，將上述二叉樹以先根順序遍歷，通過將對各節點分配的值以遍歷順序排列，生成上述1維序列。
14.一種集成電路，使用定義由包括內部節點及η個葉節點的多個節點構成的二叉樹的樹構造信息，根據編碼信號生成圖像，η是2以上的整數，其特徵在於，具備解碼部，將上述編碼信號解碼，生成相互不同的第1及第2值以規定的順序排列的1維序列、表示上述η個葉節點分別參照的上述2維矩陣的位置的參照目標信息、以及1個以上的量化係數；矩陣生成部，基於上述1維序列、上述量化係數、上述參照目標信息、及上述樹構造信息，生成由η個上述量化係數構成的2維矩陣；逆量化部，將構成上述2維矩陣的η個量化係數分別逆量化，生成表示頻率的η個係數；以及逆變換部，將上述η個係數逆變換，生成上述圖像的像素值； 上述矩陣生成部具備逆遍歷部，將上述二叉樹以先根順序遍歷，將由上述1維序列表示的值分配給各節點， 在對上述內部節點分配了上述第2值的情況下，省略該內部節點的子孫節點的遍歷；以及係數分配部，基於上述參照目標信息，對被分配了上述第1值的上述葉節點參照的上述2維矩陣的位置依次分配上述1個以上的量化係數。
全文摘要
編碼方法包括變換步驟，將圖像的像素值變換為由表示頻率的n個係數構成的2維矩陣；量化步驟，將n個係數分別量化，生成n個量化係數；序列生成步驟，基於定義二叉樹的樹構造信息及2維矩陣，生成1維序列；編碼步驟，將1維序列及n個量化係數的至少一部分編碼。序列生成步驟包括基於2維矩陣生成表示n個葉節點分別參照的2維矩陣的位置的參照目標信息的參照目標決定步驟(S31)、基於2維矩陣及參照目標信息對二叉樹的各節點分配第1及第2值的某個的值分配步驟(S32)、和將對各節點分配的值以先根順序排列而生成1維序列的遍歷步驟(S33)。
文檔編號H04N7/30GK102246525SQ20098015037
公開日2011年11月16日 申請日期2009年12月16日 優先權日2008年12月16日
發明者M·納羅施克, S·維特曼, V·德呂容, 柴原陽司, 笹井壽郎, 西孝啟 申請人:松下電器產業株式會社