圖像解碼裝置、圖像解碼方法以及電腦程式的製作方法

2023-10-09 01:16:54 2

專利名稱：圖像解碼裝置、圖像解碼方法以及電腦程式的製作方法
技術領域：
本發明涉及一種圖像解碼裝置、圖像解碼方法以及電腦程式。更具體地，本發明 涉及利用修正值表，並通過使用修正值對變換係數進行修正能穩定地抑制重現圖像中出現 的不協調感或混亂感的圖像解碼裝置、圖像解碼方法以及電腦程式，在所述修正值表中 為每個位平面截斷(bit-plane truncation)位置存儲有修正值，所述修正值是對通過位平 面截斷所截斷的係數值進行統計處理而預備的，且所述變換係數是對編碼流進行解碼處理 而得到的，所述修正值對應於位平面截斷位置且從修正值表讀取。
背景技術：
根據相關技術的一種典型的圖像壓縮方案例如是由ISO(國際標準化組織)標準 化的JPEG(聯合圖像專家組)方案。該方案利用了離散餘弦變換(DCT)。當指定較高位時， 可以得到出色的編碼和解碼圖像。最近，小波變換編碼已得到使用，其中，圖像被濾波器分 成多個帶，並對每個帶進行編碼，所述濾波器是高通濾波器與低通濾波器的組合，稱為濾波 器組。小波變換編碼被認為是取代DCT的新的主流技術，這是因為小波變換編碼沒有DCT 中那樣由於高壓縮而明顯出現區塊失真的缺點。 JPEG-2000方案已被標準化為使用所述小波變換編碼的圖像壓縮方案。JPEG-2000 方案是一種小波變換與位平面編碼相結合的方案，且與JPEG相比在編碼效率方面有很大 的改進。 此外，日本未審查專利申請公報2002-165098號公開了 當使用JPEG-2000方案 時，為了能夠獲得目標代碼量，通過進行位平面截斷處理以從產生的編碼流數據的尾端截 斷所述編碼流數據，從而可以實現速率控制。同時，日本未審查專利申請公報2004-260539 號公開了 當使用已進行過位平面截斷的編碼流數據進行解碼時，通過產生可由截斷位的 數目表示的隨機數，並將該隨機數加到小波係數上，可抑制重現圖像中出現的不協調感或 混亂感。此外，日本未審查專利申請公報2002-204357號公開了 作為在不可逆的壓縮處理 中丟失的信號成分的替代，將噪聲作為偽信號包括於解碼圖像數據中，從而改善編碼時因 信號丟失造成的圖像質量的惡化。此外，還可使用可由截斷位的數目表示的值的大致中央 值作為由截斷位所表示的值。

發明內容
然而，由於加到小波係數中的隨機數或包括於解碼圖像數據中的噪聲以及可由截 斷位的數目表示的值的大致中央值等與編碼前的圖像沒有關係，故難以穩定地抑制因位平 面截斷而在重現圖像中出現的不協調感等。
因此，本發明提供了一種圖像解碼裝置、圖像解碼方法以及電腦程式，其能夠穩 定地抑制由於位平面截斷而在重現圖像中出現的不協調感或混亂感。 根據本發明的實施方式，提供了一種圖像解碼裝置，其包括信息獲取部，其用於 從通過對由圖像數據的頻率轉換所得到的變換係數進行位平面編碼處理所產生的編碼流 中，獲取所述編碼流中的位平面截斷位置的信息；解碼處理部，其用於對編碼流進行解碼 處理並產生變換係數；重要係數檢測部，其用於檢測解碼處理部產生的變換係數是否重要； 修正值獲取部，其用於從修正值表中獲取在重要係數檢測部中被檢測為重要的變換係數中 的位平面截斷位置所對應的修正值，在所述修正值表中為每個位平面截斷位置存儲有對由 位平面截斷所截斷的係數值進行統計處理所預備的修正值；以及係數修正處理部，其使用 在修正值獲取部中獲取的修正值，僅對在重要係數檢測部中被檢測為重要的變換係數進行 係數修正處理。 在本發明的實施方式中，從通過對由圖像數據的頻率轉換得到的變換係數進行位 平面編碼處理產生的編碼流中，獲取編碼流中的位平面截斷位置的信息。而且，在修正值表 中存儲有對通過位平面截斷所截斷的係數值進行統計處理而預備的修正值，換言之，在所 述修正值表中，對於每個上下文(context)，存儲有代表由位平面截斷所截斷的係數值的分 布的中央值，所述上下文是位平面截斷位置或輸入圖像數據的特徵，例如是有效位位置、顏 色成分信息以及頻率成分信息中的任一個或它們的組合。根據位平面截斷位置或上下文， 使用從修正值表獲取的修正值，對通過對編碼流進行解碼處理得到的變換係數進行修正。 該修正後的變換係數逆變換為輸出圖像數據並輸出。 根據本發明的另一實施方式，提供了一種圖像解碼方法，該方法包括以下步驟從 通過對由圖像數據的頻率轉換得到的變換係數進行位平面編碼處理產生的編碼流中，由信 息獲取部獲取編碼流中的位平面截斷位置的信息；由解碼處理部對編碼流進行解碼處理並 產生變換係數；由重要係數檢測部檢測在解碼處理部中產生的變換係數是否重要；由修正 值獲取部從修正值表中獲取在重要係數檢測部中被檢測為重要的變換係數中的位平面截 斷位置所對應的修正值，在所述修正值表中為每個位平面截斷位置存儲有通過對由位平面 截斷所截斷的係數值進行統計處理所預備的修正值；以及由係數修正處理部使用在修正值 獲取部中獲取的修正值，僅對在重要係數檢測部中被檢測為重要的變換係數進行係數修正 處理。 根據本發明的另一實施方式，提供了一種可以驅動計算機完成以下步驟的計算機 程序，所述步驟包括從通過對由圖像數據的頻率轉換得到的變換係數進行位平面編碼處 理產生的編碼流中，獲取編碼流中的位平面截斷位置的信息；對編碼流進行解碼處理並產 生變換係數；檢測通過對編碼流進行解碼處理產生的變換係數是否重要；從修正值表中獲 取在重要係數檢測部中被檢測為重要的變換係數中的位平面截斷位置所對應的修正值，在 所述修正值表中為每個位平面截斷位置存儲有通過對由位平面截斷所截斷的係數值進行 統計處理所預備的修正值；以及使用從修正值表獲取的修正值，僅對被檢測為重要的變換 係數進行係數修正處理。 同時，根據本發明的實施方式的電腦程式，例如，能夠提供給通用計算機系統並 能夠執行各種程序代碼的電腦程式，是以計算機可讀格式由存儲介質與通信介質提供 的，存儲介質例如是光碟、磁碟以及半導體存儲器，通信介質例如是網絡。通過以計算機可
5讀格式提供程序，可在計算機系統上實現根據所述程序的處理。 根據本發明的實施方式，利用了修正值表，其中，為每個位平面截斷位置存儲有通 過對由位平面截斷所截斷的係數值進行統計處理所預備的修正值，並使用該修正值對通過 對編碼流進行解碼處理得到的變換係數進行修正，所述修正值對應於位平面截斷位置並從 修正值表讀取。由於使用優化修正值對變換係數進行修正，因此，可以穩定地抑制重現圖像 中出現的不協調感或混亂感。


圖1是表示圖像編碼裝置的配置的框圖。圖2是表示子帶的圖。圖3是用於解釋位平面的圖。圖4是表示圖像解碼裝置的配置的框圖。圖5是表示自然圖像中變換係數的分布的圖。圖6是表示截斷係數值的出現頻率的分布的圖。圖7是表示變換係數修正部的配置的圖。圖8A和8B是用於解釋變換係數修正部的操作的圖。圖9是表示修正值表的圖。圖10是表示變換係數修正部的操作的流程圖。圖11A 11C是表示變換係數的修正示例的圖。圖12是表示變換係數修正部的另一配置的圖。圖13是表示修正值表的另一示例的圖。圖14是表示變換係數修正部的另一操作的流程圖。圖15A和15B是表示變換係數的另一修正示例的圖。圖16是表示變換係數修正部的另一操作的流程圖。圖17是表示計算機的配置的圖。
具體實施例方式以下，描述實施本發明的優選實施方式。以下面的順序進行描述。
1.圖像編碼裝置的配置與操作 2.圖像解碼裝置的第一實施方式 3.圖像解碼裝置的第二實施方式 4.當使用計算機進行圖像解碼時的配置與操作 1.圖像編碼裝置的配置與操作 圖像編碼裝置的配置 圖1是表示圖像編碼裝置的配置的框圖。圖像編碼裝置10的顏色轉換部11將從 任意顏色空間輸入的圖像數據轉換到特定顏色空間。顏色轉換部11將例如R、 G和B的圖 像數據轉換為Y、Cb、Cr等的圖像數據。此外，顏色轉換部ll可以根據需要設於圖像編碼裝 置10中。 正交變換部12將經顏色轉換部11轉 的圖像數據的每個像素值從空間坐標系變換到頻率坐標系，從而輸出變換係數。正交變換部12輸出通過例如進行小波變換(DWT)、離 散餘弦變換(DCT)、離散傅立葉變換(DFT)等得到的變換係數。 量化部13對從正交變換部12輸出的變換係數進行量化，並輸出該量化後的係數。 然而，量化部13對於圖像編碼裝置10並非是必需的。 係數位建模部14對由量化部13量化後的變換係數進行變換處理，以便在熵編碼 部15中高效地進行編碼。係數位建模部14例如進行諸如分解等的位建模，以建模到鋸齒 掃描或JPEG2000的3個通道中。 熵編碼部15對由係數位建模部14處理過的數據進行熵編碼。 後量化部16對在熵編碼中得到的位流進行後量化("截斷")。後量化是用於將
在位流達到目標數據量之後出現的後續數據進行截斷的位平面截斷處理。因此，可以將
從後量化部16輸出的位流抑制到期望的數據量。頭信息產生部17產生頭信息(header
information)，並輸出該頭信息以及從後量化部16輸出的位流。,麵馬驟,乍 接下來描述圖像編碼裝置10的操作，其中，例如在正交變換部12中進行小波變 換，從而在係數位建模部14中進行位平面展開。為了便於解釋，假設未設有量化部13。
當進行小波變換時，正交變換部12配置為使用濾波器組。濾波器組通常配置為使 用例如低通濾波器與高通濾波器。正交變換部12通過使用濾波器組進行過濾操作以產生 小波變換係數。圖2表示當小波被分割到第二級時的子帶。由於圖像能量多數集中在小波 變換中的低通成分，故通常採用配置為重複低通成分的變換的裝置，諸如圖2所示的直到 第二級的最低通子帶LL2、低高通子帶LH2、高低通子帶HL2以及最高通子帶HH2。
當小波變換的級數設為"2"時，如圖2所示，產生總共七個子帶，即直到第二級的 最低通子帶LL2、低高通子帶LH2、高低通子帶HL2、最高通子帶HH2，以及第一級的低高通子 帶LH1、高低通子帶HL1以及最高通子帶HH1。 係數位建模部14將變換係數分割成預定大小的代碼塊，並在位平面上展開每個 變換係數。代碼塊的橫與縱大小是2的4次方到256次方，且通常使用的維數為32X32、 64X64、128X32等。 圖3是用於解釋位平面的圖。圖3(A)假設例如由總共十六個變換係數、即一個代 碼塊中的四縱與四橫變換係數構成。在所述十六個變換係數中，最大的絕對值是13，且以二 進位形式表示時為1101。係數位建模部14依次將變換係數的絕對值切片為從最低有效位 (LSB)到最高有效位(MSB)的每個位，從而產生對應於每個樣本的絕對值位平面。這裡，當 變換係數與圖3(A)所示的相同時，會產生如圖3(B)所示的四個絕對值位平面。此外，係數 位建模部14產生如圖3(C)所示的表示變換係數的符號的符號位平面。
即，當變換係數以例如n位有符號的二進位形式表示時，從0位到n-2位表示從 LSB到MSB的每個位，且其餘一位表示符號。因此，這種情況下，係數位建模部14產生(n-l) 個絕對值位平面與一個符號位平面。 接下來，係數位建模部14基於三個編碼通道從MSB側的絕對值位平面開始依次對 代碼塊進行編碼。所述三個編碼通道包括稱為重要性傳播通道、幅值細化通道以及清除通 道的編碼通道。 重要性傳播通道是針對在重要係數附近存在的不重要係數的編碼。幅值細化通道編碼是針對重要係數的編碼。清除通道是針對重要性傳播通道或幅值細化通道的係數中未 包括的係數的編碼。此外，"重要"表示確定為非"O"的狀態。 三個編碼通道構成為使得MSB側的位平面最初由清除通道編碼。隨後，朝著LSB， 對每個位平面上的編碼依次由重要性傳播通道、幅值細化通道以及清除通道完成。而且，當 在位平面中首次出現"l"時，進行極性位編碼。從MSB側實際上首次出現"1"的位平面的 數目被寫入頭信息，且對所有開始為零的位平面不進行編碼。 熵編碼部15對係數位建模部14中得到的0/1值(二進位判定)進行熵編碼。在 熵編碼部15中，通過使用例如稱為MQ編碼的算術代碼，對二進位判定的代碼串無失真地進 行壓縮從而產生位流。 後量化部16對熵編碼中得到的位流進行後量化，並對位流達到目標數據量之後 的後續數據進行截斷。這裡，當位流達到目標數據量時，後量化部16檢測編碼通道的端點， 並使用最初被檢測為位平面截斷位置的編碼通道的端點截斷後續位流。因此，可以將位流 的數據量抑制到目標數據量。 頭信息產生部17產生頭信息，所述頭信息表示代碼塊內的編碼通道的個數以及 位流的數據長度、位平面截斷位置等，將該信息添加到從後量化部16輸出的位流中，並將 該信息作為編碼流輸出。而且，在頭信息中，也可以包括顏色成分信息或者頻率成分信息 等，所述顏色成分信息表示由編碼流表示的變換係數對應於哪個顏色成分係數，所述頻率 成分信息表示其對應於哪個頻率成分係數(哪個子帶係數)。
2.圖像解碼裝置的第一實施方式
圖像解碼裝置的配置 圖4是表示圖像解碼裝置的配置的框圖。圖像解碼裝置20的頭信息分析部21將 被添加到從圖像編碼裝置10輸出的編碼流中的頭信息提取出來，對該頭信息進行分析，並 獲取位平面截斷位置的信息。此外，頭信息分析部21獲取表示編碼流的變換係數對應於哪 個顏色成分係數的信息，以及獲取表示編碼流的變換係數對應於哪個頻率成分係數的信息 等。而且，頭信息分析部21將獲取的信息經由熵解碼部22等或從頭信息分析部21提供給 變換係數修正部24。 熵解碼部22與位建模解碼部23是對編碼流進行解碼處理以獲得變換係數的解碼
處理部。熵解碼部22進行與熵編碼部15中進行的編碼對應的解碼。該熵解碼部22對從頭
信息分析部21提供的編碼流進行解碼，並將通過解碼得到的數據提供給位建模解碼部23。 位建模解碼部23負責進行與係數位建模部14的編碼對應的解碼。位建模解碼部
23針對從熵解碼部22輸出的數據基於位平面進行解碼，以求出變換係數。 變換係數修正部24用於對從位建模解碼部23輸出的變換係數進行修正處理，以
便降低由於圖像編碼裝置10的後量化部16中進行的位平面截斷造成的不利效果。 逆量化部25進行與量化部13中進行的量化對應的逆量化。逆量化部25將在量
化部13中進行量化時的量化步長乘以從變換係數修正部24輸出的變換係數，以進行逆量
化處理。同時，當圖像編碼裝置10未設有量化部13且不進行量化時，設置逆量化部25進
行逆量化也就不必要了。 逆正交變換部26進行對應於正交變換部12的正交變換的逆正交變換。逆正交變 換部26使用從逆量化部25提供的變換係數進行逆正交變換，並產生圖像數據。此外，當未設有逆量化部25時，逆正交變換部26使用從變換係數修正部24輸出的變換係數進行逆正 交變換，並產生圖像數據。 逆顏色轉換部27將逆正交變換部26中得到的圖像數據轉換為期望的顏色空間的 圖像數據。例如，當顏色轉換部11將R、 G和B的圖像數據轉換為Y、 Cb和Cr的圖像數據， 且在圖像解碼裝置20中輸出與輸入到圖像編碼裝置10中的圖像數據相同的顏色空間的圖 像數據時，逆顏色轉換部27將Y、Cb和Cr的圖像數據轉換為R、G和B的圖像數據，並隨後 輸出圖像數據。此外，逆顏色轉換部27可將Y、Cb和Cr的圖像數據轉換為根據連接於圖像 解碼裝置20的設備的顏色空間的圖像數據，並隨後輸出圖像數據。在如上述構成的圖像解 碼裝置20中，變換係數修正部24關注正交變換部12中得到的變換係數的偏差，並將在後 量化部16中截斷的值修正為統計上優化的值。與根據相關技術的方法相比，即與將隨機數 添加到變換係數或將噪聲包括於解碼圖像數據中的方法相比，通過進行該修正，變換係數 修正部24可以更穩定地抑制重現圖像中出現的不協調感或混亂感。 圖5表示自然圖像中變換係數的分布。當變換係數的絕對值可以表示為4位時， 除了"O"以外，變換係數的絕對值的出現頻率單調減小。因此，在第一位、第二位、第三位以 及第四位的每個位中，呈現"0 "的區間的出現頻率高於呈現"1"的區間的出現頻率。即，作 為每個位置的位，"0 "比"1"產生得更頻繁。 例如，在第四位的情況中，呈現"O"的區間的出現頻率等於從變換係數的絕對值 為"0"時的出現頻率到絕對值為"7"時的出現頻率的總和。而且，呈現"l"的區間的出現 頻率等於從變換係數的絕對值為"8"時的出現頻率到絕對值為"15"時的出現頻率的總和。 這裡，呈現"0 "的區間的出現頻率高於呈現"1"的區間的出現頻率，且在第四位中容易呈現 "0"。 從上述可以看出，由於每個位中"0"與"1"的出現頻率中出現偏差，在任意截斷位 置被截斷的值都趨於小於由截斷位置確定的可表示的值的平均值。例如，當在從LSB側的 第四位置"4"截斷時，截斷係數值的出現頻率的分布通常與圖6相同，且截斷值的平均值小 於"4"並接近於"3"，"3"是可表示的值的平均值。當存在該偏差時，使用"3"而不是"4" 作為修正值會使由後量化進行的量化誤差的平均值變小。 因此，憑藉基於這些偏差預備的修正值表，變換係數修正部24通過使用預備的修 正值表確定用於對變換係數進行修正的統計上優化的修正值。在準備修正值表時，當在圖 像編碼裝置10中已對多個學習用圖像數據進行編碼時，對在後量化部16中被截斷的值進 行統計處理，以確定優化修正值。具體地，找出後量化部16中被截斷的值的分布並存儲為 代表該分布的中央值。作為代表該分布的中央值，例如可以使用平均值。此外，對於代表該 分布的中央值，可以使用模值或中央值作為修正值。 圖7表示變換係數修正部24的配置。變換係數修正部24的重要係數檢測部241 檢測從位建模解碼部23輸出的變換係數是否重要，換言之，檢測變換係數是否非"O"，並將 檢測的結果輸出到修正值獲取部242。 修正值獲取部242基於從頭信息分析部21提供的位平面截斷位置信息以及從重 要係數檢測部241輸出的檢測結果獲取修正值。修正值獲取部242從修正值表243獲取對 應於位平面截斷位置的修正值，並將該修正值設為在重要係數檢測部241中被判斷為重要 的係數的修正值。此外，修正值準備部242將重要係數檢測部241中被判斷為不重要的系
9數的修正值設為"0"。 當從修正值獲取部242表示出位平面截斷位置時，修正值表243唯一地輸出對應 於該位平面截斷位置的修正值。 係數修正處理部244將在修正值獲取部242中獲取的修正值加到從位建模解碼部 23提供的變換係數上，以對變換係數進行修正，並將修正後的變換係數輸出到逆正交變換 部26。 接下來，描述變換係數修正部24的操作。在下面描述中，對圖8(B)的變換係數 進行修正，所述的圖8(B)的變換係數對應於圖8(A)所示的已進行過截斷的變換係數。例 如，當截斷之前的變換係數為"52、242、12、3、98、105"，且位平面截斷位置為"5、5、3、3、3、 4"時，截斷之後但在修正之前的變換係數變成"48、240、 12、0、96、 104"。
變換係數修正部24的修正值表243表示每個位平面截斷位置的優化修正值。這些 優化修正值是當已對多個學習用圖像數據進行編碼時，通過對為每個位平面截斷位置而截 斷的值進行統計處理而設定的值。圖9表示修正值表243。當位平面截斷位置為例如"10"、 "9 "、" 8 "、 . 、 'T時，修正值表243輸出修正值"148 "、" 91"、" 52 "、 . 、" 0 "。
圖10是表示變換係數修正部24的操作的流程圖。在步驟ST1中，變換係數修正 部24對變換係數與位平面截斷位置進行輸入。變換係數修正部24基於從頭信息分析部21 提供的位平面截斷位置信息，為從位建模解碼部23提供的變換係數提供位平面截斷位置， 並通過使用變換係數與用於每個係數的位平面截斷位置前進到步驟ST2。
在步驟ST2中，變換係數修正部24判斷變換係數是否大於"0"。當變換係數大於 "0"時，變換係數修正部24前進到步驟ST3，反之，當變換係數為"0"時前進到步驟ST4。
在步驟ST3中，變換係數修正部24從修正值表獲取修正值。變換係數修正部24 從修正值表243獲取對應於位平面截斷位置信息的修正值，並隨後前進到步驟ST5。
在步驟ST4中，變換係數修正部24將修正值設置為"0"，並隨後前進到步驟ST5。
在步驟ST5中，變換係數修正部24使用修正值對變換係數進行修正。變換係數修 正部24將步驟ST3或步驟ST4中獲取的修正值添加到變換係數上，並對變換係數進行修 正，並隨後前進到步驟ST6。 在步驟ST6中，變換係數修正部24判斷所有變換係數的修正是否結束。當所有變 換係數的修正未結束時，變換係數修正部24返回步驟ST1，並對新的變換係數進行修正。當 所有變換係數的修正已結束時，變換係數修正部24結束變換係數的修正操作。
因此，如圖11(A)所示，當變換係數為"48、240、12、0、96、104"，且位平面截斷位置 為"5、5、3、3、3、4"時，從修正值表輸出的修正值變成"7、7、2、2、2、3"。此外，當變換係數為 "O"時，修正值變成"O"。因此，如圖11(B)所示，待加到變換係數"48、240、12、0、96、104" 的修正值變成"7、7、2、0、2、3"，且修正之後的變換係數變成變換係數"55、247、14、0、98、 107"。 同時，圖11(C)表示通過根據相關技術的方法進行變換係數的修正的情況，在所 述相關技術的方法中，可由截斷位的數目表示的數值的大致中央值設為截斷位所表示的 值。例如，當僅截斷位範圍的最高有效位設為"l"時，可由截斷位的數目表示的數值的大致 中央值為如圖所示。這種情況下，修正之後的變換係數變成"56、248、14、0、98、108"。
如上所述，憑藉存儲在修正值表中的通過對由位平面截斷所截斷的係數值進行統計處理所預備的修正值，通過從修正值表中讀取對應於位平面截斷位置的修正值而得到修 正值。通過使用以此方式得到的修正值對變換係數進行修正，可以將變換係數修正到比以 往更優化的值。例如，和如圖11(C)所示的修正之後的變換係數相比，如圖11(B)所示的修 正之後的變換係數的值更接近於如圖8(A)所示的位平面截斷之前的變換係數，從而使得 變換係數可以修正到比以往更優化的值。因此，可以穩定地抑制由於位平面截斷造成的圖 像中出現的不協調感或混亂感。
3.圖像解碼裝置的第二實施方式 然而，儘管上述變換係數修正部24通過對根據位平面截斷位置截斷的值進行統 計處理確定了優化修正值，然而截斷值的分布隨著輸入的變換係數的特徵而變化，輸入的 變換係數的特徵例如是有效位的位置、顏色成分信息、頻率信息等。這裡，有效位的位置是 當從期望的變換係數的MSB(最高有效位)向該變換係數的LSB(最低有效位)掃描時呈現 第一有效位"l"的位的位置。 這裡，當自然圖像的圖像數據在圖像編碼裝置10中編碼時，在後量化部16中的截 斷值中，當有效位位置從MSB側向LSB側移動時容易呈現截斷位"0"，且"0"與"1"之間的
出現頻率的差異變寬且偏差變大。 因此，第二實施方式關注於截斷值的分布因上下文而不同的事實，所述上下文是 變換係數的特徵，且使用位平面截斷位置的同時還使用上下文(例如，任一有效位位置、顏 色成分信息、頻率信息等或其組合)。以下，描述使用有效位位置的情況。
圖12表示作為變換係數修正部的另一配置的變換係數修正部24a的配置，變換系 數修正部24a使用上下文以及位平面截斷位置對變換係數進行修正。 變換係數修正部24a的重要係數檢測部241檢測從位建模解碼部23提供的變換 係數是否重要，換言之，檢測變換係數是否非"O"，並將檢測結果輸出到修正值獲取部246。
有效位檢測部245檢測從位建模解碼部23提供的變換係數的有效位位置，並輸出 檢測結果。 修正值獲取部246基於從頭信息分析部21提供的位平面截斷位置信息、從重要系
數檢測部241輸出的檢測結果以及從有效位檢測部245輸出的檢測結果獲取修正值。修正
值獲取部246從修正值表247獲取對應於位平面截斷位置與有效位位置的修正值，並將該
修正值設置為在重要係數檢測部241中判斷為重要的係數的修正值。此外，修正值獲取部
246將重要係數檢測部241中判斷為不重要的係數的修正值設置為"0"。 當從修正值獲取部246表示出位平面截斷位置與有效位位置時，修正值表247唯
一地輸出對應於位平面截斷位置與有效位位置的修正值。 係數修正處理部248通過將在修正值獲取部246中獲取的修正值加到從位建模解 碼部23提供的變換係數上，對變換係數進行修正，並將修正之後的變換係數輸出到逆正交 變換部26。 接下來，描述變換係數修正部24a的操作。在下面描述中，對圖8 (B)的變換係數進 行修正，所述圖8(B)的變換係數對應於圖8(A)所示的已進行過截斷的變換係數。例如，當 截斷之前的變換係數為"52、242、12、3、98、105"，且位平面截斷位置為"5、5、3、3、3、4"時， 截斷之後但在修正之前的變換係數變成"48、240、12、0、96、104"。 當對多個學習用圖像數據進行編碼時，變換係數修正部24的修正值表247對用於每個位平面截斷位置的截斷值進行統計處理，並表示出由該統計處理為每個位平面截斷 位置設置的優化修正值。圖13表示修正值表247的另一示例。修正值表247這樣構成， 即能夠從位平面截斷位置及有效位位置指定修正值。例如，當位平面截斷位置為"10"， 且有效位位置為"9、8、7、6、5、4、3、2、1"時，修正值變成"148、0、0、0、0、0、0、0、0"。此外， 當位平面截斷位置為"9"，且有效位位置為"9、8、7、6、5、4、3、2、1"時，修正值變成"95、 90、-、-、-、-、-、-、-"。類似地，根據位平面截斷位置與有效位位置而設置修正值。當位平 面截斷位置為"l"，且有效位位置為"9、8、7、6、5、4、3、2、1"時，修正值變成"0、0、0、0、0、0、 0、0、0"。同時，圖13中的"-"表示對應的情況不存在。 圖14是表示變換係數修正部24a的操作的流程圖。在步驟ST11中，變換係數修 正部24a對變換係數與位平面截斷位置進行輸入。變換係數修正部24a基於從頭信息分析 部21提供的位平面截斷位置信息確定從位建模解碼部23提供的變換係數中的位平面截斷 位置，並隨後通過使用該變換係數與用於每個係數的位平面截斷位置前進到步驟ST12。
在步驟ST12中，變換係數修正部24a判斷變換係數是否大於"0"。在變換係數大 於"0"時，變換係數修正部24a前進到步驟ST13，反之，當變換係數等於"O"時前進到步驟 ST15。 在步驟ST13中，變換係數修正部24a對有效位位置進行檢測。通過從MSB側掃描 變換係數，變換係數修正部24a檢測首次呈現"1"的位的位置，並隨後前進到步驟ST14。
在步驟ST14中，變換係數修正部24a從修正值表獲取修正值。變換係數修正部 24a從修正值表247獲取對應於位平面截斷位置與有效位位置的修正值，並隨後前進到步 驟ST16。 在步驟ST15中，變換係數修正部24a將修正值設為"O"，並隨後前進到步驟ST16。
在步驟ST16中，變換係數修正部24a使用修正值對變換係數進行修正。通過將步 驟ST14或步驟ST15中獲取的修正值加到變換係數上，變換係數修正部24a對變換係數進 行修正，並隨後前進到步驟ST17。 在步驟ST17中，變換係數修正部24a判斷所有變換係數的修正是否結束。當所有 變換係數的修正未結束時，變換係數修正部24a返回步驟STll，並對新變換係數進行修正。 此外，當所有變換係數的修正已結束時，變換係數修正部24a結束變換係數的修正操作。
因此，如圖15(A)所示，當變換係數為"48、240、12、0、96、104"、位平面截斷位置為 "5、5、3、3、3、4"且有效位位置為"6、8、4、無有效位位置、7、7"時，從修正值表輸出的修正值 分別為"6、7、1、無修正值、2、3"。此外，當變換係數等於"O"時，修正值變成"O"。因此，待 加到變換係數"48、240、12、0、96、104"的修正值變成"6、7、1、0、2、3"，且修正之後的變換系 數變成如圖15(B)所示的變換係數"54、247、13、0、98、107"。 從上述可以看出，通過根據有效位位置以及位平面截斷位置獲取修正值，與基於 位平面截斷位置獲取修正值相比，可以將變換係數修正到更優化的值。此外，可以穩定地抑 制由位平面截斷造成的重現圖像中出現的不協調感或混亂感。 此外，當使用其它上下文以及位平面截斷位置與有效位位置時，通過使用能夠從 位平面截斷位置、有效位位置以及其它上下文指定修正值的修正值表，可完成圖16所示的 處理。 在步驟ST21中，變換係數修正部24a對變換係數與位平面截斷位置進行輸入。變
12換係數修正部24a基於從頭信息分析部21提供的位平面截斷位置信息確定從位建模解碼部23提供的變換係數中的位平面截斷位置。此外，變換係數修正部24a通過使用變換係數以及用於每個係數的位平面截斷位置前進到步驟ST22。 在步驟ST22中，變換係數修正部24a判斷變換係數是否大於"0"。在變換係數大於"0"時，變換係數修正部24a前進到步驟ST23，反之，當變換係數等於"0"時前進到步驟ST26。 在步驟ST23中，變換係數修正部24a對有效位位置進行檢測。通過從MSB側掃描變換係數，變換係數修正部24a檢測首次呈現"1"的位的位置，並隨後前進到步驟ST24。
在步驟ST24中，變換係數修正部24a對上下文進行選擇。變換係數修正部24a選擇表示變換係數對應於哪個顏色成分係數的顏色成分信息，或選擇表示變換係數對應於哪個頻率成分係數的頻率信息，作為包括位平面截斷位置在內所使用的上下文，並隨後前進到步驟ST25。可預先設置使用哪個上下文，並能夠由用戶進行選擇。 在步驟ST25中，變換係數修正部24a從修正值表獲取修正值。變換係數修正部24a從修正值表247獲取位平面截斷位置、有效位位置以及對應於步驟ST24中選擇的上下文的修正值，並隨後前進到步驟ST27。 在步驟ST26中，變換係數修正部24a將修正值設為"0"並隨後前進到步驟ST27。
在步驟ST27中，變換係數修正部24a使用修正值對變換係數進行修正。變換係數修正部24a通過將步驟ST25或步驟ST26中獲取的修正值加到變換係數上，對變換係數進行修正，並隨後前進到步驟ST28。 在步驟ST28中，變換係數修正部24a判斷所有變換係數的修正是否結束。當所有變換係數的修正未結束時，變換係數修正部24a返回步驟ST21，並對新變換係數進行修正。此外，當所有變換係數的修正已結束時，變換係數修正部24a結束變換係數的修正操作。
當進行所述處理時，可以為每個顏色成分或為每個頻率成分對變換係數進行更好的修正。 同時，本說明書中描述的一系列處理可由硬體、軟體或其組合進行。當以軟體進行處理時，可以通過將程序安裝於作為專用硬體的一部分的計算機中的存儲器中，以記錄於存儲器上的處理順序執行程序，或通過將程序安裝於能夠進行各種處理的通用計算機中來執行程序。 4.當使用計算機進行圖像解碼時的配置與操作 圖17是表示通過程序進行一系列上述處理的計算機的配置的框圖。 計算機50包括信息處理裝置51、通過信息處理裝置51與總線52所連接的存儲裝
置53、一個以上記錄與重現裝置54以及用戶界面部55，所述戶界面部55配置為滑鼠或鍵
盤等，以便於用戶對這些裝置進行操作和輸入，計算機50還是通過已安裝的程序藉以進行
如上所述的圖像解碼處理的系統。 信息處理裝置51可在存儲裝置53中存儲編碼數據，或在存儲裝置53中存儲解碼圖像數據(運動圖片內容)，或通過使用記錄與重現裝置54在記錄介質中記錄編碼數據或解碼圖像數據，所述編碼數據是通過對存儲於配置為HDD等的存儲裝置53中的運動圖片(motion picture)內容進行編碼得到的，所述解碼圖像數據是通過對存儲於存儲裝置53中的編碼數據進行解碼得到的。此外，信息處理裝 51配置為能夠將記錄介質中記錄的運動圖片內容合併到存儲裝置53中。這種情況下，信息處理器件51可對運動圖片內容進行編碼。 信息處理裝置51包括微處理器511、 GPU(圖形處理單元)512、 XDR(極限數據率)-RAM513、橋514、HDD515、通信接口 (I/F)516以及聲音輸入與輸出編碼解碼器517。
GPU512經由總線521連接於微處理器511。 XDR-RAM513經由總線522連接於微處理器511。橋514經由專用總線連接於微處理器511的I/O控制器5114。
HDD515、USB接口 516以及聲音輸入與輸出編碼解碼器517也連接於橋514。揚聲器61連接於該聲音輸入與輸出編碼解碼器517。此外，顯示器62連接於GPU512。
用戶界面部55、記錄與重現裝置54以及操作控制器56經由PCI總線52也連接於橋514。 用戶界面部55接收用戶的操作與輸入，並將表示用戶的操作與輸入的內容的信號經由PCI總線52與橋514提供給微處理器511。存儲裝置53以及記錄與重現裝置54配置為能夠記錄或再現預定數據。 如有需要，驅動器57連接於PCI總線52，且諸如磁碟、光碟、光磁碟或半導體存儲器的可移除介質58恰當地安裝於驅動器57上。根據需要，從這些介質讀取的電腦程式安裝在HDD515中。 微處理器511是主CPU核5111、經由內部總線5115連接於主CPU核5111的多個子CPU核5112-1 5112-8、存儲器控制器5113以及1/0控制器5114集成於一個晶片上的多核配置。主CPU核5111負責執行諸如OS(作業系統)的基本程序。子CPU核5112-1 5112-8例如為RC(精簡指令集計算機)型信號處理的處理器。存儲器控制器5113例如負責對XDR-RAM513進行存儲控制。I/O控制器5114負責以橋514管理數據的輸入/輸出。
當啟動時，微處理器511讀取存儲於HDD515中的必要的應用程式，基於存儲於HDD515中的控制程序在XDR-RAM513中展開所述應用程式，並此後基於應用程式與操作員的操作進行基本的控制處理。 此外，微處理器511例如通過執行軟體實現上述圖像編碼處理或圖像解碼處理。因此，微處理器可將作為編碼結果得到的編碼流經由橋514提供給HDD515以存儲所述編碼流，或將作為解碼結果得到的運動圖像內容的重現視頻進行數據傳輸到GPU512，從而在顯示器62上顯示重現視頻。 儘管使用微處理器511中的每個CPU核的方法是任意的，例如，主CPU核5111可進行關於圖像編碼處理或圖像解碼處理的控制的處理，並可使八個子CPU核5112-1 5112-8並行地同時執行下述的每個處理，所述每個處理例如有小波變換、係數重新整理、熵編碼、熵解碼、小波逆變換、量化以及逆量化。這種情況下，當主CPU核5111以線路碼組(lineblock)(區塊)為單位將處理分配到關於八個子CPU核5112-1 5112-8的每一個時，以線路碼組為單位並行地同時進行圖像編碼處理或圖像解碼處理。換言之，通過提高圖像編碼處理或圖像解碼處理的效率，可以縮短整個處理的延時，並還可以減少負載、處理時間以及處理所需的存儲容量。當然，每個處理可以由該方法以外的其它方法進行。而且，例如微處理器511的八個子CPU核5112-1 5112-8中的一部分可以進行編碼處理，而其它一部分可並行地同時進行解碼處理。 而且，主CPU核5111還進行由子CPU核完成的處理以外的其他處理。例如，主CPU核5111接收從用戶界面部55或操作控制器56經由橋514提供的指令，並響應於該指令進行各種處理。 在激活顯示於顯示器62上的運動圖片內容的重現視頻時，GPU512進行涉及紋理附件(texture attachment)等的最終渲染處理。此外，GPU512這樣構成，即同時在顯示器62上顯示運動圖片內容的多個重現視頻以及靜止圖片內容的靜止圖像時，進行坐標變換計算處理，或進行用於運動圖片內容的重現視頻與靜止圖片內容的靜止圖像等的擴展與縮減處理，從而降低微處理器511的處理負擔。 該GPU512隨著微處理器511的控制，針對所提供的運動圖片內容的視頻數據或靜止圖片內容的圖像數據進行預定的信號處理，並將作為結果得到的視頻數據或圖像數據發送到顯示器62，從而使圖像顯示於顯示器62上。 當通過軟體進行上述一系列處理時，構成軟體的程序從網絡或記錄介質安裝。該程序可預先記錄於用作記錄介質的例如硬碟或ROM(只讀存儲器)中。或者，程序可暫時地或永久地存儲(記錄)於諸如軟盤、CD-ROM(只讀光碟)、MO(磁光)盤、DVD(數字式多用盤)、磁碟以及半導體存儲器等可移除記錄介質中。所述可移除記錄介質可作為所謂的套裝軟體提供。 包括從如上所述的可移除記錄介質安裝到計算機中在內，程序可從下載網站無線地傳輸到計算機，或通過使用網線經由LAN(區域網)或稱為網際網路的網絡傳輸到計算機。同時，計算機接收以此方式傳輸的程序，並隨後允許程序安裝於諸如內部硬碟的記錄介質中。 在上面描述中，儘管描述了微處理器511中嵌入有八個子CPU核的配置，然而不限於此，子CPU核的數目是任意的。而且，微處理器511可以由單核(一個核)構成。此外，取代微處理器511 ，可以使用多個CPU，且還可使用多個信息處理裝置。
本發明不應解釋為局限於此處所述的實施方式。為了說明的目的公開了本發明的實施方式，且本領域的技術人員應當明白，在不脫離本發明的範圍內，可對實施方式進行各種變化或替代等。即，可以參考權利要求書以便確定本發明的主旨。
權利要求
一種圖像解碼裝置，其包括信息獲取部，其用於從通過對由圖像數據的頻率轉換所得到的變換係數進行位平面編碼處理所產生的編碼流中，獲取所述編碼流中的位平面截斷位置的信息；解碼處理部，其用於對所述編碼流進行解碼處理並產生變換係數；重要係數檢測部，其用於檢測所述解碼處理部中所產生的所述變換係數是否重要；修正值獲取部，其用於從修正值表中獲取在所述重要係數檢測部中被檢測為重要的變換係數中的所述位平面截斷位置所對應的修正值，在所述修正值表中為每個所述位平面截斷位置存儲有通過對由所述位平面截斷所截斷的係數值進行統計處理所預備的修正值；以及係數修正處理部，其使用在所述修正值獲取部中所獲取的所述修正值，僅對在所述重要係數檢測部中被檢測為重要的變換係數進行係數修正處理。
2. 如權利要求1所述的圖像解碼裝置，其中，在所述修正值表中為作為所述圖像數據的特徵的每個上下文存儲有所述修正值，以及其中，所述修正值獲取部從所述修正值表中獲取對應於所述位平面截斷位置與所述上下文的修正值。
3. 如權利要求2所述的圖像解碼裝置，其中，所述上下文是所述變換係數的有效位位置，其中，所述圖像解碼裝置還設有有效位檢測部，所述有效位檢測部用於檢測在所述解碼處理部中得到的所述變換係數的有效位位置，以及其中，所述修正值獲取部通過使用在所述有效位檢測部中檢測到的所述有效位位置來獲取所述修正值。
4. 如權利要求2所述的圖像解碼裝置，其中，所述上下文是表示所述變換係數對應於哪個顏色成分係數的顏色成分信息以及表示所述變換係數對應於哪個頻率成分係數的頻率成分信息的任一個或其組合，其中，所述信息獲取部從所述編碼流中獲取所述顏色成分信息或所述頻率成分信息，以及其中，所述修正值獲取部通過使用在所述信息獲取部中獲取的所述顏色成分信息或所述頻率成分信息來獲取所述修正值。
5. 如權利要求1所述的圖像解碼裝置，其中，在所述修正值表中為每個位平面截斷位置存儲有中央值，所述中央值代表由所述位平面截斷所截斷的所述係數值的分布。
6. —種圖像解碼方法，其包括以下步驟從通過對由圖像數據的頻率轉換所得到的變換係數進行位平面編碼處理所產生的編碼流中，由信息獲取部獲取所述編碼流中的位平面截斷位置的信息；由解碼處理部對所述編碼流進行解碼處理並產生變換係數；由重要係數檢測部檢測所述解碼處理部中所產生的所述變換係數是否重要；由修正值獲取部從修正值表中獲取在所述重要係數檢測部中被檢測為重要的變換係數中的所述位平面截斷位置所對應的修正值，在所述修正值表中為每個位平面截斷位置存儲有通過對所述位平面截斷所截斷的係數值進行統計處理所預備的修正值；以及由係數修正處理部使用在所述修正值獲取部中獲取的修正值，僅對在所述重要係數檢測部中被檢測為重要的變換係數進行係數修正處理。
7. —種使計算機執行以下功能的電腦程式從通過對由圖像數據的頻率轉換所得到的變換係數進行位平面編碼處理所產生的編碼流中，獲取所述編碼流中的位平面截斷位置的信息；對所述編碼流進行解碼處理並產生變換係數；檢測通過對所述編碼流進行解碼處理產生的變換係數是否重要；從修正值表中獲取在重要係數檢測部中被檢測為重要的變換係數中的所述位平面截斷位置所對應的修正值，在所述修正值表中為每個位平面截斷位置存儲有通過對由所述位平面截斷所截斷的係數值進行統計處理所預備的所述修正值；以及使用從所述修正值表中獲取的所述修正值，僅對被檢測為重要的所述變換係數進行係數修正處理。
全文摘要
本發明提供了一種圖像解碼裝置，其包括信息獲取部，其從通過對變換係數進行位平面編碼產生的編碼流中獲取編碼流中的位平面截斷位置的信息；解碼處理部，其對編碼流進行解碼處理並產生變換係數；以及重要係數檢測部，其檢測解碼處理部中產生的變換係數是否重要。所述圖像解碼裝置還包括修正值獲取部，其從修正值表中獲取對應於被檢測為重要的變換係數中的位平面截斷位置的修正值；以及係數修正處理部，其使用修正值獲取部中獲取的修正值，僅對在重要係數檢測部中被檢測為重要的變換係數進行係數修正處理。由於使用優化修正值對變換係數進行修正，因此，可以穩定地抑制重現圖像中出現的不協調感或混亂感。
文檔編號H04N7/26GK101742309SQ200910211089
公開日2010年6月16日 申請日期2009年11月11日 優先權日2008年11月11日
發明者和田祐司, 嶋內和博, 池田廣志 申請人:索尼株式會社