用於對圖像編碼和解碼的設備及其方法
2023-08-09 12:10:01 3
專利名稱：用於對圖像編碼和解碼的設備及其方法
技術領域：
本發明涉及圖像編碼和解碼，更具體地說，本發明涉及一種圖像編碼和/或解碼設備及其方法，所述設備用於利用通過使用不具有主觀損耗的容許噪聲確定的量化參數對圖像編碼，並對編碼的比特流解碼。
背景技術：
到目前為止，已經進行了許多將人類視覺系統應用於圖像編碼的試驗。這些研究是基於評價恢復的圖像的畫面質量的人類視覺能力與信號處理的簡單透視不匹配。然而，在圖像編碼領域，許多提案仍舊以人類感覺的噪聲與信號噪聲相同的假設來開始它們的研究。具體說來，可將均方差(MSE)稱為最廣泛使用的信號噪聲，通過峰值信號噪聲比(PSNR，peak signal to noiseratio)用數字表示對根據MSE恢復的圖像的畫面質量等級的評價。
最少可察失真(JND)值作為通常廣泛使用的視覺特徵指數。對一個像素值通過考慮鄰近像素值的相對改變程度來計算JND值，並且JND值對人們無法識別複雜背景下的較大噪聲的特徵進行建模。在圖像的編碼中，在每個像素中獲得的JND值被用於在量化處理中額外調整量化參數。通過這一處理，使得人類視覺特徵敏感的區域產生較少的噪聲，並使得人類視覺特徵不敏感的區域產生較多的噪聲，從而可提高壓縮率。
同時，除JND值之外，可考慮頻域中的人類視覺特徵。為此，從各種測試圖像依據經驗獲得人類視覺特徵的調製傳遞函數，通過使用該函數，用於離散餘弦變換(DCT)係數的每個頻帶的量化權值被提取。
這些通過使用JND值或量化權重將人類視覺特徵應用於圖像編碼的方法具有許多限制。當使用量化權重時，出現僅涉及頻率分量的權值被均勻應用的問題。此外，因為人類視覺特徵不僅依賴於與鄰近像素值的相對值，所以JND值的應用存在問題。此外，由於應該對於每個像素值計算JND值，所以應該以像素為單位來更改量化參數，其中，量化參數主要被提供以用於控制比特的數量。因此，在更改之前的單獨的信息應該被傳遞到解碼器，或者解碼器中的JND值應該被計算為與編碼器中的JND值相同的值。此時，主要問題在於解碼器僅具有再現的值，因此，編碼器應該利用如在解碼器中的再現的值來計算JND值。
涉及應用人類視覺特徵的圖像編碼的文檔包括Bowonkoon Chitprasrt和K.R.Rao的論文「Human Visual Weighted Progressive Image Transmission」(IEEE Trans.Communications，vol.38，pp.1040-1044，1990年7月)，ISO/IEC1172-2，Information Technology-Coding of Moving Pictures and AssociatedAudio for Digital Storage Media at Up to About 1.5 Mbits/s Part 2Video，1993以及King N.Ngan，Kin S.Leong和H.Singh的論文「Adaptive Cosine TransformCoding of Image in Perceptual Domain」(IEEE Trans.Acoustics，Speech andSignal Processing，vol.37，pp.1743-1750，1989年11月)。
發明內容
發明的技術目的本發明提供一種圖像編碼和解碼方法以及圖像解碼設備及其方法，其中，所述圖像編碼和解碼方法用於利用通過使用不具有任何主觀損耗的容許噪聲確定的量化參數對圖像編碼。
本發明還提供一種圖像編碼和解碼方法以及圖像解碼設備及其方法，其中，通過所述圖像編碼和解碼方法，利用通過使用不具有任何主觀損耗的容許噪聲確定的量化參數將圖像量化，將每個編碼塊劃分為質量層，按照每個質量層的掃描順序對量化的圖像編碼。
發明公開根據本發明的一方面，提供一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗餘；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數確定單元，通過使用容許噪聲確定量化參數；量化單元，通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；以及熵編碼單元，對量化的係數進行熵編碼以去除統計冗餘。
根據本發明的另一方面，提供一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗餘；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數確定單元，通過使用容許噪聲確定量化參數；量化單元，通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；質量層確定單元，通過使用容許噪聲確定質量層；以及熵編碼單元，按照對於質量層的掃描順序對量化的係數進行熵編碼以去除統計冗餘。
根據本發明的另一方面，提供一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗餘；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數；通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；以及對量化的係數進行熵編碼以去除統計冗餘。
根據本發明的另一方面，提供一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗餘；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數；通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；確定對於使用容許噪聲確定的質量層的掃描順序；以及按照對於質量層的掃描順序對量化的係數進行熵編碼以去除統計冗餘。
根據本發明的另一方面，提供一種圖像解碼設備，包括熵解碼單元，通過對輸入比特流進行熵解碼來產生量化的係數；反量化單元，通過對量化的係數進行反量化來產生變換係數；以及反變換單元，通過對變換係數進行反變換來產生恢復的圖像。
根據本發明的另一方面，提供一種圖像解碼方法，包括通過對輸入比特流進行熵解碼來產生量化的係數；通過對量化的係數進行反量化來產生變換係數；以及通過對變換係數進行反變換來產生恢復的圖像。
根據本發明的另一方面，提供一種包含用於執行所述方法的電腦程式的計算機可讀記錄介質。
發明的效果根據本發明，通過利用使用不具有任何主觀損耗的容許噪聲確定的量化參數對圖像編碼和解碼，從而可顯著提高編碼效率以及恢復的圖像的主觀畫面質量。
此外，利用通過使用不具有任何主觀損耗的容許噪聲確定的量化參數將圖像量化，將每個編碼塊劃分為質量層，並按照每個質量層的掃描順序對量化的圖像編碼。通過這樣處理，提供可分級功能，並且可顯著提高編碼效率以及恢復的圖像的主觀畫面質量。
儘管已經參照本發明的示例性實施例具體示出並描述了本發明，但是本領域的技術人員應理解在不脫離由權利要求限定的本發明的精神和範圍的情況下，可進行形式和細節上的各種改變。應該將所述優選實施例理解為僅具有示例性作用，而不是為了限制的目的。因此，本發明的範圍並不由對本發明的詳細描述來限定，而是由權利要求限定，所述範圍內的所有差異將被解釋為包括在本發明中。
圖1是示出根據本發明實施例的圖像編碼設備的結構的框圖；圖2示出根據本發明實施例對樹葉進行彩色量化的結果；圖3示出原始圖像與根據本發明實施例的圖2所示的彩色量化結果之間的誤差圖像；圖4示出根據本發明實施例的在圖1的容許噪聲獲得單元中相對於原始圖像以編碼塊為單位獲得的容許噪聲；圖5示出根據本發明實施例的圖1的量化參數確定單元的操作；圖6示出根據本發明實施例為了設置上下文在圖1的熵編碼單元中使用的3×3窗；圖7示出根據本發明實施例的在圖1的熵編碼單元中用於位平面編碼的lazy比特；圖8示出根據本發明實施例的圖1的掃描順序確定單元的操作；圖9示出根據本發明實施例的取決於在圖8中確定的質量層的掃描順序；圖10是根據本發明實施例的圖像解碼設備的結構的框圖；圖11的(a)到(d)示出根據本發明實施例的用於評價圖像編碼和解碼算法的性能的測試圖像；圖12的(a)到(d)示出對於圖10的(a)測試圖像根據本發明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較；圖13的(a)到(d)示出對於圖10的(b)測試圖像根據本發明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較；圖14的(a)到(d)示出對於圖10的(c)測試圖像根據本發明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較；以及圖15的(a)到(d)示出對於圖10的(d)測試圖像根據本發明實施例的圖像編碼和解碼算法與JPEG2000的圖像編碼和解碼算法的比較。
具體實施例方式
現在將參照附圖更加全面地描述本發明，在附圖中示出本發明的示例性實施例。
圖1是示出根據本發明實施例的圖像編碼設備的結構的框圖。圖像編碼設備包括變換單元110、容許噪聲獲得單元130、量化參數確定單元150、量化單元170和熵編碼單元190。此外，可選地，可包括掃描順序確定單元180。
參照圖1，將變換單元110設置為用於去除在正輸入的幀圖像中的空間和時間冗餘，並且變換單元110可使用在商業化的圖像或視頻壓縮標準中使用或設置的DCT、小波變換、預測或整數變換。然而，變換方法並不受限於這些。優選地，可採用小波變換。
將容許噪聲獲得單元130設置為用於從輸入的原始圖像獲得容許噪聲，並將獲得的容許噪聲提供給量化參數確定單元150。這裡，容許噪聲所起的作用類似於在基於感知的音頻編碼中使用的掩蔽閾值所起的作用。通過使用彩色量化算法作為實施例，獲得容許噪聲。
將量化參數確定單元150設置為用於通過使用在容許噪聲獲得單元130中獲得的容許噪聲來對於每個編碼塊單位確定一個量化參數，並將量化參數提供給量化單元170。也就是說，量化參數確定單元150確定每個編碼塊的量化參數，從而作為編碼塊的量化結果而產生的量化噪聲可等於或小於容許噪聲。
對於變換單元110提供的每個編碼塊的變換係數，將量化單元170設置為用於通過使用在量化參數確定單元150中確定的編碼塊的量化參數對編碼塊進行量化，並將編碼塊的量化的變換係數提供給熵編碼單元190。
將掃描順序確定單元180設置為用於通過使用任意數量的質量層來確定掃描順序，每個質量層包括通過使用對於該層的容許噪聲確定的位平面。這裡，質量層指示邊界，當傳輸中出現由於嵌入式編碼產生的損耗時，該邊界可影響恢復的圖像的畫面質量，即，圖像的質量。首先，在最高比特率的情況下，通過可滿足確保第一質量的第一代價函數的色數(k)來確定第一容許噪聲(τk)。通過使用第二容許噪聲(τm)來確定第一質量層，其中，通過小於確定第一容許噪聲(τk)的色數(k)的色數(m)來獲得所述第二容許噪聲(τm)，從而可滿足確保低於第一質量的第二質量的第二代價函數。同樣地，通過使用第三容許噪聲(τn)來確定第二質量層，其中，通過小於確定第二容許噪聲(τm)的色數(m)的色數(n)來獲得所述第三容許噪聲(τn)，從而可滿足確保低於第二質量的第三質量的第三代價函數。此時，可在編碼的初始階段，預先將質量層的數量以及與每個質量層相應的代價函數輸入掃描順序確定單元180。也就是說，掃描順序為從較高的質量層到較低的質量層。
熵編碼單元190通過去除由量化單元170提供的每個編碼塊的量化的變換係數中的統計冗餘來產生比特流。此時，在最高比特率，通過以編碼塊為單位來掃描數據，執行熵編碼。同時，在次比特率(sub bitrate)，通過根據在掃描順序確定單元180中確定的掃描順序以質量層為單位掃描數據來執行熵編碼。熵編碼單元190可執行嵌入式編碼，以便提供可分級功能。此時，應用在提供精細粒度可分級(FGS)功能的MPEG-4音頻編解碼器中使用的比特分片算術編碼(BSAC)算法。此外，可應用自適應算術編碼，通過自適應算術編碼，自適應地更新基本上下文(basic context)，以便增強BSAC算法的壓縮效率。因此，應用於本發明的熵編碼算法將被稱為基於上下文的自適應算術編碼算法。
圖2示出根據本發明實施例對樹葉進行彩色量化的結果。圖2的(a)示出原始圖像，圖2(b)示出利用色數10進行彩色量化的結果，圖2的(c)示出利用色數30進行彩色量化的結果，並且圖2的(d)示出利用色數41進行彩色量化的結果。圖3示出原始圖像與根據本發明實施例的圖2所示的彩色量化結果之間的誤差圖像。圖3的(a)示出原始圖像，圖3的(b)示出原始圖像與利用色數10進行彩色量化的圖像之間的誤差圖像，圖3的(c)示出原始圖像與利用色數30進行彩色量化的圖像之間的誤差圖像，並且圖3的(d)示出原始圖像與利用色數40進行彩色量化的圖像之間的誤差圖像。這裡，通過將128的偏移量添加到R、G和B色中的每一個來獲得每個誤差圖像。
在解釋容許噪聲獲得單元130的詳細操作之前，現將簡要解釋彩色量化算法。
在通常廣泛使用的圖像中，像素由R、G、B三分量組成，每個分量由8比特表示。在這種情況下，表示圖像的彩色的總數是224，這意味著可被表示的彩色數量非常大。然而，人類感知無法區分該數量的彩色中的每一種，而且這種感知根據鄰近像素的彩色分布以及色值本身而以各種方式改變。作為彩色量化算法的示例，有一種彩色量化算法使用Fibonacci Lattice以及對於彩色的人類視覺距離相對匹配Lab空間中的數值距離的特徵(AleksandraMojsilovic和Emina Soljanin，「Color Quantization and Processing by FibonacciLattices」，IEEE Trans.Image Processing，vol.10，pp.1712-1725，2001年11月)。根據該算法，利用較少的彩色數量，即，512或1024，可產生觀察者無法容易地將其與原始圖像區分的恢復的圖像。在彩色量化算法的另一示例中，通過使用對像素的校正、亮度噪聲、亮度對比噪聲來定義新的圖像噪聲(ZhouWang和Alan C.Bovik，「Universal Image Quality Index」，IEEE SignalProcessing Letters，vol.9，pp.81-84，2002年3月)。在彩色量化算法的另一示例中，利用同質性(homogeneity)和獨特性(distinctiveness)對人類感知進行建模，並且將每個圖像中對於感知的敏感度表示為權值。通過使用這一權值，利用較少數量的彩色來表示圖像(Kuk-Jin Yoon和In-So Kweon，「HumanPerception Based Color Image Quantization」，17th International Conference onPattern Recognition，2004年8月)。這一算法的特徵在於在使用通過使用視覺特徵提取的圖像權值的彩色量化中，根據漸進彩色量化和定義的代價函數來確定最優色數(n)。因此，通過這一處理，可從包括2種顏色的量化圖像單位獲得最多包括n種顏色的量化的圖像。同時，關於彩色矢量量化概念使用圖像編碼中的彩色量化算法。也就是說，在執行彩色量化之後，通過熵編碼對用於將量化的值映射到實際像素值的映射表以及由量化的像素組成的索引圖像進行壓縮(Zhu Li和Aggelos K.Katsaggelos，「Color VectorQuantization based Video Coder」，IEEE International Conference on ImageProcessing，vol.3，pp.673-676，2002年10月)。
容許噪聲獲得單元130通過使用以幀為單位或者以預定塊為單位的原始圖像的彩色量化結果來獲得容許噪聲。現在將對此進行更加詳細的解釋。假設原始圖像是α(x，y)(以下，稱為α)，經過利用色數k進行彩色量化的圖像是βk(x，y)(以下，稱為βk)，其中，假設α和βk在視覺上等同。這裡，α和βk相對於任意整數k可表示為以下的等式1α＝βk+τk...(1)這裡，τk是原始圖像(α)和經過利用色數k進行彩色量化的圖像(βk)的誤差圖像。
此時，可獲得滿足以下等式的整數hh＝mink[k；α≈βk]...(2)
在等式2中，可存在用於找到整數h的多種方式。例如，定義可滿足等式2的適當的代價函數，並且通過將色數從2逐漸增加到n，確定原始圖像和彩色量化圖像的誤差圖像可滿足代價函數的最小色數。
同時，對於任意整數k(≥h)，即使通過用滿足下面等式3的任意噪聲(e)來代替誤差圖像(τk)來產生圖像(γ)，仍舊存在關係α≈βk≈γe≤τk...(3)這裡，將誤差圖像(τh)定義為容許噪聲，當等於或小於容許噪聲的噪聲被包括時，原始圖像和量化的圖像是等同的。也就是說，在所述兩種圖像之間不存在主觀損耗。作為示例，通過以編碼塊為單位將存在於預定誤差圖像(τh)中的各個像素值或它們的絕對值劃分為預定塊來獲得容許噪聲。
圖4示出在圖1的容許噪聲獲得單元130中相對於原始圖像以像素為單位獲得的容許噪聲。這裡，在曲線圖中，以編碼塊為單位來獲取並表示誤差圖像(τk)中的像素值的絕對值。
圖5示出根據本發明實施例的圖1的量化參數確定單元150的操作。對於每個編碼塊確定一個量化參數。例如，編碼塊B0具有量化參數Qp0，編碼塊B8具有量化參數Qp8，並且編碼塊B16具有量化參數Qp16。參照圖5，現在將解釋通過使用容許噪聲確定最大量化參數，以便產生等於或小於容許噪聲的量化噪聲(即，編碼誤差)的方法。
在通過使用量化參數(Qp)對原始圖像(α)進行量化之後，通過使用同樣的量化參數(Qp)經由反量化來恢復圖像(α′)。可將恢復的圖像(α′)表示為以下的等式4α′＝Ψ(α，Qp)...(4)這裡，ψ是指示通過使用量化參數(Qp)對原始圖像(α)進行量化，然後通過使用同樣的量化參數(Qp)進行反量化的處理。這裡，可通過應用各種算法來執行量化和反量化。例如，可應用具有靜區的均勻量化算法。此時，可將量化和反量化表示為下面的等式5和6。等式5和6被設計用於通過將通過對量化參數加倍獲得的值劃分為6個相等部分來執行量化X′＝sign(X)*|X|*2Qp*(-1/6)+0.5...(5)X＝sign(X′)*|X′|*2Qp*(-1/6)...(6)同時，可將量化噪聲表示為下面的等式7Δ＝α′-α...(7)
由於量化參數(Qp)是將被編碼的信息，所以分別對所有像素的量化參數(Qp)進行編碼是非常沒有效率的。因此，將原始圖像(α)劃分為預定大小的塊單位(例如，編碼塊單位)，並對於每個編碼塊單位確定量化參數。假設任意編碼塊為αb，編碼塊αb的量化參數為Qpb。可將等式4和5表示為下面的等式8和9αb′＝Ψ(αb，Qpb)...(8)Δb＝αb′-αb＝Ψ(αb，Qpb)-αb...(9)如果等式9與容許噪聲相關，則可將編碼塊的量化參數表示為下面的等式10Qpb=minQpb(b-b)]]>=minQpb(b-(b-b))]]>=minQpb(b-((b,Qpb)-b))]]>=minQpb(b-b-((b,Qpb))]]>=minQpb(b-((b,Qpb))...(10)]]>這裡，τb和Δb是存在於整個誤差圖像中的編碼塊的容許噪聲，以及編碼塊(τb)的量化噪聲。由於可在獲得容許噪聲之後得知這些值，所以可將其設置為常數ηb。
為了確定每個編碼塊的量化參數(Qpb)，採用按照預定的變化步長從較小的值逐漸增大到較大的值的方法，但是本發明並不必然受限於此。編碼塊的量化參數(Qpb)的初始值和變化步長具有計算量和精確度的權衡關係。在圖5所示的容許噪聲曲線圖中，為每個編碼塊(B0～B17)標記的粗線指示為該編碼塊設置的容許噪聲的極限值。也就是說，確定每個編碼塊的量化噪聲，從而可產生等於或小於為每個編碼塊設置的容許噪聲極限值的量化噪聲。
同時，可將使用容許噪聲的圖像編碼應用於各種類型的編碼器。例如，假設將在編碼中使用的變換處理和反變換處理分別定義為下面的等式11和12y＝Φ(X)...(11)x＝Φ-1(y)...(12)此時，通過使用變換的概念，可將等式1表示為下面的等式13Φ(α)＝Φ(βk+τk)...(13)
如果變換概念的線性被使用，則可將等式13表示為下面的等式14Φ(α)＝Φ(βk)+Φ(τk)...(14)如果塊的概念被引入，則可將等式14表示為下面的等式15Φb(α)＝Φb(βk)+Φb(τk)...(15)從等式14和15可知可在以整個圖像為單位的變換以及以塊為單位的變換兩種情況下使用容許噪聲的概念。
再次參照圖1，考慮到壓縮效率、可分級功能和複雜度，熵編碼單元190通過使用基於上下文的自適應算術編碼的嵌入式編碼來執行熵編碼。此時，對於基於上下文的自適應算術編碼，設置上下文。從處理的數據的上下文來預測當前符號的概率值，並將其應用於算術編碼。因此，需要解釋上下文，以便可適當地預測概率值。在上下文的選擇中，選擇與當前符號高度相關的上下文。
同時，為了對於原始圖像形成多個層的結構以進行嵌入式編碼，變換單元110可執行多層小波濾波。由於每一層提供關於不同解析度的信息連同關於上層的信息，所以多層小波濾波可提供空間分級。頂層僅由低-低(LL)子帶組成，剩餘的較低層分別由低-高(LH)子帶、高-低(HL)子帶和高-高(HH)子帶組成。為了再現每一層，關於上層的信息全部被提供。因此，用於熵編碼的層的順序從頂層開始向較低層進行。
同時，為了對形成每一層的子帶執行熵編碼，定義編碼塊。編碼塊的大小可相對於層而變化，當編碼被執行時，可利用編碼參數來定義編碼塊。編碼塊可用作用於確定量化參數的單位、用於提供關於與量化的係數值有關的最高有效位(MSB)的信息的單位、用於提供關於lazy比特的信息的單位以及用於掃描塊的單位。熵編碼單元190按照塊掃描單位，即，以編碼塊為單位來執行位平面編碼。也就是說，通過按照掃描線順序從MSB到最低有效位(LSB)掃描像素的比特來執行編碼。
現在，將更加詳細地解釋被應用於熵編碼單元190的基於上下文的自適應算術編碼。
當對於量化的係數進行熵編碼的最小輸入單位被稱為符號時，因為BSAC算法用於對量化的係數的位平面編碼，所以所述符號具有0和1中的任何一個值。因此，應用於本發明的BSAC算法基本上是二進位算術編碼。作為為了選擇每個符號的上下文而應該考慮的要素，每個上下文與每個符號的相關性應該被考慮。也就是說，如果上下文與每個符號的相關性較高，則可更加精確地預測符號的概率值，根據精確的概率值，可在執行算術編碼時增加壓縮效率。作為為了選擇上下文而應該連同相關性考慮的要素，上下文的可發生性(causability)應該被考慮。也就是說，由於在編碼器中使用的上下文應該包括與將在解碼器中使用的上下文的值相等的值，所以上下文包括已經被處理和編碼的符號或附加信息項。同時，作為為了選擇上下文而應該連同相關性考慮的另一要素，複雜度應該被考慮。由於BSAC算法將所有量化的係數的從MSB到LSB的所有比特看作符號，所以將被處理的符號的數量非常大。如果每個符號的上下文的類型過多，則壓縮效率可被提高，但是這樣會對於編碼器和解碼器中的存儲器容量和處理速度的各方面施加較重的負擔。具體說來，在自適應算術編碼的情況下，過多的各種上下文相對於新的比特模式可降低自適應速度，從而可降低壓縮效率。
為了對每個符號設置上下文，通過考慮鄰近像素之間的相關性較高的圖像的複雜度和特徵，作為示例，熵編碼單元190在一個編碼塊中設置以每個符號的像素為中心的3×3窗。根據這一處理，可建立關於包括在一個窗中的像素的上下文。圖6示出在圖1的熵編碼單元190中為了設置上下文而應用於任意編碼塊的3×3窗。
接著，為了執行位平面編碼，通過按照下面的等式16預測任意位平面(j)的概率值來執行二進位算術編碼P(j)＝f(l，b，j-L，vj，wj)，j≥L＝1/2，j＜L...(16)這裡，j是符號的位平面號碼，l是層號碼，b是子帶號碼。L是lazy比特，vj是在第(j+1)位平面中出現的1的數量，wj是已經在第j位平面中處理的位模式。
同時，根據下面的等式17來確定lazy比特(L)L＝MSB(m)...(17)這裡，m是包括在編碼塊中的像素的平均值，MSB(x)是在表示x的位平面中具有值1的最高比特位置。
圖7示出根據本發明實施例在圖1的熵編碼單元190中用於位平面的編碼的上下文。
參照圖7，例如，通過使用就在第j位平面上面的第(j+1)位平面的比特720和在第j位平面中已經處理的4比特模式710來確定包括在第j位平面中的符號710的上下文。同時，在低於lazy比特(L)的位平面(即，lazy平面)中，將概率值設置為固定值1/2。由於對低於lazy比特(L)的位平面中的符號沒有執行單獨的上下文計算，所以可同樣減少計算量。如果存在利用不同的量化參數值量化的各種係數，則lazy比特的使用提供相對位平面值(j-L)，從而可顯著提高編碼效率。
圖8示出根據本發明實施例的圖1的掃描順序確定單元180的操作。
在熵編碼單元190中，可在最高比特率獲得噪聲在主觀上被最小化的恢復的圖像。此外，由於通過基於上下文的算術編碼提供空間和SNR分級，所以一旦產生比特流，就可關於目的按照需要來截斷比特流，並且該比特流可用於再現。現在，將解釋當部分比特流如此使用時出現的畫面質量優化的問題。
為了優化從部分比特流再現的圖像的畫面質量，可考慮在建立比特流時將重要信息置於前面的部分，以及在主觀畫面質量方面優化具有任意大小的比特流。也就是說，當部分比特流被截斷時，從整個比特流的末端執行截斷。因此，將對於畫面質量具有較大影響的重要信息置於前面的部分。這些均與熵編碼的掃描順序密切相關。
在熵編碼單元190中，在最高比特率，根據基於上下文的自適應算術編碼以編碼塊為單位來掃描數據，並關於每個位平面在掃描線方向掃描每個編碼塊。為了優化次比特率，可考慮編碼塊的掃描順序、編碼塊中像素的掃描順序以及位平面中的掃描順序。對於編碼塊的掃描順序以及編碼塊中像素的掃描順序，存儲器使用量或複雜度方面應被一起考慮。此外，當必要時，可使用用於設置掃描順序以便優先掃描重要編碼塊和重要像素的表，或者可自適應地改變掃描順序。
在基於上下文的自適應算術編碼中，一個編碼塊中從MSB到LSB的所有比特平面被掃描，然後另一掃描塊被掃描。這種掃描方法涉及均方差(MSE)的概念，並且基於以下假設每個像素相對於位平面的重要性隨著到MSB的距離的減少而增加。因此，在最高比特率，可應用這一假設，但是這一假設可限制性應用於次比特率。
為了解決這一問題，在掃描順序確定單元180中，關於量化的係數來確定質量層。質量層是在優化截斷的嵌入式塊編碼(EBCOT)算法中採用的方法(David Taubman，「High Performance Scalable Image Compression withEBCOT」，IEEE Trans.Image Processing，vol.9，pp.1158-1170，2000年7月)。在掃描順序確定單元180中，用於位平面編碼的任意數量的質量層被安置。一個質量層包括通過對於該層使用容許噪聲確定的位平面。在構建的質量層中，從最高質量層開始執行掃描。
現在將解釋如何通過使用容許噪聲在次比特率實現視覺噪聲方面的優化。
假設質量層的數量是n，包括n個質量層(即，圖9的L0、L1等)的比特流(v)可被表示為v＝v0v1，...，vn-1。這裡，假設對比特流(v)解碼的處理是ω＝Γ(v)，可通過可分級功能獲得n個再現圖像，即，ω0＝Γ(v0)、ω1＝Γ(v0v1)、...、ωn-1＝Γ(v0v1...vn-1)＝Γ(v)。此時，可將關於每個再現圖像的誤差圖像表示為ε0＝ω0-α、ε1＝ω1-α、...、εn-1＝ωn-1-α。為了獲得將在每個階段使用的容許噪聲(圖8的830和850)，首先獲得從原始圖像經過彩色量化的圖像。這些彩色量化的圖像β0、β1、...、βn-1具有如下面的等式18的特徵α≈βn-1Ψ(βp)＜Ψ(βq)，p＜q...(18)這裡，Ψ(β)是圖像β中顏色的數量。
根據下面的等式19來獲得關於每個彩色量化的圖像的容許噪聲(τi)τi＝α-βi，i＝0，...n-1...(19)假設在等式13中的每個階段經過彩色量化的圖像βi對於給定的色數(i)再現視覺上的最佳圖像，如果等式19被滿足，則可以說在基於人類視覺特徵的R-D曲線上的每個次比特率實現了對於每個質量層的優化。也就是說，存在如等式20的關係εi＝τii＝0，...，n-1...(20)圖10是根據本發明實施例的圖像解碼設備的結構的框圖。解碼設備包括熵解碼單元1010、反量化單元1030以及反變換單元1050。
參照圖10，熵解碼單元通過對輸入比特流進行熵解碼來產生量化的係數。熵解碼處理相應於圖1所示的圖像編碼設備的熵編碼處理的反處理。
反量化單元1030通過對由熵解碼單元1010提供的量化的係數進行反量化來產生變換係數。反量化處理相應於圖1所示的圖像編碼設備的量化處理的反處理。
反變換單元1050通過對由反量化單元1030提供的變換係數進行反變換來產生恢復的圖像。反變換處理相應於圖1所示的圖像編碼設備的變換處理的反處理。
接著，現在將解釋為了評價根據本發明實施例的圖像編碼和解碼算法的性能而執行的比較試驗。測試圖像具有512×512的大小，並且使用彩色的YUV444格式。對於小波分解和合成，9/7濾波器用於Y分量，5/3濾波器用於U和V分量。所使用的濾波器的係數值與用於JPEG2000的相同。同時，所有小波濾波器被實現為具有提升結構。小波分解可被執行到第5步驟，並且總共6步驟的空間可分級圖像可被恢復。此時，按照下面的表1來設置編碼塊表1
用於比較試驗的JPEG2000軟體是在JPEG2000網站(http//www.jpeg.org/jpeg2000/index.html)公開的參考軟體，即，Jasper版本1.701.0。此時，將編碼器選項設為默認值，並執行試驗。
圖11的(a)到(d)分別示出作為測試圖像的示例的狒狒、回形針、鸚鵡和樹葉。每個圖像具有512×512的大小，並且R、G和B分量中的每一個有8比特長。
當執行根據本發明的編碼和解碼算法時沒有執行MSE概念中的R-D優化處理，而在JPEG2000中執行MSE中的R-D優化處理。關於在這種環境下測量的PSNR，在亮度分量的情況下，根據JEPG2000解碼的圖像關於測試圖像的類型和壓縮率顯示出大約高出0.8dB的值。
下面的表2示出分別通過本發明和JPEG2000解碼的圖像的PSNR值的比較，並顯示出在數據中存在PSNR差表2
同時，圖12的(a)和(c)是當將本發明應用於狒狒時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，並且圖12的(b)和(d)是當將JPEG2000應用於狒狒時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。圖13的(a)和(c)是當將本發明應用於回形針時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，並且圖13的(b)和(d)是當將JPEG2000應用於回形針時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。圖14的(a)和(c)是當將本發明應用於鸚鵡時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，並且圖14的(b)和(d)是當將JPEG2000應用於鸚鵡時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。圖15的(a)和(c)是當將本發明應用於樹葉時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像，並且圖15的(b)和(d)是當將JPEG2000應用於樹葉時分別通過20∶1和50∶1的壓縮率進行編碼和解碼而獲得的圖像。
因此，圖12到圖15證實根據本發明和JPEG2000解碼的圖像是主觀上等同或相似的圖像。
還可將本發明實現為計算機可讀記錄介質上的計算機可讀代碼。計算機可讀記錄介質是可存儲數據的任何數據存儲裝置，所述數據其後可通過計算機系統讀取。計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光學數據存儲裝置和載波(諸如通過網際網路的數據傳輸)。還可通過聯網的計算機系統分布計算機可讀記錄介質，從而以分布方式存儲並執行計算機可讀代碼。此外，本發明所屬領域的編程技術人員可容易地解釋用於實現本發明的功能程序、代碼和代碼段。
權利要求
1.一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗餘；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數確定單元，通過使用容許噪聲確定量化參數；量化單元，通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；以及熵編碼單元，對量化的係數進行熵編碼以去除統計冗餘。
2.一種圖像編碼設備，包括變換單元，通過變換正輸入的原始圖像來去除空間冗餘；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數確定單元，通過使用容許噪聲確定量化參數；量化單元，通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；掃描順序確定單元，確定對於使用容許噪聲確定的質量層的掃描順序；以及熵編碼單元，按照對於質量層的掃描順序對量化的係數進行熵編碼以去除統計冗餘。
3.一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗餘；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數；通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；以及對量化的係數進行熵編碼以去除統計冗餘。
4.一種圖像編碼方法，包括通過變換正輸入的原始圖像來去除空間冗餘；從原始圖像獲得容許噪聲；通過使用容許噪聲確定量化參數；通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；確定對於使用容許噪聲確定的質量層的掃描順序；以及按照對於質量層的掃描順序對量化的係數進行熵編碼以去除統計冗餘。
5.一種圖像解碼設備，包括熵解碼單元，通過對由權利要求1和2中的任何一個的方法產生的比特流進行熵解碼來產生量化的係數；反量化單元，通過對量化的係數進行反量化來產生變換係數；以及反變換單元，通過對變換係數進行反變換來產生恢復的圖像。
6.一種圖像解碼方法，包括通過對由權利要求3和4中的任何一個的方法產生的比特流進行熵解碼來產生量化的係數；通過對量化的係數進行反量化來產生變換係數；以及通過對變換係數進行反變換來產生恢復的圖像。
全文摘要
提供一種圖像編碼和/或解碼設備和方法。所述圖像編碼設備包括變換單元，通過變換正輸入的原始圖像來去除空間冗餘；容許噪聲獲得單元，從原始圖像獲得容許噪聲；量化參數確定單元，通過使用容許噪聲確定量化參數；量化單元，通過使用量化參數對從變換單元提供的變換係數進行量化來產生量化的係數；以及熵編碼單元，對量化的係數進行熵編碼以去除統計冗餘。
文檔編號H04N7/34GK101080931SQ200580043002
公開日2007年11月28日 申請日期2005年12月14日 優先權日2004年12月14日
發明者李時和, 金道均, 金惠妍, 權仁昭 申請人:三星電子株式會社