以幀內預測模式解碼圖像的方法
2023-07-12 08:29:36 1
以幀內預測模式解碼圖像的方法
【專利摘要】本發明公開了一種以高視頻質量低數據速率來編碼視頻信號的視頻編碼方法。為了將殘餘信號所需的比特數目最小化，利用與當前塊相鄰的至少一個重建的有效參考像素來產生與當前塊相鄰的無效參考像素。在與當前塊相鄰的有效參考像素和產生的參考像素被濾波之後，確定當前塊的幀內預測模式。因此，由於產生了最靠近當前塊的參考塊，所以可以最小化用於當前塊的殘餘塊所需的數據量。
【專利說明】以幀內預測模式解碼圖像的方法
【技術領域】
[0001]本發明涉及一種採用幀內預測模式來解碼運動圖片的方法，更具體而言，涉及一種通過自適應地產生並濾波當前塊的參考像素來產生與原始圖像相似的預測塊的方法。
【背景技術】
[0002]已經提出了一些數字視頻壓縮技術以高視頻質量低數據速率來高效地傳輸視頻信號。視頻壓縮技術包括:H.261、運動圖像專家組-2/H.262 (MPEG-2/H.262)、H.263、MPEG-4、高級視頻編碼/H.264 (AVC/H.264)等。這些壓縮技術包括:離散餘弦變換(DCT)、運動補償(Motion Compensation, MC)、量化、熵編碼等。
[0003]為了保持高視頻質量，採用大量數據進行視頻編碼。然而，由於用於視頻數據傳輸所允許的帶寬的限制，用於傳輸編碼的數據可用數據速率被限制。例如，衛星廣播系統的數據通道或者數字有線電視網絡的數據通道典型地採用恆定的比特率(Constant Bit Rate,CBR )
[0004]在本文中，已經提出了視頻編碼方案以實現高視頻質量，同時將實施複雜性和傳輸數據速率最小化。
[0005]例如，H.264/AVC標準利用相鄰像素提供了空間區域上的幀內預測編碼。確定要利用的相鄰像素對於編碼效率的改善是重要的。出於這個目的，確定出要用於幀內預測的最佳方向，並且利用與最佳方向相對應的相鄰像素來計算要被編碼的像素的預測值。
[0006]然而，由於預測塊的尺寸增大各異，所以對於當前塊極可能存在多個相鄰的參考塊。在這種情況下，在參考塊的兩個邊界處的參考像素之間可以產生像素值差。如果利用參考像素來執行幀內預測，則在產生預測塊之後獲得的殘餘塊可以包括很多高頻成分。因此，降低了編碼效率。
【發明內容】
[0007]技術問題
[0008]本發明的目標是提供一種重建與原始圖像相似的幀內預測塊的方法。此外，本發明的目標是提供如下的一種方法:當以幀內預測模式編碼的塊被重建時，通將殘餘信號的數據量最小化來減少數據量並改善視頻質量。
[0009]技術方案
[0010]本發明的目標通過提供一種以幀內預測來解碼運動圖片的方法來實現，所述方法包括以下步驟:重建當前塊的幀內預測模式；對於當前塊當存在不可用的參考像素時，利用可用的參考像素來產生參考像素；基於當前塊的重建的幀內預測模式和尺寸來自適應地濾波當前塊的參考像素；以及利用當前塊的幀內預測模式和對應於幀內預測模式的參考像素來產生當前塊的預測塊，其中，在參考像素的產生步驟中，將不可用的參考像素設定為可用的參考像素的像素值，可用的參考像素是在預定的方向上距離不可用的參考像素最近的位置處的可用的像素。[0011]以及，根據本發明，當在預定的方向上距離不可用的參考像素沒有設置可用的參考像素時，不可用的參考像素被設定成在相反方向上最近位置處的可用的參考像素的像素值。
[0012]此外，根據本發明，由於當前塊的尺寸增大，所以用於濾波參考像素的幀內預測模式的數目可以不變或增大。
[0013]有益效果
[0014]根據本發明，優點在於:通過從可用的參考像素中產生不可用的參考像素、以及在基於當前塊的尺寸和幀內預測模式自適應地濾波參考像素之後產生預測塊來獲得與原始圖像相似的預測塊。此外，通過產生與原始塊相似的預測塊、並且將殘餘信號的數據量最小化，不僅可以改善運動圖片的壓縮性能，還可以最大化編碼和解碼效率。
【專利附圖】
【附圖說明】
[0015]在附圖中:
[0016]圖1是根據本發明的一個實施例的視頻編碼器的框圖；
[0017]圖2是說明根據本發明的一個實施例的幀內預測器的操作的流程圖；
[0018]圖3是涉及用於描述根據本發明的一個實施例的平面模式預測的示圖；
[0019]圖4是根據本發明的一個實施例的視頻解碼器的框圖；以及
[0020]圖5是說明用於重建根據本發明的一個實施例的幀內塊的操作的流程圖。
【具體實施方式】
[0021 ] 現在將詳細地參考本發明的實施例，其中本發明的實施例的實例在附圖中示出。由於可以存在本發明的各種變體和實施例，所以將參照附圖來說明和描述某些實施例。然而，這並非意圖將本發明限制於某些實施例，而應當解釋為包括本發明的精神和範圍所覆蓋的所有變體、等同和替代。
[0022]圖1是根據本發明的一個實施例的視頻編碼器的框圖。
[0023]參見圖1，視頻編碼器包括:編碼模式判決器110、幀內預測器120、運動補償器130、運動估計器131、變換編碼器/量化器140、熵編碼器150、反量化器/變換解碼器141、去塊濾波器(deblocking filter) 160、圖片儲存器170、減法器180和加法器190。
[0024]編碼模式判決器110通過分析輸入視頻信號將圖片劃分成編碼塊(每個編碼塊具有預定的尺寸)，並且確定出用於編碼塊的編碼模式。編碼模式包括幀內預測編碼和幀間預測編碼。
[0025]圖片包括多個分片，每個分片包括多個最大的編碼單元(IXU)。IXU可以被劃分成多個編碼單元(CU)。編碼器可以添加表示是否被劃分成比特流的標誌，而解碼器可以利用地址LcuAddr來確定IXU的位置。如果不允許劃分，則⑶被認為成預測單元(PU)，並且解碼器可以利用PU索引來確定的位置。
[0026]I3U可以被分成多個分區。另外，I3U可以包括多個變換單元(TU)。
[0027]編碼模式判決器110將塊單元(例如PU或TU)中的視頻數據傳輸至減法器190，所述每個塊單元根據預定的編碼模式而具有預定的尺寸。
[0028]變換編碼器/量化器140將通過減法器190計算的殘餘塊從空間域變換成頻率域。例如，變換編碼器/量化器140對殘餘塊執行二維離散餘弦變換(DCT)或者離散正弦變換(DST)。另外，變換編碼器/量化器140確定量化步長，並且利用確定的量化步長來量化變換係數。量化矩陣可以根據確定的量化步長和編碼模式來確定。
[0029]通過預定的掃描方法中的一種將量化的二維變換係數變換成一維變換係數。將一維變換係數的序列提供給熵編碼器150。
[0030]反量化器/變換解碼器160將從變換編碼器/量化器140中接收的量化係數反量化，並且反相變換反量化係數，由此將頻率域殘餘塊重建成空間域殘餘塊。
[0031]去塊濾波器170對從反量化器/變換解碼器160中接收的反量化的並且反相變換的視頻數據執行濾波，以去除塊效應。
[0032]圖片儲存器180將從去塊濾波器170中接收的濾波視頻數據的圖片單元中的視頻重建，並且儲存重建的視頻。圖片可以是幀或場的圖像。圖片儲存器180包括用於儲存多個圖片的緩衝器(未示出)。儲存在緩衝器中的多個圖片被提供用於幀內預測和運動估計。這些圖片被稱作為參考圖片。
[0033]運動估計器131從圖片儲存器180中接收至少一個參考圖片，利用該至少一個參考圖片來執行運動估計，以及輸出包括運動矢量的運動數據、表示參考圖片的索引、以及塊模式。
[0034]為了最優化預測精度，用分數像素精度(例如，1/2或1/4像素精度)來確定運動矢量。因為運動矢量可以被計算到分數像素精度，所以運動補償器130通過將用於計算分數像素位置處的像素值的內插濾波器應用於參考圖片來依據整數像素位置處的像素值計算分數像素位置處的像素值。
[0035]根據從運動估計器131中接收的運動數據，運動補償器130從儲存在圖片儲存器180中的多個參考圖片之中用於運動估計的參考圖片中提取與要被編碼的塊相匹配的預測塊。
[0036]運動補償器130確定分數精度運動補償所需的自適應內插濾波器的濾波特性。濾波特性包括表示自適應內插濾波器的濾波類型和濾波器尺寸的信息等。濾波器尺寸可以被表示為例如自適應內插濾波器的抽頭的數目，即濾波器係數的數目。
[0037]具體地，運動補償器130可以選擇可分離的或不可分離的自適應內插濾波器，然後確定選中的自適應內插濾波器的抽頭的數目和每個濾波器係數。濾波器係數的值可以基於相對於整數像素位置的分數像素位置來不同地確定。另外，運動補償器130可以利用多個具有固定的濾波器係數的非自適應內插濾波器。
[0038]運動補償器130可以針對每個預定的處理單元分片圖片來設定內插濾波器的特性(諸如分數像素、基本編碼單元(CU)、切片、圖片、或序列)。運動補償器130可以針對一個視頻數據設定一個特性。由於在相同的預定的處理單元中保持相同的濾波器特性，所以運動補償器130包括用於暫時保持濾波器特性的儲存器。當需要時，存儲器保存濾波器特性和濾波器係數。例如，運動補償器130可以確定用於每個I圖片的濾波器特性和用於每個分片的濾波器係數。
[0039]運動補償器130從圖片儲存器180中接收參考圖片，並且通過利用預定的自適應內插濾波器濾波參考圖片而產生具有分數像素精度的預測的參考圖片。
[0040]然後，運動補償器130通過基於預測的參考圖片和由運動估計器131確定的運動矢量執行具有分數像素精度的運動補償，來產生預測塊。
[0041]在圖片之間的預測編碼的情況下，減法器190接收參考圖片的與要被編碼的輸入塊匹配的塊，計算參考圖片的該塊與輸入塊之間的差，以及將該差作為殘餘信號輸出。
[0042]幀內預測器120利用預測圖片內重配置的像素值來執行幀內預測編碼。幀內預測器120接收用於預測編碼的當前塊、根據當前塊的尺寸來選擇多個幀內預測模式中的一種、以及在選中的幀內預測模式下對當前塊執行幀內預測。幀內預測器120利用與當前塊相鄰的之前編碼的像素來確定用於當前塊的幀內預測模式，並且產生對應於所確定的模式的預測塊。
[0043]將當前圖片的之前編碼的區域解碼並儲存在圖片儲存器180中，以供將來用在幀內預測器120中。利用鄰近當前塊的相鄰像素、或者儲存在圖片儲存器180中的當前圖片的之前編碼的區域內的可用的非相鄰像素，幀內預測器120產生當前塊的預測塊。
[0044]為了預測幀內塊，幀內預測器120可以自適應地濾波相鄰像素。視頻編碼器可以將表示是否執行濾波的信息傳輸至視頻解碼器，使得視頻解碼器可以執行相同的操作。或者可以基於當前塊的幀內預測模式和尺寸來確定是否執行濾波。
[0045]通過編碼模式判決器110，用於視頻編碼器的預測類型依賴於輸入塊以幀內模式還是以巾貞間模式編碼。
[0046]幀內/幀間開關控制幀內模式和幀間模式之間轉換。
[0047]熵編碼器150將從變換編碼器/量化器140中接收的量化係數、和從運動估計器131中產生的運動信息熵編碼。另外，熵編碼器150可以將幀內預測模式、控制數據(例如，量化步長等)編碼。熵編碼器150還將通過運動補償器130確定的濾波器係數編碼、並且將編碼的濾波器係數以比特流輸出。
[0048]圖2是說明根據本發明的一個實施例的幀內預測器120的操作的流程圖。
[0049]參見圖2，幀內預測器120從編碼模式判決器110中接收預測塊的預測模式信息和尺寸信息(S110)。預測模式信息表示幀內模式。預測塊可以是64X64、32X32、16X16、8X8或者4X4像素的正方形，本發明不局限於此。即，預測塊可以被成形為不同於正方形的形狀。
[0050]然後，幀內預測器120從圖片儲存器180中讀取參考像素，以確定預測塊的幀內預測模式。幀內預測器120通過檢查是否存在不可用的參考像素來確定是否產生參考像素(S120)。參考像素用於確定當前塊的幀內預測模式。
[0051]如果當前塊設置在當前圖片的上邊界處，則在當前塊的上方不存在相鄰像素。如果當前塊設置在當前圖片的左邊界處，則在當前塊的左側不存在相鄰像素。這些像素被確定成不可用的像素。如果當前塊設置在分片的邊界處，則在分片上方或左側的相鄰像素被確定成不可用的像素，除非它們之前被編碼和重建。
[0052]在當前塊的左側或上方不存在相鄰像素的情況下，或者在不存在之前編碼和重建的像素的情況下，當前塊的幀內預測模式可以僅利用可用的像素來被確定。
[0053]另一方面，設置在不可用的區域的參考像素可以利用當前塊的可用的參考像素來產生(S130)。例如，如果上部塊的像素不可用，則上部像素可以利用左側像素的整體或部分來產生，反之亦然。換言之，參考像素可以通過複製可用的像素、表示在預定的方向上距離參考像素最近的像素的可用的像素、設置在不可用的區域的參考像素來產生。[0054]即使存在與當前塊相鄰的上部像素或左側像素，像素可以根據包括所述像素的塊的編碼模式被確定成不可用的參考像素。例如，如果包括與當前塊相鄰的上部像素的塊已經被幀間編碼並且重建，則上部像素可以被確定為不可用的像素。在這種情況下，可用的參考像素可以利用已經被幀內編碼並重建的相鄰塊的像素來產生。視頻編碼器應當將表示可用的參考像素根據編碼模式被確定的信息傳送至視頻解碼器。
[0055]隨後，當前塊的幀內預測模式利用參考像素來確定(S140)。可用於當前塊的幀內預測模式的數目可以基於當前塊的尺寸而不同地確定。例如，如果當前塊的尺寸是8X8、16 X 16或者32X32，則可以存在34個幀內預測模式。如果當前塊的尺寸是4X4，則可以存在17個幀內預測模式。34個或者17個幀內預測模式可以包括一個或更多個非定向模式和多個定向模式。一個或更多個非定向模式可以是DC模式和/或平面模式。如果DC模式和平面模式對應於非定向模式，則可以存在35個幀內預測模式，而與當前塊的尺寸無關。在這種情況下，35個幀內預測模式可以包括2個非定向模式(DC模式和平面模式)以及33個定向模式。
[0056]在平面模式下，當前塊的預測塊利用位於當前塊的右下方位置處的至少一個像素值(或者像素值的預測值，在下文中被稱作為第一參考值)和參考像素來產生。
[0057]以下將參照圖3來描述平面模式。圖3是涉及用於描述前塊是8X8塊時平面模式預測的示圖。
[0058]參見圖3，與介於第一參考值D和相鄰於當前塊的左側像素之中的像素值C之間的像素相對應的預測像素利用第一參考值D和像素值C來產生，所述第一參考值D位於當前塊的右下角，所述像素值C相鄰於位於當前塊的左下角處的像素。類似地，與介於第一參考值D和鄰近於當前塊的上部像素之中的像素值B之間的像素相對應的預測像素利用第一參考值D和像素值B來產生，所述像素值B鄰近於位於當前塊的右上角處的像素。線性組合可以用於產生預測像素。如果像素未線性地布置，則預測像素可以經由預定的非線性組合來產生。
[0059]然後，剩餘的預測像素利用已產生的預測像素(即，介於像素C和D之間的像素、和介於像素B和D之間的像素)和相鄰於當前塊的像素(即，介於像素A和B之間的像素、和介於像素A和C之間的像素)來產生。這些預測像素可以通過將當前塊上方和左側的兩個相鄰像素與當前塊下方和右側的兩個相鄰像素線性組合來產生。組合不必須是線性。確切地說，考慮像素分布，可以利用非線性組合。如以上實例，在平面模式中，用於產生預測像素的參考像素的數目可以基於預測像素的位置而不同地確定。
[0060]在以上實例中，會發生:當前塊的左側參考像素是可用的，而當前塊的上部參考像素是不可用的。在這種情況下，上部參考像素可以利用左側參考像素中的一個、或者第一參考值來產生。換言之，如果僅左側參考像素可利用，則上部參考像素可以通過複製左側參考像素的頂部參考像素來產生，並且介於像素B和D之間的預測像素可以利用第一參考值和最靠近上部像素的參考像素來產生。
[0061]同樣地，如果當前塊的上部參考像素可利用，但是左側參考像素不可利用，則左側參考像素可以通過複製上部參考像素的最左側的參考像素來產生，並且在像素C和D之間的預測像素可以通過利用左側參考像素和第一參考值來產生。
[0062]此外，第一參考值或者表示第一參考值的信息可以以比特流傳送至視頻解碼器，或者視頻解碼器可以導出第一參考值，而不接收第一參考值或其信息。
[0063]如果第一參考值或者表示第一參考值的信息被傳送至視頻解碼器，則可以通過傳送第一參考值與利用已經被編碼和重建的當前塊的至少一個相鄰像素計算的參考值的預測值之差來減少要傳送的比特的數目。出於這個目的，第一參考值的預測值可以是如下中的一個:(1)與當前塊相鄰的參考像素的平均值、(2)像素A、B以及C的平均值、以及(3)像素B和C之間的平均值。可替選地，將像素A和C之差與像素A和B之差進行比較，而表示與較小的差相對應的方向的像素(B或C)可以被確定為第一參考值的預測值。
[0064]另一方面，如果第一參考值從視頻編碼器和視頻解碼器導出，則視頻編碼器和視頻解碼器兩者應當能夠導出相同的參考值。出於這個目的，視頻編碼器可以利用參考像素A、B以及C來產生第一參考值。假設圖片內的像素值被平滑地改變，則可以將如下的(I)和(2)中的一個設定為第一參考值:(I)像素C、和像素B與A之間的差之和，或者像素B、和像素C與A之間的差之和，即(B+C-A); (2)像素B和C之間的平均值。在這種情況下，可以利用像素B的相鄰參考像素和像素C的相鄰參考像素，而不是像素B和C。同樣地，由於視頻編碼器和解碼器可以重建相同的第一參考值，所以視頻編碼器不需要將第一參考值或者表示第一參考值的信息傳送至視頻解碼器，由此減小了要傳送的比特數目。
[0065]當確定出當前塊的幀內預測模式時，產生預測塊(S150)。預測塊利用參考像素(包括已產生的參考像素)、或者通過基於當前塊的幀內預測模式線性組合參考像素來產生。在DC模式中，當前塊的預測塊利用當前塊的相鄰參考像素的平均值來產生。相鄰參考像素可以包括可用的參考像素和已產生的參考像素。
[0066]如果確定出當前塊的幀內預測模式，則將表示幀內預測模式的信息編碼(S160)。幀內預測模式信息可以在幀內預測器120、單獨配置的幀內預測模式編碼器(未示出)、或者熵編碼器150中被編碼。
[0067]在許多參考塊與當前塊相鄰的情況下，在參考塊的邊界處的參考像素之間可以存在差。在這種情況下，在產生預測塊之後產生的殘餘塊很可能包括很多高頻的成分。因此，參考塊之間的塊偽影(blocking artifact)影響當前塊。這個問題隨著當前塊尺寸較大而變得嚴重。另一個方面，如果參考塊比當前塊更大，則這個問題不會發生。
[0068]因此，用於解決這個問題的方法之一是通過自適應濾波參考像素來產生新的參考像素。產生新的參考像素可以在幀內預測模式確定之前。即，新的參考像素可以通過基於預測塊的幀內預測模式和尺寸來自適應地濾波參考像素而被提前產生，然後當前塊的幀內預測模式可以利用原始的參考像素和新的參考像素來確定。可替選地，所述方法可以在當前塊的幀內預測模式確定之後執行。由於與塊偽影相關的問題隨著塊尺寸變大而變嚴重，所以用於對參考像素濾波的預測模式的數目可以不變或增多。
[0069]如果可用的參考像素需要被濾波，則可以根據參考像素之間的差自適應地應用兩個或更多個濾波器。濾波器優選低帶通濾波器。例如，如果使用兩個濾波器，則第一濾波器和第二濾波器可以分別與3抽頭濾波器和5抽頭濾波器相對應。第二濾波器可以通過應用第一濾波器兩次來實施。優選地，濾波器的濾波器係數是對稱的。或者，僅一個濾波器可以被用於減小複雜性。
[0070]優選地，根據當前塊(將執行幀內預測的塊)的尺寸來自適應地使用濾波器。S卩，如果使用濾波器，則優選在當前塊較小時將具有窄帶寬的濾波器應用於小的塊、並且將具有寬帶寬的濾波器應用於大的塊。然而，如果當前塊的尺寸比濾波器的抽頭數目更小，則不將濾波器應用於當前塊。
[0071]在DC模式中，不需要應用濾波器，因為預測塊利用參考像素的平均值來產生。如果在DC模式中利用濾波器，則計算量不必要地增大。另外，在圖像垂直相關的垂直模式的情況下，不需要將濾波器應用於參考像素。此外，在圖像水平相關的水平模式下，不需要將濾波器應用於參考像素。因為是否將濾波器應用於當前塊與當前塊的幀內預測模式有關，可以基於當前塊的幀內預測模式和要執行幀內預測模式的塊的尺寸來對參考像素自適應地濾波。如果要執行幀內預測的塊的尺寸小於預定的尺寸(例如，4X4)，則不對參考像素濾波。或者，即使塊的尺寸大於預定的尺寸，也可以不對參考像素濾波，用於降低複雜性。如果塊的尺寸包括在預定尺寸的範圍內，當採用對角幀內預測模式(與水平模式或垂直模式相差45°角的模式)和水平幀內預測模式之間的幀內預測模式中的任何一種模式對參考像素濾波時，採用在所述模式和對角幀內預測模式之間的定向模式來對參考像素濾波。
[0072]用於解決上述問題的另一種方法是通過對已經利用參考像素產生的預測塊內的像素的一部分自適應地濾波來產生新的預測塊。根據當前塊的幀內預測模式，在預測塊內的預測像素中，與參考像素相鄰的鄰近的預測像素可以利用參考像素中至少之一來修正。當產生預測塊時也可以應用這種方法。
[0073]例如，在DC模式的情況下，在預測塊內的預測像素中，與參考像素相鄰的鄰近的預測像素利用與該鄰近的預測像素相鄰的參考像素來濾波。因此，根據預測像素的位置，利用一個或兩個參考像素來對預測像素濾波。可以將DC模式中預測像素的濾波應用於所有尺寸的預測塊。
[0074]在垂直模式的情況下，在預測塊的預測像素中，與左側參考像素相鄰的鄰近的預測像素可以利用除了用於產生預測塊的上部像素以外的參考像素來改變。同樣地，在水平模式的情況下，已產生的預測像素中與上部參考像素相鄰的鄰近的預測像素可以利用除了用於產生預測塊的左側像素以外的參考像素來改變。
[0075]此外，在當前塊和通過幀內預測器120產生的預測塊之間的殘餘塊經由變換編碼器/量化器140和熵編碼器150來編碼。
[0076]首先變換殘餘塊。為了有效的能量壓縮，確定出用於變換殘餘塊的塊尺寸，然後將殘餘塊以塊(每個塊具有確定的塊尺寸)形式變換。或者可以提前確定用於變換的塊尺寸。在這種情況下，用於變換的塊尺寸可以被確定為用於幀內預測的當前塊的尺寸。根據幀內預測模式可以利用不同的變換方案。例如，在水平方向和垂直方向上，基於整數的DCT (離散餘弦變換)可以應用於DC模式下幀內預測的殘餘塊，而在水平和垂直方向上，基於整數的DST (離散正弦變換)可以應用於平面模式下幀內預測的殘餘塊。可以應用於具有與預定尺寸相等或更小的尺寸的塊。但是，在用於變換的塊的尺寸大於預定尺寸的情況下，可以僅應用基於整數的DCT，而與幀內預測模式無關。在水平方向和垂直方向上，可以根據預測模式自適應地利用DCT或DST。
[0077]將變換的殘餘塊量化。根據殘餘塊的尺寸使用不同的量化矩陣。此外，針對相同尺寸的殘餘塊，可以使用不同的量化矩陣。即，可以基於變換的殘餘塊的係數分布來使用至少兩個量化矩陣中更有效的量化矩陣。在這種情況下，表示所使用的量化矩陣的信息可以傳送至視頻解碼器。另外，基於幀內預測模式可以將不同的量化矩陣應用於變換的殘餘塊。[0078]然後，二維量化係數利用多個預定的掃描圖案被轉換成一維量化係數序列、然後被熵編碼。掃描圖案可以基於幀內預測模式、或者基於幀內預測模式和用於變換的塊尺寸來確定。
[0079]圖4是根據本發明的一個實施例的視頻解碼器的框圖。
[0080]參見圖4，本發明的視頻解碼器包括:熵解碼器210、反量化器/反相變換器220、幀內預測器230、運動補償預測器240、去塊濾波器250、圖片儲存器260、加法器270以及幀內/幀間開關280。
[0081]熵解碼器210通過將從視頻編碼器中接收的編碼的比特流解碼而將編碼的比特流分成幀內預測模式索引、運動信息以及量化係數序列，並且將解碼的運動信息提供給運動補償預測器240、將幀內預測模式索引提供給幀內預測器230和反量化器/反相變換器220、以及將量化係數序列提供給反量化器/反相變換器220。
[0082]反量化器/反相變換器220將量化係數序列轉換成二維陣列的反量化係數。對於轉換，選擇多個掃描圖案中的一個。基於當前塊的預測模式(即，幀內預測和幀間預測中的一個)、幀內預測模式以及用於變換的塊尺寸來選擇多個掃描圖案中的一個。幀內預測模式從幀內預測器230或者熵解碼器210中接收。
[0083]反量化器/反相變換器220利用從多個量化矩陣中選中的量化矩陣重建來自二維陣列的反量化係數中的量化係數。量化矩陣可以利用從編碼器中接收的信息來確定。可以根據要被重建的當前塊(用於變換的塊)的尺寸來使用不同的量化矩陣。即使對於相同尺寸的塊，反量化器/反相變換器220也可以基於至少當前塊的預測模式、和幀內預測模式中的至少一個來選擇量化矩陣。然後通過反相變換重建的量化係數來重建殘餘塊。
[0084]加法器270將從反量化器/反相變換器220中接收的重建的殘餘塊加到從幀內預測器230或者運動補償預測器240中產生的預測塊，由此重建圖像塊。
[0085]去塊濾波器250對通過加法器270獲得的重建圖像執行去塊效應濾波。因而，在量化期間由圖像損失引起的去塊偽影(deblocking artifact)可以減少。
[0086]圖片儲存器260是幀存儲器，其保存已經通過去塊濾波器250去塊濾波的局部解碼圖像。
[0087]幀內預測器230基於從熵解碼器210中接收的幀內預測模式索引來將當前塊的幀內預測模式解碼，並且根據解碼的幀內預測模式來產生預測塊。
[0088]運動補償預測器240基於運動矢量信息從儲存在圖片儲存器260中的圖片中產生當前塊的預測塊。如果應用具有分數像素精度的運動補償，則預測塊利用選中的內插濾波器來產生。
[0089]幀內/幀間開關280將從幀內預測器230和運動補償預測器260中的一個中產生的預測塊提供給加法器270。
[0090]現在，將參照圖4，給出用於經由幀內預測重建當前塊的操作的描述。圖5是說明一種用於重建根據本發明的一個實施例的幀內塊的操作的流程圖。
[0091]將當前塊的幀內預測模式從接收的比特流中解碼(S310 )。
[0092]出於這個目的，熵解碼器210重建第一幀內預測模式索引，所述第一幀內預測模式索引涉及與幀內預測模式相關的多個表中的一個。
[0093]與幀內預測模式相關的多個表在視頻編碼器和視頻解碼器之間共享。可以根據與當前塊相鄰的多個塊的幀內預測模式的分布來選擇與幀內預測模式相關的表中之一。例如，如果與當前塊相鄰的左側塊的幀內預測模式和與當前塊相鄰的上部塊的幀內預測模式相同，則當前塊的第一幀內預測模式索引可以利用第一幀內預測模式表來重建。如果左側相鄰塊和上部相鄰塊的幀內預測模式不同，則可以利用第二幀內預測模式表來重建當前塊的第一幀內預測模式索引。在另一個實例中，在左側相鄰塊和上部相鄰塊兩者的幀內預測模式都是定向的幀內預測模式的情況下，如果幀內預測模式的方向在預定的角度之內，則當前塊的第一幀內預測模式索引可以利用第一幀內預測模式表來解碼。如果幀內預測模式的方向在預定的角度之外，則當前塊的第一幀內預測模式可以利用第二幀內預測模式表來解碼。
[0094]熵解碼器210將當前塊的解碼的第一幀內預測模式索引傳送至幀內預測器230。如果第一幀內預測模式索引是最小值(即，0)，則幀內預測器230將適用於當前塊的最大模式確定成當前塊的幀內預測模式。另一方面，如果第一幀內預測模式索引非零，則幀內預測器230將表示最大模式的最大模式索引、與當前塊的第一幀內預測模式索引進行比較。如果第一幀內預測模式索引等於或大於最大模式索引，則幀內預測器230將與第二幀內預測模式索引相對應的幀內預測模式確定成當前塊的幀內預測模式，所述第二幀內預測模式索引具有第一幀內預測模式索引加I之後的值。否則，幀內預測器230將與第一幀內預測模式索引相對應的幀內預測模式確定成當前塊的幀內預測模式。
[0095]可用於當前塊的幀內預測模式可以包括一個或更多個非定向模式和多個定向模式。一個或更多個非定向模式可以是DC模式和/或平面模式。DC模式和平面模式中的一種可以自適應地被包括在可用的幀內預測模式組中。因而，表示被包括在可用的幀內預測模式組中的非定向模式的信息可以被包括在圖片頭或分片頭中。
[0096]隨後，幀內預測器230從圖片儲存器260中讀取參考像素，以產生幀內預測塊，並且確定是否存在不可用的參考像素(S320)。可以根據當前塊的幀內預測模式基於是否存在用於產生幀內預測塊所需的參考像素來進行該確定。
[0097]如果必須產生參考像素，幀內預測器230可以利用解碼的參考像素在不可用的位置產生參考像素(S325)。不可用的參考像素的定義和用於產生參考像素的方法已經參照圖2中說明的幀內預測器的操作被描述。可以根據當前塊的幀內預測模式僅僅選擇性地重構產生幀內預測塊所需的參考像素。
[0098]幀內預測器230確定是否對參考像素濾波以產生預測塊(S330)。即，幀內預測器230基於當前塊的幀內預測模式和尺寸來確定是否對參考像素執行濾波，以產生當前塊的幀內預測塊。由於關於塊偽影的問題隨著當前塊的尺寸變大而變得嚴重，所以用於對參考像素濾波的預測模式的數目可以隨著當前塊的尺寸變大而增加。然而，為了減小複雜性可以不對參考像素濾波，因為塊可以被看做當塊的尺寸大於預定值時像素被平滑地改變的區域。
[0099]如果確定出對參考像素濾波，則幀內預測器230利用濾波器對參考像素濾波(S335)。
[0100]如果有效的參考像素需要被濾波，則可以基於參考像素之間的像素值的差來自適應地應用至少兩個濾波器。優選地，濾波器的濾波器係數是對稱的。
[0101]優選地，可以基於當前塊的尺寸來自適應地利用兩個或更多個濾波器。即，當使用濾波器時，可以將具有窄帶寬的濾波器應用於小的塊，並且將具有寬帶寬的濾波器應用於大的塊。
[0102]在DC模式中，不需要在DC模式中應用濾波器，因為預測塊利用參考像素的平均值來產生。即，如果應用濾波器，則計算量可以不必要地增大。另外，在具有垂直相關性的垂直模式的情況下，對於參考像素可以不需要應用濾波器。並且，在具有水平相關性的水平模式下，對於參考像素可以不需要應用濾波器。因為是否將濾波器應用於當前塊與當前塊的幀內預測模式相關，可以基於當前塊的幀內預測模式和預測塊的塊尺寸來執行自適應濾波。
[0103]隨後，根據確定的幀內預測模式利用參考像素或濾波的參考像素來產生預測塊(S340)。
[0104]省略了預測塊的產生方法，因為圖2中解碼器的操作與其相似。並且，在平面模式的情況下，也省略了預測塊的產生方法，因為圖2中的編碼器的操作與其相似。確定產生的預測塊是否要被濾波(S350)。可以基於包括在分片頭或CU頭中的信息來進行該確定。此夕卜，可以基於當前塊的幀內預測模式來進行該確定。
[0105]當確定要對產生的預測塊濾波時，對產生的預測塊濾波(S335)。具體地，通過對已經利用與當前塊相鄰的可用的參考像素產生的預測塊中的特定位置處的像素濾波來產生新的像素。當產生預測塊時也可以應用這種方法。例如，可以利用參考像素來對DC模式中與參考像素相鄰的預測像素濾波。因此，可以基於預測像素的位置利用一個或兩個參考像素來對預測像素濾波。DC模式下預測像素的濾波可以應用於所有尺寸的預測塊。在垂直模式的情況下，可以利用除了用於產生預測塊的上部像素以外的參考像素來改變預測塊內的預測像素中的與左側參考像素相鄰的鄰近的預測像素。同樣地，在水平模式的情況下，可以利用除了用於產生預測塊的左側像素以外的參考像素來改變已產生的預測像素中的與上部參考像素相鄰的鄰近的預測像素。
[0106]利用當前塊的重建的預測塊和當前塊的解碼的殘餘塊來重建當前塊。
[0107]對於本領域的技術人員顯然的是，在不脫離本發明的精神或範圍的情況下，可以對本發明進行各種修改和變化因而，意在本發明覆蓋在所附權利要求的範圍內提供的本發明的修改和變化以及與其等同物。
【權利要求】
1.一種以幀內預測模式解碼圖像的方法，所述方法包括以下步驟: 重建當前塊的所述幀內預測模式； 對於所述當前塊當存在不可用的參考像素時，利用可用的參考像素來產生參考像素； 基於所述當前塊的重建的幀內預測模式和尺寸來自適應地濾波所述當前塊的參考像素；以及 利用所述當前塊的所述幀內預測模式和與所述幀內預測模式相對應的參考像素來產生所述當前塊的預測塊， 其中，在所述參考像素的產生步驟中，所述不可用的參考像素被設定為所述可用的參考像素的像素值，所述可用的參考像素是在預定的方向上距離所述不可用的參考像素最近的位置處的可用的像素。
2.如權利要求1所述的方法，其中，當在預定的方向上距離所述不可用的參考像素沒有設置所述可用的參考像素時，所述不可用的參考像素被設定為在相反方向上最近位置處的所述可用的參考像素的像素值。
3.如權利要求1所述的方法，還包括: 反相量化並反相變換所述當前塊的殘餘塊， 其中，所述殘餘塊利用量化矩陣來反相量化，所述量化矩陣基於從編碼器接收的反相量化的信息來確定。
4.如權利要求1所述的方法，其中，在所述參考像素的自適應濾波步驟中，當所述當前塊的所述幀內預測模式是水平或垂直模式時，不對所述參考像素濾波。
5.如權利要求1所述的方法，其中，當以所述水平模式和對角幀內預測模式之間的特定方向的幀內預測模式來對所述參考像素濾波時，以所述特定方向的幀內預測模式和所述對角幀內預測模式之間的定向模式對所述參考像素濾波。
6.如權利要求1所述的方法，其中，當所述當前塊的所述幀內預測模式是垂直模式時，所述預測塊的左邊界處的預測像素利用除了上部像素以外的參考像素來改變，所述上部像素用於產生所述預測塊。
7.如權利要求1所述的方法，其中，當所述當前塊的幀內預測模式是平面模式時，利用所述當前塊的第一參考值、與所述當前塊的右上角的像素相鄰的參考像素、以及與所述當前塊的左下角的像素相鄰的參考像素來產生設置在所述預測塊的右邊界和下邊界處的預測像素。
8.如權利要求7所述的方法，其中，所述第一參考值利用兩個像素的平均值來獲得，所述兩個像素表示設置在所述當前塊上的兩個預定的位置處的像素。
9.如權利要求1所述的方法，其中，當所述當前塊的幀內預測模式是DC模式時，利用參考像素、和與預測塊內的預測像素的參考像素相鄰的鄰近的預測像素中至少之一來濾波鄰近的預測像素，而與所述當前塊的尺寸無關。
【文檔編號】H04N7/26GK103460700SQ201280017441
【公開日】2013年12月18日 申請日期:2012年3月16日 優先權日:2011年4月1日
【發明者】金光悌, 吳賢午 申請人:苗太平洋控股有限公司