重構和編碼圖像塊的方法
2023-07-30 11:21:41
重構和編碼圖像塊的方法
【專利摘要】描述了一種用於重構從至少一個參考塊預測的當前塊的方法。該方法包括以下步驟：從編碼數據中解碼（20）至少一個加權預測參數，稱為顯式參數（wp1）；從所述當前塊（Bc）的第一因果鄰近區域（Lc1）和所述參考塊（Br）的第一對應鄰近區域（Lr1）計算（22）至少一個加權預測參數，稱為隱式參數；計算（24）由於使用所述顯式參數預測所述當前塊的第二因果鄰近區域（Lc2）導致的第一失真（D1）和由於使用所述隱式參數預測所述第二因果鄰近區域（Lc2）導致的第二失真（D2）；比較（26）所述第一失真和第二失真；根據所述比較結果選擇（28）所述顯式參數和所述隱式參數之間的參數；以及使用所選擇的參數重構（30）所述當前塊。
【專利說明】重構和編碼圖像塊的方法
【技術領域】
[0001]本發明一般地涉及圖像編碼領域。
[0002]更具體地說，本發明涉及一種編碼圖像塊方法和相應的重構這種圖像塊的方法。【背景技術】
[0003]大多數的編碼/解碼方法使用圖像之間的預測(圖像間預測)或圖像內部的預測(圖像內預測)。這種預測用於改善圖像序列的壓縮。它在於生成要編碼的當前圖像的預測圖像以及編碼當前圖像和預測圖像之間的差(也稱作殘差圖像)。該圖像與當前圖像越相關，編碼當前圖像所需要的比特數量就越少，因此壓縮效率就越高。然而，當序列中的圖像之間或圖像內部的亮度存在變化時，預測會失去效率。這種亮度變化的原因是例如修改光照、褪色效果、閃爍等。
[0004]目前已知多種考慮整體亮度變化的編碼/解碼圖像序列的方法。因此，在文件IS0/IEC14496-10描述的標準H.264框架內，使用加權預測的方法來改善亮度變化情況下的壓縮是已知的。加權預測參數在每個圖像條帶(slice)中顯式傳輸。條帶中所有的塊都施加相同的光照校正。根據該方法，可以為每個塊發送加權預測參數。這些參數被稱為顯式參數。
[0005]從當前塊的因果(causal)鄰近區域(S卩，包括當前塊之前的編碼/重構的像素)得到用於當前塊的這類加權預測參數也是已知的。這種方法在比特率方面的成本較低，因為加權預測參數未被顯式編碼在流中。這些參數被稱為隱式參數。
[0006]這兩種方法的效率，S卩，使用顯式編碼在流中的參數和使用隱式參數的方法，在很大程度上依賴於在時空局部變化上具體處理的內容的和諸如目標比特率之類的解碼配置。
【發明內容】
[0007]本發明的目的是克服現有技術的至少一個缺點。
[0008]本發明涉及一種用於重構從至少一個參考塊預測的圖像的當前塊的方法，該當前塊處於編碼數據的形式，該重構方法包括以下步驟:
[0009]-從編碼數據中解碼至少一個加權預測參數，稱為顯式參數，
[0010]-從當前塊的第一因果鄰近區域和與參考塊對應的第一鄰近區域計算至少一個加權預測參數，稱為隱式參數，
[0011]-計算由於使用顯式參數預測當前塊的第二因果鄰近區域導致的第一失真和由於使用隱式參數預測第二因果鄰近區域導致的第二失真，
[0012]-比較第一失真和第二失真，
[0013]-根據比較結果選擇顯式參數和隱式參數之間的參數，以及
[0014]-使用所選擇的參數重構當前塊。
[0015]有利地，根據本發明的重構方法能夠永久適應信號特性的局部變化，尤其是光照變化。因此，光照變化參數的顯式編碼的限制可以得到補償。事實上，由於為了找到最佳比特率失真而做出妥協，它們可以是局部次優的。進入第二隱式模型的競爭使得此錯誤能夠在某些情況下得到修正，同時不引入額外的編碼成本。
[0016]根據本發明的一個方面，第一失真和第二失真分別根據以下步驟計算:
[0017]-使用參考塊的第二對應鄰近區域預測當前塊的第二鄰近區域，同時分別考慮隱式預測參數和顯式預測參數，以及
[0018]-分別計算預測和當前塊的第二鄰近區域之間的第一失真和第二失真。
[0019]根據本發明的特定特徵，第一因果鄰近區域不同於第二因果鄰近區域。「不同」一詞並不意味著兩個鄰近區域必須是分開的。選擇不同於第一因果鄰近區域的第二因果鄰近區域上的參數使得具有下述優點:在第一因果鄰近區域上計算得到的隱式模型相對於顯式模型，參數不分配給第一因果鄰近區域、而分配給當前塊。
[0020]根據本發明的另一個特定特徵，第一因果鄰近區域和第二因果鄰近區域是分開的。
[0021]有利地，在選擇屬於當前塊的鄰近塊的像素時，確定第一因果鄰近區域，其中對每一個鄰近塊，解碼的顯式參數與當前塊的顯式參數相似。當顯式參數之間的差的範數小於閾值時，解碼的顯式參數與當前塊的顯式參數相似。
[0022]根據本發明的特定特徵，參考塊與當前塊屬於相同的圖像。
[0023]根據一種變型，參考塊與當前塊屬於不同的圖像。
[0024]本發明還涉及一種使用至少一個參考塊通過預測來編碼圖像序列的當前塊的方法。該編碼方法包括以下步驟:
[0025]-使用當前塊和參考塊計算至少一個加權預測參數，稱為顯式參數，
[0026]-從當前塊的第一因果鄰近區域和與參考塊對應的第一鄰近區域計算至少一個加權預測參數，稱為隱式參數，
[0027]-計算由於使用顯式參數預測當前塊的第二因果鄰近區域導致的第一失真和由於使用隱式參數預測第二因果鄰近區域導致的第二失真，
[0028]-比較第一失真和第二失真，以及
[0029]-根據比較結果在顯式和隱式參數之間選擇參數，以及
[0030]-使用所選擇的參數編碼當前塊。
[0031 ] 有利地，對顯式參數進行系統地編碼。
【專利附圖】
【附圖說明】
[0032]通過非限制性的實施例和有利的實現方式，參照附圖，可以更好地理解和示例本發明，附圖中:
[0033]圖1示出了待編碼的(相應地待重構的)當前塊Be所屬的當前圖像Ic和參考圖像Ir,
[0034]圖2示出了根據本發明的圖像塊的重構方法，
[0035]圖3示出了根據本發明的圖像塊的編碼方法，
[0036]圖4示出根據本發明的圖像塊編碼設備，以及
[0037]圖5示出了根據本發明的用於解碼重構圖像塊的編碼的數據流的設備。【具體實施方式】
[0038]應該理解的是，本發明的原理可以實現為各種形式的硬體、軟體、固件、專用處理器或它們的組合。優選地，本發明的原理可以實現為硬體和軟體的組合。並且，軟體優選地實現為有形地實施在程序存儲設備上的應用程式。應用程式可以被上載到並且由包括任何合適的體系結構的機器執行。優選地，機器可以實現在具有硬體(如，一個或多個中央處理單元(CPU)、隨機存取存儲器(RAM)和輸入/輸出(I/O)接口)的計算機平臺上。計算機平臺還包括作業系統和微指令代碼。本說明書中描述的各種過程和功能可以是通過作業系統執行的微指令代碼的一部分或應用程式(或它們的組合)的一部分。另外，可以將各種其他的外圍裝置與計算機平臺連接，如附加的數據存儲設備和列印設備。
[0039]本發明可以實現在包括相應地適配的編碼或解碼部件的任何電子設備上。比如，本發明可以實現在電視、移動視頻電話、個人計算機、數字攝像機、導航系統或車載視頻系統中。
[0040]圖像序列是一系列的若干圖像。每幅圖像包括多個像素或圖像點，每一個像素或圖像點都與至少一項圖像數據相關聯。一項圖像數據是例如亮度數據或色度數據。
[0041]術語「運動數據」應該在最廣泛的意義上理解。它包括運動矢量，還可以包括參考圖像索引，參考圖像索引使得參考圖像能夠在圖像序列中被識別出來。它還可以包括表示用於確定預測塊的內插類型的信息。事實上，在與塊Be相關聯的運動矢量不具有整數坐標的情況下，必須在參考圖像Iref中內插圖像數據以確定預測塊。與塊相關聯的運動數據通常使用運動估計方法計算，例如，通過塊匹配。然而，本發明不受使得運動矢量與塊相關聯的方法的限制。
[0042]術語「殘差數據」表示在提取其他數據之後得到的數據。提取通常是從源數據中逐個像素減去預測數據。然而，更普遍地，提取尤其包括加權相減。術語「殘差數據」與術語「殘差」同義。殘差塊是與殘差數據相關聯的像素塊。
[0043]術語「預測數據」表示用於預測其他數據的數據。預測塊是與預測數據相關聯的像素塊。
[0044]預測塊從與預測(空間預測或圖像內預測)的塊所屬的圖像相同的圖像的一個或若干個塊中獲得，或者從與預測(時間預測或圖像間預測)的塊所屬的圖像不同的圖像的一個(單向預測)或若干個塊(雙向預測或雙預測)中獲得。
[0045]術語「預測模式」是指編碼塊的方式。在預測模式中，INTRA模式對應於空間預測，INTER模式對應於時間預測。預測模式可以規定對塊進行分割編碼的方式。因此，與16X 16大小的塊相關聯的8X8INTER預測模式表示將16X 16塊分割成4個8X8塊，並使用時間預測進行預測。
[0046]術語「重構的數據」表示融合(merge)殘餘數據和預測數據之後得到的數據。融合通常是預測數據與殘留數據逐個像素相加。然而，更普遍地，融合尤其包括加權相加。重構塊是與重構的圖像數據相關聯的像素塊。
[0047]當前塊的鄰近塊或鄰近模板是位於當前塊差不多大的鄰域中，但不一定鄰近該當前塊的塊或模板。
[0048]術語「編碼」在最廣泛的意義上使用。編碼可以但不一定包括轉換和/或量化圖像數據。[0049]圖1示出了當前圖像Ic，當前塊Be位於其中，當前塊Be與第一因果鄰近區域Lcl和第二因果鄰近區域Lc2相關聯。當前塊Be與參考圖像Ir的參考塊Br相關聯(時間預測或INTER)。與該參考塊Br相關聯的有與Be的鄰近區域Lcl對應的第一鄰近區域Lrl和與Be的鄰近區域Lc2對應的第二鄰近區域Lr2。在該圖中，使用與當前塊相關聯的運動矢量mv識別參考塊Br。鄰近區域Lrl和Lr2相對於Br與鄰近區域Lcl和Lc2相對於Be佔據相同的位置。根據未示出的一種變型，參考塊Br屬於與當前塊相同的圖像(空間預測或INTRA)ο
[0050]為了不優先於另一種預測方法選擇先驗的一種預測方法，根據本發明的重構(相應的編碼)方法可以使用兩種類型的加權預測參數，即隱式參數和顯式參數。此外，重構(相應的編碼)方法有利地可以不需要在編碼數據流中告知所使用的參數類型。根據待重構(相應的待編碼)的當前塊和與參考塊相關聯的對應的鄰近區域的因果鄰近區域，通過編碼方法和重構方法，對一個或其他類型的加權預測參數進行選擇。
[0051]在下文中，術語「顯式參數」與術語「顯式加權預測參數」同義，術語「隱式參數」與「隱式加權預測參數」同義。
[0052]參考圖2，本發明涉及一種重構從至少一個參考塊Br預測的當前塊Be的方法，當前塊以編碼數據的形式存在。根據本發明，參考塊Br屬於除了當前圖像Ic以外的參考圖像Ir或屬於當前圖像Ic。
[0053]在步驟20中，加權預測參數wpl，稱為顯式參數，從編碼數據中解碼。解碼實現為例如文件IS0/IEC14496-10中描述的H.264標準。然而，本發明不受編碼顯式參數wpl的方法的限制。
[0054]在步驟22中，加權預測參數wp2，稱為隱式參數，從當前塊Be的第一因果鄰近區域Lcl和參考塊Br的第一對應鄰近區域Lrl計算得到。該參數根據已知的方法確定，例如，根據專利申請W0/2007/094792中描述的方 法，或根據專利申請W0/2010/086393中描述的方法。作為簡單的示例，wp2等於與Lcl的像素相關聯的平均亮度值除以與Lrl的像素相關聯的平均売度值。
[0055]根據特定的實施例，第一鄰近區域Lcl的像素(因此Lrl的像素)從顯式參數wpl確定。注意，例如wpl_c是當前塊的顯式參數。在Lcl中只考慮其顯式參數wpl與當前塊的wpl_c相似的鄰近塊Be的像素。非常不同的光照變化的顯式參數的鄰近塊實際上可以視為與當前塊不相干(non-coherent)。當範數,例如,加權預測參數之間的差的絕對值小於閾值ε，g卩|wpl_wpl_c I〈 ε時,加權預測參數wpl與所述當前塊的加權預測參數wpl_c相似。
[0056]在步驟24中，計算第一和第二失真。第一失真Dl由考慮隱式參數wp2預測當前塊的第二因果鄰近區域Lc2產生。第二失真D2由考慮顯式參數wpl預測當前塊的第二因果鄰近區域Lc2產生。
[0057]僅通過舉例的方式，按照如下計算失真Dl和D2:
[0058]Di= Σ {j.2 -1P^1
Ar 2，Α.2
[0059]其中:
[0060]-1=l 或 2，[0061]-1c2表示與Lc2的像素相關聯的亮度和/或色度值，Ir2表示與Lr2的像素相關聯的亮度值和/或色度值，Ip表示與預測信號的像素相關聯的亮度和/或色度值。
[0062]因此，使用參考塊的第二對應鄰近區域Lr2預測當前塊的第二鄰近區域Lc2，同時分別考慮顯式預測參數和隱式預測參數。這樣分別計算出當前塊的預測Ip和第二鄰近區域之間的第一失真和第二失真。
[0063]Ip是Ir2和wpi的函數。僅作為示例，在乘法加權預測參數的情形中，lp=wpi氺Ir2，。
[0064]根據一個變型，D>= Σ。
[0065]根據另一種變型，在計算失真Dl和D2時，只考慮屬於其光照變化的隱式參數與當前塊相似的當前塊的鄰近塊的Lc2 (因此Lr2)的像素。
[0066]根據一個優選實施例，第一因果鄰近區域Lcl和第二因果鄰近區域Lc2是分開的，即沒有共同像素。
[0067]根據另一種變型，兩個鄰近區域是不同的，但不是分開的。
[0068]在步驟26中，對第一和第二失真進行比較。
.[0069]在步驟28中，根據比較結果選擇加權預測參數。例如，如果a.D2+KD1，那麼選擇參數wp2,否則選擇wpl。
[0070]參數a和b是預定義的或根據信號確定的。例如，a和b根據如下預定義:a=l，b=0。根據另一個示例，a和b根據信號確定。以假設開始，根據此假設，參數wpl和wp2相似，然後認為通過一個或其他的隱式或顯式方法得到的預測信號與Lc2添加相同方差σ 2的不相關的高斯白噪聲的信號對應，即Ip(Ir2，wPi)=Ie2+e，e?N (O, σ2)，其中N (O, σ 2)是期望值為0，方差為σ2的正態分布。在這種情況下，Dl/o2和D2/o2都根據相同自由度η的X 2分布而分布，η對應鄰近區域Lc2 (或Lr2)的像素數量。然後，D2/D1服從η個自由度的Fischer分布。在該示例中，參數b始終為O。該參數取決於它被給予的錯誤率(即，雖然其是假的，但仍接受該假設)，還取決於鄰近區域Lc2的樣本數量。通常情況下，對5%的錯誤率，得到以下:
[0071]-當n=8, a=3.44
[0072]-當n=16, a=2.4
[0073]-當n=32, a=l.85
[0074]-當n=64，a=l.5
[0075]在步驟30中，根據在步驟28中選擇的加權預測參數重構當前塊。例如，如果選擇顯式參數，那麼通過融合與Be相關聯的殘差塊和預測塊Bp來重構B，其中預測塊根據參考塊Br和參數wpl確定。
[0076]參考圖3，本發明涉及一種編碼從至少一個參考塊Br預測的當前塊Be的方法。
[0077]在步驟32中，計算加權預測參數wpl，稱為顯式參數。顯式參數例如使用當前塊的圖像數據(亮度和/或色度)和參考塊Br的圖像數據計算。僅作為示例，wpl等於與Be的像素相關聯的平均亮度值除以與Br的像素相關聯的平均亮度值。如果選擇此參數，那麼必須編碼。實際上，解碼器在它重構當前塊Be時，沒有給它提供當前塊的圖像數據，因此不能計算wpl。正是因為這個原因，它被稱為顯式加權預測參數。根據一種變型，對參數wpl進行系統編碼，即使在它沒有被選擇的情況下。它尤其使得能夠確定鄰近區域Lcl。
[0078]在步驟34中，從當前塊Be的第一因果鄰近區域Lcl和參考塊Br的第一對應鄰近區域Lrl計算加權預測參數wp2，稱為隱式參數。根據已知的方法，例如，根據專利申請W0/2007/094792中描述的方法或根據專利申請W0/2010/086393中描述的方法確定參數。
[0079]根據特定實施例，第一鄰近區域Lcl的像素(因此Lrl的像素)從顯式參數wpl確定。注意，例如wpl_c是當前塊的顯式參數。在Lcl中只考慮其顯式參數wpl與當前塊的wpl_c相似的鄰近塊Be的像素。非常不同的光照變化的顯式參數的鄰近塊實際上可以視為與當前塊不相干。當範數，例如，加權預測參數之間的差的絕對值小於閾值ε，即wpl-wpl_c I < ε時,加權預測參數wpl與所述當前塊的加權預測參數wpl_c相似。
[0080]在步驟36中，計算第一和第二失真。第一失真Dl由考慮隱式參數wp2預測當前塊的第二因果鄰近區域Lc2產生。第二失真D2由考慮顯式參數wpl預測當前塊的第二因果鄰近區域Lc2產生。
[0081]僅通過舉例的方式，按照如下計算失真Dl和D2:
【權利要求】
1.一種用於重構從至少一個參考塊預測的圖像的當前塊的方法，所述當前塊以編碼數據的形式存在，該方法包括以下步驟: -從所述編碼數據中解碼(20)至少一個加權預測參數，稱為顯式參數(wpl)， 所述方法的特徵在於，它還包括以下步驟: -從所述當前塊(Be)的第一因果鄰近區域(Lcl)和所述參考塊(Br)的第一對應鄰近區域(Lrl)計算(22)至少一個加權預測參數，稱為隱式參數(wp2)， -計算(24)由於使用所述顯式參數預測所述當前塊的第二因果鄰近區域(Lc2)導致的第一失真(Dl)和由於使用所述隱式參數預測所述第二因果鄰近區域(Lc2)導致的第二失真(D2)，所述第二因果鄰近區域不同於所述第一因果鄰近區域； -比較(26)第一失真和第二失真， -根據比較結果選擇(28)所述顯式參數和所述隱式參數之間的一個參數，以及 -使用所選擇的參數重構(30 )所述當前塊。
2.如權利要求 1所述的重構方法，其中根據以下步驟分別計算所述第一失真(Dl)和所述第二失真(D2): -使用參考塊的第二對應鄰近區域(Lr2)預測所述當前塊的第二鄰近區域(Lc2)，同時分別考慮所述顯式預測參數和所述隱式預測參數，以及 -分別計算所述預測和所述當前塊的第二鄰近區域之間的第一失真和第二失真。
3.如前述權利要求中任何一項所述的重構方法，其中所述第一因果鄰近區域和所述第二因果鄰近區域是分開的。
4.如前述權利要求中任何一項所述的重構方法，其中所述第一因果鄰近區域通過選擇屬於所述當前塊的鄰近塊的像素來確定，其中對於所述鄰近塊解碼的顯式參數和所述當前塊的顯式參數之間的差小於閾值。
5.如前述權利要求中任何一項所述的重構方法，其中所述參考塊與當前塊屬於相同的圖像。
6.如前述權利要求中任何一項所述的重構方法，其中所述參考塊屬於除當前塊所屬的圖像之外的圖像。
7.一種使用至少一個參考塊通過預測來編碼圖像序列中的當前塊的方法，包括以下步驟: -使用當前塊和參考塊計算(32)至少一個加權預測參數，稱為顯式參數(wpl)， 所述方法的特徵在於，它還包括以下步驟: -從所述當前塊(Be)的第一因果鄰近區域(Lcl)和所述參考塊的第一對應鄰近區域(Lrl)計算(34)至少一個加權預測參數，稱為隱式參數(wp2)， -計算(36)由於使用所述顯式參數預測所述當前塊的第二因果鄰近區域(Lc2)導致的第一失真(Dl)和由於使用所述隱式參數預測所述第二因果鄰近區域(Lc2)導致的第二失真(D2)，所述第二因果鄰近區域不同於所述第一因果鄰近區域， -比較(38)第一失真和第二失真，以及 -根據比較結果在所述顯式參數和所述隱式參數之間選擇(40)參數，以及 -使用所選擇的參數編碼(42 )所述當前塊。
8.如權利要求7所述的方法，其中對所述顯式參數進行編碼。
9.一種用於重構從至少一個參考塊預測的圖像的當前塊的設備，所述當前塊以編碼數據的形式存在，所述設備包括以下部件: -用於從所述編碼數據中解碼至少一個被稱為顯式參數的加權預測參數的部件， 所述用於重構的設備的特徵在於，它還包括: -用於從所述當前塊的第一因果鄰近區域和所述參考塊的第一對應鄰近區域計算至少一個被稱為隱式參數的加權預測參數的部件， -用於計算由於使用所述顯式參數預測所述當前塊的第二因果鄰近區域導致的第一失真和由於使用所述隱式參數預測所述第二因果鄰近區域導致的第二失真的部件，所述第二因果鄰近區域不同於所述第一因果鄰近區域； -用於比較第一失真和第二失真的部件， -用於根據比較結果選擇所述顯式參數和所述隱式參數之間的一個參數的部件，以及 -用於使用所選擇的參數重構所述當前塊的部件。
10.一種使用至少一個參考塊通過預測編碼圖像序列中的當前塊的設備，包括: -用於使用當前塊和參考塊計算至少一個被稱為顯式參數的加權預測參數的部件， 所述編碼設備的特徵在於，它還包括: -用於從所述當前塊的第一因果鄰近區域和所述參考塊的第一對應鄰近區域計算至少一個被稱為隱式參數的加權預測參數的部件，· -用於計算由於使用所述顯式參數預測所述當前塊的第二因果鄰近區域導致的第一失真和由於使用所述隱式參數預測所述第二因果鄰近區域導致的第二失真的部件，所述第二因果鄰近區域不同於所述第一因果鄰近區域， -用於比較第一失真和第二失真的部件，以及 -用於根據比較結果在所述顯式參數和所述隱式參數之間選擇參數的部件，以及 -用於使用所選擇的參數編碼所述當前塊的部件。
【文檔編號】H04N7/26GK103430543SQ201280013450
【公開日】2013年12月4日 申請日期:2012年3月8日 優先權日:2011年3月14日
【發明者】E.弗朗索瓦, D.索羅, F.拉凱普, A.馬丁 申請人:湯姆遜許可公司