修改參考圖像的參考塊的方法、藉助參考塊編碼或解碼圖像的塊的方法及其裝置，以及承...的製作方法

2023-12-03 11:52:16 5

專利名稱：修改參考圖像的參考塊的方法、藉助參考塊編碼或解碼圖像的塊的方法及其裝置，以及承 ...的製作方法
技術領域：
本發明涉及一種修改參考圖像的參考塊的方法。本發明進一步涉及一種藉助於修 改後的參考塊來編碼或解碼圖像的塊的方法以及對應的裝置。此外，本發明涉及一種承載 藉助於修改後的參考塊而編碼的塊的存儲介質或信號。
背景技術：
在包括交叉混合(cross-fading)的圖像和未被混合(unfaded)的圖像的圖 像序列中，難以藉助於未被混合的圖像之一對所述交叉混合的圖像之一進行互預測 (inter-prediction)，反之亦然。這是因為，未被混合的圖像與交叉混合的圖像顯著不同。 因此，對所述交叉混合的圖像之一和未被混合的圖像之一之間的殘差進行編碼需要高比特率。H. 264-AVC視頻編碼標準提出了通過對參考圖像進行加權來修改它們並且作為兩 個或者更多個被這樣加權的不同參考圖像之和來形成預測。如果參考圖像之一包括交叉混 合，則對應的權重可能是負的。H. ^4-AVC視頻編碼標準沒有規定應怎樣確定權重。因此，不得不將所述權重作為 輔助信息(side information)而傳送。存在對有助於改進在交叉混合情況下的編碼效率的參考圖像修改方法和裝置的需求。

發明內容
這通過修改參考圖像的具有參考像素的參考塊的方法而實現，其中所述修改後的 參考塊專用於預測當前圖像的像素塊，並且所述方法包括權利要求1的特徵。也就是說，該方法包括將參考塊變換為第一組係數，藉助於一個或者多個權重修 改該第一組係數，並且對修改後的第一組係數進行逆變換，其中藉助於當前圖像的一個或 者多個另外的像素以及藉助於參考圖像的一個或多個另外的參考像素來確定所述權重。使用當前圖像的另外的像素以及參考圖像的另外的參考像素允許確定譜權重使 得它們反映混合效果。特別地，如果參考幀是兩個或者更多個幀的交叉混合的結果，所述兩 個或者更多個幀中的一個幀應藉助於交叉混合後的參考幀來預測，則譜域中的加權允許分 離被混合的幀的關聯性。在所述方法的進一步的實施例中，藉助於所述另外的像素來預測所述塊，藉助所 述另外的參考像素來預測所述參考塊，並且所述預測的塊和所述預測的參考塊被進一步用 於確定所述權重。在所述方法的又一實施例中，所述預測的參考塊與所述另外的參考像素一起被變 換為第二組係數，所述預測的塊與所述另外的像素一起被變換為第三組係數，並且藉助於所述第二組係數和所述第三組係數來確定所述權重。該方法的所述進一步實施例還可以包括測試第二組中的係數是否超過閾值，並 且還測試第三組中的對應係數是否超過閾值。如果所測試的係數中的至少一個不超過閾 值，則將對應的權重確定為零。否則，將對應的權重確定為來自第二組的係數除以第三組的 所述對應係數的商。本發明還涉及一種藉助於參考圖像的參考塊來編碼或者解碼圖像塊的方法。所述 方法包括根據該方法用於修改參考圖像的參考塊的實施例之一來修改參考塊，以及使用 所述修改後的參考塊作為塊的預測以便編碼或者解碼所述塊。特別是，這允許解碼藉助於交叉混合的塊所預測的塊，而不需要專用於交叉混合 的輔助信息。本發明還涉及一種藉助於修改後的參考圖像來編碼或解碼圖像的裝置。所述裝置包括用於將參考圖像的參考塊變換為第一組係數的部件，用於確定一 個或者多個權重的部件，用於藉助於所述權重對第一組係數加權的部件和用於對加權後的 第一組係數進行逆變換的部件，其中藉助於當前圖像的一個或者多個另外的像素以及藉助 於參考圖像的一個或多個另外的參考像素來確定所述權重。在所述裝置的進一步的實施例中，所述用於確定權重的部件被適配為藉助於所 述另外的像素來預測所述塊，藉助所述另外的參考像素來預測所述參考塊，並且進一步使 用所述預測的塊和所述預測的參考塊來確定所述權重。存在所述裝置的又一進一步的實施例，其中所述用於變換的部件進一步被適配為 將所述預測的參考塊與所述另外的參考像素一起變換為第二組係數，所述用於變換的部件 進一步被適配為將所述預測的塊與所述另外的像素一起變換為第三組係數，並且所述用於 變換的部件進一步適配為藉助於所述第二組係數和所述第三組係數來確定所述權重。所述裝置的所述又一進一步實施例可以進一步包括用於測試第二組中的係數是 否超過閾值以及用於測試第三組中的對應係數是否超過閾值的部件，以及用於將值分配給 對應的權重的部件。如果所測試的係數中的至少一個不超過閾值，則所述值為零。否則，所 述值與將來自第二組的係數除以第三組中的所述對應係數的商成比例。所確定的權重的數目可以對應於第一組中係數的數目。此外，所述參考塊可以與所述另外的參考像素一起進行變換。此外，本發明還涉及一種承載圖像的編碼塊的信號或者存儲介質，所述塊是根據 用於藉助於參考圖像的參考塊來編碼或者解碼圖像塊的所述方法而編碼的。


在附圖中圖示本發明的示例性實施例並且在以下描述中更詳細地進行解釋。在附圖中圖1描繪用於修改參考塊的方法的示例性概要；圖2描繪參考塊或者當前塊的中間預測的示例性實施例；以及圖3描繪示例性的交叉混合的圖像、以及藉助本發明的用於修改參考塊的示例性 實施例而重構的兩個被混合的圖像之一。
具體實施例方式圖1描繪用於修改參考塊的方法的示例性概要。參考圖像I_REF中的具有n*m個像素的參考區域RFRAl包括參考圖像I_REF的參 考塊RFBL以及另外的參考像素。通過變換TRF將包括例如若干參考塊的參考區域RFRAl變 換為第一組係數REFl (u，ν)，u = 0. . . η-1，ν = 0. . . m-1。然後通過一個或多個權重TR (u， ν)對所述第一組係數REFl (u，ν)進行加權。變換TRF可以是離散餘弦變換、小波變換或者 任何其他譜變換。優選地，每個係數被單獨地加權，即，每個係數存在一個權重，這允許最大 的加權靈活性。但是，如果應限制計算強度，則用於兩個或者更多個係數的公共權重可能是 有利的。為了確定所述權重TR(u，ν)，藉助於在參考區域RFRAl中包括的另外的參考像素 來生成參考塊RFBL的參考預測PRFB。然後，形成包括參考預測PRFB和所述另外的參考像 素的虛擬參考區域RFRA2。也就是說，虛擬參考區域RFRA2與參考區域RFRAl的不同在於由 所述參考預測PRFB來替代參考塊RFBL。通過向參考區域RFRAl施加的相同變換TRF來對 虛擬參考區域RFRA2進行變換。這得到第二組係數REF2 (u, v) ,u = 0. . . η-1, ν = 0. . . m-1。確定權重進一步包括生成在當前圖像I_CUR中包括的當前塊CRBL的當前預測 PCRB，其中應藉助於所述參考圖像I_REF對所述當前塊CRBL進行幀間編碼。藉助於在當前 區域CRRAl中包括的另外的當前像素來形成當前預測PCRB，所述當前區域CRRAl進一步包 括所述當前預測PCRB並且所述當前區域CRRAl被包括在當前圖像I_CUR中。以與根據所 述另外的參考像素來形成所述參考預測PRFB的方式完全相同的方式，根據所述另外的像 素來形成所述當前預測PCRB。當前區域CRRAl在垂直和水平擴展(extension)方面對應於 第二參考區域RFRA2。然後，形成包括當前預測PCRB和另外的當前像素的虛擬當前區域CRRA2。也就是 說，虛擬當前區域CRRA2與當前區域CRRAl的不同在於由所述當前預測PCRB來替代當前塊 CRBL0通過向參考區域RFRAl和向虛擬參考區域RFRA2施加的相同變換TRF來對虛擬當前 區域CRRA2進行變換。這得到第三組係數CURR (u，ν)，u = 0. . . η_1，ν = 0. . . m_l。藉助於第二組係數和第三組係數，確定一組權重TR(u，ν)。優選地，權重TR(u，ν) 被確定為對於 u = 0. . . η-1，ν = 0. . . m-1，其中thrf和thcr是自由選擇的閾值，其優選地被設置為1。優選地，對於第一組REFl (U，ν)中的每個係數，在該組權重TR(u，ν)中存在對應的 權重。然後，通過將第一組REFl (u，ν) (u = 0... n-1, V = O... m-1)中的每個係數乘以其對 應的權重，形成一組修改後的係數MREF (u，ν)MREF (u，v) = REFl (u, v)*TR(u，ν) (2)將這組修改後的係數MREF(u，ν)逆變換ITR為具有修改後的參考像素的修改後的 參考區域MRRA。具有修改後的參考像素的修改後的參考區域MRRA包括具有修改後的像素的修改
TR(u,v)
如果REF2(u, ν) > thrf並旦CURR(u, ν) > thcr 否則，
REF2(u，v) CURR(u，v) 0後的參考塊MRFB，所述修改後的參考塊MRFB在修改後的參考區域MRRA中位於與參考塊 在參考區域RFRA中的相對位置對應的相對位置處。修改後的像素塊在修改後的參考區域 MRRA中的相對位置還對應於參考預測PRFB在虛擬參考區域RFRA2中的相對位置。然後使用所述修改後的參考塊MRFB作為所述當前塊CRBL在幀間編碼情境下的預 測。也就是說，優選地在用於所述當前塊CRBL的幀間編碼的編碼器和用於再次解碼 幀間編碼塊的解碼器中以相同的方式來確定修改後的參考塊MRFB。為使得這被允許，必須在解碼當前塊CRBL時，已經解碼了用於確定權重TR(u，ν) 的另外的當前像素。在從圖像的左上側頂點至右下側頂點進行順序解碼時，已經解碼了當 前塊的左側的塊、上方的左側的塊和至右邊界的塊，並且當前塊CRBL的下邊界與當前區域 CRRAl的下邊界或(respectively)右邊界重合，如圖1中所描繪的。將單個像素的樣本考慮作為列、行或者矩形中的兩個或更多個像素的函數。有用 的函數是可以被進一步加權的平均數或者平均值。然後，可以藉助於當前圖像I_CUR或者 參考圖像I_REF的樣本來分別確定當前預測PCRB和參考預測PRFB，其中，所述樣本鄰近於 當前塊或參考塊的上側邊界或者左側邊界。可以對所述鄰近樣本求平均並且作為結果的平均值可以被分配給當前預測PCRB 或參考預測PRFB中的所有像素。或者，當前預測PCRB中的像素被確定為各鄰近樣本中與要確定的像素位於相同 列中的一個鄰近樣本和各鄰近樣本中與要確定的像素位於相同行中的一個鄰近樣本的平 均數。在圖2中描繪了該預測的構思。例如，將像素11確定為樣本C和樣本iii的平均 數，其中這兩個樣本可以這樣確定如果該樣本鄰近該塊的左邊界，則通過將對應行中的兩 個或者更多個像素求平均而進行確定，或者如果該樣本鄰近該塊的上邊界，則通過將對應 列中的兩個或者更多個像素求平均而進行確定。類似地，像素8被確定為樣本D和樣本ii 的平均數，而像素2被確定為樣本B和樣本i的平均數。在實施例中，沒有藉助樣本A和i， 而是藉助樣本Q來確定像素1，這是因為還考慮了可以由當前塊CRBL的左上側的塊的像素 矩形形成像素1。如果將交叉混合的圖像用作被交叉混合的兩個或者更多個圖像中的一個圖像的 參考，則本發明特別有用。這在圖3中進行了示例性描繪。右側圖像是修改後的參考圖像， 所述修改後的參考圖像是藉助於本發明的在譜域中進行加權而從左側的示例性的兩個圖 像的交叉混合生成的。
權利要求
1.一種修改參考圖像(I_REF)的具有參考像素的參考塊(RFBL)的方法，所述修改後的 參考塊(MRFB)專用於預測當前圖像(I_CUR)的像素塊(CRBL)，所述方法包括以下步驟-將參考塊(RFBL)變換(TRF)為第一組(REFKu, ν))係數，-藉助於一個或者多個權重(TR(u，ν))修改該第一組(REF(u，ν))係數，以及-對修改後的第一組係數進行逆變換(ITR)，其中-藉助於當前圖像(I_CUR)的另外的像素以及藉助於參考圖像(I_REF)的另外的參考 像素來確定所述權重(TR(u，v，))。
2.根據權利要求1的方法，其中-藉助於所述另外的像素來預測所述塊(CRBL)，-藉助於所述另外的參考像素來預測所述參考塊(RFBL)，以及-進一步使用所述預測的塊(PCRB)和所述預測的參考塊(PRFB)來確定所述權重。
3.根據權利要求1或2的方法，其中-所述預測的參考塊(PRFB)與所述另外的參考像素一起被變換(TRF)為第二組 (Refl (u, ν))係數，-所述預測的塊(PCRB)與所述另外的像素一起被變換(TRF)為第三組(⑶RR(u，v))系 數，以及-藉助於所述第二組(Refl (u，v))係數和所述第三組(⑶RR(u，v))係數來確定所述權 重(TR(u，ν))。
4.根據權利要求3的方法，進一步包括-測試第二組(Refl (u，ν))中的係數是否超過第一閾值以及測試第三組(⑶RR(u，v)) 中的對應係數是否超過相同的或者不同的第三閾值，-如果所測試的係數中的至少一個不超過對應的閾值，則將對應的權重確定為零， -否則，將對應的權重確定為來自第二組的係數除以第三組中的所述對應係數的商。
5.一種藉助於參考圖像(I_REF)的參考塊(RFBL)編碼或者解碼圖像(I_CUR)的塊 (CRBL)的方法，所述方法包括-根據前述權利要求之一修改參考塊(RFBL)，以及-使用所述修改後的參考塊(MRFB)作為所述塊(CRBL)的預測，以便編碼或者解碼所述 塊(CRBL)。
6.一種藉助於參考圖像(I_REF)來編碼或解碼圖像(I_CUR)的裝置，包括-用於將參考圖像的包括參考塊(RFBL)的參考區域(RFRAl)變換為第一組(REF(u， ν))係數的部件，-用於確定一個或者多個權重(TR(u，v))的部件，-用於藉助於所述權重(TR(u，v))對第一組(REF(u，v))係數進行加權的部件，以及 -用於將加權後的第一組係數逆變換為包括被用於編碼或者解碼的修改後的參考塊 (MRFB)的修改後的參考區域(MRRA)的部件， 其中-藉助於當前圖像(I_CUR)的一個或者多個另外的像素以及藉助參考圖像(I_REF)的 一個或多個另外的參考像素來確定所述權重(TR(u，ν))。
7.根據權利要求6的裝置，其中所述用於確定權重(TR(u，ν))的部件被適配為 -藉助於所述另外的像素來預測所述塊(CRBL)，-藉助於所述另外的參考像素來預測所述參考塊(RFBL)，以及-進一步使用所述預測的塊(PCRB)和所述預測的參考塊(PRFB)來確定所述權重。
8.根據權利要求6或7的裝置，其中-所述用於變換的部件進一步被適配為將所述預測的參考塊(PRFB)與所述另外的參 考像素一起變換為第二組(REFl(u，v))係數，-所述用於變換的部件進一步被適配為將所述預測的塊(PCRB)與所述另外的像素一 起變換為第三組(⑶RR(u，ν))係數，以及-所述用於變換的部件進一步被適配為藉助於所述第二組(REFl(u，v))係數和所述第 三組(CURR(u，ν))係數來確定所述權重(TR(u，ν，))。
9.根據權利要求8的裝置，進一步包括-用於測試第二組(REFl(u，ν))中的係數是否超過第一閾值以及用於測試第三組 (⑶RR(u，ν))中的對應係數是否超過相同或者不同的第二閾值的部件，-用於將值分配給對應的權重(TR(u，v))的部件，其中，如果所測試的係數中的至少一 個不超過對應的閾值，則所述值為零，-否則，所述值與將來自第二組(REFl(u，v))的係數除以第三組(⑶RR(u，v，))中的所 述對應係數的商成比例。
10.根據權利要求6-9之一的裝置、或者根據權利要求1-5之一的方法，其中 -權重(⑶RR(u，v))的數目對應於第一組(REF(u，v))中係數的數目。
11.根據權利要求6-10之一的裝置、或者根據權利要求1-5和10之一的方法，其中 -所述參考塊(RFBL)與所述另外的參考像素一起進行變換。
12.—種承載圖像(I_CUR)的編碼塊(CRBL)的信號或者存儲介質，所述塊是根據權利 要求5來編碼的。
全文摘要
本發明涉及一種修改參考圖像(I_REF)的參考塊(RFBL)的方法。也就是說，該方法包括將參考塊(RFBL)變換(TRF)為第一組係數(REF(u，v))，藉助於一個或者多個權重(TR(u，v))修改該第一組係數(REF(u，v))，以及對修改後的第一組係數進行逆變換(ITR)，其中藉助於當前圖像(I_CUR)的一個或者多個另外的像素以及藉助於參考圖像(I_REF)的一個或多個另外的參考像素來確定所述權重(TR(u，v))。使用當前圖像的另外的像素以及參考圖像的另外的參考像素允許確定譜權重使得它們反映混合效果。特別地，如果參考幀由兩個被交叉混合的幀組成，而所述兩個被交叉混合的幀中的一個幀應藉助於所述參考幀來預測，則譜域加權允許分離這兩個幀的關聯性。
文檔編號H04N7/26GK102124738SQ200980131473
公開日2011年7月13日 申請日期2009年8月7日 優先權日2008年8月13日
發明者埃杜阿德.弗朗索瓦, 多米尼克.索羅, 奧雷利.馬丁, 傑羅姆.維倫 申請人:湯姆森特許公司