使用隱式運動預測進行預測精細化的方法及裝置的製作方法
2023-07-27 05:08:21
專利名稱：使用隱式運動預測進行預測精細化的方法及裝置的製作方法
技術領域：
本原理一般涉及視頻編碼和解碼，並且更具體地涉及使用隱式(implicit)運動預測進行預測精細化(refinement)的方法及裝置。
背景技術：
大多數的現有視頻編碼標準通過基於塊的運動補償來利用時間冗餘的存在。這種標準的示例是國際標準化組織/國際電工委員會(IS0/IEC)運動畫面專家組-4(MPEG-4) 第10部分高級視頻編碼(AVC)標準/國際電信聯盟電信分部(ITU-T)H. 264建議(以下稱為 「MPEG-4AVC 標準」)。可以將這種利用時間冗餘的存在的基於塊的運動補償考慮為一種前向運動預測， 其中通過顯式地發送輔助信息(即運動信息)來獲得預測信號。為了使開銷最小化以使其不比運動補償(MC)的優點更為突出(outweigh)，經常使用粗略的運動場(基於塊的)。諸如公知的最小平方預測(LSP)之類的後向運動預測可以避免傳輸運動矢量的必要性。然而，作為結果的預測性能高度依賴於模型參數設置(例如，濾波器支持和訓練窗的拓撲)。 在LSP方法中，期望將模型參數適配於局部運動特徵。這裡，同義地(可互換地)使用「前向運動預測」和「顯式運動預測」。類似地，同義地(可互換地)使用「後向運動預測」和「隱式運動預測」。幀間預測在視頻編碼中，幀間預測被廣泛地採用來減少目標幀和參考幀之間的時間冗餘。 運動估計/補償是幀間預測中的關鍵部分。通常，可以將運動模型及其對應運動估計技術分為兩種類別。第一類別是前向預測，其基於顯式運動表示(運動矢量)。在該方法中將顯式地傳輸運動矢量。第二類別是後向預測，其中運動信息不由運動矢量顯式地表示，而是被以隱式方法利用。在後向預測中，不傳輸運動矢量，而在對應解碼器處仍可以利用時間冗
ο轉到
圖1，通過參考標號100總地指示包含塊匹配的示例性前向運動估計方案。前向運動估計方案100包含重構的參考幀110，其具有搜索區域101和該搜索區域101內的預測102。前向運動估計方案100還包含當前幀150，其具有目標塊151和重構的區域152。 使用運動矢量Mv來表示目標塊151和預測102之間的運動。前向預測方法100對應於上述的第一類別，其是公知的並且在當前的視頻編碼標準(諸如，例如MPEG-4AVC標準)中被採用。通常以兩步來執行該第一類別。估計目標(當前)塊151和參考幀(例如，110)之間的運動矢量。然後，編碼該運動信息(運動矢量Mv) 並將其顯式地發送給解碼器。在解碼器處，解碼該運動信息並將其用於從先前解碼的重構的參考幀中預測目標塊151。第二類別指的是不在比特流中顯式地編碼運動信息的一類預測方法。相反，如在編碼器處執行的那樣，在解碼器處執行相同的運動信息推導。一種實際的後向預測方案是使用一種局部化的時空自回歸(auto-regressive)模型，其中應用最小平方預測(LSP)。另一種方法是使用基於補丁的方法，諸如模板匹配預測方案。轉到圖2，通過參考標號200總地指示包含模板匹配預測(TMP)的示例性後向運動估計方案。後向運動估計方案200包含重構的參考幀210，其具有搜索區域211、該搜索區域211內的預測212、以及關於預測212 的鄰域(neighborhood) 213。後向運動估計方案200還包含當前幀250，其具有目標塊251、 關於目標塊251的模板252、以及重構的區域253。通常，前向預測的性能高度依賴於預測塊的大小以及所傳輸的開銷量。當塊的大小減小時，用於每個塊的開銷的成本將增加，這限制了前向預測僅擅長於預測平滑且剛性的運動。在後向預測中，由於沒有傳輸開銷，因此塊的大小可以減小而不招致另外的開銷。 因此，後向預測更適合於複雜的運動，諸如可變形的運動。MPEG-4AVC標準的幀間預測MPEG-4AVC標準使用樹結構的分層級的宏塊分區(partition)。可以將幀間編碼的16X16像素的宏塊分解為16X8、8X16或8X8大小的宏塊分區。8X8像素的宏塊分區也被稱為子宏塊。子宏塊還可以被分解為8X4、4X8和4X4大小的子宏塊分區。編碼器可以基於具體宏塊的特徵來選擇如何將該具體的宏塊劃分為分區和子宏塊分區，以便使壓縮效率和主觀質量最大化。可以使用多參考畫面來進行幀間預測，並利用編碼的參考畫面索引來指示使用多參考畫面中的哪一個。在P畫面(或P碼片)中，僅使用單向預測，並且在列表0中管理所允許的參考畫面。在B畫面(或B碼片)中，管理參考畫面的兩個列表列表0和列表1。 在B畫面(或B碼片)中，允許使用列表0或列表1的單向預測，或者允許使用列表0和列表1兩者的雙向預測。在使用雙向預測時，對列表0預測(predictor)和列表1預測一起求平均，來形成最終預測。每個宏塊分區可能具有獨立的參考畫面索引、預測類型(列表0、列表1或雙向預測)、以及獨立的運動矢量。每個子宏塊分區可能具有獨立的運動矢量，但是同一子宏塊中的所有子宏塊分區使用相同的參考畫面索引和預測類型。在MPEG-4AVC聯合模型(JM)參考軟體中，將率失真優化(RDO)框架用於模式判定。對於幀間模式，將運動估計與模式判定分離地考慮。首先對幀間模式的所有塊類型執行運動估計，並且然後通過將每種幀間模式和幀內模式的成本進行比較以作出模式判定。將具有最小成本的模式選擇作為最佳模式。對於P幀，可以選擇以下模式
權利要求
1.一種裝置，包括編碼器(500)，用於使用顯式運動預測以生成對圖像塊的粗略預測並且使用隱式運動預測以精細化該粗略預測來編碼該圖像塊。
2.如權利要求1所述的裝置，其中，粗略預測是幀內預測和幀間預測中的任一種。
3.如權利要求1所述的裝置，其中，隱式運動預測是最小平方預測。
4.如權利要求3所述的裝置，其中，最小平方預測濾波器支持和最小平方預測訓練窗覆蓋與該圖像塊有關的空間上的和時間上的像素二者。
5.如權利要求3所述的裝置，其中，最小平方預測可以是基於像素的或基於塊的，並且被用於單一假設運動補償預測或多假設運動補償預測中。
6.如權利要求5所述的裝置，其中，基於前向運動估計定義用於最小平方預測的最小平方預測參數。
7.如權利要求6所述的裝置，其中，可以關於一個或多個參考畫面、或關於一個或多個參考畫面列表來進行用於最小平方預測的時間上的濾波器支持。
8.如權利要求5所述的裝置，其中，最小平方預測所基於的塊的大小不同於前向運動估計塊的大小。
9.如權利要求5所述的裝置，其中，可以由運動矢量預測器導出或估計用於最小平方預測的運動信息。
10.一種編碼圖像塊的編碼器，包括運動估計器(575)，用於執行顯式運動預測以生成對該圖像塊的粗略預測；以及預測精細化器(533)，用於執行隱式運動預測以精細化該粗略預測。
11.如權利要求10所述的編碼器，其中，粗略預測是幀內預測和幀間預測中的任一種。
12.如權利要求10所述的編碼器，其中，隱式運動預測是最小平方預測。
13.一種在視頻編碼器中編碼圖像塊的方法，包括使用顯式運動預測生成對該圖像塊的粗略預測(920)；以及使用隱式運動預測精細化該粗略預測(925)。
14.如權利要求13所述的方法，其中，粗略預測是幀內預測和幀間預測中的任一種。
15.如權利要求13所述的方法，其中，隱式運動預測是最小平方預測(925)。
16.如權利要求15所述的方法，其中，最小平方預測濾波器支持和最小平方預測訓練窗覆蓋與該圖像塊有關的空間上的和時間上的像素二者。
17.如權利要求15所述的方法，其中，最小平方預測可以是基於像素的或基於塊的，並且被用於單一假設運動補償預測或多假設運動補償預測。
18.如權利要求17所述的方法，其中，基於前向運動估計定義用於最小平方預測的最小平方預測參數(915，925)。
19.如權利要求18所述的方法，其中，可以關於一個或多個參考畫面、或關於一個或多個參考畫面列表來進行用於最小平方預測的時間上的濾波器支持。
20.如權利要求17所述的方法，其中，最小平方預測所基於的塊的大小不同於前向運動估計塊的大小(915)。
21.如權利要求17所述的方法，其中，可以由運動矢量預測器導出或估計用於最小平方預測的運動信息。
22.一種裝置，包括解碼器(600)，用於通過接收使用顯式運動預測生成的對圖像塊的粗略預測並使用隱式運動預測精細化該粗略預測來解碼該圖像塊。
23.如權利要求22所述的裝置，其中，粗略預測是幀內預測和幀間預測中的任一種。
24.如權利要求22所述的裝置，其中，隱式運動預測是最小平方預測。
25.如權利要求M所述的裝置，其中，最小平方預測濾波器支持和最小平方預測訓練窗覆蓋與該圖像塊有關的空間上的和時間上的像素二者。
26.如權利要求M所述的裝置，其中，最小平方預測可以是基於像素的或基於塊的，並且被用於單一假設運動補償預測或多假設運動補償預測。
27.如權利要求沈所述的裝置，其中，基於前向運動估計定義用於最小平方預測的最小平方預測參數。
28.如權利要求27所述的裝置，其中，可以關於一個或多個參考畫面、或關於一個或多個參考畫面列表來進行用於最小平方預測的時間上的濾波器支持。
29.如權利要求沈所述的裝置，其中，最小平方預測所基於的塊的大小不同於前向運動估計塊的大小。
30.如權利要求沈所述的裝置，其中，可以由運動矢量預測器導出或估計用於最小平方預測的運動信息。
31.一種解碼圖像塊的解碼器，包括運動補償器(670)，用於接收使用顯式運動預測生成的對該圖像塊的粗略預測並使用隱式運動預測精細化該粗略預測。
32.如權利要求31所述的解碼器，其中，粗略預測是幀內預測和幀間預測中的任一種。
33.如權利要求31所述的解碼器，其中，隱式運動預測是最小平方預測。
34.一種在視頻解碼器中解碼圖像塊的方法，包括接收使用顯式運動預測生成的對圖像塊的粗略預測(103 ；以及使用隱式運動預測精細化該粗略預測(1040)。
35.如權利要求34所述的方法，其中，粗略預測是幀內預測和幀間預測中的任一種。
36.如權利要求34所述的方法，其中，隱式運動預測是最小平方預測(1040)。
37.如權利要求36所述的方法，其中，最小平方預測濾波器支持和最小平方預測訓練窗覆蓋與該圖像塊有關的空間上的和時間上的像素二者。
38.如權利要求36所述的方法，其中，最小平方預測可以是基於像素的或基於塊的並且被用於單一假設運動補償預測或多假設運動補償預測。
39.如權利要求38所述的方法，其中，基於前向運動估計定義用於最小平方預測的最小平方預測參數。
40.如權利要求39所述的方法，其中，可以關於一個或多個參考畫面、或關於一個或多個參考畫面列表來進行用於最小平方預測的時間上的濾波器支持。
41.如權利要求38所述的方法，其中，最小平方預測所基於的塊的大小不同於前向運動估計塊的大小。
42.如權利要求38所述的方法，其中，可以由運動矢量預測器導出或估計用於最小平方預測的運動信息(1025)。
全文摘要
提供了使用隱式運動預測進行預測精細化的方法和裝置。一種裝置包括編碼器，其使用顯式運動預測以生成對圖像塊的粗略預測(920)並且使用隱式運動預測精細化該粗略預測(925)來編碼該圖像塊。
文檔編號H04N7/32GK102204254SQ200980143937
公開日2011年9月28日 申請日期2009年9月1日 優先權日2008年9月4日
發明者喬爾·索爾, 奧斯卡·迪沃拉埃斯科達, 尹澎, 鄭雲飛 申請人:湯姆森特許公司