用於視頻編碼器中的幀內預測的方法和設備的製作方法

2023-05-01 12:22:11

專利名稱：用於視頻編碼器中的幀內預測的方法和設備的製作方法
技術領域：
本發明一般地涉及視頻編碼。更具體而言，本發明涉及用於視頻編碼器中的幀內 預測(intra-prediction)的方法和設備。
背景技術：
視頻壓縮被用在許多當前的和正在出現的產品中，例如，數位電視機頂盒(STB)、 高清晰電視(HDTV)解碼器、數字通用盤(DVD)播放器、藍光碟播放器、數字攝像機、個人計 算機等等。如果沒有視頻壓縮，則數字視頻內容可能極大，使得數字視頻內容難以或甚至 不可能被有效地存儲、傳輸或觀看。存在壓縮數字視頻內容的各種視頻編碼方法。因此， 已經開發了視頻壓縮標準來使各種視頻編碼方法標準化，使得壓縮的數字視頻內容能以 大多數視頻編碼器能夠識別的格式提交。例如，運動畫面專家組(MPEG)和國際電信聯盟 (ITU-T)已經開發了廣泛使用的視頻編碼標準。這些標準的示例包括MPEG-l、MPEG-2 (ITU-T H. 262)、MPEG-4、ITU-T H. 261、ITU-T H. 263 和 ITU-T H. 264 標準。諸如MPEG標準之類的視頻編碼標準通常通過利用諸如時間和空間預測、變換和 量化、熵編碼之類的各種編碼技術來實現數據壓縮。視頻編碼器中的壓縮通常包括幀間預 測和幀內預測兩者，以用於提高編碼效率。幀間預測利用視頻的圖像之間的時間相關性，而 幀內預測利用視頻的圖像內的像素的空間相關性。這兩種類型的預測通常都是對像素塊來 執行的。對於幀內預測，塊的預測是通過從之前已編碼和重構的塊的相鄰樣本中進行外推 來形成的，並且之後塊與其預測之間的差被編碼。然而，這樣的技術對於具有複雜紋理的圖 像並不是很有效。此外，被預測的像素離周圍的像素越遠，預測中的誤差越大。因此，本領域需要克服上述缺陷的用於視頻編碼器中的幀內預測的方法和設備。

發明內容
本發明的一個方面涉及一種用於正被編碼的圖像中的樣本組的幀內預測的方 法。在某些實施例中，該方法包括定義該樣本組的目標模板；將目標模板與圖像的搜索 區域內的候選模板的仿射變換相比較；識別候選模板中的至少一個與目標模板相匹配的 匹配模板；基於這至少一個匹配模板來確定候選樣本組；以及使用候選樣本組作為預測值 (predictor)來對樣本組進行編碼。本發明的另一個方面涉及一種用於正被編碼的圖像中的樣本組的幀內預測的設 備。在某些實施例中，該設備包括編碼器和時間/空間預測模塊，該編碼器被配置為使用候 選樣本組作為預測值來對所述樣本組進行編碼，該時間/空間預測模塊在編碼器內並被配 置為定義該樣本組的目標模板；將目標模板與圖像的搜索區域內的候選模板的仿射變換 相比較；識別候選模板中的至少一個與目標模板相匹配的匹配模板；基於這至少一個匹配 模板來確定候選樣本組。本發明的另一個方面涉及一種用於正被編碼的圖像中的樣本組的幀內預測的設備。在某些實施例中，該設備包括用於定義所述樣本組的目標模板的裝置；用於將所述目 標模板與所述圖像的搜索區域內的候選模板的仿射變換相比較的裝置；用於識別所述候選 模板中的至少一個與目標模板相匹配的匹配模板的裝置；用於基於所述至少一個匹配模板 來確定候選樣本組的裝置；以及用於使用所述候選樣本組作為預測值來對所述樣本組進行 編碼的裝置。


需要參考實施例來對以上簡要概述的本發明進行更詳細的描述，以使得使本發明 的上述特徵可以被更詳細地理解，這些參考實施例中的某些實施例在附圖中被示出。然而， 應當注意，附圖僅僅圖示出本發明的典型實施例，因此不應被認為是其範圍的限制，因為本 發明承認其他等效的實施例。圖1是描述根據本發明一個或多個方面的示例性視頻編碼器的框圖；圖2是描述根據本發明一個或多個方面的視頻編碼器中的幀內預測的方法的示 例性實施例的流程圖；圖3是描述根據本發明一個或多個方面的圖像中的幀內預測的示例性說明的框 圖。圖4是描述根據本發明一個或多個方面的用於正被編碼的圖像中的目標塊的幀 內預測的方法的示例性實施例的流程圖；圖5是描述根據本發明一個或多個方面的用於正被編碼的圖像中的樣本組的幀 內預測的方法的示例性實施例的流程圖；圖6是描述根據本發明一個或多個方面的用於正被編碼的圖像中的樣本組的幀 內預測的方法的另一示例性實施例的流程圖；圖7描述根據本發明一個或多個方面的可以在這裡所描述的幀內預測方法中使 用的示例性摸板；以及圖8是描述根據本發明一個或多個方面的用於正被編碼的圖像中的樣本組的幀 內預測的方法的另一示例性實施例的流程圖。
具體實施例方式應當注意，儘管是在H. 264/MPEG-4 AVC的上下文中描述本發明的各個方面，但是 本發明不限於此。即，視頻編碼器可以是與H. 264/MPEG-4AVC兼容的編碼器或與能夠利用 幀內預測方案的任何其他壓縮標準相兼容的編碼器。注意，以下所描述的本發明的方面不 是當前已知的任何壓縮標準的一部分。圖1是描述根據本發明一個或多個方面的示例性視頻編碼器100的框圖。視頻 編碼器100包括時間/空間預測模塊140、速率控制模塊130、變換模塊160、量化(Q)模塊 170、熵編碼器180、緩衝器(BUF)190、逆量化(Q—1)模塊175、逆DCT變換(T—1)模塊165、減 法器115、加法器155、去塊(deblocking)模塊151和參考緩衝器150。儘管視頻編碼器100 包括多個模塊，但是，本領域技術人員將了解，不要求由各種模塊執行的功能被分離到如圖 1最後所示的分離的模塊中。輸入的視頻數據包括一連串圖片，其中，每個圖片是具有一個亮度(luma)樣本陣
6列和兩個色度(chroma)樣本陣列的一場或一幀(兩個隔行掃描場)。每個圖片還可以被劃 分成片(slice)，片可以被劃分成宏塊，宏塊可以被劃分成不同大小的塊。輸入視頻數據經 由路徑110被耦合到時間/空間預測模塊140。時間/空間預測模塊140可以包括可變塊 運動估計(ME)模塊142和運動補償(MC)模塊144。來自ME模塊142的運動向量被MC模 塊144接收到以用於提高樣本值預測的效率。運動補償涉及使用運動向量來將偏移提供到 過去的和/或將來的參考圖片中的預測，所述參考圖片包含用來形成預測誤差的之前解碼 的樣本值。即，時間/空間預測模塊140使用(一個或多個)之前解碼的圖片以及運動向 量來構建正被編碼的當前圖片的估計。 時間/空間預測模塊140也可以執行空間預測處理，例如，定向空間預測 (Directional Spatial Prediction, DSP)。定向空間預測可被實現以用於幀內編碼，以用 於外推出當前圖片中的之前解碼出的部分的邊緣並且將其應用於圖片中被幀內編碼的區 域中。這提高預測信號的質量，並且也允許從尚未使用幀內編碼被編碼的相鄰區域來進行 預測。此外，在針對給定的塊執行運動補償預測之前，必需選擇編碼方式。在編碼方式確 定中，MPEG提供多種不同的編碼方式。一般，這些編碼方式被分組為兩個大類，幀間編碼和 幀內編碼。幀內編碼涉及使用幀內預測來對圖片中的塊、宏塊或片進行編碼，幀內預測是僅 從同一解碼後的圖片中得出的預測。反之，幀間編碼涉及使用幀間預測來對圖片中的塊、宏 塊或片進行編碼，幀間預測是從除了當前圖片之外的(一個或多個)解碼出的圖片中得出 的預測。以下描述由時間/空間預測模塊140執行的幀內預測處理的實施例。在編碼方式被選擇之後，時間/空間預測模塊140基於過去的和/或將來的參考 圖片生成在塊的內容的路徑152上的經運動補償的預測(預測圖像)。經由減法器115從 當前塊中路徑110上的視頻圖像中減去路徑152上的經運動補償的預測來形成路徑153上 的誤差信號或可預測殘留信號。路徑53上的可預測殘留信號被傳遞給變換模塊160以用 於編碼。變換模塊160隨後應用基於離散餘弦變換的(基於DCT的)變換。具體而言，在 H. 264/MPEG-4 AVC中，對4x4塊應用該變換，其中可分離的整數變換被應用。對每個色度分 量的4個DC係數應用另外的2x2變換。所產生的變換後的係數被量化模塊170接收到，量 化係數在量化模塊170中被量化。H. 264/MPEG-4 AVC使用標量量化。所產生的經量化的變換後的係數之後在逆量化模塊175和逆DCT模塊165中被解 碼來恢復將被存儲在參考緩衝器150中的(一個或多個)參考圖片。在H. 264/MPEG-4 AVC 中，還採用環內去塊濾波器151來最小化塊效應(blockiness)。來自量化模塊170的所產生的經量化的變換後的係數還經由信號連接171被熵編 碼器180接收到。熵編碼器180可以執行上下文自適應變長編碼(CAVLC)或上下文自適應 二進位算術編碼(CABAC)，其中，經量化的係數的二維塊被使用具體的掃描方式(例如，「鋸 齒狀」次序)掃描以將其變換成經量化的變換後的係數的一維字符串。該數據流被接收到緩衝器190中，緩衝器190是先進先出(FIFO)存儲器。使用 不同圖片類型和變長編碼的結果是進入緩衝器190的總比特率是可變的。即，用來對每幀 進行編碼的比特數可以不同。在涉及固定速率信道的應用中，可以使用緩衝器190來將編 碼器輸出與信道相匹配以用於對比特率進行平滑。因此，緩衝器190的輸出是輸入視頻圖像110的壓縮表示，其經由路徑195輸出。速率控制模塊130用來監控和調節進入緩衝器 190的數據流的比特率以用於防止在數據流的傳輸之後編碼器側(在目標存儲裝置的接收 機內，未示出)的上溢和下溢。在某些實施例中，視頻編碼器100的模塊可以使用硬體來實現，硬體例如是一個 或多個集成電路(IC)、離散組件、電路板等等。在某些實施例中，視頻編碼器100的模塊中 的一個或多個模塊可以經由軟體(例如，執行軟體來執行(一個或多個)模塊的功能的處 理器)來實現。在某些實施例中，視頻編碼器100的模塊可以使用硬體和軟體的組合來實 現。圖2是描述根據本發明一個或多個方面的視頻編碼器中的幀內預測的方法200的 示例性實施例的流程圖。如上所述，視頻編碼器100逐塊地處理輸入圖像，其中這些塊可以 具有各種大小的輸入樣本。方法200可以針對正被編碼的圖像中的樣本組來執行。方法 200開始於步驟202，其中用於該樣本組的目標模板被定義。在步驟204，將目標模板與該圖 像的搜索區域內的候選模板的仿射變換(affine transformation)相比較。在步驟206，將 候選模板中的至少一個匹配模板定義為與該目標模板相匹配。在步驟208，基於這至少一個 匹配模板來確定候選樣本組。在步驟210，使用該候選樣本組作為預測值來對該組樣本進行 編碼。方法200的步驟202直到208可以由時間/控制項預測模塊140來執行。步驟210可 以由編碼器100來執行，如上所述。編碼器100可以重複方法200來對正被編碼的圖像和 正被編碼的任何其他圖像中的各種其它樣本組進行幀內預測。參考以下所描述的具體實施 例可以理解方法200的方面。圖3是描述本發明一個或多個方面的圖像300中的幀內預測的示例性說明的框 圖。圖像300可以是正被視頻編碼器100編碼的特定圖片。圖像300包括之前已被編碼和 重構的部分302以及還有待編碼的部分303。塊304是正被編碼的當前塊，因此是要被預測 的目標塊。在本示例中，塊304包括4x4樣本陣列。搜索區域306被建立在塊304的鄰近， 其包括具有y樣本高x樣本寬的尺寸的之前已編碼和重構的樣本，但不包括右下方還未編 碼的樣本。塊304進一步被劃分成4個2x2子塊。模板308被建立在目標2x2子塊305 (本 示例中右上方的子塊)的鄰近。在本示例中，模板308包括5個之前編碼和重構的樣本，它 們佔據目標2x2子塊的左邊和上邊的位置。幀內預測通過針對模板308來執行搜索區域 306中的匹配來進行。搜索區域306中的候選模板310定義候選的2x2子塊312。最佳的 候選2x2子塊是相鄰的模板最接近地匹配模板308的一個子塊。圖4是描述根據本發明的一個或多個方面的用於對正被編碼的圖像中的目標塊 的幀內預測的方法400的示例性實施例的流程圖。方法400可以由視頻編碼器100中的時 間/控制項預測模塊140來執行。為了舉例清楚，假定目標塊是圖像300中的塊304。方法 400開始於步驟402，限定搜索區域(例如，搜索區域306)。在步驟404，選擇目標塊中的目 標子塊(例如，塊304中的2x2子塊305)。然後，假定該目標塊為樣本組，執行用於正被編 碼的圖像中的樣本組的幀內預測的方法401。方法401開始於步驟406，針對目標子塊定義目標模板(例如塊304中右上的2x2 子塊305的模板308)。在步驟408，在搜索區域內選擇候選模板(例如候選模板310)。在 步驟410，計算目標模板與候選模板之間的匹配的標記(indicium)。MPEG中通常使用的一種標記是絕對差的加和(SAD)。在某些實施例中，不是使用SAD來直接測量模板之間的差，而是尋找使關於目標模板的均方根誤差(MSE)最小的候選 模板的最佳仿射變換。使用仿射變換相對於不使用仿射變換可以導致更小的預測誤差，這 有利地使得較少的變換係數要被編碼並被發送給編碼器(即，提高編碼效率)。值得注意的是，目標模板可以用具有N個樣本的向量來表示(例如，模板308具有 N = 5個樣本)，即，x= [Xi....Xn]。類似地，候選模板可以用具有N個樣本的向量來表示， 即，y= [y. yj o可以通過尋找到使下式最小的y的最佳仿射變換x_hat來計算目標模 板的匹配標記| |X-(ay+3) | |2(1)其中，x_hat= ay+3是y的仿射變換。在該問題中，係數a和日是未知量。用於 使具有兩個未知量(a和的等式最小的技術在本領域中是公知的。等式(1)表示候選 模板的仿射變換關於目標模板的均方根誤差(MSE)。最佳仿射變換是提供最小MSE(MMSE) 的那個仿射變換。在步驟412，進行在搜索區域中是否存在多個候選模板的判斷。如果存在多個，則 方法400返回步驟408，選擇另一候選模板。否則，方法400繼續進行到步驟414。在步驟 414，分析所有候選模板與該模板之間的匹配的標記來識別最佳標記。如果使用仿射變換， 則最佳的候選模板是等式(1)最接近0的那個。在步驟416，與該候選模板相對應的候選子 塊被定義並被用作目標子塊的預測值(例如，候選子塊312)。如果仿射變換被用作匹配的 標記，則通過根據針對最 好的候選模板找到的最佳仿射變換的係數a和0來對與最好的 候選模板相鄰的子塊進行仿射變換來定義候選子塊。注意，幀內預測的方法401可以對圖 像中的任何樣本組來執行，其中當前2x2子塊是一個示例。在步驟418，進行在目標塊中是否存在多個子塊的判斷。如果存在，則方法400返 回步驟404，選擇模板塊中的另一子塊。否則，方法400繼續進行到步驟420。在步驟420， 每個目標子塊的預測值被組合來產生目標塊的預測值。圖5是描述根據本發明一個或多個方面的用於正被編碼的樣本組的幀內預測的 方法500的另一示例性實施例的流程圖。方法500可以被用作上述方法400中的方法401 的替換。為了清楚，假定該樣本組是塊304中的目標2x2子塊305。方法500開始於步驟 502，定義目標子塊的目標模板。該目標模板可以用具有N個樣本的向量來表示(例如，模 板308具有N = 5個樣本)。在步驟504，在搜索區域中識別M個匹配最好的候選模板，其 中M<N(僅大於1的整數)。M可以是預先定義的值。在某些實施例中，「匹配最好的」的 標記是以上在方法401中闡述的MMSE。例如，M個最好的候選模板是具有產生M個最小的 均方根誤差(例如，等式(1)最接近0)的最佳仿射變換的那些候選模板。這M個最好的候選模板的仿射變換(「變換後的候選模板」)和目標模板可以被視 作N維空間中的向量。從而，變換後的候選模板跨越(span)該N維向量空間中的子空間。 在步驟506，計算目標模板在候選模板所跨越的子空間上的投影。用於計算向量在子空間上 的線性投影的數學技術在本領域中是公知的。該投影產生與候選模板分別相關聯的係數， 這些係數將目標模板與候選模板關聯。在步驟508，從投影中找出這M個最好的候選模板的 係數。在步驟510，使用這M個最好的候選模板的各自的係數作為各自的權重來計算與這M 個最好的候選模板相關聯的加權平均。在步驟512，平均子塊的值被捨入和/或截取(clip) 來產生在有效範圍中的值。在步驟514，平均子塊被用作目標子塊的預測值。
圖6是描述根據本發明一個或多個方面的用於正被編碼的圖像中的樣本組的幀 內預測的方法600的另一示例性實施例的流程圖。方法600可被用作上述方法400中的方 法401的替換。為了清楚，假定該樣本組是塊304中的目標2x2子塊305。方法600開始於 步驟602，目標子塊定義目標子塊的目標模板，該目標模板可以用具有N個樣本的向量來表 示(例如，模板308具有N = 5個樣本)。在步驟604，識別產生小於閾值的最小均方根誤 差(MMSE)的M個候選模板，其中M < N(僅大於1的整數)。在某些實施例中，匹配的標記 是使用以上在方法401中闡述的仿射變換來計算的。例如，這M個候選模板是其最佳仿射 變換產生低於閾值的MSE (例如，其中等式(1)低於閾值)的那些候選模板。在某些實施例 中，可以使用匹配追蹤來找到這M個候選模板。如本領域中公知的，匹配追蹤是一種用於找 到多維數據在向量空間上的「匹配最好的」投影的數字分析技術。使用匹配追蹤，目標模板 可以被投影到搜索區域中的不同候選模板上，來找到滿足上述準則(例如，MMSE低於閾值) 的所有候選模板。目標模板和這M個候選模板(「變換後的候選模板」)可以被視作N維空間中的向 量。從而，變換後的候選模板跨越該N維向量空間中的子空間。在步驟606，計算目標模板 在候選模板所跨越的子空間上的投影。用於計算向量在子空間上的線性投影的數學技術在 本領域中是公知的。該投影產生與這M個候選模板分別相關聯的係數，這些係數將目標模 板與這M個候選模板關聯。在步驟608，從投影中找出這M個候選模板的係數。在步驟610， 使用這M個候選模板各自的係數作為各自的權重來計算與這M個候選模板相關聯的加權平 均。在步驟612，平均子塊的值被捨入和/或截取來產生在有效範圍中的值。在步驟614， 平均子塊被用作目標子塊的預測值。在圖3的示例中，模板308被定義為附接到塊304中的目標子塊305的具有固定 寬度的L形樣本組。在某些實施例中，上述方法中的目標模板(以及其相對應的候選模板) 可以被一般化為具有任意厚度的任意形狀。圖7描述可被用作上述固定寬度的L形模板的 替換的4種示例性模板702至708。在本示例中，模板702至708的每一個對應於4x4樣本 塊710。模板702是L形的，但是在塊710上邊的比在塊710左邊的厚。S卩，模板702包括 在塊710上邊的2x4樣本陣列712和在塊710左邊的4x1樣本陣列714。模板704是L形 的，但是在塊710左邊的比在塊710上邊的厚。S卩，模板704包括在塊710上邊的1x4樣本 陣列716和在塊710左邊的4x2樣本陣列718。模板706包括在塊710上邊和左邊的空間 金字塔。即，模板506包括在塊710的上邊、左上角和與其相鄰的5個樣本以及中心在樣 本720上的3個樣本；和在塊70的左邊和與其相鄰的4個樣本724以及中心在樣本724的 左邊的3個樣本726。模板708包括在塊710上邊和左邊的三角形樣本組。例如，模板708 包括在塊710上邊和與其相鄰的三角形樣本組728和在塊710左邊和與其相鄰的三角形樣 本組730。三角形組728和730中的每一個包括4個樣本、再3個樣本、再2個樣本，最後一 個樣本。以上模板形狀的任何一種都可以用在使用上述模板匹配的幀內編碼的實施例中。在上述實施例中，可以在具有單個像素精度的搜索窗中來搜索候選模板。可替換 地，在某些實施例中，可以以多像素精度針對上述實施例中任何實施例來執行搜索區域內 的候選模板搜索。圖8是描述根據本發明一個或多個方面的用於正被編碼的樣本組的幀內預測的 方法800的另一示例性實施例的流程圖。方法800可被用作上述方法400中的方法401的替換。為了清楚，假定該樣本組是塊304中的目標2x2子塊305。方法800開始於步驟802， 使用模板匹配來確定目標子塊的搜索區域中的預測值子塊。可以使用上述實施例中的任何 實施例(包括方法401、方法500或方法600)來確定預測值子塊。在步驟804，獲得預測值 子塊的(一個或多個)候選模板與目標模板之間的誤差。在步驟806，響應於誤差來選擇低 通濾波強度。在步驟808，使用具有所選擇的強度的低通濾波器來該對預測值子塊進行濾 波。例如，低通濾波器的強度可被選作(一個或多個)候選模板與目標模板之間的誤差的 增函數(在多個候選模板的情況中，可以使用平均誤差、最大誤差或最小誤差)。因此，如果 找到非常好(低誤差)的模板，則進行小的變動來使用預測值子塊(例如，弱低通濾波器或 不用任何低通濾波器(零強度))。相反，如果模板匹配誤差高，則較強的低通濾波器可以被 應用於這樣的預測值子塊。已經描述了用於視頻編碼器中的幀內預測的方法和設備。在某些實施例中，幀內 預測是使用模板匹配技術來執行的，值得注意的是，候選模板與目標模板之間的匹配的標 記是使用仿射變換來計算的。在某些實施例中，這裡所描述的幀內預測處理的實施例可以 用在與MPEG標準兼容的視頻編碼器中。值得注意的是，該模板匹配處理除了用作由該標準 定義的方式以外，還可以用作兼容H. 264的視頻編碼器中的另一幀內預測方式。儘管以上已經描述了各種實施例，但是應當理解，它們僅僅是以舉例而非限制的 方式來表示的。因此，優選實施例的寬度和範圍不由上述示例性實施例中的任何實施例限 定，而是應當僅根據權利要求及其等同物來限定。
權利要求
一種用於正被編碼的圖像中的樣本組的幀內預測的方法，包括定義所述樣本組的目標模板；將所述目標模板與所述圖像的搜索區域內的候選模板的仿射變換相比較；識別所述候選模板中的至少一個與所述目標模板相匹配的匹配模板；基於所述至少一個匹配模板來確定候選樣本組；以及使用所述候選樣本組作為預測值來對所述樣本組進行編碼。
2.根據權利要求1所述的方法，其中，所述至少一個匹配模板是匹配最好的模板，並且 其中所述比較步驟和識別步驟包括針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對於所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產生最小的MSE的相應一個候選模板作為所 述匹配最好的模板。
3.根據權利要求2所述的方法，其中，所述確定步驟包括對與所述匹配最好的模板相關聯的樣本組應用所述匹配最好的模板的最佳仿射變換 的係數，來產生所述候選樣本組。
4.根據權利要求1所述的方法，其中，所述至少一個匹配模板是M個匹配最好的模板， 其中，M大於1並且小於所述目標模板中的樣本數，並且其中所述比較步驟和識別步驟包 括針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對於所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產生M個最小均方根誤差的各個候選模板作 為所述M個匹配最好的模板。
5.根據權利要求4所述的方法，其中，所述確定步驟包括計算所述目標模板在由所述M個匹配最好的模板所限定的子空間上的線性投影； 使用所述線性投影的係數作為各自的權重來計算與所述M個匹配最好的模板相關聯 的樣本組的加權平均；對所述加權平均的樣本執行捨入或截取中的至少一者來產生所述候選樣本組。
6.根據權利要求1所述的方法，其中，所述至少一個匹配模板是M個匹配模板，其中M 大於1並且小於所述目標模板中的樣本數，並且其中所述比較步驟和識別步驟包括針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對於所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產生小於閾值誤差的均方根誤差的各個候選 模板作為所述M個匹配模板。
7.根據權利要求6所述的方法，其中所述M個匹配模板是使用匹配追蹤來識別的。
8.根據權利要求6所述的方法，其中所述確定步驟包括計算所述目標模板在由所述M個匹配模板所限定的子空間上的線性投影； 使用所述線性投影的係數作為各自的權重來計算與所述M個匹配模板相關聯的樣本 組的加權平均；對所述加權平均的樣本執行捨入或截取中的至少一者來產生所述候選樣本組。
9.一種用於正被編碼的圖像中的樣本組的幀內預測的設備，包括編碼器，所述編碼器被配置為使用候選樣本組作為預測值來對所述樣本組進行編碼； 時間/空間預測模塊，所述時間/空間預測模塊在所述編碼器內，被配置為 定義所述樣本組的目標模板，將所述目標模板與所述圖像的搜索區域內的候選模板的仿射變換相比較， 識別所述候選模板中的至少一個與所述目標模板相匹配的匹配模板， 基於所述至少一個匹配模板來確定所述候選樣本組。
10.根據權利要求9所述的設備，其中，所述至少一個匹配模板是匹配最好的模板，並 且其中所述時間/空間預測模塊被配置為針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對於所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產生最小的MSE的相應一個候選模板作為所 述匹配最好的模板。
11.根據權利要求10所述的設備，其中所述時間/空間預測模塊還被配置為 對與所述匹配最好的模板相關聯的樣本組應用所述匹配最好的模板的最佳仿射變換的係數，來產生所述候選樣本組。
12.根據權利要求9所述的設備，其中，所述至少一個匹配模板是M個匹配最好的模板， 其中，M大於1並且小於所述目標模板中的樣本數，並且其中所述時間/空間預測模塊還被 配置為針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對於所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產生M個最小均方根誤差的各個候選模板作 為所述M個匹配最好的模板。
13.根據權利要求12所述的設備，其中所述時間/空間預測模塊還被配置為 計算所述目標模板在由所述M個匹配最好的模板所限定的子空間上的線性投影； 使用所述線性投影的係數作為各自的權重來計算與這M個匹配最好的模板相關聯的樣本組的加權平均；對所述加權平均的樣本執行捨入或截取中的至少一者來產生所述候選樣本組。
14.根據權利要求9所述的設備，其中，所述至少一個匹配模板是M個匹配模板，其中， M大於1並且小於所述目標模板中的樣本數，並且其中所述時間/空間預測模塊還被配置 為針對所述候選模板中的每一個候選模板，計算該候選模板的使得相對於所述目標模板 的均方根誤差(MSE)最小的最佳仿射變換；以及識別所述候選模板中的其最佳仿射變換產生小於閾值誤差的均方根誤差的各個候選 模板作為所述M個匹配模板。
15.根據權利要求14所述的設備，其中所述時間/空間預測模塊還被配置為 計算所述目標模板在由所述M個匹配模板所限定的子空間上的線性投影；使用所述線性投影的係數作為各自的權重來計算與所述M個匹配模板相關聯的樣本 組的加權平均；對所述加權平均的樣本執行捨入或截取中的至少一者 來產生所述候選樣本組。
全文摘要
本發明公開了用於視頻編碼器中的幀內預測的方法和設備。一個方面涉及一種用於正被編碼的圖像中的樣本組的幀內預測的方法。在某些實施例中，該方法包括定義該樣本組的目標模板；將目標模板與圖像的搜索區域內的候選模板的仿射變換相比較；識別候選模板中的至少一個與目標模板相匹配的匹配模板；基於這至少一個匹配模板來確定候選樣本組；以及使用候選樣本組作為預測值來對樣本組進行編碼。
文檔編號H04N7/26GK101854545SQ20101014189
公開日2010年10月6日 申請日期2010年3月30日 優先權日2009年3月30日
發明者伊拉加·蘇達噶爾, 穆罕默德·格哈拉維-阿爾克漢薩利, 穆罕默德·祖拜爾·維沙拉姆, 艾利·塔巴塔拜 申請人:索尼公司;索尼電子有限公司