高效視頻編碼中的預測殘餘的掃描的製作方法

2023-05-13 23:16:01

高效視頻編碼中的預測殘餘的掃描的製作方法
【專利摘要】一種包含處理器的視頻編解碼器，所述處理器配置成生成當前塊的預測塊、計算所述當前塊與所述預測塊之間的差值以生成殘餘塊、掃描位於所述殘餘塊中的多個預測殘餘，並且如果多個殘餘值包含至少一個非零預測殘餘，那麼對所述至少一個非零預測殘餘進行熵編碼。一種包含以下步驟的方法：生成當前塊的預測塊、計算所述當前塊與所述預測塊之間的差值以生成殘餘塊、掃描位於所述殘餘塊中的多個預測殘餘，並且如果所述多個殘餘值包含至少一個非零預測殘餘，那麼對所述至少一個非零預測殘餘進行熵編碼。
【專利說明】高效視頻編碼中的預測殘餘的掃描
相關申請案的交叉參考
[0001]本申請案要求由高文(Wen Gao)等人在2011年11月18日提交的名稱為「用於高效視頻編碼的新無損編碼工具(New Lossless Coding Tools for High Efficiency VideoCoding)」的第61/561，705號美國臨時專利申請案的優先權，並且要求由高文(Wen Gao)等人在2012年11月16日提交的名稱為「高效視頻編碼中的預測殘餘的掃描(Scanning ofPrediction Residuals in High Efficiency Video Coding) 」 的第 13679184 號美國專利申請案的優先權，所述申請案如同被複製以全文引用的方式併入本文中。
【技術領域】
[0002]本發明涉及通信網絡，並且更確切地說，涉及在高效視頻編碼中的預測殘餘的掃描。
【背景技術】
[0003]當數據將要在寬帶容量受限的通信網絡中流過或以其他方式傳送時，需要對大量的視頻數據進行描述，即使在影片相對較短情況下也會如此，這種情況可能會產生問題。因此，視頻數據通常先進行壓縮，然後在現代電信網絡中傳送。在傳輸之前，視頻壓縮設備通常在源處使用軟體和/或硬體來對視頻數據進行編碼，從而減少了用以表示數字視頻圖像所需的數據量。隨後經壓縮的數據在目的地由視頻解壓裝置接收，所述視頻解壓裝置對視頻數據進行解碼。在網絡資源受限而更高質量的視頻需求不斷增加的情況下，需要改進的壓縮以及解壓技術來提高壓縮比，而很少或幾乎不會損壞圖像質量。
[0004]例如，視頻壓縮可以對預測殘餘(表示原始像素與預測像素之間的差值)而非原始像素進行編碼以降低比特率。預測殘餘可以進行變換和量化而產生量化後的變換係數，隨後可以對所述量化後的變換係數進行掃描以確定非零係數的位置。因為非零係數通常會位於變換塊的左上部分，所以現有掃描方案已經針對非零係數的此分布圖案進行設計。在可以略過變換的方案中，非零係數可能不集中在左上部分。因此，當對殘餘塊中的任何地方都可能具有非零值的預測殘餘進行掃描時，現有掃描方案可能是低效的。

【發明內容】

[0005]在一個實施例中，本發明包括包含處理器的視頻編解碼器，所述處理器配置成生成當前塊的預測塊、計算當前塊與預測塊之間的差值以生成殘餘塊、掃描位於殘餘塊中的多個預測殘餘，並且如果多個殘餘值包含至少一個非零預測殘餘，那麼對至少一個非零預測殘餘進行熵編碼。
[0006]在另一實施例中，本發明包括一種方法，所述方法包含生成當前塊的預測塊、計算當前塊與預測塊之間的差值以生成殘餘塊、掃描位於殘餘塊中的多個預測殘餘，並且如果多個殘餘值包含至少一個非零預測殘餘，那麼對至少一個非零預測殘餘進行熵編碼。
[0007]在又另一實施例中，本發明包括視頻編解碼器，所述視頻編解碼器包含:配置成接收比特流的接收器，所述比特流包含至少一個經編碼的預測殘餘、經編碼的兩位語法元素，以及經編碼的完整重要圖；以及處理器，所述處理器耦合到接收器上並且配置成對至少一個經編碼的預測殘餘、經編碼的兩位語法元素，以及經編碼的完整重要圖進行熵解碼以分別生成至少一個經解碼的預測殘餘、經解碼的兩位語法元素，以及經解碼的完整重要圖，並且基於至少一個經解碼的預測殘餘、經解碼的兩位語法元素，以及經解碼的完整重要圖來重建殘餘塊。
[0008]從結合附圖以及權利要求書進行的以下詳細描述中將更清楚地理解這些以及其他特徵。
【專利附圖】

【附圖說明】
[0009]為了更完整地理解本發明，現在參考以下結合附圖和【具體實施方式】進行的簡要描述，其中相同參考標號表不相同部分。
[0010]圖1為多個幀內預測模式的圖。
[0011]圖2為變換略過編碼方案的一個實施例的示意圖。
[0012]圖3為變換略過解碼方案的一個實施例的示意圖。
[0013]圖4為無變換量化編碼方案一個的實施例的示意圖。
[0014]圖5為無變換量化解碼方案的一個實施例的不意圖。
[0015]圖6A到圖6D為Z字 形掃描圖案的實施例的圖。
[0016]圖7為編碼方法的一個實施例的流程圖。
[0017]圖8為計算機系統的示意圖。
【具體實施方式】
[0018]在開始應理解，儘管下文提供一個或多個實施例的說明性實施方案，但可以使用任何數目的技術，不管是當前已知還是現有的，來實施所揭示的系統和/或方法。本發明決不應限於下文所示出的說明性實施方案、圖式以及技術，包括本文中所示出以及描述的示例性設計以及實施方案，而是可以在所附權利要求書的範圍以及其等效物的整個範圍內修改。
[0019]視頻媒體可以涉及相對較快地連續顯示一系列靜態圖像或幀，從而讓觀察者感覺到運動。每個幀可以包含多個圖像樣本或像素，每個圖像樣本或像素可以表示幀中的單個參考點。在數字處理期間，每個像素可以被分配一個整數值(例如，0、1、…或255)，所述整數值表示在對應參考點處的圖像質量或特徵，諸如，亮度(luma或Y)或色度(包括U和V的chroma)。使用時，圖像或視頻幀可以包含大量像素(例如，1920 X 1080的幀中包含2，073，600個像素)，因此對每個像素獨立地進行編碼和解碼(下文中簡稱為編碼)可能繁瑣而低效。為了提高編碼效率，通常將視頻幀分成多個矩形塊或宏塊，所述矩形塊或宏塊可以作為諸如預測、變換以及量化等處理過程的基本單元。例如，典型的NXN個塊可以包含N2個像素，其中N是整數並且通常是四的倍數。
[0020]在由國際電信聯盟(ITU)電信標準化部門(ITU-T)和國際標準化組織(ISO) /國際電工技術委員會(IEC)發布並準備作為未來視頻標準的高效率視頻編碼(HEVC)的工作草案中，已經引入了新的塊概念。例如，編碼單元(CU)可以指代將視頻幀分為相等尺寸或不同尺寸的正方形塊的子分區。在HEVC中，CU可以取代先前標準的宏塊結構。根據幀間或幀內預測模式，一個CU可以包含一個或多個預測單元(TO)，每個預測單元可以用作預測的基本單元。例如，對於幀內預測而言，一個64X64的⑶可以對稱地分為四個32X32的PU。又例如，對於幀間預測而言，一個64X64的⑶可以非對稱地分為一個16X64的I3U和一個48X64的PU。類似地，一個I3U可以包含一個或多個變換單元(TU)，每個變換單元可以用作變換和/或量化的基本單元。例如，一個32X32的I3U可以對稱地分為四個16X16的TU。一個的多個TU可以共享同一預測模式，但是可以單獨地進行變換。本文中，術語「土夾」通常可以指宏塊、⑶、I3U或TU中的任一者。
[0021 ] 連續的視頻幀或切片可以是大體相關的，使得幀中的塊與先前編碼的幀中的對應塊不會有顯著不同。幀之間的預測(簡稱幀間預測)可以利用幀序列中的時間冗餘，例如，連續幀的對應塊之間的相似性，以便減少壓縮數據。在幀間預測中，基於位於當前幀之前的一個或多個參考幀中的對應塊，可以根據編碼順序實施運動補償算法以計算當前幀中的當前塊的運動矢量。
[0022]類似地，在視頻幀內，像素可以與同一幀內的其他像素相關，使得塊內的像素值或一些塊上的像素值可能僅略有不同和/或呈現出重複的結構(texture)。為了利用同一幀中的相鄰塊之間的空間相關性，可以通過視頻編碼器/解碼器(編解碼器)來實施幀內部的預測(簡稱幀內預測)以插入來自一個或多個先前編碼的相鄰塊的預測塊(或經預測塊)，從而產生當前塊的估計。編碼器和解碼器可以獨立地插入預測塊中，從而使得大部分的幀和/或圖像能夠根據相對少量的參考塊的通信進行重建，所述參考塊例如，位於幀的左上角(並從此處延伸)的塊。
[0023]為了控制這些編碼效率，視頻/圖像編碼標準可以通過在幀內預測期間利用多個預測模式來提高預測精確性，所述預測模式中的每一者可以生成唯一的結構。圖1為多個幀內預測模式10(下文中也稱作幀內模式)的圖，所述幀內預測模式10可以用於HEVC統一幀內預測(ΠΡ)方案中。對於亮度分量，幀內預測模式10可以包含多達35個幀內預測模式，所述幀內預測模式可以包括33個定向模式以及2個非定向模式，諸如直流(DC)預測模式和平面預測模式。每一個模式可以被分配一個取決於應用的模式名稱。在HEVC中，平面模式可以被分配或指定為模式0、DC模式為模式3、水平模式為模式2等等。儘管圖1示出了針對亮度分量(也即，Y)的35個幀內預測模式，但是根據塊的尺寸、幀內預測方案，和/或視頻編碼標準，也可以使用任何其他數目的預測模式。對於兩個色度分量(也即，U和V)中的每一者，可以使用多達6個幀內預測模式，所述幀內預測模式包括來自亮度預測模式(通常稱作線性方法(LM)模式)、垂直預測模式、水平預測模式、對角線模式、DC模式，以及從亮度分量獲得的直接模式(DM)的色度。在DM模式中，色度塊使用與其對應的亮度塊相同的幀內預測模式。
[0024]如圖1中所示，33個定向模式可以關於垂直方向、水平方向以及對角線方向對稱。因此，只需要9個方向來表示33個方向，而其他24個方向可以通過加法、減法和/或移位運算獲得。例如，可以使用包括模式1、23、13、24、6、25、14、26和7的9個模式，這些模式在45度(零度表示右水平側)到90度的範圍內。所述9個模式中的每一者都具有與右水平線形成的預定義的角度。在HEVC中，所述角度可以定義為arccot(k/32),其中k具有分別對應於 9 個模式 1、23、13、24、6、25、14、26 和 7 的值 0、2、5、9、13、17、21、26 和 32。例如，模式14具有的角度為arccot (21/32) = 56.7度。
[0025]在幀內預測之後，編碼器可以計算預測塊與原始塊之間的差值(例如，通過從原始塊減去預測塊)以產生殘餘塊。由於用來表示殘餘塊所需的數據量通常小於用來表示原始塊所需的數據量，所以可以對殘餘塊而非原始塊進行編碼以獲得更高的壓縮比。在現有的HEVC軟體模型(HM)中，空間域中的殘餘塊的預測殘餘可以被轉換成頻域中的變換矩陣的變換係數。所述轉換可以通過二維變換來實現，例如，與離散餘弦變換(DCT)非常相似或相同的變換。在變換矩陣中，低索引變換係數(例如，在左上部分中)，例如與具有低空間頻率分量的大空間特徵相對應，可能具有相對較高的量值；而高索引變換係數(例如，在右下部分中)，例如與具有高空間頻率分量的小空間特徵相對應，可能具有相對較小的量值。
[0026]此外，在跟隨著變換的量化操作中，高索引變換係數的數量可以減小至零，從而可以在隨後的編碼步驟中被跳過。由於零變換係數可能集中於變換矩陣的右下部分，因此塊結束(EOB)符號可以用於表示最後的非零變換係數。
[0027]為了確定EOB位置以及其他非零變換係數的潛在位置，在當前HM(例如，HM4.0)中，模式相關的係數掃描(MDCS)可以用於幀內編碼。可以有三種掃描圖案或順序，包括Z字形圖案(由索引O表示)、水平圖案(由索引I表示)，以及垂直圖案(由索引2表示)。MDCS的主要思想為對於相對較小的TU(例如，8X8或4X4的TU)，當(例如)在垂直方向進行幀內預測(也即，圖1中的模式I)時，經變換的係數可能通常出現在變換矩陣的頂部水平部分中。在此情況下，水平掃描順序可以有助於減少用以對重要圖以及EOB進行編碼所需的總比特數。類似地，當在水平方向進行幀內預測(也即，圖1中的模式2)時，變換係數的垂直掃描可能更加有效。基於此思想，映射表或查找表被採納進HM4.0中，如表1中所示。可以看到，可以基於幀內預測模式以及TU的尺寸來選擇掃描圖案。
表1-HM4.0中的MDCS映射表
【權利要求】
1.一種視頻編解碼器，其包含: 處理器，所述處理器配置成: 生成當前塊的預測塊； 計算所述當前塊與所述預測塊之間的差值以生成殘餘塊； 掃描位於所述殘餘塊中的多個預測殘餘；以及 如果多個殘餘值包含至少一個非零預測殘餘，那麼對所述至少一個非零預測殘餘進行熵編碼。
2.根據權利要求1所述的視頻編解碼器，其中所述預測炔基於幀內預測模式生成，其中對所述多個預測殘餘的掃描按照某一掃描順序，並且其中所述掃描順序基於所述幀內預測模式以及所述預測塊的尺寸而確定。
3.根據權利要求2所述的視頻編解碼器，其中所述處理器進一步配置成: 如果所述預測塊的尺寸不超過預設限制並且所述幀內預測模式屬於水平組，那麼設置所述掃描順序，從而使得逐行對所述多個預測殘餘進行掃描； 否則如果所述預測塊的尺寸不超過所述預設限制並且所述幀內預測模式屬於垂直組，那麼設置所述掃描順序，從而使得逐列對所述多個預測殘餘進行掃描； 否則將所述掃描順序設置為Z字形順序。
4.根據權利要求3所述的視頻編解碼器，其中在所述垂直組中每一個幀內預測模式的方向與垂直方向所成的角度小於22.5度，並且其中在所述水平組中每一個幀內預測模式的方向與水平方向所成的角度小於22.5度。
5.根據權利要求3所述的視頻編解碼器，其中所述預設限制為8X8。
6.根據權利要求5所述的視頻編解碼器，其中所述處理器進一步配置成在掃描所述多個預測殘餘之前對所述殘餘塊進行量化，並且其中所述多個預測殘餘為經量化的預測殘餘。
7.根據權利要求2所述的視頻編解碼器，其中所述殘餘塊為變換單元(TU)，其中對所述掃描順序的確定使用如下包含各條目的查找表:
8.根據權利要求1所述的視頻編解碼器，其中所述處理器進一步配置成基於率失真標準來確定起始位置，其中所述起始位置為所述殘餘塊的四個角位置中的一者，並且其中對所述多個預測殘餘的掃描從所述起始位置開始。
9.根據權利要求8所述的視頻編解碼器，其中所述起始位置由起始位置索引指定，其中所述殘餘塊具有NXN的尺寸，其中N為大於一的整數，其中所述殘餘塊中的位置表示為(m, η)，其中m為在O與N-1之間變化的列索引，其中η為在O與N-1之間變化的行索引，並且其中對表示為(CO，Cl)的所述起始位置索引進行配置，從而:如果(CO，Cl)等於O，那麼所述起始位置為(O，O)； 如果(CO, Cl)等於1，那麼所述起始位置為(N-1, O)； 如果(CO, Cl)等於2，那麼所述起始位置為(O, N-1);以及 如果(CO，Cl)等於3，那麼所述起始位置為(N-1，N-1)。
10.根據權利要求9所述的視頻編解碼器，其中所述起始位置索引為對應於所述當前塊的三個起始位置索引中的一者，並且其中所述三個起始位置索引針對三個顏色分量而設置。
11.根據權利要求9所述的視頻編解碼器，其中所述預測塊通過幀間預測生成。
12.根據權利要求11所述的視頻編解碼器，其中對所述多個預測殘餘的掃描從角殘餘開始並且按照逐行順序。
13.根據權利要求12所述的視頻編解碼器，其中所述處理器進一步配置成: 在按照逐行順序對所述多個預測殘餘進行掃描之後，從左上角殘餘開始並且按照Z字形順序對所述多個預測殘餘再次進行掃描。
14.根據權利要求11所述的視頻編解碼器，其中對所述多個預測殘餘的掃描從角殘餘開始並且按照Z字形順序。
15.一種方法，其包含: 生成當前塊的預測塊； 計算所述當前塊與所述預測塊之間的差值以生成殘餘塊； 掃描位於所述殘餘塊中的多個預測殘餘；以及 如果多個殘餘值包含至少一個非零預測殘餘，那麼對所述至少一個非零預測殘餘進行熵編碼。
16.根據權利要求15所述的方法，其中所述預測炔基於幀內預測模式生成，其中對所述多個預測殘餘的掃描按照某一掃描順序，並且其中所述掃描順序基於所述幀內預測模式以及所述預測塊的尺寸而確定。
17.根據權利要求16所述的方法，其進一步包含: 如果所述預測塊的尺寸不超過預設限制並且所述幀內預測模式屬於水平組，那麼設置所述掃描順序，從而使得逐行對所述多個預測殘餘進行掃描； 否則如果所述預測塊的尺寸不超過所述預設限制並且所述幀內預測模式屬於垂直組，那麼設置所述掃描順序，從而使得逐列對所述多個預測殘餘進行掃描； 否則將所述掃描順序設置為字Z形順序。
18.根據權利要求17所述的方法，其中在所述垂直組中每一個幀內預測模式的方向與垂直方向所成的角度小於22.5度，並且其中在所述水平組中每一個幀內預測模式的方向與水平方向所成的角度小於22.5度。
19.根據權利要求17所述的方法，其中所述預設限制為8X8。
20.根據權利要求16所述的方法，其中所述殘餘塊為變換單元(TU)，其中對所述掃描順序的確定使用如下包含各條目的查找表:
21.根據權利要求15所述的方法，其進一步包含基於率失真標準來確定起始位置，其中所述起始位置為所述殘餘塊的四個角位置中的一者，並且其中對所述多個預測殘餘的掃描從所述起始位置開始。
22.根據權利要求21所述的方法，其中所述起始位置由起始位置索引指定，其中所述殘餘塊具有NXN的尺寸，其中N為大於一的整數，其中所述殘餘塊中的位置表示為(m，n)，其中m為在O與N-1之間變化的列索引，其中η為在O與N-1之間變化的行索引，並且其中對表示為(CO，Cl)的所述起始位置索引進行配置，從而: 如果(CO，Cl)等於0，那麼所述起始位置為(0，0)； 如果(CO, Cl)等於1，那麼所述起始位置為(Ν-1, O)； 如果(CO, Cl)等於2，那麼所述起始位置為(O, Ν-1);以及 如果(CO，Cl)等於3，那麼所述起始位置為(Ν-1，Ν-1)。
23.根據權利要求22所述的方法，其中所述起始位置索引為對應於所述當前塊的三個起始位置索引中的一者，並且其中所述三個起始位置索引針對三個顏色分量而設置。
24.根據權利要求22所述的方法，其中所述預測塊通過幀間預測生成。
25.根據權利要求24所述的方法，其進一步包含，在從角殘餘開始並且按照逐行順序對所述多個預測殘餘進行掃描之後，從左上角殘餘開始並且按照Z字形順序對所述多個預測殘餘再次進行掃描。
26.根據權利要求24所述的方法，其中對所述多個預測殘餘的掃描從角殘餘開始並且按照Z字形順序。
27.一種視頻編解碼器，其包含: 配置成接收比特流的接收器，所述比特流包含至少一個經編碼的預測殘餘、經編碼的兩位語法元素，以及經編碼的完整重要圖；以及 處理器，所述處理器耦合到所述接收器並且配置成: 對所述至少一個經編碼的預測殘餘、所述經編碼的兩位語法元素，以及所述經編碼的完整重要圖進行熵解碼，以分別生成至少一個經解碼的預測殘餘、經解碼的兩位語法元素，以及經解碼的完整重要圖；以及 基於所述至少一個經解碼的預測殘餘、所述經解碼的兩位語法元素，以及所述經解碼的完整重要圖重建殘餘塊。
28.根據權利要求27所述的視頻編解碼器，其中所述至少一個經編碼的預測殘餘通過幀間預測生成，其中所述殘餘塊具有NXN的尺寸，其中N為大於一的整數，其中所述殘餘塊中的位置表示為(m，η)，其中m為在O與N-1之間變化的列索引，其中η為在O與N-1之間變化的行索引，並且其中表示為(CO，Cl)的所述經解碼的兩位句法元素指定起始位置如下: 如果(CO，Cl)等於O，那麼所述起始位置為(O，O)； 如果(CO，Cl)等於1，那麼所述起始位置為(N-1，0)； 如果(CO, Cl)等於2，那麼所述起始位置為(O, N-1);以及 如果(CO，Cl)等於3，那麼所述起始位置為(N-1，N-1)。
29.根據權利要求27所述的視頻編解碼器，其中所述至少一個經編碼的預測殘餘自原始殘餘塊生成，其中所述原始殘餘炔基於應用在當前塊上的幀內預測模式而生成，其中所述經編碼的完整重要圖基於掃描順序而生成，並且其中所述掃描順序取決於所述幀內預測模式以及所述當前塊的 尺寸。
【文檔編號】H04N19/157GK103959790SQ201280056798
【公開日】2014年7月30日 申請日期:2012年11月19日 優先權日:2011年11月18日
【發明者】高文, 姜明強, 何燁, 宋錦, 於浩平 申請人:華為技術有限公司