視頻編碼中的語法的二進位化和上下文自適應編碼的方法和裝置與流程
2023-09-20 21:24:25
本申請要求下列申請的優先權：2014年6月20日遞交的申請號為62/014,970的美國臨時案；2014年6月26日遞交的申請號為62/017,401的美國臨時案；2014年7月3日遞交的申請號62/020,518的美國臨時案；以及2014年7月7日遞交的申請號為62/021,287的美國臨時案。在此合併參考這些申請案的申請標的。
技術領域
本發明有關於與視頻編碼相關的語法的熵編碼。更具體地，本發明涉及與視頻編碼相關的語法的二進位化(binarization)和上下文自適應編碼(context-adaptive coding)的技術。
背景技術：
高效率視頻編碼(High Efficiency Video Coding，HEVC)是近年來已經開發出來的新的編碼標準。在高效率視頻編碼系統中，H.264/AVC的固定大小宏塊被稱為編碼單元(coding unit，編碼單元)的靈活塊(flexible block)所替換。編碼單元中的像素共享相同的編碼參數以提高編碼效率。編碼單元可以從最大編碼單元(largest CU，LCU)開始，其在HEVC中也被稱為編碼樹單元(coded tree unit，CTU)。除了編碼單元的概念，預測單元(PU)的概念也引入到了HEVC中。一旦編碼單元層次樹(CU hierarchical tree)的拆分(splitting)完成，則根據預測類型和預測單元分區(PU partition)將每個葉編碼單元(leaf CU)進一步拆分成一個或多個預測單元。
基於上下文的自適應二進位算術編碼(Context-based adaptive binary arithmetic coding，CABAC)是已經廣泛用於諸如H.264和HEVC的高級視頻編碼中的高效熵編碼工具。舉例來說，HEVC標準的各種語法元素是以CABAC模式來編碼，其中基於與基礎語法元素相關的上下文，來自適應地將熵編碼應用於二進位化語法元素。圖1為CABAC過程的示例性框圖。由於CABAC引擎中的算術編碼器只能對二進位符號值(binary symbol value)進行編碼，因此CABAC過程需要使用二進位化器(110)來將語法元素的值轉換為二進位字符串(binary string)。轉換過程通常被稱為二進位化。在編碼過程中，從用於不同上下文的編碼符號逐漸建立概率模型。上下文建模器(context modeler)(120)用於建模目的。在基於正常上下文的編碼期間，使用對應於二進位算術編碼器的常規編碼引擎(130)。用於編碼下一個二進位符號的建模上下文的選擇，可以通過編碼信息來確定。也可以在沒有上下文建模階段的情況下對符號進行編碼，並且為了降低複雜度，而採用通常被稱為旁路模式的相等概率分布(equal probability distribution)。對於旁路符號，可以使用旁路編碼引擎(140)。如圖1所示，開關(S1，S2和S3)用於在常規CABA模式和旁路模式之間引導數據流。當選擇常規CABAC模式時，開關翻轉到上觸點。當選擇旁路模式時，開關被翻轉到下觸點。如圖1所示。
JCT標準化機構目前正在開發HEVC屏幕內容編碼(screen content coding，SCC)擴展。與具有連續色調的常規自然視頻相反，屏幕內容視頻通常包含少量主導顏色(pilot colors)以及銳利邊緣和邊界。目前正在調查研究幾種新工具，以便將來可能採用HEVC SCC擴展。
在HEVC範圍擴展的早期開發期間，已經公開了若干建議來解決基於調色板的編碼。例如，在JCTVC-N0247(Guo et al.,「RCE3:Results of Test 3.1on Palette Mode for Screen Content Coding」,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,14th Meeting:Vienna,AT,25July–2Aug.2013Do編碼單元ment:JCTVC-N0247)和JCTVC-O0218(Guo et al.,「Evaluation of Palette Mode Coding on HM-12.0+RExt-4.1」,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 11,15th Meeting:Geneva,CH,23Oct.–1,Nov.2013,Do編碼單元ment:JCTVC-O0218)中公開了調色板預測和共享技術。在JCTVC-N0247中，每個顏色分量(color component)的調色板被構造和發送。可以從其左邊相鄰的編碼單元來預測(或共享)調色板以減小比特率。然後，使用它們的調色板索引來對給定塊內的所有像素進行編碼。根據JCTVC-N0247的編碼處理的示例如下所示。
1.調色板的傳輸：首先傳輸顏色索引表大小，然後是調色板元素。
2.像素值的傳輸：編碼單元中的像素以光柵掃描順序編碼。對於一個或多個像素的每個組，首先發送用於基於遊程的模式(run-based mode)的標誌，以指示是否正在使用「索引」模式或「複製上方」模式。
2.1 Index_Mode：在Index_Mode中，首先發信(signal)調色板索引，然後是表示遊程值的「palette_run」(例如，M)。遊程值指示總共M個樣本都使用Index_Mode來編碼。對於當前位置和隨後的M個位置，不需要發送進一步的信息，因為它們具有與在比特流中發信的相同的調色板索引。調色板索引(例如，i)也可以由所有三個顏色分量共享，這意味著，對於YUV色彩空間的情況，重構的像素值是(Y,U,V)＝(paletteY[i],paletteU[i],paletteV[i])。
2.2 Copy_Above_Mode：在Copy_Above_Mode中，發送值「copy_run」(例如，N)，以指示對於隨後的N個位置(包括當前位置)，調色板索引與上方的行中的相應調色板索引相同。
3.殘差(residue)的傳輸：在階段2中傳輸的調色板索引被轉換回像素值並且用作預測。使用HEVC殘留編碼(HEVC residual coding)來發送殘差信息，並將殘差信息添加到用於重構的預測中。
因此，期望開發用於進一步改善與在屏幕內容編碼以及一般視頻編碼中的為調色板模式編碼塊而產生的語法元素相關的編碼效率的方法。
技術實現要素：
公開了一種用於對在視頻編碼系統中產生的源符號進行熵編碼和解碼的方法和裝置。根據本發明，首先確定當前符號值(current symbol value)的最高有效位索引和任何精細位。通過使用一元碼或截斷一元碼來對與當前符號值的最高有效位索引相關的前綴部分進行二進位化，以生成第一二進位字符串。此外，如果存在任何精細位，則通過使用固定長度碼或截斷二進位碼來對與當前符號值的一個或多個精細位相對應的後綴部分進行二進位化，來生成第二二進位字符串。如果存在第二二進位字符串，則使用上下文自適應二進位算術編碼(CABAC)來對第一二進位字符串進行編碼，並且使用CABAC來對第二二進位字符串進行編碼。
前綴部分可以對應於最高有效位索引加1。此外，如果x大於0，則前綴部分可以等於(floor(log2(x)+1)；並且如果x等於0，則前綴部分等於0，其中x表示當前符號值，floor(y)是輸出小於或等於y的最大整數的floor函數，log2(x)是底數為2的log函數。如果二進位位具有小於或等於閾值T的二進位索引，則以常規CABAC模式編碼第一二進位字符串的二進位未；如果二進位位具有大於閾值T的二進位指數，則以旁路模式進行編碼。
在一個實施例中，當前源符號指示用於屏幕內容編碼(SCC)的調色板模式編碼塊中的連續重複調色板索引的遊程長度減去1。通過使用具有等於(floor(log2((MaxPaletteRun))+1)的最大值的截斷一元碼對前綴部分進行二進位化，來導出第一二進位字符串，其中MaxPaletteRun等於剩餘的待編碼像素的數量減1。通過使用具有等於(MaxPaletteRun-(1<1，則後綴部分表示精細位，並且存在後綴部分。由refinement_bits來表示的精細位的值可以使用固定長度的二進位碼或截斷二進位碼來二進位化。例如，如果最大語法值是已知的，精細位的值可以由具有字符串長度等於(msb_id_plus1-1)的字符串或者截斷二進位碼來表示。可以根據以下等式，基於解碼的前綴部分(即，(msb_id_plus1-1))和解碼的後綴部分(即，refinement_bits)來導出解碼的語法值x：
表1為根據本發明的實施例包含的二進位化處理(binarization process)的對應於符號值0-31的碼字二進位字符串(也稱為二進位字符串)的示例。根據等式(1)導出msb_id_plus1值。精細位的長度根據(msb_id_plus1-1)來確定。可以通過對有符號符號值(signed symbol value)的絕對值加上符號信息(sign information)應用上述二進位化處理，根據本發明的二進位化處理也可以應用於有符號源符號(signed source symbols)。此外，可以通過對每個向量分量(vector component)使用二進位化處理，而將二進位化處理應用於諸如向量的多維源數據(multi-dimensional source data)。
表1
根據本發明，可以通過上下文自適應二進位算術編碼(CABAC)來編碼以獲得二進位字符串(bin string)，以代表msb_id_plus1。前綴部分可以使用更複雜的上下文建模方案來採用CABAC進行編碼。根據本發明。可以使用較簡單的上下文建模方案或旁路模式來對精細位和符號位(refinements and sign bits)進行編碼。在一個實施例中，對於具有小於或等於閾值T的二進位索引值的二進位位(bins)，在CABAC模式中對前綴二進位字符串進行編碼，否則在旁路模式中編碼。在一個實施例中，上下文選擇是根據二進位索引。此外，具有相鄰索引值的一些二進位位可以共享相同的上下文。在另一實施例中，可以根據比特流解析器的吞吐量約束和編碼效率要求來自適應地選擇T。由於較低的閾值T將導致在旁路模式中編碼更多的符號，這將以降低的編碼效率為代價來增加比特流解析器的吞吐量。還可以根據當前編碼單元(CU)中的編碼的CABAC二進位位的消耗來調整閾值T。例如，如果期望當前編碼單元中CABAC編碼的二進位位較少，則可以使用較小的閾值T。在一些實施例中，根據編碼單元大小自適應地選擇T。例如，如果調色板編碼被應用於編碼單元，則較大的編碼單元大小將導致遊程模式(run mode)的較長遊程長度(runlength)。在這種情況下，可以使用較大的閾值以有利於更好的編碼效率。
本發明被開發為通用編碼工具，其可用於對應於不同編碼統計的不同語法類型的熵編碼。其對於具有混合視頻內容類型和來自新編碼工具的許多新的語法類型的屏幕內容編碼特別有益，包括幀內塊複製(Intra block copying)、調色板編碼和幀內字符串複製(Intra string copying)。表2為本發明的實施例的使用基於上下文的編碼對無符號源符號(unsigned source symbol)進行編碼/解碼的示例性語法表。對由輸入參數syntaxType指定的不同語法類型可以採用不同的上下文建模方案。如表2所示，首先發信由語法msb_id_plus1表示的前綴部分。如果msb_id_plus1的值大於1，則發信語法refinement_bits。換句話說，如果msb_id_plus1的值為0或1，則不會發信後綴部分。
表2
上文公開的最高有效位索引的基於上下文的編碼可以應用於在編碼處理期間產生的各種語法元素。例如，在HEVC RExt中指定的屏幕內容編碼(SCC)中，可以使用「遊程」模式來對塊中的顏色索引進行編碼。當選擇「遊程」模式時，發信當前調色板遊程模式的連續重複像素的數量減1。如前所述，有兩種「遊程」模式，如Index_Mode(索引模式)和Copy_Above_Mode(複製上方模式)。在一個實施例中，用於使用最大遊程值MaxPaletteRun對前綴部分和後綴部分進行編碼的截斷信令(truncated signaling)，其中MaxPaletteRun等於當前編碼單元中剩餘的待編碼像素的數量減1。所得到的前綴語法palette_run_msb_id_plus1使用具有cMax＝floor(log2((MaxPaletteRun))+1的截斷一元碼來編碼，其中函數floor(x)輸出小於或等於x的最大整數。後綴語法palette_run_refinement_bits使用具有cMax＝MaxPaletteRun-(1<<(palette_run_msb_id_plus1-1))的截斷二進位碼來編碼。此外，前綴語法palette_run_msb_id_plus1可使用基於上下文的編碼來編碼，其中上下文是基於二進位索引形成的。等於Copy_Above_Mode和Index_Mode的palette_run_type_flag可以分別採用兩個不同的上下文集合。
旁路模式可以用於編碼索引值大於閾值Tr的二進位位。例如，Tr可以等於4或6。當palette_run_type_flag等於Index_Mode並且當前調色板索引很大時，由於調色板遊程長度減1通常等於0，所以對於Index_Mode遊程類型，用於二進位索引0的上下文建模可以進一步以當前調色板索引paletteIndex為條件。在一個實施例中，對於(paletteIndex<T1)，選擇第一上下文(即，上下文索引＝0)；對於(T1<＝paletteIndex<T2)，選擇第二上下文(即，上下文索引＝1)；對於(T2<＝paletteIndex)，選擇第三上下文(即，上下文索引＝2)。閾值T2大於閾值T1。可以適當地選擇T1和T2的值。例如，T1可以等於2，並且T2可以等於4或8。
表3為用於前綴palette_run_msb_id_plus1的基於上下文的編碼的上下文選擇的示例性映射表。上下文選擇以解析的調色板索引為條件，其對應於具有冗餘移除的編碼的修改調色板索引(coded modified palette index)。上下文選擇也可以以重構的調色板索引為條件，其對應於調色板表使用的實際調色板索引。在一個實施例中，當palette_run_type_flag等於Copy_Index_Mode並且解析的調色板索引值大於閾值Ts時，可以跳過調色板遊程編碼。在這種情況下，調色板遊程長度減1被推斷為0。在一個實施例中，Ts是從當前編碼單元中的調色板顏色的數量導出的。閾值Tr、T1、T2或Ts可在序列參數集(sequence parameter set，SPS)、圖片參數集(picture parameter set，PPS)、切片標頭(slice header)和/或調色板模式編碼的編碼單元中發信。
表3
在與語法元素相關的最高有效位索引的基於上下文的編碼的另一實例中，使用具有cMax＝floor(log2((MaxPaletteIdx))+1的截斷一元碼來編碼所得的前綴語法palette_index_msb_id_plus1，且通過具有cMax＝MaxPaletteIdx-(1<<(palette_index_msb_id_plus1-1))的截斷二進位碼來編碼後綴語法palette_index_refinement_bits。熵編碼前綴palette_index_msb_id_plus1的上下文建模可以以二進位索引為條件。熵編碼前綴palette_index_msb_id_plus1的上下文建模可以進一步以MaxPaletteIdx為條件。MaxPaletteIdx表示對應於具有冗餘移除的最大修改的調色板索引的最大解析的調色板索引。在另一實施例中，MaxPaletteIdx表示對應於調色板表所採用的最大實際調色板索引的最大重構調色板索引。圖4為前綴palette_index_msb_id_plus1的基於上下文的編碼的上下文選擇的映射表的示例，其中不同的上下文集合可以用於具有不同的cMax＝floor(log2((MaxPaletteIdx))+1的值的編碼單元。
表4
上面公開的基於上下文的編碼還可以應用於其他語法元素，該其他語法元素與屏幕內容編碼(SCC)的幀內字符串複製(IntraBC)工具中使用的參考字符串相關，其中屏幕內容編碼與HEVC RExt相關。例如，根據本發明的基於上下文的編碼可以應用於語法元素dictionary_pred_length_minus1、dictionay_pred_offset_minus1和(dictionay_pred_offsetX，dictionay_pred_offsetY)。這三個語法元素分別表示長度減1、偏移減1和偏移向量。對於編碼該長度，可以採用截斷信令來編碼前綴和後綴，其中前綴和後綴具有的最大遊程值等於剩餘的待編碼像素的數量減1。對於編碼該偏移向量，根據本發明的基於上下文的編碼可以應用於每個矢量分量的絕對值。表5-7為分別用於上述長度減1、偏移減1和語法元素的偏移向量(x，y)的上下文選擇的示例性映射表。
表5
表6
表7
對於索引模式，發信當前調色板索引和遊程長度。通常在相關的遊程長度之前發信調色板索引。在本發明的另一實施例中，相關的遊程長度是基於調色板索引的上下文自適應編碼的。例如，對於索引模式，確定具有與當前塊的掃描順序中的當前調色板索引相同的調色板索引的連續像素的數量。使用二進位化方法將連續像素的數量減1轉換為二進位字符串。根據取決於相同調色板索引來自適應地選擇的上下文，通過將常規CABAC模式應用於二進位字符串的至少一個二進位位，使用上下文自適應二進位算術編碼(CABAC)來對二進位字符串進行編碼。相應的解碼處理將執行由編碼器執行的這些步驟的相反步驟。例如，解碼器可以接收包括對應於索引模式的當前源符號的當前塊的壓縮數據的輸入編碼比特流。可以確定與當前遊程模式相關的當前調色板索引。然後，根據取決於當前調色板索引來自適應地選擇的上下文，通過將常規CABAC模式應用於二進位字符串的至少一個二進位位，使用上下文自適應二進位算術編碼(CABAC)來對二進位字符串進行解碼。使用二進位化方法將二進位字符串轉換為遊程長度值，遊程長度值與具有和當前調色板索引相同的調色板索引的多個連續像素相關。遊程長度值對應於連續像素的數量減去1。可以使用當前塊的掃描順序中的當前調色板索引來重構編碼的連續像素。在解碼器側，當前調色板索引可以基於來自輸入編碼比特流或重構調色板索引的解析的調色板索引。
圖2為根據本發明實施例的源符號的熵編碼系統的示例性流程圖，其中源符號在前綴部分和後綴部分中表示，並且使用CABAC來編碼前綴部分和後綴部分的二進位字符串。在步驟210中，系統接收具有屬於一組符號值(a set of symbol values)的當前符號值(current symbol value)的當前源符號。輸入數據對應於將被編碼的當前塊的像素數據或顏色索引。可以從存儲器(例如，計算機存儲器、緩衝器(RAM或DRAM)或其他介質)或從處理器獲得輸入數據。在步驟220中，確定當前符號值的最高有效位索引和任何精細位。在步驟230中，通過使用一元碼或截斷一元碼來對與當前符號值的最高有效位索引相關的前綴部分進行二進位化，來導出第一二進位字符串。在步驟230中，如果存在任何精細位，通過使用固定長度碼或截斷二進位碼來對與當前符號值的一個或多個精細位相對應的的後綴部分進行二進位化，來導出第二二進位字符串。在步驟250中，使用上下文自適應二進位算術編碼(CABAC)來對第一二進位字符串進行編碼，並且如果存在第二二進位字符串，則也使用CABAC對第二二進位字符串進行編碼。
圖3為根據本發明實施例的源符號的熵解碼系統的示例性流程圖，其中源符號在前綴部分和後綴部分中表示，並且使用CABAC來編碼前綴部分和後綴部分的二進位字符串。在步驟310中，系統接收包括當前源符號的壓縮數據的輸入編碼比特流。可以從存儲器(例如，計算機存儲器、緩衝器(RAM或DRAM)或其他介質)或從處理器獲得輸入編碼比特流。在步驟320中，使用上下文自適應二進位算術編碼(CABAC)來解碼所述編碼比特流，以恢復第一二進位字符串和任何第二二進位字符串。在步驟330中，通過使用一元碼或截斷一元碼來解碼第一二進位字符串，以恢復與當前源符號的當前符號值的最高有效位索引相關的前綴部分。在步驟340中，如果存在任何第二二進位字符串，通過使用固定長度碼或截斷二進位碼來解碼第二二進位字符串，以恢復對應於當前符號值的一個或多個精細位的後綴部分。在步驟350中，如果存在任何精細位，則基於當前符號值的最高有效位索引和任何精細位來恢復當前源符號。
以上所述的流程圖旨在示出根據本發明的使用前綴部分和後綴部分的熵編碼的示例。本領域的技術人員可以修改每個步驟、重新安排步驟的順序、拆分步驟或者結合某些步驟來實現本發明，而不例外本發明的精神。在本公開中，已經使用特定語法和語義來說明實現本發明的實施例。本領域技術人員可以通過用使用等同的語法和語義來代替本發明中的語法和語義，從而實踐本發明，而不例外本發明的精神。
以上的描述是使本領域的技術人員在本文提供的特定應用和需求下能夠實踐本發明。本領域的技術人員將容易地觀察到，在不例外本發明的精神和範圍內，可以進行多種修改和變動。因此，本發明並非限定在所示和描述的特定的實施例上，而本發明公開是為了符合原則和新穎性的最廣泛的範圍。在上述詳細的描述中，各種具體的細節，用以提供對本發明的透徹的了解。儘管如此，將被本領域的技術人員理解的是，本發明能夠被實踐。
如上述所述的本發明的實施例，可以使用硬體、軟體或其組合來實現。例如，本發明的一實施例可以是集成到視頻壓縮晶片中的電路或集成到視頻壓縮軟體中的程序代碼，以執行所描述的處理。本發明的實施例也可以是將在數位訊號處理器上執行的程序代碼來執行所描述的處理。本發明還涉及一系列的由計算機處理器、數位訊號處理器、微處理器和現場可編程門陣列(FPGA)執行的功能。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或固件代碼來實現。軟體代碼或固件代碼可以用不同的程式語言和不同的格式或樣式來開發。軟體代碼也可以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不例外本發明之精神和範圍。
本發明可以以其它具體形式實施而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不是限制性。本發明的範圍因此由所附權利要求為準而不是由前面的描述所界定。因此，各種修改、改編以及所描述的實施例的各種特徵的組合可以在不例外本發明的範圍如權利要求書中闡述的情況下實施。