在索引圖編碼中將跳出像素作為預測器的方法與流程
2023-05-02 07:41:36 2
本申請要求下列申請的優先權：2014年7月7日提交的申請號為62/021,289的美國臨時案；2014年7月22日提交的申請號為62/027,334的美國臨時案；2014年7月30日提交的申請號為62/030,714的美國臨時案；2014年8月11日提交的申請號為62/035,625的美國臨時案；2008年8月21日提交的申請號為62/040,020的美國臨時案；以及2014年8月21日提交的申請號為62/040,022的美國臨時案。在此合併參考這些申請案的申請標的。
技術領域：
：本發明涉及視頻數據的調色板編碼。具體來說，本發明涉及解決當預測器(predictor)對應於跳出像素時與預測器複製模式相關的問題的各種技術。
背景技術：
：：高效率視頻編碼(HighEfficiencyVideoCoding，HEVC)是近年來已經開發出來的新的編碼標準。在高效率視頻編碼系統中，H.264/AVC的固定大小宏塊被稱為編碼單元(codingunit，編碼單元)的靈活塊(flexibleblock)所替換。編碼單元中的像素共享相同的編碼參數以提高編碼效率。編碼單元可以從最大編碼單元(largestCU，LCU)開始，其在HEVC中也被稱為編碼樹單元(codedtreeunit，CTU)。除了編碼單元的概念，預測單元(PU)的概念也引入到了HEVC中。一旦編碼單元層次樹(CUhierarchicaltree)的拆分(splitting)完成，則根據預測類型和預測單元分區(PUpartition)將每個葉編碼單元(leafCU)進一步拆分成一個或多個預測單元。已經開發了用於屏幕內容編碼的幾種編碼工具。與本發明相關的這些工具簡要回顧如下。調色板編碼在HEVC屏幕內容編碼(SCC)的開發期間，已經公開了若干建議來解決基於調色板的編碼。例如，在JCTVC-N0247(Guoetal.,「RCE3:ResultsofTest3.1onPaletteModeforScreenContentCoding」,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,14thMeeting:Vienna,AT,25July–2Aug.2013Do編碼單元ment:JCTVC-N0247)和JCTVC-O0218(Guoetal.,「EvaluationofPaletteModeCodingonHM-12.0+RExt-4.1」,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,15thMeeting:Geneva,CH,23Oct.–1,Nov.2013,Do編碼單元ment:JCTVC-O0218)中公開了調色板預測和共享技術。在JCTVC-N0247中，每個顏色分量(colorcomponent)的調色板被構造和發送。可以從其左邊相鄰的編碼單元來預測(或共享)調色板以減小比特率。然後，使用它們的調色板索引來對給定塊內的所有像素進行編碼。根據JCTVC-N0247的編碼處理的示例如下所示。1.調色板的發送：首先發送顏色索引表(也稱為調色板表)大小，然後是調色板元素(即，顏色值)。2.像素值的發送：編碼單元中的像素以光柵掃描順序編碼。對於一個或多個像素的每個組，首先發送用於基於遊程的模式(run-basedmode)的標誌，以指示是否正在使用「複製索引模式(copy-indexmode)」或「複製上方模式(copy-abovemode)」。2.1複製索引模式：在基於遊程的模式中，首先發信(signal)調色板索引，然後是表示遊程值的「palette_run」(例如，M)。在一些文獻中，「複製索引模式」也被稱為「索引」模式。在本發明中，術語「palette_run」也可以被稱為「pixel_run」或簡稱為「run」。遊程值指示總共M個連續樣本都使用遊程模式來編碼。對於當前位置和隨後的M個位置，不需要發送進一步的信息，因為它們具有與在比特流中發信的相同的調色板索引。調色板索引(例如，i)也可以由所有的三個顏色分量共享，這意味著，對於YUV色彩空間的情況，重構的像素值是(Y,U,V)＝(paletteY[i],paletteU[i],paletteV[i])。2.2複製上方模式：在複製上方模式中，發送值「palette_run」(例如，N)，以指示對於當前像素和隨後的N個像素，調色板索引與上方的行中的相應調色板索引相同。3.殘差(residue)的發送：在階段2中發送的調色板索引被轉換回像素值並且用作預測。使用HEVC殘留編碼(HEVCresidualcoding)來發送殘差信息，並將殘差信息添加到用於重構的預測中。在本發明中，複製索引模式和複製上方模式都被稱為「複製模式」。在複製索引模式中，發送複製索引編碼像素(copy-indexcodedpixels)的前導像素(leadingpixel)的調色板索引。還發送複製索引編碼像素的數量。在解碼器側，在確定基礎像素(underlyingpixels)的編碼模式(即，複製索引模式)之後，僅需要前導像素的調色板索引的信息和複製索引編碼像素的數量來重構複製索引編碼像素。可以通過從預測器(即，左側的像素)「複製」，來重構在前導像素之後的像素。可以使用調色板表來重構像素值。在複製上方模式中，由於上方像素已被重構，所以不需要發送與預測器(即，上方像素)相關的調色板索引。當前像素可以從上方像素「複製」得到。在JCTVC-N0247中，每個分量的調色板可被構造和發送。可以從左側相鄰的編碼單元來預測(共享)調色板以減小比特率。在JCTVC-O0218中，調色板中的每個元素是三位字節(triplet)，表示三個顏色分量的特定組合。此外，編碼單元外的調色板的預測編碼被移除。還公開了類似於JCTVC-O0218的另一種調色板編碼技術。代替從左側編碼單元預測整個調色板表，調色板中的單獨調色板顏色條目是從上方編碼單元或左側編碼單元中的精確對應的調色板顏色條目來預測的。對於像素調色板索引值的發送，如JCTVC-O0182(Guoetal.,「AHG8:Major-color-basedscreencontentcoding」,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,15thMeeting:Geneva,CH,23Oct.–1Nov.2013,Document:JCTVC-O0182)中所公開的，將預測編碼方法應用於索引。使用三種類型的行模式(linemode)，即，水平模式、垂直模式和正常模式，來對每個索引行進行編碼。在水平模式下，同一行中的所有索引具有相同的值。如果該值與上方像素行中的第一像素相同，則僅發送行模式信令比特(linemodesignalingbits)。否則，還需發送索引值。在垂直模式中，它指示當前索引行與上方索引行相同。因此，僅發送行模式信令比特。在正常模式下，一行中的索引是單獨預測的。對於每個索引位置，左側或上方的相鄰像素被用作預測器，並且預測器號(predictionsymbol)也被發送到解碼器。此外，根據JCTVC-O0182，將像素分類成主要顏色像素(具有指向調色板顏色的調色板索引)和跳出像素。對於主要顏色像素，根據解碼器側中的主要顏色索引(即，調色板索引)和調色板表來重構像素值。對於跳出像素，在比特流中進一步發信(signal)像素值。調色板表發信(Palettetablesignaling)在屏幕內容編碼(screencontentcoding，SCC)標準的參考軟體(即，SCM-2.0(Joshietal.,Screencontentcodingtestmodel2(SCM2),JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,18thMeeting:Sapporo,JP,30June–9July2014,Document:JCTVC-R1014))中，改進的調色板方案統一到JCTVC-R0348(Onnoetal.,Suggestedcombinedsoftwareandtextforrun-basedpalettemode,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,18thMeeting:Sapporo,JP,30June–9July2014,Document:JCTVC-R0348)中。先前調色板編碼的編碼單元的調色板表被用作當前調色板表編碼的預測器。在調色板表編碼中，通過選擇先前編碼調色板表(調色板預測器)中的哪些調色板顏色被重用，或通過發送新調色板顏色，來發信(signal)當前調色板表。當前調色板大小被設置為預測調色板大小(即，numPredPreviousPalette)加上所發送的調色板大小(即，num_signaled_palette_entries)。預測調色板是從先前重構的調色板編碼的編碼單元導出的調色板。當將當前編碼單元編碼為調色板模式時，那些調色板顏色，不使用預測調色板來預測，而是在比特流(即，發信的條目)中直接發送。調色板更新的示例如下所示。在此實例中，當前編碼單元被編碼為具有調色板大小等於6的調色板模式。六種主要顏色中的三種是從調色板預測器來預測的(numPredPreviousPalette＝3)，以及另外三種是通過比特流直接發送的。可以使用下面示出的示例性語法來發信所發送的三種顏色。由於在該示例中調色板大小是6，所以從0到5的調色板索引用於指示調色板顏色表中的主要顏色條目。3個預測調色板顏色由索引0到2來表示。因此，3個新的調色板條目為索引3到5而發送。在SCM-2.0中，如果不應用波前並行處理(wavefrontparallelprocessing，WPP)，則在每個切片(slice)的開始處或在每個圖像塊(tile)的開始處初始化(重置)調色板預測器表。如果應用WPP，則最後編碼的調色板表不僅在每個切片的開始處或在每個圖像塊的開始處被初始化(重置)，而且還在每個編碼樹單元行(CTUrow)的開始處被初始化(重置)。調色板預測編碼在JCTVC-O0218和JCTVC-N0247中，調色板預測標誌(flag)用於從最後的編碼調色板編碼單元(lastcodedpaletteCU)來預測調色板。每個條目使用一位(bit)。如果調色板條目的調色板預測標誌是1，則該調色板被重用於當前編碼單元。在JCTVC-R0348中，公開了用於碼字的不同的二進位化方法，其中對位於每個預測調色板之間的零遊程(zero-runs)進行編碼。碼字N意味著在為1的下一個調色板重用標記之前存在N個0。例如，「0」表示下一個調色板(nextpalette)被重用(即，在當前和下一個重用標誌1之間沒有0)。「1」表示第二個下一個調色板被重用。圖1中為具有10個調色板的調色板預測表的基於零遊程的調色板預測的另一示例。對應於0,2,3,5和8的調色板表條目的調色板由當前編碼單元重用。預測調色板的零遊程分別是{0,1,1,0,1,2}。二進位化方法可以是具有K階的索引哥倫布碼(Exponential-Golombcodewithorder-K，EG-K碼)、具有K階的截斷索引哥倫布碼(截斷EG-K碼)或者N位截斷一元碼+EG-K碼。K可以是0,1,2或3。N可以是0,1,2或3。為了發信最後使用的調色板，在JCTVC-R0228(Seregin,etal.,Non-SCCE3:Run-lengthcodingforpalettepredictor,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,18thMeeting:Sapporo,JP,July2014,DocumentNo.:JCTVC-R0228)中，公開了將結束碼(end-code，EC)插入到碼字中的方法。等於或大於結束碼的零遊程將增加1。在解碼器側，如果解碼的零遊程等於結束碼，則意味著沒有其他預測調色板。如果解碼的零遊程大於結束碼，則實際零遊程為解碼的零遊程減1。例如，結束碼可以被設置為1，並且大於或等於1的任何零遊程將增加1。因此，圖1中的示例的編碼/解碼的碼字可以變為如圖2所示的{0,2,0,2,3,1}。在現有的調色板編碼中，當預測器是跳出像素時，解碼器可能會遇到問題。例如，如果選擇了複製上方模式並且上方像素是跳出像素，則跳出像素下面的當前像素可能不能被正確地重構。根據現有的複製上方模式，僅用發信遊程值(runvalue)。可以將跳出索引分配給上方跳出像素下面的當前像素。然而，由於不傳送跳出值，所以不能重構上方跳出像素下面的當前像素。因此，期望開發解決與預測器是跳出像素相關的問題的方法。技術實現要素：本發明公開了解決與使用複製模式的調色板編碼中的預測器為跳出像素相關的問題的方法。根據本發明的一個實施例，如果用於複製上方模式的預測器是跳出像素，則發送當前跳出像素的跳出值，使得可以使用所發送的像素值來重構與預測器相關的跳出像素。可以傳送跳出像素的每個分量的像素值。可以發信、導出或推斷出與通過複製上方模式預測的連續像素的數量相對應的遊程值。如果發信遊程值，則可以在跳出像素的跳出值之前發信。如果位於當前像素的前導像素上方的上方像素是跳出像素，則遊程值可以被限制為零。如果當前編碼模式對應於複製索引模式並且發信的索引是跳出索引，則可以發信、導出或推斷出與由複製索引模式預測的連續像素的數量相對應的遊程值。如果發信遊程值，則可以在跳出像素的跳出值之前發信。連續像素被編碼為跳出像素。連續跳出像素的調色板索引被編碼為跳出索引，並且跳出像素的跳出值被發送。除了編碼單元中的第一樣本之外，調整最大調色板索引(AdjustedMaxPaletteIndex)被固定為等於的最大調色板索引減1(即，MaxPaletteIndex-1)。本發明還公開了相應解碼器側的實施例。在另一實施例中，通過對編碼器側應用限制來解決與預測器是跳出像素相關的問題。在複製上方模式中，每當位於當前像素上方的上方像素是跳出像素時，終止複製上方遊程，將複製上方模式指定為對於當前像素不可用，或者複製上方模式是當前像素不能選擇的。因此，與預測器是跳出像素相關的問題將永遠不會發生。在又一個實施例中，通過直接複製跳出值、跳出索引和跳出值、或者當預測器是跳出像素時的預測器的重構像素值來解決與預測器是跳出像素相關的問題。例如，在複製上方模式中，如果位於當前像素上方的上方像素是跳出像素，則可以通過複製跳出索引和跳出值、或者上方像素的重構像素值來重構當前像素。在又一個實施例中，通過使用預定義的調色板索引(例如調色板索引0)替換預測器來解決與預測器是跳出像素相關的問題。例如，在複製上方模式中，是跳出像素的任何上方像素被作為預定義的索引。換句話說，如果當前像素是預定義的索引並且上方像素是跳出像素，則複製上方將繼續。在複製索引模式的情況下，如果N個連續像素是跳出像素，則通過傳送調色板索引(即，跳出索引)和像素值(即，跳出值)來對前導像素進行編碼。所有後續像素將被編碼為預定義的索引。附圖說明圖1為基於零遊程的調色板預測的示例，其中對應於0,2,3,5和8的調色板表條目由當前編碼單元重用(reuse)，並且預測調色板的零遊程為{0,1,0,1,2}。圖2為基於零遊程的調色板預測的示例，其中對應於「1」的結束碼用於指示重用標誌編碼的結束，以及對應於圖1的零遊程變為{0,2,0,2,3,1}。圖3A-3B為根據表1的顏色索引表將相鄰像素的顏色值轉換為顏色索引的示例，其中圖3A中的相鄰像素值被轉換為圖3B中的相鄰像素索引。圖4為來自相鄰像素的顏色索引預測的示例，其中使用上方相鄰像素作為預測器，以將第一像素的索引解碼為1。圖5A為與先前的複製上方模式相關的冗餘的示例，其中當前樣本被指示為「？」，並且上方索引為「A」。圖5B為與先前的複製右上方模式(copy-above-rightmode)相關的冗餘的示例，其中當前樣本被指示為「？」並且右上方索引為「C」。圖6A為與先前複製索引模式相關的冗餘的示例，其中當前樣本被指示為「？」，左索引為「A」。圖6B為根據本發明實施例的在確定冗餘的情況下使用替換索引預測器的示例。具體實施方式以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視權利要求書所界定為準。在預測模式中以跳出像素作為的預測器的問題在JCTVC-O0218，JCTVC-N0247和JCTVC-O0182中，若干預測模式，例如複製上方模式和複製索引模式，支持調色板索引圖編碼(paletteindexmapcoding)。複製索引模式有時也稱為「複製左側模式」，因為當以從左到右的光柵掃描順序處理塊中的像素時，左側像素的索引被複製。此外，在本發明中，還可以將複製左側模式擴展為指代在遍歷掃描順序(traversescanorder)中複製先前像素。在這些模式中，顏色索引是從預測器複製的，例如一個或多個上方的樣本或左側的樣本。在屏幕內容編碼測試模型2(SCM-2.0)中，基於遊程的調色板編碼方法類似於JCTVC-O0218和JCTVC-N0247中的方法。在SCM-2.0中，使用複製上方模式和複製索引模式。跳出樣本(Escapesample)使用等於遊程模式中的最大調色板大小的顏色索引來進行編碼。在遊程模式中，如果編碼調色板大小等於複製索引模式中的最大調色板大小，則發信每個分量(例如，R/G/B分量或Y/U/V分量)的值。然而，在SCM-2.0中，如果使用複製上方模式並且上方樣本被編碼為跳出索引，則不發信跳出值。解碼器將不能重構這些樣本值。為了克服這個問題，公開了下列的各種方法：A.用於跳出值信令(Escapevaluessignaling)的編碼器限制根據本實施例，公開了編碼器限制(constraint)，使得僅可以在複製索引模式或新索引模式中對跳出樣本或跳出顏色索引進行編碼。換句話說，在這種情況下，不允許其他預測複製模式，諸如複製上方模式。因此，在複製上方模式的情況下，只有上方像素的非跳出像素可以用作為複製上方模式的預測器。因此，如果應用複製上方模式，則不需要發信跳出值。在本發明中，樣本(sample)和像素(pixel)可互換使用。因此，跳出樣本也可以被稱為跳出像素。B.不允許跳出樣本作為預測器根據該實施例，僅可以在複製索引模式或新索引模式中對跳出樣本或跳出顏色索引進行編碼。換句話說，在這種情況下，不允許其他預測複製模式，諸如複製上方模式。因此，如果應用預測器複製模式(例如，模式上方複製)，則不需要發信跳出值。此外，如果複製模式中的預測器(例如，複製上方模式中的上方樣本)是跳出樣本，則複製模式將不可用。複製模式的語法可以被移除。例如，如果上方樣本是跳出樣本，則對於當前樣本將不存在複製上方模式。例如，如果上方樣本是跳出樣本，則當前預測模式可以被推斷為複製索引模式。在另一示例中，如果使用複製上方模式，對於當前像素則複製上方樣本的顏色索引。如果上方示例是跳出示例，則可以終止索引複製過程。例如，如果發信複製上方模式，遊程是5，並且上方第三樣本是跳出樣本，則將僅複製上方兩個樣本。實際遊程值等於1。C.在複製模式中直接複製重構像素值在複製模式中，發送、導出(derive)或推斷出(infer)值「palette_run」(例如N)，以指示對於當前像素和後續的N個像素，像素值等於在複製模式中編碼的各自的位置(例如，上方、左側、左上方、上方M行或右上方位置)的重構像素值。在這些預測器複製模式中，不需要使用跳出碼(Escapecode)(例如，編碼跳出值)。在該方法中，即使發信的索引等於跳出索引，也可以發信palette_run以用於複製索引模式。如果跳出索引的palette_run大於0(例如N)，則解碼器將填充當前樣本和N個後續樣本的重構值。可以在palette_run語法之後發信跳出值。D.為跳出樣本預測器在複製模式中直接複製跳出值和索引在複製模式中，發送、導出或推斷出值「palette_run」(例如N)，以指示對於當前像素和後續的N個像素，顏色索引等於在複製模式中編碼的位置中的各自的顏色索引，顏色索引等於在各自的複製模式位置(例如，上方、左側、左上方、上方M行、右上方...)上的顏色索引。然而，如果預測器是跳出樣本，則當前樣本不僅從預測器複製索引(即，跳出索引)，還複製跳出值(例如，palette_Escape_val)。在這些預測器複製模式中，不需要使用跳出碼(例如，編碼跳出值)。即使發信的索引等於跳出索引，也可以為複製索引模式發信palette_run。如果跳出索引的palette_run大於0(例如N)，則解碼器將填充當前樣本和後續的N個樣本的跳出值。可以在palette_run語法之後發信跳出值。在另一示例中，如果跳出索引的palette_run大於0，則發信(N+1)個樣本的跳出值。E.為跳出樣本預測器在複製模式中直接複製跳出值在複製模式中，發送、導出或推斷出值「palette_run」(例如N)，以指示對於當前像素和後續的N個像素，顏色索引等於各自的複製模式位置(例如，上方、左側、左上方、上方M行、右上方...)上的顏色索引。然而，如果預測器是跳出樣本，則當前樣本從預測器複製跳出值(例如，palette_Escape_val)，並將當前索引設置為預定義的索引(例如，0)。在這些預測器複製模式中，不需要使用跳出碼(例如，編碼跳出值)。在該方法中，即使發信的索引等於跳出索引，也可以為複製索引模式發信palette_run。如果跳出索引的palette_run大於0(例如N)，則用跳出值重構第一樣本，並且用預定義的索引重構其餘樣本。可以在palette_run語法之後發信跳出值。F.為跳出樣本預測器，在預測器複製模式中將跳出樣本視為預定義顏色索引(pre-definedcolorindex)在複製模式中，發送、導出或推斷出值「palette_run」(例如N)，以指示對於當前像素和後續的N個像素，顏色索引等於各自的複製模式位置(例如，上方、左側、左上方、上方M行、右上方...)上的顏色索引。然而，如果預測器是跳出樣本，根據本發明的實施例，預測器的顏色索引被視為預定義顏色索引(例如，0)。例如，如果為當前像素髮信複製上方模式，並且預測器(即，當前像素上方的像素)是跳出像素，則將預測器視為預定義的索引。因此，如果當前像素等於預定義的索引，則複製上方遊程將繼續。在解碼器側，如果預測器(即，當前像素上方的像素)是跳出像素，則將當前索引設置為預定義的索引。在這些預測器複製模式中，不需要使用跳出碼(例如，編碼跳出值)。本實施例還可以應用於複製索引模式的情況。因此，即使發信的索引等於跳出索引，也可以為複製索引模式發信palette_run。與發信的索引相關的跳出值可以在palette_run語法之後發信。如果跳出索引的palette_run大於0，則使用跳出值重構第一樣本，並使用預定義的索引重構其餘的樣本。例如，如果使用複製索引模式並且palette_run為4，則前導像素是跳出像素，並且後續的四個像素具有預定義的索引。根據當前實施例，將使用複製索引模式對五個像素進行編碼。很明顯，通過使能前導像素作為跳出像素並將該預測器作為預定義的索引，可以從常規的複製索引模式修改複製索引模式。在另一示例中，如果跳出索引的palette_run大於0(例如N)，則使用跳出值重構第一樣本，並且剩餘樣本還需要發信每個樣本的跳出值。剩餘樣本分別用發信的跳出值來重構。(N+1)個跳出值的樣本被發信。根據一個實施例，除了編碼單元中的第一樣本之外，複製索引模式中的調整最大調色板索引(AdjustedMaxPaletteIndex)是固定的(例如，固定到MaxPaletteIndex-1)。對於編碼單元中的第一樣本，AdjustedMaxPaletteIndex等於MaxPaletteIndex。AdjustedMaxPaletteIndex與預測器或最後編碼的索引是否為跳出樣本無關。該參數可用於具有固定長度碼編碼(fixed-lengthcodecoding)或截斷二進位碼編碼(truncatebinarycodecoding)的索引編碼。G.如果預測器是跳出樣本，則發送跳出值在複製模式中，發送、導出或推斷出值「palette_run」(例如N)，以指示對於當前像素和後續的N個像素，顏色索引等於各自的複製模式位置(例如，上方、左側、左上方、上方M行、右上方...)上的顏色索引。然而，如果預測器是跳出樣本，則根據本發明的實施例，為這些樣本發信跳出碼(例如，編碼跳出值)。例如，如果上方樣本是跳出樣本並且為當前樣本(也稱為當前跳出像素)選擇了複製上方模式，則發信當前樣本的每個分量的跳出值。也就是說，如果選擇了複製上方模式並且上方像素是跳出像素，則發信當前像素的3個分量(例如，YUV分量或RGB分量)的值。可以在「palette_run」之後發信跳出值。要發信的跳出值的數量取決於從預測器中預測的跳出樣本的數量。此外，如果來自預測器的第一樣本是跳出樣本，則palette_run可以推斷為0或設置為0。可以添加另一個限制，即如果預測器是跳出樣本，則將結束palette_run。以這種方式，可以終止palette_run。H.如果預測器是跳出樣本，則使用跳出遊程(Escaperun)發送跳出值在複製模式中，發送、導出或推斷出值「palette_run」(例如N)，以指示對於當前像素和後續的N個像素，顏色索引等於各自的複製模式位置(例如，上方、左側、左上方、上方M行、右上方...)上的顏色索引。然而，如果預測器是跳出樣本，則對這些樣本發信跳出碼(例如，編碼跳出值)。例如，如果上方樣本是跳出樣本並且選擇了複製上方模式，則發信當前樣本(也稱為當前跳出像素)的每個分量的跳出值。可以在「palette_run」之後立即發信跳出值。要發信的跳出值的數量取決於從預測器中預測的跳出樣本的數量。對於複製索引模式，當發信的索引是跳出索引時，可以發信palette_run以指示當前像素和後續的N個像素是跳出樣本。發信這些樣本的跳出碼(例如，編碼跳出值)。可以在palette_run語法之後發信跳出值。根據該實施例，除了編碼單元中的第一樣本之外，複製索引模式中的調整最大調色板索引(AdjustedMaxPaletteIndex)是固定的(例如，固定為MaxPaletteIndex-1)。對於編碼單元中的第一樣本，AdjustedMaxPaletteIndex等於MaxPaletteIndex。AdjustedMaxPaletteIndex與預測器或最後編碼的索引是否為跳出樣本無關。該參數可用於具有固定長度碼編碼或截斷二進位碼編碼的索引編碼。I.來自跳出索引的索引預測如果預測源(例如，上方索引或左側索引)是跳出索引，則當前樣本的索引被推斷為跳出索引。然後發信當前樣本的跳出值。例如，如果當前palette_run被發信為複製上方模式，並且至少一個上方樣本是跳出索引，則具有跳出索引的樣本被推斷為跳出索引。然後發信跳出值。在另一示例中，如果當前palette_run被發信為複製左側模式並且左側索引是跳出索引，則當前樣本被推斷為跳出索引。然後發信跳出值。因此，如果當前palette_run被發信為複製索引模式，並且新的發信的索引是跳出索引，則與palette_run相關的所有樣本被推斷為跳出索引。然後發信跳出值。在本實施例中，當palette_run中的N個樣本被推斷為跳出索引時，則發信M個跳出像素值，其中N和M是正整數。對於這種情況，M可以等於N，並且為palette_run中的所有樣本發信單獨的跳出像素值。M可以小於N，並且為palette_run中的部分樣本發送跳出像素值，以及剩餘樣本共享所發送的跳出值。例如，M為1並且為所有樣本發送的一個跳出值被推斷為跳出索引，以共享該跳出值。J.通過使用導出的或預定義的索引以從跳出索引進行索引預測如果預測源(例如，上方索引或左側索引)是跳出索引，如果源被用於預測，則當前樣本的索引被推斷為導出的或預定義的索引。預定義的索引可以為0。例如，如果當前palette_run被發信為複製上方模式，並且上方樣本中的至少一個是跳出索引，則如果使用相關的預測模式，具有跳出索引的樣本被推斷為導出的或預定義的索引。預定義的索引可以為0。在另一實例中，如果當前palette_run由複製索引模式來發信且左側索引為跳出索引，則如果使用相關的預測模式，當前樣本被推斷為導出的或預定義的索引。預定義的索引可以為0。在另一實例中，如果當前palette_run由複製索引模式來發信，那麼將發信palette_run值以指示新的發信的索引是否為跳出索引。如果新的發信的索引是跳出索引，則palette_run中的第一樣本被推斷為跳出索引，剩餘樣本被推斷為派生或預定義的索引。預定義的索引可以為0。K.移除索引編碼中的冗餘索引在SCM2.0中，解碼器需要檢查若干條件，使得冗餘索引可被移除。例如，解碼器可以檢查先前palette_run是否是複製上方模式以及上方樣本是否未被編碼為跳出索引。如果兩個條件都為真，則上方樣本的索引可以被視為冗餘索引值，並且在索引編碼期間被移除。在一個實施例中，可以在解析階段中移除條件檢查。如果在除了編碼單元中的第一樣本之外的任何樣本位置中使用複製索引模式，則存在至少一個冗餘索引值。因此，在解析階段中，解碼器可以直接移除固定的冗餘索引數(例如，1)，而無需任何條件檢查。如果將任何預測方法應用於編碼單元中的第一樣本(例如，跨越編碼單元邊界的預測)，則先前所揭示的跳出像素預測可與上文所揭示的冗餘移除處理組合起來。索引值解析方法可以被細化(refine)為如下：如果在任何樣本位置中使用複製索引模式，則存在至少一個冗餘索引值。因此，在解析階段，解碼器可以直接移除固定的冗餘索引而無需任何條件檢查。L.在索引編碼中移除冗餘索引之後索引值的重構在索引重構階段，解碼器將計算移除的冗餘索引值。如果解析的索引值大於或等於移除的冗餘索引值，則重構的索引值等於解析的索引值加1。否則，重構的索引值為解析的索引值。基於在「I.來自跳出索引的索引預測」中公開的實施例，如果預測源是跳出索引，則移除的冗餘索引值是跳出索引值。基於在「J.通過使用導出的或預定義的索引以從跳出索引進行索引預測」中公開的實施例，如果預測源是跳出索引，則移除的冗餘索引值是導出的或預定義的索引。預定義的索引可以為0。M.來自相鄰像素的顏色索引圖編碼的預測當前編碼單元的主要顏色索引圖可以從當前編碼單元的相鄰像素(neighboringpixels，NPs)來預測。當編碼顏色索引圖時，編碼器/解碼器可以首先確定相鄰像素。相鄰像素可以用於預測當前編碼單元的顏色索引。在預測之前，相鄰像素的像素值可以通過主顏色表映射到顏色索引，並且映射的顏色索引用於預測當前編碼單元的顏色索引。例如，通過使用如表1中所示的當前編碼單元的主要顏色表，可以將相鄰像素的像素值映射到如圖3A和圖3B所示的顏色索引，其中相鄰像素的值由斜體字和括號來指明(indicted)，並且映射的顏色索引在相應相鄰像素的像素值之下指明。表1.顏色索引像素值1202200相鄰像素可以是任何先前解碼或重構的像素，包括空間相鄰或時間相鄰樣本和相應的殘差。相鄰像素可以是沒有任何環路濾波(例如樣本自適應偏移(SAO)或去塊濾波)的重構像素。相鄰像素也可以是由SAO、去塊濾波或SAO和去塊濾波來濾波的重構像素。時間相鄰像素可以是參考圖片中的同位位置(collocatedposition)或由運動矢量指示的位置處的像素。在一個示例中，相鄰像素被簡化為最近的上方的行和最近的左側的列的像素。在解碼期間，顏色索引可以由相鄰像素來預測。圖4為一個示例，其中像素的顏色索引由上方的相鄰像素來預測。在該示例中，第一像素的索引被解碼為1。為了簡化將相鄰像素的顏色值映射到顏色索引的量化方法，解碼器可以僅測試調色板中的部分顏色。如果對於相鄰像素沒有匹配的顏色，則解碼器可以向相鄰像素分配固定或導出的索引。例如，解碼器僅測試從Ntest1到Ntest2的顏色索引。如果沒有匹配的顏色，則解碼器向相鄰像素分配索引Ntest3，並且Ntest3可以是0。Ntest1和Ntest2可以是固定的或導出的。Ntest1和Ntest2可以根據編碼單元大小來導出。為了識別相鄰像素的匹配顏色，解碼器還可以測試Ntest個顏色和相鄰像素。如果測試顏Ctest1和相鄰像素之間的差異小於閾值，則向相鄰像素分配索引Ctest1。閾值可以是固定的或導出的。例如，可以根據量化參數(QuantizationParameter，QP)設置來導出閾值。如果對於相鄰像素存在對應的差異小於閾值的多於一個的測試顏色，則相鄰像素可以被量化為具有較小差異的測試顏色。為了簡化相鄰像素值到顏色索引的量化，如果存在具有小於相鄰像素的閾值的差的多於一個的測試顏色，則相鄰像素可以被量化為最新的測試顏色。測試顏色的順序可以為從最大索引到最小索引(即最小出現的索引到最高出現的索引)。換句話說，如果它們都在差異閾值內，則較高的出現索引將重寫較小出現的索引。在另一實施例中，如果對於相鄰像素存在具有的差異小於閾值的多於一個的測試顏色，則相鄰像素可以被量化為最早測試的顏色。測試顏色的順序可以為從最小索引到最大索引(即最高出現的索引到最小出現的索引)。如果任何測試顏色是匹配的，則測試過程可以提前終止。另一種簡化相鄰像素值到顏色索引的量化的方法，解碼器可以僅使用顏色值的NMSB_COLOR個最高有效位來與具有調色板中的顏色的像素進行比較。NMSB_COLOR可以是固定的或導出的。NMSB_COLOR可以根據編碼單元大小來導出。對於不同顏色的分量，NMSB_COLOR可以不同。例如，Y/G分量的NMSB_COLOR可以大於UV/RB分量的NMSB_COLOR。可以統一上面公開的「具有預測模式的跳出顏色」和「從相鄰像素來預測顏色索引圖」的技術。例如，解碼器可以直接將相鄰像素量化為「從相鄰像素來預測顏色索引圖」中的跳出索引。結果，如果第一行中的像素被用信號通知為複製上述模式，則將根據跳出索引來預測像素。為了處理來自跳出索引的預測，「複製模式中的重構值的直接複製」或「用於跳出樣本預測器的複製模式中的重構值的直接複製」。換句話說，解碼器將複製NP的重建像素值到第一行中的像素。在第一行中從上面預測的像素的重建索引可以被推斷為跳出索引。本發明的一個方面涉及用於編碼「跳出」索引的顏色索引編碼。索引「跳出」被施加於其值不能映射到調色板表中的任何索引的像素。以下公開了用於顏色索引編碼的各種實施例。i.跳出的遊程在JCTVC-N0247中公開的調色板編碼方案中，首先發信「複製索引模式(copy_indexmode)」和索引「跳出」，並且隨後發信其實際像素值，以便對具有索引「跳出」的像素進行編碼。當具有索引「跳出」的像素的位置是連續地時，對具有索引「跳出」的每個像素重複該過程。例如，對於具有索引「跳出」的連續像素，可以重複對應於{「copy_indexmode」,「Escapeindex」,value}的語法集合。在一個實施例中，除了「複製索引模式」或「複製上方模式」之外，還包括用於跳出索引的新的預測模式(例如，「跳出遊程模式(Escaperunmode)」)。在發信該模式之後，發信「遊程數量(numberofrun)」和像素值，而不發信索引「跳出」。示例性處理描述如下：1)對於每個位置，發送標誌(flag)以指示在「複製上方模式」、「複製索引模式」和「跳出遊程模式」之中選擇的預測模式。2)如果使用「複製上方模式」，則在標誌之後發送「palette_run」。從當前位置開始的遊程數量的索引與沿著掃描順序的上方行中的索引相同。3)如果使用「複製索引模式」，則在標誌之後發信「palette_index」，並且隨後發信「palette_run」。對於遊程數量，索引與發信的索引相同。4)如果使用「跳出遊程模式」，則發信「palette_run」。發信遊程數量的像素值。ii.在複製上方模式中的跳出當像素處於「複製上方模式」時，像素的索引與沿著掃描方向的上方像素相同。當跳出像素或跳出索引被包括在「複製上方模式」的遊程中時，現有技術沒有定義該過程。在一個實施例中，發信「複製上方模式」的遊程是否包括跳出索引。根據本實施例的示例性處理和信令被描述如下。1)如果使用「複製上方模式」，則在模式標誌之後發信「palette_run」。從當前位置開始的遊程數量的索引與沿著掃描順序的上方行中的索引相同。2)在遊程數量之後，發送「遊程中的跳出」標誌以指示在「複製上方」像素中是否存在任何跳出像素。3)如果「遊程中的跳出」為真，則依序發信這些跳出像素的像素值。在上述示例中，導出跳出索引的數量。在另一實施例中，可在發信像素值之前明確地發信「複製上方模式」的當前集合中的「跳出」索引的數量。這種顯式發信可以替代「遊程中的跳出」標誌。iii.發信「palette_run」可在發信索引之前或之後發信「palette_run」。在現有技術中，在索引之後發信「遊程數量」。在本發明的實施例中，「palette_run」的發信順序是自適應的。例如，當「索引」存在時，在「索引」之前發信「palette_run」；或者在不存在「索引」時在預測模式之後發信「palette_run」。根據實施例的示例性處理和信令被描述如下。1)對於每個位置，首先發送標誌以指示從「複製上方模式」和「複製索引模式」中選擇的預測模式。2)發送「palette_run」。3)當使用「複製上方模式」時，從當前位置開始的遊程數量的索引與沿著掃描順序的上方行中的索引相同。4)當使用「複製索引模式」時，在標誌之後發信「索引」。a.如果「索引」是「跳出」，則發信從當前位置開始的遊程數量的像素值。b.如果「索引」在調色板表中，則從當前位置開始的遊程數量的索引與發信的索引相同。上面公開的「palette_run」發信的技術可以與本發明中公開的其它技術組合。在另一實例中，在預測模式和索引之前發信「palette_run」。示例性信令和處理公開如下。1)對於每個位置，發信「palette_run」。2)在「palette_run」之後發信標誌以指示從「複製上方模式」和「複製索引模式」中選擇的預測模式。a.如果使用「複製上方模式」，則從當前位置開始的遊程數量的索引與沿著掃描順序的上方行中的索引相同。b.如果使用「複製索引模式」，則在標誌之後發信「索引」。i.如果「索引」是「跳出」，則發信從當前位置開始的遊程數量的像素值。ii.如果「索引」在調色板表中，則從當前位置開始的遊程數量的索引與發信的索引相同。上面公開的「palette_run」發信的技術可以與本發明中公開的其它技術組合。在另一實施例中，當「palette_run」等於1時，為當前位置發信索引。換句話說，不需要發信預測模式。如果索引是跳出，則在跳出索引之後發信像素值。示例性信令和處理如下所示。1)對於每個位置，發信「palette_run」。2)如果「palette_run」等於1，則發信「索引」。此外，如果「索引」是「跳出」，則發信像素值。3)否則(即，「palette_run」大於1)在「palette_run」之後發信標誌以指示在「複製上方模式」和「複製索引模式」之間選擇的預測模式。a.如果使用「複製上方模式」，則從當前位置開始的遊程數量的索引與沿著掃描順序的上方行中的索引相同。b.如果使用「複製索引模式」，則在標誌之後發信「索引」。i.如果「索引」是「跳出」，則發送從當前位置開始的遊程數量的像素值。ii.如果「索引」在調色板表中，則從當前位置開始的遊程數量的索引與發信的索引相同。上面公開的「palette_run」發信的技術可以與本發明中公開的其它技術組合。iv.發信「跳出」的像素值當發信對應於「跳出」索引的像素值時，可直接發信實際值。代替直接發信樣本值，也可以發信實際值和參考值之間的差異(即，差分編碼)。在現有技術中，差分編碼的參考值是基於同一編碼單元中已經重構的跳出值。在本發明的一些實施例中，也可以使用其他參考值。例如，可以直接發信或導出參考值。在另一示例中，參考值可以是調色板預測值表中的第N個索引，其中發信索引N和值差(valuedifference)。在又一示例中，參考值可以是來自相鄰塊的重構值。參考值可以重構常規的幀內/幀間(Intra/Inter)、調色板值或跳出值。參考值可以是連續「跳出」像素中的最小像素值。此外，參考值可以是連續的「跳出」像素中的第N個值。N.用於轉換複製預測的希爾伯特索引掃描在轉換複製(Transitioncopy，TC)預測中，發送或導出值「palette_run」(例如，N)，以指示對於當前像素和後續的N個像素，調色板索引等於導出的轉換複製表(transition-copy-table-derived，導出的TCT)索引。N可以是1。在解碼期間，解碼器維持轉換複製表(TCT)以重新編碼先前的K個解碼索引與後續的N個索引之間的關係。然後，在解碼新的N個索引之前，解碼器使用先前的K個解碼索引來搜索後續的N個索引的預測模式(predictionpattern)。發送或導出N和K。對於轉換複製，根據遍歷該塊的掃描模式來處理塊中的顏色索引。根據本發明的實施例，使用希爾伯特掃描順序來掃描索引圖。然後對從希爾伯特掃描得到的遊程長度進行編碼。可以為希爾伯特掃描更改開始位置。索引圖可以先旋轉然後掃描。掃描模式可以用於不同的調色板相關編碼，諸如在JCTVC-R0348中公開的那些。O.移除冗餘預測模式語法如果預測模式是冗餘的，則本發明的一個實施例移除預測模式語法。例如，如果上方像素是跳出像素，則可以移除複製上方模式，並且可以將預測模式推斷為複製索引模式。在另一示例中，如果最後的(last)預測模式是複製索引模式，則上方像素不是跳出像素，並且上方像素和先前像素的索引相同，則可以移除複製上方模式。預測模式可以被推斷為複製索引模式。在又一示例中，如果最後的預測模式是複製索引模式並且上方的像素和先前像素的索引相同，則可以移除複製上方模式。預測模式可以被推斷為複製索引模式。在又一示例中，如果上方像素是跳出像素，或者如果最後的預測模式是複製索引模式並且上方的像素和先前像素的索引相同，則可以移除複製上方模式。預測模式可以被推斷為複製索引模式。P.細化複製上方遊程模式的預測源在調色板編碼中，當前像素的冗餘索引Irun_red可從最後的編碼預測模式導出。對於除了最後的編碼預測模式之外的預測模式，如果第一索引預測器與Irun_red相同，則第一索引預測器可以由是固定索引或導出索引的替換索引來替換。替換索引可以是0，或不等於Irun_red的最小可能的和非冗餘的索引。例如，如果Irun_red是0，則替換索引可以被設置為1；否則，替換索引可以設置為0。如果Irun_red等於跳出索引，則可以禁能索引替換方法。在SCM2.0中，如果先前預測模式是複製上方模式，則當前索引不能與上方索引相同。否則，當前索引編碼可以被合併到複製上方模式的先前遊程中。該冗餘索引值被稱為Irun_red。圖5A為與複製上方模式相關的冗餘的示例，其中當前樣本被表示為「？」並且上方索引是「A」。當前索引不能是「A」，對於編碼當前索引，索引A是冗餘的。因此，在這種情況下，如果使用其他預測模式，則公開預測源的細化。例如，如果預測模式是複製右上方，則右上方像素的索引不能為A。它可以由對應於固定索引或導出索引的替換索引來替代，諸如索引C，如圖5B所示，其中「C」可以是0，或不等於Irun_red的最小可能和非冗餘的索引。例如，如果Irun_red是0，則索引C可以被設置為1；否則，索引C可以設置為0。在另一實施例中，如果先前預測模式是複製索引模式，則當前索引不能與左側索引相同。否則，當前索引編碼將被合併到複製索引模式的先前遊程中。該冗餘索引值被稱為Irun_red。圖6A為與複製上方模式相關的冗餘的示例，其中當前樣本被表示為「？」並且上方索引是「A」。然而，如果當前待編碼索引(currentto-be-encodeindex)的上方索引等於Irun_red，則當前索引的複製上方預測是冗餘的。因此，在這種情況下，如果使用複製上方模式，則替換上方索引的索引預測器。如果當前待編碼索引的上方索引等於Irun_red，例如，圖6A中的索引A，解碼器可以通過對應於固定索引或導出索引(例如圖6B中的索引C)的替換索引來替換複製上方模式的上方索引的索引預測器。索引C可以是0，或不等於Irun_red的最小可能的和非冗餘的索引。例如，如果Irun_red是0，則索引C可以被設置為1；否則，索引C可以設置為0。在根據實施例的另一示例中，Irun_red可以是任何預測模式的冗餘索引，諸如複製上方2行模式的上方2行的索引。如果最後的編碼模式是複製索引模式並且先前編碼的索引與Irun_red相同，則預測模式的Irun_red(例如，複製上方2行模式的上方2行的索引)可以被替換為導出索引。在根據實施例的另一示例中，如果複製上方模式是可以選擇的編碼模式之一，則即使複製索引模式的遊程遠大於複製上方模式的遊程，複製模式也被設置為複製上方模式。如果預測器被替換索引替代，則可以修改複製索引模式的索引編碼。可以移除兩個冗餘索引(即，Irun_red和替換索引)。例如，如果最後的編碼模式是複製索引模式，上方索引與先前索引相同，並且上方索引不是跳出索引，則當前像素的複製索引模式的索引編碼中可以移除兩個索引。兩個索引之一是先前索引，另一個是替換索引。在根據實施例的又一示例中，如果最後的編碼模式是複製索引模式，上方索引與先前索引相同，最大可能的索引大於2，並且上方索引不是跳出索引，則當前像素的複製索引模式的索引編碼中可以移除兩個索引。兩個索引之一是先前索引，另一個是替換索引。在根據實施例的又一示例中，如果最後的編碼模式是複製索引模式，上方索引與先前索引相同，並且最大可能的索引大於2，則當前像素的複製索引模式的索引編碼中可以移除兩個索引。兩個索引之一是先前索引，另一個是替換索引。根據本發明的實施例檢查一個或多個索引冗餘。該技術還可以應用於如本發明中先前公開的轉換複製細化處理。因此，當基於索引冗餘細化轉換複製預測器時，解碼器還可以考慮通過如上所公開的技術檢查的附加冗餘。Q.來自相鄰像素的顏色索引圖編碼的冗餘索引移除如先前在本發明中所討論的，索引冗餘存在於SCM2.0中。如果先前遊程是複製上方遊程，則當它由新的複製左側遊程來編碼時，當前索引不能與當前索引的上方索引相同。否則，當前索引編碼可以被合併到先前遊程中。另一方面，在SCM2.0中，在第一行中沒有複製上方遊程。因此，解碼器不對第一行中的複製上方遊程執行這種冗餘索引檢查。根據另一實施例，冗餘索引移除也被應用於第一行。根據相鄰像素修改冗餘索引移除處理。當編碼第一行中的像素時，編碼器可以檢查：先前遊程是否是複製上方遊程。當由新的複製左側遊程來編碼時，當前索引不能與當前索引的上方相鄰像素的索引相同。在這種情況下，Irun_red等於當前索引的上方相鄰像素的索引。為了提高解析吞吐量，解碼器只能解析在解析階段中的編碼索引值(即，移除Irun_red)，並在重構階段中重構真實調色板索引(即，添加Irun_red)。因此，從相鄰像素到顏色索引的量化處理可以被移動到重構階段，以提高解析吞吐量。以上的描述是使本領域的技術人員在本文提供的特定應用和需求下能夠實踐本發明。本領域的技術人員將容易地觀察到，在不例外本發明的精神和範圍內，可以進行多種修改和變動。因此，本發明並非限定在所示和描述的特定的實施例上，而本發明公開是為了符合原則和新穎性的最廣泛的範圍。在上述詳細的描述中，各種具體的細節，用以提供對本發明的透徹的了解。儘管如此，將被本領域的技術人員理解的是，本發明能夠被實踐。如上述所述的本發明的實施例，可以使用硬體、軟體或其組合來實現。例如，本發明的一實施例可以是集成到視頻壓縮晶片中的電路或集成到視頻壓縮軟體中的程序代碼，以執行所描述的處理。本發明的實施例也可以是將在數位訊號處理器上執行的程序代碼來執行所描述的處理。本發明還涉及一系列的由計算機處理器、數位訊號處理器、微處理器和現場可編程門陣列(FPGA)執行的功能。根據本發明，這些處理器可以被配置為執行特定任務，通過執行定義特定方法的計算機可讀軟體代碼或固件代碼來實現。軟體代碼或固件代碼可以用不同的程式語言和不同的格式或樣式來開發。軟體代碼也可以為不同的目標平臺所編譯。然而，軟體代碼的不同的代碼格式、風格和語言，以及配置代碼的其他方式以執行任務，均不例外本發明之精神和範圍。本發明可以以其它具體形式實施而不背離其精神或本質特徵。所描述的實施例在所有方面都僅是說明性的而不是限制性。本發明的範圍因此由所附權利要求為準而不是由前面的描述所界定。因此，各種修改、改編以及所描述的實施例的各種特徵的組合可以在不例外本發明的範圍如權利要求書中闡述的情況下實施。當前第1頁1 2 3 當前第1頁1 2 3