用於空間預測的系統和方法
2023-06-13 02:38:46 2
用於空間預測的系統和方法
【專利摘要】公開了涉及基於與模式有關的二次採樣的視頻信號的內部預測的系統、方法和裝置。可以接收與視頻塊的第一子塊相關聯的塊係數、與所述視頻塊的一個或多個剩餘子塊相關聯的一個或多個塊係數、以及對所述視頻塊的預測模式的指示。一個或多個內插技術、預測的第一子塊、以及一個或多個剩餘子塊的預測的子塊可以被確定。重建的第一子塊和一個或多個重建的剩餘子塊可以被生成。重建的視頻塊可以基於所述預測模式、所述重建的第一子塊、以及所述一個或多個重建的剩餘子塊而被形成。
【專利說明】用於空間預測的系統和方法
[0001]相關申請的交叉引用
[0002]本申請要求享有2011年9月15日提交的美國臨時專利申請N0.61/535，043的權益，該申請的內容通過引用在此合併到本文。
【背景技術】
[0003]數字視頻能力可以被引入到各種不同的設備中，這些設備包括但不限於數位電視、數字直接廣播系統、無線廣播系統、個人數字助理(PDA)、膝上型計算機或桌上型計算機、數位相機、數字錄音設備、視頻遊戲設備、視頻遊戲控制臺(console)、蜂窩或衛星無線電電話等等。數字視頻設備可以實施視頻壓縮技術，例如在由MPEG-2、MPEG-4、ITU-T H.263或ITU-TH.264/MPEG-4、第10部分、高級視頻編碼(AVC)定義的標準、以及這些標準的擴展中所描述的那些，以更加有效地傳送和接收數字視頻信息。
[0004]視頻壓縮技術可以執行空間預測和/或時間預測來降低或移除在視頻序列中固有的冗餘。針對基於塊的視頻編碼，視頻幀或切片可以被分成塊。每個塊可以進一步被分害I]。根據各種編碼技術，內編碼(intra-coded)的(I)幀或切片中的塊可以使用對於鄰近塊的空間預測來被編碼。之間編碼(inter-coded)的(P或B)巾貞或切片中的塊可以使用對於在相同的幀或切片中的鄰近塊的空間預測或對於在其他參考幀中的塊的時間預測。
【發明內容】
[0005]公開了涉及基於與模式有關的二次採樣(subsample)的視頻信號的內部預測的系統、方法以及裝置。處理器可以接收與視頻塊的第一子塊相關聯的塊係數、與所述視頻塊的一個或多個剩餘子塊相關聯的一個或多個塊係數、以及針對所述視頻塊的預測模式的指示。所述處理器可以基於所述預測模式確定一個或多個內插(interpolate)技術，以及基於所述預測模式、使用內部預測來確定預測的第一子塊。所述處理器可以添加所述預測的第一子塊以生成重建的第一子塊。所述處理器可以基於所述視頻塊的所述一個或多個內插技術來確定所述一個或多個剩餘子塊的所述預測的子塊。所述處理器可以添加所述一個或多個剩餘子塊的所述預測的子塊以生成一個或多個重建的剩餘子塊。所述處理器可以基於所述預測模式、所述重建的第一子塊、以及所述一個或多個重建的剩餘子塊來形成重建的視頻塊。所述視頻塊可以是視頻信號的亮度分量或色度分量。
[0006]所述重建的第一子塊通過使用第一組反量化和反變換參數來對與第一子塊相關聯的係數進行反量化和反變換而生成。所述第一組反變換和反量化參數可以與形狀自適應(shape-adaptive)離散餘弦變換相關聯。對與所述預測的第一子塊相關聯的係數進行反變換可以包括非方形變換。
[0007]所述一個或多個重建的剩餘子塊可以通過使用第二組反量化和反變換參數來對與所述一個或多個剩餘子塊相關聯的係數進行反量化和反變換而生成。所述第二組反變換和反量化參數與形狀自適應離散餘弦變換相關聯。對與所述一個或多個剩餘子塊相關聯的係數進行反變換可以包括非方形變換。所述第一組反量化和反變換參數可以與所述第二組反量化和反變換參數相同或不同。
[0008]所述一個或多個重建的剩餘子塊的第一部分可以被生成，並且在生成所述一個或多個重建的剩餘子塊的第一部分之後，至少部分地基於所生成的第一部分來生成所述一個或多個重建的剩餘子塊的第二部分。
[0009]視頻塊和預測模式可以被接收。視頻塊可以基於所述預測模式被二次採樣，以生成第一子塊和包括遺漏像素的一個或多個子塊。預測的第一子塊可以基於所述預測模式、使用內部預測被確定。第一子塊可以被重建以生成重建的第一子塊。所述預測模式和所述重建的第一子塊可以被內插以獲得包括遺漏像素的預測的一個或多個子塊。包括遺漏像素的一個或多個子塊可以被重建以生成重建的一個或多個子塊。重建的視頻塊可以基於所述重建的第一子塊、所述包括遺漏像素的重建的一個或多個子塊、以及所述預測模式而被形成。所述視頻塊可以是視頻信號的亮度分量或色度分量。
[0010]所述第一子塊可以基於第一組變換和量化參數來被重建以生成重建的第一子塊，以及所述包括遺漏像素的一個或多個子塊可以基於第二組變換和量化參數來被重建以生成重建的一個或多個子塊。所述第一組變換和量化參數可以與所述第二組變換和量化參數相同或不同。
[0011]包括遺漏像素的一個或多個子塊的第一部分可以基於所述第二組變換和量化參數來被重建，以及在重建所述包括遺漏像素的一個或多個子塊的第一部分之後，至少部分地基於所重建的第一部分來重建所述包括遺漏像素的一個或多個子塊的第二部分。對所述包括遺漏像素的一個或多個子塊的第二部分的重建可以使用第三組變換和量化參數，並且所述第三組變換和量化參數可以與所述第一組變換和量化參數或所述第二組變換和量化參數相同。
【專利附圖】
【附圖說明】
[0012]圖1是示出了基於塊的視頻編碼系統的示例的框圖。
[0013]圖2是示出了基於塊的視頻解碼器系統的示例的框圖。
[0014]圖3是示出了所支持的預測模式的示例的圖示。
[0015]圖4是示出了 4x4的塊的水平預測的示例的圖示。
[0016]圖5是示出了 34個定向內部預測模式的示例的圖示。
[0017]圖6是示出了非定向內部預測模式的示例的圖示。
[0018]圖7是示出了在32x32的塊上的短距離內部預測的示例的圖示。
[0019]圖8是示出了實施與模式有關的二次採樣內部預測(MDS-1P)的編碼器的示例的框圖。
[0020]圖9 (A)是示出了水平預測模式的示例的圖示。
[0021]圖9 (B)-9 (D)是示出了水平預測模式內插和預測過程的示例的圖示。
[0022]圖10 (A) -10 (C)是示出了垂直預測模式內插和預測過程的示例的圖示。
[0023]圖11 (A)是示出了對角預測模式的示例的圖示。
[0024]圖11 (B) -11 (D)是示出了對角預測模式內插和預測過程的示例的圖示。
[0025]圖12 (A) -12 (D)是示出了對角預測模式內插和預測過程的示例的圖示。
[0026]圖13 (A) -13 (D)是示出了對角預測模式內插和預測過程的示例的圖示。[0027]圖14 (A) -14 (D)是示出了對角預測模式內插和預測過程的示例的圖示。
[0028]圖15 (A) -15 (C)是示出了對角預測模式內插和預測過程的示例的圖示。
[0029]圖16 (A)是示出了非定向預測模式的示例的圖示。
[0030]圖16 (B) -16 (D)是示出了非定向預測模式內插和預測過程的示例的圖示。
[0031]圖17 (A)-17 (D)是示出了非定向預測模式內插和預測過程的示例的圖示。
[0032]圖18是示出了通信系統的示例的圖示。
[0033]圖19A是可以在其中實施所公開的一個或多個實施方式的示例通信系統的系統圖示。
[0034]圖19B是可以在圖19A所示的通信系統內使用的示例無線發射/接收單元(WTRU)的系統圖不。
[0035]圖19C、19D和19E是可以在圖19A所示的通信系統內使用的示例無線電接入網以及示例核心網的系統圖示。
[0036]圖20是示出了實施與模式有關的二次採樣內部預測(MDS-1P)的解碼器的示例的框圖。
【具體實施方式】
[0037]視頻編碼系統可以用於壓縮數字視頻信號，以減少該信號的存儲空間和/或傳輸帶寬。各種類型的視頻編碼系統(例如，但不限於基於塊的、基於小波的、基於對象的系統)可以被部署。基於塊的視頻編碼系統的示例包括但不限於MPEG1/2/4部分2、H.264/MPEG-4部分10AVC以及VC-1標準。
[0038]圖1是示出了基於塊的視頻編碼系統100的示例的框圖。輸入視頻信號102可以逐塊被處理。例如，視頻塊單元可以是16像素X 16像素的(例如，宏塊(MB))。視頻編碼標準(例如高性能視頻編碼(HEVC))可以被使用。在HEVC中，擴展的塊尺寸(例如，其可以被稱為「編碼單元」或CU)可以用於壓縮高解析度(例如，IOSOp及更高)的視頻信號。例如，在HEVC中的⑶可以多達64X 64像素，以及低至4X 4像素。⑶可以被分割成預測單元(PU)，以便可以針對該PU應用獨立的預測實施。每個輸入視頻塊(例如，MB、⑶、PU等)可以通過使用空間預測單元160和/或時間預測單元162被處理。
[0039]空間預測(或內部預測)可以使用來自在相同視頻圖像/切片中的編碼的鄰近塊的像素來預測當前的視頻塊。空間預測可以減少視頻信號中固有的空間冗餘。時間預測(或之間預測或運動補償預測)可以使用來自已經被編碼的視頻圖像的像素來預測當前的視頻塊。時間預測可以減少視頻信號中固有的時間冗餘。對於給定的視頻塊的時間預測可以由一個或多個運動矢量(MV)用信號發送，該運動矢量可以指示在當前塊與一個或多個其參考塊之間的運動量和/或運動方向。
[0040]如果多個參考圖像被支持(如，可以像H.264/AVC和HEVC的情況)，則針對每個視頻塊，其參考圖像索引可以被發送。參考索引可以用於標識時間預測信號是來自在參考圖像存儲164中的哪個參考圖像。在空間和/或時間預測之後，在編碼器中的模式決定和編碼器控制器180可以選擇預測模式。預測模式可以例如基於速率失真優化實施而被選擇。預測塊可以在加法器116處被從當前的視頻塊中減去。預測殘差(prediction residual)可以由變換單元104進行變換和由量化單元106進行量化。量化的殘差係數可以在反量化單元Iio被反量化，以及在反變換單元112被反變換，以形成重建的殘差。重建的塊可以在加法器126處被加回到預測塊，以形成重建的視頻塊。進一步地，環路(in-loop)濾波(例如但不限於解塊濾波器和/或自適應迴路濾波器166)可以在所述重建的視頻塊被輸入到參考圖像存儲164和/或被用於對之後的視頻塊進行編碼之前被應用到重建的視頻塊。為了形成輸出視頻比特流120，編碼模式(如，之間或內部)信息、預測模式信息、運動信息、和/或量化的殘差係數可以被發送到熵編碼單元108以被壓縮和被分組來形成比特流120。例如，這裡描述的實施方式至少部分地可以在空間預測單元160內被實施。
[0041]圖2是示出了基於塊的視頻解碼器200的示例的框圖。視頻比特流202可以在熵解碼單元208處被還原(unpack)和熵解碼。編碼模式和預測信息可以被發送到空間預測單元260 (例如，如果是內部編碼)或時間預測單元262 (例如，如果是之間編碼)來形成預測塊。殘差變換係數可以被發送到反量化單元210和反變換單元212，以重建殘差塊。預測塊和殘差塊可以在226處被加在一起。重建的塊可以在其被存儲在參考圖像存儲264中之前通過環路濾波單元266。例如，重建的視頻220可以被發出，以驅動顯示設備和/或用來預測之後的視頻塊。
[0042]這裡描述的實施方式可應用到空間預測單元160和260。這裡所描述的空間預測實施方式(如，單元)可以結合視頻編碼標準(如，H.264/AVC、HEVC等)使用。術語「空間預測」和「內部預測」在這裡可以被交替使用。
[0043]空間預測可以在視頻塊上或在各種尺寸和形狀的區域上被執行。例如，針對視頻信號的亮度分量的空間預測，4X 4、8 X 8和16 X 16像素的塊尺寸可以被利用(如，在H.264/AVC中)，以及針對視頻信號的色度分量，8X8像素的塊尺寸可以被利用(如，在H.264/AVC中)。對於大小為4X4或8X8的亮度塊，共9個預測模式可以被支持(如，8個定向預測模式和DC模式)。(如，在H.264/AVC中)可被支持的8個預測方向如圖3所示。圖3是示出了可以被支持的預測模式的示例的圖示。對於大小為16X16的亮度塊，共4個預測模式可以被支持(如，水平預測模式、垂直預測模式、DC預測模式和平面預測模式)。圖4是示出了針對4X4的塊的水平預測的示例的圖示。在圖4中，重建的像素402 (P0、P1、P2和P3)可以用於預測在該4X4的視頻塊中的像素404。預測可以根據等式(I)被執行:
[0044]L (X，O) =PO
[0045]L (X，1)=P1 等式(I)
[0046]L (X，2) =P2
[0047]L (X，3) =P3
[0048]其中，L(x，y)可以是在(x，y)處將被預測的像素，其中x，y=0…3。
[0049]使用更大的塊尺寸的空間預測可以被支持(如，在HEVC測試模型HM3.0中)。例如，空間預測可以在4X 4、8 X 8、16 X 16、32 X 32或64X 64的平方塊大小上被執行。額外的內部預測模式可以被支持，例如，多達33個定向內部預測模式可以與DC預測模式和平面預測模式一起被支持。圖5是示出了 34個定向預測模式(包括DC預測模式和平面預測模式)(如，在HM3.0中)的示例的圖示。表1示出了針對每個塊大小(如，在HM3.0中)可以被支持的預測方向的數量的示例。定向內部預測可以以1/32的像素精度被執行(例如，在HEVC中)。[0050]表1[0051]
【權利要求】
1.一種視頻解碼方法，該方法包括: 接收與視頻塊的第一子塊相關聯的塊係數； 接收與所述視頻塊的一個或多個剩餘子塊相關聯的一個或多個塊係數； 接收對所述視頻塊的預測模式的指示； 基於所述預測模式來確定一個或多個內插技術； 基於所述預測模式使用內部預測來確定預測的第一子塊； 將所述預測的第一子塊添加到與所述第一子塊相對應的重建的殘差，以生成重建的第一子塊; 基於用於所述視頻塊的一個或多個內插技術來確定所述一個或多個剩餘子塊的預測的子塊； 將所述一個或多個剩餘子塊的預測的子塊添加到與所述一個或多個剩餘子塊相對應的重建的殘差，以生成一個或多個重建的剩餘子塊；以及 基於所述預測模式、所述重建的第一子塊、以及所述一個或多個重建的剩餘子塊來形成重建的視頻塊。
2.根據權利要求1所述的方法，其中所述第一子塊的所述重建的殘差通過使用第一組反量化和反變換參數對與所述第一子塊相關聯的係數進行反量化和反變換而生成。
3.根據權利要求2所述的方法，其中所述第一組反量化和反變換參數與形狀自適應離散餘弦變換相關聯。`
4.根據權利要求2所述的方法，其中對與所述預測的第一子塊相關聯的係數進行反變換包括非方形變換。
5.根據權利要求2所述的方法，其中所述一個或多個重建的剩餘子塊通過使用第二組反量化和反變換參數對與所述一個或多個剩餘子塊相關聯的係數進行反量化和反變換而生成。
6.根據權利要求5所述的方法，其中所述第二組反量化和反變換參數與形狀自適應離散餘弦變換相關聯。
7.根據權利要求5所述的方法，其中所述第一組反量化和反變換參數與所述第二組反量化和反變換參數相同。
8.根據權利要求5所述的方法，其中所述第一組反量化和反變換參數與所述第二組反量化和反變換參數不同。
9.根據權利要求1所述的方法，其中所述視頻塊是視頻信號的亮度分量或色度分量。
10.根據權利要求1所述的方法，其中生成一個或多個重建的剩餘子塊包括: 生成所述一個或多個重建的剩餘子塊的第一部分；以及 在生成所述一個或多個重建的剩餘子塊的所述第一部分之後，至少部分地基於所生成的第一部分來生成所述一個或多個重建的剩餘子塊的第二部分。
11.根據權利要求10所述的方法，其中至少部分地基於所生成的第一部分來生成包括遺漏像素的所述一個或多個重建的剩餘子塊的所述第二部分包括第三組反量化和反變換參數。
12.根據權利要求11所述的方法，其中所述第三組反量化和反變換參數與所述第一組反量化和反變換參數或所述第二組反量化和反變換參數相同。
13.—種方法,該方法包括: 接收視頻塊； 接收預測模式； 基於所述預測模式對所述視頻塊進行二次採樣，以生成第一子塊和包括遺漏像素的一個或多個子塊； 基於所述預測模式使用內部預測來確定預測的第一子塊； 重建所述第一子塊以生成重建的第一子塊； 基於所述預測模式和所述重建的第一子塊進行內插，以獲得包括遺漏像素的預測的一個或多個子塊； 重建包括遺漏像素的所述一個或多個子塊，以生成包括遺漏像素的重建的一個或多個子塊；以及 基於所述重建的第一子塊、所述包括遺漏像素的重建的一個或多個子塊、以及所述預測模式來形成重建的視頻塊。
14.根據權利要求13所述的方法，其中重建所述第一子塊以生成所述重建的第一子塊是基於第一組變換和量化參數的，以及其中重建所述包括遺漏像素的一個或多個子塊以生成所述重建的一個或多個子塊是基於第二組變換和量化參數的。
15.根據權利要求14所述的方法，其中所述第一組變換和量化參數與所述第二組變換和量化參數相同。
16.根據權利要求14所述的方法，其中所述第一組變換和量化參數與所述第二組變換和量化參數不同。
17.根據權利要求14所述的方法，其中基於所述第二組變換和量化參數來重建所述包括遺漏像素的一個或多個子塊以生成所述重建的一個或多個子塊包括: 基於所述第二組變換和量化參數來重建所述包括遺漏像素的一個或多個子塊的第一部分；以及 在重建所述包括遺漏像素的一個或多個子塊的所述第一部分之後，至少部分地基於所重建的第一部分來重建所述包括遺漏像素的一個或多個子塊的第二部分。
18.根據權利要求17所述的方法，其中至少部分地基於所重建的第一部分來重建所述包括遺漏像素的一個或多個子塊的所述第二部分包括第三組變換和量化參數。
19.根據權利要求18所述的方法，其中所述第三組變換和量化參數與所述第一組變換和量化參數或所述第二組變換和量化參數相同。
20.根據權利要求13所述的方法，其中所述視頻塊是視頻信號的亮度分量或色度分量。
21.一種視頻解碼方法，該方法包括: 接收一個或多個編碼的視頻塊； 將所述一個或多個編碼的視頻塊分成第一子塊和一個或多個剩餘子塊； 生成重建的第一子塊和一個或多個重建的剩餘子塊；以及 基於所述預測模式、所述重建的第一子塊、以及所述一個或多個重建的剩餘子塊來形成重建的視頻塊。
22.根據權利要求21所述的方法，其中所述重建的第一子塊通過將預測的第一子塊添加到與所述第一子塊相對應的重建的殘差而生成。
23.根據權利要求22所述的方法，其中所述一個或多個重建的剩餘子塊通過將所述一個或多個剩餘子塊的預測的子塊添加到與所述一個或多個剩餘子塊相對應的重建的殘差而生成。
24.根據權利要求23所述的方法，其中基於預測模式、使用內部預測來確定所述預測的第一子塊，以及基於一個或多個內插技術來確定所述一個或多個剩餘子塊的所述預測的子塊，所述一個或多個內插技術是基於所述預測模式的。
【文檔編號】H04N19/11GK103797792SQ201280045213
【公開日】2014年5月14日 申請日期:2012年9月14日 優先權日:2011年9月15日
【發明者】葉琰, 陳倩, 董潔 申請人:Vid拓展公司