視頻編碼設備、視頻解碼設備、視頻壓縮傳輸系統、視頻編碼方法、視頻解碼方法和程序與流程
2023-07-02 05:49:46 1
本發明涉及視頻編碼設備、視頻解碼設備、視頻壓縮傳輸系統、視頻編碼方法、視頻解碼方法和程序。
背景技術:
使用幀內預測(intra-frame prediction)、幀間預測(inter-frame prediction)和殘差轉換的視頻編碼方法已經被提出(例如,見非專利參考文獻1)。
一方面,將給出對應於前述視頻編碼方法的根據傳統示例的視頻編碼設備的說明。首先,根據傳統示例的視頻編碼設備將輸入圖像劃分為多個子塊。接下來,以劃分的子塊為單位通過轉換與量化從輸入圖像和幀間預測圖像或幀內預測圖像中得到的誤差(殘差)信號,獲得量化係數水平。然後,通過對獲得的量化係數水平和邊信息(例如重建像素值所必須的預測模式或運動向量的相關信息)一起進行熵編碼獲得比特流。
另一方面,對應於前述視頻編碼方法的根據傳統示例的視頻解碼設備通過與在根據傳統示例的前述視頻編碼設備中實施的過程相反的過程來從比特流中獲取輸出圖像。具體地,通過反向量化和反向轉換從比特流中得到的量化係數水平以生成殘差信號,將生成的殘差信號與幀內預測或幀間預測的圖像進行組合獲得未濾波的局部解碼圖像。該未濾波的局部解碼圖像用於幀內預測。此外,通過對未濾波的局部解碼圖像進行迴路濾波(例如去子塊濾波)獲得濾波後的局部解碼圖像並在幀緩衝區中累積。這些濾波後的局部解碼圖像用於進行幀間預測。應理解,從比特流中獲取邊信息和量化係數水平的過程稱為解析過程,利用這些邊信息和量化係數水平重建像素值的過程稱為解碼過程。
對根據傳統示例的前述視頻編碼設備和視頻解碼設備執行的根據傳統示例的幀內預測進行了說明。在根據傳統示例的幀內預測中,關於亮度和色度生成幀內參考像素和幀內預測像素。
在生成亮度的幀內參考像素時,首先,將在目標子塊m之前被解碼的子塊i的從局部解碼緩存中輸出的亮度局部解碼像素作為輸入(i<m),通過驗證參考可行性來確認與參考像素位置相應的像素的解碼狀態,如果參考不可行,則進行填充處理,其中採用從其餘位置複製的方式來獲得參考像素。然後,採用三階濾波器對獲得的參考像素進行平滑處理,輸出亮度幀內參考像素。色度與亮度的情況類似,先生成幀內參考像素,然後輸出色度的幀內參考像素。
例如,在生成亮度的幀內預測像素時,按照非特定的預測模式進行水平的、豎直的、直流的(DC)、平面的或定向的預測並輸出亮度幀內預測像素。色度與亮度的情況類似,先生成幀內預測像素,然後輸出色度的幀內預測像素。
應理解, 當解析過程完成時,亮度和色度的解碼處理可以獨立進行。
關於HEVC第2版本, 已經對格式範圍擴展RExt進行了研究以支持更多的顏色格式,例如YUV 4:2:2、YUV 4:4:4和RGB 4:4:4。同時也研究了提高4:4:4顏色格式的編碼效率的方法, 因為在4:4:4顏色格式中,和U/V和B/R一樣,色度分量的像素數是在4:2:0顏色格式中的4倍。
另一方面,關於HEVC第3版本,已經有了專用於除了相機捕獲的圖像以外的屏幕內容的編碼和解碼方法的研究,例如,PC屏幕和電腦圖形(例如,見非專利文獻2)。在非專利文獻2中描述了編碼效率得到提高的亮度/色度預測,因為通過將亮度重建信號作為參考信號對色度信號進行了線性預測。在亮度/色度預測中,接收亮度信號的重建信號和色度信號的局部解碼的信號並作為輸入,然後通過幀內預測模式之一的線性預測輸出色度預測信號。
前述的線性預測可以通過如下的數學表達式(1)實現。
【數學表達式1】
Predc[x,y]=α×RecL[x,y]+β…(1)
在數學表達式(1)中,Predc表示色度子塊的預測信號,RecL表示亮度信號的重建信號, α和β表示預測係數。假設M(X)定義為平均向量X,R(A,B)定義為如下數學表達式(2)所示,則預測係數α和β可以通過如下數學表達式(3)和(4)分別計算得到。
【數學表達式2】
R(A,B)=M((A-M(A))×(B-M(B)))…(2)
【數學表達式3】
【數學表達式4】
β=M(PC)-α×M(PR)…(4)
引文列表
非專利文獻
非專利文獻1:JCTVC-R1013_v2,起草了高效視頻編碼HEVC第2版本,包括格式範圍擴展RExt,可擴展性SHVC以及多視點(MV-HEVC)擴展(JCTVC-R1013_v2,Draft high efficiency video coding(HEVC)version 2,combined format range extensions(RExt),scalability(SHVC),and multi-view(MV-HEVC)extensions.)。
非專利文獻2:JCTVC-R0072,SCCE5 3.1.2:擴展的分量間預測(JCTVC-Q0036)(JCTVC-R0072,SCCE5 3.1.2:Extended inter-component prediction(JCTVC-Q0036).)。
技術實現要素:
技術問題
圖21顯示了基於前述的根據傳統實施例的線性預測的亮度/色度預測所必須的參考像素。色度信號需要與預測目標子塊P0的左邊相鄰的幀內預測參考像素P5、與預測目標子塊P0的左邊相鄰且在預測目標子塊P0之上的幀內預測參考像素P6及與預測目標子塊P0的上面相鄰的幀內預測參考像素P7。另一方面,亮度信號需要與預測目標子塊相對應的且應用在亮度信號的亮度/色度預測中的參考子塊P1、與參考子塊P1的左側相鄰的幀內預測參考像素P2、與參考子塊P1的左上相鄰的幀內預測參考像素P3及與參考子塊P1的上側相鄰的幀內預測參考像素P4。
因此,在基於前述的根據傳統實施例的線性預測的亮度/色度預測中,亮度信號的參考子塊P1對於色度信號的預測目標子塊P0的預測而言是必須的。基於這個原因,為了預測色度子塊m,必須要完成亮度子塊m的局部解碼(重建),這就提出了一個問題:由於處理時序的原因,降低了硬體安裝的自由度。
為解決上述問題,本發明旨在降低基於線性預測的幀內預測中的處理時序限制。
問題的解決方案
為解決上述問題,本發明提出了如下內容。
(1)本發明提出了一種視頻編碼設備(例如,相當於圖1中的視頻編碼設備1),所述視頻編碼設備編碼具有多個顏色分量的視頻,所述視頻編碼設備包括:用於利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測的線性預測裝置(例如,相當於圖3中的預測係數推導單元2211和通道間參考像素生成單元2212),所述參考像素使用於在多個顏色分量中的除了目標顏色分量之外的顏色分量(例如,後面描述的亮度分量)的幀內預測中;以及利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行幀內預測的幀內預測裝置(例如,相當於圖3中的幀內預測像素生成單元223),通過線性預測裝置進行的線性預測而獲得所述預測目標顏色分量的參考像素。
根據上述的發明,所述線性預測裝置利用參考像素對預測目標顏色分量的參考像素進行線性預測,所述參考像素使用於在多個顏色分量中的除了目標顏色分量之外的顏色分量的幀內預測中。進一步地,所述幀內預測裝置利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行幀內預測,通過線性預測裝置進行的線性預測而獲得所述預測目標顏色分量。因此,提供了一種子塊,所述子塊從屬於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量且對應於預測目標子塊而作為特定子塊,特定子塊相對於預測目標子塊在基於線性預測的幀內預測進行中不是必須的。由於這個原因,相對於預測目標子塊在基於線性預測的幀內預測進行中,所述特定子塊的局部解碼(重建)不需要全部完成。結果,基於線性預測的幀內預測中的處理時序的限制可得到降低。
(2)在(1)中描述的視頻編碼設備中,本發明提供了一種子塊,所述子塊從屬於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量且對應於預測目標子塊(例如相當於圖6中的預測目標子塊P0)而作為特定子塊(例如相當於圖6中的參考子塊P1),線性預測裝置對下述像素進行線性預測,所述像素包括與預測目標子塊的左邊相鄰的像素(例如,其相當於圖6中的參考像素P5)、相鄰於所述預測目標子塊的左上的像素(例如,相當於圖6中的參考像素P6)以及與所述預測目標子塊的上面相鄰的像素(例如,相當於圖6中的參考像素P7),利用與所述特定子塊的左邊相鄰的像素(例如,相當於圖6中的參考像素P2)、相鄰於所述特定子塊的左上的像素(例如,相當於圖6中的參考像素P3)以及與所述特定子塊的上面相鄰的像素(例如,相當於圖6中的參考像素P4)來實現,以及幀內預測裝置利用如下的通過線性預測裝置進行的線性預測而獲得的像素進行所述預測目標子塊的幀內預測:與所述預測目標子塊的左邊相鄰的像素,與所述預測目標子塊的左上相鄰的像素,及與所述預測目標子塊的上面相鄰的像素。
根據上述的發明,在(1)中描述的視頻編碼設備中,線性預測裝置對下述像素進行線性預測,所述像素包括與預測目標子塊的左邊相鄰的像素、所述像素相鄰於所述預測目標子塊的左上的像素以及與所述預測目標子塊的上面相鄰的像素,利用與所述特定子塊的左邊相鄰的像素、相鄰於所述特定子塊的左上的像素以及與所述特定子塊的上面相鄰的像素來實現。進一步地,幀內預測裝置利用如下的通過線性預測裝置進行的線性預測而獲得的像素進行所述預測目標子塊的幀內預測:與所述預測目標子塊的左邊相鄰的像素,與所述預測目標子塊的左上相鄰的像素,及與所述預測目標子塊的上面相鄰的像素。因此,可獲得與前述提及的有益效果相似的有益效果。
(3)本發明提出了在(1)和(2)中描述的視頻編碼設備進一步包括幀內參考像素生成裝置(例如,相當於圖3中的幀內參考像素生成單元121和222),用於執行:參考可行性驗證處理,所述參考可行性驗證處理用於確認對應於參考像素位置的像素的局部解碼狀態;當參考可行性驗證處理中確定了所述參考為不可行時,用於從與參考像素位置不同的位置生成參考像素的填充處理;以及針對於所述參考像素的平滑處理。
根據上述發明,在(1)和(2)中描述的視頻編碼設備,所述幀內參考像素生成裝置執行:參考可行性驗證處理,所述參考可行性驗證處理用於確認對應於參考像素位置的像素的局部解碼狀態;當參考可行性驗證處理中確定了所述參考為不可行時,用於從與參考像素位置不同的位置生成參考像素的填充處理;以及針對於所述參考像素的平滑處理。因此,可生成幀內參考像素。
(4)在(1)至(3)中任一項描述的視頻編碼設備中,本發明提出了線性預測裝置包括預測係數推導裝置(例如,相當於圖3中的預測係數推導單元2211),所述預測係數推導裝置用於利用預測目標顏色分量的參考像素以及在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的參考像素來推導預測係數。
根據上述的發明,在(1)至(3)中任一項描述的視頻編碼設備中,預測係數推導裝置利用預測目標顏色分量的參考像素以及在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的參考像素來推導預測係數。因此,可獲得預測係數。
(5)在(1)至(3)中任一項描述的視頻編碼設備中,本發明提出了線性預測裝置包括預測係數推導裝置(例如,相當於圖8中的預測係數推導單元2211A),所述預測係數推導裝置用於從多個預設的預測係數中選取預測係數。
根據上述的發明,在(1)至(3)中任一項描述的視頻編碼設備中,預測係數推導裝置從多個預設的預測係數中選取預測係數。因此,可獲得預測係數。
(6)在(1)至(5)中任一項描述的視頻編碼設備進一步包括確定裝置(例如,相當於圖12中的確定單元2213A),所述確定裝置用於確定是否在視頻解碼設備中進行預測目標子塊的線性預測,並且作為色度幀內預測模式之一而將表明確定結果的信號發送給視頻解碼設備,其中當所述確定裝置已確定將要在視頻解碼設備中進行所述預測目標子塊的線性預測時,發送表明確定結果的信號後,使得用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同。
根據上述的發明,在(1)至(5)中任一項描述的視頻編碼設備中,確定裝置確定是否在視頻解碼設備中進行預測目標子塊的線性預測,並且作為色度幀內預測模式之一而將表明確定結果的信號發送給視頻解碼設備。進一步地,當所述確定裝置已確定將要在視頻解碼設備中進行所述預測目標子塊的線性預測時,發送表明確定結果的信號後,使得用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同。因此,是否在視頻解碼設備中進行預測目標子塊的線性預測可作為色度幀內預測模式之一而傳輸給視頻解碼設備。
(7)本發明提出了在(1)至(5)中任一項描述的視頻編碼設備進一步包括確定裝置(例如,相當於圖16中的確定單元2213B),所述確定裝置用於當用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同時,確定是否在視頻解碼設備中進行所述預測目標子塊的線性預測並且將表明確定結果的信號發送給所述視頻解碼設備。
根據上述的發明,在在(1)至(5)中任一項描述的視頻編碼設備中,當用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同時,確定裝置確定是否在視頻解碼設備中進行所述預測目標子塊的線性預測,並且將表明確定結果的信號發送給所述視頻解碼設備。因此,當用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同時,可將是否在視頻解碼設備中進行預測目標子塊的線性預測傳輸給視頻解碼設備。
(8)本發明提出了一種視頻解碼設備(例如,相當於圖1中的視頻解碼設備100),所述視頻解碼設備解碼具有多個顏色分量的視頻,所述視頻解碼設備包括:用於利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測的線性預測裝置(例如,相當於圖5中的預測係數推導單元12811和通道間參考像素生成單元12812),所述參考像素使用在多個顏色分量中的除了目標顏色分量之外的顏色分量(例如,後面描述的亮度分量)的幀內預測中;以及用於利用預測目標顏色分量的參考像素而進行預測目標顏色分量的預測目標子塊的幀內預測的幀內預測裝置(例如,相當於圖5中的幀內預測像素生成單元1283),所述預測目標顏色分量的參考像素通過線性預測裝置進行的線性預測而獲得。
根據上述的發明,線性預測裝置利用參考像素對預測目標顏色分量的參考像素進行線性預測,所述參考像素使用在多個顏色分量中的除了目標顏色分量之外的顏色分量的幀內預測中。進一步地,幀內預測裝置利用預測目標顏色分量的參考像素而進行預測目標顏色分量的預測目標子塊的幀內預測,所述預測目標顏色分量通過線性預測裝置進行的線性預測而獲得。因此,提供了一種子塊,所述子塊從屬於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量,且對應於預測目標子塊而作為特定子塊,特定子塊相對於預測目標子塊在基於線性預測的幀內預測進行中不是必須的。由於這個原因,相對於預測目標子塊在基於線性預測的幀內預測進行中,特定子塊的局部解碼(重建)不需要全部完成。結果,基於線性預測的幀內預測中的處理時序的限制可得到降低。
(9)在(8)中描述的視頻解碼設備,本發明提供了一種子塊,所述子塊從屬於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量,並且對應於預測目標子塊(例如,相當於圖6中的預測目標子塊P0)而作為特定子塊(例如,相當於圖6中的參考子塊P1),線性預測裝置進行下述像素的線性預測,所述像素包括與所述預測目標子塊的左邊相鄰的像素(例如,相當於圖6中的參考像素P5)、與所述預測目標子塊的左上相鄰且的像素(例如,相當於圖6中的參考像素P6)以及與所述預測目標子塊的上面相鄰的像素(例如,相當於圖6中的參考像素P7),利用與所述特定子塊的左邊相鄰的像素(例如,相當於圖6中的參考像素P2)、與所述特定子塊的左上相鄰的像素(例如,相當於圖6中的參考像素P3)及與所述特定子塊的上面相鄰的像素(例如,相當於圖6中的參考像素P4)來實現,以及幀內預測裝置利用如下的通過線性預測裝置進行的線性預測而獲得的像素進行所述預測目標子塊的幀內預測:與所述預測目標子塊的左邊相鄰的像素、與所述預測目標子塊的左上相鄰的像素以及與所述預測目標子塊的上面相鄰的像素。
根據前述的發明,在(8)中描述的視頻解碼設備中,線性預測裝置進行下述像素的線性預測,所述像素包括與所述預測目標子塊的左邊相鄰的像素、與所述預測目標子塊的左上相鄰的像素以及與所述預測目標子塊的上面相鄰的像素,利用與所述特定子塊的左邊相鄰的像素、與所述特定子塊的左上相鄰的像素及與所述特定子塊的上面相鄰的像素來實現。進一步地,幀內預測裝置利用如下的通過線性預測裝置進行的線性預測而獲得的像素進行所述預測目標子塊的幀內預測:與所述預測目標子塊的左邊相鄰的像素,與所述預測目標子塊的左上相鄰的像素,以及與所述預測目標子塊的上面相鄰的像素。因此,可獲得與前述提及的有益效果相似的有益效果。
(10)本發明提出了在(8)或(9)中描述的視頻解碼設備進一步包括幀內參考像素生成裝置(例如,相當於圖5中的幀內參考像素生成單元1121,1282),所述幀內參考像素生成裝置用於執行:用於確認對應於參考像素位置的像素的局部解碼狀態的參考可行性驗證處理;當參考可行性驗證處理中確定了所述參考為不可行時,用於從與參考像素位置不同的位置生成參考像素的填充處理,以及針對於所述參考像素的平滑處理。
根據上述的發明,在(8)或(9)中描述的視頻解碼設備中,所述幀內參考像素生成裝置執行:用於確認對應於參考像素位置的像素的局部解碼狀態的參考可行性驗證處理;當參考可行性驗證處理中確定了所述參考為不可行時,用於從與參考像素位置不同的位置生成參考像素的填充處理,以及針對於所述參考像素的平滑處理。因此,可生成幀內參考像素。
(11)在(8)至(10)中任一項描述的視頻解碼設備中,本發明提出了所述線性預測裝置包括預測係數推導裝置(例如,相當於圖5中的預測係數推導單元12811),所述預測係數推導裝置用於利用預測目標顏色分量的參考像素以及在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的參考像素來推導預測係數。
根據上述發明,在(8)至(10)中任一項描述的視頻解碼設備中,所述預測係數推導裝置利用預測目標顏色分量的參考像素以及在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的參考像素來推導預測係數。因此,可獲得預測係數。
(12)在(8)至(10)中任一項描述的視頻解碼設備中,本發明提出了所述線性預測裝置包括預測係數推導裝置(例如,相當於圖10中的預測係數推導單元12811A),所述預測係數推導裝置用於從多個預設的預測係數中選取預測係數。
根據上述發明,在(8)至(10)中任一項描述的視頻解碼設備中,所述預測係數推導裝置從多個預設的預測係數中選取預測係數。因此,可獲得預測係數。
(13)在(8)至(12)中任一項描述的視頻解碼設備中,本發明提出了線性預測裝置,所述線性預測裝置確定是否進行基於從視頻編碼設備獲取的信號的線性預測,所述線性預測是用於預測目標顏色分量的預測模式之一,以及當已確定將進行線性預測時,使得用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同。
根據上述發明,在(8)至(12)中任一項描述的視頻解碼設備中,所述線性預測裝置確定是否進行基於從視頻編碼設備獲取的信號的線性預測,所述線性預測是用於預測目標顏色分量的預測模式之一,進一步地,當已確定將進行線性預測時,使得用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同。這就使得進行根據從視頻編碼設備獲得的信號的線性預測以及使得用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同成為可能。
(14)在(8)至(12)中任一項描述的視頻解碼設備中,本發明提出了當用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同時,所述線性預測裝置確定是否進行基於從視頻編碼設備獲取的信號的線性預測。
根據上述發明,在(8)至(12)中任一項描述的視頻解碼設備中,當用於預測目標顏色分量的預測模式與用於在多個顏色分量中的除了預測目標顏色分量之外的顏色分量的預測模式相同時,所述線性預測裝置確定是否進行基於從視頻編碼設備獲取的信號的線性預測。因此,可根據從視頻編碼設備獲得的信號而進行所述線性預測。
(15)本發明提出了一種視頻壓縮/傳輸系統,所述視頻壓縮/傳輸系統包括視頻編碼設備(例如,相當於圖1中的視頻編碼設備1)和視頻解碼設備(例如,相當於圖1中的視頻解碼設備100),所述視頻編碼設備編碼具有多個顏色分量的視頻,所述視頻解碼設備解碼具有多個顏色分量的視頻,所述視頻編碼設備包括:編碼側的線性預測裝置(例如,相當於圖3中的預測係數推導單元2211和通道間參考像素生成單元2212),用於利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測,所述參考像素使用於除了在多個顏色分量中的目標顏色分量之外的顏色分量(例如,後面描述的亮度分量)的幀內預測中;以及編碼側的幀內預測裝置(例如,相當於圖3中的幀內像素生成單元223),用於利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行幀內預測,通過編碼側的線性預測裝置進行的線性預測而獲得所述預測目標顏色分量,所述視頻解碼設備包括:解碼側的線性預測裝置(例如,相當於圖5中的預測係數推導單元12811和通道間參考像素生成單元12812),用於利用參考像素對預測目標顏色分量的參考像素進行線性預測,所述參考像素使用於在多個顏色分量中的除了目標顏色分量之外的顏色分量的幀內預測中;以及解碼側的幀內線性預測裝置(例如,相當於圖5中的幀內預測像素生成單元1283),用於利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行幀內預測,通過解碼側的線性預測裝置進行的線性預測而獲得所述預測目標顏色分量的參考像素。
上述發明可獲得與前述有益效果相似的有益效果。
本發明提出了一種視頻編碼設備(例如,相當於圖1中的視頻編碼設備1)的視頻編碼方法,所述視頻編碼設備包括線性預測裝置(例如,相當於圖3中的預測係數推導單元2211和通道間參考像素生成單元2212)及幀內預測裝置(例如,相當於圖3中的幀內預測像素生成單元223),且編碼具有多個顏色分量的視頻,所述視頻編碼方法包括:步驟一:使得所述線性預測裝置利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測,所述參考像素使用於在多個顏色分量中的除了目標顏色分量之外的顏色分量(例如,後面描述的亮度分量)的幀內預測中;以及步驟二:使得所述幀內預測裝置利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行線性預測,通過在所述步驟一中進行的線性預測而獲得所述預測目標顏色分量的參考像素。
上述發明可獲得與前述有益效果相似的有益效果。
(17)本發明提出了一種視頻解碼設備(例如,相當於圖1中的視頻解碼設備100)的視頻解碼方法,所述視頻解碼設備包括線性預測裝置(例如,相當於圖5中的預測係數推導單元12811和通道間參考像素生成單元12812)及幀內預測裝置(例如,相當於圖5中的幀內預測像素生成單元1283),且解碼具有多個顏色分量的視頻,所述視頻解碼方法包括:步驟一:使得所述線性預測裝置利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測,所述參考像素使用於在多個顏色分量中的除了目標顏色分量之外的顏色分量(例如,後面描述的亮度分量)的幀內預測中;以及步驟二:使得所述幀內預測裝置利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行線性預測,通過在所述步驟一中進行的線性預測而獲得所述預測目標顏色分量的參考像素。
上述發明可獲得同前述的有益效果相同的有益效果。
(18)本發明提出了一種程序,所述程序用於使得計算機執行視頻編碼設備(例如,相當於圖1中的視頻編碼設備1)的視頻編碼方法,所述視頻編碼設備包括線性預測裝置(例如,相當於圖3中的預測係數推導單元2211和通道間參考像素生成單元2212)和幀內預測裝置(例如,相當於圖3中的幀內預測像素生成單元223),且編碼具有多個顏色分量的視頻,所述程序使得計算機執行:步驟一:使得所述線性預測裝置利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測,所述參考像素使用於除了在多個顏色分量中的目標顏色分量之外的顏色分量(例如,後面描述的亮度分量)的幀內預測中;以及步驟二:使得所述幀內預測裝置利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行幀內預測,通過在所述步驟一中進行的線性預測而獲得所述預測目標顏色分量的參考像素。
上述發明可獲得與前述有益效果相似的有益效果。
(19)本發明提出了一種程序,所述程序用於使得計算機執行視頻解碼設備(例如,相當於圖1中的視頻解碼設備100)的視頻解碼方法,所述視頻解碼設備包括線性預測裝置(例如,相當於圖5中的預測係數推導單元12811和通道間參考像素生成單元12812)和幀內預測裝置(例如,相當於圖5中的幀內預測像素生成單元1283),且解碼具有多個顏色分量的視頻,所述程序使得計算機執行:步驟一:使得所述線性預測裝置利用參考像素對預測目標顏色分量(例如,後面描述的色度分量)的參考像素進行線性預測,所述參考像素使用於除了在多個顏色分量中的目標顏色分量之外的顏色分量(亮度分量)的幀內預測中;以及步驟二:使得所述幀內預測裝置利用預測目標顏色分量的參考像素對預測目標顏色分量的預測目標子塊進行線性預測,通過在所述步驟一中進行的線性預測而獲得所述預測目標顏色分量的參考像素。
上述發明可獲得與前述的有益效果相似的有益效果。
發明的技術效果
本發明可以減少對線性預測中處理時序的限制。
附圖說明
圖1為根據本發明的視頻壓縮傳輸系統的實施案一的框圖。
圖2為根據本發明的視頻編碼設備的實施案一的框圖。
圖3為根據本發明的幀內預測單元的實施案一的框圖。
圖4為根據本發明的視頻解碼設備的實施案一的框圖。
圖5為根據本發明的幀內預測單元的實施案一的框圖。
圖6為根據本發明的描述視頻編碼設備和視頻解碼設備的操作方法的實施案一的示意圖。
圖7為根據本發明的視頻編碼設備的實施案二的框圖。
圖8為根據本發明的幀內預測單元的實施案二的框圖。
圖9為根據本發明的視頻解碼設備的實施案二的框圖。
圖10為根據本發明的幀內預測單元的實施案二的框圖。
圖11為根據本發明的視頻編碼設備的實施案三的框圖。
圖12為根據本發明的幀內預測單元的實施案三的框圖。
圖13為根據本發明的視頻解碼設備的實施案三的框圖。
圖14為根據本發明的幀內預測單元的實施案三的框圖。
圖15為根據本發明的視頻編碼設備的實施案四的框圖。
圖16為根據本發明的幀內預測單元的實施案四的框圖。
圖17為根據本發明的視頻解碼設備的實施案四的框圖。
圖18為根據本發明的幀內預測單元的實施案四的框圖。
圖19為根據本發明的視頻編碼設備的實施案五的框圖。
圖20為根據本發明的幀內預測單元的實施案五的框圖。
圖21為根據常規示例的描述視頻編碼設備和視頻解碼設備的操作方法的框圖。
具體實施方式
根據附圖如下內容描述了本發明。比如,注意到如下實施案中的組成部件可適當地被現有的相應部件替換,並且因此可有多個變化,包括與其他現存的組成部件的組合。因此,如下實施案的描述並不限制權利要求書中的發明內容。
實施案一
圖1為根據本發明第一個實施案的視頻壓縮/傳輸系統AA的框圖。視頻壓縮/傳輸系統AA包括視頻編碼設備1,視頻編碼設備1通過編碼視頻而生成編碼數據(看圖2和圖4中的比特流SIG2),以及視頻解碼設備100,視頻解碼設備100解碼由視頻編碼設備1生成的編碼數據。這些視頻編碼設備1和視頻解碼設備100通過例如傳輸通道1傳輸前述的編碼數據。
【視頻編碼設備1的構造及操作】
圖2是視頻編碼設備1的框圖。所述視頻編碼設備1包括幀間預測單元11,21,幀內預測單元12,22,轉換/量化單元13,23,反向量化/反向轉換單元14,24,局部解碼緩衝區15,25,迴路濾波器16,26,幀緩衝區17,27,分量間預測單元31,以及熵編碼單元32。
(對亮度信號的處理)
作為輸入,幀間預測單元11收到後面描述的濾波後的從幀緩衝區17處得到的亮度局部解碼圖像SIG11。幀間預測單元11通過利用濾波後的亮度局部解碼圖像SIG11進行幀間預測而生成亮度幀間預測像素SIG13,且輸出生成的像素。
作為輸入,幀內預測單元12收到後面描述的未濾波的從局部解碼緩衝區15得到的亮度局部解碼圖像SIG12。幀間預測單元12通過利用未濾波的亮度局部解碼圖像SIG12進行幀內預測而生成亮度幀內預測像素14,且輸出生成的像素。幀內預測單元12也生成且輸出亮度幀內參考像素SIG34。幀內預測單元12將利用圖3詳細地進行描述。
作為輸入,轉換/量化單元13收到亮度殘差信號SIG16。轉換/量化單元13通過轉換且量化亮度殘差信號SIG16來生成亮度量化係數SIG17並且輸出生成的係數。注意到亮度殘差信號SIG16表明輸入圖像SIG1的亮度信號和亮度預測像素SIG15之間的誤差(殘差),而且亮度預測像素SIG15是亮度幀間預測像素SIG13或亮度幀內預測像素SIG14。
作為輸入,反向量化/反向轉換單元14收到亮度量化係數SIG17。反向量化/反向轉換單元14通過反向地量化且反向地轉換亮度量化係數SIG17來生成反向轉換亮度殘差信號SIG18,並且輸出生成的信號。
局部解碼緩衝區15積累未濾波的亮度局部解碼圖像SIG12,並且將它們適當地饋送給幀內預測單元12和迴路濾波器16。注意到,未濾波的亮度局部解碼圖像SIG12是通過組合亮度預測像素SIG15和反向轉換亮度殘差信號SIG18而獲得的一種信號。
作為輸入,迴路濾波器16收到為濾波的局部解碼圖像SIG12。迴路濾波器16通過將迴路濾波(例如去子塊濾波)應用到未濾波的亮度局部解碼圖像SIG12而生成濾波的亮度局部解碼圖像SIG11,且輸出生成的圖像。
幀緩衝區17累積濾波的亮度局部解碼圖像SIG11,且將它們適當地饋送給幀間預測單元11。
(色度信號的處理)
作為輸入,幀間預測單元21收到後面描述的從幀緩衝區27被饋送的經濾波的色度局部解碼圖像SIG21。幀間預測單元21通過利用濾波的色度局部解碼圖像SIG21進行幀間預測而生成色度幀間預測像素SIG23,且輸出生成的像素。
作為輸入,幀內預測單元22收到後面描述的從局部解碼緩衝區25饋送來的未濾波的色度局部解碼圖像SIG22,及從幀內預測單元12饋送來的前述亮度幀內參考像素SIG34。幀內預測單元22通過利用未濾波的色度幀內局部解碼圖像SIG22及亮度幀內參考像素SIG34進行幀內預測而生成色度幀內預測像素SIG24,並且輸出生成的像素。將利用圖3詳細地在後面描述幀內預測單元22。
作為輸入,轉換/量化單元23收到色度殘差信號SIG32。轉換/量化單元23通過轉換且量化色度殘差信號SIG32而生成色度量化係數SIG27,並且輸出生成的係數。注意到,色度殘差信號SIG32表明了色度殘差信號SIG26和後面描述的從幀間分量預測單元31饋送來的色度殘差修正信號SIG31之間的誤差(殘差)。色度殘差信號SIG26表明了輸入圖像SIG1的色度信號與色度預測像素SIG25之間的誤差(殘差),且色度預測像素SIG25是色度幀間預測像素SIG24或色度幀內預測像素SIG24。
作為輸入,反向量化/反向轉換單元24收到收到色度量化係數SIG27。反向量化/反向轉換單元24通過反向量化且反向轉換色度量化係數SIG27而生成反向轉換色度殘差信號SIG33,並且輸出生成的信號。
局部解碼緩衝區25累積未濾波的色度局部解碼圖像SIG22,且將它們適當地饋送給幀內預測單元22和迴路濾波器26。注意到,未濾波的色度局部解碼圖像SIG22是通過組合色度預測像素SIG25和色度殘差信號SIG28而獲得的信號,且色度殘差信號SIG28是通過組合色度殘差修正信號SIG31和反向轉換色度殘差洗好SIG33而獲得的。未濾波的色度局部解碼圖像SIG22可利用如下的數學表達式計算(5)。
【數學表達式5】
SIG22=Predc[x,y]+SIG33
=α×RecL[x,y]+β+SIG33
=α×(PredL[x,y]+ResL[x,y])+β+SIG33
=α×IntraPred(PL)β+α×ResL[x,y]+SIG33
=IntraPred(α×PL+β)+CCP+SIG33
=SIG25+SIG31+SIG28
=SIG25+SIG28…(5)
作為輸入,迴路濾波器26收到未濾波的色度局部解碼圖像SIG22。迴路濾波器26通過對未濾波的色度局部解碼圖像SIG22進行迴路濾波(例如去子塊濾波)獲得濾波後的色度局部解碼圖像SIG21,並將獲得的圖像輸出。
幀緩衝區27累積濾波後的色度局部解碼圖像SIG21,並適當地饋送給幀間預測單元21。
作為輸入,分量間預測單元31接收反向轉換的亮度殘差信號SIG18和預測係數(未示出)作為邊信息。分量間預測單元31通過如下的數學表達式(6)獲得色度殘差修正信號SIG31,並輸出獲得的信號。
【數學表達式6】
SIG31=CCP
=α×ResL[x,y]
=(SIG18×ResScaleVal)>>3…(6)
注意到在數學表達式(6)中,ResScaleVal表示輸入到分量間預測單元31中的預測係數。
作為輸入,熵編碼單元32接收亮度量化係數SIG17、色度量化係數SIG27和未圖示的邊信息。熵編碼單元32對輸入信號進行熵編碼,並輸出熵編碼的結果作為比特流SIG2。
圖3為幀內預測單元12和22的框圖。幀內預測單元12包括幀內參考像素生成單元121和幀內預測像素生成單元122。
作為輸入,幀內參考像素生成單元121接收子塊i的未濾波的亮度局部解碼圖像SIG12,該子塊i在目標子塊m(i<m)之前被解碼。幀內參考像素生成單元121首先進行參考可行性驗證來確認與參考像素位置相對應的像素的局部解碼狀態。如果參考不可行,則通過從其它位置複製的方式進行填充處理來生成參考像素。然後,採用三階濾波器對參考像素進行平滑處理,並將子塊i的亮度幀內參考像素SIG34輸出。
作為輸入,幀內預測像素生成單元122接收亮度幀內參考像素SIG34。幀內預測像素生成單元122通過使用亮度幀內參考像素SIG34的預測模式進行例如水平的、豎直的、DC的、平面的或者定向的預測以生成亮度幀內預測像素SIG14,並輸出獲得的像素。
幀內預測單元22包括通道間預測單元221、幀內參考像素生成單元222和幀內預測像素生成單元223。通道間預測單元221包括預測係數導出單元2211、通道間參考像素生成單元2212和確定單元2213。
作為輸入,幀內參考像素生成單元222接收子塊j的未濾波色度局部解碼圖像SIG22,該子塊j在目標子塊n之前被解碼(j≤n≤m)。幀內參考像素生成單元222首先進行參考可行性驗證來確認與參考像素位置相對應的像素的局部解碼狀態。如果參考不可行,則通過從其餘位置複製的方式進行填充處理來生成參考像素。然後,對參考像素採用三階濾波器進行平滑處理,並將子塊j的色度幀內參考像素SIG41輸出。
作為輸入,幀內預測像素生成單元223接收色度幀內參考像素SIG44。幀內預測像素生成單元223通過使用色度幀內參考像素SIG44的預測模式進行例如水平的、豎直的、DC的、平面的或者定向的預測以生成色度幀內預測像素SIG24,並輸出生成的像素。應理解,色度幀內參考像素SIG44為色度幀內參考像素SIG41和後面描述的由通道間參考像素生成單元2212饋送的色度幀內預測像素SIG43中的一種。
作為輸入,預測係數導出單元2211接收子塊i的亮度幀內參考像素SIG34和子塊j的色度幀內參考像素SIG41。預測係數導出單元2211按照例如最小二乘法或如非專利文獻2中所示的方法利用子塊i的亮度幀內參考像素SIG34和子塊j的色度幀內參考像素SIG41導出預測係數SIG42,並輸出導出的係數。
為輸入,通道間參考像素生成單元2212接收子塊i的亮度幀內參考像素SIG34和預測係數SIG42。通道間參考像素生成單元2212通過如下的數學表達式(7)生成色度幀內預測像素SIG43,並輸出生成的像素。
【數學表達式7】
SIG43=α×PL+β
=α×SIG34+β…(7)
在數學表達式(7)中α和β可以從預測係數SIG42中得到。
作為輸入,確定單元2213輸入圖像SIG1的色度信號和色度幀內預測像素SIG24。確定單元2213生成基於輸入圖像SIG1的色度信號和色度幀內預測像素SIG24的控制信號SIG45,以便於選出色度幀內參考像素SIG41或色度幀內預測像素SIG43作為饋送到幀內預測像素生成單元223的色度幀內參考像素SIG44。
【視頻解碼設備100的構造和操作方法】
圖4為視頻解碼設備100的框圖。視頻解碼設備100包括熵解碼單元101、分量間預測單元102、幀間預測單元111和127、幀內預測單元112和128、反向量化/反向轉換單元113和123、局部解碼緩衝區114和124、迴路濾波器115和125以及幀緩存區116和126。
熵解碼單元101接收比特流SIG2作為輸入。熵解碼單元101通過對比特流SIG2進行熵解碼導出量化係數水平SIG101和相關信息(邊信息)——例如,對於重建像素值必需的預測模式和運動向量,並輸出導出的量化係數水平和相關信息。
(亮度信號的處理)
作為輸入,幀間預測單元11接收後面描述的由幀緩衝區116饋送的濾波後的亮度局部解碼圖像SIG111。幀間預測單元111通過利用濾波後的亮度局部解碼圖像SIG111的幀間預測生成亮度幀間預測像素SIG113,並輸出生成的像素。
作為輸入,幀內預測單元112接收後面描述的由局部解碼緩存114饋送的未濾波的亮度局部解碼圖像SIG112。幀內預測單元112通過利用未濾波的亮度局部解碼圖像SIG112的幀內預測生成亮度幀內預測像素SIG114,並輸出生成的像素。幀內預測單元112也生成並輸出亮度幀內參考像素SIG104。幀內預測單元112將在圖5中詳細描述。
反向量化/反向轉換單元113接收量化係數水平SIG101的亮度信號作為輸入。反向量化/反向轉換單元113通過反向量化和反向轉換量化係數水平SIG101的亮度信號生成反向轉換的亮度殘差信號SIG115,並將生成的信號輸出。
局部解碼緩衝區114累積未濾波的亮度局部解碼圖像SIG112,並適當地發送給幀內預測單元112和迴路濾波器115。應理解,未濾波的亮度預測解碼圖像SIG112是由亮度預測像素SIG116和反向轉換的亮度殘差信號SIG115合併得到的信號,亮度預測像素SIG116可以是亮度幀間預測像素SIG113或亮度幀內預測像素SIG114。
迴路濾波器115接收未濾波的亮度局部解碼圖像SIG112作為輸入。迴路濾波器115通過對未濾波的亮度局部解碼圖像SIG112進行迴路濾波(例如去子塊濾波)生成濾波後的亮度局部解碼圖像SIG111,並輸出生成的圖像。
幀緩衝區116累積濾波後的亮度局部解碼圖像SIG111並適當地饋送給幀間預測單元111。
作為輸入,分量間預測單元102接收反向轉換的亮度殘差信號SIG115和預測係數(未給出)作為邊信息。分量間預測單元102採用如下的數學表達式(8)來生成色度殘差修正信號SIG102,並輸出生成的信號。
【數學表達式8】
SIG102=CCP
=α×ResL[x,y]
=(SIG115×ResScaleVal)>>3…(8)
在數學表達式(8)中,ResScaleVal表示輸入到分量間預測單元102中的預測係數。
(色度信號的處理)
作為輸入,幀間預測單元127接收後面描述的由幀緩衝區126饋送的色度局部解碼圖像SIG121。幀間預測單元127通過使用過濾後的色度局部解碼圖像SIG121進行幀間預測生成色度幀間預測像素SIG123,並輸出生成的像素。
作為輸入,幀內預測單元128由局部解碼緩衝區124饋送的未濾波的色度局部解碼圖像SIG122和由幀內預測單元112饋送的前述亮度幀內參考像素SIG104。幀內預測單元128通過採用未濾波的色度局部解碼圖像SIG122和亮度幀內參考像素SIG104的幀內預測生成色度幀內預測像素SIG124,並輸出生成的像素。幀內預測單元128將會在圖5中作詳細描述。
反向量化/反向轉換單元123接收量化係數水平SIG101的色度信號作為輸入。反向量化/反向轉換單元123通過反向量化和反向轉換量化係數水平SIG101的色度信號來生成反向轉換後的色度殘差信號SIG125,並輸出生成的信號。
局部解碼緩衝區124累積未濾波的色度局部解碼圖像SIG122,並適當地饋送給幀內預測單元128和迴路濾波器125。應理解,未濾波的色度局部解碼圖像SIG122是由色度預測像素SIG126和色度殘差信號SIG103結合獲得的信號,色度殘差信號SIG103是由反向轉換後的色度殘差信號SIG125和色度殘差修正信號SIG102結合得到的信號。未濾波的色度局部解碼圖像SIG122可以由如下的數學表達式(9)計算得到。色度預測像素SIG126可以是色度幀間預測像素SIG123或色度幀內預測像素SIG124。
【數學表達式9】
SIG122=Predc[x,y]+SIG125
=α×RecL[x,y]+β+SIG125
=α×(PredL[x,y]+ResL[x,y])+β+SIG125
=α×IntraPred(PL)+β+α×ResL[x,y]+SIG125
=IntraPred(α×PL+β)+CCP+SIG125
=SIG126+SIG102+SIG125
=SIG126+SIG103…(9)
迴路濾波器125接收未濾波的色度局部解碼圖像SIG122作為輸入。迴路濾波器125通過對未濾波的色度局部解碼圖像SIG122進行迴路濾波,例如去子塊濾波,以生成濾波後的色度局部解碼圖像SIG121,並輸出生成的圖像。
幀緩衝區126累積濾波後的色度局部解碼圖像SIG121,並適當地饋送給幀間預測單元127。
圖5為幀內預測單元112和128的框圖。幀內預測單元112包括幀內參考像素生成單元1121和幀內預測像素生成單元1122。
作為輸入,幀內參考像素生成單元1121接收子塊i的未濾波的亮度局部解碼圖像SIG112,該子塊i在目標子塊m(i<m)之前被解碼。幀內參考像素生成單元1121進行參考首先執行參考可行性驗證來確認與參考像素位置相對應的像素的局部解碼狀態。如果參考不可行,則通過從其它位置複製的方式進行填充處理來生成參考像素。然後,採用三階濾波器對參考像素進行平滑處理,並將子塊i的亮度幀內參考像素SIG04輸出。
作為輸入,幀內預測像素生成單元1122接收亮度幀內參考像素SIG104。幀內預測像素生成單元1122通過使用亮度幀內參考像素SIG104的預測模式進行例如水平的、豎直的、DC的、平面的或者定向的預測以生成亮度幀內預測像素SIG114,並輸出獲得的像素。
幀內預測單元128包括通道間預測單元1281、幀內參考像素生成單元1282和幀內預測像素生成單元1283。通道間預測單元1281包括預測係數導出單元12811、通道間參考像素生成單元12812和確定單元12813。
作為輸入,幀內參考像素生成單元1282接收子塊j的未濾波色度局部解碼圖像SIG122,該子塊j在目標子塊n之前被解碼(j≤n≤m)。幀內參考像素生成單元1282首先進行參考可行性驗證來確認與參考像素位置相應的像素的局部解碼狀態。如果參考不可行,則通過從其餘位置複製的方式進行填充處理來生成參考像素。然後,對參考像素採用三階濾波器進行平滑處理,並將子塊j的色度幀內參考像素SIG131輸出。
作為輸入,幀內預測像素生成單元1283接收色度幀內參考像素SIG134。幀內預測像素生成單元1283通過使用色度幀內參考像素SIG134的預測模式進行例如水平的、豎直的、DC的、平面的或者定向的預測以生成色度幀內預測像素SIG124,並輸出獲得的像素。應理解,色度幀內參考像素SIG134為色度幀內參考像素SIG131和後面描述的由通道間參考像素生成單元12812饋送的色度幀內預測參考像素SIG133中的其中一個。
作為輸入,預測係數導出單元12811接收子塊i的亮度幀內參考像素SIG104和子塊j的色度幀內參考像素SIG131。預測係數導出單元12811按照例如最小二乘法或如非專利文獻2中所示的方法採用子塊i的亮度幀內參考像素SIG104和子塊j的色度幀內參考像素SIG131導出預測係數SIG132,並輸出導出的係數。
作為輸入,通道間參考像素生成單元12812接收子塊i的亮度幀內參考像素SIG104和預測係數SIG132。通道間參考像素生成單元12812通過如下的數學表達式(10)由線性預測生成色度幀內預測參考像素SIG133,並輸出生成的像素。
【數學表達式10】
SIG133=α×PL+β
=α×SIG104+β…(10)
在數學表達式(10)中α和β可以從預測係數SIG132中得到。
作為輸入,確定單元12813接收未圖示解碼側確定的信號。確定單元12813生成基於上述信號的控制信號SIG135以便於選出色度幀內參考像素SIG131或色度幀內預測像素SIG133作為饋送到幀內預測像素生成單元1283的色度幀內參考像素SIG134。
圖6示出了在視頻編碼設備1和視頻解碼設備100中進行基於線性預測的亮度/色度預測所必需的參考像素。
在視頻編碼設備1中,為了對色度信號的預測目標子塊P0進行預測,預測係數導出單元2211和通道間參考像素生成單元2212首先採用亮度信號的已預測的幀內預測參考像素P2、P3和P4(如圖3中所示的子塊i的亮度幀內參考像素SIG34)對色度信號的預測目標子塊P5、P6和P7(如圖3中所示的子塊i的色度度幀內參考像素SIG43)進行線性預測。然後,幀內預測像素生成單元223通過將色度信號的預測目標子塊P5至P7作為參考像素對預測目標子塊P0(如圖3中所示的色度度幀內預測像素SIG24)進行幀內預測。
在視頻解碼裝置100中,為了對色度信號的預測目標子塊P0進行預測,預測係數導出單元12811和通道間參考像素生成單元12812首先採用亮度信號的已預測的幀內預測參考像素P2、P3和P4(如圖5中所示的子塊i的亮度幀內參考像素SIG104)對色度信號的預測目標子塊P5、P6和P7(如圖5中所示的子塊i的色度度幀內參考像素SIG133)進行線性預測。然後,幀內預測像素生成單元1283通過將色度信號的預測目標子塊P5至P7作為參考像素對預測目標子塊P0(如圖5中所示的色度度幀內預測像素SIG124)進行幀內預測。
因此,在基於線性預測的亮度/色度預測中,視頻編碼設備1和視頻解碼設備100並不需要色度亮度信號的參考子塊P1來對色度信號的預測目標子塊P0進行預測。為此,對色度子塊m的預測並不要求完成對亮度子塊m的局部解碼(重建)。
上述的視頻編碼設備1可以獲得如下的有益效果。
在視頻編碼設備1中,預測係數導出單元2211和通道間參考像素生成單元2212通過在亮度分量幀內預測中用到的參考像素P2至P4對色度分量參考像素P5至P7進行線性預測。幀內預測像素生成單元223通過色度分量的參考像素P5至P7對色度分量的預測目標子塊P0進行幀內預測,該參考像素P5至P7是由預測係數導出單元2211和通道間參考像素生成單元2212進行線性預測得到。因此,在基於針對色度分量的預測目標子塊P0的線性預測的幀內預測當中,亮度信號的參考子塊P1並不是必需的。為此,在進行基於針對色度分量的預測目標子塊P0的線性預測的幀內預測時,並不需要完成對亮度信號的參考子塊P1的局部解碼(重建)。因此,線性預測中處理時序的限制可以降低。
另外,在視頻編碼設備1中,幀內參考像素生成單元121進行參考可行性驗證處理來確認與參考像素位置相對應的像素的局部解碼狀態,如果在參考可行性驗證處理過程中確定參考不可行,則通過在與參考像素位置不同的位置進行填充處理來生成參考像素,並針對生成的參考像素進行平滑處理。因此,能夠獲得幀內參考像素。
而且,在視頻編碼設備1中,預測係數導出單元2211通過預測目標顏色分量的參考像素和多個顏色分量中除了預測目標顏色分量以外的顏色分量的參考像素來導出預測係數。因此,可以獲得預測係數。
上述視頻解碼設備100可以獲得如下的有益效果。
在視頻解碼設備100中,預測係數導出單元12811和通道間參考像素生成單元12812通過在亮度分量幀內預測中用到的參考像素P2至P4對色度分量參考像素P5至P7進行線性預測。幀內預測像素生成單元1283通過色度分量的參考像素P5至P7對色度分量的預測目標子塊P0進行幀內預測,該參考像素P5至P7是由預測係數導出單元12811和通道間參考像素生成單元12812進行線性預測得到的。因此,在基於針對色度分量的預測目標子塊P0的線性預測的幀內預測當中,亮度信號的參考子塊P1並不是必需的。為此,在進行基於針對色度分量的預測目標子塊P0的線性預測的幀內預測時,並不需要完成對亮度信號的參考子塊P1的局部解碼(重建)。因此,在基於線性預測的幀內預測中處理時序的限制可以降低。
另外,在視頻解碼設備100中,幀內參考像素生成單元1121進行參考可行性驗證處理來確認與參考像素位置相對應的像素的局部解碼狀態,如果在參考可行性驗證處理過程中確定參考不可行,則通過在與參考像素位置不同的位置進行填充處理來生成參考像素,並針對生成的參考像素進行平滑處理。因此,能夠獲得幀內參考像素。
而且,在視頻解碼設備100中,預測係數導出單元12811通過預測目標顏色分量的參考像素和多個顏色分量中除了預測的目標顏色分量以外的顏色分量的參考像素來導出預測係數。因此,可以獲得預測係數。
實施案二
【視頻編碼設備1A的構造及操作】
圖7是根據本發明的第二個實施案的視頻編碼設備1A的框圖。視頻編碼設備1A在包括幀內預測單元22A代替幀內預測單元22中不同於根據圖2所示的本發明第一個實施案的視頻編碼設備1。注意到,其中與視頻編碼設備1的部件相同的視頻編碼設備1A的部件將用相同的附圖標記表示,且其描述將會省略。
圖8是幀內預測單元12,22A的框圖。幀內預測單元22A包括通道間預測單元221A,幀內參考像素生成單元222,及幀內預測像素生成單元223。通道間預測單元221A包括預測係數推導單元2211A,通道間參考像素生成單元2212,及確定單元2213。
作為輸入,預測係數推導單元2211A收到子塊i的亮度幀內參考像素SIG34及子塊j的色度幀內參考像素SIG41。預測係數推導單元2211A從多個預設的預測係數中選取預測係數,且輸出選取的作為預測係數SIG42的預測係數。預測係數推導單元2211A也將選取的預測係數的指數轉換成二進位值,並且發送作為邊信息的表明二進位值的信號。
【視頻解碼設備100A的構造和操作】
圖9是根據本發明第二個實施案的視頻解碼設備100A的框圖。視頻解碼設備100A在包括幀內預測單元128A代替幀內預測單元128中不同於根據圖4所示的本發明第一個實施案的視頻解碼設備100。注意到,其中與視頻解碼設備100的部件相同的視頻解碼設備100A的部件將用相同的附圖標記表示,且其描述將會省略。
圖10是幀內預測單元112,128A的框圖。幀內預測單元128A包括通道間預測單元1281A、幀內參考像素生成單元1282及幀內預測像素生成單元1283。通道間預測單元1281A包括預測係數推導單元12811A和通道間參考像素生成單元12812。
作為輸入,預測係數推導單元12811A收到附圖中未示出的預測係數信號。預測係數推導單元12811A選取預測係數,從多個預設的預測係數而來的輸入預測係數信號指定所述預測係數,並且作為預測係數SIG132輸出選取的預測係數。注意到,前述的預測係數信號表示了從視頻編碼設備1A的預測係數推導單元2211A中而來的信號指示的邊信息。
除了前述的由視頻編碼設備1獲得的有益效果外,上述的視頻編碼設備1A可獲得如下的有益效果。
在視頻編碼設備1A中,預測係數推導單元2211A從多個預設的預測係數中選取預測係數。因此,可獲得預測係數。
除了前述的由視頻解碼設備100獲得的有益效果外,上述的視頻解碼設備100A可獲得如下的有益效果。
在視頻解碼設備100A中,預測係數推導單元12811A從多個預設的預測係數中選取預測係數,選取的預測係數對應於從視頻編碼設備1A中而來的信號。因此,可獲得預測係數。
實施案三
【視頻編碼設備1B的構造及操作】
圖11是根據本發明第三個實施案的視頻編碼設備1B的框圖。視頻編碼設備1B在包含替換了幀內預測單元22的幀內預測單元22B在內的方面不同於根據如圖2所示的本發明第一個實施案的視頻編碼設備1。注意到,其中與視頻編碼設備1相同的視頻編碼設備1B的部件將以相同的附圖標記呈現,同時省略對其的描述。
圖12是幀內預測單元12,22B的框圖。幀內預測單元22B包括通道間預測單元221B,幀內參考像素生成單元222,及幀內預測像素生成單元223。通道間預測單元221B包括預測係數推導單元2211,通道間參考像素生成單元2212,及確定單元2213A。
作為輸入,確定單元2213A收到輸入圖像SIG1的色度信號及色度幀內預測像素SIG24。確定單元2213A生成基於輸入圖像SIG1的色度信號及色度幀內預測像素SIG24的控制信號SIG45,以便於選取色度幀內參考像素SIG41或色度幀內預測參考像素SIG43作為饋送給幀內預測像素生成單元223的色度幀內參考像素SIG44。確定單元2213A還確定基於輸入圖像SIG1的色度信號及色度幀內預測像素SIG24的視頻解碼設備100B(看後面描述的圖14)的預測係數推導單元12811和通道間參考像素生成單元12812是否進行線性預測,並且發送表明作為色度幀內預測模式之一的確定結果。相應地,增加了色度幀內預測模式的數目。
進一步地,當確定單元2213A已確定將進行線性預測時,使得色度幀內預測模式與亮度幀內預測模式相同。
【視頻解碼設備100B的構造及操作】
圖13是根據本發明第三個實施案的視頻解碼設備100B的框圖。視頻解碼設備100B在包含替代了幀內預測單元128的幀內預測單元128B在內的方面不同於根據圖4中的本發明的第一個實施案的視頻解碼設備100。注意到,其中與視頻解碼設備100的部件相同的視頻解碼設備100B的部件將給以相同的附圖標記,同時省略其中的描述。
圖14是幀內預測單元112,128B的框圖。幀內預測單元128B包括通道間預測單元1281B、幀內參考像素生成單元1282及幀內預測像素生成單元1283A。通道間預測單元1281B包括預測係數推導單元12811和通道間參考像素生成單元12812。
作為輸入,幀內預測像素生成單元1283A收到色度幀內參考像素SIG131,色度幀內預測參考像素SIG133,及未示出的預測模式信號。當輸入預測模式信號表明利用了色度幀內預測參考像素SIG133時,幀內預測像素生成單元1283A利用色度幀內預測參考像素SIG133而生成SIG124,同時輸出生成的像素。另一方面,當輸入預測模式信號表明利用了色度幀內參考像素子塊SIG131時,幀內預測像素生成單元1283A利用色度幀內參考像素SIG131而生成色度幀內預測像素SIG124,同時輸出生成的像素。注意到,前述輸入預測模式信號是從視頻編碼設備1B的確定單元2213A而來的信號表明的色度幀內預測模式。
當輸入預測模式信號表明利用了色度幀內預測參考像素SIG133時,幀內預測像素生成單元1283A使色度幀內預測模式與亮度幀內預測模式相同。
除了前述的視頻編碼設備1獲得的有益效果外,上述的視頻編碼設備1B還可獲得如下的有益效果。
在視頻編碼設備1B中,確定單元2213A確定在視頻解碼設備100B中是否進行預測目標子塊的線性預測,同時發送作為色度幀內預測模式之一的表明確定結果的信號給視頻解碼設備100B。當確定單元2213A確定了在視頻解碼設備100B中將進行預測目標子塊的線性預測時,製作一種以使得預測目標顏色分量的預測模式與多個顏色分量中的預測目標顏色分量的預測模式相同。因此,在視頻解碼設備100B中是否進行預測目標子塊的線性預測可作為色度幀內預測模式之一傳輸給視頻解碼設備100B。
除了前述的由視頻解碼設備100獲得的有益效果之外,上述的視頻解碼設備100B還可獲得如下的有益效果。
視頻解碼設備100B可根據從視頻編碼設備1B而來的信號而進行線性預測。
實施案四
【視頻編碼設備1C的構造及操作】
圖15是根據本發明的第四個實施案的視頻編碼設備1C的框圖。視頻編碼設備1C在包含替換了幀內預測單元22的幀內預測單元22C在內的方面不同於根據圖2所示的本發明第一個實施案的視頻編碼設備1。注意到,其中與視頻編碼設備1的部件相同的視頻編碼設備1C的部件將給以相同的附圖標記,同時省略其中的描述。
圖16是幀內預測單元12,22C的框圖。幀內預測單元22C包括通道間預測單元221C、幀內參考像素生成單元222及幀內預測像素生成單元223。通道間預測單元221C包括預測係數推導單元2211,通道間參考像素生成單元2212,及確定單元2213B。
作為輸入,確定單元2213B收到輸入圖像SIG1的色度信號和色度幀內預測像素SIG24。確定單元2213B生成基於輸入圖像SIG1的色度信號和色度幀內預測像素SIG24的控制信號信號SIG45,以便於選取作為饋送給幀內預測像素生成單元223的色度幀內參考像素SIG44的色度幀內參考像素SIG41或色度幀內預測參考像素SIG43。只有當與亮度幀內預測模式相同的色度幀內預測模式應用到色度幀內預測模式中時,確定單元2213B確定基於輸入圖像SIG1和色度幀內預測像素SIG24的色度信號的視頻解碼設備100C的預測係數推導單元12811和通道間參考像素生成單元12812是否將進行線性預測,同時發送表明確定結果的信號。例如,可利用個位的二進位值表明的標記發送信號。
【視頻解碼設備100C的構造及操作】
圖17是根據本發明第四個實施案的視頻解碼設備100C的框圖。視頻解碼設備100C在包含替代了幀內預測單元128的幀內預測單元128C在內的方面不同於根據圖4所示的本發明第一個實施案的視頻解碼設備100。注意到,其中與視頻解碼設備100的部件相同的視頻解碼設備100C的部件將給以相同的附圖標記,同時將省略其中的描述。
圖18是幀內預測單元112,128C的框圖。幀內預測單元128C包括通道間預測單元1281B、幀內參考像素生成單元1282及幀內預測像素生成單元1283B。通道間預測單元1281B包括預測係數推導單元12811和通道間參考像素生成單元12812。
作為輸入,幀內預測像素生成單元1283B收到色度幀內參考像素SIG131,色度幀內預測參考像素SIG133及未示出的信號。當輸入信號表明將利用色度幀內預測參考像素SIG133時,幀內預測像素生成單元1283B利用色度幀內預測參考像素SIG133生成色度幀內預測像素SIG124,同時輸出生成的像素。另一方面,當輸入信號表明將利用色度幀內參考像素SIG131時,幀內預測像素生成單元1283B利用色度幀內參考像素SIG131生成色度幀內預測像素SIG124,同時輸出生成的像素。注意到,前述的輸入信號是從視頻編碼設備1C的確定單元2213B而來的信號。
除了前述的由視頻編碼設備1獲得的有益效果之外,上述的視頻編碼設備1C還可獲得如下的有益效果。
在視頻編碼設備1C中,當色度分量的預測模式與亮度分量的預測模式相同時,確定單元2213B確定在視頻解碼設備100C中是否進行預測目標子塊的線性預測,同時發送表明確定結果的信號給視頻解碼設備100C。因此,當色度分量的預測模式與亮度分量的預測模式相同時,在視頻解碼設備100C中是否進行預測目標子塊的線性預測可傳輸給視頻解碼設備100C。
除了前述的由視頻解碼設備100獲得的有益效果之外,上述的視頻解碼設備100C還可獲得如下的有益效果。
視頻解碼設備100C可根據從視頻編碼設備1C而來的信號而進行線性預測。
實施案五
【視頻編碼設備1D的構造及操作】
圖19是根據本發明的第五個實施案的視頻編碼設備1D的框圖。視頻編碼設備1D在包含替換了幀內預測單元22的幀內預測單元22D在內的方面不同於根據圖2所示的本發明第一個實施案的視頻編碼設備1。注意到,其中與視頻編碼設備1的部件相同的視頻編碼設備1D的部件將給以相同的附圖標記,同時省略其中的描述。
圖20是幀內預測單元12,22D的框圖。幀內預測單元22D包括通道間參考像素生成單元2212、幀內參考像素生成單元222及幀內預測像素生成單元223A,預測係數表224,編碼成本推導單元225,殘差成本推導單元226及預測係數確定單元227。
作為輸入,預測係數表224收到後面描述的從預測係數確定單元227輸出的預測係數索引SIG51。預測係數表224存儲多個預設的的預測係數,確定對應於預測係數索引SIG51的多個預測係數之一,並且輸出作為預測係數SIG42的預測係數。
作為輸入,編碼成本推導單元225收到預測係數SIG42。編碼成本推導單元225推導出編碼成本SIG48,編碼成本SIG48是關於預測係數SIG42所產生的編碼量概算和由量化參數QP而確定的係數λ的乘積所得,且輸出推導出的編碼成本。注意到,量化參數QP確定的係數λ可利用如下數學表達式進行計算(11)。
[數學表達式11]
作為輸入,殘差成本推導單元226收到輸入圖像SIG1的色度信號和後面描述的從幀內預測像素生成單元223A輸出的色度預測信號SIG46的差分信號SIG47。對於每個關於編碼目標子塊的轉換前及量化前的亮度和色度的預測殘差信號而取得的預測係數,殘差成本推導單元226推導用於作為殘差成本SIG49的差分信號SIG47的Hadamard變換係數的絕對值的總和,即SATD,同時輸出推導出的殘差成本。
作為輸入,預測係數確定單元227收到編碼成本SIG48的總和及殘差成本SIG49。預測係數確定單元確定最優的預測係數,最優的預測係數在儲存於預測係數表224中的多個預測係數中呈現最小的編碼成本SIG48和殘差成本SIG49,同時輸出表明已確定的預測係數的預測係數索引SIG51。
作為輸入,幀內預測像素生成單元223A收到色度幀內參考像素SIG44。當預測係數確定單元227確定了最優的預測係數時,幀內預測像素生成單元223A根據利用色度幀內參考像素SIG44的預測模式而進行的例如水平的、豎直的、DC、平面的或定向的預測來生成色度預測信號SIG46,同時輸出生成的信號。預測係數確定單元227確定了最優的預測係數後,幀內預測像素生成單元223A根據利用色度幀內參考像素SIG44的預測模式而進行的例如水平的、豎直的、DC、平面的或定向的預測來生成幀內預測像素SIG24,同時輸出生成的像素。
上述的視頻編碼設備1D可獲得與前述的由視頻便設備1獲得的有益效果相似的有益效果。
注意到,本發明可通過將本發明的視頻編碼設備1、1A、1B、1C及1D和視頻解碼設備100、100A、100B及100C的處理記錄到計算機可讀的永久性記錄媒介中,同時使得視頻編碼設備1、1A、1B、1C及1D和視頻解碼設備100、100A、100B及100C讀入且執行在此記錄媒介中記錄的程序。
此記錄媒介的實施例包括:非易失性存儲器,例如EPROM和快閃記憶體;磁碟,例如硬碟;及光碟。視頻編碼設備1、1A、1B、1C及1D和視頻解碼設備100、100A、100B及100C中的處理器讀入並執行在此記錄媒介中記錄的程序。
上述程序一旦存儲進存儲裝置和視頻編碼設備1、1A、1B、1C及1D和視頻解碼設備100、100A、100B及100C的類似物中,就可通過傳輸媒介或傳輸媒介的傳輸波而將所述程序從這些設備傳輸到另一個計算機系統。其中,用於傳輸程序的所述「傳輸媒介」指的是具有傳輸信息功能的媒介,且此媒介的實施例包括:網絡(傳輸網絡),例如網際網路;及傳輸線,例如電話線。
上述的程序可實現上述功能中的一部分。上述的程序可以是所謂的差異文件(差異程序),所述差異文件(差異程序)通過結合在視頻編碼設備1、1A、1B、1C及1D和視頻解碼設備100、100A、100B及100C已記錄的程序可實現上述功能。
雖然目前已參照附圖對本發明的實施案進行了詳細說明,這些實施案並不是對特定構造的限制,並且其他的設計和類似物只要不脫離本發明的概念也是可行的。
例如,在上述第三個實施案中,根據第二個實施案的預測係數推導單元2211A(看圖8)可替換預測係數推導單元2211(看圖12),且根據第二個實施案的預測係數推導單元12811A(看圖10)可替換預測係數推導單元12811(看圖14)。
進一步地,在上述的第四個實施案中,根據第二個實施案的預測係數推導單元2211A(看圖8)可替換預測係數推導單元2211(看圖16),且根據第二個實施案的預測係數推導單元12811A(看圖10)可替換預測係數推導單元12811(看圖18)。
附圖標記列表
AA 視頻壓縮/傳輸系統
1、1A、1B、1C及1D 視頻編碼設備
22、22A、22B、22C及22D 幀內預測單元
100、100A、100B及100C 視頻解碼設備
128、128A、128B、128C及128D 幀內預測單元