應用多偏移方案的視頻編碼方法和設備以及視頻解碼方法和設備與流程
2023-06-09 12:21:01
本公開涉及應用多偏移方法的視頻編碼方法和設備以及視頻解碼方法和設備。
背景技術：
隨著開發和供應用於播放和存儲高解析度或高質量視頻內容的硬體，針對用於將高解析度或高質量視頻內容有效編碼或解碼的視頻編解碼器的需求逐漸增長。在傳統的視頻編解碼器中，基於具有預定尺寸的編碼單元來根據有限編碼方法對視頻進行編碼。
經由頻率轉換將空間域的圖像數據轉換成頻域的係數。在視頻編解碼器中，將圖像分割成具有預定尺寸的塊，在每個塊上執行離散餘弦變換(dct)，並且以塊為單位對頻率係數進行編碼，從而快速計算頻率轉換。與空間域的圖像數據相比，頻域的係數容易壓縮。具體而言，由於根據視頻編解碼器的幀間預測或幀內預測的預測誤差來表達空間域的圖像像素值，因此，當在預測誤差上執行頻率轉換時，可以將大量的數據轉換成0。通過使用視頻編解碼器，可以通過用小尺寸的數據替換連續重複生成的數據來減少數據量。
具體而言，可以應用將與自適應確定的偏移對應的重建像素值應用於樣本的方法，從而結合視頻編碼和解碼操作將原始圖像與重建圖像之間的誤差最小化。
技術實現要素：
技術問題
公開了應用多偏移方法以改善重建圖像的質量的視頻編碼方法和設備以及視頻解碼方法和設備。通過使用多偏移方法可以去除在重建圖像中發生的各個方向上的邊緣振蕩效應(ringingartifact)，並且可以減小當應用單偏移方法時可增大的重建圖像的誤差。
顯然，本公開的技術問題不限於此，並且從以下描述中，本領域普通技術人員將明白其他技術問題。
視頻解碼方法包括：當第一偏移方法應用於包括當前塊的當前條帶時，將基於當前塊的第一偏移參數的偏移施加至當前塊；當第一偏移方法應用於當前條帶時，確定是否將第二偏移方法應用於當前條帶；當第二偏移方法應用於當前條帶時，確定當前塊的第二偏移參數；以及將基於第二偏移參數的偏移施加至施加了基於第一偏移參數的偏移的當前塊，其中，第一偏移參數和第二偏移參數包括當前塊的偏移值。
附圖說明
圖1a和圖1b分別是根據本公開的實施方式的視頻編碼設備的框圖和應用多偏移方法的視頻編碼方法的流程圖。
圖2a和圖2b分別是根據本公開的實施方式的視頻解碼設備的框圖和應用多偏移方法的視頻解碼方法的流程圖。
圖3是根據本公開的另一實施方式的視頻解碼設備的框圖。
圖4a到圖4c是用於說明根據本公開的實施方式的邊緣類型樣本自適應偏移(sao)技術的示意圖。
圖5是用於描述根據本公開的實施方式的帶類型sao技術的示意圖。
圖6a和圖6b是用於說明根據本公開的實施方式的應用多偏移方法的方法的示意圖。
圖7是示出根據本公開的各種實施方式的與條帶的多偏移方法有關的多項使用信息的句構元素的表。
圖8a到圖8c是示出根據本公開的各種實施方式的當前塊的句構元素的表。
圖9是示出根據本公開的實施方式的表明當前塊的偏移類型的多項信息的句構元素的表。
圖10a和圖10b是示出根據本公開的各種實施方式的表明當前塊的多偏移方法的偏移分類的多項信息的句構元素的表。
圖11是用於說明根據本公開的實施方式的使用合併模式來應用多偏移方法的方法的表。
圖12是根據本公開的實施方式的基於具有樹形結構的編碼單元的視頻編碼設備的框圖。
圖13是根據本公開的實施方式的基於具有樹形結構的編碼單元的視頻解碼設備的框圖。
圖14是用於描述根據本公開的實施方式的編碼單元的概念的示意圖。
圖15是根據本公開的實施方式的基於編碼單元的圖像編碼器的框圖。
圖16是根據本公開的實施方式的基於編碼單元的圖像解碼器的框圖。
圖17是示出根據本公開的實施方式的根據深度的編碼單元和分區的示意圖。
圖18是用於描述根據本公開的實施方式的編碼單元與變換單元之間的關係的示意圖。
圖19示出根據本公開的實施方式的多項編碼信息。
圖20是根據本公開的實施方式的根據深度的較深編碼單元的示意圖。
圖21、圖22和圖23是用於描述根據本公開的實施方式的編碼單元、預測單元與變換單元之間的關係的示意圖。
圖24是用於描述根據表1的編碼模式信息的編碼單元、預測單元與變換單元之間的關係的示意圖。
圖25是根據實施方式的存儲有程序的碟片的物理結構的示意圖。
圖26是用於通過使用碟片來記錄和讀取程序的碟片驅動器的示意圖。
圖27是用於提供內容分發服務的內容供應系統的整體結構的示意圖。
圖28和圖29示出根據實施方式的應用本公開的視頻編碼方法和視頻解碼方法的行動電話的外部結構和內部結構。
圖30示出根據實施方式的採用通信系統的數字廣播系統。
圖31是示出根據實施方式的使用視頻編碼設備和視頻解碼設備的雲計算系統的網絡結構的示意圖。
實施本發明的最佳方式
根據本公開的一方面，視頻解碼方法包括：當第一偏移方法應用於包括當前塊的當前條帶時，將基於當前塊的第一偏移參數的偏移施加至當前塊；當第一偏移方法應用於當前條帶時，確定是否將第二偏移方法應用於當前條帶；當第二偏移方法應用於當前條帶時，確定當前塊的第二偏移參數；以及將基於第二偏移參數的偏移施加至施加了基於第一偏移參數的偏移的當前塊，其中，第一偏移參數和第二偏移參數包括當前塊的偏移值。
確定是否將第二偏移方法應用於當前條帶包括：基於從比特流中獲取的與當前條帶有關的第二偏移使用信息來確定是否將第二偏移方法應用於當前條帶。
確定是否將第二偏移方法應用於當前條帶包括：通過與是否將第一偏移方法應用於當前條帶的相同方式來確定是否將第二偏移方法應用於當前條帶。
當前塊的第一偏移參數和當前塊的第二偏移參數包括與當前塊有關的偏移使用信息、偏移類型、偏移分類和偏移值中的至少一項。
確定當前塊的第二偏移參數包括：基於當前塊的第一偏移參數來確定當前塊的第二偏移參數。
視頻解碼方法還包括：通過從比特流中獲取與當前塊有關的第一偏移使用信息來確定是否將第一偏移方法應用於當前塊。
確定當前塊的第二偏移參數包括：在與當前塊有關的第一偏移使用信息表明第一偏移方法應用於當前塊時，從比特流中獲取與當前塊有關的第二偏移使用信息。
當前塊的第二偏移方法的偏移類型確定為與當前塊的第一偏移方法的偏移類型不同。
當前塊的第一偏移參數和當前塊的第二偏移參數包括同時表明當前塊的偏移類型和偏移分類的信息。
視頻解碼方法還包括：獲取第一偏移合併信息和第二偏移合併信息，第一偏移合併信息和第二偏移合併信息分別表明是否使用當前塊的相鄰塊的第一偏移參數和第二偏移參數來確定當前塊的第一偏移參數和第二偏移參數；根據第一偏移合併信息，基於相鄰塊的第一偏移參數來確定當前塊的第一偏移參數；以及根據第二偏移合併信息，基於相鄰塊的第二偏移參數來確定當前塊的第二偏移參數。
根據本公開的另一方面，視頻編碼方法包括：當第一偏移方法應用於包括當前塊的當前條帶時，將基於當前塊的第一偏移參數的偏移施加至當前塊；當第一偏移方法應用於當前條帶時，確定是否將第二偏移方法應用於當前條帶；當第二偏移方法應用於當前條帶時，確定當前塊的第二偏移參數；以及生成比特流，比特流包括：表明是否將第一偏移方法應用於當前條帶的第一偏移使用信息；表明是否將第二偏移方法應用於當前條帶的第二偏移使用信息；以及第一偏移參數和第二偏移參數，其中，第一偏移參數和第二偏移參數包括當前塊的偏移值。
確定是否將第二偏移方法應用於當前條帶包括：基於是否將第二偏移方法應用於當前條帶的先前條帶中包括的塊來確定是否將第二偏移方法應用於當前條帶。
確定是否將第二偏移方法應用於當前條帶包括：通過與是否將第一偏移方法應用於當前條帶的相同方式來確定是否將第二偏移方法應用於當前條帶。
當前塊的第一偏移參數和當前塊的第二偏移參數包括與當前塊有關的偏移使用信息、偏移類型、偏移分類和偏移值中的至少一項。
確定當前塊的第二偏移參數包括：基於當前塊的第一偏移參數來確定當前塊的第二偏移參數。
確定當前塊的第二偏移參數包括：當第二偏移方法應用於當前條帶時，確定與當前塊有關的第二偏移使用信息。
確定當前塊的第二偏移參數包括：當第一偏移方法應用於當前塊時，確定與當前塊有關的第二偏移使用信息。
當前塊的第二偏移方法的偏移類型確定為與當前塊的第一偏移方法的偏移類型不同。
當前塊的第一偏移參數和當前塊的第二偏移參數包括同時表明當前塊的偏移類型和偏移分類的信息。
根據本公開的另一方面，視頻解碼設備包括：第一偏移方法解碼器，第一偏移方法解碼器配置成：當第一偏移方法應用於包括當前塊的當前條帶時，將基於當前塊的第一偏移參數的偏移施加至當前塊；以及第二偏移方法解碼器，第二偏移方法解碼器配置成：當第一偏移方法應用於當前條帶時，確定是否將第二偏移方法應用於當前條帶；當第二偏移方法應用於當前條帶時，確定當前塊的第二偏移參數；以及將基於第二偏移參數的偏移施加至施加了基於第一偏移參數的偏移的當前塊，其中，第一偏移參數和第二偏移參數包括當前塊的偏移值。
根據本公開的另一方面，視頻編碼設備包括：第一偏移方法編碼器，第一偏移方法編碼器配置成：當第一偏移方法應用於包括當前塊的當前條帶時，將基於當前塊的第一偏移參數的偏移施加至當前塊；第二偏移方法編碼器，第二偏移方法編碼器配置成：當第一偏移方法應用於當前條帶時，確定是否將第二偏移方法應用於當前條帶；以及當第二偏移方法應用於當前條帶時，確定當前塊的第二偏移參數；以及比特流生成器，比特流生成器配置成生成比特流，比特流包括：表明是否將第一偏移方法應用於當前條帶的第一偏移使用信息；表明是否將第二偏移方法應用於當前條帶的第二偏移使用信息；以及第一偏移參數和第二偏移參數，其中，第一偏移參數和第二偏移參數包括當前塊的偏移值。
具體實施方式
在下文中，詳細描述製造和使用本公開的方法。本說明書中描述的術語「單元」、「模塊」等是指處理至少一個功能或操作的單元，並且可以在硬體或軟體中實施或者可以在硬體和軟體的組合中實施。
本發明的原理的「實施方式(anembodiment/embodiments)」並不是指本說明書中的本公開的原理的至少一個實施方式中包括的實施方式所描述的具體特徵、結構、特性等。因此，在本說明書的各個地方出現的術語「在一個實施方式中」或「在實施方式中」未必表明所有相同的實施方式。
首先，參考圖1到圖11公開根據實施方式的應用多偏移方法的視頻編碼方法和視頻解碼方法。提供通過應用多樣本自適應偏移(sao)來對預測誤差進行編碼的可伸縮視頻編碼方法和設備的各種實施方式。此外，參考圖12到圖31公開根據各種實施方式的基於具有樹形結構的編碼單元的根據視頻編碼方法和視頻解碼方法中的像素分類來使用多偏移方法的實施方式。
在下文中，「圖像」可以指代視頻的移動圖像或靜態圖像，或者視頻本身。
在下文中，「樣本」指的是分配到圖像的採樣位置並且將進行處理的數據。例如，空間域的圖像中的塊的像素值或殘差可以是樣本。
在下文中，「當前塊」可以指的是將被編碼或解碼的圖像的塊。
首先，參考圖1a到圖10公開應用多偏移方法的視頻編碼方法和視頻解碼方法。
參考圖1a和圖2a，在視頻編碼設備10與視頻解碼設備20之間樣本被信號化。換言之，視頻編碼設備10可以對視頻樣本進行編碼並且可以將視頻樣本作為比特流的類型進行傳輸，並且視頻解碼設備20可以從接收的比特流中解析並重建視頻樣本。
根據實施方式的視頻編碼設備10和視頻解碼設備20將偏移參數信號化，以通過依據基於像素分類而確定的偏移調整重建的像素來最小化原始像素與重建的像素之間的誤差。偏移值作為視頻編碼設備10與視頻解碼設備20之間的偏移參數進行編碼、傳輸和接收，隨後從偏移參數中解碼。
因此，根據實施方式的視頻解碼設備20可以通過對接收的比特流進行解碼來生成每個圖像塊的重建像素、可以依據從比特流中重建的偏移值來調整重建像素，因而可以從原始圖像中生成具有最小化誤差的重建圖像。
就這點而言，根據實施方式的視頻編碼設備10和視頻解碼設備20可以將多偏移參數信號化，以應用多偏移方法。
在下文中，將參考圖1a和圖1b詳細描述應用多偏移方法的視頻編碼設備10的操作，並且將參考圖2a和圖2b詳細描述應用多偏移方法的視頻解碼設備20的操作。
圖1a和圖1b分別是根據本公開的實施方式的視頻編碼設備10的框圖和應用多偏移方法的視頻編碼方法的流程圖。
參考圖1a，根據實施方式的視頻編碼設備10可以包括第一偏移方法編碼器12、第二偏移方法編碼器14和比特流生成器16。
根據實施方式的視頻編碼設備10接收視頻的圖像輸入(例如，條帶)、將每個圖像分割成塊、並且對每個塊進行編碼。塊的形狀可以是正方形或矩形，或者可以是任意幾何形狀。塊並不限於具有統一尺寸的數據單元。根據實施方式的塊可以是最大編碼單元(lcu)或具有樹形結構的編碼單元之中的編碼單元(cu)。下文將參考圖12到圖31描述基於具有樹形結構的編碼單元的視頻編碼和解碼方法。
根據實施方式的視頻編碼設備10可以將每個輸入圖像分割成塊(諸如，lcu)，並且可以將通過在每個塊的樣本上執行預測、變換和熵編碼而生成的所得數據作為比特流輸出。塊的樣本可以是塊中包括的像素的像素值數據。
根據實施方式的視頻編碼設備10可以對圖片的塊單獨進行編碼。例如，視頻編碼設備10可以基於從當前lcu中分割並且具有樹形結構的編碼單元對當前lcu進行編碼。
為了對當前lcu進行編碼，根據實施方式的視頻編碼設備10可以通過在當前lcu中包括的並且具有樹形結構的編碼單元中的每個編碼單元上執行幀內預測、幀間預測、變換和量化來對樣本進行編碼。
接下來，根據實施方式的視頻編碼設備10可以通過在具有樹形結構的編碼單元中的每個編碼單元上執行反量化、逆變換和幀間預測或運動補償來重建當前lcu中包括的編碼樣本，從而對編碼單元進行解碼。
此外，根據實施方式的視頻編碼設備10可以執行去塊化，從而相對於所重建的當前塊的樣本來減少塊邊界中的圖像質量的降低，並且可以施加偏移，從而相對於執行了去塊化的當前塊來最小化原始像素與重建像素之間的誤差。
就這點而言，根據實施方式的視頻編碼設備10可以應用多偏移方法，從而最小化原始像素和重建像素的各個方向上的誤差和各種類型的誤差，並且防止出現由施加偏移造成的誤差。多偏移方法可以指的是通過使用不同的偏移參數對當前塊的樣本施加多次偏移。
例如，根據實施方式的視頻編碼設備10可以通過將基於第一偏移方法的偏移和基於第二偏移方法的偏移順序施加至當前塊來施加兩次偏移。因此，在當前塊的兩個方向上出現誤差時，根據實施方式的視頻編碼設備10可以最小化所有誤差，並且可以基於第二偏移方法來解決通過施加基於第一偏移方法的偏移而可造成的誤差。
此外，視頻編碼設備10(但不限於此)可以應用使用了三個或更多偏移方法的多偏移方法。
偏移參數可以包括與當前塊有關的偏移使用信息、當前塊的偏移類型、偏移分類和偏移值。例如，視頻編碼設備10可將基於第一偏移參數的偏移施加至重建的當前塊，並且可以將基於第二偏移參數的偏移施加至施加過基於第一偏移參數的偏移的當前塊。
具體而言，根據實施方式的第一偏移方法編碼器12可以確定是否將第一偏移方法應用於包括所重建的當前塊的當前圖像，並且當第一偏移方法應用於當前圖像時，可以確定第一偏移參數。例如，當前圖像可以指的是視頻的當前條帶。
根據實施方式的第一偏移方法編碼器12可以確定是否將第一偏移方法應用於當前條帶的每個顏色分量。例如，第一偏移方法編碼器12可以確定是否針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來應用第一偏移方法。
根據實施方式的第一偏移方法編碼器12可以參考是否將第一偏移方法應用於當前條帶的先前編碼的條帶來確定是否將第一偏移方法應用於當前條帶。例如，當先前條帶中包括的塊之中的應用了第一偏移方法的塊的比例大於預定值時，第一偏移方法編碼器12可以確定第一偏移方法應用於當前條帶。
第一偏移方法編碼器12可以確定表明是否將第一偏移方法應用於當前條帶的第一偏移使用信息。第一偏移使用信息可以被包括在條帶標頭中。
如果確定將第一偏移方法應用於當前條帶，那麼根據實施方式的第一偏移方法編碼器12可以確定是否將第一偏移方法應用於當前條帶的塊之中的當前塊。如果將第一偏移方法應用於當前塊，那麼第一偏移方法編碼器12可以確定當前塊的第一偏移參數。第一偏移參數可以包括與當前塊有關的第一偏移使用信息、當前塊的第一偏移類型、第一偏移分類和第一偏移值。
同時，如果確定第一偏移方法沒有應用於當前條帶，那麼根據實施方式的第一偏移方法編碼器12可以不確定當前塊的第一偏移參數。
根據實施方式的第一偏移方法編碼器12可以針對當前塊的每個顏色分量來確定第一偏移參數。例如，第一偏移方法編碼器12可以針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來確定第一偏移參數。
與當前塊有關的第一偏移使用信息可以是表明是否將第一偏移方法應用於當前塊的信息。換言之，如果確定第一偏移方法應用於當前條帶，那麼可以單獨確定是否將第一偏移方法應用於當前條帶中包括的塊。
當前塊的第一偏移類型可以包括邊緣偏移(eo)、帶偏移(bo)等。根據當前塊的像素值的分類方法，可以確定是否適於根據eo或bo來將當前塊的像素進行分類。
至於eo，根據實施方式的偏移分類可以表明在重建的像素與它們的相鄰像素之間形成的邊緣的方向。根據實施方式的邊緣分類的偏移分類可以表明0°、90°、45°或135°的邊緣方向。此外，至於bo，不同於eo的分類信息，可以對表明作為重建的像素的像素值所屬的區段的帶的信息進行編碼。
當根據實施方式的第一偏移類型是eo時，可以根據重建的像素與它們的相鄰像素之間形成的邊緣的方向和形狀來確定重建的像素與原始像素之間的偏移值。
此外，當根據實施方式的第一偏移類型是bo時，在通過劃分當前塊的重建像素的像素值的總範圍而獲取的多個帶之中，可以確定屬於每個帶的重建像素與原始像素之間的偏移值。根據情況，可以通過均勻或不均勻地劃分像素值的總範圍來獲取帶。
因此，根據實施方式的第一偏移方法編碼器12可以基於當前塊的像素值的空間特性來確定表明eo或bo的當前塊的第一偏移類型。
此外，根據實施方式的第一偏移方法編碼器12可以根據當前塊的第一偏移類型來確定重建的像素中的每個像素的第一偏移分類。在下文中，隨後將參考圖4和圖5提供偏移參數的更詳細描述。
根據實施方式的第一偏移方法編碼器12可以根據編碼效率和率失真(rd)代價來確定最合適的第一偏移參數。
此外，當確定第一偏移方法應用於當前塊時，根據實施方式的第一偏移方法編碼器12可以應用針對重建的當前塊而確定的基於第一偏移參數的偏移。
同時，根據實施方式的第一偏移方法編碼器12可以基於所確定的當前塊的第一偏移參數與周邊塊的第一偏移參數之間的差異來確定是否使用周邊塊的第一偏移參數來確定當前塊的第一偏移參數。是否使用周邊塊的第一偏移參數可以由第一偏移合併信息表示。
根據實施方式的周邊塊可以是與當前塊相鄰的左側塊或上部塊。
根據實施方式的第二偏移方法編碼器14可以確定應用了基於第一偏移參數的偏移的當前條帶的第二偏移方法，並且可以在第二偏移方法應用於當前條帶時確定第二偏移參數。
根據實施方式的第二偏移方法編碼器14可以確定是否將第二偏移方法應用於當前條帶的每個顏色分量。例如，第二偏移方法編碼器14可以針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來確定第二偏移參數。
第二偏移方法編碼器14可基於第一偏移方法是否應用於當前條帶來確定是否將第二偏移方法應用於當前條帶。
具體而言，當第一偏移方法沒有應用於當前條帶時，根據實施方式的第二偏移方法編碼器14可以確定第二偏移方法不應用於當前條帶。
此外，當第一偏移方法應用於當前條帶時，根據實施方式的第二偏移方法編碼器14可以參考是否將第二偏移方法應用於當前條帶的先前編碼條帶來確定是否將第二偏移方法應用於當前條帶。例如，在先前條帶中包括的塊之中的應用了第二偏移方法的塊的比例大於預定值時，第二偏移方法編碼器14可以確定將第二偏移方法應用於當前條帶。在先前條帶中包括的塊之中的應用了第二偏移方法的塊的比例小於預定值時，第二偏移方法編碼器14可以確定不將第二偏移方法應用於當前條帶。
或者，當第一偏移方法應用於當前條帶時，第二偏移方法編碼器14可以確定第二偏移方法應用於當前條帶。
或者，根據實施方式的第二偏移方法編碼器14可以確定是否將第二偏移方法應用於當前條帶中包括的塊，隨後基於是否將第二偏移方法應用於當前條帶中包括的塊來確定是否將第二偏移方法應用於當前條帶。例如，根據實施方式的第二偏移方法編碼器14可以根據編碼效率和率失真(rd)代價、基於當前條帶中包括的塊中的每個塊的第二偏移參數來確定將第二偏移方法應用於當前條帶是否合適，從而確定是否將第二偏移方法應用於當前條帶。
根據實施方式的第二偏移方法編碼器14可以確定與當前條帶有關的、表明是否將第二偏移方法應用於當前條帶的第二偏移使用信息。第二偏移使用信息可以被包括在條帶標頭中。
如果確定第二偏移方法應用於當前條帶，那麼根據實施方式的第二偏移方法編碼器14可以確定用於應用第二偏移方法的當前塊的第二偏移參數。第二偏移參數可以包括下列至少之一：與當前塊有關的第二偏移使用信息、當前塊的第二偏移類型、第二偏移分類和第二偏移值。如果確定第二偏移方法沒有應用於當前條帶，那麼根據實施方式的第二偏移方法編碼器14可以不確定當前塊的第二偏移參數。
根據實施方式的第二偏移方法編碼器14可以針對當前塊的每個顏色分量來確定第二偏移參數。例如，第二偏移方法編碼器14可以針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來確定第二偏移參數。
根據實施方式的第二偏移方法編碼器14可以基於當前塊的第一偏移參數來確定當前塊的第二偏移參數。
具體而言，根據實施方式的第二偏移方法編碼器14可以基於與當前塊有關的第一偏移使用信息來確定與當前塊有關的第二偏移使用信息。例如，當第一偏移使用信息表明第一偏移方法沒有應用於當前塊時，第二偏移方法編碼器14可以不確定第二偏移使用信息，並且可以不將第二偏移方法應用於當前塊。當第一偏移使用信息表明第一偏移方法應用於當前塊時，第二偏移方法編碼器14可以確定是否將第二偏移方法應用於當前塊，並且可以確定第二偏移使用信息。
此外，根據實施方式的第二偏移方法編碼器14可以基於當前塊的第一偏移類型和第一偏移分類來確定當前塊的第二偏移類型和第二偏移分類。
例如，根據實施方式的第二偏移方法編碼器14可以不同地確定當前塊的第二偏移類型和第一偏移類型。在當前塊的第一偏移類型是帶類型時，第二偏移方法編碼器14可以將當前塊的第二偏移類型確定為邊緣類型。
或者，根據實施方式的第二偏移方法編碼器14可以不同地確定當前塊的第二偏移分類和第一偏移分類。在當前塊的第一偏移類型是eo的0°時，第二偏移方法編碼器14可以將當前塊的第二偏移分類確定為90°、45°和135°中的一個。
根據實施方式的第二偏移方法編碼器14可以根據編碼效率和rd代價在除先前確定的第一偏移類型之外的偏移類型之中確定第二偏移類型。此外，根據實施方式的第二偏移方法編碼器14可以根據編碼效率和rd代價在除先前確定的第一偏移分類之外的偏移分類之中確定第二偏移分類。
同時，根據實施方式的第二偏移方法編碼器14可以基於所確定的當前塊的第二偏移參數與周邊塊的第二偏移參數之間的差異來確定是否使用周邊塊的第二偏移參數來確定當前塊的第二偏移參數。是否使用周邊塊的第二偏移參數可以表示為第二偏移合併信息。
根據實施方式的周邊塊可以是與當前塊相鄰的左側塊或上部塊。
根據實施方式的比特流生成器16可以對與當前條帶有關的、表明是否將所確定的第一偏移方法應用於當前條帶的第一偏移使用信息執行熵編碼。
根據實施方式的與當前條帶有關的第一偏移使用信息可以根據熵編碼方法分類成將由基於上下文的熵編碼進行編碼的參數和在旁路模式下進行熵編碼的參數。
基於上下文的熵編碼方法可以包括一系列的操作，諸如，用於將諸如與當前條帶有關的第一偏移使用信息等符號變換成比特流的二進位化，以及在比特流上執行基於上下文的算術編碼。上下文自適應二進位編碼(cabac)廣泛用作基於上下文的算術編碼方法的示例。根據基於上下文的算術編碼和解碼，符號比特流的每個比特可以被視作上下文的二進數(bin)，並且每個比特位置可以映射到二進數索引。比特流的長度(即，二進數的長度)可以根據符號值的尺寸而改變。針對基於上下文的算術編碼和解碼，需要對符號執行基於上下文的概率建模。
需要在下列假設下執行基於上下文的概率建模：當前符號的編碼比特是基於先前編碼的符號在概率上預測的。針對基於上下文的概率建模，需要新更新符號比特流的每個比特位置的上下文，即，每個二進數索引。此處，概率建模指的是分析每個二進數中生成0或1的概率的過程。通過將分析新塊的符號的每個比特的概率的結果反映到上下文來更新上下文的過程可以在每個塊中重複。如果上述概率建模重複，那麼可以確定每個二進數與概率匹配的概率模型。
因此，參考基於上下文的概率模型，可以相對於當前符號的二進位化比特流的每個比特來執行選擇和輸出與當前上下文對應的代碼的操作，從而執行基於上下文的熵編碼。
針對符號的每個二進數確定基於上下文的概率模型從而基於上下文進行熵編碼的操作需要大量的計算和時間。另一方面，旁路模式下的熵編碼包括使用概率模型的熵編碼操作，而不考慮符號的上下文。
此外，根據實施方式的比特流生成器16可以按照與對第一偏移使用信息執行熵編碼相同的方式對與當前條帶有關的第二偏移使用信息執行熵編碼，第二偏移使用信息表明是否將所確定的第二偏移方法應用於當前條帶。就這點而言，只有在第一偏移方法應用於當前條帶時，比特流生成器16才可以對與當前條帶有關的第二偏移使用信息執行熵編碼。
根據實施方式的比特流生成器16可以對所確定的當前塊的第一偏移參數和第二偏移參數執行熵編碼。
根據實施方式的比特流生成器16可以對所確定的與當前塊有關的第一偏移合併信息和第二偏移合併信息執行熵編碼。
根據實施方式的比特流生成器16可以生成包括與執行熵編碼有關的信息的比特流，並且將比特流傳輸到圖2a的視頻解碼設備20。
參考圖1b，在操作11中，根據實施方式的視頻編碼設備10可以確定是否將第一偏移方法應用於包括當前塊的當前條帶。
例如，根據實施方式的視頻編碼設備10可以參考是否將第一偏移方法應用於當前條帶的先前編碼的條帶來確定是否將第一偏移方法應用於當前條帶。例如，當先前條帶中包括的塊之中的應用了第一偏移方法的塊的比例大於預定值時，視頻編碼設備10可以確定將第一偏移方法應用於當前條帶。
如果確定第一偏移方法沒有應用於當前條帶，那麼視頻編碼設備10可以不確定當前塊的第一偏移參數。
如果確定第一偏移方法應用於當前條帶，那麼視頻編碼設備10可以確定當前塊的第一偏移參數，並且將基於所確定的第一偏移方法的偏移應用於當前塊。具體而言，視頻編碼設備10可以根據編碼效率和rd代價來確定與當前塊有關的表明是否將第一偏移方法應用於當前塊的第一偏移使用信息、當前塊的第一偏移類型、第一偏移分類和第一偏移值。
此外，當第一偏移類型是eo時，根據實施方式的視頻編碼設備10可以不確定第一偏移值的編碼信息。將參考圖4a和圖4b詳細描述第一偏移值的預測。
此外，根據實施方式的視頻編碼設備10可以基於所確定的當前塊的第一偏移參數來確定與當前塊有關的第一偏移合併信息。
在操作13中，當第一偏移方法應用於當前條帶時，根據實施方式的視頻編碼設備10可以確定是否將第二偏移方法應用於當前條帶。
根據實施方式的視頻編碼設備10可以基於是否將第一偏移方法應用於當前條帶來確定是否將第二偏移方法應用於當前條帶。
根據實施方式的視頻編碼設備10可以參考是否將第二偏移方法應用於當前條帶的先前編碼的條帶來確定是否將第二偏移方法應用於當前條帶。例如，當先前條帶中包括的塊之中的應用了第二偏移方法的塊的比例大於預定值時，視頻編碼設備10可以確定將第二偏移方法應用於當前條帶。當先前條帶中包括的塊之中的應用了第二偏移方法的塊的比例小於預定值時，視頻編碼設備10可以確定不將第二偏移方法應用於當前條帶。
或者，當第一偏移方法應用於當前條帶時，根據實施方式的視頻編碼設備10可以確定將第二偏移方法應用於當前條帶。
此外，當確定第一偏移方法沒有應用於當前條帶時，根據實施方式的視頻編碼設備10可以不確定是否將第二偏移方法應用於當前條帶。
在操作15中，當第二偏移方法應用於當前條帶時，根據實施方式的視頻編碼設備10可以確定當前塊的第二偏移參數。根據實施方式的視頻編碼設備10可以確定下列至少之一：與當前塊有關的表明是否將第二偏移方法應用於當前塊的第二偏移使用信息、當前塊的第二偏移類型、第二偏移分類和第二偏移值。
具體而言，根據實施方式的視頻編碼設備10可以基於當前塊的第一偏移參數來確定當前塊的第二偏移參數。
根據實施方式的視頻編碼設備10可以基於與當前塊有關的第一偏移使用信息來確定與當前塊有關的第二偏移使用信息。例如，當第一偏移使用信息表明第一偏移方法沒有應用於當前塊時，視頻編碼設備10可以不確定第二偏移使用信息，並且可以不將第二偏移方法應用於當前塊。當第一偏移使用信息表明第一偏移方法應用於當前塊時，視頻編碼設備10可以確定是否將第二偏移方法應用於當前塊，並且可以確定第二偏移使用信息。
此外，根據實施方式的視頻編碼設備10可以基於當前塊的第一偏移類型和第一偏移分類來確定當前塊的第二偏移類型和第二偏移分類。
例如，根據實施方式的視頻編碼設備10可以不同地確定當前塊的第二偏移類型和第一偏移類型。或者，根據實施方式的視頻編碼設備10可以不同地確定當前塊的第二偏移分類和第一偏移分類。
換言之，根據實施方式的視頻編碼設備10可以根據編碼效率和rd代價在除先前確定的第一偏移類型之外的偏移類型之中確定第二偏移類型。此外，視頻編碼設備10可以在除先前確定的第一偏移分類之外的偏移分類中確定第二偏移分類。
此外，在當前塊的第二偏移類型是帶類型時，根據實施方式的視頻編碼設備10還可以將表明第二偏移值是否為0的零值信息確定為第二偏移值，並且如果第二偏移值不是0，那麼還可以將表明第一偏移值是正數還是負數的編碼信息確定為第二偏移參數。如果第二偏移值是0，那麼根據實施方式的視頻編碼設備10可以只將零值信息確定為第二偏移值。
此外，在當前塊的第二偏移類型是邊緣類型時，根據實施方式的視頻編碼設備10可以不必確定第二偏移值的編碼信息。
此外，根據實施方式的視頻編碼設備10可以基於所確定的當前塊的第二偏移參數來確定與當前塊有關的第二偏移合併信息。
在操作17中，根據實施方式的視頻編碼設備10可以生成包括下列至少之一的比特流：與當前條帶有關的表明是否將第一偏移方法應用於當前條帶的第一偏移使用信息、與當前條帶有關的表明是否將第二偏移方法應用於當前條帶的第二偏移使用信息以及當前塊的第一偏移參數和第二偏移參數。
根據實施方式的視頻編碼設備10可以包括用於共同控制第一偏移方法編碼器12、第二偏移方法編碼器14和比特流生成器16的中央處理器(未示出)。或者，第一偏移方法編碼器12、第二偏移方法編碼器14和比特流生成器16可以通過它們的單獨處理器(未示出)驅動，所述單獨處理器協作地操作以控制視頻編碼設備10。或者，視頻編碼設備10外部的外部處理器(未示出)可以控制第一偏移方法編碼器12、第二偏移方法編碼器14和比特流生成器16。
根據實施方式的視頻編碼設備10可以包括用於存儲第一偏移方法編碼器12、第二偏移方法編碼器14和比特流生成器16的輸入數據和輸出數據的一個或多個數據存儲設備(未示出)。視頻編碼設備10可以包括用於管理數據存儲設備的數據輸入和數據輸出的存儲器控制器(未示出)。
為了執行包括變換在內的視頻編碼操作並且為了輸出視頻編碼操作的結果，視頻編碼設備10可以與內部或外部視頻編碼處理器協同操作。視頻編碼設備10的內部視頻編碼處理器可以是用於執行視頻編碼操作的獨立處理器。此外，視頻編碼設備10、中央處理單元或圖形處理單元可以包括用來執行基礎視頻編碼操作的視頻編碼處理器模塊。
圖2a和圖2b分別是根據本公開的實施方式的視頻解碼設備20的框圖和應用多偏移方法的視頻解碼方法的流程圖。
參考圖2a，根據實施方式的視頻解碼設備20可以包括第一偏移方法解碼器22和第二偏移方法解碼器24。
根據實施方式的視頻解碼設備20可以接收比特流，所述比特流包括視頻的編碼數據。視頻解碼設備20可以對接收的比特流中的編碼視頻樣本進行解析，並且可以對每個圖像塊執行熵解碼、反量化、逆變換、預測和運動補償，從而生成重建的像素，進而可以生成重建的圖像。
此外，根據實施方式的視頻解碼設備20可以接收用於施加原始像素與重建的像素之間的差值的多偏移方法的偏移參數，並且可以最小化原始圖像與重建的圖像之間的誤差。視頻解碼設備20可以接收視頻的每個lcu的編碼數據，並且可以基於從lcu中分割且具有樹形結構的編碼單元來重建lcu。
具體而言，根據實施方式的視頻解碼設備20可以從所接收的比特流的條帶標頭中解析出表明是否將多偏移方法應用於當前條帶的信息。例如，視頻解碼設備20可以解析下列至少之一：與當前條帶有關的第一偏移信息和與當前條帶有關的第二偏移信息。根據實施方式的視頻解碼設備20可以針對當前條帶的每個顏色分量來解析與當前條帶有關的第一偏移信息和與當前條帶有關的第二偏移信息。
此外，根據實施方式的視頻解碼設備20可以根據是否將多偏移方法應用於包括當前塊的當前條帶而從所接收的比特流的條帶標頭中解析出下列至少之一：當前塊的第一偏移參數和當前塊第二偏移參數。根據實施方式的視頻解碼設備20可以針對當前條帶的每個顏色分量來解析與當前條帶有關的第一偏移參數和第二偏移參數。
此外，根據實施方式的視頻解碼設備20可以解析與當前塊有關的第一偏移合併信息和第二偏移合併信息，並且如果第一偏移合併信息表明周邊塊的第一偏移參數可用，則可以不解析當前塊的第一偏移參數。如果第二偏移合併信息表明周邊塊的第二偏移參數可用，那麼根據實施方式的視頻解碼設備20可以不解析當前塊的第二偏移參數。
根據實施方式的視頻解碼設備20可以將根據第一偏移方法的偏移施加至所重建的當前塊。第一偏移方法解碼器22可以預先確定是否將根據第一偏移方法的偏移施加至所重建的當前塊。
具體而言，根據實施方式的第一偏移方法解碼器22可以基於從比特流中獲取的與當前條帶有關的第一偏移使用信息來確定是否將第一偏移方法應用於包括當前塊的當前條帶。
根據實施方式的第一偏移方法解碼器22可以確定是否將第一偏移方法應用於當前條帶的每個顏色分量。例如，第一偏移方法解碼器22可以獲取與當前條帶有關的、針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)的第一偏移使用信息，並且可以確定是否應用第一偏移方法。
如果確定第一偏移方法應用於包括當前塊的當前條帶，那麼根據實施方式的第一偏移方法解碼器22可以將從比特流中獲取的當前塊的基於第一偏移參數的偏移施加至所重建的當前塊。根據實施方式的第一偏移方法解碼器22可以獲取當前塊的第一偏移參數以用於當前塊的每個顏色分量，並且可以將基於第一偏移參數的偏移施加至每個顏色分量。
此外，根據實施方式的第一偏移方法解碼器22可以參考從比特流中獲取的與當前塊有關的第一合併信息，基於周邊塊的第一偏移參數來確定當前塊的第一偏移參數。
根據實施方式的第二偏移方法解碼器24可以將根據第二偏移方法的偏移施加至施加了根據第一偏移方法的偏移的當前塊。第二偏移方法解碼器24可以預先確定是否將根據第二偏移方法的偏移施加至當前塊。
具體而言，根據實施方式的第二偏移方法解碼器24可以基於從比特流中獲取的與當前條帶有關的第一偏移使用信息來確定是否將第二偏移方法應用於包括當前塊的當前條帶。
例如，在與當前條帶有關的第一偏移使用信息表明第一偏移方法沒有應用於當前條帶時，根據實施方式的第二偏移方法解碼器24可以不解析與當前條帶有關的第二偏移使用信息，並且可以不將第二偏移方法應用於當前條帶。
此外，在與當前條帶有關的第一偏移使用信息表明將第一偏移方法應用於當前條帶時，根據實施方式的第二偏移方法解碼器24可以解析與當前條帶有關的第二偏移使用信息，並且可以確定是否將第二偏移方法應用於當前條帶。
或者，在與當前條帶有關的第一偏移使用信息表明第一偏移方法應用於當前條帶時，根據實施方式的第二偏移方法解碼器24可以不解析與當前條帶有關的第二偏移使用信息，並且可以將第二偏移方法應用於當前條帶。
根據實施方式的第一偏移方法解碼器22可以確定是否針對當前條帶的每個顏色分量來應用第一偏移方法。例如，在與當前條帶有關的第二偏移使用信息被解析時，第一偏移方法解碼器22可以獲取針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)的與當前條帶有關的第二偏移使用信息，並且可以確定是否應用第二偏移方法。
如果確定第二偏移方法應用於包括當前塊的當前條帶，那麼根據實施方式的第二偏移方法解碼器24可以獲取當前塊的第二偏移參數。根據實施方式的第二偏移方法解碼器24可以獲取針對當前塊的每個顏色分量的當前條帶的第二偏移參數，並且可以將基於第一偏移參數的偏移施加至每個顏色分量。
具體而言，根據實施方式的第二偏移方法解碼器24可以從比特流中解析當前塊的第二偏移參數。就這點而言，第二偏移方法解碼器24可以基於當前塊的第一偏移參數來解析第二偏移參數。例如，在第一偏移參數之中的與當前塊有關的第一偏移使用信息表明第一偏移方法應用於當前塊時，根據實施方式的第二偏移方法解碼器24可以解析與當前塊有關的第二偏移使用信息。在第一偏移參數之中的與當前條帶有關的第一偏移使用信息表明第一偏移方法沒有應用於當前塊時，根據實施方式的第二偏移方法解碼器24可以不解析與當前塊有關的第二偏移使用信息，並且可以不將第二偏移方法應用於當前塊。
根據實施方式的第二偏移方法解碼器24可以從比特流中解析當前塊的第二偏移參數中的一些，並且可以基於當前塊的第一偏移參數來確定其他參數。
例如，根據實施方式的第二偏移方法解碼器24可以不從比特流中解析當前塊的第二偏移類型，而是可以參考第一偏移類型來確定第二偏移類型。例如，根據實施方式的第二偏移方法解碼器24可以不同地確定當前塊的第二偏移類型和第一偏移類型。在當前塊的第一偏移類型是帶類型時，第二偏移方法解碼器24可以將當前塊的第二偏移類型確定為邊緣類型。
此外，根據實施方式的第二偏移方法解碼器24可以參考從比特流中獲取的與當前塊有關的第二合併信息，基於周邊塊的第二偏移參數來確定當前塊的第二偏移參數。
如果確定了當前塊的第二偏移參數，那麼根據實施方式的第二偏移方法解碼器24可以將基於第二偏移參數的偏移施加至施加了基於第一偏移參數的偏移的當前塊。
第一偏移方法和第二偏移方法順序地應用於所重建的當前塊，從而最小化當前塊的原始像素和重建的像素的各個方向上的誤差以及各種類型的誤差。
參考圖2b，在操作21中，根據實施方式的視頻解碼設備20可以確定是否將第一偏移方法應用於包括當前塊的當前條帶。
例如，根據實施方式的視頻解碼設備20可以基於從比特流中獲取的與當前條帶有關的第一偏移使用信息來確定是否將第一偏移方法應用於當前條帶。在與當前條帶有關的第一偏移使用信息表明第一偏移方法應用於當前條帶時，視頻解碼設備20可以從比特流中獲取當前塊的第一偏移參數。
根據實施方式的當前塊的第一偏移參數可以包括與當前塊有關的第一偏移使用信息、當前塊的第一偏移類型、第一偏移分類和第一偏移值。此外，當前塊的第一偏移參數還可以包括表明第一偏移值是正數還是負數的編碼信息等。
根據實施方式的視頻解碼設備20可以將基於所獲取的當前塊的第一偏移參數的偏移施加至所重建的當前塊。
此外，根據實施方式的視頻解碼設備20可以參考從比特流中獲取的與當前塊有關的第一合併信息，基於周邊塊的第一偏移參數來確定當前塊的第一偏移參數。
在操作23中，當第一偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以確定是否將第二偏移方法應用於當前條帶。
具體而言，在與當前條帶有關的第一偏移使用信息表明將第一偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以從比特流中獲取與當前條帶有關的第二偏移使用信息。視頻解碼設備20可以基於與當前條帶有關的第二偏移使用信息來確定是否將第二偏移方法應用於當前條帶。
此外，在與當前條帶有關的第一偏移使用信息表明第一偏移方法沒有應用於當前條帶時，根據實施方式的視頻解碼設備20可以不獲取與當前條帶有關的第二偏移使用信息，並且可以不將第二偏移方法應用於當前條帶。
此外，在與當前條帶有關的第一偏移使用信息表明第一偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以基於與當前條帶有關的第一偏移使用信息將第二偏移方法應用於當前條帶。
在操作25中，當第二偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以確定當前塊的第二偏移參數。
在與當前條帶有關的第二偏移使用信息表明第二偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以從比特流中獲取當前塊的第二偏移參數。
根據實施方式的視頻解碼設備20可以基於當前塊的第一偏移參數來獲取第二偏移參數。
例如，在第一偏移參數之中的與當前條帶有關的第一偏移使用信息表明第一偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以獲取與當前塊有關的第二偏移使用信息。在第一偏移參數之中的與當前條帶有關的第一偏移使用信息表明第一偏移方法沒有應用於當前條帶時，根據實施方式的視頻解碼設備20可以不獲取與當前塊有關的第二偏移使用信息，並且可以不將第二偏移方法應用於當前條帶。
根據實施方式的當前塊的第二偏移參數可以包括下列至少之一：與當前塊有關的第二偏移使用信息、當前塊的第二偏移類型、第二偏移分類和第二偏移值。此外，當前塊的第二偏移參數還可以包括表明第二偏移值是正數還是負數的編碼信息。
根據實施方式的視頻解碼設備20可以從比特流中獲取當前塊的第二偏移參數中的一些，並且可以基於當前塊的第一偏移參數來確定其他參數。
例如，根據實施方式的視頻解碼設備20可以不從比特流中獲取當前塊的第二偏移參數，並且可以參考第一偏移類型來確定第二偏移參數。例如，根據實施方式的視頻解碼設備20可以不同地確定當前塊的第二偏移類型和第一偏移類型。在當前塊的第一偏移類型是帶類型時，視頻解碼設備20可以將當前塊的第二偏移類型確定為邊緣類型。
此外，根據實施方式的視頻解碼設備20可以參考從比特流中獲取的與當前塊有關的第二合併信息，基於周邊塊的第二偏移參數來確定當前塊的第二偏移參數。
在操作27中，根據實施方式的視頻解碼設備20可以將基於第二偏移參數的偏移施加至施加了基於第一偏移參數的偏移的當前塊。
根據實施方式的視頻解碼設備20可以將第一偏移方法和第二偏移方法順序地應用於所重建的當前塊，從而最小化當前塊的原始像素和重建的像素的各個方向上的誤差以及各種類型的誤差。
現在將參考圖3詳細描述使用樣本自適應偏移(sao)技術的視頻解碼方法。圖3是根據本公開的實施方式的視頻解碼設備30的框圖。
視頻解碼設備30包括熵解碼器31、反量化器32、逆變換器33、重建器34、幀內預測器35、參考圖片緩衝器36、運動補償器37、去塊化濾波器38和偏移施加器39。
視頻解碼設備30可以接收包括編碼視頻數據的比特流。熵解碼器31可以從比特流中解析幀內模式信息、幀間模式信息、偏移信息和殘差。
根據實施方式的偏移信息可以包括例如偏移參數。
由熵解碼器31提取的殘差可以是經量化的變換係數。因此，反量化器32可以對殘差執行反量化以重建變換係數，並且逆變換器33可以對重建的係數執行逆變換以重建空間域的殘差值。
為了預測和重建空間域的殘差值，可以執行幀內預測或運動補償。
如果幀內模式信息由熵解碼器31提取，那麼幀內預測器35可以通過使用幀內模式信息來確定與當前樣本空間相鄰的樣本之中將被重建當前樣本參考的參考樣本。可以在重建器34先前重建的樣本之中選擇參考樣本。重建器34可以通過使用基於幀內模式信息確定的參考樣本和由逆變換器33重建的殘差值來重建當前樣本。
如果幀間模式信息由熵解碼器31提取，那麼運動補償器37可以通過使用幀間模式信息來確定在當前圖片之前重建的圖片之中將被重建當前圖片的當前樣本參考的參考圖片。幀間模式信息可以包括運動矢量、參考索引等。通過使用參考索引，在當前圖片之前重建並且存儲在參考圖片緩衝器36中的圖片之中，可以確定將用來對當前樣本執行運動補償的參考圖片。通過使用運動矢量，可以確定將用來對當前塊執行運動補償的參考圖片的參考塊。重建器34可以通過使用基於幀間模式信息確定的參考塊和由逆變換器33重建的殘差值來重建當前樣本。
重建器34可以重建樣本並且可以輸出重建的像素。重建器34可以基於具有樹形結構的編碼單元來生成每個lcu的重建的像素。
去塊化濾波器38可以執行濾波以減小設置在lcu或者具有樹形結構的編碼單元中的每個編碼單元的邊緣區域的像素的塊化現象。
此外，偏移施加器39可以根據sao技術來調整當前塊(例如，每個lcu的重建的像素)的偏移。sao技術可以包括多偏移方法。
偏移施加器39可以從所提取的偏移信息中確定當前塊的偏移參數，例如，偏移類型、偏移分類和偏移值。
就這點而言，根據實施方式的視頻解碼設備30可以使用多偏移方法。例如，偏移施加器39可以將具有不同偏移信息的第一偏移方法和第二偏移方法順序地施加至當前塊以施加偏移。
由熵解碼器31從偏移信息中提取偏移參數的操作可以對應於圖2的視頻解碼設備20的解析操作，並且偏移施加器39的操作可以對應於視頻解碼設備20的第一偏移方法解碼器22和第二偏移方法解碼器24的操作。
偏移施加器39可以從偏移值中確定當前塊的重建的像素的偏移值的符號和差值。偏移施加器39可以通過將重建的像素的像素值增大或減小所確定的差值來減小重建的像素與原始像素之間的誤差。
包括由偏移施加器39施加偏移的重建像素的圖片可以存儲在參考圖片緩衝器36中。因此，通過根據sao操作使用具有重建的樣本與原始像素之間的最小化誤差的參考圖片，可以對下一圖片執行運動補償。
根據sao操作，基於重建的像素與原始像素之間的差值，可以確定包括重建的像素的像素組的偏移。至於sao操作，現在將詳細描述用於將重建的像素分類到像素組中的實施方式。
根據sao操作，像素可以基於(i)重建的像素的邊緣類型或(ii)重建的像素的帶類型進行分類。可以通過使用偏移類型來限定基於邊緣類型還是帶類型對像素進行分類。
現在將詳細描述根據sao操作的基於邊緣類型對像素進行分類的實施方式。
在確定了當前塊的邊緣類型偏移時，可以確定當前塊中包括的重建的像素中的每個像素的偏移分類。換言之，通過將當前重建的像素的像素值與相鄰像素的像素值進行比較，可以限定當前重建的像素的偏移分類。現在將參考圖4a到圖4c描述確定邊緣類型偏移分類的示例。
圖4a到圖4c是用於說明根據本公開的實施方式的邊緣類型樣本sao技術的示意圖。
參考圖4a，根據實施方式，索引0、1、2和3可以順序地分配到邊緣類型偏移分類41、42、43和44。
根據實施方式的邊緣類型的邊緣分類可表明由鄰近當前重建的像素x0的兩個相鄰像素形成的一維邊緣的方向。例如，根據實施方式的邊緣分類可以表明0°、90°、45°或135°的邊緣方向。
索引為0的邊緣分類41表明在當前重建的像素x0與兩個水平相鄰像素x1和x2之間形成邊緣的情況。索引為1的邊緣分類42表明在當前重建的像素x0與兩個豎直相鄰像素x3和x4之間形成邊緣的情況。索引為2的邊緣分類43表明在當前重建的像素x0與兩個135°對角線相鄰像素x5和x8之間形成邊緣的情況。索引為3的邊緣分類44表明在當前重建的像素x0與兩個45°對角線相鄰像素x6和x7之間形成邊緣的情況。
因此，通過分析當前塊中包括的重建的像素的邊緣方向並且因而確定當前塊中的強邊緣方向，可以確定當前塊的邊緣分類。
相對於每個邊緣分類，可以根據當前塊的當前像素的邊緣形狀來分類出類別。現在將參考圖4b和圖4c來描述根據邊緣形狀的類別的示例。
圖4b和圖4c分別是根據本公開的實施方式的示出邊緣類型的類別的表和圖。
根據實施方式的邊緣類型類別可以表明當前塊的當前像素是否對應於凹邊緣的局部谷、設置在凹邊緣的局部谷周圍的彎角處的像素、凸邊緣的局部峰，或者設置在凸邊緣的局部峰周圍的彎角處的像素。例如，邊緣類型類別可以包括根據上述邊緣類型的四個類別。
圖4b示例性地示出用於確定邊緣的類別的條件。圖4c示例性地示出重建的像素與相鄰像素之間的邊緣形狀以及它們的像素值c、a和b。
c表明當前塊的重建的像素的索引，並且a和b表明根據邊緣方向的當前重建像素的兩側的鄰近像素的索引。xa、xb和xc分別表明索引為a、b和c的重建的像素的像素值。在圖4c中，x軸表明當前重建的像素和當前重建的像素的兩側的相鄰像素的索引，並且y軸表明樣本的像素值。
類別1表明當前樣本對應於凹邊緣的最低點(即，局部谷)的情況(xc<xa&&xc<xb)。如圖4c的類別1的圖表所示，如果相鄰像素a與b之間的當前重建的像素c對應於凹邊緣的最低點，那麼可以將當前重建的像素分類為類別1。
類別2表明當前樣本設置在凹邊緣的最低點周圍的彎角(即，凹形拐角)處的情況(xc<xa&&xc＝＝xb||xc＝＝xa&&xc<xb)。如圖表52所示，如果相鄰像素a與b之間的當前重建的像素c設置在凹邊緣的向下曲線的端點處(xc<xa&&xc＝＝xb)，或者如圖表53所示，如果當前重建的像素c設置在凹邊緣的向上曲線的起點處(xc＝＝xa&&xcxa&&xc＝＝xb||xc＝＝xa&&xc>xb)。如圖表54所示，如果相鄰像素a與b之間的當前重建的像素c設置在凸邊緣的向下曲線的起點處(xc＝＝xa&&xc>xb)，或者如圖表55所示，如果當前重建的像素c設置在凸邊緣的向上曲線的端點處(xc>xa&&xc＝＝xb)，那麼當前重建的像素可以分類為類別3。
類別4表明當前樣本對應於凸邊緣的最高點(即，局部峰)的情況(xc>xa&&xc>xb)。如圖表56所示，如果相鄰像素a與b之間的當前重建的像素c對應於凸邊緣的最高點，那麼可以將當前重建的像素分類為類別4。
如果當前重建的像素不滿足類別1、2、3和4的條件中的任一個，那麼當前重建的像素不對應於邊緣，因而被分類為類別0，並且類別0的偏移不需要編碼。
根據本公開的實施方式，針對與相同類別對應的重建的像素，可以將重建的像素與原始像素之間的差值的平均值確定為當前類別的偏移。此外，可以確定所有類別的偏移。
如果通過使用正偏移值來調整重建的像素值，那麼類別1和2的凹邊緣可以平滑，但可以因負偏移值而銳化。類別3和4的凸邊緣可以因負偏移值而平滑，並且可以因正偏移值而銳化。
視頻編碼設備10可不允許邊緣的銳化效應。此處，類別1和2的凹邊緣需要正偏移值，並且類別3和4的凸邊緣需要負偏移值。在這種情況下，如果邊緣的類別已知，那麼可以確定偏移值的符號。因此，視頻編碼設備10可以不傳輸偏移值的符號，而是可以只傳輸偏移值的絕對值。此外，視頻解碼設備20可以不接收偏移值的符號，而是可以只接收偏移值的絕對值。
因此，視頻編碼設備10可以根據當前邊緣分類的類別對偏移值進行編碼和傳輸，並且視頻解碼設備20可以依據所接收的偏移值來調整類別的重建的像素。
例如，如果邊緣類型的偏移值被確定為0，那麼視頻編碼設備10可以只傳輸與當前塊有關的表明不向當前塊施加偏移的偏移使用信息。
例如，如果邊緣類型的偏移值不是0，那麼視頻編碼設備10可以傳輸偏移絕對值作為偏移值。視頻編碼設備10不需要傳輸偏移值的符號。
視頻解碼設備20可以從所接收的偏移值中讀取與當前塊有關的偏移使用信息，並且如果偏移值不是0，則可以讀取偏移絕對值。可以基於重建的像素與相鄰像素之間的邊緣類型，根據邊緣類別來預測偏移值的符號。
因此，根據實施方式的視頻編碼設備10可以相對於邊緣方向根據邊緣形狀來確定像素的類別，並且可以將用於每個類別的像素之間的平均誤差值確定為偏移值。視頻編碼設備10可以對表示邊緣類型的偏移類型信息、表示邊緣方向的偏移分類信息以及偏移值進行編碼和傳輸。
根據實施方式的視頻解碼設備20可以接收偏移類型信息、偏移分類信息和偏移值。視頻解碼設備20可以根據偏移類型信息和偏移分類信息來確定當前塊的邊緣方向。視頻解碼設備20可以根據重建的像素中的每個像素的邊緣方向來確定與邊緣形狀對應的類別，並且可以在所接收的偏移值之中確定與類別對應的偏移值。視頻解碼設備20可以依據偏移值來調整重建的像素的像素值，從而最小化原始圖像與重建的圖像之間的誤差。
現在將參考圖5詳細描述根據實施方式的根據sao技術而基於帶類型對像素分類的實施方式。
圖5是用於描述根據本公開的實施方式的帶類型sao技術的示意圖。
如果確定根據偏移類型依據重建的像素的帶類型對當前塊的像素進行分類，那麼視頻解碼設備20可以將重建的像素分類成具有類似值的帶。視頻解碼設備20可以通過使用從比特流中獲取的偏移參數以帶為單位來施加偏移值，從而減小原始圖像與重建的圖像之間的誤差。
具體而言，當前塊的重建的像素的每個像素值可以屬於多個帶中的一個。例如，像素值可以根據p比特採樣而具有從最小值(min)0到最大值(max)2^(p-1)的總範圍。如果像素值的總範圍(min，max)被分成k個周期，那麼像素值的每個周期被稱為帶。如果bk表示第k個帶的最大值，那麼可以分出帶[b0，b1-1]、[b1，b2-1]、[b2，b3-1]、……以及[bk-1，bk]。如果當前重建的像素的像素值rec(x，y)屬於帶[bk-1，bk]，那麼可以將當前帶確定為k。帶可以均勻或不均勻地劃分。
例如，參考圖5，如果將像素值分類成相等的8比特像素帶，那麼可以將像素值分成32個帶。更具體地，可以將它們分類成帶[0，7]、[8，15]、……、[240，247]以及[248，255]。
在根據帶類型分類的多個帶之中，可以確定重建的像素的每個像素值所屬的帶。此外，可以確定每個帶中的表明原始像素與重建的像素之間的誤差的平均值的偏移值。就這點而言，可以不針對所有帶來確定偏移值，但可以確定當前lcu中包括的像素之中的屬於每個帶的像素的數量，並且可以針對具有很多像素的帶來確定相鄰帶的偏移值。
例如，參考圖5，可以針對當前塊的每個帶基於樣本數59來確定帶組57，並且可以確定所確定的帶組57中包括的帶的偏移值。例如，帶組57可以包括32個帶之中的當前塊的大多數樣本所屬的4個帶，並且可以用將帶組57中包括的4個帶中的每個帶的偏移值信號化，但本實施方式不限於此。可以通過使用最小化rd代價的各種方法來確定帶中的一些，並且在rd代價較小時，可以將所確定的帶中的一些確定為用於最終調整重建的像素值的帶。
因此，視頻編碼設備10和視頻解碼設備20可以編碼和收發與根據當前塊的偏移類型分類的帶中的每個帶對應的偏移，並且可以將偏移施加至重建的像素。
因此，根據帶類型，視頻編碼設備10和視頻解碼設備20可以根據像素值所屬的帶對重建的像素進行分類，可以將偏移確定為屬於相同帶的重建的像素的平均誤差值，並且可以依據偏移來調整重建的像素，從而將原始圖像與重建的圖像之間的誤差最小化。
當確定根據帶類型的偏移時，視頻編碼設備10和視頻解碼設備20可以根據帶位置將重建的像素分類成類別。例如，如果像素值的總範圍被分成k個帶，那麼可以根據表示第k個帶的帶索引k將類別加索引。類別的數量可以被確定為與帶的數量對應。
然而，為了減少數據，視頻編碼設備10和視頻解碼設備20可以限制用來確定偏移的類別的數量。例如，可以將與在帶索引增加的方向上具有預定開始位置的帶起連續預定數量的帶分配到類別，並且可以只確定每個類別的偏移。
例如，參考圖5，如果索引為12的帶88～95被確定為開始帶時，從開始帶算起的四個帶(即，索引為12、13、14和15的帶)可以分別分配到類別1、2、3和4。因此，可以將索引為12的帶中包括的重建的像素與原始像素之間的平均誤差確定為類別1的偏移o1。同樣，可以將索引為13的帶96～103中包括的重建的像素與原始像素之間的平均誤差確定為類別2的偏移o2，可以將索引為14的帶104～111中包括的重建的像素與原始像素之間的平均誤差確定為類別3的偏移o3，並且可以將索引為15的帶112～119中包括的重建的像素與原始像素之間的平均誤差確定為類別4的偏移o4。
在這種情況下，需要與帶範圍的開始位置(即，左側帶的位置)有關的信息來確定分配到類別的帶的位置。因此，視頻編碼設備10可以對表明左側帶的位置的左起點信息進行編碼和傳輸，以作為偏移分類。
例如，參考圖5，可以對表明帶組57的左側開始帶88～95的信息p1進行編碼和傳輸。
視頻編碼設備10可以根據類別對表示帶類型的偏移類型、偏移分類和偏移值進行編碼和傳輸。
例如，參考圖5，視頻編碼設備10可以針對帶組57的每個帶對表明偏移值58的信息o1、o2、o3和o4進行編碼和傳輸。根據實施方式的視頻解碼設備20可以接收根據類別的偏移類型、偏移分類和偏移值。如果所接收的偏移類型是帶類型，那麼視頻解碼設備20可以從偏移分類中讀取帶開始位置。視頻解碼設備20可以在從開始帶算起的四個帶之中確定重建的像素所屬的帶，可以確定根據類別的偏移之中的分配到當前帶的偏移值，並且可以將偏移值施加至重建的像素。
圖6a和圖6b是用於說明根據本公開的實施方式的應用多偏移方法的方法的示意圖。
參考圖6a，當前塊60包括多個重建的像素。例如，重建的當前塊60可以包括值為128、100、128、110、90、98、110、100和100的重建的像素。
就這點而言，根據實施方式的應用多偏移方法的視頻解碼設備20可以通過將sao技術應用於當前塊60來減小重建的像素值的誤差。例如，視頻解碼設備20可以將根據第一偏移方法的偏移施加至當前塊60。
具體而言，根據實施方式的視頻解碼設備20可以將邊緣類型的第一偏移方法應用於當前塊60。參考圖6a，當前塊60的行61的邊緣方向可以是水平方向。換言之，在行61的當前重建的像素x0與兩個水平相鄰像素x1和x2之間形成邊緣。此外，當前重建的像素x0的像素值是90，並且相鄰像素x1和x2的像素值分別是110和98，因此可以將當前重建的像素x0的偏移類別確定為類別1。
因此，根據實施方式的視頻解碼設備20可以將類別1的偏移值施加至當前塊60的當前重建的像素x0。例如，類別1的偏移值可以是7。在施加了根據第一偏移方法的偏移的當前塊62中，當前重建的像素x0的像素值可以是97。此外，類別1的偏移值和類別2的偏移值也可以分別施加至當前重建的像素x0的上部重建像素和下部重建像素。
就這點而言，關於應用了第一偏移方法的當前塊62的像素值，可以由第一偏移方法來調整列63的像素值，因此可以減小誤差。然而，應用第一偏移方法的當前塊62仍可以具有邊緣類型或帶類型的誤差。或者，當前塊62的一些像素可以具有通過應用第一偏移方法而造成的更大誤差。
因此，根據實施方式的視頻解碼設備20可以將第二偏移方法應用於應用了第一偏移方法的當前塊62。例如，第二偏移方法可以以不同於第一偏移方法的偏移類型的帶類型應用，並且即使應用了與第一偏移方法的偏移類型相同的邊緣類型，也可以在不同於第一偏移方法的偏移分類的方向上應用於偏移分類。此外，第二偏移方法可以由不同於第一偏移方法的偏移值的偏移值進行應用。
參考圖6b，應用了第一偏移方法的當前塊62的列63可以包括豎直方向上的誤差。因此，根據實施方式的視頻解碼設備20可以在應用第一偏移方法的當前塊62的豎直方向上施加邊緣類型的基於第二偏移方法的偏移，從而減小誤差。
具體而言，參考圖6b，在當前塊62的當前重建的像素x0與兩個豎直相鄰像素x3和x4之間形成邊緣。此外，應用第一偏移方法的當前塊62的當前重建的像素x0的像素值是97，並且相鄰像素x3和x4的像素值分別是107和102，因此可以將當前重建的像素x0的偏移類別確定為類別1。
因此，根據實施方式的視頻解碼設備20可以將類別1的偏移值施加至應用了第一偏移方法當前塊62的當前重建的像素x0。根據實施方式的第二偏移方法的類別1的偏移值可以不同於第一偏移方法的類別1的偏移值。例如，第二偏移方法的類別1的偏移值可以是5。在施加了根據第二偏移方法的偏移的當前塊64中，當前重建的像素x0的像素值可以是102。
此外，類別2的偏移值和類別1的偏移值也可以分別施加至當前重建的像素x0的左側重建像素和右側重建像素。
根據實施方式的視頻解碼設備20可以將根據第一偏移方法的偏移和根據第二偏移方法的偏移順序地施加至當前塊64，從而減小像素值之間的誤差。
圖7是示出根據本公開的實施方式的與條帶的多偏移方法有關的多項使用信息的句構元素的表。
根據實施方式的視頻解碼設備20可以從比特流中獲取表明是否將多偏移方法應用於當前條帶的多項信息，從而確定是否應用多偏移方法。
參考表明根據實施方式的表示多偏移方法的多項信息的表70，視頻解碼設備20可以從比特流中獲取下列信息中的至少之一：與當前條帶有關的表明是否將第一偏移方法應用於當前條帶的第一偏移使用信息1st_slice_sao_flag，以及與當前條帶有關的表明是否將第二偏移方法應用於當前條帶的第二偏移使用信息2nd_slice_sao_flag。
例如，作為條帶單元中的句構元素，與當前條帶有關的第一偏移使用信息1st_slice_sao_flag和與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag可以被包括在條帶標頭中並且接收在視頻解碼設備20中。根據實施方式的視頻解碼設備20可以對所接收的比特流執行熵編碼，從而獲取下列信息中的至少之一：與當前條帶有關的第一偏移使用信息1st_slice_sao_flag和與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag。
具體而言，根據實施方式的視頻解碼設備20可以預先從比特流中獲取與當前條帶有關的第一偏移使用信息1st_slice_sao_flag。例如，根據實施方式的與當前條帶有關的第一偏移使用信息1st_slice_sao_flag可以是1比特。當所獲取的與當前條帶有關的第一偏移使用信息1st_slice_sao_flag是0時，根據實施方式的視頻解碼設備20可以不將基於第一偏移方法的偏移施加至當前條帶，並且當所獲取的與當前條帶有關的第一偏移使用信息1st_slice_sao_flag是1時，可以將基於第一偏移方法的偏移施加至當前條帶。
此外，當所獲取的與當前條帶有關的第一偏移使用信息1st_slice_sao_flag是0時，根據實施方式的視頻解碼設備20可以不獲取與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag，並且可以確定第一偏移方法和第二偏移方法都不應用於當前條帶。
此外，當所獲取的與當前條帶有關的第一偏移使用信息1st_slice_sao_flag是1時，根據實施方式的視頻解碼設備20可以確定第一偏移方法應用於當前條帶，並且可以另外獲取與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag。
根據實施方式的與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag可以是1比特。當所獲取的與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag是0時，根據實施方式的視頻解碼設備20可以不將基於第二偏移方法的偏移施加至當前條帶，並且當所獲取的與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag是1時，可以將基於第二偏移方法的偏移施加至當前條帶。
針對當前條帶的每個分量，可以獲取根據實施方式的與當前條帶有關的第一偏移使用信息1st_slice_sao_flag和與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag。例如，可以針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來獲取和使用與當前條帶有關的第一偏移使用信息1st_slice_sao_flag和與當前條帶有關的第二偏移使用信息2nd_slice_sao_flag。
參考表明根據另一實施方式的表示多偏移方法的多項信息的表71，視頻解碼設備20可以只獲取與當前條帶有關的表明是否將第一偏移方法應用於當前條帶的第一偏移使用信息1st_slice_sao_flag，從而確定是否應用第一偏移方法和第二偏移方法。
具體而言，視頻解碼設備20可以基於1比特的、與當前條帶有關的第一偏移使用信息來確定是否應用第一偏移方法和第二偏移方法。
例如，在與當前條帶有關的第一偏移使用信息1st_slice_sao_flag是0時，根據實施方式的視頻解碼設備20可以確定基於第一偏移方法的偏移和基於第二偏移方法的偏移都不施加至當前條帶。
此外，當與當前條帶有關的第一偏移使用信息1st_slice_sao_flag是1時，根據實施方式的視頻解碼設備20可以確定基於第一偏移方法的偏移和基於第二偏移方法的偏移都施加至當前條帶。換言之，除只將第一偏移方法應用於當前塊的情況之外，根據實施方式的視頻解碼設備20可以只通過使用1比特來確定是否應用多偏移，從而增加編碼效率。
圖8a到圖8c是示出根據本公開的各種實施方式的當前塊的句構元素的表。
根據各種實施方式的視頻解碼設備20可以從比特流中獲取表明是否將多偏移方法應用於當前塊的多項信息，從而確定是否應用多偏移方法。
參考圖8a的表80，根據實施方式的視頻解碼設備20可以從比特流中獲取與當前塊有關的表明是否將第一偏移方法應用於當前塊的第一偏移使用信息1st_cb_sao_flag和與當前塊有關的表明是否將第二偏移方法應用於當前塊的第二偏移使用信息2nd_cb_sao_flag。例如，作為塊單元中的句構元素，與當前塊有關的第一偏移使用信息1st_cb_sao_flag和與當前塊有關的第二偏移使用信息2nd_cb_sao_flag可以由根據實施方式的視頻解碼設備20通過對所接收的比特流執行熵編碼來獲取。
當與包括當前塊的當前條帶有關的第一偏移使用信息是1時，根據實施方式的視頻解碼設備20可以獲取與當前塊有關的第一偏移使用信息1st_cb_sao_flag。此外，當與包括當前塊的當前條帶有關的第二偏移使用信息是1時，根據實施方式的視頻解碼設備20可以獲取與當前塊有關的第二偏移使用信息2nd_cb_sao_flag。
此外，根據實施方式的視頻解碼設備20可以預先從比特流中獲取與當前塊有關的第一偏移使用信息1st_cb_sao_flag。例如，根據實施方式的與當前塊有關的第一偏移使用信息1st_cb_sao_flag可以是1比特。當所獲取的與當前塊有關的第一偏移使用信息1st_cb_sao是0時，根據實施方式的視頻解碼設備20可以不將基於第一偏移方法的偏移施加至當前塊，並且當所獲取的與當前塊有關的第一偏移使用信息1st_cb_sao是1時，可以將基於第一偏移方法的偏移施加至當前塊。
此外，當所獲取的與當前塊有關的第一偏移使用信息1st_cb_sao_flag是0時，根據實施方式的視頻解碼設備20可以不獲取與當前塊有關的第二偏移使用信息2nd_cb_sao_flag，並且可以確定第一偏移方法和第二偏移方法都不應用於當前塊。
此外，當所獲取的與當前塊有關的第一偏移使用信息1st_cb_sao_flag是1時，根據實施方式的視頻解碼設備20可以確定第一偏移方法應用於當前塊，並且可以另外獲取與當前塊有關的第二偏移使用信息2nd_cb_sao_flag。
根據實施方式的與當前塊有關的第二偏移使用信息2nd_cb_sao_flag可以是1比特。當所獲取的與當前塊有關的第二偏移使用信息2nd_cb_sao_flag是0時，根據實施方式的視頻解碼設備20可以不將基於第二偏移方法的偏移施加至當前塊，並且當所獲取的與當前塊有關的第二偏移使用信息2nd_cb_sao_flag是1時，可以將基於第二偏移方法的偏移施加至當前塊。
針對當前條帶的每個分量，可以獲取根據實施方式的與當前塊有關的第一偏移使用信息1st_cb_sao_flag和與當前塊有關的第二偏移使用信息2nd_cb_sao_flag。例如，可以針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來獲取和使用與當前塊有關的第一偏移使用信息1st_cb_sao_flag和與當前塊有關的第二偏移使用信息2nd_cb_sao_flag。
此外，參考圖8b的表82，根據實施方式的視頻解碼設備20可以從比特流中獲取表明當前塊的偏移類型的多項信息，從而確定是否應用多偏移方法。
具體而言，根據實施方式的視頻解碼設備20可以獲取表明當前塊的第一偏移方法的偏移類型的信息1st_sao_type_idx和表明當前塊的第二偏移方法的偏移類型的信息2nd_sao_type_idx。例如，作為塊單元中的句構元素，與當前塊有關的第一偏移類型信息1st_sao_type_idx和與當前塊有關的第二偏移類型信息2nd_sao_type_idx可以由根據實施方式的視頻解碼設備20通過對所接收的比特流執行熵解碼來獲取。
例如，根據實施方式的與當前塊有關的第一偏移類型信息1st_sao_type_idx和與當前塊有關的第二偏移類型信息2nd_sao_type_idx可以是1比特的信息，並且可以在它們為0時表明帶類型，而在它們為1時表明邊緣類型。
針對當前條帶的每個分量，可以獲取根據實施方式的與當前塊有關的第一偏移類型信息1st_sao_type_idx和與當前塊有關的第二偏移類型信息2nd_sao_type_idx。例如，可以針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)來獲取和使用與當前塊有關的第一偏移類型信息1st_sao_type_idx和與當前塊有關的第二偏移類型信息2nd_sao_type_idx。
參考圖8b的表84，根據另一實施方式的視頻解碼設備20可以只獲取與當前塊有關的第一偏移使用信息，從而確定第一偏移類型和第二偏移類型。
具體而言，視頻解碼設備20可以基於與當前塊有關的第一偏移使用信息來確定第一偏移類型和第二偏移類型。
根據實施方式的視頻解碼設備20可以不直接獲取第二偏移類型信息，而是可以基於第一偏移類型信息來確定第一偏移方法的偏移類型。例如，當與當前塊有關的第一偏移使用信息是0時，根據實施方式的視頻解碼設備20可以將當前塊的第一偏移類型確定為帶類型並且將當前塊的第二偏移類型確定為邊緣類型。
此外，當與當前塊有關的第一偏移類型信息是1時，根據實施方式的視頻解碼設備20可以將當前塊的第一偏移類型確定為邊緣類型並且將當前塊的第二偏移類型確定為帶類型。
圖9是示出根據本公開的實施方式的表明當前塊的偏移類型的多項信息的句構元素的表。
參考表90，根據實施方式的視頻解碼設備20可以從比特流中獲取表明當前塊的偏移類型的多項信息。
具體而言，根據實施方式的視頻解碼設備20可以獲取下列信息中的至少之一：表明當前塊的第一偏移方法的偏移類型的信息1st_sao_type_idx和表明當前塊的第二偏移方法的偏移類型的信息2nd_sao_type_idx。例如，作為塊單元中的句構元素，與當前塊有關的第一偏移類型信息1st_sao_type_idx和與當前塊有關的第二偏移類型信息2nd_sao_type_idx可以由根據實施方式的視頻解碼設備20通過對所接收的比特流執行熵解碼來獲取。
參考表90，根據實施方式的與當前塊有關的第一偏移類型信息可以包括與當前塊有關的第一偏移使用信息。例如，第一偏移類型信息可以包括表明是否將第一偏移方法應用於當前塊的第一比特和表明當前塊的第一偏移方法的偏移類型的第二比特。例如，偏移類型可以是邊緣類型或帶類型。
因此，根據實施方式的視頻解碼設備20可以獲取第一偏移類型信息的第一比特，從而確定是否將第一偏移方法應用於當前塊，並且當第一比特是1時，可以獲取第一偏移類型信息的第二比特，從而確定當前塊的第一偏移類型。當第一偏移類型信息的第一比特是0時，視頻解碼設備20可以不獲取第一偏移類型信息的第二比特。
此外，當第一偏移類型信息的第一比特是1時，根據實施方式的視頻解碼設備20可以獲取與當前塊有關的第二偏移類型信息。視頻解碼設備20可以獲取第二偏移類型信息的第一比特，從而確定是否將第二偏移方法應用於當前塊，並且當第一比特是1時，可以獲取第二偏移類型信息的第二比特，從而確定當前塊的第二偏移類型。當第二偏移類型信息的第一比特是0時，視頻解碼設備20可以不獲取第二偏移類型信息的第二比特。
針對當前條帶的每個分量，可以獲取根據實施方式的與當前塊有關的第一偏移類型信息和第二偏移類型信息。例如，針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)，可以獲取和使用與當前塊有關的第一偏移類型信息和第二偏移類型信息。
圖10a和圖10b是示出根據本公開的各種實施方式的表明當前塊的多偏移方法的偏移分類的多項信息的句構元素的表。
參考圖10a的表1000，根據實施方式的視頻解碼設備20可以獲取表明當前塊的偏移分類的多項信息，並且可以確定多偏移方法的偏移分類。
具體而言，根據實施方式的視頻解碼設備20可以獲取表明當前塊的第一偏移方法的偏移分類的信息1st_sao_eo_class和表明當前塊的第二偏移方法的偏移分類的信息2nd_sao_eo_class。例如，作為塊單元中的句構元素，與當前塊有關的第一偏移分類信息1st_sao_eo_class和與當前塊有關的第二偏移分類信息2nd_sao_eo_class可以由根據實施方式的視頻解碼設備20通過對所接收的比特流執行熵解碼來獲取。
例如，根據實施方式的與當前塊有關的第一偏移分類信息1st_sao_eo_class和與當前塊有關的第二偏移分類信息2nd_sao_eo_class可以是2比特的信息，並且可以表明邊緣類型的水平方向、豎直方向、135°對角線方向和45°對角線方向中的一個的分類。
針對當前條帶的每個分量，可以獲取根據實施方式的與當前塊有關的第一偏移分類信息和第二偏移分類信息。例如，針對ycrcb彩色圖像的亮度樣本(y分量)以及第一色度樣本和第二色度樣本(cr和cb分量)，可以獲取和使用與當前塊有關的第一偏移分類信息和第二偏移分類信息。
此外，在帶類型的情況下，根據實施方式的與當前塊有關的第一偏移分類信息和第二偏移分類信息可以包括表明左側帶的位置的5比特的左起點信息，從而變確定帶範圍。
或者，參考圖10b的表1001，可以示出根據另一實施方式的表明當前塊的偏移分類的多項信息。例如，根據另一實施方式的視頻解碼設備20可以包括與當前塊有關的第一偏移分類信息1st_sao_class和與當前塊有關的第二偏移分類信息2nd_sao_class。與當前塊有關的第一偏移分類信息1st_sao_class可以是表明第一偏移方法的偏移類型和偏移分類的信息。此外，與當前塊有關的第二偏移分類信息2nd_sao_class可以是表明第二偏移方法的偏移類型和偏移分類的信息。
例如，與當前塊有關的第一偏移分類信息可以是3比特的信息，並且可以是表明下列中的一項的信息：帶偏移類型、水平方向的邊緣偏移類型、豎直方向的邊緣偏移類型、135°對角線方向的邊緣偏移類型和45°對角線方向的邊緣偏移類型。例如，在與當前塊有關的第一偏移分類信息是0、1、2、3和4時，可以針對0、1、2、3和4中的每個將帶偏移類型、水平方向的邊緣偏移類型、豎直方向的邊緣偏移類型、135°對角線方向的邊緣偏移類型和45°對角線方向的邊緣偏移類型加索引。視頻解碼設備20可以參考與當前塊有關的第一偏移分類信息來確定第一偏移方法的偏移類型和偏移分類。
此外，與當前塊有關的第二偏移分類信息可以是表明下列中的一項的信息：帶偏移類型、水平方向的邊緣偏移類型、豎直方向的邊緣偏移類型、135°對角線方向的邊緣偏移類型和45°對角線方向的邊緣偏移類型，除與當前塊有關的第一偏移分類信息所表明的偏移分類之外。
例如，在與當前塊有關的第一偏移分類信息表明帶偏移時，與當前塊有關的第二偏移分類信息可以是將下列中的一項加索引的2比特的信息：水平方向的邊緣偏移類型、豎直方向的邊緣偏移類型、135°對角線方向的邊緣偏移類型和45°對角線方向的邊緣偏移類型。因此，與當前塊有關的第一偏移分類信息和第二偏移分類信息可以具有不同的索引。
例如，與當前塊有關的第二偏移分類信息可以將偏移分類順序地加索引為0、1、2和3，除帶偏移類型、水平方向的邊緣偏移類型、豎直方向的邊緣偏移類型、135°對角線方向的邊緣偏移類型和45°對角線方向的邊緣偏移類型之中的第一偏移方法的偏移分類之外。換言之，與當前塊有關的第一偏移分類信息和第二偏移分類信息可以表明不同的偏移分類，但它們具有相同值。
根據另一實施方式的視頻解碼設備20可以通過使用與當前塊有關的3比特的第一偏移分類信息和與當前塊有關的2比特的第二偏移分類信息來確定當前塊的第一偏移類型和第二偏移分類以及當前塊的第二偏移類型和第二偏移分類。
圖11是用於說明根據本公開的實施方式的使用合併模式來應用多偏移方法的方法的表。
根據實施方式的視頻解碼設備20可以基於相鄰塊的第一偏移參數和第二偏移參數來確定當前塊的第一偏移參數和第二偏移參數。根據實施方式的當前塊的相鄰塊可以是當前塊的左側塊或上部塊。
例如，根據實施方式的視頻解碼設備20可以獲取與當前塊有關的第一偏移合併信息1st_sao_merge_flag和與當前塊有關的第二偏移合併信息2nd_sao_merge_flag，並且可以確定是否基於相鄰塊的第一偏移參數和第二偏移參數來確定當前塊的第一偏移參數和第二偏移參數。
根據實施方式的與當前塊有關的第一偏移合併信息1st_sao_merge_flag和與當前塊有關的第二偏移合併信息2nd_sao_merge_flag可以是塊單元中的句構元素，並且分別可以表明是否基於相鄰塊的第一偏移參數來確定當前塊的第一偏移參數以及是否基於相鄰塊的第二偏移參數來確定當前塊的第二偏移參數。根據實施方式的視頻解碼設備20可以通過對所接收的比特流執行熵解碼來獲取第一和/或第二偏移參數。
例如，在與包括當前塊的當前條帶有關的第一偏移使用信息表明第一偏移方法應用於當前條帶時，根據實施方式的視頻解碼設備20可以從比特流中獲取與當前塊有關的第一偏移合併信息。
當第一偏移合併信息是1時，根據實施方式的視頻解碼設備20可以基於當前塊的左側塊或上部塊的第一偏移參數來確定當前塊的第一偏移參數。
此外，當第一偏移合併信息是0時，根據實施方式的視頻解碼設備20可以從比特流中確定當前塊的第一偏移參數。
此外，根據實施方式的視頻解碼設備20可以分別獲取表明是否參考當前塊的左側塊的第一偏移合併信息的合併信息以及表明是否參考當前塊的上部塊的第一偏移合併信息的合併信息。例如，視頻解碼設備20可以預先獲取表明是否參考當前塊的左側塊的第一偏移合併信息的合併信息，並且當確定不參考左側塊的第一偏移合併信息時，可以獲取表明是否參考當前塊的上部塊的第一偏移合併信息的合併信息。
此外，當確定第二偏移方法應用於當前條帶時，視頻解碼設備20可以參考與當前條帶有關的第一偏移使用信息或與當前條帶有關的第二偏移使用信息來獲取與當前塊有關的第二偏移合併信息。
當第二偏移合併信息是1時，根據實施方式的視頻解碼設備20可以基於當前塊的左側塊或上部塊的第二偏移參數來確定當前塊的第二偏移參數。
此外，當第二偏移合併信息是0時，根據實施方式的視頻解碼設備20可以從比特流中獲取當前塊的第二偏移參數，或者可以基於第一偏移參數來確定當前塊的第二偏移參數。
此外，根據實施方式的視頻解碼設備20可以分別獲取表明是否參考當前塊的左側塊的第二偏移合併信息的合併信息以及表明是否參考當前塊的上部塊的第二偏移合併信息的合併信息。例如，視頻解碼設備20可以預先獲取表明是否參考當前塊的左側塊的第二偏移合併信息的合併信息，並且當確定不參考左側塊的第二偏移合併信息時，可以獲取表明是否參考當前塊的上部塊的第二偏移合併信息的合併信息。
因此，根據各種實施方式的視頻編碼設備10以及視頻解碼設備20和30可以應用多偏移方法(例如第一偏移方法和第二偏移方法)以重建當前塊，從而最小化各個方向和各種類型的誤差並且減小意外誤差。
在根據各種實施方式的視頻編碼設備10以及視頻解碼設備20和30中，視頻數據可以分割成lcu，每個lcu可以基於具有樹形結構的編碼單元進行編碼和解碼，並且每個lcu可以根據像素分類來確定偏移值。在下文中，將參考圖12到圖31描述基於具有樹形結構的編碼單元和變換單元的視頻編碼方法、視頻編碼設備、視頻解碼方法和視頻解碼設備。
圖12是根據本公開的實施方式的基於具有樹形結構的編碼單元的視頻編碼設備100的框圖。
根據實施方式的基於根據樹形結構的編碼單元的、涉及視頻預測的視頻編碼設備100包括最大編碼單元分割器110、編碼單元確定器120和輸出單元130。在下文中，為便於描述，基於根據樹形結構的編碼單元的、涉及視頻預測的視頻編碼設備100將簡稱為「視頻編碼設備100」。
最大編碼單元分割器110可以基於最大編碼單元來分割當前圖片，所述最大編碼單元是具有圖像的當前圖片的最大尺寸的編碼單元。如果當前圖片大於最大編碼單元，那麼當前圖片的圖像數據可以被分割成至少一個最大編碼單元。根據實施方式的最大編碼單元可以是具有32×32、64×64、128×128、256×256等尺寸的數據單元，其中，數據單元的形狀是具有2的冪次方的寬度和長度的正方形。圖像數據可以輸出到編碼單元確定器120，以用於至少一個lcu。
根據實施方式的編碼單元的特徵可以是最大尺寸和深度。深度表示編碼單元從最大編碼單元進行空間分割的次數，並且隨著深度加深，根據深度的較深編碼單元可以從最大編碼單元分割到最小編碼單元。最大編碼單元的深度是最淺深度，並且最小編碼單元的深度是最深深度。由於對應於每個深度的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此，對應於較淺深度的編碼單元可以包括對應於較深深度的多個編碼單元。
如上文所述，當前圖片的圖像數據根據編碼單元的最大尺寸分割成最大編碼單元，並且每個最大編碼單元可以包括根據深度分割的較深編碼單元。由於根據實施方式的最大編碼單元根據深度進行分割，因此，最大編碼單元中包括的空間域的圖像數據可以根據深度進行分層分類。
限制最大編碼單元的高度和寬度進行分層分割的總次數的編碼單元的最大深度和最大尺寸可以預先確定。
編碼單元確定器120對通過根據深度分割最大編碼單元的區域而獲得的至少一個分割區域進行編碼，並且根據至少一個分割區域確定輸出最終編碼的圖像數據的深度。換言之，通過根據當前圖片的最大編碼單元對根據深度的較深編碼單元中的圖像數據進行編碼並且選擇具有最小編碼誤差的深度，編碼單元確定器120確定編碼深度。根據最大編碼單元確定的編碼深度和圖像數據輸出到輸出單元130。
最大編碼單元中的圖像數據基於與等於或小於最大深度的至少一個深度對應的較深編碼單元進行編碼，並且對圖像數據進行編碼的結果基於每個較深編碼單元進行比較。在比較較深編碼單元的編碼誤差之後，可以選擇具有最小編碼誤差的深度。針對每個最大編碼單元，可以選擇至少一個編碼深度。
隨著編碼單元根據深度進行分層分割，並且隨著編碼單元的數量增加，最大編碼單元的尺寸被分割。此外，即使編碼單元對應於一個最大編碼單元中的相同深度，也要通過分別測量每個編碼單元的圖像數據的編碼誤差來確定是否將對應於相同深度的編碼單元中的每個編碼單元分割到較深深度。因此，即使在圖像數據被包括在一個最大編碼單元中時，編碼誤差也可以根據一個最大編碼單元中的區域而不同，因此，編碼深度可以根據圖像數據中的區域而不同。因此，在一個最大編碼單元中可以確定一個或多個編碼深度，並且最大編碼單元的圖像數據可以根據至少一個編碼深度的編碼單元劃分。
因此，根據實施方式的編碼單元確定器120可以確定最大編碼單元中包括的具有樹形結構的編碼單元。根據實施方式的「具有樹形結構的編碼單元」包括在最大編碼單元包括的所有較深編碼之中的、與確定為編碼深度的深度對應的編碼單元。編碼深度的編碼單元可以根據最大編碼單元的相同區域中的深度來分層確定，並且可以在不同區域中獨立確定。同樣，當前區域中的編碼深度可以獨立於另一區域中的編碼深度進行確定。
根據實施方式的最大深度是與從最大編碼單元到最小編碼單元的分割次數相關的索引。根據實施方式的第一最大深度可以表示從最大編碼單元到最小編碼單元的總分割次數。根據實施方式的第二最大深度可以表示從最大編碼單元到最小編碼單元的深度等級的總數。例如，當最大編碼單元的深度為0時，最大編碼單元被分割一次的編碼單元的深度可以設置為1，並且最大編碼單元被分割兩次的編碼單元的深度可以設置為2。在這種情況下，如果最小編碼單元是最大編碼單元被分割四次的編碼單元，那麼存在深度0、1、2、3和4的深度等級，因此，第一最大深度可以設置為4，並且第二最大深度可以設置為5。
預測編碼和變換可以根據最大編碼單元來執行。預測編碼和變換也根據最大編碼單元基於根據等於或小於最大深度的深度的較深編碼單元來執行。
由於每當最大編碼單元根據深度進行分割時較深編碼單元的數量都增加，因此，在隨著深度加深而生成的所有較深編碼單元上執行包括預測編碼和變換在內的編碼。為便於描述，現在將基於當前深度的編碼單元，在最大編碼單元中描述預測編碼和變換。
根據實施方式的視頻編碼設備100可以不同地選擇用於對圖像數據進行編碼的數據單元的尺寸或形狀。為了對圖像數據進行編碼，執行諸如預測編碼、變換和熵編碼的操作，並且同時，可以將相同的數據單元用於所有操作或者將不同的數據單元用於每個操作。
例如，視頻編碼設備100不僅可以選擇用於對圖像數據進行編碼的編碼單元，而且可以選擇不同於編碼單元的數據單元，從而對編碼單元中的圖像數據執行預測編碼。
為了在最大編碼單元中執行預測編碼，可以基於根據實施方式的對應於編碼深度的編碼單元(即，基於不再分割成對應於較深深度的編碼單元的編碼單元)執行預測編碼。在下文中，不再進行分割並且成為用於預測編碼的基礎單元的編碼單元現在將被稱為「預測單元」。通過分割預測單元而獲得的分區可以包括預測單元和通過分割預測單元的高度和寬度中的至少之一而獲得的數據單元。分區是編碼單元的預測單元被分割的數據單元，並且預測單元可以是與編碼單元具有相同尺寸的分區。
例如，當2n×2n(其中n是正整數)的編碼單元不再分割並且成為2n×2n的預測單元時，分區的尺寸可以是2n×2n、2n×n、n×2n或n×n。分區模式的示例可以包括通過對稱地分割預測單元的高度或寬度而獲得的對稱分區，並且可以選擇性地包括通過不對稱地分割預測單元的高度或寬度(諸如1:n或n:1)而獲得的分區、通過幾何分割預測單元而獲得的分區以及具有任意類型的分區。
預測單元的預測模式可以是幀內模式、幀間模式和跳躍模式中的至少之一。例如，幀內模式和幀間模式可以在2n×2n、2n×n、n×2n或n×n的分區上執行。此外，跳躍模式可以只在2n×2n的分區上執行。編碼在編碼單元中的一個預測單元上獨立執行，從而可以選擇具有最小編碼誤差的預測模式。
根據實施方式的視頻編碼設備100也可以不僅基於用於對圖像數據進行編碼的編碼單元而且基於不同於編碼單元的數據單元而對編碼單元中的圖像數據執行變換。為了在編碼單元中執行變換，可以基於具有小於或等於編碼單元的尺寸的變換單元來執行變換。例如，變換單元可以包括用於幀內模式的數據單元和用於幀間模式的變換單元。
編碼單元中的變換單元可以按與根據樹形結構的編碼單元的類似方式遞歸地分割成更小尺寸的區域，因此，編碼單元的殘差數據可以根據具有樹形結構的變換單元依據變換深度進行劃分。
表明通過分割編碼單元的高度和寬度來達到變換單元的分割次數的變換深度也可以在變換單元中設置。例如，在2n×2n的當前編碼單元中，當變換單元的尺寸是2n×2n時變換深度可以為0，當變換單元的尺寸是n×n時變換深度可以為1，以及當變換單元的尺寸是n/2×n/2時變換深度可以為2。換言之，具有樹形結構的變換單元可以根據變換深度進行設置。
根據編碼深度的編碼信息不僅需要與編碼深度有關的信息，而且需要與預測編碼和變換相關的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，而且確定將預測單元分割成分區的分區模式、根據預測單元的預測模式以及用於變換的變換單元的尺寸。
下文將參考圖7到圖19詳細描述根據實施方式的最大編碼單元中的根據樹形結構的編碼單元以及確定預測單元/分區和變換單元的方法。
編碼單元確定器120可以通過使用基於拉格朗日乘子的率失真優化來測量根據深度的較深編碼單元的編碼誤差。
輸出單元130以比特流的形式輸出基於由編碼單元確定器120確定的至少一個編碼深度進行編碼的最大編碼單元的圖像數據以及根據深度的編碼模式信息。
通過對圖像的殘差數據進行編碼可以獲得編碼的圖像數據。
根據深度的編碼模式信息可以包括編碼深度信息、與預測單元的分區模式有關的信息、與預測模式有關的信息以及與變換單元的尺寸有關的信息。
編碼深度信息可以通過使用根據深度的分割信息進行限定，從而表明是否在較深深度而非當前深度的編碼單元上執行編碼。如果當前編碼單元的當前深度是編碼深度，那麼將當前編碼單元編碼到當前深度的編碼單元，因此，當前深度的分割信息可以限定為不將當前編碼單元分割到較深深度。相反，如果當前編碼單元的當前深度不是該深度，那麼必須在較深深度的編碼單元上執行編碼，因此，當前深度的分割信息可以定義為將當前編碼單元分割到較深深度的編碼單元。
如果當前深度不是編碼深度，那麼在分割成較深深度的編碼單元的編碼單元上執行編碼。由於較深深度的至少一個編碼單元存在於當前深度的一個編碼單元中，因此，在較深深度的每個編碼單元上重複執行編碼，因而可以針對具有相同深度的編碼單元遞歸地執行編碼。
由於針對一個最大編碼單元確定具有樹形結構的編碼單元並且針對編碼深度的編碼單元確定編碼深度信息，因此，可以針對一個最大編碼單元確定至少一項編碼深度信息。此外，最大編碼單元的圖像數據的編碼深度可以根據位置而不同，這是因為圖像數據根據深度進行分層分割，因此，可以針對圖像數據來設置編碼深度和編碼深度信息。
因此，根據實施方式的輸出單元130可以將與對應編碼深度和編碼模式有關的編碼信息分配到最大編碼單元中包括的編碼單元、預測單元和最小單元中的至少之一。
根據實施方式的最小單元是通過將構成最深編碼深度的最小編碼單元分割成4個而獲得的正方形數據單元。或者，根據實施方式的最小單元可以是可被包括在最大編碼單元所包括的所有編碼單元、預測單元、分區單元和變換單元中的最大正方形數據單元。
例如，由輸出單元130輸出的編碼信息可以分類成根據較深編碼單元的編碼信息和根據預測單元的編碼信息。根據較深編碼單元的編碼信息可以包括與預測模式有關的信息和與分區的尺寸有關的信息。根據預測單元的編碼信息可以包括與幀間模式的估計方向有關的信息、與幀間模式的參考圖像索引有關的信息、與運動矢量有關的信息、與幀內模式的色度樣本有關的信息以及與幀內模式的內插法有關的信息。
與根據圖片、條帶或gop定義的編碼單元的最大尺寸有關的信息以及與最大深度的有關信息可以插入到比特流的標頭、序列參數集或圖片參數集中。
與當前視頻準許的變換單元的最大尺寸的有關信息以及與變換單元的最小尺寸有關的信息也可以通過比特流的標頭、序列參數集或圖片參數集輸出。輸出單元130可以對與上述偏移調整技術有關的偏移參數進行編碼並輸出。
根據視頻編碼設備100的最簡單實施方式，較深編碼單元可以是通過將較淺深度的編碼單元(上一層的編碼單元)的高度或寬度一分為二所得到的編碼單元。換言之，在當前深度的編碼單元的尺寸是2n×2n時，較深深度的編碼單元的尺寸是n×n。此外，具有2n×2n尺寸的當前深度的編碼單元可以包括最大4個較深深度的編碼單元。
因此，通過基於最大編碼單元的尺寸和考慮到當前圖片的特徵而確定的最大深度來確定每個最大編碼單元的具有最佳形狀和最佳尺寸的編碼單元，視頻編碼設備100可以形成具有樹形結構的編碼單元。此外，由於可以通過使用各種預測模式和變換中的任一個在每個最大編碼單元上執行編碼，因此，可以根據各種圖像尺寸的編碼單元的特徵來確定最佳編碼模式。
因此，如果具有高解析度或大數據量的圖像在傳統宏塊中編碼，那麼每個圖片的宏塊數量過度增加。因此，針對每個宏塊生成的壓縮信息的數量增加，因而難以傳輸壓縮的信息並且數據壓縮效率降低。然而，通過使用根據實施方式的視頻編碼設備，圖像壓縮效率可以增加，這是因為在考慮圖像的特徵同時調整編碼單元，同時考慮圖像的尺寸而增大編碼單元的最大尺寸。
圖12的視頻編碼設備100可執行上文參考圖1a描述的視頻編碼設備10的操作。
編碼單元確定器120可以執行偏移編碼設備10的偏移參數確定器14的操作。可以相對於每個lcu來確定偏移類型、根據類別的偏移值和偏移分類。
輸出單元130可以執行偏移參數編碼器16的操作。可以輸出相對於每個lcu確定的偏移參數。最初可以輸出表明是否將當前lcu的相鄰lcu的偏移參數用作當前偏移參數的偏移合併信息。作為偏移類型，可以輸出關閉類型、邊緣類型或帶類型。偏移值可以按照零值信息、符號信息和其他偏移值的順序輸出。相對於邊緣類型，可以不輸出偏移值的符號信息。
在當前lcu的偏移合併信息允許採用相鄰lcu的偏移參數時，可以不輸出當前lcu的偏移類型和偏移值。
圖13是根據本公開的實施方式的基於根據樹形結構的編碼單元的視頻解碼設備200的框圖。
根據實施方式的基於根據樹形結構的編碼單元的視頻解碼設備200包括接收器210、圖像數據與編碼信息提取器220以及圖像數據解碼器230。為便於描述，根據實施方式的基於根據樹形結構的編碼單元的視頻解碼設備200將簡稱為「視頻解碼設備200」。
根據實施方式，用於視頻解碼設備200的解碼操作的各種術語(諸如，編碼單元、深度、預測單元、變換單元和各種類型的編碼模式信息)的定義與參考圖12和視頻編碼設備100描述的那些定義相同。
接收器210接收並解析編碼視頻的比特流。圖像數據與編碼信息提取器220從解析的比特流中提取用於每個編碼單元的編碼圖像數據，其中編碼單元具有根據每個最大編碼單元的樹形結構，並且將提取的圖像數據輸出到圖像數據解碼器230。圖像數據與編碼信息提取器220可以從與當前圖片有關的標頭、序列參數集或圖片參數集中提取與當前圖片的編碼單元的最大尺寸有關的信息。
此外，圖像數據與編碼信息提取器220針對根據每個最大編碼單元的具有樹形結構的編碼單元從解析的比特流中提取編碼深度和編碼模式信息。提取的編碼深度和編碼模式信息輸出到圖像數據解碼器230。換言之，比特流中的圖像數據分割成最大編碼單元，使得圖像數據解碼器230針對每個最大編碼單元將圖像數據解碼。
根據最大編碼單元的編碼深度和編碼模式信息可以針對至少一項編碼深度信息進行設置，並且編碼模式信息可以包括與對應編碼單元的分區模式有關的信息、與預測模式有關的信息以及與變換單元的尺寸有關的信息。此外，根據深度的分割信息可以被提取為與編碼深度有關的信息。
由圖像數據與編碼信息提取器220提取的根據每個最大編碼單元的編碼深度和編碼模式信息是被確定當諸如根據實施方式的視頻編碼設備100等編碼器根據每個最大編碼單元針對根據深度的每個較深編碼單元重複執行編碼時會生成最小編碼誤差的編碼深度和編碼模式信息。因此，視頻解碼設備200可以通過根據生成最小編碼誤差的編碼模式對數據進行解碼來重建圖像。
由於與編碼深度和編碼模式信息有關的編碼信息可以分配到對應編碼單元、預測單元和最小單元之中的預定數據單元，因此，圖像數據與編碼信息提取器220可以根據預定數據單元提取編碼深度和編碼模式信息。如果對應最大編碼單元的編碼深度和編碼模式信息根據預定數據單元進行記錄，那麼可以推斷，被分配相同編碼深度和相同編碼模式信息的預定數據單元就是相同最大編碼單元中包括的數據單元。
圖像數據解碼器230可以通過基於根據最大編碼單元的編碼深度和編碼模式信息將每個最大編碼單元中的圖像數據解碼來重建當前圖片。換言之，圖像數據解碼器230可以基於與每個最大編碼單元中包括的具有樹形結構的編碼單元之中的、每個編碼單元的分區模式、預測模式和變換單元有關的讀取信息對圖像數據進行解碼。解碼過程可以包括預測和逆變換，所述預測包括幀內預測和運動補償。
基於與根據編碼深度的編碼單元的預測單元的分區模式和預測類型有關的信息，圖像數據解碼器230可以根據每個編碼單元的分區和預測模式來執行幀內預測或運動補償。
此外，圖像數據解碼器230可以讀取與用於每個編碼單元的根據樹形結構的變換單元有關的信息，從而基於每個編碼單元的變換單元來執行逆變換，從而針對每個最大編碼單元進行逆變換。經由逆變換，可以重建編碼單元的空間區域的像素值。
圖像數據解碼器230可以通過使用根據深度的分割信息來確定當前最大編碼單元的編碼深度。如果分割信息表明圖像數據不再以當前深度分割，那麼當前深度就是編碼深度。因此，圖像數據解碼器230可以通過使用與預測單元的分區模式、預測類型和變換單元的尺寸有關的信息來對當前最大編碼單元中的編碼數據進行解碼。
換言之，通過觀察分配給編碼單元、預測單元和最小單元之中的預定數據單元的編碼信息集，可以收集含有包括相同分割信息的編碼信息的數據單元，並且可以將收集的數據單元視作將由圖像數據解碼器230以相同編碼模式解碼的一個數據單元。因此，可以通過獲取與用於每個編碼單元的編碼模式有關的信息來對當前編碼單元進行解碼。
此外，圖13的視頻解碼設備200可執行上文參考圖2a描述的視頻解碼設備20的操作。
圖像數據與編碼信息提取器220和接收器210可以執行視頻解碼設備20的偏移參數提取器22的操作。圖像數據解碼器230可以執行偏移調整器26的偏移確定器24的操作。
當圖像數據與編碼信息提取器220隻從比特流中解析偏移合併信息而不從比特流中解析當前lcu的偏移參數時，圖像數據與編碼信息提取器220可以按與相鄰偏移參數中的至少一個參數相同的方式來重建當前偏移參數。相鄰偏移參數之中的將被參考的參數可以基於偏移合併信息進行確定。如果圖像數據與編碼信息提取器220基於從比特流中解析的當前lcu的偏移合併信息而確定相鄰偏移參數和當前偏移參數不同，那麼可以從比特流中解析並重建當前lcu的當前偏移參數。
圖像數據與編碼信息提取器220可以從比特流中解析每個lcu的偏移參數。可以從偏移參數中確定偏移類型、根據類別的偏移值和偏移分類。在當前lcu的偏移類型是關閉類型時，可以結束在當前lcu上的偏移調整操作。當偏移類型是邊緣類型時，可以基於表明重建的每個像素的邊緣方向的邊緣分類和表明邊緣形狀的類別從所接收的偏移中選擇當前偏移值。當偏移類型是帶類型時，可以確定重建的每個像素的帶，並且可以從偏移值中選擇與當前帶對應的偏移值。
圖像數據解碼器230可以生成重建的像素，所述重建的像素能夠通過依據對應的偏移值調整重建的像素的像素值來最小化原始像素與重建的像素之間的誤差。每個lcu的重建的像素的偏移可以基於所解析的偏移參數進行調整。
因此，視頻解碼設備200可以獲取與在針對每個最大編碼單元遞歸地執行編碼時生成最小編碼誤差的至少一個編碼單元有關的信息，並且可以使用該信息來對當前圖片進行解碼。換言之，可以對確定是每個最大編碼單元中的最佳編碼單元的、具有樹形結構的編碼單元進行解碼。
因此，即使圖像具有高解析度或具有過大的數據量，圖像仍可以通過使用編碼單元的尺寸和編碼模式來高效解碼和重建，所述編碼單元的尺寸和編碼模式是通過使用從編碼器接收的最佳編碼模式信息根據圖像的特徵而自適應地確定的。
圖14是用於描述根據本公開的實施方式的編碼單元的概念的示意圖。
編碼單元的尺寸可以由寬度×高度來表示，並且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可以分割成64×64、64×32、32×64或32×32的分區，並且32×32的編碼單元可以分割成32×32、32×16、16×32或16×16的分區，16×16的編碼單元可以分割成16×16、16×8、8×16或8×8的分區，以及8×8的編碼單元可以分割成8×8、8×4、4×8或4×4的分區。
在視頻數據310中，解析度是1920×1080，編碼單元的最大尺寸是64，並且最大深度是2。在視頻數據320中，解析度是1920×1080，編碼單元的最大尺寸是64，並且最大深度是3。在視頻數據330中，解析度是352×288，編碼單元的最大尺寸是16，並且最大深度是1。圖14所示的最大深度是指從最大編碼單元到最小編碼單元的總分割次數。
如果解析度較高或數據量較大，那麼編碼單元的最大尺寸可以較大，從而不僅增加編碼效率，而且準確反映圖像的特徵。因此，解析度比視頻數據330高的視頻數據310和320的編碼單元的最大尺寸可以是64。
由於視頻數據310的最大深度是2，因此，視頻數據315的編碼單元310可以包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32和16的編碼單元，這是因為通過將最大編碼單元分割兩次，深度加深兩個層。由於視頻數據330的最大深度是1，因此，視頻數據330的編碼單元335可以包括長軸尺寸為16的最大編碼單元，以及長軸尺寸為8的編碼單元，這是因為通過將最大編碼單元分割一次，深度加深一層。
由於視頻數據320的最大深度是3，因此，視頻數據325的編碼單元320可以包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32、16和8的編碼單元，這是因為通過將最大編碼單元分割三次，深度加深3個層。隨著深度加深，可以準確地表達詳細信息。
圖15是根據本公開的實施方式的基於編碼單元的圖像編碼器400的框圖。
圖像編碼器400執行視頻編碼設備100的編碼單元確定器120的操作，以對圖像數據進行編碼。換言之，幀內預測器410在當前幀405之中以幀內模式對編碼單元執行幀內預測，並且運動估算器420和運動補償器425通過使用當前幀405和參考幀495在當前幀405之中以幀間模式對編碼單元分別執行幀間估算和運動補償。
從幀內預測器410、運動估算器420和運動補償器425輸出的數據通過數據變換器430和量化器440作為經量化的變換係數輸出。經量化的變換係數通過反量化器460和逆變換器470而被重建為空間域中的數據，並且空間域中的重建數據在經過去塊化濾波器480和偏移調整器490進行後處理之後作為參考幀495輸出。經量化的變換係數可以通過熵編碼器450作為比特流455輸出。
為了將圖像編碼器400應用於視頻編碼設備100，圖像編碼器400的所有元件(即，幀內預測器410、運動估算器420、運動補償器425、變換器430、量化器440、熵編碼器450、反量化器460、逆變換器470、去塊化濾波器480和偏移調整器490)在考慮每個lcu的最大深度的同時基於具有樹形結構的編碼單元之中的每個編碼單元來執行操作。
具體而言，幀內預測器410、運動估算器420和運動補償器425在考慮當前lcu的最大尺寸和最大深度的同時確定具有樹形結構的編碼單元之中的每個編碼單元的分區和預測模式，並且變換器430確定具有樹形結構的編碼單元之中的每個編碼單元中的變換單元的尺寸。
圖像編碼器400可以根據參考幀495的每個lcu的邊緣類型(或帶類型)將像素分類，可以確定邊緣方向(或帶開始位置)，並且可以確定每個類別中包括的重建像素的平均誤差值。針對每個lcu，可以對偏移使用信息、偏移合併信息和偏移參數進行編碼並且信號化。
圖16是根據本公開的實施方式的基於編碼單元的圖像解碼器500的框圖。
解析器510從比特流505中解析將要解碼的編碼圖像數據和與解碼所需的編碼有關的信息。編碼圖像數據通過熵解碼器520和反量化器530而作為反量化數據輸出，並且反量化數據通過逆變換器540而被重建成空間域的圖像數據。
幀內預測器550相對於空間域中的圖像數據在幀內模式下對編碼單元執行幀內預測，並且運動補償器560通過使用參考幀585在幀間模式下對編碼單元執行運動補償。
經過幀內預測器550和運動補償器560的空間域中的圖像數據可以在經過去塊化濾波器570和偏移調整器580後處理之後作為重建的幀595輸出。此外，經過去塊化濾波器570和偏移調整器580後處理的圖像數據可以作為參考幀585輸出。
為了在視頻解碼設備200的圖像數據解碼器230中對圖像數據進行解碼，圖像解碼器500可以執行在解析器510之後執行的操作。
為了將圖像解碼器500應用於視頻解碼設備200，圖像解碼器500的所有元件(即，解析器510、熵解碼器520、反量化器530、逆變換器540、幀內預測器550、運動補償器560、去塊化濾波器570和偏移調整器580)針對每個lcu基於具有樹形結構的編碼單元來執行操作。
具體而言，幀內預測器550和運動補償器560針對具有樹形結構的編碼單元中的每個基於分區和預測模式來執行操作，並且逆變換器540針對每個編碼單元基於變換單元的尺寸來執行操作。
圖像解碼器500可以從比特流中提取每個lcu的偏移使用信息、偏移合併信息和偏移參數。與相鄰lcu的偏移參數相同的當前偏移參數可以基於當前lcu的偏移合併信息進行重建。通過使用當前lcu的偏移參數之中的偏移類型和偏移值，可以根據邊緣類型或帶類型依據對應於類別的偏移值來調整重建的幀595的lcu的重建像素中的每個像素。
圖17是示出根據本公開的實施方式的根據深度的編碼單元和分區的示意圖。
根據實施方式的視頻編碼設備100和根據實施方式的視頻解碼設備200使用分層編碼單元，從而考慮圖像的特徵。編碼單元的最大高度、最大寬度和最大深度可以根據圖像的特徵而自適應地確定，或者可以根據用戶需要而不同地設置。根據深度的較深編碼單元的尺寸可以根據編碼單元的預定最大尺寸進行確定。
在根據實施方式的編碼單元的分層結構600中，編碼單元的最大高度和最大寬度均是64，並且最大深度是3。就這點而言，最大深度是指編碼單元從最大編碼單元分割到最小編碼單元的總次數。由於深度沿著編碼單元的分層結構600的豎直軸加深，因此，較深編碼單元的高度和寬度均被分割。此外，沿著分層結構600的水平軸示出作為每個較深編碼單元的預測編碼的基礎的預測單元和分區。
換言之，編碼單元610是分層結構600中的最大編碼單元，其中深度為0並且尺寸(即，高度乘寬度)為64×64。深度沿著豎直軸加深，而且存在尺寸為32×32且深度為1的編碼單元620、尺寸為16×16且深度為2的編碼單元630，以及尺寸為8×8且深度為3的編碼單元640。尺寸為4×4且深度為3的編碼單元640是最小編碼單元。
編碼單元的預測單元和分區根據每個深度沿著水平軸布置。換言之，如果尺寸為64×64且深度為0的編碼單元610是預測單元，那麼預測單元可以分割成尺寸為64×64的編碼單元610中包括的分區，即，尺寸為64×64的分區610、尺寸為64×32的分區612、尺寸為32×64的分區614，或者尺寸為32×32的分區616。
同樣，尺寸為32×32且深度為1的編碼單元620的預測單元可以分割成尺寸為32×32的編碼單元620中包括的分區，即，尺寸為32×32的分區620、尺寸為32×16的分區622、尺寸為16×32的分區624以及尺寸為16×16的分區626。
同樣，尺寸為16×16且深度為2的編碼單元630的預測單元可以分割成尺寸為16×16的編碼單元630中包括的分區，即，編碼單元630中包括的尺寸為16×16的分區、尺寸為16×8的分區632、尺寸為8×16的分區634以及尺寸為8×8的分區636。
同樣，尺寸為8×8且深度為3的編碼單元640的預測單元可以分割成尺寸為8×8的編碼單元640中包括的分區，即，編碼單元640中包括的尺寸為8×8的分區640、尺寸為8×4的分區642、尺寸為4×8的分區644以及尺寸為4×4的分區646。
為了確定最大編碼單元610的深度，根據各種實施方式的視頻編碼設備100的編碼單元確定器120針對最大編碼單元610中包括的與每個深度對應的編碼單元來執行編碼。
包括相同範圍和相同尺寸的數據的、根據深度的較深編碼單元的數量隨著深度加深而增加。例如，需要四個對應於深度2的編碼單元來覆蓋一個對應於深度1的編碼單元中包括的數據。因此，為了將根據深度的相同數據的編碼結果進行比較，對應於深度1的編碼單元和對應於深度2的四個編碼單元均被編碼。
為了針對深度之中的當前深度執行編碼，可以通過沿著分層結構600的水平軸、針對與當前深度對應的編碼單元中的每個預測單元執行編碼，為當前深度選擇最小編碼誤差。或者，隨著深度沿著分層結構600的豎直軸加深，可以通過針對每個深度執行編碼，根據深度來比較最小編碼誤差而搜索出最小編碼誤差。最大編碼單元610中具有最小編碼誤差的深度和分區可以被選作最大編碼單元610的深度和分區模式。
圖18是用於描述根據本公開的實施方式的編碼單元與變換單元之間的關係的示意圖。
根據實施方式的視頻編碼設備100或根據實施方式的視頻解碼設備200根據每個最大編碼單元的、尺寸小於或等於最大編碼單元的編碼單元對圖像進行編碼或解碼。在編碼期間用於變換的變換單元的尺寸可以基於不大於對應編碼單元的數據單元進行選擇。
例如，在視頻編碼設備100或視頻解碼設備200中，當編碼單元710的尺寸是64×64時，可以通過使用尺寸為32×32的變換單元720來執行變換。
此外，可以通過對尺寸為32×32、16×16、8×8和4×4(都小於64×64)的變換單元中的每個變換單元執行變換而對尺寸為64×64的編碼單元710的數據進行編碼，並且隨後可以選擇具有最小編碼誤差的變換單元。
圖19示出根據本公開的實施方式的多項編碼信息。
根據實施方式的視頻編碼設備100的輸出單元130可以針對與編碼深度對應的每個編碼單元來編碼並傳輸與分區模式有關的信息800、與預測模式有關的信息810和與變換單元的尺寸有關的信息820，以作為編碼模式信息。
信息800表明與通過分割當前編碼單元的預測單元而獲得的分區的類型有關的信息，其中分區是用於對當前編碼單元進行預測編碼的數據單元。例如，尺寸為2n×2n的當前編碼單元cu_0可以分割成下列分區中的任一個：尺寸為2n×2n的分區802、尺寸為2n×n的分區804、尺寸為n×2n的分區806以及尺寸為n×n的分區808。在這種情況下，與當前編碼單元有關的分區模式信息800設置成表明下列分區中的一個：尺寸為2n×2n的分區802、尺寸為2n×n的分區804、尺寸為n×2n的分區806以及尺寸為n×n的分區808。
預測模式信息810表明每個分區的預測模式。例如，預測模式信息810可以表明在由分區模式信息800表明的分區上執行的預測編碼的模式，即，幀內模式812、幀間模式814或跳躍模式816。
變換單元尺寸信息820表示在當前編碼單元上執行變換時將依據的變換單元。例如，所述變換單元可以是第一幀內變換單元822、第二幀內變換單元824、第一幀間變換單元826或者第二幀內變換單元828。
根據實施方式的視頻解碼設備200的圖像數據與編碼信息提取器210可以提取並使用分區模式信息800、預測模式信息810和變換單元尺寸信息820，以根據每個較深編碼單元進行解碼。
圖20是根據本公開的實施方式的根據深度的較深編碼單元的示意圖。
分割信息可以用來表明深度的變化。分割信息表明當前深度的編碼單元是否分割成較深深度的編碼單元。
用於對深度為0且尺寸為2n_0×2n_0的編碼單元900進行預測編碼的預測單元910可以包括下列分區模式的分區：尺寸為2n_0×2n_0的分區模式912、尺寸為2n_0×n_0的分區模式914、尺寸為n_0×2n_0的分區模式916和尺寸為n_0×n_0的分區模式918。只示出通過對稱地分割預測單元而獲得的分區模式912、914、916和918，但如上文所述，分區模式不限於此，並且可以包括不對稱分區、具有預定形狀的分區和具有幾何形狀的分區。
根據每個分區模式，必須在尺寸為2n_0×2n_0的一個分區、尺寸為2n_0×n_0的兩個分區、尺寸為n_0×2n_0的兩個分區和尺寸為n_0×n_0的四個分區上重複執行預測編碼。可以在尺寸為2n_0×2n_0、n_0×2n_0、2n_0×n_0和n_0×n_0的分區上執行幀內模式和幀間模式的預測編碼。只在尺寸為2n_0×2n_0的分區上執行跳躍模式的預測編碼。
如果尺寸為2n_0×2n_0的分區模式912、尺寸為2n_0×n_0的分區模式914和尺寸為n_0×2n_0的分區模式916中的一個分區模式的編碼誤差是最小的，那麼預測單元910可以不分割到較深深度。
如果尺寸為n_0×n_0的分區模式918的編碼誤差是最小的，那麼深度從0變成1並且執行分割(操作920)，並且在深度為2且尺寸為n_0×n_0的分區模式的編碼單元930上重複執行編碼，從而搜索最小編碼誤差。
用於對深度為1且尺寸為2n_1×2n_1(＝n_0×n_0)的編碼單元930進行預測編碼的預測單元940可以包括：尺寸為2n_1×2n_1的分區模式942、尺寸為2n_1×n_1的分區模式944、尺寸為n_1×2n_1的分區模式946和尺寸為n_1×n_1的分區模式948。
如果尺寸為n_1×n_1的分區模式948的編碼誤差是最小的，那麼深度從1變成2並且執行分割(在操作950中)，並且在深度為2且尺寸為n_2×n_2的編碼單元960上重複執行編碼，從而搜索最小編碼誤差。
當最大深度為d時，可以執行根據每個深度的分割操作，直到深度變成d-1，並且可以對分割信息進行編碼，直到深度是0到d-2中的一個。換言之，當在對應於深度d-2的編碼單元進行分割之後執行編碼直到深度為d-1(在操作970中)時，用於對深度為d-1且尺寸為2n_(d-1)×2n_(d-1)的編碼單元980進行預測編碼的預測單元990可以包括下列分區模式的分區：尺寸為2n_(d-1)×2n_(d-1)的分區模式992、尺寸為2n_(d-1)×n_(d-1)的分區模式994、尺寸為n_(d-1)×2n_(d-1)的分區模式996和尺寸為n_(d-1)×n_(d-1)的分區模式998。
可以在分區模式之中的尺寸為2n_(d-1)×2n_(d-1)的一個分區、尺寸為2n_(d-1)×n_(d-1)的兩個分區、尺寸為n_(d-1)×2n_(d-1)的兩個分區、尺寸為n_(d-1)×n_(d-1)的四個分區上執行預測編碼，以搜索具有最小編碼誤差的分區模式。
即使在尺寸為n_(d-1)×n_(d-1)的分區模式998具有最小編碼誤差時，由於最大深度為d，因此，深度為d-1的編碼單元cu_(d-1)不再分割到較深深度，並且構成當前最大編碼單元900的編碼單元的編碼深度被確定為d-1，而且當前最大編碼單元900的分區模式可以被確定為n_(d-1)×n_(d-1)。此外，由於最大深度為d，因此，不設置深度為d-1的編碼單元952的分割信息。
數據單元999可以是當前最大編碼單元的「最小單元」。根據實施方式的最小單元可以是通過將具有最深深度的最小編碼單元分割成4個而獲得的正方形數據單元。通過重複執行編碼，根據實施方式的視頻編碼設備100可以通過比較根據編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度從而確定編碼深度，並且將對應的分區模式和預測模式設置為編碼深度的編碼模式。
因此，在所有的深度0、1、……、d-1、d中比較根據深度的最小編碼誤差，並且可以將具有最小編碼誤差的深度確定為編碼深度。編碼深度、預測單元的分區模式和預測模式可以作為編碼模式信息而被編碼和傳輸。此外，由於編碼單元從深度0分割到編碼深度，因此，只有編碼深度的分割信息設置為0，而除編碼深度之外的深度的分割信息設置為1。
根據實施方式的視頻解碼設備200的圖像數據與編碼信息提取器220可以提取並使用與編碼單元900有關的編碼深度和預測單元信息，從而對編碼單元912進行解碼。根據實施方式的視頻解碼設備200可以通過使用根據深度的分割信息而將分割信息為「0」的深度確定為編碼深度，並且可以將與對應深度有關的編碼模式信息用於解碼。
圖21、圖22和圖23是用於描述根據本公開的實施方式的編碼單元、預測單元與變換單元之間的關係的示意圖。
編碼單元1010是最大編碼單元中的由視頻編碼設備100確定的、根據深度的較深編碼單元。預測單元1060是根據編碼深度的編碼單元1010中的每個的預測單元的分區，並且變換單元1070是根據編碼深度的編碼單元中的每個的變換單元。
當編碼單元1010中的最大編碼單元的深度為0時，編碼單元1012和1054的深度為1，編碼單元1014、1016、1018、1028、1050和1052的深度為2，編碼單元1020、1022、1024、1026、1030、1032和1048的深度為3，並且編碼單元1040、1042、1044和1046的深度為4。
在預測單元1060中，通過分割編碼單元獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052和1054。換言之，分區1014、1022、1050和1054是尺寸為2n×n的分區模式，分區1016、1048和1052是尺寸為n×2n的分區模式，並且分區1032是尺寸為n×n的分區模式。編碼單元1010的預測單元和分區小於或等於每個編碼單元。
在小於編碼單元1052的數據單元中，對變換單元1070中的編碼單元1052的圖像數據執行變換或逆變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050和1052是在尺寸和形狀方面不同於預測單元1060中的數據單元的數據單元。換言之，根據實施方式的視頻編碼設備100和視頻解碼設備200可以對相同編碼單元中的各個數據單元執行幀內預測/運動估算/運動補償/以及變換/逆變換。
因此，對最大編碼單元的每個區域中具有分層結構的編碼單元中的每個遞歸地執行編碼，從而確定最佳編碼單元，因而可以獲得具有遞歸樹形結構的編碼單元。編碼信息可以包括與編碼單元有關的分割信息、分區模式信息、預測模式信息，以及變換單元尺寸信息。下表1示出可以由根據實施方式的視頻編碼設備100和視頻解碼設備200設置的編碼信息。
表1
因此，根據實施方式的視頻編碼設備100的輸出單元130可以輸出與具有樹形結構的編碼單元有關的編碼信息，並且根據實施方式的視頻解碼設備200的圖像數據與編碼信息提取器220可以從接收的比特流中提取與具有樹形結構的編碼單元有關的編碼信息。
分割信息表明當前編碼單元是否分割成較深深度的編碼單元。如果當前深度d的分割信息為0，那麼當前編碼單元不再分割到較深深度所在的深度是編碼深度，因此，可以針對編碼深度來限定分區模式信息、預測模式信息和變換單元尺寸信息。如果當前編碼單元必須根據分割信息進一步分割，那麼必須在較深深度的四個分割編碼單元上獨立地執行編碼。
預測模式可以是幀內模式、幀間模式和跳躍模式中的一種。幀內模式和幀間模式可以限定於所有分區模式，而跳躍模式只限定於尺寸為2n×2n的分區模式。
分區模式信息可以表明通過對稱地分割預測單元的高度或寬度而獲得的尺寸為2n×2n、2n×n、n×2n和n×n的對稱分區模式，以及通過不對稱地分割預測單元的高度或寬度而獲得的尺寸為2n×nu、2n×nd、nl×2n和nr×2n的不對稱分區模式。尺寸為2n×nu和2n×nd的不對稱分區模式可以分別通過以1:3和3:1分割預測單元的高度來獲得，並且尺寸為nl×2n和nr×2n的不對稱分區模式可以分別通過以1:3和3:1分割預測單元的寬度來獲得。
變換單元的尺寸可以設置為在幀內模式下有兩個類型並且在幀間模式下有兩個類型。換言之，如果變換單元的分割信息為0，那麼變換單元的尺寸可以是2n×2n，也就是當前編碼單元的尺寸。如果變換單元的分割信息為1，那麼可以通過分割當前編碼單元來獲得變換單元。此外，如果尺寸為2n×2n的當前編碼單元的分區模式是對稱分區模式，那麼變換單元的尺寸可以是n×n，並且如果當前編碼單元的分區模式是不對稱分區模式，那麼變換單元的尺寸可以是n/2×n/2。
根據實施方式的與具有樹形結構的編碼單元有關的編碼信息可以分配到與編碼深度對應的編碼單元、預測單元和最小單元中的至少之一。與編碼深度對應的編碼單元可以包括含有相同編碼信息的預測單元和最小單元中的至少之一。
因此，通過比較相鄰數據單元的編碼信息來確定相鄰數據單元是否包括在對應於編碼深度的相同編碼單元中。此外，通過使用數據單元的編碼信息來確定對應於編碼深度的編碼單元，因此可以推斷出最大編碼單元中的編碼深度的分布。
因此，如果基於相鄰數據單元來預測當前編碼單元，那麼可以直接參考並使用與當前編碼單元相鄰的較深編碼單元中的數據單元的編碼信息。
或者，如果當前編碼單元基於相鄰編碼單元進行預測編碼，那麼通過使用相鄰較深編碼單元的編碼信息來搜索與當前編碼單元相鄰的數據單元，並且可以推斷出所搜索的相鄰編碼單元。
圖24是用於描述根據表1的編碼模式信息的編碼單元、預測單元與變換單元之間的關係的示意圖。
最大編碼單元1300包括編碼單元1302、1304、1306、1312、1314、1316、以及具有編碼深度的1318。此處，由於編碼單元1318是具有深度的編碼單元，因此，分割信息可以設置為0。尺寸為2n×2n的編碼單元1318的分區模式信息可以設置為包括下列的分區模式中的一個：2n×2n1322、2n×n1324、n×2n1326、n×n1328、2n×nu1332、2n×nd1334、nl×2n1336和nr×2n1338。
變換單元分割信息(tu尺寸標記)是一種變換索引，並且與變換索引對應的變換單元的尺寸可以根據編碼單元的預測單元類型或分區模式而改變。
例如，當分區模式信息設置為對稱分區模式2n×2n1322、2n×n1324、n×2n1326和n×n1328中的一項時，如果變換單元分割信息為0，那麼設置尺寸為2n×2n的變換單元1342，並且如果變換單元分割信息為1，那麼可以設置尺寸為n×n的變換單元1344。
當分區模式信息設置為不對稱分區模式2n×nu1332、2n×nd1334、nl×2n1336和nr×2n1338中的一個時，如果變換單元分割信息(tu尺寸標記)為0，那麼可以設置尺寸為2n×2n的變換單元1352，並且如果變換單元分割信息為1，那麼可以設置尺寸為n/2×n/2的變換單元1354。
上文參考圖24描述的變換單元分割信息(tu尺寸標記)是值為0或1的標記，但根據實施方式的變換單元分割信息不限於具有1比特的標記，並且變換單元可以分層地分割，而同時變換單元分割信息根據設置以0、1、2、3等的方式增長。變換單元的分割信息(tu尺寸標記)是變換索引的示例。
在這種情況下，實際使用的變換單元的尺寸可以通過使用根據實施方式的變換單元分割信息以及變換單元的最大尺寸和變換單元的最小尺寸一起來表示。根據實施方式的視頻編碼設備100可以對最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息進行編碼。對最大變換單元尺寸信息、最小變換單元尺寸信息和最大tu尺寸標記進行編碼的結果可以插入到sps。根據實施方式的視頻解碼設備200可以通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息來對視頻進行解碼。
例如，(a)如果當前編碼單元的尺寸是64×64並且最大變換單元尺寸是32×32，那麼(a-1)變換單元的尺寸在tu尺寸標記為0時可以是32×32，(a-2)在tu尺寸標記為1時可以是16×16，以及(a-3)在tu尺寸標記為2時可以是8×8。
作為另一示例，(b)如果當前編碼單元的尺寸是32×32並且最小變換單元尺寸是32×32，那麼(b-1)變換單元的尺寸在tu尺寸標記為0時可以是32×32。此處，由於變換單元的尺寸不可小於32×32，因此，tu尺寸標記無法設置成除了0之外的值。
作為另一示例，(c)如果當前編碼單元的尺寸是64×64並且最大tu尺寸標記是1，那麼tu尺寸標記可以是0或1。此處，tu尺寸標記無法設置成除了0或1之外的值。
因此，如果將最大tu尺寸標記定義為「maxtransformsizeindex」，將最小變換單元尺寸定義為「mintransformsize」，並且當tu尺寸標記為0時變換單元尺寸為「roottusize」，那麼可在當前編碼單元中確定的當前最小變換單元尺寸「currmintusize」可以由等式(1)定義：
currmintusize
＝max(mintransformsize,roottusize/(2^maxtransformsizeindex))...(1)
與可以在當前編碼單元中確定的當前最小變換單元尺寸「currmintusize」相比，tu尺寸標記為0時的變換單元尺寸「roottusize」可表示可以在系統中選擇的最大變換單元尺寸。在等式(1)中，「roottusize/(2^maxtransformsizeindex)」表示在tu尺寸標記為0時變換單元尺寸「roottusize」被分割對應於最大tu尺寸標記的次數時的變換單元尺寸，並且「mintransformsize」表示最小變換尺寸。因此，「roottusize/(2^maxtransformsizeindex)」和「mintransformsize」之中的較小值可以是可在當前編碼單元中確定的當前最小變換單元尺寸「currmintusize」。
根據實施方式的最大變換單元尺寸roottusize可以根據預測模式的類型而改變。
例如，如果當前預測模式是幀間模式，那麼「roottusize」可以通過使用下列等式(2)來確定。在等式(2)中，「maxtransformsize」表示最大變換單元尺寸，並且「pusize」表示當前預測單元尺寸。
roottusize＝min(maxtransformsize,pusize).........(2)
換言之，如果當前預測模式是幀間模式，那麼在tu尺寸標記為0時，變換單元尺寸「roottusize」可以是最大變換單元尺寸和當前預測單元尺寸之中的較小值。
如果當前分區單元的預測模式是幀內模式，那麼「roottusize」可以通過使用下列等式(3)來確定。在等式(3)中，「partitionsize」表示當前分區單元的尺寸。
roottusize＝min(maxtransformsize,partitionsize)...........(3)
換言之，如果當前預測模式是幀內模式，那麼在tu尺寸標記為0時，變換單元尺寸「roottusize」可以是最大變換單元尺寸和當前分區單元的尺寸之中的較小值。
然而，根據分區單元中的預測模式的類型而改變的當前最大變換單元尺寸「roottusize」僅僅是實施方式，並且用於確定當前最大變換單元尺寸的因素不限於此。
根據上文參考圖12到圖24描述的基於樹形結構的編碼單元的視頻編碼方法，空間域的圖像數據在樹形結構的編碼單元的每個中進行編碼，並且空間域的圖像數據按基於樹形結構的編碼單元根據視頻解碼方法在每個最大編碼單元上執行解碼的方式進行重建，從而可以重建由圖片和圖片序列形成的視頻。重建的視頻可以由播放設備播放、存儲在存儲介質中，或通過網絡進行傳輸。
此外，可以相對於每個圖片、每個條帶、每個lcu、具有樹形結構的每個編碼單元、編碼單元中的每個預測單元或者編碼單元中的每個變換單元來對sao參數進行信號化。例如，可以通過使用基於所接收的sao參數而重建的偏移值來調整每個lcu的重建的像素的像素值，因此可以在原始塊與lcu之間重建具有最小化誤差的lcu。
根據本公開的實施方式可以編寫為電腦程式，並且可以在使用非暫時性計算機可讀記錄介質執行程序的通用數字計算機中實施。非暫時性計算機可讀記錄介質的示例包括磁存儲介質(例如，rom、軟盤、硬碟等)和光記錄介質(例如，cd-rom或dvd)。
雖然已參考本公開的實施方式特別展示並描述了本公開，但本領域普通技術人員將理解，在不脫離所附權利要求的精神和範圍的情況下，可以對形式和細節做出各種改變。實施方式應僅被視作描述，而不是用於限制的目的。因此，本公開的範圍並不由詳細描述限定，而是由所附權利要求限定，並且該範圍內的所有差異都將被解釋為包括在本公開中。
為便於描述，上文參考圖1a到圖24描述的根據樣本偏移的操作的視頻編碼方法將被稱為「根據本公開的視頻編碼方法」。此外，上文參考圖1a到圖20描述的根據樣本偏移的操作的視頻解碼方法將被稱為「根據本公開的視頻解碼方法」。
此外，上文參考圖1a到圖24描述的視頻編碼設備(包括視頻編碼設備10、視頻編碼設備100或圖像編碼器400)將被稱為「根據本公開的視頻編碼設備」。此外，上文參考圖2a到圖24描述的視頻解碼設備(包括視頻解碼設備20、視頻解碼設備200或圖像解碼器500)將被稱為「根據本公開的視頻解碼設備」。
現在將詳細描述根據實施方式的存儲程序的非暫時性計算機可讀記錄介質，諸如，碟片26000。
圖20示出根據實施方式的存儲有程序的碟片26000的物理結構。碟片26000作為一種存儲介質，其可以是硬碟驅動器、緊密式只讀存儲器(cd-rom)盤、藍光光碟或數字多功能盤(dvd)。碟片26000包括多個同心盤道tr，所述同心盤道各自在碟片26000的圓周方向上分成特定數量的扇區se。在碟片26000的特定區域中，可以分配並存儲執行上述量化參數確定方法、視頻編碼方法和視頻解碼方法的程序。
現在將參考圖26描述使用存儲介質實現的計算機系統，所述存儲介質存儲用於執行上述視頻編碼方法和視頻解碼方法的程序。
圖26示出通過使用碟片26000來記錄和讀取程序的碟片驅動器26800。計算機系統26700可以經由碟片驅動器26800在碟片26000中存儲用於執行本公開的視頻編碼方法和視頻解碼方法中的至少之一的程序。為了在計算機系統26700中運行存儲在碟片26000中的程序，可以從碟片26000中讀取程序並且通過使用碟片驅動器26800將它傳輸到計算機系統26700。
執行本公開的視頻編碼方法和視頻解碼方法中的至少之一的程序不僅可以存儲在圖25和圖26所示的碟片26000中，還可以存儲在存儲卡、rom盒式磁帶或固態驅動器(ssd)中。
下文將描述應用上文所述的視頻編碼方法和視頻解碼方法的系統。
圖27示出用於提供內容分發服務的內容供應系統11000的整體結構。通信系統的服務區域分成預定尺寸的小區，並且無線基站11700、11800、11900和12000分別安裝在這些小區中。
內容供應系統11000包括多個獨立裝置。例如，諸如計算機12100、個人數字助理(pda)12200、攝像機12300和行動電話12500等多個獨立裝置經由網際網路服務提供商11200、通信網絡11400以及無線基站11700、11800、11900和12000連接到網際網路11100。
然而，內容供應系統11000不限於如圖28所示的配置，並且裝置可以選擇性地連接到該系統。多個獨立裝置可以直接連接到通信網絡11400，而不經過無線基站11700、11800、11900和12000。
攝像機12300是能夠拍攝視頻圖像的成像裝置，例如，數字攝像機。行動電話12500可以採用例如個人數字通信(pdc)、碼分多址(cdma)、寬帶碼分多址(w-cdma)、全球移動通信系統(gsm)以及個人手持式電話系統(phs)等各種協議中的至少一個通信方法。
攝像機12300可以經由無線基站11900和通信網絡11400連接到流式伺服器11300。流式伺服器11300允許經由攝像機12300從用戶接收的內容經過實時廣播進行流傳輸。從攝像機12300接收的內容可以由攝像機12300或流式伺服器11300進行編碼。由攝像機12300拍攝的視頻數據可以經由計算機12100傳輸到流式伺服器11300。
由相機12600拍攝的視頻數據也可以經由計算機12100傳輸到流式伺服器11300。諸如數字相機等相機12600是能夠拍攝靜態圖像和視頻圖像的成像裝置。由相機12600拍攝的視頻數據可以使用相機12600或計算機12100進行編碼。對視頻執行編碼和解碼的軟體可以存儲在可由計算機12100訪問的非暫時性計算機可讀記錄介質中，例如，cd-rom盤、軟盤、硬碟驅動器、ssd或存儲卡。
如果視頻數據由內置在行動電話12500的相機拍攝，那麼可以從行動電話12500中接收視頻數據。
視頻數據也可以由安裝在攝像機12300、行動電話12500或相機12600中的大規模集成電路(lsi)系統進行編碼。
內容供應系統11000可以對用戶使用攝像機12300、相機12600、行動電話12500或另一成像裝置記錄的內容數據(例如，在音樂會期間記錄的內容)進行編碼，並且可以將編碼的內容數據傳輸到流式伺服器11300。流式伺服器11300可以採用流內容類型將編碼的內容數據傳輸到請求內容數據的其他客戶端。
客戶端是能夠對編碼的內容數據進行解碼的裝置，例如，計算機12100、pda12200、攝像機12300或行動電話12500。因此，內容供應系統11000允許客戶端接收和播放編碼的內容數據。此外，內容供應系統11000允許客戶端接收編碼的內容數據，並且實時解碼和播放編碼的內容數據，從而實現個人播放。
本公開的視頻編碼設備和視頻解碼設備可以應用於內容供應系統11000中包括的多個獨立裝置的編碼操作和解碼操作。
現在將參考圖28和圖29詳細地描述根據實施方式的內容供應系統11000中包括的行動電話12500。
圖28示出根據實施方式的應用視頻編碼方法和視頻解碼方法的行動電話12500的外部結構。行動電話12500可以是智慧型電話，它的功能不受限制並且其大量的功能可以改變或擴展。
行動電話12500包括外部天線12510，經由該外部天線，射頻(rf)信號可以與圖21的無線基站12000進行交換。行動電話12500還包括顯示屏12520，所述顯示屏12520用於顯示由相機12530拍攝的圖像或經由天線12510接收並解碼的圖像，例如，液晶顯示器(lcd)或有機發光二極體(oled)屏。行動電話12500包括操作面板12540，所述操作面板12540包括控制按鈕和觸摸面板。如果顯示屏12520是觸控螢幕，那麼操作面板12540還包括顯示屏12520的觸摸感應面板。行動電話12500包括用於輸出語音和聲音的揚聲器12580或另一類型的聲音輸出單元，以及用於輸入語音和聲音的麥克風12550或另一類型的聲音輸入單元。行動電話12500還包括相機12530，諸如，電荷耦合裝置(ccd)相機，以拍攝視頻或靜態圖像。行動電話12500還可以包括：存儲介質12570，該存儲介質12570用於存儲編碼/解碼的數據，例如，由相機12530拍攝、經由電子郵件接收或根據各種方式獲取的視頻或靜態圖像；以及槽12560，存儲介質12570經由該槽12560裝載到行動電話12500中。存儲介質12570可以是快閃記憶體，例如，安全數字(sd)卡或者包括在塑料盒中的電可擦除可編程只讀存儲器(eeprom)。
圖29示出行動電話12500的內部結構。為了系統地控制包括顯示屏12520和操作面板12540的行動電話12500的部分，電源電路12700、操作輸入控制器12640、圖像編碼器12720、相機接口12630、lcd控制器12620、圖像解碼器12690、多路復用器/多路分解器12680、記錄/讀取單元12670、調製/解調單元12660以及聲音處理器12650經由同步總線12730連接到中央處理器12710。
如果用戶操作電源按鈕並從「關機」狀態設置到「開機」狀態，那麼電源電路12700將電力從電池組供應到行動電話12500的所有部分，從而在操作模式下設置行動電話12500。
中央控制器12710包括中央處理單元(cpu)、rom和ram。
在行動電話12500將通信數據傳輸到外部時，行動電話12500在中央控制器12710的控制下生成數位訊號。例如，聲音處理器12650可以生成數字聲音信號，圖像編碼器12720可以生成數字圖像信號，並且消息的文本數據可以經由操作面板12540和操作輸入控制器12640生成。當數位訊號在中央控制器12710的控制下傳輸到調製/解調單元12660時，調製/解調單元12660對數位訊號的頻帶進行調製，並且通信電路12610在頻帶經調製的數字聲音信號上執行數模轉換(dac)和頻率轉換。從通信電路12610輸出的傳輸信號可以經由天線12510傳輸到語音通信基站或無線基站12000。
例如，當行動電話12500處於對話模式時，經由麥克風12550獲取的聲音信號在中央控制器12710的控制下被聲音處理器12650轉換成數字聲音信號。所生成的數字聲音信號可以通過調製/解調單元12660和通信電路12610轉換成傳輸信號，並且可以經由天線12510進行傳輸。
當文本消息(例如，電子郵件)在數據通信模式下傳輸時，文本消息的文本數據經由操作面板12540輸入，並且經由操作輸入控制器12640傳輸到中央控制器12610。在中央控制器12610的控制下，文本數據經由調製/解調單元12660和通信電路12610變換成傳輸信號，並且經由天線12510傳輸到無線基站12000。
為了在數據通信模式期間傳輸圖像數據，經由相機接口12630將相機12530拍攝的圖像數據提供到圖像編碼器12720。由相機12530拍攝的圖像數據可以經由相機接口12630和lcd控制器12620直接顯示在顯示屏12520上。
圖像編碼器12720的結構可以對應於上文所述的視頻編碼設備100的結構。圖像編碼器12720可以根據上文所述的視頻編碼方法將從相機12530接收的圖像數據轉換成壓縮且編碼的圖像數據，並且隨後可以將編碼的圖像數據輸出到多路復用器/多路分解器12680。在相機12530的記錄操作期間，通過使用行動電話12500的麥克風12550而獲得的聲音信號可以經由聲音處理器12650變換成數字聲音數據，並且數字聲音數據可以傳輸到多路復用器/多路分解器12680。
多路復用器/多路分解器12680將從圖像編碼器12720接收的編碼圖像數據與從聲音處理器12650接收的聲音數據多路復用。多路復用數據的結果可以經由調製/解調單元12660和通信單元12610轉換成傳輸信號，並且隨後可以經由天線12510傳輸。
當行動電話12500接收來自外部的通信數據時，在經由天線12510接收的信號上執行頻率恢復和模數轉換(adc)，以將該信號轉換成數位訊號。調製/解調單元12660對數位訊號的頻帶進行調製。根據數位訊號的類型，頻帶經過調製的數位訊號傳輸到視頻解碼單元12690、聲音處理器12650或lcd控制器12620。
在對話模式期間，行動電話12500將經由天線12510接收的信號放大，並且通過在放大的信號上執行頻率轉換和adc來獲取數字聲音信號。在中央控制器12710的控制下，接收的數字聲音信號經由調製/解調單元12660和聲音處理器12650轉換成模擬聲音信號，並且模擬聲音信號經由揚聲器12580輸出。
當在數據通信模式期間時，接收在網際網路網站訪問的視頻文件的數據，經由調製/解調單元12660將經由天線12510從無線基站12000接收的信號作為多路復用數據輸出，並且將多路復用數據傳輸到多路復用器/多路分解器12680。
為了對經由天線12510接收的多路復用的數據進行解碼，多路復用器/多路分解器12680將多路復用的數據多路分解成編碼視頻數據流和編碼音頻數據流。經由同步總線12730，編碼視頻數據流和編碼音頻數據流分別被提供到視頻解碼器12690和聲音處理器12650。
圖像解碼器12690的結構可以對應於上文所述的視頻解碼設備200的結構。通過使用本公開的上述視頻解碼方法，圖像解碼器12690可以對編碼的視頻數據進行解碼，從而生成重建的視頻數據，並且隨後可以經由lcd控制器12620將重建的視頻數據提供到顯示屏12520。
因此，在網際網路網站訪問的視頻文件的數據可以顯示在顯示屏12520上。同時，聲音處理器12650可以將音頻數據轉換成模擬聲音信號，並且將模擬聲音信號提供到揚聲器12580。因此，在網際網路網站訪問的視頻文件中含有的音頻數據也可以經由麥克風12580而播放。
行動電話12500或另一類型的通信終端可以是包括本公開的視頻編碼設備和視頻解碼設備的收發終端，可以是只包括本公開的視頻編碼設備的發送終端，或者可以是只包括本公開的視頻解碼設備的接收終端。
根據本公開的通信系統不限於上文參考圖28描述的通信系統。例如，圖30示出根據實施方式的採用通信系統的數字廣播系統。圖30的數字廣播系統可以通過使用本公開的視頻編碼設備和視頻解碼設備來接收經由衛星或地面網絡傳輸的數字廣播。
更具體地，廣播站12890通過使用無線電波而將視頻數據流傳輸到通信衛星或廣播衛星12900。廣播衛星12200傳輸廣播信號，並且廣播信號經由家用天線12860傳輸到衛星廣播接收器。在每個家庭中，編碼的視頻流可以由tv接收器12810、機頂盒12870或另一裝置解碼並播放。
當本公開的視頻解碼設備實施於播放設備12830中時，播放設備12830可以對記錄在存儲介質12820(諸如，磁碟或存儲卡)上的編碼視頻流進行解析和解碼，以重建數位訊號。因此，重建的視頻信號可以例如在顯示器12840上播放。
在連接到用於衛星/地面廣播的天線12860或用於接收電纜電視(tv)廣播的電纜天線12850的機頂盒12870中，可以安裝本公開的視頻解碼設備。從機頂盒12870輸出的數據也可以在tv顯示器12880上播放。
作為另一示例，本公開的視頻解碼設備可以安裝在tv接收器12810中，而不是機頂盒12870中。
具有適當天線12920的汽車12910可以接收從衛星12900或無線基站11700傳輸的信號。解碼的視頻可以在安裝於汽車12920中的車載導航系統12930的顯示屏上播放。
視頻信號可以由本公開的視頻編碼設備進行編碼，並且隨後可以記錄並存儲到存儲介質中。更具體地，圖像信號可以由dvd記錄器存儲在dvd光碟12960中，或者可以由硬碟記錄器12950存儲在硬碟中。作為另一示例，視頻信號可以存儲在sd卡12970中。如果硬碟記錄器12950包括根據實施方式的視頻解碼設備，那麼記錄在dvd光碟12960、sd卡12970或另一存儲介質上的視頻信號可以在tv顯示器12880上播放。
車載導航系統12930可以不包括圖30的相機12530、相機接口12630和圖像編碼器12720。例如，計算機12100和tv接收器12810可以不包括圖30的相機12530、相機接口12630和圖像編碼器12720。
圖31示出根據本公開的實施方式的使用視頻編碼設備和視頻解碼設備的雲計算系統的網絡結構。
雲計算系統可以包括雲計算伺服器14000、用戶資料庫(db)14100、多個計算資源14200，以及用戶終端。
響應於來自用戶終端的請求，雲計算系統經由數據通信網絡(例如，網際網路)來提供多個計算資源14200的按需外包服務。在雲計算環境下，通過使用虛擬化技術將位於物理上不同位置的數據中心處的計算資源相結合，服務提供商為用戶提供所需的服務。服務用戶不必將計算資源(例如，應用程式、存儲設備、作業系統(os)和安全應用)安裝到他/她自己的終端中以進行使用，而是可以在所需的時間點從通過虛擬化技術生成的虛擬空間中的服務之中選擇並使用所需服務。
指定服務用戶的用戶終端經由包括網際網路和移動遠程通信網絡的數據通信網絡連接到雲計算伺服器14000。從雲計算伺服器14000可以對用戶終端提供雲計算服務，具體地如視頻播放服務。用戶終端可以是能夠連接到網際網路的各種類型的電子裝置，例如，臺式pc14300、智能tv14400、智慧型電話14500、筆記本電腦14600、可攜式多媒體播放器(pmp)14700、平板pc14800等。
雲計算伺服器14000可以將分布在雲網絡中的多個計算資源14200進行組合，並且將組合的結果提供到用戶終端。多個計算資源14200可以包括各種數據服務，並且可以包括從用戶終端上傳的數據。如上文所述，雲計算伺服器14000可以通過根據虛擬化技術將分布在不同區域中的視頻資料庫進行組合來將所需的服務提供到用戶終端。
與訂閱雲計算服務的用戶有關的用戶信息存儲在用戶資料庫14100中。用戶信息可以包括用戶的登錄信息、地址、名字和個人信用信息。用戶信息還可以包括視頻的索引。此處，索引可以包括已經播放的視頻列表、正在播放的視頻列表、過去播放的視頻的暫停點等。
存儲在用戶資料庫14100中的與視頻有關的信息可以在用戶裝置之間共享。例如，當響應於來自筆記本電腦14600的請求而將視頻服務提供到筆記本電腦14600時，視頻服務的播放歷史便存儲在用戶資料庫14100中。當從智慧型電話14500接收播放該視頻服務的請求時，雲計算伺服器14000基於用戶資料庫14100來搜索並播放該視頻服務。當智慧型電話14500接收來自雲計算伺服器14000的視頻數據流時，通過對視頻數據流進行解碼來播放視頻的過程類似於上文參考圖28描述的行動電話12500的操作。
雲計算伺服器14000可以參考存儲在用戶資料庫14100中的所需視頻服務的播放歷史。例如，雲計算伺服器14000接收來自用戶終端的播放存儲在用戶資料庫14100中的視頻的請求。如果這個視頻已在播放，那麼由雲計算伺服器14000執行的流傳輸這個視頻的方法可以根據用戶終端的請求而改變，即，根據從視頻的開頭還是暫停點開始播放該視頻。例如，如果用戶終端請求從開頭開始播放該視頻，那麼雲計算伺服器14000將從第一幀開始的視頻的流數據傳輸到用戶終端。如果用戶終端請求從暫停點開始播放該視頻，那麼雲計算伺服器14000將從對應於暫停點的幀開始的視頻的流數據傳輸到用戶終端。
此處，用戶終端可以包括如上文參考圖1a到圖24描述的本公開的視頻解碼設備。作為另一示例，用戶終端可以包括如上文參考圖1a到圖24描述的本公開的視頻編碼設備。或者，用戶終端可以包括如上文參考圖1a到圖24描述的本公開的視頻解碼設備和視頻編碼設備兩者。
上文參考圖25到圖31描述了上文參考圖1a到圖24描述的本公開的視頻編碼方法、視頻解碼方法、視頻編碼設備和視頻解碼設備的各種應用。然而，上文描述的關於將參考圖1a到圖24的視頻編碼方法和視頻解碼方法存儲在存儲介質中的方法或者在裝置中實施視頻編碼設備和視頻解碼設備的方法的實施方式不限於上文參考圖25到圖31描述的實施方式。
雖然已參考本公開的實施方式具體示出並描述了本公開，但本領域普通技術人員將理解，在不脫離所附權利要求的精神和範圍的情況下，可以對本公開作出各種形式和細節方面的改變。因此，本公開的範圍並不由本公開的具體描述限定，而是由所附權利要求限定。因此，本公開的範圍並不由本公開的詳細描述限定，而是由所附權利要求限定，並且該範圍內的所有差異都將被理解為包括在本公開中。