用於對圖像進行編碼或解碼的方法和裝置與流程

2023-09-20 21:23:50

本公開涉及用於通過處理圖像隨後壓縮處理後的圖像來高效地壓縮圖像的方法和設備。

背景技術：

圖像數據經由編解碼器根據預定數據壓縮標準進行編碼，例如，運動圖像專家組(mpeg)標準，隨後以比特流的形式存儲在記錄介質中或者通過通信信道傳輸到記錄介質。

隨著開發和供應用於播放和存儲高解析度或高質量圖像內容的硬體，針對用於將高解析度或高質量圖像內容高效編碼或解碼的編解碼器的需求逐漸增長。編碼的圖像內容可以通過解碼而播放。近來，正在實施用於高效壓縮此類高解析度或高質量圖像內容的方法。例如，通過處理將採用任意方法進行編碼的圖像的過程來執行高效圖像壓縮方法。

技術實現要素：

技術問題

作為有效壓縮高解析度或高質量圖像的方法，可存在許多種更改或處理原始圖像的方法。相應地，由於各種處理方法之中的針對將被壓縮的圖像的一部分進行最大程度優化的方法可以不同於針對其他部分進行優化的方法，因此，如果在對更改或處理後的圖像進行編碼之後，解碼設備無法識別在對應的壓縮單元中優化方法，那麼解碼的效率可能很低並且解碼設備的性能可能下降。

技術方案

根據實施方式的一方面，對圖像進行編碼的方法包括：確定圖像中包括的至少一個壓縮單元；確定變更當前壓縮單元中包括的多個樣本的方案；基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本；將包括變更後的多個樣本的圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元；通過使用從至少一個編碼單元中確定的至少一個預測單元來執行預測；以及通過使用從至少一個編碼單元中確定的至少一個變換單元來執行變換，從而對至少一個編碼單元進行編碼，其中，編碼包括生成包括第一信息的比特流，該第一信息表明所確定的方案。

根據另一實施方式的一方面，對圖像進行解碼的方法包括：將圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元；基於從至少一個編碼單元中確定的至少一個預測單元來執行預測；基於從編碼單元中確定的至少一個變換單元對圖像執行逆變換；確定基於預測和逆變換而重建的圖像中包括的至少一個壓縮單元；從比特流中獲取第一信息，該第一信息表明變更當前壓縮單元中包括的多個樣本的方案；基於所獲取的第一信息來確定對多個樣本進行變更的方案；以及基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本。

根據另一實施方式的一方面，對圖像進行編碼的設備包括：編碼器，其配置成確定圖像中包括的至少一個壓縮單元、確定變更當前壓縮單元中包括的多個樣本的方案、基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本、將包括變更後的多個樣本的圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元、通過使用從至少一個編碼單元中確定的至少一個預測單元來執行預測、以及通過使用從至少一個編碼單元中確定的至少一個變換單元來執行變換，從而對至少一個編碼單元進行編碼；以及比特流生成器，其配置成生成包括第一信息的比特流，該第一信息表明所確定的方案。

根據另一實施方式的一方面，對圖像進行解碼的設備包括：信息獲取器，其配置成從比特流中獲取第一信息，該第一信息表明變更當前壓縮單元中包括的多個樣本的方案；以及解碼器，其配置成基於與圖像的編碼單元的最大尺寸有關的信息來將圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元、基於從至少一個編碼單元中確定的至少一個預測單元來執行預測、基於從編碼單元中確定的至少一個變換單元對圖像執行逆變換、確定基於預測和逆變換而重建的圖像中包括的至少一個壓縮單元、基於所獲取的第一信息來確定對多個樣本進行變更的方案、基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本，以及基於變更的結果和至少一個預測單元來執行預測。

根據另一實施方式的一方面，非暫時性計算機可讀記錄介質上記錄有程序，該程序在被計算機執行時實施對圖像進行編碼的方法。

根據另一實施方式的一方面，非暫時性計算機可讀記錄介質上記錄有程序，該程序在被計算機執行時實施對圖像進行解碼的方法。

技術效果

根據實施方式，通過基於對圖像進行編碼或解碼的壓縮單元對多個樣本執行預定變更，可以改善高解析度圖像的壓縮效率。

附圖說明

圖1a是根據實施方式的圖像編碼設備的框圖。

圖1b是根據實施方式的圖像解碼設備的框圖。

圖2a是根據實施方式的由圖像編碼設備執行的圖像編碼方法的流程圖。

圖2b是根據實施方式的由圖像解碼設備執行的圖像解碼方法的流程圖。

圖3a示出根據實施方式的作為變更當前壓縮單元中包括的多個樣本的方案的採樣方案。

圖3b示出包括變更當前壓縮單元的多個樣本的位置和變更樣本的值的過程的變更方案。

圖3c示出根據實施方式的作為變更當前壓縮單元中包括的多個樣本的方案的採樣方案的另一示例。

圖3d示出根據實施方式的通過對多個樣本進行採樣來排列當前壓縮單元中包括的多個樣本和變更樣本值的過程。

圖4a示出根據實施方式的作為變更當前壓縮單元中包括的多個樣本的位置的方案的翻轉方案的示例。

圖4b示出根據實施方式的作為變更當前壓縮單元中包括的多個樣本的位置的方案的翻轉方案的另一示例。

圖4c示出根據實施方式的作為變更當前壓縮單元中包括的多個樣本的位置的方案的旋轉方案的示例。

圖5a示出根據實施方式的在當前壓縮單元的多個樣本的位置經過變更以對圖像進行解碼時，變更與當前壓縮單元相鄰的壓縮單元的樣本的過程。

圖5b示出根據實施方式的在當前壓縮單元的多個樣本的位置經過變更以對圖像進行解碼時，變更與當前壓縮單元相鄰的壓縮單元的樣本的另一方案。

圖6a示出根據實施方式的變更在執行預測時所參考的樣本的過程。

圖6b示出根據實施方式的通過使用變更與當前壓縮單元相鄰的樣本的位置的結果來執行預測的過程。

圖7是根據實施方式的基於根據樹形結構的編碼單元的視頻編碼設備的框圖。

圖8是根據實施方式的基於根據樹形結構的編碼單元的視頻解碼設備的框圖。

圖9示出根據實施方式的編碼單元的概念。

圖10示出根據實施方式的基於編碼單元的圖像編碼器的框圖。

圖11示出根據實施方式的基於編碼單元的圖像解碼器的框圖。

圖12示出根據實施方式的根據深度的較深編碼單元和分區。

圖13示出根據實施方式的編碼單元與變換單元之間的關係。

圖14示出根據實施方式的根據深度的多項編碼信息。

圖15示出根據實施方式的根據深度的較深編碼單元。

圖16、圖17和圖18示出根據實施方式的編碼單元、預測單元與變換單元之間的關係。

圖19示出根據表1的編碼模式信息的編碼單元、預測單元與變換單元之間的關係。

圖20示出根據實施方式的存儲有程序的碟片的物理結構。

圖21示出通過使用碟片來記錄和讀取程序的碟片驅動器。

圖22示出用於提供內容分發服務的內容供應系統的整體結構。

圖23和圖24示出根據實施方式的應用了視頻編碼方法和視頻解碼方法的行動電話的外部結構和內部結構。

圖25示出根據實施方式的採用通信系統的數字廣播系統。

圖26示出根據實施方式的使用視頻編碼設備和視頻解碼設備的雲計算系統的網絡結構。

實施本發明的最佳方式

根據實施方式的一方面，對圖像進行編碼的方法包括：確定圖像中包括的至少一個壓縮單元；確定變更當前壓縮單元中包括的多個樣本的方案；基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本；將包括變更後的多個樣本的圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元；通過使用從至少一個編碼單元中確定的至少一個預測單元來執行預測；以及通過使用從至少一個編碼單元中確定的至少一個變換單元來執行變換，從而對至少一個編碼單元進行編碼，其中，編碼包括生成包括第一信息的比特流，該第一信息表明所確定的方案。

變更多個樣本可以包括通過使用與所確定的方案對應的方案來變更與當前壓縮單元的邊界相鄰的鄰近壓縮單元的多個樣本或者參考幀的樣本。

編碼可以包括通過使用鄰近壓縮單元的變更後的多個樣本或者參考幀的變更後的樣本對當前壓縮單元的多個樣本執行預測。

確定方案可以包括基於變更鄰近壓縮單元的多個樣本的方案來確定變更當前壓縮單元的多個樣本的方案。

生成包括第一信息的比特流可以包括基於包括與可變更方案有關的信息的查詢表來生成包括與所確定的方案對應的第一信息的比特流。

該方法還可以包括：生成包括第二信息的比特流，該第二信息表明是否對多個樣本進行變更，其中，確定方案可以包括在第二信息表明對多個樣本進行變更時確定對多個樣本進行變更的方案。

確定方案可以包括基於圖像的率失真代價來確定方案。

方案可以包括對當前壓縮單元的多個樣本進行的採樣、翻轉、濾波、變換、旋轉和變形中的至少一項。

根據另一實施方式的一方面，對圖像進行解碼的方法包括：將圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元；基於從至少一個編碼單元中確定的至少一個預測單元來執行預測；基於從編碼單元中確定的至少一個變換單元對圖像執行逆變換；確定基於預測和逆變換而重建的圖像中包括的至少一個壓縮單元；從比特流中獲取第一信息，該第一信息表明變更當前壓縮單元中包括的多個樣本的方案；基於所獲取的第一信息來確定對多個樣本進行變更的方案；以及基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本。

變更多個樣本還可以包括通過使用與所確定的方案對應的方案來變更與當前壓縮單元的邊界相鄰的鄰近壓縮單元的多個樣本或者參考幀的樣本。

執行預測可以包括通過使用鄰近壓縮單元的變更後的多個樣本或者參考幀的變更後的樣本對當前壓縮單元的多個樣本執行預測。

確定方案可以包括基於變更鄰近壓縮單元的多個樣本的方案來確定變更當前壓縮單元的多個樣本的方案。

確定方案可以包括基於包括第一信息和與可變更方案有關的信息的查詢表來確定對多個樣本進行變更的方案。

該方法還可以包括從比特流中獲取第二信息，該第二信息表明是否對多個樣本進行變更，其中，確定方案可以包括在第二信息表明對多個樣本進行變更時確定對多個樣本進行變更的方案。

方案可以包括對當前壓縮單元的多個樣本進行的採樣、翻轉、濾波、變換、旋轉和變形中的至少一項。

根據另一實施方式的一方面，對圖像進行編碼的設備包括：編碼器，其配置成確定圖像中包括的至少一個壓縮單元、確定變更當前壓縮單元中包括的多個樣本的方案、基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本、將包括變更後的多個樣本的圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元、通過使用從至少一個編碼單元中確定的至少一個預測單元來執行預測、以及通過使用從至少一個編碼單元中確定的至少一個變換單元來執行變換，從而對至少一個編碼單元進行編碼；以及比特流生成器，其配置成生成包括第一信息的比特流，該第一信息表明所確定的方案。

根據另一實施方式的一方面，對圖像進行解碼的設備包括：信息獲取器，其配置成從比特流中獲取第一信息，該第一信息表明變更當前壓縮單元中包括的多個樣本的方案；以及解碼器，其配置成基於與圖像的編碼單元的最大尺寸有關的信息來將圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元、基於從至少一個編碼單元中確定的至少一個預測單元來執行預測、基於從編碼單元中確定的至少一個變換單元對圖像執行逆變換、確定基於預測和逆變換而重建的圖像中包括的至少一個壓縮單元、基於所獲取的第一信息來確定對多個樣本進行變更的方案、基於所確定的至少一個壓縮單元和所確定的方案來變更當前壓縮單元的多個樣本，以及基於變更的結果和至少一個預測單元來執行預測。

根據另一實施方式的一方面，非暫時性計算機可讀記錄介質上記錄有程序，該程序在被計算機執行時實施對圖像進行編碼的方法。

根據另一實施方式的一方面，非暫時性計算機可讀記錄介質上記錄有程序，該程序在被計算機執行時實施對圖像進行解碼的方法。

具體實施方式

在下文中，參考圖1a到圖6b根據各種實施方式來建議可伸縮視頻編碼方法或解碼方法。另外，參考圖7到圖19描述適用於上述深度圖像解碼技術和深度圖像編碼技術的根據各種實施方式的基於樹形結構的編碼單元的視頻編碼技術和視頻解碼技術。另外，參考圖20到圖26描述適用於上述視頻編碼方法和視頻解碼方法的各種實施方式。

在下文中，「圖像」可以指的是靜態圖像或視頻的移動圖像，或者視頻本身。

在下文中，「樣本」指的是分配到圖像的採樣位置並且將進行處理的數據。例如，空間區域的圖像中的像素值或者變換區域上的變換係數可以是樣本。

在下文中，「壓縮單元」可以是用於通過任意過程對經由圖像編碼或解碼過程處理的圖像執行圖像變更的單元。壓縮單元可以是在現有編碼或解碼處理中使用的處理單元(例如，與序列、幀、條帶、最大編碼單元或編碼單元對應的單元)，但不限於此，並且可以與不同於處理單元的單獨單元對應。

圖1a是根據實施方式的圖像編碼設備10的框圖。圖像編碼設備10可以包括比特流生成器11和編碼器12，它們是用於對圖像進行編碼的部件。下文將通過各種實施方式來描述與由比特流生成器11和編碼器12在圖像編碼設備10中執行的圖像編碼方法有關的具體細節。

圖2a是根據實施方式的由圖像編碼設備10執行的圖像編碼方法的流程圖。

在操作s210中，圖像編碼設備10可以確定將被編碼的圖像中包括的至少一個壓縮單元。根據實施方式，圖像編碼設備10可以基於壓縮單元在將被編碼的圖像上預先執行任意處理過程。圖像編碼設備10可以將預定的任意單元確定為壓縮單元，或者可以根據將被處理的圖像的特徵來自適應地確定壓縮單元。在下文中，為便於描述，將基於具有某一尺寸的壓縮單元來描述一個或多個實施方式，但不限於此。

可以由根據實施方式的圖像編碼設備10確定的壓縮單元可以變更。例如，可以將可在圖像編碼過程期間使用的各種單元提供為壓縮單元。下文所述的各種實施方式是基於下列前提描述的：壓縮單元的尺寸與編碼單元的尺寸相同。

在操作s211中，圖像編碼設備10可以確定變更當前壓縮單元中包括的多個樣本的方案。

根據實施方式，圖像編碼設備10的編碼器12可以變更作為在操作s210中確定的至少一個壓縮單元中的一個壓縮單元的當前壓縮單元中包括的多個樣本，從而在之後的圖像編碼過程期間使用變更後的樣本。通過在編碼過程期間使用經由此任意方案變更的樣本，可以改善圖像編碼設備10的編碼效率。

由圖像編碼設備10的編碼器12變更多個樣本的方案可以有各種。在下文中，將描述各種實施方式中的一些實施方式，但本公開可以不由此類變更方案限制性地解釋。

根據實施方式，圖像編碼設備10的比特流生成器11可以生成比特流，該比特流包括與在操作s211中確定的變更方案有關的信息。與變更方案有關的信息可以對應於標記或索引的格式，並且可以根據各種壓縮單元(包括序列、幀、條帶、條帶片段、最大編碼單元、編碼單元和變換單元)進行傳輸。

根據實施方式，在確定當前壓縮單元的變更方案時，圖像編碼設備10的編碼器12可以通過使用與當前壓縮單元相鄰的另一壓縮單元相關的變更方案來確定當前壓縮單元的變更方案。例如，可以通過使用與當前壓縮單元相鄰的其他壓縮單元相關的變更方案有關的信息來確定當前壓縮單元的變更方案。

在操作s212中，根據實施方式，圖像編碼設備10可以基於所確定的壓縮單元和在操作s211中確定的方案來變更當前壓縮單元的多個樣本。

圖3a示出根據實施方式的作為變更當前壓縮單元中包括的多個樣本的方案的採樣方案。此處，可以將採樣方案定義為下列方案：重新排列壓縮單元中包括的多個樣本的位置，使得一起處理根據實施方式的壓縮單元中包括的多個樣本之中的基於行或列的第奇數個樣本或第偶數個樣本。

根據實施方式，編碼器12可以確定各種變更方案之中的根據壓縮單元優化的編碼效率的變更方案。例如，圖像編碼設備10可以通過關於當前壓縮單元檢查率失真代價來確定具有優良效率的方案。

參考圖3a，圖像編碼設備10的編碼器12可以確定圖像中包括的至少一個壓縮單元，並且將至少一個壓縮單元中的一個壓縮單元確定為當前壓縮單元30a。根據實施方式，所確定的當前壓縮單元30a可以對應於在編碼過程期間由圖像編碼設備10使用的編碼單元，但壓縮單元可不因此而被限制性地解釋。

根據實施方式，編碼器12可以將當前壓縮單元30a的多個樣本分類成奇數列中的樣本31a和31b以及偶數列中的樣本32a和32b，以經由樣本方案來變更當前壓縮單元30a的樣本。例如，通過經由將當前壓縮單元30a的奇數列中的樣本31a和31b的位置排列在當前壓縮單元的左列並且將當前壓縮單元30a的偶數列中的樣本32a和32b的位置排列在當前壓縮單元的右列的方案來變更當前壓縮單元30a，編碼器12可以確定變更後的壓縮單元30e的多個樣本。因此，當前壓縮單元30a中包括的多個樣本可以分成將分別設在當前壓縮單元30a的左側和右側的曾經在奇數列中的樣本31c和曾經在偶數列中的樣本32c。

圖3b示出包括變更當前壓縮單元30b的多個樣本的位置和變更樣本的值的過程的變更方案。根據實施方式，編碼器12可以基於當前壓縮單元30b的變更方案，不僅通過變更當前壓縮單元30b中包括的多個樣本的位置而且通過變更和重新排列樣本的值來確定變更後的壓縮單元30f。參考圖3b，編碼器12可以通過使用將當前壓縮單元30b的多個樣本分類成奇數列中的樣本33a和33b以及偶數列中的樣本34a和34b的採樣方案來變更當前壓縮單元30b的樣本。此外，編碼器12可以通過使用奇數列中的樣本33a和33b的值來確定當前壓縮單元30b的偶數列中的樣本34a和34b的值。例如，變更之前的當前壓縮單元30b中包括的樣本之中的第一樣本33c和第三樣本33d可以是變更之前的當前壓縮單元30b的多個樣本之中的位於奇數列的第一列和第三列中的樣本。位於同一行的樣本之中的曾經在偶數列的第二樣本34c的值可以通過使用第一樣本33c和第三樣本33d的值進行確定。例如，第二樣本34c的值可以對應於第一樣本33c和第三樣本33d的值的平均值。

此外，編碼器12也可以通過使用第一樣本33c和第三樣本33d的值來確定位於同一行的樣本之中的曾經在偶數列的第四樣本34d的值。或者，可以通過使用基於第一樣本33c和第三樣本33d的值確定的第二樣本34c的值來確定第四樣本34d的值。例如，編碼器12可以通過用算術方法計算第二樣本34c的值來確定第四樣本34d的值。

圖3c示出根據實施方式的作為變更當前壓縮單元30c中包括的多個樣本的方案的採樣方案的另一示例。

參考圖3c，編碼器12可以使用通過將當前壓縮單元30c的多個樣本分類成奇數行中的樣本35a和35b以及偶數行中的樣本36a和36b的採樣方案來變更當前壓縮單元30c的樣本而確定變更後的壓縮單元30g。此外，編碼器12可以通過使用奇數行中的樣本35a和35b的值來確定當前壓縮單元30c的偶數行中的樣本36a和36b的值。例如，變更之前的當前壓縮單元30c中包括的樣本之中的第一樣本35c和第九樣本35d可以是變更之前的當前壓縮單元30b的多個樣本之中的分別位於第一行和第三行(即，奇數行)中的樣本。位於同一列的樣本之中的曾經在偶數行的第五樣本36c的值可以通過使用第一樣本35c和第九樣本35d的值進行確定。例如，第五樣本36c的值可以對應於第一樣本35c和第九樣本35d的值的平均值。此外，編碼器12也可以通過使用第一樣本35c和第九樣本35d的值來確定位於同一行的樣本之中的曾經在偶數列的第十三樣本36d的值。或者，可以通過使用基於第一樣本35c和第九樣本35d的值確定的第五樣本36c的值來確定第十三樣本36d的值。例如，編碼器12可以通過用算術方法計算第五樣本36c的值來獲取第十三樣本36d的值。

圖3d示出根據實施方式的通過對多個樣本進行採樣來排列當前壓縮單元30d中包括的多個樣本和變更樣本值的過程。

參考圖3d，編碼器12可以使用通過將變更之前的當前壓縮單元30d的多個樣本分類成奇數行中的樣本37a和37b以及偶數行中的樣本38a和38b的採樣方案來變更當前壓縮單元30d的樣本。此外，編碼器12可以使用通過將當前壓縮單元30d的多個樣本分類成奇數列中的樣本37c和37d以及偶數列中的樣本38c和38d的採樣方案來變更當前壓縮單元30d的樣本。此外，編碼器12可以通過使用奇數行中的樣本37a和37b的值來確定當前壓縮單元30d的偶數行中的樣本38a和38b的值。例如，變更之前的當前壓縮單元30d中包括的樣本之中的第一樣本39a和第九樣本39c可以是變更之前的當前壓縮單元30d的多個樣本之中的分別位於第一行37a和第三行37b(即，奇數行)中的樣本。位於同一列的樣本之中的曾經在偶數行的第五樣本39f的值可以通過使用第一樣本39a和第九樣本39c的值進行確定。例如，編碼器12可以通過將第五樣本39f的值確定為第一樣本39a和第九樣本39c的值的平均值來確定變更後的壓縮單元30h。此處，由於此實施方式可以對應於參考圖3b描述的實施方式，因此，不提供具體細節。

此外，編碼器12可以使用將變更之前的當前壓縮單元30d的多個樣本分類成奇數列中的樣本33a和33b以及偶數列中的樣本34a和34b的採樣方案來變更當前壓縮單元30d的樣本。此外，編碼器12可以通過使用奇數列中的樣本37a和37b的值來確定當前壓縮單元30d的偶數列中的樣本38a和38b的值。例如，變更之前的當前壓縮單元30b中包括的樣本之中的第一樣本39a和第三樣本39b可以是變更之前的當前壓縮單元30d的多個樣本之中的位於第一列37c和第三列37d(即，奇數列)中的樣本。位於同一行的樣本之中的曾經在偶數列的第二樣本39e的值可以通過使用第一樣本39a和第三樣本39b的值進行確定。例如，編碼器12可以通過將第二樣本39e的值確定為第一樣本39a和第三樣本39b的平均值來確定變更後的壓縮單元30h。此處，由於此實施方式可以對應於參考圖3c描述的實施方式，因此，不提供具體細節。

根據實施方式，編碼器12可以通過使用其他相鄰樣本來變更變更之前的當前壓縮單元30d的偶數行和偶數列中的樣本。例如，參考圖3d，可以通過基於位於相鄰奇數行和相鄰奇數列中的樣本變更位於第二行38a第二列38c中的第六樣本39g來確定變更後的壓縮單元30h。具體地，第六樣本39g的值可以變更成與下列樣本的平均值對應的值：位於第一行第一列中的第一樣本39a、位於第一行第三列中的第三樣本39b、位於第三行第一列中的第九樣本39c以及位於第三行第三列中的第十一樣本39d。

根據實施方式，編碼器12可以基於樣本的變更後的樣本值來變更另一樣本的樣本值。例如，參考圖3d，位於變更之前的當前壓縮單元30d的第二行38a第四列38d中的第八樣本39h的樣本值可以基於位於相鄰奇數行和相鄰奇數列中的樣本進行變更。具體地，變更之前的當前壓縮單元30d的第八樣本39h的樣本值可以基於位於第二行38a第二列38c中的第六樣本39g的樣本值進行變更。例如，可以通過將第八樣本39h的值變更成通過用算術方法計算第六樣本39g的樣本值而變更的值來確定變更後的壓縮單元30h。

圖4a示出根據實施方式的作為由圖像編碼設備10變更當前壓縮單元40a中包括的多個樣本的位置的方案的翻轉方案的示例。

參考圖4a，編碼器12可以變更樣本的位置，使得當前壓縮單元40a中包括的多個樣本的左右發生變更。例如，位於當前壓縮單元40a的第一行第一列中的第一樣本41a可以由編碼器12設置在當前壓縮單元40a的第一行第四列中，從而基於將當前壓縮單元40a分成兩半的線40c而位於相對側。作為另一示例，位於當前壓縮單元40a的第一行第二列中的第二樣本41b可以由編碼器12設置在當前壓縮單元40a的第一行第三列中，從而基於將當前壓縮單元40a分成兩半的線40c而位於相對側。因此，編碼器12可以水平翻轉當前壓縮單元40a的多個樣本，以獲取翻轉的壓縮單元40b。然而，由於當前實施方式僅僅是用於描述本公開的壓縮單元的變更方案的示例，因此，變更壓縮單元的多個樣本位置的翻轉變更方案不應限於上文，並且翻轉方向和標準可以變更。

圖4b示出根據實施方式的作為由圖像編碼設備10變更當前壓縮單元40d中包括的多個樣本的位置的方案的翻轉方案的另一示例。

參考圖4b，編碼器12可以變更樣本的位置，使得當前壓縮單元40d中包括的多個樣本的位置可以在對角線方向上變更。例如，位於當前壓縮單元40d的第一行第一列中的第一樣本42a可以由編碼器12設置在當前壓縮單元40d的第四行第四列中，從而基於將當前壓縮單元40d分成兩半的線40f而位於相對側。作為另一示例，位於當前壓縮單元40d的第一行第二列中的第二樣本42b可以由編碼器12設置在當前壓縮單元40d的第三行第四列中，從而基於將當前壓縮單元40d分成兩半的線40f而位於相對側。因此，編碼器12可以對角地翻轉當前壓縮單元40d的多個樣本，以獲取翻轉的壓縮單元40e。然而，由於當前實施方式僅僅是用於描述本公開的壓縮單元的變更方案的示例，因此，變更壓縮單元的多個樣本位置的翻轉變更方案不應限於上文，並且翻轉方向和標準可以變更。因此，作為對角線方向上的翻轉變更方法的基礎的線的角度或位置可以變更。

圖4c示出根據實施方式的作為由圖像編碼設備10變更當前壓縮單元40g中包括的多個樣本的位置的方案的旋轉方案的示例。

參考圖4c，編碼器12可以經由在當前壓縮單元40g中旋轉當前壓縮單元40g中包括的多個樣本的位置的方案來變更樣本的位置。例如，編碼器12可以通過在順時針方向上旋轉包括位於當前壓縮單元40g的第一行第一列中的第一樣本43a在內的多個樣本來將第一樣本43a的位置變更到當前壓縮單元40g的第一行第四列。作為另一示例，編碼器12可以通過在順時針方向上旋轉包括位於當前壓縮單元40g的第一行第二列的第二樣本43b在內的多個樣本來將當前壓縮單元40g的第二樣本43b的位置變更到當前壓縮單元40g的第二行第四列。因此，當前壓縮單元40g可以變更成壓縮單元40h，其中當前壓縮單元40g的多個樣本由編碼器12在順時針方向上旋轉。然而，由於當前實施方式僅僅是用於描述本公開的壓縮單元的變更方案的示例，因此，變更壓縮單元的多個樣本位置的旋轉變更方案不應限於上文。換言之，旋轉方向可以是順時針方向或逆時針方向，並且旋轉角度也可以變更。

根據實施方式，圖像編碼設備10可以根據某一方法來變更當前壓縮單元中包括的多個樣本的樣本值。例如，編碼器12可以經由諸如濾波、變換和變形等方案來變更當前壓縮單元中包括的多個樣本。

根據實施方式，用於經由濾波來變更樣本值的濾波器的類型可以變更，諸如，低通濾波器和高通濾波器。

根據實施方式，當經由變換方案來變更樣本值時，圖像編碼設備10可以經由根據離散餘弦變換(dct)的各種方案的算法來變更樣本值，或者可以根據快速傅立葉變換(fft)來變更樣本值。

當根據實施方式，依據變形方案來變更樣本值時，圖像編碼設備10可以通過變更當前壓縮單元中包括的多個樣本的樣本值來使當前壓縮單元中示出的圖像失真。例如，圖像編碼設備10可以經由通過使用與圖像相關的參數信息(諸如，作為相機參數信息的焦距或光圈值)來減少或增強將被編碼的圖像中示出的失真而變更當前壓縮單元中包括的多個樣本的樣本值。圖像編碼設備10可以變更具有根據某一方法變更的樣本值的多個樣本的位置。由於變更多個樣本的位置的方法可以對應於上文通過附圖描述的各種實施方式，因此，不提供具體細節。

在操作s213中，圖像編碼設備10可以將包括操作s212中變更的多個樣本的圖像的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元。圖像編碼設備10的編碼器12確定圖像的最大編碼單元，並且根據編碼單元的分割信息將最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元。例如，編碼器12可以將最大編碼單元分割成四叉樹結構，並且如此分割的最大編碼單元可以包括至少一個編碼單元。

在操作s214中，圖像編碼設備10可以基於分區模式信息從編碼單元中確定至少一個預測單元，並且通過使用所確定的至少一個預測單元來執行預測。比特流生成器11可以生成比特流，該比特流包括與作為在操作s213中確定的編碼單元中包括的預測單元的形式的分區模式有關的信息，此外，編碼器12可以基於此分區模式信息來確定與編碼單元相關的至少一個預測單元。編碼器12可以基於預測單元來執行預測。由於編碼器12所執行的預測過程可以由上文或下文所描述的各種實施方式描述，因此，此處不提供具體細節。

在操作s215中，圖像編碼設備10可以通過基於從編碼單元中確定的至少一個變換單元對差分信號執行變換來對當前編碼單元進行編碼。差分信號可以對應於變更後的圖像的原始信號與預測信號之間的差異，並且編碼器12可以對差分信號執行變換過程。根據實施方式，編碼器12可以通過使用變換單元的分割信息來從編碼單元中確定至少一個變換單元，所述分割信息表明是否將與編碼單元的深度對應的當前深度的變換單元分割成較深深度的變換單元。編碼器12可以從當前編碼單元中確定至少一個變換單元，所述至少一個變換單元可以被確定為採用與編碼單元對應的形式或者可以通過從編碼單元分割進行確定。換言之，編碼器12可以根據變換單元的分割信息來確定是否通過分割成多個變換單元而將該變換單元確定為較深深度的變換單元，或者是否將當前編碼單元的變換單元確定為與編碼單元的形狀對應的變換單元(因為該變換單元的深度被確定為當前深度)。

圖5a示出根據實施方式的在當前壓縮單元的多個樣本的位置經過變更以對圖像進行解碼時，變更與當前壓縮單元相鄰的壓縮單元的樣本的過程。

根據實施方式，圖像編碼設備10的編碼器12可以變更當前壓縮單元50a中包括的多個樣本，並且可以經由與變更當前壓縮單元50a的方案對應的方案來變更與當前壓縮單元50a相鄰的相鄰樣本50b。參考圖5a，圖像編碼設備10可以經由採樣方案來變更當前壓縮單元50a中包括的多個樣本。與採樣方案有關的具體細節可以是與上述各種實施方式有關的具體細節，因此，不提供描述。此處，根據當前壓縮單元50a的變更方案一起變更的相鄰樣本可以是根據實施方式的不變更的樣本。

根據實施方式，編碼器12可以基於當前壓縮單元50a的奇數行51a和51b以及偶數行52a和52b來執行採樣。因此，當前壓縮單元50a的奇數行51a和51b中包括的樣本可以設置在當前壓縮單元50a的上部部分，並且偶數行52a和52b中包括的樣本可以設置在當前壓縮單元50a的下部部分，因此，可以獲取變更後的當前壓縮單元50c。在這種情況下，編碼器12不僅可以變更當前壓縮單元50a中包括的多個樣本，而且可經由同一方案來變更與當前壓縮單元相鄰的另一壓縮單元的樣本。例如，根據作為變更當前壓縮單元50a的方案的採樣方案，編碼器12可以將與當前壓縮單元50a的左邊界相鄰的相鄰樣本50b之中的、位於當前壓縮單元50a的奇數行51a和51b中的第a個樣本和第c個樣本設置在相鄰壓縮單元的上部部分。此外，編碼器12可以將與當前壓縮單元50a的左邊界相鄰的相鄰樣本50b之中的、位於當前壓縮單元50a的偶數行52a和52b中的第b個樣本和第d個樣本設置在相鄰壓縮單元的下部部分。根據變更當前壓縮單元50a的方案而變更的相鄰樣本50d可以在變更後的當前壓縮單元50c的多個樣本的預測過程期間用作參考樣本。下文將通過實施方式來描述與預測過程有關的具體細節。

圖5b示出根據實施方式的在當前壓縮單元的多個樣本的位置經過變更以對圖像進行解碼時，變更與當前壓縮單元相鄰的壓縮單元的樣本的另一方案。參考圖5b，圖像編碼設備10可以經由翻轉方案來變更當前壓縮單元53a中包括的多個樣本。由於與翻轉方案有關的具體細節可以是與上述各種實施方式有關的具體細節，因此，不提供描述。此處，根據當前壓縮單元53a的變更方案一起變更的相鄰樣本可以是根據實施方式的不變更的樣本。

根據實施方式，編碼器12可以使用翻轉方案，從而變更當前壓縮單元53a中包括的多個樣本的排列。編碼器12可以根據翻轉方案基於基線53e來變更當前壓縮單元53a的多個樣本的左右位置。因此，位於當前壓縮單元53a的第一行第一列中的第一樣本54a的位置可以變更到第一行第四列中的位置，並且位於當前壓縮單元53a的第一行第三列中的第三樣本54b的位置可以變更到當前壓縮單元53a的第一行第二列中的位置。此外，編碼器12不僅可以變更當前壓縮單元53a中包括的多個樣本，而且可經由同一方案來變更與當前壓縮單元相鄰的另一壓縮單元的樣本。例如，編碼器12可以根據當前壓縮單元53a的翻轉方案來變更與當前壓縮單元53a的上邊界相鄰的相鄰樣本53b的位置。因此，位於相鄰樣本53b的第一列中的第a個樣本55a的位置可以變更到第四列中的位置，並且位於第三列中的第c個樣本55b的位置可以變更到第二列中的位置。根據變更當前壓縮單元53a的變更方案而變更的相鄰樣本53d可以在變更後的當前壓縮單元53c的多個樣本的預測過程期間用作參考樣本。下文將通過實施方式來描述與預測過程有關的具體細節。

圖6a示出根據實施方式的變更在編碼過程期間當圖像編碼設備10執行預測時所參考的樣本的過程。

根據實施方式，圖像編碼設備10的編碼器12可以確定將在編碼單元中執行的預測的類型。例如，可以基於包括表明將在當前編碼單元中執行的預測模式的類型的信息在內的預測模式信息來確定將對當前編碼單元執行幀內預測或幀間預測還是將通過參考不同層上的圖片來執行預測。當編碼單元的預測模式被確定為幀內預測模式時，可以基於與幀內預測類型有關的信息來執行幀內預測。例如，與幀內預測類型有關的信息可以包括用於幀內預測的參考樣本的位置，或者用於基於確定的參考樣本來區分執行幀內預測的方法的句構。此處，可以基於包括預測單元和變換單元在內的編碼單元的尺寸來確定預測單元和變換單元的尺寸。此外，根據實施方式的壓縮單元可以對應於針對不同過程的單元，該單元不同於編碼單元、預測單元和變換單元。然而，為便於描述，假設當前壓縮單元的尺寸對應於當前變換單元的尺寸。

根據實施方式的圖像編碼設備10的編碼器12在幀內預測過程期間可以參考與當前變換單元相鄰的參考樣本。參考圖6a，當對與4×4尺寸的樣本對應的變換單元執行預測時，編碼器12可以將相鄰樣本確定為在執行預測的過程期間使用的參考樣本。當編碼器12執行幀內預測時，基於與預測類型有關的信息，編碼器12可以確定在預測過程期間參考的樣本的位置或者基於確定的參考樣本來確定執行預測的方法。例如，與幀內預測類型有關的信息可以表明右對角線方向上的樣本是參考樣本。然而，將參考右對角線方向上的樣本中的哪一個樣本由與預測類型有關的信息表明，並且可以根據預測樣本和參考樣本的角度差而變更。因此，幀內預測方法不應限制性地解釋為圖6a的預測方法。

根據實施方式，在幀內預測期間，圖像編碼設備10的編碼器12可以根據預測模式通過使用參考樣本來確定主陣列62a。參考圖6a，編碼器12可以通過使用主陣列62a中包括的參考樣本來執行預測，並且主陣列62a可以包括與當前變換單元60a相鄰的樣本。根據幀內預測類型可以確定與當前變換單元相鄰的樣本之中的、將被包括在主陣列62a中並且在預測過程期間使用的樣本。例如，當幀內預測方向對應於當前變換單元60a中的豎直方向或右上方向時，當前變換單元60a上方的相鄰參考樣本61a到61c中的一些參考樣本可以被包括在主陣列62a中並且在預測過程期間使用。例如，在當前變換單元60a上方的相鄰參考樣本61a到61c之中，參考樣本61d可以被包括在主陣列62a中並在當前變換單元60a的預測過程期間使用，所述參考樣本61d包括與當前變換單元60a的上部部分相鄰的樣本61a、與當前變換單元60a的左變換單元60b的上部部分相鄰的樣本61b中的一些樣本，以及與當前變換單元60a的右變換單元60c的上部部分相鄰的樣本61c。

根據實施方式，圖像編碼設備10的編碼器12可以變更當前變換單元60a中包括的多個樣本，以用於執行幀內預測。用於變更多個樣本的基礎單元可以是壓縮單元，並且壓縮單元可以是序列、圖片、條帶、條帶片段、編碼單元、預測單元或變換單元，但不限於此，而且可以是另一數據單元。然而，為便於描述，壓縮單元可以對應於變換單元。

根據實施方式，圖像編碼設備10的編碼器12可以將翻轉方案用作變更與壓縮單元對應的當前變換單元60a中包括的多個樣本的方案。編碼器12可以基於壓縮單元經由翻轉方案而基於分割多個樣本的線63來變更多個樣本的位置。由於上文已經描述了通過翻轉與壓縮單元對應的當前變換單元60a的多個樣本來變更位置的方法，因此，不再提供具體細節。此處，可以將與當前壓縮單元相鄰的樣本定義為基於壓縮單元與當前壓縮單元相鄰的其他壓縮單元中包括的樣本。

根據實施方式，在當前變換單元60a被確定為對應於壓縮單元時，圖像編碼設備10的編碼器12不僅可以變更當前變換單元60a中包括的多個樣本，而且經由與變更當前變換單元60a中包括的多個樣本的方案對應的方案來變更與當前變換單元60a相鄰的多個樣本。例如，在翻轉當前變換單元60a中包括的多個樣本時，編碼器12可以經由翻轉方案來變更與對應於當前變換單元60a的壓縮單元相鄰的多個樣本。換言之，參考圖6a，編碼器12可以變更與當前變換單元60a的上部部分相鄰的樣本61a、與當前變換單元60a的左變換單元60b的上部部分相鄰的樣本61b、以及與當前變換單元60a的右變換單元60c的上部部分相鄰的樣本61c。

圖6b示出根據實施方式的通過使用由圖像編碼設備10的編碼器12變更與當前壓縮單元60a相鄰的樣本的位置的結果來執行預測的過程。根據實施方式，編碼器12可以經由翻轉方案來變更與當前變換單元60a相鄰的樣本61a到61c的位置。例如，樣本61a到61c的位置可以基於分割當前變換單元60a的線63來左右變更。圖6b示出經由翻轉方案來變更當前變換單元60a中包括的樣本和與當前變換單元60a相鄰的樣本61a到61c的結果。編碼器12可以通過變更當前變換單元60a的左右來獲取翻轉的變換單元64a。此外，編碼器12可以通過在線63的左右顛倒與當前變換單元60a相鄰的樣本的位置來獲取變更後的相鄰樣本65a到65c。

根據實施方式，圖像編碼設備10的編碼器12可以在如在圖6a中所示對當前變換單元60a執行預測的過程期間通過參考主陣列62b中包括的參考樣本來執行預測。此外，參考圖6b，編碼器12可以在執行預測之前基於壓縮單元來變更樣本，並且基於變更的結果來執行預測。換言之，在對當前變換單元60a執行預測過程期間由編碼器12參考的參考樣本可以基於是否執行變更而不同。例如，參考圖6a，根據實施方式，編碼器12可以不根據翻轉方案來執行變更，而是可以基於與當前變換單元60a相鄰的多個樣本和與幀內預測類型有關的信息來確定主陣列62a，以在預測過程期間參考主陣列62a中包括的參考樣本61d。此外，參考圖6b，根據實施方式，編碼器12可以根據翻轉方案來執行變更，並且基於變更後的多個樣本和與幀內預測類型有關的信息來確定主陣列62b，以在預測過程期間參考主陣列62b中包括的參考樣本65d。

參考圖6a和圖6b，由於編碼器12基於與幀內預測類型有關的信息來確定將被包括在主陣列62a和62b中的參考樣本，因此，無論多個樣本是否變更，由當前變換單元60a和64a參考的參考樣本的位置都相同。當多個樣本根據由編碼器12執行的諸如採樣或翻轉等變更方案進行變更時，存在於由與幀內預測類型有關的信息確定的位置處的樣本的樣本值可以變更。因此，即使在圖像編碼設備10根據一個幀內預測類型來執行預測時，參考樣本根據由編碼器12執行的變更方案而變更，因而可以通過相對地參考各種樣本來執行預測過程。例如，基於當前變換單元60a和64a，在圖6a中確定的參考樣本的位置和在圖6b中確定的參考樣本的位置相同。然而，在圖6a中，多個樣本是在由編碼器12根據翻轉方案進行變更之前，並且在圖6b中，多個樣本是在由編碼器12根據翻轉方案進行變更之後，因此參考樣本的值不同。因此，圖6a的主陣列62a可以相繼包括第d個樣本到第l個樣本，而圖6a的主陣列62b可以相繼包括第i個樣本到第a個樣本。根據各種實施方式，可以經由比在現有預測過程期間中使用的方案相對更有效且更靈活的方案來執行預測。

參考圖6a和圖6b，當前壓縮單元附近的至少一個參考樣本可以根據當前壓縮單元的變更方案而變更，同時圖像編碼設備10確定用於預測的參考樣本。然而，根據實施方式，在完成對當前壓縮單元的多個樣本執行的預測過程之後，圖像編碼設備10可以將變更後的至少一個參考樣本恢復成原始狀態。

根據實施方式，圖像編碼設備10可以通過參考用於幀間預測的參考幀來執行預測。當執行由圖像編碼設備10執行的變更時，可以經由與當前壓縮單元的變更方案對應的方案來變更用於幀間預測的參考幀的多個樣本。換言之，圖像編碼設備10可以經由與變更當前幀的壓縮單元的多個樣本值的方法相同的方案來變更與當前幀的壓縮單元對應的參考幀上的壓縮單元，並且基於變更的結果來執行幀間預測。參考幀上的壓縮單元的位置可以通過參考與當前幀的壓縮單元相關的運動矢量來確定。

如上文所述，圖像編碼設備10可以確定具有各種形狀的壓縮單元，並且基於所確定的壓縮單元來變更多個樣本。圖像編碼設備10可以基於變更後的樣本通過執行編碼來改善編碼效率。在下文中，將描述與圖像編碼設備100對應的圖像解碼設備15。

圖1b是根據實施方式的圖像解碼設備15的框圖。圖像解碼設備15可以包括信息獲取器16和解碼器18，作為用於對圖像進行解碼的部件。下文將通過各種實施方式來描述與由信息獲取器16和解碼器18在圖像解碼設備15中執行的圖像解碼方法有關的具體細節。

圖2b是根據實施方式的由圖像解碼設備15執行的圖像解碼方法的流程圖。

在操作s220中，圖像解碼設備15可以將圖像中包括的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元。例如，解碼器18可以確定圖像的最大編碼單元，並且將所確定的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元。根據實施方式，解碼器18可以基於與編碼單元的最大尺寸有關的信息來確定圖像的最大編碼單元，並且根據編碼單元的分割信息將所確定的最大編碼單元中的一個最大編碼單元分割成至少一個編碼單元。解碼器18可以根據分割信息將最大編碼單元分割到四叉樹結構，並且至少一個編碼單元可以被包括在所分割的最大編碼單元中。

在操作s221中，圖像解碼設備15可以確定從編碼單元中確定的至少一個預測單元，並且基於所確定的預測單元來執行預測。根據實施方式，解碼器18可以從比特流中獲取與分區模式有關的信息(即，在操作s220中確定的編碼單元中包括的預測單元的形狀)，並且基於此分區模式信息來確定與編碼單元相關的至少一個預測單元。由於解碼器18所執行的預測過程可以由上文或下文所描述的各種實施方式描述，因此，此處不提供細節。

在操作s222中，圖像解碼設備15可以基於從編碼單元中確定的變換單元對圖像執行逆變換。根據實施方式，可以通過使用變換單元的分割信息來從編碼單元中確定至少一個變換單元，所述分割信息表明是否將與在操作s220中確定的編碼單元的深度對應的當前深度的變換單元分割成較深深度的變換單元。解碼器18可以從當前編碼單元中確定至少一個變換單元，所述至少一個變換單元可以被確定為採用與編碼單元對應的形式或者可以通過從編碼單元分割進行確定。換言之，解碼器18可以根據變換單元的分割信息來確定是否通過分割成多個變換單元而將該變換單元確定為較深深度的變換單元，或者是否將當前編碼單元的變換單元確定為與編碼單元的形狀對應的變換單元(因為該變換單元的深度被確定為當前深度)。根據實施方式，由解碼器18執行的逆變換可以對應於將圖像的差分信號進行逆變換的過程。在操作s223中，圖像解碼設備15可以基於預測和逆變換來重建圖像，此外，確定所重建的圖像中包括的至少一個壓縮單元。根據實施方式，圖像解碼設備15可以基於壓縮單元在將被解碼的圖像上預先執行任意處理過程。圖像解碼設備15可以將預定的任意單元確定為壓縮單元，或者可以根據將被處理的圖像的特徵來自適應地確定壓縮單元。在下文中，為便於描述，將基於具有某一尺寸的壓縮單元來描述一個或多個實施方式，但不限於此。

可以由根據實施方式的圖像解碼設備15確定的壓縮單元可以變更。例如，可以將可在圖像解碼過程期間使用的各種單元提供為壓縮單元。此外，為了改善解碼效率，由圖像解碼設備15使用的壓縮單元可以對應於在編碼過程期間由圖像編碼設備10使用的壓縮單元。圖像解碼設備15可以通過信息獲取器16從接收自圖像編碼設備10的比特流中獲取與壓縮單元的尺寸有關的信息。下文所述的各種實施方式是基於下列前提描述的：由圖像解碼設備15使用的壓縮單元是編碼單元。

在操作s224中，圖像解碼設備15的信息獲取器16可以從比特流中獲取第一信息，所述第一信息表明變更當前壓縮單元中包括的多個樣本的方案。

由圖像解碼設備15的解碼器18變更多個樣本的方案可以變更。在下文中，將描述各種實施方式中的一些實施方式，但本公開可以不由此類變更方案限制性地解釋。

圖3a示出根據實施方式的作為變更當前壓縮單元30a中包括的多個樣本的方案的採樣方案。此處，可以將採樣方案定義為下列方案：重新排列壓縮單元中包括的多個樣本的位置，使得一起處理根據實施方式的壓縮單元中包括的多個樣本之中的基於行或列的第奇數個樣本或第偶數個樣本。

參考圖3a，圖像解碼設備15的解碼器18可以確定圖像中包括的至少一個壓縮單元，並且將至少一個壓縮單元中的一個確定為當前壓縮單元30a。根據實施方式，所確定的當前壓縮單元30a可以對應於在解碼過程期間由圖像解碼設備15使用的編碼單元，但壓縮單元並不因此而被限制性地解釋。

根據實施方式，解碼器18可以通過使用執行逆變換而獲取的當前壓縮單元30e的多個樣本來確定重建的壓縮單元30a，所述重建的壓縮單元30a包括曾經在奇數列的樣本31a和31b以及曾經在偶數列的樣本32a和32b。例如，解碼器18可以變更多個樣本的位置，使得將當前壓縮單元30e的左邊兩列中的樣本31c排列在所重建的壓縮單元30a的奇數列中的樣本31a和31b處，並且將當前壓縮單元30e的右邊兩列中的樣本31b排列在所重建的壓縮單元30a的偶數列中的樣本32a和32b處。由於此過程可以對應於由圖像編碼設備10執行的變更方案的逆過程，因此，不再提供具體細節。

圖3b示出包括變更當前壓縮單元30f的多個樣本的位置和變更樣本的值的過程的變更方案。根據實施方式，解碼器18可以通過變更執行逆變換所獲取的當前壓縮單元30f中包括的多個樣本的位置以及變更樣本的值來對當前壓縮單元30f中包括的多個樣本進行解碼。參考圖3b，解碼器18可以通過變更經由逆變換而獲取的當前壓縮單元30f的多個樣本的位置來確定重建的壓縮單元30b，所述重建的壓縮單元30b包括在奇數列中的樣本33a和33b以及在偶數列中的樣本34a和34b。

此外，解碼器18可以通過使用奇數列中的樣本33a和33b的值來確定所重建的壓縮單元30b的偶數列中的樣本34a和34b的值。例如，變更之前的當前壓縮單元30f中包括的樣本之中的第一樣本33c和第三樣本33d可以是變更之前的當前壓縮單元30f的多個樣本之中的曾經位於第一列和第三列(即，奇數列)中的樣本。位於同一行的樣本之中的在偶數列的第二樣本34c的值可以通過使用第一樣本33c和第三樣本33d的值進行確定。例如，根據在圖像編碼設備10的編碼過程期間的變更方案，第二樣本34c的值可以對應於第一樣本33c和第三樣本33d的值的平均值。因此，解碼器18可以通過基於此關係執行由圖像編碼設備10所執行的變換的逆過程來確定變更後的當前壓縮單元。例如，解碼器18可以使用恢復的樣本值通過算術計算過程來確定多個樣本的值。此處，可以通過使用曾經在奇數列中的樣本33a和33b來確定曾經在偶數列中的樣本34a和34b，因此，解碼器18可以高效地管理帶寬，這是因為即使在只交換了曾經在奇數列中的樣本33a和33b時，也可能實現圖像解碼。

圖3c示出根據實施方式的作為變更當前壓縮單元30g中包括的多個樣本的方案的採樣方案的另一示例。

參考圖3c，解碼器18可以通過變更多個樣本來確定變更後的壓縮單元30c，從而恢復經由逆變換而獲取的當前壓縮單元30g的多個樣本，所述變更後的壓縮單元30c包括奇數行中的樣本35a和35b以及偶數行中的樣本36a和36b。換言之，解碼器18可以通過執行與圖像編碼設備10對當前壓縮單元30g執行的採樣方案的逆過程對應的變更來確定變更後的壓縮單元30c。

此外，編碼器18可以通過使用奇數行中的樣本35a和35b的值來確定變更後的壓縮單元30c的偶數行中的樣本36a和36b的值。例如，變更之前的當前壓縮單元30g中包括的樣本之中的第一樣本35c和第九樣本35d可以是變更之前的當前壓縮單元30g的多個樣本之中的分別位於第一行和第三行(即，奇數行)中的樣本。位於同一列的樣本之中的在偶數行的第五樣本36c的值可以通過使用第一樣本35c和第九樣本35d的值進行確定。例如，第五樣本36c的值可以對應於第一樣本35c和第九樣本35d的值的平均值。此外，編碼器18也可以通過使用第一樣本35c和第九樣本35d的值來確定位於同一行的樣本之中的曾經在偶數列的第十三樣本36d的值。或者，可以通過使用基於第一樣本35c和第九樣本35d的值確定的第五樣本36c的值來確定第十三樣本36d的值。例如，解碼器18可以通過用算術方法計算第五樣本36c的值來獲取第十三樣本36d的值。因此，可以通過使用曾經在奇數行中的樣本35a和35b來確定曾經在偶數行中的樣本36a和36b，因此，解碼器18可以高效地管理帶寬，這是因為即使在只交換了曾經在奇數列中的樣本35a和35b時，也可能實現圖像解碼。

圖3d示出根據實施方式的通過對多個樣本進行採樣來排列當前壓縮單元30d中包括的多個樣本和變更樣本值的過程。

參考圖3d，解碼器18可以變更變更之前的當前壓縮單元30h的樣本，以確定變更之後的變更後的壓縮單元30d的樣本，所述變更後的壓縮單元包括奇數行中的樣本37a和37b、偶數行中的樣本38a和38b、奇數列中的樣本37c和37d、以及偶數列中的樣本38c和38d。換言之，解碼器18可以通過相對於當前壓縮單元30h的多個樣本執行上文參考圖3a和圖3b描述的由解碼器18執行的所有過程來確定變更後的壓縮單元30d。

此外，解碼器18可以通過使用奇數行中的樣本37a和37b的值來確定多個樣本的位置被變更的變更後的壓縮單元30d的偶數行中的樣本38a和38b的值。例如，當前壓縮單元30h中包括的樣本之中的第一樣本39a和第九樣本39c可以是當前壓縮單元30h的多個樣本之中的分別位於第一行37a和第三行37b(即，奇數行)中的樣本。位於同一列的樣本之中的曾經在偶數行的第五樣本39f的值可以通過使用第一樣本39a和第九樣本39c的值進行確定。例如，解碼器18可以通過將第五樣本39f的值確定為第一樣本39a和第九樣本39c的值的平均值來確定變更後的壓縮單元30d。此處，由於此實施方式可以對應於參考圖3b描述的實施方式，因此，不提供具體細節。此外，解碼器18可以使用通過將當前壓縮單元30h的多個樣本分成奇數列中的樣本37a和37b以及偶數列中的樣本38a和38b的採樣方案來變更當前壓縮單元30d的樣本。此外，解碼器18可以通過使用奇數列中的樣本37a和37b的值來確定當前壓縮單元30d的偶數列中的樣本38a和38b的值。例如，當前壓縮單元30h中包括的樣本之中的第一樣本39a和第三樣本39b可以是當前壓縮單元30h的多個樣本之中的位於第一列37c和第三列37d(即，奇數列)中的樣本。位於同一行的樣本之中的曾經在偶數列的第二樣本39e的值可以通過使用第一樣本39a和第三樣本39b的值進行確定。例如，解碼器18可以通過將第二樣本39e的值確定為第一樣本39a和第三樣本39b的值的平均值來確定變更後的壓縮單元30d。此處，由於此實施方式可以對應於參考圖3c描述的實施方式，因此，不提供具體細節。

根據實施方式，解碼器18可以通過使用其他相鄰樣本來變更變更之前的當前壓縮單元30d的偶數行和偶數列中的樣本。例如，參考圖3d，可以通過基於位於相鄰奇數行和相鄰奇數列中的樣本變更位於第二行38a第二列38c中的第六樣本39g來確定變更後的壓縮單元30d。具體地，第六樣本39g的值可以變更成與下列樣本的平均值對應的值：位於第一行第一列中的第一樣本39a、位於第一行第三列中的第三樣本39b、位於第三行第一列中的第九樣本39c以及位於第三行第三列中的第十一樣本39d。

根據實施方式，解碼器18可以基於樣本的變更後的樣本值來變更另一樣本的樣本值。例如，參考圖3d，位於當前壓縮單元30h的第二行38a第四列38d中的第八樣本39h的樣本值可以基於位於相鄰奇數行和相鄰奇數列中的樣本進行變更。具體地，當前壓縮單元30h的第八樣本39h的樣本值可以基於位於第二行38a第二列38c中的第六樣本39g的樣本值進行變更。例如，可以通過將第八樣本39h的值變更成通過用算術方法計算第六樣本39g的樣本值而變更的值來確定變更後的壓縮單元30d。

圖4a示出根據實施方式的作為由圖像解碼設備15變更當前壓縮單元40a中包括的多個樣本的位置的方案的翻轉方案的示例。

參考圖4a，解碼器18可以變更樣本的位置，使得當前壓縮單元40a中包括的多個樣本的左右發生變更。例如，位於當前壓縮單元40b的第一行第四列中的第一樣本41a可以由解碼器18設置在第一行第一列中，從而基於將當前壓縮單元40b分成兩半的線40c而位於相對側。作為另一示例，位於當前壓縮單元40b的第一行第三列中的第二樣本41b可以由解碼器18設置在第一行第二列中，從而基於將當前壓縮單元40b分成兩半的線40c而位於相對側。因此，解碼器18可以水平翻轉通過執行逆變換而獲取的當前壓縮單元40a的多個樣本，以獲取翻轉的壓縮單元40a。然而，由於當前實施方式僅僅是用於描述本公開的壓縮單元的變更方案的示例，因此，變更壓縮單元的多個樣本位置的翻轉變更方案不應限於上文，並且翻轉方向和標準可以變更。

圖4b示出根據實施方式的作為由圖像解碼設備15變更當前壓縮單元40e中包括的多個樣本的位置的方案的翻轉方案的另一示例。

參考圖4b，解碼器18可以變更樣本的位置，使得當前壓縮單元40e中包括的多個樣本的位置可以在對角線方向上變更。例如，位於當前壓縮單元40e的第四行第四列中的第一樣本42a可以由解碼器18設置在第一行第一列中，從而基於將當前壓縮單元40e分成兩半的線40f而位於相對側。作為另一示例，位於當前壓縮單元40d的第三行第四列中的第二樣本42b可以由解碼器18設置在第一行第二列中，從而基於將當前壓縮單元40e分成兩半的線40f而位於相對側。因此，解碼器18可以對角地翻轉當前壓縮單元40d的多個樣本，以獲取翻轉的壓縮單元40e。然而，由於當前實施方式僅僅是用於描述本公開的壓縮單元的變更方案的示例，因此，變更壓縮單元的多個樣本位置的翻轉變更方案不應限於上文，並且翻轉方向和標準可以變更。因此，作為對角線方向上的翻轉變更方法的基礎的線的角度或位置可以變更。

圖4c示出根據實施方式的作為由圖像解碼設備15變更當前壓縮單元40h中包括的多個樣本的位置的方案的旋轉方案的示例。

參考圖4c，解碼器18可以經由在當前壓縮單元40h中旋轉當前壓縮單元40h中包括的多個樣本的位置的方案來變更樣本的位置。例如，解碼器18可以通過在逆時針方向上旋轉包括位於當前壓縮單元40h的第一行第四列中的第一樣本43a在內的多個樣本來將第一樣本43a的位置變更到當前壓縮單元40h的第一行第一列。作為另一示例，解碼器18可以通過在逆時針方向上旋轉包括位於當前壓縮單元40h的第二行第四列中的第二樣本43b在內的多個樣本來將第二樣本43b的位置變更到第一行第二列。因此，當前壓縮單元40g可以變更成壓縮單元40g，其中當前壓縮單元40h的多個樣本由解碼器18在逆時針方向上旋轉。然而，由於當前實施方式僅僅是用於描述本公開的壓縮單元的變更方案的示例，因此，變更壓縮單元的多個樣本位置的旋轉變更方案不應限於上文。換言之，旋轉方向可以是順時針方向或逆時針方向，並且旋轉角度也可以變更。

根據實施方式，圖像解碼設備15可以根據某一方法來變更當前壓縮單元中包括的多個樣本的樣本值。例如，解碼器18可以經由諸如濾波、變換和變形等方案來變更當前壓縮單元中包括的多個樣本。

根據實施方式，用於經由濾波來變更樣本值的濾波器的類型可以變更，諸如，低通濾波器和高通濾波器。

根據實施方式，當經由變換方案來變更樣本值時，圖像解碼設備15可以經由根據dct的各種方案的算法來變更樣本值，或者可以根據fft來變更樣本值。

當根據實施方式基於變形方案來變更樣本值時，圖像解碼設備15可以通過變更當前壓縮單元中包括的多個樣本的樣本值來使當前壓縮單元中示出的圖像失真。例如，圖像解碼設備15可以經由通過使用與圖像相關的參數信息(諸如，作為相機參數信息的焦距或光圈值)來減少或增強將被編碼的圖像中示出的失真而變更當前壓縮單元中包括的多個樣本的樣本值。圖像解碼設備15可以變更具有根據某一方法變更的樣本值的多個樣本的位置。由於變更多個樣本的位置的方法可以對應於上文通過附圖描述的各種實施方式，因此，不提供具體細節。

在操作s224中，圖像解碼設備15的信息獲取器16可以從比特流中獲取第一信息，所述第一信息表明變更當前壓縮單元中包括的多個樣本的方案。在獲取與當前壓縮單元相關的變更方案有關的第一信息之後，圖像解碼設備15可以通過使用在編碼過程中執行的變更方案的逆方案來執行變更而在解碼過程中增加解碼效率。與此變更方案有關的信息可以對應於標記或索引的形式，並且可以根據各種形狀的壓縮單元進行傳輸，諸如，序列、幀、條帶、條帶片段、最大編碼單元、編碼單元、預測單元和變換單元。

根據實施方式，圖像解碼設備15可以確定各種變更方案之中的針對根據壓縮單元優化的解碼效率的變更方案。例如，圖像解碼設備15可以通過相對於當前壓縮單元檢查率失真代價來確定具有優良效率的方案。

在操作s225中，圖像解碼設備15可以基於在操作s224中獲取的第一信息來確定將由圖像解碼設備15對壓縮單元中包括的多個樣本執行的變更方案。

在操作s226中，圖像解碼設備15可以基於在操作s223中確定的壓縮單元和在操作s225中確定的方案來變更當前壓縮單元的多個樣本。

圖5a示出根據實施方式的在當前壓縮單元的多個樣本的位置經過變更以對圖像進行解碼時，變更與當前壓縮單元50c相鄰的壓縮單元的樣本的過程。

根據實施方式，圖像解碼設備15的解碼器18可以變更當前壓縮單元50c中包括的多個樣本，並且可以經由與變更當前壓縮單元50c的方案對應的方案來變更與當前壓縮單元50c相鄰的相鄰樣本50d。參考圖5a，圖像解碼設備15可以經由採樣方案來變更當前壓縮單元50c中包括的多個樣本。與採樣方案有關的具體細節可以是與上述各種實施方式有關的具體細節，因此，不提供描述。此處，根據當前壓縮單元50c的變更方案一起變更的相鄰樣本可以是根據實施方式的不變更的樣本。

根據實施方式，解碼器18可以通過將當前壓縮單元50c的多個樣本變更為分成奇數行51a和51b中包括的樣本和偶數行中包括的樣本來確定變更後的壓縮單元50a。換言之，解碼器18不僅可以變更當前壓縮單元50c中包括的多個樣本，而且經由同一方案來變更與當前壓縮單元50c相鄰的另一壓縮單元的樣本50d。例如，解碼器18可以根據變更當前壓縮單元50d的採樣方案來變更與當前壓縮單元50a的左邊界相鄰的相鄰樣本50d，從而將當前壓縮單元50c的樣本之中的位於上部部分的樣本51c和位於下部部分的樣本52c分別設置到位於奇數行中的第a個樣本和第c個樣本以及位於偶數行中的第b個樣本和第d個樣本。

圖5b示出根據實施方式的在當前壓縮單元53c的多個樣本的位置經過變更以對圖像進行解碼時，變更與當前壓縮單元53c相鄰的壓縮單元的樣本的另一方案。參考圖5b，圖像解碼設備16可以經由翻轉方案來變更當前壓縮單元53c中包括的多個樣本。由於與翻轉方案有關的具體細節可以是與上述各種實施方式有關的具體細節，因此，不提供描述。此處，根據當前壓縮單元53c的變更方案一起變更的相鄰樣本可以是根據實施方式的不變更的樣本。

根據實施方式，解碼器18可以使用翻轉方案，從而變更當前壓縮單元53c中包括的多個樣本的排列。解碼器18可以根據翻轉方案基於基線53e來變更當前壓縮單元53c的多個樣本的左右位置。因此，位於第一行第四列中的第一樣本54a的位置可以變更到第一行第一列的位置，並且位於第一行第二列中的第三樣本54b的位置可以變更到第一行第三列的位置。此外，解碼器18不僅可以變更當前壓縮單元53c中包括的多個樣本，而且可經由同一方案來變更與當前壓縮單元53c相鄰的另一壓縮單元的樣本。例如，解碼器18可以根據當前壓縮單元53c的翻轉方案來變更與當前壓縮單元53c的上邊界相鄰的相鄰樣本53d的位置。因此，位於相鄰樣本53d的第四列中的第a個樣本55a的位置可以變更到與第一列對應的位置，並且位於第二列中的第c個樣本55b的位置可以變更到與第三列對應的位置。

圖6a示出根據實施方式的變更在圖像解碼設備15執行預測時所參考的樣本的過程。

根據實施方式，圖像解碼設備15的解碼器18可以確定將基於預測單元在編碼單元中執行的預測的類型。例如，可以基於包括表明將在當前編碼單元中執行的預測模式的類型的信息在內的預測模式信息來確定將對當前編碼單元執行幀內預測或幀間預測還是將通過參考不同層上的圖片來執行預測。當編碼單元的預測模式被確定為幀內預測模式時，可以基於與幀內預測類型有關的信息來執行幀內預測。例如，與幀內預測類型有關的信息可以包括用於幀內預測的參考樣本的位置，或者用於基於確定的參考樣本來區分執行幀內預測的方法的句構。此處，可以基於包括預測單元和變換單元在內的編碼單元的尺寸來確定預測單元和變換單元的尺寸。此外，根據實施方式的壓縮單元可以對應於針對不同過程的單元，該單元不同於編碼單元、預測單元和變換單元。然而，為便於描述，假設當前壓縮單元的尺寸對應於當前變換單元的尺寸。

根據實施方式的圖像解碼設備15的解碼器18在幀內預測過程期間可以參考與當前變換單元相鄰的參考樣本。參考圖6a，當對與4×4尺寸的樣本對應的變換單元執行預測時，解碼器18可以將相鄰樣本確定為在執行預測的過程期間使用的參考樣本。當解碼器18執行幀內預測時，基於與預測類型有關的信息，解碼器18可以確定在預測過程期間參考的樣本的位置或者基於確定的參考樣本來確定執行預測的方法。例如，與幀內預測類型有關的信息可以表明右對角線方向上的樣本是參考樣本。然而，將參考右對角線方向上的樣本中的哪一個樣本由與預測類型有關的信息表明，並且可以根據預測樣本和參考樣本的角度差而變更。因此，幀內預測方法不應限制性地解釋為圖6a的預測方法。

根據實施方式，在幀內預測期間，圖像解碼設備15的解碼器18可以根據預測模式通過使用參考樣本來確定主陣列62a。參考圖6a，解碼器18可以通過使用主陣列62a中包括的參考樣本來執行預測，並且主陣列62a可以包括與當前變換單元60a相鄰的樣本。根據幀內預測類型可以確定與當前變換單元相鄰的樣本之中的、將被包括在主陣列62a中並且在預測過程期間使用的樣本。例如，當幀內預測方向對應於當前變換單元60a中的豎直方向或右上方向時，當前變換單元60a上方的相鄰參考樣本61a到61c中的一些參考樣本可以被包括在主陣列62a中並且在預測過程期間使用。例如，在當前變換單元60a上方的相鄰參考樣本61a到61c之中，參考樣本61d可以被包括在主陣列62a中並在當前變換單元60a的預測過程期間使用，所述參考樣本61d包括與當前變換單元60a的上部部分相鄰的樣本61a、與當前變換單元60a的左變換單元60b的上部部分相鄰的樣本61b中的一些樣本，以及與當前變換單元60a的右變換單元60c的上部部分相鄰的樣本61c。

根據實施方式，圖像解碼設備15的解碼器18可以變更當前變換單元60a中包括的多個樣本，以用於執行幀內預測。用於變更多個樣本的基礎單元可以是壓縮單元，並且壓縮單元可以是序列、圖片、條帶、條帶片段、編碼單元、預測單元或變換單元，但不限於此，而且可以是另一數據單元。然而，為便於描述，壓縮單元可以對應於變換單元。

根據實施方式，圖像解碼設備15的解碼器18可以將翻轉方案用作變更與壓縮單元對應的當前變換單元60a中包括的多個樣本的方案。解碼器18可以基於壓縮單元經由翻轉方案而基於分割多個樣本的線63來變更多個樣本的位置。由於上文已經描述了通過翻轉與壓縮單元對應的當前變換單元60a的多個樣本來變更位置的方法，因此，不再提供具體細節。此處，可以將與當前壓縮單元相鄰的樣本定義為基於壓縮單元而與當前壓縮單元相鄰的其他壓縮單元中包括的樣本。

根據實施方式，在當前變換單元60a被確定為對應於壓縮單元時，圖像解碼設備15的解碼器18不僅可以變更當前變換單元60a中包括的多個樣本，而且可經由與變更當前變換單元60a中包括的多個樣本的方案對應的方案來變更與當前變換單元60a相鄰的多個樣本。例如，在翻轉當前變換單元60a中包括的多個樣本時，解碼器18可以經由翻轉方案來變更與對應於當前變換單元60a的壓縮單元相鄰的多個樣本。換言之，參考圖6a，解碼器18可以變更與當前變換單元60a的上部部分相鄰的樣本61a、與當前變換單元60a的左變換單元60b的上部部分相鄰的樣本61b，以及與當前變換單元60a的右變換單元60c的上部部分相鄰的樣本61c。

圖6b示出根據實施方式的通過使用由圖像解碼設備15的解碼器18變更與當前壓縮單元相鄰的樣本的位置的結果來執行預測的過程。根據實施方式，解碼器18可以經由翻轉方案來變更與當前變換單元60a相鄰的樣本61a到61c的位置。例如，樣本61a到61c的位置可以基於分割當前變換單元60a的線63來左右變更。圖6b示出經由翻轉方案來變更當前變換單元60a中包括的樣本和與當前變換單元60a相鄰的樣本61a到61c的結果。解碼器18可以通過變更當前變換單元60a的左右來獲取翻轉的變換單元64a。此外，解碼器18可以通過在線63的左右顛倒與當前變換單元60a相鄰的樣本的位置來獲取變更後的相鄰樣本65a到65c。

根據實施方式，圖像解碼設備15的解碼器18可以在如在圖6a中所示的對當前變換單元60a執行預測的過程期間通過參考主陣列62b中包括的參考樣本來執行預測。此外，參考圖6b，解碼器18可以在執行預測之前基於壓縮單元來變更樣本，並且基於變更的結果來執行預測。換言之，在對當前變換單元60a執行預測過程期間由解碼器18參考的參考樣本可以基於是否執行變更而不同。例如，參考圖6a，根據實施方式，解碼器18可以不根據翻轉方案來執行變更，而是可以基於與當前變換單元60a相鄰的多個樣本和與幀內預測類型有關的信息來確定主陣列62a，以在預測過程期間參考主陣列62a中包括的參考樣本61d。此外，參考圖6b，根據實施方式，解碼器18可以根據翻轉方案來執行變更，並且基於變更後的多個樣本和與幀內預測類型有關的信息來確定主陣列62b，以在預測過程期間參考主陣列62b中包括的參考樣本65d。

參考圖6a和圖6b，由於解碼器18基於與幀內預測類型有關的信息來確定將被包括在主陣列62a和62b中的參考樣本，因此，無論多個樣本是否變更，由當前變換單元60a和64a參考的參考樣本的位置都相同。當多個樣本根據由解碼器18執行的諸如採樣或翻轉等變更方案進行變更時，存在於由與幀內預測類型有關的信息確定的位置處的樣本的樣本值可以變更。因此，即使在圖像解碼設備15根據一個幀內預測類型來執行預測時，參考樣本根據由解碼器18執行的變更方案而變更，因而可以通過相對地參考各種樣本來執行預測過程。例如，基於當前變換單元60a和64a，在圖6a中確定的參考樣本的位置和在圖6b中確定的參考樣本的位置相同。然而，在圖6a中，多個樣本是在由解碼器18根據翻轉方案進行變更之前，並且在圖6b中，多個樣本是在由解碼器18根據翻轉方案進行變更之後，因此參考樣本的值不同。因此，圖6a的主陣列62a可以相繼包括第d個樣本到第l個樣本，而圖6a的主陣列62b可以相繼包括第i個樣本到第a個樣本。根據各種實施方式，可以經由比在現有預測過程期間中使用的方案相對更有效且更靈活的方案來執行預測。

參考圖6a和圖6b，當前壓縮單元附近的至少一個參考樣本可以根據當前壓縮單元的變更方案而變更，同時圖像解碼設備15確定用於預測的參考樣本。然而，根據實施方式，在完成對當前壓縮單元的多個樣本執行的預測過程之後，圖像解碼設備15可以將變更後的至少一個參考樣本恢復成原始狀態。圖像解碼設備15可以通過執行上述預測過程來重建圖像。

根據實施方式，圖像解碼設備15可以通過參考用於幀間預測的參考幀來執行預測。當執行由圖像解碼設備15執行的變更時，可以經由與當前壓縮單元的變更方案對應的方案來變更用於幀間預測的參考幀的多個樣本。換言之，圖像解碼設備15可以經由與變更當前幀的壓縮單元的多個樣本值的方法相同的方案來變更與當前幀的壓縮單元對應的參考幀上的壓縮單元，並且基於變更的結果來執行幀間預測。參考幀上的壓縮單元的位置可以通過參考與當前幀的壓縮單元相關的運動矢量來確定。

圖7示出根據實施方式的基於樹形結構的編碼單元的視頻編碼設備100的框圖。圖7的視頻編碼設備100可以與圖1a的圖像編碼設備10對應。

基於樹形結構的編碼單元的、涉及視頻預測的視頻編碼設備100包括編碼單元確定器120和輸出器130。在下文中，為便於描述，基於樹形結構的編碼單元的、涉及視頻預測的視頻編碼設備100被稱為「視頻編碼設備100」。

編碼單元確定器120可以基於最大編碼單元來分割當前圖片，所述最大編碼單元是圖像的當前圖片的具有最大尺寸的編碼單元。如果當前圖片大於最大編碼單元，那麼可以將當前圖片的圖像數據分割成至少一個最大編碼單元。根據實施方式的最大編碼單元可以是具有32×32、64×64、128×128、256×256等尺寸的數據單元，其中數據單元的形狀是具有2的平方的寬度和長度的正方形。

根據實施方式的編碼單元的特徵可以是最大尺寸和深度。深度表示編碼單元從最大編碼單元空間分割的次數，並且隨著深度加深，根據深度的較深編碼單元可以從最大編碼單元分割到最小編碼單元。最大編碼單元的深度可以被限定為最淺深度，並且最小編碼單元的深度可以被限定為最深深度。由於對應於每個深度的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此，對應於較淺深度的編碼單元可以包括對應於較深深度的多個編碼單元。

如上文所述，當前圖片的圖像數據根據編碼單元的最大尺寸分割成最大編碼單元，並且最大編碼單元中的每個可以包括根據深度分割的較深編碼單元。由於根據實施方式的最大編碼單元根據深度進行分割，因此，最大編碼單元中包括的空間域的圖像數據可以根據深度進行分層分類。

限制最大編碼單元的高度和寬度進行分層分割的總次數的編碼單元的最大深度和最大尺寸可以預先確定。

編碼單元確定器120對通過根據深度分割最大編碼單元的區域而獲得的至少一個分割區域進行編碼，並且根據至少一個分割區域來確定輸出最終編碼的圖像數據的深度。換言之，通過根據當前圖片的最大編碼單元對根據深度的較深編碼單元中的圖像數據進行編碼並且選擇具有最小編碼誤差的深度，編碼單元確定器120確定最終深度。根據最大編碼單元確定的最終深度和圖像數據輸出到輸出器130。

最大編碼單元中的圖像數據基於與等於或小於最大深度的至少一個深度對應的較深編碼單元進行編碼，並且對圖像數據進行編碼的結果基於較深編碼單元中的每個進行比較。在比較較深編碼單元的編碼誤差之後，可以選擇具有最小編碼誤差的深度。針對每個最大編碼單元，可以選擇至少一個最終深度。

隨著編碼單元根據深度進行分層分割，並且隨著編碼單元的數量增加，最大編碼單元的尺寸被分割。此外，即使編碼單元對應於一個最大編碼單元中的相同深度，也要通過分別測量每個編碼單元的圖像數據的編碼誤差來確定是否將對應於相同深度的編碼單元中的每個編碼單元分割到較深深度。因此，即使在圖像數據被包括在一個最大編碼單元中時，編碼誤差也可以根據一個最大編碼單元中的區域而不同，因此，最終深度可以根據圖像數據中的區域而不同。因此，在一個最大編碼單元中可以確定一個或多個最終深度，並且最大編碼單元的圖像數據可以根據至少一個最終深度的編碼單元劃分。

因此，根據實施方式的編碼單元確定器120可以確定最大編碼單元中包括的具有樹形結構的編碼單元。根據實施方式的「具有樹形結構的編碼單元」包括最大編碼單元中包括的所有較深編碼之中的、與確定為最終深度的深度對應的編碼單元。最終深度的編碼單元可以根據最大編碼單元的相同區域中的深度來分層確定，並且可以在不同區域中獨立確定。同樣，當前區域中的最終深度可以獨立於另一區域中的最終深度進行確定。

根據實施方式的最大深度是與從最大編碼單元到最小編碼單元的分割次數相關的索引。根據實施方式的第一最大深度可以表示從最大編碼單元到最小編碼單元的總分割次數。根據實施方式的第二最大深度可以表示從最大編碼單元到最小編碼單元的深度等級的總數。例如，當最大編碼單元的深度為0時，最大編碼單元被分割一次的編碼單元的深度可以設置為1，並且最大編碼單元被分割兩次的編碼單元的深度可以設置為2。此處，如果最小編碼單元是最大編碼單元被分割四次的編碼單元，那麼存在深度0、1、2、3和4的深度等級，因此，第一最大深度可以設置為4，並且第二最大深度可以設置為5。

預測編碼和變換可以根據最大編碼單元來執行。預測編碼和變換也根據最大編碼單元基於根據等於或小於最大深度的深度的較深編碼單元來執行。

由於每當最大編碼單元根據深度進行分割時較深編碼單元的數量都增加，因此，對隨著深度加深而生成的所有較深編碼單元執行包括預測編碼和變換在內的編碼。在下文中，為便於描述，將基於在至少一個最大編碼單元中的當前深度的編碼單元描述預測編碼和變換。

根據實施方式的視頻編碼設備100可以不同地選擇用於對圖像數據進行編碼的數據單元的尺寸或形狀。為了對圖像數據進行編碼，執行諸如預測編碼、變換和熵編碼的操作，並且同時，可以將相同的數據單元用於所有操作或者將不同的數據單元用於每個操作。

例如，視頻編碼設備100不僅可以選擇用於對圖像數據進行編碼的編碼單元，而且可以選擇不同於編碼單元的數據單元，從而對編碼單元中的圖像數據執行預測編碼。

為了在最大編碼單元中執行預測編碼，可以基於最終深度的編碼單元(即，基於不再分割的編碼單元)來執行預測編碼。通過分割預測單元而獲得的分區可以包括編碼單元和通過分割選自編碼單元的高度和寬度中的至少一個而獲得的數據單元。分區可以包括編碼單元被分割的數據單元，以及與編碼單元具有相同尺寸的數據單元。作為預測的基礎的分區可以被稱為「預測單元」。

例如，當2n×2n(其中n是正整數)的編碼單元不再分割時，它成為2n×2n的預測單元，並且分區的尺寸可以是2n×2n、2n×n、n×2n或n×n。分區模式的示例可以包括通過對稱地分割預測單元的高度或寬度而獲得的對稱分區，並且可以選擇性地包括通過不對稱地分割預測單元的高度或寬度(諸如1:n或n:1)而獲得的分區、通過幾何分割預測單元而獲得的分區、具有任意形狀的分區等。

預測單元的預測模式可以是幀內模式、幀間模式和跳躍模式中的至少一個。例如，幀內模式和幀間模式可以在2n×2n、2n×n、n×2n或n×n的分區上執行。此外，跳躍模式只可以在2n×2n的分區上執行。編碼可以在編碼單元中的一個預測單元上獨立執行，從而可以選擇具有最小編碼誤差的預測模式。

根據實施方式的視頻編碼設備100也可以不僅基於用於對圖像數據進行編碼的編碼單元而且基於不同於編碼單元的數據單元來對編碼單元中的圖像數據執行變換。為了在編碼單元中執行變換，可以基於具有小於或等於編碼單元的尺寸的數據單元來執行變換。例如，變換單元可以包括用於幀內模式的數據單元和用於幀間模式的變換單元。

編碼單元中的變換單元可以按與根據樹形結構的編碼單元的類似方式遞歸地分割成更小尺寸的區域，因此，編碼單元的殘差數據可以根據具有樹形結構的變換單元依據變換深度進行劃分。

表明通過分割編碼單元的高度和寬度來達到變換單元的分割次數的變換深度也可以在變換單元中設置。例如，在2n×2n的當前編碼單元中，當變換單元的尺寸是2n×2n時變換深度可以為0，當變換單元的尺寸是n×n時變換深度可以為1，以及當變換單元的尺寸是n/2×n/2時變換深度可以為2。換言之，關於變換單元，具有樹形結構的變換單元可以根據變換深度進行設置。

根據深度的分割信息不僅需要與深度有關的信息，而且需要與預測和變換相關的信息。因此，編碼單元確定器120不僅可以確定生成最小編碼誤差的深度，而且可以確定將預測單元分割成分區的分區模式、根據預測單元的預測模式以及用於變換的變換單元的尺寸。

下文將參考圖9到圖19詳細描述根據實施方式的最大編碼單元中的根據樹形結構的編碼單元以及確定預測單元/分區和變換單元的方法。

編碼單元確定器120可以通過使用基於拉格朗日乘子的率失真優化來測量根據深度的較深編碼單元的編碼誤差。

輸出器130以比特流的形式輸出基於由編碼單元確定器120確定的至少一個深度進行編碼的最大編碼單元的圖像數據以及根據深度的信息。

所編碼的圖像數據可以對應於通過對圖像的殘差數據進行編碼而獲得的結果。

根據深度的分割信息可以包括深度信息、預測單元的分區模式信息、預測模式信息以及變換單元的分割信息。

最終深度信息可以通過使用根據深度的分割信息進行定義，從而表明是否對較深深度而非當前深度的編碼單元執行編碼。如果當前編碼單元的當前深度是深度，那麼通過使用當前深度的編碼單元對當前編碼單元進行編碼，因此，當前深度的分割信息可以定義為不將當前編碼單元分割到較深深度。相反，如果當前編碼單元的當前深度不是該深度，那麼必須對較深深度的編碼單元執行編碼，因此，當前深度的分割信息可以定義為將當前編碼單元分割到較深深度的編碼單元。

如果當前深度不是該深度，那麼對分割成較深深度的編碼單元的編碼單元執行編碼。由於較深深度的至少一個編碼單元存在於當前深度的一個編碼單元中，因此，在較深深度的每個編碼單元上重複執行編碼，因而可以針對具有相同深度的編碼單元遞歸地執行編碼。

由於針對一個最大編碼單元確定具有樹形結構的編碼單元，並且必須針對深度的編碼單元來確定至少一項分割信息，因此，可以針對一個最大編碼單元來確定至少一項分割信息。此外，最大編碼單元的數據的深度可以根據位置而不同，這是因為數據根據深度進行分層分割，因此，可以針對數據來設置深度和分割信息。

因此，根據實施方式的輸出器130可以將與對應深度和編碼模式有關的編碼信息分配到最大編碼單元中包括的編碼單元、預測單元和最小單元中的至少一個。

根據實施方式的最小單元是通過將構成最深深度的最小編碼單元分割成4個而獲得的正方形數據單元。或者，根據實施方式的最小單元可以是可被包括在最大編碼單元所包括的編碼單元、預測單元、分區單元和變換單元中的全部中的最大正方形數據單元。

例如，由輸出器130輸出的編碼信息可以分類成根據較深編碼單元的編碼信息和根據預測單元的編碼信息。根據較深編碼單元的編碼信息可以包括與預測模式有關的信息和與分區的尺寸有關的信息。根據預測單元的編碼信息可以包括與幀間模式期間的估測方向有關的信息、與幀間模式的參考圖像索引有關的信息、與運動矢量有關的信息、與幀內模式的色度分量有關的信息以及與幀內模式期間的內插法有關的信息。

與根據圖片、條帶或gop定義的編碼單元的最大尺寸有關的信息以及與最大深度有關的信息可以插入到比特流的標頭、序列參數集或圖片參數集中。

與當前視頻準許的變換單元的最大尺寸有關的信息以及與變換單元的最小尺寸有關的信息也可以通過比特流的標頭、序列參數集或圖片參數集輸出。輸出器130可以對與預測相關的參考信息、預測信息和條帶類型信息進行編碼並輸出這些信息。

根據視頻編碼設備100的最簡單實施方式，較深編碼單元可以是通過將較淺深度的編碼單元(上一層的編碼單元)的高度或寬度一分為二所得到的編碼單元。換言之，在當前深度的編碼單元的尺寸是2n×2n時，較深深度的編碼單元的尺寸是n×n。此外，具有2n×2n尺寸的當前編碼單元可以最大包括四個均具有n×n尺寸的較深深度編碼單元。

因此，通過基於最大編碼單元的尺寸和考慮到當前圖片的特徵而確定的最大深度來確定每個最大編碼單元的具有最佳形狀和最佳尺寸的編碼單元，視頻編碼設備100可以形成具有樹形結構的編碼單元。此外，由於可以通過使用各種預測模式和變換中的任一個對每個最大編碼單元執行編碼，因此，可以通過考慮到各種圖像尺寸的編碼單元的特徵來確定最佳編碼模式。

因此，如果具有高解析度或大數據量的圖像在傳統宏塊中編碼，那麼每個圖片的宏塊數量過度增加。因此，針對每個宏塊生成的壓縮信息的數量增加，因而難以傳輸壓縮的信息並且數據壓縮效率降低。然而，通過使用根據實施方式的視頻編碼設備，圖像壓縮效率可以增加，這是因為在考慮圖像的特徵同時調整編碼單元，同時考慮圖像的尺寸而增大編碼單元的最大尺寸。

圖8是根據各種實施方式的基於根據樹形結構的編碼單元的視頻解碼設備200的框圖。圖8中的視頻解碼設備200可以對應於圖1b中的視頻解碼設備15。

根據實施方式的基於樹形結構的編碼單元的、涉及視頻預測的視頻解碼設備200包括接收器210、圖像數據與編碼信息提取器220以及圖像數據解碼器230。圖像數據解碼器230可以對應於圖1b的解碼器18。在下文中，為便於描述，根據實施方式的基於樹形結構的編碼單元的、涉及視頻預測的視頻解碼設備200被稱為「視頻解碼設備200」。

根據實施方式，用於視頻解碼設備200的解碼操作的各種術語(諸如，編碼單元、深度、預測單元、變換單元和各種類型的分割信息)的定義與參考圖7和視頻編碼設備100描述的那些定義相同。

接收器210接收並解析編碼視頻的比特流。圖像數據與編碼信息提取器220從解析的比特流中提取用於每個編碼單元的編碼圖像數據，其中編碼單元具有根據每個最大編碼單元的樹形結構，並且將提取的圖像數據輸出到圖像數據解碼器230。圖像數據與編碼信息提取器220可以從與當前圖片有關的標頭、序列參數集或圖片參數集中提取與當前圖片的編碼單元的最大尺寸有關的信息。

此外，圖像數據與編碼信息提取器220從解析的比特流中提取與根據每個最大編碼單元的具有樹形結構的編碼單元有關的最終深度和分割信息。提取的最終深度和提取的分割信息輸出到圖像數據解碼器230。換言之，比特流中的圖像數據分割成最大編碼單元，使得圖像數據解碼器230可以針對每個最大編碼單元將圖像數據解碼。

根據最大編碼單元中的每個的深度和分割信息可以針對一項或多項深度信息進行設置，並且根據深度的分割信息可以包括對應編碼單元的分區模式信息、預測模式信息以及變換單元的分割信息。此外，作為深度信息，可以提取根據深度的分割信息。

由圖像數據與編碼信息提取器220提取的根據最大編碼單元中的每個的深度和分割信息是被確定當諸如視頻編碼設備100等編碼器根據每個最大編碼單元針對根據深度的每個較深編碼單元重複執行編碼時會生成最小編碼誤差的深度和分割信息。因此，視頻解碼設備200可以通過根據生成最小編碼誤差的編碼方法對數據進行解碼來重建圖像。

由於與深度和編碼模式有關的編碼信息可以分配到對應編碼單元、預測單元和最小單元之中的預定數據單元，因此，圖像數據與編碼信息提取器220可以根據預定數據單元來提取深度和分割信息。如果對應最大編碼單元的深度和分割信息根據預定數據單元中的每個進行記錄，那麼可以推斷，具有相同深度和分割信息的預定數據單元就是包括在相同最大編碼單元中的數據單元。

圖像數據解碼器230可以通過基於根據最大編碼單元中的每個的深度和分割信息將每個最大編碼單元中的圖像數據解碼來重建當前圖片。換言之，圖像數據解碼器230可以基於每個最大編碼單元中包括的具有樹形結構的編碼單元之中的、每個編碼單元的讀取分區模式、預測模式和變換單元對編碼的圖像數據進行解碼。解碼過程可以包括預測過程和逆變換過程，所述預測過程包括幀內預測和運動補償。

基於與根據深度的編碼單元的預測單元的分區模式和預測模式有關的信息，圖像數據解碼器230可以根據每個編碼單元的分區和預測模式來執行幀內預測或運動補償。

此外，為了每個最大編碼單元的逆變換，圖像數據解碼器230可以讀取與每個編碼單元的根據樹形結構的變換單元有關的信息，從而基於每個編碼單元的變換單元來執行逆變換。由於逆變換，可以重建編碼單元的空間域的像素值。

圖像數據解碼器230可以通過使用根據深度的分割信息來確定當前最大編碼單元的深度。如果分割信息表明在當前深度中的圖像數據不再分割，那麼當前深度就是深度。因此，圖像數據解碼器230可以通過使用對應於當前深度的每個編碼單元的與預測單元的分區模式、預測模式和變換單元的尺寸有關的信息來對當前最大編碼單元的圖像數據進行解碼。

換言之，通過觀察分配給編碼單元、預測單元和最小單元之中的預定數據單元的編碼信息集，可以收集含有包括相同分割信息的編碼信息的數據單元，並且可以將收集的數據單元視作將由圖像數據解碼器230以相同編碼模式解碼的一個數據單元。因此，可以通過獲取與用於每個編碼單元的編碼模式有關的信息來對當前編碼單元進行解碼。

可以包括與視角的數量對應的視頻解碼設備200的數量，從而通過對所接收的第一層圖像流和所接收的第二層圖像流進行解碼來重建第一層圖像和第二層圖像。

當接收到第一層圖像流時，視頻解碼設備200的圖像數據解碼器230可以將由提取器220從第一層圖像流中提取的第一層圖像的樣本分割成最大編碼單元的根據樹形結構的編碼單元。圖像數據解碼器230可以基於用於圖像間預測的預測單元而對第一層圖像的樣本的根據樹形結構的編碼單元中的每個執行運動補償，並且可以重建第一層圖像。

當接收到第二層圖像流時，視頻解碼設備200的圖像數據解碼器230可以將由提取器220從第二層圖像流中提取的第二層圖像的樣本分割成最大編碼單元的根據樹形結構的編碼單元。圖像數據解碼器230可以基於用於圖像間預測的預測單元而對第二層圖像的樣本的編碼單元中的每個執行運動補償，並且可以重建第二層圖像。

提取器220可以從比特流中獲取與亮度誤差相關的信息，從而補償第一層圖像與第二層圖像之間的亮度差。然而，可以根據編碼單元的編碼模式來確定是否執行亮度補償。例如，可以只對具有2n×2n尺寸的預測單元執行亮度補償。

因此，視頻解碼設備200可以獲取與在針對每個最大編碼單元遞歸地執行編碼時生成最小編碼誤差的至少一個編碼單元有關的信息，並且可以使用該信息來對當前圖片進行解碼。換言之，可以對確定是每個最大編碼單元中的最佳編碼單元的、具有樹形結構的編碼單元進行解碼。

因此，即使圖像具有高解析度或具有過大的數據量，圖像仍可以通過使用編碼單元的尺寸和編碼模式來高效解碼和重建，所述編碼單元的尺寸和編碼模式是通過使用從編碼終端接收的最佳分割信息根據圖像的特徵而自適應地確定的。

圖9示出根據各種實施方式的編碼單元的概念。

編碼單元的尺寸可以由寬度×高度來表示，並且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可以分割成64×64、64×32、32×64或32×32的分區，以及32×32的編碼單元可以分割成32×32、32×16、16×32或16×16的分區，16×16的編碼單元可以分割成16×16、16×8、8×16或8×8的分區，以及8×8的編碼單元可以分割成8×8、8×4、4×8或4×4的分區。

在視頻數據310中，解析度是1920×1080，編碼單元的最大尺寸是64，並且最大深度是2。在視頻數據320中，解析度是1920×1080，編碼單元的最大尺寸是64，並且最大深度是3。在視頻數據330中，解析度是352×288，編碼單元的最大尺寸是16，並且最大深度是1。圖10所示的最大深度是指從最大編碼單元到最小解碼單元的總分割次數。

如果解析度較高或數據量較大，那麼優選的是，編碼單元的最大尺寸較大，從而不僅增加編碼效率，而且準確反映圖像的特徵。因此，解析度比視頻數據330高的視頻數據310和320的編碼單元的最大尺寸可以被選擇為64。

由於視頻數據310的最大深度是2，因此，視頻數據310的編碼單元315可以包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32和16的編碼單元，這是因為通過將最大編碼單元分割兩次，深度加深兩個層。另一方面，由於視頻數據330的最大深度是1，因此，視頻數據330的編碼單元335可以包括長軸尺寸為16的最大編碼單元，以及長軸尺寸為8的編碼單元，這是因為通過將最大編碼單元分割一次，深度加深一層。

由於視頻數據320的最大深度是3，因此，視頻數據320的編碼單元325可以包括長軸尺寸為64的最大編碼單元，以及長軸尺寸為32、16和8的編碼單元，這是因為通過將最大編碼單元分割三次，深度加深3個層。隨著深度加深，可以提高詳細信息的表達能力.

圖10示出根據各種實施方式的基於編碼單元的圖像編碼器400的框圖。

根據實施方式的圖像編碼器400執行視頻編碼設備100的圖片編碼器120的操作，從而對圖像數據進行編碼。換言之，幀內預測器420在當前圖像405之中以幀內模式在編碼單元上執行幀內預測，並且幀間預測器415通過使用當前圖像405和由重建圖片緩存器410獲取的參考圖像以幀間模式在編碼單元上根據預測單元執行幀間預測。當前圖像405可以被分割成最大編碼單元，隨後最大編碼單元可以相繼被編碼。就這點而言，可以對將被分割成具有樹形結構的編碼單元的最大編碼單元進行編碼。

通過從與當前圖像405的已編碼的編碼單元有關的數據中去除從幀內預測器420或幀間預測器415中輸出的與每個模式的編碼單元有關的預測數據，生成殘差數據，並且殘差數據根據變換單元、通過變換器425和量化器430而輸出為經量化的變換係數。經量化的變換係數通過反量化器445和逆變換器450而重建成空間域中的殘差數據。將空間域中的重建的殘差數據添加到從幀內預測器420或幀間預測器415中輸出的用於每個模式的編碼單元的預測數據，因而重建成用於當前圖像405的編碼單元的空間域中的數據。空間域中的重建數據通過去塊化單元455和sao執行器460而生成為重建的圖像。重建的圖像存儲在重建圖片緩衝器410中。存儲在重建圖片緩衝器410中的重建的圖像可以用作對另一圖像進行幀間預測的參考圖像。由變換器425和量化器430量化的變換係數可以通過熵編碼器435而輸出為比特流440。

為了將圖像編碼器400應用於視頻編碼設備100，圖像編碼器400的所有元件(即，幀間預測器415、幀內預測器420、變換器425、量化器430、熵編碼器435、反量化器445、逆變換器450、去塊化單元455和sao執行器460)可以基於根據每個最大編碼單元的具有樹形結構的編碼單元之中的每個編碼單元來執行操作。

具體而言，幀內預測器420和幀間預測器415可以通過考慮當前最大編碼單元的最大尺寸和最大深度來確定具有樹形結構的編碼單元之中的每個編碼單元的分區模式和預測模式，並且變換器425可以確定是否根據具有樹形結構的編碼單元之中的每個編碼單元中的四叉樹來分割變換單元。

圖11示出根據各種實施方式的基於編碼單元的圖像解碼器500的框圖。

熵解碼器515對來自比特流505的將被解碼的編碼圖像數據和解碼所需的編碼信息進行解析。編碼的圖像數據對應於經量化的變換係數，並且反量化器520和逆變換器525從經量化的變換係數中重建殘差數據。

幀內預測器540根據預測單元以幀內模式對編碼單元執行幀內預測。幀間預測器535在當前圖像之中通過使用參考圖像基於編碼單元以幀間模式來執行幀間預測，其中由重建圖片緩衝器530根據預測單元獲取參考圖像。

將經過幀內預測器540和幀間預測器535的與每個模式的編碼單元有關的預測數據和殘差數據相加，從而可以重建與當前圖像405的編碼單元有關的空間域中的數據，並且空間域中的重建的數據可以通過去塊化單元545和sao執行器550而輸出作為重建的圖像560。存儲在重建圖片緩衝器530中的重建的圖像可以輸出作為參考圖像。

為了讓視頻解碼設備200的圖片解碼器230對圖像數據進行解碼，可以執行根據實施方式的圖像解碼器500的熵解碼器515之後的操作。

為了將圖像解碼器500應用於根據實施方式的視頻解碼設備200，圖像解碼器500的所有元件(即，熵解碼器515、反量化器520、逆變換器525、幀內預測器540、幀間預測器535、去塊化單元545和sao執行器550)可以針對每個最大編碼單元基於具有樹形結構的編碼單元來執行操作。

具體而言，幀內預測器540和幀間預測器535可以確定根據樹形結構的編碼單元之中的每個編碼單元的分區模式和預測模式，並且逆變換器525可以確定是否根據每個編碼單元的四叉樹來分割變換單元。

圖10的編碼操作和圖11的解碼操作被描述為分別是單個層中的視頻流編碼操作和視頻流解碼操作。因此，當圖1a的圖像編碼設備10對至少兩個層的視頻流進行編碼時，可以根據層來包括編碼器12。

圖12示出根據各種實施方式的根據深度的較深編碼單元和分區。

根據實施方式的視頻編碼設備100和根據實施方式的視頻解碼設備200使用分層編碼單元，從而考慮圖像的特徵。編碼單元的最大高度、最大寬度和最大深度可以根據圖像的特徵而自適應地確定，或者可以根據用戶需要而不同地設置。根據深度的較深編碼單元的尺寸可以根據編碼單元的預定最大尺寸進行確定。

在根據實施方式的編碼單元的分層結構600中，編碼單元的最大高度和最大寬度均是64，並且最大深度是3。在這種情況下，最大深度表示編碼單元從最大編碼單元分割到最小編碼單元的總次數。由於深度沿著編碼單元的分層結構600的豎直軸加深，因此，較深編碼單元的高度和寬度均被分割。此外，沿著編碼單元的分層結構600的水平軸示出作為每個較深編碼單元的預測編碼的基礎的預測單元和分區。

換言之，編碼單元610是編碼單元的分層結構600中的最大編碼單元，其中深度為0並且尺寸(即，高度乘寬度)為64×64。深度沿著豎直軸加深，而且存在尺寸為32×32且深度為1的編碼單元620、尺寸為16×16且深度為2的編碼單元630，以及尺寸為8×8且深度為3的編碼單元640。尺寸為8×8且深度為3的編碼單元640是最小編碼單元。

編碼單元的預測單元和分區根據每個深度沿著水平軸布置。換言之，如果尺寸為64×64且深度為0的編碼單元610是預測單元，那麼預測單元可以分割成尺寸為64×64的編碼單元610中包括的分區，即，尺寸為64×64的分區610、尺寸為64×32的分區612、尺寸為32×64的分區614，或者尺寸為32×32的分區616。

同樣，尺寸為32×32且深度為1的編碼單元620的預測單元可以分割成編碼單元620中包括的分區，即，尺寸為32×32的分區620、尺寸為32×16的分區622、尺寸為16×32的分區624，以及尺寸為16×16的分區626。

同樣，尺寸為16×16且深度為2的編碼單元630的預測單元可以分割成編碼單元630中包括的分區，即，編碼單元630中包括的尺寸為16×16的分區、尺寸為16×8的分區632、尺寸為8×16的分區634，以及尺寸為8×8的分區636。

同樣，尺寸為8×8且深度為3的編碼單元640的預測單元可以分割成編碼單元640中包括的分區，即，編碼單元640中包括的尺寸為8×8的分區640、尺寸為8×4的分區642、尺寸為4×8的分區644，以及尺寸為4×4的分區646。

為了確定最大編碼單元610的深度，視頻編碼設備100的編碼單元確定器120必須對最大編碼單元610中包括的分別與深度對應的編碼單元執行編碼。

包括相同範圍和相同尺寸的數據的、根據深度的較深編碼單元的數量隨著深度加深而增加。例如，需要四個對應於深度2的編碼單元來覆蓋一個對應於深度1的編碼單元中包括的數據。因此，為了將根據深度的相同數據的編碼結果進行比較，必須通過使用對應於深度1的編碼單元和對應於深度2的四個編碼單元中的每個來對數據進行編碼。

為了根據深度中的每個執行編碼，可以通過沿著編碼單元的分層結構600的水平軸，根據深度對編碼單元的預測單元中的每個執行編碼，選擇出最小編碼誤差，也就是對應深度的代表性編碼誤差。此外，隨著深度沿著編碼單元的分層結構600的豎直軸加深，可以通過針對每個深度執行編碼，根據深度來比較代表性編碼誤差而搜索出最小編碼誤差。最大編碼單元610中生成最小編碼誤差的深度和分區可以被選作最大編碼單元610的深度和分區模式。

圖13示出根據各種實施方式的編碼單元與變換單元之間的關係。

根據實施方式的視頻編碼設備100或根據實施方式的視頻解碼設備200根據每個最大編碼單元的、尺寸小於或等於最大編碼單元的編碼單元對圖像進行編碼或解碼。在編碼過程期間用於變換的變換單元的尺寸可以基於不大於對應編碼單元的數據單元進行選擇。

例如，在視頻編碼設備100或視頻解碼設備200中，當編碼單元710的尺寸是64×64時，可以通過使用尺寸為32×32的變換單元720來執行變換。

此外，可以通過對尺寸為32×32、16×16、8×8和4×4(都小於64×64)的變換單元中的每個執行變換而對尺寸為64×64的編碼單元710的數據進行編碼，並且隨後可以關於原始圖像選擇具有最小編碼誤差的變換單元。

圖14示出根據各種實施方式的多項編碼信息。

根據實施方式的視頻編碼設備100的輸出器130可以針對與深度對應的每個編碼單元來編碼並傳輸分區模式信息800、預測模式信息810和變換單元尺寸信息820，以作為分割信息。

分區模式信息800表明與通過分割當前編碼單元的預測單元而獲得的分區的形狀有關的信息，其中分區是用於對當前編碼單元進行預測編碼的數據單元。例如，尺寸為2n×2n的當前編碼單元cu_0可以分割成下列分區中的任一個：尺寸為2n×2n的分區802、尺寸為2n×n的分區804、尺寸為n×2n的分區806以及尺寸為n×n的分區808。在這種情況下，與當前編碼單元有關的分區模式信息800設置成表明下列分區中的一個：尺寸為2n×2n的分區802、尺寸為2n×n的分區804、尺寸為n×2n的分區806以及尺寸為n×n的分區808。

預測模式信息810表明每個分區的預測模式。例如，預測模式信息810可以表明在由分區模式信息800表明的分區上執行的預測編碼的模式，即，幀內模式812、幀間模式814或跳躍模式816。

變換單元尺寸信息820表示對當前編碼單元執行變換時將依據的變換單元。例如，變換單元可以是下列一個：第一幀內變換單元822、第二幀內變換單元824、第一幀間變換單元826以及第二幀間變換單元828。

視頻解碼設備200的圖像數據與編碼信息提取器220可以提取並使用分區模式信息800、預測模式信息810和變換單元尺寸信息820，以根據每個較深編碼單元進行解碼。

圖15示出根據各種實施方式的根據深度的較深編碼單元。

分割信息可以用來表示深度的變化。分割信息指明當前深度的編碼單元是否分割成較深深度的編碼單元。

用於對深度為0且尺寸為2n_0×2n_0的編碼單元900進行預測編碼的預測單元910可以包括下列分區模式的分區：尺寸為2n_0×2n_0的分區模式912、尺寸為2n_0×n_0的分區模式914、尺寸為n_0×2n_0的分區模式916和尺寸為n_0×n_0的分區模式918。只示出通過對稱地分割預測單元而獲得的分區模式912、914、916和918，但如上文所述，分區模式不限於此，並且可以包括不對稱分區、具有預定形狀的分區和具有幾何形狀的分區。

根據每個分區模式，必須在尺寸為2n_0×2n_0的一個分區、尺寸為2n_0×n_0的兩個分區、尺寸為n_0×2n_0的兩個分區和尺寸為n_0×n_0的四個分區上重複執行預測編碼。可以在尺寸為2n_0×2n_0、n_0×2n_0、2n_0×n_0和n_0×n_0的分區上執行幀內模式和幀間模式的預測編碼。可以只在尺寸為2n_0×2n_0的分區上執行跳躍模式的預測編碼。

如果尺寸為2n_0×2n_0的分區模式912、尺寸為2n_0×n_0的分區模式914和尺寸為n_0×2n_0的分區模式916中的一個分區模式的編碼誤差是最小的，那麼預測單元910可以不分割到較深深度。

如果尺寸為n_0×n_0的分區模式918的編碼誤差是最小的，那麼深度從0變成1並且執行分割(操作920)，並且可以在深度為2且尺寸為n_0×n_0的分區模式的編碼單元930上重複執行編碼，從而搜索最小編碼誤差。

用於對深度為1且尺寸為2n_1×2n_1(＝n_0×n_0)的編碼單元930進行預測編碼的預測單元940可以包括下列分區模式：尺寸為2n_1×2n_1的分區模式942、尺寸為2n_1×n_1的分區模式944、尺寸為n_1×2n_1的分區模式946和尺寸為n_1×n_1的分區模式948。

如果尺寸為n_1×n_1的分區模式948的編碼誤差是最小的，那麼深度從1變成2並且執行分割(在操作950中)，並且在深度為2且尺寸為n_2×n_2的編碼單元960上重複執行編碼，從而搜索最小編碼誤差。

當最大深度為d時，根據深度的較深編碼單元可以設置到深度對應於d-1時，並且分割信息可以設置到深度對應於d-2時。換言之，當在對應於深度d-2的編碼單元進行分割之後執行編碼直到深度為d-1時(在操作970中)，用於對深度為d-1且尺寸為2n_(d-1)×2n_(d-1)的編碼單元980進行預測編碼的預測單元990可以包括下列分區模式的分區：尺寸為2n_(d-1)×2n_(d-1)的分區模式992、尺寸為2n_(d-1)×n_(d-1)的分區模式994、尺寸為n_(d-1)×2n_(d-1)的分區模式996和尺寸為n_(d-1)×n_(d-1)的分區模式998。

可以在分區模式之中的尺寸為2n_(d-1)×2n_(d-1)的一個分區、尺寸為2n_(d-1)×n_(d-1)的兩個分區、尺寸為n_(d-1)×2n_(d-1)的兩個分區、尺寸為n_(d-1)×n_(d-1)的四個分區上執行預測編碼，從而搜索生成最小編碼誤差的分區模式。

即使在尺寸為n_(d-1)×n_(d-1)的分區模式998具有最小編碼誤差時，由於最大深度為d，因此，深度為d-1的編碼單元cu_(d-1)不再分割到較深深度，並且構成當前最大編碼單元900的編碼單元的深度被確定為d-1，而且當前最大編碼單元900的分區模式可以被確定為n_(d-1)×n_(d-1)。此外，由於最大深度為d，因此，不設置深度為d-1的編碼單元952的分割信息。

數據單元999可以是當前最大編碼單元的「最小單元」。根據實施方式的最小單元可以是通過將具有最深深度的最小編碼單元分割成4個而獲得的正方形數據單元。通過重複執行編碼，根據實施方式的視頻編碼設備100可以通過比較根據編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度從而確定深度，並且將對應分區模式和預測模式設置為該深度的編碼模式。

因此，在所有的深度0、1、……、d-1、d中比較根據深度的最小編碼誤差，並且可以將具有最小編碼誤差的深度確定為深度。深度、預測單元的分區模式和預測模式可以作為分割信息而被編碼和傳輸。此外，由於編碼單元必須從深度0分割到深度，因此，只有深度的分割信息被設置為「0」，而除該深度之外的深度的分割信息被設置為「1」。

根據實施方式的視頻解碼設備200的圖像數據與編碼信息提取器220可以提取並使用與編碼單元900有關的深度和預測單元信息，從而對編碼單元912進行解碼。根據實施方式的視頻解碼設備200可以通過使用根據深度的分割信息而將分割信息為「0」的深度確定為深度，並且可以將與對應深度有關的分割信息用於解碼。

圖16、圖17和圖18示出根據各種實施方式的編碼單元、預測單元與變換單元之間的關係。

編碼單元1010是最大編碼單元中的由視頻編碼設備100確定的、根據深度的較深編碼單元。預測單元1060是根據深度的編碼單元1010中的每個的預測單元的分區，並且變換單元1070是根據編碼深度的編碼單元中的每個的變換單元。

當較深編碼單元1010中的最大編碼單元的深度為0時，編碼單元1012和1054的深度為1，編碼單元1014、1016、1018、1028、1050和1052的深度為2，編碼單元1020、1022、1024、1026、1030、1032和1048的深度為3，以及編碼單元1040、1042、1044和1046的深度為4。

預測單元1060之中的一些分區1014、1016、1022、1032、1048、1050、1052和1054是通過分割編碼單元而獲得的。換言之，分區1014、1022、1050和1054是尺寸為2n×n的分區模式，分區1016、1048和1052是尺寸為n×2n的分區模式，並且分區1032是尺寸為n×n的分區模式。較深編碼單元1010的預測單元和分區小於或等於每個編碼單元。

在小於編碼單元1052的數據單元中，對變換單元1070中的編碼單元1052的圖像數據執行變換或逆變換。此外，變換單元1760中的編碼單元1014、1016、1022、1032、1048、1050、1052和1054是在尺寸和形狀方面不同於預測單元1060中的數據單元的數據單元。換言之，根據實施方式的視頻編碼設備100和視頻解碼設備200可以對相同編碼單元中的單個數據單元執行幀內預測/運動估算/運動補償/以及變換/逆變換。

因此，對最大編碼單元的每個區域中具有分層結構的編碼單元中的每個遞歸地執行編碼，從而確定最佳編碼單元，因此，可以獲得根據遞歸樹形結構的編碼單元。編碼信息可以包括與編碼單元有關的分割信息、分區模式信息、預測模式信息，以及變換單元尺寸信息。下列表1示出可以由根據實施方式的視頻編碼設備100和視頻解碼設備200設置的編碼信息。

表1

根據實施方式的視頻編碼設備100的輸出器130可以輸出與具有樹形結構的編碼單元有關的編碼信息，並且根據實施方式的視頻解碼設備200的圖像數據與編碼信息提取器220可以從接收的比特流中提取與具有樹形結構的編碼單元有關的編碼信息。

分割信息指明當前編碼單元是否分割成較深深度的編碼單元。如果當前深度d的分割信息為0，那麼當前編碼單元不再分割到較深深度所在的深度是深度，因此，可以針對該深度來定義分區模式信息、預測模式信息和變換單元尺寸信息。如果當前編碼單元必須根據分割信息進一步分割，那麼必須在較深深度的四個分割編碼單元中的每個上獨立執行編碼。

預測模式可以是幀內模式、幀間模式和跳躍模式中的一個。幀內模式和幀間模式可以限定於所有分區模式，而跳躍模式只限定於尺寸為2n×2n的分區模式。

分區模式信息可以表明通過對稱地分割預測單元的高度或寬度而獲得的尺寸為2n×2n、2n×n、n×2n和n×n的對稱分區模式，以及通過不對稱地分割預測單元的高度或寬度而獲得的尺寸為2n×nu、2n×nd、nl×2n和nr×2n的不對稱分區模式。可以通過以1:3和3:1分割預測單元的高度來分別獲取尺寸為2n×nu和2n×nd的不對稱分區模式，並且可以通過以1:3和3:1分割預測單元的寬度來分別獲取尺寸為nl×2n和nr×2n的不對稱分區模式。

變換單元的尺寸可以設置為在幀內模式下有兩個類型並且在幀間模式下有兩個類型。換言之，如果變換單元的分割信息為0，那麼變換單元的尺寸可以是2n×2n，也就是當前編碼單元的尺寸。如果變換單元的分割信息為1，那麼可以通過分割當前編碼單元來獲得變換單元。此外，如果尺寸為2n×2n的當前編碼單元的分區模式是對稱分區模式，那麼變換單元的尺寸可以是n×n，並且如果當前編碼單元的分區模式是不對稱分區模式，那麼變換單元的尺寸可以是n/2×n/2。

根據實施方式的與具有樹形結構的編碼單元有關的編碼信息可以分配到與深度對應的編碼單元、預測單元和最小單元中的至少一個。與深度對應的編碼單元可以包括含有相同編碼信息的預測單元和最小單元中的至少一個。

因此，通過比較相鄰數據單元的編碼信息來確定相鄰數據單元是否包括在對應於深度的相同編碼單元中。此外，通過使用數據單元的編碼信息來確定對應於深度的對應編碼單元，因此可以推斷出最大編碼單元中的深度的分布。

因此，如果基於相鄰數據單元的編碼信息來預測當前編碼單元，那麼可以直接參考並使用與當前編碼單元相鄰的較深編碼單元中的數據單元的編碼信息。

在另一實施方式中，如果基於相鄰數據單元的編碼信息來預測當前編碼單元，那麼可以通過使用數據單元的編碼信息來搜索與當前編碼單元相鄰的數據單元，並且可以參考搜索到的相鄰編碼單元來預測當前編碼單元。

圖19示出根據表1的編碼模式信息的編碼單元、預測單元與變換單元之間的關係。

最大編碼單元1300包括編碼單元1302、1304、1306、1312、1314、1316、以及具有深度的編碼單元1318。此處，由於編碼單元1318是具有深度的編碼單元，因此，分割信息可以設置為0。尺寸為2n×2n的編碼單元1318的分區模式信息可以設置為包括下列的分區模式中的一個：2n×2n1322、2n×n1324、n×2n1326、n×n1328、2n×nu1332、2n×nd1334、nl×2n1336和nr×2n1338。

變換單元分割信息(tu尺寸標記)是一種變換索引，並且與變換索引對應的變換單元的尺寸可以根據編碼單元的預測單元類型或分區模式而改變。

例如，當分區模式信息設置為對稱分區模式2n×2n1322、2n×n1324、n×2n1326和n×n1328中的一個時，如果變換單元分割信息為0，那麼設置尺寸為2n×2n的變換單元1342，並且如果變換單元分割信息為1，那麼可以設置尺寸為n×n的變換單元1344。

當分區模式信息設置為不對稱分區模式2n×nu1332、2n×nd1334、nl×2n1336和nr×2n1338中的一個時，如果變換單元分割信息(tu尺寸標記)為0，那麼可以設置尺寸為2n×2n的變換單元1352，並且如果變換單元分割信息為1，那麼可以設置尺寸為n/2×n/2的變換單元1354。

上文參考圖19描述的變換單元分割信息(tu尺寸標記)是值為0或1的標記，但根據實施方式的變換單元分割信息不限於具有1比特的標記，並且變換單元可以分層地分割，而同時變換單元分割信息根據設置以0、1、2、3等的方式增長。變換單元分割信息可以是變換索引的示例。

在這種情況下，實際使用的變換單元的尺寸可以通過使用根據實施方式的變換單元分割信息以及變換單元的最大尺寸和變換單元的最小尺寸一起來表示。根據實施方式的視頻編碼設備100可以對最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息進行編碼。對最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息進行編碼的結果可以插入到sps。根據實施方式的視頻解碼設備200可以通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元分割信息來對視頻進行解碼。

例如，(a)如果當前編碼單元的尺寸是64×64並且最大變換單元尺寸是32×32，那麼(a-1)變換單元的尺寸在tu尺寸標記為0時可以是32×32，(a-2)在tu尺寸標記為1時可以是16×16，以及(a-3)在tu尺寸標記為2時可以是8×8。

作為另一示例，(b)如果當前編碼單元的尺寸是32×32並且最小變換單元尺寸是32×32，那麼(b-1)變換單元的尺寸在tu尺寸標記為0時可以是32×32。此處，由於變換單元的尺寸不可小於32×32，因此，tu尺寸標記無法設置成除了0之外的值。

作為另一示例，(c)如果當前編碼單元的尺寸是64×64並且最大tu尺寸標記是1，那麼tu尺寸標記可以是0或1。此處，tu尺寸標記無法設置成除了0或1之外的值。

因此，如果將最大tu尺寸標記定義為「maxtransformsizeindex」，將最小變換單元尺寸定義為「mintransformsize」，並且當tu尺寸標記為0時變換單元尺寸為「roottusize」，那麼可以在當前編碼單元中確定的當前最小變換單元尺寸「currmintusize」可由等式(1)定義：

currmintusize

＝max(mintransformsize,roottusize/(2*maxtransformsizeindex))...(1)

與可以在當前編碼單元中確定的當前最小變換單元尺寸「currmintusize」相比，tu尺寸標記為0時的變換單元尺寸「roottusize」可表示可以在系統中選擇的最大變換單元尺寸。換言之，在等式(1)中，「roottusize/(2^maxtransformsizeindex)」表示在tu尺寸標記為0時變換單元尺寸「roottusize」被分割對應於最大tu尺寸標記的次數時的變換單元尺寸，並且「mintransformsize」表示最小變換尺寸。因此，「roottusize/(2^maxtransformsizeindex)」和「mintransformsize」之中的較小值可以是可在當前編碼單元中確定的當前最小變換單元尺寸「currmintusize」。

根據實施方式，最大變換單元尺寸roottusize可以根據預測模式的類型而改變。

例如，如果當前預測模式是幀間模式，那麼「roottusize」可以通過使用下列等式(2)來確定。在等式(2)中，「maxtransformsize」表示最大變換單元尺寸，並且「pusize」表示當前預測單元尺寸。

roottusize＝min(maxtransformsize,pusize).........(2)

換言之，如果當前預測模式是幀間模式，那麼在tu尺寸標記為0時，變換單元尺寸「roottusize」可以是最大變換單元尺寸和當前預測單元尺寸之中的較小值。

如果當前分區單元的預測模式是幀內模式，那麼「roottusize」可以通過使用下列等式(3)來確定。在等式(3)中，「partitionsize」表示當前分區單元的尺寸。

roottusize＝min(maxtransformsize,partitionsize)...........(3)

換言之，如果當前預測模式是幀內模式，那麼在tu尺寸標記為0時，變換單元尺寸「roottusize」可以是最大變換單元尺寸和當前分區單元的尺寸之中的較小值。

然而，根據分區單元中的預測模式的類型而改變的當前最大變換單元尺寸「roottusize」僅僅是實施方式，並且用於確定當前最大變換單元尺寸的因素不限於此。

根據上文參考圖7到圖19描述的基於樹形結構的編碼單元的視頻編碼方法，空間域的圖像數據在樹形結構的編碼單元的每個中進行編碼，並且空間域的圖像數據按根據基於樹形結構的編碼單元的視頻解碼方法對每個最大編碼單元執行解碼的方式進行重建，從而可以重建由圖片和圖片序列形成的視頻。重建的視頻可以由播放設備播放、可以存儲在存儲介質中，或可以經由網絡傳輸。

一個或多個實施方式可以編寫為電腦程式，並且可以在使用非暫時性計算機可讀記錄介質執行程序的通用數字計算機中實施。非暫時性計算機可讀記錄介質的示例包括磁存儲介質(例如，rom、軟盤、硬碟等)、光記錄介質(例如，cd-rom或dvd)等。

為便於描述，參考圖1a到圖19描述的圖像編碼方法和/或視頻編碼方法將統一被稱為「視頻編碼方法」。此外，參考圖1a到圖19描述的圖像解碼方法和/或視頻解碼方法將統一被稱為「視頻解碼方法」。

此外，參考圖1a到圖19描述的視頻編碼設備(包括圖像編碼設備40、視頻編碼設備100或圖像編碼器400)將統一被稱為「視頻編碼設備」。此外，參考圖1a到圖20描述的視頻解碼設備(包括圖像解碼設備30、視頻解碼設備200或圖像解碼器500)將統一被稱為「視頻解碼設備」。

現在將詳細描述根據實施方式的存儲程序的非暫時性計算機可讀記錄介質，諸如，碟片26000。

圖20示出根據各種實施方式的存儲有程序的碟片26000的物理結構。作為一種存儲介質，碟片26000可以是硬碟驅動器、壓縮只讀存儲器(cd-rom)盤、藍光光碟或數字多功能盤(dvd)。碟片26000包括多個同心盤道tr，所述同心盤道tr各自在碟片26000的圓周方向上分成特定數量的扇區se。在碟片26000的特定區域中，可以分配並存儲執行上述量化參數確定方法、視頻編碼方法和視頻解碼方法的程序。

現在將參考圖22描述使用存儲介質實現的計算機系統，所述存儲介質存儲用於執行上述視頻編碼方法和視頻解碼方法的程序。

圖21示出通過使用碟片26000來記錄和讀取程序的碟片驅動器26800。計算機系統26700可以經由碟片驅動器26800而在碟片26000中存儲用於執行根據實施方式的視頻編碼方法和視頻解碼方法中的至少一個的程序。為了在計算機系統26700中運行存儲在碟片26000中的程序，可以從碟片26000中讀取程序並且可以通過使用碟片驅動器26800將它傳輸到計算機系統26700。

執行根據實施方式的視頻編碼方法和視頻解碼方法中的至少一個的程序不僅可以存儲在圖20和圖21所示的碟片26000中，而且還可以存儲在存儲卡、rom盒式磁帶或固態驅動器(ssd)中。

下文將描述應用上文所述的根據實施方式的視頻編碼方法和視頻解碼方法的系統。

圖22示出用於提供內容分發服務的內容供應系統11000的整體結構。通信系統的服務區域分成預定尺寸的小區，並且無線基站11700、11800、11900和12000分別安裝在這些小區中。

內容供應系統11000包括多個獨立裝置。例如，諸如計算機12100、個人數字助理(pda)12200、攝像機12300和行動電話12500等多個獨立裝置經由網際網路服務提供商11200、通信網絡11400以及無線基站11700、11800、11900和12000連接到網際網路11100。

然而，內容供應系統11000不限於如圖22所示，並且裝置可以選擇性地連接到該系統。多個獨立裝置可以直接連接到通信網絡11400，而不經過無線基站11700、11800、11900和12000。

攝像機12300是能夠拍攝視頻圖像的成像裝置，例如，數字攝像機。行動電話12500可以採用例如個人數字通信(pdc)、碼分多址(cdma)、寬帶碼分多址(w-cdma)、全球移動通信系統(gsm)以及個人手持式電話系統(phs)等各種協議中的至少一個通信方法。

攝像機12300可以經由無線基站11900和通信網絡11400連接到流式伺服器11300。流式伺服器11300允許經由攝像機12300從用戶接收的內容經過實時廣播進行流傳輸。從攝像機12300接收的內容可以由攝像機12300或流式伺服器11300進行編碼。由攝像機12300拍攝的視頻數據可以經由計算機12100傳輸到流式伺服器11300。

由相機12600拍攝的視頻數據也可以經由計算機12100傳輸到流式伺服器11300。相機12600是能夠拍攝靜態圖像和視頻圖像的成像裝置，類似於數字相機。由相機12600拍攝的視頻數據可以使用相機12600或計算機12100進行編碼。對視頻執行編碼和解碼的軟體可以存儲在可由計算機12100訪問的非暫時性計算機可讀記錄介質中，例如，cd-rom盤、軟盤、硬碟驅動器、ssd或存儲卡。

如果視頻數據由內置在行動電話12500中的相機拍攝，那麼可以從行動電話12500中接收視頻數據。

視頻數據可以由安裝在攝像機12300、行動電話12500或相機12600中的大規模集成電路(lsi)系統進行編碼。

在根據實施方式的內容供應系統11000中，由用戶使用攝像機12300、相機12600、行動電話12500或另一成像裝置記錄的內容數據(例如，在音樂會期間記錄的內容)被編碼並傳輸到流式伺服器11300。流式伺服器11300可以採用流內容類型將編碼的內容數據傳輸到請求內容數據的其他客戶端。

客戶端是能夠對編碼的內容數據進行解碼的裝置，例如，計算機12100、pda12200、攝像機12300或行動電話12500。因此，內容供應系統11000允許客戶端接收和播放編碼的內容數據。此外，內容供應系統11000允許客戶端接收編碼的內容數據，並且實時解碼和播放編碼的內容數據，從而實現個人播放。

內容供應系統11000中包括的多個獨立裝置的編碼和解碼操作可以類似於根據實施方式的視頻編碼設備和視頻解碼設備的那些操作。

現在將參考圖23和圖24詳細地描述根據實施方式的內容供應系統11000中包括的行動電話12500。

圖23示出根據各種實施方式的應用視頻編碼方法和視頻解碼方法的行動電話12500的外部結構。行動電話12500可以是智慧型電話，它的功能不受限制並且其大量的功能可以改變或擴展。

行動電話12500包括外部天線12510，經由該外部天線12510，射頻(rf)信號可以與無線基站12000進行交換，行動電話12500還包括顯示屏12520，所述顯示屏12520用於顯示由相機12530拍攝的圖像或經由天線12510接收並解碼的圖像，例如，液晶顯示器(lcd)或有機發光二極體(oled)屏。行動電話12500包括操作面板12540，所述操作面板12540包括控制按鈕和觸摸面板。如果顯示屏12520是觸控螢幕，那麼操作面板12540還包括顯示屏12520的觸摸感應面板。行動電話12500包括用於輸出語音和聲音的揚聲器12580或另一類型的聲音輸出單元，以及用於輸入語音和聲音的麥克風12550或另一類型的聲音輸入單元。行動電話12500還包括相機12530，諸如，電荷耦合裝置(ccd)相機，以拍攝視頻或靜態圖像。行動電話12500還可以包括：存儲介質12570，該存儲介質12570用於存儲編碼/解碼的數據，例如，由相機12530拍攝、經由電子郵件接收或根據各種方式獲取的視頻或靜態圖像；以及槽12560，存儲介質12570經由該槽12560裝載到行動電話12500中。存儲介質12570可以是快閃記憶體，例如，安全數字(sd)卡或者包括在塑料盒中的電可擦除可編程只讀存儲器(eeprom)。

圖24示出行動電話12500的內部結構。為了系統地控制包括顯示屏12520和操作面板12540的行動電話12500的部分，電源電路12700、操作輸入控制器12640、圖像編碼器12720、相機接口12630、lcd控制器12620、圖像解碼器12690、多路復用器/多路分解器12680、記錄/讀取單元12670、調製/解調單元12660以及聲音處理器12650經由同步總線12730連接到中央處理器12710。

如果用戶操作電源按鈕並從「關機」狀態設置到「開機」狀態，那麼電源電路12700將電力從電池組供應到行動電話12500的所有部分，從而將行動電話12500設置到操作模式。

中央控制器12710包括cpu、只讀存儲器(rom)和隨機存取存儲器(ram)。

在行動電話12500將通信數據傳輸到外部時，行動電話12500在中央控制器12710的控制下生成數位訊號。例如，聲音處理器12650可以生成數字聲音信號，圖像編碼器12720可以生成數字圖像信號，並且消息的文本數據可以經由操作面板12540和操作輸入控制器12640生成。當數位訊號在中央控制器12710的控制下傳輸到調製/解調單元12660時，調製/解調單元12660對數位訊號的頻帶進行調製，並且通信電路12610對頻帶經調製的數字聲音信號執行數模轉換(dac)和頻率轉換。從通信電路12610輸出的傳輸信號可以經由天線12510傳輸到語音通信基站或無線基站12000。

例如，當行動電話12500處於對話模式時，經由麥克風12550獲取的聲音信號在中央控制器12710的控制下被聲音處理器12650轉換成數字聲音信號。所生成的數字聲音信號可以通過調製/解調單元12660和通信電路12610轉換成傳輸信號，並且可以經由天線12510進行傳輸。

當文本消息(例如，電子郵件)在數據通信模式期間傳輸時，文本消息的文本數據經由操作面板12540輸入，並且經由操作輸入控制器12640傳輸到中央控制器12610。在中央控制器12610的控制下，文本數據經由調製/解調單元12660和通信電路12610變換成傳輸信號，並且經由天線12510傳輸到無線基站12000。

為了在數據通信模式期間傳輸圖像數據，經由相機接口12630將相機12530拍攝的圖像數據提供到圖像編碼器12720。拍攝的圖像數據可以經由相機接口12630和lcd控制器12620直接顯示在顯示屏12520上。

圖像編碼器12720的結構可以對應於根據實施方式的視頻編碼設備100的結構。圖像編碼器12720可以根據上述視頻編碼方法將從相機12530接收的圖像數據變換成壓縮且編碼的圖像數據，並且隨後將編碼的圖像數據輸出到多路復用器/多路分解器12680。在相機12530的記錄操作期間，由行動電話12500的麥克風12550獲得的聲音信號可以經由聲音處理器12650變換成數字聲音數據，並且數字聲音數據可以傳輸到多路復用器/多路分解器12680。

多路復用器/多路分解器12680將從圖像編碼器12720接收的編碼圖像數據與從聲音處理器12650接收的聲音數據多路復用。多路復用數據的結果可以經由調製/解調單元12660和通信單元12610轉換成傳輸信號，並且隨後可以經由天線12510傳輸。

當行動電話12500接收來自外部的通信數據時，對經由天線12510接收的信號執行頻率恢復和模數轉換(adc)，以將該信號轉換成數位訊號。調製/解調單元12660對數位訊號的頻帶進行調製。根據數位訊號的類型，頻帶經過調製的數位訊號傳輸到視頻解碼器12690、聲音處理器12650或lcd控制器12620。

在對話模式期間，行動電話12500將經由天線12510接收的信號放大，並且通過對放大的信號執行頻率轉換和adc來獲取數字聲音信號。在中央控制器12710的控制下，接收的數字聲音信號經由調製/解調單元12660和聲音處理器12650轉換成模擬聲音信號，並且模擬聲音信號經由揚聲器12580輸出。

當在數據通信模式期間時，接收在網際網路網站訪問的視頻文件的數據，經由調製/解調單元12660將經由天線12510從無線基站12000接收的信號輸出為多路復用數據，並且將多路復用數據傳輸到多路復用器/多路分解器12680。

為了對經由天線12510接收的多路復用的數據進行解碼，多路復用器/多路分解器12680將多路復用的數據多路分解成編碼視頻數據流和編碼音頻數據流。經由同步總線12730，編碼視頻數據流和編碼音頻數據流分別被提供到視頻解碼器12690和聲音處理器12650。

圖像解碼器12690的結構可以對應於上文所述的視頻解碼設備的結構。通過使用上述視頻解碼方法，圖像解碼器12690可以對編碼的視頻數據進行解碼，以獲得重建的視頻數據，並且經由lcd控制器12620將重建的視頻數據提供到顯示屏12520。

因此，在網際網路網站訪問的視頻文件的數據可以顯示在顯示屏12520上。同時，聲音處理器12650可以將音頻數據轉換成模擬聲音信號，並且將模擬聲音信號提供到揚聲器12580。因此，在網際網路網站訪問的視頻文件中含有的音頻數據也可以經由麥克風12580而播放。

行動電話12500或另一類型的通信終端可以是包括根據實施方式的視頻編碼設備和視頻解碼設備的收發終端，可以是只包括根據實施方式的視頻編碼設備的發射終端，或者可以是只包括根據實施方式的視頻解碼設備的接收終端。

根據實施方式的通信系統不限於上文參考圖24描述的通信系統。例如，圖25示出根據各種實施方式的採用通信系統的數字廣播系統。圖25的數字廣播系統可以通過使用根據實施方式的視頻編碼設備和視頻解碼設備來接收經由衛星或地面網絡傳輸的數字廣播。

更具體地，廣播站12890通過使用無線電波而將視頻數據流傳輸到通信衛星或廣播衛星12200。廣播衛星12200傳輸廣播信號，並且廣播信號經由家用天線12860傳輸到衛星廣播接收器。在每個家庭中，編碼的視頻流可以由tv接收器12810、機頂盒12870或另一裝置解碼並播放。

當根據實施方式的視頻解碼設備在播放設備12130中實施時，播放設備12130可以對記錄在存儲介質12120(諸如，碟片或存儲卡)上的編碼視頻流進行解析和解碼，以重建數位訊號。因此，重建的視頻信號可以例如在顯示器12840上播放。

在連接到用於衛星/地面廣播的天線12860或用於接收電纜電視(tv)廣播的電纜12850的機頂盒12870中，可以安裝根據實施方式的視頻解碼設備。從機頂盒12870輸出的數據也可以在tv顯示器12880上播放。

作為另一示例，根據實施方式的視頻解碼設備可以安裝在tv接收器12810中，而不是在機頂盒12870中。

具有適當天線12210的汽車12220可以接收從衛星12200或無線基站11700傳輸的信號。解碼的視頻可以在安裝於汽車12230中的車載導航系統12220的顯示屏上播放。

視頻信號可以由根據實施方式的視頻編碼設備進行編碼，並且隨後可以記錄並存儲到存儲介質中。更具體地，圖像信號可以由dvd記錄器存儲在dvd光碟12960中，或者可以由硬碟記錄器12950存儲在硬碟中。作為另一示例，視頻信號可以存儲在sd卡12970中。如果硬碟記錄器12950包括根據實施方式的視頻解碼設備，那麼記錄在dvd光碟12960、sd卡12970或另一存儲介質上的視頻信號可以在tv顯示器12880上播放。

車載導航系統12930可以不包括圖26的相機12530、相機接口12630和圖像編碼器12720。例如，計算機12100和tv接收器12810可以不包括圖26的相機12530、相機接口12630和圖像編碼器12720。

圖26示出根據各種實施方式的使用視頻編碼設備和視頻解碼設備的雲計算系統的網絡結構。

雲計算系統可以包括雲計算伺服器14000、用戶資料庫(db)14100、多個計算資源14200以及用戶終端。

響應於來自用戶終端的請求，雲計算系統經由數據通信網絡(例如，網際網路)來提供多個計算資源14200的按需外包服務。在雲計算環境下，通過使用虛擬化技術將位於物理上不同位置的數據中心處的計算資源相結合，服務提供商為用戶提供所需的服務。服務用戶不必將計算資源(例如，應用程式、存儲器、作業系統(os)和安全軟體)安裝到他/她自己的終端中以進行使用，而是可以在所需的時間點從通過虛擬化技術生成的虛擬空間中的服務之中選擇並使用所需服務。

指定服務用戶的用戶終端經由包括網際網路和移動遠程通信網絡的數據通信網絡連接到雲計算伺服器14000。從雲計算伺服器14000可以對用戶終端提供雲計算服務，具體地如視頻播放服務。用戶終端可以是能夠連接到網際網路的各種類型的電子裝置，例如，臺式pc14300、智能tv14400、智慧型電話14500、筆記本電腦14600、可攜式多媒體播放器(pmp)14700、平板pc14100等。

雲計算伺服器14000可以將分布在雲網絡中的多個計算資源14200進行組合，並且可以將組合的結果提供到用戶終端。多個計算資源14200可以包括各種數據服務，並且可以包括從用戶終端上傳的數據。如上文所述，雲計算伺服器14000可以通過根據虛擬化技術將分布在不同區域中的視頻資料庫進行組合來將所需的服務提供到用戶終端。

與訂閱雲計算服務的用戶有關的用戶信息存儲在用戶資料庫14100中。用戶信息可以包括用戶的登錄信息、地址、名字和個人信用信息。用戶信息還可以包括視頻的索引。此處，索引可以包括已經播放的視頻列表、正在播放的視頻列表、曾經播放的視頻的暫停點等。

存儲在用戶資料庫14100中的與視頻有關的信息可以在用戶裝置之間共享。例如，當響應於來自筆記本電腦14600的請求而將視頻服務提供到筆記本電腦14600時，視頻服務的播放歷史便存儲在用戶資料庫14100中。當從智慧型電話14500接收播放該視頻服務的請求時，雲計算伺服器14000基於用戶資料庫14100來搜索並播放該視頻服務。當智慧型電話14500接收來自雲計算伺服器14000的視頻數據流時，通過對視頻數據流進行解碼來播放視頻的過程類似於上文參考圖24描述的行動電話12500的操作。

雲計算伺服器14000可以參考存儲在用戶資料庫14100中的所需視頻服務的播放歷史。例如，雲計算伺服器14000接收來自用戶終端的播放存儲在用戶資料庫14100中的視頻的請求。如果這個視頻已在播放，那麼由雲計算伺服器14000執行的流傳輸這個視頻的方法可以根據用戶終端的請求而改變，即，根據從視頻的開頭還是暫停點開始播放該視頻。例如，如果用戶終端請求從開頭開始播放該視頻，那麼雲計算伺服器14000將從第一幀開始的視頻的流數據傳輸到用戶終端。另一方面，如果用戶終端請求從暫停點開始播放該視頻，那麼雲計算伺服器14000將從對應於暫停點的幀開始的視頻的流數據傳輸到用戶終端。

此處，用戶終端可以包括如上文參考圖1a到圖19描述的根據實施方式的視頻解碼設備。作為另一示例，用戶終端可以包括如上文參考圖1a到圖20描述的根據實施方式的視頻編碼設備。或者，用戶終端可以包括如上文參考圖1a到圖19描述的根據實施方式的視頻編碼設備和視頻解碼設備兩者。

上文參考圖20到圖26描述了上文參考圖1a到圖19描述的圖像編碼方法、圖像解碼方法、圖像編碼設備和圖像解碼設備的各種應用。然而，將上文參考圖1a到圖19描述的視頻編碼方法和視頻解碼方法存儲在存儲介質中的方法的各種實施方式或者在裝置中實施視頻編碼設備和視頻解碼設備的方法的各種實施方式不限於圖20到圖26的實施方式。

雖然已參考本公開的實施方式具體示出並描述了本公開，但本領域普通技術人員將理解，在不脫離所附權利要求的精神和範圍的情況下，可以在形式和細節方面對本公開作出各種改變。因此，本公開的範圍並不由本公開的詳細描述限定，而是由所附權利要求限定，並且該範圍內的所有差異都將被解釋為包括在本公開中。