用於對視頻進行編碼和解碼的方法和設備的製作方法

2023-10-08 08:50:14

專利名稱：用於對視頻進行編碼和解碼的方法和設備的製作方法
技術領域：
與示例性實施例一致的設備和方法涉及對視頻進行編碼和解碼，更具體地講，涉及視頻的精確運動估計和補償。
背景技術：
隨著用於再現和存儲高解析度或高質量的視頻內容的硬體的開發和提供，對用於高效地編碼或解碼高解析度或高質量的視頻內容的視頻編解碼器的需要正在增加。在現有技術的視頻編解碼器中，根據有限的編碼方法以宏塊為單位對視頻進行編碼，其中，每個宏塊具有預定尺寸。

發明內容
技術問題在現有技術的視頻編解碼器中，根據有限的編碼方法以宏塊為單位對視頻進行編碼，其中，每個宏塊具有預定尺寸。技術方案一個或多個示例性實施例的多個方面提供一種在不顯著增加計算負荷的情況下執行精確的運動估計和補償的視頻編碼和解碼方法和設備。·
本發明的有益效果根據一個或多個示例性實施例，在不顯著增加用於運動估計的計算負荷的情況下，還執行精確的運動估計是可行的。


圖I是根據示例性實施例的視頻編碼設備的框圖；圖2是根據示例性實施例的視頻解碼設備的框圖；圖3是用於描述根據示例性實施例的編碼單元的構思的示圖；圖4是根據示例性實施例的基於編碼單元的圖像編碼器的框圖；圖5是根據示例性實施例的基於編碼單元的圖像解碼器的框圖；圖6是示出根據示例性實施例的根據深度的較深層編碼單元和分區的示圖；圖7是用於描述根據示例性實施例的編碼單元和變換單元之間的關係的示圖；圖8是用於描述根據示例性實施例的與編碼深度相應的編碼單元的編碼信息的示圖；圖9是根據示例性實施例的根據深度的較深層編碼單元的示圖；圖10至圖12是用於描述根據示例性實施例的編碼單元、預測單元、變換單元之間的關係的不圖；圖13是用於根據表I的編碼模式信息描述編碼單元、預測單元或分區、變換單元之間的關係的示圖14是示出根據示例性實施例的運動估計裝置的構造的框圖；圖15示出由圖14的插值單元1420執行的插值方法；圖16是描述由圖14的運動矢量獲取單元1430執行的運動估計的示圖；圖17是示出根據示例性實施例的運動補償裝置的構造的框圖；圖18是描述由圖17的插值單元1710執行的插值方法的參考畫面；圖19是用於描述由圖17的第二子像素選擇單元1720執行的第二子像素選擇的示圖；圖20是示出根據圖19的第二子像素選擇的運動矢量的校正方向的參考示圖； 圖21示出根據示例性實施例的通過運動估計和補償將被校正的參考畫面的相應區域；圖22示出根據示例性實施例的運動矢量信息；圖23是描述根據示例性實施例的運動矢量估計處理的示圖；圖24是根據示例性實施例的對視頻進行編碼的方法的流程圖；圖25是示出根據示例性實施例的運動補償裝置的構造的框圖；圖26是示出根據示例性實施例的對視頻進行解碼的方法的流程圖。實現本發明的最佳方式根據示例性實施例的一方面，提供一種對視頻編碼的方法，所述方法包括根據第一子像素單位對當前塊執行運動估計，並針對當前塊獲得第一子像素單位的運動矢量；根據小於第一子像素單位的第二子像素單位對由獲得的第一子像素單位的運動矢量指示的參考畫面進行插值；從與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的第二子像素單位的子像素之中選擇第二子像素，其中，使用插值的參考畫面來執行該選擇；選擇與當前塊具有較小誤差的相應區域，其中，相應區域來自第一相應區域和第二相應區域之中，其中，第一相應區域屬於由運動矢量指示的參考畫面並且是針對第一子像素單位的第一子像素獲得的，第二相應區域屬於當前塊並且是針對選擇的第二子像素單位的第二子像素獲得的；對選擇的相應區域的信息進行編碼。根據另一示例性實施例的一方面，提供一種視頻編碼設備，包括運動估計器，通過第一子像素單位對當前塊執行運動估計，並針對當前塊獲得第一子像素單位的運動矢量；運動補償器，根據小於第一子像素單位的第二子像素單位對由第一子像素單位的運動矢量指示的參考畫面進行插值，通過使用根據第二子像素單位進行插值的參考畫面從與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的第一像素鄰近的第二子像素單位的子像素之中選擇第二子像素，並且選擇與當前塊具有較小誤差的相應區域，其中，相應區域來自第一相應區域和第二相應區域之中，其中，第一相應區域屬於由運動矢量指示的參考畫面並且是針對第一子像素單位的第一子像素獲得的，第二相應區域屬於當前塊並且是針對選擇的第二子像素單位的第二子像素獲得的；編碼器，對選擇的相應區域的信息進行編碼。根據另一示例性實施例的一方面，提供一種對視頻解碼的方法，該方法包括從比特流解碼並獲得針對當前塊的第一子像素單位的運動矢量；從比特流獲得信息，其中，所述信息指示是否通過使用相應區域對當前塊執行了運動補償，其中，針對與由第一子像素單位的第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素鄰近的小於第一子像素單位的第二子像素單位的第二子像素獲 得所述相應區域；如果通過使用針對第二子像素單位的第二子像素獲得的所述相應區域的信息對當前塊執行了運動補償，則從比特流提取第二子像素單位的第二子像素的位置信息；通過使用第一子像素單位的運動矢量和提取的第二子像素單位的第二子像素的位置信息，對當前塊執行運動補償。根據另一示例性實施例的一方面，提供一種視頻解碼設備，包括熵解碼器，從比特流解碼並獲得針對當前塊的第一子像素單位的運動矢量，獲得信息，其中，所述信息指示是否通過使用相應區域對當前塊執行了運動補償，其中，針對與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的小於第一子像素單位的第二子像素單位的第二子像素獲得所述相應區域，其中，如果通過使用針對第二子像素單位的第二子像素獲得的所述相應區域的信息對當前塊執行了運動補償，則熵解碼器從比特流提取第二子像素單位的第二子像素的位置信息；運動補償器，通過使用第一子像素單位的運動矢量和提取的第二子像素單位的第二子像素的位置信息，對當前塊執行運動補償。
具體實施例方式以下，將參照附圖詳細描述示例性實施例。圖I是根據示例性實施例的視頻編碼設備100的框圖。視頻編碼設備100包括最大編碼單元分割器110、編碼單元確定器120和輸出單元130。最大編碼單元分割器110可基於圖像的當前畫面的最大編碼單元來分割當前畫面。如果當前畫面大於最大編碼單元，則可將當前畫面的圖像數據分割為至少一個最大編碼單元。根據示例性實施例的最大編碼單元可以是尺寸為32X32、64X64、128X128、256 X 256等的數據單元，其中，數據單元的形狀是方形，該方形的寬和長中的每個為2的倍數並且大於8。圖像數據可根據至少一個最大編碼單元被輸出到編碼單元確定器120。根據示例性實施例的編碼單元可由最大尺寸和深度表徵。深度表示編碼單元從最大編碼單元被空間分割的次數，隨著深度加深，根據深度的較深層編碼單元可從最大編碼單元被分割為最小編碼單元。最大編碼單元的深度是最上層深度，最小編碼單元的深度是最下層深度。由於與每個深度相應的編碼單元的尺寸隨著最大編碼單元的深度加深而減小，因此與較上層深度相應的編碼單元可包括多個與較下層深度相應的編碼單元。如上所述，根據編碼單元的最大尺寸將當前畫面的圖像數據分割為最大編碼單元，每個最大編碼單元可包括根據深度分割的較深層編碼單元。由於根據示例性實施例的最大編碼單元根據深度被分割，因此包括在最大編碼單元中的空間域的圖像數據可根據深度被分層地分類。可預先確定編碼單元的最大深度和最大尺寸,最大深度和最大尺寸限制了最大編碼單元的高度和寬度被分層分割的總次數。編碼單元確定器120對通過根據深度分割最大編碼單元的區域獲得的至少一個分割區域進行編碼，並根據所述至少一個分割區域來確定用於輸出最終編碼的圖像數據的深度。換句話說，編碼單元確定器120根據當前畫面的最大編碼單元以根據深度的較深層編碼單元對圖像數據進行編碼，並選擇具有最小編碼誤差的深度，來確定編碼深度。因此，與確定的編碼深度相應的編碼單元的編碼圖像數據被最終輸出。此外，與編碼深度相應的編碼單元可被認為是編碼的編碼單元。確定的編碼深度和根據確定的編碼深度的編碼圖像數據被輸出到輸出單元130。基於與等於或低於最大深度的至少一個深度相應的較深層編碼單元來對最大編碼單元中的圖像數據進行編碼，基於每個較深層編碼單元來比較對圖像數據進行編碼的結果。在對多個較深層編碼單元的編碼誤差進行比較之後，可選擇具有最小編碼誤差的深度。可為每個最小編碼單元選擇至少一個編碼深度。隨著編碼單元根據深度被分層地分割並且隨著編碼單元的數量增加，最大編碼單元的尺寸被分割。此外，即使在一個最大編碼單元中編碼單元對應於相同深度，也可通過分別測量每個編碼單元的圖像數據的編碼誤差來確定是否將與該相同深度對應的每個編碼單元分割為較下層深度。因此，即使當圖像數據包括在一個最大編碼單元中時，圖像數據根據深度被分割為多個區域，並且在所述一個最大編碼單元中，編碼誤差可根據區域而不同，因此，編碼深度可根據圖像數據中的區域而不同。因此，可在一個最大編碼單元中確定一個或多個編碼深度，可根據至少一個編碼深度的編碼單元來劃分最大編碼單元的圖像數據。
因此，編碼單元確定器120可確定包括在最大編碼單元中的具有樹結構的編碼單元。根據示例性實施例的具有樹結構的編碼單元包括在最大編碼單元中所包括的所有較深層編碼單元之中的與確定為編碼深度的深度相應的編碼單元。在最大編碼單元的相同區域中，可根據深度來分層地確定編碼深度的編碼單元，並且可在不同的區域中獨立地確定編碼深度的編碼單元。類似地，當前區域中的編碼深度可獨立於另一區域中的編碼深度被確定。最大深度表示圖像數據從最大編碼單元被分割為最小編碼單元的次數。根據示例性實施例的第一最大深度可表示從最大編碼單元至最小編碼單元的分割次數的總數量。根據示例性實施例的第二最大深度可表示從最大編碼單元至最小編碼單元的深度級的總層數。例如，當最大編碼單元的深度為O時，通過對最大編碼單元分割一次獲得的編碼單元的深度可被設置為1，通過對最大編碼單元分割兩次獲得的編碼單元的深度可被設置為2。在此情況下，如果最小編碼單元表示通過對最大編碼單元分割四次獲得的編碼單元，則由於深度級包括深度0、1、2、3、4，則第一最大深度可被設置為4，第二最大深度可被設置為5。可根據最大編碼單元執行預測編碼和變換。也可根據最大編碼單元，基於根據等於最大深度的深度或小於最大深度的深度的較深層編碼單元，執行預測編碼和變換。由於每當最大編碼單元根據深度被分割時較深層編碼單元的數量增加，因此可對隨著深度加深產生的所有較深層編碼單元執行包括預測編碼和變換的編碼。為了便於描述，將基於最大編碼單元中的當前深度的編碼單元描述預測編碼和變換。視頻編碼設備100可變化地選擇用於對圖像數據編碼的數據單元的尺寸或形狀。為了對圖像數據編碼，執行諸如預測編碼、變換和墒編碼的操作，此時，可針對所有操作使用相同的數據單元，或者可針對每個操作使用不同的數據單元。例如，視頻編碼設備100不僅可選擇用於對圖像數據編碼的編碼單元，而且還選擇與所述編碼單元不同的數據單元，從而對編碼單元中的圖像數據執行預測編碼。為了在最大編碼單元中執行預測編碼，可基於與編碼深度相應的編碼單元(即，基於不再分割為與較下層深度相應的編碼單元的編碼單元)執行預測編碼。以下，不再分割並且變為用於預測編碼的基本單元的編碼單元現在將被稱為預測單元。通過分割預測單元獲得的分區(partition)可包括預測單元或者通過將預測單元的高度和寬度中的至少一個進行分割獲得的數據單元。例如，當2NX2N(其中，N為正整數)的編碼單元不再分割並且變為2NX 2N的預測單元時，分區的尺寸可以是2NX2N、2NXN、NX2N或NXN。分區類型的示例包括通過對稱地分割預測單元的高度或寬度獲得的對稱分區、通過非對稱地分割預測單元的高度或寬度(例如，I η或η I)獲得的分區、通過幾何地分割預測單元獲得的分區以及具有任意形狀的分區。預測單元的預測模式可以是幀內模式、幀間模式和跳過模式中的至少一種。例如，可對2Ν X 2Ν、2Ν X N、N X 2Ν或N X N的分區執行幀內模式或幀間模式。此外，可僅對2Ν X 2Ν的分區執行跳過模式。對編碼單元中的一個預測單元獨立地執行編碼，從而選擇具有最小編碼誤差的預測模式。視頻編碼設備100還可不僅基於用於對圖像數據編碼的編碼單元對編碼單元中的圖像數據進行變換，而且還可基於與編碼單元不同的數據單元對編碼單元中的圖像數據 進行變換。 為了在編碼單元中執行變換，可基於具有小於或等於編碼單元的尺寸的數據單元執行該變換。例如，用於變換的數據單元可包括用於幀內模式的數據單元和用於幀間模式的數據單元。用作變換的基礎的數據單元現在將被稱為變換單元。類似於編碼單元，編碼單元中的變換單元可被遞歸地分割為更小尺寸的區域，從而可以以區域為單元獨立地確定變換單元。因此，可根據變換深度根據具有樹結構的變換來劃分編碼單元中的殘差數據。也可在變換單元中設置變換深度，變換深度表示通過分割編碼單元的高度和寬度達到變換單元的分割次數。例如，在2ΝΧ 2Ν的當前編碼單元中，當變換單元也為2ΝΧ 2Ν時，變換深度可以是0，當變換單元的尺寸為NXN時，變換深度可以是1，當變換單元的尺寸為Ν/2ΧΝ/2時，變換深度可以是2。即，也可根據變換深度基於樹結構來設置變換單元。根據與編碼深度相應的編碼單元的編碼信息不僅使用關於編碼深度的信息，還使用與預測編碼和變換有關的信息。因此，編碼單元確定器120不僅確定具有最小編碼誤差的編碼深度，還確定預測單元中的分區類型、根據預測單元的預測模式和用於變換的變換單元的尺寸。稍後將參照圖3至圖12詳細描述根據示例性實施例的最大編碼單元中的根據樹結構的編碼單元以及確定分區的方法。編碼單元確定器120可通過使用基於拉格朗日乘子的率失真優化來測量根據深度的較深層編碼單元的編碼誤差。輸出單元130在比特流中輸出最大編碼單元的圖像數據以及關於根據編碼深度的編碼模式的信息，其中，所述圖像數據基於由編碼單元確定器120確定的至少一個編碼深度被編碼。通過對圖像的殘差數據進行編碼來獲得編碼圖像數據。關於根據編碼深度的編碼模式的信息可包括關於編碼深度的信息、關於預測單元中的分區類型的信息、預測模式和變換單元的尺寸。可通過使用根據深度的分割信息來定義關於編碼深度的信息，關於編碼深度的信息指示是否針對較下層深度而不是當前深度的編碼單元來執行編碼。如果當前編碼單元的當前深度是編碼深度，則當前編碼單元中的圖像數據被編碼並被輸出，因此分割信息可被定義為不將當前編碼單元分割為較下層深度。可選地，如果當前編碼單元的當前深度不是編碼深度，則針對較下層深度的編碼單元來執行編碼，因此，分割信息可被定義為分割當前編碼單元以獲得較下層深度的編碼單元。如果當前深度不是編碼深度，則針對被分割為較下層深度的編碼單元的編碼單元來執行編碼。由於在當前深度的一個編碼單元中存在較下層深度的至少一個編碼單元，因此針對較下層深度的每個編碼單元重複執行編碼。因此，可針對具有相同深度的編碼單元遞歸地執行編碼。由於針對一個最大編碼單元確定具有樹結構的編碼單元，並且針對編碼深度的編碼單元確定關於至少一個編碼模式的信息，因此，可針對一個最大編碼單元確定關於至少一個編碼模式的信息。此外，由於圖像數據根據深度被分級分割，因此，最大編碼單元的圖像數據的編碼深度可根據位置而不同。因此，可針對圖像數據設置關於編碼深度和編碼模式的信息。因此，輸出單元130可將關於相應的編碼深度和編碼模式的編碼信息分配給包括 在最大編碼單元中的編碼單元、預測單元和最小單元中的至少一個。根據示例性實施例的最小單元可以是通過將構成最低深度的最小編碼單元分割4次所獲得的矩形數據單元。可選地，最小單元可以是最大矩形數據單元，所述最大矩形數據單元可包括在最大編碼單元中所包括的所有編碼單元、預測單元、分區單元和變換單元中。例如，通過輸出單元130輸出的編碼信息可被分類為根據編碼單元的編碼信息和根據預測單元的編碼信息。根據編碼單元的編碼信息可包括關於預測模式的信息和關於分區的尺寸的信息。根據預測單元的編碼信息可包括關於幀間模式的估計方向的信息、關於幀間模式的參考圖像索引的信息、關於運動矢量的信息、關於幀內模式的色度分量的信息和關於幀內模式的插值方法的信息。此外，關於根據畫面、像條或圖像組(GOP)定義的編碼單元的最大尺寸的信息以及關於最大深度的信息可被插入比特流的序列參數集(SPS)或頭中。在視頻編碼設備100中，較深層編碼單元可以是通過將作為上一層的較上層深度的編碼單元的高度或寬度劃分兩次所獲得的編碼單元。換句話說，噹噹前深度的編碼單元的尺寸為2NX 2N時，較下層深度的編碼單元的尺寸可以是NXN。此外，尺寸為2NX 2N的當前深度的編碼單元可最多包括較下層深度的4個編碼單元。因此，視頻編碼設備100可通過基於考慮當前畫面的特徵所確定的最大編碼單元的尺寸和最大深度，針對每個最大編碼單元確定具有最佳形狀和最佳尺寸的編碼單元，來形成具有樹結構的編碼單元。此外，由於可通過使用各種預測模式和變換的任意一個來針對每個最大編碼單元執行編碼，因此可考慮各種圖像尺寸的編碼單元的特徵來確定最佳編碼模式。因此，如果以現有技術的宏塊對具有高解析度或大數據量的圖像進行編碼，則每個畫面的宏塊數量過度增加。因此,針對每個宏塊產生的壓縮信息的條數增加，因此難以發送壓縮信息，數據壓縮效率降低。然而，通過使用視頻編碼設備100，由於在考慮圖像的尺寸的同時增加編碼單元的最大尺寸，同時在考慮圖像特徵的同時調整編碼單元，因此可提高圖像壓縮效率。
圖2是根據示例性實施例的視頻解碼設備200的框圖。視頻解碼設備200包括接收器210、圖像數據和編碼信息提取器220和圖像數據解碼器230。用於視頻解碼設備200的各種操作的各種術語(諸如編碼單元、深度、預測單元、變換單元和關於各種編碼模式的信息)的定義與參照圖I和視頻編碼設備100描述的那些術語相同。接收器210接收並解析編碼視頻的比特流。圖像數據和編碼信息提取器220從解析的比特流提取每個編碼單元的編碼圖像數據，並將提取的圖像數據輸出到圖像數據解碼器230，其中，編碼單元具有根據每個最大編碼單元的樹結構。圖像數據和編碼信息提取器220可從關於當前畫面的頭或SPS提取關於當前畫面的編碼單元的最大尺寸的信息。
此外，圖像數據和編碼信息提取器220從解析的比特流提取關於具有根據每個最大編碼單元的樹結構的編碼單元的編碼深度和編碼模式的信息。提取的關於編碼深度和編碼模式的信息被輸出到圖像數據解碼器230。換句話說，比特流中的圖像數據被分割為最大編碼單元，從而圖像數據解碼器230對每個最大編碼單元的圖像數據進行解碼。可針對關於與編碼深度相應的至少一個編碼單元的信息，來設置關於根據最大編碼單元的編碼深度和編碼模式的信息，關於編碼模式的信息可包括關於與編碼深度相應的相應編碼單元的分區類型的信息、關於預測模式的信息和變換單元的尺寸。此外，根據深度的分割信息可被提取作為關於編碼深度的信息。由圖像數據和編碼信息提取器220提取的關於根據每個最大編碼單元的編碼深度和編碼模式的信息是關於編碼深度和編碼模式的信息，其中，所述編碼深度和編碼模式被確定為用於當編碼器(諸如視頻編碼設備100)根據每個最大編碼單元針對每個根據深度的較深層編碼單元重複執行編碼時產生最小編碼誤差。因此，視頻解碼設備200可通過根據產生最小編碼誤差的編碼深度和編碼模式對圖像數據進行解碼來恢復圖像。由於關於編碼深度和編碼模式的編碼信息可被分配給相應編碼單元、預測單元和最小單元中的預定數據單元，因此圖像數據和編碼信息提取器220可提取關於根據預定數據單元的編碼深度和編碼模式的信息。被分配關於編碼深度和編碼模式的相同信息的預定數據單元可被推斷為包括在相同最大編碼單元中的數據單元。圖像數據解碼器230通過基於關於根據最大編碼單元的編碼深度和編碼模式的信息對每個最大編碼單元中的圖像數據進行解碼，來恢復當前畫面。換句話說，圖像數據解碼器230可基於提取的關於包括在每個最大編碼單元中的具有樹結構的編碼單元中的每個編碼單元的分區類型、預測模式和變換單元的信息，來對編碼圖像數據進行解碼。解碼處理可包括預測(包括幀內預測和運動補償)和反變換。可根據反正交變換或反整數變換的方法來執行反變換。圖像數據解碼器230可基於關於根據編碼深度的編碼單元的預測單元的分區類型和預測模式的信息，根據每個編碼單元的分區和預測模式執行幀內預測或運動補償。此外，圖像數據解碼器230可基於關於根據編碼深度的編碼單元的變換單元的尺寸的信息，根據編碼單元中的每個變換單元執行反變換，從而根據最大編碼單元執行反變換。圖像數據解碼器230可通過使用根據深度的分割信息來確定當前最大編碼單元的至少一個編碼深度。如果分割信息指示圖像數據在當前深度下不再被分割，則當前深度是編碼深度。因此，圖像數據解碼器230可通過使用與編碼深度相應的每個編碼單元的關於預測單元的分區類型、預測模式和變換單元的尺寸的信息，對當前最大編碼單元中與每個編碼深度相應的至少一個編碼單元的編碼數據進行解碼，並輸出當前最大編碼單元的圖像數據。換句話說，可通過觀察為編碼單元、預測單元和最小單元之中的預定數據單元分配的編碼信息集來收集包含包括相同分割信息的編碼信息的數據單元，收集的數據單元可被視為將由圖像數據解碼器230以相同的編碼模式進行解碼的一個數據單元。視頻解碼設備200可獲得關於當針對每個最大編碼單元遞歸執行編碼時產生最小編碼誤差的至少一個編碼單元的信息，並可使用所述信息來對當前畫面進行解碼。換句話說，可對每個最大編碼單元中被確定為最佳編碼單元的具有樹結構的編碼單元進行解碼。因此，即使圖像數據具有高解析度和大數據量，也可通過使用編碼單元的尺寸和編碼模式來對圖像數據進行有效地解碼和恢復，其中，通過使用從編碼器接收的關於最佳 編碼模式的信息，根據圖像數據的特徵來適應性地確定所述編碼單元的尺寸和所述編碼模式。現在將參照圖3至圖13描述根據示例性實施例的確定具有樹結構的編碼單元、預測單元和變換單元的方法。圖3是用於描述根據示例性實施例的編碼單元的構思的示圖。編碼單元的尺寸可被表示為寬X高，可以是64X64、32X32、16X16和8X8。64X64的編碼單元可被分割為64X64、64X32、32X64或32X32的分區，32X32的編碼單元可被分割為32X32、32X16、16X32或16X16的分區，16X16的編碼單元可被分割為16X16、16X8、8X16或8X8的分區，8X8的編碼單元可被分割為8X8、8X4、4X8或4X4的分區。在視頻數據310中，解析度為1920 X 1080，編碼單元的最大尺寸為64，最大深度為
2。在視頻數據320中，解析度為1920 X 1080，編碼單元的最大尺寸為64，最大深度為3。在視頻數據330中，解析度為352X288，編碼單元的最大尺寸為16，最大深度為I。圖3中示出的最大深度指示從最大編碼單元到最小解碼單元的總分割次數。如果解析度高或數據量大，則編碼單元的最大尺寸可較大，從而不僅提高了編碼效率還精確地反映出圖像的特徵。因此，解析度高於視頻數據330的視頻數據310和視頻數據320的編碼單元的最大尺寸可以是64。由於視頻數據310的最大深度是2，因此，由於通過將最大編碼單元分割兩次，深度被加深兩層，因此視頻數據310的編碼單元315可包括長軸尺寸為64的最大編碼單元以及長軸尺寸為32和16的編碼單元。同時，由於視頻數據330的最大深度是1，因此，由於通過將最大編碼單元分割一次，深度被加深一層，因此視頻數據330的編碼單元335可包括長軸尺寸為16的最大編碼單元以及長軸尺寸為8的編碼單元。由於視頻數據320的最大深度為3，因此，由於通過將最大編碼單元分割三次，深度被加深3層，因此視頻數據320的編碼單元325可包括長軸尺寸為64的最大編碼單元以及長軸尺寸為32、16和8的編碼單元。隨著深度加深，可精確地表示詳細的信息。圖4是根據示例性實施例的基於編碼單元的圖像編碼器400的框圖。圖像編碼器400執行視頻編碼設備100的編碼單元確定器120的操作以對圖像數據進行編碼。換句話說，幀內預測器410對當前幀405中的幀內模式下的編碼單元執行幀內預測，運動估計器420和運動補償器425通過使用當前幀405和參考幀495，對當前幀405中的幀間模式下的編碼單元執行幀間估計和運動補償。從幀內預測器410、運動估計器420和運動補償器425輸出的數據通過變換器430和量化器440被輸出作為量化的變換係數。量化的變換係數通過反量化器460和反變換器470被恢復為空間域中的數據，恢復的空間域中的數據在通過去塊單元480和環路濾波單元490進行後處理之後被輸出為參考幀495。量化的變換係數可通過熵編碼器450被輸出為比特流455。為了將圖像編碼器400應用在視頻編碼設備100中，圖像編碼器400的元件(即，幀內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、反量化器460、反變換器470、去塊單元480和環路濾波單元490)在考慮每個最大編碼單元的最大深度的同時，基於具有樹結構的編碼單元中的每個編碼單元來執行操作。具體地，幀內預測器410、運動估計器420和運動補償器425在考慮當前最大編碼單元的最大尺寸和最大深度的同時確定具有樹結構的編碼單元中的每個編碼單元的分區和預測模式，變換器430確定具有樹結構的編碼單元中的每個編碼單元中的變換單元的尺寸。圖5是根據示例性實施例的基於編碼單元的圖像解碼器500的框圖。解析器510從比特流505中解析將被解碼的編碼圖像數據以及解碼所需的關於編碼的信息。編碼圖像數據通過熵解碼器520和反量化器530被輸出為反量化的數據，反量化的數據通過反變換器540被恢復為空間域中的圖像數據。·
幀內預測器550針對空間域中的圖像數據，對幀內模式下的編碼單元執行幀內預測，運動補償器560通過使用參考幀585對幀間模式下的編碼單元執行運動補償。通過幀內預測器550和運動補償器560的空間域中的圖像數據可在通過去塊單元570和環路濾波器單元580進行後處理之後被輸出為恢復幀595。此外，通過去塊單元570和環路濾波器單元580進行後處理的圖像數據可被輸出為參考幀585。為了在視頻解碼設備200的圖像數據解碼器230中對圖像數據進行解碼，圖像解碼器500可執行在解析器510之後執行的操作。為了將圖像解碼器500應用在視頻解碼設備200中，圖像解碼器500的元件(即，解析器510、熵解碼器520、反量化器530、反變換器540、幀內預測器550、運動補償器560、去塊單元570和環路濾波單元580)基於每個最大編碼單元的具有樹結構的編碼單元執行操作。具體地，幀內預測器550和運動補償器560基於每個具有樹結構的編碼單元的分區和預測模式執行操作，反變換器540基於每個編碼單元的變換單元的尺寸執行操作。圖6是示出根據示例性實施例的根據深度的較深層編碼單元以及分區的示圖。視頻編碼設備100和視頻解碼設備200使用分層編碼單元以考慮圖像的特徵。可根據圖像的特徵自適應地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不同地設置編碼單元的最大高度、最大寬度和最大深度。可根據編碼單元的預定最大尺寸來確定根據深度的較深層編碼單元的尺寸。在根據示例性實施例的編碼單元的分層結構600中，編碼單元的最大高度和最大寬度均為64，最大深度為4。由於深度沿分層結構600的縱軸加深，因此較深層編碼單元的高度和寬度均被分割。此外，沿分層結構600的橫軸示出作為每個較深層編碼單元的預測編碼的基礎的預測單元和分區。換句話說，編碼單元610是分層結構600中的最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64X64。深度沿縱軸加深，存在尺寸為32X32且深度為I的編碼單元620、尺寸為16 X 16且深度為2的編碼單元630、尺寸為8 X 8且深度為3的編碼單元640以及尺寸為4X4且深度為4的編碼單元650。尺寸為4X4且深度為4的編碼單元650是
最小編碼單元。編碼單元的預測單元和分區根據每個深度沿橫軸排列。換句話說，如果尺寸為 64X64且深度為O的編碼單元610是預測單元，則預測單元可被分割為包括在編碼單元610中的分區，即，尺寸為64X64的分區610、尺寸為64X32的分區612、尺寸為32X64的分區614或尺寸為32X32的分區616。類似地，尺寸為32X32且深度為I的編碼單元620的預測單元可被分割為包括在編碼單元620中的分區，即，尺寸為32X32的分區620、尺寸為32X16的分區622、尺寸為16X32的分區624和尺寸為16X16的分區626。類似地，尺寸為16X16且深度為2的編碼單元630的預測單元可被分割為包括在編碼單元630中的分區，即，包括在編碼單元630中的尺寸為16X16的分區、尺寸為16X8的分區632、尺寸為8X16的分區634和尺寸為8X8的分區636。類似地，尺寸為8X8且深度為3的編碼單元640的預測單元可被分割為包括在編碼單元640中的分區，S卩，包括在編碼單元640中的尺寸為8 X 8的分區640、尺寸為8 X 4的分區642、尺寸為4X8的分區644和尺寸為4X4的分區646。尺寸為4X4且深度為4的編碼單元650是最小編碼單元和最下層深度的編碼單元。編碼單元650的預測單元僅被分配給尺寸為4X4的分區。為了確定構成最大編碼單元610的編碼單元的至少一個編碼深度，視頻編碼設備100的編碼單元確定器120針對包括在最大編碼單元610中的與每個深度相應的編碼單元執行編碼。隨著深度加深，以相同範圍和相同尺寸包括數據的根據深度的較深層編碼單元的數量增加。例如，需要四個與深度2相應的編碼單元來覆蓋包括在一個與深度I相應的編碼單元中的數據。因此，為了比較根據深度的相同數據的編碼結果，與深度I相應的編碼單元和四個與深度2相應的編碼單元各自被編碼。為了針對深度中的當前深度執行編碼，可通過沿分層結構600的橫軸，針對與當前深度相應的編碼單元中的每個預測單元執行編碼，來針對當前深度選擇最小編碼誤差。可選地，可通過隨著深度沿分層結構600的縱軸而加深針對每個深度執行編碼來比較根據深度的最小編碼誤差，從而搜索最小編碼誤差。編碼單元610中具有最小編碼誤差的深度和分區可被選為編碼單元610的編碼深度和分區類型。圖7是用於描述根據示例性實施例的編碼單元710和變換單元720之間的關係的示圖。視頻編碼設備100或視頻解碼設備200針對每個最大編碼單元，根據尺寸小於或等於最大編碼單元的編碼單元來對圖像進行編碼或解碼。可基於不大於相應編碼單元的數據單元來選擇編碼期間用於變換的變換單元的尺寸。例如，在視頻編碼設備100或視頻解碼設備200中，如果編碼單元710的尺寸是64X64，則可通過使用尺寸為32X32的變換單元720來執行變換。此外，可通過對小於64X64的尺寸為32X32、16X 16、8X8和4X4的變換單元中的每一個執行變換，來對尺寸為64X64的編碼單元710的數據進行編碼，隨後可選擇具有最小編碼誤差的變換單元。圖8是用於描述根據示例性實施例的與編碼深度相應的編碼單元的編碼信息的示圖。
視頻編碼設備100的輸出單元130可對與編碼深度相應的每個編碼單元的關於分區類型的信息800、關於預測模式的信息810和關於變換單元的尺寸的信息820進行編碼和發送，以作為關於編碼模式的信息。信息800指示關於通過對當前編碼單元的預測單元進行分割而獲得的分區的形狀的信息，其中，所述分區是用於對當前編碼單元進行預測編碼的數據單元。例如，尺寸為2NX2N的當前編碼單元CU_0可被分割為尺寸為2NX2N的分區802、尺寸為2NXN的分區804、尺寸為NX 2N的分區806和尺寸為NXN的分區808中的任意一個。這裡，關於分區類型的信息800被設置為指示尺寸為2NXN的分區804、尺寸為NX2N的分區806和尺寸為NXN的尺寸的分區808之一。信息810指示每個分區的預測模式。例如，信息810可指示對由信息800指示的分區執行的預測編碼的模式，即，幀內模式812、幀間模式814或跳過模式816。信息820指示當對當前編碼單元執行變換時所基於的變換單元。例如，變換單元可以是第一幀內變換單元822、第二幀內變換單元824、第一幀間變換單元826或第二幀內變換單元828。視頻解碼設備200的圖像數據和編碼信息提取器220可根據每個較深層編碼單元提取和使用用於解碼的信息800、810和820。圖9是根據示例性實施例的根據深度的較深層編碼單元的示圖。分割信息可被用於指示深度的改變。分割信息指示當前深度的編碼單元是否被分割為較下層深度的編碼單元。用於對深度為O且尺寸為2N_0X2N_0的編碼單元900進行預測編碼的預測單元910可包括以下分區類型的分區尺寸為2N_0X2N_0的分區類型912、尺寸為2N_0XN_0的分區類型914、尺寸為N_0X2N_0的分區類型916、尺寸為Ν_0ΧΝ_0的分區類型918。圖9僅示出通過對預測單元910進行對稱分割而獲得的分區類型912至918，但分區類型不限於此，預測單元910的分區可包括非對稱分區、具有預定形狀的分區和具有幾何形狀的分區。根據每個分區類型，對一個尺寸為2N_0X2N_0的分區、兩個尺寸為2N_0XN_0的分區、兩個尺寸為N_0X2N_0的分區和四個尺寸為Ν_0ΧΝ_0的分區重複執行預測編碼。可對尺寸為2N_0 X 2N_0、N_0 X 2N_0、2N_0 X N_0和N_0 X N_0的分區執行幀內模式和幀間模式下的預測編碼。可僅對尺寸為2N_0X2N_0的分區執行跳過模式下的預測編碼。比較包括分區類型912至918中的預測編碼的編碼的誤差，在分區類型中確定最小編碼誤差。如果在分區類型912至916之一中編碼誤差最小，則預測單元910可不被分割為較下層深度。
如果在分區類型918中編碼誤差最小，則深度從O改變到I以在操作920對分區類型918進行分割，對深度為2且尺寸為Ν_0ΧΝ_0的編碼單元930重複執行編碼，以搜索
最小編碼誤差。用於對深度為I且尺寸為2N_1 X 2N_1 ( = Ν_0ΧN_0)的編碼單元930進行預測編碼的預測單元940可包括以下分區類型的分區尺寸為2N_1X2N_1的分區類型942、尺寸為2N_1XN_1的分區類型944、尺寸為N_1X2N_1的分區類型946、尺寸為N_1 XN_1的分區類型948。如果在分區類型948中編碼誤差最小，則深度從I改變到2以在操作950對分區類型948進行分割，對深度為2且尺寸為N_2XN_2的編碼單元960重複執行編碼，以搜索
最小編碼誤差。當最大深度為d時，可執行根據每個深度的分割操作，直到深度變為d-Ι，分割信 息可被編碼直到深度為O到d-2中的一個。換句話說，當編碼被執行直到在操作970與深度d-2相應的編碼單元被分割之後深度為d-Ι時，用於對深度為d-Ι且尺寸為2N_(d-l) X2N_(d-1)的編碼單元980進行預測編碼的預測單元990可包括以下分區類型的分區尺寸為2N_(d-l) X2N_(d-l)的分區類型992、尺寸為2N_(d-l) XN_(d-l)的分區類型994、尺寸為N_(d-1) X2N_(d-l)的分區類型996、尺寸為N_(d-1) XN_(d-l)的分區類型998。可在分區類型992至998中對一個尺寸為2N_(d_l) X2N_(d_l)的分區、兩個尺寸為2N_(d-l) XN_(d-l)的分區、兩個尺寸為N_(d-1) X2N_(d-l)的分區、四個尺寸為N_(d-1) XN_(d-l)的分區重複執行預測編碼，以搜索具有最小編碼誤差的分區類型。即使分區類型998具有最小編碼誤差，但由於最大深度為d，因此深度為d-Ι的編碼單元cu_(d-l)不再被分割到較下層深度，用於構成當前最大編碼單元900的編碼單元的編碼深度被確定為d-Ι，當前最大編碼單元900的分區類型可被確定為(d-1) XN_(d-l)。此外，由於最大深度為d，具有最下層深度d-Ι的最小編碼單元980不再被分割到較下層深度，因此不設置最小編碼單元980的分割信息。數據單元999可以是當前最大編碼單元的最小單元。根據示例性實施例的最小單元可以是通過對最小編碼單元980分割4次而獲得的矩形數據單元。通過重複執行編碼，視頻編碼設備100可通過比較根據編碼單元900的深度的編碼誤差來選擇具有最小編碼誤差的深度以確定編碼深度，將相應的分區類型和預測模式設置為編碼深度的編碼模式。這樣，在I至d的所有深度中對根據深度的最小編碼誤差進行比較，具有最小編碼誤差的深度可被確定為編碼深度。編碼深度、預測單元的分區類型和預測模式可被編碼和發送，以作為關於編碼模式的信息。此外，由於編碼單元被從深度O分割到編碼深度，因此僅編碼深度的分割信息被設置為0，除了編碼深度之外的深度的分割信息被設置為I。視頻解碼設備200的圖像數據和編碼信息提取器220可提取並使用關於編碼單元900的編碼深度和預測單元的信息以對分區912進行解碼。視頻解碼設備200可通過使用根據深度的分割信息將分割信息為O的深度確定為編碼深度，並使用關於相應深度的編碼模式的信息以進行解碼。圖10至圖12是用於描述根據示例性實施例的編碼單元1010、預測單元1060和變換單元1070之間的關係的示圖。編碼單元1010是最大編碼單元中與視頻編碼設備100確定的編碼深度相應的具有樹結構的編碼單元。預測單元1060是編碼單元1010中的每一個的預測單元的分區，變換單元1070是編碼單元1010中的每一個的變換單元。當編碼單元1010中的最大編碼單元的深度是O時，編碼單元1012和1054的深度是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2，編碼單元 1020、1022、1024、1026、1030、1032和1048的深度是3，編碼單元1040、1042、1044和1046的深度是4。在預測單元1060中，通過對編碼單元1010中的編碼單元進行分割來獲得某些編碼單元 1014、1016、1022、1032、1048、1050、1052 和 1054。換句話說，編碼單元 1014、1022、1050和1054中的分區類型具有2NXN的尺寸，編碼單元1016、1048和1052中的分區類型具有NX2N的尺寸，編碼單元1032的分區類型具有NXN的尺寸。編碼單元1010的預測單元和分區小於或等於每個編碼單元。對小於編碼單元1052的數據單元中的變換單元1070中的編碼單元1052的圖像數據執行變換或反變換。此外，變換單元1070中的編碼單元1014、1016、1022、1032、1048、 1050和1052在尺寸和形狀方面與預測單元1060中的編碼單元1014、1016、1022、1032、1048,1050和1052不同。換句話說，視頻編碼設備100和視頻解碼設備200可對相同編碼單元中的數據單元分別執行幀內預測、運動估計、運動補償、變換和反變換。因此，對最大編碼單元的每個區域中具有分層結構的編碼單元中的每一個遞歸地執行編碼，以確定最佳編碼單元，從而可獲得具有遞歸樹結構的編碼單元。編碼信息可包括關於編碼單元的分割信息、關於分區類型的信息、關於預測模式的信息和關於變換單元的尺寸的信息。表I示出可由視頻編碼設備100和視頻解碼設備200設置的示例性編碼信息。表I
分割信息O (對尺、!.為2NX2N且當前深度為d的編碼單元進行分割信息I
編碼)_
預測模式分區類型 _變換單元的P寸對具有較
幀內對稱分區非對稱分變換甲.元變換申.元下層深度
幀間類型區類型的分割信的分割信 d+Ι的編碼
跳過(僅__息O息I單元進行
2NX2N) 2NX2N 2NXnU 2NX2N NXN (對重複編碼 2NXN 2NXnD稱類型)
NX2N nLX2NN/2XN/2
NXN nRX2N(非對稱
____I 類型) _視頻編碼設備100的輸出單元130可輸出關於具有樹結構的編碼單元的編碼信息，視頻解碼設備200的圖像數據和編碼信息提取器220可從接收的比特流提取關於具有樹結構的編碼單元的編碼信息。分割信息指示當前編碼單元是否被分割為較下層深度的編碼單元。如果當前深度d的分割信息為O，則當前編碼單元不再被分割到較下層深度的深度是編碼深度，因此可針對編碼深度定義關於分區類型、預測模式和變換單元的尺寸的信息。如果當前編碼單元根據分割信息被進一步分割，則對較下層深度的四個分割的編碼單元獨立地執行編碼。預測模式可以是幀內模式、幀間模式和跳過模式中的一個。可在所有分區類型下定義幀內模式和幀間模式，僅在尺寸為2NX2N的分區類型中定義跳過模式。關於分區類型的信息可指示通過對預測單元的高度或寬度進行對稱分割而獲得的尺寸為2NX2N、2NXN、NX2N和NXN的對稱分區類型，以及通過對預測單元的高度或寬度進行非對稱分割而獲得的尺寸為2NXnU、2NXnD、nLX2N和nRX2N的非對稱分區類型。可通過按照I : 3和3 I對預測單元的高度進行分割來分別獲得尺寸為2NXnU和2NXnD的非對稱分區類型，可通過按照I : 3和3 : I對預測單元的寬度進行分割來分別獲得尺寸為nLX2N和nRX2N的非對稱分區類型。
變換單元的尺寸可被設置為幀內模式下的兩種類型和幀間模式下的兩種類型。換句話說，如果變換單元的分割信息是0，則變換單元的尺寸可以是2NX 2N，這是當前編碼單元的尺寸。如果變換單元的分割信息是1，則可通過對當前編碼單元進行分割來獲得變換單元。此外，如果尺寸為2NX2N的當前編碼單元的分區類型是對稱分區類型，則變換單元的尺寸可以是NXN，如果當前編碼單元的分區類型是非對稱分區類型，則變換單元的尺寸可以是 N/2XN/2。關於具有樹結構的編碼單元的編碼信息可包括與編碼深度相應的編碼單元、預測單元和最小單元中的至少一個。與編碼深度相應的編碼單元可包括包括相同編碼信息的預測單元和最小單元中的至少一個。因此，通過比較鄰近數據單元的編碼信息來確定鄰近數據單元是否包括在與編碼深度相應的相同編碼單元中。此外，通過使用數據單元的編碼信息來確定與編碼深度相應的相應編碼單元，從而可確定最大編碼單元中的編碼深度的分布。因此，如果基於鄰近數據單元的編碼信息來預測當前編碼單元，則可直接參考和使用與當前編碼單元鄰近的較深層編碼單元中的數據單元的編碼信息。可選地，如果基於鄰近數據單元的編碼信息來預測當前編碼單元，則使用數據單元的編碼信息來搜索與當前編碼單元鄰近的數據單元，可參考搜索到的鄰近編碼單元來預測當前編碼單元。圖13是用於根據表I的編碼模式信息描述編碼單元、預測單元或分區、變換單元之間的關係的示圖。最大編碼單元1300包括多個編碼深度的編碼單元1302、1304、1306、1312、1314、1316和1318。這裡，由於編碼單元1318是編碼深度的編碼單元，因此分割信息可被設置為O。關於尺寸為2NX2N的編碼單元1318的分區類型的信息可被設置為以下分區類型之一尺寸為2NX2N的分區類型1322、尺寸為2NXN的分區類型1324、尺寸為NX2N的分區類型1326、尺寸為NXN的分區類型1328、尺寸為2NXnU的分區類型1332、尺寸為2NXnD的分區類型1334、尺寸為nLX2N的分區類型1336和尺寸為nRX2N的分區類型1338。當分區類型被設置為對稱(即，分區類型1322、1324、1326或1328)時，如果變換單元的分割信息(TU尺寸標記)為0，則設置尺寸為2NX 2N的變換單元1342，如果TU尺寸標記為I，則設置尺寸為NXN的變換單元1344。
當分區類型被設置為非對稱(S卩，分區類型1332、1334、1336或1338)時，如果TU尺寸標記為0，則設置尺寸為2NX 2N的變換單元1352，如果TU尺寸標記為I，則設置尺寸為N/2XN/2的變換單元1354。將詳細描述由圖4中所示的視頻編碼設備100的運動估計器420和運動補償器425以及由圖5中所示的視頻解碼設備200的幀內預測器550執行的運動估計和補償。在下面的描述中，前述預測單元被稱為塊。圖14是示出根據示例性實施例的運動估計裝置1400的構造的框圖。圖14的運動估計裝置1400對應於圖4的運動估計器420。
參照圖14，運動估計裝置1400包括第一子像素單位選擇單元1410、插值單元1420和運動矢量獲取單元1430。第一子像素單位選擇單元1410從至少兩個像素精度確定將被應用到當前塊的運動估計的像素精度。例如，第一子像素單位選擇單元1410確定1/4子像素單位和1/8子像素單位的哪個像素精度用於執行運動估計。第一子像素單位選擇單元1410不是必要的構造元素，因此在用於運動估計的像素精度被預先設置在編碼器和解碼器中的情況下可省略第一子像素單位選擇單元1410。如果第一子像素單位選擇單元1410在多個精度之中選擇第一子像素單位，則關於選擇的第一子像素單位的信息被編碼然後被發送到解碼器。如果第一子像素單位等於或小於整數像素，則插值單元1420對參考畫面的像素值進行插值，並根據第一子像素單位產生被插值的參考畫面。圖15示出由圖14的插值單元1420執行的插值方法。參照圖15，插值單元1420通過對參考畫面的整數像素Al A6、BI B6、Cl C6、D1 D6、E1 E6、F1 F6插值來產生第一子像素單位的子像素。例如，如果第一子像素單位是1/2子像素，則插值單元1420通過使用六抽頭有限衝擊響應(FIR)濾波器執行插值來產生1/2子像素單位的子像素a至I。這裡，六抽頭FIR濾波器的係數可以是[(I，_5，20，20，-5，I)/32]。通過使用整數像素Al、A2、A3、A4、A5和A6執行插值來產生整數像素A3和A4之間的1/2子像素，通過使用整數像素B1、B2、B3、B4、B5和B6執行插值來產生整數像素B3和B4之間的1/2子像素。在使用具有所述係數的六抽頭FIR濾波器的情況下，1/2子像素的插值的像素值a和b可被計算為a = (A1-5A2+20A3+20A4-5A5+A6) /32, b =(B1-5B2+20B3+20B4-5B5+B6) /32 類似地，插值單元1420產生1/2子像素單位的子像素C、d、e和f。類似地，通過使用六抽頭FIR濾波器執行插值產生垂直方向上的子像素。插值單元1420通過使用整數像素A1、B1、C1、D1、E1和Fl產生1/2子像素g，通過使用A2、B2、C2、D2、E2和F2產生1/2子像素h。通過使用1/2子像素單位的其他子像素對1/2子像素單位的子像素m進行插值。1/2子像素單位的子像素m的像素值被計算為m = (a-5b+20c+20d-5e+f)/32。當產生1/2子像素單位的子像素時，可通過使用整數像素單位的像素和1/2子像素單位的子像素執行線性插值，來產生1/4子像素單位的子像素。例如，通過使用整數像素單位的像素C3和1/2子像素單位的子像素c執行線性插值，來產生1/4子像素單位的子像素η。例如，1/4子像素單位的子像素η的像素值可被計算為n= (C3+c)/2。此外，通過使用1/2子像素單位的子像素c和m執行線性插值，來產生1/4子像素單位的另一子像素ο的像素值。例如，1/4子像素單位的子像素ο的像素值可被計算為ο = (c+m)/2。通過使用對角線方向上的1/2子像素執行線性插值，來產生對角線方向上的1/4子像素單位的子像素P。例如，1/4子像素單位的子像素P的像素值可被計算為P = (d+j)/2。然而，對等於或小於整數像素的子像素進行插值的方法不限於上述示例，因此可以以各種方式來對等於或小於整數像素的子像素進行插值。如在圖15中所示，插值單元1420根據第一子像素單位對參考畫面執行插值。SP，在第一像素單位為1/2子像素單位的情況下，插值單元1420根據1/2像素單位對參考畫面進行插值，在第一子像素單位為1/4子像素單位的情況下，插值單元1420根據1/4子像素單位對參考畫面進行插值。返回參考圖14，運動矢量獲取單元1430通過將當前塊與根據1/2子像素單位進行插值的參考畫面進行比較，來獲得當前塊的運動矢量。圖16是描述由圖14的運動矢量獲取單元1430執行的運動估計的示圖。運動矢量獲取單元1430在根據第一子像素單位進行插值的參考畫面1620中搜索具有與當前塊1615的最大相似性的相應區域1627，並輸出位置差作為相應區域1627與當前塊1615之間的運 動矢量MV。運動矢量獲取單元1430通過計算當前塊1615與參考畫面1620中的相應區域1627之間的差值(例如，通過計算諸如絕對差和(SAD)的誤差值)來確定具有最大相似性的相應區域1627。由運動矢量獲取單元1430獲取的運動矢量MV具有前述第一子像素單位的精度。例如，在第一子像素單位為1/4子像素單位的情況下，運動矢量MV也具有1/4子像素單位的精度。圖17是示出根據示例性實施例的運動補償裝置1700的構造的框圖。圖17的運動補償裝置1700對應於圖4的運動補償器425。當通過使用運動估計裝置1400獲取第一子像素單位的運動矢量時，為了允許進一步的精確運動估計，運動補償裝置1700通過使用小於第一子像素單位的第二子像素單位校正第一子像素單位的運動矢量，來執行運動補償。參照圖17，運動補償裝置1700包括插值單元1710、第二子像素選擇單元1720和第二子像素確定單元1730。插值單元1710根據小於第一子像素單位的第二子像素單位對參考畫面進行插值，其中，參考畫面由第一子像素單位的運動矢量表示。圖18是描述由圖17的插值單元1710執行的插值方法的參考畫面。參照圖18，當假設圖18的子像素1815是由第一子像素單位的運動矢量(通過使用運動估計裝置1400獲得)表示的參考畫面的第一子像素時，可在與第一子像素單位的其他子像素不重疊的區域1810中校正第一子像素單位的運動矢量。這是因為，當第一子像素單位具有X(X為實數)值的精度時，誤差容限具有x/2的值。可在與第一子像素單位的其他子像素不重疊的區域1810中校正第一子像素單位的運動矢量。因此，根據當前示例性實施例的運動補償裝置1700通過針對由通過根據第一子像素單位執行運動估計獲得的第一子像素單位的運動矢量表示的第一子像素單位的子像素在區域1810中校正運動矢量，來執行運動估計。插值單元1710根據小於第一子像素單位的第二子像素單位對參考畫面進行插值，為此，可根據奇數劃分第一子像素單位來獲得第二子像素單位。通常，根據具有I/(2~p)(其中，P是等於或大於零的整數)的值的第一子像素單位執行運動估計，因此，當第二子像素單位是l/(2~q)子像素單位時(其中，q是大於P的整數)時，運動估計與獲取運動矢量的處理類似。因此，當第一子像素單位為I/(2~p)(其中，P是等於或大於零的整數)時，第二子像素單位可以是l/[(2a+l)X(2~p)]子像素單位(其中，a是等於或大於I的整數)。例如，如果第一子像素單位是1/4子像素單位，則第二子像素單位可以是通過將1/4子像素單位之間的間隙三等分而獲得的1/12子像素單位。在圖18中，當第一子像素單位是1/4子像素單位時，並且第二子像素單位是1/12子像素單位時，插值單元1710通過使用各種濾波器來產生子像素的值，其中，所述子像素位於與1/4子像素單位之間的間隙的三等分處對應的位置。例如，可考慮到1/4子像素1815和1816的距離通過使用加權平均值來計算位於與1/4子像素1815和1816之間的間隙的三等分處對應的位置的1/12子像素單位的子像素1817和1818。S卩，在1/4子像素1815的值為f，1/4子像素1816的值為g，1/12子像素1817的值為h，1/12子像素1818的值為i的情況下，子像素1817和1818可被計算為h= [f+2g]/3,i = [2f+g]/3。然而，本領域的普通技術人員理解的是，用於產生在子像素的位置的像素值的插值處理不限於前述示例，因此可以以各種方式來產生像素值。
返回參照圖17，當插值單元1710根據第二子像素單位對參考畫面進行插值時，第二子像素選擇單元1720從與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素鄰近的第二子像素單位的子像素之中選擇一個子像素。圖19是用於描述由圖17的第二子像素選擇單元1720執行的第二子像素選擇的示圖。圖20是示出根據圖19的第二子像素選擇的運動矢量的校正方向的參考示圖。參照圖19和圖20，第二子像素選擇單元1720選擇並輸出與位於由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素1905的在預定區域1900中的鄰近第二子像素1901至1909之一，其中，預定區域1900不與其他第一子像素單位重疊。由第二子像素選擇單元1720選擇的鄰近第二子像素1901至1909用於校正第一子像素單位的運動矢量。即，如在圖20中所示，根據從第二子像素2001至2009之中選擇的一個第二子像素，通過與所述運動矢量和從第二子像素2001至2009之中選擇的第二子像素之間的差相應的矢量，來校正第一子像素單位的運動矢量。圖21示出根據示例性實施例的通過運動估計和補償將被校正的參考畫面的相應區域2100。參照圖21，針對通過根據第一子像素的單位執行運動估計獲得的參考畫面的相應區域2100，可通過根據上下左右方向上的第二子像素的單位校正相應區域2100，來獲得區域2110，然後可從區域2110獲得運動補償值。返回參考圖17，第二子像素確定單元1730選擇相應區域，其中，該相應區域與當前塊具有較小的誤差並且來自第一相應區域和第二相應區域之中，第一相應區域屬於由運動矢量指示的參考畫面並且是針對第一子像素單位的子像素獲得的，第二相應區域屬於當前塊並且是針對第二子像素單位的子像素獲得的。關於選擇的相應區域的信息被墒編碼單元編碼，為此，可通過使用第二子像素的位置信息指示該信息。在圖20的示例性實施例中，分別分配O至8的值，以指示與第一子像素鄰近的第二子像素單位的8個第二像素2001至2009，可通過使用分配的值來指示最終選擇的第二子像素單位的位置值。這裡，當不根據第二子像素單位執行校正時，即，當由第一子像素單位的運動矢量指示的子像素2005被選擇作為第二子像素時，值O可被分配作為第二子像素的位置信息。
圖22示出根據示例性實施例的運動矢量信息2200。參照圖22，編碼的比特流的運動矢量信息2200包括由運動估計裝置1400獲取的第一子像素單位2210中的運動矢量信息和由運動補償裝置1700確定的第二子像素位置信息2220。如上所述，當第一子像素單位為1/4子像素單位，並且第二子像素單位是通過將1/4子像素單位之間的間隙三等分而獲取的1/12子像素單位時，可通過分配的O至8的值來表示9個第二子像素2001至2009。圖23是描述根據示例性實施例的運動矢量估計處理的示圖。通常，塊的運動矢量高度依賴於鄰近塊的運動矢量。因此，通過從鄰近塊估計當前塊然後僅對它們的差值進行編碼，可減小將被編碼的比特的量。在當前示例性實施例中，從鄰近塊的估計結果可用於對第一子像素單位2210中的運動矢量信息和第二子像素位置信息2220進行編碼。更詳細地，參照圖23，為了對第一子像素單位2210中的運動矢量信息進行編碼，可通過使用當前塊X的左側塊A的運動矢量MVA的中心值、上側塊B的運動矢量MVB的中心值以及右上側塊C的運動矢量MVC的中心值，來產生估計運動矢量，然後僅對估計運動矢量與第一子像素單位的實際運動矢量之間的差值進行編碼。由於第二子像素位置信息2220不高度依賴於鄰近塊，因此可獨立於第一子像素單位的運動矢量的估計來執行第二子像素位置信息2220的估計。如在上面的示例性實施例所述的，在第二子像素單位是1/2子像素單位並且O至8的值被分別分配給9個可選擇的第二子像素單位的情況下，可通過使用在當前塊的鄰近塊的運動估計和補償中使用的第二子像素單位的子像素的位置信息，來估計當前塊的第二子像素單位的子像素的位置信息，僅對估計的第二子像素單位的子像素的位置信息與選擇的當前塊的第二子像素單位的子像素的位置信息之間的差值進行編碼。例如，在3、4和5的值被分配給在作為當前塊的·鄰近塊的上側塊、左側塊和右上側塊的運動估計和補償的多條第二子像素的位置信息的情況下，可將它們的平均值(即，4)估計為當前塊的第二子像素單位的子像素的位置信息的估計值，並且可僅對估計值與第二子像素單位的實際子像素的位置信息之間的差值進行編碼。然而，如上所述，第二子像素單位的位置信息不高度依賴於鄰近塊，從而可省略用於對第二子像素單位的位置信息進行編碼的估計處理。圖24是根據示例性實施例的對視頻進行編碼的方法的流程圖。參照圖24，在操作2410中，可通過第一子像素的單位對當前塊執行運動估計，可針對當前塊獲取第一子像素單位的運動矢量。如上所述，可根據由第一子像素單位選擇單元1410選擇的精度來確定第一子像素單位，或者可根據在編碼器和解碼器之間預先設置的精度來確定第一子像素單位。在操作2420，根據小於第一子像素單位的第二子像素單位來對第一子像素單位的運動矢量所指示的參考畫面進行插值。如上所述，可通過根據奇數來對第一子像素單位進行劃分而獲得第二子像素單位。例如，當第一子像素單位為I/ (2~p)(其中，P為等於或大於O的整數)時，第二子像素單位可以是l/[(2a+l)X(2~p)]子像素單位(其中，a是等於或大於I的整數)。在操作2430，通過使用根據第二子像素單位插值的參考畫面，可從與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素鄰近的第二子像素單位的子像素，來選擇子像素。
在操作2440，從第一相應區域和第二相應區域中選擇與當前塊具有較小的誤差的相應區域，其中，第一相應區域屬於由運動矢量指示的參考畫面並且是針對第一子像素單位的子像素獲得的，第二相應區域屬於當前塊並且是針對選擇的第二子像素單位的子像素獲得的。在操作2450，通過對關於選擇的第二子像素單位的子像素的信息和作為當前塊的運動矢量信息的關於第一子像素單位的運動矢量的信息進行編碼，來對選擇的相應區域的信息進行編碼。如上所述，對於關於第一子像素單位的運動矢量的信息和第二子像素的位置信息的編碼，僅對相 比於來自鄰近塊的估計值的差值進行編碼。圖25是示出根據示例性實施例的運動補償裝置2500的構造的框圖。圖25的運動補償裝置2500對應於圖5的運動補償器560。參照圖25，運動補償裝置2500包括運動矢量確定單元2510、插值單元2520、運動補償執行單元2530。
圖5的熵解碼器從比特流解碼出運動矢量、信息和位置信息，並輸出它們，其中，該運動矢量是針對當前塊根據第一子像素單位的，所述信息指示是否通過使用相應區域對當前塊執行了運動補償，所述相應區域是針對與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素鄰近的小於第一子像素單位的第二子像素單位的第二子像素獲得的，所述位置信息是當通過使用針對第二子像素單位的子像素獲得的所述相應區域對當前塊執行運動補償時第二子像素單位的子像素的位置信息。運動矢量確定單元2510通過使用解碼的第一子像素單位的運動矢量和解碼的第二子像素單位的子像素的位置信息，來確定將被解碼的當前塊的運動矢量。即，運動矢量確定單元2510以下面的方式通過對第一子像素單位的運動矢量進行校正來確定當前塊的運動矢量運動矢量確定單元2510通過使用第二子像素單位的子像素的位置信息，確定與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素鄰近的第二子像素單位的子像素。如上所述，在通過使用相比於來自鄰近塊的估計值的差值對關於第一子像素單位的運動矢量的信息進行編碼的情況下，運動矢量確定單元2510通過從解碼的鄰近塊的運動矢量產生當前塊的估計運動矢量然後將包括在比特流中的差值與估計運動矢量相加，來產生第一子像素單位的運動矢量。針對第二子像素的位置信息，在僅從鄰近塊估計的估計值和差值被編碼的情況下，運動矢量確定單元2510可通過從解碼的鄰近塊估計第二子像素的位置信息的值然後將包括在比特流中的差值與估計值相加，來恢復第二子像素的位置信息。以這樣的方式，運動矢量確定單元2510通過使用恢復的第一子像素單位的運動矢量和恢復的第二子像素的位置信息，來確定當前塊的運動矢量。插值單元2520根據由運動矢量確定單元2510確定的當前塊的運動矢量的精度，來對參考畫面進行插值。例如，在當前塊的運動矢量是第一子像素單位的運動矢量並且當前塊的運動矢量不使用第二子像素單位的子像素的情況下，插值單元2520根據第一子像素單位對當前塊進行插值。在當前塊的運動矢量根據第二子像素單位被校正的情況下，插值單元2520根據第二子像素單位對參考畫面進行插值。運動補償執行單元2530通過執行用於獲得由根據當前塊的運動矢量的精度進行插值的參考畫面中的運動矢量指示的相應區域的運動補償，輸出當前塊的估計塊。圖26是示出根據示例性實施例的對視頻進行解碼的方法的流程圖。參照圖26，在操作2610，從比特流解碼並獲得針對當前塊的第一子像素單位的運
動矢量。在操作2620，從比特流獲得信息，其中，所述信息指示是否通過使用相應區域對當前塊執行了運動補償，所述相應區域是針對與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的子像素鄰近的小於第一子像素單位的第二子像素單位的子像素獲得的。如上所述，在第二子像素單位的子像素不用於運動矢量的校正的情況下，O的值被分配給第二子像素的位置信息，從而可表示是否通過使用第二子像素單位的子像素執行了運動補償。在操作2630，確定是否使用針對第二子像素單位的子像素獲得的相應區域的信息 來對當前塊執行運動補償。作為在操作2630中確定的結果，如果不根據第二子像素單位執行運動補償，則在操作2640，可通過使用根據第一子像素單位進行插值的參考畫面執行運動補償，來產生針對當前塊的估計塊。作為在操作2630的確定的結果，如果根據第二子像素單位執行運動補償，則在操作2650，從比特流提取第二子像素單位的子像素的位置信息，在操作2660，通過使用第一子像素單位的運動矢量和第二子像素單位的子像素的位置信息，來確定當前塊的最終運動矢量，通過使用確定的最終運動矢量，從根據第二子像素單位進行插值的參考畫面產生針對當前塊的估計塊。根據一個或多個示例性實施例，可執行更精確的運動估計，而不顯著增加用於運動估計的計算負載。示例性實施例可被實施為計算機可讀記錄介質上的計算機可讀代碼。所述計算機可讀記錄介質是任何可存儲其後可以被計算機系統讀取的數據的數據存儲裝置。所述計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤和光學數據存儲裝置。所述計算機可讀記錄介質也可以被分布在聯網的計算機系統上，從而所述計算機可讀代碼以分布式方式被存儲和執行。此外，示例性實施例可被寫為電腦程式，所述電腦程式通過計算可讀傳輸介質(例如，載波)傳輸並在執行所述程序的通用或專用數字計算機中接收和實現。此外，上述編碼和解碼設備的一個或多個單元可包括執行存儲在計算機可讀介質中的電腦程式的處理器或微處理器。儘管已經在上面具體示出和描述了示例性實施例，但是本領域的普通技術人員將理解，在不脫離權利要求所限定的本發明構思的精神和範圍的情況下，可以對其進行形式和細節上的各種改變。
權利要求
1.一種對視頻解碼的方法，該方法包括 從比特流解碼並獲得針對當前塊的第一子像素單位的運動矢量； 從比特流獲得信息，其中，所述信息指示是否通過使用相應區域對當前塊執行了運動補償，其中，針對與由獲得的第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的小於第一子像素單位的第二子像素單位的第二子像素獲得所述相應區域； 如果通過使用針對第二子像素單位的第二子像素獲得的所述相應區域的信息對當前塊執行了運動補償，則從比特流提取第二子像素單位的第二子像素的位置信息； 通過使用第一子像素單位的運動矢量和提取的第二子像素單位的第二子像素的位置信息，對當前塊執行運動補償。
2.如權利要求I所述的方法，其中，獲得運動矢量的步驟包括 通過使用當前塊的鄰近塊的運動矢量獲得估計運動矢量； 通過使用獲得的當前塊的估計運動矢量以及包括在比特流中的估計運動矢量與當前塊的運動矢量之間的差值，來獲得第一子像素單位的運動矢量。
3.如權利要求I所述的方法，其中，當第一子像素單位為l/(2~p)時，第二子像素單位為I/ [ (2a+l) X (2~p)]子像素單位，其中，P是等於或大於零的整數，a是等於或大於O的整數。
4.如權利要求I所述的方法，其中，第二子像素單位為1/12子像素單位。
5.如權利要求I所述的方法，其中，提取位置信息的步驟包括 通過使用用於估計和補償當前塊的鄰近塊的運動的第二子像素單位的子像素的位置信息，來估計當前塊的第二子像素單位的第二子像素的位置信息； 通過使用估計的第二子像素單位的第二子像素的位置信息、以及估計的第二子像素單位的第二子像素的位置信息與從比特流提取的所述提取的第二子像素單位的第二子像素的位置信息之間的差值，來獲得當前塊的第二子像素單位的第二子像素的位置信息。
6.如權利要求I所述的方法，其中，執行運動補償的步驟包括 根據第二子像素單位對由第一子像素單位的運動矢量指示的參考畫面進行插值； 通過使用提取的第二子像素單位的第二子像素的位置信息，確定與由第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的第二子像素單位的第二子像素； 針對確定的第二子像素單位的第二子像素獲得與當前塊相應的區域。
7.一種視頻解碼設備，包括 熵解碼器，從比特流解碼並獲得針對當前塊的第一子像素單位的運動矢量，獲得信息，其中，所述信息指示是否通過使用相應區域對當前塊執行了運動補償，其中，針對與由獲得的第一子像素單位的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的小於第一子像素單位的第二子像素單位的第二子像素獲得所述相應區域，其中，如果通過使用針對第二子像素單位的第二子像素獲得的所述相應區域的信息對當前塊執行了運動補償，則熵解碼器從比特流提取第二子像素單位的第二子像素的位置信息； 運動補償器，通過使用第一子像素單位的運動矢量和提取的第二子像素單位的第二子像素的位置信息，對當前塊執行運動補償。
8.—種對視頻編碼的方法，所述方法包括 根據第一子像素單位對當前塊執行運動估計，並針對當前塊獲得第一子像素單位的運動矢量； 根據小於第一子像素單位的第二子像素單位對由獲得的運動矢量指示的參考畫面進行插值； 從與由獲得的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的第二子像素單位的子像素之中，選擇第二子像素，其中，使用插值的參考畫面來執行該選擇；從第一相應區域和第二相應區域之中選擇與當前塊具有較小誤差的相應區域，其中，第一相應區域屬於由獲得的運動矢量指示的參考畫面並且是針對第一子像素單位的第一子像素獲得的，第二相應區域屬於當前塊並且是針對選擇的第二子像素單位的第二子像素獲得的； 對選擇的相應區域的信息進行編碼。
9.如權利要求8所述的方法，其中，獲得運動矢量的步驟包括 從至少兩個精度之中選擇精度作為第一子像素單位； 根據選擇的第一子像素單位對參考畫面進行插值； 在插值的參考畫面中搜索當前塊的最相似的相應區域，並獲得指示搜索的相應區域的位置的運動矢量。
10.如權利要求9所述的方法，其中，對所述信息進行編碼的步驟包括對運動矢量的精度信息進行編碼，該精度信息指示從至少兩個精度之中被選擇作為第一子像素單位的精度。
11.如權利要求9所述的方法，其中，所述至少兩個精度包括1/4子像素單位和1/8子像素單位。
12.如權利要求8所述的方法，其中，第一子像素單位為l/(2~p)，其中，P是等於或大於零的整數，第二子像素單位為I/ [ (2a+l) X (2~p)]子像素單位，其中，a是等於或大於O的整數。
13.如權利要求12所述的方法，其中，第二子像素單位為1/12子像素單位。
14.如權利要求I所述的方法，其中，對所述信息進行編碼的步驟包括對第一子像素單位的運動矢量的信息以及指示第二相應區域是否被選擇的信息進行編碼。
15.一種視頻編碼設備，包括 運動估計器，根據第一子像素單位對當前塊執行運動估計，並針對當前塊獲得第一子像素單位的運動矢量； 運動補償器，根據小於第一子像素單位的第二子像素單位對由獲得的運動矢量指示的參考畫面進行插值，通過使用插值的參考畫面從與由獲得的運動矢量指示的參考畫面的第一子像素單位的第一子像素鄰近的第二子像素單位的子像素之中選擇第二子像素，並且從第一相應區域和第二相應區域之中選擇與當前塊具有較小誤差的相應區域，其中，第一相應區域屬於由獲得的運動矢量指示的參考畫面並且是針對第一子像素單位的第一子像素獲得的，第二相應區域屬於當前塊並且是針對選擇的第二子像素單位的第二子像素獲得的； 編碼器，對選擇的相應區域的信息進行編碼。
全文摘要
提供用於對視頻進行編碼和解碼的方法和設備。該編碼方法包括根據第一子像素單位對當前塊執行運動估計，並針對當前塊獲得第一子像素單位的運動矢量；根據小於第一子像素單位的第二子像素單位對由運動矢量指示的參考畫面進行插值；使用插值的參考畫面，選擇與參考畫面的第一子像素單位的第一子像素鄰近的第二子像素單位的第二子像素；從第一相應區域和第二相應區域之中選擇與當前塊具有較小誤差的相應區域，其中，第一相應區域屬於參考畫面並且是針對第一子像素獲得的，第二相應區域屬於當前塊並且是針對選擇的第二子像素獲得的；對選擇的相應區域的信息進行編碼。
文檔編號H04N7/26GK102934443SQ201180027428
公開日2013年2月13日 申請日期2011年4月5日 優先權日2010年4月5日
發明者艾林娜·阿爾辛娜, 亞歷山大·阿爾辛, 千岷洙, 韓宇鎮, 李泰美 申請人:三星電子株式會社