使用低複雜度頻率變換的視頻編碼方法和設備以及視頻解碼方法和設備的製作方法

2023-05-17 09:16:01

專利名稱：使用低複雜度頻率變換的視頻編碼方法和設備以及視頻解碼方法和設備的製作方法
技術領域：
本發明的一個或多個方面涉及對視頻進行編碼和解碼。
背景技術：
隨著用於再現和存儲高清晰度或高質量的視頻內容的硬體正被開發和提供，對於有效地對高清晰度或高質量的視頻內容進行編碼或解碼的視頻編解碼器的需求正在增長。 在視頻編解碼器的壓縮技術中，變換和反變換是必不可少的技術。在傳統的視頻編解碼器中，根據基於具有預定大小的宏塊(marcoblock)的有限編碼方法對視頻進行編碼。

發明內容
技術問題本發明的一個或多個方面涉及通過執行具有低複雜度計算的變換對視頻進行編碼和解碼。技術方案根據本發明的一方面，提供了一種使用低複雜度變換的視頻編碼方法，所述方法包括按預定數據單元接收輸入畫面的圖像數據，通過對圖像數據執行低複雜度變換來產生所述預定數據單元的係數，並輸出產生的係數。所述低複雜度變換包括以下變換中的至少一種使用針對預定頻域的變換基底的選擇性的頻域變換、通過分別選擇和應用針對從圖像數據劃分的多個子數據單元的變換基底來執行變換的子數據單元變換、以及使用通過對長方矩陣和正方矩陣進行組合併對組合的結果進行按比例縮減而獲得的長方變換基底的按比例縮減變換。在執行選擇性的頻域變換期間，可通過從正方變換中選擇針對與預定頻段、預定大小的係數塊或預定係數位置相關的當前頻域的變換基底，並將選擇的變換基底應用於圖像數據來執行變換，以產生預定頻域的係數。在執行選擇性的頻域變換的步驟中可單獨選擇變換基底的垂直頻段和水平頻段。在執行選擇性的頻域變換期間，可通過從正方變換基底中選擇排除預定頻段而選擇的變換基底並將選擇的變換基底應用於圖像數據，來執行變換以產生除預定頻域的係數以外的係數。產生選擇性的頻域係數的步驟可包括選擇與每個預定頻段對應的水平頻段變換基底和垂直頻段變換基底，以便可根據任意頻段來分類通過對圖像數據執行變換而獲得的係數。在執行選擇性的頻域變換的步驟中，可單獨選擇變換基底的垂直頻段和水平頻段。在產生選擇性的頻域係數期間，可針對變換基底大小、變換的類型以及變換基底矩陣因子中的至少一個，單獨選擇變換基底的垂直頻段和水平頻段。
執行子數據單元變換的步驟可包括組合與子數據單元對應的係數塊。輸出係數的步驟可包括對與子數據單元對應的係數塊執行變換，並輸出執行的結果。在執行按比例縮減變換期間，如果第一大小小於第二大小並且圖像數據的水平大小和垂直大小等於第二大小，則可使用水平大小和垂直大小分別等於第一大小和第二大小的長方變換基底，其中，所述長方變換基底是水平大小和垂直大小等於第一大小的變換基底矩陣與水平大小和垂直大小分別等於第一大小和第二大小的按比例縮減空間矩陣的組合。
在執行按比例縮減變換期間，如果水平大小和垂直大小等於第一大小的變換基底矩陣，則通過單獨選擇針對子數據單元的變換基底，執行變換來獲得子數據單元的係數，並對與子數據單元對應的係數塊執行變換。在執行按比例縮減變換期間，如果第一大小小於第二大小並且圖像數據的水平大小和垂直大小等於第二大小，則可使用水平大小和垂直大小分別等於第一大小和第二大小的長方變換基底，其中，所述長方變換基底是水平大小和垂直大小等於第二大小的變換基底矩陣與這樣的矩陣的組合，所述矩陣被用於選擇預定頻域並且所述矩陣的水平大小和垂直大小分別等於第一大小和第二大小。在執行按比例縮減變換期間，如果第一大小小於第二大小並且圖像數據的水平大小和垂直大小等於第二大小，則可使用變換基底矩陣來執行變換，圖像數據的水平大小和垂直大小等於第二大小，可量化執行的結果並且可在高頻分量為「0」時對圖像數據選擇性地執行按比例縮減變換。視頻編碼方法還可包括對關於選擇的變換的類型和選擇的變換的細節的信息進行編碼，以執行低複雜度變換。視頻編碼方法還可包括按這樣的方式改變係數掃描順序對通過低複雜度變換產生的按比例縮減的係數塊的係數進行掃描和編碼。改變係數掃描順序的步驟可包括按這樣的方式改變係數掃描順序掃描產生的預定大小的係數塊的係數。改變係數掃描順序的步驟可包括按這樣的方式改變係數掃描順序的改變可單獨掃描產生的係數塊，或者可連續掃描產生的係數塊的係數。視頻編碼方法還可包括對關於係數塊大小信息的信息進行編碼，以執行係數掃描。可以以產生的係數塊為單位並根據頻率特性改變係數掃描順序的改變。或者可按這樣的順序改變係數掃描順序的改變可僅掃描圖像數據的全部係數中產生的係數，或僅掃描圖像數據的全部係數中的排除與預定頻段對應的係數塊而產生的係數塊。視頻編碼方法還可包括對指示包括產生的係數的係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP)信息進行設置和編碼。可按這樣的方式改變係數掃描順序可基於CCBP信息僅掃描包括除「0」以外的係數的係數塊。視頻編碼方法還可包括將輸入畫面劃分為預定的最大編碼單元；通過基於針對根據深度的至少一個更深的編碼單元的至少一個變換單元來執行變換，通過以區域為單位對所述最大編碼單元進行編碼，確定關於與用於輸出編碼結果的至少一個編碼深度對應的編碼單元的編碼模式，其中，隨著深度加深，從所述最大編碼單元分層地分割所述區域，其中，所述編碼模式包括關於所述至少一個編碼深度和變換單元大小的信息。接收圖像數據的步驟可包括接收所述至少一個變換單元的殘差分量。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度變換的選擇性的頻域變換的視頻編碼方法，所述方法包括按預定數據單元接收輸入畫面的圖像數據，通過將針對預定頻域的變換基底應用於圖像數據，來執行變換以產生選擇性的頻域係數，並輸出產生的係數。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度變換的子數據單元變換的視頻編碼方法，所述方法包括按預定數據單元接收輸入畫面的圖像數據，將圖像數據劃分為多個子數據單元，通過單獨選擇和使用針對子數據單元的變換基底，執行變換以產生子數據單元的係數，並輸出產生的係數。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度變換的按比例縮減變換的視頻編碼方法，所述方法包括按預定數據單元接收輸入畫面的圖像數據，通過應用作為長方矩陣和正方矩陣的組合的長方變換基底，執行變換以產生圖像數據的係數， 並輸出產生的係數。根據本發明的另一方面，提供了一種通過使用低複雜度變換對視頻進行解碼的方法，所述方法包括接收畫面的預定數據單元的係數；通過對接收的係數執行低複雜度反變換來產生按預定數據單元的圖像數據，其中，所述低複雜度反變換包括以下反變換中的至少一種使用針對預定頻域的變換基底的選擇性的頻域反變換、通過分別選擇和應用針對從圖像數據劃分的多個子數據單元的變換基底來執行反變換的子數據單元反變換、以及使用作為長方矩陣和正方矩陣的組合的按比例縮減長方變換基底的按比例縮減反變換；從圖像數據重構產生的畫面。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的選擇性的頻域反變換的視頻解碼方法，所述方法包括接收畫面的預定數據單元的係數；通過將針對預定頻域的變換基底應用於所述係數，執行反變換以產生按預定數據單元的圖像數據；從圖像數據重構畫面。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的子數據單元反變換的視頻解碼方法，所述方法包括接收畫面的預定數據單元的係數；從接收的係數產生預定數據單元的係數；通過單獨選擇變換基底並將所述變換基底應用於產生的係數，執行反變換以產生按預定數據單元的圖像數據；從圖像數據重構畫面。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的按比例縮減反變換的視頻解碼方法，所述方法包括接收畫面的預定數據單元的係數；通過使用作為長方矩陣和正方矩陣的組合的長方變換基底對接收的係數執行反變換，產生按預定數據單元的圖像數據；從圖像數據重構畫面。根據本發明的另一方面，提供了一種通過使用低複雜度變換對視頻進行編碼的設備，所述設備包括圖像數據接收器，以預定數據單元為單位接收輸入畫面的圖像數據；低複雜度變換單元，通過執行低複雜度變換來產生所述預定數據單元的係數，其中，所述低複雜度變換包括以下變換中的至少一種將針對預定頻域的變換基底應用於圖像數據的選擇性的頻域變換、通過分別選擇和應用針對從圖像數據劃分的多個子數據單元的變換基底來執行變換的子數據單元變換、以及使用通過對長方矩陣和正方矩陣進行組合併對組合的結果進行按比例縮減而獲得的按比例縮減長方變換基底的按比例縮減變換；變換係數輸出單元，用於輸出針對輸入畫面的預定數據單元而產生的變換係數。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的選擇性的頻域變換的視頻編碼設備，所述設備包括圖像數據接收器，按預定數據單元接收輸入畫面的圖像數據；選擇性的頻域變換器，通過將針對預定頻域的變換基底應用於圖像數據， 執行變換以產生選擇性的頻域係數；以及選擇性的頻域係數輸出單元，用於輸出產生的係數。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的子數據單元變換的視頻編碼設備，所述設備包括圖像數據接收器，按預定數據單元接收輸入畫面的圖像數據；子數據單元劃分單元，將圖像數據劃分為多個子數據單元；子數據單元變換器，通過單獨地選擇和使用針對子數據單元的變換基底，執行變換以產生子數據單元的係數；以及子數據單元係數輸出單元，用於輸出產生的係數。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的按比例縮減變換的視頻編碼設備，所述設備包括圖像數據接收器，按預定數據單元接收輸入畫面的圖像數據；按比例縮減變換器，通過應用作為長方矩陣和正方矩陣的組合的長方變換基底，執行變換以產生圖像數據的係數；以及按比例縮減變換係數輸出單元，用於輸出產生的係數。根據本發明的另一方面，提供了一種44。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的選擇性的頻域反變換的視頻解碼設備，所述設備包括係數接收器，接收畫面的預定數據單元的係數；選擇性的頻域反變換器，通過將針對預定頻域的變換基底應用於所述係數，執行反變換以產生按預定數據單元的圖像數據；畫面重構單元，從圖像數據重構畫面。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的子數據單元反變換的視頻解碼設備，所述設備包括係數接收器，接收畫面的預定數據單元的係數；子數據單元係數產生器，從接收的係數產生預定數據單元的係數；子數據單元反變換器，通過單獨選擇變換基底並將所述變換基底應用於產生的係數，執行反變換以產生按預定數據單元的圖像數據；畫面重構單元，從圖像數據重構畫面。根據本發明的另一方面，提供了一種使用作為一種類型的低複雜度反變換的按比例縮減反變換的視頻解碼設備，所述設備包括係數接收器，接收畫面的預定數據單元的係數；按比例縮減頻率反變換器，通過使用作為長方矩陣和正方矩陣的組合的長方變換基底， 對接收的係數執行反變換以產生按預定數據單元的圖像數據；畫面重構單元，從圖像數據重構畫面。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用低複雜度變換的視頻編碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用作為一種類型的低複雜度變換的選擇性的頻域變換的視頻編碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用作為一種類型的低複雜度變換的子數據單元變換的視頻編碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用作為一種類型的低複雜度變換的按比例縮減變換的視頻編碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式執行使用低複雜度反變換的視頻解碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用作為一種類型的低複雜度反變換的選擇性的頻域反變換的視頻解碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用作為一種類型的低複雜度反變換的子數據單元反變換的視頻解碼方法。根據本發明的另一方面，提供了一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行使用作為一種類型的低複雜度反變換的按比例縮減反變換的視頻解碼方法。有益效果根據本發明的實施例，在基於每個圖像區域的分層數據單元的使用低複雜變換的視頻編碼方法中，通過使用預定頻段、子數據單元或按比例縮減變換基底，按編碼單元和變換單元對數據執行變換，所述編碼單元和變換單元的大小基於圖像大小和圖像區域而被分層確定。因此，需要相對小的比特率來發送比特流。另外，根據本發明的實施例，在基於每個圖像區域的分層數據單元的使用低複雜度反變換的視頻解碼方法和設備中，通過使用預定頻段、子數據單元或按比例縮減變換基底，僅對接收的係數執行反變換。因此，解碼處理期間的計算量相對小。


圖1是根據本發明的實施例的使用選擇性的頻域變換來執行低複雜度變換的視頻編碼設備的框圖。圖2是根據本發明的實施例的使用選擇性的頻域反變換來執行低複雜度反變換的視頻解碼設備的框圖。圖3是示出根據本發明的實施例的執行低複雜度變換的處理的框圖。圖4是示出根據本發明的實施例的執行低複雜度反變換的處理的框圖。圖5示出根據本發明的實施例的對變換基底進行按比例縮減的方法。圖6示出根據本發明的實施例的選擇變換基底以選擇性地產生變換係數的方法。圖7是將使用一般變換基底時的變換係數與使用根據本發明的實施例的按比例縮減變換基底時的變換係數相比較的示圖。圖8示出根據本發明的另一實施例的根據頻段選擇變換基底以選擇性地產生變換係數的方法。圖9是將使用一般變換基底時的變換係數與使用根據本發明的實施例的基於頻段選擇的變換基底時的變換係數相比較的示圖。
圖10是示出根據本發明的實施例的由接收選擇性的頻域係數的解碼側執行的反變換的流程圖。圖11示出根據本發明的實施例的用於根據頻段將8X8的數據單元劃分為四個相等塊的變換係數的變換基底以及四個相等的變換係數塊。圖12示出根據本發明的另一實施例的用於根據頻段將8X8的數據單元劃分為十六個相等塊的變換係數的變換基底以及十六個相等的變換係數塊。圖13示出根據本發明的另一實施例的用於將8X8的數據單元劃分為2X4的變換係數塊的變換基底以及所述2X4的變換係數塊。圖14示出根據本發明的另一實施例的用於將8X8的數據單元劃分為8X4的變換係數塊的變換基底以及所述8X4的變換係數塊。圖15示出根據本發明的另一實施例的用於從8X8的數據單元的8X8的係數塊產生任意大小的變換基底塊的變換基底以及所述變換係數塊。圖16示出根據本發明的另一實施例的以係數為單位對4X4的數據單元的變換係數進行分類的變換基底以及所述變換係數。圖17示出根據本發明的另一實施例的以係數為單位對8X8的數據單元的變換係數進行分類的變換基底以及所述變換係數。圖18示出根據本發明的另一實施例的用於通過以選擇性的頻域為單位對任意選擇的數據單元(例如，8X4的數據單元)進行劃分獲得變換係數的變換基底以及變換係數塊。圖19示出根據本發明的另一實施例的根據選擇性的頻域將任意選擇的數據單元 (例如，8X 16的數據單元)劃分為變換係數的變換基底以及變換係數塊。圖20示出根據本發明的另一實施例的用於根據頻段將大數據單元(例如，16X16 的數據單元)劃分為十六個相等塊的變換係數的變換基底以及十六個相等的變換係數塊。圖21示出本發明的另一實施例的用於將大數據單元(例如，32X32的數據單元) 劃分為8X4的係數塊的變換基底以及所述係數塊。圖22示出根據本發明的另一實施例的將根據每個變換係數的頻段而被單獨選擇的變換基底及其變換係數塊。圖23示出掃描8X8的變換係數的一般順序。圖M示出根據本發明的實施例的根據頻段掃描8X8的變換係數的順序。圖25示出根據本發明的另一實施例的在整個頻段中掃描8X8的變換係數的順序。圖沈示出根據本發明的另一實施例的掃描除與中間頻率對應的係數以外的8X8 的變換係數的順序。圖27示出根據本發明的實施例的通過使用係數塊的水平大小和垂直大小來表示關於掃描8X8的變換係數的順序的信息。圖觀示出根據本發明的另一實施例的掃描8X8的變換係數的順序。圖四示出根據本發明的另一實施例的通過使用係數塊的垂直大小或水平大小來表示關於掃描8X8的變換係數的順序的信息的方法。圖30示出根據本發明的另一實施例的掃描8X8的變換係數的順序。
圖31示出根據本發明的另一實施例的通過將變換塊的垂直索引和水平索引表示為「2」的倍數來表示關於掃描8X8的變換係數的順序的信息的方法。圖32示出根據本發明的另一實施例的基於每個頻域的頻率特性來改變掃描8X8 的變換係數的順序的方法。圖33示出根據本發明的另一實施例的掃描除與中間頻段對應的係數以外的8X8 的變換係數的順序。圖34是示出根據本發明的實施例的使用選擇性的頻域變換來執行低複雜度變換的視頻編碼方法的流程圖。圖35是示出根據本發明的實施例的使用選擇性的頻域反變換來執行低複雜度反變換的視頻編碼方法的流程圖。圖36是根據本發明的另一實施例的使用子數據單元變換來執行低複雜度變換的視頻編碼設備的框圖。圖37是根據本發明的另一實施例的使用子數據單元反變換來執行低複雜度反變換的視頻解碼設備的框圖。圖38示出根據本發明的實施例的子數據單元變換的構思。圖39示出根據本發明的實施例的使用子數據單元變換的劃分-組合變換 (division-combining transformation)的構思。圖40示出根據本發明的實施例的使用子數據單元變換的劃分-組合反變換 (division-combining inverse transformation)白勺構, 、0圖41是示出根據本發明的另一實施例的使用子數據單元變換來執行低複雜度變換的視頻編碼方法的流程圖。圖42是示出根據本發明的另一實施例的使用子數據單元反變換來執行低複雜度反變換的視頻解碼方法的流程圖。圖43是根據本發明的另一實施例的使用按比例縮減變換來執行低複雜度變換的視頻編碼設備的框圖。圖44是根據本發明的另一實施例的使用按比例縮減反變換來執行低複雜度反變換的視頻解碼設備的框圖。圖45是示出根據本發明的另一實施例的使用按比例縮減變換來執行低複雜度變換的視頻編碼方法的流程圖。圖46是示出根據本發明的另一實施例的使用按比例縮減反變換來執行低複雜度反變換的視頻解碼方法的流程圖。圖47是根據本發明的另一實施例的使用低複雜度變換的視頻編碼設備的框圖。圖48是根據本發明的另一實施例的使用低複雜度反變換的視頻解碼設備的框圖。圖49是示出根據本發明的另一實施例的使用低複雜度變換的視頻編碼方法的流程圖。圖50是示出根據本發明的另一實施例的使用低複雜度反變換的視頻解碼方法的流程圖。圖51是根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻編碼設備的框圖。圖52是根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻解碼設備的框圖。圖53是用於描述根據本發明的實施例的編碼單元的構思的示圖。圖M是根據本發明的實施例的基於編碼單元的圖像編碼器的框圖。圖55是根據本發明的實施例的基於編碼單元的圖像解碼器的框圖。圖56是示出根據本發明的實施例的根據深度的更深的編碼單元以及預測單元的示圖。圖57是描述根據本發明的實施例的編碼單元與變換單元之間的關係的示圖。圖58是描述根據本發明的實施例的根據深度的編碼信息的示圖。圖59是根據本發明的實施例的根據深度的更深的編碼單元的示圖。圖60至圖62是描述根據本發明的實施例的編碼單元、預測單元和變換單元之間的關係的示圖。圖63是示出根據本發明的實施例的針對每個編碼單元的編碼信息的表。圖64是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻編碼方法的流程圖。圖65是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻解碼方法的流程圖。圖66是根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼設備的框圖。圖67是根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度反變換的視頻解碼設備的框圖。圖68是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼方法的流程圖。圖69是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度反變換的視頻解碼方法的流程圖。最佳實施方式一種根據本發明的實施例的使用低複雜度變換的視頻編碼方法包括按預定數據單元接收輸入畫面的圖像數據；通過對所述圖像數據執行低複雜度變換來產生所述預定數據單元的係數；輸出產生的係數。這裡，低複雜度變換包括以下變換中的至少一種使用針對預定頻域的變換基底執行變換的選擇性的頻域變換、通過分別選擇和使用針對從圖像數據劃分的多個子數據單元的變換基底來執行變換的子數據單元變換、以及使用通過將長方矩陣和正方矩陣進行組合併對執行的結果進行按比例縮減而獲得的長方變換基底來執行變換的按比例縮減變換。一種根據本發明的實施例的使用低複雜度反變換的視頻解碼方法包括接收畫面的預定數據單元的係數；通過對所述係數執行低複雜度反變換，產生按預定數據單元的圖像數據；通過使用所述圖像數據重構畫面。這裡，低複雜度反變換包括以下反變換中的至少一種通過使用針對預定頻域的變換基底對所述係數執行反變換的選擇性的頻域反變換、 通過分別選擇和使用針對從圖像數據劃分的多個子數據單元的變換基底來執行反變換的子數據單元反變換、以及使用通過將長方矩陣和正方矩陣進行組合併對執行的結果進行按比例縮減而獲得的長方變換基底來執行反變換的按比例縮減反變換。
具體實施例方式在下文中，將參照圖1至圖67描述根據本發明的各種實施例的使用低複雜度變換的視頻編碼方法和設備以及視頻解碼方法和設備。在本說明書中，選擇性的頻域變換、子數據單元變換以及按比例縮減變換將作為根據本發明的低複雜度變換的示例被公開。首先，將描述分別使用選擇性的頻域變換、子數據單元變換以及按比例縮減變換作為低複雜度變換的示例的根據本發明的各種實施例的視頻編碼/解碼方法和設備。然後，將描述根據本發明的實施例的使用低複雜度變換的視頻編碼/解碼方法和設備。在本說明書中，還將詳細描述用於確定將對其執行低複雜度變換的圖像數據的基於每個圖像區域的分層數據單元執行的視頻編碼/解碼。更具體地，將參照圖1至圖35描述根據本發明的實施例的使用選擇性的頻域變換(所述選擇性的頻域變換是一種類型的低複雜度變換) 的視頻編碼方法和設備以及視頻解碼方法和設備。將參照圖36至圖42描述根據本發明的實施例的使用子數據單元變換(所述子數據單元變換是另一類型的低複雜度變換)的視頻編碼方法和設備以及視頻解碼方法和設備。將參照圖43至圖46描述根據本發明的實施例的使用按比例縮減變換(所述按比例縮減變換是另一類型的低複雜度變換)的視頻編碼方法和設備以及視頻解碼方法和設備。將參照圖47至圖50描述根據本發明的實施例的選擇性地使用選擇性的頻域變換、子數據單元變換和按比例縮減變換的視頻編碼方法和設備以及視頻解碼方法和設備。將參照圖51至圖63描述根據本發明的各種實施例的基於每個圖像區域的分層數據單元的視頻編碼方法和設備以及視頻解碼方法和設備。隨後，將參照圖 66至圖69描述根據本發明的各種實施例的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼方法和設備以及視頻解碼方法和設備。將參照圖1至圖35描述根據本發明的實施例的使用選擇性的頻域變換(所述選擇性的頻域變換是一種類型的低複雜度變換)的視頻編碼方法和設備以及視頻解碼方法和設備。圖1是根據本發明的實施例的使用選擇性的頻域變換來執行低複雜度變換的視頻編碼設備10的框圖。視頻編碼設備10包括圖像數據接收器11、選擇性的頻域變換器12 以及選擇性的頻域係數輸出單元13。圖像數據接收器11可按預定數據單元接收輸入畫面的圖像數據。可通過將輸入畫面的圖像數據劃分為預定大小的塊來獲得所述預定數據單元，以對其執行變換。按預定數據單元的圖像數據可以是正方數據塊或長方數據塊。選擇性的頻域變換器12可通過使用針對預定頻域的變換基底，對圖像數據執行變換來產生選擇性的頻域係數。選擇性的頻域變換器12可通過應用正方變換基底中的與預定頻段對應的變換基底應來執行變換，以產生選擇性的頻域係數。在這種情況下，可單獨選擇變換基底的垂直頻段和水平頻段。可通過應用正方變換基底中針對除所述預定頻段以外的頻段的基底，執行變換以產生除預定頻域係數以外的變換係數。為了根據任意頻段劃分圖像數據的變換係數，選擇性的頻域變換器12可選擇與任意頻段中的預定垂直頻段對應的垂直變換基底以及與任意頻段中的預定水平頻段對應的水平變換基底。選擇性的頻域變換器12可通過應用正方變換基底中的與預定大小的係數塊對應的變換基底，對圖像數據執行變換以產生預定大小的係數塊。為了根據任意大小的係數塊對圖像數據的變換係數進行分類，選擇性的頻域變換器12可選擇與係數塊中的預定係數塊的水平大小和垂直大小分別對應的水平變換基底和垂直變換基底。選擇性的頻域變換器12可通過將針對任意大小的係數塊中的每一係數塊選擇的垂直變換基底和水平變換基底應用於圖像數據，以任意大小的係數塊為單位執行變換。選擇性的頻域變換器12可通過使用正方頻率基底中的與係數對應的變換基底， 以係數為單位對圖像數據執行變換。也就是說，選擇性的頻域變換器12可通過將變換基底中與係數中的每一個對應的水平變換基底和垂直變換基底應用於圖像數據，以係數為單位執行變換，以使圖像數據的係數可彼此區分。選擇性的頻域變換器12可從變換基底中單獨選擇垂直變換基底和水平變換基底，以執行選擇性的頻域變換。例如，可基於不同的變換基底單獨選擇垂直變換基底和水平變換基底的大小、變換方法和矩陣因子。選擇性的頻域變換器12可基於對通過將相同大小的變換基底應用於圖像數據的變換而獲得的頻率特性進行分析的結果，選擇性地確定具有除「0」以外的係數的頻域。因此，選擇性的頻域變換器12可基於執行變換的結果確定與頻域對應的將被編碼的變換基底和變換係數。選擇性的頻域係數輸出單元13輸出輸入畫面的預定數據單元的係數。視頻編碼設備10可對關於變換方法的信息進行編碼和發送，所述變換方法被選擇以對圖像數據執行選擇性的頻域變換。視頻編碼設備10可按這樣的方式改變係數掃描順序以頻段為單位產生的係數塊的係數可被掃描和編碼。例如，可按照這樣的方式改變係數掃描順序可掃描圖像數據的所有係數中的預定大小的係數塊，可單獨掃描多個頻段中的係數塊，可連續掃描多個頻段中的所有係數塊，或者可掃描除預定頻段中的係數塊以外的係數塊。視頻編碼設備10可按這樣的方式改變係數掃描順序可僅連續掃描產生的係數。另外，視頻編碼設備10可根據所有頻段係數中的產生的係數的頻段的頻率特性， 改變頻率掃描順序。視頻編碼設備10可對關於係數塊大小的信息進行編碼以執行係數掃描。例如，係數塊大小信息可包括關於每個係數塊的垂直大小和水平大小中的至少一個的信息。針對係數掃描的係數塊大小索引可被設置為具有特定間隔(例如，「2」的倍數)。另外，係數塊大小索引可從高頻段到低頻段變密(finer)。視頻編碼設備10可對指示包括產生的頻段係數的係數塊是否包括除「0」以外的係數的係數塊模式信息進行設置和編碼。可按這樣的方式改變係數掃描順序可基於編碼的係數塊模式(CCBP)信息，掃描包括除「0」以外的係數的係數塊。用於執行熵編碼的係數掃描順序可根據由視頻編碼設備10改變的係數掃描順序而被改變。選擇性的頻域係數輸出單元13可基於改變的係數掃描順序輸出頻域係數。
圖像數據接收器11可按變換單元接收圖像數據，其中，根據基於每個圖像區域的分層數據單元的編碼方法確定所述變換單元。根據基於每個圖像區域的分層數據單元編碼方法，用於輸出編碼結果的至少一個編碼深度和關於編碼深度的編碼單元的編碼模式。可通過將輸入畫面劃分為預定大小的編碼單元，然後對每個圖像區域中的最大編碼單元中的每一個進行編碼來確定編碼深度的編碼單元。通過基於至少一個變換單元變換與深度對應的至少一個編碼單元，隨著深度加深，分層地劃分每個圖像區域的最大編碼單元。可通過以圖像區域為單位執行編碼確定作為數據單元的變換單元的大小，其中，將按所述數據單元執行變換。關於編碼深度的編碼單元的編碼模式包括變換單元大小信息。在這種情況下， 圖像數據接收器11可接收變換單元中的殘差分量。稍後將參照圖51至圖67描述按變換單元對數據執行的低複雜度變換，其中，根據基於每個圖像區域的分層數據單元的編碼方法確定所述變換單元。圖2是根據本發明的實施例的使用選擇性的頻域反變換來執行低複雜度反變換的視頻解碼設備20的框圖。視頻解碼設備20包括係數接收器21、選擇性的頻域反變換器 22和畫面重構單元23。係數接收器21可接收畫面的預定數據單元的係數。所述預定數據單元的係數可以是通過反變換劃分接收的畫面的圖像數據的係數的結果。如果已依照根據本發明的實施例的基於每個數據圖像區域的分層數據單元的視頻編碼方法對畫面進行了編碼，則係數接收器21可接收與畫面的當前最大編碼單元的當前編碼單元對應的當前變換單元的係數。選擇性的頻域反變換器22可通過對接收的係數執行反變換來按預定數據單元產生圖像數據，所述反變換使用針對預定頻域的變換基底。視頻解碼設備20還可接收關於被選擇以對接收的係數的選擇性的頻域執行反變換的變換方法的信息。在這種情況下，選擇性的頻域變換器22可通過基於關於變換方法的信息確定接收的係數的頻域和針對所述頻域的變換基底，來執行反變換。選擇性的頻域反變換器22可通過對接收的係數執行反變換來按預定數據單元重構圖像數據，所述反變換使用正方變換基底中與預定頻段對應的變換基底。在這種情況下， 可單獨選擇變換基底的垂直頻段和水平頻段。選擇性的頻域反變換器22可執行反變換，所述反變換使用正方變換基底中排除預定頻段而被選擇的變換基底。如果根據任意頻段對預定數據單元的係數進行分類，則選擇性的頻域反變換器22可使用與預定頻段對應的垂直變換基底和水平變換基底，以對所述預定頻段的係數執行反變換。選擇性的頻域反變換器22可使用正方變換基底中與預定大小的係數塊對應的變換基底，以對預定大小的係數塊的係數執行反變換。如果根據任意大小的係數塊對預定數據單元的係數進行分類，則選擇性的頻域反變換器22可通過使用這些係數塊中的每一個的垂直變換基底和水平變換基底，以任意大小的係數塊為單位執行反變換。選擇性的頻域反變換器22可通過使用正方頻率基底中與預定係數對應的變換基底執行反變換，來以係數為單位執行反變換。也就是說，可通過單獨選擇和使用每個係數的水平變換基底和垂直變換基底，對預定數據單元的係數執行反變換。選擇性的頻域反變換器22可基於不同的變換基底選擇與每個垂直變換基底和每個水平變換基底相關的變換方法和矩陣因子。
17
掃描接收的係數的順序可根據頻域而變化。選擇性的頻域反變換器22可通過應用根據頻域而選擇的變換基底，對根據改變的掃描順序而排列的係數執行反變換來按預定數據單元重構圖像數據。視頻解碼設備20可通過接收並讀取掃描順序信息來分析改變的掃描順序。視頻解碼設備20可按這樣的方式改變掃描順序所接收的根據頻段的係數塊可被單獨地掃描，或者所述係數塊的係數可根據頻段而被連續掃描。另外，視頻解碼設備20可接收係數塊大小信息以執行係數掃描。另外，視頻解碼設備200可基於包括在係數塊大小信息中的關於每個係數塊的垂直大小和水平大小中的至少一個的信息，改變掃描順序。例如，係數塊大小信息可用具有特定間隔(例如，「2」的倍數)的索引來設置，或者可被設置為從高頻段到低頻段變密。另外，視頻解碼設備20可根據每個頻段的頻率特性改變掃描順序。例如，在垂直頻率的數量大於水平頻率的數量的頻段的係數塊的情況下，可按這樣的方式設置掃描順序沿垂直方向排列的係數可被首先掃描。視頻解碼設備20可按這樣的方式改變掃描順序可僅對畫面的預定數據單元的所有係數中的接收的係數進行掃描和解碼。另外，視頻解碼設備20可按這樣的方式改變掃描順序可掃描所述預定數據單元的所有係數中的除預定頻段以外的頻段的係數塊。視頻解碼設備20可接收編碼的係數塊模式(CCBP)信息，所述編碼的係數塊模式信息指示包括根據頻段而產生的係數的係數塊是否包括除「0」以外的係數。在這種情況下， 視頻解碼設備20可按這樣的方式改變係數掃描順序可基於CCBP信息，僅掃描包括除「0」 以外的係數的係數塊。如果視頻解碼設備20採用根據本發明的實施例的基於每個圖像區域的分層數據單元執行的視頻解碼方法，則係數接收器21可接收與畫面的預定最大編碼單元對應的變換單元的係數。畫面重構單元23基於產生的圖像數據重構並輸出畫面。視頻編碼設備20可使用根據頻段選擇的變換，以根據數據通信環境、硬體性能， 或者開發者或用戶的需求來控制傳輸比特率。例如，視頻編碼設備10可分析通過使用NXN 的變換基底對NXN的圖像數據執行變換的結果，並當預定頻段中預設有除「0」以外的係數時，僅發送與除「0」以外的係數相關的數據。換句話說，選擇將被編碼的頻段並且對選擇的頻段執行變換，以減少計算量和產生的係數的總數，從而減少傳輸比特率。另外，視頻編碼設備10可將關於選擇性的頻域的信息發送到解碼側，從而解碼側可通過僅使用接收的係數執行反變換來重構原始的NXN的數據。另外，可考慮頻段來改變掃描順序，從而可僅掃描和讀取除「0」以外的係數以及包括這樣的係數的每個係數塊。視頻解碼設備20可基於接收的關於掃描順序的信息和關於選擇性的頻域的信息，確定頻域和接收的係數的位置，並可通過使用與用於執行變換的選擇性的頻域對應的變換基底來執行反變換，以重構原始數據。與選擇性的頻域對應的變換基底與現有的正方變換基底相比按比例縮減的更多。因此，如果使用這樣的按比例縮減變換基底執行變換和反變換，則計算量會減少。因此，依據根據當前實施例的選擇性的頻域變換，圖像數據的頻率變換係數中僅除「0」以外的係數被掃描、編碼和發送。另外，根據依據當前實施例的選擇性的頻域反變換，
18可通過僅反變換除「0」以外的係數來重構圖像，從而減少計算量和計算複雜度。圖3是示出根據本發明的實施例的執行低複雜度變換的處理的框圖。在操作31， 輸入的圖像數據塊X被接收。在操作32，通過使用垂直變換基底Ta和水平變換基底Tb對輸入的圖像數據塊X執行變換。然後，在操作33，輸入的圖像數據塊X的變換係數Y被輸
出ο在這種情況下，通過將垂直變換基底Ta和水平變換基底Tb應用於輸入的圖像數據塊X獲得變換係數Y，所述變換係數Y的大小是CXD，所述垂直變換基底Ta和水平變換基底Tb的大小分別是CXA和BXD，所述輸入圖像數據塊的大小是AXB。因此，輸出的變換基底Y的大小(即，CXD)小於輸入的圖像數據塊X的大小(即，AXB)。如果變換被執行，則頻域的變換係數的大小小於空域的圖像數據的大小。因此，編碼側可通過變換節省傳輸比特率。圖4是示出根據本發明的實施例的執行低複雜度反變換的處理的框圖。在操作 41，變換係數Y被接收。在操作42，通過將從垂直變換基底Ta矩陣轉置的變換基底TaT和從水平變換基底Tb矩陣轉置的變換基底TbT應用於變換基底Y，執行反變換。然後，在操作 43，與變換係數Y對應的圖像數據塊X』被重構。因此，與圖像數據的量相比，即使接收到不足量的係數，也可在用於執行變換的變換基底被提供時使用所述不足量的係數重構圖像數據。參照圖3至圖5，當使用按比例縮減的基底執行變換時可減少計算量，從而根據執行變換的結果節省比特率。圖5示出根據本發明的實施例的按比例縮減變換基底的方法。矩陣M和變換基底 T的乘積M · T與僅由變換基底T的上部因子組成的矩陣對應。也就是說，如果矩陣M被使用，則可通過對變換基底T的垂直頻段二等分來僅提取變換基底T的低頻部分。因此，如果僅需要與垂直頻段的低頻段對應的圖像數據部分，則可通過另外地將係數塊(通過將變換基底T應用於輸入的圖像數據塊X的變換獲得所述係數塊)與矩陣M 相乘(即，通過執行兩次矩陣M的乘法)來獲得所述低頻段的係數塊。然而，如果乘積M ·Τ 已被存儲，則可通過將選擇性的頻段的乘積M ·Τ應用於輸入的圖像數據塊Χ(即，通過執行一次矩陣M的乘法)來獲得低頻段的係數塊，從而減少計算量。 如上所述，根據本發明的實施例的視頻編碼方法和設備以及視頻解碼方法和設備可通過低複雜度變換(諸如選擇性的頻段變換、子數據單元變換或通過使用從變換基底T 按比例縮減的乘積M · T的按比例縮減變換)來實現。圖6示出根據本發明的實施例的選擇變換基底以選擇性地產生變換係數的方法。 可從mXm的垂直變換基底矩陣61中選擇與包括在垂直頻段中的a/m的垂直頻段對應的 aXm的垂直變換基底矩陣。類似地，可從nXn的水平變換基底矩陣62中選擇與包括在水平頻段中的d/n的水平頻段對應的nXd的水平變換基底矩陣。圖7是將使用一般的變換基底時的變換係數與使用根據本發明的實施例的按比例縮減變換基底時的變換係數相比較的示圖。如果通過將圖6的mXm的垂直變換基底矩陣61和nXn的水平變換基底矩陣62 應用於mXn的圖像數據來執行變換，則獲得圖7 WmXn的係數塊71。為了掃描mXn的係數塊71的除「0」以外的係數，從DC分量係數72到最高頻率係數73的係數長度是「 19」，並且通過頻率變換執行計算的次數是「m · η」。
當基於根據本發明的實施例的選擇性的頻域選擇的變換基底被使用時，隨後可通過將圖6的aXm的垂直變換基底矩陣和nXd水平變換基底矩陣應用於nXm的圖像數據來執行變換。然後，獲得dXa的係數塊75，在所述係數塊75中，整個nXm的係數塊的除 「0」以外的所有係數均存在，即，所有的實際有效信息存在。因此，圖1的視頻編碼設備10 的選擇性的頻域係數輸出單元13可僅輸出關於包括在整個nXm的係數塊74中的dXa的係數塊75的數據。另外，執行操作以產生dXa的係數塊75的實際次數是a · d，並且從DC分量係數 76到最高頻率係數77的係數長度是「15」，以掃描dXa的係數塊75的除「0」以外的係數。因此，根據操作被執行的次數、掃描長度和比特率，通過僅使用與選擇性的頻域對應的變換基底執行頻域來產生與選擇性的頻域對應的係數塊的步驟比產生與整個頻域對應的所有係數塊的步驟更有利。圖8示出根據本發明的另一實施例的根據頻段選擇變換基底以選擇性地產生變換係數的方法。可根據垂直頻率從mXm的垂直變換基底矩陣81選擇與從最低頻段到最高頻段的選擇性的頻段對應的垂直變換基底。選擇性的頻段的示例可以是從最低頻率開始的 a/m頻率基底頻段或c/m頻率基底頻段，或從中間頻率開始的e/m頻率基底頻段。類似地，可根據水平頻率從nXn的水平變換基底矩陣82選擇與從最低頻段到最高頻段的選擇性的頻段對應的水平變換基底。選擇性的頻段的示例可以是從最低頻率開始的f/n頻率基底頻段或d/n頻率基底頻段，或從中間頻率開始的b/n頻率基底頻段。圖9是將使用一般的變換基底時的變換係數與使用根據本發明的實施例的基於頻段選擇的變換基底時的變換係數相比較的示圖。如果通過將圖8的mXm的垂直變換基底矩陣81和nXn的水平變換基底矩陣82應用於nXm的圖像數據來執行變換，則獲得圖 9的nXm的係數塊91。為了掃描mXn的係數塊91的除「0」以外的係數，從DC分量係數 92到最高頻率係數93的係數長度是「27」，並且通過頻率變換執行計算的次數是「m · η」。
如果基於根據本發明的實施例的選擇性的頻域而選擇的變換基底被使用，則選擇的變換基底可與具有除「0」以外的係數的頻段對應。例如，用於根據頻段產生係數塊的垂直變換基底和水平變換基底可按這樣的方式被選擇具有整個係數塊94中的除「0」以外的係數的頻域可被獲得，並可根據頻段被劃分為係數塊95、96和97。換句話說，可選擇cXm的垂直變換基底和nXd的水平變換基底，以獲得係數塊 95，係數塊95的大小是dXc，可選擇aXm的垂直變換基底和nXb的水平變換基底以獲得係數塊95，係數塊95的大小是aXb，可選擇eXm的垂直變換基底和nX f的水平變換基底以獲得係數塊95，係數塊95的大小是e Xf。也就是說，可按這樣的方式執行選擇性的頻域變換不僅低頻段的係數塊95，還有高頻段的係數塊96和97可被選擇並被編碼。操作被執行以獲得係數塊95的次數是「C · d」，操作被執行以獲得係數塊96的次數是「a · b」，操作被執行以獲得係數塊97的次數是「e · f」。因此，當僅對係數塊95至97 (實際對所述係數塊95至97執行變換來產生係數) 執行掃描時，從最小DC分量係數98到最高頻率分量係數99的係數長度被減少到「對」，並且操作被執行以執行變換的次數被減少到「a · b+c · d+e · f」。因此，根據操作被執行的次數、掃描長度和比特率，通過僅使用與選擇性的頻域對應的變換基底執行頻域來產生與選擇性的頻域對應的係數塊的步驟比產生與整個頻域對應的所有係數塊的步驟更有利。圖10是示出根據本發明的實施例的由接收選擇性的頻域係數的解碼側執行的反變換的流程圖。在操作1001，係數塊被輸入。在操作1002，基於關於所述係數塊的塊模式信息確定在所述係數塊中是否存在除「0」以外的係數。在操作1003，對NXN的塊執行反變換。在操作1008，執行後續處理。根據本發明的實施例，在操作1003執行的反變換可被劃分為多個子操作。具體地，在操作1004，係數塊的頻段被確定。在操作1005，對第η個選擇性的頻域執行反變換。在操作1006，將殘差分量組合在一起。在操作1007，確定操作1005 和操作1006的循環是否被重複執行N次。如果在操作1007確定反變換應該被再次執行， 則圖10的處理進入操作1005。如果在操作1007確定不需要再次執行反變換，則圖10的處理結束。現在將參照圖11和圖12詳細描述根據任意頻段的選擇性的頻域變換和選擇性的頻域反變換，所述選擇性的頻域變換和選擇性的頻域反變換分別由選擇性的頻域變換器12 和選擇性的頻域反變換器22執行。圖11示出根據本發明的實施例的用於根據頻段將8X8的數據單元劃分為四個相等塊的變換係數的變換基底以及四個相等的變換係數塊。選擇性的頻域變換器12可選擇通過以四個像素為單位並沿垂直頻率的方向劃分 8X8的變換基底MlllO而獲得的矩陣Ml和Μ2作為選擇性的垂直變換基底，並且可選擇分別從矩陣Ml和Μ2矩陣轉置的矩陣MIt和Μ2Τ作為選擇性的水平變換基底。8X8的變換基底MlllO和矩陣Ml和Μ2的示例如下M = [4,4,4,4,4,4,4,4 ；6，6，2，3，-3，-2，-6，-6 ；4，2，-2，-4，-4，_2，2，4 ；6，-3，-6，_2，2，6，3，-6 ；4，-4，-4，4，4，-4，-4，4 ；2，_6，3，6，-6，_3，6，-2 ；2，-4，4，-2，-2，4，-4，2 ；3, -2,6, -6,6, -6,2, -3]；Ml = [4,4,4,4,4,4,4,4 ；6，6，2，3，-3，-2，-6，-6 ；4，2，-2，-4，-4，_2，2，4 ；6，-3，-6，-2，2，6，3，-6]；Μ3 = [4，-4，_4，4，4，_4，_4，4 ；2，-6，3，6，-6，-3，6，-2 ；2，-4，4，-2，-2，4，-4，2 ；3，-2，6，-6，6，-6，2，-3]因此，8 X 8的圖像數據塊X的8 X 8的係數塊1120可根據頻段被劃分為四個4 X 4 的係數塊D1、D2、D3和D4。可通過分別使用變換操作(例如，Dl =Ml · X · M1T，D2 = Ml ·Χ·Μ2τ， 3 = M2 · X · MIt 禾口 D4 = M2 · X · M2T)獲得係數塊 Dl、D2、D3 禾口 D4。因此，可僅從矩陣Ml和M2而不是8X8的變換基底1110獲得根據頻段的係數塊D1、D2、D3和D4。例如，如果僅在與垂直低頻段和水平低頻段對應的係數塊Dl中存在除「0」 以外的係數，則選擇性的頻域變換器12可執行變換操作(即，Ml ·Χ ·Μ1Τ)，其中，作為根據頻域選擇性地確定的變換基底的矩陣Ml被應用於圖像數據塊X。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊Dl的數據。選擇性的頻域反變換器22可通過分別使用圖11中示出的係數塊Dl至D4所示的按圓括號的形式的反變換操作，對係數塊Dl至D4執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl、D2、D3和D4中接收的係數塊，重構圖像數據塊V。例如，如果係數接收器21僅接收關於係數塊Dl的數據，則選擇性的頻域反變換器 22可通過執行反變換操作(即，Μ1τ· 1·Μ1)來重構圖像數據塊X』，其中，從被用於執行變換的選擇性的垂直變換基底Ml和選擇性的水平變換基底MIt矩陣轉置的變換基底MIt和Ml 被應用於係數塊D1。圖12示出根據本發明的另一實施例的用於根據頻段將8X8的數據單元劃分為十六個相等塊的變換係數的變換基底以及十六個相等的變換係數塊。圖1的選擇性的頻域變換器12可選擇通過以兩個像素為單位並沿垂直頻率的方向劃分8 X 8的變換基底Μ1250而獲得的矩陣Ml至Μ4作為選擇性的垂直變換基底，並可選擇從矩陣Ml至Μ4矩陣轉置的矩陣MIt至Μ4Τ作為選擇性的水平變換基底。因此，8X8的圖像數據塊X的8X8的係數塊1260可根據頻段被劃分為十六個 2X2的係數塊Dl至D16。可通過分別使用以下變換操作獲得係數塊Dl至D16 Dl = Ml · X · M1T, D2 = Ml · X · M2T, D3 = Ml · X · M3T, D4 = Ml · X · Μ4Τ ；D5 = Μ2 · X · Μ1Τ, D6 = Μ2 · X · Μ2Τ, D7 = Μ2 · X · Μ3Τ, D8 = Μ2 · X · Μ4Τ ;D9 = Μ3 · X · Μ1Τ, DlO = Μ3 · X · Μ2Τ, Dll = Μ3 · X · Μ3Τ, D12 = Μ3 · X · Μ4Τ ；D13 = Μ4 · X · Μ1Τ, D14 = Μ4 · X · Μ2Τ, D15 = Μ4 · X · Μ3Τ, D16 = Μ4 · X · Μ4Τ因此，根據頻段的係數塊Dl至D16可僅從矩陣Ml至Μ4而不是8X8的變換基底 1250獲得。例如，如果除「0」以外的係數僅存在於係數塊D1、D2、D5、D6和D9中，則選擇性的頻域變換器12可根據頻域選擇變換基底Ml至M4之一，將選擇的變換基底應用於圖像數據塊 X，並執行變換操作(艮口，Dl = Ml · X · M1T, D2 = Ml · X · M2T, D5 = M2 · X · M1T, D6 = M2 · X · M2T和D9 = M3 · X · M1T)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊D1、D2、D5、D6和D9的數據。選擇性的頻域反變換器22可通過分別使用圖12所示的係數塊Dl至D16中示出的按圓括號形式的反變換操作，對係數塊Dl至D16執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl至D16中接收的係數塊，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數塊Dl、D2、D5、D6和D9的數據，則選擇性的頻域反變換器22可通過對係數塊Dl、D2、D5、D6和D9分別執行反變換操作(即， MIt · Dl · Ml，M1TD2 · M2, M2T · D5 · Ml，M2T · D6 · M2 禾口 M3T · D9 · Ml)並隨後組合執行結果來重構圖像數據塊Χ』。現在將參照圖13和圖14詳細描述分別由選擇性的頻域變換器12和選擇性的頻域反變換器22執行的根據頻段的選擇性的頻域變換和選擇性的頻域反變換，在所述根據頻段的選擇性的頻域變換和選擇性的頻域反變換中，垂直頻段和水平頻段被單獨劃分。圖13示出根據本發明的另一實施例的用於將8X8的數據單元劃分為2X4的變換係數塊的變換基底以及所述2X4的變換係數塊。圖1的選擇性的頻域變換器12可選擇從矩陣Ml至M4(通過以兩個像素為單位並沿垂直頻率的方向劃分8X8的變換基底350獲得矩陣Ml至M4)矩陣轉置的矩陣MIt至
為選擇性的水平變換基底，並可選擇通過以四個像素為單位並沿垂直頻率的方向劃分8X8的矩陣基底1360而獲得的矩陣M5和M6作為選擇性的垂直變換基底。因此，可根據垂直頻段以四個像素為單位並根據水平頻段以兩個像素為單元劃分 8X8的圖像數據塊X的8X8的係數塊1370，從而獲得2X4的係數塊Dl至D8。可通過使用以下變換操作獲得係數塊Dl至D8 Dl = M5 · X · M1T, D2 = M5 · X · M2T, D3 = M5 · X · M3T, D4 = M5 · X · M4T ；D5 = M6 · X · M1T, D6 = M6 · X · M2T, D7 = M6 · X · M3T, D8 = M6 · X · M4T因此，可僅從矩陣Ml至M6而不是8X8的變換基底1350和1360獲得根據頻段的係數塊Dl至D8。例如，如果除「0」以外的係數僅存在於係數塊D1、D2和D5，則選擇性的頻域變換器12可根據頻域選擇變換基底Ml至M6之一，將選擇的變換基底應用於圖像數據塊 X,並執 亍變換操作(艮口，Dl = Μ5 · X · M1T, D2 = Μ5 · X · Μ2Τ 禾口 D5 = Μ6 · X · MIt)。圖 1 的選擇性的頻域係數輸出單元13可僅輸出關於係數塊D1、D1和D5的數據。選擇性的頻域反變換器22可通過分別使用圖13所示的係數塊Dl至D8中示出的按圓括號形式的反變換操作，對係數塊Dl至D8執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl至D8中接收的係數塊，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數塊D1、D2和D5的數據，則選擇性的頻域反變換器22可通過對係數塊Dl、D2和D5分別執行反變換操作(即，M5T -Dl ·Μ1，Μ5Τ -D2 ·Μ2 和Μ6Τ · D5 · Ml)並隨後組合執行反變換操作的結果來重構圖像數據塊V。圖14示出根據本發明的另一實施例的用於將8X8的數據單元劃分為8X4的變換係數塊的變換基底以及所述8X4的變換係數塊。選擇性的頻域變換器12可選擇通過以四個像素為單位並沿垂直頻率的方向劃分 8X8的變換基底1410而獲得的矩陣Ml至M4作為選擇性的垂直變換基底，並可選擇從8X8 的變換基底1420矩陣轉置的矩陣M3T作為選擇性的水平變換基底。因此，8X8的圖像數據塊X的8X8的係數塊1430可根據垂直頻段以四個像素為單位被劃分，即，可被劃分為兩個8X4的係數塊Dl和D2。可通過分別使用頻率變換操作 (例如，Dl = Ml · X · M3T 禾口 D2 = M2 · X · M3T)獲得係數塊 Dl 禾口 D2。因此，可僅從矩陣Ml至M3而不是8X8的變換基底1410和1420獲得根據頻段的係數塊Dl和D2。例如，如果除「0」以外的係數僅存在於係數塊Dl中，則選擇性的頻域變換器12可根據頻段選擇變換基底Ml和M3，將變換基底Ml和M3應用於圖像數據塊X，並執行變換操作(即，Dl = Ml · X · M3T)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊Dl的數據。選擇性的頻域反變換器22可通過分別使用圖14所示的係數塊Dl和D2中示出的按圓括號形式的反變換操作，對係數塊Dl和D2執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl和D2中接收的係數塊，來重構圖像數據塊V。例如，如果係數接收器21僅接收關於係數塊Dl的數據，則選擇性的頻域反變換器22可通過對與垂直低頻段和水平低頻段兩者對應的係數塊Dl執行反變換操作(即， MIt · Dl · M3)來重構圖像數據塊X，。圖15示出根據本發明的另一實施例的用於從8X8的數據單元的8X8的係數塊產生任意大小的變換基底塊的變換基底以及所述變換係數塊。如果一個變換係數塊被劃分為多個任意大小的係數塊，則圖1的選擇性的頻域變換器12和圖2的選擇性的頻域反變換器22可針對為多個係數塊中的每個係數塊選擇的頻段分別執行選擇性的頻域變換和選擇性的頻域反變換。選擇性的頻域變換器12可選擇通過以兩個像素為單位並沿垂直頻率的方向劃分 8X8的變換基底1510而獲得的矩陣Ml至M4，以及通過以四個像素為單位並沿垂直頻率的方向劃分8X8的變換基底1520而獲得的矩陣M5和M6作為選擇性的垂直變換基底。另外， 選擇性的頻域變換器12可選擇8X8的變換基底1510的矩陣M1T、M2T、M3T和M4T以及8X8 的變換基底1520的矩陣τ和Μ6Τ作為選擇性的水平變換基底。根據選擇性的水平和垂直頻率基底的組合，8X8的圖像數據塊X的8X8的係數塊1530可被劃分為4X4的係數塊D1、4X2的係數塊D2和D3、2X2的係數塊D4和D5， 4X2的係數塊D6、2X4的係數塊D7以及2X2的係數塊D8和D9。可通過分別使用變換操作(例如，Dl = M5 · X · M5T、D2 = Ml · X · M6T、D3 = M2 · X · M6T、D4 = M3 · X · M1T、D5 = M3 · X · M2T、D6 = M4 · X · M5T、D7 = M6 · X · M3T、D8 = M3 · X · M4T 禾口 D9 = M4 · X · M4T)獲得係數塊Dl至D9。因此，可僅從矩陣Ml至M6而不是8X8的變換基底1510和1520獲得根據頻段的係數塊Dl至D9。例如，如果除「0」以外的係數僅存在於係數塊D1、D2和D4，則選擇性的頻域變換器12可選擇變換基底Ml至M6之一，將選擇的變換基底應用於圖像數據塊X，並執行變換操作(艮口，Dl = M5 · X · M5T、D2 = Ml · X · M6T 禾口 D4 = M3 · X · M1T)。圖 1 的選擇性的頻域係數輸出單元13可僅輸出關於係數塊D1、D2和D4的數據。選擇性的頻域反變換器22可通過分別使用圖15所示的係數塊Dl至D9中示出的按圓括號形式的反變換操作，對係數塊Dl至D9執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl至D9中接收的係數塊，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數塊D1、D2和D4的數據，則選擇性的頻域反變換器22可通過對係數塊Dl、D2和D4分別執行反變換操作(即，M5T -Dl ·Μ5、Μ1Τ -D2 ·Μ6 和Μ3Τ · D4 · Ml)並隨後組合執行反變換操作的結果來重構圖像數據塊V。如果根據與這樣的任意大小的係數塊對應的頻段執行根據本發明的實施例的選擇性的頻域變換和選擇性的頻域反變換，則可使用根據與具有除「0」以外的係數的任意係數塊對應的頻段而選擇的選擇性的水平變換基底和選擇性的垂直變換基底，執行選擇性的頻域變換和選擇性的頻域反變換，從而比當使用8X8的變換基底執行變換和反變換時更多地減少計算量和計算複雜度。現在將參照圖16和圖17詳細描述通過選擇性的頻域變換單元17和選擇性的頻域反變換器22分別執行的以係數為單位的選擇性的頻域變換和選擇性的頻域反變換。圖16示出根據本發明的另一實施例的以係數為單位對4X4的數據單元的變換係數進行分類的變換基底以及所述變換係數。圖1的選擇性的頻域變換器12可選擇通過以像素為單位並沿垂直頻率的方向劃分4X4的變換基底1610而獲得的矩陣Ml至M4作為選擇性的垂直變換基底，並可選擇從矩陣Ml至M4矩陣轉置的矩陣MIt至M4T作為選擇性的水平變換基底。因此，4X4的圖像數據塊X的4X4的係數塊1620可包括十六個係數Dl至D16。 可通過分別使用以下變換操作獲得係數Dl至D16 Dl = Ml · X · M1T, D2 = Ml · X · M2T, D3 = Ml · X · M3T, D4 = Ml · X · M4T ；D5 = M2 · X · M1T, D6 = M2 · X · M2T, D7 = M2 · X · M3T, D8 = M2 · X · M4T ;D9 = M3 · X · M1T, DlO = M3 · X · M2T, Dll = M3 · X · M3T, D12 = M3 · X · M4T ；D13 = M4 · X · M1T, D14 = M4 · X · M2T, D15 = M4 · X · M3T, D16 = M4 · X · M4T因此，可僅從矩陣Ml至M4而不是4X4的變換基底1610獲得係數Dl至D16。例如， 如果係數Dl、D2、D5、D6和D9不是「0」，則選擇性的頻域變換器12可根據頻段選擇變換基底M1、M2、M3和M4之一，將選擇的變換基底應用於圖像數據塊X，然後執行變換操作(S卩，Dl =Ml · X · M1T, D2 = Ml · X · M2T, D5 = M2 · X · M1T, D6 = M2 · X · M2T 禾口 D9 = M3 · X · M1T)。 圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數D1、D2、D5、D6和D9的數據。圖2的視頻解碼設備20可通過根據掃描除「0」以外的係數的順序將接收的係數安排在合適的位置上來執行解碼。選擇性的頻域反變換器22可通過分別使用圖16所示的係數Dl至D16中示出的按圓括號形式的反變換操作，對係數Dl至D16執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數Dl至D16中接收的係數，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數D1、D2、D5、D6和D9的數據，則選擇性的頻域反變換器22可通過對D1、D2、D5、D6和D9中的至少一個執行MIt *D1 ·Μ1、Μ1τ· 2 ·Μ2、 Μ3Τ · D5 · Μ1、Μ2Τ · D6 · Μ2和Μ3Τ · D9 · Ml中的對應的反變換操作，並組合執行結果來重構圖像數據塊X』。圖17示出根據本發明的另一實施例的以係數為單位對8X8的數據單元的變換係數進行分類的變換基底以及所述變換係數。圖1的選擇性的頻域變換器12可選擇通過以像素為單位並沿垂直頻率的方向劃分8X8的變換基底1710而獲得的矩陣Ml至Μ8作為選擇性的垂直變換基底，並可選擇從矩陣Ml至Μ8矩陣轉置的矩陣MIt至Μ8Τ作為選擇性的水平變換基底。因此，8X8的圖像數據塊X的8X8的係數塊1720包括係數Dl至D64。可通過分別使用以下變換操作獲得係數Dl至D64 Dl = Ml · X · M1T, D2 = Ml · X · M2T, D3 = Ml · X · M3T, D4 = Ml · X · Μ4Τ ；D5 = Ml · X · M5T, D6 = Ml · X · M6T, D7 = Ml · X · M7T, D8 = Ml · X · M8T ;D9 = M2 · X · M1T, DlO = M2 · X · M2T, Dll = M2 · X · M3T, D12 = M2 · X · M4T ；D13 = M2 · X · M5T, D14 = M2 · X · M6T, D15 = M2 · X · M7T, D16 = M2 · X · M8T ；D17 = M3 · X · M1T, D18 = M3 · X · M2T, D19 = M3 · X · M3T, D20 = M3 · X · M4T ；
D21=M3XM51，D22=M3XM61，D23=M3XM71，D24=M3XM8
D25=M4XMl1，D26=M4XM21，D27=M4XM31，D28=M4XM4
D29=M4XM51，D30=M4XM61，D31=M4XM71，D32=M4XM8
D33=M5XMl1，D34=M5XM21，D35=M5XM31，D36=M5XM4
D37=M5XM51，D38=M5XM61，D39=M5XM71，D40=M5XM8
D41=M6XMl1，D42=M6XM21，D43=M6XM31，D44=M6XM4
D45=M6XM51，D46=M6XM61，D47=M6XM71，D48=M6XM8
D49=M7XMl1，D50=M7XM21，D51=M7XM31，D52=M7XM4
D53=M7XM51，D54=M7XM61，D55=M7XM71，D56=M7XM8
D57=M8XMl1，D58=M8XM21，D59=M8XM31，D60=M8XM4
D61=M8XM51，D62=M8XM61，D63=M8XM71，D64=M8XM8因此，可僅從矩陣Ml至M8而不是8X8的變換基底1710獲得係數Dl至D64。例如，如果係數Dl、D2、D9、D10、D17、D19、D26和D27不是「0」，則選擇性的頻域變換器12可根據頻段選擇變換基底M1、M2、M3、M4、M5、M6、M7和M8之一，將選擇的變換基底應用於圖像數據塊 X，然後執行變換操作(艮口，Dl = Ml · X · M1T, D2 = Ml · X · M2T, D9 = M2 · X · M1T, DlO = M2 · X · M2T, D17 = M3 · X · M1T, D19 = M3 · X · M3T, D26 = M4 · X · M2T 禾口 D27 = Μ4·Χ·Μ3Τ)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數D1、D2、D9、D10、 D17、D19、D26 和 D27 的數據。圖2的視頻解碼設備20可通過根據掃描除「0」以外的係數的順序將接收的係數安排在合適的位置上來執行解碼。選擇性的頻域反變換器22可通過分別使用圖16所示的係數Dl至D64中示出的按圓括號形式的反變換操作，對係數Dl至D64執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數Dl至D64中接收的係數，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數Dl、D2、D9、D10、D17、D19、擬6和D27 的數據，則選擇性的頻域反變換器22可通過對Dl、D2、D9、D10、D17、D19、D26和D27中的至少一個執行 MIt · Dl · Ml、MIt · D2 · M2、M2T · D9 · Ml、M2T · DlO · M2、M3T · D17 · Ml、
M3T · D19 · M3、M4T · D26 · M2和M4T · D27 · M3中的對應的反變換操作，並組合執行結果來重構圖像數據塊X』。現在將參照圖18和圖19詳細描述對圖像數據分別通過選擇性的頻域變換器12 和選擇性的頻域反變換器22執行的選擇性的頻域變換和選擇性的頻域反變換，所述圖像數據的形狀不是正方塊類型。圖18示出根據本發明的另一實施例的通過以選擇性的頻域為單位對任意選擇的數據單元(例如，8X4的數據單元)進行劃分獲得變換係數的變換基底以及變換係數塊。選擇性的頻域變換器12可選擇從矩陣Ml和M2(通過以四個像素為單位並沿垂直頻率的方向劃分8X8的變換基底1810獲得矩陣Ml和M2)矩陣轉置的矩陣MIt和M2T作為選擇性的水平變換基底，並可選擇作為矩陣M3的4X4的變換基底1820作為選擇性的垂直變換基底。因此，8X4的圖像數據塊X的8X4的係數塊1820可根據垂直頻段以四個像素為單位被劃分，即，8 X 4的圖像數據塊X的8 X 4的係數塊1820可被劃分為兩個4 X 4的係數塊Dl和D2。可通過分別使用頻率變換操作(例如，Dl = M3 · X · MIt禾日D2 = M3 · X · M2T) 獲得係數塊Dl和D2。因此，可僅從矩陣Ml至M3而不是8X8的變換基底1810和4 X 4的變換基底1820 獲得根據頻段的係數塊Dl和D2。例如，如果除「0」以外的係數僅存在於係數塊Dl中，則選擇性的頻域變換器12可根據頻段選擇變換基底Ml和M3，將變換基底Ml和M3應用於圖像數據塊X，然後執行變換操作(例如，Dl = M3 · X · MIt)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊Dl的數據。選擇性的頻域反變換器22可通過分別使用圖18所示的係數塊Dl和D2中示出的按圓括號形式的反變換操作，對係數塊Dl和D2執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl和D2中接收的係數塊，來重構圖像數據塊V。例如，如果係數接收器21僅接收關於係數塊Dl的數據，則選擇性的頻域反變換器 22可通過對係數塊Dl執行反變換操作(即，M3T · Dl · Ml)來重構圖像數據塊V。圖19示出根據本發明的另一實施例的根據選擇性的頻域將任意選擇的數據單元 (例如，8X 16的數據單元)劃分為變換係數的變換基底以及變換係數塊。選擇性的頻域變換器12可選擇從矩陣Ml和M2 (通過以四個像素為單位並沿垂直頻率的方向劃分8X8的變換基底1910獲得矩陣Ml和M2)矩陣轉置的矩陣MIt和M2T作為選擇性的水平變換基底，並可選擇通過以八個像素為單位且沿垂直頻率的方向劃分16X16 的變換基底1920而獲得的矩陣M3和M4作為選擇性的垂直變換基底。因此，8X 16的圖像數據塊X的8X 16的係數塊1930可根據水平頻段以四個像素為單位被劃分，並可根據垂直頻段以八個像素為單位被劃分，即，8X16的圖像數據塊X的 8X16的係數塊1930可被劃分為四個4X8的係數塊Dl至D4。可通過分別使用變換操作 (例如，Dl = M3 · X · M1T, D2 = M3 · X · M2T、D3 = M4 · X · MIt 禾口 D4 = M4 · X · M2T)獲得係數塊 D1、D2、D3 和 D4。因此，可僅從矩陣Ml至M4而不是8X8的變換基底1910和16X17的變換基底 1920獲得根據頻段的係數塊Dl至D4。例如，如果除「0」以外的係數僅存在於係數塊Dl中， 則選擇性的頻域變換器12可根據頻段選擇變換基底Ml和M3，將變換基底Ml和M3應用於圖像數據塊X，並執行變換操作(例如，Dl = M3 · X · MIt)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊Dl的數據。選擇性的頻域反變換器22可通過分別使用圖19所示的係數塊Dl至D4中示出的按圓括號形式的反變換操作，對係數塊Dl至D4執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl、D2、D3和D4中接收的係數塊，來重構圖像數據塊V。例如，如果係數接收器21僅接收關於係數塊Dl的數據，則選擇性的頻域反變換器22可通過對與垂直低頻段和水平低頻段兩者對應的係數塊Dl執行反變換操作(例如， M3T · Dl · Ml)來重構圖像數據塊X，。現在將參照圖20和圖21詳細描述分別通過選擇性的頻域變換單元21和選擇性的頻域反變換器22對大圖像數據單元執行的選擇性的頻域變換和選擇性的頻域反變換。
圖20示出根據本發明的另一實施例的根據頻段將大數據單元(例如，16X16的數據單元)劃分為十六個相等塊的變換係數的變換基底以及十六個相等的變換係數塊。圖1的選擇性的頻域變換器12可選擇通過以四個像素為單位並沿垂直頻率的方向劃分大變換基底(例如，16X16的變換基底2010)而獲得的矩陣Ml至M4作為選擇性的垂直變換基底，並可選擇從矩陣Ml至M4矩陣轉置的矩陣MIt至M4T作為選擇性的水平變換基底。因此，16X16的圖像數據塊X的16X 16的係數塊2020可根據頻段被劃分為十六個16 X 16的係數塊Dl至D16。可通過分別使用以下變換操作獲得係數塊Dl至D16 Dl = Ml · X · M1T, D2 = Ml · X · M2T, D3 = Ml · X · M3T, D4 = Ml · X · M4T ；D5 = M2 · X · M1T, D6 = M2 · X · M2T, D7 = M2 · X · M3T, D8 = M2 · X · M4T ;D9 = M3 · X · M1T, DlO = M3 · X · M2T, Dll = M3 · X · M3T, D12 = M3 · X · M4T ；D13 = M4 · X · M1T, D14 = M4 · X · M2T, D15 = M4 · X · M3T, D16 = M4 · X · M4T因此，可僅從矩陣Ml至M4而不是16 X 16的變換基底2010獲得根據頻段的係數塊Dl至D16。例如，如果除「0」以外的係數僅存在於係數塊D1、D2、D5、D6和D9中，則選擇性的頻域變換器12可根據頻域選擇變換基底Ml至M4之一，將選擇的變換基底應用於圖像數據塊 X，並執行變換操作(艮口，Dl = Ml · X · M1T, D2 = Ml · X · M2T、D5 = M2 · X · M1T、D6 =M2 · X · M2T和D9 = M3 · X · M1T)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊D1、D2、D5、D6和D9的數據。選擇性的頻域反變換器22可通過分別使用圖20所示的係數塊Dl至D16中示出的按圓括號形式的反變換操作，對係數塊Dl至D16執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl至D16中接收的係數塊，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數塊Dl、D2、D5、D6和D9的數據，則選擇性的頻域反變換器22可通過對係數塊Dl、D2、D5、D6和D9分別執行反變換操作(即， MIt · Dl · Ml、MIt · D2 · M2、M2T · D5 · M1、M2T · D6 · M2 禾口 M3T · D9 · Ml)，並組合執行結果來重構圖像數據塊X』。圖21示出本發明的另一實施例的用於將大數據單元(例如，32X32的數據單元) 劃分為8X4的係數塊的變換基底以及所述係數塊。圖1的選擇性的頻域變換器12可選擇通過以四個像素為單位並沿垂直頻率的方向劃分32X32的變換基底2110而獲得的矩陣Ml至M8作為選擇性的垂直變換基底。另外， 選擇性的頻域變換器12可選擇從矩陣M9、M10、Mll和M12矩陣轉置的矩陣M9T、MIOt, MIIt 和Μ12τ作為選擇性的水平變換基底，其中，通過以八個像素為單位並沿垂直頻率的方向劃分32X32的變換基底2120獲得矩陣M9、M10、Mll和M12。因此，32X 32的圖像數據塊X的32X32的係數塊2130可包括8X4的係數塊Dl 至D32。可通過分別使用以下變換操作獲得係數塊Dl至D32 Dl = Ml · X · M9T, D2 = Ml · X · M10T, D3 = Ml · X · M11T, D4 = Ml · X · M12T ；D5 = M2 · X · M9T, D6 = M2 · X · M10T, D7 = M2 · X · M11T, D8 = M2 · X · M12T ；D9 = M3 · X · M9T, DlO = M3 · X · M10T, Dll = M3 · X · M11T, D12 = M3 · X · M12T ；D13 = M4 · X · M9T, D14 = M4 · X · M10T, D15 = M4 · X · M11T, D16 = M4 · X · M12T ；
D17 = M5 · X · M9T, D18 = M5 · X · M10T, D19 = M5 · X · M11T, D20 = M5 · X · Μ12τ ；D21 = M6 · X · M9T, D22 = M6 · X · M10T, D23 = M6 · X · M11T, D24 = M6 · X · M12T ；D25 = M7 · X · M9T, D26 = M7 · X · M10T, D27 = M7 · X · M11T, D28 = M7 · X · M12T ；D29 = M8 · X · M9T, D30 = M8 · X · M10T, D31 = M8 · X · M11T, D32 = M8 · X · M12T因此，可僅從矩陣Ml至M12而不是32 X 32的變換基底2110和2120獲得係數塊Dl 至D32。例如，如果係數D1、D2、D3、D5、D6、D9、D10、D13、D17和D21不是「0」，則選擇性的頻域變換器12可根據頻段選擇變換基底Ml至M12中的至少一個，將選擇的至少一個變換基底應用於圖像數據塊X，然後執行變換操作(S卩，Dl =Ml ·Χ·Μ9τ、 2 =Ml ·Χ·Μ10τ、 3 = Ml · X · M11T、D5 = M2 · X · M9T、D6 = M2 · X · M10T、D9 = M3 · X · M9T、D10 = M3 · X · M10T、 D13 = M4 · X · M9T、D17 = M5 · X · M9T 禾口 D21 = M6 · X · M9T)。圖 1 的選擇性的頻域係數輸出單元13可僅輸出關於係數塊Dl、D2、D3、D5、D6、D9、D10、D13、D17和D21的數據。選擇性的頻域反變換器22可通過分別使用圖21所示的係數塊Dl至D32中示出的按圓括號形式的反變換操作，對係數Dl至D32執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl至D32中接收的係數塊，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數塊Dl、D2、D3、D5、D6、D9、D10、D13、D17 和D21的數據，則選擇性的頻域反變換器22可通過對係數塊DU D2、D3、D5、D6、D9、D10、 D13、D17 禾口 D21 中的至少一個執行 MIt .Dl ·Μ9、Μ1Τ *D2 ·Μ10、Μ1Τ · D3 ·Μ11、Μ2Τ · D5 ·Μ9、 Μ2Τ · D6 · Μ10、Μ3Τ · D9 · Μ9、Μ3Τ · DlO · Μ10、Μ4Τ · D13 · Μ9、Μ5Τ · D17 · Μ9 禾Π Μ6Τ · D21 · Μ9 之中的對應的反變換操作，並組合執行結果來重構圖像數據塊X』。因此，可針對其選擇性的頻域對大數據單元(例如，16X16或更大的數據單元)進行頻率變換和頻率反變換，從而減少計算量和計算複雜度。圖22示出根據本發明的另一實施例的將根據每個變換係數的頻段而被單獨選擇的變換基底及其變換係數塊。選擇性的頻域變換器12和選擇性的頻域反變換器22可選擇和使用多個變換基底中的根據變換係數的頻段的變換基底。選擇性的頻域變換器12可選擇通過以四個像素為單位並沿垂直頻率的方向劃分第一 16X16的變換基底2210而獲得的矩陣中的最低頻段的矩陣Ml、通過以四個像素為單位並沿垂直頻率的方向劃分第二 16 X 16的變換基底2220而獲得的矩陣中的第二最低頻段的矩陣M2、通過以四個像素為單位並沿垂直頻率的方向劃分第三16X16的變換基底2230 而獲得的矩陣中的第三最低頻段的矩陣M3、以及通過以四個像素為單位並沿垂直頻率的方向劃分第四16X 16的變換基底2240而獲得的矩陣中的最高頻段的矩陣M4作為選擇性的垂直變換基底，並可選擇通過對矩陣Ml至M4分別進行矩陣轉置而獲得的的矩陣Μ1τ、M2T、 M3T和M4T作為選擇性的水平變換基底。因此，16X16的圖像數據塊X的16X 16的係數塊2250可根據頻段被劃分為十六個4X4的係數塊Dl至D16。可通過分別使用以下變換操作獲得係數塊Dl至D16 Dl = Ml · X · M1T, D2 = Ml · X · M2T, D3 = Ml · X · M3T, D4 = Ml · X · M4T ；D5 = M2 · X · M1T, D6 = M2 · X · M2T, D7 = M2 · X · M3T, D8 = M2 · X · M4T ;D9 = M3 · X · M1T, DlO = M3 · X · M2T, Dll = M3 · X · M3T, D12 = M3 · X · M4T ；
D13 = M4 · X · M1T, D14 = M4 · X · M2T, D15 = M4 · X · M3T, D16 = M4 · X · M4T因此，可僅從矩陣Ml至M4而不是16 X 16的變換基底2210、2220、2230和2240獲得根據頻段的係數塊Dl至D16。例如，如果除「0」以外的係數僅存在於係數塊Dl、D2、D3、 D5、D6和D9中，則選擇性的頻域變換器12可根據頻域選擇變換基底Ml至M4之一，將選擇的變換基底應用於圖像數據塊X，並執行變換操作(即，Dl =Ml ·Χ·Μ1τ、 2 =Ml ·Χ·Μ2Τ、 D5 = Μ2 · X · M1T、D6 = M2 · X · M2T禾口 D9 = M3 · X · M1T)。圖1的選擇性的頻域係數輸出單元13可僅輸出關於係數塊01、02、03、05、06和D9的數據。選擇性的頻域反變換器22可通過分別使用圖22所示的係數塊Dl至D16中示出的按圓括號形式的反變換操作，對係數塊Dl至D16執行反變換。也就是說，選擇性的頻域反變換器22可通過將對用於執行變換的選擇性的垂直變換基底和選擇性的水平變換基底進行矩陣轉置的結果應用於從係數塊Dl至D16中接收的係數塊，來重構圖像數據塊X』。例如，如果係數接收器21僅接收關於係數塊D1、D2、D3、D5、D6和D9的數據，則選擇性的頻域反變換器22可通過對係數塊D1、D2、D3、D5、D6和D9分別執行反變換操作(即， MIt · Dl · Ml、MIt · D2 · M2、M1T · D3 · M3、M2T · D5 · M1、M2T · D6 · M2 禾口 M3T · D9 · Ml)，並隨後組合執行結果來重構圖像數據塊X』。因此，可基於頻段的特性和變換/反變換的目標，使用與頻段對應的不同變換基底執行選擇性的頻域變換/反變換。根據圖11至圖22的以上實施例，使用基於具有除「0」以外的係數的頻段、任意大小的係數塊和係數而選擇的選擇性的水平變換基底和選擇性的垂直變換基底，執行選擇性的頻域變換/反變換。因此，計算量和計算複雜度比當使用一般的正方變換基底執行變換或反變換時小。現在將參照圖23至圖33詳細描述根據本發明的實施例的由選擇性的頻域變換器 12和選擇性的頻域反變換器22執行的，基於頻域改變掃描係數的順序的方法。圖23至圖 31示出根據本發明的實施例的掃描包括在每個8X8的係數塊中的係數的順序。圖23示出掃描8X8的變換係數的一般順序。即使在包括在8X8的變換係數塊 2310 中的係數中僅係數 D1、D2、D9、D10、D13、D14、D17、D19、D26 和 D27 不是「0」，但根據一般的掃描順序，從係數Dl到係數D16的係數長度是「27」。圖M示出根據本發明的實施例的根據頻段掃描8X8的變換係數的順序。圖1的視頻編碼設備10可按這樣的方式設置係數掃描順序以根據頻段產生的係數塊為單位掃描係數。例如，如果在通過將8X8的係數塊MlO劃分為四個部分而獲得的係數塊M20、2430、M40和M50中，垂直低頻段的兩個係數塊M20和M30包括的除「0」 以外的係數，則可按這樣的方式設置係數掃描順序以塊為單位單獨地掃描這些係數。另外，圖2的視頻解碼設備20可通過以係數塊為單位單獨掃描係數來讀取和解碼所接收的根據頻段劃分的係數塊的係數。通過將8X8的係數塊MlO劃分為四個子塊並單獨掃描所述四個子塊而獲得的係數長度(即，除「0」以外的係數的總數量)是15+5 = 20。視頻編碼設備10可設置係數塊模式信息並對係數塊模式信息進行編碼，所述係數塊模式信息指示包括產生的頻段係數的係數塊是否包括除「0」以外的係數。編碼的係數塊模式(CCBP)信息由按照以Z字形模式排列係數塊的順序排列的比特組成，以指示所述係數塊是否包括除「0」以外的係數。例如，當係數塊M20、2430、M40和M50中的垂直低頻段的係數塊M20和M30包括除「0」以外的係數時，關於8X8的係數塊MlO的CCBP信息可被設置為「1100」。另外，圖2的視頻解碼設備20可通過接收和讀取CCBP信息來確定包括除「0」以外的係數的係數塊。視頻解碼設備20還可基於CCBP信息確定係數塊M20和2430 (所述係數塊M20和M30被確定為包括除「0」以外的係數)的位置，並確定係數塊M20和M30 中的掃描的係數的位置。圖25示出根據本發明的另一實施例的掃描整個頻段中的8X8的變換係數的順序。圖1的視頻編碼設備10可按這樣的方式設置係數掃描順序根據頻段產生的所有係數塊的係數被一起掃描。例如，可按這樣的方式設置係數掃描順序包括在8X8的係數塊MlO中的兩個係數塊對20和對30的係數可被連續掃描。在這種情況下，係數長度，從 DC分量係數到最高頻率係數連續掃描的除「0」以外的係數的係數的數量可以是「21」。圖2的視頻解碼設備可按照從係數塊M20到係數塊M50 (自係數塊MlO劃分所述係數塊M20至2450)順序地一起掃描除「0」以外的係數的順序，讀取接收的根據頻段劃分的係數塊的係數，並對所述係數進行解碼。圖沈示出根據本發明的另一實施例的掃描除與中間頻段對應的係數外的8X8的變換係數的順序。圖1的視頻解碼設備10可按這樣的方式改變係數掃描順序可掃描圖像數據的所有係數之中除預定頻段以外的頻段的係數塊。例如，可按這樣的方式設置係數掃描順序在通過將8X8的係數塊沈10劃分為四個部分而獲得的8X8的係數塊沈20、2630、 2640和沈50中，除均包括係數「0」的係數塊沈30和沈40外，可連續掃描垂直和水平最低頻段的係數塊2620以及垂直和水平最高頻段的係數塊沈50中包括的係數。在這種情況下， 編碼的係數塊模式(CCBP)信息可被設置為「1001」，並且從最低頻段的DC分量係數Dl到係數D54的係數長度是「25」。圖2的視頻解碼設備可按照從係數塊沈20到係數塊沈50 (從係數塊MlO劃分所述係數塊沈20至係數塊沈50)連續地掃描除「0」以外的係數的順序，讀取接收的係數塊的所有係數，並對接收的係數塊的所有係數進行解碼。在這種情況下，視頻解碼設備20可接收並讀取編碼的係數塊模式(CCBP)信息，並確定接收的係數屬於包括在8X8的係數塊洸10中的8X8的係數塊洸20和洸50。圖27示出根據本發明的實施例的通過使用係數塊的水平大小和垂直大小來表示關於掃描8X8的變換係數的順序的信息。圖1的視頻編碼設備10可對關於與係數掃描範圍對應的係數塊大小的信息進行編碼。可以以水平索引X和垂直索引Y表示關於係數塊大小的信息。例如，如果包括在8X8 的係數塊2710中的係數D1、D2、D9、D10、D13、D14、D17、D19、D26和D27不是「0」，則關於係數塊大小的信息可被設置為X = 6且Y = 4，以確定係數掃描範圍。從最低頻段的DC分量係數Dl到係數D14的係數長度是「21」。圖2的視頻解碼設備20可基於關於係數塊大小的信息，確定包括將被掃描的係數的係數塊。圖觀示出根據本發明的另一實施例的掃描8X8的變換係數的順序。圖1的視頻編碼設備10可以以水平索引X和垂直索引Y表示關於係數塊大小的信息。例如，用於掃描不是「0」且包括在8X8的係數塊觀10中的係數D1、D9、D17和D25的係數長度是「10」。圖2的視頻解碼設備20可基於關於係數塊大小的信息，通過獲得水平索引X和垂直索引Y來確定包括將被掃描的係數的係數塊。圖四示出根據本發明的另一實施例的通過使用係數塊的垂直大小或水平大小來表示關於掃描8X8的變換係數的順序的信息的方法。圖1的視頻編碼設備10可以以水平索引X或垂直索引Y表示關於係數塊大小的信息。例如，如果8X8的係數塊觀10的係數D1、D9、D17和D25不是「0」，則可僅基於垂直索引Y(例如，「4」)確定將被掃描的係數塊四20。圖2的視頻解碼設備20可通過從關於係數塊大小的信息中僅提取垂直索引Y(例如，「4」)來確定將被掃描的係數塊四20，以掃描接收的係數D1、D9、D17和D25。在這種情況下，係數塊四200的係數長度被減少至「4」。圖30示出根據本發明的另一實施例的掃描8X8的變換係數的順序。如果8X8 的係數塊3010的係數Dl、D9、D10、Dl 1、D25、D34和D42不是「0」，則基於根據Z字形模式的一般係數掃描順序，係數長度是「23」。圖31示出根據本發明的另一實施例的通過將係數塊的垂直索引和水平索引表示為「2」的倍數來表示關於掃描8X8的變換係數的順序的信息的方法。圖1的視頻編碼設備10可通過將水平索引X或垂直索引Y設置為「2」的倍數來表示關於係數塊大小的信息。例如，如果8X8的係數塊3110的係數D1、D9、D10、D11、D25、 D34和D42不是「0」，則僅有包括係數D1、D9、D10、D11、D25、D34和D42的係數塊3120可被編碼。水平索引X和垂直索引Y可被設置為「2」的倍數的「4」和「6」，作為關於係數塊3120 的大小的信息。在這種情況下，係數長度是「 19」。圖2的視頻解碼設備20可基於接收的關於係數塊大小的信息，確定包括接收的係數的係數塊的大小。可從關於係數塊大小的信息中提取設置為「2」的倍數的水平索引X和垂直索引Y。例如，如果從關於係數塊大小的信息中提取出水平索引X = 4且垂直索引Y = 6，則可基於提取的索引確定係數塊3110的包括係數D1、D9、D10、D11、D25、D34和D42的係數塊3120的大小和位置。圖32示出根據本發明的另一實施例的基於每個頻段的頻率特性來改變掃描8X8 的變換係數的順序的方法。可從bXb的垂直變換基底矩陣3210中選擇與包括在垂直頻段的較低部分中的a/b的垂直頻段對應的aXb的垂直變換基底矩陣。類似地，可從cXc的水平變換基底矩陣3220選擇與包括在水平頻段的較低部分中的d/c水平頻段對應的cXd 的水平變換基底矩陣。如果通過將bXb的垂直變換基底矩陣3210和cX c的水平變換基底矩陣3220應用於bXc的圖像數據來執行變換，則獲得bX c的係數塊3230。當使用根據本發明的實施例的基於選擇性的頻域而選擇的變換基底時，可通過將 a X b的垂直變換基底矩陣3210和c X d的水平變換基底矩陣3220應用於b X c的圖像數據來執行變換。根據單獨掃描以係數塊為單位基於上述方法產生的係數塊3240、3250和3260 的係數的順序，從DC分量係數到除「0」以外的最高頻率係數的係數長度是「對」。圖1的視頻編碼設備10和圖2的視頻解碼設備20可針對係數塊3240、3250和 3260中的每一個單獨改變係數掃描順序。例如，如果根據係數塊3260的頻率特性確定垂直
32頻段佔優勢，則係數塊3260的係數掃描順序可被改變為係數塊3270中示出的掃描順序。圖33示出根據本發明的另一實施例的掃描除與中間頻段對應的係數以外的8X8 的變換係數的順序。視頻編碼設備10可根據垂直頻段從bXb的垂直變換基底矩陣3310 中選擇選擇性的垂直變換基底，並根據水平頻段從cXc的水平變換基底矩陣3320中選擇選擇性的水平變換基底。如果將變換應用於bX c的圖像數據，則獲得bX c的係數塊3330和3340。為了掃描係數塊3330的除「0」以外的係數，從DC分量係數到最高頻率係數的係數長度是「30」。當根據本發明的實施例的基於選擇性的頻域所選擇的變換基底被使用時，可通過將選擇性的垂直變換基底和選擇性的水平變換基底應用於bXc的圖像數據來執行變換。 例如，可通過將bXb的垂直變換基底矩陣3310的垂直頻段劃分為四個頻段並排除所述四個頻段中的第二頻段和第四頻段，來選擇選擇性的垂直變換基底，並可通過將cXc的水平變換基底矩陣3320的水平頻段劃分為四個頻段並排除所述四個頻段中的第三頻段，選擇選擇性的水平變換基底。可通過使用根據本發明的實施例的選擇性的垂直變換基底和選擇性的水平變換基底，執行變換來獲得係數塊3350、3360、3370和3380。在係數塊3340中，掃描根據頻段的係數塊3350至3380的順序可按照係數塊3350、3360、3370和3380的係數可被連續掃描的方式被設置，其中，係數塊3350、3360、3370和3380均包括除「0」以外的係數。在這種情況下，係數長度可被減少至「 19」。圖34是示出根據本發明的實施例的使用選擇性的頻域變換來執行低複雜度變換的視頻編碼方法的流程圖。在操作3410，以預定的數據單元為單位接收輸入畫面的圖像數據。如果根據基於每個圖像區域的分層圖像單元的視頻編碼方法對輸入畫面進行編碼，則可接收到變換單元的圖像數據。在操作3420，可通過將針對預定頻域的變換基底應用於接收的數據來執行變換， 從而獲得選擇性的頻域的係數。所述預定頻域可包括預定頻段、預定大小的係數塊、預定係數以及排除預定頻段的其他頻段。可通過將與預定頻域對應的選擇性的垂直變換基底和選擇性的水平變換基底應用於接收的數據，從變換基底產生所述選擇性的頻域的係數。可使用正方變換基底或長方變換基底，並且可從不同的變換基底中選擇垂直變換基底和水平變換基底，或者垂直變換基底和水平變換基底可被選擇為與不同頻段對應。在操作3430，針對輸入畫面的預定數據單元產生的係數可被輸出。可按這樣的方式改變係數掃描順序可掃描整個係數塊中以頻段為單位選擇性地產生的係數，並且可根據改變的係數掃描順序輸出所述係數。另外，關於選擇性的頻域變換的細節的信息(例如， 變換基底的類型和選擇的頻段)、指示編碼的係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP)信息、以及關於係數掃描順序的信息可被編碼和發送。圖35是示出根據本發明的實施例的使用選擇性的頻域反變換來執行低複雜度反變換的視頻編碼方法的流程圖。在操作3510，畫面的預定數據單元的係數被接收。另外，還可接收關於選擇性的頻域變換的細節的信息(例如，變換基底的類型和選擇的頻段)、指示編碼的係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP)信息、以及關於係數掃描順序的信息。可基於CCBP信息和關於係數掃描順序的信息，以改變的係數掃描順序讀取接收的係數。在操作3520，通過將針對預定頻域的變換基底應用於接收的係數來執行反變換， 從而獲得按預定數據單元的圖像數據。當接收到關於選擇性的頻域的信息和關於係數掃描順序的信息時，可基於這些信息確定接收的係數的位置。另外，可通過檢測關於以選擇的頻域為單位應用的變換基底的信息，對接收的係數執行反變換。還可通過僅對接收的係數執行反變換來重構原始圖像數據。在操作3530，從在操作3520中產生的圖像數據重構畫面。將參照圖36至圖42描述根據本發明的實施例的使用作為另一類型的低複雜度變換的子數據單元變換的視頻編碼方法和設備以及視頻解碼方法和設備。圖36是根據本發明的另一實施例的使用子數據單元變換來執行低複雜度變換的視頻編碼設備3600的框圖。視頻編碼設備3600包括圖像數據接收器3610、子數據單元劃分單元3620、子數據單元變換器3630以及子數據單元係數輸出單元3640。圖像數據接收器3610按預定數據單元接收輸入畫面的圖像數據。可通過將輸入畫面的圖像數據劃分為預定大小的塊來獲得所述預定數據單元，以對其執行變換。按預定數據單元的圖像數據可以是正方數據塊或長方數據塊。子數據單元劃分單元3640以多個子數據單元為單位對接收的數據進行劃分。子數據單元變換器3630可通過單獨地選擇變換基底並將所述變換基底應用於所述多個子數據單元，執行變換以產生子數據單元的係數。子數據單元係數輸出單元3640可輸出輸入畫面的預定數據單元的係數。視頻編碼設備3600可按這樣的方式改變係數掃描順序可對以子數據單元為單位產生的係數塊的係數進行掃描和編碼。例如，可以以這樣的方式改變係數掃描順序在接收的數據的全部係數中可單獨掃描子數據單元的係數塊，可連續掃描係數塊的所有係數， 或者可掃描除子數據單元的係數塊以外的係數塊。視頻編碼設備3600可對關於子數據單元的大小的信息進行編碼，以執行係數掃描。視頻編碼設備3600還可對指示子數據單元的係數塊是否包括除「0」以外的係數的係數塊模式信息進行編碼。視頻編碼設備3600可改變係數掃描順序以根據改變的係數掃描順序執行熵編碼。子數據單元係數輸出單元3640可基於改變的係數掃描順序，輸出以子數據單元為單位產生的係數。視頻編碼設備3600可對關於子數據單元變換的細節的信息(諸如子數據單元的大小和數量以及與子數據單元對應的變換基底的類型)進行編碼和發送。對於劃分-組合變換，子數據單元變換器3630可對與通過子數據單元變換獲得的子數據單元對應的係數進行組合，然後輸出組合結果。例如，可通過組合對應的係數或以子數據單元為單位對其執行變換來執行劃分-組合變換。也就是說，子數據單元變換和劃分-組合變換可被連續執行。當視頻編碼設備3600被用於執行基於每個圖像區域的分層數據單元的視頻編碼時，以預定數據單元輸入到圖像數據接收器3610的圖像數據可以是包括在當前最大編碼單元中的當前編碼單元的殘差分量。
34
圖37是根據本發明的另一實施例的使用子數據單元反變換來執行低複雜度反變換的視頻解碼設備3700的框圖。視頻解碼設備3700包括係數接收器3710、子數據單元係數產生器3720、子數據單元反變換器3730和畫面重構單元3740。係數接收器3710可接收畫面的預定數據單元的係數。可通過對畫面的圖像數據的係數進行劃分來獲得包括接收的係數的預定數據單元，以執行反變換。子數據單元係數產生器3720可從經由係數接收器3710接收的係數產生多個子數據單元的係數。子數據單元反變換器3730可從子數據單元係數產生器3720接收子數據單元的係數，並通過單獨地選擇變換基底並將所述變換基底應用於接收的係數，執行反變換來產生按預定數據單元的圖像數據。畫面重構單元3740從產生的圖像數據重構畫面。視頻解碼設備3700可接收並讀取關於子數據單元變換的細節的信息(諸如子數據單元的大小和數量以及與子數據單元對應的變換基底的類型)。視頻解碼設備3700可通過接收並讀取關於係數掃描順序的信息，分析改變的係數掃描順序。視頻解碼設備3700可按這樣的方式改變係數掃描順序可單獨地或連續地掃描接收的子數據單元的係數塊中的係數。視頻解碼設備3700還可接收關於係數塊大小信息的信息，以執行係數掃描。視頻解碼設備3700可接收編碼的係數塊模式(CCBP)信息，所述編碼的係數塊模式(CCBP)信息指示包括根據頻段產生的係數的係數塊是否包括除「0」以外的係數。在這種情況下，視頻解碼設備3700可按這樣的方式改變係數掃描順序可基於 CCBP信息僅掃描包括除「0」以外的係數的係數塊。如果子數據單元係數產生器3720接收通過執行劃分_組合變換獲得的係數，則子數據單元係數產生器3720可將所述係數複製與子數據單元的數量對應的次數，並根據子數據單元對所述係數進行分類。否則，子數據單元係數產生器3720可通過對係數執行反變換，將所述係數分類為多個子數據單元，其中，通過執行劃分-組合變換獲得所述係數。圖38示出根據本發明的實施例的子數據單元變換的構思。圖36的視頻編碼設備 3600和圖37的視頻解碼設備3710可採用現在將參照圖38描述的子數據單元變換/反變換。為了方便解釋，將參照圖38描述對一維(ID)數據執行的變換/反變換。可通過沿水平頻率和垂直頻率的方向連續執行對一維(ID)數據執行的變換/反變換，對二維OD) 數據進行頻率變換或頻率反變換。具有採樣長度N的圖像數據3810被劃分為K個子數據單元，每個子數據單元具有採樣長度M,對所述K個子數據單元執行變換以獲得所述K個子數據單元的係數分塊 (partition) 3820、3830、3840、3850、. · ·、至3860。可根據採樣長度M以圖像數據3810的採樣的順序對所述K個子數據單元進行劃分，或者所述K個子數據單元可根據預定劃分規則
被分類為包括M個採樣。分塊索引0、1、2.....k.....至K被分別分配給係數分塊3820、
3830、3840、3850、...、至 3860。基於離散餘弦變換(DCT)，與對具有採樣長度N的數據執行的變換的等式3870相比，根據本發明的實施例的子數據單元變換的等式3880是對具有採樣長度M並分配有分塊索引K的子數據單元執行的變換的等式。
具體地，在等式3880中，"x(j) 」表示與具有採樣長度M並分配有分塊索引K的子數據單元對應的數據，「Z(i，Μ, N, K) 」表示分配有該子數據單元的分塊索引K的係數分塊。 在等式3880中，如果包括在「Z(i，Μ, N, K)」中的分塊索引K被「k( = 0，1，2，. . .，K) 」替換，則替換的結果(即，Z(i，M，N, k))表示分配給任意分塊索引的子數據單元的變換係數。可通過使用等式3880的逆操作對通過執行子數據單元變換獲得的係數分塊Z (i， M，N，k)進行頻率反變換。基於等式3880的係數分塊Z (i，M，N, k)表示將DCT基底應用於針對分配有分塊
索引0、1、2.....k、...至K的所有子數據單元的變換基底的結果，但根據本發明的實施例
的子數據單元變換可使用針對所有的子數據單元單獨選擇的變換基底。因此，視頻編碼設備3600可對從圖像數據的空域劃分的多個子數據單元執行變換，以產生與所述多個子數據單元對應的係數。視頻解碼設備3700可通過對多個子數據單元的係數執行反變換並在空域中組合所述執行的結果，重構原始圖像數據。當一個大數據單元被劃分為預定數量的小數據單元，並且對所述預定數量的小數據單元單獨執行變換或反變換時的計算量和計算複雜度會比當直接對所述大數據單元執行變換或反變換時小。因此，可通過使用視頻編碼設備3600和視頻解碼設備3700來減少當執行變換和反變換時的計算量和計算複雜度。圖39示出根據本發明的實施例的使用子數據單元變換的劃分-組合變換的構思。 在根據本發明的實施例的劃分-組合變換中，大空域被劃分為多個小空域並且所述小空域的變換係數被組合以獲得一個頻域的變換係數。還可通過執行以上參照圖38描述的子數據單元變換來產生所述多個小空域的變換係數。也就是說，可通過將具有採樣長度N的圖像數據3810劃分為均具有採樣長度M的 K個子數據單元，並隨後組合通過執行子數據單元變換而獲得的K個係數分塊3820、3830、
3840.....3850.....至3860，來產生具有採樣長度M的係數分塊3970。在這種情況下，可
通過簡單地將這些係數分塊相加或對這些係數分塊執行另一變換，組合所述K個係數分塊 3820、3830、3840、... 、3850、···、至 3860。視頻編碼設備3600可對具有採樣長度M的係數分塊3970進行編碼和發送。圖40示出根據本發明的實施例的使用子數據單元變換的劃分-組合反變換的構思。圖37的視頻解碼設備3700可接收具有採樣長度M的係數分塊4070。對於劃分-組合反變換，通過將具有採樣長度M的係數分塊4070的係數分離來重構K個係數分塊4020、
4030、4040.....4050.....至4060，其中，通過執行劃分-組合變換獲得具有採樣長度M的
係數分塊4070的係數。 子數據單元係數產生器3720可通過將係數分塊4070的係數複製到K個係數分塊 4020、4030、4040、· · ·、4050、...、至4060的對應的係數位置，或通過對係數分塊4070的係數執行另一反變換來重構K個係數分塊4020、4030、4040、· · ·、4050、...、至4060。子數據單元反變換器3730可通過對K個係數分塊4020、4030、4040.....
4050.....至4060執行子數據單元反變換來重構具有採樣長度N的原始圖像數據4010。圖41是示出根據本發明的另一實施例的使用子數據單元變換來執行低複雜度變換的視頻編碼方法的流程圖。在操作4110，以預定數據單元為單位接收輸入畫面的圖像數據。輸入圖像的預定數據單元可以是用於執行變換的數據單元。在操作4120，圖像數據被劃分為多個子數據單元。在操作4130，通過單獨選擇變換基底並將所述變換基底應用於所述多個子數據單元，執行變換來產生所述子數據單元的係數。可使用以上參照圖38描述的子數據單元變換的等式3880。在操作4140，子數據單元的係數被輸出。在這種情況下，可通過執行劃分-組合變換來組合與子數據單元對應的係數塊並可輸出組合的結果。可通過組合與子數據單元對應的係數塊或對與子數據單元對應的係數塊執行另一變換的劃分-組合變換，獲得和輸出係數。另外，關於係數掃描順序的信息、關於子數據單元變換的細節的信息以及編碼的係數塊模式(CCBP)信息可被編碼和輸出。圖42是示出根據本發明的另一實施例的使用子數據單元反變換來執行低複雜度反變換的視頻解碼方法的流程圖。在操作4210，畫面的預定數據單元的係數被接收。另外，關於子數據單元變換的細節的信息(例如，變換基底的類型以及子數據單元的數量和長度)、指示編碼的係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP)信息、以及關於係數掃描順序的信息可被接收。可基於CCBP信息和關於係數掃描順序的信息，以改變的係數掃描順序來讀取接收的係數。在操作4220，從在操作4210中接收的係數產生多個子數據單元的係數。如果接收到通過執行劃分-組合變換而獲得的係數，則可通過將接收的係數複製與子數據單元的數量對應的次數來將所述係數分類到多個子數據單元。否則，可通過對接收的係數執行另一反變換，將通過劃分-組合變換獲得的係數分類到子數據單元。在操作4230，子數據單元的係數被接收，並通過單獨選擇用於所述係數的變換基底來對其執行反變換，從而獲得按預定數據單元的圖像數據。在操作4240，從在操作4230 中產生的圖像數據重構畫面。將參照圖43至圖46描述根據本發明的實施例的使用按比例縮減變換的視頻編碼方法和設備以及視頻解碼方法和設備，所述按比例縮減變換是另一類型的低複雜度變換。圖43是示出根據本發明的另一實施例的使用按比例縮減變換來執行低複雜度變換的視頻編碼設備4300的框圖。視頻編碼設備4300包括圖像數據接收器4310、按比例縮減變換器4320以及按比例縮減變換係數輸出單元4330。圖像數據接收器4310可按預定數據單元接收輸入畫面的圖像數據。可通過將輸入畫面的圖像數據劃分為預定大小的塊來獲得所述預定數據單元，以對其執行變換。按預定數據單元的圖像數據可以是正方數據塊或長方數據塊。按比例縮減變換器4320通過使用長方變換基底對圖像數據執行變換的按比例縮減變換，產生從圖像數據接收器4310接收的圖像數據的係數，其中，通過組合長方矩陣和正方矩陣並對組合的結果進行按比例縮減來獲得所述長方變換基底。按比例縮減變換係數輸出單元4330輸出從按比例縮減變換器4320接收的係數。如果第一大小大於第二大小並且圖像數據接收器4310接收寬度和高度具有第二大小的數據塊，則可根據下面的本發明的第一實施例至第三實施例之一執行按比例縮減變換。根據本發明的第一實施例，按比例縮減變換器4320可通過使用從變換基底矩陣C 和按比例縮減空間矩陣F的組合獲得的第一長方變換基底D = OF執行按比例縮減變換，其中，所述第一長方變換基底D的寬度和高度分別具有第一大小和第二大小，變換基底矩陣C的寬度和高度具有第一大小，按比例縮減空間矩陣F的寬度和高度分別具有第一大小和第二大小。因此，如果基於第一長方變換基底D對寬度和高度具有第二大小的圖像數據執行按比例縮減變換，則通過按比例縮減空間矩陣F，圖像數據被變換為空間數據塊(所述空間數據塊的寬度和高度具有第一大小)，並使用變換基底矩陣C執行變換，從而獲得寬度和高度具有第一大小的變換係數塊。變換基底矩陣C可以是用於執行根據本發明的實施例的子數據單元變換的變換基底矩陣。根據本發明的第二實施例，按比例縮減變換器4320可通過使用從矩陣F』和變換基底矩陣C』的組合獲得的第二長方變換基底D』 = F』 · C』來執行按比例縮減變換，其中， 所述第二長方變換基底D』的寬度和高度分別具有第一大小和第二大小，矩陣F』的寬度和高度分別具有第一大小和第二大小，變換基底矩陣C』的寬度和高度具有第二大小。因此，如果基於第二長方變換基底D』對寬度和高度具有第二大小的圖像數據執行按比例縮減變換，則通過使用變換基底矩陣C』對圖像數據執行變換來獲得寬度和高度具有第二大小的係數塊，並且矩陣F』被用於選擇具有第一大小對第二大小的比率的頻段，從而獲得寬度和高度具有第一大小的變換係數。根據本發明的第三實施例，按比例縮減變換器4320可通過使用大小等於圖像數據塊的大小的變換基底矩陣來對寬度和高度具有第二大小的圖像數據塊執行變換，然後量化執行的結果。因此，可通過選擇性的使用按比例縮減變換矩陣執行按比例縮減變換，所述按比例縮減變換矩陣的寬度和高度僅在所有的高頻分量為「0」時分別具有第一大小和第二大小。根據本發明的第一至第三實施例，針對寬度和高度具有第二大小的圖像數據產生寬度和高度具有第一大小的變換係數，從而減少計算量和比特率。視頻編碼設備4300可對關於按比例縮減變換的細節的信息(例如，劃分的變換基底的類型和按比例縮減變換的各種實施例)進行編碼和發送。視頻編碼設備4300可按這樣的方式改變係數掃描順序可僅對產生的係數塊的係數進行掃描和編碼。例如，可按這樣的方式改變係數掃描順序可以以通過按比例縮減變換所產生的係數塊為單位單獨掃描圖像數據的所有係數中的預定係數塊的係數，可連續掃描產生的係數塊的所有係數，或者可掃描除預定子數據單元的係數塊以外的係數塊。視頻編碼設備4300可對係數塊大小信息進行編碼以執行係數掃描。視頻編碼設備4300還可對指示每個係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP)信息進行編碼。視頻編碼設備4300還可根據改變的係數掃描順序改變用於執行熵編碼的係數掃描順序。按比例縮減變換係數輸出單元4330可基於改變的係數掃描順序，輸出以子數據單元為單位產生的係數。圖44是示出根據本發明的另一實施例的使用按比例縮減反變換來執行低複雜度反變換的視頻解碼設備4400的框圖。視頻解碼設備4400包括係數接收器4410、按比例縮減反變換器4420和畫面重構單元4430。係數接收器4410可接收畫面的預定數據單元的係數。所述預定數據單元的係數可以是對所述畫面的圖像數據的係數進行劃分的結果，以執行反變換。
按比例縮減反變換器4420可通過使用按比例縮減長方變換基底對經由係數接收器4410接收的係數執行反變換，產生按預定數據單元的圖像數據，其中，通過將長方矩陣和正方矩陣進行組合併按比例縮減組合的結果，獲得所述按比例縮減長方變換基底。畫面重構單元4430通過從由按比例縮減反變換器4420產生的圖像數據重構畫根據本發明的實施例，按比例縮減反變換器4420可通過使用從變換基底矩陣C和按比例縮減空間矩陣F的組合獲得的第一長方變換基底D = C 執行按比例縮減反變換， 其中，所述第一長方變換基底D的寬度和高度分別具有第一大小和第二大小，變換基底矩陣C的寬度和高度具有第一大小，按比例縮減空間矩陣F的寬度和高度分別具有第一大小和第二大小。變換基底矩陣C可以是用於執行根據本發明的實施例的子數據單元變換的變換基底矩陣。根據本發明的第二實施例，按比例縮減反變換器4420可通過使用從矩陣F』和變換基底矩陣C』的組合獲得的第二長方變換基底D』 =F'.C'來執行按比例縮減反變換，其中，所述第二長方變換基底D』的寬度和高度分別具有第一大小和第二大小，矩陣F』的寬度和高度分別具有第一大小和第二大小，變換基底矩陣C』的寬度和高度具有第二大小。根據本發明的第三實施例，如果係數接收器4410接收到寬度和高度具有第一大小且為通過使用按比例縮減變換矩陣(其寬度和高度分別具有第一大小和第二大小)執行按比例縮減變換而獲得的係數塊，則當通過使用大小等於係數塊的變換基底矩陣對寬度和高度具有第二大小的圖像數據塊執行反變換，並量化執行的結果時，所有的高頻分量可能是「0」。因此，根據第三實施例，按比例縮減反變換器4420可通過僅使用所接收的寬度和高度具有第一大小的係數塊，重構寬度和高度具有第二大小的圖像數據塊。視頻解碼設備4400可接收並讀取關於按比例縮減變換的細節的信息(例如，劃分的變換基底的類型以及按比例縮減變換的各種實施例)。按比例縮減反變換器4420可基於讀取的信息執行反變換。另外，還可接收關於選擇性的頻域變換的細節的信息(例如，選擇的頻段和變換基底的類型)、指示編碼的係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP) 信息、以及關於係數掃描順序的信息。可基於CCBP信息和關於係數掃描順序的信息，按改變的係數掃描順序讀取接收的係數。按比例縮減反變換器4420可通過使用針對預定頻域的變換基底對接收的係數執行反變換，產生按預定數據單元的圖像數據。可基於關於選擇性的頻域變換的細節的信息和CCBP信息，對當前係數執行反變換。當接收到關於按比例縮減變換的細節的信息和關於係數掃描順序的信息時，可基於這些信息確定接收的係數的位置。另外，可通過檢測關於以選擇的頻域為單位應用的變換基底的信息，對接收的係數執行反變換。還可通過僅對接收的係數執行反變換來重構原始圖像數據。根據按比例縮減反變換的第一至第三實施例，可通過對寬度和高度具有第一大小的係數塊執行反變換來獲得寬度和高度具有第二大小的圖像數據塊，從而減少計算量。圖45是示出根據本發明的另一實施例的使用按比例縮減變換來執行低複雜度變換的視頻編碼方法的流程圖。在操作4510，以預定數據單元為單位接收輸入畫面的圖像數據。可通過將輸入畫面的圖像數據劃分為預定大小的塊來獲得所述預定數據單元，從而對其執行變換。所述預定數據單元可以是正方數據塊或長方數據塊。如果根據基於每個圖像區域的分層數據單元的視頻編碼方法對輸入畫面進行編碼，則變換單元的圖像數據可被接收以執行按比例縮減變換。在操作4520，通過使用長方變換對在操作4510中接收到的圖像數據執行按比例縮減變換來產生圖像數據的係數，其中，通過對長方矩陣和正方矩陣進行組合併按比例縮減組合的結果，獲得所述長方變換。依據根據本發明的實施例的按比例縮減變換的各種實施例，(i)可使用作為MXM的變換基底與MXN的按比例縮減空間矩陣的組合的第一 MXN 的長方變換基底(第一實施例)，(ii)可使用作為MXN的選擇性的頻域矩陣與MXM的變換基底矩陣的組合的第二 MXN的長方變換基底(第二實施例)，(iii)在使用NXN的變換基底矩陣執行變換並對執行結果進行量化之後，當所有的高頻分量為「0」時，執行按比例縮減反變換(第三實施例)。在操作4530，在操作4520中產生的係數被輸出。可按這樣的方式改變係數掃描順序可僅掃描產生的係數或係數塊。另外，關於按比例縮減變換的細節的信息(例如，變換基底的類型)、指示編碼的係數塊是否包括除「0」以外的係數的編碼的係數塊模式(CCBP)信息、以及關於係數掃描順序的信息可被編碼和發送。圖46是示出根據本發明的另一實施例的使用按比例縮減反變換來執行低複雜度反變換的視頻解碼方法的流程圖。在操作4610，接收畫面的預定數據單元的係數。接收的係數可以是對畫面的圖像數據的係數進行劃分的結果，以執行反變換。關於按比例縮減變換的細節的信息、編碼的係數塊模式(CCBP)信息以及關於係數掃描順序的信息還可被接收。 可基於CCBP信息和關於係數掃描順序的信息，按改變的係數掃描順序讀取接收的係數。在操作4620，通過使用長方變換對在操作4610中接收到的係數執行按比例縮減反變換來產生按預定數據單元的圖像數據，其中，通過對長方矩陣和正方矩陣進行組合獲得所述長方變換。依據根據本發明的實施例的按比例縮減反變換的各種實施例，(i)可使用作為MXM的變換基底與MXN的按比例縮減空間矩陣的組合的第一 MXN的長方變換基底(第一實施例)，(ii)可使用作為MXN的選擇性的頻域矩陣與MXM的變換基底矩陣的組合的第二 MXN的長方變換基底(第二實施例)，(iii)在使用NXN的變換基底矩陣執行反變換並對執行結果進行量化之後，當所有的高頻分量為「0」時，可執行按比例縮減反變換 (第三實施例)。例如，可基於關於按比例縮減變換的細節的信息確定變換基底的類型。在操作4630，從在操作4620中產生的圖像數據重構畫面。如果對根據依據本發明的實施例的基於每個圖像區域的分層數據單元的視頻編碼方法進行編碼的圖像執行了反變換，則可通過所述反變換按變換單元重構圖像數據。將參照圖47至圖50描述根據本發明的各種實施例的採用低複雜度變換的視頻編碼方法和設備以及視頻解碼方法和設備。圖47是示出根據本發明的另一實施例的使用低複雜度變換的視頻編碼設備4700 的框圖。視頻編碼設備4700包括圖像數據解收器4710、低複雜度變換器4720以及變換係數輸出單元4730。所述低複雜度變換器4720包括選擇性的頻域變換器4722、子數據單元變換器47M和按比例縮減變換器47 。
圖像數據接收器4710可按預定數據單元接收輸入畫面的圖像數據。可通過將輸入畫面的圖像數據劃分為預定大小的塊來獲得所述預定數據單元，以對其執行變換。按預定數據單元的圖像數據可以是正方數據塊或長方數據塊。如果根據基於每個圖像區域的分層數據單元的視頻編碼方法對輸入畫面進行編碼，則所述圖像數據可以是按變換單元的圖像數據。在使用針對預定頻域的變換基底的選擇性的頻域變換、通過單獨地選擇變換基底並將所述變換基底應用於從圖像數據劃分的子數據單元來執行變換的子數據單元變換、以及使用通過對長方矩陣和正方矩陣進行組合併對組合的結果進行按比例縮減而獲得的長方變換基底的按比例縮減變換之中，低複雜度變換器4720可對從圖像數據接收器4710接收的圖像數據選擇性地執行變換。根據低複雜度變換器4720的選擇，圖像數據被輸入到選擇性的頻域變換器4722、 子數據單元變換器47M或按比例縮減變換器47 。選擇性的頻域變換器4722可通過使用針對預定頻域的變換基底，對圖像數據執行變換來產生選擇性的頻域係數。選擇性的頻域變換器4722可執行以上參照圖1至圖35 描述的選擇性的頻域變換。選擇性的頻域變換器4722可對應於圖1的選擇性的頻域變換器12。子數據單元變換器47M可通過單獨選擇變換基底並將所述基底應用於從圖像數據劃分的多個子數據單元，執行變換以產生所述多個子數據單元的係數。子數據單元變換器47M可執行以上參照圖36至圖42描述的子數據單元變換。子數據單元變換器47M可對應於圖36的子數據單元變換單元3620。按比例縮減變換器47 可通過使用長方變換基底對圖像數據執行按比例縮減變換來產生圖像數據的係數，其中，通過對長方矩陣和正方矩陣進行組合併對組合的結果進行按比例縮減來獲得所述長方變換基底。按比例縮減變換器47 可執行以上參照圖43至圖46描述的按比例縮減變換。按比例縮減變換器47 可對應於圖43的按比例縮減變換器 4320。低複雜度變換器4720可通過執行選擇的變換，產生按預定數據單元的圖像數據的係數，並將所述係數輸出到變換係數輸出單元4730。變換係數輸出單元4730可對關於將以數據單元為單位選擇的低複雜度變換的類型的信息進行編碼和發送。另外，關於選擇性執行的變換的細節的變換信息可被編碼和變換。可以以預定數據單元(例如，畫面、幀、編碼單元或變換單元)為單位設置所述變換信息。視頻解碼設備4700還可對例如編碼的係數塊模式(CCBP)信息和關於係數掃描順序的信息進行編碼和發送。變換係數輸出單元4730可輸出由低複雜度變換器4720產生的變換係數。視頻編碼設備4700還可按這樣的方式改變係數掃描順序可掃描產生的係數或係數塊。基於改變的係數掃描順序，熵編碼順序可被改變或者輸出變換係數的順序可被輸出。例如，可按這樣的方式改變係數掃描順序產生的係數塊可被單獨掃描或者產生的係數塊的係數可被連續掃描。係數塊大小信息可被編碼。可以以產生的係數塊為單位並根據頻率特性改變係數掃描順序，或者可按這樣的方式改變係數掃描順序可僅掃描圖像數據的全部係數之中的產生的係數，或可僅掃描圖像數據的全部係數中排除與預定頻段對應的係數塊而產生的係數塊。另外，可按這樣的方式改變係數掃描順序可基於CCBP信息掃描包括除「0」以外的係數的係數塊。圖48是示出根據本發明的另一實施例的使用低複雜度反變換的視頻解碼設備 4800的框圖。視頻解碼設備4800包括係數接收器4810、低複雜度反變換器4820和畫面重構單元4830。低複雜度反變換器4820包括選擇性的頻域反變換器4822、子數據單元反變換器4擬4和按比例縮減反變換器4擬6。係數接收器4810可接收畫面的預定數據單元的係數。接收的預定數據單元的係數可以是劃分畫面的圖像數據的係數的結果，以執行反變換。在使用針對預定頻域的變換基底的選擇性的頻域反變換、通過單獨地選擇變換基底並將所述變換基底應用於從圖像數據劃分的子數據單元來執行反變換的子數據單元反變換、以及使用通過對長方矩陣和正方矩陣進行組合而獲得的長方變換基底的按比例縮減反變換之中，低複雜度反變換器4820可對從係數接收器4810接收的係數選擇性地執行反變換。視頻編碼設備4800可按這樣的方式改變係數掃描順序可掃描接收的係數或係數塊。可基於改變的係數掃描順序改變熵解碼序。例如，可按這樣的方式改變係數掃描順序可單獨掃描接收的係數塊或可連續掃描接收的係數塊的係數。可以以接收的係數塊為單位並根據頻率特性改變係數掃描順序，或者可按這樣的方式改變係數掃描順序可僅掃描圖像數據的全部係數之中的接收的係數，或可僅掃描圖像數據的全部係數之中排除與預定頻段對應的係數塊的係數塊。另外，可按這樣的方式改變係數掃描順序可基於所接收的編碼的係數塊模式(CCBP)信息，掃描包括除「0」以外的係數的係數塊。根據低複雜度反變換器4820的選擇，接收的係數被輸入到選擇性的頻域反變換器4822、子數據單元反變換器4擬4或按比例縮減反變換器4擬6。如果以數據單元為單位接收到關於低複雜度變換的類型的選擇的信息，則低複雜度反變換器4820可針對當前數據單元，基於關於低複雜度變換的類型的選擇的信息，將接收到的係數輸入到選擇性的頻域反變換器4822、子數據單元反變換器4擬4或按比例縮減反變換器4擬6。例如，如果接收到關於選擇的變換的信息(例如，通過選擇性的頻域變換獲得的係數)，則關於例如選擇的頻段的範圍和數量、係數塊大小以變換基底的類型的信息可被接收。如果接收到通過子數據單元變換獲得的係數，則諸如子數據單元的數量和變換基底的類型的信息可被接收。另外，如果接收到通過按比例縮減變換獲得的係數，則諸如劃分的變換基底的類型以及按比例縮減變換技術的信息可被接收。低複雜度反變換器4820可基於關於選擇的變換的信息，根據選擇的變換執行反變換。選擇性的頻域反變換器4822可通過使用針對預定頻域的變換基底對接收的係數執行反變換，產生按預定數據單元的圖像數據。選擇性的頻域反變換器4822可執行以上參照圖1至35描述的選擇性的頻域反變換。選擇性的頻域反變換器4822可對應於圖22的選擇性的頻域反變換器22。子數據單元反變換器4擬4可通過從接收的係數產生多個子數據單元的係數，並通過單獨地選擇變換基底並將所述基底應用於產生的係數來執行反變換，產生按預定數據單元的圖像數據。子數據單元反變換器4擬4可執行以上參照圖36至圖42描述的子數據單元反變換。子數據單元反變換器48M可對應於圖37的子數據單元反變換器3720。
按比例縮減反變換器4826可通過使用長方變換基底對接收的係數執行按比例縮減反變換，產生按預定數據單元的圖像數據，其中，通過將長方矩陣與正方矩陣進行組合併對組合的結果進行按比例縮減來獲得所述長方變換基底。按比例縮減反變換器4826可執行以上參照圖43至圖46描述的按比例縮減反變換。按比例縮減反變換器4826可對應於圖44的按比例縮減反變換器4420。低複雜度反變換器4820可將通過選擇的反變換獲得的按預定數據單元的圖像數據輸出到畫面重構設備4830。如果已採用基於每個圖像區域的分層數據單元的視頻編碼方法，則通過低複雜度反變換單元重構的圖像數據可以是按變換單元的圖像數據。畫面重構單元4830從由低複雜度反變換器4820產生的圖像數據重構畫面。因此，視頻編碼設備4700和視頻解碼設備4800可通過使用用於獲得按比例縮減的頻段或按比例縮減的空間數據的變換基底，分別執行變換和反變換，從而提高計算效率。圖49是示出根據本發明的另一實施例的使用低複雜度變換的視頻編碼方法的流程圖。在操作4910，以預定數據單元為單位接收輸入畫面的圖像數據。可通過將輸入畫面的圖像數據劃分為預定大小的塊來獲得所述預定數據單元，以對其執行變換。所述預定數據單元可以是正方數據塊或長方數據塊。在操作4920，對在操作4910中接收的圖像數據選擇性地執行選擇性的頻域變換、 子數據單元變化和按比例縮減變換之中的變換。圖像數據的預定數據單元的係數通過所選擇的變換被產生並隨後被輸出。在操作4920，選擇性的頻域變換可與包括在圖34的視頻編碼方法中的使用根據本發明的實施例的選擇性的頻域變換的操作3420對應，子數據單元變換可與包括在圖41的視頻編碼方法中的使用根據本發明的實施例的子數據單元變換的操作4120對應，按比例縮減變換可與包括在圖45的視頻編碼方法中的使用根據本發明的實施例的按比例縮減變換的操作4520對應。在操作4930，在操作4920中產生的係數被輸出。另外，關於以數據單元為單位的低複雜度變換的類型的選擇的信息可被編碼和發送。關於執行的低複雜度變換的細節的信息、關於改變的係數掃描順序的信息以及編碼的係數塊模式(CCBP)信息也可被編碼和發送。圖50是示出根據本發明的另一實施例的使用低複雜度反變換的視頻解碼方法的流程圖。在操作5010，畫面的預定數據單元的係數被接收。接收的預定數據單元的係數可以是對畫面的圖像數據的係數進行劃分的結果，以執行反變換。如果接收到關於執行的反變換的細節的信息、關於係數掃描順序的信息以及編碼的係數塊模式(CCBP)信息，則可基於接收的信息中的至少一條信息改變掃描接收的係數的順序。在操作5020，對在操作5010中接收的係數選擇性地執行選擇性的頻域反變換、子數據單元反變換和按比例縮減反變換。在操作5020，選擇性的頻域反變換可與包括在圖35 的視頻解碼方法中的使用根據本發明的實施例 的選擇性的頻域反變換的操作3520對應， 子數據單元反變換可與包括在圖42的視頻解碼方法中的使用根據本發明的實施例的子數據單元反變換的操作4220對應，按比例縮減反變換可與包括在圖46的視頻解碼方法中的使用根據本發明的實施例的按比例縮減反變換的操作4620對應。如果接收到關於以數據單元為單位的低複雜度變換的類型的選擇的信息，則可基於該信息選擇反變換的類型。如果接收到關於執行的變換的細節的信息，則基於該信息而選擇的反變換可被執行以重構按預定數據單元的圖像數據。在操作5030，從在操作5020中產生的圖像數據重構畫面。在根據本發明的實施例的使用低複雜度變換的視頻編碼方法中，僅對按比例縮減變換基底或數據單元執行變換，以僅對必要的信息而非一般的變換基底進行編碼。因此，可僅掃描和輸出產生的係數或係數塊，從而減少計算量和傳輸比特率。另外，在根據本發明的實施例的使用低複雜度變換的視頻解碼方法中，因為關於選擇的變換基底、頻段和 數據單元的信息被交換，所以當為接收的係數適當地選擇變換基底時，可減少執行反變換所需的計算量和計算複雜度。如上所述的根據本發明的實施例的使用低複雜度變換的視頻編碼方法和設備可被應用於基於每個圖像區域的分層數據單元的視頻編碼方法和設備。換句話說，可與根據本發明的實施例的低複雜度變換和反變換相類似地執行包括在根據本發明的實施例的基於每個圖像區域的分層數據單元的視頻編碼/解碼方法和設備中的變換和反變換。在這種情況下，可通過低複雜度變換將按變換單元的圖像數據變換為按變換單元的係數。為了解釋確定變換單元的處理，現在將參照圖51至圖63描述根據本發明的各種實施例的基於每個圖像區域的分層數據單元的視頻編碼方法和設備以及視頻解碼方法和設備。圖51是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻編碼設備100的框圖。視頻編碼設備100包括最大編碼單元分割器110、編碼深度確定器 120和輸出單元130。最大編碼單元分割器110可基於針對圖像的當前畫面的最大編碼單元來分割當前畫面。如果當前畫面大於最大編碼單元，則當前畫面的圖像數據可被分割為至少一個最大編碼單元。根據所述至少一個最大編碼單元，所述圖像數據可被輸出到編碼深度確定器 120。根據本發明的實施例的編碼單元可由最大大小和深度來表現特性。所述深度表示所述編碼單元被分層分割的次數，並且隨著深度加深，可從最大編碼單元至最小編碼單元來分割根據深度的更深的編碼單元。最大編碼單元的深度是最高(uppermost)的深度且最小編碼單元的深度是最低(lowermost)的深度。由於與每個深度對應的編碼單元的大小隨著最大編碼單元的深度加深而減小，因此與較高(upper)深度對應的編碼單元可包括與較低(lower)深度對應的多個編碼單元。如上所述，當前畫面的圖像數據根據編碼單元的最大大小被分割為最大編碼單元，每個最大編碼單元可包括根據深度而被分割的更深的編碼單元。由於根據本發明的實施例的最大編碼單元根據深度被分割，因此包括在最大編碼單元中的空域的圖像數據可根據深度被分層地分類。可預先確定編碼單元的最大深度和最大大小，所述編碼單元的最大深度和最大大小限制最大編碼單元的高度和寬度被分層分割的總次數。編碼深度確定器120對通過根據深度分割最大編碼單元的區域而獲得的至少一個分割區域進行編碼，並根據所述至少一個分割區域確定用於輸出最終編碼的圖像數據的深度。換句話說，編碼深度確定器120通過根據當前畫面的最大編碼單元以根據深度的更深的編碼單元對圖像數據進行編碼，並選擇具有最小編碼錯誤的深度來確定編碼深度。確定的編碼深度和根據確定的編碼深度的編碼的圖像數據被輸出到輸出單元130。基於與等於或低於最大深度的至少一個深度對應的更深的編碼單元，對最大編碼單元中的圖像數據進行編碼，並基於所述更深的編碼單元中的每一個來比較對圖像數據進行編碼的結果。可在對更深的編碼單元的編碼錯誤進行比較之後，選擇具有最小編碼錯誤的深度。可為每個最大編碼單元選擇至少一個編碼深度。隨著據深度 對編碼單元進行分層分割且隨著編碼單元的數量的增加，最大編碼單元的大小被分割。另外，即使在一個最大編碼單元中多個編碼單元對應於相同深度，也通過單獨測量每個編碼單元的圖像數據的編碼錯誤來確定是否將與相同深度對應的每個編碼單元分割至更低的深度。因此，即使在圖像數據被包括在一個最大編碼單元中時，根據深度將圖像數據分割至多個區域並且在所述一個最大編碼單元中編碼錯誤可根據區域而不同， 因此，在圖像數據中，編碼深度可根據區域而不同。因此，可在一個最大編碼單元中確定一個或多個編碼深度，並可根據至少一個編碼深度的編碼單元對最大編碼單元的圖像數據進行劃分。可根據最大編碼單元執行預測編碼和變換。還可基於根據等於最大深度的深度或小於最大深度的深度的更深的編碼單元，執行預測編碼和變換，其中，所述最大深度取決於最大編碼單元。由於每當最大編碼單元根據深度被分割時更深的編碼單元的數量都增加，因此對隨著深度加深而產生的所有的更深的編碼單元執行包括預測編碼和變換的編碼。為了方便描述，現在將基於最大編碼單元中的當前深度的編碼單元描述預測編碼和變換。視頻編碼設備100可不同地選擇用於對圖像數據進行編碼的數據單元的大小和形狀。為了對圖像數據進行編碼，執行諸如預測編碼、變換和熵編碼的操作，且在同時，相同的數據單元可被用於所有的操作，或者不同的數據單元可被用於各個操作。例如，視頻編碼設備100可不僅選擇用於對圖像數據進行編碼的編碼單元，還選擇與編碼單元不同的數據單元以對編碼單元中的圖像數據執行預測編碼。為了對最大編碼單元執行預測編碼，可基於最大編碼單元的與深度對應的編碼單元的部分數據單元執行預測編碼。所述部分數據單元可包括均通過將對應的編碼單元的高度和寬度中的至少一個進行分割而獲得的數據單元和編碼單元。例如，當編碼單元的大小是2NX2N(其中，N是正整數)時，所述部分數據單元的大小可以是2NX2N、2NXN、NX2N以及NXN。可不僅基於通過對編碼單元的高度和寬度中的至少一個進行二等分獲得的數據單元，還基於以各種方式從編碼單元劃分的數據單元執行預測編碼。在下文中，執行預測編碼所基於的數據單元將被稱為預測單元。編碼單元的預測模式可以是幀內模式、幀間模式和跳躍模式中的至少一個。例如， 可對2NX2N、2NXN、NX2N或NXN的預測單元執行幀內模式或幀間模式。另外，可僅對 2NX2N的預測單元執行跳躍模式。對編碼單元中的一個預測單元獨立地執行編碼，從而選擇具有最小編碼錯誤的預測模式。視頻編碼設備100還可不僅基於用於對圖像數據進行編碼的編碼單元，還基於預所述編碼單元不同的數據單元，對編碼單元中的圖像數據執行變換。為了按編碼單元執行變換，可基於具有小於或等於所述編碼單元的大小的數據單元來執行變換。例如，用於變換的數據單元可包括針對幀內模式的數據單元和針對幀間模式的數據單元。用作變換的基底的數據單元將被稱為「變換單元」。根據與編碼深度對應的編碼單元的編碼信息不僅需要關於編碼深度的信息，還需要關於與預測編碼和變換相關的信息。因此，編碼深度確定其120不僅確定具有最小編碼錯誤的編碼深度，還確定用於將編碼深度的編碼單元劃分為預測單元的分塊類型、根據預測單元的預測模式以及用於變換的變換單元的大小。編碼深度確定器1 20可通過使用基於拉格朗日乘法(Lagrangian multiplier)的率失真最優化，測量根據深度的更深的編碼單元的編碼錯誤。輸出單元130在比特流中輸出最大編碼單元的圖像數據和關於根據編碼深度的編碼模式的信息，其中，基於由編碼深度確定器120確定的至少一個編碼深度對最大編碼單元的圖像數據進行編碼。可通過對圖像的殘差數據進行編碼來獲得編碼的圖像數據。關於根據編碼深度的編碼模式的信息可包括關於編碼深度的信息、關於預測單元中的分塊類型、預測模式和變換單元的大小的信息。可通過使用根據深度的分割信息定義關於編碼深度的信息，所述根據深度的分割信息指示是否對更低深度而非當前深度的編碼單元執行編碼。如果當前編碼單元的當前深度是編碼深度，則當前編碼單元中的圖像數據被編碼和輸出，並且因此分割信息可被定義為不將當前編碼單元分割至更低深度。可選擇地，如果當前編碼單元的當前深度不是編碼深度，則對更低深度的編碼單元執行編碼，因此分割信息可被定義為對當前編碼單元進行分割以獲得更低深度的編碼單元。如果當前深度不是編碼深度，則對被分割為更低深度的編碼單元的編碼單元執行編碼。由於在當前深度的一個編碼單元中存在更低深度的至少一個編碼單元，因此對所述更低深度的每個編碼單元重複執行編碼，從而可針對具有相同深度的編碼單元遞歸地執行編碼。由於最大編碼單元中的至少一個編碼深度和關於針對每個編碼深度的至少一個編碼模式的信息應該被確定，因此可針對一個最大編碼單元確定關於至少一個編碼模式的信息。另外，由於根據深度分層地分割圖像數據，因此最大編碼單元的圖像數據的編碼深度可能根據位置而不同，從而可為圖像數據設置關於編碼深度和編碼模式的信息。因此，輸出單元130可為包括在最大編碼單元中的最小編碼單元設置編碼信息。 也就是說，與編碼深度對應的編碼單元包括具有相同編碼信息的至少一個最小編碼單元。 基於該事實，如果相鄰的最小編碼單元具有根據深度的相同編碼信息，則所述相鄰的最小編碼單元可被包括在同一最大編碼單元中。例如，通過輸出單元130輸出的編碼信息可被分類為根據編碼單元的編碼信息以及根據預測單元的編碼信息。根據編碼單元的編碼信息可包括關於預測模式的信息以及關於分塊的大小的信息。根據預測單元的編碼信息可包括關於幀間模式的估計方向的信息、 關於幀間模式的參考圖像索引的信息、關於運動矢量的信息、關於幀內模式的色度分量的信息、以及關於幀內模式的插值方法的信息。另外，關於根據畫面、像條(slice)或GOP定義的編碼單元的最大大小的信息和關於最大深度的信息可被插入到SPS(序列參數集)或比特流的頭。在視頻編碼設備100中，更深的編碼單元可以是通過將作為上面一層的較高深度的編碼單元的高度或寬度除以2而獲得的編碼單元。換句話說，在當前編碼深度的編碼單元的大小是2NX 2N時，較低深度的編碼單元的大小是NX N。另外，具有2NX 2N的大小的當前深度的編碼單元可包括最多4個較低深度的編碼單元。 因此，視頻編碼設備100可基於最大編碼單元的大小和考慮當前畫面的特性而確定的最大深度，針對每個最大編碼單元確定具有最佳形狀和大小的編碼單元。另外，由於可通過使用各種預測模式和變換中的任意一種來對每個最大編碼單元執行編碼，因此可考慮各種圖像大小的編碼單元的特性來確定最佳編碼模式。因此，如果按傳統的宏塊對具有高解析度或大數據量的圖像進行編碼，則每個畫面的宏塊的數量會急劇增加，因此，針對每個宏塊產生的壓縮信息的條數增加，從而難以發送壓縮信息並且數據壓縮效率下降。然而，通過使用視頻編碼設備100，由於在考慮圖像的大小增加了編碼單元的最大大小的同時，考慮圖像的特性調整了編碼單元，因此圖像壓縮效率可提高。圖52是根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻解碼設備200的框圖。視頻解碼設備200包括接收器210、圖像數據和編碼信息提取器220以及圖像數據解碼器230。用於視頻解碼單元200的各種操作的各種術語(諸如編碼單元、深度、預測單元、變換單元以及關於各種編碼模式的信息)的定義與參照圖1和視頻編碼設備100所描述的那些相同。接收器210接收並解析已編碼的視頻的比特流。圖像數據和編碼信息提取器220 從解析的比特流中以最大編碼單元為單位提取圖像數據，並將提取的圖像數據輸出到圖像數據解碼器230。圖像數據和編碼信息提取器220可從關於當前畫面的頭或SPS提取關於當前畫面的編碼單元的最大大小的信息。另外，圖像數據和編碼信息提取器220從已解析的比特流提取關於用於每個最大編碼單元的編碼深度和編碼模式的信息。提取的關於編碼深度和編碼模式的信息被輸出到圖像數據解碼器230。換句話說，比特流中的圖像數據被分割為最大編碼單元，從而圖像數據解碼器230對每個最大編碼單元的圖像數據進行解碼。可針對關於與編碼深度對應的至少一個編碼單元的信息設置關於用於每個最大編碼單元的編碼深度和編碼模式的信息，關於編碼模式的信息可包括關於每個編碼單元的預測單元的分塊類型的信息、關於預測模式以及變換單元的大小的信息。另外，根據深度的分割信息可被提取為關於編碼深度的信息。關於由圖像數據和編碼信息提取器220提取的根據每個最大編碼單元的編碼模式和編碼深度的信息是這樣的信息，即關於確定為當編碼器(諸如視頻編碼設備100)根據每個最大編碼單元針對根據深度的每個更深的編碼單元重複執行編碼時產生最小編碼錯誤的編碼深度和編碼模式的信息。因此，視頻解碼設備200可通過根據產生最小編碼錯誤的編碼深度和編碼模式對圖像數據進行解碼來重構圖像。圖像數據和編碼信息提取器220可按最小編碼單元為單位提取關於編碼深度和編碼模式的信息。如果以最小編碼單元為單位記錄關於最大編碼單元的編碼深度和編碼模式的信息，則分配有相同的關於編碼深度和編碼模式的信息的最小編碼單元可被推斷為是包括在同一最大編碼單元中的數據單元。也就是說，可通過收集分配有相同信息的最小編碼單元並根據這些最小編碼單元執行解碼，基於與具有最小編碼錯誤的編碼深度對應的編碼單元來執行解碼。 圖像數據解碼器230通過基於關於每個最大編碼單元的編碼深度和編碼模式的信息，對每個最大編碼單元中的圖像數據進行解碼來重構當前畫面。圖像數據解碼器230 可基於關於每個最大編碼單元的編碼深度的信息，以與至少一個編碼深度對應的編碼單元為單位對圖像數據進行解碼。該解碼處理可包括包括幀內預測和運動補償的預測以及反變換。為了對每個編碼單元執行預測編碼，圖像數據解碼器230可基於關於根據編碼深度的編碼單元的預測單元的預測模式和分塊類型的信息，根據每個編碼單元的預測模式和預測單元執行幀內預測或運動補償。為了對每個最大編碼單元執行反變換，圖像數據解碼器230可基於關於根據編碼深度的編碼單元的變換單元的大小的信息，根據編碼單元中的每個變換單元來執行反變換。圖像數據解碼器230可通過使用根據深度的分割信息，確定當前最大編碼單元的至少一個編碼深度。如果所述分割信息指示將使用當前深度對圖像數據進行解碼，則當前深度是編碼深度。因此，圖像數據解碼器230可通過使用關於預測單元的分塊類型、預測模式、針對與編碼深度對應的每個編碼單元的變換單元的大小的信息，對當前最大編碼單元中的與每個編碼深度對應的至少一個編碼單元的已編碼的數據進行解碼，並輸出當前最大編碼單元的圖像數據。換句話說，可通過觀察為最小編碼單元分配的編碼信息，聚集包含編碼信息(所述編碼信息包括相同的分割信息)的最小編碼單元，並且聚集的數據單元可被解碼為一個數據單元。視頻解碼設備200可在對每個最大編碼單元遞歸地執行編碼時，獲得關於產生最小編碼錯誤的至少一個編碼單元的信息，並且視頻解碼設備200可使用所述信息來對當前畫面進行解碼。換句話說，可以以最大編碼單元為單位且通過使用最佳編碼單元來對圖像數據進行解碼。因此，即使圖像數據具有高解析度和大數據量，也可通過使用編碼單元的大小和編碼模式對所述圖像數據進行有效地解碼和重構，其中，通過使用從編碼器接收的關於最佳編碼模式的信息，根據圖像數據的特性來自適應地確定編碼單元的大小和編碼模式。圖53是用於描述根據本發明的實施例的編碼單元的概念的示圖。編碼單元的示例可包括64X64的編碼單元、32X32的編碼單元、16X16的編碼單元和8X8的編碼單元。 除這樣的正方形的編碼單元以外，編碼單元的示例可包括64X31的編碼單元、32X64的編碼單元、32X 16的編碼單元、16X32的編碼單元、16X8的編碼單元、8X 16的編碼單元、 8X4的編碼單元、4X8的編碼單元。在視頻數據310中，解析度是1920 X 1080，編碼單元的最大大小是「64」，最大深度是「2」。在視頻數據320中，解析度是1920X1080，編碼單元的最大大小是「64」，最大深度是「3」。在視頻數據330中，解析度是352 X 288，編碼單元的最大大小是「 16」且，最大深度是 「2」。如果解析度高或者數據量大，則編碼單元的最大大小可能大，以便不僅提高編碼效率，還精確地反映圖像的特性。因此，具有比視頻數據330高的解析度的視頻數據310和 320的編碼單元的最大大小可以為「64」。最大深度表示在分層編碼單元中的層的總數量。因此，由於視頻數據310的最大深度是「2」，因此視頻數據310的編碼單元315可包括具有64的長軸(long axis)大小的最大編碼單元，以及隨著深度被加深至兩層的具有32和16的長軸大小的編碼單元。由於視頻數據330的最大深度是「2」，因此視頻數據330的編碼單元335可包括具有16的長軸大小的最大編碼單元，以及由於深度被加深至兩層的具有8和4的長軸大小的編碼單元。

由於視頻數據320的最大深度是4，因此視頻數據320的編碼單元325可包括具有 64的長軸大小的最大編碼單元，以及由於深度被加深至四層的具有32、16、8和4的長軸大小的編碼單元。隨著深度加深，詳細信息可被精確地表示。圖54是根據本發明的實施例的基於編碼單元的圖像編碼器400的框圖。圖像編碼器400執行視頻編碼設備100的編碼深度確定器120的操作，以對圖像數據進行編碼。換句話說，在當前幀405中，幀內預測器410在幀內模式下對編碼單元執行幀內預測，運動估計器420和運動補償器425通過使用當前幀405和參考幀495，在當前幀405中，在幀間模式下對編碼單元執行幀間估計和運動補償。從幀內預測器410、運動估計器420和運動補償器425輸出的數據通過變換器430 和量化器440被輸出為量化的變換係數。量化的變換係數通過反量化器460和反變換器 470在空域被重構為數據，並且空域中的重構數據在通過去塊單元480和循環濾波器490進行後處理之後，被輸出為參考幀495。量化的變換係數可通過熵編碼器450被輸出為比特流 455。為了在視頻編碼設備100中應用圖像編碼器400，圖像編碼器400的所有部件 (即，幀內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器 450、反量化器460、反變換器470、去塊單元480、循環濾波器490)在考慮每個最大編碼單元的最大深度的同時，基於與深度對應的編碼單元執行操作。具體地說，幀內預測器410、運動估計器420以及運動補償器425確定每個編碼單元的預測模式和預測單元，變換器430考慮到每個編碼單元的深度和最大大小，確定變換單元的大小。圖55是示出根據本發明的實施例的基於編碼單元的圖像解碼器500的框圖。解析器510對將被解碼的已編碼的視頻數據以及從比特流505進行解碼所需的關於編碼的信息進行解析。編碼的視頻數據通過熵解碼器520和反量化器530被輸出為反量化的數據， 並且反量化的數據通過反變換器540在空域中被重構為圖像數據。幀內預測器550針對空域中的圖像數據，在幀內模式下對編碼單元執行幀內預測，運動補償器560通過使用參考幀585，在幀間模式下對編碼單元執行運動補償。經過幀內預測器550和運動補償器560的空域中的圖像數據可在通過去塊單元 570和循環濾波器580進行後處理之後，被輸出為重構的幀595。另外，通過去塊單元570 和循環濾波器580進行後處理的圖像數據可被輸出為參考幀585。為了在視頻解碼設備200的圖像數據解碼器230中對圖像數據進行解碼，圖像解碼器500可執行在解析器510之後執行的操作。為了在視頻解碼設備200中應用圖像解碼器500，圖像解碼器500的所有部件(即，解析器510、熵解碼器520、反量化器530、反變換器540、幀內預測器550、運動補償器 560、去塊單元570以及循環濾波器580)以最大編碼單元為單位且基於與編碼深度對應的編碼單元來執行操作。具體地說，幀內預測器550和運動補償器560確定編碼單元和預測模式，反變換器 540考慮到編碼單元的最大大小和深度來確定變換單元的大小。圖56是示出根據本發明的實施例的根據深度的更深的編碼單元以及預測單元的示圖。視頻編碼設備100和視頻解碼設備200使用分層編碼單元以考慮圖像的特性。編碼單元的最大高度、最大寬度和最大深度可根據圖像的特性而被自適應地確定，或者可由用戶不同地設置。根據深度的更深的編碼單元的大小可根據編碼單元的預定最大大小而被確 定。在根據本發明的實施例的編碼單元的分層結構600中，編碼單元的最大高度和最大寬度均是64，最大深度是4。由於深度沿分層結構600的縱軸加深，因此更深的編碼單元的高度和寬度均被分割。另外，作為部分數據單元的預測單元沿分層結構600的橫軸被示出，其中，基於所述部分數據單元，更深的編碼單元被分別預測編碼。換句話說，編碼單元610是分層結構600中的最大編碼單元，其中，深度是0，大小 (即，高度乘以寬度)是64X64。所述深度沿縱軸加深，並且存在大小為32X32且深度為1 的編碼單元620、大小為16X 16且深度為2的編碼單元630、大小為8X8且深度為3的編碼單元640、大小為4X4且深度為4的編碼單元650。大小為4X4且深度為4的編碼單元 650是最小編碼單元。部分數據單元沿橫軸且根據每個深度排列為編碼單元的預測單元。換句話說，大小為64X64且深度為0的編碼單元610的預測單元可包括64X 32的部分數據單元612、 32X64的部分數據單元614、32X32的部分數據單元616以及編碼單元610中所包括的 64X64的部分數據單元610。換句話說，編碼單元可以是包括變換單元610、612、614和616 的正方數據單元。類似地，大小為32X32且深度為1的編碼單元620的預測單元可包括32 X 16的部分數據單元622、16 X 32的部分數據單元624、16 X 16的部分數據單元626以及編碼單元 620中所包括的32X32的部分數據單元620。類似地，大小為16 X 16且深度為2的編碼單元630的預測單元可包括16 X 8的部分數據單元632、8X16的部分數據單元634、8X8的部分數據單元636以及編碼單元630 中所包括的16X16的部分數據單元630。類似地，大小為8 X 8且深度為3的編碼單元640的預測單元可包括8 X 4的部分數據單元642、4X8的部分數據單元644、4X4的部分數據單元646以及編碼單元640中所包括的8X8的部分數據單元640。大小為4X4且深度為4的編碼單元650是最小編碼單元且是最低深度的編碼單元。編碼單元650的預測單元也是4X4的部分數據單元650。為了確定組成最大編碼單元610的編碼單元的至少一個編碼深度，視頻編碼設備 100的編碼深度確定器120針對與包括在最大編碼單元610中的每個深度對應的編碼單元執行編碼。根據深度的更深的編碼單元的數量隨深度加深而增加，其中，所述根據深度的更深的編碼單元包括相同範圍和相同大小的數據。例如，與深度2對應的四個編碼單元需要覆蓋包括在與深度1對應的一個編碼單元中的數據。因此，為了比較根據深度的相同數據的編碼結果，與深度1對應的編碼單元和與深度2對應的四個編碼單元均被編碼。為了針對多個深度中的當前深度執行編碼，可通過沿分層結構600的橫軸對與當前深度對應的編碼單元中的每個預測單元執行編碼，來針對當前深度選擇最 小編碼錯誤。 可選擇地，隨著深度沿分層結構600的縱軸加深，通過針對每個深度執行編碼比較根據深度的最小編碼錯誤，來搜索最小編碼錯誤。編碼單元610中具有最小編碼錯誤的深度可被選擇為編碼深度和編碼單元610的分塊類型。圖57是用於描述根據本發明的實施例的編碼單元710與變換單元720之間的關係的示圖。視頻編碼設備100或200針對每個最大編碼單元，根據具有小於或等於最大編碼單元的大小的編碼單元對圖像進行編碼或解碼。可基於不大於對應的編碼單元的數據單元來選擇在編碼期間用於變換的變換單元的大小。例如，在視頻編碼設備100或200中，如果編碼單元710的大小是64X64，則可通過使用大小為32X32的變換單元720來執行變換。另外，可通過對大小為小於64X64的32X32、16X16、8X8以及4X4的每個變換單元執行變換來對大小為64X64的編碼單元710的數據進行編碼，隨後可選擇具有最小編碼錯誤的變換單元。圖58是用於描述根據本發明的實施例的與編碼深度的對應的編碼單元的編碼信息的示圖。視頻編碼設備100的輸出單元130可對關於分塊類型的信息800、關於預測模式的信息810和關於與編碼深度對應的每個編碼單元的變換單元的大小的信息820進行編碼和發送，作為關於編碼模式的信息。信息800將關於當前編碼單元被分割的分塊類型的信息指示為用於對當前編碼單元進行預測編碼的預測單元。例如，深度為0且大小為2NX2N的當前編碼單元CU_0可被分割為2NX2N的預測單元802、2NXN的預測單元804、NX2N的預測單元806以及NXN 的預測單元808中的任意一個。這裡，關於分塊類型的信息800被設置為指示2NX2N的預測單元802、2NXN的預測單元804、NX2N的預測單元806以及NXN的預測單元808中的一個。信息810指示每個預測單元的預測模式。例如，信息810可指示對由信息800指示的預測單元執行的預測編碼的模式(即，幀內模式812、幀間模式814或跳躍模式816)。信息820指示當對當前編碼單元執行變換時所基於的變換單元。例如，變換單元可以是第一幀內編碼單元822、第二幀內變換單元824、第一幀間變換單元826或第二幀間變換單元828。視頻解碼設備200的圖像數據和編碼信息提取器220可根據每個更深的編碼單元，提取並使用信息800、810和820以進行解碼。圖59是根據本發明的實施例的根據深度的更深的編碼單元的示圖。分割信息可被用於指示深度的改變。分割信息指示當前深度的編碼單元是否被分割成更低深度的編碼單元。
用於對深度為0且大小為2N_0X2N_0的編碼單元進行預測編碼的預測單元910 可包括大小為2N_0X2N_0的分塊類型912的分塊、大小為2N_0XN_0的分塊類型914的分塊、大小為N_0X2N_0的分塊類型916的分塊以及大小為Ν_0ΧΝ_0的分塊類型918的分塊。根據每個分塊類型，對大小為2N_0X2N_0的一個預測單元、大小為2N_0XN_0的兩個預測單元、大小為N_0X2N_0的兩個預測單元以及大小為Ν_0ΧΝ_0的四個預測單元重複執行預測編碼。可對大小為2N_0X2N_0、N_0X2N_0、2N_0XN_0以及Ν_0ΧΝ_0的預測單元執行幀內模式和幀間模式下的預測編碼。可僅對大小為2N_0X2N_0的預測單元執行跳躍模式下的預測編碼。如果在分塊類型918中編碼錯誤最小，則深度從0改變至1以在操作920進行分害I]，並可針對深度為2且大小為Ν_0ΧΝ_0的分塊類型的編碼單元922、924、926和928重複
搜索最小編碼錯誤。 由於對具有相同深度的編碼單元922、924、926和928重複執行編碼，因此現在將描述這些編碼單元中的例如深度為1的編碼單元的編碼。用於對深度為1且大小為 2Ν_1Χ2Ν_1( = Ν_0ΧΝ_)的編碼單元930進行預測編碼的預測單元930可包括大小為 2N_1X2N_1的分塊類型932的預測單元、大小為2N_1XN_1的分塊類型934的預測單元、大小為N_1X2N_1的分塊類型936的預測單元以及大小為N_1XN_1的分塊類型938的預測單元。對於每個分塊類型，對一個2N_1X2N_1的預測單元、兩個2N_1XN_1的預測單元、兩 fN_lX2N_l的預測單元以及四個N_1XN_1的預測單元重複進行預測編碼。如果在分塊類型938中編碼錯誤最小，則在操作950中深度從1改變至2，並且可針對深度為2且大小為N_2XN_2的編碼單元942、944、946和948重複搜索最小編碼錯誤。當最大深度是d時，根據深度的分割信息可被設置，直到深度變為d-Ι為止。換句話說，用於對深度為d-Ι且大小為2N_(d-l) X2N_(d-l)的編碼單元進行預測編碼的預測單元950可包括大小為2N_(d-l) X2N_(d-l)的分塊類型952的預測單元、大小為2N_ (d-1) XN_(d-l)分塊類型954的預測單元、大小為N_(d-1) X2N_(d_l)的分塊類型956的預測單元以及大小為N_(d-1) XN_(d-l)的分塊類型958的預測單元。對於每種分塊類型，可對一個2N_(d-1) X 2N_(d-1)的預測單元、兩個2N_ (d-1) XN_(d-l)的預測單元、兩個N_(d-1) X2N_(d-l)的預測單元以及四個N_(d_l) XN_ (d-1)的預測單元重複執行預測編碼。由於最大深度是d，因此深度為d-Ι的編碼單元952 不再被分割至更低的深度。視頻編碼設備100可將根據編碼單元900的深度的編碼錯誤進行比較，並選擇具有最小編碼錯誤的深度，以確定編碼單元912的編碼深度。例如，在編碼單元具有深度0的情況下，針對分塊類型912、914、916和918單獨
執行預測編碼，並選擇具有最小編碼錯誤的預測單元。類似地，可搜索深度為0、1.....至
d-Ι的每個編碼單元的具有最小編碼錯誤的預測。在深度為0的情況下，可基於大小為2N_ dX2N_d的編碼單元960 (所述編碼單元960也用作預測單元)，通過預測編碼確定最小編碼錯誤。這樣，在1至d的所有深度中比較根據深度的最小編碼錯誤，並可將具有最小編碼錯誤的深度確定為編碼深度。所述編碼深度及其預測單元可作為關於編碼模式的信息被編碼並發送。另外，由於編碼單元從深度0被分割至編碼深度，因此僅編碼深度的分割信息被設置為0，排除編碼深度以外的深度的分割信息被設置為1。視頻解碼設備200的圖像數據和編碼信息提取器220可提取並使用關於編碼單元 912的預測單元和編碼深度的信息，以對編碼單元912進行解碼。視頻解碼設備200可通過使用根據深度的分割信息將分割信息為0的深度確定為編碼深度，並使用關於對應深度的編碼模式的信息以進行解碼。

圖60至圖62是用於描述根據本發明的實施例的編碼單元1010、預測單元1060和變換單元1070之間的關係的示圖。編碼單元1010包括最大編碼單元中具有樹形結構的、與由視頻編碼設備100確定的編碼深度對應的編碼單元。預測單元1060包括與編碼單元1010對應的預測單元。變換單元1070包括與編碼單元1010對應的變換單元。當在編碼單元1010中最大編碼單元的深度是0時，編碼單元1012和1054的深度是 1，編碼單元 1014、1016、1018、1028、1050 和 1052 的深度是 2、編碼單元 1020、1022、1024、 1026、1030、1032和1048的深度是3、編碼單元1040、1042、1044和1046的深度是4。在預測單元1060中，從編碼單元1012至1054之一划分一些預測單元1014、1016、 1022、1032、1048、1050、1052 和 1054。換句話說，預測單元 1014、1022、1050 和 1054 是大小為2NXN的分塊類型、預測單元1016、1048和1052是大小為NX2N的分塊類型、預測單元 1032是大小為NXN的分塊類型。編碼單元1010的預測單元小於或等於對應的編碼單元。以小於編碼單元1052的數據單元為單位對變換單元1070中的一些變換單元1052 的圖像數據執行變換或反變換。另外，變換單元1014、1016、1022、1032、1048、1050、1052和 1054在大小和形狀方面與預測單元1060中的對應預測單元不同。換句話說，視頻編碼設備 100和視頻解碼設備200可對不同數據單元(即使是相同編碼單元中的不同數據單元)單獨執行幀內預測、運動估計、運動補償、變換和反變換。圖63是示出根據本發明的實施例的每個編碼單元的編碼信息的表。視頻編碼設備100的輸出單元130可輸出用於每個編碼單元的編碼單元，視頻解碼設備200的圖像數據和解碼信息提取器220可提取每個編碼單元的編碼信息。編碼信息可包括關於編碼單元的分割信息、關於分塊類型的信息、關於預測模式的信息以及關於變換單元大小的信息。表中示出的編碼信息是可由視頻編碼設備100和視頻解碼設備200設置的編碼信息的示例。分割信息可指示每個編碼單元的編碼深度。由於基於分割信息而不再被分割為更低深度的深度是編碼深度，因此可針對編碼深度確定關於分塊類型、預測模式的信息以及關於變換單元大小的信息。如果根據分割信息進一步分割當前編碼單元，則對更低深度的四個分割編碼單元獨立地執行編碼。在關於分塊類型的信息中，與編碼深度對應的編碼單元的變換單元的分塊類型可以是2NX 2N、2NXN、NX 2N以及NXN中的一個。預測模式可以是幀內模式、幀間模式和跳躍模式中的一個。可在所有的分塊類型中限定所述幀內模式和幀間模式，僅在大小為2NX2N 的分塊類型中限定跳躍模式。變換單元的大小可被設置為幀內模式下的兩種類型和幀間模式下的兩種類型。每個編碼單元中的最小編碼單元可包含按與編碼深度對應的編碼單元為單位的編碼信息。因此，可通過比較相鄰最小數據單元的編碼信息來確定相鄰最小編碼單元是否包括在與相同編碼深度對應的編碼單元中。另外，可通過使用包含在最小數據單元中的編碼信息來確定與編碼深度對應的編碼單元，從而可確定最大編碼單元中的編碼深度的分布。因此，如果基於相鄰數據單元預測了當前編碼單元，則與當前編碼單元相鄰的更深的編碼單元中的最小數據單元的編碼信息可被直接查閱和使用。可選擇地，可僅存儲在根據深度的編碼單元中的代表性的最小編碼單元的編碼信息。在這種情況下，如果基於相鄰編碼單元預測了當前編碼單元，則基於根據深度的相鄰編碼單元的編碼信息，從根據深度的編碼單元中搜索與當前編碼單元相鄰的數據單元。

圖64是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻編碼方法的流程圖。在操作1210，當前畫面被分割為至少一個最大編碼單元。指示可能的分割次數的總數的最大深度可被預先確定。在操作1220，通過對至少一個分割區域進行編碼來確定用於輸出根據所述至少一個分割區域的最終編碼結果的編碼深度，其中，通過根據深度對每個最大編碼單元的區域進行分割來獲得所述至少一個分割區域。每個最大編碼單元被分層分割，且隨著深度加深， 對更低深度的編碼單元重複執行編碼。通過與相鄰編碼單元獨立地對每個編碼單元進行空間分割，每個編碼單元可被分割為另一更低深度的編碼單元。對根據深度的每個編碼單元重複執行編碼。另外，為每個更深的編碼單元確定根據具有最小編碼錯誤的分塊類型的變換單元。為了在每個最大編碼單元中確定具有最小編碼錯誤的編碼深度，可在根據深度的所有更深的編碼單元中測量並比較編碼錯誤。在操作1230，使用關於編碼深度和編碼模式的編碼信息，針對每個最大編碼單元輸出組成根據深度的最終編碼結果的已編碼的圖像數據。關於編碼模式的信息可包括關於編碼深度的信息或分割信息、關於編碼深度的分塊類型、預測模式和變換單元的大小的信息。關於編碼模式的編碼信息可與已編碼的視頻數據一起被發送到解碼器。圖65是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元的視頻解碼方法的流程圖。在操作1310，已編碼的視頻的比特流被接收和解析。在操作1320，從已解析的比特流中提取分配給最大編碼單元的當前畫面的已編碼的圖像數據以及關於根據最大編碼單元的編碼深度和編碼模式的信息。每個最大編碼單元的編碼深度是每個最大編碼單元中具有最小編碼錯誤的深度。在對每個最大編碼單元進行編碼的步驟中，基於通過根據深度對每個最大編碼單元進行分層分割而獲得的至少一個數據單元，對圖像數據進行編碼。因此，可在確定根據編碼單元的至少一個編碼深度之後，通過對編碼單元中的每條已編碼的圖像數據進行解碼來提高圖像的編碼效率和解碼效率。在操作1330，基於關於根據最大編碼單元的編碼深度和編碼模式的信息，對每個最大編碼單元的圖像數據進行解碼。解碼的圖像數據可被重構設備重構，被存儲在存儲介質中或通過網絡被發送。以上已參照圖51至圖65描述了根據本發明的各種實施例的基於每個圖像區域的分層數據單元執行的視頻編碼和解碼。在根據本發明的實施例的每個圖像區域的分層數據單元中的變換單元中的圖像數據可以是輸入到使用根據本發明的各種實施例的低複雜度變換的視頻編碼設備10、3600、4300和4700的圖像數據。另外，由使用根據本發明的各種實施例的低複雜度變換的視頻解碼設備20、3700、4400和4800重構的圖像數據可以是變換單元中的圖像數據。現在將參照圖66至圖69描述根據本發明的各種實施例的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼方法和設備以及視頻解碼方法和設備。圖66是根據本 發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼設備6600的框圖。設備6600包括最大編碼單元分割器6610、編碼深度確定器6620和輸出單元6630。最大編碼單元分割器6610可基於圖像的當前畫面的最大編碼單元來對當前畫面進行分割。可根據至少一個最大編碼單元將圖像數據輸出到編碼深度確定器6620。編碼深度確定器6620對通過根據深度對最大編碼單元的域進行分割而獲得的至少一個分割域進行編碼，並確定用於輸出根據所述至少一個分割域的最終編碼結果的深度。換句話說，編碼深度確定器6620通過根據當前畫面的最大編碼單元對根據深度的更深的編碼單元中的圖像數據進行編碼並選擇具有最小編碼錯誤的深度，來確定編碼深度。所確定的根據最大編碼單元的編碼深度和圖像數據被輸出到輸出單元6630。輸出單元6630在比特流中輸出最大編碼單元的圖像數據以及關於根據深度的編碼模式的信息，其中，基於由編碼深度確定器6620確定的至少一個編碼深度對所述最大編碼單元的圖像數據進行編碼。輸出單元6630可僅對通過對由編碼深度確定器6620確定的變換單元中的圖像數據執行低複雜度變換(例如，選擇性的變換、子數據單元變換或按比例縮減變換)而獲得的係數進行編碼和發送。在編碼深度確定器6620進行編碼期間，不僅可確定當對變換單元或適合於頻率特性的變換基底執行變換時包括除「0」以外的係數的係數塊的頻段或大小，還可確定低複雜度變換的類型和選擇的低複雜度變換的細節。關於低複雜度變換的類型的選擇和選擇的低複雜度變換的細節的信息可與編碼的係數一起被編碼和發送。在編碼深度確定器6620中，使用根據本發明的實施例的選擇性的頻域變換的視頻編碼設備10、使用根據本發明的另一實施例的子數據單元變換的視頻編碼設備3600、使用根據本發明的另一實施例的按比例縮減變換的視頻編碼設備4300以及使用根據本發明的另一實施例的低複雜度變換的視頻編碼設備4700之中的視頻編碼設備可安裝為變換模塊。圖67是根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度反變換的視頻解碼設備6700的框圖。視頻解碼設備6700包括接收器6710、圖像數據和編碼信息提取器6720以及圖像數據解碼器6730。以上已參照圖51至圖65和圖67描述了與由視頻解碼設備6700執行的各種處理相關的各種術語(例如，編碼單元、深度、預測單元、變換單元和關於各種編碼模式的信息)。接收器6710接收並解析已編碼的視頻的比特流。圖像數據和編碼信息提取器 6720以最大編碼單元為單位從解析的比特流中提取圖像數據，然後將圖像數據輸出到圖像數據解碼器6730。圖像數據和編碼信息提取器6720可從當前畫面的頭中提取關於當前畫面的編碼單元的最大大小的信息、關於每個最大編碼單元的編碼深度的信息以及關於編碼模式的信息。基於提取的信息將比特流中的圖像數據分割為最大編碼單元，以便圖像數據解碼器6730可以以最大編碼單元為單位對圖像數據進行解碼。圖像數據和編碼信息提取器6720可從解析的比特流中提取關於低複雜度變換的類型的選擇的信息以及關於選擇的變換的細節的信息。為了以最大編碼單元為單位執行反變換，圖像數據解碼器6730可基於關於根據編碼深度的編碼單元的變換單元大小的信息，通過分別使用與編碼單元對應的變換單元， 對所述編碼單元執行反變換。在這種情況下，可基於關於低複雜 度變換的類型的選擇的信息以及關於選擇的低複雜度變換的細節的信息，對通過低複雜度變換而獲得的變換單元的係數執行低複雜度反變換。在圖像數據解碼器6730中，使用根據本發明的實施例的選擇性的頻域反變換的視頻解碼設備20、使用根據本發明的另一實施例的子數據單元反變換的視頻解碼設備 3700、使用根據本發明的另一實施例的按比例縮減反變換的視頻解碼設備4400以及使用根據本發明的另一實施例的低複雜度變換的視頻解碼設備4800中的視頻解碼設備可被安裝為反變換模塊。圖68是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼方法的流程圖。在操作6810，可基於圖像的當前畫面的最大編碼單元對當前畫面進行分割。在操作6820，對通過根據深度分割最大編碼單元的域而獲得的至少一個分割域進行編碼，並確定用於輸出根據所述至少一個分割域的最終編碼結果的深度。例如，可根據當前畫面的最大編碼單元，按根據深度的更深的編碼單元對圖像數據進行編碼，並可選擇具有最小編碼錯誤的深度作為編碼深度。在編碼期間執行的變換可以是低複雜度變換(例如，選擇性的頻域變換、子數據單元變換或按比例縮減變換)。在操作6830，基於確定的至少一個編碼深度而編碼的最大編碼單元的圖像數據以及關於根據深度的編碼模式的信息可以以比特流的形式被輸出。針對變換單元中的圖像數據，可僅對通過低複雜度變換(例如，選擇性的頻域變換、子數據單元變換或按比例縮減變換)獲得的係數進行編碼和發送。圖69是示出根據本發明的另一實施例的基於每個圖像區域的分層數據單元使用低複雜度反變換的視頻解碼方法的流程圖。在操作6910，包含關於已編碼的視頻的比特流被接收和解析。在操作6920，可以以最大編碼單元為單位從解析的比特流中提取圖像數據。 還可從解析的比特流中提取關於當前畫面的編碼單元的最大大小的信息、關於每個最大編碼單元的編碼深度的信息以及關於編碼模式的信息。還可從解析的比特流中提取關於低複雜度變換的類型的選擇以及選擇的低複雜度變換的細節的信息。在操作6930，為了以最大編碼單元為單位執行反變換，可基於關於根據編碼深度的編碼單元的變換單元大小的信息，通過分別使用與編碼單元對應的變換單元來對所述編碼單元執行反變換。在這種情況下，可根據基於關於低複雜度變換的類型的選擇以及選擇的低複雜度變換的細節的信息而選擇的合適的低複雜度反變換，對通過低複雜度變換獲得的變換單元的係數進行反變換，從而再現圖像數據。在大量的圖像或高清圖像的情況下，當以相對小的宏塊為單為對圖像進行編碼或解碼時，計算量可能非常大。根據一般圖像的頻率特性，除「0」以外的係數可能分布在特定頻段中。在這種情況下，以相對小的宏塊為單位對大量數據執行變換或反變換的效率低。在根據本發明的實施例的圖66和圖68的基於每個圖像區域的分層數據單元使用低複雜度變換的視頻編碼方法和設備中，按編碼單元和變換單元對數據執行變換，其中，通過使用預定頻段、子數據單元或按比例縮減變換基底，基於圖像大小並以圖像區域為單位分層確定所述編碼單元和變換單元的大小。因此，需要相對小的比特率來對比特流進行變換。另外，在根據本發明的實施例的圖67和圖69 的基於每個圖像區域的分層數據單元使用低複雜度反變換的視頻解碼方法和設備中，通過使用預定頻段、子數據單元或按比例縮減變換基底，僅對接收的係數執行反變換。因此，解碼處理期間的計算量相對小。本發明的上述實施例可被編寫為電腦程式，並可在使用計算機可讀記錄介質執行所述程序的通用數字計算機中被執行。計算機可讀記錄介質的示例包括磁存儲介質(例如，ROM、軟盤、硬碟等)以及光記錄介質(例如，CD-ROM或DVD)。儘管已參照本發明的優選實施例具體顯示和描述了本發明，但本領域的普通技術人員將理解，在不脫離由權利要求限定的本發明的精神和範圍的情況下，可對其進行形式和細節上的各種改變。所述優選實施例應該被認為僅是描述性的意義，而不是限制的目的。 因此，本發明的範圍不由本發明的詳細描述限定，而是由權利要求所限定，並且所述範圍內的所有不同將被解釋為包括在本發明中。
權利要求
1.一種通過使用低複雜度變換對視頻進行編碼的方法，所述方法包括以預定數據單元為單位接收輸入畫面的圖像數據；通過執行低複雜度變換來產生所述預定數據單元的係數，其中，所述低複雜度變換包括以下變換中的至少一種將針對預定頻域的變換基底應用於圖像數據的選擇性的頻域變換、通過分別選擇和應用針對從圖像數據劃分的多個子數據單元的變換基底來執行變換的子數據單元變換、以及使用通過對長方矩陣和正方矩陣進行組合併對組合的結果按比例縮減而獲得的按比例縮減長方變換基底的按比例縮減變換；輸出針對輸入畫面的預定數據單元而產生的變換係數。
2.如權利要求1所述的方法，其中，產生係數的步驟包括選擇用於對圖像數據執行變換的預定頻域；通過使用與所述預定頻域對應的變換基底來執行選擇性的頻域變換，以產生所述預定頻域的係數。
3.如權利要求2所述的方法，其中，在執行選擇性的頻域變換期間，通過從正方變換中選擇對應於與預定頻段、預定大小的係數塊或預定係數位置相關的當前頻域的變換基底， 並將選擇的變換基底應用於圖像數據，來執行變換以產生預定頻域的係數。
4.如權利要求3所述的方法，其中，執行選擇性的頻域變換的步驟包括從正方變換基底中單獨選擇垂直頻段和水平頻段。
5.如權利要求2所述的方法，其中，在執行選擇性的頻域變換期間，通過從正方變換基底中選擇排除預定頻段而選擇的變換基底，並將選擇的變換基底應用於圖像數據，來執行變換以產生除預定頻域的係數以外的係數。
6.如權利要求3所述的方法，其中，在執行選擇性的頻域變換期間，通過將垂直變換基底和水平變換基底應用於圖像數據，以任意頻段為單位執行變換，從而通過變換產生的係數可根據所述任意頻段被分類，其中，所述垂直變換基底和水平變換基底分別對應於所述任意頻段中的預定頻段的垂直頻段和水平頻段。
7.如權利要求3所述的方法，其中，在執行選擇性的頻域變換期間，通過將垂直變換基底和水平變換基底應用於圖像數據，以任意大小的係數塊為單位執行變換，從而通過變換產生的係數可根據所述任意大小的係數塊被分類，其中，所述垂直變換基底和水平變換基底分別對應於所述任意大小的係數塊中的預定係數塊的垂直大小和水平大小。
8.如權利要求3所述的方法，其中，在執行選擇性的頻域變換期間，通過將垂直變換基底和水平變換基底應用於圖像數據，以係數為單位執行變換，從而通過變換產生的係數可彼此不同，其中，所述垂直變換基底和水平變換基底分別對應於正方變換基底中的係數。
9.如權利要求3所述的方法，其中，執行選擇性的頻域變換的步驟包括從正方變換基底中單獨地選擇垂直頻率基底和水平頻率基底。
10.如權利要求1所述的方法，其中，產生係數的步驟包括將圖像數據劃分為多個子數據單元；通過單獨選擇變換基底並將所述變換基底應用於所述多個子數據單元來執行子數據單元變換，以產生所述多個子數據單元的係數。
11.如權利要求10所述的方法，其中，執行子數據單元變換的步驟包括組合與所述多個子數據單元對應的係數塊。
12.如權利要求10所述的方法，其中，執行子數據單元變換的步驟包括對與所述多個子數據單元對應的係數塊執行變換。
13.如權利要求1所述的方法，其中，產生係數的步驟包括通過對用於圖像數據的按比例縮減長方變換基底執行變換來執行按比例縮減變換，以產生圖像數據的係數。
14.如權利要求13所述的方法，其中，如果第一大小大於第二大小並且圖像數據的水平大小和垂直大小是第二大小，則執行按比例縮減變換的步驟包括以下步驟中的至少一個使用長方變換基底執行變換，所述長方變換基底的水平大小和垂直大小分別是第一大小和第二大小，並且所述長方變換基底是變換基底矩陣與按比例縮減空間矩陣的組合，所述變換基底矩陣的水平大小和垂直大小是第一大小，所述按比例縮減空間矩陣的水平大小和垂直大小分別是第一大小和第二大小；使用長方變換基底執行變換以選擇預定頻域，所述長方變換基底的水平大小和垂直大小分別是第一大小和第二大小，並且所述長方變換基底是水平大小和垂直大小為第一大小的矩陣與水平大小和垂直大小為第二大小的變換基底矩陣的組合；當使用水平大小和垂直大小為第二大小的變換基底矩陣執行變換時，對圖像數據選擇性地執行按比例縮減變換，並量化執行的結果，在高頻分量中不存在除「0」以外的分量。
15.如權利要求1所述的方法，還包括對關於選擇的變換的類型和選擇的變換的細節的信息進行編碼，以執行低複雜度變換。
16.如權利要求1所述的方法，還包括按這樣的方式改變係數掃描順序對通過低複雜度變換產生的按比例縮減的係數塊的係數進行掃描和編碼。
17.如權利要求16所述的方法，其中，產生的係數塊包括由以下係數塊組成的組中的至少一個通過選擇性的頻域變換以頻段為單位產生的係數塊、通過子數據單元變換以子數據單元為單位產生的係數塊以及通過按比例縮減變換獲得的係數塊。
18.如權利要求16所述的方法，其中，改變係數掃描順序的步驟包括按這樣的方式改變係數掃描順序單獨掃描產生的係數塊。
19.如權利要求16所述的方法，其中，改變係數掃描順序的步驟包括按這樣的方式改變係數掃描順序單獨掃描產生的係數塊。
20.如權利要求16所述的方法，還包括對係數塊大小信息進行編碼，以掃描係數。
21.如權利要求16所述的方法，其中，改變係數掃描順序的步驟包括以產生的係數塊為單位並根據頻率特性改變係數掃描順序。
22.如權利要求16所述的方法，其中，改變係數掃描順序的步驟包括按這樣的方式改變係數掃描順序僅對圖像數據的全部係數中的產生的係數塊進行掃描和編碼。
23.如權利要求16所述的方法，其中，改變係數掃描順序的步驟包括按這樣的方式改變係數掃描順序對圖像數據的全部係數中排除預定頻段的係數塊而產生的係數塊進行掃描和編碼。
24.如權利要求1所述的方法，還包括對指示在包括產生的係數的係數塊中是否存在除「0」以外的係數的編碼的係數塊模式信息進行設置和編碼。
25.如權利要求M所述的方法，還包括按這樣的方式改變係數掃描順序基於編碼的係數塊模式信息，掃描包括除「0」以外的係數的係數塊。
26.如權利要求2所述的方法，其中，產生選擇性的頻域的係數的步驟包括通過將具有與圖像數據相同大小的變換基底應用於圖像數據，並基於分析頻率特性的結果確定選擇性的頻域，來執行變換。
27.如權利要求1所述的方法，還包括將輸入畫面劃分為預定的最大編碼單元；通過基於針對根據深度的至少一個更深的編碼單元的至少一個變換單元來執行變換， 通過以區域為單位對所述最大編碼單元進行編碼，確定關於與用於輸出編碼結果的至少一個編碼深度對應的編碼單元的編碼模式，其中，隨著深度加深，從所述最大編碼單元分層地分割所述區域，其中，所述編碼模式包括關於所述至少一個編碼深度和變換單元大小的信息？其中，接收圖像數據的步驟包括接收所述至少一個變換單元的殘差分量。
28.一種通過使用低複雜度變換對視頻進行解碼的方法，所述方法包括接收畫面的預定數據單元的係數；通過對接收的係數執行低複雜度反變換來產生按預定數據單元的圖像數據，其中，所述低複雜度反變換包括以下反變換中的至少一種使用針對預定頻域的變換基底的選擇性的頻域反變換、通過分別選擇和應用針對從畫面劃分的多個子數據單元的變換基底來執行反變換的子數據單元反變換、以及使用作為長方矩陣和正方矩陣的組合的按比例縮減長方變換基底的按比例縮減反變換；從產生的圖像數據重構畫面。
29.如權利要求觀所述的方法，其中，執行低複雜度變換以及產生圖像數據的步驟包括通過將針對預定頻域的變換基底應用於接收的係數來執行選擇性的頻域反變換。
30.如權利要求四所述的方法，其中，在執行選擇性的頻域反變換期間，通過從正方變換中選擇對應於與預定頻段、預定大小的係數塊或預定係數位置相關的當前頻域的變換基底，並將選擇的變換基底應用於接收的係數，來執行反變換以重構按預定數據單元的圖像數據。
31.如權利要求觀所述的方法，其中，執行低複雜度反變換並產生圖像數據的步驟包括從接收的係數產生多個子數據單元的係數；通過單獨選擇變換基底並將所述變換基底應用於所述多個子數據單元來執行子數據單元反變換，以產生按預定數據單元的圖像數據。
32.如權利要求31所述的方法，其中，產生所述多個子數據單元的係數的步驟包括通過對接收的係數複製與所述多個子數據單元的數量對應的次數，產生所述多個子數據單元的係數。
33.如權利要求31所述的方法，其中，產生所述多個子數據單元的係數的步驟包括通過對接收的係數執行反變換，產生所述多個子數據單元的係數。
34.如權利要求觀所述的方法，其中，執行低複雜度反變換並產生圖像數據的步驟包括通過將按比例縮減長方變換基底應用於接收的係數來執行按比例縮減反變換，以產生按預定數據單元的圖像數據。
35.如權利要求34所述的方法，其中，如果第一大小大於第二大小並且圖像數據的水平大小和垂直大小是第二大小，則執行按比例縮減反變換的步驟包括以下步驟中的至少一個使用長方變換基底執行反變換，所述長方變換基底的水平大小和垂直大小分別是第一大小和第二大小，並且所述長方變換基底是變換基底矩陣與按比例縮減空間矩陣的組合， 所述變換基底矩陣的水平大小和垂直大小是第一大小，所述按比例縮減空間矩陣的水平大小和垂直大小分別是第一大小和第二大小；使用長方變換基底執行反變換以選擇預定頻域，所述長方變換基底的水平大小和垂直大小分別是第一大小和第二大小，並且所述長方變換基底是水平大小和垂直大小分別為第一大小和第二大小的矩陣與水平大小和垂直大小為第二大小的變換基底矩陣的組合；當接收的係數包括包含有除「0」以外的分量的低頻分量時，對圖像數據選擇性地執行按比例縮減反變換。
36.如權利要求觀所述的方法，還包括按這樣的方式改變係數掃描順序對接收的係數進行掃描和解碼。
37.如權利要求觀所述的方法，還包括接收係數塊大小信息以掃描係數。
38.如權利要求觀所述的方法，還包括接收指示在包括產生的係數的係數塊中是否存在除「0」以外的係數的編碼的係數塊模式信息。
39.如權利要求觀所述的方法，其中，如果在畫面的編碼期間，通過基於針對根據深度的至少一個更深的編碼單元的至少一個變換單元來執行變換，通過以區域為單位對最大編碼單元進行編碼來確定關於與用於輸出編碼結果的至少一個編碼深度對應的編碼單元的編碼模式，其中，隨著深度加深，從所述最大編碼單元分層地分割所述區域，其中，所述編碼模式包括關於所述至少一個編碼深度和變換單元大小的信息，則接收係數的步驟包括接收畫面的最大編碼單元的變換單元的係數。
40.一種通過使用低複雜度變換對視頻進行編碼的設備，所述設備包括圖像數據接收器，以預定數據單元為單位接收輸入畫面的圖像數據；低複雜度變換單元，通過執行低複雜度變換來產生所述預定數據單元的係數，其中，所述低複雜度變換包括以下變換中的至少一種將針對預定頻域的變換基底應用於圖像數據的選擇性的頻域變換、通過分別選擇和應用針對從圖像數據劃分的多個子數據單元的變換基底來執行變換的子數據單元變換、以及使用通過對長方矩陣和正方矩陣進行組合併對組合的結果按比例縮減而獲得的按比例縮減長方變換基底的按比例縮減變換；變換係數輸出單元，用於輸出針對輸入畫面的預定數據單元而產生的變換係數。
41.如權利要求40所述的設備，其中，低複雜度變換單元包括選擇性的頻域變換單元，通過將針對預定頻域的變換基底應用於圖像數據，來執行變換以產生選擇性的頻域係數；子數據單元變換單元，通過單獨選擇變換基底並將所述變換基底應用於從圖像數據劃分的多個子數據單元，來執行變換以產生所述多個子數據單元的係數；按比例縮減變換單元，通過將作為長方矩陣和正方矩陣的組合的按比例縮減長方變換基底應用於圖像數據，來執行按比例縮減變換以產生係數。
42.如權利要求40所述的設備，其中，按這樣的方式改變係數掃描順序對通過低複雜度變換產生的按比例縮減的係數塊的係數進行掃描和編碼。
43.如權利要求40所述的方法，其中，變換係數輸出單元還對關於選擇的變換的類型和選擇的變換的細節的信息進行編碼和發送，以對產生的變換係數執行低複雜度變換。
44.一種通過使用低複雜度變換對視頻進行解碼的設備，所述設備包括係數接收器，用於接收畫面的預定數據單元的係數；低複雜度反變換單元，用於通過對接收的係數執行低複雜度反變換來產生按預定數據單元的圖像數據，其中，所述低複雜度反變換包括以下反變換中的至少一種使用針對預定頻域的變換基底的選擇性的頻域反變換、通過分別選擇和應用針對從畫面劃分的多個子數據單元的變換基底來執行反變換的子數據單元反變換、以及使用作為長方矩陣和正方矩陣的組合的按比例縮減長方變換基底的按比例縮減反變換；畫面再現單元，用於再現從圖像數據產生的畫面。
45.如權利要求44所述的設備，其中，低複雜度反變換單元包括選擇性的頻域反變換單元，通過將針對預定頻域的變換基底應用於接收的係數，來執行反變換以產生按預定數據單元的圖像數據；子數據單元頻域反變換單元，通過從接收的係數產生多個子數據單元的係數，並通過單獨地選擇變換基底且將所述變換基底應用於產生的係數來執行反變換，以產生按預定數據單元的圖像數據；按比例縮減反變換單元，通過將作為長方矩陣和正方矩陣的組合的按比例縮減長方變換基底應用於圖像數據，執行按比例縮減反變換來產生按預定數據單元的圖像數據。
46.如權利要求44所述的設備，其中，按這樣的方式改變係數掃描順序通過低複雜度變換對係數的位置選擇性地進行編碼。
47.如權利要求44所述的設備，其中，係數接收器還接收關於選擇的變換的類型和選擇的變換的細節的信息，以對接收的係數執行低複雜度反變換。
48.一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行如權利要求1至27之一所述的視頻編碼方法。
49.一種其上記錄有電腦程式的計算機可讀記錄介質，所述電腦程式用於執行如權利要求28至39之一所述的視頻解碼方法。
全文摘要
一種使用低複雜度變換的視頻編碼方法，所述方法包括按預定數據單元接收輸入畫面的圖像數據，通過對圖像數據執行低複雜度變換來產生所述預定數據單元的係數，並輸出產生的係數。所述低複雜度變換包括以下變換中的至少一種使用針對預定頻域的變換基底的選擇性的頻域變換、通過分別選擇和應用針對從圖像數據劃分的多個子數據單元的變換基底來執行變換的子數據單元變換、以及使用作為長方矩陣和正方矩陣的組合的按比例縮減長方變換基底的按比例縮減變換。
文檔編號H04N7/26GK102388610SQ201080016020
公開日2012年3月21日 申請日期2010年2月8日 優先權日2009年2月9日
發明者千岷洙, 李泰美, 金壹求 申請人:三星電子株式會社