通過使用大變換單元對圖像進行編碼和解碼的方法和設備與流程
2023-09-20 21:39:15 1
通過使用大變換單元對圖像進行編碼和解碼的方法和設備本申請是向中國知識產權局提交的申請日為2011年01月14日的標題為「通過使用大變換單元對圖像進行編碼和解碼的方法和設備」的第201180013432.0號申請的分案申請。技術領域示例性實施例涉及一種用於對圖像進行編碼和解碼的方法和設備，更具體地講，涉及一種用於通過將像素域圖像變換為頻域的係數對圖像進行編碼和解碼的方法和設備。
背景技術：
在用於對圖像進行編碼和解碼的大多數方法和設備中，像素域的圖像被變換到頻域，並且變換後的圖像被編碼以壓縮圖像。離散餘弦變換(DCT)是用於對音頻/視頻(AV)數據壓縮的公知技術。近年，已進行了找尋更有效編碼方法的許多嘗試。在音頻編碼中，參數編碼比DCT執行得更好，並且在二維數據中，KarhunenLoeve變換(KLT)具有最小的比特大小但具有大開銷(overhead)大小。
技術實現要素：
技術方案示例性實施例提供一種用於通過使用有效變換對圖像進行編碼和解碼的方法和設備，以及其上記錄有用於執行編碼和解碼的電腦程式的計算機可讀記錄介質。有益效果根據示例性實施例，由於變換單元可被設置為具有比預測單元更大的尺寸，並且可對所述變換單元執行變換，因此可對圖像進行更有效地壓縮和編碼。附圖說明通過參照附圖描述特定示例性實施例，以上和/或其他方面將變得更加清楚，其中：圖1是根據示例性實施例的用於對圖像進行編碼的設備的框圖；圖2是根據示例性實施例的用於對圖像進行解碼的設備的框圖；圖3示出根據示例性實施例的分層編碼單元；圖4是根據示例性實施例的基於編碼單元的圖像編碼器的框圖；圖5是根據示例性實施例的基於編碼單元的圖像解碼器的框圖；圖6示出根據示例性實施例的最大編碼單元、子編碼單元和預測單元；圖7示出根據示例性實施例的編碼單元和變換單元；圖8a、圖8b、圖8c和圖8d示出根據示例性實施例的編碼單元、預測單元和變換單元的劃分形狀；圖9是根據另一示例性實施例的用於對圖像進行編碼的設備的框圖；圖10是根據示例性實施例的用於描述預測方法的示圖；圖11是根據示例性實施例的變換器的框圖；圖12a到圖12c是根據示例性實施例的變換單元的類型的示圖；圖13a到圖13d是根據其他示例性實施例的變換單元的類型的示圖；圖14是根據示例性實施例的不同變換單元的示圖；圖15是根據另一示例性實施例的用於對圖像進行解碼的設備的框圖；圖16是示出根據示例性實施例的對圖像進行編碼的方法的流程圖；圖17是示出根據示例性實施例的對圖像進行解碼的方法的流程圖。最佳實施方式根據示例性實施例的一方面，提供一種對圖像進行編碼的方法，所述方法包括：對圖像的多個編碼單元執行預測，並基於預測的多個編碼單元產生多個預測單元；將所述多個預測單元組合為變換單元；基於變換單元將包括在組合的多個預測單元中的殘差值變換到頻域，並變換為頻域的頻率分量係數；對頻率分量係數進行量化；以及對量化的頻率分量係數進行熵編碼。所述組合步驟可包括：基於指示將最大編碼單元分層減小到所述多個編碼單元的程度的所述多個預測單元的深度，組合所述多個預測單元。所述組合步驟可包括：選擇所述多個預測單元中的根據預測模式的類型被執行預測的相鄰預測單元。所述執行預測步驟可包括：通過基於所述多個預測單元中的至少一個相鄰預測單元的預測值，對所述多個預測單元中被預測的預測單元進行幀內預測來產生所述多個編碼單元的殘差值。所述執行預測步驟可包括：通過對包括在所述多個編碼單元中的所有預測單元進行幀間預測來產生所述多個編碼單元的殘差值。根據示例性實施例的另一方面，提供一種用於對圖像進行編碼的設備，所述設備包括：預測器，對圖像的多個編碼單元執行預測，並基於預測的多個編碼單元產生多個預測單元；變換器，將所述多個預測單元組合為變換單元，基於變換單元將包括在組合的多個預測單元中的殘差值變換到頻域，並變換為頻域的頻率分量係數；量化器，對頻率分量係數進行量化；以及熵編碼器，對量化的頻率分量係數進行熵編碼。根據示例性實施例的另一方面，提供一種對圖像進行解碼的方法，所述方法包括：對從變換單元的多個預測單元的變換的殘差值產生的頻域的頻率分量係數進行熵解碼，其中，所述多個預測單元包括在圖像的多個編碼單元中；對經過熵解碼的頻率分量係數進行反量化；將反量化的頻率分量係數逆變換到像素域，作為包括在變換單元中的所述多個編碼單元的恢復的殘差值；以及基於恢復的殘差值，恢復所述多個編碼單元。根據示例性實施例的另一方面，提供一種用於對圖像進行解碼的設備，所述設備包括：熵解碼器，對從變換單元的多個預測單元的變換的殘差值產生的頻域的頻率分量係數進行熵解碼，其中，所述多個預測單元包括在圖像的多個編碼單元中；反量化器，對經過熵解碼的頻率分量係數進行反量化；逆變換器，將反量化的頻率分量係數逆變換到像素域，作為包括在變換單元中的所述多個編碼單元的恢復的殘差值；以及恢復器，基於恢復的殘差值，恢復所述多個編碼單元。根據示例性實施例的另一方面，提供一種其上記錄有用於執行解碼方法和編碼方法的程序的計算機可讀記錄介質。具體實施方式以下，參照附圖更詳細地描述特定示例性實施例。諸如「…中的至少一個」的表達在元素列表之後時，修飾整個元素列表，而不修飾列表中的單個元素。在本說明書中，「圖像」可表示視頻的靜止圖像或運動圖像(即，視頻自身)。在以下描述中，即使在不同附圖中，相同的附圖標號也用於表示相同的元件。提供描述中定義的內容(諸如詳細的構造和元件)以幫助全面理解示例性實施例。然而，可在沒有那些具體定義的內容的情況下實施示例性實施例。圖1是根據示例性實施例的用於對圖像進行編碼的圖像編碼設備100的框圖。作為示例，圖像編碼設備100可實現為硬體設備(諸如計算機的處理器或者計算機系統)。圖像編碼設備100還可實現為駐存在計算機系統上的軟體模塊。參照圖1，圖像編碼設備100包括最大編碼單元劃分器110、編碼深度確定器120、圖像數據編碼器130和編碼信息編碼器140，其中，以上項可實現為例如集成在圖像編碼設備100內或與圖像編碼設備100分離的硬體或者軟體模塊。最大編碼單元劃分器110可基於作為具有最大尺寸的編碼單元的最大編碼單元劃分當前幀或像條(slice)。也就是說，最大編碼單元劃分器110可將當前幀或像條劃分為至少一個最大編碼單元。根據示例性實施例，編碼單元可使用最大編碼單元和深度來表示。如上所述，最大編碼單元指示當前幀的編碼單元之中具有最大尺寸的編碼單元，深度指示分層減小編碼單元的程度。隨著深度增加，編碼單元可從最大編碼單元減小到最小編碼單元，其中，最大編碼單元的深度被定義為最小深度，最小編碼單元的深度被定義為最大深度。由於隨著深度增加編碼單元的尺寸從最大編碼單元減小，因此第k深度的子編碼單元可包括第k+n(k和n是大於等於1的整數)深度的多個子編碼單元。根據將被編碼的幀的尺寸的增大，以更大的編碼單元對圖像編碼可導致更高的圖像壓縮率。然而，如果更大的編碼單元被固定，則通過反映連續改變圖像特徵無法對圖像進行有效地編碼。例如，當諸如海洋或天空的平滑區域被編碼時，編碼單元越大，壓縮率可增加得越多。但是，當諸如人或建築物的複雜區域被編碼時，編碼單元越小，壓縮率可增加得越多。因此，在示例性實施例中，為每個幀或像條設置不同的最大圖像編碼單元和不同的最大深度。由於最大深度指示編碼單元可減小的最大次數，因此，包括在最大圖像編碼單元中的每個最小編碼單元的尺寸可根據最大深度不同地設置。可為每個幀或像條或者為每個最大編碼單元不同地確定最大深度。編碼深度確定器120確定最大編碼單元的劃分形狀。可基於率失真(RD)代價的計算來確定劃分形狀。最大編碼單元的確定的劃分形狀被提供給編碼信息編碼器140，根據最大編碼單元的圖像數據被提供給圖像數據編碼器130。最大編碼單元可被劃分為根據不同深度具有不同尺寸的子編碼單元，並且包括在最大編碼單元中的具有不同尺寸的子編碼單元可基於具有不同尺寸的處理單元被預測或進行頻率變換。換言之，圖像編碼設備100可基於具有各種尺寸和各種形狀的處理單元執行用於圖像編碼的多個處理操作。為了對圖像數據進行編碼，執行諸如預測、變換和熵編碼的處理操作，其中，具有相同尺寸或不同尺寸的處理單元可被用於每個操作。例如，圖像編碼設備100可選擇與編碼單元不同的處理單元以用於預測所述編碼單元。當編碼單元的尺寸是2N×2N(其中，N是正整數)時，用於預測的處理單元可以是2N×2N、2N×N、N×2N和N×N。換言之，可基於具有編碼單元的高和寬中的至少一個被二等分的形狀的處理單元執行運動預測。以下，將作為預測的基礎的處理單元定義為預測單元。預測模式可以是幀內模式、幀間模式和跳過模式中的至少一個，並且可僅針對具有特定尺寸或特定形狀的預測單元執行特定預測模式。例如，可僅針對尺寸為2N×2N或N×N且形狀為正方形的預測單元執行幀內模式。此外，可僅針對尺寸為2N×2N的預測單元執行跳過模式。如果在編碼單元中存在多個預測單元，則可在針對每個預測單元執行預測之後選擇具有最小編碼誤差的預測模式。可選擇地，圖像編碼設備100可基於尺寸與編碼單元的尺寸不同的處理單元對圖像數據執行頻率變換。對於編碼單元中的頻率變換，可基於尺寸小於等於編碼單元的尺寸的處理單元執行頻率變換。以下，將作為頻率變換的基礎的處理單元定義為變換單元。所述頻率變換可以是離散餘弦變換(DCT)或者KarhunenLoeve變換(KLT)。編碼深度確定器120可基於拉格朗日乘數使用RD優化來確定包括在最大編碼單元中的子編碼單元。換言之，編碼深度確定器120可確定從最大編碼單元劃分的多個子編碼單元的形狀，其中，子編碼單元根據子編碼單元的深度具有不同的尺寸。圖像數據編碼器130通過基於由編碼深度確定器120確定的劃分形狀對最大編碼單元進行編碼來輸出比特流。編碼信息編碼器140對關於由編碼深度確定器120確定的最大編碼單元的編碼模式的信息進行編碼。換言之，編碼信息編碼器140通過對關於最大編碼單元的劃分形狀的信息、關於最大深度的信息以及關於每個深度的子編碼單元的編碼模式的信息進行編碼來輸出比特流。關於子編碼單元的編碼模式的信息可包括關於子編碼單元的預測單元的信息、關於每個預測單元的預測模式的信息以及關於子編碼單元的變換單元的信息。關於最大編碼單元的劃分形狀的信息可以是指示每個編碼單元是否被劃分的標記信息。例如，當最大編碼單元被劃分和編碼時，指示最大編碼單元是否被劃分的信息被編碼。此外，當從最大編碼單元劃分的子編碼單元被劃分和編碼時，指示子編碼單元是否被劃分的信息被編碼。由於針對每個最大編碼單元存在具有不同尺寸的子編碼單元並且針對每個子編碼單元確定關於編碼模式的信息，因此，可針對一個最大編碼單元確定關於至少一個編碼模式的信息。圖像編碼設備100可通過根據深度的增加將最大編碼單元的高和寬二等分來產生子編碼單元。也就是說，當第k深度的編碼單元的尺寸是2N×2N時，第k+1深度的編碼單元的尺寸是N×N。因此，圖像編碼設備100可考慮圖像特徵基於最大編碼單元的尺寸和最大深度來確定針對每個最大編碼單元的最佳劃分形狀。通過考慮圖像特徵可變地調整最大編碼單元的尺寸並且通過將最大編碼單元劃分為不同深度的子編碼單元對圖像進行編碼，可對具有各種解析度的圖像進行更有效地編碼。圖2是根據示例性實施例的用於對圖像進行解碼的圖像解碼設備200的框圖。作為示例，圖像解碼設備200可實現為硬體設備(諸如計算機的處理器或者計算機系統)。圖像解碼設備200還可實現為駐存在計算機系統上的軟體模塊。參照圖2，圖像解碼設備200包括圖像數據獲取單元210、編碼信息提取器220和圖像數據解碼器230，其中，以上項可實現為例如集成在圖像解碼設備200內或與圖像解碼設備200分離的硬體或者軟體模塊。圖像數據獲取單元210通過解析由圖像解碼設備200接收的比特流來獲取根據最大編碼單元的圖像數據，並將圖像數據輸出到圖像數據解碼器230。圖像數據獲取單元210可從當前像條或當前幀的頭部提取關於當前幀或像條的最大編碼單元的信息。換言之，圖像數據獲取單元210在最大編碼單元中劃分比特流，使得圖像數據解碼器230可根據最大編碼單元對圖像數據進行解碼。編碼信息提取器220通過解析由圖像解碼設備200接收的比特流從當前幀的頭部提取關於最大編碼單元、最大深度、最大編碼單元的劃分形狀、子編碼單元的編碼模式的信息。關於劃分形狀的信息和關於編碼模式的信息被提供給圖像數據解碼器230。關於最大編碼單元的劃分形狀的信息可包括關於具有根據深度的不同尺寸並包括在最大編碼單元中的子編碼單元的信息，並且可以是指示每個編碼單元是否被劃分的標記信息。關於編碼模式的信息可包括關於根據子編碼單元的預測單元的信息、關於預測模式的信息以及關於變換單元的信息。圖像數據解碼器230通過基於由編碼信息提取器220提取的信息對每個最大編碼單元的圖像數據進行解碼來恢復當前幀。圖像數據解碼器230可基於關於最大編碼單元的劃分形狀的信息對包括在最大編碼單元中的子編碼單元進行解碼。解碼處理可包括預測處理(包括幀內預測和運動補償)和逆變換處理。圖像數據解碼器230可基於關於預測單元的信息和關於預測模式的信息來執行幀內預測或幀間預測，以預測所述預測單元。圖像數據解碼器230還可基於關於子編碼單元的變換單元的信息來針對每個子編碼單元執行逆變換。圖3示出根據示例性實施例的分層編碼單元。參照圖3，分層編碼單元可包括寬和高為64×64、32×32、16×16、8×8和4×4的編碼單元。除了具有完全正方形形狀的這些編碼單元之外，還可存在寬和高為64×32、32×64、32×16、16×32、16×8、8×16、8×4和4×8的編碼單元。參照圖3，對於解析度為1920×1080的圖像數據集310，最大編碼單元的尺寸被設置為64×64，最大深度被設置為2。對於解析度為1920×1080的圖像數據集320，最大編碼單元的尺寸被設置為64×64，最大深度被設置為3。對於解析度為352×288的圖像數據集330，最大編碼單元的尺寸被設置為16×16，最大深度被設置為1。當解析度較高或數據量較大時，編碼單元的最大尺寸可被設置為相對較大以增加壓縮率並更加精確地反映圖像特徵。因此，對於具有比圖像數據集330更高解析度的圖像數據集310和320，,64×64可被選為最大編碼單元的尺寸。最大深度指示分層編碼單元中的層的總數。由於圖像數據集310的最大深度是2，因此，圖像數據集310的編碼單元315可包括長軸尺寸為64的最大編碼單元以及根據深度的增加長軸尺寸為32和16的子編碼單元。另一方面，由於圖像數據集330的最大深度是1，因此，圖像數據集330的編碼單元335可包括長軸尺寸為16的最大編碼單元以及根據深度的增加長軸尺寸為8的編碼單元。然而，由於圖像數據集320的最大深度是3，因此，圖像數據集320的編碼單元325可包括長軸尺寸為64的最大編碼單元以及根據深度的增加長軸尺寸為32、16、8和4的子編碼單元。由於基於隨著深度增加的更小的子編碼單元對圖像進行編碼，因此示例性實施例適合用於對包括更小場景的圖像進行編碼。圖4是根據示例性實施例的基於編碼單元的圖像編碼器400的框圖。作為示例，圖像編碼器400可實現為硬體裝置(諸如計算機的處理器)或者實現為駐存在計算機系統上的軟體模塊。幀內預測器410對當前幀405中的幀內模式的預測單元執行幀內預測，運動估計器420和運動補償器425使用當前幀405和參考幀495對幀間模式的預測單元執行幀間預測和運動補償。作為示例，幀內預測器410、運動估計器420、運動補償器425和參考幀495可實現為集成在圖像編碼器400內或與圖像編碼器400分離的硬體或軟體模塊。基於從幀內預測器410、運動估計器420和運動補償器425輸出的預測單元產生殘差值。產生的殘差值經過變換器430和量化器440輸出為量化的變換係數。量化的變換係數經過反量化器460和逆變換器470恢復為殘差值，恢復的殘差值經過去塊單元480和環路濾波單元490被後處理並輸出為參考幀495。所述量化的變換係數可經過熵編碼器450輸出為比特流455。為了基於根據示例性實施例的編碼方法執行編碼，圖像編碼器400的幀內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、反量化器460、逆變換器470、去塊單元480和環路濾波單元490基於最大編碼單元、根據深度的子編碼單元、預測單元和變換單元執行圖像編碼處理。圖5是根據示例性實施例的基於編碼單元的圖像解碼器500的框圖。作為示例，圖像解碼器500可實現為硬體裝置(諸如計算機的處理器)或者駐存在計算機系統上的軟體模塊。比特流505經過解析器510，使得將被解碼的編碼的圖像數據和解碼所必需的編碼信息被解析。所述編碼的圖像數據經過熵解碼器520和反量化器530輸出為反量化的數據，並經過逆變換器540恢復為殘差值。根據被添加到幀內預測器550的幀內預測結果或運動補償器560的運動補償結果的編碼單元來恢復殘差值。恢復的編碼單元585、595經過去塊單元570和環路濾波單元580用於預測下一編碼單元或下一幀。作為示例，解析器510、熵解碼器520、反量化器530、逆變換器540、幀內預測器550、補償器560、去塊單元570和環路濾波單元580可實現為集成在圖像解碼器500內或與圖像解碼器500分離的硬體或軟體模塊。為了基於根據示例性實施例的解碼方法執行解碼，圖像解碼器500的解析器510、熵解碼器520、反量化器530、逆變換器540、幀內預測器550、運動補償器560、去塊單元570和環路濾波單元580基於最大編碼單元、根據深度的子編碼單元、預測單元和變換單元執行圖像解碼處理。尤其是，幀內預測器550和運動補償器560通過考慮最大編碼單元和深度來確定子編碼單元中的預測單元和預測模式，逆變換器540通過考慮變換單元的尺寸來執行逆變換。圖6示出根據示例性實施例的最大編碼單元、子編碼單元和預測單元。圖1示出的圖像編碼設備100和圖2示出的圖像解碼設備200考慮圖像特徵而使用分層編碼單元來執行編碼和解碼。可根據圖像特徵自適應地設置最大編碼單元和最大深度，或者可根據用戶的需要可變地設置最大編碼單元和最大深度。在圖6中，分層編碼單元結構600具有作為高和寬為64且最大深度為4的最大編碼單元的最大編碼單元610。深度沿著分層編碼單元結構600的縱軸增加，而隨著深度增加，子編碼單元620至650的高和寬減小。沿著分層編碼單元結構600的橫軸示出最大編碼單元610和子編碼單元620至650的預測單元。最大編碼單元610具有深度0以及編碼單元的尺寸(或者高和寬)64×64。深度沿著縱軸增加，並存在尺寸為32×32且深度為1的第一子編碼單元620、尺寸為16×16且深度為2的第二子編碼單元630、尺寸為8×8且深度為3的第三子編碼單元640以及尺寸為4×4且深度為4的最小編碼單元650。尺寸為4×4且深度為4的最小編碼單元650是最小編碼單元，並且最小編碼單元可被劃分為預測單元，其中，每個預測單元的尺寸小於最小編碼單元。參照圖6，根據每個深度沿著橫軸示出預測單元的示例。也就是說，深度為0的最大編碼單元610的預測單元可以是尺寸等於最大編碼單元的尺寸64×64的預測單元或者尺寸小於尺寸為64×64的最大編碼單元的尺寸的尺寸為64×32的預測單元612、尺寸為32×64的預測單元614或尺寸為32×32的預測單元616。深度為1且尺寸為32×32的第一子編碼單元620的預測單元可以是尺寸等於第一子編碼單元的尺寸32×32的預測單元或者尺寸小於尺寸為32×32的第一子編碼單元620的尺寸的尺寸為32×16的預測單元622、尺寸為16×32的預測單元624或尺寸為16×16的預測單元626。深度為2且尺寸為16×16的第二子編碼單元630的預測單元可以是尺寸等於第二子編碼單元630的尺寸16×16的預測單元或者尺寸小於尺寸為16×16的第二子編碼單元630的尺寸的尺寸為16×8的預測單元632、尺寸為8×16的預測單元634或尺寸為8×8的預測單元636。深度為3且尺寸為8×8的第三子編碼單元640的預測單元可以是尺寸等於第三子編碼單元640的尺寸8×8的預測單元或者尺寸小於尺寸為8×8的第三子編碼單元640的尺寸的尺寸為8×4的預測單元642、尺寸為4×8的預測單元644或尺寸為4×4的預測單元646。深度為4且尺寸為4×4的最小編碼單元650是最小編碼單元和最大深度的編碼單元。最小編碼單元650的預測單元可以是尺寸為4×4的預測單元650、尺寸為4×2的預測單元652、尺寸為2×4的預測單元654或尺寸為2×2的預測單元656。圖7示出根據示例性實施例的編碼單元和變換單元。圖1示出的圖像編碼設備100和圖2示出的圖像解碼設備200使用最大編碼單元或使用從最大編碼單元劃分的尺寸小於等於最大編碼單元的子編碼單元來執行編碼和解碼。在編碼和解碼處理中，用於頻率變換的變換單元的尺寸被選擇為不大於相應編碼單元的尺寸。例如，如果當前編碼單元710具有尺寸64×64，則可使用尺寸為32×32的變換單元720執行頻率變換。圖8a、圖8b、圖8c和圖8d示出根據示例性實施例的編碼單元、預測單元和變換單元的劃分形狀。圖8a和圖8b分別示出根據示例性實施例的編碼單元和預測單元。圖8a示出由圖1示出的圖像編碼設備100選擇的用於對最大編碼單元810進行編碼的劃分形狀。圖像編碼設備100將最大編碼單元810劃分為各種形狀，執行編碼，並通過基於RD代價將各種劃分形狀的編碼結果互相比較來選擇最佳劃分形狀。當將被編碼的最大編碼單元810最佳時，如圖8a到圖8d所示，可在不劃分最大編碼單元810的情況下，對最大編碼單元810進行編碼。參照圖8a，通過將深度為0的最大編碼單元810劃分為深度大於等於1的子編碼單元812、854，最大編碼單元810被編碼。也就是說，最大編碼單元810被劃分為深度為1的4個子編碼單元，並且深度為1的全部子編碼單元或一些子編碼單元被劃分為深度為2的子編碼單元814、816、818、828、850和852。深度為1的子編碼單元中位於右上方的子編碼單元和位於左下方的子編碼單元被劃分為深度大於等於2的子編碼單元。深度大於等於2的一些子編碼單元可被進一步劃分為深度大於等於3的子編碼單元820、822、824、826、830、832、840、842、844、846和848。圖8b示出最大編碼單元810的預測單元的劃分形狀。參照圖8b，最大編碼單元810的預測單元860可不同於最大編碼單元810而被劃分。換言之，每個子編碼單元的預測單元可小於相應子編碼單元。例如，深度為1的子編碼單元812、854中位於右下方的子編碼單元854的預測單元可小於子編碼單元854。另外，深度為2的子編碼單元814、816、818、828、850和852中的子編碼單元814、816、850和852的預測單元可分別小於子編碼單元814、816、850和852。另外，深度為3的子編碼單元822、832和848的預測單元可分別小於子編碼單元822、832和848。預測單元可具有各個子編碼單元沿高或寬方向被二等分的形狀或者具有各個子編碼單元沿高和寬方向被四等分的形狀。圖8c和圖8d示出根據示例性實施例的預測單元和變換單元。圖8c示出在圖8b中示出的最大編碼單元810的預測單元的劃分形狀，圖8d示出最大編碼單元810的變換單元的劃分形狀。參照圖8d，變換單元870的劃分形狀可不同於預測單元860被設置。例如，即使深度為1的子編碼單元854的預測單元被選為具有子編碼單元854的高被二等分的形狀，變換單元也可被選為具有子編碼單元854的原始尺寸。同樣，即使深度為2的子編碼單元814和850的預測單元被選為具有子編碼單元814和850中的每一個的高被二等分的形狀，變換單元也可被選為具有與子編碼單元814和850中的每一個的原始尺寸相同的尺寸。變換單元可被選為具有比預測單元更小的尺寸。例如，當深度為2的子編碼單元852的預測單元被選為具有子編碼單元852的寬被二等分的形狀時，變換單元可被選為具有子編碼單元852沿高和寬方向被四等分的形狀，其中，所述形狀具有比預測單元的形狀更小的尺寸。可選擇地，如將參照圖13a到圖13d所述，不管編碼單元為何，變換單元可被設置為具有比編碼單元更大的尺寸。圖9是根據另一示例性實施例的用於對圖像進行編碼的設備900的框圖。參照圖9，根據當前示例性實施例的圖像編碼設備900包括預測器910、變換器920、量化器930和熵編碼器940。預測器910通過對一個或多個編碼單元執行幀內預測或幀間預測來產生殘差值。將如稍後所述，包括在多個預測單元中的殘差值可被組合為一個變換單元，並隨後被變換到頻域，由此，通過基於所述多個預測單元預測一個或多個編碼單元來產生殘差值。到頻域的變換可以是DCT或KLT。如以上參照圖8a所述，在根據示例性實施例的圖像編碼方法中，一個編碼單元可包括多個預測單元。因此，預測器910可預測每個預測單元，並產生包括在所述一個編碼單元中的預測單元的殘差值。可選擇地，預測單元910可一次預測所述多個編碼單元。將如稍後所述，根據示例性實施例，包括在多個編碼單元中的多個預測單元可被組合為一個變換單元，並由此通過預測包括在編碼單元中的每個預測單元來產生殘差值。例如，包括在一個最大編碼單元中的所有子編碼單元可被預測以產生編碼單元的殘差值。根據傳統技術，由於以小於等於預測單元的尺寸執行變換(例如，DCT或KLT)，因此，預定的預測單元被獨立地編碼、恢復，並隨後用於預測下一預測單元。然而，根據稍後將描述的根據示例性實施例的對圖像進行編碼的方法，由於通過將包括在一個或多個編碼單元中的預測單元組合為一個變換單元來執行變換，因此預定的預測單元不能被獨立地編碼和恢復。這將參照圖10進行詳細描述。圖10是根據示例性實施例的用於描述預測方法的示圖。參照圖10，一個編碼單元1000可包括多個預測單元1010到1040。如果按照傳統技術以小於等於預測單元的尺寸執行變換，則預測單元1010到1030可在對右下方的預測單元1040進行編碼之前被編碼和恢復。因此，如果根據傳統技術預測單元1040將經由幀內預測被預測，則通過使用通過對預測單元1010到1030進行編碼並隨後恢復預測單元1010到1030產生的像素中與預測單元1040相鄰的像素來對預測單元1040進行幀內預測。另一方面，根據示例性實施例，多個預測單元被組合為一個變換單元，並隨後執行變換。這裡，如果圖10的預測單元1010到1040被組合為一個變換單元，則使用其他預測單元1010到1030對右下方的預測單元1040進行編碼，並由此在對預測單元1040進行編碼之前，不對預測單元1010到1030進行編碼。因此，不能通過使用通過對預測單元1010到1030進行編碼並隨後恢復預測單元1010到1030產生的像素來對預測單元1040進行幀內預測。因此，圖9的預測單元910可通過使用預測單元1010到1030的預測值來預測所述預測單元1040。通過使用預測單元1010到1030的預測值，而不使用通過對預測單元1010到1030進行編碼並隨後恢復預測單元1010到1030產生的像素，來預測右下方的預測單元1040。換言之，如果在組合為一個變換單元的預測單元中存在經由幀內預測而預測的第一預測單元，則可通過使用至少一個相鄰預測單元的預測值來對第一預測單元進行幀內預測。可選擇地，組合為一個變換單元的預測單元可全部經由幀間預測被預測。如參照圖10所述，由於在將多個預測單元組合為一個變換單元時經由幀內預測所預測的預測單元待解決(atissue)，因此，可僅使用幀間預測來預測組合為變換單元的所有預測單元。參照回圖9，變換器920接收像素域中的圖像處理單元，並將所述圖像處理單元變換到頻域，變換器920將由預測單元910產生的殘差值變換到頻域。如上所述，變換器920將預測單元組合為一個變換單元，並根據變換單元執行DCT或KLT。殘差值可以是包括在一個或多個編碼單元中的多個預測單元的殘差值。作為將像素域變換到頻域的結果，頻率分量的係數被產生。根據示例性實施例，可經由DCT或KLT執行到頻域的變換，作為DCT或KLT的結果，離散餘弦係數被產生。然而，可使用用於將像素域中的圖像變換到頻域的任何變換。圖11是根據示例性實施例的變換器920的框圖。參照圖11，變換器920包括選擇器1110和變換執行器1120。選擇器1110通過選擇多個相鄰預測單元來設置一個變換單元。根據以上描述的傳統圖像編碼設備，根據預定的預測單元執行幀內預測或幀間預測，並以小於等於預定預測單元的尺寸執行DCT或KLT。換言之，傳統圖像編碼設備基於具有小於等於預測單元的尺寸的變換單元來執行DCT或KLT。然而，由於附加的開銷隨著由於為每個變換單元添加的頭部信息所導致的變換單元的尺寸減小而增加，所以圖像編碼的壓縮率退化。因此，根據當前示例性實施例的圖像編碼設備900將相鄰預測單元組合為一個變換單元，並隨後根據變換單元執行DCT或KLT。具體地說，由於相鄰預測單元極有可能具有相似的殘差值，所以當根據通過組合相鄰預測單元產生的變換單元來執行DCT或KLT時，編碼的壓縮率可顯著增加。因此，選擇器1110選擇將被組合為一個變換單元並將被執行DCT或KLT的預測單元。所述預測單元可彼此相鄰。這將參照圖12a到圖12c以及圖13a到圖13d進行詳細描述。圖12a到圖12c是根據示例性實施例的變換單元1230到1250的類型的示圖。參照圖12a到圖12c，預測單元1220可具有編碼單元1210沿寬方向被二等分的形狀。編碼單元1210可以是如上所述的最大編碼單元或者具有比最大編碼單元更小尺寸的子編碼單元。即使編碼單元1210和預測單元1220相同，變換單元1230到1250也可不同。如圖12a所示，變換單元1230的尺寸可小於預測單元1220的尺寸，或者如圖12b所示，變換單元1240的尺寸可等於預測單元1220的尺寸。可選擇地，如圖12c所示，變換單元1250的尺寸可大於預測單元1220的尺寸。被組合為一個變換單元的預測單元可以是如圖12a到圖12c所示的包括在一個編碼單元中的多個預測單元，或者可以是包括在不同編碼單元中的多個預測單元。換言之，包括在至少一個編碼單元中的多個預測單元可被組合為一個變換單元並隨後被變換到頻域。圖13a到圖13d是根據示例性實施例的變換單元的類型的示圖。一個最大編碼單元1300可被劃分為如圖13a所示的具有不同尺寸並隨後被編碼的子編碼單元1302到1308，並且如圖13b所示，子編碼單元1302到1308中的每一個可包括至少一個預測單元1310到1340。選擇器1110可將圖13b中示出的預測單元1310到1340組合為圖13c中示出的一個變換單元1350，並隨後將變換單元1350變換到頻域。可選擇地，如圖13d所示，選擇器1110可將左側的子編碼單元1302和1306的預測單元1310以及預測單元1330到1339組合為一個變換單元1360，並將右側的子編碼單元1304和1308的預測單元1320到1326以及預測單元1340組合為一個變換單元1362。參照回圖11，用於選擇器1110選擇多個相鄰預測單元的準則是不受限的。然而，根據示例性實施例，選擇器1110可基於深度選擇變換單元。如上所述，深度指示將編碼單元從當前像條或幀的最大編碼單元分層減小到子編碼單元的程度。如以上參照圖3和圖6所示，隨著深度增加，子編碼單元的尺寸減小，由此，包括在子編碼單元中的預測單元的尺寸減小。這裡，當根據具有小於等於預測單元的尺寸的變換單元執行DCT或KLT時，因為如上所述為每個變換單元添加了頭部信息，所以圖像編碼的壓縮率降低。因此，包括在深度大於等於預定值的子編碼單元中的預測單元可被組合為一個變換單元，並隨後可基於變換單元執行DCT或KLT。因此，選擇器1110可基於子編碼單元的深度來設置變換單元。例如，當圖12c的編碼單元1210的深度高於k時，選擇器1110將預測單元1220組合為一個變換單元1250。可選擇地，當最大編碼單元包括深度大於等於預定值的多個子編碼單元時，選擇器1110可將子編碼單元的預測單元組合為一個變換單元。圖13c示出將深度大於最大編碼單元(即，深度大於1)的子編碼單元的預測單元組合為一個變換單元的示例。根據另一示例性實施例，選擇器1110可將多個相鄰預測單元設置為一個變換單元，其中，根據相同的預測模式的類型對所述多個相鄰預測單元執行預測。通過使用幀內預測或幀間預測所預測的相鄰預測單元可被組合為一個變換單元。由於根據相同的預測模式的類型預測的相鄰預測單元極有可能具有相似的殘差值，因此，可通過將所述相鄰預測單元組合為一個變換單元來執行DCT或KLT。當選擇器1110設置變換單元時，變換執行器1120根據設置的變換單元將所述相鄰預測單元變換到頻域。通過將選擇的預測單元變換為一個變換單元來產生頻域的係數(例如，離散餘弦係數)。參照回圖9，量化器930對由變換器920產生的頻率分量係數進行量化。量化器930可對根據預定的量化處理輸入的係數進行量化。熵編碼器940對由量化器930量化的係數進行熵編碼。這裡，可通過使用基於上下文的自適應二進位算術編碼(CABAC)或基於上下文的自適應可變長度編碼(CAVLC)對離散餘弦係數進行熵編碼。圖像編碼單元900可對指示通過組合預測單元產生的變換單元是否包括係數的標記信息進行編碼。如果不存在將被熵編碼的係數(即，當量化的係數全部為「0」時)，則對指示變換單元不包括係數的標記信息進行編碼，並且不對量化的係數單獨地進行熵編碼。根據當前示例性實施例的圖像編碼設備900可通過對不同的變換單元重複地執行變換、量化和熵編碼來確定最佳變換單元。可通過機械地重複通過使用各種方法選擇多個預測單元(而不是基於預定準則(諸如深度或相同的預測模式的類型)選擇預測單元)的處理來確定最佳變換單元。可基於RD代價的計算來確定最佳變換單元，這將參照圖14進行詳細描述。圖14是根據示例性實施例的不同的變換單元1430到1460的示圖。參照圖14，圖像編碼設備900對不同的變換單元1430到1460重複地進行編碼。如圖14所示，編碼單元1410可基於具有小於編碼單元1410的尺寸的預測單元1420被預測並編碼。對作為預測結果產生的殘差值執行DCT或KLT，並且這裡，可基於如圖14所示的不同的變換單元1430到1460執行DCT或KLT。變換單元1430具有與編碼單元1410相同的尺寸，並且通過組合包括在編碼單元1410中的所有預測單元來產生變換單元1430。變換單元1440具有編碼單元1410沿寬方向被二等分的尺寸，並且通過組合縱向相鄰的預測單元來產生變換單元1440。變換單元1450具有編碼單元1410沿高方向被二等分的尺寸，並且通過組合橫向相鄰的預測單元來產生變換單元1450。變換單元1460具有與預測單元1420相同的尺寸。圖像編碼設備900可通過對變換單元1430到1460重複地執行變換、量化和熵編碼來確定最佳變換單元。可選擇地，圖像編碼設備900可對指示通過組合包括在一個還是多個編碼單元中的多個預測單元產生了變換單元的標記信息進行編碼。例如，當如圖12a到圖12c所示通過組合包括在一個編碼單元中的多個預測單元來設置變換單元時，標記信息被設置為「0」，而當如圖13a到圖13d所示通過組合包括在多個編碼單元中的多個預測單元來設置變換單元時，標記信息被設置為「1」。圖14示出當通過組合包括在一個編碼單元中的預測單元來設置一個變換單元時確定最佳變換單元的示例。然而，即使當通過組合包括在多個編碼單元中的預測單元來設置一個變換單元時，也可通過如圖14所示對不同的變換單元重複地執行DCT、量化和熵編碼來確定最佳變換單元。圖15是根據另一示例性實施例的用於對圖像進行解碼的設備1500的框圖。參照圖15，圖像解碼設備1500包括熵解碼器1510、反量化器1520、逆變換器1530和恢復器1540。熵解碼器1510對預定變換單元的頻率分量係數進行熵解碼。如以上參照圖12a到圖12c以及圖13a到圖13d所述，可通過組合多個預測單元來產生變換單元。如上所述，預測單元可彼此相鄰，並可包括在一個編碼單元或多個不同的編碼單元中。如以上參照圖像編碼設備900所述，可通過基於深度組合多個相鄰預測單元來產生變換單元，或者可通過組合根據相同的預測模式的類型(即，根據幀內預測模式或幀間預測模式)被執行預測的多個相鄰預測單元來產生變換單元。可選擇地，如參照圖14所述，可通過機械地重複組合多個預測單元的處理對不同的變換單元重複地執行變換、量化和熵解碼來選擇最佳變換單元。如果變換單元不包括係數(例如，離散餘弦係數)，則熵解碼器1510可不對量化的係數單獨地進行熵解碼。如果變換單元不包括量化的係數，則不通過參考預定的標記信息對量化的係數單獨地進行熵編碼。反量化器1520對由熵解碼器1510進行熵解碼後的頻率分量係數進行反量化。根據在對變換單元進行編碼時使用的量化步長對被熵解碼的頻率分量係數進行反量化。逆變換器1530將反量化的頻率分量係數逆變換到像素域。對反量化的離散餘弦係數執行逆DCT或逆KLT，以恢復像素域中的變換單元。作為逆變換的結果，變換單元的殘差值被恢復。恢復的變換單元包括多個預測單元，並且如上所述，預測單元可包括在一個編碼單元或多個不同的編碼單元中。恢復器1540通過預測包括在恢復的變換單元中的多個預測單元來產生預測值。如果被組合為一個變換單元的預測單元包括在一個編碼單元中，則產生一個編碼單元的預測值，而如果被組合為一個變換單元的預測單元包括在多個編碼單元中，則產生多個編碼單元的預測值。通過將產生的預測值與由逆變換器1530恢復的殘差值相加來恢復一個編碼單元或多個編碼單元。可基於指示圖像編碼設備900通過組合包括在一個編碼單元還是多個編碼單元中的多個預測單元產生了變換單元的標記信息，來確定針對一個編碼單元還是多個編碼單元產生了預測值。根據一示例性實施例，如果被組合為一個變換單元的預測單元包括被幀內預測的預測單元，則可如參照圖10所述，基於至少一個相鄰預測單元的預測值來執行幀內預測。可選擇地，被組合為一個變換單元的多個預測單元可全部通過使用幀間預測被預測。圖16是示出根據示例性實施例的對圖像進行編碼的方法的流程圖。參照圖16，在操作1610，用於對圖像進行編碼的設備通過對一個或多個編碼單元執行預測來產生殘差值。被組合為一個變換單元的多個預測單元可包括在一個編碼單元或多個編碼單元中。因此，當預測單元包括在一個編碼單元中時，通過對所述一個編碼單元執行預測來產生殘差值，而當預測單元包括在多個編碼單元中時，通過對所述多個編碼單元執行預測來產生殘差值。以上已參照圖10描述了通過一次預測多個預測單元來產生殘差值的方法。在操作1620，所述設備通過選擇多個預測單元來設置一個變換單元。預測單元可包括在一個編碼單元或多個編碼單元中。可基於深度選擇相鄰預測單元，或者可選擇按照相同的預測模式的類型被執行預測的相鄰預測單元。在操作1630，所述設備根據在操作1620設置的變換單元將預測單元變換到頻域。通過對通過組合預測單元設置的變換單元執行變換來產生頻域的係數。在操作1640，所述設備根據預定的量化處理對頻率分量係數(例如，在操作1630產生的離散餘弦係數)進行量化。在操作1650，所述設備對在操作1640量化的頻率分量係數進行熵編碼。經由CABAC或CAVLC執行熵編碼。如參照圖14所述，所述方法還可包括：通過對不同的變換單元重複操作1610到1640來設置最佳變換單元。可如圖14所示通過對不同的變換單元重複地執行變換、量化和熵編碼來設置最佳變換單元。圖17是根據示例性實施例的對圖像進行解碼的方法的流程圖。參照圖17，在操作1710，所述設備對預定變換單元的頻率分量係數進行熵解碼。所述頻率分量係數可以是離散餘弦係數。可通過組合多個預測單元來設置變換單元。如上所述，預測單元可彼此相鄰，並可包括在一個編碼單元或多個不同的編碼單元中。在操作1720，所述設備對在操作1710被熵解碼後的頻率分量係數進行反量化。通過使用編碼期間使用的量化步長對離散餘弦係數進行反量化。在操作1730，所述設備將在操作1720被反量化後的頻率分量係數逆變換到像素域，以恢復變換單元。恢復的變換單元通過組合多個預測單元被設置。包括在變換單元中的殘差值被恢復。如果預測單元包括在一個編碼單元中，則恢復所述一個編碼單元的殘差值，而如果預測單元包括在多個編碼單元中，則恢復所述多個編碼單元的殘差值。如上所述，可通過基於深度組合相鄰預測單元來設置變換單元，或者可通過組合根據相同的預測模式的類型被執行預測的相鄰預測單元來設置變換單元。在操作1740，所述設備基於包括在操作1730中所恢復的變換單元中的殘差值來恢復一個或多個編碼單元。通過預測所述一個或多個編碼單元來產生預測值，並且通過將產生的預測值與在操作1730恢復的殘差值相加來恢復所述一個或多個編碼單元。以上已參照圖10描述了預測包括在一個或多個編碼單元中的預測值的方法。如果通過組合包括在一個編碼單元中的預測單元來設置變換單元，則恢復所述一個編碼單元，而如果通過組合包括在多個編碼單元中的預測單元來設置變換單元，則恢復所述多個編碼單元。根據示例性實施例，由於變換單元可被設置為具有大於預測單元的尺寸，並且可對變換單元執行變換，因此圖像被更加有效地壓縮和編碼。儘管已參照本發明的示例性實施例具體示出和描述了本發明，但是本領域普通技術人員將理解，在不脫離由權利要求及其等同物限定的本發明的精神和範圍的情況下，這裡可進行形式和細節上的各種改變。此外，示例性實施例還可實現為計算機可讀記錄介質上的計算機可讀代碼。在圖1、2、4、5、9、11或15中示出的圖像編碼設備或圖像解碼設備或圖像編碼器或圖像解碼器可包括連接到所述設備或編碼器或解碼器的每個單元的總線、連接到總線並用於執行命令的至少一個處理器以及連接到總線以存儲命令、接收的消息和產生的消息的存儲器。計算機可讀記錄介質是可存儲其後可被計算機系統讀取的數據的任何數據存儲裝置。計算機可讀記錄介質的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤以及光學數據存儲裝置。計算機可讀記錄介質還可分布於聯網的計算機系統中，以使計算機可讀代碼以分布方式被存儲和執行。可選擇地，示例性實施例可實現為以載波或用於通過網絡(諸如網際網路)傳輸的信號的計算機可讀傳輸介質。