編碼/解碼高解析度圖像的方法和執行該方法的裝置的製作方法

2023-07-17 13:09:51 3

專利名稱：編碼/解碼高解析度圖像的方法和執行該方法的裝置的製作方法
技術領域：
本發明涉及編碼和解碼圖像，並且更具體地，涉及可以適用於高清晰度圖像的編碼方法和執行該編碼方法的編碼設備，以及解碼方法和執行該解碼方法的解碼設備。
背景技術：
通常，圖像壓縮方法執行編碼，其中將一個畫面劃分為具有預定大小的多個塊。而且，使用幀間預測和幀內預測技術來去除在畫面之間的兩重性，以便增大壓縮效率。一種通過使用幀間預測編碼圖像的方法通過去除在畫面之間的時間兩重性來壓縮圖像，並且其代表性示例是運動補償預測編碼方法。該運動補償預測編碼通過搜索與位於當前編碼的畫面之前和之後的至少一個參考畫面中的當前編碼的塊類似的區域來生成運動向量，對於通過使用生成的運動向量執行運動補償而獲得的在當前塊和預測塊之間的剩餘值執行DCT(離散餘弦變換)、量化和然後的熵編碼，然後傳送結果。傳統上，用於運動補償預測的宏塊可以具有各種大小，諸如16X16、8X16或8X8像素，並且對於變換和量化，使用具有8X8或4X4像素的大小的塊。然而，如上所述的用 於變換和量化或運動補償的現有塊大小對於具有HD (高清晰度)或更大的解析度的高解析度圖像的編碼不適當。具體地說，在顯示低解析度圖像的小屏幕的情況下，在運動預測的精度和比特率上更有效的是，使用小大小塊來執行運動預測和補償，但是在基於具有16X16或更小的大小的塊對於高解析度的、大屏幕圖像執行運動預測和補償的情況下，在一個畫面中包括的塊的數目指數地增大，使得編碼處理的負載和壓縮的數據的數量增大，因此導致在傳輸比特率上的增大。而且，當圖像的解析度增大時，具有較少的細節或沒有偏離的區域也擴展。因此，當如在傳統方法中那樣使用具有16X 16像素的大小的塊來執行運動預測和補償時，編碼噪聲增大。

發明內容
[技術問題]本發明的第一目的是提供一種圖像編碼和解碼方法，該方法可以增強對於高解析度圖像的編碼效率。而且，本發明的第二目的是提供一種圖像編碼和解碼設備，該設備可以增強對於高解析度圖像的編碼效率。[技術解決方案]為了實現本發明的第一目的，根據本發明的一個方面的一種圖像編碼方法包括以下步驟接收要編碼的至少一個畫面；基於在接收到的至少一個畫面之間的時間頻率特性來確定要編碼的塊的大小；以及編碼具有確定的大小的塊。
為了實現本發明的第一目的，根據本發明的另一個方面的一種圖像編碼方法包括以下步驟通過對於具有NXN大小的預測單元執行運動補償來生成預測塊，其中N是2的冪；通過將預測單元與預測塊作比較而獲得剩餘值；以及對於剩餘值執行變換。預測單元可以具有擴展的宏塊大小。預測單元當具有可變大小的代碼化單元被分級地分割並且達到可允許的最大分級水平或分級深度時可以對應於葉代碼化單元，並且其中，圖像編碼方法可以進一步包括以下步驟傳送包括最大代碼化單元的大小和最小代碼化單元的大小的序列參數集合(SPS)。對於剩餘值執行變換的步驟可以是對於擴展的宏塊執行DCT(離散餘弦變換)的步驟。N可以是2的冪，並且N可以不小於8，並且不大於64。為了實現本發明的第一目的，根據本發明的又一個方面的一種圖像編碼方法包括以下步驟接收要編碼的至少一個畫面；基於接收到的至少一個畫面的空間頻率特性來確定要編碼的預測單元的大小，其中，預測單元的大小是NXN像素，並且N是2的冪；以及編碼具有確定的大小的預測單元。 為了實現本發明的第一目的，根據本發明的再一個方面的一種圖像編碼方法包括以下步驟接收具有NXN像素的大小的擴展宏塊，其中，N是2的冪；在接收到的擴展宏塊的周邊的塊當中檢測屬於邊緣的塊；基於屬於檢測到的邊緣的像素將擴展的宏塊分割為至少一個分區；以及對於分割的至少一個分區的預定分區執行編碼。為了實現本發明的第一方面，根據本發明的一個方面的一種圖像解碼方法包括以下步驟接收編碼的比特流；從接收到的比特流獲得要解碼的預測單元的大小信息，其中，預測單元的大小是NXN像素，並且N是2的冪；通過對於接收到的比特流執行逆量化和逆變換來獲得剩餘值；通過對於具有與獲得的大小信息相對應的大小的預測單元執行運動補償來生成預測塊；以及通過將生成的預測塊與剩餘值相加來重建圖像。在此，預測單元可以具有擴展的宏塊大小。變換剩餘值的步驟可以是對於擴展的宏塊執行逆DCT(離散餘弦變換)的步驟。預測單元可以具有NXN像素的大小，其中，N可以是2的冪，並且N可以不小於8並且不大於64。預測單元當具有可變大小的代碼化單元可以被分級地分割並且達到可允許的最大分級水平或分級深度時可以是葉代碼化單元。該方法可以進一步包括以下步驟從接收到的比特流獲得要編碼的預測單元的分區信息。通過對於具有與預測單元的獲得的大小信息相對應的大小的預測單元執行運動補償而生成預測塊的步驟可以包括以下步驟基於預測單元的分區信息來對於預測單元執行分區，並且對於分割的分區執行運動補償。可以以不對稱分區方案來執行分區。可以以具有除了正方形之外的形狀的幾何分區方案來執行分區。以沿著邊緣方向的分區方案來執行分區。沿著邊緣方向的分區方案包括以下步驟在預測單元周邊的塊當中檢測屬於邊緣的像素，並且基於屬於檢測到的邊緣的像素將預測單元分割為至少一個分區。沿著邊緣方向的分區可以適用於幀內預測。而且，為了實現本發明的第一目的，根據本發明的另一個方面的一種圖像解碼方法包括以下步驟從接收到的比特流接收要解碼的宏塊的編碼的比特流、大小信息和分區信息；對於接收到的比特流執行逆量化和逆變換，以獲得剩餘值；基於獲得的宏塊大小信息和分區信息將具有32X32像素、64X64像素和128X 128像素中的任何一個大小的擴展宏塊分割為至少一個分區；通過對於分割的至少一個分區的預定分區執行運動補償來生成預測分區；以及將生成的預測分區與剩餘值相加以由此重建圖像。為了實現本發明的第二目的，根據本發明的一個方面的一種圖像編碼設備包括預測單元確定單元，該預測單元確定單元接收要編碼的至少一個畫面，並且基於在接收到的至少一個畫面之間的時間頻率特性或基於在接收到的至少一個畫面之間的空間頻率特性來確定要編碼的預測單元的大小；以及編碼器，該編碼器對具有確定的大小的預測單元進行編碼。為了實現本發明的第二目的，根據本發明的一個方面的一種圖像解碼設備包括熵解碼器，該熵解碼器對接收到的比特流進行解碼以生成報頭信息；運動補償單元，該運動補償單元通過基於從報頭信息獲得的預測單元的大小信息對於預測單元執行運動補償來生成預測塊，其中，預測單元的大小是NXN像素，並且，N是2的冪；逆量化單元，該逆量化單元對接收到的比特流進行逆量化；逆變換單元，該逆變換單元通過對於逆量化的數據執行逆變換來獲得剩餘值；以及加法器，該加法器將剩餘值與預測塊相加以重建圖像。預測單元可以具有擴展的宏塊大小。逆變換單元可以對於擴展的宏塊執行逆DCT(離散餘弦變換)。預測單元可以具有NXN像素的大小，其中，N可以是2的冪，並且N可以不小於4並且不大於64。預測單元當具有可變大小的代碼化單元被分級的分割並且達到可允許的最大分級水平或分級深度時可以對應於葉代碼化單元。運動補償單元可以通過基於預測單元的分區信息對於預測單元執行分區來對於分割的分區執行運動補償。可以以不對稱分區方案來執行分區。可以以具有除了正方形之外的形狀的幾何分區方案來執行分區。可以沿著邊緣方向執行分區。圖像編碼設備可以進一步包括幀內預測單元，該幀內預測單元對於具有與預測單元的獲得的大小信息相對應的大小的預測單元執行沿著邊緣方向的幀內預測。 [有益效果]根據上述的高解析度圖像編碼/解碼方法和執行該方法的設備，要編碼的代碼化單元或預測單元的大小被配置為32 X 32像素、64X 64像素或128 X 128像素，並且基於配置的預測單元大小來執行運動預測和運動補償和變換。而且，將具有32X32像素、64X64像素或128X128像素的大小的預測單元被分割為至少一個分區，並且然後編碼。在具有高同質或一致性的情況下，諸如在能量集中在低頻的區域處或在具有相同顏色的區域處，代碼化單元或預測單元被應用到編碼/解碼，代碼化單元或預測單元的大小進一步被擴展為與擴展的宏塊的大小相對應的32 X 32、64X 64或128 X 128像素，使得可能可以增大具有高清(HD)、超高清或更大的解析度的大屏幕圖像的編碼/解碼效率。可以通過下述方式來提高編碼/解碼效率根據用於大屏幕的時間頻率特性(例如，在先前和當前屏幕之間的改變或移動程度)來相對於像素區域增大或減小擴展的宏塊大小或代碼化單元的大小或預測單元的大小。因此，可能可以增強對具有高清、超高清或更大的解析度的大屏幕圖像進行編碼的效率，並且降低在具有高同質和一致性的區域處的編碼噪聲。


圖1是圖示根據本發明的一個實施例的圖像編碼方法的流程圖。圖2是圖示根據本發明的另一個示例實施例的遞歸代碼化單元結構的概念圖。圖3是圖示根據本發明的一個實施例的不對稱分區的概念圖。圖4a至4c是圖示根據本發明的實施例的幾何分區方案的概念圖。圖5是圖示在幾何分區的情況下對於位於邊界線上的邊界像素的運動補償的概念圖。圖6是圖示根據本發明的另一個示例實施例的圖像編碼方法的流程圖。圖7是圖示在圖6中所示的分區處理的概念圖。圖8是向幀內預測應用考慮到邊緣的分區的示例的概念圖。圖9是圖示根據本發明的又一個示例實施例的圖像編碼方法的流程圖。圖10是圖示根據本發明的再一個示例實施例的圖像編碼方法的流程圖。圖11是圖示根據本發明的一個實施例的圖像解碼方法的流程圖。圖12是圖示根據本發明的另一個示例實施例的圖像解碼方法的流程圖。圖13是圖示根據本發明的一個實施例的圖像編碼設備的配置的框圖。圖14是圖示根據本發明的另一個示例實施例的圖像編碼設備的配置的框圖。圖15是圖示根據本發明的一個實施例的圖像編碼設備的配置的框圖。圖16是圖示根據本發明的另一個示例實施例的圖像解碼設備的配置的框圖。
具體實施例方式可以對於本發明進行各種修改，並且本發明可以具有多個實施例。參考附圖詳細描述特定實施例。然而，本發明不限於特定實施例，並且應當明白，本發明包括在本發明的精神和技術範圍中包括的所有修改、等同物或替換。詞語「第一」和「第二」可以用於描述各個組件，但是組件不限於此。這些詞語僅用於將一個組件與另一個相區別。例如，第一組件也可以被稱為第二組件，並且第二組件可以類似地被稱為第一組件。詞語「和/或」包括在此描述的多個相關項目的組合或多個相關項目中的任何一個。當組件「連接」或「耦合」到另一個組件時，該組件可以直接地連接或耦合到該另一個組件。相反，當組件直接連接或耦合到另一個組件時，沒有組件插入其間。在此使用的詞語被給出來描述實施例，但是不意欲限制本發明。單數詞語包括複數詞語，除非另外說明。如在此使用的詞語「包括」或「具有」用於指示存在如在此所述的特徵、數字、步驟、操作、組件、部件或其組合，但是不排除一個或多個特徵、數字、步驟、操作、組件、部件或其組合的添加的存在或可能。除非另外限定，包括科技術語的在此使用的所有詞語具有與本領域內的技術人員通常理解的相同的含義。在通常使用的詞典中定義的這樣的詞語應當被解釋為具有與在相關技術的上下文中理解的那些相同的含義，並且除非另外限定，不應當被理想地或太正式地理解。在下文中，將參考附圖更詳細地描述本發明的優選實施例。為了容易說明，貫穿說明書和附圖使用相同的附圖標號來表示相同的組件，並且不重複其說明。圖1是圖示根據本發明的一個實施例的圖像編碼方法的流程圖。圖1圖示根據圖像的時間頻率特性來確定宏塊的大小並且然後使用具有確定的大小的宏塊來執行運動補償的方法。參見圖1，編碼設備接收要編碼的幀(或畫面)(步驟110)。可以在可以存儲預定數目的幀的緩衝器中存儲接收到的要編碼的幀(或畫面)。例如，緩衝器可以存儲至少四個(第n_3、第n_2、第n_l和第η)中貞。其後，編碼設備分析接收到的幀(或畫面)的時間頻率特性(步驟120)。例如，編碼設備可以檢測存儲在緩衝器中的第η-3幀和第η-2幀之間的變化，可以檢測在第η_2幀和第η-1幀之間的變化，並且可以檢測在第η-1幀和第η幀之間的變化，以由此分析幀間時間頻率特性。然後，編碼設備將所分析的時間頻率特性與預設閾值作比較，並且基於比較的結果來確定要編碼的宏塊的大小(步驟130)。在此，編碼設備可以基於存儲在緩衝器中的幀當中的在時間上彼此相鄰的兩個幀(例如，第η-1和第η幀)之間的變化來確定宏塊的大小，並且可以基於預定數目的(例如，第η-3、第η-2、第η-1和第η)幀的變化特性來確定宏塊的大小。例如，編碼設備可以分析第η-1幀和第η幀的時間頻率特性，並且在所分析的時間頻率特性小於預設第一閾值的情況下，將宏塊的大小確定為64X64像素，並且在所分析的時間頻率特性值不小於預設第一閾值並且小於第二閾值的情況下，將宏塊的大小確定為32X32像素，並且在所分析的時間頻率特性值不小於預設第二閾值的情況下，將宏塊的大小確定為16X16像素或更小。在此，該第一閾值表示在幀間幀變化小於第二閾值的情況下的時間頻率特性值。在下文中，將擴展的宏塊定義為具有32X32像素或更大的大小的宏塊。擴展的宏塊可以具有32 X 32像素或更大的大小`，即，64X 64像素、128 X 128像素或更大，以適合於諸如超高清或更大的高解析度。基於分析接收到的幀(或畫面)的時間頻率特性的結果，要編碼的宏塊的大小可以每一個畫面或每一個GOP (圖像組)具有預定值。替代地，要編碼的宏塊的大小可以每一個畫面或每一個G0P(圖像組)具有預定值，而與分析接收到的幀(或畫面)的時間頻率特性的結果無關。如果在步驟130中確定宏塊的大小，則編碼設備基於具有確定的大小的宏塊而執行編碼(步驟140)。例如，如果宏塊的大小被確定為64X64像素，則編碼設備通過對於具有64 X 64像素的大小的當前宏塊執行運動預測來獲得運動向量，通過使用獲得的運動向量執行運動補償來生成預測塊，對作為在生成的預測塊和當前宏塊之間的差的剩餘值進行變換、量化和熵編碼，並且然後傳送結果。而且，關於宏塊的確定的大小的信息和關於運動向量的信息也進行熵編碼，並且然後被傳送。在下文中要描述的本發明的一些實施例中，可以根據由編碼控制器(未示出)或解碼控制器(未示出)確定的宏塊的大小來完成每一個擴展的宏塊編碼處理，並且如上所述，該處理可以適用於運動補償編碼、變換和量化的全部或僅至少一個。而且，上述的每一個擴展宏塊編碼處理也可以適用於在下面要描述的本發明的一些實施例中的解碼處理。如圖1中所示，在根據本發明的一個實施例的圖像編碼方法中，宏塊用於編碼，其中宏塊的大小在輸入幀(或畫面)之間有小的變化的情況下(即，在時間頻率低的情況下)增大，並且其中宏塊的大小在輸入幀(或畫面)之間存在大的變化的情況下(即，在時間頻率高的情況下)減小，使得可以增強編碼效率。上述的根據時間頻率特性的圖像編碼/解碼方法可以適用於諸如在解析度上比聞清大的超聞清或更大的聞解析度。在下文中，宏塊意指擴展的宏塊或者僅具有現有大小32X32像素或更小的宏塊。同時，根據本發明的另一個示例實施例，取代使用擴展的宏塊和擴展的宏塊的大小執行編碼和解碼的方法，可以使用遞歸代碼化單元(CU)來執行編碼和解碼。在下文中，參考圖2描述根據本發明的另一個示例實施例的遞歸代碼化單元的結構。圖2是圖示根據本發明的另一個示例實施例的遞歸代碼化單元結構的概念圖。參見圖2，每一個代碼化單元⑶具有正方形，並且每一個代碼化單元⑶可以具有可變的大小，諸如2NX2N(單位像素)。可以以代碼化單元為單位來執行幀間預測、幀內預測、變換、量化和熵編碼。代碼化單元CU可以包括最大代碼化單元LCU和最小代碼化單元SCU。最大代碼化單元LCU和最小代碼化單元SCU的大小可以被表示為2的冪，其是8或更大。根據本發明的另一個示例實施例的代碼化單元CU可以具有遞歸樹結構。圖2圖示作為最大代碼化單元LCU的CUtl的邊緣的大小(2凡)是128(%=64)並且最大分級水平或分級深度是5的示例。可以通過一系列標記來表示遞歸結構。例如，在具有分級水平或分級深度k的代碼化單元CUk的標記值是O的情況下，相對於當前分級水平或分級深度完成在代碼化單元CUk上的代碼化，並且在標記值是I的情況下，具有當前分級水平或分級深度k的代碼化單元CUk被分割為四個獨立的代碼化單元CUk+1，它們具有分級水平或分級深度k+1和Nk+1XNk+1的大小。在這樣的情況下，可以將代碼化單元CUk+1表示為代碼化單元CUk的子代碼化單元。直到代碼化單元CUk+1的分級水平或分級深度達到可允許的最大分級水平或分級深度，可以遞歸地處理代碼化單元CUk+1。在代碼 化單元CUk+1的分級水平或分級深度與可允許的最大分級水平或分級深度相同一例如在圖2中的4—的情況下，不進一步執行分割。可以在序列參數集合(SPS)中包括最大代碼化單元LCU的大小和最小代碼化單元SCU的大小。替代地，可以在序列參數集合(SPS)中包括最小代碼化單元SCU的大小。最小代碼化單元的大小可以表示亮度代碼化單元(或代碼化塊)的最小大小。序列參數集合SPS可以包括最大代碼化單元LCU的可允許的最大分級水平或分級深度。替代地，序列參數集合(SPS)可以包括亮度代碼化單元(或代碼化塊)的最小大小，和在亮度代碼化單元(或代碼化塊)的最大大小和最小大小之間的差。例如，在圖2中所示的情況下,可允許的最大分級水平或分級深度是5，並且在最大代碼化單元LCU的邊緣的大小是128 (單位像素)的情況下，五種類型的代碼化單元⑶大小是可能的，諸如128X128 (IXU)、64X64、32X32、16X16和8X8 (SOT)。即，在給定最大代碼化單元IXU的大小和可允許的最大分級水平或分級深度的情況下，可以確定可允許代碼化單元CU的大小。如上所述的根據本發明的實施例的遞歸代碼化單元結構的使用可以提供下面的優點。首先，可以支持比現有的16X16宏塊更大的大小。如果感興趣的圖像區域保持同質，則最大代碼化單元LCU可以用比當使用多個小塊時更小的數目的碼元來表示感興趣的圖像區域。其次，與當使用固定大小的宏塊時作比較，可以支持具有各種大小的一些最大代碼化單元LCU，使得可以對於各種內容、應用和設備容易地優化編解碼器。即，可以通過適當地選擇最大代碼化單元LCU和最大分級水平或最大分級深度來對於目標應用進一步優化分級塊結構。第三，與是否是宏塊、子宏塊或擴展宏塊無關，使用單個單元類型，S卩，代碼化單元(LCU)，使得可以通過使用最大代碼化單元LCU大小、最大分級水平(或最大分級深度)和一系列標記來很簡單地表示多級分級結構。當與大小獨立的語法表示一起使用時，足以指定用於其餘的代碼化工具的一般化大小的語法項目，並且這樣的一致性可以簡化實際解析過程。分級水平的最大值(或最大分級深度)可以是任何值，並且可以大於在現有H. 264/AVC編碼方案中允許的值。通過使用大小獨立的語法表示，可以與代碼化單元CU的大小獨立地以一致的方式指定所有的語法元素。可以遞歸地指定用於代碼化單元CU的分割處理，並且可以將用於葉代碼化單元的其他語法元素——分級水平的最後代碼化單元——限定為具有相同的大小，而與代碼化單元的大小無關。上述的表示方案在降低解析複雜度上是有效的，並且可以在允許大的分級水平或分級深度的情況下增強表示的清楚性。如果上述的分級分割處理完成，則不進行進一步的分割，同時可以對於代碼化單元分級樹的葉節點執行幀間預測或幀內預測。這樣的葉代碼化單元用於作為用於幀間預測或幀內預測的基本單元的預測單元(PU)。對於葉代碼化單元執行分區，以便執行幀間預測或幀內預測。即，對於預測單元PU完成這樣的分區。在此，預測單元PU意指用於幀間預測或幀內預測的基本單元，並且可以是具有32X32像素的現有宏塊單元或子宏塊單元或擴展的宏塊單元。可以以不對稱分區的方式、以具有除了正方形之外的任何形狀的幾何分區方式或以沿著邊緣方向的分區方式來執行用於幀間預測或幀內預測的上述分區。在下文中，將具體描述根據本發明的實施例的分區方案。圖3是圖示根據本發明的一個實施例的不對稱分區的概念圖。在用於幀間預測或幀內預測的預測單元I3U的大小可以諸如MXM(M是自然數並且其單位是像素)地可變的情況下，沿著代碼化單元的水平或垂直方向執行不對稱分區，由此獲得在圖3中所示的不對稱分區。在圖3中，預測單元I3U的大小例如是64X64像素。以不對稱分區方案來執行分區。參見圖3，預測單元可以進行沿著水平方向的不對稱分區，並且可以因此被分割為具有大小64X16的分區Plla和具有大小64X48的分區P21a或者被劃分為具有64X48的大小的分區P12a和具有64X 16的大小的分區P22a。替代地，預測單元可以進行沿著垂直方向的不對稱分區，並且可以因此被分割為具有大小16X64的分區P13a和具有大小48 X 64的分區P23a或者被分割為具有48 X 64的大小的分區P14a和具有16 X 64的大小的分區P24a。圖4a至4c是圖示根據本發明的實施例的幾何分區方案的概念圖。圖4a圖示對於預測單元執行具有除了正方形之外的形狀的幾何分區的實施例。參見圖4a，可以相對於預測單元PU將幾何分區的邊界線L定義如下。通過使用X和Y軸，相對於預測單元PU的中心O將預測單元等同地劃分為四個象限，並且從中心O向邊界線L繪製垂直線，使得可以通過在預測單元的中心O至邊界線L之間的垂直距離P和從X軸向垂直線逆時針作出的旋轉角θ來指定在任何方向上延伸的所有邊界線。例如，在8X8塊的情況下，可以使用34種模式來執行幀內預測。在此，該34種模式可以表示在當前塊的任何像素中具有沿著水平方向的斜率dx和沿著垂直方向的斜率dy (dx和dy每一個是自然數)的最多34個方向。替代地，根據塊大小，可以使用不同數目的幀內模式。例如，可以使用9個幀內模式用於4X4塊,使用9個巾貞內模式用於8X8塊,使用34個巾貞內模式用於16X 16塊,使用34個巾貞內模式用於32X32塊,使用5個巾貞內模式用於64X64塊,並且使用5個巾貞內模式用於 128X128 塊。替代地，可以使用17個幀內模式用於4X4塊，使用34個幀內模式用於8X8塊，使用34個巾貞內模式用於16 X 16塊,使用34個巾貞內模式用於32 X 32塊,使用5個巾貞內模式用於64X64塊,並且使用5個巾貞內模式用於128X 128塊。圖4b圖示對於預測單元PU執行具有除了正方形之外的形狀的幾何分區的另一個示例實施例。參見圖4b，用於幀間預測或幀內預測的預測單元PU相對於預測單元I3U的中心被等同地劃分為四個象限，使得左上塊的第二象限是分區Pllb，並且由其餘的第一、第三和第四象限構成的L形狀的塊是分區P21b。替代地，可以完成分割使得左下塊的第三象限是分區P12b，並且由其餘的第一、第二和第四象限構成的塊是分區P22b。替代地，可以完成分割使得右上塊的第一象限是分區P13b，並且由其餘的第二、第三和第四象限構成的塊是分區P23。替代地，預測單元PU可以被分割使得右下塊的第四象限是分區P14b，並且由其餘的第一、第二和第三象限構成的塊是分區P24b。如果如上所述執行L形狀的分區，則在當分區時在邊緣塊、即左上、左下、右上或右下塊中存在移動對象的 情況下，可以比當完成分區以提供四個塊時實現更有效的編碼。根據移動對象位於四個分區中的哪個邊緣塊上，可以選擇和使用對應的分區。圖4c圖示對於預測單元PU執行具有除了正方形之外的形狀的幾何分區的另一個示例實施例。參見圖4c，用於幀間預測或幀內預測的預測單元PU可以被分割為兩個不同的不規則區域(模式O和I)或不同大小的矩形區域(模式2和3)。在此，參數「pos」用於指示分區邊界的位置。在模式O或I的情況下，「pos」指的是從預測單元PU的對角線至分區邊界的水平距離，並且在模式2或3的情況下，「pos」指的是在預測單元PU的垂直或水平等分線與分區邊界之間的水平距離。在圖4c中所示的情況下，可以向解碼器傳送模式信息。在四個模式當中，在RD(比率失真)上，可以使用消耗最小的RD成本的模式來用於幀間預測。圖5是圖示在幾何分區的情況下對於位於邊界線上的邊界像素的運動補償的概念圖。在通過幾何分區將預測單元分割為區域I和區域2的情況下，假定區域I的運動向量是MV1，並且假定區域2的運動向量是MV2。當位於區域I (或區域2)中的特定像素的上、下、左和右像素的任何一個屬於區域
2(或區域I)時，可以將其看作邊界像素。參見圖5，邊界像素是屬於區域2的邊界的邊界像素，並且邊界像素B是屬於區域I的邊界的邊界像素。在非邊界像素的情況下，使用正確的運動向量來執行正常的運動補償。在邊界像素的情況下，使用通過下述方式獲得的值來執行運動補償將來自區域I和2的運動向量MVl和MV2的運動預測值乘以加權因子，並且將這些值彼此相加。在圖5中所示的情況下，使用加權因子2/3來用於包括邊界像素的區域，並且使用加權因子1/3來用於不包括邊界像素的另一個區域。圖6是圖示根據本發明的另一個示例實施例的圖像編碼方法的流程圖，並且圖7是圖示在圖6中示出的分區處理的概念圖。圖6圖示通過在圖1中所示的圖像編碼方法來確定預測單元PU的大小、考慮到在具有確定的大小的預測單元PU中包括的邊緣將預測單元分割為分區並且然後對於分割的分區中的每一個執行編碼的處理。在圖3中，作為示例，將具有32X32的大小的宏塊用作預測單元PU。在此，考慮到邊緣的分區適用於幀內預測以及幀間預測。下面給出詳細的說明。

在圖6中所示的步驟110至130執行與用在圖1中的相同的附圖標號表示的步驟相同的功能，並且不重複它們的說明。參見圖6和7，如果在步驟110至130中確定宏塊的大小，則編碼設備在屬於在具有確定的大小的當前宏塊周邊的宏塊的像素當中檢測屬於邊緣的像素(步驟140)。可以使用各種已知方法來在步驟S140中檢測屬於邊緣的像素。例如，可以計算在當前宏塊周邊的周邊像素之間的剩餘值，或者，可以使用諸如索貝爾算法的邊緣檢測算法來檢測邊緣。其後，編碼設備通過使用屬於檢測到的邊緣的像素來將當前宏塊分割為分區(步驟 150)。為了將當前宏塊分區，編碼設備可以在當前宏塊周邊的周邊塊中包括的像素當中檢測以檢測到的邊緣像素的周邊像素為目標的屬於邊緣的像素，並且可以然後通過使用將檢測到的邊緣像素的周邊像素與在步驟140中檢測到的邊緣像素連接的線來執行分區。例如，如圖7中所示，編碼設備通過下述方式來檢測像素211和214 :在屬於具有大小32X32像素的當前宏塊的周邊塊的像素當中檢測以最近像素為目標的屬於邊緣的像素。其後，編碼設備在位於檢測到的像素211周圍的像素當中檢測屬於邊緣的像素，以由此檢測像素212，並且然後通過使用將像素211與像素212連接的線的延長線213將宏塊分割為分區。而且，編碼設備通過在檢測到的像素214的周邊像素當中檢測屬於邊緣的像素來檢測像素215，並且然後通過使用將像素214與像素215連接的線的延長線將宏塊分割為分區。而且，編碼設備可以在屬於當前宏塊210的周邊塊的像素當中檢測屬於以最接近當前宏塊210的像素為目標的屬於邊緣的像素，然後確定經過屬於檢測到的邊緣的像素的直線的方向，由此分割當前宏塊。在此，關於經過屬於邊緣的像素的邊緣直線的方向，根據H. 264/AVC標準沿著在4X4塊的幀內預測模式當中的垂直模式(模式O)、水平模式(模式I)、對角下左模式(模式3)、對角下右模式(模式4)、垂直右模式(模式5)、水平下模式(模式6)、垂直左模式(模式7)和水平上模式(模式8)的一個模式方向，可以分割當前宏塊，或者可以對於相對於屬於邊緣的像素在彼此不同的方向上分割的分區執行編碼，並且可以考慮到編碼效率來確定最後的直線方向。替代地，關於經過屬於邊緣的像素的直線的方向，根據H. 264/AVC標準沿著除了 4X4塊的幀內預測模式之外的、用於具有4X4像素或更大的大小的塊的各種幀內預測模式的一個模式方向，可以分割當前宏塊。可以包括和向解碼器傳送關於經過屬於邊緣的像素的邊緣直線的信息(包括例如方向信息)。
如果通過上述方法在步驟150中將當前宏塊分割為至少一個分區，則編碼設備對於每一個分區執行編碼(步驟160)。例如，編碼設備對於在具有64X64或32X32像素的大小的當前宏塊中分割的每一個分區執行運動預測以由此獲得運動向量，使用所獲得的運動向量來執行運動補償，由此生成預測分區。然後，編碼設備對於作為在生成的預測分區和當前宏塊的分區之間的差的剩餘值執行變換、量化和熵編碼，並且然後傳送結果。而且，宏塊的確定的大小、分區信息和運動向量信息也被熵編碼並且然後被傳送。使用考慮到邊緣的分區的上述幀間預測可以被配置為能夠當激活使用考慮到邊緣的分區的預測模式時被執行。上述的考慮到邊緣的分區可以適用於幀內預測以及幀間預測。參考圖8來描述向幀內預測的分區的應用。圖8是圖示向幀內預測應用考慮到邊緣的分區的示例的概念圖。如圖8中所示的使用考慮到邊緣的分區的幀間預測可以被實現為在激活使用考慮到邊緣的分區的預測模式的情況下被執行。在通過使用諸如上述的索貝爾算法的邊緣檢測算法來檢測邊緣後，可以通過使用下述的內插方案沿著檢測到的邊緣方向估計參考像素的值。參見圖8，在線E是邊緣邊界線、像素a和b是位於邊界線E的兩側處的像素並且要進行幀間預測的參考像素是P(X，y)的情況下，可以在下面的等式中預測p(x，y)[等式I]Wa= δ χ-f Ioor ( δ χ)Wb=Ceil ( δ χ) - δ χP=ffaXa+ffbXb在此，6 1指的是從參考像素？0^，7)的χ軸坐標至邊緣線E與X軸相交的位置的距離，Wa和Wb是加權因子，floor ( δ χ)返回不大於δ χ的最大整數(例如，floor (1. 7)=1)，並且，ceil ( δ χ)返回δ χ的四捨五入值(例如，ceil (1. 7)=2)。可以在分區信息或序列參數集合SPS中包括關於經過屬於邊緣的像素的邊緣邊界線的信息(包括例如方向信息)，並且將該信息傳送到解碼器。替代地，可以通過使用沿著與在對於幀內預測的目標塊(預測單元)的每一個塊大小預設的幀內預測方向當中的檢測到的邊緣方向類似的幀內預測方向的內插方案來估計參考像素的值。類似的幀內預測方向可以是最接近檢測到的邊緣方向的預測方向，並且 可以提供一個或兩個最接近的預測方向。例如，在8X8塊的情況下，在34種幀內模式當中，可以與上述的內插方案一起使用具有與預定的邊緣方向最類似的方向的幀內模式，以估計參考像素的值。在這樣的情況下，可以在分區信息或序列參數集合SPS中包括關於與檢測到的邊緣方向類似的幀內預測方向的信息，並且將該信息傳送到解碼器。替代地，可以通過下述方式來獲得參考像素的值使用與在對於幀內預測的目標塊(預測單元)的每一個塊大小預設的幀內預測方向當中的檢測到的邊緣方向類似的幀內模式來執行現有的幀內預測。類似的幀內預測模式可以是最類似於檢測到的邊緣方向的預測模式，並且可以提供一個或兩個最類似的預測模式。在這樣的情況下，可以在分區信息或序列參數集合SPS中包括關於與檢測到的邊緣方向類似的幀內預測模式的信息，並且將其傳送到解碼器。上述的考慮到邊緣的幀內預測僅當幀內預測的目標塊的大小是預定大小或更大時適用，因此在幀內預測時降低了複雜度。該預定大小可以是例如16 X 16、32 X 32、64 X 64、128X128 或 256X256。替代地，考慮到邊緣的幀內預測可以僅當幀內預測的目標塊的大小是預定大小或更小時適用，因此在幀內預測時降低了複雜度。該預定大小可以是例如16X16、8X8或4X4。替代地，考慮到邊緣的幀內預測可以僅當幀內預測的目標塊的大小屬於預定大小範圍時適用，因此在幀內預測時降低了複雜度。該預定大小可以是例如4X4至16X16或16X16 至 64X64。關於考慮到邊緣的幀內預測所適用的目標塊的大小的信息可以被包括在分區信息或序列參數集合SPS中，並且被傳送到解碼器。替代地，不被傳送到解碼器，關於考慮到邊緣的幀內預測所適用的目標塊的大小的信息可以在編碼器和解碼器之間的預先布置下被預先提供到編碼器和解碼器。圖9是圖示根據本發明的又一個示例實施例的圖像編碼方法的流程圖。圖9圖示根據圖像的空間頻率特性來確定預測單元PU的大小並且然後通過使用具有確定的大小的預測單元PU來執行運動補償編碼的方法。參見圖9，編碼設備首先接收要編碼的目標幀(步驟310)。在此，所接收到的要編碼的幀可以被存儲在可以存儲預定數目的幀的緩衝器中。例如，該緩衝器可以存儲至少四個(n-3、n-2、n_l 和 η)中貞。其後，編碼設備分析每一個接收到的幀(或畫面)的空間頻率特性(步驟320)。例如，編碼設備可以得出在緩衝器中存儲的每一個幀的信號能量，並且可以通過分析在得出的信號能量和頻譜之間的關係來分析每一個圖像的空間頻率特性。

然後，編碼設備基於分析的空間頻率特性來確定預測單元的大小。在此，可以按照在緩衝器中存儲的幀或按照預定數目的幀來確定預測單元I3U的大小。例如，編碼設備當幀的信號能量小於在頻譜中預設的第三閾值時將預測單元的大小確定為16X16像素的大小，當幀的信號能量不小於預設的第三閾值並且小於第四閾值時將預測單元PU的大小確定為32X32像素的大小，並且當幀的信號能量不小於預設的第四閾值時將預測單元PU的大小確定為64X64像素的大小。在此，第三閾值表示圖像的空間頻率大於第四閾值的空間頻率的情況。雖然已經描述了通過根據每一個接收到的幀(或畫面)的時間頻率特性或空間頻率特性利用使用擴展的宏塊的宏塊的大小用於編碼而增強編碼效率，但是也可以根據與每一個接收到的幀(或畫面)的時間頻率特性或空間頻率特性獨立地接收到的每個幀(或畫面)的解析度(大小)使用擴展的宏塊來執行編碼/解碼。即，可以通過使用擴展的宏塊對於具有比HD(高清晰度)或超高清或更高的解析度的幀(或畫面)執行編碼/解碼。如果在步驟330中確定預測單元的大小，則編碼設備基於具有預定大小的預測單元PU來執行編碼(步驟340)。例如，如果將預測單元PU的大小確定為64 X 64像素，則編碼設備對於具有64 X 64像素的大小的當前預測單元PU執行運動預測以由此獲得運動向量，使用獲得的運動向量執行運動補償以由此生成預測塊，對於作為在生成的預測塊和當前預測單元PU之間的差的剩餘值執行變換、量化和熵編碼，然後傳送結果。而且，關於預測單元PU的確定大小的信息和關於運動向量的信息也進行熵編碼，並且然後被傳送。如圖9中所示，在根據本發明的一個實施例的圖像編碼方法中，如果輸入幀(或畫面)的圖像同質或一致性高(即，如果空間頻率低，例如，具有相同顏色的區域、能量集中到低空間頻率的區域等)，則預測單元PU的大小被設置得大，例如，大於32X32像素或更大，並且如果幀(或畫面)的圖像同質或一致性低(即，如果空間頻率高)，則預測單元PU的大小被設置得小，例如，16X16像素或更小，由此增強編碼效率。圖10是圖示根據本發明的再一個示例實施例的圖像編碼方法的流程圖。圖10圖示下述處理其中，通過在圖9中所示的圖像編碼方法來確定預測單元PU的大小後，考慮到在具有確定的大小的預測單元PU中包括的邊緣來將預測單元分割為分區，然後對於每一個分割的分區執行編碼。在圖10中所示的步驟310至330執行與圖9的步驟310至330相同的功能，並且因此，跳過詳細說明。參見圖10，如果根據空間頻率特性在步驟310至330中確定預測單元I3U的大小，則編碼設備在屬於具有確定的大小的當前預測單元PU周邊的預測單元的像素當中檢測屬於邊緣的像素(步驟340)。 可以在步驟340中執行各種已知方法來檢測屬於邊緣的像素。例如，可以通過計算在當前預測單元PU和周邊的周邊像素之間的剩餘值並且通過使用諸如索貝爾算法的邊緣檢測算法來檢測邊緣。其後，編碼設備通過使用屬於檢測到的邊緣的像素將當前預測單元分割為分區(步驟350)。編碼設備可以在當前預測單元周邊的周邊塊中包括的像素當中檢測以檢測到的邊緣像素的周邊像素為目標的、屬於檢測到的邊緣的像素，以對於當前預測單元PU執行分區，如圖3中所示，並且可以然後通過使用將檢測到的邊緣像素的周邊像素與在步驟340中檢測到的邊緣像素連接的線來進行分區。替代地，編碼設備可以在屬於當前預測單元的周邊塊的像素當中檢測僅以最接近當前預測單元PU的像素為目標的、屬於邊緣的像素，並且可以然後通過確定經過屬於檢測到的邊緣的像素的直線的方向來對於當前預測單元PU執行分區。如果通過上述的方法在步驟350中將當前預測單元PU分割為至少一個分區，則編碼設備對於每一個分區執行編碼(步驟360)。例如，編碼設備通過對於在具有64X64或32X32像素的大小的當前預測單元I3U中的每一個分割的分區執行運動預測來獲得運動向量，使用獲得的運動向量執行運動補償以由此生成預測分區，對於作為在生成的預測分區和當前預測單元PU的分區之間的差的剩餘值執行變換、量化和熵編碼，並且然後傳送結果。而且，預測單元PU的確定的大小、分區信息和關於運動向量的信息也被熵編碼並且然後被傳送。結合圖5描述的考慮到邊緣的分區可以適用於在圖8中所示的幀內預測以及幀間預測。圖11是圖示根據本發明的一個實施例的圖像解碼方法的流程圖。參見圖11，解碼設備首先從編碼設備接收比特流(步驟410)。其後，解碼設備對於接收到的比特流執行熵解碼，以由此獲得要解碼的當前預測單元PU的信息(步驟420)。在此，如果取代通過使用擴展的宏塊和擴展的宏塊的大小來執行編碼和解碼，使用上述的遞歸代碼化單元(CU)來執行編碼和解碼，則預測單元信息可以包括最大代碼化單元LCU的大小、最小代碼化單元SCU的大小、可允許的最大分級水平或分級深度和標記信息。而且，解碼設備同時獲得用於運動補償的運動向量。在此，預測單元PU的大小可以具有根據在如圖1和9中所示的編碼設備中的時間頻率特性或空間頻率特性而確定的大小一例如，它可以具有32X32或64X64像素的大小。解碼控制器(未示出)可以從編碼設備接收關於在編碼設備中適用的預測單元PU的大小的信息，並且可以根據在編碼設備中適用的預測單元PU的大小來執行下述的運動補償解碼、逆變換或逆量化。解碼設備通過使用預測單元I3U大小(例如，32 X 32或64 X 64像素)信息和如上所述獲得的運動向量信息並且通過使用預先重建的幀(或畫面)來生成對於運動補償預測的預測單元PU (步驟430)。其後，解碼設備通過將所生成的預測的預測單元與從編碼設備提供的剩餘值相加來重建當前預測單元PU (步驟440)。在此，解碼設備可以通過下述方式來獲得剩餘值對從編碼設備提供的比特流進行熵解碼，並且然後對於結果執行逆量化和逆變換，由此獲得剩餘值。而且，也可以基於在步驟420中獲得的預測單元I3U大小(例如，32 X 32或64 X 64像素)來執行逆變換處理。圖12是圖示根據本發明的另一個示例實施例的圖像解碼方法的流程圖，並且圖12圖示通過下述方式來按照分區解碼編碼的圖像的處理沿著邊緣分割具有根據在圖像編碼設備中的時間頻率特性或空間頻率特性而確定的大小的宏塊。參見圖12，解碼設備從編碼設備接收比特流。

其後，解碼設備通過對於接收到的比特流執行熵解碼來獲得要解碼的當前預測單元PU的分區信息和當前預測單元的分區信息(步驟520)。在此，當前預測單元的大小可以例如是32X32或64X64像素。而且，解碼設備同時獲得用於運動補償的運動向量。在此，如果取代通過使用擴展宏塊和擴展宏塊的大小來執行編碼和解碼，使用上述的遞歸代碼化單元(CU)來執行編碼和解碼，則預測單元信息可以包括最大代碼化單元LCU的大小、最小代碼化單元SCU的大小、可允許的最大分級水平或分級深度和標記信息。分區信息可以包括在不對稱分區、幾何分區和沿著邊緣方向分區的情況下向解碼器傳送的分區信息。接下來，解碼設備通過使用獲得的預測單元信息和分區信息來分割預測單元PU (步驟 530)。而且，解碼設備通過使用分區信息、運動向量信息和預先重建的幀(或畫面)來生成預測分區(步驟540)，並且通過將所生成的預測分區與從編碼設備提供的剩餘值相加來重建當前分區(步驟550)。在此，解碼設備可以通過對於從編碼設備提供的比特流執行熵解碼、逆量化和逆變換而獲得剩餘值。其後，解碼設備通過下述方式來重建當前宏塊基於獲得的分區信息重建在當前塊中包括的所有分區，並且然後重新配置重建的分區(步驟560)。圖13是圖示根據本發明的一個實施例的圖像編碼設備的配置的框圖。參見圖13，圖像編碼設備可以包括預測單元確定單元610和編碼器630。編碼器630可以包括運動預測單元631、運動補償單元633、幀內預測單元635、減法器637、變換單元639、量化單元641、熵編碼單元643、逆量化單元645、逆變換單元647、加法器649和中貞緩衝器651。在此，可以在確定適用於幀間預測或幀內預測的預測單元的大小的編碼控制器(未示出)中執行或可以在附圖中所示的編碼器外部的單獨塊中執行預測單元確定單元610。在下文中，描述在編碼器外部的單獨塊中執行預測單元確定單元610的示例。預測單元確定單元610接收提供的輸入圖像，並且將其存儲在內部緩衝器(未示出)中，並且然後分析存儲的幀的時間頻率特性。在此，緩衝器可以存儲預定數目的幀。例如，緩衝器可以存儲至少四個(第η-3、第η-2、第η-1和第η)幀。預測單元確定單元610檢測在緩衝器中存儲的第η-3幀和第η_2幀之間的變化，檢測在第η-2幀和第η-1幀之間的變化，並且檢測在第η-1幀和第η幀之間的變化，以由此分析幀間時間頻率特性，將分析的時間頻率特性與預定閾值作比較，並且基於比較的結果來確定要編碼的預測單元的大小。在此，預測單元確定單元610可以基於在緩衝器中存儲的幀當中的兩個時間上相鄰的幀(例如，第η-1和第η幀)的變化來確定預測單元的大小，並且可以基於預定數目的幀(例如，第η-3、第η-2、第η_1和第η幀)的變化特性來確定預測單元的大小，以便減小用於預測單元的大小信息的開銷。例如，預測單元確定單元610可以分析第η-1幀和第η幀的時間頻率特性，並且可以當所分析的時間頻率特性值小於預定第一閾值時將預測單元的大小確定為64X64像素，當所分析的時間頻率特性值不小於預定第一閾值並且小於第二閾值時將預測單元的大小確定為32X32像素，並且當所分析的時間頻率特性值不小於預定第二閾值時將預測單元的大小確定為16X16像素或更小。在此，第一閾值當幀間變化小於第二閾值時可以表示時間頻率特性值。如上所述，預測單元 確定單元610向熵編碼單元643提供對於幀間預測或幀內預測確定的預測單元信息，並且 向編碼器630提供具有確定的大小的每個預測單元。在此，預測單元信息可以包括關於用於幀間預測或幀內預測的預測單元的確定的大小的信息或預測單元類型信息。可以通過諸如序列參數集合(SPS)或畫面參數集合或片分段報頭或任何其他報頭信息的信令信息來向解碼器傳送PU大小信息或PU(預測單元)類型信息。具體地說，如果使用擴展的宏塊或擴展的宏塊的大小來執行編碼和解碼，則預測塊信息可以包括PU大小信息或PU(預測單元)類型信息或宏塊大小信息或擴展的宏塊大小索引信息。如果執行上述的遞歸代碼化單元CU以執行編碼和解碼，則預測單元信息可以包括用於幀間預測或幀內預測的葉代碼化單元LCU的大小信息，而不是宏塊的信息，S卩，預測單元的大小信息，並且預測單元信息可以進一步包括最大代碼化單元LCU的大小、最小代碼化單元SCU的大小、可允許的最大分級水平或分級深度和標記信息。預測單元確定單元610可以通過分析如上所述的提供的輸入幀的時間頻率特性來確定預測單元的大小，並且也可以通過分析提供的輸入幀的空間頻率特性來確定預測單元的大小。例如，如果輸入幀的圖像同質或一致性高，則預測單元的大小被設置得大，例如32X32像素或更大，並且如果幀的圖像同質或一致性低(即，如果空間頻率高)，則預測單元的大小可以被設置得低，例如，16X16像素或更小。編碼器630對於具有由預測單元確定單元610確定的大小的預測單元執行編碼。具體地說，運動預測單元631通過將所提供的當前預測單元與其編碼已經被完成並且被存儲在幀緩衝器651中的前一個參考幀作比較而預測運動，由此生成運動向量。運動補償單元633生成通過使用參考幀和從運動預測單元631提供的運動向量而預測的預測單元。幀內預測單元635通過使用塊間的像素相關性來執行幀間預測編碼。幀內預測單元635執行幀內預測，幀內預測通過從在當前幀(或畫面)中的塊的已經編碼的像素值預測像素值來獲得當前預測單元的預測塊。幀內預測單元635對於具有與所獲得的預測單元大小信息相對應的大小的預測單元執行上述的沿著邊緣方向的幀間預測。減法器637將從運動補償單元633提供的預測的預測單元與當前預測單元相減，以由此生成剩餘值，並且變換單元639和量化單元641對於剩餘值執行DCT (離散餘弦變換)和量化。在此，變換單元639可以基於從預測單元確定單元610提供的預測單元大小信息來執行變換。例如，它可以執行向32X32或64X64像素的大小的變換。替代地，變換單元639可以與從預測單元確定單元610提供的預測單元大小信息獨立地基於單獨的變換單元(TU)來執行變換。例如,變換單元TU的大小可以是最小4X4像素至最大64X64。替代地，變換單元TU的最大大小可以是64 X 64像素或更大——例如，128X128像素。變換單元大小信息可以被包括在變換單元信息中，並且被傳送到解碼器。熵編碼單元643對報頭信息進行熵編碼，諸如量化的DCT係數、運動向量、確定的預測單元信息、分區信息和變換單元信息，由此生成比特流。

逆量化單元645和逆變換單元647對於由量化單元641量化的數據執行逆量化和逆變換。加法器649將逆變換的數據與從運動補償單元633提供的預測的預測單元相加，以重建圖像，並且向幀緩衝器651提供圖像，並且幀緩衝器651存儲重建的圖像。圖14是根據本發明的另一個示例實施例的、圖像編碼設備的配置的框圖。參見圖14，根據本發明的一個實施例的圖像編碼設備可以包括預測單元確定單元610、預測單元分割單元620和編碼器630。編碼器630可以包括運動預測單元631、運動補償單元633、幀內預測單元635、減法器637、變換單元639、量化單元641、熵編碼單元643、逆量化單元645、逆變換單元647、加法器649和幀緩衝器651。在此，可以在確定適用於幀間預測或幀內預測的預測單元的大小的編碼控制器(未示出)中執行或者可以在附圖中所示的在編碼器外部的單獨塊中執行用於編碼處理的預測單元確定單元或預測單元分割單元。在下文中，描述在編碼器外部的單獨塊中執行預測單元確定單元或預測單元分割單元的示例。預測單元確定單元610執行與用如圖13中所示的相同附圖標號表示的元件相同的功能，並且跳過詳細描述。預測單元分割單元620考慮到在用於從預測單元確定單元610提供的當前預測單元的當前預測單元的周邊塊中包括的邊緣將當前預測單元分割為分區，並且然後向編碼器630提供分割的分區和分區信息。在此，分區信息可以包括在不對稱分區、幾何分區和沿著邊緣方向分區的情況下的分區信息。具體地說，預測單元分割單元620在幀緩衝器651中讀取在從預測單元確定單元610提供的當前預測單元周邊的預測單元，在屬於在當前預測單元周邊的預測單元的像素當中檢測屬於邊緣的像素，並且通過使用屬於檢測到的邊緣的像素將當前預測單元分割為分區。
預測單元分割單元620可以通過計算在當前預測單元和周邊的周邊像素之間的剩餘值或通過使用諸如索貝爾算法的已知邊緣檢測算法來檢測邊緣。如圖3中所示，預測單元分割單元620可以在用於分割當前預測單元的在當前預測單元周邊的周邊塊中包括的像素當中檢測以檢測到的邊緣像素的周邊像素為目標的、屬於檢測到的邊緣的像素，並且可以通過使用將檢測到的邊緣像素的周邊像素與檢測到的邊緣像素連接的線來執行分區。替代地，預測單元分割單元620可以在屬於當前預測單元的周邊塊的像素當中檢測僅以最接近當前預測單元PU的像素為目標的、屬於邊緣的像素，並且然後可以確定經過屬於檢測到的邊緣的像素的直線的方向，由此分割當前預測單元。在此，作為經過屬於邊緣的像素的直線的方向，可以使用根據H. 264標準的4X4塊的幀間預測模式的任何一種。預測單元分割單元620將當前預測單元分割為至少一個分區，並且然後向編碼器630的運動預測單元631提供分割的分區。而且，預測單元分割單元620向熵編碼單元643提供預測單元的分區信息。編碼器630對於從預測單元分割單元620提供的分區執行編碼。具體地說，運動預測單元631通過將所提供的當前分區與其編碼已經完成並且被存儲在幀緩衝器651中的前一個參考幀作比較來預測運動，由此生成運動向量，並且運動補償單元633通過使用參考幀和從運動預測單元631提供的運動向量來生成預測分區。幀內預測單元635通過使用塊間像素相關性來執行幀內預測編碼。幀內預測單元635執行幀內預測，幀內預測通過從在當前幀中的塊的已經編碼的像素值預測像素值來得出當前預測單元的預測塊。 幀內預測單元635對於具有與獲得的預測單元大小信息相對應的大小的預測單元執行上述的沿著邊緣方向的幀內預測。減法器637將當前分區和從運動補償單元633提供的預測分區相減，以生成剩餘值，並且變換單元639和量化單元641對於剩餘值執行DCT (離散餘弦變換)和量化。熵編碼單元643對報頭信息進行熵編碼，諸如量化的DCT係數、運動向量、確定的預測單元信息、預測單元分區信息或者變換單元信息。逆量化單元645和逆變換單元647逆量化和逆變換通過量化單元641量化的數據。加法器649將逆變換的數據與從運動補償單元633提供的預測分區相加，以重建圖像，並且向幀緩衝器651提供重建的圖像。幀緩衝器651存儲重建的圖像。圖15是圖示根據本發明的一個實施例的圖像解碼設備的配置的框圖。參見圖15，根據本發明的一個實施例的解碼設備包括熵解碼單元731、逆量化單元733、逆變換單元735、運動補償單元737、幀內預測單元739、幀緩衝器741和加法器743。熵解碼單元731接收壓縮的比特流，並且對於其執行熵編碼，由此生成量化的係數。逆量化單元733和逆變換單元735對於量化的係數執行逆量化和逆變換，由此重建剩餘值。運動補償單元737通過下述方式來生成預測的預測單元對於具有與使用由熵解碼單元731從比特流解碼的報頭信息編碼的預測單元的大小相同的大小的預測單元執行運動補償。在此，解碼的報頭信息可以包括預測單元大小信息，並且預測單元大小可以是例如擴展的宏塊大小，諸如32X32、64X64或128X 128像素。
S卩，運動補償單元737可以通過對於具有解碼的預測單元大小的預測單元執行運動補償來生成預測的預測單元。幀內預測單元739通過使用塊間像素相關性來執行幀內預測編碼。幀內預測單元739執行幀內預測，幀內預測通過從在當前幀(或畫面)中的塊的已經編碼的像素值預測像素值而獲得當前預測單元的預測塊。幀內預測單元739對於具有與獲得的預測單元大小信息相對應的大小的預測單元執行上述的沿著邊緣方向的幀內預測。逆量化單元733將從逆變換單元735提供的剩餘值與從運動補償單元737提供的預測的預測單元相加以重建圖像，並且向幀緩衝器741提供重建的圖像，幀緩衝器741然後存儲重建的圖像。圖16是圖示根據本發明的另一個示例實施例的圖像解碼設備的配置的框圖。參見圖16，根據本發明的實施例的解碼設備可以包括預測單元分割單元710和解碼器730。解碼器730包括熵解碼單元731、逆量化單元733、逆變換單元735、運動補償單元737、幀內預測單元739、幀緩衝器741和加法器743。預測單元分割單元710獲得其中已經通過熵解碼單元731解碼了比特流的報頭信息，並且從獲得的報頭信息提取預測單元信息和分區信息。在此，分區信息可以是關於分割預測單元的線的信息。例如，分區信息可以包括在不對稱分區、幾何分區和沿著邊緣方向分區的情況下的分區信息。其後，預測單元分割單元710通過使用提取的分區信息將在幀緩衝器741中存儲的參考幀的預測單元分割為分區，並且 向運動補償單元737提供分割的分區。在此，可以在確定適用於幀間預測或幀內預測的預測單元的大小的解碼控制器(未示出)中執行或也可以在附圖中所示的解碼器外部的單獨塊中執行用於解碼處理的預測單元分割單元。在下文中，描述在解碼器外部的單獨塊中執行預測單元分割單元的示例。運動補償單元737通過使用在解碼的報頭信息中包括的運動向量信息來對於從預測單元分割單元710提供的分區執行運動補償，由此生成預測分區。逆量化單元733和逆變換單元735逆量化和逆變換在熵解碼單元731中熵解碼的係數以由此生成剩餘值，並且加法器743將從運動補償單元737提供的預測分區與剩餘值相加以重建圖像，並且在幀緩衝器741中存儲重建的圖像。在圖16中，解碼的宏塊的大小可以例如是32X32、64X64或128X128像素，並且預測單元分割單元710可以基於從報頭信息提取的分區信息來分割具有大小32X32、64X64或128X 128像素的宏塊。雖然已經結合實施例描述了本發明，但是本領域內的技術人員可以明白，在不偏離在所附的權利要求中限定的本發明的範圍和精神的情況下，可以對於本發明進行各種修改或改變。
權利要求
1.一種圖像編碼方法，包括以下步驟 通過對於具有NXN大小的預測單元執行運動補償來生成預測塊，其中N是2的冪； 通過將所述預測單元與所述預測塊作比較來獲得剩餘值；以及 對所述剩餘值執行變換。
2.根據權利要求1所述的圖像編碼方法，其中，當具有可變大小的代碼化單元被分級地分割並且達到可允許的最大分級水平或分級深度時，所述預測單元對應於葉代碼化單元，並且其中，所述圖像編碼方法進一步包括以下步驟傳送序列參數集合(SPS)，所述序列參數集合(SPS)包括最大代碼化單元的大小和最小代碼化單元的大小。
3.根據權利要求2所述的圖像編碼方法，其中，對剩餘值執行變換的步驟是對擴展的宏塊執行離散餘弦變換DCT的步驟。
4.根據權利要求1所述的圖像編碼方法，其中，N是2的冪，並且N不小於8且不大於64。
5.一種圖像編碼方法，包括以下步驟 接收要編碼的至少一個畫面； 基於在所接收到的至少一個畫面之間的時間頻率特性來確定要編碼的塊的大小；以及 對具有所確定大小的塊進行編碼。
6.一種圖像編碼方法，包括以下步驟 接收要編碼的至少一個畫面； 基於所接收到的至少一個畫面的空間頻率特性來確定要編碼的預測單元的大小，其中，所述預測單元的大小是NXN像素，並且N是2的冪；以及對具有所確定大小的預測單元進行編碼。
7.一種圖像解碼方法，包括以下步驟 接收編碼的比特流； 從所接收到的比特流獲得要解碼的預測單元的大小信息，其中，所述預測單元的大小是NXN像素,並且N是2的幕； 通過對所接收到的比特流執行逆量化和逆變換來獲得剩餘值； 通過對具有與所獲得的大小信息相對應的大小的預測單元執行運動補償來生成預測塊；以及 通過將所生成的預測塊與所述剩餘值相加來重建圖像。
8.根據權利要求7所述的圖像解碼方法，其中，所述預測單元的所述大小信息包括最大代碼化單元的大小和最小代碼化單元的大小。
9.根據權利要求8所述的圖像解碼方法，其中，對剩餘值進行變換的步驟是對所擴展的宏塊執行逆離散餘弦變換DCT的步驟。
10.根據權利要求7所述的圖像解碼方法，其中，N是2的冪，並且N不小於8且不大於64。
11.根據權利要求7所述的圖像解碼方法，其中，當具有可變大小的代碼化單元被分級地分割並且達到可允許的最大分級水平或分級深度時，所述預測單元對應於葉代碼化單元
12.根據權利要求7所述的圖像解碼方法，進一步包括以下步驟從所接收到的比特流獲得要解碼的預測單元的分區信息。
13.根據權利要求12所述的圖像解碼方法，其中，通過對具有與所獲得的大小信息相對應的所述大小的所述預測單元執行運動補償來生成所述預測塊的步驟包括以下步驟基於所述預測單元的所述分區信息來對所述預測單元執行分區，並且對所分割的分區執行所述運動補償。
14.根據權利要求13所述的圖像解碼方法，其中，以不對稱分區方案來執行所述分區。
15.根據權利要求13所述的圖像解碼方法，其中，以具有除了正方形之外的形狀的幾何分區方案來執行所述分區。
16.根據權利要求13所述的圖像解碼方法，其中，沿著邊緣方向執行所述分區，其中，沿著邊緣方向進行分區的步驟包括以下步驟 在所述預測單元周邊的塊當中檢測屬於邊緣的像素；以及 基於屬於所檢測到的邊緣的像素，將所述預測單元分割為至少一個分區。
17.根據權利要求7所述的圖像解碼方法，進一步包括以下步驟沿著邊緣方向，對具有與所述預測單元的所獲得大小信息相對應的大小的預測單元執行幀內預測。
18.根據權利要求17所述的圖像解碼方法，其中，關於所述邊緣方向的信息被包括在分區信息和序列參數集合(SPS)之一中，並且被傳送到解碼器。
19.一種圖像編碼設備,包括 預測單元確定單元，所述預測單元確定單元接收要編碼的至少一個畫面，並且基於在所接收到的至少一個畫面之間的時間頻率特性或基於在所接收到的至少一個畫面之間的空間頻率特性，來確定要編碼的預測單元的大小；以及 編碼器，所述編碼器對具有所確定大小的預測單元進行編碼。
20.一種圖像解碼設備，包括 熵解碼器，所述熵解碼器對所接收到的比特流進行解碼，以生成報頭信息； 運動補償單元，所述運動補償單元通過基於從所述報頭信息獲得的所述預測單元的大小信息對所述預測單元執行運動補償來生成預測塊，其中，所述預測單元的所述大小是NXN像素，並且，N是2的冪； 逆量化單元，所述逆量化單元對所接收到的比特流進行逆量化； 逆變換單元，所述逆變換單元通過對逆量化的數據執行逆變換來獲得剩餘值；以及 加法器，所述加法器將所述剩餘值與所述預測塊相加，以重建圖像。
21.根據權利要求20所述的圖像解碼設備，其中，所述預測單元的所述大小信息包括最大代碼化單元的大小和最小代碼化單元的大小。
22.根據權利要求21所述的圖像解碼設備，其中，所述逆變換單元對擴展的宏塊執行逆離散餘弦變換DCT。
23.根據權利要求20所述的圖像解碼設備，其中，所述預測單元具有NXN像素的大小，其中，N是2的冪，並且N不小於4且不大於64。
24.根據權利要求20所述的圖像解碼設備，其中，當具有可變大小的代碼化單元被分級地分割並且達到可允許的最大分級水平或分級深度時，所述預測單元對應於葉代碼化單J Li ο
25.根據權利要求20所述的圖像解碼設備，其中，所述運動補償單元通過基於所述預測單元的所述分區信息對所述預測單元執行分區，來對所分割的分區執行所述運動補償。
26.根據權利要求25所述的圖像解碼設備，其中，以不對稱分區方案來執行所述分區。
27.根據權利要求25所述的圖像解碼設備，其中，以具有除了正方形之外的形狀的幾何分區方案來執行所述分區。
28.根據權利要求25所述的圖像解碼設備，其中，沿著邊緣方向執行所述分區。
29.根據權利要求28所述的圖像解碼設備，進一步包括幀內預測單元，所述幀內預測單元沿著所述邊緣方向對具有與所述預測單元的所獲得大小信息相對應的大小的預測單元執行幀內預測。
全文摘要
一種用於編碼/解碼高解析度圖像的方法和一種用於執行該方法的裝置根據在要編碼的至少一個畫面其間發現的時間頻率特性或空間頻率特性來將擴展宏塊的大小設置為要編碼的預測單元的大小，使用設置的預測單元大小單元來執行運動預測和運動補償，並且執行其轉換。而且，基於邊緣將具有32×32像素或64×64像素大小的宏塊劃分為至少一個分區，並且其後對於劃分的分區的每個執行編碼。因此，增強了對於高清晰度(HD)或更高解析度圖像的編碼效率。
文檔編號H04N7/50GK103039073SQ201180033693
公開日2013年4月10日 申請日期2011年6月7日 優先權日2010年6月7日
發明者李忠九, 金珉成, 樸浚盛 申請人:數碼士有限公司