用於設置時間合併候選的參考畫面索引的方法和設備的製作方法

2023-10-04 15:50:39 3

用於設置時間合併候選的參考畫面索引的方法和設備的製作方法
【專利摘要】本發明涉及用於設置時間合併候選的參考畫面索引的方法和設備。使用時間合併候選的畫面間預測方法能包括步驟：確定用於當前塊的參考畫面索引；和導出當前塊的時間合併候選塊，並從該時間合併候選塊計算時間合併候選，其中能計算該時間合併候選的參考畫面索引，而不管是否對除了該當前塊之外的塊進行解碼。因此，能增加視頻處理速度並能降低視頻處理複雜度。
【專利說明】用於設置時間合併候選的參考畫面索引的方法和設備
[0001]相關申請的交叉引用
[0002]本申請要求2011年12月23日提交的韓國專利申請第10-2011-0140861號、2012年I月11日提交的韓國專利申請第10-2012-0003617號、和2012年12月18日提交的韓國專利申請第10-2012-0147996號的優先權的權益，這裡通過引用而對其全部進行合併。
【技術領域】
[0003]本發明涉及圖像處理方法和設備，並更具體地，涉及幀間預測方法和使用該方法的設備。
【背景技術】
[0004]最近，對於諸如高清晰度(HD)圖像和超高清晰度(UHD)圖像的具有高解析度和高質量的圖像的需求正在各個應用領域中增長。隨著圖像數據的解析度和質量變高，圖像數據的數量比現有圖像數據的數量變得相對更大。為此原因，如果使用諸如現有有線/無線寬帶線路的介質來傳送圖像數據、或者通過使用現有存儲介質來存儲圖像數據，則增加傳送成本和存儲成本。能使用具有高效率的圖像壓縮技術來解決因為圖像數據的解析度和質量變高而出現的問題。
[0005]圖像壓縮技術包括各種技術，諸如用於根據當前畫面之前或之後的畫面來預測當前畫面中包括的像素值的幀間預測技術、用於使用關於當前畫面中的像素的信息來預測當前畫面中包括的像素值的幀內預測技術、和用於向具有高出現頻率的值分配短碼元並向具有低出現頻率的值分配長碼元的熵編碼技術。能通過使用圖像壓縮技術來有效壓縮、傳送、或存儲圖像數據。

【發明內容】

[0006]本發明的目的在於提供設置時間合併候選的參考畫面索引的方法。
[0007]本發明的另一目的在於提供用於執行設置時間合併候選的參考畫面索引的方法的設備。
[0008]根據本發明的一個方面，一種使用時間合併候選的幀間預測方法可包括以下步驟:確定用於當前塊的時間合併候選的參考畫面索引並導出當前塊的時間合併候選塊和從該時間合併候選塊導出時間合併候選，其中能導出該時間合併候選的參考畫面索引，而不管是否已對除了當前塊之外的其他塊進行了解碼。可取決於當前塊是否將使用單一合併候選列表，而按照包括當前塊的編碼塊的單位或按照當前塊的單位，來導出該時間合併候選。該幀間預測方法可進一步包括確定該當前塊是否是使用該單一合併候選列表的塊的步驟，其中該單一合併候選列表可基於包括預測塊的編碼塊，而導出並生成預測塊的空間合併候選和時間合併候選中的至少一個。所述確定該當前塊是否是使用該單一合併候選列表的塊的步驟可包括步驟:解碼關於當前塊的尺寸的信息並確定所述關於當前塊的尺寸的信息是否滿足導出單一合併候選列表的塊的尺寸的條件。該時間合併候選的參考畫面索引可被設置為固定值。所述時間合併候選可包括通過比較時間合併候選塊(即，並置塊)的參考畫面索引和包括並置塊的畫面(即，並置畫面)的索引之間的差、與具有固定值的索引的時間合併候選的參考畫面索引和包括當前塊的畫面的索引之間的差、而計算的時間運動向量。該時間合併候選的參考畫面索引可被設置為O。
[0009]根據本發明的另一方面，一種執行使用時間合併候選的幀間預測方法的解碼器包括:合併候選導出單元，被配置為確定用於當前塊的時間合併候選的參考畫面索引，導出當前塊的時間合併候選塊，並從該時間合併候選塊導出時間合併候選，其中可導出該時間合併候選的參考畫面索引，而不管是否已對除了當前塊之外的其他塊進行了解碼。可取決於當前塊是否將使用單一合併候選列表，而按照包括當前塊的編碼塊的單位或按照當前塊的單位來導出該時間合併候選。該合併候選導出單元可被配置為確定該當前塊是否是使用該單一合併候選列表的塊，和該單一合併候選列表可基於包括預測塊的編碼塊，而導出並生成預測塊的空間合併候選和時間合併候選中的至少一個。該合併候選導出單元可被配置為解碼關於當前塊的尺寸的信息，並確定所述關於當前塊的尺寸的信息是否滿足導出單一合併候選列表的塊的尺寸的條件，以便確定該當前塊是否是使用該單一合併候選列表的塊。該時間合併候選的參考畫面索引可被設置為固定值。所述時間合併候選可包括通過比較時間合併候選塊(並置塊)的參考畫面索引和包括並置塊的畫面(並置畫面)的索引之間的差、與具有固定值的索引的時間合併候選的參考畫面索引和包括當前塊的畫面的索引之間的差、而計算的時間運動向量。該時間合併候選的參考畫面索引可被設置為O。
[0010]如上所述，依照根據本發明實施例的用於設置時間合併候選的參考畫面索引的方法和設備，能通過使用設置為特定值的時間合併候選或通過使用特定位置處的空間合併候選的參考畫面索引作為時間合併候選的參考畫面索引，來對多個預測塊並行執行使用時間合併候選的幀間預測。因此，能增加圖像處理速度，並能降低圖像處理的複雜度。
【專利附圖】

【附圖說明】
[0011]圖1是示出了根據本發明實施例的圖像編碼器的構造的框圖。
[0012]圖2是示出了根據本發明實施例的圖像解碼器的構造的框圖。
[0013]圖3是圖示了根據本發明實施例的使用合併模式的幀間預測方法的概念圖。
[0014]圖4是圖示了根據本發明實施例的使用時間合併候選和時間合併候選的參考畫面索引的幀間預測的概念圖。
[0015]圖5是圖示了其中將一個編碼塊劃分(partitioned)為兩個預測塊的情況的概念圖。
[0016]圖6是圖示了根據本發明實施例的用於設置時間合併候選的參考畫面索引的方法的概念圖。
[0017]圖7是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0018]圖8是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0019]圖9是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。[0020]圖10是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0021]圖11是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0022]圖12是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0023]圖13是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0024]圖14是圖示了根據本發明實施例的用於在合併候選列表中包括時間合併候選的方法的流程圖。
[0025]圖15是圖示了根據本發明實施例的用於通過在多個預測塊中共享所有空間合併候選和時間合併候選、而生成單一合併候選列表的方法的概念圖。
[0026]圖16是圖示了根據本發明實施例的用於生成單一候選列表的方法的概念圖。
【具體實施方式】
[0027]其後，將參考附圖來詳細描述示範實施例。在描述本發明的實施例時，將省略已知功能和構造的詳細描述，如果認為它使得本發明的要義不必要地模糊的話。
[0028]當說到一個元件「連接到」或「耦接到」另一元件時，所述一個元件可直接連接或耦接到所述另一元件，但是應理解的是，可在這兩個元件之間存在第三元件。此外，在本發明中，描述「包括(或包含)」特定元件的內容並不意味著排除除了特定元件之外的元件，而是意味著附加元件可被包括在本發明的實現中或本發明的技術精神的範圍中。
[0029]可使用諸如第一和第二的術語來描述各個元件，但是這些元件不受到這些術語的限制。這些術語僅用來將一個元件與另一元件進行彼此區分。例如，第一元件可被稱為第二元件，而不脫離本發明的範圍。類似地，第二元件也可被稱為第一元件。
[0030]另外，僅獨立示出本發明的實施例中描述的元件，以便指示不同的和獨特的功能，並且這不意味著每一元件包括單獨硬體或一塊軟體單元。即，為了便於描述，安排每一元件，並且這些元件中的至少兩個可組合以形成一個元件，或者一個元件可被分割為多個元件並且多個元件可執行功能。其中組合元件或分割每一元件的實施例被包括在本發明的範圍中，而不脫離本發明的本質。
[0031]另外，在本發明中，一些元件可以不是執行必然功能的必要元件，而可以是僅改進性能的選擇性元件。本發明可僅使用除了僅用來改進性能的元件之外的用於實現本發明的本質的必要元件來實現，並且包括除了僅用來改進性能的選擇性元件之外的僅必要元件的結構被包括在本發明的範圍中。
[0032]圖1是示出了根據本發明實施例的圖像編碼器的構造的框圖。
[0033]參考圖1，圖像編碼器100包括運動預測單元111、運動補償單元112、幀內預測單元120、開關115、減法器125、變換單元130、量化單元140、熵編碼單元150、逆量化單元160、逆變換單元170、加法器175、濾波單元180、和參考畫面緩衝器190。
[0034]圖像編碼器100可按照幀內模式或按照幀間模式來對輸入畫面執行編碼，並輸出比特流。在幀內模式的情況下，開關115可切換到幀內模式，而在幀間模式的情況下，開關115可切換到幀間模式。圖像編碼器100可導出輸入畫面的輸入塊的預測塊，並然後編碼輸入塊和預測塊的殘差。
[0035]幀內模式可被定義和使用術語「幀內預測模式」，幀間模式可被定義和用作術語「幀間預測模式」，幀內預測單元120可被定義和用作術語「幀內預測單元」，而運動預測單元111和運動補償單元112可被定義和用作術語「幀間預測單元」。
[0036]根據本發明實施例的幀間預測方法公開了用於確定時間合併候選的參考畫面索引的方法。幀內預測單元120可包括合併候選導出單元，用於導出當前塊的空間合併候選和時間合併候選塊，並導出來自空間合併候選塊的空間合併碼元和來自時間合併候選塊的時間合併候選。稍後將詳細描述用於導出合併候選的方法。
[0037]在幀內模式的情況下，幀內預測單元120可通過使用當前塊附近的已編碼塊的像素值執行空間預測，來導出預測塊。
[0038]在幀間模式的情況下，運動預測單元111可通過在運動預測處理中與輸入塊最佳匹配的區域中搜索參考畫面緩衝器190中存儲的參考畫面，來獲得運動向量。運動補償單元112可通過使用運動向量執行運動補償來導出預測塊。
[0039]減法器125可通過輸入塊和導出的預測塊的殘差來導出殘差塊。變換單元130可通過對殘差塊執行變換來輸出變換係數。這裡，變換係數可意味著通過對殘差塊和/或殘差信號執行變換而導出的係數值。在以下說明書中，通過對變換係數應用量化而導出的量化後的變換係數電平也可被稱為變換係數。
[0040]量化單元140可根據量化參數對輸入的變換係數進行量化，並輸出量化後的變換係數電平。
[0041]熵編碼單元150可基於量化單元140所計算的值或在編碼處理中導出的編碼參數值來執行熵編碼，並基於熵編碼的結果來輸出比特流。
[0042]如果應用熵編碼，則可降低用於每一目標編碼碼元的比特流的尺寸，因為通過向具有高出現概率的碼元分配小數目比特並向具有低出現概率的碼元分配大數目比特，來表示碼元。因此，能通過熵編碼來增加圖像編碼的壓縮性能。熵編碼單元150可使用諸如指數哥倫布、上下文自適應可變長度編碼(CAVLC)或上下文自適應二進位算術編碼(CABAC)的編碼方法用於熵編碼。
[0043]在根據圖1的實施例的圖像編碼器中，當前編碼的圖像需要被解碼和存儲以便用作參考畫面，因為執行幀間預測編碼(即，幀間預測編碼)。因此，量化後的係數被逆量化單元160逆量化，並然後被逆變換單元170逆變換。逆量化和逆變換後的係數通過加法器175被添加到預測塊，並由此導出重構的塊。
[0044]重構的塊經過(experiences)濾波單元180。濾波單元180可向重構塊或重構畫面應用解塊濾波器、樣本自適應偏移(SAO)、和自適應環路濾波器(ALF)中的一個或多個。已經過濾波單元160的重構塊可被存儲在參考畫面緩衝器190中。
[0045]圖2是示出了根據本發明另一實施例的圖像解碼器的構造的框圖。
[0046]參考圖2，圖像解碼器200包括熵解碼單元210、逆量化單元220、逆變換單元230、幀內預測單元240、運動補償單元250、加法器255、濾波單元260、和參考畫面緩衝器270。
[0047]圖像解碼器200可從編碼器接收比特流，按照幀內模式或幀間模式來對比特流執行解碼，並輸出重構的圖像(即，重構的畫面)。在幀內模式的情況下，開關可切換到幀內模式，而在幀間模式的情況下，開關可切換到幀間模式。圖像解碼器200可從輸入比特流獲得重構的殘差塊，從重構的殘差塊導出預測塊，並導出通過將重構的殘差塊與預測塊添加到一起而重構的塊，即，重構的塊。
[0048]熵解碼單元210可通過根據概率分布對輸入比特流執行熵解碼，來導出包括具有量化後的係數形式的碼元的碼元。熵解碼方法與上述熵編碼方法類似。
[0049]如果應用熵解碼方法，則能降低每一碼元的比特流的尺寸，因為通過向具有高出現概率的碼元分配小數目比特並向具有低出現概率的碼元分配大數目比特來表示碼元。因此，能通過熵解碼方法來增加圖像解碼的壓縮性能。
[0050]量化後的係數由逆量化單元220逆量化並然後由逆變換單元230逆變換。作為對量化後的係數進行逆量化和逆變換的結果，可導出重構的殘差塊。
[0051]在幀內模式的情況下，幀內預測單元240可通過使用當前塊周圍的已解碼塊的像素值執行空間預測，來導出預測塊。在幀間模式的情況下，運動補償單元250可通過使用運動向量和參考畫面緩衝器270中存儲的參考畫面執行運動補償，來導出預測塊。
[0052]根據本發明實施例的幀間預測方法公開了用於確定時間合併候選的參考畫面索引的方法。幀內預測單元能包括合併候選導出單元，用於導出當前塊的空間合併候選和時間合併候選塊，並從空間合併候選塊導出空間合併碼元和從時間合併候選塊導出時間合併候選。稍後附加描述用於導出合併候選的方法。
[0053]加法器255將重構的殘差塊和預測塊相加，並且相加的塊能經過濾波單元260。濾波單元260可向重構的塊或重構的畫面應用解塊濾波器、SAOjP ALF中的一個或多個。濾波單元260能輸出重構的畫面。重構的畫面可被存儲在參考畫面緩衝器270中並用於幀間預測。
[0054]用於改進圖像編碼器和圖像解碼器的預測性能的方法包括用於增加內插圖像的精度的方法和用於預測差別信號的方法。差別信號指示原始圖像和預測圖像之間的差別。在本發明中，「差別信號」可取決於上下文用「殘差信號」、「殘差塊」或「差別塊」代替。本領域普通技術人員能在不影響本發明的精神和本質的範圍中對殘差信號、殘差塊和差別塊進行彼此區分。
[0055]在本發明的實施例中，諸如編碼單元(CU)、預測單元(I3U)、或變換單元(TU)的術語可被用作用於處理圖像的單元。
[0056]⑶是對其執行編碼/解碼的圖像處理單元。⑶能包括用來對編碼塊(即，對其執行編碼/解碼的亮度樣本或色度樣本的塊單元集合)和編碼塊的樣本進行編碼或解碼的信息
[0057]是對其執行預測的圖像處理單元。能包括用來對預測塊(即，對其執行預測的亮度樣本或色度樣本的塊單元集合)和預測塊的樣本進行預測的信息。這裡，編碼塊能被分類為多個預測塊。
[0058]TU是對其執行變換的圖像處理單元。TU能包括用來對變換塊(即，對其執行變換的亮度樣本或色度樣本的塊單元集合)和變換塊的樣本進行變換的信息。這裡，編碼塊能被分類為多個變換塊。
[0059]在本發明的實施例中，塊和單元可被解釋為具有相同含義，除非其後按照別的方式進行描述。[0060]此外，當前塊能指定正對其執行特定圖像處理的塊，諸如現在對其執行預測的預測塊或現在對其執行預測的編碼塊。例如，如果一個編碼塊被劃分為兩個預測塊，則所劃分的預測塊之中的現在對其執行預測的塊能被指定為當前塊。
[0061]在本發明的實施例中，稍後要描述的圖像編碼方法和圖像解碼方法能通過參考圖1和2描述的圖像編碼器和圖像解碼器的元件來執行。該元件可不僅包括硬體含義，而且包括能通過算法執行的軟體處理單元。
[0062]其後，能在圖像處理方法中的跳躍(SKIP)模式和作為幀間預測方法中的模式之一的合併模式中，使用本發明實施例中公開的用於設置時間合併候選的參考畫面索引的方法。跳躍模式是輸出基於從周圍塊導出的運動預測信息而預測的塊作為重構的塊、而不生成殘差塊的圖像處理方法。作為幀間預測方法中的模式之一的合併模式是這樣的圖像處理方法，其與跳躍模式的相同之處在於，基於從周圍塊導出的運動預測信息來預測塊，而與跳躍模式的不同之處在於，輸出通過關於殘差塊的編碼和解碼信息將殘差塊與預測塊相加而重構的塊。諸如解塊濾波和樣本自適應偏移的環路內濾波方法能附加應用到輸出的重構的塊。
[0063]圖3是圖示了根據本發明實施例的使用合併模式的幀間預測方法的概念圖。
[0064]參考圖3，能如下執行使用合併模式的幀間預測。
[0065]使用合併模式的幀間預測方法表示用於從與當前塊相鄰的塊導出合併候選、並通過使用導出的合併候選來執行幀間預測的方法。用來導出合併候選的相鄰塊能被劃分為與當前塊位於相同畫面中並與當前塊相鄰的塊、以及位於與包括當前塊的畫面不同的畫面中並與當前塊並置定位的塊。
[0066]其後，在本發明的實施例中，在用來導出合併候選的相鄰塊之中，與當前塊位於相同畫面中並與當前塊相鄰的塊被定義為空間合併候選塊，並且從空間合併候選塊導出的與運動預測相關的信息被定義為空間合併候選。此外，在用來導出合併候選的相鄰塊之中，位於與包括當前塊的畫面不同的畫面中並與當前塊並置定位的塊被定義為時間合併候選塊，並且從時間合併候選塊導出的與運動預測相關的信息被定義為時間合併候選。
[0067]S卩，使用合併模式的幀間預測方法是用於通過使用稍後要描述的關於空間合併候選塊的與運動預測相關的信息(即，空間合併候選)或者關於時間合併候選塊的與運動預測相關的信息(即，時間合併候選)、來預測當前塊的幀間預測方法。
[0068]例如，運動向量mvLO/Ll、參考畫面索引refldxLO/Ll、和多條參考畫面列表利用信息predFlagLO/Ll能被用作與運動預測相關的信息。
[0069]圖3(A)示出了運動向量mvLO/Ll、參考畫面索引refldxLO/Ll、和多條參考畫面列表利用信息predFlagLO/Llo
[0070]運動向量304是方向信息，並能由預測塊使用以在執行幀間預測時從參考畫面導出關於位於特定位置處的像素的信息。如果在預測塊中使用多條方向信息來執行幀間預測，則用於各個方向的運動向量能由mvLO/Ll指示。
[0071]參考畫面索引306是關於在執行幀間預測時預測塊所參考的畫面的索引的信息。如果使用多個參考畫面執行幀間預測，則可使用相應參考畫面索引refldxLO和refldxLl來為參考畫面編索引。
[0072]參考畫面列表利用信息能指示已從哪個參考畫面列表O 308導出參考畫面。例如，畫面1、j和k能被存儲在參考畫面列表O 308中並使用。如果存在其中存儲參考畫面的兩個列表，則關於已從哪個參考畫面列表導出參考畫面的信息能由predFlagLO和predFlagLl來指示。
[0073]為了執行使用合併模式的幀間預測方法，首先，可通過以下步驟(I)來獲得空間合併候選。圖3(B)公開了空間合併候選和時間合併候選。
[0074](I)從用於當前塊(即，目標預測塊)的相鄰塊導出空間合併候選。
[0075]如上所述，空間合併候選是從空間合併候選塊導出的與運動預測相關的信息。空間合併候選塊可以基於當前塊的位置來導出。
[0076]參考圖3(B)，已基於目標預測塊導出現有空間合併候選塊300、310、320、330和340。假設目標預測塊的左上端存在的像素的位置是(xP，yP)，預測塊的寬度是nPbW，目標預測塊的高度是nPbH，並且MinPbSize是預測塊的最小尺寸。在其後的本發明的實施例中，預測塊的空間合併候選塊能包括含有在(xP-1，yP+nPbH)處存在的像素的塊(即，左側的第一塊(或AO塊)300)、含有在(xP-1, yP+nPbH-1)處存在的像素的塊(即，左側的第二塊(或Al塊)310)、含有在(xP+nPbW，yP-Ι)處存在的像素的塊(即，上側的第一塊(或BO塊)320)、含有在(xP+nPbW-1，yP-1)處存在的像素的塊(即，上側的第二塊(或BI塊)330)、以及含有在(xP-l，yP-l)處存在的像素的塊(即，上側的第三塊(或B2塊)340)。可使用例如「MinPbSize」的另一值代替I。在該情況下，能指示相同位置處的塊。用來指示特定位置處的塊的坐標是任意的，並且相同位置處的塊可以通過各種其他表示方法來指
/Jn ο
[0077]圖3中公開的空間合併候選塊300、310、320、330和340的位置及其數目與時間合併候選塊360和370的位置及其數目是示意性的，並且空間合併候選塊的位置及其數目與時間合併候選塊的位置及其數目可以改變，如果它們落入本發明的本質之內的話。此外，當配置合併候選列表時優先掃描的合併候選塊的順序可改變。即，本發明的以下實施例中描述的候選預測塊的位置、其數目、及其掃描順序、以及當配置候選預測運動向量列表時使用的候選預測組僅是示意性的，並且能改變，如果它們落入本發明的本質之內的話。
[0078]空間合併候選能通過確定空間合併候選塊300、310、320、330和340是否可用而從可用空間合併候選塊導出。指示是否能從空間合併候選塊導出空間合併候選的信息是可用性信息。例如，如果空間合併候選塊位於當前塊所屬於的片段、拼接塊(tile)或畫面外部或者是已對其執行幀內預測的塊，則不能從對應塊導出空間合併候選(即，與運動預測相關的信息)。在該情況下，空間合併候選塊能被確定為不可用。為了確定關於空間合併候選的可用性信息，可使用一些確定方法並且稍後詳細描述其實施例。
[0079]如果空間合併候選塊可用，則能導出與運動預測相關的信息並使用，以對當前塊執行使用合併模式的幀間預測。
[0080]一個編碼塊可被劃分為一個或多個預測塊。即，編碼塊可包括一個或多個預測塊。如果編碼塊中包括多個預測塊，則每一預測塊能通過特定索引信息指示。例如，如果一個編碼塊被劃分為兩個預測塊，則這兩個預測塊能通過將一個預測塊的分區索引設置為O並將另一預測塊的分區索引設置為I來指示。如果分區索引為0，則預測塊可被定義為另一術語，諸如第一預測塊。如果分區索引為1，則預測塊可被定義為另一術語，諸如第二預測塊。如果一個編碼塊被進一步劃分為附加預測塊，則可增加指示預測塊的索引值。為了指定預測塊而定義的術語是任意的，並且可以不同地使用或不同地解釋這些術語。當預測塊執行圖像處理時，預測塊的分區索引也可被用作指示執行圖像處理(諸如編碼和解碼)的順序的信息。
[0081]如果在一個編碼塊中存在多個預測塊，則可存在其中當導出用於預測塊的空間合併候選時、必須首先執行另一預測塊的編碼或解碼的情況。根據本發明的實施例，詳細地附加公開了用於在生成合併候選列表時、向一個編碼塊中包括的每一預測塊並行導出空間合併候選和時間合併候選的方法。
[0082](2)確定時間合併候選的參考畫面索引。
[0083]空間合併候選是從與包括當前塊的畫面不同的畫面處存在的時間合併候選塊導出的與運動預測相關的信息。根據在基於當前塊的位置並置的位置處的塊，來導出時間合併候選塊。術語「並置塊」可被用作與時間合併候選塊相同的含義。
[0084]返回參考圖3，時間合併候選塊360和370能基於包括預測塊的畫面內的像素位置(xP，yP)，而包括塊360，塊360包括當前預測塊的並置畫面中的位置(xP+nPSW，yP+nPSH)處的像素，或者如果包括位置(xP+nPSW, yP+nPSH)處的像素的塊360不可用，則包括塊370，塊370包括位置(XP+(nPSW?l)，yP+(nPSH?l))處的像素。包括並置畫面中的位置(xP+nPSW, yP+nPSH)處的像素的預測塊360可被稱為第一時間合併候選塊(或第一併置塊)360，而包括並置畫面中的位置(xP+(nPSW?l), yP+(nPSH?l))處的像素的預測塊可被稱為第二時間合併候選塊370。 [0085]最終，用來導出時間合併候選(或與運動預測相關的信息)的最終時間合併候選塊可以位於基於第一時間合併候選塊360和第二時間合併候選塊370的位置而部分移動的位置。例如，如果在存儲器中存儲關於並置畫面中存在的一些預測塊的僅幾條與運動預測相關的信息，則基於第一時間合併候選塊360和第二時間合併候選塊370的位置而部分移動的位置處的塊能被用作用於導出最終與運動預測相關的信息的最終時間合併候選塊。與空間合併候選塊中類似，時間合併候選塊的位置可與圖3不同地改變或添加，並且稍後描述其實施例。
[0086]時間合併候選的參考畫面索引是指示參考的畫面的信息，以便由當前炔基於從時間合併候選導出的運動向量mvLXCol來執行幀間預測。
[0087]圖4是圖示了根據本發明實施例的使用時間合併候選和時間合併候選的參考畫面索引的幀間預測的概念圖。
[0088]參考圖4，可定義當前塊400、包括當前塊的畫面410、時間合併候選塊(或並置塊)420、和包括並置塊的並置畫面430。
[0089]從時間合併候選塊420的角度出發，存在由空間合併候選塊在幀間預測中使用以便對時間合併候選塊420執行幀間預測的畫面440。該畫面被定義為並置畫面430的參考畫面440。此外，由時間合併候選塊420使用以便從並置畫面430的參考畫面440執行幀間預測的運動向量可被定義為mvCol470。
[0090]從當前塊400的角度出發，不得不定義基於計算的mvCol 470在當前塊400的幀間預測中使用的參考畫面460。定義為在當前塊400的幀間預測中使用的參考畫面460可被稱為時間合併候選的參考畫面460。即，時間合併候選的參考畫面460的索引(B卩，時間合併候選的參考索引)是指示在當前塊400的時間運動預測中使用的參考畫面的值。在步驟(2)，能確定時間合併候選的參考畫面索引。
[0091]作為從時間合併候選塊420導出的運動向量的mvCol 470可取決於並置畫面430和並置畫面的參考畫面440之間的距離、以及包括當前塊的畫面410與通過步驟(2)導出的時間合併候選的參考畫面460之間的距離，而被縮放和變換為不同值。
[0092]S卩，根據當前塊400的時間合併候選的幀間預測可基於稍後要描述的通過步驟
(3)導出的mvLXCol480、基於通過步驟(2)導出的時間合併候選的參考畫面索引460和時間合併候選的參考畫面索引460來執行。mvLXCol可被定義為時間運動向量。
[0093]在現有圖像編碼/解碼方法中，時間合併候選的參考畫面索引可基於目標預測塊中從空間合併候選的參考畫面索引導出的時間合併候選的參考畫面索引候選來確定。如果使用該方法，則可以存在其中必須導出還沒有編碼或解碼的空間合併候選的參考畫面索引的情況。在該情況下，僅當完成包括對應空間合併候選的預測塊的編碼或解碼時，才能導出空間合併候選的參考畫面索引。因此，如果基於從所有空間合併候選塊導出的時間合併候選的參考畫面索引候選來確定時間合併候選的參考畫面索引，則不能並行執行用於導出當前塊的時間合併候選的參考畫面的處理。圖5公開了該問題。
[0094]圖5是圖示了其中一個編碼塊被劃分為兩個預測塊的情況的概念圖。
[0095]參考圖5,—個編碼塊被劃分為具有Nx2N形式的第一預測塊500和第二預測塊520。第一預測塊500的空間合併候選塊基於圖5(A)的第一預測塊500的位置導出，而第二預測塊520的空間合併候選塊基於圖5(B)的第二預測塊520的位置導出。儘管沒有示出，但是在時間合併候選塊中，時間合併候選可基於每一預測塊的位置導出。
[0096]第一預測塊500的空間合併候選塊在第一預測塊500外部，並處於已對其執行編碼或解碼的塊中包括的位置處。
[0097]相反，第二預測塊520的空間合併候選塊之中的Al塊530存在於第一預測塊500中。因此，在執行對第一預測塊500的預測之後，能知道關於Al塊530的與運動預測相關的信息(例如，運動向量、參考畫面索引、和參考畫面列表利用信息)。此外，不能導出AO塊550的與運動預測相關的信息，因為AO塊550處於還沒有編碼或解碼的位置處。
[0098]如果時間合併候選的參考畫面索引從Al塊530的與運動預測相關的信息導出，則其能在完成對第一預測塊500的編碼或解碼之後被導出。此外，不能從AO塊550導出參考畫面索引。即，由於不能導出一些空間合併候選塊的參考畫面索引，所以不能並行導出各個預測塊的時間合併候選的參考畫面索引。
[0099]在本發明的實施例中，為了解決該問題，公開了用於導出預測塊的時間合併候選的參考畫面索引(或時間合併候選的參考索引)的方法。
[0100]如果使用根據本發明實施例的導出時間合併候選的參考畫面索引的方法，則能並行執行導出一些預測塊的時間合併候選的參考畫面索引的處理。由於並行導出時間合併候選的參考畫面索引，所以能並行執行用於一個編碼塊中包括的多個預測塊的使用合併模式的幀間預測處理。
[0101]其後，在本發明的實施例中，詳細公開並附加描述了用於導出時間合併候選的參考畫面索引的方法。
[0102](3)導出關於時間合併候選塊的與運動預測相關的信息。
[0103]在步驟(3)，為了基於時間合併候選執行運動預測，能導出時間合併候選，諸如關於時間合併候選塊是否可用的信息(availableFlagCol)、參考畫面列表利用信息(PredFlagLXCol)、和關於時間合併候選的運動向量的信息(mvLXCol)。從時間合併候選導出的與運動預測相關的信息可以被定義為術語「時間合併候選」。關於時間合併候選塊的可用性信息指示是否能從時間合併候選塊導出時間合併候選。時間合併候選可基於關於時間合併候選塊的可用性信息而包括在合併候選列表中。
[0104](4)導出合併候選列表。
[0105]合併候選列表能包括基於關於合併候選塊(即，空間合併候選塊或時間合併候選塊)的可用性信息、能在使用合併模式的幀間預測中使用的關於合併候選的信息。合併候選列表中包括的合併候選之一能用來對當前塊執行使用合併模式的幀間預測。關於將使用哪個合併候選來預測當前塊的信息(即，合併索引)能在編碼步驟中編碼並傳送到解碼器。
[0106]能按照以下優先級順序來生成合併候選列表。
[0107]I)如果Al塊可用，則從Al塊導出合併候選
[0108]2)如果BI塊可用，則從BI塊導出合併候選
[0109]3)如果BO塊可用，則從BO塊導出合併候選
[0110]4)如果AO塊可用，則從AO塊導出合併候選
[0111]5)如果B2塊可用，則從B2塊導出合併候選
[0112]6)如果Col塊可用，則從Col塊導出合併候選
[0113]合併候選列表能取決於可用塊的數目包括例如O到5個合併候選。如果用來導出合併候選的塊的數目是多個，則可在合併候選列表中包括多個合併候選。
[0114](5)如果合併候選列表中包括的合併候選的數目小於能在合併候選列表中包括的合併候選的最大數目，則導出附加合併候選。
[0115]附加合併候選可以是通過組合關於現有合併候選的多條與運動預測相關的信息而生成的候選(即，組合合併候選)，或者可以是O向量合併候選(S卩，零合併候選)。這裡，O向量合併候選指定具有運動向量(0，0)的合併候選。
[0116](6)確定合併候選列表中包括的合併候選之中的、向對當前塊執行的幀間預測施加的合併候選，並將關於確定的合併候選的與運動預測相關的信息設置為關於當前塊的與運動預測相關的信息。
[0117]在解碼處理中，能基於合併索引merge_idx[xP] [yP](即，關於在對當前塊執行的幀間預測中使用合併候選列表中包括的哪個候選的信息)來對當前塊執行使用合併模式的幀間預測。
[0118]通過步驟(I)到步驟(6)的過程，能導出關於當前塊的與運動預測相關的信息，並能基於導出的與運動預測相關的信息來對當前塊執行幀間預測。
[0119]本發明的實施例公開了在步驟(2)設置時間合併候選的參考畫面索引時並行導出用於一個編碼塊中包括的多個預測塊的時間合併候選的參考畫面索引的方法。
[0120]能使用下面各種方法作為並行導出用於一個編碼塊中包括的多個預測塊的時間合併候選的參考畫面索引的方法。
[0121]I)設置空間合併候選塊的位置、作為包括當前塊的編碼塊所位於的並且已對其執行編碼或解碼的位置的方法，所述空間合併候選塊的位置用來導出目標預測塊(即，當前塊)的時間合併候選的參考畫面索引候選。[0122]2)如果用來導出目標預測塊(即，當前塊)的時間合併候選的參考畫面索引候選的空間合併候選塊的位置在編碼塊中或者是還沒有對其執行編碼的位置、則將從對應位置的空間合併候選導出的時間合併候選的參考畫面索引候選設置為「O」的方法。
[0123]3)將目標預測塊(即，當前塊)的時間合併候選的參考畫面索引設置為作為固定值的「O」的方法。
[0124]4)如果為了導出目標預測塊(即，當前塊)的時間合併候選的參考畫面索引候選而參考的空間合併候選塊的位置在編碼塊中或者是還沒有對其執行編碼的位置、則不使用對應位置的空間合併候選塊的參考畫面索引以便導出時間合併候選的參考畫面索引的方法。
[0125]5)預先確定為了導出目標預測塊(即，當前塊)的時間合併候選的參考畫面索引而參考的特定位置處的空間合併候選塊、並從特定位置處的空間合併候選塊導出時間合併候選的參考畫面索引的方法。
[0126]6)如果為了對目標預測塊(即，當前塊)執行合併而導出的空間合併候選的一些空間合併候選塊的位置在編碼塊中、或者是還沒有對其執行編碼的位置、並由此不能從對應位置處的空間合併候選塊導出關於時間合併候選的參考畫面索引的多條信息、則將對應位置處的空間合併候選塊固定為已對其執行編碼或解碼的編碼塊之外的位置的方法。
[0127]本發明的以下實施例詳細公開了導出時間合併候選的參考畫面索引的方法。
[0128]首先，參考圖6詳細描述參考圖5所描述的現有技術中當確定時間合併候選的參考畫面索引時出現的問題。
[0129]圖6是圖示了根據本發明實施例的用於設置時間合併候選的參考畫面索引的方法的概念圖。
[0130]參考圖6，一個編碼塊(例如，2Nx2N形式)可被劃分為兩個預測塊(例如，Nx2N)。在兩個劃分的塊的第一預測塊600中，所有空間合併候選塊605、610、615、620和625存在於編碼塊外部。相反，在兩個劃分的塊的第二預測塊650中，空間合併候選塊655、660、665、670和675中的一些(例如，655、665、670和675)存在於編碼塊外部，而空間合併候選塊655、660、665、670和675中的一些(例如，660)存在於編碼塊內部。
[0131]用於當前塊(S卩，目標預測塊)的時間合併候選的參考畫面索引可從空間合併候選的參考畫面索引導出。即，用於當前塊的時間合併候選的參考畫面索引可基於空間合併候選塊為了執行幀間預測已使用的參考畫面索引的信息來導出。
[0132]例如，可以假設當前塊的多個空間合併候選中的三個的參考畫面索引是refldxLXA、ref IdxLXB 和 refldxLXC。關於參考畫面索引 refldxLXA、ref IdxLXB 和refldxLXC的多條信息可成為時間合併候選的參考畫面索引候選，並且時間合併候選的參考畫面索引值可基於時間合併候選的參考畫面索引候選來導出。
[0133]如果使用以上方法，則不需要預先編碼或解碼當前塊的空間合併候選塊，因為關於當前塊的空間合併候選塊的參考畫面索引的多條信息對於導出當前塊的時間合併候選的參考畫面索引是必需的。
[0134]返回參考圖6，第一預測塊600是其中空間合併候選被包括在上述已對其執行編碼或解碼的編碼塊外部的位置中的塊。因此，如果第一預測塊600是對其執行預測的當前塊，則第一預測塊600的時間合併候選的參考畫面索引候選可以從第一預測塊600的空間合併候選塊直接導出。
[0135]然而，在第二預測塊650中，空間合併候選中的一些(例如660)存在於上述編碼塊內的第一預測塊600中。因此，當對第二預測塊650執行使用合併模式的幀間預測時，在對Al塊660編碼或解碼之前(即，在對包括Al塊660的第一預測塊600執行預測之前)不能導出第一預測塊650的時間合併候選的參考畫面索引。在該情況下，存在的問題在於，不能對第一預測塊600和第二預測塊650並行執行使用合併模式的幀間預測，因為在對第一預測塊600執行預測之前，沒有導出第二預測塊650的時間合併候選。為了解決該問題，可使用各種方法。
[0136]為了便於描述，本發明的以下實施例中僅公開了預測塊的分區形式中的一些，但是本發明可應用到編碼塊的幾個預測塊的分區形式，並且其實施例也被包括在本發明的範圍中。
[0137]圖7是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0138]圖7的實施例公開了設置為了導出時間合併候選的參考畫面索引而由預測塊進行參考的空間合併候選塊的位置、作為包括當前預測塊的編碼塊外部的位置的方法。
[0139]圖7 (A)示出了其中將一個編碼塊劃分為具有Nx2N形式的兩個預測塊700和750的情況。
[0140]第一預測塊700的所有空間合併候選塊處於已對其執行編碼或解碼的編碼單元外部的位置。由此，第一預測塊700的時間合併候選的參考畫面索引候選可通過使用已編碼或解碼的空間合併候選塊而直接導出。
[0141]然而，在第二預測塊750的情況下，用來導出時間合併候選的參考畫面索引的空間合併候選塊的一些(例如，710和720)的位置可改變，並且時間合併候選的參考畫面索引可從改變的位置導出。
[0142]為了導出時間合併候選的參考畫面索引候選，空間合併候選塊710可被替換為編碼塊外部的塊715，而不使用第二預測塊750的空間合併候選塊之中的、編碼單元中包括的空間合併候選塊710，並且塊715的參考畫面索引可被用作時間合併候選的參考畫面索引候選。
[0143]此外，空間合併候選塊720可被替換為編碼塊外部的塊725，而不使用空間合併候選塊之中的、還沒有對其執行編碼或解碼的編碼單元外部的塊720，並且塊725的參考畫面索引可被用作時間合併候選的參考畫面索引候選。
[0144]S卩，時間合併候選的參考畫面索引候選可通過使用編碼塊外部的A0』塊725和Al』塊715 (代替第二預測塊750的AO塊710和Al塊720)來導出。
[0145]如果使用以上方法，則用來導出時間合併候選的參考畫面索引的所有空間合併候選塊可成為第二預測塊750中的已編碼塊中包括的塊。因此，在第二預測塊750中，可導出時間合併候選的參考畫面索引，而不管是否已對第一預測塊700執行了預測處理。
[0146]圖7(B)示出了其中將一個編碼塊劃分為具有2NxN形式的兩個預測塊的情況。
[0147]如圖7(A)中那樣，在圖7(B)中，代替第二預測塊770的空間合併候選塊之中的、作為編碼塊中包括的塊的BI塊780、和作為還沒有對其執行編碼或解碼的塊的BO塊790，作為已編碼塊的BI』塊785和B0』塊795能被用來導出用於第二預測塊750的時間合併候選的參考畫面索引。
[0148]圖8是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0149]圖8的實施例公開了如果為了導出目標預測塊(S卩，當前塊)的時間合併候選的參考畫面索引而參考的空間合併候選塊的位置在包括當前塊的編碼塊中或者是還沒有對其執行編碼或解碼的位置、則將從編碼塊中存在的空間合併候選塊和在還沒有對其執行編碼或解碼的位置處存在的空間合併候選塊導出的時間合併候選的參考畫面索引候選設置為「O」的方法。
[0150]圖8 (A)示出了其中將一個編碼塊劃分為具有Nx2N形式的兩個預測塊的情況。
[0151]參考圖8(A)，第一預測塊800的所有空間合併候選塊處於已對其執行編碼或解碼的編碼單元外部的位置。因此，第一預測塊800的時間合併候選的參考畫面索引候選可從第一預測塊800的空間合併候選塊導出。
[0152]在第二預測塊850的情況下，假設一些空間合併候選塊(例如，810和820)的參考畫面索引是「0」，則可導出第二預測塊850的時間合併候選的參考畫面索引候選。與位於包括目標預測塊(即，當前塊)的編碼塊中的空間合併候選塊或者在還沒有對其執行編碼或解碼的位置處的空間合併候選塊相關地，從對應空間合併候選塊導出的時間合併候選的參考畫面索引候選可被設置為「0」，並且當前塊的時間合併候選的參考畫面索引可從設置的參考畫面索引候選導出。
[0153]例如，能使用當導出時間合併候選的參考畫面索引候選並從設置的參考畫面索引候選導出時間合併候選的參考畫面索引時、預先將從第二預測塊850的AO塊810和Al塊820導出的時間合併候選的參考畫面索引候選設置為「O」的處理。
[0154]圖8(B)示出了其中將一個編碼塊劃分為具有2NxN形式的兩個預測塊的情況。
[0155]第一預測塊860的所有空間合併候選塊在已對其完成編碼或解碼的編碼單元外部的位置處。因此，用於第一預測塊860的時間合併候選的參考畫面索引候選可從第一預測塊860的空間合併候選塊直接導出。
[0156]當導出用於第二預測塊870的時間合併候選的參考畫面索引時，能將從還沒有對其執行預測的預測塊中包括的空間合併候選塊880、或在還沒有對其執行編碼或解碼處理的位置處的一些空間合併候選塊(例如，890)導出的時間合併候選的參考畫面索引候選設置為「O」。時間合併候選的參考畫面索引候選能從設置的參考畫面索引候選中導出。
[0157]例如，以上方法能在將從BO塊880和BI塊890(即，第二預測塊870的空間合併候選塊)導出的時間合併候選的參考畫面索引設置為「O」、並導出用於第二預測塊870的時間合併候選的參考畫面索引的處理中使用。
[0158]圖9是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0159]圖9的實施例公開了其中預測塊將時間合併候選的參考畫面索引設置為「0」(即，固定值)並使用所設置的參考畫面索引的方法。
[0160]圖9 (A)示出了其中將一個編碼塊劃分為具有Nx2N形式的兩個預測塊的情況。
[0161]參考圖9(A)，為了導出用於第一預測塊900和第二預測塊950的時間合併候選的參考畫面索引，時間合併候選的參考畫面索引值可被設置為「O」並使用，而不使用空間合併候選塊905到925以及930到947。如果使用該方法，則能降低編碼和解碼的導出中的複雜程度，並能增加編碼和解碼的速度，因為不執行導出時間合併候選的參考畫面索引的步驟。此外，能導出當前塊的時間合併候選的參考畫面索引，而不需要等待直到執行當前編碼塊中包括的其他預測塊的預測為止。因此，能並行導出一個編碼塊中包括的多個預測塊的時間合併候選的參考畫面索引。
[0162]圖9(B)示出了其中將一個編碼塊劃分為具有2NxN形式的兩個預測塊的情況。
[0163]類似地，在圖9(B)中，為了導出用於第一預測塊960和第二預測塊990的時間合併候選的參考畫面索引，時間合併候選的參考畫面索引值可被固定為「O」並使用，而不使用空間合併候選。
[0164]在圖9中，為了便於描述，在空間合併候選塊中標記「O」。然而，當實際導出時間合併候選的參考畫面索引時，能使用設置為「O」的值，而無需搜索空間合併候選塊的參考畫面索引的過程。「O」僅是固定畫面索引的示例，並且可使用除了 O之外的另一畫面索引，並且其實施例也被包括在本發明的範圍中。
[0165]圖10是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0166]圖10的實施例公開了這樣的方法，如果為了導出當前塊(即，目標預測塊)的時間合併候選的參考畫面索引而參考的空間合併候選塊的位置在包括當前塊的編碼塊中或者在還沒有對其執行編碼的位置處，則不使用空間合併候選塊的參考畫面索引作為用於導出時間合併候選的參考畫面索引的候選。
[0167]圖10(A)示出了其中將一個編碼塊劃分為具有Nx2N形式的兩個預測塊的情況。
[0168]參考圖10(A)，第二預測塊1010的Al塊1030和AO塊1020是包括當前塊的編碼塊中的塊並且是還沒有對其執行編碼或解碼的位置處的塊。當導出用於第一預測塊1000的時間合併候選的參考畫面索引時，不能使用關於Al塊1030和AO塊1020的參考畫面索引的多條信息。
[0169]因此，當從第二預測塊1010導出時間合併候選的參考畫面索引時，能將關於Al塊1030和AO塊1020的參考畫面索引的多條信息設置為「-1」。如果特定空間合併候選塊的參考畫面索引值為「-1」，則空間合併候選塊能指示沒有用來導出時間合併候選的參考畫面索引的塊。
[0170]圖10(B)示出了其中將一個編碼塊劃分為具有2NxN形式的兩個預測塊的情況。
[0171]參考圖10(B)，第二預測塊1050的BI塊1060是編碼塊中的空間合併候選塊，並且是僅當對第一預測塊1040執行預測時能知道其參考畫面索引信息的塊。第二預測塊1050的BO塊1070是還沒有對其執行編碼的位置處的空間合併候選塊，並且不能知道關於其參考畫面索引的信息。
[0172]在該情況下，為了並行從第一預測塊1040和第二預測塊1050導出時間合併候選的參考畫面索引，關於BI塊1060和BO塊1070的參考畫面索引的多條信息可被設置為「-1」。BP,BO塊1070和BI塊1060可以不被用作用於導出用於第二預測塊1050的時間合併候選的參考畫面索引候選的塊。
[0173]圖11是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。[0174]圖11的實施例公開了預先確定為了導出時間合併候選的參考畫面索引而由預測塊參考的特定空間合併候選塊、並從特定空間合併候選塊導出時間合併候選的參考畫面索引的方法。
[0175]圖1l(A)示出了其中將一個編碼塊劃分為具有Nx2N形式的兩個預測塊的情況。
[0176]第一預測塊1100和第二預測塊1120能共享空間合併候選塊A0、A1、B0、B1和B2。即，在第一預測塊1100和第二預測塊1120中執行使用合併模式的幀間預測所使用的空間合併候選塊A0、Al、B0、BI和B2可以是編碼塊外部的塊。
[0177]用於第一預測塊1100的時間合併的參考畫面索引可被設置為BI塊1105的參考畫面索引值。即，預測塊的特定位置處的空間合併候選塊的固定參考畫面索引可取決於分區形式而被設置為用於當前塊的時間合併的參考畫面索引值。
[0178]如果BI塊1125不可用，則參考畫面索引值可被設置為「O」並使用。
[0179]與第二預測塊1120類似，Al塊1125的參考畫面索引值可被用作用於時間合併的參考畫面索引。如果BI塊1105不可用，則參考畫面索引值可被設置為「O」並使用。
[0180]圖1l(B)示出了其中將一個編碼塊劃分為具有2NxN形式的兩個預測塊的情況。
[0181]第一預測塊1150和第二預測塊1170能共享空間合併候選塊A0、A1、B0、B1和B2。即，在第一預測塊1150和第二預測塊1170中執行使用合併模式的幀間預測的空間合併候選塊可以是編碼塊外部的塊。
[0182]用於第一預測塊1150的時間合併的參考畫面索引可被設置為Al塊1155的參考畫面索引值。即，預測塊的特定位置處的空間合併候選塊的參考畫面索引可取決於分區形式而被設置為用於當前塊的時間合併的參考畫面索引值。
[0183]如果BI塊1175不可用，則參考畫面索引值可被設置為「O」並使用。
[0184]與第二預測塊1170類似，BI塊1175的參考畫面索引值可被用作用於時間合併的參考畫面索引。如果BI塊1175不可用，則參考畫面索引值可被設置為「O」並使用。
[0185]圖12是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0186]圖12的實施例公開了預先確定為了導出時間合併候選的參考畫面索引而由目標預測塊參考的特定空間合併候選塊、並從特定空間合併候選塊導出時間合併候選的參考畫面索引的方法。
[0187]參考圖12，取決於從一個編碼塊劃分的預測塊的形式，能使用不同空間合併候選塊，來導出時間合併候選的參考畫面索引。
[0188]例如，在預測塊中，可使用空間合併候選塊之中的Al塊和BI塊之一作為用於導出時間合併候選的參考畫面索引的塊。在這兩個空間合併候選塊之中，不使用編碼塊內部的空間合併候選塊來導出時間合併候選的參考畫面索引，而可以使用編碼塊外部的空間合併候選塊來導出時間合併候選的參考畫面索引。
[0189]儘管為了便於描述而圖示了示出其中將編碼塊劃分為具有Nx2N形式的預測塊的情況的圖12(A)和示出其中將編碼塊劃分為具有2NxN形式的預測塊的情況的圖12(B)，但是相同方法可應用到按照各種形式劃分的編碼塊。
[0190]圖12㈧示出了其中將編碼塊劃分為具有Nx2N形式的預測塊的情況。
[0191]如果將一個編碼塊劃分為具有Nx2N形式的預測塊，則兩個空間合併候選塊(例如，Al塊1200和BI塊1220)之中的BI塊1220 (即，位於編碼塊外部並且處於已對其執行編碼或解碼的位置處的空間合併候選)的參考畫面索引可以被設置為用於第二預測塊1210的時間合併候選的參考畫面索引。
[0192]圖12⑶示出了其中將編碼塊劃分為具有2NxN尺寸的預測塊的情況。
[0193]如果將一個編碼塊劃分為具有2NxN形式的預測塊，則兩個空間合併候選塊(例如，Al塊1240和BI塊1260)之中的Al塊1240 ( S卩，編碼塊外部的空間合併候選)的參考畫面索引可以被設置為用於第二預測塊1250的時間合併候選的參考畫面索引。
[0194]圖13是圖示了根據本發明實施例的用於導出時間合併候選的參考畫面索引的方法的概念圖。
[0195]圖13的實施例公開了這樣的方法，如果預測塊的一些空間合併候選的位置在編碼塊內或者位於還沒有對其執行編碼的位置處，則將對應預測塊的空間合併候選塊的位置固定為編碼塊外部的位置，並使用固定的位置。
[0196]圖13(A)示出了其中將編碼塊劃分為具有Nx2N形式的兩個預測塊的情況。
[0197]第一預測塊1300能基於第一預測塊1300來確定空間合併候選塊1305、1310、1315、1320和1325。相反，第二預測塊1330能將空間合併候選塊固定為位於編碼塊外部的位置處的塊1335、1340、1345、1350和1355，並使用固定的空間合併候選塊。即，空間合併候選塊1335、1340、1345、1350和1355能基於編碼塊導出，並且導出的空間合併候選塊1335、1340、1345、1350和1355能在用於第二預測塊1330的使用合併模式的幀間預測中使用。
[0198]圖13(B)示出了其中將一個編碼塊劃分為具有2NxN形式的兩個預測塊的情況。
[0199]類似地，在圖13(B)中，第一預測塊能使用基於預測塊導出的空間合併候選塊。相反，能基於編碼塊來導出第二預測塊1360的空間合併候選塊1365、1370、1375、1380和1385。
[0200]圖14是圖示了根據本發明實施例的用於在合併候選列表中包括時間合併候選的方法的流程圖。
[0201]圖14的實施例公開了通過使用由導出時間合併候選的參考畫面索引的上述方法所計算的索引值來導出時間合併候選的參考畫面索引、並在合併候選列表中包括該時間合併候選的處理。
[0202]參考圖14，在步驟S1400導出時間合併候選的參考畫面索引。
[0203]時間合併候選的參考畫面索引表示上述為了執行使用合併模式的幀間預測而由當前塊(即，目標預測塊)參考的畫面的參考畫面索引。時間合併候選的參考畫面索引能與預測塊相關地通過導出時間合併候選的參考畫面索引的幾種方法來並行導出。例如，時間合併候選的參考畫面索引能通過幾種方法導出，例如I)總是將空間合併候選塊的空間位置放置為在編碼塊外部參考的方法，2)如果空間合併候選塊的空間位置在編碼塊內部，則用「O」替換從要參考的空間合併候選塊導出的參考畫面索引值的方法，和3)無條件地將時間合併候選的參考畫面索引固定為「O」的方法。
[0204]在步驟S1410導出時間合併候選。
[0205]如上所述，時間合併候選可以是從預測塊(例如，第一時間合併候選塊)導出的與運動預測相關的信息(例如，PredFlag或mvLXCol)，所述預測塊基於包括預測塊的畫面內的像素的位置(xP，yP)、而包括位於當前塊的並置畫面中的位置(xP+nPbW, yP+nPbH)處的像素。如果包括並置畫面中的位置(xP+nPbW，yP+nPbH)處的像素的預測塊不可用或者是通過幀內預測方法預測的塊，則能從包括位置(xP+(nPbW?l), yP+(nPbH?l))處的像素的預測塊(例如，第二時間合併候選塊)導出與運動預測相關的信息(例如，時間合併候選)。
[0206]最終，用來導出與運動預測相關的信息的最終時間合併候選塊(即，並置塊)可以是已經基於第一時間合併候選塊和第二時間合併候選塊的位置而部分移動的位置處的塊。例如，如果在存儲器中存儲關於一些塊的僅幾條與運動預測相關的信息，則在基於第一時間合併候選塊和第二時間合併候選塊的位置而部分移動的位置處存在的時間合併候選塊能被確定為用於導出時間合併候選(即，與運動預測相關的信息)的最終並置塊。
[0207]在導出時間合併候選時，能取決於當前塊是使用單一合併候選列表的塊還是不使用單一合併候選列表的塊，來導出不同時間合併候選。如果當前塊是使用單一合併候選列表的塊，則編碼塊中包括的多個預測塊能使用從一個時間合併候選塊導出的時間合併候選。如果當前塊是不使用單一合併候選列表的塊，則能生成編碼塊中包括的多個預測塊的合併候選列表，並能單獨執行使用合併模式的幀間預測。即，在該情況下，能通過使用從每一預測塊的時間合併候選塊導出的時間合併候選，來執行幀間預測。下面描述其中通過使用單一合併候選列表來執行幀間預測的示例。
[0208]圖15是圖示了根據本發明實施例的用於通過在多個預測塊中共享全部空間合併候選和時間合併候選而生成單一合併候選列表的方法的概念圖。
[0209]圖15的實施例公開了從一個編碼塊劃分的多個預測塊通過共享基於編碼塊確定的所有空間合併候選和時間合併候選、而生成單一合併候選列表的方法。
[0210]參考圖15，第一預測塊1500和第二預測塊1550能從相同空間合併候選塊導出空間合併候選，並共享導出的空間合併候選。用於第一預測塊1500和第二預測塊1550的空間合併候選塊是基於編碼塊確定的塊，並且AO塊1505、Al塊1510、BO塊1515、BI塊1520和B2塊1525能被用作空間合併候選塊。
[0211]每一空間合併候選塊的位置可以是包括基於編碼塊的左上位置(xC，yC)和nCS(即，編碼塊的尺寸)而在圖中示出的像素的位置。
[0212]AO塊1505可以是包括位置(xC_l，yC+nCS)處的像素的塊，Al塊1510可以是包括位置(xC-1，yC+nCS-Ι)處的像素的塊，BO塊1515可以是包括位置(xC+nCS，yC-Ι)處的像素的塊，BI塊1520可以是包括位置(xC+nCS-Ι, yC_l)處的像素的塊，而B2塊1525可以是包括位置(xC-l，yC-l)處的像素的塊。
[0213]此外，第一預測塊1500和第二預測塊1550可共享時間合併候選。用於導出第一預測塊1500和第二預測塊1550所共享的時間合併候選的時間合併候選塊1560和1570可以是基於編碼塊的左上位置(xC，yC)和編碼塊的尺寸nCS導出的位置處的塊。
[0214]時間合併候選的參考畫面索引可通過上述方法導出。
[0215]例如，時間合併候選塊1560和1570可以包括預測塊1560，預測塊1560能基於包括預測塊的畫面內的像素位置(xC，yC)，而包括當前預測塊的並置畫面中的位置(xC+nCS, yC+nCS)處的像素，或者如果包括位置(xC+nCS，yC+nCS)處的像素的預測塊不可用，則可以是包括位置(xC+(nCS?l)，yC+(nCS?l))處的像素的預測塊1570。
[0216]如果不共享時間合併候選，則能導出第一預測塊1500和第二預測塊1550的每一時間合併候選。[0217]如果使用導出單一合併候選列表的方法，則能通過對每一預測塊執行的並行合併處理來執行幀間預測，並且不需要單獨導出每一預測塊的合併候選列表。因此，通過使用根據本發明實施例的單一合併候選列表，能在諸如需要大量數據處理的超高清晰度電視(UHDTV)的設備中改善圖像處理速度。
[0218]圖15僅公開了其每一個按照Nx2N形式劃分的第一 Nx2N預測塊1500和第二 Nx2N預測塊1550，但是該方法也能被應用到按照各種形式劃分的預測塊，諸如具有不同分區形式(例如，2NxN、2NxnU、2NxnD、nLx2N、nRx2N 和 NxN)的塊。
[0219]此外，在該方法中，能取決於塊的尺寸或分區深度，來不同地確定是否應用單一合併候選列表。例如，能基於關於能對其並行執行合併處理的編碼塊的尺寸和塊的尺寸的多條信息，來導出關於是否能在特定塊中使用單一合併候選列表的信息。例如，關於是否能在特定塊中使用單一合併候選列表的信息可用標記信息表示。指示是否能在特定塊中使用單一合併候選列表的標記可被定義為singleMCLflag(即，單一合併候選列表標記)。例如，如果單一合併候選列表標記singleMCLflag為O,則其能指示塊不使用單一合併候選列表。如果單一合併候選列表標記singleMCLflag為I,則其能指示塊使用單一合併候選列表。用於預測塊的空間合併候選能基於以單一合併候選列表標記singleMCLflag的值為基礎的編碼塊來導出。
[0220]例如，能對其並行執行合併處理的塊的尺寸能導出標記信息，該標記信息指示基於指示大於4x4尺寸的值的信息以及指示當前塊的尺寸為8x8的信息、從8x8編碼塊劃分的預測塊使用單一合併候選列表。能使用導出的標記來基於編碼塊導出預測塊的空間合併候選和時間合併候選。
[0221]返回參考圖14，能基於在步驟S1410為了導出時間合併候選而導出的關於時間合併候選的參考畫面索引的信息，來導出關於時間合併候選的可用性信息和時間運動向量。
[0222]時間合併候選的可用性信息可被用作指示是否能基於時間合併候選塊來導出時間合併候選的信息。如果時間合併候選可用，則可導出時間運動向量。
[0223]返回參考圖4，時間運動向量mvLXCol能基於以包括時間合併候選的畫面430的索引和並置畫面410所參考的參考畫面440的索引為基礎而導出的兩個畫面之間的距離、以及基於包括當前塊400的並置畫面410的索引和時間合併候選的參考畫面的索引(即，幀間預測中當前塊400所參考的參考畫面460的索引)而導出的畫面之間的距離，而被縮放並導出。
[0224]如果時間合併候選可用，則時間合併候選在步驟S1420被包括在合併候選列表中。
[0225]當配置合併候選列表時，如果基於步驟S1410導出的時間合併候選的可用性信息、該時間合併候選可用，則對應塊能被包括在合併候選列表中。
[0226]圖16公開了其中僅當塊的尺寸等於或小於特定尺寸時、相同編碼塊中的預測塊共享空間合併候選和時間合併候選的方法。
[0227]圖16是圖示了根據本發明實施例的用於生成單一候選列表的方法的概念圖。
[0228]圖16的實施例公開了其中當在使用合併模式的幀間預測中編碼塊的尺寸等於或小於特定尺寸時、相同編碼塊中的預測塊共享空間合併候選和時間合併候選的方法。
[0229]能使用幾條信息，以使用僅在滿足特定條件的塊中共享單一合併候選列表的方法。例如，能基於關於能對其執行並行合併處理的塊的尺寸的信息和關於當前編碼塊的尺寸的信息，來導出關於當前塊是否使用單一合併候選列表的信息。能基於以導出的幾條信息為基礎滿足特定條件的編碼塊，來導出用於特定塊的空間合併候選和時間合併候選。
[0230]參考圖16(A)，僅當滿足能對其執行並行合併處理的塊的尺寸為8x8或更大並且編碼塊的尺寸為8x8的條件時，例如，從該編碼塊劃分的預測塊能共享單一合併候選列表。
[0231]假設第一編碼塊CUO 1600具有尺寸32x32，第二編碼塊CUl 1610具有尺寸16x16，第三編碼塊⑶2 1620具有尺寸32x32，第四編碼塊⑶3 1630具有尺寸16x16，以及第五編碼塊CU4 1640具有尺寸8x8。
[0232]圖16(B)是僅示出了用於一些編碼塊的空間合併候選塊的概念圖。
[0233]參考圖16 (B)，第二編碼塊1610能被劃分為具有nLx2N形式的兩個預測塊1615和1618，而第五編碼塊1640能被劃分為具有Nx2N形式的兩個預測塊1645和1650。在圖16(B)中，假設生成僅用於具有8x8尺寸的編碼塊1640的單一合併候選列表。
[0234]第二編碼塊1610的第一預測塊1615和第二預測塊1618中的每一個能導出用於每一預測塊的空間合併候選，並基於導出的空間合併候選生成用於每一預測塊的合併候選列表。
[0235]第五編碼塊1640的尺寸是8x8，並且第五編碼塊1640能滿足能對其執行並行合併處理的塊的尺寸的條件和當前編碼塊的尺寸的條件。在該情況下，第五編碼塊1640中包括的第三預測塊1645和第四預測塊1650能基於以編碼塊的位置和尺寸為基礎導出的空間合併候選和時間合併候選，來生成單一合併候選列表。因此，能將時間合併候選的參考畫面索引導出為一個值。
[0236]能通過前述方法來導出時間合併候選的參考畫面索引。
[0237]能在參考圖1和2描述的圖像編碼器和圖像解碼器的元件中實現上述圖像編碼和圖像解碼方法。
[0238]儘管已描述了本發明，但是本領域技術人員將理解，可按照各種方式來修改和改變本發明，而不脫離以下權利要求中書寫的本發明的精神和範圍。
【權利要求】
1.一種使用時間合併候選的幀間預測方法，包括以下步驟: 確定用於當前塊的時間合併候選的參考畫面索引；和 導出當前塊的時間合併候選塊，並從該時間合併候選塊導出時間合併候選， 其中導出該時間合併候選的參考畫面索引，而不管是否已對除了該當前塊之外的其他塊進行了解碼。
2.根據權利要求1的幀間預測方法，其中取決於當前塊是否將使用單一合併候選列表，而按照包括當前塊的編碼塊的單位或按照當前塊的單位來導出該時間合併候選。
3.根據權利要求2的幀間預測方法，進一步包括確定該當前塊是否是使用該單一合併候選列表的塊的步驟， 其中該單一合併候選列表基於包括預測塊的編碼塊，而導出並生成該預測塊的空間合併候選和時間合併候選中的至少一個。
4.根據權利要求3的幀間預測方法，其中所述確定該當前塊是否是使用該單一合併候選列表的塊的步驟包括步驟: 解碼關於當前塊的尺寸的信息；和 確定所述關於當前塊的尺寸的信息是否滿足導出單一合併候選列表的塊的尺寸的條件。
5.根據權利要求1的幀間預測方法，其中該時間合併候選的參考畫面索引被設置為固定值。
6.根據權利要求5的幀間預測方法，其中所述時間合併候選包括通過比較時間合併候選塊(並置塊)的參考畫面索引和包括並置塊的畫面(並置畫面)的索引之間的差、與具有固定值的索引的時間合併候選的參考畫面索引和包括當前塊的畫面的索引之間的差、而計算的時間運動向量。
7.根據權利要求1的幀間預測方法，其中該時間合併候選的參考畫面索引被設置為O。
8.一種執行使用時間合併候選的幀間預測方法的解碼器，該解碼器包括: 合併候選導出單元，被配置為確定用於當前塊的時間合併候選的參考畫面索引，導出當前塊的時間合併候選塊，並從該時間合併候選塊導出時間合併候選， 其中導出該時間合併候選的參考畫面索引，而不管是否已對除了該當前塊之外的其他塊進行了解碼。
9.根據權利要求8的解碼器，其中取決於當前塊是否將使用單一合併候選列表，而按照包括當前塊的編碼塊的單位或按照當前塊的單位來導出該時間合併候選。
10.根據權利要求9的解碼器，其中: 該合併候選導出單元被配置為確定該當前塊是否是使用該單一合併候選列表的塊，和該單一合併候選列表基於包括預測塊的編碼塊，而導出並生成該預測塊的空間合併候選和時間合併候選中的至少一個。
11.根據權利要求10的解碼器，其中該合併候選導出單元被配置為解碼關於當前塊的尺寸的信息，並確定所述關於當前塊的尺寸的信息是否滿足導出單一合併候選列表的塊的尺寸的條件，以便確定該當前塊是否是使用該單一合併候選列表的塊。
12.根據權利要求8的解碼器，其中該時間合併候選的參考畫面索引被設置為固定值。
13.根據權利要求12的解碼器，其中所述時間合併候選包括通過比較時間合併候選塊(並置塊)的參考畫面索引和包括並置塊的畫面(並置畫面)的索引之間的差、與具有固定值的索引的時間合併候選的參考畫面索引和包括當前塊的畫面的索引之間的差、而計算的時間運動向量mvLXCo I。
14.根據權利要求8的解碼器，其中該時間合併候選的參考畫面索引被設置為O。
【文檔編號】H04N19/136GK104012089SQ201280063917
【公開日】2014年8月27日 申請日期:2012年12月18日 優先權日:2011年12月23日
【發明者】金暉容, 樸光勳, 金耿龍, 金尚珉, 林成昶, 李鎮浩, 崔振秀, 金鎮雄 申請人:韓國電子通信研究院, 慶熙大學校 產學協力團