多層視頻信號編碼/解碼方法和裝置與流程

2023-07-26 19:56:36

本發明涉及用於對多層視頻信號進行編碼/解碼的方法和裝置。

背景技術：

近來，在各應用領域中，對高解析度、高品質圖像如高清晰度(HD)圖像和超高清晰度(UHD)圖像的需求已經增長。隨著視頻數據具有更高解析度和更高品質，視頻數據在量上大於傳統視頻數據。因此，如果視頻數據在現有介質比如有線/無線寬帶電路上進行傳輸或者被存儲在現有存儲介質中，則傳輸成本和存儲成本增大。為了避免使用較高解析度、較高品質的視頻數據遇到的這些問題，可以使用高效視頻壓縮技術。

存在包括如下的各種視頻壓縮技術：根據當前圖片的先前圖片或後續圖片對包括在當前圖片中的像素值進行預測的圖片間預測，使用當前圖片中的像素信息對包括在當前圖片中的像素值進行預測的圖片內預測，以及將短碼分配給較頻繁的值和將長碼分配給較不頻繁的值的熵編碼。使用這樣的視頻壓縮技術可以對視頻數據進行有效地壓縮以及傳輸或存儲。

隨著對高解析度視頻的日益增長的需求，對三維(3D)視頻內容的需求也作為新的視頻服務而增長。用於有效地提供HD和UHD 3D視頻內容的視頻壓縮技術正在討論中。

技術實現要素：

技術問題

本發明的目的是提供一種用於在對多層視頻信號進行編碼/解碼中確定參考層的用於當前圖片的層間預測的相應圖片的方法和裝置。

本發明的另一目的是提供一種用於在對多層視頻信號進行編碼/解碼中對參考層的相應圖片進行上採樣的方法和裝置。

本發明的另一目的是提供一種用於在對多層視頻信號進行編碼/解碼中確定參考層的用於當前塊的層間預測的參考塊的方法和裝置。

本發明的另一目的是提供一種用於在對多層視頻信號進行編碼/解碼中採用層間參考圖片構建參考圖片列表的方法和裝置。

本發明的另一目的是提供一種用於在對多層視頻信號進行編碼/解碼中通過層間預測有效地得到關於當前層的紋理信息的方法和裝置。

技術方案

根據本發明，用於對多層視頻信號進行解碼的方法和裝置包括：通過使用與當前層有關的最大時間指示符或當前層中的當前圖片的時間標識符(ID)中之一，從至少一個參考層的相應圖片確定當前圖片的候選參考圖片，基於候選參考圖片的數量得到當前圖片的有效參考的數量，基於所得到的有效參考的數量獲取參考層ID，基於參考層ID確定要被用於當前圖片的層間預測的有效參考圖片，以及使用有效參考圖片執行當前圖片的層間預測。

在根據本發明的用於對多層視頻信號進行解碼的方法和裝置中，當相應圖片的時間ID小於最大時間指示符或者當前圖片屬於當前層中的多個時間子層中的最低級別的層時，可以將相應圖片確定為當前圖片的候選參考圖片。

在根據本發明的用於對多層視頻信號進行解碼的方法和裝置中，當候選參考圖片的數量為0時，將當前圖片的有效參考的數量設置為等於0，以及當候選參考圖片的數量不為0時，基於全有效標記得到當前圖片的有效參考的數量。

在根據本發明的用於對多層視頻信號進行解碼的方法和裝置中，全有效標記可以指示是否施加下述約束：將當前圖片的所有候選參考圖片用於當前圖片的層間預測。

在根據本發明的用於對多層視頻信號進行解碼的方法和裝置中，執行當前圖片的層間預測包括：基於空間偏移量信息確定用於當前圖片中的當前塊的層間預測的參考塊，以及基於所確定的參考塊來預測當前塊的樣本值。

在根據本發明的用於對多層視頻信號進行解碼的方法和裝置中，空間偏移量信息可以包括分段(segment)偏移量和塊偏移量中至少之一。

根據本發明，用於對多層視頻信號進行編碼的方法和裝置包括：通過使用與當前層有關的最大時間指示符或當前層中的當前圖片的時間標識符(ID)中之一，從至少一個參考層的相應圖片確定當前圖片的候選參考圖片，基於候選參考圖片的數量得到當前圖片的有效參考的數量，基於所得到的有效參考的數量獲取參考層ID，基於參考層ID確定要被用於當前圖片的層間預測的有效參考圖片，以及使用有效參考圖片執行當前圖片的層間預測。

在根據本發明的用於對多層視頻信號進行編碼的方法和裝置中，當相應圖片的時間ID小於最大時間指示符或者當前圖片屬於當前層中的多個時間子層中的最低級別的層時，可以將相應圖片確定為當前圖片的候選參考圖片。

在根據本發明的用於對多層視頻信號進行編碼的方法和裝置中，當候選參考圖片的數量為0時，將當前圖片的有效參考的數量設置為等於0，以及當候選參考圖片的數量不為0時，基於全有效標記得到當前圖片的有效參考的數量。

在根據本發明的用於對多層視頻信號進行編碼的方法和裝置中，全有效標記可以指示是否施加下述約束：將當前圖片的所有候選參考圖片用於當前圖片的層間預測。

在根據本發明的用於對多層視頻信號進行編碼的方法和裝置中，執行當前圖片的層間預測包括：基於空間偏移量信息確定用於當前圖片中的當前塊的層間預測的參考塊，以及基於所確定的參考塊來預測當前塊的樣本值。

在根據本發明的用於對多層視頻信號進行編碼的方法和裝置中，空間偏移量信息可以包括分段偏移量和塊偏移量中至少之一。

有益效果

根據本發明，可以有效地確定參考層的用於當前層中的當前圖片的層間預測的相應圖片。

根據本發明，可以有效地上採樣參考層的圖片。

根據本發明，可以有效地確定參考層的用於當前塊的層間預測的參考塊。

根據本發明，可以有效地構建包括層間參考圖片的參考圖片列表。

根據本發明，可以通過層間預測有效地得到關於當前層的紋理信息。

附圖說明

圖1是示出根據本發明的實施方式的編碼裝置的框圖。

圖2是示出根據本發明的實施方式的解碼裝置的框圖。

圖3是示出在應用本發明的實施方式中的用於使用參考層的相應圖片執行當前層的層間預測的操作的流程圖。

圖4是示出在應用本發明的實施方式中的在考慮有效參考圖片的最大數量是否被限制的情況下用於確定有效參考的數量NumActiveRefLayerPics的方法的流程圖。

圖5是示出在應用本發明的實施方式中的用於基於當前圖片的時間級標識符(TemporalId)和相應圖片確定當前圖片的有效參考的數量NumActiveRefLayerPics的方法的流程圖。

圖6是示出在應用本發明的實施方式中的用於基於全有效標記all_ref_layers_active_flag確定當前圖片的有效參考的數量NumActiveRefLayerPics的方法的流程圖。

圖7示出了在應用本發明的實施方式中的關於子層的數量的信息的語法表。

圖8示出了在應用本發明的實施方式中的用於基於最大時間級存在標記獲取最大時間指示符的方法。

圖9示出了在應用本發明的實施方式中的在考慮直接依賴關係的情況下用於獲取最大時間指示符的方法。

圖10是示出在應用本發明的實施方式中的用於對參考層的有效參考圖片進行上採樣的方法的流程圖。

圖11示出了在應用本發明的實施方式中的用於確定被存儲在解碼圖片緩衝器中的短期參考圖片的方法。

圖12示出了在應用本發明的實施方式中的用於確定長期參考圖片的方法。

圖13示出了在應用本發明的實施方式中的用於使用短期參考圖片和長期參考圖片來構建參考圖片列表的方法。

圖14、圖15和圖16示出了在應用本發明的實施方式中的用於以多層結構構建參考圖片列表的方法。

圖17是示出在應用本發明的實施方式中的用於基於空間偏移量信息執行當前塊的層間預測的操作的流程圖。

圖18示出了在應用本發明的實施方式中的空間偏移量信息的語法表。

圖19示出了在應用本發明的實施方式中的用於使用空間偏移量信息確定用於當前塊的層間預測的參考塊的方法。

最優實施方式

根據本發明的用於對多層視頻信號進行解碼的方法和裝置的特徵在於：通過使用與當前層有關的最大時間指示符或當前層中的當前圖片的時間標識符(ID)中之一，從至少一個參考層的相應圖片確定當前圖片的候選參考圖片，基於候選參考圖片的數量得到當前圖片的有效參考的數量，基於所得到的有效參考的數量獲取參考層ID，基於參考層ID確定要被用於當前圖片的層間預測的有效參考圖片，以及使用有效參考圖片執行當前圖片的層間預測。

根據本發明的用於對多層視頻信號進行解碼的方法和裝置的特徵在於：當相應圖片的時間ID小於最大時間指示符或者當前圖片屬於當前層中的多個時間子層中的最低級別的層時，將相應圖片確定為當前圖片的候選參考圖片。

根據本發明的用於對多層視頻信號進行解碼的方法和裝置的特徵在於：當候選參考圖片的數量為0時，將當前圖片的有效參考的數量設置為等於0，以及當候選參考圖片的數量不為0時，基於全有效標記得到當前圖片的有效參考的數量。

根據本發明的用於對多層視頻信號進行解碼的方法和裝置的特徵在於：全有效標記指示是否施加下述約束：將當前圖片的所有候選參考圖片用於當前圖片的層間預測。

根據本發明的用於對多層視頻信號進行解碼的方法和裝置的特徵在於：執行當前圖片的層間預測包括：基於空間偏移量信息確定用於當前圖片中的當前塊的層間預測的參考塊，以及基於所確定的參考塊來預測當前塊的樣本值。

根據本發明的用於對多層視頻信號進行解碼的方法和裝置的特徵在於：空間偏移量信息包括分段偏移量和塊偏移量中至少之一。

根據本發明的用於對多層視頻信號進行編碼的方法和裝置的特徵在於：通過使用與當前層有關的最大時間指示符或當前層中的當前圖片的時間標識符(ID)中之一，從至少一個參考層的相應圖片確定當前圖片的候選參考圖片，基於候選參考圖片的數量得到當前圖片的有效參考的數量，基於所得到的有效參考的數量獲取參考層ID，基於參考層ID確定要被用於當前圖片的層間預測的有效參考圖片，以及使用有效參考圖片執行當前圖片的層間預測。

根據本發明的用於對多層視頻信號進行編碼的方法和裝置的特徵在於：當相應圖片的時間ID小於最大時間指示符或者當前圖片屬於當前層中的多個時間子層中的最低級別的層時，將相應圖片確定為當前圖片的候選參考圖片。

根據本發明的用於對多層視頻信號進行編碼的方法和裝置的特徵在於：當候選參考圖片的數量為0時，將當前圖片的有效參考的數量設置為等於0，以及當候選參考圖片的數量不為0時，基於全有效標記得到當前圖片的有效參考的數量。

根據本發明的用於對多層視頻信號進行編碼的方法和裝置的特徵在於：全有效標記指示是否施加下述約束：將當前圖片的所有候選參考圖片用於當前圖片的層間預測。

根據本發明的用於對多層視頻信號進行編碼的方法和裝置的特徵在於：執行當前圖片的層間預測包括：基於空間偏移量信息確定用於當前圖片中的當前塊的層間預測的參考塊，以及基於所確定的參考塊來預測當前塊的樣本值。

根據本發明的用於對多層視頻信號進行編碼的方法和裝置的特徵在於：空間偏移量信息包括分段偏移量和塊偏移量中至少之一。

具體實施方式

下文將參照附圖詳細描述本發明的優選實施方式。在詳細描述之前，應理解，在本公開內容和權利要求中所使用的術語或詞彙不應當解釋為其常用或字典意義，而應當基於發明人以最佳方式合適地定義術語的概念的原則來解釋為匹配本發明的範圍和精神的意義和概念。因此，如下所述的實施方式和在附圖中示出的配置僅是本發明的優選實施方式，並不代表本發明的所有技術主題。因此，應理解，在提交本發明時本發明的實施方式可以替換為各種等同物和修改示例。

當提及部件「與……耦接/耦接到」或「連接到」另一部件時，應當理解為一個部件直接或者通過部件之間的任何其他部件耦接或連接到該另一部件。在本公開內容中，術語「包括」並不排除特定部件以外的任何其他部件的存在，這意味著附加部件可以包括在本發明的範圍或本發明的實施方式中。

在本公開內容中所使用的術語，第一或第二可以用來描述各種部件而不是限制部件。這些表達用於將一個部件與另一部件區分開。例如，在不脫離本公開的範圍的情況下，第一部件可以被稱為第二部件，反之，第二部件可以被稱為第一部件。

此外，本發明的實施方式中的部件被獨立地示出以說明不同的特性功能，並不意指每個部件被配置在單獨的硬體單元或者一個軟體單元中。即，為了方便描述，單獨列舉每個部件。因此，兩個或更多個部件可以結合成一個部件或者一個部件可以被分成多個部件。部件被集成的實施方式和部件被分離的實施方式落入本發明的範圍中。

一些部件可以是為了提高性能的可選部件，而對於本發明的主要功能不是必要的。本發明可以在不使用僅是為了提高性能的部件的情況下，僅使用對於本發明的主題而言的必要的部件來實現，其落入本發明的範圍內。

支持比特流的多個層的視頻編碼和解碼被稱為可伸縮視頻編碼。因為多個層之間存在強關聯，所以可以通過基於所述關聯執行預測來去除數據的冗餘分量以及提高視頻編碼性能。使用關於另一層的信息進行的當前層的預測被稱為層間預測。

多個層可以具有不同的解析度。文中，解析度可以意指空間解析度、時間解析度和圖像品質中至少之一。為了在層間預測期間控制解析度，可以執行對層的重採樣比如上採樣或下採樣。

圖1是示意性地示出根據本發明的實施方式的編碼裝置的框圖。

根據本發明的編碼裝置100包括針對上層的編碼單元100a和針對下層的編碼單元100b。

上層可以被稱為當前層或增強層，以及下層可以被稱為與上層相比具有較低解析度的增強層、基本層或參考層。上層與下層之間可以在下述至少之一方面不同：空間解析度、基於幀速率的時間解析度、顏色格式以及基於量化步長的圖像品質。當針對層間預測需要改變解析度時，可以對層執行上採樣或下採樣。

針對上層的編碼單元100a可以包括劃分單元110、預測單元120、變換單元130、量化單元140、重排單元150、熵編碼單元160、逆量化單元170、逆變換單元180、濾波器單元190以及存儲器195。

針對下層的編碼單元100b可以包括劃分單元111、預測單元125、變換單元131、量化單元141、重排單元151、熵編碼單元161、逆量化單元171、逆變換單元181、濾波器單元191以及存儲器196。

可以通過以下描述的本發明的實施方式中所描述的視頻編碼方法來實現編碼單元，但是可以不執行一些部分的操作以降低編碼裝置的複雜度或能夠進行快速實時編碼。例如，針對在預測單元執行幀內預測時的實時編碼，可以不執行其中所有的幀內預測模式方法用來選擇最佳幀內編碼方法的方法，而是執行其中從有限數量的幀內預測模式中選擇一個幀內預測模式並且將所選擇的一個幀內預測模式設置為最終幀內預測模式的方法。在另一示例中，用於幀間預測或幀內預測的預測塊可以具有有限的形狀。

在編碼裝置中處理的塊的單位可以是用於執行編碼的編碼單位、用於執行預測的預測單位或者用於執行變換的變換單位。編碼單位、預測單位以及變換單位可以分別被稱為CU、PU以及TU。

劃分單元110和劃分單元111的每一個可以通過將層圖片劃分成編碼塊、預測塊和變換塊的多個組合併且通過基於預定基準(例如代價函數)選擇編碼塊、預測塊和變換塊的一個組合來劃分層。例如，為了將層圖片劃分成編碼單位，可以使用遞歸樹結構如四叉樹結構。在下文中，在本發明的實施方式中，編碼塊不僅可以意指用於編碼的塊而且可以意指用於解碼的塊。

預測塊可以是用於執行預測如幀內預測或幀間預測的單位。用於幀內預測的塊可以是具有方形形式如2N×2N或N×N的塊。作為用於幀間預測的塊，存在方形形式如2N×2N和N×N的塊、矩形形式如2N×N和N×2N的塊、以及具有通過使用不對稱運動劃分(AMP)的預測塊劃分方法獲得的不對稱形式的塊。變換單元115可以根據預測塊的形式使用不同的變換方法。

編碼單元100a和編碼單元100b的預測單元120和預測單元125的每一個可以包括用於執行幀內預測的幀內預測單元121或幀內預測單元126以及用於執行幀間預測的幀間預測單元122或幀間預測單元127。針對上層的編碼單元110a的預測單元120還可以包括使用與下層有關的信息來對上層執行預測的層間預測單元123。

預測單元120和預測單元125的每一個可以確定是對預測塊執行幀間預測還是幀內預測。在執行幀內預測時，基於預測塊確定幀內預測模式，並且可以基於變換塊執行用於基於所確定的幀內預測模式處理幀內預測的處理。可以將所生成的預測塊與原始塊之間的殘差(殘差塊)輸入至變換單元130和變換單元131。此外，可以通過熵編碼單元130連同殘差一起對用於預測的預測模式信息、運動信息等進行編碼並且將其傳輸至解碼裝置。

在使用脈衝編碼調製(PCM)模式時，在不使用預測單元120和預測單元125執行預測的情況下，原始塊可以被不改變地編碼並且可以被傳輸至解碼單元。

幀內預測單元121和幀內預測單元126的每一個可以基於位於當前塊(預測目標塊)周圍的參考像素來生成幀內預測塊。在幀內預測方法中，幀內預測模式可以包括根據預測方向來使用參考像素的定向預測模式和不考慮預測方向的非定向預測模式。用於預測亮度信息的模式可以不同於用於預測色度信息的模式。可以使用通過預測亮度信息而獲得的幀內預測模式或者所預測的亮度信息來預測色度信息。同時，如果參考像素不可用，則可以通過採用其他像素替換不可用的參考像素來生成預測塊。

預測塊可以包括多個變換塊。如果在執行幀內預測時預測塊的大小和變換塊的大小相同，則可以基於預測塊的左側像素、左上側像素和上側像素來對預測塊執行幀內預測。然而，在幀內預測時，當預測塊和變換塊的大小不同並且多個變換塊被包括在預測塊內時，使用與變換塊相鄰的鄰近像素作為參考像素以執行幀內預測。此處，與變換塊相鄰的鄰近像素可以包括與預測塊相鄰的鄰近像素和預測塊中先前被解碼的像素中的至少之一。

幀內預測方法可以根據幀內預測模式在將依賴於模式的幀內平滑(MDIS)濾波器應用於參考像素之後生成預測塊。應用於參考像素的MDIS濾波器的類型可以不同。MDIS濾波器是應用於通過執行幀內預測而生成的幀內預測塊的附加濾波器，以及MDIS濾波器可以用於減小參考像素與執行預測之後所生成的幀內預測塊之間的殘差。在執行MDIS濾波時，根據幀內預測模式的方向，可以對參考像素和包括在幀內預測塊中的一些列執行不同的濾波。

幀間預測單元122和幀間預測單元127的每一個可以通過參照關於包括在當前圖片的先前圖片或後續圖片中的至少之一中的塊的信息來執行預測。幀間預測單元122和幀間預測單元127的每一個可以包括參考圖片插值單元、運動預測單元和運動補償單元。

參考圖片插值單元可以從存儲器195或存儲器196接收參考圖片信息並且可以根據參考圖片生成小於整數像素的關於像素的信息。對於亮度像素可以使用基於DCT的8抽頭插值濾波器，基於DCT的8抽頭插值濾波器有區別地設置濾波器係數以1/4像素為單位生成小於整數像素的關於像素的信息。對於色度信號，可以使用基於DCT的4抽頭插值濾波器，基於DCT的4抽頭插值濾波器有區別地設置濾波器係數以1/8像素為單位生成小於整數像素的關於像素的信息。

幀間預測單元122和幀間預測單元127的每一個可以基於通過參考圖片插值單元進行插值的參考圖片來執行運動預測。作為用於計算運動矢量的方法，可以使用各種方法如基於全搜索的塊匹配算法(FBMA)、三步搜索(TSS)算法以及新三步搜索(NTS)算法。運動矢量可以具有與1/2或1/4的插值像素對應的運動矢量值。幀間預測單元122和幀間預測單元127的每一個可以使用各種幀間預測方法中的任一方法對當前塊執行預測。

作為幀間預測方法，可以使用各種方法如跳過方法、合併方法和運動矢量預測(MVP)方法。

在幀間預測中，對運動信息即關於參考索引、運動矢量和殘差信號的信息進行熵編碼並且將其遞送至解碼單元。在應用跳過模式的情況下，由於不生成殘差信息，因此可以省略用於對殘差信號進行變換和量化的過程。

層間預測單元123執行層間預測以用於使用關於下層的信息來預測上層。層間預測單元123可以使用下層的紋理信息、運動信息等來執行層間預測。

可以通過將下層的圖片設置為參考圖片並且使用下層(參考層)的圖片中的運動信息對上層的當前塊執行預測來執行層間預測。用作層間預測中的參考圖片的參考層的圖片可以是被採樣以匹配當前層的解析度的圖片。此外，運動信息可以包括運動矢量和參考索引。在這種情況下，用於參考層的圖片的運動矢量值可以被設置成(0，0)。

作為層間預測的示例，描述了使用下層的圖片作為參考圖片的預測方法，但本發明不限於此。層間預測單元123可以附加地執行層間紋理預測、層間運動預測、層間語法預測和層間殘差預測等。

層間紋理預測可以基於參考層的紋理來得到當前層的紋理。可以對參考層的紋理進行採樣以匹配當前層的解析度，並且層間預測單元123可以基於經採樣的參考層的紋理來預測當前層的紋理。

層間運動預測可以基於參考層的運動矢量來得到當前層的運動矢量。在這種情況下，可以縮放參考層的運動矢量以匹配當前層的解析度。層間語法預測可以基於參考層的語法來預測當前層的語法。例如，層間預測單元123可以使用參考層的語法作為當前層的語法。此外，層間殘差預測可以使用參考層的恢復圖片與當前層的恢復圖片之間的殘差來重構當前層的圖片。

生成包括殘差信息的殘差塊並且將殘差塊輸入至相應的變換單元130或變換單元131，其中殘差信息是通過預測單元120和預測單元125中的每一個生成的預測塊與預測塊的重構塊之間的差值。

變換單元130和變換單元131的每一個可以使用變換方法如離散餘弦變換(DCT)或離散正弦變換(DST)來對殘差塊進行變換。可以基於用於生成殘差塊的預測塊的幀內預測模式信息和預測塊的大小信息來確定是應用DCT還是應用DST對殘差塊進行變換。即，變換單元130和變換單元131的每一個可以根據預測塊的大小和預測方法使用不同的變換方法。

量化單元140和量化單元141的每一個可以對通過相應的變換單元130或變換單元131在頻域中變換的值進行量化。量化係數可以根據塊的類型或圖片的重要性而變化。可以將通過量化單元140或量化單元141計算的值提供至逆量化單元170或逆量化單元171以及重排單元150或重排單元151。

重排單元150和重排單元151的每一個可以對經量化的殘差值的係數值進行重排。重排單元150或重排單元151可以使用係數掃描方法將2D塊格式係數變成1D矢量格式係數。例如，重排單元150或重排單元151可以通過使用Z字形掃描方法對從DC係數到高頻帶係數範圍的係數進行掃描，以將2D塊格式係數變成1D矢量格式係數。替代Z字形掃描方法，根據變換塊的大小和幀內預測模式，可以使用用於按列方向掃描2D塊格式係數的豎直掃描方法和用於按行方向掃描2D塊格式係數的水平掃描方法。即，可以根據變換塊的大小和幀內預測模式，確定要使用Z字形掃描方法、豎直掃描方法和水平掃描方法中的哪種方法。

熵編碼單元160和熵編碼單元161的每一個可以基於通過重排單元150或重排單元151計算的值來執行熵編碼。例如，可以使用各種編碼方法如指數哥倫布、上下文自適應可變長度編碼(CAVLC)和上下文自適應二進位算術編碼(CABAC)來實現熵編碼。

熵編碼單元160和熵編碼單元161可以通過從重排單元150和重排單元151以及預測單元120和預測單元125接收各種信息如編碼塊的塊類型信息和殘差係數信息、預測模式信息、劃分單位信息、預測塊信息和傳輸單位信息、運動矢量信息、參考幀信息、塊的插值信息、濾波信息等，基於預定編碼方法來執行熵編碼。此外，熵編碼單元160和熵編碼單元161可以對從重排單元150和重排單元151輸入的編碼單位的係數值進行熵編碼。

熵編碼單元160和熵編碼單元161的每一個可以通過對幀內預測模式信息執行二進位編碼來對當前塊的幀內預測模式信息進行編碼。熵編碼單元160和熵編碼單元161可以包括用於二進位編碼的碼字映射單元，並且可以根據用於幀內預測的預測塊的大小來以不同的方式執行二進位編碼。碼字映射單元可以通過二進位編碼操作來自適應地生成碼字映射表或者可以具有先前生成的映射表。在另一實施方式中，熵編碼單元160和熵編碼單元161可以使用用於執行碼號映射的碼號映射單元和用於執行碼字映射的碼字映射單元來表示關於當前塊的幀內預測模式信息。碼號映射單元和碼字映射單元可以分別生成碼號映射表和碼字映射表，或者可以分別具有先前生成的碼號映射表和碼字映射表。

逆量化單元170和逆量化單元171的每一個可以對通過量化單元140或量化單元141量化的值進行逆量化，以及逆變換單元180或逆變換單元181的每一個可以對通過變換單元130或變換單元131變換的值進行逆變換。將通過逆量化單元170或逆量化單元171以及逆變換單元180或逆變換單元181生成的殘差值與通過包括在預測單元120或預測單元125中的運動估計單元、運動補償單元和幀內預測單元預測的預測塊結合，從而可以生成重構塊。

濾波器單元190和濾波器單元191的每一個可以包括去塊濾波器和偏移校正單元中的至少之一。

去塊濾波器可以去除重構圖片中由於塊之間的邊界而生成的塊失真。可以基於包括在塊的一些列或行中的像素來確定是否執行去塊，即是否將去塊濾波器應用於當前塊。在將去塊濾波器應用於塊時，可以根據所需的去塊濾波的強度來應用強濾波器或弱濾波器。此外，在去塊濾波器的應用中，當進行豎直濾波和水平濾波時，可以並行地處理豎直濾波和水平濾波。

偏移校正單元可以以像素為單位校正對其執行了去塊的圖片與原圖片之間的偏移。為了對特定圖片執行偏移校正，可以使用以下方法：將包括在圖片中的像素劃分成多個特定區域、確定要施加偏移的區域以及將偏移施加於該區域的方法；或者在考慮關於每個像素的邊緣的信息的情況下施加偏移的方法。

濾波器單元190和濾波器單元191的每一個可以僅使用去塊濾波器、或者使用去塊濾波器和偏移校正二者而不是使用所有的去塊濾波器和偏移校正來實現。

存儲器195和存儲器196的每一個可以存儲通過濾波器單元190或濾波器單元191計算的重構塊或圖片，以及可以在執行幀內預測時將存儲在存儲器中的重構塊和圖片提供至預測單元120或預測單元125。

從下層的熵編碼單元100b輸出的信息和從上層的熵編碼單元100a輸出的信息通過復用器(MUX)197復用，並且隨後以比特流的形式被輸出。

MUX 197可以包括在上層的編碼單元100a或下層的編碼單元100b中，或者可以實現為不同於編碼單元100的單獨的裝置或模塊。

圖2是示意性地示出根據本發明的實施方式的解碼裝置的框圖。

如圖2所示，解碼裝置200包括上層的解碼單元200a和下層的解碼單元200b。

上層的解碼單元200a可以包括熵解碼單元210、重排單元220、逆量化單元230、逆變換單元240、預測單元250、濾波器單元260以及存儲器270。

下層的解碼單元200b可以包括熵解碼單元211、重排單元221、逆量化單元231、逆變換單元241、預測單元251、濾波器單元261以及存儲器271。

當從編碼裝置傳輸包括多個層的比特流時，解復用器(DEMUX)280對與每個層對應的信息進行解復用並且將結果傳輸至每個層的解碼單元200a或解碼單元200b。可以以與編碼裝置的處理相逆的處理來對輸入的比特流進行解碼。

熵解碼單元210和熵解碼單元211的每一個可以通過由編碼裝置的熵編碼單元執行的熵編碼處理的逆處理來執行熵解碼。在由熵解碼單元210和熵解碼單元211解碼的各條信息中，將生成預測塊所需的信息提供至預測單元250和預測單元251，並且可以將通過熵解碼單元執行熵解碼的殘差輸入至重排單元220和重排單元221。

像熵編碼單元160和熵編碼單元161一樣，熵解碼單元210和熵解碼單元211的每一個可以使用CABAC和CAVLC中的至少之一。

熵解碼單元210和熵解碼單元211的每一個可以對與編碼裝置執行的幀內預測和幀間預測有關的信息進行解碼。熵解碼單元210和熵解碼單元211的每一個包括碼字映射單元，碼字映射單元具有用於根據所接收的碼字生成幀內預測模式編號的碼字映射表。碼字映射表可以被預先存儲或可以被自適應地生成。當使用碼號映射表時，可以附加地布置用於執行碼號映射的碼號映射單元。

重排單元220和重排單元221的每一個可以基於編碼單元所使用的重排方法來對通過熵解碼單元210或熵解碼單元211進行熵解碼的比特流進行重排。以一維矢量形式表示的係數可以通過被重構而被重排成2維塊類型係數。重排單元220和重排單元221的每一個接收與通過編碼單元執行的係數掃描方法有關的信息，並且可以使用其中基於由編碼單元執行的掃描的順序執行逆掃描的方法來對係數進行重排。

逆量化單元230和逆量化單元231的每一個可以基於由編碼裝置提供的量化參數和塊的重排係數來執行逆量化。

逆變換單元240和逆變換單元241的每一個可以對由編碼裝置執行的量化結果執行逆DCT或逆DST，逆DCT或逆DST與由相應的變換單元130或變換單元131執行的DCT和DST對應。可以以由編碼裝置確定的傳輸單位來執行逆變換。在編碼裝置的變換單元中，可以根據多條信息如預測方法、當前塊的大小、預測方向等來選擇性地執行DCT和DST。解碼裝置的逆變換單元240或逆變換單元241可以基於關於由編碼裝置的變換單元所執行的變換的信息來執行逆變換。可以基於編碼塊而不是基於變換塊來執行變換。

預測單元250和預測單元251的每一個可以基於由熵解碼單元210和熵解碼單元211提供的預測塊的生成的相關信息以及從相應的存儲器270或存儲器271提供的先前解碼的塊或圖片的相關信息來生成預測塊。

預測單元250和預測單元251的每一個可以包括預測單元確定單元、幀間預測單元和幀內預測單元。

預測單元確定單元接收各種信息、從當前編碼塊中分離出預測塊並且確定預測塊是執行幀間預測還是幀內預測，所述各種信息包括從熵解碼單元輸入的預測單元信息、關於幀內預測方法的預測模式信息、關於幀間預測方法的運動預測信息等。

幀間預測單元可以基於包括在當前圖片的先前圖片和後續圖片中的至少之一中的信息、使用由編碼裝置所提供的當前預測塊的幀間預測所需的信息來執行對當前預測塊的幀間預測，其中該當前圖片包括當前預測塊。為了執行幀間預測，可以基於相應編碼塊來確定用作被包括在編碼塊中的預測塊的運動預測方法的方法是否是跳過模式、合併模式或使用運動矢量預測器(MVP)的模式(AMVP模式)。

幀內預測單元可以基於關於當前圖片中的重構像素的信息來生成預測塊。當預測塊是對其執行幀內預測的預測塊時，可以基於由編碼裝置提供的關於預測塊的幀內預測模式信息來執行幀內預測。幀內預測單元可以包括：用於對當前塊的參考像素執行濾波的MDIS濾波器、用於通過對參考像素進行插值來以小於單個像素為單位生成參考像素的參考像素插值單元以及用於在當前塊的預測模式是DC模式時通過濾波來生成預測塊的DC濾波器。

上層的解碼單元200a的預測單元250還可以包括用於執行層間預測的層間預測單元，其中使用與下層有關的信息來預測上層。

層間預測單元可以通過使用幀內預測模式信息、運動信息等來執行層間預測。

實施層間預測以使得通過採用下層圖片作為參考圖片並且使用關於下層(參考層)的圖片的運動信息來對上層的當前塊執行預測。

在層間預測中，可以對用作參考圖片的參考層的圖片進行適當地採樣以適合於當前層的解析度。此外，運動信息可以包括運動矢量和參考索引。在這一點上，用於參考層圖片的運動矢量值可以被設置為(0，0)。

作為層間預測的示例，描述了用於使用下層圖片作為參考圖片的預測方法，但不限於此。層間預測單元123可以附加地執行層間紋理預測、層間運動預測、層間語法預測和層間殘差預測等。

層間紋理預測可以基於參考層的紋理來得到當前層的紋理。可以對參考層紋理進行適當地採樣以適合於當前層的解析度，並且層間預測單元可以基於所採樣的紋理來預測當前層紋理。層間運動預測可以基於參考層的運動矢量來得到當前層的運動矢量。文中，可以適當地縮放參考層的運動矢量以適合於當前層的解析度。在層間語法預測中，可以基於參考層語法來預測當前層語法。例如，層間預測單元123可以使用參考層語法作為當前層語法。此外，在層間殘差預測中，可以通過使用參考層的重構圖像與當前層的重構圖像之間的差值來重構當前層的圖片。

可以將重構塊或重構圖片提供至濾波器單元260和濾波器單元261的每一個。濾波器單元260和濾波器單元261的每一個可以包括去塊濾波器和偏移校正單元。

可以從編碼裝置接收關於是否將去塊濾波器應用於相應塊或圖片的信息以及關於在應用去塊濾波器時是應用強濾波器還是應用弱濾波器的信息。解碼裝置的去塊濾波器可以接收從編碼裝置提供的去塊濾波器相關的信息並且解碼裝置可以對相應塊執行去塊濾波。

偏移校正單元可以基於在編碼時應用於圖像的偏移值信息和偏移校正的類型來對重構圖像執行偏移校正。

存儲器270和存儲器271的每一個可以存儲重構圖片或重構塊以使其能夠用作參考圖片或參考塊，並且存儲器270和存儲器271還可以輸出重構圖片。

編碼裝置和解碼裝置可以對三個層或更多個層而不是對兩個層執行編碼，並且在這種情況下，可以提供與上層的數量對應的針對上層的多個編碼單元和解碼單元。

在用於支持多層結構的可伸縮視頻編碼(SVC)中，存在層之間的關聯。當通過使用該關聯來執行預測時，可以去除數據重複元素並且可以改進圖像編碼性能。

因此，當對要被編碼/解碼的當前層(即增強層)的圖片(即圖像)進行預測時，可以執行通過使用其他層的信息的層間預測以及使用當前層的信息的幀間預測或幀內預測。

當執行層間預測時，可以通過使用用於層間預測的參考層的解碼圖片作為參考圖片來生成用於當前層的預測樣本。

在這種情況下，由於當前層與參考層之間可以在以下方面中的至少一個方面中不同(由於層之間的可伸縮性的差異而引起的)：空間解析度、時間解析度和圖像品質，所以對參考層的解碼圖片進行重採樣以適於當前層的可伸縮性，以及然後可將其用作用於當前層的層間預測的參考圖片。「重採樣」是指對參考層圖片的樣本進行上採樣或下採樣以匹配當前層圖片的圖片大小。

在本說明書中，當前層是對其執行編碼或解碼的層，並且當前層可以是增強層或上層。參考層是被參考以用於當前層的層間預測的層，並且參考層可以是基本層或下層。用於當前層的層間預測的參考層的圖片(即參考圖片)可以被稱為層間參考圖片或者層之間的參考圖片。

圖3是示出在應用本發明的實施方式中的用於使用參考層的相應圖片執行當前層的層間預測的操作的流程圖。

參照圖3，可以確定當前層的當前圖片的有效參考的數量NumActiveRefLayerPics(S300)。

一個或更多個參考層的相應圖片可用於當前層的當前圖片的層間預測。參考層的相應圖片中的用於當前層的當前圖片的層間預測的相應圖片的數量被稱為有效參考的數量NumActiveRefLayerPics。下文中，用於當前圖片的層間預測的相應圖片被稱為有效參考圖片。

當前層可以是指與參考層具有直接依賴關係的層。參考層可以是指包括當前層的至少一個有效參考圖片的層。因此，用於當前層的層間預測的參考層的數量NumDirectRefLayers可以等於或大於有效參考的數量NumActiveRefLayerPics。

相應圖片可以是指位於與當前層的當前圖片的時刻相同時刻的圖片。例如，相應圖片可以是具有與當前層的當前圖片的圖片順序計數(POD)信息相同的圖片順序計數信息的圖片。相應圖片可以屬於與當前層的當前圖片的存取單元(AU)相同的存取單元。相應圖片可以具有與當前層的當前圖片的時間ID TemporalID相同的時間ID。時間ID TemporalID可以指根據時間解析度而被可伸縮編碼的多個層中的每個層進行標識的ID。

可以在考慮有效參考圖片的最大數量是否被限制的情況下確定有效參考的數量NumActiveRefLayerPics。或者可以基於關於最大時間指示符和子層的數量的信息來確定有效參考的數量NumActiveRefLayerPics。這將參照圖4至圖9進行詳細描述。

可以基於在步驟S300中確定的有效參考的數量NumActiveRefLayerPics來獲得參考層ID(S310)。

參照層ID可以是指包括當前圖片的有效參考圖片的層的層ID nuh_layer_id。

具體地，可以獲得與有效參考的數量NumActiveRefLayerPics一樣多的參考層ID。僅當有效參考的數量NumActiveRefLayerPics與當前層的直接層的數量NumDirectRefLayers不同時，可以獲取參考層ID。如果有效參考的數量NumActiveRefLayerPics等於當前層的直接層的數量NumDirectRefLayers，則這意味著與當前層有直接依賴關係的所有參考層具有當前圖片的有效參考圖片。因此，不需要以信號的形式單獨給出參考層ID以對包括當前圖片的有效參考圖片的層進行標識。

可以使用在步驟S310中獲取的參考層ID來確定當前圖片的有效參考圖片(S320)。

具體地，可以將與由參考層ID所標識的參考層中的與當前圖片對應的圖片確定為當前圖片的有效參考圖片。如前所述，對應的圖片可以是指在與當前圖片的時刻相同的時刻處的圖片或者具有與當前圖片的POC信息相同的POC信息的圖片。或者對應的圖片可以是指屬於與當前圖片的AU相同的AU的圖片。

可以通過對在步驟S320中確定的有效參考圖片進行上採樣來生成層間參考圖片(S330)。

具體地，層間參考圖片可以包括第一層間參考圖片和第二層間參考圖片中至少之一。第一層間參考圖片可以是指通過對整數位置進行濾波而獲得的參考圖片，以及第二層間參考圖片可以是指沒有進行整數位置的濾波的參考圖片。

整數位置可以是指在經上採樣的有效參考圖片中的整數單位的像素。或者，如果在上採樣期間以等於或低於像素的整數倍為單位、即以1/n像素為單位執行插值，則產生n個相位並且整數位置可以是指具有相位0的位置(即，在插值之後為n的倍數的整數的像素位置)。可以使用相鄰的整數位置來執行整數位置的濾波。相鄰的整數位置可以是與當前經濾波的整數位置在同一行或同一列。相鄰的整數位置可以是指在上述同一行或同一列中的多個整數位置。文中，多個整數位置可以順序地在同一行或同一列中。將參照圖10描述具體的上採樣方法。

然而，如果當前層和參考層具有相同的解析度，則可以省略上述上採樣過程。在這種情況下，所確定的有效參考圖片仍可以用作層間參考圖片。

可以採用時間參考圖片和在步驟S330中生成的層間參考圖片來生成參考圖片列表(S340)。

具體地，當前圖片的參考圖片列表可以包括與當前圖片屬於相同的層的參考圖片(下文中稱為時間參考圖片)。時間參考圖片可以是指具有與當前圖片的輸出順序不同的輸出順序(例如，不同的POC)的圖片。將參照圖11、圖12和圖13描述用於採用時間參考圖片生成參考圖片列表的方法。

同時，參考圖片列表還可以包括層間參考圖片，用於當前圖片的層間預測。即，不同層的圖片以及同一層的圖片可以以多層結構被參考(例如，可伸縮視頻編碼和多視圖視頻編碼)。將參照圖14、圖15和圖16描述用於採用層間參考圖片構建參考圖片列表的方法。

如前參照步驟S330所述，層間參考圖片可以包括第一層間參考圖片和第二層間參考圖片中至少之一。因此，參考圖片列表可以被配置成包括第一層間參考圖片和第二層間參考圖片中之一，或者參考圖片列表可以被配置成包括第一層間參考圖片和第二層間參考圖片兩者。

對於第一層間參考圖片和第二層間參考圖片的選擇性使用，可以確定是使用第一層間參考圖片和第二層間參考圖片中之一還是使用第一層間參考圖片和第二層間參考圖片兩者。此外，如果選擇性地使用第一層間參考圖片和第二層間參考圖片中之一，則可以確定在第一層間參考圖片與第二層間參考圖片之間要使用哪一個層間參考圖片。為此，編碼裝置可以以信號的形式給出指示第一層間參考圖片與第二層間參考圖片之間要被使用的層間參考圖片的信息。

或者，對於第一層間參考圖片和第二層間參考圖片的選擇性使用，還可以使用參考索引。具體地，可以通過參考索引按照預測塊來選擇第一層間參考圖片和第二層間參考圖片中的僅一個或兩個。

如果將層間參考圖片添加至參考圖片列表，則需要改變在參考圖片列表中列出的參考圖片的數量或者每個參考圖片所分配的參考索引的數量的範圍。

文中，假設指示在不執行層間預測的基本層的參考圖片列表中的最大參考索引值的切片頭部的語法num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1的範圍為從0到14。

如果使用第一層間參考圖片和第二層間參考圖片中之一，則表示在當前層的參考圖片列表中的最大參考索引值的語法num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1可以被限定為範圍為從0到15。

即使使用第一層間參考圖片和第二層間參考圖片兩者，如果將兩個層間參考圖片添加至不同的參考圖片列表，則num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1可以被限定為範圍從0到15。

例如，如果參考圖片列表L0中的時間參考圖片的數量是15，則第一層間參考圖片或第二層間參考圖片被添加至參考圖片列表L0導致總共存在16個參考圖片並且因此num_ref_idx_10_active_minus1的值變為15。

或者，在使用第一層間參考圖片和第二層間參考圖片兩者的情況下，如果兩個層間參考圖片被添加至同一參考圖片列表，則可以限定表示當前層的參考圖片列表的最大參考索引值的語法num_ref_idx_10_active_minus1和num_ref_idx_11_active_minus1的範圍為從0到16。

例如，如果參考圖片列表L0中的時間參考圖片的數量是15，則第一層間參考圖片和第二層間參考圖片被添加至參考圖片列表L0導致總共存在17個參考圖片並且因此num_ref_idx_10_active_minus1的值變為16。

可以基於在步驟S340中生成的參考圖片列表來對當前圖片執行幀間預測(S350)。

具體地，選擇與當前塊的參考索引對應的參考圖片。所選擇的參考圖片可以是與當前塊在同一層中的時間參考圖片，或者層間參考圖片(即，有效參考圖片或經上採樣的有效參考圖片)。

可以基於當前塊的運動矢量來確定參考圖片中的參考塊，以及可以使用所確定參考塊的恢復的樣本值或紋理信息來預測當前塊的樣本值或紋理信息。

如果與當前塊的參考索引對應的參考圖片是層間參考圖片，則參考塊可以是位於與當前塊的位置相同的位置處的塊(下文中稱為調用塊)。為此，如果當前塊的參考圖片是層間參考圖片，則當前塊的運動矢量可以被設置為(0，0)。

或者，如果與當前塊的參考索引對應的參考圖片是層間參考圖片，則與調用塊間隔預定偏移量的塊可以用作參考塊，這將參照圖17、圖18和圖19進行詳細描述。

圖4示出了在應用本發明的實施方式中的在考慮有效參考圖片的最大數量是否被限制的情況下用於確定有效參考的數量NumActiveRefLayerPics的方法。

參照圖4，可以確定當前圖片的有效參考圖片的最大數量是否被限制(S400)。

具體地，可以基於最大有效參考標記max_one_active_ref_layer_flag來確定當前圖片的有效參考圖片的最大數量是否被限制。

最大有效參考標記可以指示視頻序列中的每個圖片的有效參考圖片的最大數量是否為1。例如，如果最大有效參考標記的值是1，則可用於視頻序列中的每個圖片的層間預測的有效參考圖片的數量可以被限制為1。另一方面，如果最大有效參考標記的值是0，則多個有效參考圖片可用於視頻序列中的每個圖片的層間預測。可以從共同應用於比特流、具體地包括在所接收的視頻序列中的圖片的視頻參數集來獲取最大有效參考標記。

如果在步驟S400中確定當前圖片的有效參考圖片的最大數量不受限制，則可以從比特流獲取關於層間參考的數量num_inter_layer_ref_pics_minus1的信息(S410)。

關於層間參考的數量的信息是用於確定有效參考圖片的數量的編碼信息。例如，為了編碼效率，關於層間參考的數量的信息可以被編碼為(用於當前圖片的層間預測的有效參考圖片的數量-1)的值。

可以使用在步驟S410中獲取的關於層間參考的數量的信息來確定當前圖片的有效參考的數量NumActiveRefLayerPics(S420)。

例如，如果關於層間參考的數量的信息被編碼為(用於當前圖片的層間預測的有效參考圖片的數量-1)的值，則可以通過向關於層間參考的數量的信息加1來計算當前圖片的有效參考的數量NumActiveRefLayerPics。

相反地，如果在步驟S400中確定當前圖片的有效參考圖片的最大數量被限制，則可以根據當前圖片的有效參考圖片的被限制的最大數量來確定當前圖片的有效參考的數量NumActiveRefLayerPics(S430)。

例如，如果當前圖片的有效參考圖片的最大數量根據最大有效參考標記max_one_active_ref_layer_flag被限制為1，則可以將當前圖片的有效參考的數量NumActiveRefLayerPics設置為1。

圖5示出了在應用本發明的實施方式中的用於基於當前圖片的時間級標識符(TemporalId)和相應圖片確定有效參考的數量NumActiveRefLayerPics的方法。

參照圖5，可以從比特流獲取關於參考層的子層的數量的信息和當前層的最大時間指示符(S500)。

一個層可以包括多個具有不同時間解析度的可伸縮編碼子層。為了提高編碼效率，關於被包括在一個層中的時間子層的最大數量的信息可以被編碼為(時間子層的最大數量-1)的值。該信息被稱為子層數量信息。因此，子層數量信息可以被限定為用於確定被包括在參考層中的時間子層的最大數量的信息。將參照圖7詳細描述用於獲取子層數量信息的方法。

同時，如果被編碼在當前層中的當前圖片的時間解析度為低(即，當前圖片的時間ID TemporalID具有小的值)，則當前層的已被解碼的圖片與當前圖片之間的顯示順序差異較大。在這種情況下，在當前圖片與已被解碼的圖片之間存在不同視頻屬性的可能性高。因此，參考層的相應圖片而不是當前層的已被解碼的圖片很有可能被用作參考圖片。

相反地，如果被編碼在當前層中的當前圖片的時間解析度為高(即，當前圖片的時間ID TemporalID具有大的值)，則當前層的已被解碼的圖片與當前圖片之間的顯示順序差異不大。在這種情況下，在當前圖片與已被解碼的圖片之間存在類似的視頻屬性的可能性高。因此，當前層的已被解碼的圖片而不是參考層的相應圖片很有可能被用作參考圖片。

由於當如上所述當前圖片的時間解析度為低時層間預測是有效的，所以在考慮參考層的特定時間ID TemporalID的情況下需要確定是否允許層間預測。為此，可以以信號的形式給出允許用於當前層的層間預測的參考層的時間ID的最大值。時間ID的最大值被稱為最大時間指示符。將參照圖8和圖9描述用於獲取最大時間指示符的方法。

可以使用關於參考層的子層數量信息和當前層的最大時間指示符來確定當前圖片的候選參考圖片(S510)。

1.使用相應圖片的時間ID和當前圖片的時間ID的方法

可以通過對相應圖片的時間ID與子層數量信息或最大時間指示符中至少之一進行比較來確定當前圖片的候選參考圖片。可以基於當前圖片屬於當前層中的多個時間子層中的哪個子層來將相應圖片確定為候選參考圖片。文中，可以基於被分配給當前圖片的時間ID來確定當前圖片屬於多個時間子層中的哪個子層。

例如，可以在考慮參考層的相應圖片是否滿足下述第一條件和第二條件的情況下確定當前圖片的候選參考圖片。文中，候選參考圖片是指可用於當前圖片的層間預測的候選，並且與用於當前圖片的層間預測的有效參考圖片區別開。

[第一條件]子層數量信息>＝相應圖片的時間ID TemporalId

[第二個條件(最大時間指示符>相應圖片的時間ID)(TemporalId)||(當前圖片的時間ID(TemporalId)＝0))

如果參考層的相應圖片滿足第一條件和第二條件，則相應圖片可以是可用於當前圖片的層間預測的候選參考圖片。

具體地，當相應圖片的時間ID小於或等於子層數量信息，並且小於最大時間指示符時，相應圖片可以被確定為是當前圖片的候選參考圖片。

這是因為如果最大時間指示符被限定為(允許用於當前層的層間預測的參考層的時間ID的最大值+1)的值，則允許僅使用來自參考層的圖片中的具有小於最大時間指示符的時間ID的圖片來執行層間預測。

當相應圖片的時間ID等於或小於子層數量信息以及當前圖片屬於當前層中的多個時間子層中的最低級別的層(例如，當前圖片的時間ID＝0)時，相應圖片可以被確定為是當前圖片的候選參考圖片。

噹噹前圖片屬於當前層中的最下級的層時，相應圖片還可以屬於參考層中的多個時間子層中的最下級的層。在這種情況下，在不對相應圖片的時間ID是否小於最大時間指示符進行確定的情況下，相應圖片可以被確定為是當前圖片的候選參考圖片。另一方面，如果參考層的相應圖片不滿足第一條件和第二條件中至少之一(即，相應圖片的時間ID大於子層數量信息，或者相應圖片的時間ID等於或大於最大時間指示符並且當前圖片的時間ID不等於0)，則相應圖片可以被確定為是被限制用於當前圖片的層間預測的圖片。

這是因為相應圖片的時間ID不能大於(被包括在參考層中的時間子層的最大數量-1)的值。此外，這是因為如果參考層的最大時間ID被限定為是(允許用於當前層的層間預測的參考層的時間ID的最大值+1)的值，則具有大於參考層中的圖片的時間ID的最大值的時間ID的相應圖片被限制用於當前層的層間預測。

2.使用相應圖片的時間ID的方法

可以通過將相應圖片的時間ID與子層數量信息或最大時間指示符中至少之一進行比較來確定當前圖片的候選參考圖片。可以基於相應圖片屬於參考層中的多個時間子層中的哪個子層將相應圖片確定為當前圖片的候選參考圖片。文中，可以基於被分配給相應圖片的時間ID(TemporalId)來確定相應圖片屬於多個時間子層中的哪個子層。

例如，可以在考慮是否滿足下述的第三條件和第四條件的情況下來確定當前圖片的候選參考圖片。

[第三條件]子層數量信息>＝相應圖片的時間ID(TemporalId)

[第四條件](最大時間指示符>相應圖片的時間ID(TemporalId)||(相應圖片的時間ID(TemporalId)＝0))

當參考層的相應圖片滿足第三條件和第四條件時，相應圖片可以是可用於當前圖片的層間預測的候選參考圖片。

具體地，當相應圖片的時間ID小於或等於子層數量信息並且相應圖片的時間ID小於最大時間指示符或等於0時，相應圖片可以被確定為是當前圖片的候選參考圖片。文中，相應圖片的時間ID等於0可以是指相應圖片屬於參考層中的多個時間子層中的最下級的層。

當參考層的相應圖片不滿足第三條件或第四條件中至少之一時，相應圖片可以被限制用於當前圖片的層間預測。

如上所述，可以從以與當前層有直接依賴關係的方式放置的所有參考層中選擇滿足第一條件和第二條件(或者，第三條件和第四條件)的相應圖片，並且將其確定為是當前圖片的候選參考圖片。

此外，可以對滿足第一條件和第二條件(或者，第三條件和第四條件)的相應圖片、即候選參考圖片進行計數，並且該計數可以被設置作為候選參考的數量numRefLayerPics。可能會出現沒有相應圖片滿足第一條件和第二條件的情況。在這種情況下，候選參考的數量numRefLayerPics可以被設置為0。

參照圖5，可以確定在步驟S510中確定的候選參考圖片的數量(即，候選參考的數量numRefLayerPics)是否為0(S520)。

如果在步驟S520中候選參考的數量numRefLayerPics為0，則可以將當前圖片的有效參考的數量NumActiveRefLayerPics設置為0(S530)。

相反地，如果候選參考的數量numRefLayerPics不為0，則當前圖片的全部或部分候選參考圖片可以用作當前圖片的有效參考圖片。對於如上所述選擇性地使用候選參考圖片而言，可以基於全有效標記all_ref_layers_active_flag來確定當前圖片的有效參考的數量NumActiveRefLayerPics(S540)。這將參照圖6在下面進行描述。

圖6示出了在應用本發明的實施方式中的用於基於全有效標記all_ref_layers_active_flag確定當前圖片的有效參考的數量NumActiveRefLayerPics的方法。

參照圖6，可以確定是否施加下述約束：將當前圖片的所有候選參考圖片用於當前層中的當前圖片的層間預測(S600)。

具體地，可以基於全有效標記all_ref_layers_active_flag確定是否施加下述約束：將所有候選參考圖片用於當前圖片的層間預測。

全有效標記all_ref_layers_active_flag可以指示由來自以與當前層有直接依賴關係的方式放置的參考層的相應圖片中的由最大時間指示符和子層數量信息所指示的候選參考圖片是否用於當前圖片的層間預測。

例如，如果全有效標記all_ref_layers_active_flag為1，則當前圖片的所有的候選參考圖片用於當前圖片的層間預測。相反地，如果全有效標記all_ref_layers_active_flag為0，則不施加將當前圖片的所有的候選參考圖片用於當前圖片的層間預測的約束。即，由最大時間指示符和子層數量信息所指示的候選參考圖片的所有或僅一部分用於當前圖片的層間預測。

如果在步驟S600中施加將當前圖片的所有候選參考圖片用於當前圖片的層間預測的約束，則可以基於所確定的候選參考圖片的數量來確定當前圖片的有效參考的數量NumActiveRefLayerPics(S610)。

具體地，當前圖片的有效參考的數量NumActiveRefLayerPics可以被設置為等於通過對當前圖片的候選參考圖片的數量進行計數而確定的候選參考的數量NumRefLayerPics。

如果在步驟S600中不施加將當前圖片的所有候選參考圖片用於當前圖片的層間預測的約束，則可以確定當前圖片的有效參考圖片的最大數量是否被限制(S620)。

具體地，可以基於最大有效參考標記max_one_active_ref_layer_flag確定當前圖片的有效參考圖片的最大數量是否被限制。

最大有效參考標記可以指示視頻序列中的每個圖片的有效參考圖片的最大數量是否為1。例如，如果最大有效參考標記為1，則視頻序列中的每個圖片的有效參考圖片的最大數量可以被限制為1。相反地，如果最大有效參考標記為0，則可以針對視頻序列中的每個圖片使用多個有效參考圖片執行層間預測。可以從共同應用於比特流、具體地被包括在所接收的視頻序列中的圖片的視頻參數集來獲取最大有效參考標記。

如果在步驟S620中確定當前圖片的有效參考圖片的最大數量不受限制，則可以從比特流獲取關於層間參考的數量num_inter_layer_ref_pics_minus1的信息(S630)。

關於層間參考的數量的信息是指示有效參考圖片的數量的編碼信息。例如，為了編碼效率，關於層間參考的數量的信息可以被編碼為(用於當前圖片的層間預測的有效參考圖片的數量-1)的值。

可以使用在步驟S630中獲取的關於層間參考的數量的信息來確定當前圖片的有效參考的數量NumActiveRefLayerPics(S640)。

例如，如果關於層間參考的數量的信息被編碼為(用於當前圖片的層間預測的有效參考圖片的數量-1)的值，則可以通過向關於層間參考的數量的信息加1來計算當前圖片的有效參考的數量NumActiveRefLayerPics。

相反地，如果在步驟S620中確定當前圖片的有效參考圖片的最大數量被限制，則可以根據當前圖片的有效參考圖片的被限制的最大數量來確定當前圖片的有效參考的數量NumActiveRefLayerPics(S650)。

例如，如果當前圖片的有效參考圖片的最大數量根據最大有效參考標記max_one_active_ref_layer_flag被限制為1，則可以將當前圖片的有效參考的數量NumActiveRefLayerPics設置為1。

圖7示出了在應用本發明的實施方式中的子層數量信息的語法表。

參照圖7，可以從比特流獲取子層存在標記sub_layer_vps_max_minus1_present_flag(S700)。

子層存在標記可以指示是否將以信號的形式給出子層數量信息sub_layer_vps_max_minus1[i]。例如，如果子層存在標記的值是1，則以信號的形式給出子層數量信息，以及如果子層存在標記的值是0，則不以信號的形式給出子層數量信息。

參照圖7，如果子層存在標記的值是1，則可以從比特流獲取子層數量信息sub_layer_vps_max_minus1[i](S710)。

子層數量信息sub_layer_vps_max_minus1[i]可以指示為(被包括在第i層中的時間子層的最大數量-1)的值。因此，子層數量信息sub_layer_vps_max_minus1[i]可以指示被分配給包括在第i層中的時間子層的時間ID的最大值。

同時，可以針對被包括在視頻序列中的每層來獲取子層數量信息。雖然在圖7中示出了從視頻參數集獲得子層數量信息，但本發明不限於此。可以從序列參數集獲取子層數量信息。

圖8示出了在應用本發明的實施方式中的用於基於最大時間存在標記獲取最大時間指示符的方法。

參照圖8，可以從比特流獲取最大時間存在標記max_tid_ref_present_flag(S800)。

最大時間存在標記max_tid_ref_present_flag可以指示是否將以信號的形式給出最大時間指示符max_tid_il_ref_pics_plus[i]。例如，如果最大時間存在標記的值是1，則以信號的形式給出最大時間指示符，以及如果最大時間存在標記max_tid_ref_present_flag的值是0，則不以信號的形式給出最大時間指示符。

參照圖8，如果最大時間存在標記max_tid_ref_present_flag的值是1，則可以從比特流獲取最大時間指示符max_tid_il_ref_pics_plus[i](S810)。

最大時間指示符max_tid_il_ref_pics_plus[i]可以是指通過向在第i層處的層間預測中使用的時間ID的最大值加1而計算的值。

例如，如果最大時間指示符max_tid_il_ref_pics_plus[i]的值是0，則視頻序列的多個層中的第i層的圖片不用作用於層間預測的參考圖片。文中，第i層的圖片可以不是隨機存取圖片而是非隨機存取圖片。

相反地，如果最大時間指示符max_tid_il_ref_pics_plus[i]的值大於0，則曾經屬於視頻序列的多個層中第i層處並且具有大於最大時間ID的時間ID的圖片不用作用於層間預測的參考圖片。

因此，僅當最大時間指示符的值大於0並且屬於視頻序列中的多個層中的第i層的圖片具有等於或小於最大時間ID的時間ID時，屬於第i層的圖片才可以用作用於層間預測的參考圖片。從最大時間指示符得到最大時間ID。例如，最大時間ID可以被確定為是通過從最大時間指示符的值減1所計算的值。

同時，在步驟S810中獲取的最大時間指示符可以具有預定範圍(例如，0至7)內的值。如果在步驟S810中獲取的最大時間指示符具有預定範圍內的值的最大值，則不論參考層的相應圖片的時間ID TemporalID如何，參考層的相應圖片均可以用作當前層的層間參考圖片。

然而，如果如在上述實施方式中在圖8中對於每一層以信號的形式給出最大時間指示符，則與該層具有直接依賴關係的所有層可以具有相同的最大時間指示符，從而降低層間預測的效率。為了解決這個問題，可以基於具有依賴關係的層對，針對被參照層中用於層間預測的圖片設置不同的最大時間ID，這將在下面參照圖9進行描述。

圖9示出了在應用本發明的實施方式中的在考慮直接依賴關係的情況下用於獲取最大時間指示符的方法。

參照圖9，可以從比特流獲取最大時間存在標記max_tid_ref_present_flag(S900)。

最大時間級存在標記max_tid_ref_present_flag是指示存在或不存在最大時間指示符的信息，這已經參照圖8詳細描述，因此此處將不進行詳細描述。

參照圖9，如果最大時間級存在標記的值是1，則可以確定第j層與第i層是否具有直接依賴關係(S910)。

例如，可以基於直接依賴關係標記direct_dependency_flag[j][i]來確定第j層與第i層是否具有直接依賴關係。即，如果直接依賴關係標記的值是1，則第i層可以用於第j層的層間預測。相反地，如果直接依賴關係標記的值是0，則第i層不可以用於第j層的層間預測。

僅當在步驟S900中確定第j層與第i層具有直接依賴關係時，才可以從比特流獲取最大時間指示符max_tid_il_ref_pics_plus1[i][j](S920)。

換言之，針對具有直接依賴關係的每個層對、即每個參考層和被參考層的對，可以獲取最大時間指示符max_tid_il_ref_pics_plus1[i][j]。

文中，最大時間指示符max_tid_il_ref_pics_plus1[i][j]可以是指通過向允許用於第j層的層間預測的第i層的時間ID的最大值加1而計算的值。

例如，如果最大時間指示符的值是0，則視頻序列的多個層中的第i層的圖片不用作用於第j層的圖片的層間預測的參考圖片。文中，第i層的圖片可以不是隨機存取圖片而是非隨機存取圖片。

相反地，如果最大時間指示符的值大於0，則曾經屬於視頻序列的多個層中的第i層並且具有大於最大時間ID的時間ID的圖片不用作用於屬於第j層的圖片的層間預測的參考圖片。

因此，僅當最大時間指示符的值大於0並且屬於視頻序列中的多個層中的第i層的圖片具有等於或小於最大時間ID的時間ID時，第i層的圖片才可以用作用於第j層的圖片的層間預測的參考圖片。從最大時間指示符得到最大時間ID。例如，最大時間ID可以被確定為是通過從最大時間指示符的值減1所計算的值。

同時，在步驟S920中獲取的最大時間指示符可以具有預定範圍(例如，0至7)內的值。如果在步驟S920中獲取的最大時間指示符具有預定範圍內的值的最大值，則不論參考層的相應圖片的時間ID TemporalID如何，參考層的相應圖片均可以用作當前層的層間參考圖片。

如果如上所述對於具有直接依賴關係的每個層的對設置不同的最大時間ID，則相較於對於具有直接依賴關係的所有層設置相同的最大時間ID的情況，可以提高層間預測的效率。

圖10是示出根據應用本發明的實施方式的用於對參考層的有效參考圖片進行上採樣的方法的流程圖。

參照圖10，可以得到參考層的與當前層的當前樣本位置對應的參考樣本位置(S1000)。

由於當前層和參考層在解析度上可以是彼此不同的，所以可以在考慮層之間的解析度的差異的情況下得到與當前樣本位置對應的參考樣本位置。即，可以考慮當前層的圖片與參考層的圖片之間的縱橫比。此外，由於參考層的經上採樣的圖片的大小與當前層的圖片的大小可能不匹配，所以可能需要校正這種差異所需的偏移量。

例如，可以在考慮經上採樣的參考層的偏移量和比例因子的情況下得到參考樣本位置。

這裡，可以基於當前層的當前圖片與參考層的有效參考圖片之間的寬高比來計算比例因子。

經上採樣的參考層偏移量可以是指關於位於當前圖片的邊緣處的任一樣本的位置與位於層間參考圖片的邊緣處的任一樣本之間的差的信息。例如，經上採樣的參考層偏移量可以包括關於當前圖片的左頂端樣本與層間參考圖片的左頂端樣本的水平/豎直位置之間的差以及當前圖片的右底端樣本與層間參考圖片的右底端樣本的水平/豎直位置之間的差的信息。

可以從比特流獲得經上採樣的參考層偏移量。例如，可以從視頻參數集、序列參數集、圖片參數集以及切片頭部中至少之一獲得經上採樣的參考層偏移量。

可以在考慮在步驟S1000中得到的參考樣本位置處的相位的情況下確定上採樣濾波器的濾波器係數(S1010)。

這裡，可以使用固定上採樣濾波器或自適應上採樣濾波器作為上採樣濾波器。

1.固定上採樣濾波器

固定上採樣濾波器可以具有預設的濾波器係數而不考慮視頻的特徵。抽頭濾波器可以用作固定上採樣濾波器，可以針對亮度(亮度)分量和色度(色度)分量中的每個分量對固定上採樣濾波器進行限定。將參照表1和表2描述具有1/16樣本單位的精度的上採樣濾波器。

表1

表1針對亮度分量對固定上採樣濾波器的濾波器係數進行限定。

如表1所示，在對亮度分量進行上採樣的情況下，應用8抽頭濾波器。換言之，可以通過使用參考層的與當前層的當前樣本對應的參考樣本以及與參考樣本相鄰的鄰近樣本來執行插值。文中，可以根據插值的方向來指定鄰近樣本。例如，當沿水平方向執行插值時，鄰近樣本可以包括相對於參考樣本在左邊的3個連續樣本以及在右邊的4個連續樣本。或者，當沿豎直方向執行插值時，鄰近樣本可以包括相對於參考樣本朝向頂端的3個連續樣本以及朝向底端的4個連續樣本。

此外，因為以1/16樣本單位的精度執行插值，所以存在總計16個相位。這用於支持2倍和1.5倍的各种放大率的解析度。

此外，固定上採樣濾波器可以針對每個相位p使用具有不同係數的濾波器。除了相位p為0的情況以外，每個濾波器係數的大小可以被限定為在0至63的範圍內。這是指以6位精度執行濾波。文中，當以1/n樣本為單位執行插值時，相位p為0是指為n的倍數的整數樣本位置。

表2

表2針對色度分量對固定上採樣濾波器的濾波器係數進行限定。

如表2所示，不像亮度分量的情況，在對色度分量進行上採樣的情況下，可以應用4抽頭濾波器。換言之，可以通過使用參考層的與當前樣本對應的參考樣本以及與參考樣本相鄰的鄰近樣本來執行插值。這裡，可以根據插值的方向來指定鄰近樣本。例如，當沿水平方向執行插值時，鄰近樣本可以包括相對於參考樣本在左邊的1個樣本和在右邊的2個連續樣本。或者，當沿豎直方向執行插值時，鄰近樣本可以包括相對於參考樣本朝向頂端的1個樣本以及朝向底端的2個連續樣本。

此外，類似於亮度分量的情況，由於以1/16樣本單位的精度執行插值，所以存在總計16個相位，並且針對每個相位可以使用不同的係數。除了相位p為0的情況以外，每個濾波器係數的大小可以被限定為在為0至62的範圍內。這是指還以6位精度執行濾波。

在上述中，例示了將8抽頭濾波器應用於亮度分量以及將4抽頭濾波器應用於色度分量的情況，但本發明不限於此，並且在考慮編碼效率的情況下可以可變地確定抽頭濾波器的階數。

2.自適應上採樣濾波器

在編碼器中，在不使用固定濾波器係數的情況下通過考慮的圖像的特徵來確定最佳濾波器係數，並且將其以信號的形式發送到解碼器。以此方式，自適應上採樣濾波器使用被自適應地確定的濾波器係數。由於圖像的特徵以圖片單位變化，所以當使用能夠理想地表示圖像的特徵的自適應上採樣濾波器而不是對於所有情況使用固定上採樣濾波器時，可以提高編碼效率。

可以通過將在步驟S1010處確定的濾波器係數應用於參考層的有效參考圖片來生成層間參考圖片(S1020)。

詳細地，可以通過將所確定的上採樣濾波器的濾波器係數應用於有效參考圖片的樣本來執行插值。文中，主要沿水平方向執行插值，然後其次沿豎直方向對水平差值後生成的樣本執行插值。

圖11是示出用於指定存儲在解碼圖片緩衝器中的短期參考圖片的方法的圖。

時間參考圖片可以存儲在解碼圖片緩衝器(DPB)中，並且當需要用於當前圖片的幀間預測時可以用作參考圖片。存儲在解碼圖片緩衝器中的時間參考圖片可以包括短期參考圖片。這種短期參考圖片表示圖片，圖片的POC值與當前圖片的POC值不具有的大的差異。

用於指定在當前視圖中要被存儲在解碼圖片緩衝器中的短期參考圖片的信息包括參考圖片的輸出順序(POC)和指示相應圖片是否是由當前圖片直接參考的標記(例如used_by_curr_pic_s0_flag，used_by_curr_pic_s1_flag)，其被統稱為參考圖片集。詳細地，當used_by_curr_pic_s0_flag[i]的值為0時，如果短期參考圖片集中的第i個短期參考圖片具有小於當前圖片的輸出順序值的輸出順序(POC)值，則意味著第i個短期參考圖片不用作當前圖片的參考圖片。此外，當used_by_curr_pic_s1_flag[i]的值為0時，如果短期參考圖片集中的第i個短期參考圖片具有大於當前圖片的輸出順序值的輸出順序(POC)值，則意味著第i個短期參考圖片不用作當前圖片的參考圖片。

參照圖11，在具有POC值為26的圖片的情況下，總計有三個圖片(即，具有POC值為25、24和20的圖片)可以用作用於幀間預測的短期參考圖片。然而，由於具有POC為25的圖片的used_by_curr_pic_s0_flag的值是0，所以具有POC值為25的圖片不直接用於具有POC值為26的圖片的幀間預測。

以此方式，可以基於參考圖片的輸出順序(POC)和指示相應圖片是否由當前圖片用作參考圖片的標記兩者來指定短期參考圖片。

同時，在當前圖片的參考圖片集中未出現的圖片可以標記有指示圖片不用作參考圖片(例如，「不用於參考」)的指示符，以及然後可以從解碼圖片緩衝器中移除。

圖12示出了根據應用本發明的實施方式的用於指定長期參考圖片的方法。

由於長期參考圖片與當前圖片在POC上具有大的差異，因此可以使用POC值的最低有效位(LSB)和最高有效位(MSB)來表示長期參考圖片。

因此，可以使用參考圖片的POC值的LSB、當前圖片的POC值、以及當前圖片的POC值的MSB與參考圖片的POC值的MSB之間的差得到長期參考圖片的POC值。

例如，假設當前圖片的POC為331，以及可以由LSB表示的最大值為32，具有POC值為308的圖片被用作長期參考圖片。

在這種情況下，當前圖片的POC值即331可以通過32*10+11表示，其中10是MSB值，11是LSB值。長期參考圖片的POC值、即308可以通過32*9+20來表示，其中9是MSB值以及20是LSB值。這裡，可以使用圖12所示的等式得到長期參考圖片的POC值。

圖13示出了根據應用本發明的實施方式的用於使用短期參考圖片和長期參考圖片來構建參考圖片列表的方法。

參照圖13，可以在考慮關於時間參考圖片是否是短期參考圖片的信息和短期參考圖片的POC值的情況下生成包括時間參考圖片的參考圖片列表。這裡，參考圖片列表可以包括用於L0預測的參考圖片列表0和用於L1預測的參考圖片列表1中至少之一。

更具體地，參考圖片列表0可以以下述順序布置：具有比當前圖片的POC值小的POC值的短期參考圖片(RefPicSetCurr0)、具有比當前圖片的POC值大的POC值的短期參考圖片(RefPicSetCurr1)以及長期參考圖片(RefPicSetLtCurr)。

同時，參考圖片列表1可以以下述順序布置：具有比當前圖片的POC值大的POC值的短期參考圖片(RefPicSetCurr1)、具有比當前圖片的POC值小的POC值的短期參考圖片(RefPicSetCurr0)以及長期參考圖片(RefPicSetLtCurr)。

此外，為了提高時間參考圖片的參考索引的編碼效率，包括在參考圖片列表中的多個時間參考圖片可以被重新布置(修改)。這可以基於列表修改標記(list_modification_present_flag)自適應地執行。這裡，列表修改標記表示用於指定是否要修改參考圖片列表中的參考圖片的信息。針對參考圖片列表0和針對參考圖片列表1可以單獨地以信號的形式給出列表修改標記。

例如，當列表修改標記(list_modification_present_flag)的值為0時不修改參考圖片列表中的參考圖片，以及僅當列表修改標記(list_modification_present_flag)的值為1時修改參考圖片列表中的參考圖片。

當列表修改標記(list_modification_present_flag)的值為1時，可以使用列表條目信息(list_entry[i])修改參考圖片列表中的參考圖片。這裡，「列表條目信息(list_entry[i])」可以指定位於參考圖片列表中的當前位置(即第i個條目)處的參考圖片的參考索引。

更具體地，指定與所生成的參考圖片列表中的列表條目信息(list_entry[i])對應的參考圖片，以及所指定的參考圖片可以被重新布置在參考圖片列表中的第i個條目中。

可以獲得與被包括在參考圖片列表中的參考圖片的數量或者與參考圖片列表的參考索引的最大值一樣多條的列表條目信息。另外，可以在考慮當前圖片的切片類型的情況下獲得列表條目信息。即，噹噹前圖片的切片類型是P切片時，可以獲得參考圖片列表0的列表條目信息(list_entry_l0[i])，而噹噹前圖片的切片類型是B切片時，可以另外獲得參考圖片列表1的列表條目信息(list_entry_l1[i])。

圖14至圖16示出了根據應用本發明的實施方式的用於以多層結構構建參考圖片列表的方法。

參照圖14，多層結構中的參考圖片列表0可以以下述順序構建：具有比當前圖片的POC值小的POC值的短期參考圖片(下文中稱為「第一短期參考圖片」)、具有比當前圖片的POC值大的POC值的短期參考圖片(下文中稱為「第二短期參考圖片」)以及長期參考圖片。參考圖片列表1可以以第二短期參考圖片、第一短期參考圖片以及長期參考圖片的順序構建。此外，可以將層間參考圖片添加至參考圖片列表0和參考圖片列表1的每個參考圖片列表中的長期參考圖片之後的位置。

然而，在多層結構中，當增強層中的圖片和基本層中的圖片彼此類似時，增強層可以頻繁地使用基本層的層間參考圖片。在這種情況下，當層間參考圖片被添加至參考圖片列表的最後位置時，可能降低參考圖片列表的編碼性能。因此，如圖15和圖16所示，可以通過將層間參考圖片添加至長期參考圖片之前的位置來改進參考圖片列表的編碼性能。

參照圖15，在參考圖片列表中，層間參考圖片可以被布置在短期參考圖片之間。在多層結構中，參考圖片列表0可以以第一短期參考圖片、層間參考圖片、第二短期參考圖片以及長期參考圖片的順序構建。參考圖片列表1可以以第二短期參考圖片、層間參考圖片、第一短期參考圖片以及長期參考圖片的順序構建。

或者，在參考圖片列表中，層間參考圖片可以被布置在短期參考圖片與長期參考圖片之間。參照圖16，多層結構中的參考圖片列表0可以以第一短期參考圖片、第二短期參考圖片、層間參考圖片以及長期參考圖片的順序構建。參考圖片列表1可以以第二短期參考圖片、第一短期參考圖片、層間參考圖片以及長期參考圖片的順序構建。

同時，在圖14至圖16中，作為構建參考圖片列表的示例，示出了如下情況：單獨存在具有比當前圖片的POC值小的POC值的單個短期參考圖片，具有比當前圖片的POC值大的POC值的單個短期參考圖片、單個長期參考圖片以及單個層間參考圖片。然而，該示例僅僅示出了參考圖片被布置的順序，並且明顯地，可以使用多個短期參考圖片(即短期參考圖片集)、長期參考圖片(即長期參考圖片集)以及層間參考圖片(即層間參考圖片集)。

此外，當使用多個層間參考圖片時，多個層間參考圖片可以分成第一層間參考圖片集和第二層間參考圖片集，並且因此，可以構建參考圖片列表。

更具體地，第一層間參考圖片集可以布置在第一短期參考圖片與第二短期參考圖片之間，以及第二層間參考圖片集可以布置在長期參考圖片之後。然而，本發明並不限於這些示例，並且可以包括從圖14至圖16所示的實施方式的組合中得到的所有可能的實施方式。

這裡，第一層間參考圖片集可以是指具有比當前層的層標識符(CurrlayerId)小的參考層標識符(RefPiclayerId)的參考層的參考圖片，以及第二層間參考圖片集可以是指具有比當前層的層標識符(CurrlayerId)大的參考層標識符(RefPiclayerId)的參考層的參考圖片。

圖17是示出在應用本發明的實施方式中的用於基於空間偏移量信息執行當前塊的層間預測的過程的流程圖。

參照圖17，可以獲取空間偏移量信息(S1700)。

空間偏移量信息可以指示當前塊的參考塊與調用塊之間的位置差。調用塊可以指在與參考層的相應圖片(即，層間參考圖片)中的與當前塊的位置相同的位置處的塊。參考塊可以指參考層的相應圖片中的用於當前塊的層間預測的塊。

具體地，空間偏移量信息可以包括分段偏移量和塊偏移量中至少之一。作為以片段、瓦片(tile)或編碼樹單元(CTU)行為單位表示的偏移量的分段偏移量可以指示在參考層的圖片中不用於當前層中的圖片的層間預測的空間區域。或者作為以片段、瓦片或CTU行為單位表示的偏移量的分段偏移量可以指示在參考層的圖片中指定用於當前層中的圖片的層間預測的參考塊的空間區域。塊偏移量是以塊為單位表示的偏移量，並且可以連同分段偏移量一起指示在參考層的圖片中不用於當前層的圖片的層間預測的空間區域。或者塊偏移量是在以塊為單位表示的偏移量，並且可以指示在參考層的圖片中指定用於當前層的圖片的層間預測的塊的空間區域。文中，塊單位可以是CTU，以及CTU可以是視頻序列的最大編碼單位。

可以從包括在視頻參數集中的視頻可用性信息(VUI)獲取空間偏移量信息。VUI可以提供不用於對亮度分量和色度分量進行解碼，但是用於解碼器一致性或輸出定時一致性的信息。將在下面參照圖18來描述用於獲取空間偏移量信息的具體方法。

參照圖17，可以基於空間偏移量信息來確定用於當前塊的層間預測的參考塊(S1710)。

具體地，可以將參考塊確定為是處於與調用塊相距由空間偏移量信息所指示的偏移量的位置的塊，這將參照圖19進行描述。

可以基於在步驟S1710中確定的參考塊來針對當前塊執行層間預測(S1720)。

圖18示出了在應用本發明的實施方式中的空間偏移量信息的語法表。

參照圖18，可以獲取層間預測限制標記ilp_restricted_ref_layers_flag(S1800)。

層間預測限制標記ilp_restricted_ref_layers_flag可以指示是否應用如下約束：基於空間偏移量信息確定的參考層的參考塊用於當前塊的層間預測。如果層間預測限制標記的值是1，則這可以表示應用了基於空間偏移量信息確定的參考層的參考塊用於當前塊的層間預測的約束。相反地，如果層間預測限制標記的值是0，則這可以表示未應用基於空間偏移量信息確定的參考層的參考塊用於當前塊的層間預測的約束。因此，基於空間偏移量信息確定的參考塊可以用於或可以不用於當前塊的層間預測。

如果層間預測限制標記的值是1，則可以獲取分段偏移量min_spatial_segment_offset_plus[i][j](S1810)。

分段偏移量min_spatial_segment_offset_plus[i][j]可以指示在與當前第i層具有直接依賴關係的第j個參考圖片的每個圖片中不用於屬於當前第i層的圖片的層間預測的空間區域。

可以基於在步驟S1810中獲取的分段偏移量來獲取塊偏移量標記ctu_based_offset_enable_flag[i][j](S1820)。

塊偏移量標記ctu_based_offset_enable_flag[i][j]可以指示塊偏移量是否用於指示不用於屬於當前第i層的圖片的層間預測的第j區域的空間區域。例如，如果塊偏移量標記的值是1，則這可以表示不用於屬於當前第i層的圖片的層間預測的第j區域的空間區域由塊偏移量與分段偏移量一起指示。相反地，如果塊偏移量標記的值是0，則這可以表示不用於屬於當前第i層的圖片的層間預測的第j區域的空間區域僅由分段偏移量指示。

同時，如果在步驟S1810中獲取的分段偏移量的值大於0，則可以獲取塊偏移量標記。這是因為，如果分段偏移量的值大於0，則在不用於當前第i層的圖片的層間預測的第j參考層的圖片中存在空間區域。

可以基於在步驟S1820中獲取的塊偏移量標記來獲取塊偏移量min_horizontal_ctu_offset_plus1(S1830)。

具體地，當塊偏移量標記指示不用於屬於當前第i層的圖片的層間預測的第j參考層的圖片中的空間區域是由分段偏移量和塊偏移量兩者指示的(即，塊偏移量標記的值是1)時，可以獲取塊偏移量。

圖19示出了在應用本發明的實施方式中的用於使用空間偏移量信息確定用於當前塊的層間預測的參考塊的方法。

參照圖19，第j參考層的colCtbAddr[i][j]表示在與當前第i層的當前塊的相同位置、即調用塊的位置處的塊。第j參考層可以與當前第i層具有直接依賴關係。refCtbAddr[i][j]表示用於當前塊的層間預測的參考塊的位置。refCtbAddr[i][j]可以基於colCtbAddr[i][j]和空間偏移量信息(例如，min_spatial_segment_offset_plus1和min_horizontal_ctu_offset_plus1)來確定。調用塊或參考塊的位置可以表示為光柵掃描地址。將基於參照圖18描述的實施方式來描述用於確定refCtbAddr[i][j]的具體方法。

具體地，可以由等式1得到refCtbAddr[i][j]。

等式(1)

refCtbAddr[i][j]＝colCtbAddr[i][j]+xOffset[i][j]+yOffset[i][j]

可以由等式(1)通過等式2得到xOffset[i][j]和yOffset[i][j]。

等式2

xOffset[i][j]＝((xColCtbAddr[i][j]+minHorizontalCtbOffset[i][j])>(refPicWidthInCtbY[i][j]-1))？(refPicWidthInCtbY[i][j]-1-xColCtb[i][j]):(minHorizontalCtbOffset[i][j])

yOffset[i][j]＝(min_spatial_segment_offset_plus1-1)*refPicWidthInCtbY[i][j]

在等式2中，xColCtb[i][j]與第j層的圖片中的調用塊的坐標的x分量對應。refPicWidthInCtbY[i][j]表示被包括在第j層的圖片中的CTU行中的CTU的數量。

此外，可以基於塊偏移量min_horizontal_ctu_offset_plus1得到minHorizontalCtbOffset[i][j]。例如，如等式3中，如果塊偏移量的值是0，則可以得到minHorizontalCtbOffset[i][j]為(refPicWidthInCtbY[i][j]-1)，以及如果塊偏移量的值大於0，則可以得到minHorizontalCtbOffset[i][j]為(min_horizontal_ctu_offset_plus1-1)。

等式(3)

minHorizontalCtbOffset[i][j]＝(min_horizontal_ctu_offset_plus1>0)？

(min_horizontal_ctu_offset_plus1-1):(refPicWidthInCtbY[i][j]-1)

或者，在進一步考慮塊偏移量的值是否為1以及塊偏移量的值是否大於0的情況下，可以通過等式4得到minHorizontalCtbOffset[i][j]。

等式4

minHorizontalCtbOffset[i][j]＝(min_horizontal_ctu_offset_plus1>0)？

(min_horizontal_ctu_offset_plus1＝1)？

min_horizontal_ctu_offset_plus1[i][j]:(min_horizontal_ctu_offset_plus1-1)):(refPicWidthInCtbY[i][j]-1)

工業實用性

本發明可以用於對多層結構的視頻信號進行編碼。