編碼和解碼多視像的方法和裝置的製作方法

2023-05-18 09:45:36

專利名稱：編碼和解碼多視像的方法和裝置的製作方法
技術領域：
與本發明一致的方法和裝置一般涉及編碼和解碼多視像，更具體地，涉及編碼和解碼多視像以便執行高速編碼和解碼所需的視圖間預測和時間預測。
背景技術：
在多視像編碼中，同時編碼從提供多視像的多個照相機輸入的圖像。使用時間相關性和視圖間空間相關性來壓縮編碼多視像。圖1示出了根據現有技術的多視像的序列。
在圖1中，水平軸為時間軸，垂直軸為視圖軸。在多視像編碼中，
對於來自於基本視圖和時間預測的圖像周期性地產生內(I)圖片(picture),或者基於產生的I圖片執行視圖間預測，從而預測編碼其它的圖片。
使用同一視圖(即，同一行)中的圖像之間的時間相關性來執行時間預測。使用同一時間點(即，同一列)處的圖像之間的空間相關性來執行視圖間預測。
在圖1中，每行示出了多視像的每個視圖隨時間的圖像序列，每列自上而下依次示出了視圖0、 1、 2到7的圖像序列。視圖0為基本視圖，以及第一行中的圖像序列來自於該基本視圖。僅僅使用時間預測而不使用視圖間預測來對包括在來自於基本視圖的圖像序列中的圖片進行預測編碼。
每列示出了同一時間點處的多視像。包括在列110、 120和130中的圖片(其中，來自於基本視圖的圖像為I圖片)被稱為錨(anchor)圖片。僅僅使用視圖間預測來對錨圖片進行編碼。
除了包括I圖片的列110、 120和130之外的其餘列中包括的圖片被稱為非錨圖片。使用時間預測和視圖間預測二者來對非錨圖片進行預測編碼。
在圖l所示的序列當中，將以第二行和第五列中的圖片141作為示例。使用視圖間預測和時間預測二者來對包括在圖片141中的每個塊進行預測。由於預測方法可以對於每個塊都不同，因此將參考位於鄰近於圖片141處的奇數行中的圖片142和143以及在時間上在圖片141之前或之後的圖片111和121，以Y更預測圖片141。
相似地，根據現有技術，將不得不使用需要參考四個圖片的視圖間預測和時間預測來預測編碼非錨圖片，結果導致低速的多視像編碼
發明內容
技術方案
本發明提供一種用於對多視像進行編碼和解碼的方法和裝置以及其上記錄有用於執行該方法的程序的計算機可讀記錄介質，其中可以高效地對多視像序列進行高速編碼和解碼。
有益效果
在預測中，基於提取的信息確定不是用於視圖間預測的參考圖像的圖片不被參考用於視圖間預測。由於可以高效地以高速執行視圖間預測，因此多視像解碼的速度也提高了 。
如上所述，根據本發明，在多視像的編碼和解碼期間，使用視圖間預測來對包括在多視像序列中的僅僅一些圖片進行預測編碼和解碼，從而加速了編碼和解碼。
此外，當預測不使用視圖間預測的圖片時，僅參考少量圖片，從而使得可以有效利用預測編碼和解碼所需的存儲器。


通過下面參考附圖對本發明的示範性實施例的詳細描述，本發明的上述及其它方面將變得更加明顯，其中
圖1示出了根據現有技術的多視像的序列；
圖2是示出了根據本發明的示範性實施例的用於編碼多視像的裝置的框圖3示出了根據本發明的示範性實施例的多視像的序列的時間級別(temporal level);
圖4A示出了根據本發明的示範性實施例的多 一見像的序列；
圖4B示出了根據本發明的示範性實施例的多視像的序列和它們的時間級別；
圖5示出了根據本發明的示範性實施例的網絡提取層(NAL)單元報頭的語法；
圖6A和6B示出了根據本發明的示範性實施例的序列參數集的語法；圖6C和6D示出了根據本發明的示範性實施例的補充增強信息(SEI)消息的語法；
圖7是根據本發明的示範性實施例的編碼多視像的方法的流程圖；圖8是才艮據本發明的另 一個示範性實施例的編碼多#見像的方法的流程圖9是示出了根據本發明的示範性實施例的用於解碼多視像的裝置的才匡圖；以及
圖10是根據本發明的示範性實施例的解碼多視像的方法的流程圖。
具體實施例方式
根據本發明的一方面，提供一種編碼多視像的方法。該方法包括確定包括在該多視像的序列(以下將被稱為多視像序列)中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用於視圖間預測的參考圖片；以及基於確定結果^f吏用#見圖間預測和時間預測中的至少 一個來編碼該圖片。
該圖片的編碼可以包括編碼每個圖片的參數，其指示每個圖片是否為該參考圖片。
根據本發明的另一方面，提供一種用於編碼多視像的裝置。該裝置包括確定單元，確定包括在該多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用於視圖間預測的參考圖片；以及編碼單元，基於確定結果使用視圖間預測和時間預測中的至少一個來編碼該圖片。
該編碼單元可以基於該確定結果編碼關於被每個圖片參考以用於視圖間預測和時間預測中的至少 一 個的參考圖片的信息。
根據本發明的另 一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用於視圖間預測的參考圖片的信息和關於該多視像序列的數據；從接收到的比特流中提取該信息和關於該多視像序列的數據；以及基於提取的信息解碼該關於多視像序列的數據。
該信息可以包括在每個圖片的參數中。
根據本發明的另一方面，提供一種用於解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用於視圖間預測的參考圖片的信息和關於該多視像序列的數據，以及/人接收到的比特流中提取該信息和關於該多視像序列的數據；以及解碼單元，基於提取的信息解碼該關於多視像序列的數據。
根據本發明的另一方面，提供一種編碼多視像的方法。該方法包括基於時間 級別從多視像序列中選擇要使用視圖間預測和時間預測編碼的圖片；以及使用視圖間預測和時間預測編碼所選擇的圖片，並且使用視圖間預測和時間預測中的一個來編碼包括在該多3見像序列中的其餘圖片。
所述選擇圖片可以包括從包括在該多視像序列中的所有圖片當中選擇時間級別小於預定值的非錨圖片。
所述編碼選擇的圖片可以包括編碼關於選擇的圖片的信息。
根據本發明的另一方面，提供一種用於編碼多視像的裝置。該裝置包括選擇單元，基於時間級別從多視像序列中選擇要被使用視圖間預測和時間預測編碼的圖片；以及編碼單元，使用視圖間預測和時間預測編碼所選擇的圖片，並且使用視圖間預測和時間預測中的一個來編碼包括在該多視像序列中的其餘圖片。
衝艮據本發明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括關於多視像序列中使用視圖間預測和時間預測編碼的圖片的信息和關於該多視像序列的數據；從接收到的比特流中提取該信息；以及基於所提取的信息來解碼關於該多視像序列的數據。
該信息可以包括在序列參數中或補充增強信息(SEI)消息中。
根據本發明的另一方面，提供一種用於解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括關於多視像序列中使用視-圖間預測和時間預測編碼的圖片的信息和關於該多視圖圏像序列的數據，以及從接收到的比特流中提取該信息；以及解碼單元，基於所提取的信息來解碼關於該多視像序列的數據。
根據本發明的另一方面，提供一種計算機可讀記錄介質，其上記錄有用 於執行編碼多視像的方法和解碼多視像的方法的程序
在下文中，將參考附圖詳細描述本發明的示範性實施例。應當注意，相 似的參考數字指代一個或多個附圖中所示的相似的元件。在本發明的以下描 述中，為了簡明清楚，將略去合併於此的已知功能和配置的詳細說明。
圖2是示出了根據本發明的示範性實施例的用於編碼多視像的裝置
200的框圖。
參考圖2，裝置200包括控制單元210和編碼單元220。
根據本發明的示範性實施例，控制單元210確定包括在多視像的序 列(以下將被稱為多視像序列)中的圖片是否為被包括在該多視像 序列中的其它圖片參考以用於視圖間預測的參考圖片。
使用時間上相鄰的圖片之間的時間相關性和相鄰的^L圖中的圖片之間 的空間相關性來預測編碼多視像序列。多視像序列中的一些可以具 有高的時間相關性和低的空間相關性。在這種情況下，對於如圖l所示的所 有非錨圖片使用空間相關性進行的視圖間預測僅僅增加了多視像編碼 所需的時間，而並未有助於壓縮率的改善。
因而，根據本發明的示範性實施例的用於編碼多視像的裝置200通 過僅僅對一些非錨圖片執行視圖間預測而不是對所有非錨圖片執行視圖間 預測來執行預測編碼。為此，控制單元210確定包括在多視像序列中的 每個圖片是否充當用於視圖間預測的參考圖片。換句話說，控制單元210確 定每個圖片是否被其它圖片參考以通過視圖間預測進行預測編碼。
根據本發明的另一個示範性實施例，控制單元210基於時間級別從多視 像序列中選擇要被使用視圖間預測和時間預測編碼的圖片。控制單元 210選擇哪一個圖片將被使用視圖間預測編碼，而不是確定每個圖片是否被 其它圖片參考以用於視圖間預測。根據現有技術，使用視圖間預測和時間預 測來預測編碼所有非錨圖片。但是，根據本發明，為了使用視圖間預測編碼 僅僅一些非錨圖片，基於時間級別從多視像序列中選擇要被使用視圖間 預測和時間預測編碼的圖片。
時間級別是用於通過將圖像序列分割成多個電平(level)來提供時間可 分級的參數，以便使得在圖像解碼期間僅僅選擇一些電平並解碼，下面將參考圖3進行詳細描述。
圖3示出了根據本發明的示範性實施例的多視像序列的時間級別。
參考圖3，多視像序列中的錨圖片310和312的時間級別為'0，。 插入在錨圖片310和錨圖片312之間的圖片314的時間級別為T。插入在 時間級別為'0，的圖片和時間級別為'1，的圖片之間的圖片316和318的 時間級別為'2，。多視像序列的其餘圖片的時間級別為'3，。
圖4A示出了根據本發明的示範性實施例的多視像序列。
圖4A所示的多視像序列是通過控制單元210確定包括在多視 像序列中的每個圖片是否被參考以用於視圖間預測或通過控制單元210選擇 要被使用視圖間預測和時間預測編碼的圖片來產生的。因而，圖4A所示的 多視像序列不同於根據圖1所示的現有技術的多視像序列。
例如，在根據圖1所示的現有技術的多視像序列中，第二行和第二 列中的圖片144參考第一行和第二列中的圖片145以及第三行和第二列中的 圖片146用於視圖間預測。換句話說，第一行和第二列中的圖片145以及第 三行和第二列中的圖片146為用於圖片144的視圖間預測的參考圖片。
但是，在根據圖4A所示的本發明的示範性實施例的多視像中，第 二行和第二列中的圖片420不參考第一行和第二列中的圖片422以及第三行 和第二列中的圖片用於視圖間預測。取而代之，圖片420僅參考第二行和第 三列中的圖片426以及第二行和第一列中的圖片428用於時間預測。
在根據圖1所示的現有技術的多視像序列中，非錨圖片當中的所有 奇數行的圖片被其它圖片參考用於視圖間預測。但是，在根據圖4A所示的 本發明的示範性實施例的多視像序列中，非錨圖片當中的奇數行的圖片 中的僅僅一些被其它圖片參考用於視圖間預測。換句話說，在圖4A中，奇 數行的非錨圖片當中的僅僅奇數列的非錨圖片使用視圖間預測來編碼。
圖4B示出了根據本發明的示範性實施例的多視像序列和時間級別。
現在將參考圖4B來描述選擇包括在多視像序列中的一些圖片以用 於如圖4A所示的使用視圖間預測來編碼僅僅選擇的圖片的方式。
在圖4B中，基於時間級別來確定要被參考以用於視圖間預測的圖片。 在圖4B中，確定時間級別-'3，衝的非錨圖片不使用視圖間預測來編碼。換 句話說，從非錨圖片當中僅僅選擇時間級別小於預定值的圖片來使用視圖間預測和時間預測編碼。
充當控制單元210的確定或選擇的準則的時間級別根據多視像序列
的特徵而變化，不局限於圖4B所示的那些。例如，當由於拍才聶多視像 的照相機之間的距離很大導致視圖之間的空間相關性不高時，沒有必要使用 視圖間預測來預測所有非錨圖片。在這種情況下，可以使用視圖間預測僅僅 預測時間級別為l或更小的圖片，以及在極端情況下，可以不使用視圖間預 測來預測非錨圖片。
反回來參考圖2，根據本發明的示範性實施例，編碼單元220基於控制 單元210的確定或選擇結果來編碼多視像序列。換句話說，編碼單元220 基於控制單元210的確定或選擇結果使用視圖間預測和時間預測中的至少一 個來預測編碼該多視像序列。
編碼單元220預測包括在多視像序列中的每個圖片，並從原始圖片 中減去每個圖片的預測值，從而產生多視像序列的殘差數據。
為了預測，編碼單元220將參考圖片存儲在預定存儲器中，並通過參考 存儲的參考圖片來執行視圖間預測或時間預測。根據現有技術，當預測非錨 圖片時，用於視圖間預測和時間預測的所有圖片應當被存儲在該存儲器中。 但是，根據本發明，對於由控制單元210確定不使用視圖間預測編碼的圖片， 沒有必要將用於視圖間預測的參考圖片存儲在該存儲器中。
例如，為了編碼圖4A中第二行和第二列中的圖片420,位於與圖片420 的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424不是用於視 圖間預測的參考圖片，因而不需要被存儲在存儲器中，從而使得能夠有效利 用存儲器。
由控制單元210確定不被參考用於視圖間預測的圖片不被參考用於視圖 間預測，從而加速了預測。
反回來參考圖2，根據本發明的示範性實施例，當編碼單元220預測編 碼多視像序列時，它也編碼指示控制單元210的關於每個圖片是否為用 於視圖間預測的參考圖片的確定結果的參數，並且將編碼的參數插入到比特 流中。 一旦控制單元210確定每個圖片是否被參考用於視圖間預測，則編碼 單元220編碼關於控制單元210的確定結果的信息。
由於執行確定以確定每個圖片是否被其它圖片參考用於視圖間預測，因—-— 此在每個圖片的參數中包括關於每個圖片是否被其它圖片參考用於視圖間預測的信息。
圖f 的語法。
NAL單元是圖像數據的分組化的單位。由於一個NAL單元一般包括 關於單個圖片的數據，因此在NAL單元報頭中包括關於每個圖片是否被其 它圖片參考用於視圖間預測的信息，以便被編碼。
參考圖5，根據現有技術，將語法元素'nal—ref—idc一view ，添加到NAL 單元報頭，從而指示每個圖片是否被其它圖片參考以用於視圖間預測。例如， 'nal—refjdc一view = 1 ，意思是相應的圖片被其它圖片參考用於視圖間預 觀'J，以及'nal一ref—idc一view = 0，意思是該圖片不被其它圖片參考用於視圖 間預測。
由於新的比特分配給'nal—ref_idc—view ，，因此也添加i吾法元素 'reserved—zero—four—bits'以改變預留比特的數目。
反回來參考圖2，當編碼單元220執行編碼時，它也編碼關於被每個圖 片參考以用於視圖間預測和時間預測的參考圖片的信息。語法元素 'RefPicList，指示這樣的信息。由於控制單元210確定是否每個圖片充當用 於視圖間預測的參考圖片，因此當編碼單元220編碼多視像序列時，不 充當參考圖片用於視圖間預測的圖片不被其它圖片參考。
因而，當編碼單元220編碼關於用於每個圖片的參考圖片的信息時，它 可以產生'RefPicList，，以排除由控制單元210確定為不被參考用於視圖間 預測的圖片。
例如，當根據現有技術編碼圖4A所示的圖片420時，在與圖片420的 視圖相鄰的視圖處、位於圖片420之上和之下的圖片422和424是參考圖片， 以及關於圖片422和424的信息包括在'RefPicList'中。但是，根據本發明 的示範性實施例，關於由控制單元210確定為不是圖片420的參考圖片的圖 片422和424的信息不包括在'RefPicList'中。
根據本發明的另一個示範性實施例，編碼單元220也編碼關於由控制單 元210選擇的要^f吏用^L圖間預測和時間預測編碼的圖片的信息，並且將編碼 的信息插入到比特流中，下面將參考圖6A和6B進^f亍詳細描述。
圖6A示出了根據本發明的示範性實施例的序列參數集的語法-。—
參考圖6A，編碼單元220可以在序列參數集中包括用於指明由控制單元210選擇的圖片的信息並且編碼該序列參數集。根據本發明的序列參數集 包 括語 法 元 素 'temporal—level—max ' 和 語 法 元 素 'use—interview_pred_temporal_level[i]，。
'temporalJevel一max，是指示由用於編碼多視像的裝置200編碼的 多視像序列的不同時間級別的數目的信息。圖3B所示的多視像序 列具有從'0，到'3，的時間級別，因而'temporal—level—max'為'3，。
'use—interview_pred—temporal—level[i]，是用於指明要使用視圖間預測 和時間預測預測編碼的圖片的信息。當l義僅對如圖4B所示的時間級別為'1， 或 '2， 的圖片執4亍^見圖間子貞測時，'use—interview_pred—temporal—level[l]， 為 '1，, 以及 'use—interview_pred—temporal—level[2]' 為 '1，。
'use—interview_pred_temporal—level[3]' 可以被設置為 '0，。值 '0， 和 '1，為指示是否使用視圖間預測來預測相應時間級別的圖片的標誌信息。 時間級別為'0，的圖片是錨圖片。由於僅僅使用視圖間預測來預測編 碼4苗圖片，因此不單獨i殳置'use—interview_pred—temporal—level[O]，。
圖6B示出了根據本發明的另一個示範性實施例的序列參數集的語法。 在圖4B中，控制單元210基於時間級別選擇要被使用視圖間預測和時 間預測進行預測編碼的圖片。換句話說，特定時間級別的圖片不被時間預測。 但是，也可以基於視圖以及時間級別來選擇那些圖片。
例如，視圖1的多視像序列的圖片當中的時間級別為'1，或'2， 的圖片被視圖間預測和時間預測，以及視圖3的多視像序列的圖片當中 的時間級別為1的圖片被視圖間預測和時間預測。換句話說，對於每個視圖 單獨地選擇要被視圖間預測和時間預測的圖片。在這種情況下，需要用於指 明對於每個視圖的選擇的圖片的語法元素。
參考圖6B,序列參數集包括語法元素 'temporal—level_ max ， 和 'use—interview_pred_temporal_level [i][j]，。
'temporal—level—max' 與圖6A所示的 'temporal—level—max'相同，j旦 是 'use—interviewjpred—temporal—level[i][j]， 不同於圖 6A 所示的 'use—interview_pred—temporal—level[i]，。
在 'use—interview_pred—temporal—level [i] [j]， 中,'i' 指示視圖，'j, 指示時間級別。如上所述，假定視圖1的多視像序列的圖片當中的時間 級別為'1，或'2，的圖片^皮視圖間預測和時間預測，以及視圖3的多視4象序列的圖片當中的時間級別為'1，的圖片淨皮^L圖間預測和時間預測。
在這種情況下，'use—interview_pred—temporal一level[l][l]， 為 '1，， 'use—interview_pred—temporal一level[ 1 ] [2] 'use—interview_pred—temporal—level[ 1 ] [3] 'use—interview_pred_temporal—level [3 ] [ 1 ] 'use—interview_pred—temporal—level [3 ] [2] 'use—interview_pred—temporal—level [3 ] [3 ] 相應視圖的多視像序列中相應時間級別的圖片是否使用視圖間預測來 預測的標誌信息，如圖6A所示。
圖6C示出了根據本發明的示範性實施例的補充增強信息(SEI)消息。 參考圖6C,編碼單元220可以在SEI消息中包括用於指明由控制單元 210選擇的圖片的信息並且編碼該SEI消息。
SEI消息是解碼視頻編碼層所需的附加信息，以及可以包括每個圖片的 定時信息、關於pan/scan功能的信息、和隨機存取所需的信息。SEI消息也 可以包括用戶單獨定義的信息。才艮據本發明的示範性實施例的SEI消息包括 用於指明由控制單元210選擇的用於視圖間預測的圖片的信息。
在 圖 6C 中 ，' temporal—level—max ， 和 'use—interview_prediction—temporal—level [i]， 與圖6A的相同。 圖6D示出了根據本發明的另一個示範性實施例的SEI消息。 在 圖 6D 中 ,' temporal—level—max ， 和 'use—interviewjprediction—temporal—level [i][j]， 與圖6B的相同。
圖7是示出了根據本發明的示範性實施例的編碼多視像的方法的流 程圖。
參考圖7，在操作710,圖2所示的用於編碼多視像的裝置200確 定包括在多視像序列中的每個圖片是否是用於視圖間預測的參考圖片。 換句話說，確定每個圖片是否被包括在該多視像序列中的其它圖片參考 用於視圖間預測。
在根據本發明的示範性實施例的編碼多視像的方法中，使用視圖間 預測來預測僅僅一些非錨圖片，而不是使用視圖間預測來預測編碼所有非錨 國片。因而，僅僅一些圖片被其它S^卓考用於視圖間預測。為此，在操作 710中確定是否每個圖片被其它圖片參考用於視圖間預測。可以基於時間級
為'r， 為'o，， 為'r, 為'o，， 為'o'。
以及
值'o'和'r為指示別來確定用於視圖間預測的參考圖片。
在操作720，裝置200基於操作710的確定，使用視圖間預測和時間預 測中的至少一個來編碼多^f見<象序列中的圖片。
使用視圖間預測和時間預測中的至少 一 個來預測多視像序列中的 每個圖片，並且從原始圖片中減去每個圖片的預測值，從而產生多視像 序列的殘差數據。
不用參考在操作710中確定為不是用於視圖間預測的參考圖片的圖片而 執行視圖間預測，從而加速了預測並且使得能夠高效使用存儲器。
在多視像序列編碼中，關於在操作710中確定為用於視圖間預測的
參考圖片的圖片的信息也被編碼並且#:插入到比特流中。更具體地說，將指
示每個圖片是否為用於視圖間預測的參考圖片的信息插入到每個圖片的參 數中。該信息可以包括在NAL單元報頭中以便被編碼，如上所述。
圖8是示出了根據本發明的另 一個示範性實施例的編碼多視像的方 法的流程圖。
參考圖8，在操作810,圖2所示的用於編碼多視像的裝置200基 於時間級別選擇要被使用視圖間預測和時間預測編碼的圖片。裝置200也可 以對於多視像序列的每個視圖，選擇要4皮使用視圖間預測和時間預測編 碼的圖片。更具體地說，時間級別小於預定值的非錨圖片被選擇作為要被使 用^L圖間預測和時間預測編碼的圖片。
在操作820,裝置200基於操作810的選擇結果來編碼多視像序列。 更具體地說，使用視圖間預測和時間預測來預測編碼在操作810中選擇的圖 片，以及使用視圖間預測和時間預測中的一個來預測編碼多視像序列中 的其餘圖片。根據現有技術使用視圖間預測和時間預測來預測編碼多視 像序列中的所有非錨圖片，而根據本發明的示範性實施例，則使用視圖間預 測和時間預測來預測編碼非錨圖片中的僅僅一些圖片，從而加速了多視 像編碼。
在多視像序列編碼期間，關於在操作810中選擇用於視圖間預測的 圖片的信息也被編碼並被插入到比特流中。如前所述，該信息可以按照序列 參悽史或SEI消息的形式^皮編碼並^皮插入到比特流中。
圖9是示出了根據本發明的示範性實施例的用於解碼多視像的裝置 900的框圖。參考圖9，裝置900包括^提取單元910和解碼單元920。 提取單元910接收比特流，該比特流包括關於通過才艮據本發明的編碼多 視像的方法編碼的多視像序列的數據。這裡，關於多視像序列 的數據是多視像序列的殘差數據，以及該比特流包括關於多視像序 列中的每個圖片是否為用於視圖間預測的參考圖片的信息或關於每個圖片 是否已被視圖間預測和時間預測編碼的信息。
在接收到比特流後，提取單元910從接收的比特流中提取信息。更具體 地說，提取單元910提取指示每個圖片是用於視圖間預測的參考圖片的參數 或指示每個圖片已被使用視圖間預測和時間預測編碼的參數。優選地，但不 是必須地，提取單元910提取包括在NAL單元報頭、序列參數或SEI消息 中的信息。
解碼單元920基於提取單元910提取的信息解碼關於多視像序列的 數據。包括在比特流中的關於多視像序列的數據是多視像序列的殘 差數據。
因而，解碼單元920基於提取單元910提取的信息，使用視圖間預測和 時間預測中的至少一個，來預測多視像序列中的每個圖片，並且將預測 結果添加到多視像序列的殘差數據中，從而重構多視像序列。
為了預測，解碼單元920將參考圖片存儲在預定存儲器中並執行預測。 但是，對於視圖間預測，裝置卯0基於提取單元910提取的信息，在存儲器 中不存儲不是用於視圖間預測的參考圖片的圖片。因而，在預測期間降低了 要被存儲在存儲器中的參考圖片的數目，從而使得能夠有效地利用存儲器。
此外，不是所有的非錨圖片都被視圖間預測，從而提高了預測速度。此 外，可以進行快速的隨才幾存取。例如，當圖4A中第二^f亍和第二列中的圖片 420被隨機存取時，不必要解碼位於與圖片420的視圖相鄰的視圖處且在圖 片420之上和之下的圖片422和424，因為已經確定它們不是用於視圖間預 測的參考圖片。因而，可以進行快速的預測和隨機存取。
圖10是根據本發明的示範性實施例的解碼多視像的方法的流程圖。
參考圖10,在操作1010,圖9中用於解碼多視像的裝置900接收 包括關於多視像序列的數據的比特流。關於多視像序列的數據是多 視想園像,參H的殘差數據。
在操作1020，裝置900從接收的比特流中提取指示包括在多視像序列中的每個圖片是否為用於視圖間預測的參考圖片的信息或指示每個圖片 是否已被使用視圖間預測和時間預測編碼的信息。也提取關於該多視像
序列的數據，即殘差數據。為此，可以提取包括在NAL單元報頭、序列參 數或SEI消息中的信息。
在操作1030，裝置900基於在操作1020中提取的信息來解碼多視 像序列。更具體地說，基於提取的信息使用視圖間預測和時間預測中的至少 一個來預測多視像序列，並且將在操作1020中提取的殘差數據添加到 預測結果，從而重構多視像序列。
同時，本發明的示範性實施例可以被寫為電腦程式並且可以被使用計 算機可讀記錄介質或其它傳輸介質執行該程序的通用數字計算機實現。計算 機可讀記錄介質的例子包括;茲存儲介質(例如，ROM、軟盤、硬碟等)和光 記錄介質(例如，CD-ROM、或DVD)。其它傳輸介質可以包括載波(例如， 通過網際網路的傳輸)。計算才幾可讀記錄介質也可以-陂分布在網絡耦合的計算 機系統之上以使得計算機可讀代碼以分布式被存儲和執行。
但是本領域技術人員應當理解，在不脫離由以下權利要求書所定義的本發明 的精神和範圍的情況下，可以對本發明做出形式和細節上的各種修改。
權利要求
1.一種編碼多視像的方法，該方法包括確定包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用於視圖間預測的參考圖片，以產生確定結果；以及基於該確定結果使用視圖間預測和時間預測中的至少一個來編碼該圖片。
2. 如權利要求l所述的方法，其中所述編碼圖片步驟包括編碼每個圖 片的參數，其指示每個圖片是否為該參考圖片。
3. 如權利要求2所述的方法，其中該參數是每個圖片的網絡提取層 (NAL)單元^艮頭。
4. 如權利要求1所述的方法，其中所述編碼圖片步驟包括基於該確定 結果編碼關於被其它圖片參考以用於視圖間預測和時間預測中的至少一個的參考圖片的信息。
5. 如權利要求l所述的方法，其中所述確定包括基於每個圖片的時間 級別來進行該確定。
6. —種用於編碼多視像的裝置，該裝置包括確定單元，確定包括在多視像序列中的每個圖片是否為被包括在該 多視像序列中的其它圖片參考用於視圖間預測的參考圖片，以產生確定 結果；以及編碼單元，基於確定結果使用視圖間預測和時間預測中的至少一個來編 碼該圖片。
7. 如權利要求6所述的裝置，其中該編碼單元編碼每個圖片的參數，其 指示每個圖片是否為該參考圖片。
8. 如權利要求7所述的裝置，其中該參數是每個圖片的網絡提取層 (NAL)單元報頭。
9. 如權利要求6所述的裝置，其中該編碼單元基於該確定結果編碼關於 被其它圖片參考以用於視圖間預測和時間預測中的至少一個的參考圖片的 信息。
10. 如權利要求6所述的裝置，其中該確定單元基於每個圖片的時間級別來進4於該確定。
11. 一種解碼多視像的方法，該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用於視圖間預測的參考圖片的信息和關於該多視像序列的數據；從接收到的比特流中提取該信息和關於該多視像序列的數據；以及基於提取的信息解碼該關於多視像序列的數據。
12. 如權利要求11所述的方法，其中該信息包括在每個圖片的參數中。
13. 如權利要求12所述的方法，其中該參數是每個圖片的網絡^t是取層(NAL)單元報頭。
14. 如權利要求11所述的方法，其中基於每個圖片的時間級別來確定包括在該多視像序列中的每個圖片是否為該參考圖片。
15. —種用於解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考以用於視圖間預測的參考圖片的信息和關於該多視像序列的數據，以及從接收到的比特流中提取該信息和關於該多視像序列的數據；以及解碼單元，基於提取的信息解碼該關於多視像序列的數據。
16. 如權利要求15所述的裝置，其中該信息包括在每個圖片的參數中。
17. 如權利要求16所述的裝置，其中該參數是每個圖片的網絡提取層(NAL)單元報頭。
18. 如權利要求15所述的裝置，其中基於每個圖片的時間級別來確定包括在該多視像序列中的每個圖片是否為該參考圖片。
19. 一種編碼多視像的方法，該方法包括基於時間級別從多視像序列中選擇要被使用視圖間預測和時間預測編碼的圖片；以及使用視圖間預測和時間預測編碼所選擇的圖片，並且使用視圖間預測和時間預測中的一個來編碼包括在該多視像序列中的其餘圖片。
20. 如權利要求19所述的方法，其中所述選擇圖片步驟包括從包括在該多視像序列中的所有圖片當中選擇時間級別小於給定值的非錨圖片。
21. 如權利要求19所述的方法，其中所述選擇圖片步驟包括基於該時間級別，對於該多視像序列的每個視圖，選擇要被使用視圖間預測和時間預測編碼的圖片。
22. 如權利要求19所述的方法，其中所述編碼該選擇的圖片包括編碼關於該選擇的圖片的信息。
23. 如權利要求22所述的方法，其中所述編碼該選擇的圖片包括編碼包括該信息的序列參數或補充增強信息(SEI)消息。
24. —種用於編碼多視像的裝置，該裝置包括選擇單元，基於時間級別從多視像序列中選擇要被使用視圖間預測和時間預測編碼的圖片；以及編碼單元，使用視圖間預測和時間預測來編碼所選擇的圖片，並且使用i見圖間預測和時間預測中的 一個來編碼包括在該多^f見^f象序列中的其餘圖片。
25. 如權利要求24所述的裝置，其中該選擇單元從包括在該多視像序列中的所有圖片當中選擇時間級別小於給定值的非錨圖片。
26. 如權利要求24所述的裝置，其中該選擇單元基於該時間級別，對於該多視像序列的每個視圖，選擇要淨皮使用視圖間預測和時間預測編碼的圖片。
27. 如權利要求24所述的裝置，其中該編碼單元編碼關於該選擇的圖片的信息。
28. 如權利要求27所述的裝置，其中該編碼單元編碼包括該信息的序列參數或補充增強信息(SEI)消息。
29. —種解碼多視像的方法，該方法包括接收比特流，該比特流包括關於多視像序列中使用視圖間預測和時間預測編碼的圖片的信息以及關於該多視像序列的數據；從接收到的比特流中提取該信息和關於該多視像序列的數據；以及基於所提取的信息來解碼關於該多視像序列的數據。
30. 如權利要求29所述的方法，其中該編碼的圖片已基於時間級別被選擇。
31. 如權利要求29所述的方法，其中該信息包括在序列參數中或補充增強信息(SEI)消息中。
32. —種用於解碼多視像的裝置，該裝置包括提取單元，接收比特流，該比特流包括關於多視像序列中使用視圖間預測和時間預測編碼的圖片的信息以及關於該多視像序列的數據，以及從接收到的比特流中提取該信息和關於該多視像序列的數據；以及解碼單元，基於所提取的信息來解碼關於該多視像序列的數據。
33. 如權利要求32所述的裝置，其中該編碼的圖片已基於時間級別被選擇。
34. 如權利要求32所述的裝置，其中該信息包括在序列參數中或補充增強信息(SEI)消息中。
35. —種計算機可讀記錄介質，其上記錄有用於執行如權利要求1所述的方法的程序。
36. —種計算機可讀記錄介質，其上記錄有用於執行如權利要求11所述的方法的程序。
37. —種計算機可讀記錄介質，其上記錄有用於執4亍如權利要求19所述的方法的程序。
38. —種計算機可讀記錄介質，其上記錄有用於執行如權利要求29所述的方法的程序。
全文摘要
提供一種編碼和解碼多視像的方法和裝置。該編碼多視像的方法包括確定包括在多視像序列中的每個圖片是否為被包括在該多視像序列中的其它圖片參考用於視圖間預測的參考圖片；以及基於確定結果使用視圖間預測和時間預測中的至少一個來編碼該圖片，從而高速高效地編碼和解碼多視像。
文檔編號H04N7/24GK101682779SQ200880019798
公開日2010年3月24日 申請日期2008年3月6日 優先權日2007年4月11日
發明者宋學燮, 崔鍾凡, 文榮豪, 沈優星 申請人:三星電子株式會社