用於多視點視頻編碼的假設參考解碼器的製作方法
2023-04-23 10:49:51 2
專利名稱：用於多視點視頻編碼的假設參考解碼器的製作方法
技術領域：
本申請涉及一種壓縮視頻系統中的用於多視點視頻編碼的假設參考解碼器。
背景技術：
假設參考解碼器(HRD)在壓縮視頻系統中是有價值的，這是由於它用於使編碼比特流對標準的遵循生效。在編碼標準(比如H.264/AVC)中，在標準的多視點視頻編碼(MVC)特徵中存在大量的互操作性點。MVC允許解碼器同時對一個或者更多視點進行解碼，並且對一個視點的解碼可能需要來自其它視點的信息。H.264/AVC標準具有定義HRD的規則(也稱作要求、限制或者操作規範)。HRD一致性是H.264/MPEG-4AVC標準的標準化部分。任意AVC比特流必須遵循根據該規則建立的HRD。目前，沒有針對MVC HRD定義的規則。之前的HRD不具有足以允許它們使諸如AVC中的MVC比特流等比特流有效的規則。
在很多情況下，需要使用編碼器以及解碼器處的緩衝機制來使平滑壓縮比特流中的比特率變化。物理緩衝的大小是有限的，因此編碼器將對比特率變化進行限制以適合緩衝極限。視頻編碼標準不強制要求特定的編碼器或者解碼器緩衝機制，但是它們要求編碼器控制比特率波動，使得給定緩衝區大小的假設參考解碼器(HRD)(或者虛擬緩衝驗證器(VBV))在不出現緩衝上溢或者下溢的情況下對視頻比特流進行解碼。
該HRD基於理想化的解碼器模型。HRD的目的是在編碼流中對於比特率隨著時間的變化施加基本的緩衝限制。這些限制使得較高層可以對流進行復用，並且使得性價比高的解碼器能夠實時解碼。在下面的討論中，使用H.264/AVC作為例子。儘管如此，可以將本發明擴展至其它視頻編碼模型或者標準。
發明內容
本發明提出了幾種定義用於多視點視頻編碼(MVC)的假設參考解碼器(HRD)的方法。
在MVC的當前的基於H.264/MPEG-4AVC的實現中，參考軟體通過用單一編碼器對每一個視點進行編碼並且考慮到交叉視點參考來實現多視點預測。編碼器將每一個視點按照它原始的解析度編碼為分離的比特流，並且稍後將所有比特流合併以形成單一比特流。在解碼器側，用戶可以基於其應用對一個或者更多個視點進行解碼。在目前的規範中，沒有針對MVC定義的HRD規則。
在MVC中，假定總共存在N個編碼視點。解碼器可以具有同時對任意M(1≤M≤N)個視點進行解碼的靈活性。M個視點的每一種組合意味著一個互操作性點(IOP)。為了允許最佳的靈活性，在本類中，本發明提出MVC HRD針對每一IOP定義HRD限制。該解決方案的問題是存在高達(2N-1)種的、過多的組合。即使對M加以限制(其中M≤32)，組合的總數依然很大。本發明描述了為用於多視點視頻編碼的假設參考解碼器提供規則的方法，其中針對每一個可互操作點指定該規則。
圖1示出了由單一視點的HRD參數得到的視點組合的HRD參數。
圖2示出了多視點視頻編碼編碼器。
圖3示出了多視點視頻編碼解碼器。
圖4示出了用於第1類的MVC編碼過程的視頻可用性信息。
圖5示出了用於第1類的MVC解碼過程的視頻可用性信息。
圖6示出了第1類的多視點嵌套SEI編碼過程。
圖7示出了第1類的多視點嵌套SEI解碼過程。
圖8示出了用於第2類的MVC編碼過程的視頻可用性信息。
圖9示出了用於第2類的MVC解碼過程的視頻可用性信息。
圖10示出了第2和第3類的多視點嵌套SEI編碼過程。
圖11示出了第2和第3類的多視點嵌套SEI解碼過程。
圖12示出了用於第3類的MVC編碼過程的視頻可用性信息。
圖13示出了用於第3類的MVC解碼過程的視頻可用性信息。
具體實施例方式 在當前H.264/MPEG-4AVC參考實現中，將HRD相關參數放在序列參數集合(SPS)和SEI消息中。
如表1所示，SPS包含語法結構VUI參數。
表1序列參數集合 如表2所示，將語法元素num_units_in_tick、time_scale、fixed_frame_rate_flag以及low_delay_hrd_flag以及語法結構HRD參數被置於語法結構VUI參數中。
表2VUI參數 語法結構HRD參數包含指定緩衝區大小以及比特率等的語法。
緩衝期SEI以及圖像定時SEI指定在對圖像進行解碼之前的初始編碼圖像緩衝移除延遲以及用於導出每一幅圖像的定時的參數。
基於當前的AVC實現、SPS中放置的HRD相關參數、以及在緩衝期SEI和圖像定時SEI中放置的參數，可以針對H.264/MPEG-4AVC比特流定義一組HRD限制。
儘管如此，當前的AVC實現僅支持一組HRD參數，這不適合MVC比特流中包含的多個IOP。
在AVC的當前基於H.264/MPEG-4AVC的實現中，參考軟體通過用單一編碼器對每一個視點進行編碼並且考慮到交叉視點參考來實現多視點預測。由編碼器將每一個視點以其原始解析度編碼為分離的比特流，並且稍後將所有比特流合併以形成單一比特流。在解碼器處，用戶可以基於其應用對一個或者更多個視點進行解碼。圖2和圖3分別示出了MVC編碼器和解碼器圖。
在當前規範中，沒有針對MVC定義的HRD規則。
在很多所描述的實施例中，使用MVC的基於H.264/MPEG-4AVC框架的實現。相似的理念適用於其它視頻編碼標準。例如，可以將為一個或者更多操作點(如互操作性點)指定特定參數的特徵應用於除了H.264/MPEG-4AVC標準之外的標準。
本文描述了三個不同類別的實現。
A.為MVC中的每一個互操作點指定HRD規則 在MVC中，假定總共存在N個編碼視點。解碼器可以具有同時對任意M(1≤M≤N)個視點進行解碼的靈活性。M個視點的每一種組合意味著一個互操作性點(IOP)。為了允許最佳靈活性，在本類中，本發明提出MVC HRD針對每一個IOP定義HRD限制。該解決方案的問題是存在高達(2N-1)種的、過多的組合。即使對於M加以限制，(其中M≤32)，組合的總數依然很大。
下面描述本解決方案的實施例。
在下面對AVC HRD規則的修改中對視點的所有組合進行組合。表3取自AVC標準，並且涉及AVC-HRD。使用斜體來示出對AVC標準表的添加。在表4中引入新的SEI消息，即多視點嵌套SEI。在圖4和圖5中分別示出了VUI編碼和解碼過程的流程圖。並且在圖6和圖7中分別示出了多視點嵌套SEI編碼和解碼過程的流程圖。
1、VUI參數如表所示，表3示出通過引入測試變量「profile_idc」的「if-then」語句，對AVC標準中的VUI參數的語法進行了修改。如果「profile_idc」等於「MVC」，則執行一次或者更多次循環，以測試一個或者更多個點(即，IOP)。如果「profile_idc」不等於「MVC」，則假定「AVC」是相關標準，並且執行「else」，以為AVC兼容測試一個點(使用現有的AVC-HRD規則)。如果「profile_idc」等於MVC，則執行第30至60行，否則，執行第63至88行。變量「num_view_combinations_minus1」(第30行)提供循環中IOP的數量。在主循環中，針對每一個IOP的子循環(第33至34行)提供與IOP相關聯的view_ids。對於每一個子循環，「num_views_minus1[i]」(第32行)提供與第i個IOP相關聯的的視點數量，並且「view_id[i][j]」(第34行)提供第i個IOP的第j個視點的view_id。第35至59行提供針對第i個IOP的語法。對於MVC比特流來說，最多可以存在(2N-1)個IOP。這與針對AVC比特流的單一檢查點相比較。
2、在表4中定義新的SEI消息，即多視點嵌套SEI。多視點嵌套SEI消息涉及存取單元。多視點嵌套SEI消息包含一個並且僅包含一個SEI消息，該消息稱作嵌套SEI消息。嵌套SEI消息的應用範圍由第2至10行的語法所指示。
「num_view_combinations_minus1」、「num_views_minus1[i]」以及「view_id[i][j]」共享VUI參數中的相同語義。
3、可以將緩衝期SEI消息以及圖像定時SEI消息(它們是AVC的一部分)實現為在多視點嵌套SEI消息中嵌入的SEI消息有效載荷。緩衝期SEI和圖像定時SEI的語法保持與AVC中的一樣。針對AVC兼容視點的緩衝期SEI消息和圖像定時SEI消息不應當嵌套在多視點嵌套SEI中。這允許AVC兼容性。
表3VUI參數語法 num_view_combinations_minus1加1指示由引用包含該hrd_parameters的SPS中相同seq_parameter_set_id的比特流所支持的視點組合的數量。
num_views_minus1[i]指示與第i個IOP相關聯的視點數量。
view_id[i][j]指示第i個IOP的第j個視點的view_id。
timing_info_present_flag[i]指定了第i個IOP的timing_info_present_flag值。
num_units_in_tick[i]指定了第i個IOP的num_units_in_tick值。
time_scale[i]指定了第i個IOP的time_scale值。
fixed_framerate_flag[i]指定了第i個IOP的fixed_frame_rate_flag值。
nal_hrd_parameters_present_flag[i]指定了第i個IOP的nal_hrd_parameters_present_flag值。
vcl_hrd_parameters_present_flag[i]指定了第i個IOP的vcl_hrd_parameters_present_flag值。
low_delay_hrd_flag[i]指定了第i個IOP的low_delay_hrd_flag值。
pic_struct_present_flag[i]指定了第i個IOP的pic_struct_present_flag值。
timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、low_delay_hrd_flag以及pic_struct_present_flag具有與AVC中一樣的語義。
表4多視點嵌套SEI消息語法 all_view_combinations_in_au_flag等於1指示了嵌套SEI消息適用於存取單元的所有視點組合。all_view_combinations_in_au_flag等於0指示，由語法元素num_view_combinations_minus1、num_views_minus1[i]以及view_id[i][j]以信號發送該嵌套SEI消息的可應用範圍。
num_view_combinations_minus1加1指示了該比特流支持的視點組合的數量。
num_views_minus1[i]指示了與第i個IOP相關聯的視點的數量。
view_id[i][j]指示了第i個IOP的第j個視點的view_id。
B、指定僅針對一組IOP的HRD規則 在本類中，提出了針對一組IOP定義MVC HRD，並且從該組得到其它組IOP。在一實施例中，提出了MVC HRD僅定義用於對每一個可能的單一視點進行解碼的HRD限制，並且根據相關單一視點參數推出用於對多於一個視點進行解碼的HRD參數。該方法允許發送比第一種方法更少的參數，但是它為推導增添了更多的複雜性。
下面描述本解決方案的實施例 針對每一個視點定義HRD。發送的HRD參數集合的最大數量是M，其中M＝1...N。所以，如果存在N個視點，該實施例將發送N組HRD參數。圖8和圖9分別示出了VUI編碼和解碼過程的流程圖。並且圖10和圖11分別示出了多視點嵌套SEI編碼和解碼過程的流程圖。
1、VUI參數如表所示，示出了通過引入測試變量「profile_idc」的「if-then」語句，對AVC標準中的VUI參數的語法進行了修改。如果「profile_idc」等於「MVC」，則執行一次或者更多次循環，以測試一個或者更多個點。如果「profile_idc」不等於「MVC」，則假定「AVC」是相關標準，並且執行「else」，以為AVC兼容測試一個點(使用現有的AVC-HRD規則)。如果「profile_idc」是MVC，則執行第30至58行，否則，執行第61至85行。變量「num_views_minus1」(第30行)提供循環中視點的數量。「view_id[i]」(第32行)提供第i個視點的view_id。第33至58行提供第i個視點的語法。在MVC比特流中最多可以存在M個視點(M＝1...N)。這與針對AVC比特流的單一檢查點相比較。
2、在表6中定義了新SEI消息，即多視點嵌套SEI。多視點嵌套SEI消息涉及存取單元。多視點嵌套SEI消息包含一個並且僅包含一個SEI消息，該消息稱作嵌套SEI消息。嵌套SEI消息的應用範圍由第2至7行的語法所指示。「num_views_minus1」以及「view_id[i]」共享VUI參數中的相同語義。
3、可以將緩衝期SEI消息以及圖像定時SEI消息實現為在多視點嵌套SEI消息中嵌入的SEI消息有效載荷。緩衝期SEI和圖像定時SEI的語法保持與AVC中的一樣。針對AVC兼容視點的緩衝期SEI消息和圖像定時SEI消息不應當嵌套在多視點嵌套SEI中。
由與IOP相關聯的視點的HRD參數得到每一個IOP(視點組合)的HRD參數。在圖1中給出了一個示例。
表5VUI參數語法 num_views_minus1指示比特流中的視點總數。
view_id[i]指示第i個視點的view_id。
timing_info_present_flag[i]指定了第i個視點的timing_info_present_flag值。
num_units_in_tick[i]指定了第i個視點的num_units_in_tick值。
time_scale[i]指定了第i個IOP的time_scale值。
fixed_frame_rate_flag[i]指定了第i個視點的fixed_frame_rate_flag值。
nal_hrd_parameters_present_flag[i]指定了第i個視點的nal_hrd_parameters_present_flag值。
vcl_hrd_parameters_present_flag[i]指定了第i個視點的vcl_hrd_parameters_present_flag值。
low_delay_hrd_flag[i]指定了第i個視點的low_delay_hrd_flag值。
pic_struct_present_flag[i]指定了第i個視點的pic_struct_present_flag值。
timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、low_delay_hrd_flag以及pic_struct_present_flag具有與AVC中相同的語義。
表6多視點嵌套SEI消息語法 all_views_in_au_flag等於1指示了嵌套SEI消息適用於存取單元的所有視點。all_views_in_au_flag等於0指示，由語法元素num_views_minus1以及view_id[i]以信號發送嵌套SEI消息的可應用範圍。
num_views_minus1加1指示了該比特流支持的視點數量。
view_id[i]指示了第i個視點的view_id。
C、指定用於最差情況的HRD規則 在本類中，提出MVC HRD僅定義用於對M(M＝1...N)個視點進行解碼的最差情況的HRD限制。可以將最差情況定義為，例如要求最大的緩衝區大小、最長延遲、最高比特率、傳輸任意M個視點的最多比特消耗等情況。所以，可以為對每M個視點進行解碼定義1組HRD參數。即，定義用於最差情況單一視點的一組HRD參數，以及用於最差情況2視點組合的一組HRD參數，等等，直到用於最差情況N-1視點組合的一組HRD參數，以及用於(最差情況)N視點組合的一組HRD參數。一共僅定義N組HRD參數，用於針對1、2、...、直至N個視點測試HRD一致性。該方法的缺點是，同一個特定情況可能需要的限制相比，它需要發送更高的限制。但是可以節約用於發送所有HRD參數的比特，並且不推導任意參數。
下面描述該解決方案的實施例。
發送的HRD參數集合的最大數量是M，其中M＝1...N。圖12和圖13分別示出了VUI編碼和解碼過程的流程圖。
1、VUI參數如表所示，表7示出了通過引入測試變量「profile_idc」的「if-then」語句，對AVC標準中的VUI參數的語法進行了修改。如果「profile_idc」等於「MVC」，則執行一次或者更多次循環，以測試一個或者更多個點。如果「profile_idc」不等於「MVC」，則假定「AVC」是相關標準，並且執行「else」，以為AVC兼容測試一個點(使用現有的AVC-HRD規則)。如果「profile_idc」是MVC，則執行第30至57行，否則，執行第60至84行。變量「num_views_minus1」(第30行)提供比特流中視點的數量。第32至56行提供了針對於與對(num_views_minus1+1)個視點的任意i個視點進行解碼的最高HRD限制相關聯的HRD相關參數的語法。
應當注意到表7與表5不同。例如，參見記載了「view_id[i]」的表5的第32行。
2、可以將緩衝期SEI消息以及圖像定時SEI消息實現為在多視點嵌套SEI消息中嵌入的SEI消息有效載荷。多視點嵌套SEI消息的語法可以共享表6中定義的那個。嵌套緩衝期和圖像定時SEI消息與對比特流中的視點發送的總數個視點中的任意(num_views_minus1+1)個視點進行解碼的最高HRD限制相關聯。緩衝期SEI和圖像定時SEI的語法保持與AVC中的一樣。針對AVC兼容視點的緩衝期SEI消息和圖像定時SEI消息不應當嵌套在多視點嵌套SEI中。
表7VUI參數語法 num_views_minus1指示比特流中的視點總數。
timing_info_present_flag[i]指定了用於對i個視點進行解碼的timing_info_present_flag值。
num_units_in_tick[i]指定了用於對i個視點進行解碼的num_units_in_tick值。
time_scale[i]指定了用於對i個視點進行解碼的time_scale值。
fixed_frame_rate_flag[i]指定了用於對i個視點進行解碼的fixed_frame_rate_flag值。
nal_hrd_parameters_present_flag[i]指定了用於對i個視點進行解碼的nal_hrd_parameters_present_flag值。
vcl_hrd_parameters_present_flag[i]指定了用於對i個視點進行解碼的vcl_hrd_parameters_present_flag值。
low_delay_hrd_flag[i]指定了用於對i個視點進行解碼的low_delay_hrd_flag值。
pic_struct_present_flag[i]指定了用於對i個視點進行解碼的pic_struct_present_flag值。
參數timing_info_present_flag、num_units_in_tick、time_scale、nal_hrd_parameters_present_flag、vcl_hrd_parameters_present_flag、low_delay_hrd_flag以及pic_struct_present_flag具有與AVC中相同的語義。
圖4至13示出了用於寫入或者讀取被標識的特定語法的各種流程圖。
本文描述了幾種實現，例如提供了用於寫入和/或讀取HRD說明的規則，所述HRD用於MVC。這使得可以在MVC中定義和使用HRD。
儘管如此，所描述的實現的特徵和方面還可適於其它實現。例如，如上所述，可以使用用於其它標準的上述特徵來提供HRD。此外，可以使用上述實施例的變型來提供HRD。這些變型可以包括例如使用其它高級語法、使用非高級語法、提供針對其它IOP的參數的實現。因此，儘管可以在實現了本文描述的三個主要實現之一的、針對H.264的高級語法的上下文中描述本文所述的發明，但不應當認為這些描述將特徵和概念限制為這樣的實現或者上下文。
可以用例如方法或者過程、裝置、或者軟體程序來實現本文中描述的實現。即使僅在單一形式實現的上下文中進行了討論(例如，僅作為方法討論)，也還可以將所討論的實現或者特徵以其它形式加以實現(例如，裝置或者程序)。可以用例如適當的硬體、軟體以及固件來實現裝置。可以用例如裝置(比如計算機或者其它處理設備)來實現方法。此外，可以由處理設備或者其它裝置執行的指令來實施方法，並且可以在計算機可讀介質(比如CD、或者其它計算機可讀存儲設備、或者集成電路)上存儲這些指令。
對於本領域技術人員而言顯而易見的是，所述實現還可以產生被格式化為承載信息的信號，可以例如存儲或者傳輸該信息。該信息可以包括例如用於執行方法的指令，或者由所描述的實現之一所產生的數據。例如，可以將信號格式化為，將用於寫入或者讀取描述的實施例的語法的規則作為數據來承載，或者將由所描述的實施例寫入的實際語法作為數據來承載。
此外，可以在編碼器和解碼器中的一個或者二者中同時實現多種實現。
此外，通過本發明可以構思出其它實現。例如，可以通過將所披露的實現的各種特徵進行組合、刪除、修改或者補充，來創建附加實現。
之前的描述提供了一些不同的實施。本意上，這不是窮盡的，而僅僅是提供對多個可能實現中少量實現的簡短描述。
權利要求
1、一種用於多視點視頻編碼的假設參考解碼器，其中，針對MVC中的每一個互操作點，指定與一個或者更多個參數和比特流限制信息相關的規則。
2、一種用於多視點視頻編碼的、與假設參考解碼器相關的參數和比特流限制信息，其中，僅針對一組互操作點來指定規則，並且根據所指定的一組推導出其它組。
3、一種用於多視點視頻編碼的、與假設參考解碼器相關的參數和比特流限制信息，其中，僅針對對任意數量的視點進行解碼的最差情況來指定規則。
4、一種假設參考解碼器中的多視點視頻編碼方法，其中，定義嵌套SEI消息，以針對每一個視點或者不同視點的組合指定信息。
5、根據權利要求1、2或3所述的假設參考解碼器，其中，以高級語法定義所有HRD相關參數以及比特流限制信息。
6、根據權利要求1、2或3所述的假設參考解碼器，其中，使用高級語法來描述所述規則，並且所述高級別語法能夠由序列參數集合(SPS)、視頻可用性信息(VUI)、圖像參數集合(PPS)、像條頭、nal_unit頭、或者補充增強信息(SEI)消息中的至少一個構成。
7、根據權利要求1、2或3所述的假設參考解碼器，其中，使用所述profile_idc參數來區分所述多視點視頻編碼情況或者AVC兼容情況。
8、根據權利要求1所述的假設參考解碼器，其中，所述實現遍歷所有視點和它們的組合。
9、根據權利要求2所述的假設參考解碼器，涉及用於多視點視頻編碼的HRD相關參數和比特流限制信息，其中，僅針對對單一視點進行解碼來指定規則，並且根據所述單一視點的與假設參考解碼器相關的參數和比特流限制信息推導用於對多於一個視點進行解碼的、與假設參考解碼器相關的參數和比特流限制信息。
10、根據權利要求9所述的假設參考解碼器，其中，所述解碼器遍歷每一個視點。
11、根據權利要求3所述的假設參考解碼器，還包括遍歷所述比特流中的每一個視點。
12、一種用於指定規則、以創建用於多視點視頻編碼的假設參考解碼器的方法，其中，所述規則可以以高級語法表示。
13、一種用於寫入適當語法以描述假設參考解碼器的參數的裝置，所述假設參考解碼器用於多視點視頻編碼。
14、一種用於讀取適當語法的裝置，所述語法描述了假設參考解碼器的參數，所述假設參考解碼器用於多視點視頻編碼。
15、一種存儲規則、以指定用於多視點視頻編碼的假設參考解碼器的計算機可讀介質，其中，可以由編碼器存取這些存儲的規則，以描述所述HRD的參數。
16、一種存儲規則、以解釋接收到的信息的計算機可讀介質，其中，所述信息描述了用於多視點視頻編碼的假設參考解碼器的參數，並且解碼器能夠存取這些存儲的規則，以解釋從編碼器接收到的語法。
17、一種對比特流進行編碼的方法，其中，將所述比特流進行格式化為包括描述參數的信息，所述參數是用於多視點視頻編碼的假設參考解碼器的參數。
全文摘要
本發明提供了一種定義用於多視點視頻編碼(MVC)的假設參考解碼器(HRD)的方法和裝置，所述方法和裝置針對每一個可能的互操作性點定義限制。M個視點的每一種組合意味著一個互操作性點。本發明的所述原理還允許針對一組互操作點定義限制，並且從所定義一組推導出其它組。所述方法還使得可以根據所述比特流語法中的信息推導出互操作性點的規則。
文檔編號H04N7/26GK101658040SQ200880012062
公開日2010年2月24日 申請日期2008年4月14日 優先權日2007年4月17日
發明者羅建聰, 朱立華, 鵬 尹, 普爾溫·比貝哈斯·潘迪特 申請人:湯姆森許可貿易公司