解碼多路復用的視頻分組流的方法

2023-04-23 14:02:06 4

專利名稱：解碼多路復用的視頻分組流的方法
技術領域：
本發明涉及三維(3D)視頻處理系統及其方法。更具體的，本發明涉及基 於MPEG-4(運動圖像專家組-4)處理立體/多視圖三維視頻圖像的設備和方 法。
背景技術：
MPEG是一種通過視頻圖像壓縮和編碼表示的信息傳送方法，且繼當前 的MPEG-1/2/4之後，^皮發展到下 一代壓縮方法MPEG-7 。
MPEG-4，即在網際網路上的數字存儲介質中自由地存儲包括視頻圖像的 多媒體數據的視頻流標準，現在已普遍使用，且MPEG-4可應用於可攜式 全球資訊網廣播MPEG-4播放器(PWMP),等。
更具體的，MPEG-4是一種通過增加現有視頻和音頻信號的壓縮編碼的 通用多媒體標準，所述通用多媒體包括靜止圖像、計算機圖形(CG)、分解復 合系統的音頻編碼、基於樂器數據接口(MIDI)的複合音頻、以及文本。
相應地，屬性相互不同的對象間的同步技術，以及用於表示各個對象的 屬性的對象描述符表示方法和用於表示對象之間的時間和空間相關性的場景 描述信息表示方法是極其重要的事情。
在MPEG-4系統中，i某體對象以基本流(elementary stream)的形式被編碼 和傳遞，其由確定網絡最大傳輸率、QoS(服務質量)因子和必需的解碼器資源 的變量來表徵。單個^某體對象由特定編碼方法的一個基本流組成，且通過包 含壓縮層、同步層和傳輸層的層次結構而被流化處理。
MPEG-4系統對從多個編碼器的每個存取單元輸出的數據流進行分組以 處理不同屬性的對象，並使用對象描述符信息和場景描述信息自由地表示數 據流。
可是，現有MPEG-4系統只對二維(以下稱"2D")多媒體數據進行標準 化，因此極少涉及用於處理立體/多視圖3D視頻數據的技術。

發明內容
本發明的一個目的是基於現有的MPEG-4標準處理立體/多視圖三維視頻 數據。
本發明的另 一個目的是通過將具有相同時間和空間信息的多通道的基於 場的基本流多路復用為單個基本流，來最小化重疊的分組首標信息。
本發明的再一個目的是選擇適合於用戶需求和用戶系統環境的數據，從 而簡化數據流。
根據本發明的一個方面，提供一種基於MPEG-4處理:梘頻圖像的立體/ 多視圖三維視頻處理系統，該系統包括壓縮器，用於處理輸入立體/多視圖 三維視頻數據，以生成多個通道的基於場的基本流，並將多通道基本流輸出 到單個集成的基本流中；分組器，用於從壓縮器的每個存取單元接收基本流，
且對所接收的基本流進行分組；以及傳送器，用於處理分組的立體/多視圖三 維視頻數據，且傳遞或存儲所處理的視頻數據。
壓縮器包括三維對象編碼器，用於編碼輸入立體/多視圖三維視頻數據， 以輸出多通道的基於場的基本流；以及三維基本流混合器，用於將多通道的 基於場的基本流集成到單個基本流中。
當輸入數據是三維立體視頻數據時，三維對象編碼器以4通道場為單位 輸出基本流，4通道場包括左圖像的奇場和偶場以及右圖像的奇場和偶場。 可選的，當輸入數據是N-視圖的多視圖視頻數據時，三維對象編碼器將Nx2
個基於場的基本流輸出到三維基本流混合器。
三維基本流混合器根據由用戶選擇的立體/多視圖三維視頻的顯示模式， 通過選擇性地使用經多個通道輸入的多個基本流來生成單個基本流。顯示模 式是從二維視頻顯示模式、用於通過基於場的模板來顯示三維視頻圖像的三 維視頻場模板顯示模式、用於通過基於幀的模板來顯示三維視頻圖像的三維 立體視頻幀模板顯示模式、以及用於以所要求的幀頻順序地顯示圖像的多視 圖三維視頻顯示模式中選擇的任意一種模式。
當顯示模式是三維視頻場模板顯示模式時，所述三維基本流混合器以左 '圖奇場基本流和右圖偶場基本流的順序使用2通道基本流，將從三維對象編
碼器輸出的立體三維視頻的4通道的基於場的基本流多路復用為單通道存取 單元流。
當顯示模式是三維視頻幀模板顯示模式時，所述三維基本流混合器以左 圖奇場基本流、左圖偶場基本流、右圖奇場基本流和右圖偶場基本流的順序
使用4通道基本流，將從三維對象編碼器輸出的立體三維視頻的4通道的基 於場的基本流多路復用為單通道存取單元流。
當顯示模式是二維視頻顯示模式時，所述三維基本流混合器以左圖奇場 基本流和左圖偶場基本流的順序使用2通道基本流，將從三維對象編碼器輸 出的立體三維視頻的4通道的基於場的基本流多路復用為單通道存取單元
當顯示模式是三維多視圖視頻顯示模式時，所述三維基本流混合器以視 點的奇場基本流和偶場基本流的順序使用各個視點，將從三維對象編碼器輸 出的N-視圖^L頻的Nx2個基於場的基本流多路復用為單通道存取單元流。
在將基本流處理為單通道存取單元流並將它們發送到分組器時，壓縮器 通過增加圖像區分信息、顯示區分信息和視點信息中的至少一個來將各個基 本流發送到分組器，所述圖像區分信息表示基本流是否是二維或三維視頻數 據，所述顯示區分信息表示由用戶所選擇的立體/多視圖三維視頻的顯示模式 的顯示區分信息，所述視點信息表示作為多視圖視頻圖像的相應視頻圖像的 視點數。
因此，分組器從壓縮器每個存取單元接收單通道流，對接收的單通道流 進行分組，之後基於附加信息構造分組首標。優選地，分組首標包括存取單 元開始標誌，其表示分組有效載荷的哪個字節是流的開始；存取單元結束標 志，其表示分組有效栽荷的哪個字節是流的結束；圖像區分標誌，其表示從 壓縮器輸出的基本流是二維還是三維視頻數據；解碼時間戳標誌；合成時間 戳標誌；視點信息標誌，其表示視頻圖像的視點數；以及顯示區分標誌，其 表示顯示模式。
根據本發明的另一個方面，提供一種立體/多視圖三維視頻處理方法，該 方法包括(a)接收三維視頻數據，確定相應的視頻圖像是立體還是多視圖視 頻圖像，以及根據確定結果處理相應視頻數據以生成多通道的基於場的基本 流；(b)以由用戶所選擇的顯示模式對多通道的基於場的基本流進行多路復 用，以輸出單通道基本流；(c)對所接收的單通道基本流進行分組；以及(d)處
理分組的立體/多視圖三維視頻圖像，並發送或存儲所處理的視頻圖像。
生成基本流的步驟(a)包括當輸入數據是三維立體視頻數據時，以4通 道場為單位輸出基本流，所述4通道場包括左三維立體圖像的奇場和偶場以 及右三維立體圖像的奇場和偶場；以及當輸入數據是N-視圖的多視圖視頻數 據時，輸出Nx2個基於場的基本流。
多路復用步驟(b)進一步包括當顯示模式是三維視頻場模板顯示模式時， 按照左圖奇場基本流和右圖偶場基本流的順序使用2通道基本流，將立體三 維視頻的4通道的基於場的基本流多路復用為單通道存取單元流。
多路復用步驟(b)進一步包括當顯示模式是三維視頻幀模板顯示模式時， 按照左圖奇場基本流、左圖偶場基本流、右圖奇場基本流和右圖偶場基本流 的順序使用4通道基本流，將立體三維視頻的4通道的基於場的基本流多路 復用為單通道存取單元流。
多路復用步驟(b)進一步包括當顯示模式是二維視頻顯示模式時，按照 左圖奇場基本流和左圖偶場基本流的順序使用2通道基本流，將立體三維視 頻的4通道的基於場的基本流多路復用為單通道存取單元流。
多路復用步驟(b)進一步包括當顯示模式是三維多視圖視頻顯示模式時， 按照視點的奇場基本流和偶場基本流的順序使用各個視點，將N-視圖視頻的 Nx2個基於場的基本流多路復用為單通道存取單元流。
多路復用步驟(b)包括處理多視圖三維視頻圖像以生成多通道基本流， 以及使用從多通道基本流中的一個通道的基本流獲得的時間信息來獲得和其 它視點的基本流的同步，從而獲得三維視頻圖像間的同步。
根據本發明的又一個方面，提供一種解碼多路復用的視頻分組流的方法。 該方法包括(a)接收包括有視點信息標誌和顯示區分標誌的多路復用的分 組流，所述視點信息標誌用於表示運動畫面的視點數，所述顯示區分標誌用 於表示運動畫面的顯示模式；(b)從多路復用的分組流中檢測視點信息標誌 和顯示區分標誌；(c)基於檢測的視點信息標誌和檢測的顯示區分標誌確認 多路復用的分組流的流才各式並解碼確認的分組流。


併入並且組成說明書的一部分的附解說明了本發明的實施例，並與 說明書 一起用來描述本發明的原理。
圖1是根據本發明實施例的立體/多視圖3D視頻處理系統的示意圖； 圖2是ESI發送的關於傳統2D多媒體的信息的圖示； 圖3是根據本發明實施例的立體3D視頻編碼器的輸入/輸出數據的圖示; 圖4是根據本發明實施例的3DN-視圖視頻編碼器的輸入/輸出數據的圖
示；
圖5是根據本發明實施例的用於立體視頻3D ES混合器的輸入/輸出數據 的圖示；
圖6是根據本發明實施例的多視圖3DES混合器的輸入/輸出數據的圖
示；
圖7是根據本發明實施例用於場模板顯示的立體3D視頻圖像的基於場 的ES多^^復用器的示意圖8是根據本發明實施例用於幀模板顯示的立體3D視頻圖像的基於場 的ES多路復用器的示意圖9是^^艮據本發明實施例用於2D顯示的立體3D ^L頻圖像的基於場的 ES多路復用器的示意圖IO是根據本發明實施例用於3D顯示的多視圖3D視頻圖像的基於場 的ES多路復用器的示意圖11是根據本發明實施例用於2D顯示的多視圖3D視頻圖像的基於場 的ES多路復用器的示意圖12是根據本發明實施例的、用於處理立體/多視圖3D視頻圖像的傳統 ESI的附加傳送信息的圖示；
圖13是根據本發明實施例的、用於處理立體/多視圖3D視頻圖像的同步 分組首標的示意圖14是由MPEG-4系統定義的流類型；以及
圖15是通過解碼器處理立體/多視圖3D視頻圖像的3D視頻圖像流類型。
具體實施例方式
在下面的詳細描述中，簡單地通過圖解說明由完成本發明的發明者預期 的最佳才莫式只顯示和描述了本發明的優選實施例。正如將會認識到的那樣， 能夠在各個顯而易見的方面對本發明作出修改，而都不會偏離本發明。因此， 附圖和描述本質上應被看成是說明性的，而不是限制性的。
在本發明的實施例中，處理MPEG-4立體/多視圖3D視頻數據。特別地，
根據用戶的系統環境和用戶所選擇的顯示模式，將通過多個通道在同一時刻 輸出的編碼的、基於場的基本流集成到單通道基本流中，之後多路復用成單
個3D存取單元流(以下稱為3D—AU流)。
更特別地，流式處理可支持所有4種顯示模式二維視頻顯示模式；三 維視頻場模板顯示模式，用於通過基於場的模板來顯示三維視頻圖像；三維 立體視頻幀模板顯示模式，用於通過基於幀的模板來顯示三維視頻圖像；以 及多視圖三維視頻顯示模式，用於通過使用小光學透鏡(lenticula)鏡頭等以所 要求的幀頻來順序地顯示圖像。
為了使能上述用戶定義的4種顯示和立體/多視圖3D視頻圖像的多路復 用，本發明的實施例生成同步分組首標的新的首標信息，並構造具有最小化 的重疊信息的首標。再者，本發明實施例通過使用從同一時刻的多視圖視頻 圖像的多通道基本流中的一個通道基本流中獲得的時間信息來獲得和其它視 點的基本流同步，以簡化3D視頻圖像間的同步。
圖1是才艮據本發明實施例的立體/多視圖3D視頻處理系統(以下稱為"視 頻處理系統")的示意圖。
如圖l所示，根據本發明的實施例的、基於MPEG-4系統處理立體/多視 圖3D視頻數據的視頻處理系統包含壓縮層10，其支持多個編碼器；同步 層20，其接收存取單元(AU)數據並生成適合於同步的分組；以及傳輸層30， 其包括為了多個流的同時發生的多路復用而可選地給出的FlexMux 31,和用 於構造與傳輸環境和存儲介質的接口的傳輸多媒體集成框架(DMIF)32。
壓縮層10包括用於靜止圖像、計算機圖形(CG)、分解複合系統的音頻編 碼、樂器數據接口(MIDI)、文本、以及2D視頻和音頻的各種對象編碼器。
更具體地，如圖l所示，壓縮層10包括3D對象編碼器11、 2D對象編 碼器12、場景描述流生成器13、對象描述符流生成器14以及3D基本流混 合器(以下稱為3D—ES混合器)15和16。
2D對象編碼器12對包括靜止圖像、計算機圖形(CG)、分解複合系統的 音頻編碼、樂器數據接口 (MIDI)和文本、以及2D視頻和音頻的各種對象進行 編碼。從2D對象編碼器12中的各個編碼器輸出的基本流以AU流形式被輸 出，並^皮傳送到同步層20。
對象描述符流生成器14生成對象描述符流，用於表示多個對象的屬性，
場景配置信息流生成器13生成場景描述流，用於表示對象間的時間和空間相 關性。
3D對象編碼器11以及3D—ES混合器15和16用於處理立體/多視圖3D 視頻圖像，同時保持和現有MPEG-4系統的兼容性。
3D對象編碼器11是一個用於立體/多視圖3D視頻數據的基於對象的編 碼器，且包括多個3D實像編碼器，用於處理由相機等實際獲取的圖像； 以及3D計算機圖形(CG)編碼器，用於處理計算機生成的圖像，即CG。
當輸入數據是在不同方向上生成的立體3D視頻圖像時，3D對象編碼器 11分別以左右圖像的奇偶場為單位輸出基本流。相比之下，當輸入數據是N-視圖3D視頻圖像時，3D對象編碼器11將Nx2個基於場的基本流輸出到 3D—ES混合器15和16。
3D—ES混合器15和16將從3D對象編碼器11輸出的各個基本流處理為 單個3D—AU流，並將所述單個3D_AU流發送到同步層20。
經由基本流接口 (ESI)將上述從壓縮層10輸出的單個3D一AU流傳送到同 步層。ESI是將i某體數據流連接到同步層的接口，其不是由ISO/正C 14496-1 所規定的，而是為了易於實現而提供的，因此可以在需要的情況下作修改。 ESI傳送同步層(SyncLayer, SL)分組首標信息。在圖2中圖解說明了在現 有MPEG-4系統中通過ESI傳送的SL分組首標信息的一個例子。同步層20 使用SL分組首標信息生成SL分組首標。
為保持基本流之間或基本流中的時間同步，同步層20包括多個對象分組 器21，其接收從壓縮層IO每個AU輸出的各個基本流，將其分成多個SL分 組以生成各個SL分組的有效載荷，且參照經由ESI為每個AU接收的信息生 成每個單獨SL分組的首標，從而完成由首標和有效載荷組成的SL分組。
SL分組首標用於在數據丟失的情況下檢查連續性，且包括和時間戳相關 的4言息。
將從同步層20輸出的分組流發送到傳輸層30,並在由FlexMux 31多路 復用之後經DIMF 32將其處理成適合於至傳輸環境和存儲介質的接口的流。
同步層20和傳輸層30的基本處理和現有MPEG-4系統的基本處理是相 同的，並因此不詳細描述。
現在描述基於上述構造的視頻處理系統來多路復用立體/多視圖3D視頻 圖像的方法。
作為例子，將2D圖像和由至少兩個相機獲得的多通道3D圖像(包括靜 止或運動照片)，或計算機生成的3D圖像即CG,分別送入壓縮層10的2D 對象編碼器12和3D對象編碼器11。 2D圖像的多路復用處理對本領域的技 術人員而言是眾所周知的，因此不詳細描述。
將作為由相機獲取的實像的立體/多視圖3D視頻圖像輸入到3D對象編 碼器11中的3D實像編碼器111,且將作為計算機生成的3D立體/多視圖視 頻圖像的CG輸入到3D對象編碼器11中的3DCG編碼器112。
圖3和圖4分別圖解說明了多個3D實像編碼器和3D CG編碼器的操作。
如圖3所示，當輸入數據是在左右方向上生成的立體3D視頻圖像時，3D 實像編碼器111或3D CG編碼器112以場為單位對左右圖像或左右CG數據 進行編碼，以便以4通道場為單位輸出基本流。
更具體地，將立體3D實像或CG編碼成左奇場的立體3D基本流 3DES—LO、左偶場的立體3D基本流3DES一LE、右奇場的立體3D基本流 3DES一RO以及右偶場的立體3D基本流3DES一RE。
當輸入數據是N-視圖視頻圖像時，3D實像編碼器111或3D CG編碼器 112以場為單位對N-視像或CG數據進行編碼，以輸出第1到第N個視 點的奇場基本流，以及第1到第N個視點的偶場基本流。
更具體地，如圖4所示，將N-視圖視頻編碼為Nx2個基本流，所述基本 流包括第1視點的奇場基本流3DES—#1 OddField、第2視點的奇場基本流 3DES_#2 OddField、...第N視點的奇場基本流3DES—#N OddField、第1視點 的偶場基本流3DES—#1 EvenField、第2 ^見點的偶場基本流3DESJ2 EvenField、...第N視點的偶場基本流3DES—#N EvenField。
如上面所描述的，將從立體/多視圖3D對象編碼器11輸出的多通道的基 於場的基本流輸入到3D—ES混合器15和16以進行多路復用。
圖5和圖6圖解說明了 3D—ES混合器的多路復用處理。
3D一ES混合器15和16將多通道的基於場的基本流多路復用為3D—AU 流，以輸出單通道的集成流。這裡，取決於顯示模式，將被傳送的基本流數 據是可變的。因此，對各個顯示模式而言，進行多路復用僅傳送必要的基本
、、六 //億0
有4種顯示模式2D視頻顯示模式、3D視頻場模板顯示模式、3D視頻 幀模板顯示模式以及多視圖3D視頻顯示模式。
圖7到圖11取決於所涉及的顯示模式，圖解說明多通道的基於場的基本
流的多路復用的例子。圖7、圖8和圖9說明立體3D視頻數據的多路復用方 法，圖IO和圖ll說明多視圖3D視頻數據的多路復用方法。
當用戶為立體3D視頻悽t據選擇3D視頻場模板顯示衝莫式時，將從3D對 象編碼器11輸出的4通道基本流中的左奇場的立體3D基本流3DES一LO和 右偶場的立體3D基本流3DES—RE順序地集成到單通道3D—AU流中，如圖 7所示。
當用戶為立體3D視頻數據選擇3D視頻幀模板顯示模式時，將4通道基 本流中的左奇場的立體3D基本流3DES—LO、左偶場的立體3D基本流 3DES一LE、右奇場的立體3D基本流3DES—RO和右偶場的立體3D基本流 3DES一RE順序地集成到單通道3D一AU流中，如圖8所示。
當用戶為立體3D視頻數據選擇2D視頻顯示模式時，將左奇場的立體3D 基本流3DES一LO和左偶場的立體3D基本流3DES一LE順序地集成到單通道 3D一AU流中，如圖9所示。
當用戶為多視圖3D視頻數據選擇3D視頻顯示模式時，對於每個視點按 奇偶場的順序，之後按視點順序將基本流集成到單通道3D—AU流中，如圖 IO所示。即按第1視點的奇場基本流3DES—#1 OddField、第1視點的偶場基 本流3DES—#1 EvenFidd、...第N視點的奇場基本流3DES—#N OddField、和 第N視點的偶場基本流3DES—存NEvenField的順序，將多視圖視頻圖像的基 本流集成到單通道3D一AU流中。
當用戶為多視圖3D視頻數據選擇2D視頻顯示模式時，只將一個視點的 奇偶場基本流順序地集成到單通道3D—AU流中，如圖11所示。因此，在多 視圖3D視頻圖像的2D視頻顯示模式下，允許用戶顯示他/她所期望的視點 的圖像。
如上面所描迷的，將從3D—ES混合器15和16輸出的單通道3D—AU流 送入同步層20中。如圖2所示，根據本發明的實施例，除從ESI傳送的信息 之外，單通道3D—AU流包括立體/多視圖3D視頻流的可選信息。
圖12中定義了增加到立體/多視圖3D視頻數據中的信息的語法和語義。
圖12示出了對於立體/多視圖3D視頻圖像而增加到單個3D一AU流中的 信息的語法和語義，其中只圖解說明經由ESI傳送的信息以外的可選信息。
更具體地，另外給出了3個信息集合，如顯示區分標誌2D_3DDispFlag 和^L點信息標誌NumViewpoint,如圖12所示。
顯示區分標誌2D—3DDispFlag表示由用戶選擇的立體/多視圖3D視頻的 顯示模式。在該實施例中，如果不明確限定則顯示區分標誌是"00"用於 2D視頻顯示模式、"01"用於3D視頻場模板顯示模式、"10"用於3D視頻 幀模板顯示模式、"11"用於多視圖3D視頻顯示模式。
視點信息標誌NumViewpoint表示運動畫面的視點數。即對於2視點的視 頻圖像的立體3D視頻數據，將視點信息標誌指定為"2"，對於N視點的視 頻圖像的3DN-視圖視頻數據，將視點信息標誌指定為"N"。
同步層20接收每個AU的輸入基本流，將它分為多個SL分組，以生成 各個SL分組的有效載荷，並且基於經ESI為每個AU傳送的信息以及關於立 體/多視圖3D視頻圖像的上述附加信息(即顯示區分標誌和視點信息標誌)構 造同步分組首標。
圖13圖解說明了根據本發明的實施例的立體3D視頻數據的同步分組首 標的結構，所述同步分組首標是增加到一個3D—AU流中的首標信息。
在圖13所示的同步分組首標中，存取單元開始標誌AccessUnitStartFlag 表示同步分組有效載荷的哪個字節是3D一AU流的開始。例如，標誌位"1" 表示SL分組有效載荷的第一個字節是一個3D一AU流的開始。
存耳又單元結束標誌AccessUnitEndFlag表示同步分組有效載荷的哪個字 節是3D一AU流的結束。例如，標誌位1表示SL分組有效載荷的最後一個字 節是當前3D一AU流的結束字節。
對象時鐘參照(OCR)標誌表示跟隨有多少個對象時鐘參照。例如，標誌 位"1"表示跟隨有一個對象時鐘參照。
空閒標誌IdleFlag表示3D—AU流的輸出狀態。例如，標誌位"1"表示 對於某個預先確定的時刻不輸出3D—AU數據，標誌位"0"表示輸出3D一AU 數據。
填充標誌PaddingFlag表示在SL分組中是否存在填充。例如，標誌位"1" 表示在SL分組中存在填充。
填充位PaddingBits表示將用於SL分組的填充模式，且具有預設值"0"。
分組序列號PacketSequenceNumber有一個對於各個SL分組連續增加的 模數值。解碼器中的不連續說明至少一個SL分組丟失了。
對象時鐘參照(OCR)包括OCR時間戳，且僅當設置了 OCR標誌時，才
存在於SL分組首標中。
設置為"I"的存取單元開始標誌AccessUnitStartFlag的標誌位表示SL 分組有效載荷的第一個字節是一個3D—AU流的開始，在這種情況下傳送可選 欄位的信息。
具有設置為"1"的標誌位的隨機存取點標誌RandomAccessPointFlag表 示允許隨才幾存取內容。
3D—AU序列號3D—AUS叫uenceNumber有一個對於各個3D一AU連續增 加的模數值。解碼器中的不連續說明至少一個3D—AU丟失了 。
解碼時間戳標誌DecodingTimeStampFlag表示在SL分組中存在有解碼時 間戳(D丁S)。
合成時間戳標誌CompositionTimeStampFlag表示在SL分組中存在有合 成時間戳(CTS)。
即時(instant)比特率標誌InstantBitRateFlag表示在SL分組中存在有即時 比特率。
解碼時間戳(DTS)是在相關的SL配置描述符中存在的DTS,且僅當解碼 時間不同於3D一AU的複合時間時存在。
合成時間戳(CTS)是在相關的SL配置描述符中存在的CTS。 3D一AU長度表示3D一AU的字節長度。
即時比特率表示當前3D一AU的比特率，並且是有效的，直到下一個即時 比特率欄位出現為止。
降級優先級表示SL分組有效載荷的優先級。
浮見點信息標誌NumViewpoint表示運動畫面的浮見點H即對於2糹見點運動 畫面的立體3D視頻數據，將視點信息標誌設置為"2"，或對於3DN-視圖視 頻數據，將視點信息標誌設置為"N"。
顯示區分標誌2D_3DDispFlag以和立體3D ^見頻lt據的情況相同的方式 來表示3D視頻數據的顯示模式。在該實施例中，顯示區分標誌對於2D視頻 顯示模式被設置為"00"，對於3D視頻場才莫板顯示模式被設置為"01",對 於3D視頻幀模板顯示模式被設置為"10",對於多視圖視頻顯示模式被設置 為"11"。
在建造了上述構造的首標之後，同步層20將首標和有效載荷組合在一 起，以生成SL分組並發送該SL分組到傳輸層30。在FlexMux 31中被多路復用之後，將傳送到傳輸層30的SL分組流處理 為適合於經DMIF 32至傳輸環境的接口的流，並將其發送到接收方。可選 的，將SL分組流處理為適合於至存儲介質的接口的流，並將其存儲在存儲介 質中。
接收方解碼來自視頻處理系統的處理的分組流，以再現原始圖像。
在這種情況下，接收方的3D對象解碼器檢測多路復用的3D一AU的流格 式類型，從而以每個多路復用的3D—AU的流格式類型來恢復3D視頻數據。 因此，3D對象解碼器在基於在接收的分組的首標中存儲的信息中的視點信息 標誌NumViewpoint和顯示區分標誌2D_3DDispFlag中存儲的值，檢測3D—AU 的流格式類型之後，進行解碼。
例如，當所傳送的分組流首標的視點信息標誌NumViewpoint是"2"且 顯示區分標誌2D一3DDispFlag是"00"時，將以2D視頻顯示模式顯示立體 3D視頻數據，且按左奇場的3D基本流3DES—LO、左偶場的3D基本流 3DES—LE的順序來多路復用3D—AU，如圖10所示。
當視點信息標誌NumViewpoint是"2"且顯示區分標誌2D_3DDispFlag 是"01"時，以3D視頻場模板顯示模式顯示立體3D視頻數據，且以左奇場 的3D基本流3DES—LO、右偶場的3D基本流3DES—RE的順序多路復用 3D_AU,如圖8所示。
最後，當視點信息標誌NumViewpoint是"2 "且顯示區分標誌 2D一3DDispFlag是"10"時，將以3D視頻幀才莫板顯示才莫式顯示立體3D視頻 數據，且以左奇場的3D基本流3DES—L0、左偶場的3D基本流3DES—LE和 右偶場的3D基本流3DES一RE的順序多路復用3D一AU，如圖9所示。
另一方面，當視點信息標誌NumViewpoint是"2"且顯示區分標誌 2D—3DDispFlag是"11"時，將以多視圖3D 3見頻顯示才莫式來顯示立體3D視 頻悽t據，該情況不會出現。
當視點信息標誌NumViewpoint是"N"且顯示區分標誌2D—3DDispFlag 是"00"時，將以2D視頻顯示模式顯示多視圖3D視頻數據，並以第一視點 的奇場基本流3DES—#10、第一視點的偶場基本流3DES—#1E的順序多路復 用3D一AU，如圖12所示。
當視點信息標誌NumViewpoint是"N"且顯示區分標誌2D—3DDispFlag 是"11"時，將以多視圖3D視頻顯示模式顯示多視圖3D視頻數據，且以第 一到第N視點的所有奇場基本流3DES—#10,...,3DES—#NO和第一到第N視 點的所有偶場基本流3DESJ1E,…,3DES—#NE的順序多路復用3D—AU,如圖 11所示。
當視點信息標誌NumViewpoint是"N"且顯示區分標誌2D—3DDispFlag 是"10"或"01"時，將以3D視頻幀/場模板顯示模式顯示多視圖3D視頻 數據，該情況不會出現。
如上所述，根據本發明的實施例，接收方基於在從^L頻處理系統傳送的 分組流首標的一見點信息標誌NumViewpoint和顯示區分標誌2D—3DDispFlag 中存儲的值，檢查分組流中多路復用的3D一AU的流格式類型，之後執行解碼 以再現3D碎見頻圖像。
圖14 il明了由MPEG-4系統的DecoderConfigDescriptor所定義的流類 型，圖15說明了一種新的流類型，其用於確定從壓縮層輸出的立體3D視頻 圖像的基本流是2D還是3D視頻圖像數據。
儘管關於目前認為是最實用和優選的實施例描述了本發明，但應當理解 本發明不限於所公開的實施例，相反，本發明試圖覆蓋在附加權利要求的精 神和範圍內所包括的各種修改和等價結構。
如上所述，本發明使現有MPEG-4系統中的立體/多視圖3D視頻處理成 為可能。
特別地，將具有相同時間和空間信息的多通道的基於場的基本流多路復 用為單個基本流，從而最小化重疊的首標信息。
本發明還通過使用從同 一 時刻的多視圖視頻數據的多通道基本流中的一 個通道基本流中獲得的時間信息來獲得與其它視點的基本流同步，從而簡化 3D一見頻圖像間的同步。
此外，本發明的多路復用結構和首標構造允許用戶有選擇性地以3D視 頻場/幀模板顯示模式、多視圖3D視頻顯示模式或2D視頻顯示模式，來顯 示立體/多視圖3D視頻數據，同時保持和現有2D視頻處理系統的兼容性。 因此，本發明可對所選擇的適合於用戶需求和系統環境的數據進行流化處理。
權利要求
1.一種解碼多路復用的視頻分組流的方法，包括(a)接收包括有視點信息標誌和顯示區分標誌的多路復用的分組流，所述視點信息標誌用於表示運動畫面的視點數，所述顯示區分標誌用於表示運動畫面的顯示模式；(b)從多路復用的分組流中檢測視點信息標誌和顯示區分標誌；(c)基於檢測的視點信息標誌和檢測的顯示區分標誌確認多路復用的分組流的流格式並解碼確認的分組流。
2. 如權利要求1所述的方法，其中所述視點信息標誌和顯示區分標誌 包括在多路復用的分組流的首標中。
3. 如權利要求1或2所述的方法，其中當確認的流格式是三維視頻場 模板顯示模式時，在確認使用2通道基本流、按照左圖的奇場基本流和右圖 的偶場基本流的順序將立體聲三維視頻的4通道的基於場的基本流多路復用 為 一或多個存取單元流之後，步驟(c )進行解碼。
4. 如權利要求1或2所述的方法，其中當確認的流格式是三維視頻幀 模板顯示模式時，在確認使用4通道基本流，按照左圖的奇場基本流、左圖 的偶場基本流、右圖的奇場基本流、右圖的偶場基本流的順序將立體聲三維 視頻的4通道的基於場的基本流多路復用為一或多個存取單元流之後，步驟(c)進行解碼。
5. 如權利要求1或2所述的方法，其中當確認的流格式是二維視頻顯 示模式時，在確認使用2通道基本流、按照左圖的奇場基本流和左圖的偶場 基本流的順序將立體聲三維視頻的4通道的基於場的基本流多路復用為 一或 多個存取單元流之後，步驟(c)進行解碼。
6. 如權利要求1或2所述的方法，其中當確認的流格式是三維多視圖 視頻顯示模式時，在確認使用各個視點、按照視點的奇場基本流和偶場基本 流的順序將N視圖視頻的Nx2個基於場的基本流順序地多路復用為一或多 個存取單元流之後，步驟(c)進行解碼。
全文摘要
公開了一種解碼多路復用的視頻分組流的方法。該方法包括接收包括有用於表示運動畫面的視點數的視點信息標誌和用於表示運動畫面的顯示模式的顯示區分標誌的多路復用的分組流；從多路復用的分組流中檢測視點信息標誌和顯示區分標誌；基於檢測的視點信息標誌和檢測的顯示區分標誌確認多路復用的分組流的流格式並解碼確認的分組流。本發明對具有相同時間和空間信息的多通道基本流進行多路復用，從而最小化重疊的首標信息，且對適合於用戶需求和用戶系統環境的數據進行流化處理。
文檔編號H03M7/30GK101188779SQ20071015985
公開日2008年5月28日 申請日期2002年11月21日 優先權日2001年11月21日
發明者安致得, 尹國鎮, 崔潤靜, 曹叔嬉, 李珍煥 申請人:韓國電子通信研究院