存儲和播放立體數據的元數據結構以及使用該元數據存儲立體內容文件的方法
2023-09-14 04:43:55
專利名稱：存儲和播放立體數據的元數據結構以及使用該元數據存儲立體內容文件的方法
技術領域：
本發明涉及一種存儲和再現立體數據的元數據結構以及使用該元數據存儲立體內容文件的方法；更具體地，涉及一種當二維(2D)和三維(3D)內容被一起提供時所需的元數據結構(控制信息)，以及使用該元數據存儲立體內容的方法。
本工作由MIC/IITA[2005-S-403-02，「超級智能多媒體隨時隨地真實感電視(SmarTV)技術的開發」]的ITR&D計劃支持。
背景技術：
基於行動電話、數字相機、數位化視頻盤(DVD)和PDP，國內和國際性地使用立體內容和相關裝置的應用服務的市場已經形成。因此，需要定義用於對立體內容進行採集、存儲和再現的系統信息或控制信息(元數據)的標準及包括該標準的文件格式。
第2006-0056070號韓國專利公開(題目使用MPEG-4對象描述符和結構來處理3D運動圖像的設備和方法；以下將稱作第一專利)公開了具有新信息(諸如3D運動圖像的類型、各種顯示類型以及視點)的3D運動圖像對象描述符。第2006-0100258號韓國專利公開(題目傳輸立體圖像數據的方法；以下將稱作第二專利)為了用於立體內容的解碼的視頻數據，提供一種文件格式，所述文件格式為包括視頻數據單元(包括立體圖像信息)和頭單元(包括用於對立體圖像信息進行解碼和再現的元數據)的文件格式。
然而，所述第一和第二專利沒有介紹當2D內容或3D內容被一起組織和提供時(即，當2D內容或3D內容被一起使用時)用於識別內容的方法，當3D內容具有不同的立體相機和顯示信息時提供立體相機和顯示信息的方法以及當3D內容由兩個基本流形成時提供立體軌跡(track)參考信息的方法。
發明內容
技術問題 本發明的實施例旨在提供一種存儲立體內容的方法。
本發明的另一實施例旨在提供一種當在各種3D終端環境中對2D內容和3D內容進行下載和再現來識別2D和3D內容並通過自動地開啟/關閉視差柵來對識別的2D內容和3D內容進行顯示時，存儲立體內容的方法。
本發明的另一實施例還旨在提供一種當立體內容具有不同的立體相機和顯示信息時，通過片段來存儲立體相機/顯示信息的方法。
本發明的另一實施例還旨在提供一種存儲立體內容的方法，所述方法用於當立體內容具有兩個基本流時識別主要/附加軌跡；並且在與典型的2D終端保持兼容性的同時去除每個軌跡中包括和使用的立體相機/顯示信息的冗餘。
本發明的其他目的和優點可通過參考下面的描述來理解，並且通過參考本發明的實施例變得清楚。此外，對本發明所屬領域的技術人員顯而易見的是，本發明的目的和優點可通過如權利要求及其組合的方式來實現。
技術方案 根據本發明的一方面，提供一種存儲立體內容的方法，包括將與立體內容的片段信息相關的立體視頻媒體信息存儲為再現該立體內容所需的元數據信息，並存儲所述立體內容的基本流。
根據本發明的另一方面，提供一種存儲立體內容的文件格式結構，包括媒體數據方框，用於存儲立體內容的基本流；以及用於存儲與立體內容的片段信息相關的立體視頻媒體信息的方框。
有益效果 根據本發明，可方便地存儲和提供由2D內容和3D內容形成的立體內容。用戶可通過2D內容和3D內容定界符信息自動地將視差柵由2D顯示變成3D顯示來方便地欣賞立體內容。
圖1是示出提供立體內容的各種內容構成類型的示圖。
圖2是示出當存在MPEG-4系統信息時根據本發明實施例的立體視頻應用格式的基本文件格式的示圖。
圖3是示出當不存在MPEG-4系統信息時根據本發明實施例的立體視頻應用格式的基本文件格式的示圖。
圖4是示出當存在MPEG-4系統信息時根據本發明第一實施例的立體視頻應用格式的示圖。
圖5是示出當不存在MPEG-4系統信息時根據本發明第一實施例的立體視頻應用格式的示圖。
圖6是示出根據本發明實施例的具有包括在「moov」方框中的「ishd」方框的存儲格式的示圖。圖6中，示圖(a)示出由一個源形成的3D內容的格式，示圖(b)示出由兩個源形成的3D內容的格式。
圖7是示出根據本發明實施例的具有包括在「mdat」方框中的「ishd」方框的存儲格式的示圖。圖7中，示圖(a)示出由一個源形成的3D內容，示圖(b)示出由兩個源形成的3D內容。
圖8是示出根據本發明實施例的包括「ishd」和「meta」的存儲格式的示圖。圖8中，示圖(a)示出由一個源形成的3D內容，示圖(b)示出由兩個源形成的3D內容。
圖9是示出根據本發明實施例的包括「ishd」方框和LASeR的格式的示圖。圖9中，示圖(a)示出包括「ishd」方框和包括在「moov」方框中的LASeR的格式，示圖(b)示出包括包括在「moov」方框中的「ishd」方框和包括在「mdat」方框中的LASeR的格式，示圖(c)具有包括在「meta」方框中的「ishd」和LASeR。
圖10是根據本發明實施例的當ES＝1時包括「ishd」方框和「iloc」方框的SS-VAF的示圖。
圖11是根據本發明實施例的包括「ishd」方框和「iloc」方框的SS-VAF的示圖。
圖12(a)示出AVC中的SEI的基本結構中包括「立體視頻信息SEI」和「reserved_sei_message」的部分，圖12(b)示出AVC流中SEI的位置。
圖13是示出根據本發明實施例的使用「立體視頻信息SEI」和「reserved_sei_message」的SS-VAF的示圖。
圖14是示出當ES＝2時在內容僅由單一格式立體流形成的情況下根據本發明實施例的具有「tref」、「ishd」和「iloc」方框的SS-VAF的示圖。
圖15是示出根據本發明實施例的具有「tref」、「ishd」和「iloc」方框的SS-VAF的示圖。
圖16是示出根據本發明實施例的存儲立體內容的方法的流程圖。
圖17是示出根據本發明另一實施例的存儲立體內容的方法的流程圖。
圖18是示出根據本發明另一實施例的存儲立體內容的方法的流程圖。
具體實施例方式 圖1是示出提供立體內容的各種內容構成的示圖。圖1的示圖(a)示出具有一個基本流ES(ES＝1)的內容的格式，圖1的示圖(b)示出具有兩個基本流ES(ES＝2)的內容的格式。單一格式是當立體圖像形成方案相同時並且當僅包括一個相機參數和一個顯示信息時的內容的格式。多重格式是當立體圖像形成方案不同時，或當雖然立體圖像形成方案相同但是相機參數不同時，或當包括多個顯示信息或其他信息時的格式。
立體內容類型包括(i)諸如雙眼3D視頻服務的立體視頻內容；(ii)諸如雙眼3D靜止圖像服務(例如，放映幻燈片)、2D(單像mono)視頻和3D數據服務(預定的場景或部分)的組合的立體圖像內容；(iii)諸如2D(單像)視頻和3D視頻(預定的場景或部分)的組合的單像和立體混合的內容。
圖2和圖3示出根據本發明實施例的立體視頻應用格式(SS-VAF)的基本結構。
圖2是包括MPEG-4系統信息的文件格式結構。圖3是不包括MPEG-4系統信息的文件格式結構。如圖所示，SS-VAF包括「ftyp」方框、「moov」方框和「mdat」方框。以下，將描述SS-VAF的多個方框的語法和語義。根據本實施例的方框被包括在SS-VAF的結構中，可根據其類型來改變其位置，可獨立使用方框中包括的信息。
1.「scty」(立體內容類型) 「scty」表示內容的基本類型。也就是說，通過「scty」將內容分類為單像內容或立體內容。這裡，單像內容表示普通2D圖像。表1示出「scty」的語法。「scty」中的「Stereoscopic_Content_Type」可包括在「ftyp」方框或其他方框中。
表1 表1中，「Stereoscopic_Content_Type」表示立體內容類型並具有表2的含義。
表2 2.「sovf」(立體對象視覺格式) 「sovf」表示立體內容(或視覺格式)的圖像構成格式。表3示出「sovf」的語法。「sovf」包括「Stereoscoic_Object_VisualFormat」。可將「Stereoscoic_Object_VisualFormat」包括在典型的其他方框或用於存儲立體內容的新定義的方框中。
表3 表3中，「Stereoscopic_Object_VisualFormat」表示立體內容的圖像構成信息並具有表4的含義。
表4 表4中，「全尺寸」表示輔助圖像的大小與主圖像的大小完全相同。「垂直的一半」表示輔助圖像的大小是主圖像的大小的垂直一半。「水平的一半」表示輔助圖像的大小是主圖像的大小的水平一半。「垂直/水平的一半」表示輔助圖像的大小是主圖像的大小的水平和垂直的一半。
3.「ssci」(立體內容信息) 「ssci」表示關於立體內容的最小/最大深度或視差的信息。「ssci」使3D終端能夠再現適於3D顯示的3D圖像。表5表示「ssci」的語法。可將「ssci」中包括的最小/最大深度信息包括在其他典型方框或用於存儲立體內容的新定義的方框中。表5中，「Max_of_depth(disparity)」表示最大深度/視差信息(像素單元)，「Min_of_depth(disparity)」表示最小深度/視差信息(像素單元)。
表5 4.「scpi」(立體相機參數信息) 「scpi」表示由立體相機採集或由相關工具創建的立體內容的相機參數信息。表6示出「scpi」的語法。此外，可將「scpi」中包括的每個欄位包括在其他典型方框或用於存儲立體內容的新定義的方框中。
表6 表6中，「Baseline」表示左相機和右相機之間的距離，「Focal_Length」表示圖像平面(CCD傳感器)和相機中心之間的距離，「Convergence_point_distnace」表示匯合點和基線之間的距離。這裡，匯合點表示左相機和右相機的視軸的交叉點。「StereoscopicCamera_setting」表示立體攝影/數據的相機排列，並具有表7的含義。
表7 5.「iods」(對象描述方框) 「iods」表示關於初始對象描述符(IDO)的信息，當包括諸如BIFS或LASeR的場景信息時，所述IDO用於表示BIFS流或OD流的位置。表8示出「iods」的語法。
表8 6.「soet」(立體單ES類型方框) 當編碼器輸出單ES流時，「soet」表示基本流(ES)的類型。表9示出「soet」的語法。
表9 表9中，「Stereoscopic_OneES_Type」表示由單ES形成的立體數據的圖像構成格式的實施例，並具有表10的含義。
表10 7.「stet」(立體雙ES類型方框) 當編碼器輸出雙ES時，「stet」表示每個基本流(ES)的類型。表11表示「stet」的語法。
表11 表11中，「Stereoscopic_TwoES_Type」表示由雙ES形成的立體數據的圖像構成格式的實施例，並具有表12的含義。
表12 8.「sstt」(立體時間表方框) 當單像內容和立體內容被一起使用時，「sstt」表示關於場景中的單像內容和立體內容的開始和結束的信息。表13示出根據本發明第一實施例的「sstt」的語法。可將「sstt」的每個欄位包括在其他典型方框或用於存儲立體內容的新定義的方框中。
表13 表13中，當由2D內容和3D內容一起形成立體內容時，「Mono/stereoscopic_Scene_count」表示單像/立體的場景改變的數目。也就是說，如果立體內容由2D→3D→2D形成，則將「Mono/stereoscopic_Scene_count」設置為2。此外，如果立體內容僅由3D內容形成而不具有2D內容，則將「Mono/stereoscopic_Scene_count」設置為2。可將這樣的信息用於3D終端中的2D/3D顯示自動改變。
「Mono/stereoscopic_identifier」通過時間表示內容類型並具有表14的含義。此外，可將「Mono/stereoscopic_identifier」用於識別2D內容或3D內容。例如，將1比特分配給「Mono/stereoscopic_identifier」。如果「Mono/stereoscopic_identifier」是「0」，則「Mono/stereoscopic_identifier」表示2D內容。如果「Mono/stereoscopic_identifier」是「1」，則「Mono/stereoscopic_identifier」表示3D內容。「Start_Time」通過時間表示內容開始時間。
表14 表15示出根據本發明第二實施例的「sstt」的語法。表15中，「Start_Time」表示立體內容的開始時間，「End_Time」表示立體內容的結束時間。
表15 表16示出根據本發明第三實施例的「sstt」的語法。「Start_Sample_number」表示單像/立體內容開始採樣的號碼或採樣的數量。也就是說，採樣的數量表示與單像或立體相應的全部採樣的數量。這裡，採樣表示視頻的單個幀和多個視頻幀的時間連續序列。
表16 表17示出根據本發明第三實施例的「sstt」的語法。
表17 表17中，當「Stereoscopic_compositiontype」由各種立體構成類型形成時，「Stereoscopic_compositiontype」通過時間來表示內容類型，並具有表18的含義。「End_sample_number」表示立體內容結束採樣數量或採樣的數目。
表18 9.「sesn」(立體ES數量方框) 「sesn」表示從編碼器輸出的基本流的數量。表19示出「sesn」的語法。表19中，「stereoscopic_ESNum」表示從立體內容的編碼操作輸出的基本流的數量。
表9 10.「tref」(軌跡參考方框) 「tref」是在基於ISO的文件格式中定義的，提供用於使一個軌跡能夠參考其他軌跡的信息的方框。「tref」被包括在「track」(軌跡方框)中。表20示出根據本發明實施例的「tref」的語法。這裡，「track_ID」表示將被參考的軌跡的標識。「reference_type」具有表21的含義。
表20 表21 具有雙基本流(ES)的立體視頻包括兩個軌跡，如現有LASeR一樣，作為場景描述與相關於LASeR中的視頻的兩個節點連接。也就是說，根據現有技術，具有兩個ES的立體視頻被識別為兩個對象。然而，因為立體視頻最終被轉換為一個3D視頻格式並在終端中再現，所以立體視頻被識別為一個對象。也就是說，因為立體視頻被轉換為一個3D視頻格式以再現場景，所以雖然使用兩個軌跡來形成立體視頻，但是應該僅使用一個節點來連接立體視頻。如果立體視頻包括兩個ES，則需要具有關於兩個軌跡之間的關係的信息，並且立體軌跡參考信息在如表22所示的「tref」中的「svdp」中被定義和使用。雖然沒有使用LASeR，但是需要使用諸如「svdp」的立體軌跡參考信息以存儲具有兩個ES的立體內容。
如果立體內容包括兩個基本流，則「tref」使兩個軌跡能夠被識別為主軌跡和附加軌跡。此外，「tref」使附加軌跡能夠參考主軌跡並且將立體視頻相關的立體相機和顯示信息僅存儲在軌跡之一中。因此，可去除信息冗餘。此外，雖然立體內容包括兩個軌跡，但是可將軌跡之一與LASeR的一個視頻節點連接。
在本發明中，為了使立體內容能夠支持各種立體圖像構成格式和相機參數，介紹初始立體頭(ishd)的結構。根據本發明實施例，可獨立使用初始立體頭(ishd)中包括的信息。
在具有各種立體格式和相機參數的立體流的情況下，通過「iloc」來識別每個立體流以及每個立體流的開始和長度，並且對每個片段分配item_ID。因此，初始立體頭(ishd)必須基於item_ID提供關於每個立體格式或相機參數的信息。這裡，當立體流包括立體片段和單像片段兩者作為一個序列時，item表示一個立體片段。
如果立體流包括三個立體片段並且每個立體片段包括不同ishd信息，則通過item_ID和其描述信息來識別立體片段。然而，如果三個立體片段具有相同的ishd信息，則第二和第三立體片段包括欄位，該欄位示出第二和第三立體片段包括與第一立體片段相同的ishd信息。這樣的結構可有利地去除初始立體頭(ishd)中包括的信息冗餘。
圖4是示出根據本發明實施例的具有MPEG-4系統信息的立體視頻應用格式(SS-VAF)的示圖，圖5是示出根據本發明實施例的不具有MPEG-4系統信息的立體視頻應用格式(SS-VAF)的示圖。
當一起使用單像內容和立體內容時，需要定界符信息來確定單像內容或立體內容何時開始或結束。可根據單像/立體內容、採樣的2D/3D識別和單像內容和立體內容中包括的採樣(AU)的數量來識別單像內容和立體內容。
圖6到圖8示出支持如圖1的各種內容構成格式的存儲格式的概念性結構。其中的基本結構包括「ftyp」方框、「moov」方框和「mdat」方框。「ftyp」方框定義文件類型。也就是說，「ftyp」方框通過包括代表其是立體內容文件還是單像/立體內容文件的欄位來代表3D內容文件。「moov」方框包括用於再現媒體數據的全部系統(元)信息，並且「mdat」方框包括真實媒體數據。需要基於所示格式的用於立體內容的新的輔助信息，並且根據輔助信息的位置來改變存儲格式的結構。
圖6示出包括具有關於形成3D內容的源的數量的信息和新輔助信息的初始立體頭(ishd)的存儲格式的結構，ishd包括在「moov」方框中。圖6的示圖(a)示出具有一個源的3D內容的存儲格式。如示圖(a)所示，一個幀包括左圖像信息和右圖像信息(例如，並排)。圖6的示圖(b)示出具有兩個源的3D內容的存儲格式。如示圖(b)所示，左圖像信息和右圖像信息中的每一個被單個地包括在相應幀中。根據包括的媒體數據的數量來改變「moov」方框中的軌跡的數量。「moov」方框的軌跡包括用於再現包括在「mdat」方框中的媒體數據的全部系統信息(元信息)。
這樣的存儲格式需要用於新的輔助信息並支持新的輔助信息的結構。在本發明中，新定義了初始立體頭(ishd)並將其包括在「moov」方框的軌跡中。在「moov」方框或存儲格式中，可改變初始立體頭(ishd)的位置。
圖7示出具有「mdat」方框的存儲格式結構，所述「mdat」方框具有關於新定義的初始立體頭的信息。圖7的示圖(a)示出由一個源形成的3D內容的存儲格式，圖7的示圖(b)示出由兩個源形成的3D內容的存儲格式。如圖所示，可通過包括信息來實現存儲格式，所述信息是在「mdat」方框中包括「ishd」流，而維持「moov」方框的典型結構。
圖8是示出包括具有ishd信息的「meta」方框的存儲格式。圖8的示圖(a)示出由一個源形成的3D內容的存儲格式，圖8的示圖(b)示出由兩個源形成的3D內容的存儲格式。
表22示出用於通知「mdat」方框中包括ishd信息的結構。「stsd」(採樣描述)方框中包括這樣的結構。
表22 圖9示出基於圖6到圖8所示結構的具有關於場景描述符的信息的存儲格式。場景描述符用於各種多媒體的場景構成以及與用戶的交互。在本實施例中，LASeR被用作場景描述符。
圖9的示圖(a)示出在「moov」方框中包括用於存儲場景描述符流的附加方框的存儲格式。圖9的示圖(b)示出的存儲格式包括「mdat」方框，具有場景描述符流；「moov」方框，具有用於通知場景描述符流被包括在「mdat」方框中的附加軌跡；以及「stsd」方框，具有關於場景描述符流的信息。也就是說，是關於在軌跡中搜索「stsd」方框，分析哪個信息(場景描述符/視頻/音頻)是通過軌跡來代表的，以及基於分析結果使用存儲在「mdat」方框中的信息來進行解碼。圖9的示圖(c)示出包括具有關於定義的場景描述符的信息的「meta」方框的存儲格式結構。
表23到表25示出支持圖1的全體3D內容構成的ishd結構的實施例。
表23 表24 表25 表23到表25中，「num_MonoStereo_scene」表示當立體內容由2D內容和3D內容一起形成時，場景的數量。「num_MonoStereo_scene」還表示當立體內容由各種3D內容形成時的場景數量。例如，立體內容由2D內容、3D內容和2D內容((2D)(3D)(2D))形成，num_MonoStereo_scene變成3(num_MonoStereo_scene＝3)。如果以並排形式(場順序)形成立體內容，則num_MonoStereo_scene變成2(num_MonoStereo_scene＝2)。此外，如果由單一格式中的3D內容形成立體內容，則num_MonoStereo_scene變成1(num_MonoStereo_scene＝1)。
可將「start_sample_index」用作每個內容的開始採樣標號(即，通用幀標號)或根據每個內容類型而包括的採樣的標號。「numofES」表示「mdat」方框中包括的視頻編碼流的數量。
「Composition_type」表示用於識別2D內容和3D內容的格式的信息。可將「start_sample_index」和「Composition_type」用作用於在支持2D/3D顯示模式的各種3D終端中自動顯示開啟/關閉的基本信息。「Composition_type」具有表26的含義。
表26
「LR_first」表示左圖像和右圖像中具有較高優先權的一個。也就是說，「LR_first」通知左圖像和右圖像中首先編碼的圖像。
「stereoscopicCameraInfo」對象表示用於3D內容的相機參數信息。表27示出「stereoscopicCameraInfo」對象的實施例。根據本發明實施例，可在其他典型方框或新定義的方框中包括根據本實施例的相機參數信息。表27中，當3D內容被產生或攝影時，「StereoscopicCamera_setting」表示相機排列。也就是說，「StereoscopicCamera_setting」表示「平行」和「交叉」中的一個。「Baseline」表示立體相機之間的距離，「Focal_Length」表示從鏡頭到圖像平面的距離。此外，「ConvergencePoint_distance」表示從連接左相機和左相機的基線到匯合點的示圖。
表27 「StereoscopicCameraInfo」對象表示用於顯示3D內容的最小信息。表28示出「StereoscopicCameraInfo」對象的實施例。根據本實施例，可將「StereoscopicCameraInfo」中包括的信息包括在其他典型方框或新定義的方框中。「Max_disparity」表示3D內容的最大視差大小，「Min_disparity」表示3D內容的最小視差大小。
表28 「StereoscopicCameraInfo」和「StereoscopicContentsinfo」中的信息可被表示為附加描述(諸如MPEG-7元數據)並被存儲。
圖10是示出根據本發明實施例的當ES＝1時的SS-VAF的示圖。
「ftyp」方框表示是否包括立體內容。當整個基本流都是3D時，並且當由2D/3D混合流形成基本流時，其被認作立體內容。
當立體內容由2D/3D流形成時，需要2D/3D流的開始信息和長度信息。對於開始信息和長度信息，使用「iloc」方框，該「iloc」方框是基於ISO的文件格式(11496-12)的典型方框。在立體內容的情況下，「iloc」方框提供存儲文件中立體片段的位置。
通過「ishd」方框獲得與區分2D流和3D流相關的信息。如果在2D/3D混合流的情況下雖然包括多個3D流，但是多個3D流是相同的信息(即，如果是單一格式)，則通過參考一個「ishd」信息獲得與3D流相關的信息。
在僅由單一格式的3D流形成的立體內容中，可使用「ishd」方框而不使用「iloc」方框來表示立體數據。此外，當ES＝1時，如果3D流由多重格式形成，則通過「ishd」方框來獲得格式信息，並且可使用「iloc」方框來檢測每個格式的偏移/長度值。
圖11是示出根據本發明實施例的當ES＝2時的SS-VAF的示圖。在ES＝2的情況下，在相應的「trak」方框中包括左流信息和右流信息。由於將立體數據轉換為預定格式並如上所述進行顯示，所以將左流信息和右流信息形成為兩個軌跡。然而，需要示出左流信息和右流信息之間的關係以使該兩個軌跡被識別為一個對象。例如，如果左圖像是主圖像，右圖像是附加圖像，則可通過表示具有右圖像流信息的「trak」方框和具有左圖像流信息的「trak」方框之間的關係的來去除「ishd」方框中的冗餘信息。如果包括在右圖像流信息中的「ishd」中的相機參數和顯示信息與包括在左圖像流信息中的「ishd」中的相機參數和顯示信息完全一樣，則可使用包括在左圖像流信息中的「ishd」中的信息而不利用附加描述。為了表示這樣的關係，在本發明中引入「tref」方框和「svdp」方框。
在存儲為左流和右流的3D流上，當由多重格式的3D流形成時，需要檢測與每個格式相關的3D流的定界符、開始和長度。通過「iloc」方框來獲得開始和長度信息，所述「iloc」方框是基於ISO的文件格式(14496-12)的典型方框。此外，通過「ishd」方框獲得與多重格式的3D流的定界符相關的信息。表29示出根據本發明的實施例的單一格式的「ishd」方框的語法。
表29 「Is_camParams」表示是否存在相機參數，「Is_disInfo」表示是否存在立體內容顯示信息，「Baseline」表示左相機和右相機之間的距離，「focallength」表示從鏡頭到圖像平面(膠片)的距離，並且「convergence_distance」表示從基線的中心到匯合點的距離。基線連接左相機和右相機，匯合點是左相機和右相機的視軸的交叉點。在平行軸相機的情況下，「convergence_distance」具有無限值。為了表示該值，將1分配給所有比特。
此外，當「Is_camera_cross」是「1」時，「Is_camera_cross」表示交叉軸相機，當「Is_camera_cross」是「0」時，「Is_camera_cross」表示平行軸相機。「rotation」表示相機對於對象的位置角度。「translation」表示立體相機是否移動(當所有比特都為0時，沒有立體相機運動)。「MinofDisparity」表示左圖像和右圖像的最小視差大小，「MaxofDisparity」表示左圖像和右圖像的最大視差大小。
表30示出多重格式的「ishd」方框的語法。在多重格式的情況下，「Item_count」表示多個格式的信息的描述的數量。「Item_ID」表示每個格式的整數名稱並且用於識別立體內容中的各種立體格式。這裡，「Item_ID」與「iloc」方框的item_ID一起使用。
表30 以下，將描述高級視頻編碼(AVC)和補充增強信息(SEI)。SEI包括具有與解碼和顯示相關的消息信息的「立體視頻信息SEI」，SEI消息在AVC流內傳輸。
圖12是包含NAL單元的單個視頻基本流的流程圖。圖12的示圖(a)示出包括「立體視頻信息SEI」和「reserved_sei_message」的部分，圖12的示圖(b)示出AVC流中SEI的位置。表31示出「立體視頻信息SEI」消息。
表31 「field_views_flag」表示是否存在基於場的立體流。當「top_field_is_left_view_flag」是「1」時，表示垂直交織格式(左視圖優先)中形成的立體內容，「top_field_is_left_view_flag」是「0」時，表示垂直行交織格式(右視圖優先)中形成的立體內容。當「current_frame_is_left_view_flag」是「1」時，表示當前幀代表左視圖，當「current_frame_is_left_view_flag」是「0」時，表示當前幀示出右視圖。當「next_frame_is_second_view_flag」是「1」時，表示立體圖像由當前幀和下一幀形成，當「next_frame_is_second_view_flag」是「0」時，表示立體圖像由當前幀和先前幀形成。當「left_view_self_contained_flag」是「1」時，表示流被包成獨立流而不與右視圖相關，當「left_view_self_contained_flag」是「0」時，表示流基於與右視圖相關而被包裝。當「right_view_self_contained_flag」是「1」時，表示流被包成獨立流而不與左視圖相關，當「right_view_self_contained_flag」是「0」時，表示流基於與左視圖相關而被包裝。
「立體視頻信息SEI」信息包括「stereoscopic_composition_type」中表32的格式。
表32 以下，將介紹用於服務立體內容的使用典型AVC SEI信息的方法和存儲格式。僅當立體內容通過AVC編碼時可用。
介紹使用「reserved_sei_message」的SS-VAF，SS-VAF作為添加基於典型「立體視頻信息SEI」的每個立體流所需的相機參數和顯示信息。此外，可如表33來擴展和使用「立體視頻信息SEI」。當「Side_by_side_flag」是「1」時，在左圖像優先的情況下在一個幀中形成為左圖像和右圖像。當「Side_by_side_flag」是「0」時，在右圖像優先的情況下在一個幀中形成為左圖像和右圖像。表33中，「C」表示語法的種類，「u(1)」表示使用1比特的「無符號整數」。
表33 表34定義AVC的SEI信息中使用「reserved_sei_message(playloadSize)」的立體相機信息。這裡，可添加其它相機信息。可獨立使用添加的信息。基於此，可獲得用於立體內容的相機參數信息。
表34 表35定義AVC的SEI信息中使用「reserved_sei_message(playloadSize)」以用於顯示立體內容的信息。基於表35中定義的信息，可提取立體內容視差值。
表35 然而，可通過將上述信息組合為一個SEI_message來提供立體相機和顯示信息。
圖13是示出使用立體視頻信息和保留SEI的SS-VAF的示圖。LASeR被有選擇地包括在所示應用格式中。
在立體內容由2D/3D混合流形成的情況下，通過「iloc」方框在3D流片段期間獲得AVC流SEI消息中定義的3D流信息。這裡，3D流信息可包括「立體視頻信息SEI」、「立體相機信息SEI」和「立體顯示信息SEI」。在立體內容僅由單一格式的3D流形成的情況下，可使用AVC流SEI消息中定義的3D流信息來表示立體內容。這裡，3D流信息可包括「立體視頻信息SEI」、「立體相機信息SEI」和「立體顯示信息SEI」。
圖14是示出在ES＝2的情況下，當立體內容包括兩個基本流(ES)並且僅由單一格式立體流形成時的SS-VAF的視圖。在ES＝2的情況下，在每個相應的「trak」方框中包括左流信息和右流信息。這裡，有必要示出左流和右流之間的關係。例如，如果左圖像是主圖像並且右圖像是輔助圖像，則可通過示出包括右圖像流信息的「trak」方框和包括左圖像流信息的另一「trak」方框之間的關係來去除「ishd」信息的冗餘。這樣的關係使用包括在基於ISO文件格式中的「tref」方框。允許描述再現所需的所有trak_ID。因此，利用右圖像流(輔助圖像)中的「trak」中的「tref」來描述所有trak_ID。
表36示出根據本發明實施例的支持各種立體構成格式和相機參數的情況下「ishd」方框的語法。「item_ID」表示定義下一信息的項目的ID，並具有大於1的值。當「current_indicator」是「1」時，表示下一個描述的信息的有效性，當「current_indicator」是「0」時，表示先前描述的信息與下一個描述的信息完全一樣。然而，如果item_ID＝1，則表示沒有信息將被下一個描述。也就是說，終端基於「current_indicator」來確定將被下一個描述的信息的有效性，並當「current_indicator」是「0」時確定將被下一個描述的信息與先前描述的「ishd」信息完全一樣。
此外，「LR_first」表示左圖像和右圖像的參考位置選擇。「Is_camParams」表示是否存在相機參數。「Is_displaySafeInfo」表示是否存在立體內容顯示信息。「Baseline」表示左相機和右相機之間的距離。「focallength」表示CCD到圖像平面(膠片)的距離。當「Is_camera_cross」是「1」時，表示交叉軸相機，當「Is_camera_cross」是「0」時，表示平行軸相機。
表36 此外，「convergence_distance」表示從基線的中心到匯合點之間的距離(在平行相機的情況下「convergence_distance」具有無限值。當所有比特是1時，表示無限距離)。「rotation」表示對於對象的相機位置角度，「translation」表示立體相機的運動(當所有比特是0時，表示沒有立體相機運動)。此外，「VerticalDisparity」表示左圖像和右圖像的垂直視差大小，「MinofDisparity」表示左圖像和右圖像的最小水平視差大小，「MaxofDisparity」表示左圖像和右圖像的最小水平視差大小，「item_count」表示下一陣列中入口的數量。
表37示出根據本發明第一實施例的用於支持各種相機參數的「ishd」方框的語法。這裡，如果立體構成格式相同，則直接參考先前「ishd」信息。此外，可將「ishd」中包括的相機參數和顯示信息分到多個附加方框並存儲。
表37 表38示出根據本發明第二實施例的支持各種相機參數的「ishd」方框的語法。假設立體構成格式相同，則直接參考先前「ishd」。
表38 表39示出根據本發明第三實施例的支持各種相機參數的「ishd」方框的語法。假設立體構成格式相同，則參考預定Item_ID(諸如「cameParams」和「displaysafeInfo」)。
表39中，當「Is_ref」是「0」時，表示沒有參考的相機參數和顯示信息，當「Is_ref」是「1」時，表示存在參考的Item_ID。「current_efIndex」表示參考的Item_ID。
表39 表40示出根據本發明第四實施例的支持各種相機參數的「ishd」方框的語法。假設立體構成格式相同，則「cameParams」和「displaysafeInfo」參考不同Item_ID。
表40 表40中，當「Is_camParamsref」是「0」時，表示不存在參考的相機參數信息，當「Is_camParamsref」是「1」時，表示存在Item_ID。當「Is_displaySafeInforef」是「0」時，表示不存在參考的顯示安全信息，當「Is_displaySafeInforef」是「1」時，表示存在Item_ID。「current_cameraIndex」表示參考的Item_ID，「Current_displayIndex」表示參考的Item_ID。
可將「ishd」方框劃分成用於記錄立體視頻媒體信息的「svmi」方框(立體視頻媒體信息方框)和用於記錄相機參數和顯示信息的「scdi」方框(立體相機和顯示信息方框)。由於「svmi」方框是強制性的而「scdi」方框不是強制性的，所以，將「ishd」方框劃分成「svmi」方框和「scdi」方框以去除不必要的信息是有利的。
「svmi」方框提供立體視覺類型和片段信息。更詳細地，立體視頻媒體信息包括關於立體圖像構成類型的信息、關於左圖像和右圖像之中首先編碼的圖像的信息、當立體內容的基本流從立體片段變為單像片段或從單像片段變為立體片段時關於片段的數量的信息、關於連續採樣的數量或開始採樣標號的計數的信息以及關於當前採樣是否是立體的信息。
「scdi」方框包括關於是否存在相機參數、左相機和右相機之間的距離、左相機和右相機的排列、從主視圖相機到子視圖相機的相對角度以及左圖像和右圖像之間的最大視差和最小視差的信息。表41示出根據本發明實施例的「scdi」方框的語法。
表41 如上所示，可通過「tref」方框(軌跡參考方框)來去除包括在每個軌跡中的「scdi」信息的冗餘。當ES＝2時，每個軌跡的「iloc」方框劃分立體片段以提供「scdi」信息。這裡，每個軌跡的立體片段具有相同的item_ID和完全一樣的相機參數以及顯示信息。通過「svdp」和「tref」將基本流劃分為主/輔助軌跡。雖然僅在一個軌跡中包括「iloc」方框，但是當執行3D顯示時可通過利用立體片段同步「iloc」方框來再現「iloc」方框。
還可通過「tref」方框來去除包括在每個軌跡中的相同立體視頻媒體信息(「svmi」)的冗餘。在通過「ftyp」方框識別出立體內容後，通過「tref」方框的「svdp」方框來劃分主/輔助軌跡。如果一個軌跡包括「svmi」方框，則可自動識別另一軌跡。由於「svmi」方框是強制性的，所以可將其包括在主/輔助軌跡。可將「svmi」方框僅包括在主軌跡。
圖15是示出根據本發明實施例的當ES＝2時的SS-VAF的示圖。如圖15所示，SS-VAF包括「svmi」方框和「scdi」方框。
當立體內容包括兩個基本流(ES)時，包括兩個軌跡(「trak」)。可將其劃分成主軌跡和輔助軌跡。因此，使用輔助軌跡中的「tref」的「svdp」來參考主軌跡，並提供相關的「scdi」信息中包括的信息。這樣的結構具有的優點是能夠去除包括在每個軌跡中的相同「scdi」信息的冗餘。這裡，track_ID表示參考軌跡的ID。如果參考類型是「svdp」，則也可表示軌跡包括用於參考軌跡的立體相機和顯示信息。
在用戶利用3D顯示模式觀看預定圖像的同時，當用戶將3D顯示模式改變為2D顯示模式時，可通過在終端顯示與主軌跡相關的圖像來滿足2D顯示模式。同時，可在具有兩個基本流的軌跡中的基本流的中間呈現相同的單像數據。單像數據中，在兩個軌跡中存儲相同的內容。因此，單像數據是不能作為3D來顯示的數據。在這種情況下，終端必須決定兩個軌跡中的一個以顯示其單像數據。終端對與根據本實施例劃分的主軌跡相關的圖像進行顯示。
當立體視頻的基本流是兩個時，呈現兩個軌跡。通過諸如現有LASeR的場景描述符將立體視頻識別為兩個對象，並且立體視頻被連接到LASeR中的兩個視頻相關節點。然而，必須將立體視頻轉換為一個3D視頻格式並且最終在終端中進行再現。因此，必須通過LASeR將立體視頻識別為一個對象。也就是說，由於需要將立體視頻轉換為一個3D視頻格式以再現立體視頻的場景，所以立體視頻與使用的一個節點連接。根據本發明，使用「tref」中的「svdp」將立體視頻劃分成主/輔助軌跡，並且LASeR中的視頻相關節點僅連結與主軌跡或媒體流相應的「trak」ID。
圖16是示出根據本發明實施例的將立體內容存儲為基於ISO的媒體文件格式的方法的流程圖。首先，在步驟S1602中，將目標立體內容存儲在基於ISO的媒體文件格式的「mdat」方框。隨後，在步驟S1604和S1606中，將立體視頻媒體信息以及立體內容的立體相機和顯示信息存儲在「moov」方框中作為立體內容的元數據。
圖17是示出根據本發明另一實施例的將立體內容存儲在基於ISO的媒體文件格式中的方法的流程圖。首先，在步驟S1702中，將目標立體內容存儲在基於ISO的媒體文件格式的「mdat」方框。隨後，在步驟S1704中，如果立體內容包括兩個基本流，則用於將基本流劃分成主軌跡和輔助軌跡的信息被存儲在基於ISO的媒體文件格式的「tref」方框中。隨後，在步驟S1706中，存儲用於立體內容的LASeR，該LASeR具有僅與主軌跡連結的視頻相關節點。這裡，未使用與LASeR連結的部分，僅使用「tref」。
圖18是示出根據本發明另一實施例的存儲立體內容的方法的流程圖。這裡，使用上述AVC SEI存儲立體內容。首先，在步驟S1802中，存儲通過AVC編碼的立體內容。隨後，在步驟S1804中，使用「reserved_sei_message」存儲立體內容的每個流所需的相機參數和顯示信息。
這裡，「立體視頻信息SEI」附加地包括表示立體圖像構成是「並排」類型的信息。相機參數包括下述中的至少一個左相機和右相機之間的距離、左和右相同的焦點長度(focal_length)、基線到匯合點之間的距離、當左相機和右相機互相交叉時左相機和右相機的旋轉和平移(translation)。顯示信息包括左圖像和右圖像之間的最大視差和最小視差。
發明模式 如上所述，可將本發明的技術實現為程序並存儲在計算機可讀記錄介質中，諸如CD-ROM、RAM、ROM、軟盤、硬碟和磁-光碟。由於本發明領域中的技術人員能容易地實現所述過程，所以將不在此進行進一步的描述。
雖然關於特定實施例描述了本發明，但是本領域技術人員應該清楚，在不脫離由權利要求限定的本發明的精神和範圍的情況下，可對其進行各種改變和調整。
權利要求
1.一種存儲立體內容的方法，包括
將與立體內容的片段信息相關的立體視頻媒體信息存儲為現該立體內容所需的元數據信息；以及
存儲所述立體內容的基本流。
2.如權利要求1所述的方法，其中，將立體視頻媒體信息定義為媒體文件格式的附加方框並加以存儲。
3.如權利要求1所述的方法，還包括
將立體內容的立體相機和顯示信息存儲為現該立體內容所需的元數據信息，
其中，將所述立體相機和顯示信息定義為媒體文件格式的附加方框並加以存儲。
4.如權利要求1所述的方法，其中，所述立體視頻媒體信息包括立體圖像構成類型信息。
5.如權利要求4所述的方法，其中，所述立體圖像構成類型信息包括表示「並排」、「幀順序」和「左/右圖像序列」中的至少一個的信息。
6.如權利要求1所述的方法，其中，當立體內容的基本流從立體片段變為單像片段時以及當立體內容的基本流從單像片段變為立體片段時，立體視頻媒體信息包括關於改變的片段的數量的信息。
7.如權利要求1所述的方法，其中，立體視頻媒體信息包括對連續單像或立體採樣的數量進行計數的信息。
8.如權利要求1所述的方法，其中，立體視頻媒體信息包括對連續單像或立體開始採樣的數量進行計數的信息。
9.如權利要求1所述的方法，其中，立體視頻媒體信息包括關於當前採樣是否是立體的信息。
10.如權利要求3所述的方法，其中，立體相機和顯示信息包括關於如下中的至少一個的信息相機參數是否存在、左相機和右相機之間的距離、左相機和右相機的排列、左/右相同焦點長度、基線到匯合點的距離以及左/右相機平移。
11.如權利要求3所述的方法，其中，立體相機和顯示信息包括左圖像和右圖像之間的最大視差和最小視差。
12.如權利要求1所述的方法，其中，使用基於國際標準化組織的媒體文件以執行所述方法。
13.如權利要求12所述的方法，其中，在立體相機和顯示信息中，用於識別立體片段的項目ID與項目位置方框聯動使用。
14.一種存儲立體內容的文件格式結構，包括
媒體數據方框，用於存儲立體內容的基本流；以及
用於存儲與立體內容的片段信息相關的立體視頻媒體信息的方框。
15.如權利要求14所述的文件格式結構，還包括
軌跡參考方框，當立體內容包括多於兩個基本流時，用於將基本流劃分成主軌跡和輔助軌跡。
全文摘要
提供一種存儲立體內容的方法。所述方法包括將與立體內容的片段信息相關的立體視頻媒體信息存儲為再現該立體內容所需的元數據信息，並存儲立體內容的基本流。
文檔編號H04N13/00GK101803394SQ200880025524
公開日2010年8月11日 申請日期2008年6月19日 優先權日2007年6月19日
發明者尹國鎮, 曹叔嬉, 許南淏, 金鎮雄, 李壽寅 申請人:韓國電子通信研究院