圖像信號復用裝置和方法、分解裝置和方法及傳輸媒體的製作方法
2023-09-21 14:05:10
專利名稱：圖像信號復用裝置和方法、分解裝置和方法及傳輸媒體的製作方法
技術領域：
本發明涉及一種圖像信號復用裝置和方法、圖像信號分解裝置和方法及傳輸媒體，尤其涉及這樣一種圖像信號復用裝置和方法、圖像信號分解裝置和方法及傳輸媒體，該圖像信號復用裝置和方法、圖像信號分解裝置和方法及傳輸媒體能夠將數據記錄在如磁光碟和磁帶這樣的記錄介質上並從這樣的記錄介質中再現該數據以在顯示器上顯示；能夠將數據經一傳輸路徑從發送側傳輸到接收側以在如電話會議系統、電視電話系統、廣播設備、多媒體資料庫查詢系統等這樣的接收側進行顯示、編輯和記錄操作。
背景技術：
在將運動圖像信號傳輸到遠距離地點的系統中，例如電話會議系統。電視電話系統或類似系統中，利用圖像信號的線性相關和幀間相關對圖像信號進行壓縮編碼以有效地利用傳輸路徑。
另外，近些年來，隨著計算機處理性能的提高，使用計算機的運動圖像信息終端變得越來越普遍。在這樣的系統中，信息通過網絡這樣的傳輸路徑傳送到遠距離地點。類似地，在這種情況下，將要被傳輸的如圖像信號、音頻信號這樣的信號和數據被壓縮編碼以進行傳輸，從而有效地利用傳輸路徑。
在終端側，發送到該側的壓縮信號按照預定的方法進行解碼以恢復成原始的圖像信號、音頻信號、和數據等，恢復的原始的圖像信號、音頻信號、和數據等輸出到終端所提供的顯示器、揚聲器等裝置。在現有技術中，傳送的圖像信號等原樣僅輸出到顯示裝置，而在基於計算機的信息終端中，多個這樣的圖像信號、音頻信號和數據在它們被轉換後可以在二維或三維空間中顯示。通過在發送側以預定的方法描述關於二維和三維空間的信息和對例如圖像信號執行預定轉換處理以在一個終端處按照該描述進行顯示，從而可以實現上述處理過程。
描述上述空間信息的代表性方案比如是VRML(虛擬實境模塊化語言)。該方案已在ISO-IEC_JTC1/SC24中被標準化，在ISI4772中描述了它的最近版本VRML2.0。VRML是描述三維空間的一種語言，其中定義了一個數據集來描述三維空間的屬性、形狀等。這個數據集稱作一個節點。對三維空間的描述涉及到描述這些預定義的節點是如何合成的。對於一個節點，定義了表示如顏色、紋理等屬性的數據和表示多邊形形狀的數據。
在基於計算機的信息終端，按照如上所述的如VRML的描述，使用多邊形等由CG(計算機圖形學)生成一個預定的目標。利用VRML，可以將紋理映射到由這樣生成的多邊形所構成的三維目標上。當一個紋理映射為一個靜止圖像時，定義一個稱作紋理(Texture)的節點；而當一個紋理映射為一個運動畫面時，定義一個稱作影片紋理(Movie Texture)的節點，其中在該節點中描述了關於要被映射的紋理的信息(文件名、播放開始時間和結束時間等)。
這裡，將參照
圖14描述紋理的映射(下文中稱作紋理映射)。要被映射的紋理(圖像信號)和代表它的透明度的信號(鍵信號)以及三維目標信息從外部輸入，並存儲在一組存儲器151的預定存儲區域中。該紋理存儲在紋理存儲器152中；代表透明度的信號存儲在灰度級存儲器153中；三維目標信息存儲在三維信息存儲器154中。此處，三維目標信息涉及多邊形形狀的信息、亮度信息等。
再生電路155利用記錄在存儲器組151中的基於預定三維目標信息的多邊形形成三維目標。再生電路155根據三維目標信息從存儲器152和存儲器153中讀取預定的紋理和表示其透明度的信號，並將紋理映射到三維目標。代表透明度的信號表示在相應位置處的紋理的透明度，從而表示在相應位置處的紋理映射到的位置上的目標的透明度。再生電路155向二維變換電路156提供表示映射有紋理的目標的信號。該二維變換電路156根據從外部輸入的視點信息，通過將三維目標映射到二維平面上，依次將三維目標變換為二維圖像信號。被變換為二維圖像信號的三維目標還輸出到外部。該紋理可以是靜止圖像或運動畫面。在運動畫面的情況下，每次改變要被映射的運動畫面的圖像幀，都要執行上述的操作。
VRML也支持壓縮圖像格式，如對於靜止圖像的高效編碼方案JPEG(聯合攝影專家組)，和作為要被映射的紋理的格式的運動畫面編碼方案的MPEG(運動畫面專家組)。在這種情況下，根據預定的壓縮方案，通過解碼處理操作解碼紋理(圖像)，並且該解碼的圖像信號記錄在存儲器組151的存儲器152中。
在再生電路155中，記錄在存儲器152中的紋理的映射不考慮圖像是何種格式，不論是運動畫面還是靜止圖像或其內容。在任意時刻，只有存儲在存儲器中的一個紋理能夠映射到某一多邊形，從而多個紋理不能夠映射到一個多邊形上。
當這樣的三維信息和紋理信息經傳輸路徑傳送時，該信息在傳送前必須被壓縮從而有效地利用傳送路徑。特別是，當運動畫面被映射到三維目標和在其它類似情況下時，在傳送之前壓縮運動畫面是必不可少的。
例如，在ISO-IEC/JTC1SC2/WG11中討論過並被作為標準議案提出的上述MPEG方案，和已經採用的作為運動補償差分脈衝編碼調製和DCT(離散餘弦變換)編碼組合的混合方案。MPEG定義了支持多種應用和功能的多個框架(profile)和級別。最基本的一個是主要框架主要級別(MP@ML)。
參照圖15描述一個MPEG方案的MP@ML的編碼器的示意性結構。首先，一輸入的圖像信號輸入到幀存儲器組1，並以一預定順序存儲。要被編碼的圖像數據輸入到以宏數據塊為單元的運動矢量檢測器電路2。該運動矢量檢測器電路2按照預先設定的預定順序將每幀的圖像數據處理成I畫面、P畫面或B畫面。已經預先確定了順序輸入的各幀的圖像是否應被處理成I-、P-還是B-畫面(例如以I、B、P、B、P、…B、P的順序處理)。
運動矢量檢測器電路2參照預先定義的預定的參考幀執行運動補償以檢測其運動矢量。運動補償(幀間預測)有三種模式前向預測、後向預測和雙向預測。P-畫面的預測模式只是前向預測，而B畫面的預測模式有三種類型，即前向預測、後向預測和雙向預測。運動矢量檢測器電路2選擇使預定誤差最小化的預定模式，並用選擇的預測模式產生預定矢量。
在這種情況下，例如將預測誤差與要被編碼的宏數據塊的變化進行比較，從而當宏數據塊的變化是小的時候，不對該宏數據塊執行預測，而是執行幀內編碼。在這種情況下，預測模式是圖像內編碼(幀內)。該運動矢量和預測模式輸入到可變長度編碼器電路6和運動補償電路12。
運動補償電路12根據輸入的運動矢量產生預測圖像數據，並將預測的圖像數據輸入到計算電路3。該計算電路3計算要被編碼的宏數據塊的值與預測圖像的值之間的差值數據，並輸出該差值數據到DCT電路4。在宏數據塊內，計算電路3輸出要被編碼的宏數據塊的信號本身到DCT電路4。
該DCT電路4時輸入信號執行DCT(離散餘弦變換)操作，該輸入信號被變換為DCT係數。該DCT係數輸入到量化電路5，該量化電路5用與傳輸緩衝器7中存儲的數據量(緩衝器存儲量)相對應的量化步長對DCT係數進行量化操作，然後，將量化數據輸入到可變長度編碼器電路6。
可變長度編碼器電路6按照從量化電路5輸入的量化步長(尺度)，將從量化電路5提供的量化數據變換為可變長度代碼，如霍夫曼碼，並將可變長度代碼輸出到傳輸緩衝器7。可變長度編碼器電路6還輸入由量化電路5饋送的量化步長(尺度)，和由預定矢量檢測器電路2饋送的預測模式(已經設定了表示圖像內預測、前向預測、後向預測和雙向預測的模式)以及運動矢量，其中該量化步長、預測模式和運動矢量都是可變尺度編碼的。
該傳輸緩衝器7臨時存儲輸入到傳輸緩衝器7的編碼的數據，並將對應於存儲量的數據輸出到量化電路5。當保留的數據量增加到可以允許的上限值時，傳輸緩衝器7通過量化控制信號增加量化電路5的量化尺度以降低量化數據的數據量。反之，當保留的數據量降低到可以允許的下限值時，傳輸緩衝器7通過量化控制信號減小量化電路5的量化尺度以增加量化數據的數據量。以這種方式，傳輸緩衝器7防止上溢和下溢。然後，按照預定時序讀出傳輸緩衝器7中存儲的編碼的數據，並以位流的形式輸出到傳輸路徑。另一方面，從量化電路5輸出的量化數據輸入到去量化電路8，並按照由量化電路5輸送的量化步長進行去量化操作。去量化電路8的輸出數據(由去量化得到的DCT係數)輸入到IDCT(逆DCT)電路9。該IDCT電路9對輸入的DCT係數進行逆DCT操作，並將得到的輸出數據(差值數據)輸送到計算電路10。計算電路10將該差值數據與來自運動補償電路12的預測圖像數據相加，並將產生的輸出圖像數據存儲到幀存儲器(FM)11中。在宏塊內，該計算電路10將來自IDCT電路9的輸出數據本身輸送到幀存儲器11。
下面，參照圖16描述MPEG的MPML的解碼器的示意性結構。經由傳輸路徑傳送的編碼的圖像數據(位流)由接收電路(未示出)接收，由再生單元再生該編碼的圖像數據，並暫時存儲在接收緩衝器21中，然後作為編碼的數據輸送到可變長度解碼器電路22。該可變長度解碼器電路22對由接收緩衝器21輸送的編碼的數據進行可變長度解碼操作，並分別將運動矢量和預測模式輸出到運動補償電路27，將量化步長輸出到去量化電路23，然後將解碼的量化的數據輸出到去量化電路23。
去量化電路23按照由從可變長度解碼器電路22輸送的量化步長對由可變長度解碼器電路22輸送的量化數據進行去量化操作，並將輸出數據(由去量化得到的DCT係數)輸出到IDCT電路24。從去量化電路23輸出的該輸出數據(DCT係數)在IDCT電路24中經過逆DCT處理，並將輸出數據輸送到計算電路25。
當從IDCT電路24輸出的輸出數據是關於I畫面的數據時，其輸出數據是作為圖像數據從計算電路25輸出，並輸送到和存儲在幀存儲器組26中以生成後面將要輸入到計算電路25的圖像數據的預測圖像數據(關於P畫面或B畫面的數據)。該圖像數據自身還作為再現圖像輸出到外部。另一方面，當從IDCT電路24輸出的數據是P畫面或B畫面時，運動補償電路27按照從可變長度解碼器電路22輸送的運動矢量和預測模式從存儲在幀存儲器中的圖像數據產生預測圖像數據，並輸出該預測圖像數據到計算電路25。該計算電路25將從IDCT電路24輸入的輸出數據(差值數據)與從運動補償電路27輸送的預測圖像數據相加以導出輸出圖像數據。另一方面，計算電路25的輸出數據作為預測圖像數據與P畫面一起存儲在幀存儲器組26中，並用作下一步解碼的圖像信號的參考圖像。
除了MPML外，在MPEG中定義了多種框架和級別，並為其提供了多種工具。可量測性(scalability)就是其中一種這樣的工具。另外，可量測編碼方案已經引入到用於實現對應不同圖像尺寸和幀速率的可量測性的MPEG中。例如，利用空間可量測性，當只解碼下層的位流時，解碼圖像尺寸小的圖像信號，而當解碼下層和上層的數據流時，解碼圖像尺寸大的圖像信號。
按照圖17描述空間可量測性的編碼器。在空間可量測性的情況下，下層對應圖像尺寸小的圖像信號，而上層對應圖像尺寸大的圖像信號。
下層的圖像信號首先輸入到幀存儲器組1，並以與MPML類似的方式編碼。然而，計算電路10的輸出數據輸送到幀存儲器組11，並且不僅用作下層的預測圖像數據而且在其由圖像放大電路31放大到與上層圖像尺寸一樣大小後還用作上層的預測圖像數據。
上層的圖像信號首先輸入到幀存儲器組51。運動矢量檢測器電路52以與MPML類似的方式確定運動矢量和預測模式。運動補償電路62按照由運動矢量檢測器電路52確定的運動矢量和預測模式產生預測圖像數據，並輸出預測的圖像數據到加權電路34。該加權電路34將預測圖像數據乘以權重係數W，並輸出加權的預測圖像數據到計算電路33。
該計算電路10的輸出數據(圖像數據)輸入到幀存儲器組11和圖像放大電路31，如上所述。圖像放大電路31放大由計算電路10生成的圖像數據以產生與上層的圖像尺寸相同大小的圖像數據，並輸出放大的圖像數據到加權電路32。該加權電路32將來自圖像放大電路31的輸出數據乘以權重係數(1-W)，並將產生數據作為加權預測圖像數據輸出到計算電路33。
計算電路33將加權電路32的輸出數據與加權電路34的輸出數據相加，並將產生的數據作為預測圖像數據輸出到計算電路53。計算電路33的輸出數據還輸入到計算電路60，與逆DCT電路59的輸出數據相加，然後輸入到幀存儲器組61。其後，該輸出數據用作要被編碼的圖像數據的預測參考數據幀。計算電路53計算要被編碼的圖像數據與計算電路33的輸出數據(預測圖像數據)之間的差值，並將結果作為差值數據輸出。然而，在幀內編碼的宏塊中，計算電路53將要被編碼的圖像數據自身輸出到DCT電路54。
DCT電路54對計算電路53的輸出數據進行DCT(離散餘弦變換)處理以產生DCT係數，並將DCT係數輸出到量化電路55。量化電路55，如在MPML的情況下一樣，按照由存儲在傳輸緩衝器57中的數據量或類似數據量確定的量化尺度對DCT係數進行量化，並輸出量化的數據到可變長度編碼器電路56。該可變長度編碼器電路56對量化的數據(量化的DCT係數)進行可變長度編碼，然後作為上層位流經傳輸緩衝器57輸出。
利用量化電路55中使用的量化尺度，由去量化電路58對量化電路55的輸出數據進行去量化。去量化電路8的輸出數據(去量化得到的DCT係數)輸送到IDCT電路59，經過IDCT電路59的逆DCT處理，然後被輸入到計算電路60。該計算電路60將計算電路33的輸出數據與逆DCT電路59的輸出數據(差值數據)相加，並將輸出數據輸入到幀存儲器組61。
另外，由運動矢量檢測器電路52檢測的運動矢量和預測模式、量化電路55中使用的量化尺度、加權電路34和32中使用的權重係數W都饋送到可變長度編碼器電路56，其中運動矢量和預測模式、量化尺度和權重係數W中的每一個都被進行了編碼並以編碼數據的形式輸送到緩衝器57。編碼的數據以位流的形式經緩衝器57傳輸。
下面，參照圖18描述空間可量測性的解碼器的例子。在輸入到接收緩衝器21後，下層的位流以與MPML類似的方式解碼。計算電路25的輸出數據輸出到外部，並且還存儲在幀存儲器組26中，不僅用作後續解碼的圖像數據的預測圖像數據，而且在經由圖像信號放大電路81放大到與上層圖像信號的圖像尺寸同樣大小後用作上層的預測圖像數據。
上層的數據流經接收緩衝器71輸送到可變長度解碼器電路72，並且解碼可變長度代碼。此時，量化長度、運動矢量、預測模式和加權係數與DCT係數一起被解碼。利用解碼的量化尺度，在去量化電路73中對可變長度解碼器電路72解碼的量化數據進行去量化操作，然後該DCT係數(由去量化得到的DCT係數)輸送到IDCT電路74。然後，該DCT係數經IDCT電路74的逆DCT處理，並且輸出數據輸送到計算電路75。
運動補償電路77按照解碼的運動矢量和預測模式產生預測的圖像數據，並且輸入該預測的圖像數據到加權電路84。該加權電路84將運動補償電路77的輸出數據乘以解碼的權重係數W，並將加權後的輸出數據輸出到計算電路83。
計算電路25的輸出數據作為下層的再現圖像數據輸出，並輸出到幀存儲器組26，同時通過圖像信號放大電路81放大到與上層的圖像尺寸同樣的大小，並輸出到加權電路28。該加權電路82使用解碼的權重係數W，將圖像信號放大電路81的輸出數據乘以(1-W)，並輸出加權的輸出數據到計算電路83。
該計算電路83將加權電路84的輸出數據與加權電路82的輸出數據相加，將相加結果輸出到計算電路75。計算電路75將IDCT電路74的輸出數據與計算電路83的輸出數據相加，將相加結果作為上層的再現圖像輸出，並且將其輸送到幀存儲器組76以作為後面要被解碼的圖像數據的預測圖像數據。
到目前為止，已經描述了亮度信號的處理，色差信號的處理與其類似。然而，在此情況下使用的運動矢量是將亮度信號的運動矢量分為垂直和水平方向得到的運動矢量。以上描述了MPEG方案，對運動畫面而言，多種其它高效編碼方案已經被標準化。例如，ITU-T定義的稱為H.261和H262的主要用於面向通信的編碼方案。H.261和H263中的每一個都是基本類似於MPEG方案的運動補償差分脈衝編碼調製和DCT變換編碼的組合，因此，雖然像標題信息這樣的細節不同，但是類似的編碼器和解碼器還可以使用。
另外，在上述的MPEG方案中，一個稱作MPEG4的針對運動畫面信號的新的係數編碼方案已經被標準化。MPEG4的主要特徵在於一個圖像可以以目標(一個圖像被分為多個子圖像以進行編碼)為單元進行編碼和處理。在解碼側，各目標的圖像信號，即多個圖像信號被合成以重新構成單幅圖像。
將多個圖像合成單幅圖像的圖像合成系統採用，例如稱作色鍵的方法。這種方法在如藍色這樣的特別均勻的顏色的背景前捕獲一預定對象，提取除了藍色背景以外的區域，將所提取的區域合成到另一圖像中。表示這種情況下所提取的區域的信號稱作鍵(Key)信號。
下面，參照圖19描述對一合成的圖像進行編碼的方法。圖像F1代表背景，而圖像F2代表前景。前景F2是通過捕獲背景之前特殊顏色的圖像並提取除了該顏色的背景以外的區域得到的圖像。在這種情況下，表示所提取的區域的信號是鍵信號K1。合成的圖像F3是通過將F1、F2、K1合成得到的。為了編碼這幅圖像，F3自身一般按照如MPEG這樣的編碼方案進行編碼。在這種情況下，丟失了如鍵信號這樣的信息，因此再編輯和再合成這些圖像，比如只改變背景F1而前景F2維持不變，是困難的。
另一方面，通過對圖像F1、F2和鍵信號K1分別進行編碼並復用各位流，可以構成圖像F3的位流，如圖20所示。
圖21所示為一種通過以與圖20類似的方式解碼一構成的位數據流而生成一合成圖像F3的方法。該位流分解成各分離的位流F1、F2和K1，解碼各位流以生成解碼的圖像F1』、F2』和解碼的鍵信號K1』。在此情況下，F1』、F2』可以按照鍵信號進行合成以生成解碼的合成圖像F3』。在這種情況下，可以實現再編輯和再合成這些圖像比如只改變背景F1而前景F2維持同樣的位流不變。
在MPEG4中，各圖像序列如構成合成圖像的圖像F1、F2如上所述稱作VO(視頻對象)。此外，在某一特定時間上的一個VO的視頻幀稱作VOP(視頻對象平面)。該VOP由亮度和色差信號及鍵信號構成。一圖像幀涉及在預定時間處的圖像，圖像序列涉及在不同時間處的圖像幀集。換句話說，每個VO是不同時間處的圖像幀集。各VO具有與時間相關的不同尺寸和位置。即，即便屬於同一VO的各VOP也可能在尺寸和位置上有所不同。
圖22和圖23示出如上所述的以目標為單元編碼和解碼圖像的編碼器和解碼器的結構圖。圖22是編碼器的例子。一輸入圖像信號首先輸入到VO構成電路101。該VO構成電路101將輸入圖像劃分為各目標，並輸出代表各目標(VO)的圖像信號。每個代表VO的圖像信號由圖像信號和鍵信號構成。從VO構成電路101輸出的該圖像信號以逐個VO為單位分別輸出到VOP構成電路102-0到102-n。例如，VO0的圖像信號和鍵信號輸入到VOP構成電路102-0；VO1的圖像信號和鍵信號輸入到VOP構成電路102-1；接著，類似地VOn的圖像信號和鍵信號輸入到VOP構成電路102-n。
在VO構成電路101中，例如，當圖像信號從色鍵生成時，如圖20所示，其VO由各圖像信號和一鍵信號原樣構成。對於失去鍵信號或已丟失鍵信號的圖像，該圖像被劃分為多個區域，一預定區域被提取，並且產生一鍵信號以構成VO。VOP構成電路102-0到102-n的每一個從相關圖像幀提取一包括有圖像內的一目標的最小矩形部分。然而，在這種情況下，矩形部分內的象素數應在水平和垂直方向上是16的倍數。VOP構成電路102-0到102-n的每一個從上述矩形中提取圖像信號(亮度和色差信號)和鍵信號，並將其輸出。此外，輸出絕對坐標系中表示每個VOP大小(VOP Size)的標誌和表示VOP位置(VOP POS)的標誌。VOP構成電路102-0到102-n的輸出信號分別輸入到VOP編碼器電路103-0到103-n，並被編碼。VOP編碼器電路103-0到103-n的輸出輸入到復用電路104，並被彙編成作為位流輸出到外部的單個位流。
圖23示出解碼器的例子。一個復用的位流通過分解電路111分解成分開的各VO的位流。各VO的位流分別輸入到VOP解碼器電路112-0到112-n，並在VOP解碼器電路112-0到112-n中解碼。VOP解碼器電路112-0到112-n的每一個對圖像信號和鍵信號、表示大小(VOP大小)的標誌、表示有關VOP的在絕對坐標系中的位置(VOP POS)的標誌進行解碼，並將它們輸入到圖像重建電路113。圖像重建電路113利用圖像信號、鍵信號、表示大小(VOP大小)的標誌、表示各VOP的在絕對坐標系中的位置(VOP POS)的標誌合成圖像，並輸出一再現的圖像。下面，參照圖24描述VOP編碼器電路103-0(其餘VOP編碼器電路103-1到103-n的結構與其類似)的例子。組成每個VOP的圖像信號和鍵信號分別輸入到一圖像信號編碼器電路121和一鍵信號編碼器電路122。圖像信號編碼器電路121按照如MPEG方案和H.263執行編碼處理。鍵信號編碼器電路122按照如DPCM等執行編碼處理。另外，為了編碼該鍵信號，提供了一種方法，藉助該方法使用由圖像信號編碼器電路121檢測的運動矢量執行運動補償以編碼一差值信號。由鍵信號編碼生成的位量輸入到圖像信號編碼器電路121從而達到預定的比特率。
編碼的圖像信號的位流(運動矢量和紋理信息)和鍵信號的位流輸入到復用電路123，該復用電路123將這些位流復用為單個位流，並將復用的位流經傳輸緩衝器124輸出。
圖25示出VOP解碼器電路112-0(其餘VOP解碼器電路112-1到112-n的結構與其類似)的結構。位流首先輸入到分解電路131並被分解為圖像信號的位流(運動矢量和紋理信息)和鍵信號的位流，該圖像信號的位流和鍵信號的位流是分別由圖像信號解碼器電路132和鍵信號解碼器電路133解碼的。在這種情況下，當由運動補償編碼的鍵信號被編碼時，由圖像信號解碼器電路132解碼的運動矢量輸入到鍵信號解碼器電路133以用於解碼。
以上描述了以逐個VOP為單位的圖像編碼的方法，這樣的一種方案在標準化過程中成為ISO-IEC/JTC1/SC29/WG11的MPEG4。如上所述的一種有效地編碼各VOP的方法目前還沒有完善建立，並且如可量測性這樣的功能目前還沒有完善。
以下部分，將描述上述的以目標為單位對圖像進行可量測編碼的方法。如上所述，再生電路155將存儲在存儲器152中的紋理(不論其是何種格式)映射為運動畫面或靜止圖像及其內容。在任何時候，存儲在存儲器中的紋理只有一個能夠被映射為多邊形，從而多個紋理不能映射為一個象素。在許多情況下，一幅圖像以壓縮形式傳輸，從而在終端側解碼壓縮的位流，然後存儲在預定的存儲器中以進行紋理映射。
在現有技術中，在任何時刻通過解碼位流只有一個如下信號生成。例如，當在MPEG中符合MPML的位流被解碼時，單個圖像序列被解碼。另外，在MPEG2中的可量測性的情況下，當下層位流被解碼時生成低圖像質量的圖像，而當下層和上層的位流被解碼時生成高圖像質量的圖像信號。在任何情況下，一個圖像序列作為一個序列解碼。
然而，在如以目標為單位對圖像進行編碼的MPEG4這樣的方案中，會發生不同的情況。尤其是，單個目標可以是由多個位流構成的，在這種情況下，多個圖像可以是每個位流生成的。因此，紋理不能映射到VRML等描述的三維目標上。為了解決這個問題，設想一個VRML節點(多邊形)分配一個圖像目標(VO)。例如，可以這樣考慮，在圖21的情況下，背景F1』分配一個節點，前景F2』和鍵信號K1』分配一個節點。然而，當一個圖像目標由多個位流構成時，解碼時從多個位流生成多個圖像，接著又產生問題。參照圖26到31描述該問題。採用三層可量測編碼作為例子。在三層可量測編碼中，除了下層(基層)外，存在兩個上層，即第一上層(增強層1，後文中稱作上層1)和第二上層(增強層2，後文中稱作上層2)。與解碼到第一上層生成的圖像相比，解碼到第二上層生成的圖像提高了圖像質量。這裡，在空間可量測編碼的情況下，提高圖像質量涉及到空間解析度；在臨時可量測編碼的情況下，提高圖像質量涉及到幀速率；在SNR(信噪比)可量測編碼的情況下，提高圖像質量涉及到圖像的SNR。
在對以目標為單元對圖像進行編碼的MPEG4中，第一上層與第二上層之間的關係定義如下(1)第二上層包括第一上層的整個區域；(2)第二上層與第一上層的部分區域對應；(3)第二上層與比第一上層寬的區域對應。當執行三或更多層的可量測性編碼時存在關係(3)。這是在第一上層與下層部分區域對應和第二上層包括下層的整個區域的情況，或是第一上層與下層部分區域對應和第二上層與比第一上層寬的區域對應，並對應於下層的部分區域的情況。在關係(3)中，當解碼解到第一上層時，只有在下層的部分圖像中的圖像質量得到提高；而當解碼解到第二上層時，在下層的圖像的整個區域或更寬區域中的圖像質量得到提高。在關係(3)中，VOP具有矩形或任何任意形狀。
圖26到31示出了三層空間可量測性編碼的例子。圖26示出關係(1)中空間可量測性的例子，其中VOP均是矩形。圖27示出關係(2)中空間可量測性的例子，其中VOP是矩形。圖28示出關係(3)中空間可量測性的例子，其中所有層的VOP都是矩形。圖29示出關係(3)中空間可量測性的例子，其中第一上層的VOP是任意形狀，下層和第二上層的VOP都是矩形。圖30和31都是關係(1)中空間可量測性的例子，其中VOP分別是任意形狀和矩形。
如圖26所示，當提高整個圖像的圖像質量時，具有最高圖像質量的圖像只需在如常規的MPEG2這樣的可量測性編碼的情況下顯示。然而，在以目標為單位對圖像進行編碼的MPEG4中存在如圖27、28、29所示的情況。例如，在圖27所示的情況，當下層和上層1、2的位流被解碼時，下層和上層1的圖像的解析度被轉換，並且解析度轉換後的兩個圖像序列與解碼後的上層2的圖像序列進行合成以重建一整幅圖像。另外，在圖29的情況下，只有上層1和下層被解碼，而只有上層1的圖像被合成以與從另外的位流解碼的另外圖像序列合成。
如上所述，以目標為單位對圖像進行編碼潛在地存在一個問題，即如果對於一個目標生成多個圖像，則只是簡單地將一個節點分配給一個目標的方法不能做到將一個圖像映射到一個作為紋理的目標上。
本發明總述本發明的目的在於解決上述問題，即即便當對於一個目標生成多個圖像時，也能做到將一個圖像映射到一個作為紋理的目標上。
本發明中的圖像信號復用裝置及方法和用於復用要經傳輸媒體傳輸的圖像信號的程序，適於選擇用於描述預定的目標的空間結構信息並從具有不同質量的多層位流中選擇構成該預定目標的數據流，產生涉及由選擇單元選擇的位流構成的目標的信息，並復用所選擇的空間結構信息、所選擇的位流和所生成的關於該目標的信息，從而輸出復用的信息。
本發明中的圖像信號復用裝置及方法和傳輸一程序的傳輸媒體，其中該程序用於復用經傳輸媒體傳輸的圖像信號，適於輸出用於描述一預定目標的空間結構信息、具有不同質量並構成該預定目標的多層位流，和涉及該目標的信息，其中涉及該目標的該信息至少包括表示不同位流之間的相互關係的相關信息，並復用該輸出的空間結構信息、多層位流和涉及該目標的信息，以輸出所復用的信息。
此外，將復用的圖像信號分離為各自信號的圖像信號分解裝置及方法和將經傳輸媒體傳輸的復用信號分離為各自信號的程序，適於從復用的位流中分別分離出描述一個目標的空間結構信息、構成該目標的多層位流和涉及該目標的信息，其中描述該目標的空間結構信息、具有不同質量並構成該目標的多層位流和涉及該目標的信息在該復用的位流中復用，分析該空間結構信息，解碼該多層位流、將解碼的輸出信號中的對應同一目標的輸出信號混合，並根據涉及該目標的信息，從所分析的輸出數據和所混合後的輸出數據重建一圖像信號。
此外，本發明的將復用的圖像信號分離為各信號的圖像信號分解裝置及方法和將經傳輸媒體傳輸的復用的圖像信號分離為各圖像信號的程序，適於從被傳輸的復用的位流中分離出描述一個目標的空間結構信息、構成該目標的多層位流和涉及該目標的信息，其中描述該目標的空間結構信息、具有不同質量並構成該目標的多層位流和表示不同位流之間信息的相互關係的相關信息在該復用的位流中復用，根據選擇信號和相關信息來控制所選擇的用於描述一預定目標的空間結構信息和構成該目標的多層位流，分析該選擇的空間結構信息，解碼該多層位流，將解碼的輸出信號中的對應同一目標的輸出信號混合，並根據涉及該目標的信息，從所分析的輸出數據和所混合後的輸出數據重建一圖像信號。
附圖的簡要描述圖1是本發明的圖像信號復用裝置和圖像信號分解裝置的結構的示意性框圖；圖2是圖1中復用電路203的結構的示意性框圖；圖3是圖1中分解電路205的結構的示意性框圖；圖4示出了用於重建一幅圖像的各信號之間的對應關係和圖1中重建電路209；圖5示出了用於重建一幅圖像的各信號之間的對應關係和圖1中重建電路209；圖6是圖5中合成器電路252的結構的示意圖；圖7示出了一個目標描述符的結構；圖8示出了ES_Descriptor(ES_描述符)的結構；圖9示出了ESConFigParams的結構；圖10示出了一個運動畫面的場景描述符的結構；圖11示出了一個靜止圖像的場景描述符的結構；圖12示出了本發明的另一個圖像信號復用裝置和圖像信號分解裝置的結構的示意性框圖；圖13示出了ES_Descriptor(ES_描述符)的結構；圖14示出了傳統的目標合成電路的示意性框圖；圖15示出了傳統的圖像信號編碼器的結構框圖；圖16示出了傳統的圖像信號解碼器的結構框圖；圖17示出了另一個傳統的圖像信號編碼器的結構框圖；圖18示出了另一個傳統的圖像信號解碼器的結構框圖；圖19是傳統的圖像合成的圖；
圖20是解釋這些圖像是怎樣合成的圖；圖21是解釋這些圖像是怎樣合成的圖；圖22示出了另一個傳統的圖像信號編碼器的結構框圖；圖23示出了另一個傳統的圖像信號解碼器的結構框圖；圖24是圖22中的一個VOP編碼器電路103-0的結構框圖；圖25是圖23中的一個VOP解碼器電路112-0的結構框圖；圖26是解釋圖像目標的圖；圖27是解釋圖像目標的圖；圖28是解釋圖像目標的圖；圖29是解釋圖像目標的圖；圖30是解釋圖像目標的圖；圖31是解釋圖像目標的圖；實施本發明的最佳模式在下文中將參照附圖詳細描述本發明的一個實施例。
首先，參照圖1描述第一實施例的位流復用裝置和分解裝置。在下文描述中，假設編碼的音頻和視頻數據流(基本數據流(ES))已經預先存儲在預定的存儲裝置202中。當然，該位流也可以不通過存儲裝置202而直接從視頻和音頻編碼器輸入到復用電路203。另外，以下描述假設是採用MPEG4方案進行編碼和解碼，同時，本發明以類似方式還適用於任意方案，只要該方案是將圖像劃分為多個子圖像進行編碼。
存儲裝置202中預先記錄有對應各AV(音頻和視頻)目標的位流ES(基本數據流)；解碼各位流所需的目標數據流信息OI；以及用於描述二維和三維場景(由要被傳輸的圖像定義的虛擬空間)的場景描述符(SceneDescriptor)。此處，該目標數據流信息OI包括例如解碼所需的緩衝器容量，每個存取單元(幀或VOP)的時間標記等。下文將詳細描述。
目標信息OI描述關於對應每個AV(音頻和視頻)目標的位流ES所有信息。目標描述產生器電路204產生與存儲裝置202提供的OI對應的目標描述符OD(Object Descriptor)。
復用電路203以預定順序復用存儲裝置202中記錄的位流ES和場景描述符SD以及從目標描述符產生器電路204提供的目標描述符OD，從而發送復用的位流FS。
此處，描述構成每個目標的位流的結構。例如，如圖21所示的場景是由兩個目標構成的，這兩個目標是背景F1』和前景F2』。鍵信號K1』和前景F2』形成單個位流ES。因此，圖21的場景是由兩個視頻目標VO組成，並且當不採用可量測編碼時，每個VO是由單個位流ES形成的。
另外，在圖26-29的情況下，一幀是由單個視頻目標VO形成的。然而，在這些情況下，由於執行了可量測編碼，一個VO是由三個位流ES形成的。圖26到29顯示三層可量測編碼的例子，當然層數可以是任意的。
此外，在圖30和31中，一個場景是由兩個視頻目標VO構成的，這兩個目標是背景(圖30)和前景(圖31)，每個VO是由三個位流ES形成的。
用戶可以從終端發送請求信號以任意設置被顯示的視頻目標，或在可量測編碼的情況下哪一層被顯示。
在圖1所示的實施例中，用戶向發送側發送一請求信號REQ，以指定所需的來自外部終端(未示出)的視頻目標和位流。該請求信號REQ輸送到數據流控制電路201。關於每個視頻目標的位流的目標數據流信息OI記錄在存儲裝置202中。如上所述，該目標數據流信息OI包括這樣一些信息，例如，表示一個預定目標是由多少個位流形成的這樣的信息；解碼每個位流所需的信息；緩衝器容量；進行解碼時還需要哪個位流等。
數據流控制電路201按照請求信號REQ，參照從存儲裝置202輸送的目標數據流信息OI，確定發送哪個位流，並且將數據流請求信號SREQ輸送到復用電路203、存儲裝置202和目標描述符產生器電路204。另外，存儲裝置202根據數據流請求信號SREQ，讀取預定的位流ES和場景描述符SD，並將其輸出到復用電路203。
目標描述符產生器電路204，按照數據流請求信號SREQ，讀取與存儲裝置202中記錄的每個目標(VO)的位流有關的目標數據流信息OI，並只提取關於數據流請求信號SREQ請求的位流的信息，作為目標描述符OD。目標描述符產生器電路204還產生表示位流與哪個目標對應的ID numberOD_ID(ID數字OD-ID)，並將ID number OD_ID寫到目標描述符OD中。例如，在圖26的情況下，當只有下層和上層1被預定目標請求時，目標描述符產生器電路204隻從目標數據流信息OI提取關於下層和上層1的信息，將所提取的信息指定為目標描述符OD，生成表示其目標的ID numberOD_ID，並將ID number OD_ID寫到目標描述符OD中。然後，以這種方式生成的目標描述符OD被存儲在復用電路203中。目標描述符OD和目標數據流信息OI以及場景描述符SD的語法將在後文中更詳細地描述。
下面，參照圖2描述復用電路203的操作。按照數據流請求信號SREQ將位流ES1-ESn輸送到復用電路203。各位流ES1-ESn輸送到開關231。另外，場景描述符SD和目標描述符OD也被輸送到開關231。復用電路203還具有開始代碼產生器電路232提供的開始代碼，並且開始代碼產生器電路232中產生的開始代碼還輸送到開關231。該開關231以預定順序進行切換以產生輸出到外部的復用的位流FS。
作為復用的位流FS，首先輸出的是開始代碼產生器電路232產生的開始代碼。然後，開關231的連接切換到輸出場景描述符SD。在場景描述符SD輸出後，開關231的連接又切換到輸出目標描述符OD。由於目標描述符OD的數等於目標數，所以輸出數字與有關的目標的數字相等的目標描述符。(圖2所示的情況中，目標數是3)。在目標描述符OD輸出後，開關231的連接再次切換。為了分別輸出位流ES1-ESn，針對每個預定的數據長度，切換開關的連接以輸出各位流。該復用的位流ES經傳輸路徑被輸送到分解電路5，如圖1所示。
以下參照圖3描述分解電路205。首先，復用的位流FS輸送到開關241。該開關241首先檢測一開始代碼以識別其後的各數據。在檢測該開始代碼時，該開關讀取和輸出一場景描述符SD。接著，該開關241的連接改變成讀取和輸出目標描述符OD。目標描述符OD的數字等於目標數，並按順序讀出。在所有的目標描述符OD輸出後，該開關241的連接按照預定的連接又變成讀取和輸出各位流ES1-ESn。讀取的場景描述符SD輸送到語法分析電路(語法分析器)208以進行分析，如圖1所示。經語法分析後的場景描述作為三維目標信息輸送到重建電路209。雖然三維目標信息實際包括關於節點、多邊形等的信息，但是在以下描述中將三維目標信息指定為一個節點。另外，所讀取的目標描述符OD輸送到語法分析電路(語法分析器)206以進行分析，如圖1所示。該語法分析電路206識別所需的解碼器的類型和數目，從而將各位流ES1-ESn輸送到所需的解碼器207-1至207n。此外，從目標描述符OD讀取解碼各位流所需的緩衝器數量等，並將其從語法分析電路206輸出到各解碼器207-1到207-n。每個解碼器207-1到207-n根據從語法分析電路206輸送的如緩衝器容量這樣的初始化信息(即經目標描述符OD傳輸的)進行初始化。該語法分析電路206還讀取各目標描述符OD的IDnumbers OD_ID以識別每個位流ES1-ESn屬於哪個目標。然後，各目標描述符OD的ID numbers OD_ID從語法分析電路206輸出到解碼器207-1到207-n，該解碼器207-1到207-n被指定用來解碼該目標描述符OD中描述的位流。
解碼器207-1到207-n中的每一個根據預定的對應編碼方法的解碼方法對涉及的位流進行解碼，並將視頻或音頻信號輸出到重建電路209。解碼器207-1到207-n中的每一個還將信號ID number OD_ID輸出到重建電路209以表示其圖像屬於哪個目標。當一個圖像信號被輸出時，解碼器207-1到207-n中的每一個從位流解碼表示其位置和大小的信號(PS,SZ)，並將該信號輸出到重建電路209。另外，當一個圖像信號被輸出時，解碼器207-1到207-n中的每一個還從位流解碼表示位流透明度的信號(Key信號)，並將該信號輸出到重建電路209。
接著，參照圖4和5描述重建一圖像的各信號和重建電路209之間的對應關係。圖4示出不執行可量測編碼情況下的例子，圖5示出執行可量測編碼情況下的例子。
在圖4中，重建電路209包括一合成器電路252，從而由合成器電路252生成的圖像信號輸送到顯示器251以進行顯示。在圖4中，合成器電路252和顯示器251作為重建電路209示出，以示出合成器電路252中建立的圖像是如何顯示在顯示器251上。實際上，該顯示器不包括在重建電路209中。
在圖4中，由矩形圖像序列和CG生成的三角錐形顯示在顯示器251的屏幕上。解碼的紋理映射到三角錐形的目標上。這裡，紋理可以是運動畫面或靜止圖像。
圖4中示出一場景描述符SD對應於一輸出屏幕。對於場景描述符SD，使用例如VRML這樣的描述符。場景描述符SD由稱作節點的描述組構成。提供父(路由)節點SD0來描述各目標是如何分布在整個圖像上。作為其子節點，提供節點SD1來描述關於三角錐形的信息。另外，關於圖像映射到其上的矩形的平面的信息在節點SD2中描述，設置節點SD2作為路由節點SD0的子節點。在圖4中，圖像信號由三個視頻目標VO構成。關於作為第一VO的背景的信息在節點SD2中描述。另外，關於將太陽映射到其上的平面的信息作為第二VO在節點SD3中描述。此外，關於將人物映射到其上的平面信號信息作為第三VO在節點SD4中描述。SD3和SD4都是SD2的子節點。
因此，一個場景描述符SD是由節點SD0-SD4構成的。節點SD0-SD4中的每個都對應一個三維或二維目標。在圖4中，節點SD0對應整個場景的目標；節點SD1對應三角錐形的目標；節點SD2對應背景的目標；節點SD3對應太陽的目標；SD4對應人物的目標。當紋理映射到每個節點時，需要一個標誌來表示哪個位流與每個節點對應。為了識別這種對應關係，每個節點都在其內描述了一目標描述符的ID number OD_ID，此處的該目標描述符的ID number OD_ID是從相應位流的解碼器輸送的。這使得一個節點對應於一個目標描述符OD。以這種方式，一個視頻目標VO映射到一個二維或三維目標。包括該場景描述符SD的節點SD0-SD4中的每個都由語法分析電路208進行分析，並作為三維目標信息輸送到重建電路209的合成器電路252。來自分解電路205的位流ES1-ES4輸送到各解碼器207-1到207-4，並且來自語法分析電路206的對應目標描述符OD的ID numberOD-ID也輸送到各解碼器207-1到207-4。在解碼一涉及的位流後，解碼器207-1到207-4中的每個向重建電路209的合成電路252提供ID numberOD_ID和解碼的信號(圖像或音頻)，並且另外對於圖像信號，還提供Key信號和表示圖像的位置和大小(POS,SZ)的信號作為解碼的信號。這裡，圖像的位置涉及節點對於父節點的相對位置，該父節點在比該節點屬於的級別更高的級別上。
以下圖6中示出合成器電路252的結構。圖6中，與圖14對應的部分用相同的參考標號。輸入的三維目標信息(包括節點SD0-SD4和每個多邊形信息)、圖像信號(紋理)、鍵信號(Key Signal)、ID numbers OD_ID(ID數OD_ID)和表示位置和大小的信號(POS,PZ)分別輸送到目標合成器電路271-1到271-n。一個節點SDi對應一個目標合成器電路271-i。該目標合成器電路271-i接收一解碼的信號，該解碼的信號具有從解碼器207-i的節點SDi中表示的ID number OD_ID，並當重建圖像信號時，將解碼的信號映射到要產生的二維或三維目標上。如上所述，當ID number OD_ID和解碼的信號輸送到相應目標合成器電路271-i時，需要找到每個解碼的信號對應於哪個節點。因此，通過將由重建電路209輸送的ID number OD_ID與包括在節點中的ID number OD_ID進行對比來辨認對應關係。然後，根據辨認結果，解碼的信號輸送到具有該相應節點的目標合成器電路271-i。
從解碼器207-i輸送的要被映射的紋理(圖像信號)、代表其透明度的信號(鍵信號)、和表示其位置和大小的信號(VOP,SZ)存儲在存儲器組151-i的預定區域中。類似地，從語法分析電路208輸送的節點(二維或三維目標信息)存儲在存儲器組151-i的預定區域中。紋理(圖像信號)存儲在紋理存儲器152-i中；表示透明度的信號(Key信號)和ID number OD_ID存儲在灰度級存儲器153-i中；節點存儲在三維信息存儲器154-i中。輸送並使用該ID numberOD_ID來識別目標。表示位置和大小的信號(POS,SZ)可以存儲在任意存儲器中，例如在此情況下，存儲在灰度級存儲器153-i中。此處，三維目標信息涉及多邊形形成信息、亮度信息等。該表示位置和大小的信號此處在存儲器組151-i的預定位置。
再生電路155-i利用多邊形根據記錄在存儲器154-i中的節點形成二維或三維目標。該再生電路155-i從存儲器152-i中讀取預定的紋理和表示透明度的信號，並將紋理映射到生成的三維目標上。代表透明度的信號表示相應位置處紋理的透明度，因此它表示位於在該相應位置的紋理被映射的位置處的目標的透明度。再生電路155-i將代表目標的信號輸送到二維變換電路156，其中該紋理已經映射到該目標上。類似地，表示圖像的位置和大小的信號(與父節點的相對位置)從存儲器組151-i(在此情況下，灰度級存儲器153-i)的預定b位置讀出並輸出到二維變換電路156。
從目標合成器電路271-1到271-n向二維變換電路156輸送二維或三維目標，其中紋理已經映射到該二維或三維目標上，該二維或三維目標數等於節點數。二維變換電路156根據從外部輸送的視點信息和表示圖像位置和大小的信號(POS,SZ)將三維目標映射到二維平面上從而將三維目標變換為二維圖像信號。該變換為二維圖像信號的三維目標然後輸出並顯示在顯示器251上。當所有目標都是二維目標時，來自各再生電路155-1到155-n的輸出數據按照表示透明度(Key信號)、圖像位置和大小的信號進行合成並輸出。在這種情況下，不執行按照視點的變換。
接著，參照圖5描述執行可量測編碼的例子。在此情況下，重建電路209包括混合器電路261和合成器電路252，這樣由混合器電路261和合成器電路252生成的圖像信號輸送並顯示在顯示器251上。類似圖4，混合器電路261、合成器電路252和顯示器251都顯示在圖5的重建電路209中，這是為了表示由混合器電路261和合成器電路252建立的圖像如何顯示在顯示器251上。實際上，顯示器不包括在重建電路209中。另外，在圖5的例子中，由CG生成的矩形圖像序列三角錐形顯示在顯示器251上。三角錐形的目標還與解碼的紋理映射。此處，紋理可以是運動畫面或靜止圖像。
圖5示出一場景描述符SD對應一輸出屏幕。在圖5中，提供父節點SD0來描述各目標是如何分布在整個圖像上。作為其子節點，節點SD1描述關於三角錐形的信息，節點SD2描述圖像映射到其上的矩形的平面的信息。圖5中的代碼SD2對應的圖像信號不同於圖4中的代碼SD2，它是由單個視頻目標VO構成的。然而，在圖5中，由節點SD2對應的圖像經過三層可量測編碼，因此該VO假定是由三個視頻目標層形成的。圖5是三層可量測編碼的例子，當然層數可以是任意的。
構成該場景描述符SD的各節點SD0到SD2通過語法分析電路208進行解釋，並且分析的結果輸送到合成器電路252。從分解電路205向各解碼器207-1到207-n輸送位流ES1-ESn和來自語法分析電路206的相應目標描述符OD的ID number OD_ID。在解碼一涉及的位流後，解碼器207-1到207-4中的每個向混合器電路201提供解碼的信號，並且另外對於圖像信號，還提供Key信號和表示圖像的位置和大小(POS,SZ)的信號和表示比例改變係數的信號RF。這裡，圖像的位置涉及在相同視頻目標VO中每層的相對位置，解碼器207-1到207-4中的每個向合成器電路252還輸送ID numberOD_ID。由於合成器電路252的結構與圖6所示結構類似，因此這裡省略了對其的描述。如上所述，當ID number OD_ID和解碼的信號輸送到相應目標合成器電路271-i時，需要找到每個解碼的信號對應於哪個節點。因此，通過將由重建電路209輸送的ID number OD_ID與包括在節點中的ID numberOD_ID進行對比來辨認對應關係。然後，根據辨認結果，解碼的信號輸送到供有該相應節點的目標合成器電路271-i。
在可量測編碼中，由於各層(VOL)的位流屬於相同視頻目標VO，因此它們具有相同的ID number OD_ID。一個VO對應一個節點，相應地，一個紋理存儲器152-i對應於合成器電路252中的一個VO。因此，在可量測編碼中，各層的輸出(解碼器207-2到207-4的輸出)被一次輸送到混合器電路261，併合成為單個圖像序列。
混合器電路261根據從各解碼器207-2到207-4輸送的圖像信號、Key信號、表示比例變換係數的信號和表示涉及圖像的位置和大小的信號預先合成各層的圖像，並將合成的圖像輸出到合成器電路252。所以，合成器電路252可以將一個圖像序列對應一個目標。
例如，當執行如圖29所示的可量測編碼以傳輸下層和上層1並對其進行解碼時，下層圖像信號的解析度根據表示比例改變係數的信號RF來轉換。接著，上層1的解碼的圖像按照鍵信號與在對應位置處的這個圖像進行合成。
由混合器電路261合成的圖像序列輸送到合成器電路252。合成器電路252包括與圖4中類似的圖像，並輸出最終圖像到顯示器251上。
在這個例子中，以這種方式將一個目標分配給一個節點。在用於存儲在再生電路155中的紋理和三維信息的存儲器組151之前階段設置該混合器電路261。在混合器電路261按照預定的鍵信號將多個圖像混合後，混合的圖像記錄在紋理存儲器中。以這種方式，由具有不同解析度的多個圖像構成的圖像信號能夠映射成一個紋理。
此外，如上所述，在圖1中的例子中，針對一個目標生成一個用於記錄關於形成該目標的位流的系統信息的描述符。在這種情況下，只有關於解碼所必需的位流的信息被存儲，並且描述符中描述的位流都被解碼。以這種方式，識別可解碼的位流的組合，並且預定的信號能夠被解碼。在這種情況下，按照發送側和接收側之間一對一的關係生成並傳輸該描述符。
接著，圖7到圖9示出目標描述符OD的結構。圖7中示出目標描述符OD的一般結構(語法)。
Node ID是一個10位的標誌，該標誌表示與目標描述符有關的ID數。其對應於前述的OD_ID。streamCount(數據流計數)是一個8位的標誌，該標誌表示目標描述符中包括的位流ES的數目。傳輸解碼位流ES所需的信息，即ES_Descriptor，其數目等於streamCount的值。另外，extentionFlag(擴展標誌)是一個標誌，該標誌表示另外的描述符是否被傳輸。當該值為1時，另外的描述符被傳輸。
ES_Descriptor(ES_描述符)是一個表示涉及每個位流的信息的描述符。圖8是ES_Descriptor的結構(語法)。ES_Number(ES_數)是一個5位的標誌，其表示用於識別位流的ID數。另外，streamType(數據流類型)是一個8位的標誌，其表示位流的格式，例如MPEG2視頻等。此外，QoS_Descriptor(QoS_描述符)是一個8位的標誌，其表示傳輸時對網絡的請求。
ESConFigParams是一個描述符，在該描述符中，解碼涉及的位流所需的信息被解碼。其結構(語法)如圖9所示。ESConFigParams的詳細情況在MPEG4系統VM中描述。
圖10是映射運動畫面的場景描述符。SFobjectID(SF目標標識)是一個標誌，其表示一個ID number OD_ID，該ID number OD_ID是要被映射的紋理的目標描述符的ID。圖11是映射靜止圖像的場景描述符。SFobjectID(SF目標標識)是一個標誌，其表示要被映射的紋理的目標描述符的一個IDnumber OD_ID。圖10和11的格式符合VRML的節點描述。
接著，參照圖12描述按照本發明第二實施例的位流復用裝置和分解裝置。在這個實施例中，屬於一個目標的所有位流被復用和傳輸。在第一實施例中，只有由接收側請求的位流被復用和傳輸。在這種情況下，按照要被傳輸的位流產生目標描述符OD。由於在接收側所有目標描述符中描述的位流都被解碼，因此不需要特別地傳送位流之間的信息的相互(dependency)關係。
在第二實施例中，目標描述符OD預先存儲在存儲裝置202中，從而在發送側目標描述符OD中描述的位流都被復用和傳輸。在這種情況下，第二實施例中的目標描述符OD不同於第一實施例，在第一實施例中描述了位流之間的信息的相互關係。在其它方面，第二實施例類似於第一實施例。
復用電路203讀取記錄在存儲裝置202中的場景描述符SD、目標描述符OD和位流ES組，並以預定的順序復用該場景描述符SD、目標描述符OD和位流ES組以進行傳輸。傳輸的順序和復用電路203的結構類似於第一實施例。復用的位流FS經傳輸路徑輸送到分解電路205。
用戶從終端輸入一請求信號REQ以表示哪個目標要被顯示。該請求信號REQ輸送到分解電路205、語法分析電路206和重建電路209。該語法分析電路206對每個傳輸到該語法分析電路206的目標描述符OD進行分析，並產生信號SREQ，該信號SREQ用於請求所需的位流並被輸送到分解電路205。當用戶請求一預定的位流時，目標描述符OD記錄解碼位流所需的另一個位流是否存在或需要哪個位流。
分解電路205按照來自用戶的請求信號REQ和用於請求所需的位流的信號SREQ，只將所需的位流輸送到解碼器207-1到207-n，並將所需的目標描述符OD輸送到語法分析電路206。該語法分析電路206對目標描述符OD進行分析，並根據目標描述符OD和來自用戶的請求信號REQ，將涉及解碼器207-1到207-n的初始化信息和ID numbers OD_ID傳輸到各解碼器207-1到207-n。接著，以與第一實施例類似的方式進行解碼、合成和顯示。
因此，在這個實施例中，針對一特定目標產生一描述符(目標描述符)從而將系統信息記錄在構成該目標的位流中。在這個情況下，表示解碼每個位流所需的位流的標誌記錄在描述符中，並且按照描述符中描述的標誌解碼一預定的位流以識別可解碼的位流的組合，從而能夠解碼一預定信號。在此情況下，在發送側一旦產生描述符，則該描述符通常傳輸到所有接收者。
在第二實施例中，目標描述符OD不同於第一實施例中的目標描述符OD，第二實施例中的目標描述符OD描述的是用於識別解碼一預定的位流所需的另一位流的信息。現在已描述了第二實施例中的目標描述符OD。目標描述符OD的一般結構與圖7中所示的第一實施例的目標描述符類似。
圖13顯示的是用於描述涉及每個位流的信息的ES_Descriptor(ES_描述符)。isOtherStream是一個一位標誌，該標誌表示是否需要另外的位流進行解碼一相關的位流。如果該值為零，相關的位流能夠單獨解碼。如果該值為1，相關的位流不能夠單獨解碼。
streamCount(數據流計數)是一個5位的標誌，該標誌表示還需要多少個位流。根據stremaCount傳輸所需的ES_Number(ES_數)數。ES_Number是一個ID(標識)，用於表示解碼所需的位流。ES_Descriptor的剩餘結構與第一實施例類似。此外，代表解碼每個位流所需的信息的ESConFigParams的結構類似圖9中第一實施例的描述的結構。
上述處理(復用和分解)可以以軟體程序的形式來執行，並且這樣的程序可以發送(提供)給用戶，其中除了磁碟、CD-ROM和固態存儲器等記錄媒體外，還可以使用如網絡、衛星這樣的通信媒體作為傳輸媒體。另外，除了用程序實現以外，不用說也可以用硬體來執行上述處理。
在不脫離本發明的要點的情況下，可以作出各種改進和實施各種應用。因此，本發明的要點不局限於這些實施例。
本發明中的圖像信號復用裝置及方法和使經傳輸媒體要被傳輸的圖像信號復用的程序，適於選擇用於描述預定的目標的空間結構信息並從具有不同質量的多層位流中選擇構成該預定目標的數據流，產生涉及由選擇單元選擇的位流構成的目標的信息，並復用所選擇的空間結構信息、所選擇的位流和所生成的關於該目標的信息，從而輸出復用的信息，因此可以輸送用以目標為單位的具有多層的可量測位流映射的紋理。
本發明中的圖像信號復用裝置及方法和傳輸一程序的傳輸媒體，其中該程序使經傳輸媒體要被傳輸的圖像信號復用，適於輸出用於描述一預定目標的空間結構信息、具有不同質量並構成該預定目標的多層位流，和輸出涉及該目標的信息，其中涉及該目標的信息至少包括表示不同位流之間的相互關係的相關信息，並復用該輸出的空間結構信息、多層位流和涉及該目標的信息，從而即便在復用側不與分解側連接的環境中，也能夠獨立地恢復和使用分解側的位流。
此外，將復用的圖像信號分離為各自信號的圖像信號分解裝置及方法和將經傳輸媒體傳輸的復用信號分離為各自信號的程序，適於從復用的位流中分別分離出描述一個目標的空間結構信息、構成該目標的多層位流和涉及該目標的信息，其中描述該目標的空間結構信息、具有不同質量並構成該目標的多層位流和涉及該目標的信息在該復用的位流中復用，分析該空間結構信息，解碼該多層位流，將解碼的輸出信號中的對應同一目標的輸出信號混合，並根據涉及該目標的信息，從所分析的輸出數據和所混合後的輸出數據重建一圖像信號，因此可以確使具有以目標為單位的多層的可量測位流進行紋理映射。
此外，本發明的將復用的圖像信號分離為各信號的圖像信號分解裝置及方法和將經傳輸媒體傳輸的復用的圖像信號分離為各圖像信號的程序，適於從被傳輸的復用的位流中分離出描述一個目標的空間結構信息、構成該目標的多層位流和涉及該目標的信息，其中描述該目標的空間結構信息、具有不同質量並構成該目標的多層位流和表示不同位流之間信息的相互關係的相關信息在該復用的位流中復用，根據選擇信號和相關信息來控制所選擇的用於描述一預定目標的空間結構信息和構成該目標的多層位流，分析該選擇的空間結構信息，解碼該多層位流，將解碼的輸出信號中的對應同一目標的輸出信號混合，並根據涉及該目標的信息，從所分析的輸出數據和所混合後的輸出數據重建一圖像信號，因此即便在復用側不與分解側連接的環境中，也能夠獨立地恢復和使用分解側的位流。
工業應用性本發明可以應用於，例如向磁光碟、磁碟這樣的記錄媒體中記錄數據和從磁光碟、磁碟這樣的記錄媒體中再現數據的信息記錄裝置，信息再現裝置，信息記錄/再現裝置，以及如向遠地發送音頻數據和視頻數據的電視電話系統、廣播設備、多媒體資料庫檢索系統等這樣的系統。
權利要求
1.一種圖像信號復用設備，其特徵在於，該復用設備包括選擇裝置，用於選擇描述一預定目標的空間結構信息和用於從具有不同質量的多層位流中選擇構成所述預定目標的數據流；生成裝置，用於生成涉及所述目標的信息，所述目標是由所述選擇裝置選擇的位流構成的；復用裝置，用於將所述選擇的空間結構信息、所述選擇的位流和所述生成的關於所述目標的信息復用，以輸出復用的信息。
2.如權利要求1所述的圖像信號復用設備，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；和解碼該位流所需的信息。
3.一種圖像信號復用方法，其特徵在於，該復用方法包括選擇步驟，用於選擇描述一預定目標的空間結構信息和用於從具有不同質量的多層位流中選擇構成所述預定目標的數據流；生成步驟，用於生成涉及所述目標的信息，所述目標是由所述選擇裝置選擇的位流構成的；復用步驟，用於將所述選擇的空間結構信息、所述選擇的位流和所述生成的關於所述目標的信息復用，以輸出復用的信息。
4.如權利要求3所述的圖像信號復用方法，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；和解碼該位流所需的信息。
5.一種傳輸媒體，用於傳輸復用圖像信號用的程序，其特徵在於傳輸該程序包括選擇步驟，用於選擇描述一預定目標的空間結構信息和用於從具有不同質量的多層位流中選擇構成所述預定目標的數據流；生成步驟，用於生成涉及所述目標的信息，所述目標是由所述選擇裝置選擇的位流構成的；復用步驟，用於將所述選擇的空間結構信息、所述選擇的位流和所述生成的關於所述目標的信息復用，以輸出復用的信息。
6.一種圖像信號復用設備，其特徵在於，該復用設備包括輸出裝置，用於輸出描述一預定目標的空間結構信息、具有不同質量的多層位流、和涉及所述目標的信息，其中，所述位流構成所述預定目標，該涉及所述目標的信息至少包括代表不同位流之間的相互關係的相關信息；和復用裝置，用於將所述輸出的空間結構信息、多層位流和涉及所述目標的信息復用以輸出該復用的信息。
7.如權利要求6所述的圖像信號復用設備，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；解碼該位流所需的信息，並且所述相關信息至少是一個用於識別所述位流的標誌和代表為了恢復所述目標是否需要另外的位流的標誌。
8.一種圖像信號復用方法，其特徵在於，該復用方法包括輸出步驟，用於輸出描述一預定目標的空間結構信息、具有不同質量的多層位流、和涉及所述目標的信息，其中，所述位流構成所述預定目標，該涉及所述目標的信息至少包括代表不同位流之間的相互關係的相關信息；和復用步驟，用於將所述輸出的空間結構信息、多層位流和涉及所述目標的信息復用以輸出該復用的信息。
9.如權利要求8所述的圖像信號復用方法，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；解碼該位流所需的信息，並且所述相關信息至少是一個用於識別所述位流的標誌和代表為了恢復所述目標是否需要另外的位流的標誌。
10.一種傳輸媒體，用於傳輸復用圖像信號用的程序，其特徵在於傳輸該程序包括輸出步驟，用於輸出描述一預定目標的空間結構信息、具有不同質量的多層位流、和涉及所述目標的信息，其中，所述位流構成所述預定目標，該涉及所述目標的信息至少包括代表不同位流之間的相互關係的相關信息；和復用步驟，用於將所述輸出的空間結構信息、多層位流和涉及所述目標的信息復用以輸出該復用的信息。
11.一種圖像信號分解設備，用於將復用的圖像信號分離為各信號，其特徵在於，所述分解設備包括分離裝置，用於從復用的位流中分別分離出描述一個目標的空間結構信息、構成所述目標的多層位流和涉及所述目標的信息，其中描述該目標的所述空間結構信息、具有不同質量的多層位流和涉及所述目標的所述信息在該復用的位流中復用，並且所述位流構成所述目標；分析裝置，用於分析所述空間結構信息；和解碼裝置，用於解碼所述多層位流；混合裝置，用於將所述解碼的輸出信號中的對應同一所述目標的輸出信號混合；和重建裝置，用於根據涉及所述目標的所述信息，從所述分析的輸出數據和所述混合後的輸出數據重建一圖像信號。
12.如權利11所述的圖像信號分解設備，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；和解碼該位流所需的信息。
13.一種圖像信號分解方法，用於將復用的圖像信號分離為各信號，其特徵在於，該分解方法包括步驟分離步驟，用於從復用的位流中分別分離出描述一個目標的空間結構信息、構成所述目標的多層位流和涉及所述目標的信息，其中描述該目標的所述空間結構信息、具有不同質量的多層位流和涉及所述目標的所述信息在該復用的位流中復用，並且所述位流構成所述目標；分析步驟，用於分析所述空間結構信息；和解碼步驟，用於解碼所述多層位流；混合步驟，用於將所述解碼的輸出信號中的對應同一所述目標的輸出信號混合；和重建步驟，用於根據涉及所述目標的所述信息，從所述分析的輸出數據和所述混合後的輸出數據重建一圖像信號。
14.如權利13所述的圖像信號分解方法，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；和解碼該位流所需的信息。
15.一種傳輸程序用的傳輸媒體，該程序用於將復用的圖像信號分離為各信號，其特徵在於，傳輸該程序包括分離步驟，用於從復用的位流中分別分離出描述一個目標的空間結構信息、構成所述目標的多層位流和涉及所述目標的信息，其中描述該目標的所述空間結構信息、具有不同質量的多層位流和涉及所述目標的所述信息在該復用的位流中復用，並且所述位流構成所述目標；分析步驟，用於分析所述空間結構信息；和解碼步驟，用於解碼所述多層位流；混合步驟，用於將所述解碼的輸出信號中的對應同一所述目標的輸出信號混合；和重建步驟，用於根據涉及所述目標的所述信息，從所述分析的輸出數據和所述混合後的輸出數據重建一圖像信號。
16.一種圖像信號分解設備，用於將復用的圖像信號分離為各信號，該設備包括分離裝置，用於從被傳輸的復用的位流中分離出描述一個目標的空間結構信息、構成所述目標的多層位流和涉及所述目標的信息，其中描述所述目標的空間結構信息、具有不同質量的多層位流和表示不同位流之間信息的相互關係的相關信息在該復用的位流中復用，並且所述位流構成所述目標；控制裝置，用於根據選擇信號和所述相關信息來控制所述分離裝置以選擇描述一預定目標的空間結構信息和構成該目標的所述多層位流；分析裝置，用於分析所述選擇的空間結構信息；和解碼裝置，用於解碼所述多層位流；混合裝置，用於將所述解碼的輸出信號中的對應同一目標的輸出信號混合；重建裝置，用於根據涉及所述目標的信息，從所述分析的輸出數據和所述混合後的輸出數據重建一圖像信號。
17.如權利要求16所述的圖像信號分解設備，其特徵在於，該分解設備包括涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；解碼該位流所需的信息，並且所述相關信息至少是一個用於識別所述位流的標誌和代表為了恢復所述目標是否需要另外的位流的標誌。
18.一種圖像信號分解方法，用於將復用的圖像信號分離為各信號，其特徵在於，該方法包括分離步驟，用於從被傳輸的復用的位流中分離出描述一個目標的空間結構信息、構成所述目標的多層位流和涉及所述目標的信息，其中描述所述目標的空間結構信息、具有不同質量的多層位流和表示不同位流之間信息的相互關係的相關信息在該復用的位流中復用，並且所述位流構成所述目標；控制步驟，用於根據所述相關信息來控制所述分離裝置以選擇描述一預定目標的空間結構信息和構成該目標的所述多層位流；分析步驟，用於分析所述選擇的空間結構信息；和解碼步驟，用於解碼所述多層位流；混合步驟，用於將所述解碼的輸出信號中的對應同一目標的輸出信號混合；重建步驟，用於根據涉及所述目標的信息，從所述分析的輸出數據和所述混合後的輸出數據重建一圖像信號。
19.如權利要求18所述的圖像信號分解方法，其特徵在於涉及所述目標的所述信息包括至少一個表示空間結構信息的標誌，該空間結構信息用於描述所述目標；一個表示位流數目的標誌；解碼該位流所需的信息，並且所述相關信息至少是一個用於識別所述位流的標誌和代表為了恢復所述目標是否需要另外的位流的標誌。
20.一種傳輸程序用的傳輸媒體，該程序用於將復用的圖像信號分離為各信號，其特徵在於，傳輸該程序包括分離步驟，用於從被傳輸的復用的位流中分離出描述一個目標的空間結構信息、構成所述目標的多層位流和涉及所述目標的信息，其中描述所述目標的空間結構信息、具有不同質量的多層位流和表示不同位流之間信息的相互關係的相關信息在該復用的位流中復用，並且所述位流構成所述目標；控制步驟，用於根據所述相關信息來控制所述分離裝置以選擇描述一預定目標的空間結構信息和構成該目標的所述多層位流；分析步驟，用於分析所述選擇的空間結構信息；和解碼步驟，用於解碼所述多層位流；混合步驟，用於將解碼的輸出信號中的對應同一目標的輸出信號混合；重建步驟，用於根據涉及所述目標的信息，從所述分析的輸出數據和所述混合後的輸出數據重建一圖像信號。
全文摘要
一種分解電路,用於分離場景描述符(SD)、目標描述符(OD)和各位流(ES),且各位流(ES)由解碼器(207—1到207－n)解碼。在從解碼器輸出的數據中,同一目標描述符(OD)(構成同一目標的輸出數據)的輸出數據由混合電路(261)混合,混合後的輸出數據輸送到具有相應節點的合成電路(252)的目標合成電路(271－i),目標合成電路(271－i)與具有一個圖像的一個目標相關並執行紋理映射。
文檔編號H04N7/26GK1234941SQ98800996
公開日1999年11月10日 申請日期1998年7月17日 優先權日1997年7月18日
發明者鈴木輝彥, 矢ク崎陽一 申請人:索尼公司