發送和接收運動圖像數據的方法及其設備的製作方法

2023-12-01 20:23:01

專利名稱：發送和接收運動圖像數據的方法及其設備的製作方法
技術領域：
本發明涉及一種音頻-視頻發送機和音頻-視頻接收機、數據處理設備和方法、 波形數據發送方法和設備和波形數據接收方法和設備以及視頻發送方法和設備和視 頻接收方法和設備。
背景技術：
已有一種設備，它滿足了感覺到你面前出現的對方圖像實際存在的要求，其目 的在於進行現實圖像通信，這是通過從例如有你本人的風景圖像中提取出某人的圖 像，然後，將此人的圖像(即對方發送來的某人的圖像)和要與預先存儲的對方圖像 一起顯示的虛擬空間圖像相互疊加，並加以顯示來實現的(日本專利申請No. 4-24914)。具體地說，在已有技術的情況下，已有了涉及加速圖像合成和減小存儲器的方 法的一些發明(例如日本專利公開No. 5-46592的官方公報圖像合成器)。雖然已有技術已提出了利用圖像合成對兩維靜止圖像或三維CG數據進行合成的 通信系統，但從下面的觀點來看，同時合成多幅圖像和多路聲音並進行顯示的系 統，其實現方法還沒有進行具體討論。艮口，從下面列舉的方法來看，存在沒有具體討論的課題。(Al)—種方法，它利用在一條或多條實際傳輸線路上由軟體構成的多條邏輯傳 輸線路獨立地傳輸數據和控制信息(由與控制終端側處理數據不同的數據包傳輸的信 息)的環境下傳輸(通信和廣播)並控制圖像和聲音。(A2)—種方法，它動態地改變要加到待發送的圖像或聲音數據中的首部信息(對 應於本發明的控制信息)；(A3) —種方法，它動態地改變要加入的首部信息(對應於本發明的傳輸控制信 息)，以便進行傳輸；(A4)—種方法，它通過動態動復接和分離多條邏輯傳輸線路來傳輸信息；(A5)—種方法，它考慮了節目或數據的讀取和增長周期，以傳輸圖像和聲音；(A6)—種考慮了快速切換傳輸圖像和聲音的方法。然而，就動態調整要傳輸到網絡的數據量而言，己提出了改變編碼系統的方法 和根據圖像幀的類型討論幀數據的方法(H. Jinzenji和T. Tajiri撰寫的分配自適 應型V0D系統的研究，D-8，刊登於電子、信息和通信工程學會(IEICE)系統社的D-8(1995))。能在受限制的處理時間下提供高質量圖像的動態通過量換算算法己作為一種調 整編碼器側的通過量提出(T. 0sako 、 Yaj ima 、 H. Kodera 、 H. Watanabe 、 K. shinia肌rra等撰寫的利用動態通過量換算算法對軟體視頻進行編碼，刊登於IEICE的 論文期刊D-2， Vol. 80-D-2，第二期，第444-458頁，1997)。而且，存在MPEG1/MPEG2系統作為實現同步再現圖像和聲音的例子。(Bl)對應於圖像幀的類型討論圖像的傳統方法有這樣一個問題，即通過處理多 個視頻數據流或多個音頻數據流，難以與聲音同步地重點再現重要的場面，反映編 輯的意圖，這是由於可以處理的信息的等級位於單一信息流中。(B2)而且，由於其必要條件是用硬體來實現MPEG1/MPEG2，所以解碼器必須可 以對每個提供的位流進行解碼。因此，其問題就是如何適應超出解碼器通過出量的 情況。此外，為了傳輸圖像，己有一些系統，例如H.261(ITU-T建議H.261的px. 64 聲像業務視頻編碼解碼器)，並且它們是用硬體組裝的。因此，由於在設計硬體時考 慮了必要性能的上限，所以沒有產生不能在指定時間內完成解碼的情況。上面的指定時間表示發送編碼一張圖像獲得的位流所需要的時間。如果解碼不 能在該時間內完成，其額外的時間就成為延遲。如果把這種延遲累積，則發送側到 接收側的的延遲就增加，系統就不能用作可視電話。這種狀態必須避免。而且，當由於通信對方產生了規定以外的位流而不能在指定時間內完成解碼 時，則就產生不能傳輸圖像的問題。上述問題不僅產生在視頻數據中，而且也產生在音頻數據中。然而，近年來，由於個人計算機(PC)所形成網絡環境的布局帶來網際網路和ISDN 的擴展，所以傳輸速率已得到改善，已經可以利用PC和網絡傳輸圖像。而且，用戶 傳輸圖像的要求也已高速增長。又由於CPU性能已得到改善，所以完全可以用軟體 來對視頻信號的解碼。然而，由於結構上不同的個人計算機，例如CPU、總線寬度或加速器等方面不 同的個人計算機可以執行相同的軟體，所以預先考慮必要性能的上限是困難的，因 此，產生了圖像不能在指定時間內解碼的問題。而且，當發送長度超過接收機通過量的視頻編碼數據，就不能在指定時間內完 成編碼。課題(C1):減小在指定時間內解碼圖像的延遲。當把視頻信號輸入成本發明的權利要求C1的波形數據，或者把視頻信號輸出成 本發明的權利要求C7的波形數據作為解決問題1的手段時，剩下的問題是由於部分傳輸位流沒有利用，傳輸線路的實際工作效率降低。而且，存在一些根據最後的編 碼圖像(例如p圖像)，產生當前解碼視頻的編碼系統。然而，由於最後的解碼圖像 通過解決問題1的手段沒有完全恢復，所以存在著隨時間變化而使圖像質量劣化的 嚴重的問題。課題(C2):在解決問題1的手段的情況下，傳輸線路的實際工作效率降低。而且，擴大了圖像質量的劣化。在用軟體安裝的情況下，圖像的幀速率是由一次編碼所需要的時間來指定的。 因此，當用戶指定的幀速率超過計算機的通過量時，不可能符合這種指定。課題(C3):當用戶指定的幀速率超過計算機的通過量時，不可能符合這種指定。考慮第一種已有技術的課題(Al)至(A6)，本發明的目的在於提供一種音頻-視頻 發送機和音頻-視頻接收機以及數據處理設備和方法，以至少解決上述問題之一。且，考慮第二種已有技術的課題(B1)至(B2)，本發明的另一目的在於提供一種 數據處理設備和方法，以至少解決上述問題之一。再，考慮第三種已有技術的課題(C1)至(C3)，本發明的再一目的在於提供一種 波形數據接收方法和設備、波形數據發送方法和設備以及視頻發送方法和設備和視頻接收方法和設備，以至少解決上述問題之一。 發明內容本發明的第1方面是一種音頻-視頻發送設備，它包含發送裝置，通過與要發送 的數據的傳輸線路相同的傳輸線路或與該數據傳輸線路不同的傳輸線路發送涉及傳 輸方法的內容和/或要發送的數據的結構或將內容作為發送格式信息表示的標識符； 其中所述要發送的數據是視頻數據和/或音頻數據。在本發明的音頻-視頻發送設備中，所述發送格式信息至少包括在加到所述數據 上以控制所述數據的數據控制信息、加到所述數據上以發送所述數據的發送控制信 息和控制終端側的處理的信息三者之一中。在本發明的音頻-視頻發送設備中，至少所述數據控制信息、發送控制信息和控 制所述終端側處理的信息三者之一動態地改變。在本發明的音頻-視頻發送設備中，所述數據被分成多個數據包，所述數據控制 信息或所述發送控制信息不僅加到所述分割數據包的首數據包，也加到中間數據包 中。在本發明的音頻-視頻發送設備中，將是否使用與所述數據有關的定時信息作為 表示所述數據的再現時間的信息表示的標識符包括在所述發送格式信息中。在本發明的音頻-視頻發送設備中，所述發送格式信息是所述數據的結構信息， 接收所述數據的發送結構信息的接收設備輸出的信號確認該結構信息可以接收後， 所述發送裝置向所述接收設備發送相應的數據。在本發明的音頻-視頻發送設備中，所述發送格式信息包括(l)標識接收設備以 後使用的節目或數據的標識符和(2)作為獲知所述節目或數據使用的特定時間或使用 所述節目或數據的有效期的信息的標記、計數和定時三者中至少一種。在本發明的音頻-視頻發送設備中，利用發送序列號把所述節目或數據使用的所 述特定時間作為發送控制信息來發送，以識別傳輸序列，或者作為與控制終端側處 理的數據不同的數據包要發送的信息來。在本發明的音頻-視頻發送設備中，還包括存儲裝置，用於存儲多項涉及所述傳 輸方法的內容和/或所述要發送的數據的結構及其多個標識符，所述標識符至少包括 在所述數據控制信息、發送控制信息和控制終端側處理的作為所述發送格式信息的 信息三者之一中。在本發明的音頻-視頻發送設備中，還包括存儲裝置，用於存儲多項涉及所述傳 輸方法的內容和/或所述要發送的數據的結構，所述內容至少包括在所述數據控制信 息、發送控制信息和控制終端側處理的作為所述傳輸格式信息的信息三者之一中。在本發明的音頻-視頻發送設備中，增加了預設標識符，以表示是否改變涉及所 述傳輸方法的內容和或要發送的數據的結構。在本發明的音頻-視頻發送設備中，把所述標識符或所述預設標識符加到待發送 信息的的長度固定的預定區域中或所述預定位置上。本發明的音頻-視頻接收設備，包含接收裝置，接收上述任一個音頻-視頻發 送設備發送的所述發送格式信息；發送信息解釋裝置，解釋所述接收的發送格式信 息。在本發明的音頻-視頻接收設備中還包括存儲裝置，用於存儲多項涉及傳輸方法 的內容和/或所述要傳輸的數據的結構及其多個標識符；把存儲在所述存儲裝置中的 內容用於解釋所述發送格式信息。本發明的音頻-視頻發送設備，它包含信息多路復用裝置，用於控制多路復用 傳輸數據和/或控制信息的；多條邏輯傳輸線的信息的開始和結束；其中，不僅把所 述信息多路復用裝置多路復用的所述數據和/或控制信息作為多路復用控制信息發 送，也把與所述信息多路復用裝置的所述多路復用開始和結束有關的控制內容作為 多路復用控制信息發送，所述數據包括視頻數據和/或音頻數據。在本發明的音頻-視頻發送設備中可以選擇安排所述多路復用控制信息不進行多 路復用，從而在所述數據和/或控制信息之前發送所述多路復用控制信息，或者通過 與傳輸所述數據和/或控制信息的傳輸線路不同的傳輸線路發送所述多路復用控制信 息不進行多路復用。本發明的音頻-視頻接收設備，包含接收裝置，接收權利要求15的音頻-視頻 傳輸裝置發送的所述多路復用控制信息和所述多路復用數據和/或控制信息；分離裝 置，根據所述多路復用控制信息分離所述多路復用數據和/或控制信息。本發明的音頻-視頻接收設備，包含主視聽裝置，用於觀看和收聽廣播節目； 輔助視聽裝置，用於周期性地檢測與通過所述主視聽裝置觀看和收聽的廣播節目不 同廣播節目的狀態；其中進行所述檢測以便在通過所述主視聽裝置觀看和收聽的所 述廣播節目被轉換到其它廣播節目時，可以平滑地處理所需的節目和/或數據，所述數據包括視頻數據和/或音頻數據。在本發明的音頻-視頻發送設備中優先值可以根據情況，通過發送表示處理所述8數據的優先級的信息的偏移值來改變。本發明的音頻-視頻接收設備，包含接收裝置，接收預加到與在過載狀態下處 理的優先級有關的信息的編碼信息；優先級確定裝置，用確定閾值，作為選擇是否 處理所述接收裝置接收到的所述信息內的對象的標準；其中把輸出所述接收信息的時間與在開始處理後經過的時間比較，或者把解碼所述 接收信息的時間與開始處理後經過的時間比較，以根據比較結果改變所述閾值，並 包括視頻數據和/或音頻數據，作為編碼對象。在本發明的音頻-視頻接收設備中包括重發請求優先級確定裝置，用於需要重發所述信息時，確定閾值，作為選擇是否請求重發一些在發送中丟失而沒有接收到的 所述信息的標準，並且所述確定閾值是至少根據所述優先級確定裝置控制的優先 級、重發次數、信息丟失因數、幀內編碼幀之間的插入間隔以及優先級劃分之一確 定的。本發明的音頻-視頻發送設備，包含重發優先級確定裝置，用於請求重發所述 未接收信息時，確定閾值，作為選擇是否請求重發一些因發送時丟失而沒有接收到 的所述信息的標準，其中，所述確定閾值是至少根據權利要求20的所述音頻-視頻 接收設備的優先級確定裝置控制的優先級、重發次數、信息丟失因數、幀內編碼幀 之間的插入間隔以及優先級劃分之一確定的。本發明的音頻-視頻發送設備，利用加到所述編碼信息中的優先級傳輸所述編碼 信息，從而若(1)實際傳輸速率超過視頻或音頻信息目標傳輸速率或(2)把開始傳輸 後經過的時間與加到所述編碼信息的解碼或輸出周期相比結果判定把所述編碼信息 寫入到發送緩存器延遲，則使發送信息減少。本發明的數據處理設備，它包含.*接收裝置，接收數據序列，該數據序列包括 (l)音頻或視頻時間序列數據，(2)表示所述時間序列數據值之間處理的優先級的時 間序列數據間優先級，以及(3)多個時間序列數據內優先級，後者用於劃分所述時間 序列數據值，以表示所劃分數據值之間的處理優先級；數據處理裝置，當同時出現多個所述時間序列數據值時，同時利用所述互時間序列數據間優先級和所述時間序 列數據內優先級進行處理。本發明的數據處理設備，包含接收裝置，接收數據系列，該數據系列包括 (l)音頻或視頻時間序列數據，(2)表示所述時間序列數據值之間處理的優先級的時 間序列數據間優先級，以及(3)多個內時間序列數據內優先級，後者用於劃分所述時 間序列數據值，以表示所劃分數據值之間的處理優先級；數據處理裝置，根據所述時間序列數據間優先級為每個所述時間序列數據值分配通過量，而且，根據所述時 間序列數據內優先級自適應地降低所述時間序列數據內所劃分數據的處理質量，以 把每個所述時間序列數據保持在所述分配的通過量內。本發明的數據處理設備，其特徵在於，當每幀所述視頻數據提升視頻的時間序 列數據內優先級，並且把每幀的所述視頻數據分割成多個數據包時，僅把所述時間 序列數據內優先級加到數據包的首部，以把可訪問的一幀所述視頻數據的首部作為 獨立的信息傳輸。根據上述任-的數據處理設備，其中所述時間序列數據內優先級在數據包的首 部描述，以進行優先級處理。根據上述任一的數據處理設備，其中，能表示所述時間序列數據內優先級的值 的範圍是可變的，以進行優先級處理。本發明的數據處理方法，它包含下列步驟輸入數據序列，該數據序列包括-音頻或視頻時間序列數據和表示所述時間序列數據值之間處理的優先級的時間序列 數據間優先級；以及利用所述時間序列數據間優先級把優先級處理成相對或絕對優 先級值。本發明的數據處理方法，它包含下列步驟對音頻或視頻時間序列數據進行分 類；輸入數據系列，該數據系列包括所述時間序列數據和表示所述分類數據值之間 處理優先級的多個時間序列數據內優先級；利用所述時間序列數據內優先級把優先 級處理成相對或絕對優先級值。而且，為了解決課題(C1)，本發明的特徵在於根據上述的波形數據發送方 法，輸入例如視頻信號作為波形數據；或上述的波形數據接收方法，輸出例如視頻 信號作為波形數據。而且，為了解決課題(C2)，本發明的特徵在於(d)根據上述的波形數據接收方法，輸出通過估計獲得的每組執行時間；或(d) 輸入由每組執行時間構成的數據串；(e) 根據上述的波形數據發送方法，按照接收裝置的每一執行時間，對每組執行 次數計數，以在發送由速率控制器等的標示所確定的碼長所需要的時間內完成解碼。而且，為了解決課題(C3)，本發明的特徵在於(d)根據對視頻信號編碼所需要的時間和計數裝置輸出的各執行次數，估計每組 執行時間；(e)根據上述的波形數據發送方法，利用上述執行時間估計對視頻信號編碼所需要的處理時間，並計算處理時間不超過由用戶指定的幀速率確定的可用於處理一張 圖像的時間的每組執行次數。本發明具有上述結構，以獲得必要處理的執行次數和非必要處理的執行次數 後，向接收側發送執行次數，並根據執行次數和解碼時間估計每個處理所需要的時間。根據對每個處理的估計時間，減少非必要處理的執行次數，使解碼所需要的時 間比指定時間短，這樣可以把解碼時間控制到指定時間或更短，以保持延遲小。而且，通過向發送側發送接收側估計的必要處理的執行時間和非必要處理的執 行時間，並在發送側根據每個執行時間確定每個執行次數可以把解碼執行時間設置 成等於或小於指定時間的值。而且，通過估計必要處理的執行時間和非必要處理的執行時間，並根據每個執 行時間和由用戶指定的幀速率決定的用戶指定時間確定每個執行次數，可以把編碼 估計時間設置成等於或小於用戶的指定時間的值。本發明的一種發送設備，其特徵在於，具有將傳輸格式信息發送到接收設備的 發送部分，所述傳輸格式信息包含識別在所述接收設備使用的程序或者數據的標識 符，和與所述標識符相關聯、表示在所述接收設備自動啟動所述程序或者所述數據 的開始時間的開始時間信息。本發明的一種發送設備，其特徵在於，具有將傳輸格式信息發送到接收設備的 發送部分，所述傳輸格式信息包含識別在所述接收設備使用的程序或者數據的標識 符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期 間的處理期間信息。本發明的一種接收設備，其特徵在於，具備接收傳輸格式信息的接收部分， 所述傳輸格式信息包含識別程序或者數據的標識符，和與所述標識符相關聯、表示自動啟動所述程序或者所述數據的開始時間的開始時間信息；以及根據所述標識符和所述開始時間信息，自動啟動所述程序或者所述數據的控制部分。本發明的一種接收設備，其特徵在於，具備接收傳輸格式信息的接收部分， 所述傳輸格式信息包含識別程序或者數據的標識符，和與所述標識符相關聯、表示 處理所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動啟動所述程序或者所述數據的控制部分。本發明的一種通信系統，所述通信系統具有發送設備和接收設備，其特徵在於，所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含識別 在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所 述接收設備自動啟動所述程序或者所述數據的開始時間的開始時間信息，所述接收 設備具有從發送設備接收所述傳輸格式信息的接收部分；以及根據所述標識符和 所述開始時間信息，自動啟動所述程序或者所述數據的控制部分。本發明的一種通信系統，所述通信系統具有發送設備和接收設備，其特徵在 於，所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含識別 在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所 述接收設備處理所述程序或者所述數據的處理期間的處理期間信息，所述接收設備 具有從發送設備接收所述傳輸格式信息的接收部分；以及根據所述標識符和所述 處理期間信息，自動啟動所述程序或者所述數據的控制部分。本發明的一種發送方法，其特徵在於，具有將傳輸格式信息發送到接收設備的 步驟，所述傳輸格式信息包含識別在所述接收設備使用的程序或者數據的標識符， 和與所述標識符相關聯、表示在所述接收設備自動啟動所述程序或者所述數據的開 始時間的開始時間信息。本發明的一種發送方法，其特徵在於，具有將傳輸格式信息發送到接收設備的 步驟，所述傳輸格式信息包含在所述接收設備使用的識別程序或者數據的標識符， 和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的 處理期間信息。本發明的一種接收方法，其特徵在於，具備接收傳輸格式信息的步驟，所述 傳輸格式信息包含識別程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；以及根據所述標識符和所述開始時間信息，自動啟動所述程序或者所述數據的步驟。本發明的一種接收方法，其特徵在於，具備接收傳輸格式信息的步驟，所述 傳輸格式信息包含識別程序或者數據的標識符，和與所述標識符相關聯、表示處理 所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動啟動所述程序或者所述數據的步驟。本發明的一種通信方法，其特徵在於，具備發送傳輸格式信息的步驟，所述 傳輸格式信息包含在所述接收設備使用的識別程序或者數據的標識符，和與所述標 識符相關聯、表示在所述接收設備自動啟動所述程序或者所述數據的開始時間的開 始時間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述開始時間信息，自 動啟動所述程序或者所述數據的步驟。本發明的一種通信方法，其特徵在於，具備發送傳輸格式信息的步驟，所述 傳輸格式信息包含在所述接收設備使用的識別程序或者數據的標識符，和與所述標 識符相關聯、表示在所述接收設備處理所述程序或者所述數據的處理期間的處理期 間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述處理期間信 息，自動啟動所述程序或者所述數據的步驟。附圖概述

圖1是本發明一個實施例的音頻-視頻收發裝置的示意性框圖； 圖2是接收控制部分和分離部分的示意圖；圖3是利用多個邏輯傳輸線路發送和控制視頻和音頻的方法的示意圖；圖4是動態地改變加到要的視頻或音頻數據中的首部信息的方法的示意圖；圖5 (a)和5 (b)是增加AL信息的方法的示意圖；圖6 (a)至6 (d)是增加AL信息的方法的例子的示意圖；圖7是通過動態動多路復用和分離多個邏輯傳輸線路傳輸信息的方法的示意圖；圖8是傳輸廣播節目過程的示意圖；圖9(a)示出了當在接收端出現節目或數據時，考慮了程序或數據的讀取和啟動 時間的圖像或聲音發送方法；圖9(b)示出了當傳輸節目或數據時，考慮了程序或數據讀取或啟動時間傳輸視 頻或音頻的方法；圖10(a)是對應於快速切換的方法的示意圖；圖10(b)是對應於快速切換的方法的示意圖；圖ll(a)示出了在終端之間實際傳輸的協議的具體例子；圖ll(b)示出了在終端之間實際傳輸的協議的具體例子；圖12示出了在終端之間實際傳輸的協議的具體例子；圖13(a)示出了在終端之間實際傳輸的協議的具體例子；圖13(b)示出了在終端之間實際傳輸的協議的具體例子；圖13(c)示出了在終端之間實際傳輸的協議的具體例子；圖14示出了在終端之間實際傳輸的協議的具體例子；圖15示出了在終端之間實際傳輸的協議的具體例子；圖16(a)示出了在終端之間實際傳輸的協議的具體例子；圖16(b)示出了在終端之間實際傳輸的協議的具體例子； 圖17示出了在終端之間實際傳輸的協議的具體例子； 圖18示出了在終端之間實際傳輸的協議的具體例子；圖19(a)示出了在終端之間實際傳輸的協議的具體例子；圖19(b)示出了在終端之間實際傳輸的協議的具體例子；圖20(a)至20(c)是本發明CGD的示範系統的框圖；圖21示出了編碼器過載時附加優先級的方法；圖22示出了過載時，在接收終端決定優先級的方法；圖23示出了臨時改變優先級；圖24示出了數據流優先級和對象優先級；圖25是本發明一個實施例的視頻編碼器和視頻解碼器的示意性框圖； 圖26是本發明一個實施例的音頻編碼器和音頻解碼器的示意性框圖； 圖27(a)和27(b)示出了過載時控制優先級處理的優先級附加部分和優先級決定部分；圖28 (a)和28 (b)示出了附加優先等級； 圖29示出了向多解析度視頻數據分配優先級的方法； 圖30示出了構成通信有效負載的方法； 圖31示出對應於通信有效負載產生數據的方法；圖32示出了對象優先級、數據流優先級和通信數據包優先級之間的關係；圖33是本發明第一實施例的發送機的框圖；圖34是第一實施例的示意圖；圖35是本發明第三實施例的接收機的框圖；圖36是本發明第五實施例的接收機的框圖；圖37是第五實施例的示意圖；圖38是本發明第六實施例的發送機的框圖；圖39是本發明第八實施例的發送機的框圖；圖40是本發明第二實施例的發送方法的流程圖；圖41是本發明第四實施例的接收方法的流程圖；圖42是本發明第七實施例的發送方法的流程圖；圖43是本發明第九實施例的發送方法的流程圖； 圖44是本發明音頻-視頻發送裝置的框圖； 圖45是本發明音頻-視頻接收裝置的框圖；圖46示出了向本發明的音頻-視頻發送裝置的視頻和音頻數據增加優先級的優 先級附加裝置的解釋圖；圖47示出了通過解釋加到本發明的音頻-視頻接收裝置的視頻和音頻數據中的 優先級決定是否進行解碼的優先級確定裝置的解釋圖。符號說明11接收控制部分 12分離部分 13發送部分14視頻擴展部分(圖像擴展部分)15視頻擴展控制部分(圖像擴展控制部分)16視頻合成部分(圖像合成部分)17輸出部分18終端控制部分4011發送控制部分4012視頻編碼部分(圖像編碼部分)4013接收控制部分4014視頻解碼部分(圖像解碼部分)4015視頻合成部分(圖像合成部分)4016輸出部分4101視頻編碼器(圖像編碼器)4102視頻解碼器(圖像解碼器)301接收裝置302估計裝置303視頻解碼器(即運動圖像解碼器) 304次數削減裝置306 輸出端307 輸入端3031可變長解碼裝置3032反正交變換裝置 3033切換器 3034運動補償裝置 3035執行時間測量裝置本發明的實施方式 下面參照附圖描述本發明的實施例。下面描述的實施例主要解決上述課題(Al)至(A6)中的任一項。 本發明所用的"圖像"包括靜止圖像和運動圖像。而且，作為對象的圖像可以 是象計算機圖形(CG)的兩維圖像或由線框模型構成的三維圖像數據。 圖1是本發明一個實施例的音頻-視頻收發機的示意性框圖。 在圖1中，接收信息的接收控制部分11和發送信息的發送部分13是諸如同軸 電纜、CATV、 LAN和數據機等的信息傳輸裝置。通信環境可以是能用多條邏輯傳 輸線路而不用考慮多路復用裝置的環境，例如網際網路，或者可以是必須考慮多路復 用裝置的環境，例如模擬電話或衛星廣播。而且，作為終端連接系統，可列舉在諸如視頻電話或電話會議系統等終端之間 進行雙向傳送視頻或音頻數據的系統，或通過衛星廣播、CATV或網際網路播發廣播型 視頻或音頻數據的系統。本發明考慮了這些終端連接系統。圖1所示的分離部分12是用於分析接收到的信息並把數據與控制信息分離的裝 置。具體地說，分離部分12將發送用的附加到數據中的發送首部信息和數據進行分 解，或者附加到數據自身中的數據控制首部和數據內容進行分解。圖像擴展部分14 是擴展接收到的圖像的裝置。例如，要擴展的圖像可以是標準化的運動(動態)或靜 止圖像的壓縮圖像，例如H.261, H.263, MPEG 1/2或JPEG等，也可以不是上述 的壓縮圖像。圖1所示的圖像擴展控制部分15是用於監視圖像擴展狀態的裝置。例如，通過 監視圖像的擴展狀態，當接收緩存器幾乎要溢出時，可以空讀接收緩存器，而不擴 展圖像，並在處於可以進行圖像的擴展狀態時，可以重新開始擴展圖像。在圖1中，圖像合成部分16是用於合成擴展圖像的裝置。圖像合成方法可以通 過用諸如JAVA、 VRML或MHEG等腳本語言，描述圖像及其結構信息來(顯示位置和顯 示時間(而且，還可以包括顯示周期))、對圖像分組的方法、圖像顯示層(深度)、對 象ID(以後描述的SSRC)以及它們的屬性之間的關係來定義。描述合成方法的腳本通過網絡或本地存儲器輸入或輸出。輸出部分17是顯示器或印表機，用於輸出圖像合成結果。終端控制部分18是 用於控制每個部分的裝置。此外，可以採用擴展聲音而不是圖像的結構(可以通過把 圖像擴展部分改成聲音擴展部分，把圖像擴展控制部分改成聲音擴展控制部分，把 圖像合成部分改成聲音合成部分來構成這種結構)，或者採用擴展圖像和聲音的雙 方，在保持時間上的同步的同時，進行合成和顯示的結構。也可以利用壓縮圖像的圖像壓縮部分。控制圖像壓縮部分的圖像壓縮控制部 分、壓縮聲音的聲音壓縮部分和控制聲音壓縮部分的聲音壓縮控制部分來發送圖像 和聲音。圖2示出了接收控制部分和分離部分。圖1的接收控制部分11由接收數據的數據接收部分101和接收控制數據的控制 信息的控制信息接收部分102構成，分離部分12由存儲解釋傳送內容的傳送結構 (後面詳述)的傳送格式存儲部分103和根據存儲在格式存儲部分103內的傳送結構 解釋傳送內容的傳送信息解釋部分104構成，通過這種結構可以獨立地接收數據和 控制信息。因此，例如，可以使在接收視頻或音頻數據的同時刪除或移動該數據變 得容易。如上所述，作為接收控制部分11的對象的通信環境可以利用能使用多條邏輯傳 輸線路而不用考慮多路復用裝置的環境(網際網路類環境)，如網際網路，也可以利用必 須考慮多路復用裝置的環境(原類環境)的，如模擬電話或衛星廣播等。然而，從用 戶的角度來看，以備有多條邏輯傳輸線路(邏輯通道)(例如，在可以使用TCP/IP的 通信環境的情況下，通常使用稱為"通信埠"的表述)的通信環境為前提。如圖2所示，假設接收控制部分11接收一種或多種類型的數據傳輸線路和一種 或多種類型的控制邏輯傳輸線路，以控制要傳輸的數據。也可以準備多條傳輸線路 傳輸數據，也可以僅準備一條傳輸線路控制數據。還可以準備一條傳輸線路在每次 數據傳輸時控制數據，如在H.323也使用的RTP/RTCP。當考慮利用UDP的廣播時， 可以使用利用單個通信埠(多播地址)的通信系統。圖3的示意圖用於解釋利用多條邏輯傳輸線路傳輸和控制視頻和音頻數據的方 法。將要發送的數據本身稱為ES(基本數據流)，如果是圖像的話，它可以是一幀的 圖像信息或小於一幀的G0B單位、或者宏塊單位的圖像信息。如果是音頻數據的話，可以使用用戶決定的固定長度。而且，把要附加到要發 送的數據中的數據控制首部信息稱為AL(自適應層信息)。作為AL信息，可以舉出表示是否為能處理數據的開始位置的信息、表示數據再現時刻的信息和表示數據處理 的優先級的信息等。本發明的數據控制信息對應於AL信息。而且，本發明所用的ES 和AL不一定必須與MPEG 1/2所定義的內容一致。表示是否為可以處理數據的開始位置的信息具體包括兩種類型的信息。第一種 是隨機訪問標記，g卩，如果是圖像的話，是表示如幀內(I圖像)那樣的可以個別讀取 和獨立再現前後數據的信息。第二種是表示作為可以個別讀取的標記，可以定義成 訪問標記，gP，如果是圖像的話，表示其為G0B單位的圖像的開始位置，或者為圖 像宏塊開始位置的信息。因此，如果沒有訪問標記那就表示其為數據的途中部分。 這兩種隨機訪問標記和隨機標記作為表示能處理數據的開始位置的信息，並非總是 需要的。有時候在諸如視頻會議等的實時通信的情況下，不附加這兩種標記，也不會產 生問題。然而，為了簡化編輯工作，隨機訪問標記是必需的。也可以在傳送數據之 前，通過通信通道決定標記是否需要，或者需要何種標記。指示數據再現時刻的信息表示再現圖像和聲音時的時間同步的信息，在MPEG 1/2的情況下，它稱為PTS(展現時間標誌)。由於在諸如視頻會議等實時通信的情況 下， 一般不考慮時間同步，所以表示再現時間的信息並不一定是必需的。編碼幀之 間的時間間隔可以是必需的信息。通過在接收側調整時間間隔，可以防止幀間隔有較大波動。然而，接收側由於 調整再現間隔而發生延遲。因此，有時可以判定表示編碼幀之間幀間隔的時間信息 是不必要的。為了確定表示數據再現時間的信息是表示PTS還是表示幀間隔，也可以決定在 傳輸數據之前，通過通信通道傳送數據再現吋間不附加到數據本身中，並把該決定 通知接收終端，也可以與所決定的數據控制信息一起傳送數據。當由於接收終端的負載或網絡的負載的原因而不能處理或發送表示處理數據的 優先級的信息時，可以停止處理或發送數據，也可以減小接收終端或網絡的負載。接收終端可以用圖像擴展控制部分15處理數據，在網絡的情況下可以用中繼終 端或路由器進行處理。可以用數值或標記表示優先級。而且，在接收終端或網絡的 負載有突然的波動吋，把表示數據處理優先級的信息的偏移值作為控制信息或數據 控制信息(AL信息)與數據一起發送，並將該偏移值與預先分配給視頻或音頻數據的 優先級值相加，由此，可以對應於系統的操作狀態設置動態優先級。而且，通過把識別是否有加密編碼、是否有版權、以及是原件還是複製件等的1信息作為控制信息與和數據分開的數據標識符(SSRC)—起發送，可以容易地去除在中繼節點的加擾。表示數據處理優先級的信息可以由多個圖像或聲音的幀集合構成的流單位附 加，也可以視頻或音頻數據的幀單位附加。為發送終端單元提供優先級附加裝置，該裝置為利用諸如H.263或G.723等編 碼方法，按照事先規定的基準決定在編碼信息過載情況下的處理優先級，並使編碼 信息對應於確定的優先級的裝置(見圖46)。圖46是用於解釋把優先級加到圖像或聲音中的優先級附加裝置5201的示意圖。艮P，如圖46所示，根據事先規定的規則，對編碼視頻數據(由視頻編碼裝置 5202處理)和編碼音頻數據(由音頻編碼裝置5203處理)附加優先級。附加優先級的 規則存儲在優先級附加規則5204中。這些規則包括把比P幀(幀間編碼圖像幀)的優 先級高的優先級附加給I幀(幀內編碼圖像幀)的規則、或者把比音頻數據的優先級 低的優先級附加給圖像的規則。而且，根據用戶的指定可以改變這些規則。優先級附加對象，在圖像的情況下，為場景變化、編輯者或用戶指定的圖像幀 或流、在聲音的情況下，則為有聲區和無聲區。定義在過載時的處理的優先級的圖像幀或音頻幀單位的優先級的附加方法把 優先級附加到通信首部的方法和在進行編碼時把優先級嵌入到已對視頻或音頻數據 編碼的位流的首部中的方法，前一方法可以在不進行解碼的情況下獲得優先級信 息，而後一方法可以與系統無關的地獨立地處理單一位流。把優先級附加到通信首部的情況，當把一圖像幀(例如幀內編碼的I幀或幀間編 碼的P或B幀)分成多個傳輸數據包吋，在圖像的情況下，作為獨立的信息僅在傳送 可訪問的圖像幀的首部附加優先級(當優先級在相同圖像幀中一樣時，可以認為在下 一個可訪問圖像幀出現之前優先級沒有改變)。而且，使能表示優先級的值的範圍為可變(例如，可以根據用途，用16位或32 位表示時間信息)，也可以用控制信息使其可配置。解碼器具有，根據所接收各種編碼信息過載時的優先級決定處理方法的優先級 決定裝置的接收終端裝置(見圖47)。圖47是用於解釋附加到圖像或聲音中的優先級和決定可否進行解碼的優先級確 定裝置5301示意圖。艮口，如圖47所示，優先級包括加到每一圖像或聲音的每一數據流的優先級和附19加到每幀圖像或聲音數據中的優先級。可以各自獨立地利用這些優先級，或者使幀 優先級對應於數據流優先級。優先級確定裝置5301根據這些優先級確定要解碼的數據流或幀。解碼是利用決定終端過載時的處理的優先級的兩種類型的優先級進行的。艮P，定義了用於規定諸如圖像和聲音的位流之間的相對優先級的數據流優先 級(Stream Priority,時間序列間優先級)；用於規定諸如相同數據流中的圖像幀等 解碼單元之間的相對優先級(Frajne Priority,時間序列內優先級)(圖24)。前一種數據流優先級可以處理多個視頻或音頻數據。後一種幀優先級可根據圖 像的場景的變化、或者編輯者的意圖，即使是同一幀內編碼圖像幀(I幀)也可以附加 不同的優先級。通過使數據流優先級對應於分配給對圖像或聲音進行編碼或解碼時的作業系統 (0S)的時間、或處理的優先級，並進行管理，可以在0S層上管理處理時間。例如， 在微軟公司的Windows 95/NT的情況下，可以在五個0S層上定義優先級。用軟體以 線程單位實現編碼或解碼功能時，可以在分配給各線程的OS層上根據處理對象的數 據流的數據流優先級決定優先級。上述的幀優先級和數據流優先級可以應用到傳輸媒體或數據記錄媒體上。例 如，把要發送的數據包優先級定義為訪問單元優先級，可以根據Access Unit Priority二Stream Priority-Frame Priorit的幀優先級與數據流優先級之間的關 系，決定與數據包發送有關的優先級和在過載時終端的處理優先級。而且，可以把軟盤或光碟用作數據記錄媒體。再者，記錄媒體不僅限於這些， 而且還可以是諸如IC卡或R0M盒等，只要能記錄程序的物體同樣可實施。而且，可 以以進行數據中繼的諸如路由器或網關等圖像或聲音的中繼裝置為對象。作為利用優先級的具體方法，當接收終端過載時，把決定要處理的編碼信息的 優先級閾值的優先級確定裝置設置於圖像擴展控制部分或聲音擴展控制部分，把要 顯示的時間(PTS)與開始處理後經過的時間進行比較，或者把要解碼的時間(DTS)與 開始處理後經過的時間比較，根據比較結果改變要處理的編碼信息的優先級閾值(也 可以參照幀的插入間隔或優先級等作為改變閾值的信息)。圖20(a)所示的例子中，在編碼時，用編碼器飢263)對具有捕獲的《3(:1 或(:1 尺寸的圖像進行編碼，與編碼信息一起輸出表示解碼時間(DTS)或顯示圖像的時間的 時間標誌(PTS)、表示過載時的處理順序的優先級信息(CGD，計算適度弱化)、幀類 型和序列號(SN)。而且，在圖20(b)所示的例子中，還通過話筒進行錄音，通過編碼器(G.721)進 行編碼，與編碼信息一起輸出解碼時間(DTS)或表示再現聲音的時間的時間標誌 (PTS)、優先級信息(CGD)和序列號(SN)。如圖20(c)所示，在解碼時，把圖像和聲音各自分別提供給緩存器，把它們各 自的DTS(解碼時間)與開始處理後經過的時間進行比較。如果DTS不滯後，則把該圖 像和聲音分別提供給它們相應的解碼器(H. 263和G. 721)。圖21的例子描述了一種在編碼器過載時附加優先級的方法。對於圖像，把高優 先級的"0"和"1"分配給I幀(幀內編碼圖像幀)(數字越小，優先級越低)。P幀的 優先級"2"低於I幀。由於把兩種級別的優先級分配給I幀，所以當解碼終端的負 載較大時，可以僅再現優先級為"0"的I幀。而且，必須根據優先級附加方法調整 I幀的插入間隔。圖22的例子示出了在過載時，在接收終端確定優先級的方法。把要廢棄的幀的 優先級設置成比cutOffPriority大的值。即，把所有的圖像幀都作為處理的對象。 通過把附加到圖像幀的優先級最大值從發送側通知給接收側(步驟IOI)可以事先得知 該值。當把DTS與開始處理之後經過的時間相比較，並且其結果是經過的時間長於 DTS(當解碼處理來不及時)，則降低要處理的圖像或聲音的優先級闡值，以減少處理 (步驟102)。然而，若開始處理之後經過的時間短於DTS(解碼處理來得及時)，則增 大優先級的閾值，以增加可以處理的圖像或聲音的數量(步驟103)。如果該幀之前的圖像跳過了 P幀，則不進行處理。否則把優先級偏移值附加到 圖像幀(或音頻數據幀)的優先級上，把該優先級偏移值與優先級閾值比較。當該偏 移值不超過該閾值時，把要解碼的數據提供給解碼器(步驟104)。優先級偏移可用於事先檢査機器的性能，並把該偏移值傳送給接收終端(用戶也 可以在接收終端進行指示)，還可用於改變數據流中的多個視頻和音頻數據流的優先 級(例如，通過增加最後面背景的偏移值來減少處理)。當以多數據流為對象時，也可以對每個數據流附加優先級，並判定跳過對圖像 或聲音的解碼。而且，在實時通信的情況下，通過處理H.263的TR(臨時基準)與 DTS同樣的處理，可以判定解碼是超前還是滯後，並且實現如上面所述的跳過。圖23示出了利用上述算法進行的優先級的時間的變化。圖23示出了要附加到圖像幀中的優先級的變化。該優先級是在終端過載時決定 可否進行解碼的優先級，它附加於每一幀中。優先級值越小，優先級越高。在圖23的例子中，0的優先級最高。當優先級的閾值為3時，附加了值大於3的優先級的幀 不進行解碼而廢棄，對附加了值為3或小於3的優先級的幀進行解碼。根據優先級有選擇地廢棄這些幀，可以控制終端的負載。也可以根據當前處理時間和附加到各幀的解碼時間(DTS)之間關係，動態地決定優先級閾值。根據同樣的過程，這種技術 不僅可以應用於圖像幀，也可以應用於聲音。考慮到在傳輸線路為網際網路等的情況下，在傳送途中丟失的編碼信息需要重發 示，在接收控制部分設置決定要重發的編碼信息的優先級的閾值的重發請求優先級 確定部分，根據重發請求優先級確定部的優先級信息、重發次數、信息丟失率、幀 內編碼幀的插入間隔、受優先級確定部分控制的優先級的級別(例如五級優先)，對 接收控制部分確定要重發的編碼信息的優先級閾值，並決定附加給需要請求重發的 編碼信息的優先級閾值，這樣，當必須重發傳輸時丟失的編碼信息時，可以僅重發 接收側所要求的圖像或音頻數據。如果重發次數很多或信息丟失率很高，則有必要 提高要重發信息的優先級，減少重發次數或降低丟失率。而且，通過了解優先級確 定部分使用的優先級，可以防止發送處理對象外的信息。在發送終端，當實際傳送速率超過發送端的信息的目標傳送速率時，或者當開 始傳送處理後經過的時間與附加到要解碼或顯示的編碼信息的時間比較，把編碼信 息寫入到發送緩存器的過程滯後吋，可用附加到編碼信息中的、在接收終端的優先 級決定部分所利用的過載時的優先級，通過減少信息的發送，使其能夠與目標速率 一致地發送圖像或聲音數據。在發送終端也可以通過將在接收所進行的過載時處理 跳過功能引入到發送終端，可以控制發送終端過載引起的故障。通過根據需要僅發送上述AL信息中必要的信息，可以調整要發送到諸如模擬電 話線等窄帶通信通道上的信息量。在發送數據之前決定在發送終端上要附加到數據 自身中的數據控制信息，把要使用的數據控制信息作為控制信息(例如僅使用隨機訪 問標記)傳送給接收終端，並根據在接收終端獲得的控制信息，通過重寫與存儲在發 送格式存儲部分103內的發送結構(見圖16)有關的信息，可以重組在發送終端所使 用的AL信息(數據控制信息)。圖4是一示意圖，用於解釋動態改變要附加到待發送的視頻或音頻數據中的首 部信息的方法。在圖4的例子中，把要發送的數據(ES)分解成數據片並以通信首部 的形式在這些數據片附加表示數據順序關係的識別信息(序列號)、表示能處理數據 片的開始位置的信息(標記位)和與數據片的傳送有關的時間信息(時間標記)，其中 假設上述各信息對應於本發明的傳輸控制信息。具體地說，RTP(實時傳送協議，RFC1889)利用上述序列號的信息、標記位、時 間標誌、對象ID(稱為SSRC)和版本號作為通信首部。雖然可以擴充首部信息項，但 上述各項總是作為固定項附加。然而，當諸如視頻電話等實時通信和諸如影視點播 等累積媒體的傳輸一起出現在要同時傳輸多個不同的編碼圖像或聲音的環境下時， 由於通信首部的含義彼此不同，所以必需有識別手段。例如，在MPEG 1/2情況下，如上所述，時間標記信息表示PTS為再現時間。然 而，在H.261或H.263中，時間標記信息表示對信息編碼時的間隔時間。但是，當 要進行使H.263與音頻數據同步的處理時，必須表示時間標記為PTS信息。這是因 為在H. 263的情況下，RTP定義時間標記信息表示編碼幀之間的時間間隔，第一幀 的時間標記是隨機的。因此，必須附加(a)表示時間標誌是否為PTS的標記作為通信首部信息(必須擴 充通信首部)、或(b)H.263或H.261的有效負荷的首部信息(即，AL信息)(在這種 情況下，必須擴充有效負荷信息)。用作表示是否為能處理數據片的開始位置的信息的標記位作為RTP首部信息附 加。而且，作為AL信息，如上所述，往往希望使其具有表示是能訪問數據的開始位 置的訪問標記和表示可以隨機訪問數據以獲得AL信息的隨機訪問標記。由於使其雙 重具有通信首部的標記而降低了效率，所以也可以考慮由通信首部準備的標記替代 AL標記的方法。(c)在通信首部新設表示不附加AL標記將在通信首部所附加的AL標記替代，或 定義通信首部的標記位與AL相同，(與提供AL標記的情況相比，預期解釋可以更快 地進行)，由此，解決上述問題。即，採用一種標記，表示標記位是否具有與AL標 記相同的含義。在這種情況下，認為可以是通信首部的改良或在擴充的範圍內描述首部。然而，(d)也可以將通信首部的標記位的含義，解釋表示為在AL中至少存在隨 機訪問標記和訪問標記之一。在這種情況下，要知道其含義與原來的不同，可以由 通信首部的版本號來對應。而且，只要通過在通信首部或AL首部設置訪問標記或隨 機訪問標記處理是很簡單的(對於前者，考慮兩個首部都設置標記的情況，但必須重 新擴充通信首部)。已經描述了附加表示數據處理優先級的信息，作為AL信息。通過把數據處理優 先級附加到通信首部，可以使數據處理優先級的處理的判定，即使在網絡上也可以 不進行數據內容的解釋而得到處理。而且，在IPv6的情況下，可以在比RTP級更低的層上附加該優先級。通過向RTP通信首部附加表示數據處理的有效期間的計時器或計數器，可以判 斷所傳送的數據包的狀態是怎樣變化的。例如，當需要的解碼軟體存儲在低訪問速 率的存儲器時，可以由計數器或定時器判斷解碼器所需要的信息以及什麼時候需要 信息。在這種情況下，根據用途，對於AL信息來說，計時器或計數器的優先級信息或數據處理的優先級信息不是必需的。圖5 (a)和5 (b)以及圖6 (a)至6 (d)是解釋附加AL信息的方法的示意圖。 通過向接收終端發送控制信息，可以選擇處理髮送信息的等級。所述控制信息 為是如圖5(a)所示，把AL僅加到要發送的數據的首部，還是如圖5(b)所示，在把 要發送的數據(ES)分解成一個以上的數據片之後的各數據片中附加把AL。當訪問滯 後成問題時，通過把AL附加到細分割數據中是有效的。如上所述，為了事先把在接收側數據控制信息的重組合或把數據控制信息配置 到數據中的方法的變化傳送給接收終端，接收終端可以利用標記、計數器或定時器 的表達方法，將表述準備成AL信息或通信首部通知接收終端，使接收終端能順利地 進行對應。在上述例子中，描述了避免用AL信息複製RTP首部(或通信首部)的方法和擴充 RTP或AL信息通信首部的方法。然而，對於本發明來說，並不總是必須使用RTP。 例如，也可以利用UDP或TCP重新定義獨立的通信首部或AL信息。雖然網際網路類環 境有時利用了 RTP，但在原類環境中並沒有定義諸如RTP等多功能首部。關於對AL 信息和通信首部的思考方法有下面四種類型(參見圖6 (a)至6 (d))。(1) 對RTP或AL信息的首部信息進行校正和擴充，以使己分配給RTP的首部信 息和已分配給AL的首部信息不重疊(特別是，時間標記的信息重疊，計時器、計數 器或數據處理的優先級信息變成擴充信息)。或者，可以利用不擴充RTP首部和即使 AL信息與RTP重複也不考慮的方法。它們對應於至此已說明的內容。由於RTP的一 部分，已實際上在H. 323被使用化，所以擴充具有兼容性的RTP是有效的。(參見圖 6(a)。)(2) 不拘泥於RTP，簡化通信首部(例如，僅使用序列號等)，把剩餘的內容，作 為多功能控制信息提供給AL信息。而且，通過使得在通信前可變地設置AL信息使 用的項目，這樣可以靈活地指定發送格式。(參見圖6(b)。)(3) 不管RTP如何，簡化AL信息(極端的例子是對AL不附加信息)，並把控制信 息全部提供給通信首部。將可頻繁地經常被參照的通信首部的序列號、時間標記、24標記位、有效負荷類型和對象ID作為固定信息，並將向數據處理優先級信息和定時 器信息作為擴充信息，設置表示擴展信息是否存在的標識符，只要擴充信息被定 義，則參考該信息(參見圖6(c)。)(4)與RTP無關，簡化通信首部和AL信息，把通信首部或AL信息作為分開的數 據包定義其格式並發送。例如，對AL信息僅定義標記位、時間標記和對象ID，對通 信首部也僅定義序列號，作為與這些信息不同的數據包(第二數據包)，定義有效負 載信息、數據處理優先級信息和計時器信息等並發送(參見圖6(d)。)如上所述，當考慮用途和已附加到圖像或聲音數據中的首部信息時，優選根據 該用途，能自由地定義(定製)與通信首部、AL信息以及數據是分開發送的數據包(第 二數據包)。圖7的示意圖用於解釋通過動態多路復用和分離多條邏輯傳輸線路來傳輸信息 的方法。其通過在傳輸部分設置信息多路復用部分和在接收控制部分設置信息分離 部分來實現。所述信息多路復用部分為減少邏輯傳輸線路的數量，根據用戶的指定 或者所用邏輯傳輸線路的數量，可以使傳送多個數據或控制信息的邏輯傳輸線路信 息的多路復用開始或者結束的信息多路復用部分，該分離部分離所接收的多路復用 信息。在圖7中，信息多路復用部分稱為"Gto叩MUX"，具體地說，它可以使用諸如 H.223的多路復用系統。可以設置於傳輸/接收終端Group MUX。通過將其設置於中 繼路由器或終端，可以進行窄帶通信通道的對應。而且，如果Group MUX在H.223 中實現，則可以使H. 223和H.324互連。為了快速地取得信息多路復用部分的控制信息(多路復用控制信息)，通過另一 邏輯傳輸線路發送信息多路復用部分內的控制信息，而在信息多路復用部分中的控 制信息不與信息多路復用部分內的數據進行多路復用，可以減少因多路復用引起的 延遲。因而，通過通知是將與信息多路復用部分有關的控制信息與數據多路復用後 傳送，還是控制信息不與數據進行多路復用，不進行多路復用，而是通過另一邏輯 傳輸線路傳送，並進行傳送，用戶可以選擇是保持與傳統多路復用的一致性，還是 減少由於多路復用引起的延遲。在此，關於信息多路復用部分的多路復用控制信息 是例如表示信息多路復用部分對每片數據進行什麼樣的多路復用的、表示多路復用 的內容的信息。同樣，如上所述，根據表述方法，例如根據標記、計數器或計時器，可以傳送 發送方法的通知，該方法至少發送傳達多路復用開始和結束的信息、傳達多路復用25邏輯傳輸線路的組合的信息和與多路復用有關的控制信息(多路復用控制信息)的傳 送方法，作為控制信息傳送，或者作為數據控制信息與數據一起發送給接收終端， 從而減少在接收側的設置時間。而且，如上所述，可以在傳輸RTP首部設置表示標 記、計數器或計時器的項目。
當存在多個信息多路復用部分或多個信息分離部分時，只需與標識符一起傳送 用於識別信息多路復用部分或信息分離部分控制信息(多路復用控制信息)，就可以 識別控制信息屬於哪個信息多路復用部分。控制信息(多路復用控制信息)包括多路 復用模式等。而且，對於信息多路復用部分或信息分離部分的識別符，可以通過利 用隨機數表在終端之間決定，以產生信息多路復用部分的標識符。例如，可以在發 送和接收終端之間規定的範圍內產生隨機數，並採用其最大值為信息多路復用部分 的標識符(識別號)。
由於信息多路復用部分多路復用的數據在以前與RTP中定義的多媒體類型不 同，所以需要對RTP有效負載類型定義表示在信息多路復用部分(定義新媒體類型 H. 223)多路復用的信息。
作為提高對多路復用數據的訪問速度的方法，通過將信息多路復用部分傳送或 記錄的信息以控制信息和數據信息的順序配置，謀求快速地分析出多路復用信息。 而且，將根據附加到控制信息中的數據控制信息描述的項目固定，並附加和多路復 用與數據不同的標識符(唯一的模式)，可以快速分析出首部信息。
圖8的示意圖用於解釋廣播節目的傳輸過程。通過把邏輯傳輸線路的標識符與 廣播節目的標識符之間的對應關係作為廣播節目的信息進行傳送，或者發送控制信 息或者使增加將廣播節目的標識符作為數據控制信息(AL信息)附加到數據並傳送， 可以辨別出在多條傳輸線路傳輸的數據是為哪個節目廣播而廣播的。而且，將數據 標識符(在RTP的情況下為SSRC)和邏輯傳輸線路的標識符(例如LAN埠號)之間的 關係，作為控制信息向接收終端傳送，並在確認了接收終端可以接收控制信息之後 (Ack/Reject)，通過發送相應數據，即使控制信息和數據都分別通過獨立的傳輸線 路傳輸，也可以形成數據之間的對應關係。
將表示對廣播節目或數據的傳輸順序的標識符和具有表示廣播節目或數據可以 用作信息的有效期限的計數器或計時器的信息組合起來。並通過將其附加到廣播節 目或數據加以發送，可以實現無返回信道的廣播(當有效期限幾乎要失效時，即使信 息不夠，也開始再現廣播節目的信息或數據)。而且，可以考慮這樣一種方法，即使 用單個通信埠 (多播地址)，不分離控制信息和數據進行廣播的方法。在沒有返回信道的通信中，必須在發送數據之前充分地發送比數據足夠多的控 制信息，以使接收終端能得知數據結構。而且，控制信息一般應當通過不會產生數 據包丟失的、可靠性高的傳輸信道發送。然而，當利用可靠性低的傳輸信道時，必 須周期性地發送具有相同傳輸序列號的控制信息。然而，這不限於發送與設置時間 有關的控制信息的情況。
而且，通過選擇可以作為數據信息附加的項目(例如訪問標記、隨機訪問標記、 數據再現時間(PTS)，或數據處理優先級信息等)，在發送數據之前並在發送側決定
是作為控制信息與數據的標識符(SSRC)—起通過與數據的傳輸線路不同邏輯傳輸線 路進行傳送，還是把數據控制信息作為數據控制信息(AL信息)傳送，在接收側作為 控制信息通知並傳送，可以靈活地控制和傳送數據。
因而，可以不向AL附加信息而傳送數據信息。因此，在使用RTP傳送圖像或聲 音數據時，就不必擴大對以前己定義的有效負載的定義。
圖9(a)和9(b)為考慮了程序或數據的讀取和啟動時間的圖像或聲音的發送方法 的示意圖。具體地說，當如沒有返回信道的單向的如衛星廣播或便攜終端那樣，終 端資源為有限時，或程序或數據存在於接收側終端並使用，以及所需的程序(例如 H.263， MPEG 1/2，或音頻解碼器軟體等)或數據(例如視頻數據或音頻數據)存儲在 需要較長讀取時間的存儲器(例如DVD、硬碟或網絡上的文件伺服器)時，可以根據諸 如為事先需要的識別程序或數據的標識符、傳送的數據流的標識符(例如SSRC或邏 輯信道號(logical Channel Number))或估計在接收端所需要的特定的時間點標記、 計數器(升/降計數)或計時器等表述方法，通過作為控制信息接收，或作為數據控 制信息與數據一起接收，來減少所需的程序或數據的設置時間(圖18)。
當發送程序或數據時，通過從發送側將表示程序或數據的接收終端的存儲器地 (例如硬碟或存儲器)的信息、開始或讀取所需的時間、終端的類型或存儲地與開始 或讀取所需的時間之間的對應關係(例如CPU功率、存儲設備和平均響應時間之間的 關係)和與表示利用的順序的程序或數據一起發送，這樣在接收終端實際上需要程序 或數據時，則可以計劃安排程序或數據的存儲地和讀取時間。
圖10 (a)和10(b)的示意圖用於解釋對應於快速切換(切換電視頻道)的方法。
與傳統的衛星廣播僅接收圖像的情況不同，當必須在接收終端執行程序時，讀 取程序併到啟動的設置時間是一個大問題。這對於可用的資源有限的便攜終端的情 況也存在同樣問題。
作為一個解決方案，可以通過以下方式減少在接收側終端的設置時間(a)具備利用用戶進行觀看和收聽的主視聽部分和接收終端周期性地視聽的輔視聽部分，所 述輔視聽部分為用於在用戶正在視聽的節目以外的節目，並所需的程序和數據存在 於讀取數據需要時間的存儲裝置中，而接收用戶正在視聽的節目以外的節目的接收 終端進行周期性地視聽，並對事先需要的識別程序或數據的標識符、用於估計接收 終端所需的特定時間的標記、計數器或定時器的信息以及與節目之間的對應關係作 為控制信息(由與數據的數據包不同的數據包發送給控制終端處理的信息)接收，或 作為數據控制信息(AL信息)與數據一起接收，並事先準備讀取程序或數據。
作為第二種解決措施，設置僅廣播通過多頻信道廣播的圖像的標題圖像的廣播 頻道，並由用戶切換節目，通過如下方法可以防止屏幕在設置時停止顯示。即，當 在需要較長讀取時間的存儲器中存在所需的程序或數據時， 一旦選擇用戶想視聽的 節目的標題圖像，並把它向用戶顯示，或者顯示當前正在讀取中，於此同時由存儲 器讀取所需的程序或數據後，重新啟動用戶想視聽的節目。在此所述的標題圖像包 括對通過多頻道廣播的節目進行周期性取樣獲得的廣播圖像。
而且，定時器體現時間，例如表示要解碼從發送側發送的數據流所需的程序從 現在起到何時需要。計數器是發送和接收終端之間決定的基本時間單位，它只要是 表示第幾次的信息即可。標記與在設置所必需的時間之前發送的數據或控制信息(通 過與控制終端處理的數據的數據包不同的數據包發送的信息)一起發送並通知。可把 定時器、計數器嵌入到數據中發送，也可以把它們作為控制信息發送。
而且，作為確定設置時間的方法，例如在利用諸如工作在時基上的ISDN等傳輸 線路時，把識別傳輸序列的傳輸序列號用作控制信息，以通知從發送終端向接收終 端需要程序或數據的時刻，作為數據控制信息與數據一起或作為控制信息通知給接 收終端，由此，可以預測進行設置的時間。而且，當傳輸時間由於如網際網路的跳動 或延遲而波動時，則考慮到傳輸的傳播時延，只需根據已在RTCP(網際網路使用的媒體 傳輸協議)實現的手段，由跳動或時延把傳輸時間加到設置時間中。
圖ll(a)至19(b)示出了終端之間實際傳送的協議的具體例子。
在ASN. 1中描述了發送格式和傳輸過程。而且，發送格式根據ITU的H.245擴 展。如圖ll(a)所示，圖像和聲音的對象可以具有分層結構。在該例子的情況下，每 個目標ID具有廣播節目標識符(Program ID)和對象ID(S SRC)的屬性和圖像之間的 結構信息、合成方法用諸如Java或VRML等腳本語言描述。
圖ll(a)示出了對象之間關係的例子。
在圖11 (a)中，對象是諸如聲音、圖像、CG和文本等媒體。在圖ll(a)的例子中，對象構成分層結構。每個對象具有節目號("Program ID"相當於TV頻道)，用 於識別對象的"Object ID"對象標識符。當根據RTP(網際網路使用的傳輸媒體的媒體 傳輸協議，實吋傳輸協議)傳輸每個對象時，使對象標識符通過使其與SSRC(同步源 標識符)對應可以容易地識別對象。而且，可以利用諸如JAVA或VRML等描述語言描 述對象之間的結構。
傳輸對象的方法可以由兩種類型。 一種是廣播型，把對象單方面從發送側終端 發送。另一種是在發送和接收終端(終端A和B)之間傳送對象的類型(通信型)。
例如，作為傳輸方法在網際網路的情況下，可以用RTP。在視頻電話標準的情況 下，利用稱作LCNO的傳輸通道，傳輸控制信息。在圖ll(a)的例子中，用多個傳輸 通道來傳輸。把相同的節目通道(Program ID)分配給這些通道。
圖ll(b)的示意圖用於解釋如何實現這種實現了本發明描述的功能的協議。下 面描述視頻電話標準(H.324和H.323)所用的傳輸協議(H.245)。本發明描述的功能 通過擴展H,245來實現。
圖ll(b)中的例子示出的描述方法是稱為ASN. 1的協議描述方法。"終端性能 集("Terminal Capabilityset")表述終端的性能。在圖ll(b)的例子中，描述成 "mpeg 4 Capability"的功能是對傳統H. 245的擴展。
在圖12中，"mpeg 4性能"("MPEG4 Capability")描述了可以同時在終端 處理的最大圖像數據("Max Namber of Video")和最大聲音信號數("Max Numbe of Sounds")，還描述終端可以實現的最大多路復用功能數("Max Number of Mux，，)。
在圖12中，表示成可以處理的最大對象量("Number of Process Object ")。而且，描述了表示是否可以改變通信首部(在圖12中表示成AL)的標 記。當標記的值為真時，可以改變通信首部。為了利用"MPEG 4性能確認("MEG 4 Capbility ACK")彼此傳達在終端之間可以處理的對象數，如果被傳達側可以接受 (處理)這些對象，被傳達側把"MPEG 4 Capbility ACK"送回給發送"MPEG 4 Capbility "的終端，如果不能，則向該終端回送"MEPG 4性能拒絕"("MPEG4 Capbility Reject")。
圖13(a)示出了如何描述利用上述Group MUX把多個邏輯信通道多路復用成一 個傳輸通道(在本例中為LAN傳輸通道)的協議，以便邏輯通道共用傳輸通道。在圖 13(a)的例子中，使多路復用裝置(Group MUX)對應於LAN(區域網)傳輸通道(LAN端 口號，"LAN Poxt Number" )。
"Group Mux ID" ( "Group Max ID")是用於鑑別多路復用裝置的標識符。為了 "創建組Max" ( "Create group Mux")，使終端共 用多路復用裝置，並在終端之間相互傳送，如果被傳送側可以接受(使用)該多路復 用裝置，就向發送"Greate Group Mux"的終端回送"Greate Gro叩Mux Ack"， 如果不能接受，就向該終端回送"Greate Group Mux Reject"。可以用相同的方法 實現分離裝置，用作進行與多路復用手段相反的操作的手段。
在圖13(b),描述了刪除已產生的多路復用手段的情況("Destory Gro叩 Mux":"破壞組Mux")。
在圖13(c)中，描述了 L認傳輸通道與多個邏輯通道之間的關係。
根據"LAN Port Numbef"描述LAN的傳輸通道，根據"邏輯埠號" ("Logical Port Number")描述了邏輯通道。
在圖13(c)的情況下，可以使一個LAN的傳輸通道對應多達15個邏輯通道。
在圖13中，當可以使用的MUX的數量僅為一個時，Gro叩Mux ID就不需要。 而且，為了使用多個Mux,對於H. 223的每個命令都必須有Group Mux ID。可以使 用標記，以通知多路復用裝置與分離裝置之間使用的埠之間關係。還可以使用命 令使其可以選擇是對控制信息進行多路復用，還是通過另一邏輯傳輸線傳輸信息。
圖13(a)至圖13(c)所示的解釋例中，傳輸通道利用LAN。然而，也可使用利用 例如H. 223或MPEG 2等的網際網路協議的系統。
在圖14中，"開邏輯通道"("Open Logical Channel")顯示定義傳輸通道屬 性的協議描述。在圖14的例子中，"MPEG 4邏輯通道參數"("MPEG4 Logical Channel Parameters")根據H. 245協議擴展和定義。
圖15示出了對於L認傳輸通道，表示節目號(相當於TV頻道)，與節目的名稱 對應("MPEG 4 Logical Cannel Parameters")。
而且，在圖15中"廣播通道節目"("Broadcesting Channel Program")表示 根據廣播型發送LAN傳輸通道與節目號之間對應關係的描述方法。圖15的例子使得 可以發送多達1023個傳輸通道與節目號之間對應關係。由於在廣播的情況下，發送 側單方面向接收側發送，所以考慮到在傳輸期間的丟失現象，有必要周期性地發送 這些信息。
在圖16(a)中，描述了作為節目傳輸的對象(例如圖像或聲音)的屬性("MPEG4 對象類別定義")("MPEG4 Object Calssdefinition")。把對象信息("對象結構 單元")("Object Structure Element")對應於節目標識符("Progr柳ID")。可 以使多達1023個對象對應於節目標識符。對於對象信息，描述了 LAN傳輸通道
30("LAN port Number")、表示是否使用加擾的標記("加擾標記")(Scramble Flag)、終端過載時定義改變處理優先級的偏移值的欄位("CGD偏移")("CGD Offset")以及識別要傳輸的媒體類型(圖像或聲音)的標識符("媒體類型")("Media type" )o
在圖16(b)所示的例子中，增加了AL(在本例中，定義成一幀解碼圖像所需的附 加信息)以控制對ES(在本例中，定義成對應於一幀的圖像的數據串)的解碼。對於 AL信息，定義如下。
(1) 隨機訪問標記(表示是否可獨立再現的標記，真表示幀內編碼的圖像幀)
(2) 展現時間標誌"Presentation Time Stamp"(幀顯示的時間)
(3) CGD Priority(決定當終端過載時的處理優先級的優先級的值) 該例子示出了利用RTP(通過網際網路傳送連續的媒體的協議，即實時傳送協議)
傳送一幀的數據串的情況。"AL Reconfiguration"是改變可以用上述的AL表示的 最大值的傳輸表述。
圖16(b)的例子使得可以把多達2位表示成"隨機訪問標記最大位數" ("Random Access Flag Max Bit")。例如，當"0"時，不使用隨機訪問標記 ("Random Access Flag")。當有兩位時，最大值等於3。
而且，可以用實數部分和尾數部分表示(例如3A6)。當不設置數據時，也可以 在預設確定狀態下工作。
在圖17中，"設置請求"("Set叩Request")表示傳輸設置時間的傳輸表 述。"Set卯Request"在傳輸節目之前發送，使要傳輸的傳輸通道號("Logical Channel Number")、要執行的程序ID("執行程序號")("excutive Program Number")要使用的數據ID( "data Number")和要執行的命令ID("執行命令 號")("excutive Command Number")成彼此對應，並傳輸給接收終端。而且，作 為另外的表述方法，可以採用執行授權標記("flag")、描述在接收"Set叩 Request"多少次時開始執行的計數器("counter")和表示在經過多少時間後開始 執行的定時器值("timer")，並使它們對應於傳輸通道號。
作為要提出的請求的例子，可列舉重寫AL信息和確保Gro叩Mux的啟動時間。
圖18的示意圖用於解釋傳輸表述，是否利用圖16(b)描述的AL從發送終端向 接收終端傳送AL("控制AL定義")("Control AL Definstion")。
在圖18中，如果"隨機訪問標記使用"("Random Access Flag Use")為真， 則使用隨機訪問標記。否則就不使用。可以把AL變化通知作為控制信息通過與數據傳輸通道分開的通道進行傳輸，或通過與數據相同的傳輸通道，與數據一起傳輸。
作為執行用的程序，可列出解碼程序。可以把設置請求用於廣播和通信。根據 上述請求，對接收終端指示作為控制信息，使用作為AL信息的哪一項。而且，可以 同樣地對接收終端指示作通信首部用哪一項，作為AL信息用哪一項，作為控制信息 用哪一項。
圖19(a)示出了傳輸表述的例子，它使用信息幀標識符("首部ID" ) ( "header ID")，在發送和接收終端之間，根據用途改變首部信息的結構(數據控制信息、傳 輸控制信息和控制信息)。
在圖19(a)中，"類別ES首部"("class ES—header")根據信息幀標識符， 在發送和接收終端之間區分通過與數據傳輸通道相同的通道傳輸的數據控制信息的 結構或者與傳輸控制信息所傳輸的信息的結構。
例如，當"header ID"值為0時，僅使用"緩存器規模的ES" ( "buffer Size ES")項，而當"header ID"值為1時，增加("reserved")項並使用。
而且，通過使用預設標識符("使用首部擴展")("use Header Extension"),判定是否使用預設形式的信息幀。當"use Header Extension"是 真時，使用if語句中的項。假設事先在發送和接收終端之間決定了這些結構信息。 而且，可以使用信息幀標識符和預設標識符之任意一方。
在圖19(b)的例子中，"AL配置"("AL Configuration")表示這樣一個例 了-，在發送和接收終端之間，根據用途改變通過與傳輸的數據不同的傳輸通道發送 的控制信息的結構。信息幀標識符和預設標識符的使用方法與圖19(a)的情況相同。
在本發明的情況下，從下面的觀點具體描述實現同時合成和顯示多個運動圖像 和多個聲音的方法。
(1) 通過多條邏輯傳輸線路傳輸圖像和聲音(通信和廣播)並控制它們的方法。尤 其是，描述了通過使將控制信息和數據分別進行傳輸的邏輯傳輸線路獨立並傳輸的方法。
(2) 動態改變附加到要傳輸的圖像或聲音的數據中的首部信息(AL信息)的方法。
(3) 動態改變為傳輸而附加的通信首部信息的方法。
具體地說，對於第(2)和(3)項，描述了綜合在AL信息和通信首部重複的信息並 進行控制方法和把AL信息作為控制信息傳輸的方法。
(4) 對多條邏輯傳輸線路進行動態地多路復用和分離和傳輸信息的方法。描述了節省傳輸線路的通道數的方法和實現有效多路復用的方法。
(5) 考慮了程序或數據的讀取、啟動時間的圖像和聲音的傳輸方法。而且，描述 了從各種功能和用途的方面縮短表面上的設置時間的方法。
(6) 針對頻道快速切換的圖像或聲音的傳輸方法。
本發明並不僅限於合成兩維圖像。也可以使用把兩維圖像與三維圖像組合的表 述方法，或者可以包括合成如寬視野圖像(全景圖像)那樣彼此相鄰接多幅圖像的圖 像合成方法。
而且，作為本發明的對象的通信形式並不僅限於諸如有線的雙向CATV和B-ISDN。例如，可以使用從中央終端向家用終端傳輸圖像和聲音的無線電波(例如VHF 頻帶或UHF頻帶)，或者衛星廣播以及從家用終端向中央終端傳送信息的模擬電話線 路或N-ISDN (圖像、聲音或數據也不一定是被多路復用的)。
而且，可以使用無線電通信系統，諸如IrDA、 raS(個人手持電話)，或者無線 LAN的通信形式。而且，對象終端可以是例如可攜式信息終端的可攜式終端或例如設 置盒或個人計算機等桌面終端。而且，作為應用領域，還可以包含視頻電話、多點 監視系統、多媒體系統、多媒體資料庫檢索系統和遊戲機。本發明不僅包括接收終 端，而且還包括連接到接收終端的伺服器和轉發器。
在上述例子中，描述了避免RTP(通信)首部與AL信息重複的方法和擴充RTP通 信首部或AL信息的方法。然而，本發明並不一定必須使用RTP。例如，也可以利用 UDP或TCP重新定義獨立的通信首部或AL信息。雖然網際網路類環境有時使用RTP， 但對於原類環境並未定義諸如RTP等多功能首部。如上所述，關於AL信息和通信首 部的概念有四種。
因此，通過動態確定在發送和接收終端使用的數據控制信息的信息、傳輸控制
信息或控制信息的各種信息的幀(例如包括首先把隨機訪問標記作為1位標記信息 分配，其後信息序列作為16位標記信息分配的、附加信息的順序和伴隨位數的信息 的幀)，可以進行對應於狀況的信息幀的改變，也可以根據用途或傳輸線路進行改變。
各信息的幀可以是如圖6(a)至6(d)所示出的任一種，在RTP的情況下，數據控 制信息(AL)可以是每種媒體的首部信息(例如，在H.263的情況下，可以是H,263固 有的視頻首部信息或有效負載的首部信息)，傳輸控制信息可以是RTP首部信息， 控制信息可以是控制諸如RTCP等RTP的信息。
而且，在發送和接收終端之間預先設置了公知的信息幀的情況下，通過將表示
33是否進行發送或接收的預設的標識符設置於數據控制信息、傳輸控制信息和控制信 息(通過與數據不同的數據包傳輸的、控制終端處理的信息)，可以了解信息幀是否 已改變。通過僅當進行了改變時，設置預設標識符並根據圖16所示的方法，通知已 改變內容(例如時間標誌信息從32位改變成16位)，這能防止信息的幀信息沒有改
變時傳輸不必要的配置信息。
例如，要改變數據控制信息的信息幀可以有下面的兩種方法。首先，在描述對 數據本身進行數據控制信息的信息幀的改變方法時，設置數據控制信息的信息幀描 述的數據中存在的信息的預設標識符(要寫入到固定區域或位置)，然後描述信息幀 的變化內容。
作為另一種方法是描述變控制信息(信息幀控制信息)為數據的信息幀的方法 時，改變數據控制信息中的信息幀時，設置控制信息提供的預設標識，描述要改變
的數據控制信息的信息幀的內容，並根據ACK/Reject向接收終端通知並確認數據控 制信息的信息幀己改變後，傳輸信息幀已改變的數據。改變傳輸控制信息和控制信 息本身的信息幀時，也可以由上述兩種方法實現(圖19)。
更具體地說，雖然MPEG2的首部信息是固定的，通過對MPEG2-TS的視頻數據流 (傳送數據流)與音頻數據流相關聯的程序映射表設置預設標識符(由PSI定義)，並 定義描述了視頻數據流和音頻數據流信息的幀的改變方法的配置數據流，只要預設 標識符一設置就可以首先解釋配置數據流，然後根據配置數據流的內容解釋視頻和 音頻數據流的首部。配置數據流可以是圖19所示的內容。
與傳輸方法和/或要傳輸的數據的結構有關的本發明的內容(傳送格式信息)在上 述實施例中，例如對應於信息幀。
上述實施例，主要描述了與傳輸方法和/或要傳輸的數據的結構有關的、要改變 的內容。然而，並不限於此，也可以是使用僅傳輸內容標識符的結構。在這種情況 下，作為發送裝置，例如，如圖44所示，可以是音頻-視頻發送裝置包括(l)發送 裝置5001，將發送與傳輸方法和/或要發送的數據的結構有關的內容或表示內容的標 識符，作為發送格式內容，使用與傳送數據相同的傳輸線路或與所述傳輸線路不同 的傳輸線路進行傳送；(2)存儲裝置5002，用於存儲多種類型的與傳輸方法和/或要發 送的數據的內容有關的內容及其標識符，所述標識符為在數據控制信息、傳輸控制 信息和控制終端側處理的至少一個信息。而且，作為接收裝置，例如，如圖45所 示，可以是音頻-視頻接收裝置，包括用於接收從音頻-視頻發送裝置發送的傳輸 格式信息的接收裝置5101和用於解釋接收到的發送格式信息的發送格式信息解釋裝置5102。而且，音頻-視頻接收裝置還可以具有存儲裝置5103，其用於存儲多種類 型的與傳輸方法和/或要發送的數據的結構有關的內容和這些內容的標識符，當作為 發送格式信息接收標識符時，可以用存儲在存儲裝置中的內容解釋標識符的內容。
更具體地說，在發送和接收終端預先決定並準備多種類型的信息幀，通過與數 據一起傳輸用於進行上述多種類型的信息幀的識別和數據控制信息、傳輸控制信息 和控制信息(傳輸幀控制信息)的信息幀標識符，或者作為控制信息進行傳送，這 樣，可以可以識別多種類型的數據控制信息、多種類型的傳輸控制信息和多種類型 的控制信息，可以根據要傳輸的媒體類型或傳輸線路的容量自由地選擇各種類型信 息的信息幀。本發明的標識符對應於上述信息幀標識符。
通過把標識符附加到要傳輸的信息的預定的固定長度區域中或預定位置上，即 使在接收側終端即使信息幀被改變，也可以讀取和解釋這些信息標識符和預設標識 符。
而且，除了上述實施例描述的結構之外，也可以使用這樣一種結構，在多個通 道中設置僅廣播通過由多頻道廣播的圖像的標題圖像的廣播通道，用戶通過切換要 視聽的節目，當程序或數據的設置需要花費很多時間時，可以一旦選擇要觀看和收 聽的節目的標題圖像，並向用戶提示。
如上所述，本發明可以動態地決定在發送和接收終端使用的數據控制信息的 幀、傳輸控制信息或控制信息，可以對應於狀態改變信息的幀，並也根據用途或傳 輸線路改變。
而且，可以通過在發送和接收終端之間使用預先設置的公知信息，對數據控制 信息、傳輸控制信息和控制信息各自設置表示是否發送或接收並處理信息的預設標 識符，可以得知信息幀是否已改變，並且僅當進行了改變時通過設置預設標識符並 通知改變內容，可以在沒有改變信息幀時防止傳輸不必要的配置信息。
再者，通過在發送和接收終端預先決定並準備多種信息幀，通過與數據一起傳 輸用於識別多種類型的數據控制信息、傳輸控制信息和控制信息的信息幀標識符， 或者作為控制信息進行傳送可以分別識別多種類型的數據控制信息、傳輸控制信息 和控制信息，並且可以根據要傳輸的媒體的類型或傳輸線路的容量自由地選擇各種 類型的信息幀。
通過把標識符附加到要傳輸的信息的預定的固定長度區域中或預定的位置，即 使在接收側終端即使信息幀被改變，也可以讀取和解釋這些信息標識符和預設標識符。
35下面參照附圖描述本發明的實施例。
在本例中，解釋了上述課題(B1)至(B3)中的一個問題。
本發明所用的"圖像"包括靜止圖像或運動圖像。而且，提出的圖像可以是二 維圖像，例如計算機圖形(CG)圖像，或者可以是用線框型構成的三維圖像數據。 圖25是本發明的實施例的圖像編碼器或圖像解碼器的示意性框圖。 發送或記錄各種編碼信息發送控制部分4011是用於傳送同軸電纜、CATV、 LAN 或數據機等的信息的裝置。圖像編碼器4101具有圖像編碼部分4012，用於對諸 如H. 263、 MPEG1/2、 JPEG圖像信息進行編碼或進行Huffman編碼，還具有發送控制 部分4011。而且，圖像編碼器4102的輸出部分4016由下列部分構成接收各種編 碼信息的接收控制部分4013、解碼各種接收到的圖像信息的圖像解碼部分4014、合 成一幅或多幅解碼圖像的圖像合成部分4015和由輸出圖像的顯示器和印表機構成的 輸出部分的4016。
圖26是本發明一個實施例的音頻編碼器和音頻解碼器的示意性框圖。 音頻編碼器(聲音編碼器4021)包括發送或記錄各種編碼信息的發送控制部分 4021和對諸如G. 721或MPEG1音頻信號的音頻信息進行編碼的音頻編碼部分4022。 音頻解碼器(聲音解碼器)4202包括接收各種編碼信息的接收控制部分4023、解碼 上述音頻信息的音頻解碼部分4024、合成一個或多個解碼音頻信號的音頻合成部分 (聲音合成部分)4025和輸出音頻信號的輸出裝置4026。
上述編碼器或解碼器各自對聲音或運動圖像的時間序列數據進行具體的編碼或 解碼。
圖25和26的通信環境可以是能使用多條邏輯傳輸線路而不用考慮多路復用裝 置的環境，如網際網路的情況，也可以是必需考慮多路復用裝置的環境，如模擬電話 或衛星廣播的情況。作為終端連接系統，可列舉諸如在視頻電話或視頻電話會議系 統等終端之間雙方向傳輸圖像或聲音的系統，或在衛星廣播、CATV或網際網路上廣播 的廣播型圖像或聲音的系統。
同樣，合成圖像或聲音的方法，可以用諸如JAVA、 VRML或MHEG等腳本語，描 述圖像和聲音、圖像和聲音的結構信息(顯示位置和顯示時間)、音頻-視頻分組方 法、通過描述圖像顯示的層(深度)和對象ID(識別諸如圖像或聲音等各種對象的ID) 和與它們的屬性之間的關係，可以定義合成圖像或聲音的方法。描述合成方法的腳 本可以從網絡或本地存儲器獲得。
而且，可以任意組合任意個數的圖像編碼器、圖像解碼器、音頻編碼器和音頻解碼器，構成發送或接收終端。
圖27(a)的示意圖用於解釋控制過載處理時的優先級的優先級附加部分和優先 級決定部分。利用諸如H.263或G.723的編碼方法，根據預定的標準決定過載時的 處理的編碼信息的優先級，並設置使編碼信息與確定的優先級相關聯的優先級附加 部分31於圖像編碼器4101和音頻編碼器4201中。
優先級的附加基準是在圖像的情況下為場景變化，編輯者或用戶指定的圖像 幀、數據流，在聲音的情況下為有聲區和無聲區。
定義過載時的優先級的優先級附加方法可以有兩種。向通信首部附加優先級的 附加方法和在編碼時把優先級嵌入到要編碼的視頻或音頻的位流的首部內的方法。 前一種方法可以不用解碼信息而獲得與優先級有關的信息，後一種方法可以獨立地 處理一個位流，而與系統無關。
如圖27(b)所示，當把優先級信息附加到通信首部時，把一圖像幀(例如幀內編 碼的I幀或幀間編碼的P或B幀)分割成多個傳輸數據包時，在圖像的情況下，作為 單獨的信息僅在傳輸可訪問的圖像幀的首部附加優先級(當在同一圖像中優先級相同 時，可以假設一直到下一個可訪問圖像幀出現為止，優先級都不變化)。
又，在解碼器中，根據在接收到的各種編碼信息的過載時的優先級決定處理方 法的優先級處理部分32設置於圖像解碼器4102和音頻解碼器4202。
圖28(a)至28(c)的示意圖用於解釋附加優先級的等級。解碼利用決定終端過載 時的處理的優先級的兩種類型的優先級進行。
即，定義了用於規定以位流(諸如圖像和聲音的位流)單位過載時的處理的優 先級的數據流優先級(數據流優先級"Stream Priority";時間序列數據間優先 級)；用於規定同一數據流中以幀(例如圖像幀)單位過載時的處理的優先級的幀優先 級(幀優先級"Fram Priority";時間序列數據內優先級)(參見圖28(a))。
前一種數據流優先級可以處理多個視頻或音頻數據。後一種幀優先級可以根據 編輯者的意向，向圖像場景變化或同一幀內編碼的圖像幀(I幀)附加不同的優先級。
數據流優先級表示的值的意義可以考慮到作為相對值處理的情況和作為絕對值 處理的情況(參見圖28(b)和28(c))。
數據流優先級和幀優先級的處理在網絡上時，可以由諸如路由器或網關等轉發 終端；若為終端，則有發送和接收終端。
考慮用兩種方法表示絕對值或相對值。 一種是圖28(b)所示的方法，另一種是 圖28(c)所示的方法。在圖28(b)中，絕對值優先級是表示被編輯者或機械性附加的圖像數據流(視頻 流)或音頻流過載時的處理(或要處理)的順序的值(但不是考慮了實際網絡或終端的 負荷變化的值)。相對值優先級是根據終端或網絡的負荷改變絕對優先級值的值。
通過把優先級分成相對值和絕對值進行控制，根據網絡的負荷波動等，通過在 發送側或由轉發器只改變相對值，可以保留附加在視頻或音頻數據流中的絕對優先 級，同時將其記錄到硬碟上或VTR上。因此，只要記錄了絕對優先級的值，就可以
不受網絡的負荷波動等影響的而再現圖像或聲音。而且，可以獨立於數據通過控制 通道傳輸相對或絕對優先級。
在圖28(b)中，可以使其的等級比數據流優先級更細，把定義過載時的幀的處 理的優先級的幀優先級作為相對優先級的值，或者把作為絕對優先級的值處理。例 如，通過在編碼圖像中描述絕對幀優先級、和為反映網絡或終端的負荷波動，將對 於附加到前面的圖像幀中的絕對優先級的相對幀優先級描述在傳輸編碼信息的通信 數據包的首部，這樣，即使在幀一級的情況下，也可以在保留原始優先級的同時， 並根據網絡或終端的負荷附加優先級。
還可以不是通信首部，而是獨立於數據，在控制通道中描述與幀的關係，來傳 送相對優先級。這樣，可保留原來附加到圖像或聲音數據流的絕對優先級，同時把 數據記錄到硬碟或VTR上。
而且，在圖28(b)中，不在接收終端上記錄數據，通在過網絡傳輸數據的同時 在接收終端再現數據，由於不必在接收終端分離絕對值和相對值進行控制，可以在 發送側對幀和數據流雙方的級，在發送前事先計算絕對優先級的值和相對優先級， 僅傳送絕對值。
在圖28(c)中，絕對值優先級是從Stream Priority和Fram Priority之間的 關係獲得的幀之間唯一確定的值。相對值優先級是表示編輯者或機械地附加的圖像 數據流或音頻數據流在過載時處理(或要處理)的順序的值。在圖28(c)的例子中，圖 像或聲音的各數據流的幀優先級(relative;相對值)或對每個數據流附加數據流優 先級。
絕對幀優先級(absolute;絕對值)由相對幀優先級和數據流優先級之和求得 (即，絕對幀優先級=相對幀優先級+數據流優先級)。也可以使用減法或乘以常數 的方法獲得絕對優先級。
絕對幀優先級主要用於網絡。這是因為利用絕對值的表述不需要確定通過諸如 路由器或網關等轉發器考慮Stream Priority和Fram Priority,來確定每幀的優先級。通過使用絕對幀優先級，可以使在轉發器的幀廢棄的處理得到簡化。
另一方面，可以期望把相對幀優先級主要應用於進行記錄或編輯累積系統。在 編輯操作的情況下，可以同時處理多個圖像和聲音數據流。在這種情況下，因終端 或M絡的負荷情況，能再現圖像數據流的數量和幀的數量有可能達到極限。
在上述情況下，與僅通過把Stream Priority與Fram Priority分離並控制， 例如，僅通過改變編輯者想優先顯示或用戶要看的數據流的Stream Priority表述 絕對值的情況不同，不必重新計算每個Fram Priority。因此，必須根據用途分別使 用絕對表述或相對表述。
通過描述是把數據流優先級用作相對值還是用作絕對值，可以有效地表示在傳 輸的情況和在累積的情況下的優先級。
在圖28(b)的情況下，附隨數據流優先級，通過設置數據流優先級表述的值是 絕對值還是相對值的標記或標識符進行區別。在幀優先級的情況下，不需要標記或 標識符，這是因為在通信首部描述了相對值，在編碼幀內描述了絕對值。在圖28(c) 的例子中，設置了識別幀優先級是絕對值還是相對值的標記或標識符。在絕對值的 情況下，幀優先級是根據數據流優先級和相對幀優先級計算得到的優先級，因此， 轉發器或終端並不進行這種計算。而且，當終端已知計算公式時，可以根據絕對幀 優先級和數據流優先級反向計算相對幀優先級。例如，還可以從下面的相對表述獲 得要傳輸的數據包的絕對優先級(Access Unit Priority): "Access Unit Priority-數據流優先級-幀優先級"
在這種情況下，由於幀優先級是在從數據流優先級中減去了之後獲得的，所以 它也可以表示為劣後優先級。
也可以使一個或多個數據流優先級與通過TCP/IP邏輯通道(LAN的埠號)的數 據處理的優先級相關聯，控制數據處理。
再者，通過把比字符或控制信息低的數據流優先級或幀優先級分配給圖像或聲 音，預期可以減少重發。這是因為即使部分圖像或聲音丟失，在大多數情況下也不 會產生問題。
圖29的示意圖用於解釋把優先級分配給多解析度視頻數據的方法。 當一個數據流由多個子數據流構成時，可以通過把數據流優先級附加到子數據
流中，並描述累積或傳輸時的邏輯和或邏輯積，定義子數據流處理方法。
在子波的情況下，可以把一圖像幀分解成多個不同解析度的圖像幀。而且，即
使在DCT基編碼的方式中，通過把圖像幀分割成高頻分量和低頻分量，並對它們進行編碼，也可以把一圖像幀分解成多個不同解析度的圖像幀。
除了附加到由一系列分解的圖像幀構成的多個圖像數據流中的數據流優先級之 外，描述圖像數據流之間的關係用"與"(邏輯積)以及"或"(邏輯和)來定義。具 體地說，當數據流A的數據流優先級為5，數據流B的數據流優先級為10時(數值越
小，優先級越高)，圖像數據流之間的關係可以定義成根據優先級廢棄數據流數據的
情況下，廢棄數據流B，但通過描述數據流之間的關係，在"與"的情況下，即使數 據流B的優先級低於閾值優先級，也可以傳輸和處理數據流B，而不廢棄。
因而，可以使有關聯的數據流而不被廢棄而的到處理。在"或"的情況下，則 定義成可以廢棄相關數據流。可以與前面的同樣，廢棄處理在發送或接收終端都可 進行，甚至在轉發終端也可進行。
而且，作為描述關係的運算符，當把同一視頻剪輯分別編碼成24Kbps和 48Kbps時，存在是再現24還是再現48Kbps的情況(用異邏輯和"異或"描述關 系)。
當前者的優先級被設置成10後者的優先級被設置成5時，用戶可以根據優先級 再現後者，或者不遵循優先級，選擇後者。
圖30的示意圖用於解釋通信有效負載的構成方法。
當由多個子數據流構成時，例如根據附加到子數據流中的數據流優先級，通過 從具有最高優先級的子數據流開始，依次構成發送數據包，可以使在傳輸數據包一 級上廢棄變得容易。而且，提高精度，將具有高幀優先級的對象的信息匯總到一起 構成通信數據包，可以使在通信數據包一級的廢棄變得容易。
通過使圖像的切片結構與通信數據包相關聯，可以使回送遺漏的數據包變得容 易。即，通過使運動圖像的切片結構與數據包結構相關聯，不需用於再同步的再同 歩標記。如果與通信數據包結構一致的切片結構不一致，則當發生遺漏數據包使信 息受損時，必須附加再同步標記(告知回送位置的標記)，以便進行再同步。
根據上文所述，可認為把高防錯措施應用於具有高優先級的通信數據包。而 且，圖像的切片結構表示諸如G0B或MB等的集合圖像信息的單元。
圖31的示意圖用於解釋使數據與通信有效負載相關聯的方法。通過把數據流或 對象與通信數據包相關聯的方法與控制信息或數據一起傳送，可以根據通信狀態或 用途產生任意的數據格式。例如在RTP(實時傳送協議)的情況下，對要處理的每次編 碼定義RTP的有效負載。已有的RTP格式是固定。在H.263的情況下，如圖31所 示，定義了 Mode A至Mode C的三種數據格式。在H.263的情況下，沒有定義以多
40解析度圖像格式為對象的通信有效負載。
在圖31的例子中，把層號"Layer No."和上述關係描述("與"，"或")加 到Mode A的數據格式中，並加以定義。
圖32的示意圖用於解釋幀優先級、數據流優先級和通信數據包優先級之間的關係。
而且，圖32示出了把在傳輸線路上附加到通信數據包中的優先級作為通信數據 包優先級，並使數據流優先級和幀優先級與通信數據包優先級相對應的例子。
通常，在利用IP進行通信的情況下，必須使附加到圖像或聲音數據中的幀優先 級或數據流優先級與下位的IP數據包的優先級相對應來傳輸數據。由於圖像或聲音 數據被分割成IP數據包來傳輸，所以必須使這些優先級彼此相對應。在圖32的例 子中，由於數據流優先級的值為0至3，幀優先級的值從0至5，所以上位的數據的 優先級可以取從0至15。
在IPv6的情況下，保留了優先級(4位)中的0至7是為擁擠控制業務而預約 的。優先級中的8至15是為實時通信業務或非擁擠控制業務而預約的。優先級15 是最高優先級，優先級8是最低優先級。這表示在IP數據包一級的優先級。
在利用IP的數據傳輸的情況下，必須使上位的0至15的優先級與下位的IP優 先級8至15相對應。為了使這些優先級彼此相對應，可以削除一部分上位優先級的 方法，或者也可以設置評價函數使這些優先級彼此相對應。建立上位數據與下位IP 優先級的對應關係在中繼節點(路由器或網關)或發送和接收終端進行。
傳送手段並不僅限於IP。可以以具有象ATM或MPEG2的TS(傳送數據流)那樣 的、具有表示是否可廢棄的標記的數據包為對象。
至此己描述的幀優先級和數據流優先級可以應用於傳輸媒體或數據記錄媒體。 可以使用軟盤或光碟作為數據記錄媒體。
不僅可以使用軟盤或光碟，也可以使用諸如IC卡或ROM盒等媒體，只要在這種 媒體上可以記錄程序都可以。再者，也可以以音頻-視頻轉發器(例如，路由器或網 關)的中繼裝置為對象。
而且，根據Stream Priority (時間序列數據間優先級)或Fram Priority (時 間序列數據內優先級)的信息，確定要重發的時間序列數據，從而實現優先重發。例 如，可以防止根據優先級信息在接收端進行解碼時，將非處理對象的數據流或幀重 發。
還可與目前要處理的優先極分開，根據重發次數和成功發送次數之間的關係確定具有應重要優先級的數據流或幀。
此外，在發送側終端的情況下，根據Stream Priority (時間序列數據間優先 級)或Fram Priority(時間序列數據內優先級)的信息確定要發送的時間序列數據， 從而實現優先發送。例如，根據平均傳送速率或重發次數，確定要發送的幀或數據 流的優先級，即使網絡過載時也可以發送自適應圖像或聲音。
上述實施例並不限於二維圖像合成。也可以用的把二維圖像與三維圖像組合而 獲得的表述方法，或者包括如寬視野圖像(全景圖像)那樣的、各圖像彼此鄰接的圖 像的合成的圖像合成方法。而且，作為本發明的通信系統的對象並不限於雙向CATV 或B-ISDN。例如，把圖像和聲音從中央側終端傳輸給家庭終端可以使用無線電波(例 如VHF或UHF波段)，或者使用衛星廣播，把從家庭側終端的信息發送到中央側終端 可以使用模擬電話線路或N-ISDN(圖像、聲音或數據不一定多路復用)。還可以使用 利用無線電的通信系統，例如IrDA、 PHS(個人手持電話)或無線LAN。
而且，對象終端可以是便攜終端(例如便攜信息終端)或桌面終端(例如頂置盒或 個人計算機)。
如上所述，本發明可以容易地處理多個視頻數據流和多個音頻數據流，並有重 點地與聲音同步再現主要場景片段，以反映編輯者的意圖。 下面參照附圖描述本發明的實施例。 下述的實施例解決了上述課題(CI)至(C3)之一。
圖33示出了第一實施例的發送機的結構。符號2101表示圖像輸入端子， 一張 圖像的大小為縱144像素X橫176像素。符號2102表示運動圖像編碼器，由四個部 分1021、 1022、 1023和1024構成(參見Recommendation H. 261)。
符號1021表示切換器，把輸入圖像分割成宏塊(16像素X16像素的正方形區 域)，並決定對這些塊是進行幀內編碼還是進行幀間編碼，1022表示運動補償裝置， 根據可以根據上次編碼結果計算得到的本機解碼圖像，產生運動補償圖像，計算運 動補償圖像與輸入圖像之間的差分，並以宏塊單位輸出結果。運動補償包括具有長 處理時間的半像素運動補償和具有短處理時間的全像素運動補償。符號1023表示正 交變換裝置，對每個宏塊進行DCT變換，1024表示可變長編碼裝置，對DCT變換結 果和其它編碼信息進行熵編碼。
符號2103表示計數裝置，對視頻編碼器2102的四個部件的執行次數進行計 數，並向變換裝置輸出每個輸入圖像的計數結果。在這種情況下，從運動補償裝置 1022對半像素運動補償的執行次數和全像素運動補償的執行次數進行計數。符號2104表示變換裝置，輸出如圖34所示的數據串。符號2105表示發送裝 置，把視頻編碼器2102的可變長碼與變換裝置2104的數據串多路復用成一個數據 串，並向數據輸出端2109輸出該數據。
根據上述結構，可以向接收裝置發送必須處理(切換器1021、正交變換裝置 1023和長度可變編碼裝置1024)和非必須處理(運動補償裝置1022)的執行次數。
第一實施例的發送裝置對應於權利要求68。
圖40是第二實施例的發送方法的流程圖。
由於本實施例的操作與第一實施例相似，所以附註了相應的單元。在步驟 801 (圖像輸入端2101)輸入圖像，並在步驟802把圖像分割成宏塊。此後，重複步驟 803至步驟806的處理，直到根據步驟807內的條件分支完成了對於每個宏塊的處 理。而且，為使從步驟803至步驟806的處理的次數能記錄為特定的變量，當執行 了各自的處理時，就把相應變量增l。
首先，在步驟803(切換器1021)判定對要處理的宏塊是進行塊內編碼還是塊間 編碼。當為對宏塊進行塊間編碼時，在步驟804(運動補償裝置1022)進行運動補 償。此後，在步驟805和步驟806(正交變換裝置1023和可變長編碼裝置1024)進行 DCT變換和可變長編碼。當完成了對全部的宏塊的處理時(在步驟807為"是"的情 況下)，在步驟808讀取表示對應於每次處理的執行次數的變量，產生如圖2所示的 數據串，並多路復用和輸出該數據串和代碼。只要繼續有輸入圖像，就重複執行步 驟801至步驟808的處理。上述結構可以傳送每次處理的執行次數。
第二實施例的發送方法對應於權利要求67。
圖35示出了第三實施例的接收裝置的結構。
在圖35中，符號307表示輸入端，輸入第一實施例的發送機的輸出，302表示 接收裝置，根據第一實施例的發送裝置的輸出，通過去多路復用，取得可變長碼和 數據串，並輸出。在這種情況下，假設事先測量並輸出了接收一頁數據所需要的時間。
符號303表示把可變長碼用作輸入的視頻解碼器，它由五個部分構成。符號 3031表示可變長解碼裝置，從可變長碼取得DCT係數和其它編碼信息，3032表示反 正交變換裝置，對DCT係數進行反DCT變換，3033表示切換器，根據表示宏塊是幀 內編碼還是幀間編碼的編碼信息向上或向下對每個宏塊的輸出進行切換。符號3034 表示運動補償裝置，利用上次解碼圖像和運動編碼信息，產生運動補償圖像，並與 反正交變換裝置3032的輸出相加後輸出。符號3035表示執行時間測量裝置，測量從把可變長碼輸入到解碼器303後到完成解碼和輸出圖像的執行時間並輸出。
符號302表示估計裝置，從來自接收裝置301的數據串，接收各單元(可變長解 碼裝置3031、反正交變換裝置3032、切換器3033或運動補償裝置3034)的執行次數 和執行時間測量裝置305的執行時間，以估計每個單元的執行時間。
估計方法，例如可以使用線性回歸法，把估計的執行時間設為目的變量y，把 每個部件的執行次數設為解釋變量xj。在這種情況下，可以把回歸參數a一i視為是 每個單元的執行時間。而且，在線性回歸的情況下，必須積累足夠多的以前的數 據，結果浪費了許多存儲器。然而，為了防止浪費許多存儲器，也可以使用卡爾曼 濾波器估計內狀態變量。可以認為把觀察值設為執行吋間，把每個單元的執行時 間設為內狀態變量，則觀測矩陣C則為以各單元執行次數按各步驟變化時。符號304 表示次數削減裝置，改變每個單元的執行次數，以削減全像素運動補償的執行次 數，只增加相當數的半像素運動補償的執行次數。下面示出了計算相當數的方法。
首先，從估計裝置302接收每個單元的執行次數和估計的執行時間，以估計執 行時間。當執行時間超過從接收裝置301接收數據所需的時間時，增加全像素運動 補償的執行次數，減少半像素運動補償的執行次數，直到前一時間不超過後一時 間。符號306表示解碼圖像的輸出端。
有這樣一種情況，即指定運動補償裝置3034，以根據編碼信息進行半像素運動 補償。在這種情況下，當超過半像素運動補償的預定執行次數時，把半像素運動舍 入全像素運動，以執行全像素運動補償。
根據上述第一和第三實施例，按照每個單元的估計執行時間來估計解碼的執行 時間，當解碼執行時間可能超過接收一頁數據所需要的時間(指定時間)時，用全像 素運動補償代替執行時間長的半像素運動補償。從而，可以防止執行時間超過指定 時間，解決課題(Cl)(對應於權利要求68和74)。
而且，把必須和非必須處理部分視為兩組的例子對應於權利要求66和72，把 視頻部分視為波形數據的例子對應於權利要求64和70。
通過使接收裝置在IDCT計算中不利用高頻分量，可以減少IDCT計算的處理時 間。即，把低頻分量的計算視為必須的處理，把高頻分量的計算視為是IDCT計算中 的非必須處理，也可以減少IDCT計算中高頻分量的計算次數。
圖41是第四實施例的接收方法的流程圖。
由於本實施例的操作與第三實施例類似，所以附註相應的單元。在步驟901 中，初始化表示每個單元的執行時間的變量a一i(估計裝置302)。在步驟902，輸入多路復用數據，並測量多路復用該數據所需的時間(接收裝置301)。在步驟903中， 把多路復用數據分割成可變長碼和數據串，並輸出(接收裝置301)。在步驟904中， 從數據串(圖2)取得各執行次數，並設置成xj。在步驟905中，根據每個單元的執 行時間a一i和各執行次數x_i計算實際執行次數(次數削減裝置304)。在步驟906 中，開始測量解碼執行時間。在步驟907，開始進行下述的解碼子程序。此後，在步 驟908，結束測量解碼執行時間(運動圖像解碼器303和執行時間測量裝置3035)。 在步驟908，根據步驟908的解碼執行時間和步驟906的每個單元的實際執行時間估 計每個單元的執行時間，以更新a—i(估計裝置302)。對每個輸入的多路復用數據進 行上述的處理。
而且，步驟907的解碼子程序中，在步驟910進行可變長解碼(可變長解碼裝置 3031)，在步驟911進行反正交變換(反正交變換裝置3032)後，處理在步驟912根據 通過步驟910的處理取得的塊內/塊間編碼處理的信息，進行分叉(切換器3033)。在 塊幀間編碼處理的情況下，步驟913中進行運動補償(運動補償裝置3034)。在步驟 913中，對半像素運動補償的執行時間進行計數。當計數的執行時間超過步驟905中 獲得的實際執行次數時，用全像素運動補償代替半像素運動補償執行。在完成了上 述對於每個宏塊(步驟9M〉處理後，結束該子程序。
根據上述第二和第四實施例，按照每個單元的估計執行時間來估計解碼的執行 時間，當執行時間可能超過接收一頁數據所需要的時間(指定時間)時，用全像素運 動補償代替執行時間長的半像素運動補償。由此，可以防止執行時間超過指定時 間，解決課題(Cl)(對應於權利要求67和73)。
而且，非必須和必須處理部分視為兩組的例子對應於權利要求65和71，把運 動圖像部分視為波形數據的例子對應於權利要求63和69。
圖36示出了第五實施例的接收裝置的結構。
該實施例的大多數構成部分與第二實施例所述的構成部分相同。然而，下面描 述兩個增加了的構成部分和一個有改動的構成部分。
符號402表示估計裝置，它是通過將實施例2描述的估計裝置302的估計結果 而得到的各構成部分的執行時間修改為不是輸出到次數削減裝置304而是輸出到與 其獨立的裝置而得到的。符號408表示發送裝置，根據每個單元的執行時間產生圖 37所示的數據串，並輸出。當把微秒為單位用16位表示執行時間時，可以表示多達 約65毫秒。因此，這約65亳秒將是足夠的。符號409表示把數據串傳送給發送裝 置的輸出端。而且，可以僅緊接在圖40的符號808後增加產生圖37所示的數據串的步驟就 可以獲得對應於第五實施例的接收方法。
圖38示出了第六實施例的發送機的結構。
該實施例的大部分構成部分與第一實施例所述的相同。然而，下面描述兩個增 加的部件。符號606表示輸入端，接收第三實施例607的接收裝置輸出的數據串， 607表示接收裝置，接收數據串，並輸出每個單元的執行時間。符號608表示決定裝 置，求出各單元的執行時間，下面描述其過程。首先，切換器1021處理圖像的每個 宏塊，並求出切換器1021在此特定時間的執行次數。進而，可以根據處理結果，唯 一地確定在此特定時間的運動補償裝置1022、正交變換裝置1023和可變長編碼裝置 1024的執行次數。因此，利用這些執行次數和接收裝置607發送的執行時間，估計 在接收裝置側解碼所需的執行時間。獲得的估計解碼時間作為執行時間和執行次數 之間乘積的、按各構成部分的總和求出。若估計的解碼時間等於或大於傳送通過速 率控制器等指定的該圖像產生的碼數(例如16Kbit)所需的時間(例如在傳輸速率為 64Kbits/s時，為250毫秒)，則增加全像素運動補償的執行次數，減少半像素運動 補償的執行次數，以使估計的解碼執行時間不超過傳送所需的時間。(由於全像素運 動補償的執行時間短，所以減少全像素運動補償的次數可以減少全預測的執行時 間。)
此外，運動圖像編碼器2102根據決定裝置608指定的執行次數進行各種處理。 例如，在運動補償裝置1022以半像素運動補償的預定執行次數執行了半像素運動補 償之後，僅進行全像素運動補償。
可以改善選擇方法，使半像素運動補償在圖像中分布均勻。例如，可以使用下 列方法首先求得需要進行半像素運動補償的全部的宏塊，求得上述宏塊的數(例如 12)除以半像素運動補償的執行次數(例如4)得到的商(3)，然後將從需要進行半像素 運動補償的宏塊開始的順序號用上述商除得盡的宏塊(O， 3， 6或9)進行半像素運動 補償。
根據上述第五和第六實施例，把每個估計的單元執行吋間傳送給發送側，在發 送側估計解碼的執行時間，並用全像素運動補償代替執行時間較長的半像素運動補 償，並使估計的解碼執行時間不超過接收一頁數據可能需要的時間(指定時間)。由 此，發送的編碼信息中，就可以不用廢棄半像素運動補償信息，而且可以防止執行 時間超過指定時間，解決課題(C2)(對應於權利要求76和78)。
此外，在非必須處理的情況下，可以把宏塊間編碼分成三種運動補償正常運動補償；8X8運動補償和重疊運動補償。
圖42是第七實施例的發送方法的流程圖。
因為本實施例的操作與第六實施例相似，所以附註相應的單元。在步驟1001， 對每個處理的執行時間設置初始值。在步驟801輸入圖像(輸入端2101)，並在步驟 802把它分割成宏塊。在步驟1002，對全部的宏塊進行是塊內編碼還是塊間編碼的 判定(切換器1021)。結果由於從步驟1005至步驟806的每個處理的執行次數是可知 的。因此，在步驟1003，根據上述每個處理的執行次數和執行時間計算實際執行次 數(確定裝置608)。
此後，重複步驟1005至步驟806的處理，直到根據步驟807的條件分支完成了 對全部宏塊的處理。
而且，當執行各處理時，為使步驟1005至步驟806的處理次數可以記錄在特定 的變量中，把相應的變量加1。首先在步驟1005，根據步驟1002的判定結果進行分 叉(切換器1021)。在塊間編碼的情況下，在步驟804進行運動補償(運動補償裝置 1022)。在這種情況下，對半像素運動補償的次數進行計數。當所計次數超過在步驟 1003獲得的實際次數時，執行全像素運動補償代替執行半像素運動補償。此後，在 步驟805和806，進行DCT變換和可變長編碼(正交變換裝置1023和可變長編碼裝置 1024)。當完成對全部宏塊的處理時，(在步驟807為是的情況下)，在步驟808中讀 取表示對應於每個處理的執行次數的變量，產生圖2所示的數據串，並多路復用和 輸出數據串和代碼。在步驟1004中，接收數據串，並從該數據串取出各處理的執行 時間並進行設置。
只要有圖像輸入就重複執行步驟801至1004的處理。
根據第五實施例和第七實施例描述部分的最後一個"而且"開始的段落，把每 個單元的估計的執行時間傳送給發送側，在發送側估計解碼執行時間，用全像素運
動補償代替執行時間長的半像素運動補償，使估計的解碼執行時間不超過接收一頁 數據所需要的可能時間(指定時間)。由此，發送的編碼信息中，不會廢棄半像素運 動補償的信息，而且可以防止執行時間超過指定時間，解決了課題(C2)(對應於權利 要求75和77)。
圖39示出了本發明第八實施例的發送設備的結構。
該實施例的大部分構成部分與第一實施例描述的相同。因此，下面描述增加的 四個構成部分。
符號7010表示執行時間測量裝置，用於測量圖像向編碼器2102輸入圖像之後到完成編碼和輸出圖像的執行時間，並輸出測得的執行時間。符號706表示估計裝 置，用於從計數裝置2103的數據串接收各單元(切換器1021、運動補償裝置1022、 正交變換裝置1023和來自可變長解碼裝置1024)的執行次數，從執行時間測量裝置 7010接收執行時間，並估計各構成部分的執行時間。可以利用與第二實施例的估計 裝置302描述的相同的估計方法。符號707表示輸入用戶發送的幀速率值的輸入 端，708表示確定裝置，用於獲得每個單元的執行時間。獲得的過程描述如下。
首先，切換器1021處理圖像中的全部宏塊，求得切換器1021在此特定時間的 執行次數。此後，可以根據至該特定時間的處理結果，唯一地確定運動補償裝置 1022、正交變換裝置1023和可變長編碼裝置1024的執行次數。然後，對各構成部 分求得執行次數和由估計裝置706發送的各構成部分的估計時間之間的乘積的總 和。當預測編碼時間等於或大於從符號707所傳送幀速率的倒數求得的、可用於一 頁圖像編碼的時間時，增加全像素運動補償的執行次數，減少半像素的執行次數。
重複進行上述執行次數的增減變化，並計算預測編碼時間，直到預測編碼時間 等於或短於可用的時間，從而確定各執行次數。
而且，運動圖像編碼器2102根據確定裝置608指定的執行次數進行各種處理。 例如，運動補償裝置1022以半像素運動補償的預定執行次數進行了半像素運動補償 後，僅執行全像素運動補償。
而且，為使半像素運動補償在圖像內均勻分布也可以改進選擇方法。例如，可 以使用下列方法首先求得需要進行半像素運動補償的全部宏塊，將該需要進行半 像素運動補償的宏塊數(例如12)除以半像素運動補償的執行次數(例如4)得到商 (3)，然後將從需要進行半像素運動補償的宏塊開始的順序號用上述商除得盡的宏塊 (0， 3， 6或9)進行半像素運動補償。
上面的第八實施例可以解決課題(C3)，它估計每個處理的執行時間，根據估計 的執行時間預測編碼所需的執行時間，並確定執行次數，使預測編碼時間等於或短 於對根據幀速率決定的圖像進行編碼可用的時間(對應於權利要求80)。
而且，運動補償裝置1022為檢測運動矢量，存在全搜索運動矢量檢測方法， 即，在15個水平和垂直像素範圍內的矢量中，檢測使SAD(每個像素的絕對差值之和) 最小的矢量。還有一種三步運動矢量檢測方法(在H.261的annex內有描述)。三步 運動矢量檢測方法在上述檢索範圍內選擇均勻分布的九個點，選擇具有最小SAD的 點，再在接近上述點的窄小範圍內選擇九個點，以再次選擇一個具有最小SAD的 點。也可以適當地減少全搜索運動矢量檢測方法的執行時間，代之適當地增加三步 驟運動矢量檢測方法的執行次數，把這兩種方法視為非必須處理方法，並估計這兩 個方法中每個方法的執行時間，根據估計的執行時間預測編碼所需要的執行時間， 以使預測執行時間等於或短於用戶指定的時間。
而且，除三步驟運動矢量檢測方法之外，還可以使用進一步簡化了處理的檢索 次數的固定運動矢量檢測方法，，或者可以與僅返回運動矢量(O， O)作為結果的運 動矢量檢測方法並用。
圖43是第九實施例的發送方法的流程圖。
由於本實施例的操作與第八實施例相似，所以附註相應的單元。對每個流程的 詳細描述參照相應單元的描述。
而且，由於本實施例幾乎與第二實施例相同，所以下面僅解釋不同點。
在步驟1101，把每個處理的執行時間的初始值設置到變量a一i。在步驟1102， 輸入幀速率(輸入端707)。在步驟1103，根據步驟1102的每個處理的幀速率和執行 時間a—i以及從1002的塊內/塊音編碼處理確定結果獲得的各處理的執行次數確定 實際執行次數(確定裝置708)。在步驟1105和1106中，測量編碼的執行時間。在步 驟1104中，根據步驟1106中獲得的執行時間和每個處理的實際執行次數估計每個 處理的執行時間，更新變量a一i (估計裝置706)。
根據上述第九實施例，先估計每個處理的執行時間，可按照所估計的執行時間 運動補償編碼所需的執行時間。因此，確定執行次數，使預測編碼時間等於或短於 對根據幀速率確定的圖像進行編碼可用的時間(對應於權利要求79)，從而能解決課 題(C3)。
在第二實施例的情況下，當在步驟808中產生數據串時，也可以在圖2所示的 開始碼之後增加兩字節的區域，向該區域增加碼長度的二進位的碼。
而且，在第四實施例中，當在步驟902輸入多路復用數據時，也可以從兩字節 區域中取出碼長度，並將從該碼長度和碼傳輸速率獲得的碼傳輸時間用於步驟905 的執行次數計算(減少半像素運動補償的執行次數，以不超過碼傳輸時間)。這對應 於權利要求81和83。
而且，在第一實施例中，當在步驟2104產生數據串時，也可以在圖2所示的開 始碼後增加兩字節的區域，在該區域內增加碼長度的二進位碼。
而且，在第三實施例中，當在步驟301輸入多路復用數據時，也可以從該兩字 節區域中取出碼長度，並將從該碼長度和碼傳輸速度獲得的碼傳輸時間用於步驟304的執行次數計算(減少半像素運動補償的執行次數，以不超過碼傳輸時間)。這對應 於權利要求82和84。
而且，在第四實施例中，緊接在步驟909後記錄半像素運動補償的實際執行次 數，計算出最大值。當最大值等於或小於足夠小的值(例如2或3)時，也可以產生數 據串(包含具體位模式的數據串)，表示不使用半像素運動補償，並發送產生的數據 串。而且，在第二實施例中，確認是否緊接在步驟808後接收到該數據串，當接收 到表示沒有使用半像素運動補償的數據串時，也可以使運動補償處理在步驟808總 是作為全像素運動補償。這對應於權利要求93和91。
而且，上述原理也可以應用於不是運動補償的情況。例如DCT計算通過不用高 頻分量，減少DCT的計算時間。即，在接收方法的情況下，當IDCT計算執行時間對 整個計算時間的比率超過某一值時，向發送側傳送表示該比率超過某一值的數據 串。當發送側接收到該數據串時，也可以通過DCT計算僅計算低頻分量，並把所有 高頻分量減少到零。這對應於權利要求89。
而且，雖然利用圖像描述了本實施例，但也可以把每種方法應用於音頻而不是 頻視。這對應於權利要求85和87。
而且，在第三實施例中，在步驟3034中記錄了半像素運動補償的實際執行次 數，計算最大執行次數最大值。然後，當該最大值是足夠小值或更小時(例如2或 3)，可以產生並發送表示不使用半像素運動補償的數據串(包含具體位模式的數據 串)。而且，在第一實施例中，當接收到表示沒有使用半像素運動補償的數據串時， 可以使步驟1022的運動補償處理總是作為全像素運動補償。這對應於權利要求94 和92。
而且，上述原理可以應用於不是運動補償的情況。例如DCT計算通過不使用高 頻分量可以減少DCT計算的處理時間。g卩，在接收方法中，當IDCT計算執行時間對 整個執行時間的比率超過某一值時，向發送側傳送表示該比率超過某一值的數據串。
當發送側接收到該數據串時，可以通過DCT計算僅計算低頻分量，把所有高頻 分量減少為零。這對應於權利要求90。
而且，雖然上面利用圖像描述了實施例，但也可以把上述方法應用於聲音而不 是圖像。這對應於權利要求86和88。
如上所述，根據權利要求68和74(如第一和第三實施例)，按照每個單元的估 計執行時間估計解碼的執行時間，並且，當估計的解碼執行時間可能超過接收一頁數據所需的時間(指定時間)時，用全像素運動補償代替執行時間較長的半像素運動 補償。由此，可以防止執行時間超過指定時間，解決課題(C1)。
而且，根據權利要求75和77(例如第五和第七實施例)，把每個單元的估計執
行時間傳送給發送側，在發送側估計解碼執行時間，並用全像素運動補償代替執行 時間較長的半像素運動補償，以使估計的解碼時間不超過適於接收一頁數據所需要 的時間(指定時間)。由此，在發送的編碼信息中沒有廢棄半像素運動補償的信息，
並可以防止執行時間超過指定時間，解決課題(C2)。
而且，根據權利要求79(例如第九實施例)，可以解決課題(C3)，其方法是估計 每個處理的執行時間，按照所估計的執行時間預測編碼所需要的執行時間，並確定 執行次數，使預測編碼時間等於或小於可用對根據幀速率決定的圖像進行編碼可使 用的時間。
因此，本發明可以實現即使計算負荷增加也減慢質量劣化的功能(CGD:計算適 度弱化)，由實施獲得很大的利益。
而且，計算機利用諸如磁記錄媒體或光記錄媒體可以實現上述的操作，其中使 計算機的程序實現上述實施例中任一實施例中描述的每個步驟(或每個裝置)(或者 每個裝置的操作)的全部或部分。
工業應用性
如h所述，本發明可以對應於狀態、用途或傳輸線路改變信息幀，動態地確定 數據控制信息、傳輸控制信息和用於發送和接收終端的控制信息的幀。而且，易於 處理多個視頻數據流或多個音頻數據流，並且有重點地與聲音同步地再現主要的場 面片段，反映編輯者的意圖。此外，根據每一估計的元件的執行時間，當估計的解 碼執行時間可能超過接收一頁數據所需的時間(指定時間)時，用全像素運動補償代 替執行時間較長的半像素運動補償，可以防止執行時間超過指定的時間。
權利要求
1.一種發送設備，具有將傳輸格式信息發送到接收設備的發送部分，所述傳輸格式信息包含識別在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的處理期間信息。
2. 如權利要求1所述的發送設備，所述處理期間信息包含標記、次數以及計時 器值中的至少一個。
3. —種接收設備，具備接收傳輸格式信息的接收部分，所述傳輸格式信息包含識別程序或者數據的標 識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動啟動所述程序或者所述數據的控制部分。
4. 如權利要求3所述的發送設備，所述處理期間信息包含標記、次數以及計時 器值中的至少一個。
5. —種通信系統，所述通信系統具有發送設備和接收設備， 所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含在所述接收設備使用的識別程序或者數據的標識符，和與所述標識符相關聯、表示在所 述接收設備處理所述程序或者所述數據的處理期間的處理期間信息，所述接收設備具有從發送設備接收所述傳輸格式信息的接收部分；以及根據 所述標識符和所述處理期間信息，自動啟動所述程序或者所述數據的控制部分。
6. —種發送方法，具有將傳輸格式信息發送到接收設備的步驟， 所述傳輸格式信息包含在所述接收設備使用的識別程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的處理期間信息。
7. —種接收方法，具備接收傳輸格式信息的步驟，所述傳輸格式信息包含識別程序或者數據的標識 符，和與所述標識符相關聯、表示處理所述程序或者所述數據的期間的處理期間信 息；以及根據所述標識符和所述處理期間信息，自動啟動所述程序或者所述數據的步驟。
8. —種通信方法，具備.-發送傳輸格式信息的步驟，所述傳輸格式信息包含在所述接收設備使用的識別 程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程 序或者所述數據的處理期間的處理期間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述處理期間信息，自動啟動所述程序或者所述數據的步
全文摘要
本發明涉及發送和接收運動圖像數據的方法及其設備。具體地，本發明包括接收控制部分(11)，從存儲器或通信通道接收包括數據及其發送格式信息的信息；分析和分離接收到的信息的分離部分(12)；把信息發送給存儲器或傳輸通道的發送部分(13)；擴展圖像的圖像擴展部分(14)；圖像擴展控制部分(15)，控制所述視頻擴展部分(14)的處理狀態，以至少擴展一個或多個圖像；由圖像合成部分(16)構成的圖像合成設備，根據擴展信息合成圖像；輸出合成結果的輸出部分(17)；終端控制部分(18)，控制上述裝置，使得可以對應於發送格式信息的動態範圍同時合成多個圖像。
文檔編號H04N7/24GK101616317SQ20091014880
公開日2009年12月30日 申請日期1998年3月13日 優先權日1997年3月17日
發明者山口孝雄, 栄藤稔, 荒川博 申請人:松下電器產業株式會社