發送和接收動態圖像數據的方法及其設備的製作方法

2023-10-21 04:37:07

專利名稱：發送和接收動態圖像數據的方法及其設備的製作方法
技術領域：
本發明涉及一種音頻-視頻發送機和音頻-視頻接收機、數據處理設備和方法、波形數據發送方法和設備和波形數據接收方法和設備以及視頻發送方法和設備和視頻接收方法和設備。
背景技術：
已有一種設備，它滿足了感覺到你面前出現的對方圖像實際存在的要求，其目的在於進行現實圖像通信，這是通過從例如有你本人的風景圖像中提取出某人的圖像，然後，將此人的圖像(即對方發送來的某人的圖像)和要與預先存儲的對方圖像一起顯示的虛擬空間圖像相互疊加，並加以顯示來實現的(日本專利申請No.4-24914)。
具體地說，在已有技術的情況下，已有了涉及加速圖像合成和減小存儲器的方法的一些發明(例如日本專利公開No.5-46592的官方公報圖像合成器)。
雖然已有技術已提出了利用圖像合成對兩維靜止圖像或三維CG數據進行合成的通信系統，但從下面的觀點來看，同時合成多幅圖像和多路聲音並進行顯示的系統，其實現方法還沒有進行具體討論。
即，從下面列舉的方法來看，存在沒有具體討論的問題。
(A1)一種方法，它利用在一條或多條實際傳輸線路上由軟體構成的多條邏輯傳輸線路獨立地傳輸數據和控制信息(由與控制終端側處理數據不同的數據包傳輸的信息)的環境下傳輸(通信和廣播)並控制圖像和聲音。
(A2)一種方法，它動態地改變要加到待發送的圖像或聲音數據中的首部信息(對應於本發明的控制信息)；(A3)一種方法，它動態地改變要加入的首部信息(對應於本發明的傳輸控制信息)，以便進行傳輸；(A4)一種方法，它通過動態動復接和分離多條邏輯傳輸線路來傳輸信息；(A5)一種方法，它考慮了節目或數據的讀取和增長周期，以傳輸圖像和聲音；(A6)一種考慮了快速切換傳輸圖像和聲音的方法。
然而，就動態調整要傳輸到網絡的數據量而言，已提出了改變編碼系統的方法和根據圖像幀的類型討論幀數據的方法(H.Jinzenji和T.Tajiri撰寫的分配自適應型VOD系統的研究，D-8，刊登於電子、信息和通信工程學會(IEICE)系統社的D-8(1995))。
能在受限制的處理時間下提供高質量圖像的動態通過量換算算法已作為一種調整編碼器側的通過量提出(T.Osako、Yajima、H.Kodera、H.Watanabe、K.shimamura等撰寫的利用動態通過量換算算法對軟體視頻進行編碼，刊登於IEICE的論文期刊D-2，Vol.80-D-2，第二期，第444-458頁，1997)。
而且，存在MPEG1/MPEG2系統作為實現同步再現圖像和聲音的例子。
(B1)對應於圖像幀的類型討論圖像的傳統方法有這樣一個問題，即通過處理多個視頻數據流或多個音頻數據流，難以與聲音同步地重點再現重要的場面，反映編輯的意圖，這是由於可以處理的信息的等級位於單一信息流中。
(B2)而且，由於其必要條件是用硬體來實現MPEG1/MPEG2，所以解碼器必須可以對每個提供的位流進行解碼。因此，其問題就是如何適應超出解碼器通過出量的情況。
此外，為了傳輸圖像，已有一些系統，例如H.261(ITU-T建議H.261的px.64聲像業務視頻編碼解碼器)，並且它們是用硬體組裝的。因此，由於在設計硬體時考慮了必要性能的上限，所以沒有產生不能在指定時間內完成解碼的情況。
上面的指定時間表示發送編碼一張圖像獲得的位流所需要的時間。如果解碼不能在該時間內完成，其額外的時間就成為延遲。如果把這種延遲累積，則發送側到接收側的的延遲就增加，系統就不能用作可視電話。這種狀態必須避免。
而且，當由於通信對方產生了規定以外的位流而不能在指定時間內完成解碼時，則就產生不能傳輸圖像的問題。
上述問題不僅產生在視頻數據中，而且也產生在音頻數據中。
然而，近年來，由於個人計算機(PC)所形成網絡環境的布局帶來網際網路和ISDN的擴展，所以傳輸速率已得到改善，已經可以利用PC和網絡傳輸圖像。而且，用戶傳輸圖像的要求也已高速增長。又由於CPU性能已得到改善，所以完全可以用軟體來對視頻信號的解碼。
然而，由於結構上不同的個人計算機，例如CPU、總線寬度或加速器等方面不同的個人計算機可以執行相同的軟體，所以預先考慮必要性能的上限是困難的，因此，產生了圖像不能在指定時間內解碼的問題。
而且，當發送長度超過接收機通過量的視頻編碼數據，就不能在指定時間內完成編碼。
問題(C1)減小在指定時間內解碼圖像的延遲。
當把視頻信號輸入成本發明的權利要求C1的波形數據，或者把視頻信號輸出成本發明的權利要求C7的波形數據作為解決問題1的手段時，剩下的問題是由於部分傳輸位流沒有利用，傳輸線路的實際工作效率降低。而且，存在一些根據最後的編碼圖像(例如P圖像)，產生當前解碼視頻的編碼系統。然而，由於最後的解碼圖像通過解決問題1的手段沒有完全恢復，所以存在著隨時間變化而使圖像質量劣化的嚴重的問題。
問題(C2)在解決問題1的手段的情況下，傳輸線路的實際工作效率降低。而且，擴大了圖像質量的劣化。
在用軟體安裝的情況下，圖像的幀速率是由一次編碼所需要的時間來指定的。因此，當用戶指定的幀速率超過計算機的通過量時，不可能符合這種指定。
問題(C3)當用戶指定的幀速率超過計算機的通過量時，不可能符合這種指定。
考慮第一種已有技術的問題(A1)至(A6)，本發明的目的在於提供一種音頻-視頻發送機和音頻-視頻接收機以及數據處理設備和方法，以至少解決上述問題之一。
且，考慮第二種已有技術的問題(B1)至(B2)，本發明的另一目的在於提供一種數據處理設備和方法，以至少解決上述問題之一。
再，考慮第三種已有技術的問題(C1)至(C3)，本發明的再一目的在於提供一種波形數據接收方法和設備、波形數據發送方法和設備以及視頻發送方法和設備和視頻接收方法和設備，以至少解決上述問題之一。

發明內容
根據權利要求1的本發明是一種音頻-視頻發送設備，它包含發送裝置，通過與要發送的數據的傳輸線路相同的傳輸線路或與該數據傳輸線路不同的傳輸線路發送涉及傳輸方法的內容和/或要發送的數據的結構或將內容作為發送格式信息表示的標識符；其中所述要發送的數據是視頻數據和/或音頻數據。
根據權利要求2的本發明是根據權利要求1的音頻-視頻發送設備，其中，所述發送格式信息至少包括在加到所述數據上以控制所述數據的數據控制信息、加到所述數據上以發送所述數據的發送控制信息和控制終端側的處理的信息三者之一中。
根據權利要求3的本發明是根據權利要求2的音頻-視頻發送設備，其中，至少所述數據控制信息、發送控制信息和控制所述終端側處理的信息三者之一動態地改變。
根據權利要求4的本發明是根據權利要求3的音頻-視頻發送設備，其中，所述數據被分成多個數據包，所述數據控制信息或所述發送控制信息不僅加到所述分割數據包的首數據包，也加到中間數據包中。
根據權利要求5的本發明是根據權利要求1的音頻-視頻發送設備，其中，將是否使用與所述數據有關的定時信息作為表示所述數據的再現時間的信息表示的標識符包括在所述發送格式信息中。
根據權利要求6的本發明是根據權利要求1的音頻-視頻發送設備，其中，所述發送格式信息是所述數據的結構信息，接收所述數據的發送結構信息的接收設備輸出的信號確認該結構信息可以接收後，所述發送裝置向所述接收設備發送相應的數據。
根據權利要求7的本發明是根據權利要求1的音頻-視頻發送設備，其中，所述發送格式信息包括(1)標識接收設備以後使用的節目或數據的標識符和(2)作為獲知所述節目或數據使用的特定時間或使用所述節目或數據的有效期的信息的標記、計數和定時三者中至少一種。
根據權利要求8的本發明是根據權利要求7的音頻-視頻發送設備，其中，利用發送序列號把所述節目或數據使用的所述特定時間作為發送控制信息來發送，以識別傳輸序列，或者作為與控制終端側處理的數據不同的數據包要發送的信息來。
根據權利要求9的本發明是根據權利要求2或3的音頻-視頻發送設備，其中，包括存儲裝置，用於存儲多項涉及所述傳輸方法的內容和/或所述要發送的數據的結構及其多個標識符，所述標識符至少包括在所述數據控制信息、發送控制信息和控制終端側處理的作為所述發送格式信息的信息三者之一中。
根據權利要求10的本發明是根據權利要求2或3的音頻-視頻發送設備，其中，包括存儲裝置，用於存儲多項涉及所述傳輸方法的內容和/或所述要發送的數據的結構，所述內容至少包括在所述數據控制信息、發送控制信息和控制終端側處理的作為所述傳輸格式信息的信息三者之一中。
根據權利11的本發明是根據權利要求1、2或3的音頻-視頻發送設備，其中，增加了預設標識符，以表示是否改變涉及所述傳輸方法的內容和或要發送的數據的結構。
根據權利要求12的本發明是根據權利要求9、10或11的音頻-視頻發送設備，其中，把所述標識符或所述預設標識符加到待發送信息的的長度固定的預定區域中或所述預定位置上。
根據權利要求13的本發明是一種音頻-視頻接收設備，包含接收裝置，接收權利要求1至12中任一個音頻-視頻發送設備發送的所述發送格式信息；發送信息解釋裝置，解釋所述接收的發送格式信息。
根據權利要求14的本發明是根據權利要求13的音頻-視頻接收設備，其中包括存儲裝置，用於存儲多項涉及傳輸方法的內容和/或所述要傳輸的數據的結構及其多個標識符；把存儲在所述存儲裝置中的內容用於解釋所述發送格式信息。
根據權利要求15的本發明是一種音頻-視頻發送設備，它包含信息多路復用裝置，用於控制多路復用傳輸數據和/或控制信息的；多條邏輯傳輸線的信息的開始和結束；其中，不僅把所述信息多路復用裝置多路復用的所述數據和/或控制信息作為多路復用控制信息發送，也把與所述信息多路復用裝置的所述多路復用開始和結束有關的控制內容作為多路復用控制信息發送，所述數據包括視頻數據和/或音頻數據。
根據權利要求16的本發明是根據權利要求15的音頻-視頻發送設備，其中可以選擇安排所述多路復用控制信息不進行多路復用，從而在所述數據和/或控制信息之前發送所述多路復用控制信息，或者通過與傳輸所述數據和/或控制信息的傳輸線路不同的傳輸線路發送所述多路復用控制信息不進行多路復用。
根據權利要求17的本發明是一種音頻-視頻接收設備，包含接收裝置，接收權利要求15的音頻-視頻傳輸裝置發送的所述多路復用控制信息和所述多路復用數據和/或控制信息；分離裝置，根據所述多路復用控制信息分離所述多路復用數據和/或控制信息。
根據權利要求18的本發明是一種音頻-視頻接收設備，包含主視聽裝置，用於觀看和收聽廣播節目；輔助視聽裝置，用於周期性地檢測與通過所述主視聽裝置觀看和收聽的廣播節目不同廣播節目的狀態；其中進行所述檢測以便在通過所述主視聽裝置觀看和收聽的所述廣播節目被轉換到其它廣播節目時，可以平滑地處理所需的節目和/或數據，所述數據包括視頻數據和/或音頻數據。
根據權利要求19的本發明是根據權利要求1的音頻-視頻發送設備，其中優先值可以根據情況，通過發送表示處理所述數據的優先級的信息的偏移值來改變。
根據權利要求20的本發明是一種音頻-視頻接收設備，包含接收裝置，接收預加到與在過載狀態下處理的優先級有關的信息的編碼信息；優先級確定裝置，用確定閾值，作為選擇是否處理所述接收裝置接收到的所述信息內的對象的標準；其中把輸出所述接收信息的時間與在開始處理後經過的時間比較，或者把解碼所述接收信息的時間與開始處理後經過的時間比較，以根據比較結果改變所述閾值，並包括視頻數據和/或音頻數據，作為編碼對象。
根據權利要求21的本發明是根據權利要求20的音頻-視頻接收設備，其中包括重發請求優先級確定裝置，用於需要重發所述信息時，確定閾值，作為選擇是否請求重發一些在發送中丟失而沒有接收到的所述信息的標準，並且所述確定閾值是至少根據所述優先級確定裝置控制的優先級、重發次數、信息丟失因數、幀內編碼幀之間的插入間隔以及優先級劃分之一確定的。
根據權利要求22的本發明是一種音頻-視頻發送設備，包含重發優先級確定裝置，用於請求重發所述未接收信息時，確定閾值，作為選擇是否請求重發一些因發送時丟失而沒有接收到的所述信息的標準，其中，所述確定閾值是至少根據權利要求20的所述音頻-視頻接收設備的優先級確定裝置控制的優先級、重發次數、信息丟失因數、幀內編碼幀之間的插入間隔以及優先級劃分之一確定的。
根據權利要求23的本發明是一種音頻-視頻發送設備，利用加到所述編碼信息中的優先級傳輸所述編碼信息，從而若(1)實際傳輸速率超過視頻或音頻信息目標傳輸速率或(2)把開始傳輸後經過的時間與加到所述編碼信息的解碼或輸出周期相比結果判定把所述編碼信息寫入到發送緩存器延遲，則使發送信息減少。
根據權利要求25的本發明是一種數據處理設備，它包含接收裝置，接收數據序列，該數據序列包括(1)音頻或視頻時間序列數據，(2)表示所述時間序列數據值之間處理的優先級的時間序列數據間優先級，以及(3)多個時間序列數據內優先級，後者用於劃分所述時間序列數據值，以表示所劃分數據值之間的處理優先級；數據處理裝置，當同時出現多個所述時間序列數據值時，同時利用所述互時間序列數據間優先級和所述時間序列數據內優先級進行處理。
根據權利要求27的本發明是一種數據處理設備，包含接收裝置，接收數據系列，該數據系列包括(1)音頻或視頻時間序列數據，(2)表示所述時間序列數據值之間處理的優先級的時間序列數據間優先級，以及(3)多個內時間序列數據內優先級，後者用於劃分所述時間序列數據值，以表示所劃分數據值之間的處理優先級；數據處理裝置，根據所述時間序列數據間優先級為每個所述時間序列數據值分配通過量，而且，根據所述時間序列數據內優先級自適應地降低所述時間序列數據內所劃分數據的處理質量，以把每個所述時間序列數據保持在所述分配的通過量內。
根據權利要求29的本發明是一種數據處理設備，其特徵在於，當每幀所述視頻數據提升視頻的時間序列數據內優先級，並且把每幀的所述視頻數據分割成多個數據包時，僅把所述時間序列數據內優先級加到數據包的首部，以把可訪問的一幀所述視頻數據的首部作為獨立的信息傳輸。
根據權利要求31的本發明是根據權利要求25、27和29之任一的數據處理設備，其中所述時間序列數據內優先級在數據包的首部描述，以進行優先級處理。
根據權利要求33的本發明是根據權利要求25、27和29之任一的數據處理設備，其中，能表示所述時間序列數據內優先級的值的範圍是可變的，以進行優先級處理。
根據權利要求34的本發明是一種數據處理方法，它包含下列步驟輸入數據序列，該數據序列包括音頻或視頻時間序列數據和表示所述時間序列數據值之間處理的優先級的時間序列數據間優先級；以及利用所述時間序列數據間優先級把優先級處理成相對或絕對優先級值。
根據權利要求36的本發明是一種數據處理方法，它包含下列步驟對音頻或視頻時間序列數據進行分類；輸入數據系列，該數據系列包括所述時間序列數據和表示所述分類數據值之間處理優先級的多個時間序列數據內優先級；利用所述時間序列數據內優先級把優先級處理成相對或絕對優先級值。
而且，為了解決問題(C1)，本發明的特徵在於根據權利要求63的波形數據發送方法，輸入例如視頻信號作為波形數據；或根據權利要求69的波形數據接收方法，輸出例如視頻信號作為波形數據。
而且，為了解決問題(C2)，本發明的特徵在於(d)根據權利要求69的波形數據接收方法，輸出通過估計獲得的每組執行時間；或(d)輸入由每組執行時間構成的數據串；(e)根據權利要求63的波形數據發送方法，按照接收裝置的每一執行時間，對每組執行次數計數，以在發送由速率控制器等的標示所確定的碼長所需要的時間內完成解碼。
而且，為了解決問題(C3)，本發明的特徵在於(d)根據對視頻信號編碼所需要的時間和計數裝置輸出的各執行次數，估計每組執行時間；(e)根據權利要求67的波形數據發送方法，利用上述執行時間估計對視頻信號編碼所需要的處理時間，並計算處理時間不超過由用戶指定的幀速率確定的可用於處理一張圖像的時間的每組執行次數。
本發明具有上述結構，以獲得必要處理的執行次數和非必要處理的執行次數後，向接收側發送執行次數，並根據執行次數和解碼時間估計每個處理所需要的時間。
根據對每個處理的估計時間，減少非必要處理的執行次數，使解碼所需要的時間比指定時間短，這樣可以把解碼時間控制到指定時間或更短，以保持延遲小。
列出的權利要求67和73主要作為解決問題(C1)的發明。
而且，通過向發送側發送接收側估計的必要處理的執行時間和非必要處理的執行時間，並在發送側根據每個執行時間確定每個執行次數可以把解碼執行時間設置成等於或小於指定時間的值。
列出的權利要求75和77主要作為解決問題(C3)的發明。
而且，通過估計必要處理的執行時間和非必要處理的執行時間，並根據每個執行時間和由用戶指定的幀速率決定的用戶指定時間確定每個執行次數，可以把編碼估計時間設置成等於或小於用戶的指定時間的值。
列出的權利要求79主要作為解決問題(C3)的發明。
本發明的一種發送設備，其特徵在於，具有將傳輸格式信息發送到接收設備的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備自動起動所述程序或者所述數據的開始時間的開始時間信息。
本發明的一種發送設備，其特徵在於，
具有將傳輸格式信息發送到接收設備的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的處理期間信息。
本發明的一種接收設備，其特徵在於，具備接收傳輸格式信息的接收部分，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的控制部分。
本發明的一種接收設備，其特徵在於，具備接收傳輸格式信息的接收部分，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的控制部分。
本發明的一種通信系統，所述通信系統具有發送設備和接收設備，其特徵在於，所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備自動起動所述程序或者所述數據的開始時間的開始時間信息，所述接收設備具有從發送設備接收所述傳輸格式信息的接收部分；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的控制部分。
本發明的一種通信系統，所述通信系統具有發送設備和接收設備，其特徵在於，所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的處理期間的處理期間信息，所述接收設備具有從發送設備接收所述傳輸格式信息的接收部分；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的控制部分。
本發明的一種發送方法，其特徵在於，
具有將傳輸格式信息發送到接收設備的步驟，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備自動起動所述程序或者所述數據的開始時間的開始時間信息。
本發明的一種發送方法，其特徵在於，具有將傳輸格式信息發送到接收設備的步驟，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的處理期間信息。
本發明的一種接收方法，其特徵在於，具備接收傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的步驟。
本發明的一種接收方法，其特徵在於，具備接收傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的步驟。
本發明的一種通信方法，其特徵在於，具備發送傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的步驟。
本發明的一種通信方法，其特徵在於，具備發送傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的處理期間的處理期間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的步驟。
附圖概述

圖1是本發明一個實施例的音頻-視頻收發機的示意性框圖；圖2是接收控制部分和分離部分的示意圖；圖3是利用多個邏輯傳輸線路發送和控制視頻和音頻的方法的示意圖；圖4是動態地改變加到要的視頻或音頻數據中的首部信息的方法的示意圖；圖5(a)和5(b)是增加AL信息的方法的示意圖；圖6(a)至6(d)是增加AL信息的方法的例子的示意圖；圖7是通過動態動多路復用和分離多個邏輯傳輸線路傳輸信息的方法的示意圖；圖8是傳輸廣播節目過程的示意圖；圖9(a)示出了當在接收端出現節目或數據時，考慮了節目或數據的讀取和增長時間的圖像或聲音發送方法；圖9(b)示出了當傳輸節目或數據時，考慮了節目或數據讀取或增長時間傳輸視頻或音頻的方法；圖10(a)是對應於快速切換的方法的示意圖；圖10(b)是對應於快速切換的方法的示意圖；圖11(a)示出了在終端之間實際傳輸的協議的具體例子；圖11(b)示出了在終端之間實際傳輸的協議的具體例子；圖12示出了在終端之間實際傳輸的協議的具體例子；圖13(a)示出了在終端之間實際傳輸的協議的具體例子；圖13(b)示出了在終端之間實際傳輸的協議的具體例子；圖13(c)示出了在終端之間實際傳輸的協議的具體例子；圖14示出了在終端之間實際傳輸的協議的具體例子；圖15示出了在終端之間實際傳輸的協議的具體例子；圖16(a)示出了在終端之間實際傳輸的協議的具體例子；圖16(b)示出了在終端之間實際傳輸的協議的具體例子；圖17示出了在終端之間實際傳輸的協議的具體例子；
圖18示出了在終端之間實際傳輸的協議的具體例子；圖19(a)示出了在終端之間實際傳輸的協議的具體例子；圖19(b)示出了在終端之間實際傳輸的協議的具體例子；圖20(a)至20(c)是本發明CGD的示範系統的框圖；圖21示出了編碼器過載時增加優先級的方法；圖22示出了過載時，在接收終端確定優先級的方法；圖23示出了臨時改變優先級；圖24示出了數據流優先級和對象優先級；圖25是本發明一個實施例的視頻編碼器和視頻解碼器的示意性框圖；圖26是本發明一個實施例的音頻編碼器和音頻解碼器的示意性框圖；圖27(a)和27(b)示出了過載時控制優先級處理的優先級增加部分和優先級確定部分；圖28(a)和28(b)示出了增加優先等級；圖29示出了向多解析度視頻數據分配優先級的方法；圖30示出了構成通信有效負載的方法；圖31示出對應於通信有效負載產生數據的方法；圖32示出了對象優先級、數據流優先級和通信數據包優先級之間的關係；圖33是本發明第一實施例的發送機的框圖；圖34是第一實施例的示意圖；圖35是本發明第三實施例的接收機的框圖；圖36是本發明第五實施例的接收機的框圖；圖37是第五實施例的示意圖；圖38是本發明第六實施例的發送機的框圖；圖39是本發明第八實施例的發送機的框圖；圖40是本發明第二實施例的發送方法的流程圖；圖41是本發明第四實施例的接收方法的流程圖；圖42是本發明第七實施例的發送方法的流程圖；圖43是本發明第九實施例的發送方法的流程圖；圖44是本發明音頻-視頻發送機的框圖；圖45是本發明音頻-視頻接收機的框圖；圖46示出了向本發明的音頻-視頻發送機的視頻和音頻數據增加優先級的優先級添加裝置的解釋圖；圖47示出了通過解釋加到本發明的音頻-視頻接收機的視頻和音頻數據中的優先級確定是否進行解碼的優先級確定裝置的解釋圖。
符號說明11接收控制部分12分離部分13發送部分14視頻擴展部分(圖像擴展部分)15視頻擴展控制部分(圖像擴展控制部分)16視頻合成部分(圖像合成部分)17輸出部分18終端控制部分4011發送控制部分4012視頻編碼部分(圖像編碼部分)4013接收控制部分4014視頻解碼部分(圖像解碼部分)4015視頻合成部分(圖像合成部分)4016輸出部分4101視頻編碼器(圖像編碼器)4102視頻解碼器(圖像解碼器)301接收裝置302估計裝置303視頻解碼器(即動態圖像或活動圖像解碼器)304次數削減裝置306輸出端307輸入端3031可變解碼裝置3032反正交變換裝置3033轉換單元3034移動補償裝置3035執行時間測量裝置本發明的實施方式下面參照附圖描述本發明的實施例。
下面描述的實施例主要解決上述問題(A1)至(A6)中的任一項。
本發明所用的「圖像」包括靜止圖像和活動圖像。而且，提出的圖像可以是象計算機製圖(CG)的兩維圖像或由線框模型構成的三維圖像數據。
圖1是本發明一個實施例的音頻-視頻收發機的示意性框圖。
在圖1中，接收信息的接收控制部分11和發送信息的發送部分13是諸如同軸電纜、CATV、LAN和數據機等的信息傳輸裝置。通信環境可以是能用多條邏輯傳輸線路而不用考慮多路復用裝置的環境，例如網際網路，或者可以是必須考慮多路復用裝置的環境，例如模擬電話或衛星廣播。
而且，作為終端連接系統，可列舉在諸如可視電話或電話會議系統等終端之間進行雙向傳送視頻或音頻數據的系統，或通過衛星廣播、CATV或網際網路播發廣播型視頻或音頻數據的系統。本發明考慮了這些終端連接系統。
圖1所示的分離部分12是用於分析接收到的信息並把數據與控制信息分離的裝置。具體地說，部分12是分解出加到數據中的發送首部信息和數據，或者分解出加到數據中的數據控制首部和數據內容。圖像擴展部分14是擴展接收到的圖像的裝置。例如，要擴展的圖像可以是標準化的活動(動態)或靜止圖像的壓縮圖像，例如H.261，H.263，MPEG 1/2或JPEG等。
圖1所示的圖像擴展控制部分15是用於監視圖像擴展狀態的裝置。例如，通過監視圖像的擴展狀態，當接收緩存器幾乎引起溢出時，可以讀空接收緩存器，而不擴展圖像，並在已準備好圖像以便擴展之後重新開始擴展圖像。
在圖1中，圖像合成部分16是用於合成擴展圖像的裝置。圖像合成方法可以通過用諸如JAVA、VRML或MHEG等腳本語言，描述圖像及其結構信息來(顯示位置和顯示時間(而且，可以包括顯示周期))、對圖像分組的方法、圖像顯示層(深度)、對象ID(以後描述的SSRC)以及它們的屬性之間的關係來定義。描述合成方法的腳本通過網絡或本地存儲器輸入或輸出。
輸出部分17是顯示器或印表機，用於輸出圖像合成結果。終端控制部分18是用於控制每個部分的裝置。此外，可以採用擴展聲音而不是圖像的結構(可以通過把圖像擴展部分改成聲音擴展部分，把圖像擴展控制部分改成聲音擴展控制部分，把圖像合成部分改成聲音合成部分來構成這種結構)，或者採用擴展圖像和聲音，使二者同步並加以顯示的結構，然而保持暫時同步。
也可以利用壓縮圖像的圖像壓縮部分。控制圖像壓縮部分的圖像壓縮控制部分、壓縮聲音的聲音壓縮部分和控制聲音壓縮部分的聲音壓縮控制部分來發送圖像和聲音。
圖2示出了接收控制部分和分離部分。
圖1的接收控制部分11由接收數據的數據接收部分101和接收控制數據的控制信息的控制信息接收部分102構成，分離部分12由存儲解釋發送內容的發送結構(後面詳述)的發送格式存儲部分103和根據存儲在格式存儲部分103內的發送結構解釋發送內容的發送信息解釋部分104構成，這種結構可以獨立地接收數據和控制信息。因此，例如，不難在接收視頻或音頻數據的同時刪除或移動該數據。
如上所述，可以接收控制部分11要求的通信環境可以利用能使用多條邏輯傳輸線路而不用考慮多路復用裝置的環境(網際網路類環境)，如網際網路，也可以利用多路復用裝置的環境(原類環境)，如必須考慮模擬電話或衛星廣播等。然而，用戶住處的通信環境備有多條邏輯傳輸線路(邏輯通道)(例如，在可以使用TCP/IP的通信環境的情況下，通常使用稱為「通信埠」的表述)。
如圖2所示，假設接收控制部分11接收一種或多種類型的數據傳輸線路和一種或多種類型的控制邏輯傳輸線路，以控制要傳輸的數據。也可以準備多條傳輸線路傳輸數據，僅準備一條傳輸線路控制數據。還可以準備一條傳輸線路在每次數據傳輸時控制數據，如也用於H.323的RTP/RTCP。當考慮利用UDP的廣播時，可以使用利用單個通信埠(多播地址)的通信系統。
圖3的示意圖用於解釋利用多條邏輯傳輸線路傳輸和控制視頻和音頻數據的方法。要發送的數據稱為ES(基本數據流)，它可以是一幀的圖像信息或GOB中的圖像信息，或者在圖像的情況下小於一幀的宏塊。
在音頻數據的情況下，可以使用用戶決定的固定長度。而且，把要加到要發送的數據中的數據控制首部信息稱為AL(自適應層信息)。把表示是否為能處理數據的開始位置的信息、表示數據再現時間的信息和表示數據處理的優先級的信息列為AL信息。本發明的數據控制信息對應於AL信息。而且，本發明所用的ES和AL並不總是必須與MPEG 1/2所定義的內容一致。
表示是否為可以處理數據的開始位置的信息具體包括兩種類型的信息。第一種是隨機訪問標記，即，表示可以個別讀取和獨立再現前後數據的信息，例如在圖像的情況下的幀內(I圖像)。第二種是能把訪問標記定義成表示可以個別讀取的標記的信息，即，表示開始位置為GOB圖像首部或在圖像的情況下為宏塊首部的信息。因此，沒有訪問標記表示數據的中部。這兩種隨機訪問標記和隨機標記作為表示能處理數據的開始位置的信息，並非總是需要的。
有這樣一種情況，如果在諸如電話會議等的實時通信的情況下，沒有加入這兩種標記，則不會產生問題。然而，為了簡化編輯工作，隨機訪問標記是必需的。也可以在傳送數據之前，通過通信通道決定標記是否必需，或者需要何種標記。
指示數據再現時間的信息表示再現圖像和聲音時的時間同步的信息，在MPEG1/2的情況下，它稱為PTS(展現時間標誌)。由於在諸如電話會議等實時通信的情況下，一般不考慮時間同步，所以表示再現時間的信息並不總是必需的。編碼幀之間的時間間隔可以是必需的信息。
在接收側調整時間間隔，可以防止幀間隔有較大波動。然而，接收側調整再現間隔可能發生延遲。因此，可以判定表示編碼幀之間幀間隔的時間信息是不必要的。
為了確定表示數據再現時間的信息是否表示PTS或幀間隔，也可以決定在傳輸數據之前，不把數據再現時間加到數據中，並把該決定通過通信通道傳送給接收終端，並與決定的數據控制信息一起發送數據。
當由於接收終端的負載或網絡的負載的原因而不能處理或發送表示處理數據的優先級的信息時，可以停止處理或發送數據，減小接收終端或網絡的負載。
接收終端可以用圖像擴展控制部分15處理數據，網絡可以用中繼終端或路由器處理數據。可以用數值或標記表示優先級。而且，在接收終端或網絡的負載有突然的波動時，把表示數據處理優先級的信息的偏移值作為控制信息或數據控制信息(AL信息)與數據一起發送，並將該偏移值與預先分配組視頻或音頻數據的優先級值相加，由此，可以對應於系統的操作狀態設置動態優先級。
而且，把鑑別是否有加密編碼、是否有版權、以及是原件還是複製件等的信息作為控制信息與和數據分開的數據標識符(SSRC)一起發送，簡化在中繼節點去除加密編碼。
表示數據處理優先級的信息可以加到用許多圖像或聲音的幀集合或每幀視頻或音頻數據構成的每個數據流中。
為發送終端單元提供優先級添加裝置，該裝置在過載情況下，利用諸如H.263或G.723等編碼方法，根據預定規則確定編碼信息的處理優先級，並使編碼信息對應於確定的優先級(見圖46)。
圖46是用於解釋優先級添加裝置5201把優先級加到圖像或聲音中的示意圖。
即，如圖46所示，根據預定的規則，把優先級加到編碼視頻數據(由視頻編碼裝置5202處理)和編碼音頻數據(由音頻編碼裝置5203處理)中。添加優先級的規則存儲在優先級添加規則5204中。這些規則包括把比P幀(幀間編碼圖像幀)的優先級高的優先級加給I幀(幀內編碼圖像幀)的規則和把比音頻數據的優先級低的優先級加給圖像的規則。而且，根據用戶的指定可以改變這些規則。
在圖像的情況下，優先級添加對象為場成變化，在編輯者或用戶指定的圖像幀數據或聲音的情況下，則為有聲區和無聲區。
為了在圖像幀或音頻幀中加入優先級，以在過載的情況下規定處理優先級，考慮使用下列方法把優先級增加到通信首部的方法和進行編碼時把優先級嵌入到已對視頻或音頻數據編碼的位流的首部中的方法，前一方法可以在不進行解碼的情況下獲得優先級信息，而後一方法可以與系統無關的地獨立地處理單一位流。
當把一圖像幀(例如幀內編碼的I幀或幀間編碼的P或B幀)分成多個傳輸數據包時，在圖像的情況下，僅把優先級加到通信首部，以把可訪問的圖像幀的首部作為獨立的信息發送(當優先級在相同圖像幀中一樣時，可以認為在下一個可訪問圖像幀出現之前優先級沒有改變)。
而且，使值的範圍能表示優先級變量(例如，根據用途，用16位或32位表示時間信息)，可實現與控制信息一致的結構。
在解碼器的情況下，根據所接收各種編碼信息片段過載時的優先級，為接收終端單元提供優先級確定裝置，以確定處理方法(見圖47)。
圖47是用於解釋加到圖像或聲音中的優先級和解釋確定是否進行解碼的優先級確定裝置5301示意圖。
即，如圖47所示，這些優先級包括加到每一圖像或聲音的每一數據流的優先級和加到每幀圖像或聲音數據中的優先級。可以獨立地利用這些優先級，或者使幀優先級對應於數據流優先級。優先級確定裝置5301根據這些優先級確定要解碼的數據流或幀。
解碼是利用兩種類型的優先級進行的，以確定終端過載時的處理優先級。
即，定義了用於規定諸如圖像和聲音的位流之間的相對優先級的數據流優先級(時間序列間優先級)；用於規定諸如相同數據流中的圖像幀等解碼單元之間的相對優先級(時間序列內優先級)(圖24)。
前一種數據流優先級可以處理多個視頻或音頻數據。後一種幀優先級使可根據編輯者的意圖改變場面或對同一幀內編碼圖像幀(I幀)增加不同的優先級。
使數據流優先級對應於分配給作業系統(OS)的時間，對圖像或聲音進行編碼或解碼，或進行優先級處理，從而控制數據流優先級，由此，可以在OS層上控制處理時間。例如，在微軟公司的Windows 95/NT的情況下，可以在五個OS層上定義優先級。用軟體以線索段實現編碼或解碼裝置，可以在分配給每個線索段的OS層上根據目的數據流的數據流優先級確定優先級。
上述的幀優先級和數據流優先級可以加到傳輸媒體或數據記錄媒體上。例如，把要發送的數據包優先級定義為訪問單元優先級，可以根據幀優先級與數據流優先級之間的關係，例如根據訪問單元優先級＝數據流優先級-幀優先級，確定與數據包發送有關的優先級和在過載時終端的處理優先級。
而且，可以把軟盤或光碟用作數據記錄媒體，確定優先級。再者，不僅可以利用記錄媒體而且還可以利用能記錄程序的諸如IC卡或ROM盒等物體確定優先級。而且，可以使用諸如路由器或網關等圖像或聲音的轉發器中繼數據。
作為利用優先級的具體方法，當接收終端過載時，把確定要處理的編碼信息的優先級閾值的優先級確定裝置設置成圖像擴展控制部分或聲音擴展控制部分，把要顯示的時間(PTS)與開始處理後經過的時間進行比較，或者把要解碼的時間(DTS)與開始處理後經過的時間比較，根據比較結果改變要處理的編碼信息的優先級閾值(也可以參照幀的插入間隔或優先級等作為改變閾值的信息)。
圖20(a)所示的例子中，在編碼時，用編碼器(H.263)對具有捕獲的QCIF或CIF尺寸的圖像進行編碼，與編碼信息一起輸出表示解碼時間(DTS)或顯示圖像的時間的時間標誌(PTS)和表示過載時的處理順序(CGD，計算適度弱化)、幀類型和序列號(SN)的優先級信息。
而且，在圖20(b)所示的例子中，還通過話筒進行記錄，通過編碼器(G.721)進行編碼，與編碼信息一起輸出表示解碼時間(DTS)或再現聲音的時間、優先級信息(CGD)和序列號(SN)的時間標誌(PTS)。
如圖20(c)所示，在解碼時，把圖像和聲音提供給分離緩存器，把它們各自的DTS(解碼時間)與開始處理後經過的時間進行比較。如果DTS不滯後，則把該圖像和聲音提供給它們相應的解碼器(H.263和G.721)。
圖21的例子描述了一種在過載時利用編碼器增加優先級的方法。對於一幅圖像，把高優先級的「0」和「1」分配給I幀(幀內編碼圖像幀)(數字越小，優先級越低)。P幀的優先級「2」低於I幀。由於把兩種級別的優先級分配給I幀，所以當解碼終端的負載較大時，可以僅再現優先級為「0」的I幀。而且，必須根據優先級增加方法調整I幀的插入間隔。
圖22的例子示出了一種在過載時，在接收終端確定優先級的方法。把不用的幀的優先級設置成比截止優先級大的值。即，把每個圖像幀假設成待處理的對象。把加到圖像幀的優先級最大值從發送側傳送給接收側(步驟101)可以事先得知該值。
當把DTS與開始處理之後經過的時間相比較，並且其結果是經過的時間長於DTS(當解碼沒有及時進行時)，則要處理的圖像或聲音的優先級閾值減小，以減少處理(步驟102)。然而，若開始處理之後經過的時間短於DTS(及時進行了解碼)，則優先級的閾值增加，以增加可以處理的圖像或聲音的數量(步驟103)。
如果該幀之前的圖象跳過了P幀，則不進行處理。如果沒有，則把優先級偏移值加到圖像幀(或音頻數據幀)的優先級上，以把該優先級偏移值與優先級閾值比較。當該偏移值不超過該閾值時，把要解碼的數據提供給解碼器(步驟104)。
優先級偏移可用於事先檢查機器的性能，並把該偏移值傳送給接收終端(用戶也可以在接收終端發出指定)，還可用於改變數據流中的視頻和音頻數據流的優先級(例如，通過增加最後面背景的偏移值來減少處理)。
當提出了多數據流時，也可以對每個數據流加優先級，並確定跳過對圖像或聲音的解碼。而且，在實時通信的情況下，通過處理H263與DTS相似的TR(臨時基準)可以確定解碼是超前還是滯後，並且實現與上文所述相同的跳過。
圖23示出了利用上述算法進行的優先級的臨時改變。
圖23示出了要加到圖像幀中的優先級的變化。該優先級是在終端過載時決定是否進行解碼的優先級，它加到每一幀中。優先級值越小，優先級越高。在圖23的例子中，0的優先級最高。當優先級的閾值為3時，添加了值大於3的優先級的幀不使用，不進行解碼，對添加了值為3或小於3的優先級的幀進行解碼。根據優先級有選擇地討論這些幀，可以控制終端的負載。也可以根據當前處理時間和要加到每幀上的解碼時間(DTS)之間關係，動態地決定優先級閾值。根據同樣的過程，這種技術不僅可以應用於圖像幀，也可以應用於聲音。
在傳輸線路為網際網路等的情況下，設置重發請求優先級確定部分，根據優先級信息、重發次數、信息丟失率、幀內編碼幀的插入間隔、受優先級確定部分控制的優先級的級別(例如五級優先)，對接收控制部分確定要重發的編碼信息的優先級閾值，並確定加給會受到請求重發的編碼信息的優先級閾值，這樣，當必須重發傳輸時丟失的編碼信息時，可以僅重發接收側要求的圖像或音頻數據。如果重發次數很多或信息丟失率很高，則必須提高要重發信息的優先級，減少重發次數或降低丟失率。而且，了解優先級確定部分使用的優先級，可以防止發送要處理的信息。
在發送終端，當實際傳送速率超過發送端的信息的目標傳送速率時，或者當開始傳送處理後經過的時間與加到要解碼或顯示的編碼信息的時間比較，把編碼信息寫入到發送緩存器的過程滯後時，可用加到編碼信息中的優先級，與目標速率一致地發送圖像或聲音數據，且接收終端過載時，其優先級確定部分使用該成先級，從而減少信息的發送。在接收終端過載時，還把處理跳過功能引入到發送終端，由此，可以控制發送終端過載引起的故障。
通過根據需要僅發送上述AL信息中必要的信息，可以調整要發送到諸如模擬電話線等窄帶通信通道上的信息量。在發送數據之前確定在發送終端上要增加到數據中的數據控制信息，把要使用的數據控制信息作為控制信息(例如僅使用隨機訪問標記)傳送給接收終端，並根據獲得的控制信息，在接收終端上重寫與存儲在發送格式存儲部分103內的發送結構(見圖16)有關的信息。
圖4是一幅示意圖，用於解釋動態改變要加到待發送的圖像或音頻數據中的首部信息的方法。在圖4的例子中，把要發送的數據(ES)分解成數據片並以通信首部的形式在這些數據片增添表示數據順序的識別信息(序列號)、表示是否為能處理數據片的開始位置的信息(標記位)和與數據片的傳送有關的時間信息(時間標記)，其中假設上述各信息對應於本發明的傳輸控制信息。
具體地說，RTP(實時傳送協議，RFC1889)利用上述序列號的信息、標記位、時間標誌、對象ID(稱為SSRC)和版本號作為通信首部。雖然可以擴充首部信息項，但上述各項總是作為固定項添加。然而，當諸如可視電話等實時通信和諸如影視點播等累積媒體的傳輸一起出現在要同時傳輸多個不同的編碼圖像或聲音的環境下時，由於通信首部的含義彼此不同，所以必需有鑑別裝置。
例如，在MPEG 1/2情況下，如上所述，時間標記信息表示PTS為再現時間。然而，在H.261或H.263中，時間標記信息表示對信息編碼時的間隔時間。為了與音頻數據同步處理H.263，必須表示時間標記為PTS信息。這是因為在H.263的情況下，時間標記信息表示編碼幀之間的時間間隔，RTP定義第一幀的時間標記是隨機的。
因此，必須增加一種表示時間標誌是否為PTS的標記作為(a)通信首部信息(必須擴充通信首部)或(b)H.263或H.261的首部信息(即，AL信息)(在這種情況下，必須擴充有效負荷信息)。
用作表示是否為能處理數據片的開始位置的信息的標記位作為RTP首部信息添加。而且，如上所述，往往必須提供表示是能訪問數據的開始位置的訪問標記和表示可以隨機訪問數據以獲得AL信息的隨機訪問標記。由於雙重提供了通信首部的標記降低了效率，所以也考慮了一種由通信首部準備的標記替代AL標記的方法。
(c)新提供一種標記，表示AL標記被加到通信首部的首部替代，而不向通信首部的AL增加一個標記，或定義通信首部的標記位與AL的相同，(與提供AL標記的情況相比，預期解釋可以更快地進行)，由此，解決上述問題。即，採用一種標記，表示標記位是否具有與AL標記相同的含義。在這種情況下，認為改善了通信首部或在擴充的範圍內描述首部。
然而，(d)也可以解釋通信首部的標記位的含義，以表示至少隨機訪問標記和訪問標記之一出現在AL中。在這種情況下，由通信首部的版本號可以得知解釋的含義與傳統的情況不同。而且，僅通過為通信首部或AL首部提供訪問標記或隨機訪問標記就簡化了處理(對於前者，考慮兩個首部都提供該標記的情況，但必須重新擴充通信首部)。
已經描述了添加表示數據處理優先級的信息，作為AL信息。通過把數據處理優先級加到通信首部，可以確定數據處理優先級的處理，而不用解釋仍在網絡上的數據內容。而且，在IPv6的情況下，可以在比RTP級更低的層上加該優先級。
通過向RTP通信首部增加表示數據處理的有效周期的計時器或計數器，可以決定如何改變所發數據包的狀態。例如，當必需的解碼軟體存儲在低訪問速率的存儲器時，可以由計數器或定時器確定解碼器所需要的信息以及什麼時候需要信息。在這種情況下，根據用途，對於AL信息來說，計時器或計數器的優先級信息或數據處理的優先級信息不是必需的。
圖5(a)和5(b)以及圖6(a)至6(d)是解釋增加AL信息的方法的示意圖。
如圖5(b)所示，向接收終端發送控制信息，傳送是否如圖5(a)所示把AL僅加到要發送的數據的首部，或者傳達是否把AL增加到在把要發送的數據(ES)分解成一個或多個數據片之後的每個數據片中，這樣可以選擇處理髮送信息的等級。當訪問滯後成問題時，把AL加到分割數據中是有效的。
如上所述，為了事先把在接收側數據控制信息的重組合或把數據控制信息配置到數據中的方法的變化傳送給接收終端，接收終端可以利用標記、計數器或定時器的表述平滑地進行響應，從而把該表述準備成AL信息或通信首部，以把它傳送給接收終端。
在上述例子中，描述了避免用AL信息複製RTP首部(或通信首部)的方法和擴充RTP或AL信息通信首部的方法。然而，對於本發明來說，並不總是必須使用RTP。例如，也可以利用UDP或TCP重新定義原通信首部或AL信息。雖然網際網路類環境有時利用了RTP，但在原類環境中並沒有定義諸如RTP等多功能首部。考慮了下面四種類型的概念用於AL信息和通信首部(參見圖6(a)至6(d))。
(1)對RTP或AL信息的首部信息進行校正和擴充，以使已分配給RTP的首部信息和已分配給AL的首部信息不重疊(具體是，時間標記的信息重疊，計時器、計數器或數據處理的優先級信息變成擴充信息)。或者，可以利用不擴充RTP首部和不考慮用RTP信息複製AL信息的方法。它們對應於至此已說明的內容。由於H.323實際已使用了一部分RTP，所以擴充具有兼容性的RTP是有效的。(參見圖6(a)。)(2)與RTP無關，簡化通信首部(例如，僅使用序列號)，把餘下的內容提供給AL信息，作為多功能控制信息。而且，使得可以在通信前可變地設置AL信息使用的項目，這樣可以指定靈活的發送格式。(參見圖6(b)。)(3)與RTP無關，簡化AL信息(極端的例子是AL不添加信息)，並把每個控制信息提供給通信首部。保持經常用作通信首部的序列號、時間標記、標記位、有效負荷類型和對象ID作為固定信息，並向數據處理優先級信息和定時器信息分別提供以表示擴展信息是否存在的標識符，作為與擴充信息，以便定義該信息時參考(參見圖6(c)。)(4)與RTP無關，簡化通信首部和AL信息，把格式定義成與通信首部或AL信息分開的數據包，以發送該格式。例如，也考慮這樣一種方法，對AL信息僅定義標記位、時間標記和對象ID，對通信首部僅定義序列號，把有效負載信息、數據處理優先級信息和計時器信息定義成與上述信息分開的信息數據包(第二數據包)，並發送(參見圖6(d)。)如上所述，當考慮用途和已加到圖像或聲音數據中的首部信息時，根據該用途，能自由地定義(定製)要與通信首部、AL信息分開發送的數據包(第二數據包)，這是較佳的方式。
圖7的示意圖用於解釋通過動態多路復用和分離多條邏輯傳輸線路來傳輸信息的方法。為邏輯傳輸線路提供能開始和結束多路復用信息的信息多路復用部分可以減少邏輯傳輸線路的數量，以根據用戶的指定或者發送部分和信息分離部分所用邏輯傳輸線路的數量，發送多個數據或控制信息，該分離部為接收控制部分分離多路復用信息。
在圖7中，信息多路復用部分稱為「組MUX」，具體地說，它可以使用諸如H.223的多路復用系統。可以為傳輸/接收終端提供組MUX。通過向中繼路由器或終端提供組MUX，可以對應於窄帶通信通道。而且，用H.223實現組MUX，可以使H.223和H.324互連。
為了快速地取得信息多路復用部分的控制信息(多路復用控制信息)，通過另一邏輯傳輸線路發送信息多路復用部分內的控制信息，而信息多路復用部分不將控制信息與數據復接，可以減少多路復用引起的延遲。因而，通過傳達和發送，將與信息多路復用部分有關的控制信息與數據復接後發送，或者控制信息不與數據復接，通過另一邏輯傳輸線路發送，用戶可以選擇是保持與傳統多路復用一致，還是減少由於多路復用引起的延遲。在這種情況下，與信息多路復用部分相關的多路復用控制信息是表示與信息多路復用部分如何對每片數據進行多路復用有關的多路復用的內容的信息。
同樣，如上所述，根據表述方法，例如根據標記、計數器或計時器，可以傳送發送方法的通知，該方法至少發送傳達多路復用開始和結束的信息、傳達多路復用邏輯傳輸線路的組合的信息和與多路復用有關的控制信息(多路復用控制信息)之一，作為控制信息，或者可以與數據一起將數據控制信息發送給接收終端，從而減少接收側的設置時間。而且，如上所述，可以提供表示傳輸RTP首部的標記、計數器或計時器的項目。
當存在多個信息多路復用部分或多個信息分離部分時，與標識符一起傳送控制信息(多路復用控制信息)，以鑑別信息多路復用部分或信息分離部分，可以鑑別控制信息屬於哪個信息多路復用部分。控制信息(多路復用控制信息)包括多路復用模式。而且，利用隨機數表，從而確定終端之間的信息多路復用部分或信息分離部分，可以產生信息多路復用部分的標識符。例如，可以在發送和接收終端之間確定的範圍內產生隨機數，並使信息多路復用部分的標識符(鑑別號)採用其最大值。
由於信息多路復用部分多路復用的數據在傳統上與RTP中定義的多媒體類型不同，所以必須定義信息，以表示它是RTP有效負載類型的多路復用部分(定義新媒體類型H.223)多路復用的信息。
在控制信息和數據信息的序列中配置要在信息多路復用部分發送或記錄的信息，以提高對多路復用數據的訪問速度，謀求快速地分析出多路復用信息。而且，固定根據加到控制信息中的數據控制信息描述的項，並增加和多路復用與數據不同的標識符(唯一的模式)，可以快速分析出首部信息。
圖8的示意圖用於解釋廣播節目的傳輸過程。把邏輯傳輸線路的標識符與廣播節目的標識符之間的關係用作廣播節目的信息，從而發送控制信息或者使數據增加廣播節目的標識符，作為數據控制信息(AL信息)，可以鑑別出為哪個節目廣播通過多條傳輸線路傳輸的數據。而且，向接收終端發送數據標識符(在RTP的情況下為SSRC)和邏輯傳輸線路的標識符(例如LAN埠號)之間的關係，作為控制信息，並在確認了接收終端可以接收控制信息之後(Ack/Reject)，發送相應數據，即使控制信息和數據都分別通過獨立的傳輸線路傳輸，也可以形成數據片之間的對應關係。
組合表示廣播節目的傳輸序列的標識符和具有表示廣播節目或數據可以用作信息的有效期限的計數器或計時器信息的數據。把組合標識符和信息增加到廣播節目或數據中加以發送，可以實現廣播，而不無需返回信道(當有效期限幾乎失效時，即使信息不夠，也開始再現廣播節目的信息或數據)。而且，可以考慮這樣一種方法，其中，利用單個通信埠(多播地址)，廣播控制信息和數據而不使它們彼此分離。
在返回信道的通信中，必須在發送數據之前充分地發送控制信息，以使接收終端能得知數據結構。而且，控制信息應當通過不會產生數據包丟失的、可靠性高的傳輸信道發送。然而，當利用可靠性低的傳輸信道時，必須循環發送相同傳輸序列號的控制信息。這不限於發送與設置時間有關的控制信息的情況。
而且，通過選擇可以作為數據信息增加的項(例如訪問標記、隨機訪問標記、數據再現時間(PTS)，或數據處理優先級信息)，確定是否與數據的標識符(SSRC)一起通過與數據的傳輸線路不同邏輯傳輸線路發送數據控制信息，或者確定是否在發送數據之前，把數據控制信息作為數據控制信息與發送側的數據一起發送，並且把該數據作為控制信息傳達並發送給接收側，可以靈活地控制和發送數據。
因而，可以不向AL增加信息而發送數據信息。因此，為了利用RTP發送圖像或聲音數據，不必擴大對至此已定義的有效負載的定義。
圖9(a)和9(b)為考慮節目或數據的讀取和增長時間的圖像或聲音發送方法的示意圖。具體地說，當如沒有返回信道的單向的衛星廣播或便攜終端那樣，終端資源受到限制時，或節目或數據出現在接收側終端上加以使用，以及必要的程序(例如H.263，MPEG 1/2，或音頻解碼器軟體)或數據(例如視頻數據或音頻數據)存儲在需要較長讀取時間的存儲器(例如VD、硬碟或網絡上的文件伺服器)時，可以根據諸如鑑別節目或數據的標識符等表述方法、要的數據流的標識符(例如SSRC或邏輯信道號)或估計接收端所必需的特定時間點標記、計數器(升/降計數)或計時器，通過事先把節目作為控制信息接收，或與數據一起作為數據控制信息接收來減少前期需要的節目或數據的設置時間(圖18)。
當發送節目或數據時，從發送側將表示節目或數據在接收終端的存儲器目標(例如硬碟或存儲器)的信息、開始或讀取所需的時間、終端的類型或存儲目標與開始或讀取所需的時間之間的關係(例如CPU功率、存儲設備和平均響應時間之間的關係)和使用的序列與節目或數據一起發送，這樣如果實際要求接收終端所必需的節目或數據，則可以計劃安排節目或數據的存儲目標和讀取時間。
圖10(a)和10(b)的示意圖用於解釋對應於快速切換(切換電視頻道)的方法。
與傳統的衛星廣播僅接收圖像的情況不同，當必須在接收終端執行程序時，讀取程序並開始執行前的設置時間是一個大問題。對於可用的資源受到限制的便攜終端的情況也存在同樣問題。
希望接收側終端的設置時間可以通過以下方式減少(a)利用用戶進行觀看和收聽的主視聽部分和接收終端循環監視用戶未觀看和收聽的節目的輔視聽部分，並接收鑑別事先要求的節目或數據的標識符之間的相對關係、用於估計接收終端所需的特定時間的標記、計數器或定時器的信息以及程序作為控制信息(由與數據的數據包不同的數據包發送給控制終端處理的信息)或作為數據控制信息(AL信息)，並準備與數據一起讀取節目或數據，作為在需要較長讀取時間的存儲器內出現用戶沒有觀看或收聽的所需節目或數據的一種解決措施。
作為第二種解決措施，設置廣播頻道，僅廣播通過多頻信道廣播的圖像的標題圖像，並由用戶切換節目，可以防止屏幕在設置時停止，因而，當在需要較長讀取時間的存儲器中出現需要的節目或數據時，臨時選擇用戶要求的節目的標題圖像，並把它向用戶顯示，或者顯示當前讀取節目或數據，而且在由存儲器讀取需要的節目或數據後，重新啟動用戶要求的節目。
上面的標題圖像包括對通過多頻道廣播的節目循環取樣獲得的廣播圖像。
而且，定時器體現一種時間，表示必需要有解碼發輸側發送的數據流所需的程序需要的特定時間。計數器是發送和接收終端之間確定的基本時間單位，它可以是表示第幾次的信息。標記與在設置所必需的時間之前發送的數據或控制信息(通過與控制終端處理的數據的數據包不同的數據包發送的信息)一起發送和傳達。可把它們嵌入到數據中發送，或者把它們作為控制信息發送。
而且，為了確定設置時間，可以在利用諸如工作在時基上的ISDN等傳輸線路時，把鑑別傳輸序列的傳輸序列號用作控制信息，以從發送終端向接收終端傳達要節目或數據的特定，從而把序列號與數據一起作為數據控制信息或控制信息傳送給接收終端，由此，估計進行設置的時間。而且，當傳輸時間由於如網際網路的跳動或延遲而波動，則考慮到傳輸的傳播時延，必須根據實現RTCP(網際網路使用的媒體傳輸協議)的裝置的跳動或時延，把傳輸時間加到設置時間中。
圖11(a)至19(b)示出了終端之間實際傳送的協議的具體例子。
在ASN.1中描述了發送格式和傳輸過程。而且，發送格式根據ITU的H.245擴展。如圖11(a)所示，圖像和聲音的對象可以具有分層結構。在該例子的情況下，每個目標ID具有廣播節目標識符(節目ID)和對象ID(S SRC)的屬性和結構信息，圖像之間的合成方法用諸如Java或VRML等腳本語言描述。
圖11(a)示出了對象之間關係的例子。
在圖11(a)中，對象是諸如聲音-圖像、CG和文本等媒體。在圖11(a)的例子中，對象構成分層結構。每個對象的節目號「節目ID」對應於TV頻道，對象標識符「對象ID」用於鑑別對象。當根據RTP(網際網路使用的傳輸媒體的媒體傳輸協議，實時傳輸協議)傳輸每個對象時，使對象標識符對應於SSRC(同步源標識符)可以容易地鑑別出對象。而且，可以利用諸如JAVA或VRML等描述語言描述對象之間的結構。
考慮用兩種類型的傳輸對象的方法。一種是廣播類型，把對象單方面從發送側終端發送。另一種是在發送和接收終端(終端A和B)之間傳送對象的類型(通信類型)。
例如，在網際網路的情況下，可以把RTP用作傳輸方法。在可視電話標準的情況下，利用稱作LCNO的傳輸通道，傳輸控制信息。在圖11(a)的例子中，用多個傳輸通道來傳輸。把相同的節目通道(節目ID)分配給這些通道。
圖11(b)的示意圖用於解釋如何實現這種實現了本發明描述的功能的協議。下面描述可視電話標準(H.324和H.323)所用的傳輸協議(H.245)。本發明描述的功能通過擴展H.245來實現。
圖11(b)中的例子示出的描述方法是稱為ASN.1的協議描述方法。「終端性能集(「Terminal Capabilitycet」)表述終端的性能。在圖11(b)的例子中，描述成「mpeg 4性能」的功能是對傳統H.245的擴展。
在圖12中，「mpeg 4性能」(「MPEG4 Capability」)描述了可以同時被終端處理的最大圖像數據(「Max Namber of Video」)和最大聲音信號數(「Max Numbeof Sounds」)，還描述終端可以實現的最大多路復用功能數(「Max Number ofMux」)。
在圖12中，表示成可以處理的最大對象量(「Number of ProcessObject」)。而且，描述了表示是否可以改變通信首部(在圖12中表示成AL)的標記。當標記的值為真時，可以改變通信首部。為了利用「MPEG 4性能確認(「MEG 4Capbility ACK」)彼此傳達在終端之間可以處理的對象數，如果被傳達側可以接受(處理)這些對象，被傳達側把「MPEG 4 Capbility ACK」送回給發送「MPEG 4Capbility」的終端，如果不能，則向該終端回送「MEPG 4性能拒絕」(「MPEG4Capbility Reject」)。
圖13(a)示出了如何描述利用上述組MUX把多個邏輯信通道多路復用成一個傳輸通道(在本例中為LAN傳輸通道)的協議，以便邏輯通道共用傳輸通道。在圖13(a)的例子中，使多路復用裝置(組MUX)對應於LAN(區域網)傳輸通道(LAN埠號，「LAN Poxt Number」)。「組Mux ID」(「Group Max ID」)是用於鑑別多路復用裝置的標識符。為了「創建組Max」(「Create group Mux」)，使終端共用多路復用裝置，並在終端之間相互傳送，如果被傳送側可以接受(使用)該多路復用裝置，就向發送「Greate Group Mux」的終端回送「Greate Group Mux Ack」，如果不能接受，就向該終端回送「Greate Group Mux Reject」。可以用相同的方法實現分離裝置，用作進行與多路復用裝置的操作相反的裝置。
在圖13(b)，描述了刪除了已產生的多路復用裝置的情況(「Destory GroupMux」「破壞組Mux」)。
在圖13(c)中，描述了LAN傳輸通道與多個邏輯通道之間的關係。
根據「LAN Port Numbef」描述LAN的傳輸通道，根據「邏輯埠號」(「Logical Port Number」)描述了邏輯通道。
在圖13(c)的情況下，可以使一個LAN的傳輸通道對應多達15個邏輯通道。
在圖13中，當可以使用的MUX的數量僅為一個時，組Mux ID就不是必需的了。而且，為了使用多個Mux，對於H.223的每個命令都必須有組Mux ID。可以使用標記，以傳達多路復用裝置與分離裝置之間使用的埠之間關係。還可以使用命令使得能選擇是對控制信息進行多路復用，還是通過另一邏輯傳輸線傳輸信息。
圖13(a)至圖13(c)所示的解釋例中，傳輸通道利用LAN。然而，也可使用利用例如H.223或MPEG 2等的網際網路協議的系統。
在圖14中，「開邏輯通道」(「Open Logical Channel」)顯示定義傳輸通道屬性的協議描述。在圖14的例子中，「MPEG 4邏輯通道參數」(「MPEG4 LogicalParameters」)根據H.245協議擴展和定義。
圖15示出了節目號(對應於TV頻道)，使節目號被製成對應於LAN的傳輸通道(「MPEG 4邏輯通道參數」)。
而且，在圖15中「廣播通道節目」(「Broadcesting Channel Program」)表示根據廣播類型發送LAN傳輸通道與節目號之間對應關係的描述方法。圖15的例子使得可以發送多達1023個傳輸通道與節目號之間對應關係。由於在廣播的情況下，發送側單方面向接收側發送，所以考慮到在傳輸期間的丟失現象，必須循環發送這些信息片。
在圖16(a)中，描述了要作為節目傳輸的對象(例如圖像或聲音)的屬性(「MPEG4對象類別定義」)(「MPEG4 Object Calssdefinition」)。把對象信息(「對象結構單元」)(「Object Structure Element」)對應於節目標識符(「ProgramID」)。可以使多達1023個對象對應於節目標識符。對於對象信息，描述了LAN傳輸通道(「LAN埠號」)、表示是否使用加密編碼的標記(「加密編碼標記」)(Scramble_Flag)、終端過載時定義改變處理優先級的偏移值的欄位(「CGD偏移」)(「CGD Offset」)以及鑑別要傳輸的媒體類型(圖像或聲音)的標識符(「媒體類型」)(「Media type」)。
在圖16(b)所示的例子中，增加了AL(在本例中，定義成一幀解碼圖像所需的附加信息)以控制對ES(在本例中，定義成對應於一幀的圖像的數據串)的解碼。對於AL信息，定義如下。
(1)隨機訪問標記(表示是否可獨立再現的標記，真表示幀內編碼的圖像幀)(2)展現時間標誌(幀顯示的時間)(3)CGD優先級(確定當終端過載時的處理優先級的優先級值)該例子示出了利用RTP(通過網際網路傳送連續的媒體的協議，即實時傳送協議)傳送一幀的數據串的情況。「AL重構」是改變可以用上述的AL表示的最大值的傳輸表述。
圖16(b)的例子使得可以把多達2位表示成「隨機訪問標記最大位數」(「Random Access Flag Max Flag」)。例如，當沒有位時，不使用隨機訪問標記。當有兩位時，最大值等於3。
而且，可以用實數部分和尾數部分表示(例如3∧6)。當不設置數據時，可以在預設確定狀態下工作。
在圖17中，「設置請求」(「Setup Request」)表示傳輸設置時間的傳輸表述。「設置請求」在傳輸節目之前傳輸，使要傳輸的傳輸通道號(「邏輯通道號」)、要執行的程序ID(「執行程序號」)(「execative Program Number」)要使用的數據ID(「data Number」)和要執行的命令ID(「執行命令號」)(「excutiveCommand Number」)成彼此對應，並傳輸給接收終端。而且，作為另外的表述方法，可以採用執行授權標記(「flag」)、描述在接收設置請求多少次時開始執行的計數器(「counter」)和表示在經過多少時間後開始執行的定時器值(「timer」)，並使它們對應於傳輸通道號。
作為要提出的請求的例子，可列舉重寫AL信息和確保組Mux的增長時間。
圖18的示意圖用於解釋傳輸表述，是否利用圖16(b)描述的AL從發送終端向接收終端傳送AL(「控制AL定義」)(「Control AL Definstion」)。
在圖18中，如果「隨機訪問標記使用」(「Random Access Flag Use」)為真，則使用隨機訪問標記。如果不為真，就不使用。可以把AL變化通知作為控制信息通過與數據傳輸通道分開的通道進行傳輸，或通過與數據相同的傳輸通道，與數據一起傳輸。
作為要執行的程序，可列出解碼程序。可以把設置請求用於廣播和通信。根據上述請求，對接收終端指定用作控制信息的哪一項用作AL信息。而且，可以指定把哪一項用作通信首部，把哪一項用作AL信息，把哪一項用作對接收終端的控制信息。
圖19(a)示出了一種傳輸表述，它利用發送和接收終端之間的信息幀標識符(「首部ID」)(「header ID」)，根據用途改變首部信息的結構(數據控制信息、傳輸控制信息和控制信息)。
在圖19(a)中，「類別ES首部」(「Calss ES_header」)根據信息幀標識符，區分要通過與數據傳輸通道相同的通道傳輸的數據控制信息的結構與傳輸控制信息用以在發送和接收終端之間傳輸的信息的結構通道相同。
例如，當「header ID」值為0時，僅使用「緩存器規模的ES」(「bufferSize ES」)項，而當「header ID」值為1時，增加(「reserved」)項。
而且，利用預設標識符(「使用首部擴展」)(「use Header Extension」)，確定是否使用預設類型信息幀。當「使用首部擴展」是真時，使用如果語句中的項。假設事先在發送和接收終端之間確定了這些結構信息。而且，可以使用一種結構，以使用信息幀標識符和預設標識符之一。
在圖19(b)的例子中，「AL配置」(「AL Configuration」)表示這樣一個例子，它根據用途通過與發送和接收終端之間傳輸的數據不同的傳輸通道改變要傳輸的控制信息結構。信息幀標識符的作用和預設標識符的作用與圖19(a)的情況相同。
在本發明的情況下，從下面的觀點具體描述實現同時合成和顯示多個圖像和多個聲音的方法。
(1)通過多條邏輯傳輸線路傳輸(傳達和廣播)圖像和聲音並控制它們的方法。尤其是，描述了通過獨立的邏輯傳輸線路分別傳輸控制信息和數據的方法。
(2)動態改變加到要傳輸的圖像或聲音的數據中的首部信息(AL信息)的方法。
(3)動態改變增加的通信首部信息以便傳輸的方法。
具體地說，對於第(2)和(3)項，描述了一種控制重疊在AL信息和通信首部上的信息的方法和把AL信息作為控制信息傳輸的方法。
(4)動態地多路復用和分離多條邏輯傳輸線路和傳輸信息的方法。
描述了一種節省傳輸線路的通道數的方法和實現有效多路復用的方法。
(5)考慮到增長時間讀取節目或數據，並傳輸圖像和聲音的方法。而且，描述了減少各種功能和用戶的視在設置時間的方法。
(6)針對頻道快速切換的圖像或聲音傳輸方法。
本發明並不僅限於合成兩維圖像。也可以使用把兩維圖像與三維圖像組合的表述方法，或者可以包括合成多幅圖像以使它們如寬視野圖像(全景圖像)一樣彼此相鄰接的圖像合成方法。
而且，本發明不僅僅以諸如雙向CATV和B-ISDN的通信系統為對象。例如，可以使用無線電波(例如VHF頻段或UHF頻段)，或者從中央終端向家用終端傳輸圖像和聲音的廣播衛星以及從家用終端向中央終端傳送信息的模擬電話線或N-ISND(並不總是必須多路復用圖像、聲音或數據)。
而且，可以使用無線電通信系統，諸如IrDA、PHS(個人手持電話)，或者無線電LAN。而且，對象終端可以是例如可攜式信息終端的可攜式終端或例如設置盒或個人計算機等桌面終端。而且，作為應用範圍，還有可視電話、多點監視系統、多媒體系統、多媒體資料庫檢索系統和遊戲機。本發明不僅包括接收終端，而且還包括連接到接收終端的伺服器和轉發器。
在上述例子中，描述了避免RTP(通信)首部與AL信息重疊的方法和擴充RTP通信首部或AL信息的方法。然而，本發明並不總是必須使用RTP。例如，也可以利用UDP或TCP重新定義原通信首部或AL信息。雖然網際網路類環境有時使用RTP，但對於原類環境並不定義諸如RTP等多功能首部。如上所述，有四種關於AL信息和通信首部的概念。
因此，通過動態動確定數據控制信息的信息幀、傳輸控制信息或發送和接收終端使用的控制信息(例如包括要增加的信息序列和以序列號的形式首先把隨機訪問標記分配成1位標記信息和其後把隨機訪問標記分配成16位的位數的信息幀)，可以根據用途或傳輸線路僅改變對應於狀況的信息幀。
每一信息的幀可以是如圖6(a)至6(d)已示出了任一種，在RTP的情況下，數據控制信息(AL)可以是每種媒體的首部信息(例如，在H.263的情況下，可以是視頻首部信息或H.263固有的有效負載的首部信息)，傳輸控制信息可以是RTP首部信息，控制信息可以是控制諸如RTCP等RTP的信息。
而且，在發送和接收終端之間預先設置了公知的信息幀的情況下，通過分別發送和接收數據控制信息、傳輸控制信息和控制信息(通過與控制終端處理的數據的數據包不同的數據包傳輸的信息)，提供預設的標識符，表示是否處理信息，可以了解信息幀是否改變了。僅當進行改變時，根據圖16所示的方法，設置預設標識符並傳輸已改變的內容(例如時間標誌信息從32位改變成16位)，這能防止信息的幀信息沒有改變時傳輸不必要的配置信息。
例如，考慮下面的兩種方法，改變數據控制信息的信息幀。首先，描述在數據本身改變數據控制信息的信息幀的方法時，設置數據控制信息的信息幀描述的數據中出現的信息的預設標識符(要寫入到固定區域或位置)，然後描述信息幀的變化內容。
為了改變數據控制信息的信息幀，描述另一種把僅改變控制信息(信息幀控制信息)內的數據的信息幀的方法時，設置控制信息提供的預設標識，描述要改變的數據控制信息的信息幀的內容，並根據ACK/拒絕傳送給接收終端，確認數據控制信息的信息幀改變後，傳輸信息幀已改變的數據。也可以根據上述兩種方法改變傳輸控制信息和控制信息的信息幀(圖19)。
更具體地說，雖然MPEG2的首部信息是固定的，通過為節目映射表提供預設標識符(由PSI定義)，使MPEG2-Ts的視頻數據流(傳送數據流)與其音頻數據流相關聯，並定義配置數據流，描述改變視頻數據流和音頻數據流信息的幀的方法，可以首先解釋配置數據流，然後根據設置預設標識符時配置數據流的內容，解釋視頻和音頻數據流的首部。可以使配置數據流具有圖19所示的內容。
與傳輸方法和/或要傳輸的數據的結構有關的本發明的內容(發送格式信息)對應於例如上述實施例中的信息幀。
對於上述實施例，主要描述了與傳輸方法和/或要傳輸的數據的結構有關的要改變的內容。然而，也可以使用僅傳輸內容標識符的結構。在這種情況下，如圖44所示，也可以使用音頻-視頻發送機，這種發送機設置(1)發送裝置5001，用於通過與數據相同的傳輸線路或與前一傳輸線路不同的傳輸線路，發送與傳輸方法和/或要發送的數據的結構有關的內容或表示內容的標識符，作為發送格式內容；(2)存儲裝置5002，用於存儲與傳輸方法和/或要發送的數據的內容有關的多種類型的內容和這些內容的多種類型的標識符，其中標識符至少包括在數據控制信息、傳輸控制信息和控制終端側處理的信息之一中。而且，如圖45所示，可以使用一種音頻-視頻接收機，該接收機設置用於接收音頻-視頻發送機發送的接收裝置5101和解釋接收到的發送格式信息的發送格式信息解釋裝置5102。而且，音頻-視頻接收機可做成具有存儲裝置5103構成，用於存儲與傳輸方法和/或要發送的數據的結構有關的多種類型的內容和這些內容的多種類型的標識符，當接收標識符作為發送格式信息時，用存儲在存儲裝置中的內容解釋標識符的內容。
更具體地說，準備發送和接收終端之間預先確定的多種類型的信息幀，並與數據一起傳輸上述信息幀的標識符和多種類型的數據控制信息、多種類型的傳輸控制信息和多種類型的控制信息(傳輸幀控制信息)的信息幀標識符，作為控制信息，這樣，可以根據要傳輸的媒體類型或傳輸線路的容量鑑別多種類型的數據控制信息、多種類型的傳輸控制信息和多種類型的控制信息，隨意選擇每種類型信息的信息幀。本發明的標識符對應於上述信息幀標識符。
即使信息幀在接收側終端改變了，也可以通過把標識符加到要傳輸的信息的預定的固定長度區域中或預定位置上，讀取和解釋這些信息標識符和預設標識符。
而且，除了上述實施例描述的結構之外，也可以使用這樣一種結構，在花很多時間來設置需要的節目或數據時，利用廣播通道，僅廣播通過多頻道廣播的圖像的標題圖像，從而臨時選擇用戶要觀看和收聽的節目的捕獲圖像，並切換用戶要觀看和收聽的節目。
如上所述，本發明可以根據用途或傳輸線路，動態地確定發送和接收終端使用的數據控制信息的幀、傳輸控制信息或控制信息，從而對應於狀態改變信息的幀。
而且，可以通過提供預設標識符，表示是否分別利用發送和接收終端之間預先設置的數據控制信息、傳輸控制信息和控制信息的公知信息發送或接收並處理信息，因而可以得知信息幀是否改變，並且即使信息的信息幀由於設置了預設標識符沒有改變也可以防止傳輸不必要的配置信息，僅當進行了改變時才傳送改變的內容。
再者，通過準備在發送和接收終端之間預先確定的多種信息幀，並與數據一起傳輸鑑別多種類型的數據控制信息的信息幀標識符、多種類型的傳輸控制信息和多種類型的控制信息，可以鑑別多種類型的數據控制信息、多種類型的傳輸控制信息和多種類型的控制信息，並且根據要傳輸的媒體的類型或傳輸線路的容量，可以隨意地選擇各種類型的信息幀。
即使在接收側終端上信息幀改變了，通過把標識符加到要傳輸的信息的預定的固定長度區域中或預定的位置，也可以讀取和解釋這些信息標識符和預設標識符。
下面參照附圖描述本發明的實施例。
在本例中，解釋了上述問題(B1)至(B3)中的一個問題。
本發明所用的「圖像」包括靜止圖像或活動圖像。而且，提出的圖像可以是二維圖像，例如計算機製圖(CG)圖像，或者可以是用線框型構成的三維圖像數據。
圖25是本發明的實施例的圖像編碼器或圖像解碼器的示意性框圖。
發送或記錄各種編碼信息發送控制部分4011是傳送軸電纜、CATV、LAN或數據機等的信息的裝置。圖像編碼器4101具有圖像編碼部分4012，用於對諸如H.263、MPEG1/2、JPEG圖像信息進行編碼或進行Huffman編碼，還具有發送控制部分4011。而且，圖像編碼器4102的輸出部分4016由下列部分構成接收各種編碼信息的接收控制部分4013、解碼各種接收到的圖像信息的圖像解碼部分4014、合成一幅或多幅解碼圖像的圖像合成部分4015和由輸出圖像的顯示器和印表機構成的輸出部分的4016、圖26是本發明一個實施例的音頻編碼器和音頻解碼器的示意性框圖。
音頻編碼器(聲音編碼器4021)由下列部分構成發送或記錄各種編碼信息的發送控制部分4021和對諸如G.721或MPEG1音頻信號的音頻信息進行編碼的音頻編碼部分4022。音頻解碼器(聲音解碼器)4202由下列部分構成接收各種編碼信息的接收控制部分4023、解碼上述音頻信息的音頻解碼部分4024、合成一個或多個解碼音頻信號的音頻合成部分(聲音合成部分)4025和輸出音頻信號的輸出裝置4026。
上述編碼或解碼器對聲音或圖像的時間序列數據進行具體的編碼或解碼。
圖25和26的通信環境可以是能使用多條邏輯傳輸線路而不考慮多路復用裝置的環境，如網際網路的情況，或者是必需考慮多路復用裝置的環境，如模擬電話或衛星廣播的情況。作為終端連接系統，可列舉諸如在可視電話或可視電話會議等終端之間雙方傳輸圖像或聲音的系統，或在衛星廣播、CATV或網際網路上廣播廣播類型圖像或聲音的系統。
可以用諸如JAVA、VRML或MHEG等腳本語，描述圖像和聲音、圖像和聲音的結構信息(顯示位置和顯示時間)、音頻-視頻分組方法、圖像顯示層(深度)和對象ID(鑑別諸如圖像或聲音等各種對象的ID)和和它們的屬性之間的關係，這樣可以定義一種合成圖像或聲音的方法。描述合成方法的腳本從網絡或本地存儲器獲得。
而且，可以任意組合任意數量的圖像編碼器、圖像解碼器、音頻編碼器和音頻解碼器，構成發送或接收終端。
圖27(a)的示意圖用於解釋控制過載處理優先級的優先級添加部分和優先級確定部分。為圖像編碼器4101和音頻編碼器4201設置優先級添加部分31，根據預定的標準，利用諸如H.263或G.723的編碼方法，確定過載時處理編碼信息的優先級，並使編碼信息與確定的優先級相關聯。
添加優先級的基準是在圖像的情況下為場面變化，在編輯者或用戶指定的圖像幀、數據流或聲音的情況下為有聲區和無聲區。
向通信首部添加優先級的方法和在編碼時把優先級嵌入到要編碼的視頻或音頻的位流的首部內的方法都可以考慮作為定義過載時優先級的優先級添加方法。前一種方法可以不用解碼信息而獲得與優先級有關的信息，後一種方法可以獨立地處理一個位流，而與系統無關。
如圖27(b)所示，當把優先級信息加到通信首部，並把一圖像幀(例如幀內編碼的I幀或幀間編碼的P或B幀)分割成多個傳輸數據包時，在圖像的情況下，僅把優先級加到通信首部中，以把可訪問的圖像幀的首部作為單一信息傳輸(當在同一圖像中優先級相同時，可以假設一直到下一次出現可訪問圖像幀時，優先級都沒有變化)。
又，在解碼器的情況下，根據在過載時接收到的各種編碼信息的優先級，為圖像解碼器4102和音頻解碼器4202設置了確定處理方法的優先級處理部分32。
圖28(a)至28(c)的示意圖用於解釋添加優先級的等級。解碼是利用兩種類型的優先級進行的，以確定終端過載時處理的優先級。
即，定義了用於規定在位流(諸如圖像和聲音的位流)過載時處理的優先級的數據流優先級(數據流優先級；時間序列數據間優先級)；用於規定同一數據流中幀(例如圖像幀)過載時處理的優先級的幀優先級(幀優先級；時間序列數據內優先級)(參見圖28(a))。
前一種數據流優先級可以處理多個視頻或音頻數據。後一種幀優先級可以根據編輯者的意向，向圖像場面變化或同一幀內編碼的圖像幀(I幀)增添不同的優先級。
數據流優先級表示的值表示把它處理成相對值和把它處理成絕對值的情況(參見圖28(b)和28(c))。
在網絡上，由諸如路由器或網關等轉發終端處理數據流優先級和幀優先級；在終端，則由發送和接收終端進行處理。
考慮用兩種方法表示絕對值或相對值。一種是圖28(b)所示的方法，另一種是圖28(c)所示的方法。
在圖28(b)中，絕對值優先級是表示編輯者增加或機器增加的圖像數據流(視頻流)或音頻流過載時處理(或要處理)的順序的值(但不是考慮了實際網絡或終端的負荷變化的值)。相對值優先級是根據終端或網絡的負荷改變絕對優先級值的值。
根據網絡的負荷波動等把優先級成分相對值和絕對值進行控制值，從而僅在發送側或由轉發器改變相對值，這樣可以保留加到視頻或音頻數據流中的絕對優先級，同時將其值記錄到硬碟上或VTR上。因此，當記錄絕對優先級的值時，可以再現不受網絡的負荷波動等影響的圖像或聲音。而且，可以獨立於數據通過控制通道傳輸相對或絕對優先級。
在圖28(b)中，可以與數據流優先級進行精細的等級比較，處理幀優先級，把過載時的幀處理優先級定義成相對優先級值，或者把它處理成絕對優先級值。例如，描述編碼圖像中的絕對幀優先級和描述對應於加到傳輸編碼信息的通信數據包的首部中的圖像幀中的絕對優先級的相對幀優先級，反映網絡或終端的負荷波動，這樣，即使在幀一級的情況下，也可以在保留原優先級的同時，添加對應於網絡或終端的負荷的優先級。
還可以獨立於數據，在控制通道中，而不是通信首部描述與幀的關係，來傳送相對優先級。這樣，可保留原來加到圖像或聲音數據流的絕對優先級，同時把數據記錄到硬碟或VTR上。
而且，在圖28(b)中，當在接收終端再現數據，並同時通過網絡傳輸數據而不在接收終端上記錄數據時，由於不必在接收終端分開絕對值和相對值進行控制，可以在發送側對幀和數據流兩級計算絕對優先級的值和相對優先級後，僅傳送絕對值。
在圖28(c)中，絕對值優先級是從數據流優先級和幀優先級之間的關係獲得的幀之間唯一確定的值。相對值優先級是表示編輯者添加的或機器添加的圖像數據流或音頻數據流在過載時處理(或要處理)的順序的值。在圖28(c)的例子中，增添圖像或聲音數據流的幀優先級(相對；相對值)或每個數據流的數據流優先級。
從相對幀優先級和數據流優先級之和獲得絕對幀優先級(絕對；絕對值)(即，絕對幀優先級＝相對幀優先級+數據流優先級)。為了獲得絕對優先級，也可以使用相減方法或常數相乘方法。
絕對幀優先級主要用於網絡。這是因為利用絕對值的表述不需要確定通過諸如路由器或網關等轉發器考慮數據流優先級和幀優先級，來確定每幀的優先級。利用絕對幀優先級，使轉發器廢棄幀之類的處理簡化。
而且，可以希望把相對幀優先級主要應用於累積系統，以進行記錄或編輯。在編輯操作的情況下，可以同時處理多個圖像和聲音數據流。在這種情況下，可以根據終端或網絡的負荷情況限制能再現圖像數據流的數量和幀的數量。
在上述情況下，與僅通過把數據流優先級與幀優先級分離來表述絕對值的情況不同，不必重新計算每個幀優先級，即僅通過改變編輯者想優先顯示或用戶要看的數據流的數據流優先級即可。因此，必須根據用途利用絕對表述或相對表述。
通過描述是把數據流優先級用作相對值還是用作絕對值，可以有效地表示傳輸和累積的優先級在圖28(b)的情況下，其區別是利用表示數據流優先級表述的值是絕對值還是相對值的標記或標識符，跟蹤數據流優先級表述的值是相對值還是絕對值的數據流優先級。在幀優先級的情況下，不需要際記或標識符，這是因為在通信首部描述了相對值，在編碼幀內描述了絕對值。
在圖28(c)的例子中，使用了鑑別幀優先級是絕對值還是相對值的標記或標識符。在絕對值的情況下，幀優先級是根據數據流優先級和相對幀優先級計算得到的優先級，因此，轉發器或終端並不進行這種計算。而且，當終端已知計算公式時，可以根據絕對幀優先級和數據流優先級反向計算相對幀優先級。例如，還可以從下面的相對表述獲得要傳輸的數據包的絕對優先級(訪問單元優先級)「訪問單元優先級＝數據流優先級-幀優先級」在這種情況下，由於它是在從數據流優先級中減去了之後獲得的，所以也可以把幀優先級表示也降低優先級。
使一個或多個數據流優先級與通過TCP/IP邏輯通道(LAN的埠號)的數據處理的優先級相關聯，也可以控制數據處理。
再者，通過把比字符或控制信息低的數據流優先級或幀優先級分配給圖像或聲音，預期可以減少重發。這是因為即使部分圖像或聲音丟失，在大多數情況下也不會產生問題。
圖29的示意圖用於解釋把優先級分配給多解析度視頻數據的方法。
當一個數據流由多個子數據流構成時，可以定義一種子數據流處理方法，把數據流優先級加到子數據流中，並描述累積或傳輸時的邏輯和或邏輯積。
在子波的情況下，可以把一圖像幀分解成多個不同解析度的圖像幀。而且，即使在DCT基編碼的方法中，通過把圖像幀分割成高頻分量和低頻分量，並對它們進行編碼，也可以把一圖像幀分解成多個不同解析度的圖像幀。
除了加到由一系列分解的圖像幀構成的多個圖像數據流中的數據流優先級之外，圖像數據流之間的關係用「與」(邏輯積)以及「或」(邏輯和)來定義，以描述這種關係。具體地說，當數據流A的數據流優先級為5，數據流B的數據流優先級為10時(數值越小，優先級越高)，圖像數據流之間的關係被定義成根據優先級廢棄數據流數據的情況下，廢棄數據流B，但通過描述數據流之間的關係，在「與」的情況下，即使數據流B的優先級低於閾值優先級，也可以傳輸和處理數據流B，而不廢棄。
因而，可以處理相關數據流而不廢棄。在「或」的情況下，定義成可以廢棄相關數據流。可以在發送或接收終端甚至在轉發終端進行廢棄處理。
而且，作為描述關係的運算符，當把同一視頻剪輯分別編碼成24Kbps和48Kbps時，存在再現24或48Kbps的情況(用異邏輯和「異或」描述關係)。
當前者的優先級被設置成10後者的優先級被設置成5時，用戶可以根據優先級再現後者，或者不遵循優先級，選擇後者。
圖30的示意圖用於解釋通信有效負載的構成方法。
當由多個子數據流構成時，例如根據加到子數據流中的數據流優先級，從具有最高優先級的子數據流開始，依次構成傳輸數據包，則在傳輸數據包一級上廢棄變得容易。而且，精細地對分別具有高幀優先級的對象的信息進行分等級並組成單元，從而構成通信數據包可以使在通信數據包一級上廢棄變得容易。
通過使圖像的切片結構與通信數據包相關聯，回送遺漏的數據包變得容易。即，通過使圖像的切片結構與數據包結構相關聯，不需用於再同步的再同步標記。除了與通信數據包結構一致的切片結構之外，必須增加再同步標記(告知回送位置的標記)，以便由於遺漏數據包使信息受損時，也可以進行再同步。
根據上文所述述，可認為把高防錯措施應用於具有高優先級的通信數據包。而且，圖像的切片結構表示諸如GOB或MB等的集合圖像信息單元。
圖31的示意圖用於解釋使數據與通信有效負載相關聯的方法。通過把數據流或對象與通信數據包相關聯的方法與控制信息或數據一起傳送，可以根據通信狀態或用途產生任意的數據格式。例如在RTP(實時傳送協議)的情況下，對要處理的每次編碼定義RTP的有效負載。已有的RTP格式是固定。在H.263的情況下，如圖31所示，定義了模式A至模式C的三種數據格式。在H.263的情況下，沒有定義以多解析度圖像格式為對象的通信有效負載。
在圖31的例子中，把層號和上述關係描述(「與」，「或」)加到模式A的數據格式中，並加以定義。
圖32的示意圖用於解釋幀優先級、數據流優先級和通信數據包優先級之間的關係。
而且，圖32示出了把在傳輸線路上加到通信數據包中的優先級用作通信數據包優先級，並使數據流優先級和幀優先級與通信數據包優先級相對應的例子。
通常，在利用IP進行通信的情況下，必須使加到圖像或聲音數據中的幀優先級或數據流優先級與低端IP數據包的優先級相對應來傳輸數據。由於圖像或聲音數據被分割成IP數據包來傳輸，所以必須使這些優先級彼此相對應。在圖32的例子中，由於數據流優先級的值為0至3，幀優先級的值從0至5，所以高端數據的優先級可以從0至15。
在Ipv6的情況下，保留了0至7的優先級(4位)，用於阻塞控制業務。保留了優先級8至15用於實時通信業務或非阻塞控制業務。優先級15是最高優先級，優先級8是最低優先級。這表示在IP數據包一級的優先級。
在利用IP的數據傳輸的情況下，必須使0至15的高端優先級與8至15的低端IP優先級相對應。為了使這些優先級彼此相對應，可以削除一些高端優先級的方法，或者可以利用性能評價函數使這些優先級彼此相對應。建立高端數據與低端IP優先級的對應關係在中繼節點(路由器或網關)或發送和接收終端上進行的。
傳送手段並不僅限於IP。可以具有象ATM或MPEG2的TS(傳送數據流)一樣，使用具有表示是否可廢棄的標記的數據包。
至此已描述的幀優先級和數據流優先級可以應用於傳輸媒體或數據記錄媒體。可以使用軟盤或光碟作為數據記錄媒體。
不僅可以使用軟盤或光碟，也可以使用諸如IC卡或ROM盒等媒體，只要在這種媒體上可以記錄節目。再者，也可以使用音頻-視頻轉發器(例如，路由器或網關)來中繼數據。
而且，根據數據流優先級(時間序列數據間優先級)或幀優先級(時間序列數據內優先級)的信息，確定要重發的時間序列數據，從而實現優先重發。例如，當在接收端根據優先級信息進行解碼時，可以防止非處理對象的數據流或幀被重發。
還可與目前要處理的優先極分開，根據重發次數和成功發送次數之間的關係確定具有應重要優先級的數據流或幀。
此外，在發送側終端的情況下，根據數據流優先級(時間序列數據間優先級)或幀優先級(時間序列數據內優先級)的信息確定要發送的時間序列數據，從而實現優先發送。例如，根據平均傳送速率或重發次數，確定要發送的幀或數據流的優先級，即使網絡過載時也可以發送自適應圖像或聲音。
上述實施例並不限於二維圖像合成。也可以用的把二維圖像與三維圖像組合而獲得的表述方法，或者包括合成多幅圖像的圖像合成方法，從而如寬視場圖像(全景圖像)那樣，各圖像彼此鄰接。而且，本發明提出的通信系統並不限於雙向CATV或B-ISDN。例如，把圖像和聲音從中央側終端傳輸給家庭終端可以使用無線電波(例如VHF或UHF波段)，或者使用衛星廣播，把源於家庭側終端的信息發送到中央側終端可以使用模擬電話線路或N-ISDN(並不總是需要多路復用圖像、聲音或數據)。還可以使用利用無線電的通信系統，例如IrDA、PHS(個人手持電話)或無線電LAN。
而且，目的終端可以是便攜終端(例如便攜信息終端)或桌面終端(例如頂置盒或個人計算機)。
如上所述，本發明可以容易地處理多個視頻數據流和多個音頻數據流，並有重點地與聲音同步再現主要場面片段，以反映編輯者的意圖。
下面參照附圖描述本發明的實施例。
下述的實施例解決了上述問題(C1)至(C3)之一。
圖33示出了第一實施例的發送機的結構。符號2101表示圖像輸入端，一張圖像的大小為144像素×176像素。符號2102表示視頻編碼器，由四個部分1021、1022、1023和1024構成(參見推薦H.261)。
符號1021表示轉換單元，把輸入圖像分割成宏塊(16像素×16像素的方形區域)，並確定對這些塊是進行幀內編碼還是進行幀間編碼，1022表示移動補償裝置，根據可以根據上次編碼結果計算得到的本機解碼圖像，產生移動補償圖像，計算移動補償圖像與輸入圖像之間的差異，並以宏塊形式輸出結果。移動補償包括具有長處理時間的半像素預測和具有短處理時間的全像素預測。符號1023表示正交變換裝置，對每個宏塊進行DCT變換，1024表示長度可變編碼裝置，對DCT變換結果和其它編碼信息進行加密編碼。
符號2103表示計數裝置，對視頻編碼器2102的四個部件的執行次數進行計數，並向變換裝置輸出每個輸入圖像的計數結果。在這種情況下，從移動補償裝置1022對半像素預測的執行次數和全像素預測的執行次數進行計數。
符號2104表示變換裝置，輸出如圖34所示的數據串。符號2105表示發送裝置，把視頻編碼器2102的可變長度碼與變換裝置2104的數據串多路復用成一個數據串，並向數據輸出端2109輸出該數據。
根據上述結構，可以向接收機發送必要處理(轉換單元1021、正交變換裝置1023和長度可變編碼裝置1024)和非必要處理(移動補償裝置1022)的執行次數。
第一實施例的發送機對應於權利要求68。
圖40是第二實施例的發送方法的流程圖。
由於本實施例的操作與第一實施例相似，所以附註了相應的單元。在步驟801(圖像輸入端2101)輸入圖像，並在步驟802把圖像分割成宏塊。此後，重複步驟803至步驟806的處理，直到根據步驟807內的條件分支完成了對應於每個宏塊的處理。而且，當執行了每個處理，使能以具體的變量記錄從步驟803至步驟806的處理的次數時，把相應變量增1。
首先，在步驟803(轉換單元1021)確定對要處理的宏塊進行塊內編碼還是塊間編碼。當對宏塊進行塊間編碼時，在步驟804(移動補償裝置1022)進行移動補償。此後，在步驟805和步驟806(正交變換裝置1023和可變長度編碼裝置1024)進行DCT變換和可變長度編碼。當完成了對每個宏塊的處理時(在步驟807為「是」的情況下)，在步驟808讀取表示對應於每次處理的執行次數的變量，產生如圖2所示的數據串，並多路復用和輸出該數據串和代碼。只要繼續有輸入圖像，就重複執行步驟801至步驟808的處理。上棕結構可以傳送每次處理的執行次數。
第二實施例的發送方法對應於權利要求67。
圖35示出了第三實施例的接收機結構。
在圖35中，符號307表示輸入端，輸入第一實施例的發送機的輸出，302表示接收裝置，根據第一實施例的發送機的輸出，通過去多路復用，取得可變長度碼和數據串，並輸出。在這種情況下，假設測量並輸出了接收一頁數據所需要的時間。
符號303表示把可變長度碼用作輸入的視頻解碼器，它由五個部分構成。符號3031表示可變長度解碼裝置，從可變長度碼取得DCT係數和其它編碼信息，3032表示反正交變換裝置，對DCT係數進行反DCT變換，3033表示轉換裝置，根據表示宏塊是幀內編碼還是幀間編碼的編碼信息向上或向下對每個宏塊的輸出進行轉換。符號3034表示移動補償裝置，利用上次解碼圖像和移動編碼信息，產生移動補償圖像，並與反正交變換裝置3032的輸出相加後輸出。符號3035表示執行時間測量裝置，測量從把可變長度碼輸入到解碼器303後到完成解碼和輸出圖像的執行時間並加輸出。
符號302表示估計裝置，接收根據接收裝置301傳送的數據串，每個單元(編碼裝置3031、反正交變換裝置3032、轉換單元3033或移動補償裝置3034)的執行次數和執行時間測量裝置305的執行時間，以估計每個單元的執行時間。
為了估計每個單元的執行時間，可以使用線性回歸法，把估計的執行時間設為目的變量y，把每個部件的執行次數設為解釋變量xui。在這種情況下，可以把回歸參數aui看作是每個單元的執行時間。而且，在線性回歸的情況下，必須累加足夠多的以前的數據，結果浪費了許多存儲器。然而，為了以免浪費許多存儲器，也可以使用卡爾曼濾波器估計內狀態變量。可以把上述情況看作這樣一種情況把觀察值設為執行時間，把每個單元的執行時間設為內狀態變量，而且每個單元執行次數的每一步都改變執行矩陣C。符號304表示次數削減裝置，改變每個單元的執行次數，以削減全像素預測的執行次數，增加半像素預測的執行次數一相應值。下面示出了計算相應值的方法。
首先，從估計裝置302接收每個單元的執行次數和估計的執行時間，以估計執行時間。當執行時間超過從接收裝置301接收數據所需的時間時，增加全像素預測的執行次數，減少半像素預測的執行次數，直到前一時間不超過後一時間。符號306表示解碼圖像的輸出端。
有這樣一種情況，即指定移動補償裝置3034，以根據編碼信息進行半像素預測。在這種情況下，當超過半像素預測的預定執行次數時，把半像素移動捨入全像素移動，以執行全像素預測。
根據上述第一和第三實施例，按照每個單元的估計執行時間來估計解碼的執行時間，當解碼執行時間可能超過接收一頁數據所需要的時間(指定時間)時，用全像素預測代替執行時間長的半像素預測。從而，可以防止執行時間超過指定時間，解決問題(C1)(對應於權利要求68和74)。
而且，把必要和非必要處理部分看作兩組的例子對應於權利要求66和72，把視頻部分看作波形數據的例子對應於權利要求64和70。
接收機在IDCT計算中不利用高頻分量，從而可以減少IDCT計算的處理時間。即，把低頻分量的計算看出必要處理，把高頻分量的計算看作是IDCT計算中的非必要處理，也可以減少IDCT計算中高頻分量的計算次數。
圖41是第四實施例的接收方法的流程圖。
由於本實施例的操作與第三實施例類似，所以附註相應的單元。在步驟901中，初始化表示每個單元的執行時間的變量a_i(估計裝置302)。在步驟902，輸入多路復用數據，並測量多路復用該數據所需的時間(接收裝置301)。在步驟903中，把多路復用數據分割成長度可變碼和數據串，並輸出(接收裝置301)。在步驟904中，從數據串(圖2)取得各執行次數，並設置成x_i。在步驟905中，根據每個單元的執行時間a_i和各執行次數x_i計算實際執行次數(次數削減裝置304)。在步驟906中，開始測量解碼執行時間。在步驟907，開始進行下述的解碼子程序。此後，在步驟908，結束測量解碼執行時間(視頻解碼器303和執行時間測量裝置3035)。在步驟908，根據步驟908的解碼執行時間和步驟906的每個單元的實際執行時間估計每個單元的執行時間，以更新a_i(估計裝置302)。對每個輸入的多路復用數據進行上述的處理。
而且，步驟907的解碼子程序中，在步驟910進行可變長度解碼(可變長度解碼裝置3031)，在步驟911進行反正交變換(反正交變換裝置3032)後，處理在步驟912根據通過步驟910的處理取得的塊內/塊間編碼處理的信息，進行分叉(轉換單元3033)。在塊幀間編碼處理的情況下，步驟913中進行移動補償(移動補償裝置3034)。在步驟913中，對半像素預測的執行時間進行計數。當計數的執行時間超過步驟905中獲得的實際執行次數時，用全像素預測代替半像素預測，以便執行。在把上述處理應用於每個宏塊(步驟914)後，結束該子程序。
根據上述第二和第四實施例，按照每個單元的估計執行時間來估計解碼的執行時間，當執行時間可能超過接收一頁數據所需要的時間(指定時間)時，用全像素預測代替執行時間長的半像素預測。由此，可以防止執行時間超過指定時間，解決問題(C1)(對應於權利要求67和73)。
而且，把部分非必要和必要處理部分看出兩組的例子對應於權利要求65和71，把視頻部分看出波形數據的例子對應於權利要求63和69。
圖36示出了第五實施例的接收機的結構。
該實施例的大多數部件與第二實施例所述的部件相同。然而，下面描述兩個增加部件和一個改動的部件。
符號402表示估計裝置，它是改動實施例2描述的估計裝置302而得到的，以輸出根據次數削減裝置304的輸出獨立估計的結果獲得的每個單元的執行時間。符號408表示發送裝置，根據每個單元的執行時間產生圖37所示的數據串，並輸出。當把微秒為單位用16位表示執行時間時，可以表示多達約65毫秒。因此，這約65毫秒將是足夠的。符號409表示把數據串傳送給發送裝置的輸出端。
而且，可以僅緊接在圖40的符號808後增加產生圖37所示的數據串的步驟就可以獲得對應於第五實施例的接收方法。
圖38示出了第六實施例的發送機的結構。
該實施例的大部分部件與第一實施例所述的相同。然而，下面描述兩個增加的部件。符號606表示輸入端，接收第三實施例607的接收機輸出的數據串，607表示接收裝置，接收數據串，並輸出每個單元的執行時間。符號608表示確定裝置，獲得每個單元的執行時間，下面描述其獲得過程。首先，轉換單元1021處理圖像的每個宏塊，從而獲得轉換單元1021在此特定時間的執行次數。進而，可以根據處理結果，唯一地確定在此特定時間的移動補償裝置1022、正交變換裝置1023和可變長度編碼裝置1024的執行次數。因此，利用接收裝置607發送的這些執行次數和執行時間，估計在接收機側解碼所需的執行時間。獲得的估計解碼時間作為每個單元的執行時間和執行次數之間乘積的和求出。若估計的解碼時間等於或大於傳送通過速率控制器等指定的該圖像產生的碼數(例如16Kbit)所需的時間(例如在傳輸速率為64Kbits/s時，為250毫秒)，則增加全像素預測的執行次數，減少半像素預測的執行次數，以使估計的解碼執行時間不超過傳送所需的時間。(由於全像素預測的執行時間短，所以減少全像素預測的次數可以減少全預測的執行時間。)此外，視頻編碼器2102根據確定裝置608指定的執行次數進行各種處理。例如，在移動補償裝置1022以半像素預測的預定執行次數執行了半像素預測之後，僅進行全像素預測。
可以改善選擇方法，使半像素預測在圖像中分散均勻。例如，可以使用下列方法首先獲得需要進行半像素預測的每個宏塊，計算上述宏塊數的數(例如12)除以半像素預測的執行次數(例如4)得到的結果(3)，然後僅對從需要進行半像素預測的宏塊開始的順序號除以上述結果無餘數的宏塊(0，3，6或9)進行半像素預測。
根據上述第五和第六實施例，把每個估計的單元執行時間傳送給發送側，在發送側估計解碼的執行時間，並用全像素預測代替執行時間較長的半像素預測，從而使估計的解碼執行時間不超過接收一頁數據可能需要的時間(指定時間)。由此，發送的編碼信息中，沒有廢棄半像素預測信息，而且可以防止執行時間超過指定時間，解決問題(C2)(對應於權利要求76和78)。
此外，在非必要處理的情況下，可以把宏塊間編碼分成三種移動補償正常移動補償；8×8移動補償和重疊移動補償。
圖42是第七實施例的發送方法的流程圖。
因為本實施例的操作與第六實施例相似，所以附註相應的單元。在步驟1001，對每個處理的執行時間設置初始值。在步驟801輸入圖像(輸入端2101)，並在步驟802把它分成宏塊。在步驟1002，確定對每個宏塊進行塊內編碼還是塊間編碼(轉換單元1021)。結果是得到從步驟1005至步驟806的每個處理的執行次數。因此，在步驟1003，根據上述每個處理的執行次數和執行時間計算實際執行次數(確定裝置608)。
此後，重複步驟1005至步驟806的處理，直到根據步驟807的條件分支完成了每個宏塊的處理。
而且，當執行每個處理時，把相應的變量加1，使步驟1005至步驟806的處理次數可以記錄在特定的變量中。首先在步驟1005，根據步驟1002的確定結果進行分叉(轉換單元1021)。在塊間編碼的情況下，在步驟804進行移動補償(移動補償裝置1022)。在這種情況下，對半像素預測的次數進行計數。當所計次數超過在步驟1003獲得的實際次數時，執行全像素預測代替執行半像素預測。此後，在步驟805和806，進行DCT變換和可變長度編碼(正交變換裝置1023和可變長度編碼裝置1024)。當完成對每個宏塊的處理時，(在步驟807為是的情況下)，在步驟808中讀取表示對應於每個處理的執行次數的變量，產生圖2所示的數據串，並多路復用和輸出數據串和代碼。在步驟1004中，接收數據串，並從該數據串是取出每個處理的執行時間並進行設置。
只要有圖像輸入就重複執行步驟801至1004的處理。
根據第五實施例和第七實施例描述部分的最後一個「而且」開始的段落，把每個單元的估計的執行時間傳送給發送側，在發送側估計解碼執行時間，用全像素預測代替執行時間長的半像素預測，使估計的解碼執行時間不超過接收一頁數據所需要的可能時間(指定時間)。由此，發送的編碼信息中，沒有廢棄半像素預測的信息，而且可以防止執行時間超過指定時間，解決了問題(C2)(對應於權利要求75和77)。
圖39示出了本發明第八實施例的發送設備的結構。
該實施例的大部分部件與第一實施例描述的相同。因此，下面描述增加的四個部件。
符號7010表示執行時間測量裝置，用於測量圖像向編碼器2102輸入圖像之後到完成編碼和輸出圖像的執行時間，並輸出測得的執行時間。符號706表示估計裝置，用於從計數裝置2103的數據串接收各單元(轉換單元1021、移動補償裝置1022、正交變換裝置1023和可變長度解碼裝置1024)的執行次數，從執行時間測量裝置7010接收執行時間，並估計每個單元的執行時間。可以利用與第二實施例的估計裝置302描述的相同的估計方法。符號707表示輸入用戶發送的幀速率值的輸入端，708表示確定裝置，用於獲得每個單元的執行時間。獲得的過程描述如下。
首先，轉換單元1021處理圖像中的每個宏塊，以獲得轉換單元1021在此特定時間的執行次數。此後，可以根據至該特定時間的處理結果，唯一地確定移動補償裝置1022、正交變換裝置1023和可變長度編碼裝置1024的執行次數。然後，對每個單元獲得估計裝置706發送的每個單元的執行次數和估計時間之間的乘積的總和。當估計的編碼時間等於或大於從符號707所傳送幀速率的倒數獲得的、可用於一頁圖像編碼的時間時，增加全像素預測的執行次數，減少半像素的執行次數。
重複進行上述執行次數的增減變化，並計算估計的編碼時間，直到估計的編碼時間等於或短於可用的時間，從而確定各執行次數。
而且，視頻編碼器2102根據確定裝置608指定的執行次數進行各種處理。例如，在移動補償裝置1022以半像素預測的預定執行次數進行了半像素預測後，僅執行全像素預測。
而且，也可以改進選擇方法，以便半像素預測在圖像內分散結構。例如，可以使用下列方法獲得需要進行半像素預測的每個宏塊，計算需要進行半像素預測的宏塊數(例如12)除以半像素預測的執行次數(例如4)得到的結果(3)，然後僅對從需要進行半像素預測的宏塊開始的序號除以上述結果無餘數的宏塊(0，3，6或9)進行半像素預測。
上面的第八實施例可以解決問題(C3)，它估計每個處理的執行時間，根據估計的執行時間估計編碼所需的執行時間，並確定執行次數，使估計的編碼時間等於或短於對根據幀速率確定的圖像進行編碼可用的時間(對應於權利要求80)。
而且，由於移動補償裝置1022檢測移動矢量，所以有一種全搜索移動矢量檢測方法，在15個水平和垂直像素範圍內的矢量中，檢測使SAD(每個像素的絕對差值之和)最小的矢量。還有一種三步移動矢量檢測方法(在H.261的附錄內有描述)。三步移動矢量檢測方法執行在上述檢索範圍內選擇均勻分布的九個點的處理，以選擇具有最小SAD的點，再在接近上述點的窄小範圍內選擇九個點，以再次選擇一個具有最小SAD的點。
也可以適當地減少全搜索移動矢量檢測方法的執行時間，適當地增加三步移動矢量檢測方法的執行次數，把這兩種方法作為非必要處理方法，並估計這兩個方法中每個方法的執行時間，根據估計的執行時間估計編碼所需要的執行時間，以使估計的執行時間等於或短於用戶指定的時間。
而且，可以使用檢索次數的固定移動矢量檢測方法，進一步簡化處理，或者與三頻移動矢量檢測方法，兼用僅返回移動矢量(0，0)作為結果的移動矢量檢測方法。
圖43是第九實施例的發送方法的流程圖。
由於本實施例的操作與第八實施例相似，所以附註相應的單元。對每個流程的詳細描述參照相應單元的描述。
而且，由於本實施例幾乎與第二實施例相同，所以下面僅解釋不同點。
在步驟1101，把每個處理的執行時間的初始值設置到變量a_i。在步驟1102，輸入幀速率(輸入端707)。在步驟1103，根據步驟1102的每個處理的幀速率和執行時間a_i以及從1002的塊內/塊音編碼處理確定結果獲得的各處理的執行次數確定實際執行次數(確定裝置708)。在步驟1105和1106中，測量編碼的執行時間。在步驟1104中，根據步驟1106中獲得的執行時間和每個處理的實際執行次數估計每個處理的執行時間，更新變量a_i(估計裝置706)。
根據上述第九實施例，先估計每個處理的執行時間，可按照所估計的執行時間預測編碼所需的執行時間。因此，確定執行次數，使估計的編碼時間等於或短於對根據幀速率確定的圖像進行編碼可用的時間(對應於權利要求79)，從而能解決問題(C3)。
在第二實施例的情況下，當在步驟808中產生數據串時，也可以在圖2所示的開始碼之後增加兩字節的區域，向該區域增加碼長度的二進位標號。
而且，在第四實施例中，當在步驟902輸入多路復用數據時，也可以從兩字節區域中取出碼長度，並將從該碼長度和碼傳輸速率獲得的碼傳輸時間用於步驟905的執行次數計算(減少半像素預測的執行次數，以不超過碼傳輸時間)。這對應於權利要求81和83。
而且，在第一實施例中，當在步驟2104產生數據串時，也可以在圖2所示的開始碼後增加兩字節的區域，在該區域內增加碼長度的二進位標示。
而且，在第三實施例中，當在步驟301輸入多路復用數據時，也可以從該兩字節區域中取出碼長度，並將從該碼長度和碼傳輸速度獲得的碼傳輸時間用於步驟304的執行次數計算(減少半像素預測的執行次數，以不超過碼傳輸時間)。這對應於權利要求82和84。
而且，在第四實施例中，緊接在步驟909後記錄半像素預測的實際執行次數，以計算最大值。當最大值等於或小於足夠小的值(例如2或3)時，也可以產生數據串(包含具體位模式的數據串)，表示不使用半像素預測，並發送產生的數據串。而且，在第二實施例中，確認是否緊接在步驟808後接收到該數據串，當接收到表示沒有使用半像素預測的數據串時，也可以使移動補償處理在步驟808總是作為全像素預測。這對應於權利要求93和91。
而且，上述原理也可以應用於不是移動補償的情況。例如DCT計算可以不用高頻分量，以減少DCT的計算時間。即，在接收方法的情況下，當IDCT計算執行時間對整個計算時間的比率超過某一值時，向發送側傳送表示該比率超過某一值的數據串。當發送側接收到該數據串時，也可以通過DCT計算僅計算低頻分量，並把所有高頻分量減少到零。這對應於權利要求89。
而且，雖然利用圖像描述了本實施例，但也可以把每種方法應用於音頻而不是頻視。這對應於權利要求85和87。
而且，在第三實施例中，在步驟3034中記錄了半像素預測的實際執行次數，以計算最大執行次數最大值。然後，當該最大值是足夠小值或更小時(例如2或3)，可以產生並發送表示不使用半像素預測的數據串(包含具體位模式的數據串)。而且，在第一實施例中，當接收到表示沒有使用半像素預測的數據串時，可以使步驟1022的移動補償處理總是作為全像素預測。這對應於權利要求94和92。
而且，上述原理可以應用於不是移動補償的情況。例如DCT計算不利用高頻分量可以減少DCT計算的處理時間。即，在接收方法中，當IDCT計算執行時間對整個執行時間的比率超過某一值時，向發送側傳送表示該比率超過某一值的數據串。
當發送側接收到該數據串時，可以通過DCT計算僅計算低頻分量，把所有高頻分量減少為零。這對應於權利要求90。
而且，雖然上面利用圖像描述了實施例，但也可以把上述方法應用於聲音而不是圖像。這對應於權利要求86和88。
如上所述，根據權利要求68和74(如第一和第三實施例)，按照每個單元的估計執行時間估計解碼的執行時間，並且，當估計的解碼執行時間可能超過接收一頁數據所需的時間(指定時間)時，用全像素預測代替執行時間較長的半像素預測。由此，可以防止執行時間超過指定時間，解決問題(C1)。
而且，根據權利要求75和77(例如第五和第七實施例)，把每個單元的估計執行時間傳送給發送側，在發送側估計解碼執行時間，並用全像素預測代替執行時間較長的半像素預測，以使估計的解碼時間不超過適於接收一頁數據所需要的時間(指定時間)。由此，在發送的編碼信息中沒有廢棄半像素預測的信息，並可以防止執行時間超過指定時間，解決問題(C2)。
而且，根據權利要求79(例如第九實施例)，可以解決問題(C3)，其方法是估計每個處理的執行時間，按照所估計的執行時間估計編碼所需要的執行時間，並確定執行次數，使估計的編碼時間等於或小於可用對根據幀速率確定的圖像進行編碼可作的時間。
因此，本發明可以實現即使計算負荷增加也減慢質量劣化的功能(CGD計算適度弱化)，從而獲得很大的利益。
而且，計算機利用諸如磁記錄媒體或光記錄媒體可以實現上述的操作，其中使計算機的程序實現上述實施例中任一實施例中描述的每個步驟(或每個裝置)(或者每個裝置的操作)的全部或部分。
工業應用性如上所述，本發明可以對應於狀態、用途或傳輸線路改變信息幀，動態地確定數據控制信息、傳輸控制信息和用於發送和接收終端的控制信息的幀。而且，易於處理多個視頻數據流或多個音頻數據流，並且有重點地與聲音同步地再現主要的場面片段，反映編輯者的意圖。此外，根據每一估計的元件的執行時間，當估計的解碼執行時間可能超過接收一頁數據所需的時間(指定時間)時，用全像素預測代替執行時間較長的半像素預測，可以防止執行時間超過指定的時間。
權利要求
1.一種發送設備，其特徵在於，具有將傳輸格式信息發送到接收設備的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備自動起動所述程序或者所述數據的開始時間的開始時間信息。
2.如權利要求1所述的發送設備，其特徵在於，所述開始時間信息包含圖表、計數以及計時中的至少一個。
3.一種發送設備，其特徵在於，具有將傳輸格式信息發送到接收設備的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的處理期間信息。
4.如權利要求3所述的發送設備，其特徵在於，所述處理期間信息包含圖表、計數以及計時中的至少一個。
5.一種接收設備，其特徵在於，具備接收傳輸格式信息的接收部分，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的控制部分。
6.如權利要求5所述的接收設備，其特徵在於，所述開始時間信息包含圖表、計數以及計時中的至少一個。
7.一種接收設備，其特徵在於，具備接收傳輸格式信息的接收部分，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的控制部分。
8.如權利要求7所述的發送設備，其特徵在於，所述處理期間信息包含圖表、計數以及計時中的至少一個。
9.一種通信系統，所述通信系統具有發送設備和接收設備，其特徵在於，所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備自動起動所述程序或者所述數據的開始時間的開始時間信息，所述接收設備具有從發送設備接收所述傳輸格式信息的接收部分；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的控制部分。
10.一種通信系統，所述通信系統具有發送設備和接收設備，其特徵在於，所述發送設備具有發送傳輸格式信息的發送部分，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的處理期間的處理期間信息，所述接收設備具有從發送設備接收所述傳輸格式信息的接收部分；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的控制部分。
11.一種發送方法，其特徵在於，具有將傳輸格式信息發送到接收設備的步驟，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備自動起動所述程序或者所述數據的開始時間的開始時間信息。
12.一種發送方法，其特徵在於，具有將傳輸格式信息發送到接收設備的步驟，所述傳輸格式信息包含標識在所述接收設備使用的程序或者數據的標識符，和與所述標識符相關聯、表示在所述接收設備處理所述程序或者所述數據的期間的處理期間信息。
13.一種接收方法，其特徵在於，具備接收傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的步驟。
14.一種接收方法，其特徵在於，具備接收傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的期間的處理期間信息；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的步驟。
15.一種通信方法，其特徵在於，具備發送傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示自動起動所述程序或者所述數據的開始時間的開始時間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述開始時間信息，自動起動所述程序或者所述數據的步驟。
16.一種通信方法，其特徵在於，具備發送傳輸格式信息的步驟，所述傳輸格式信息包含標識程序或者數據的標識符，和與所述標識符相關聯、表示處理所述程序或者所述數據的處理期間的處理期間信息；接收所述傳輸格式信息的步驟；以及根據所述標識符和所述處理期間信息，自動起動所述程序或者所述數據的步驟。
全文摘要
本發明包括接收控制部分(11)，從存儲器或通信通道接收包括數據及其發送格式信息的信息；分析和分離接收到的信息的分離部分(12)；把信息發送給存儲器或傳輸通道的發送部分(13)；擴展圖像的圖像擴展部分(14)；圖像擴展控制部分(15)，控制所述視頻擴展部分(14)的處理狀態，以至少擴展一個或多個圖像；由圖像合成部分(16)構成的圖像合成設備，根據擴展信息合成圖像；輸出合成結果的輸出部分(17)；終端控制部分(18)，控制上述裝置，使得可以對應於發送格式信息的動態範圍同時合成多個圖像。
文檔編號H04N7/26GK1941890SQ20061009975
公開日2007年4月4日 申請日期1998年3月13日 優先權日1997年3月17日
發明者山口孝雄, 栄藤稔, 荒川博 申請人:松下電器產業株式會社