用於傳送與節目相關聯的數據來為音頻內容生成相應視覺顯示的方法和裝置的製作方法

2023-09-18 03:10:45 2

專利名稱：用於傳送與節目相關聯的數據來為音頻內容生成相應視覺顯示的方法和裝置的製作方法
技術領域：
本發明涉及提供一個音頻信號，其帶有一個相關聯的視頻信號。更特別地，涉及音頻描述數據的使用，其作為音頻流的一部分與一個音頻信號被傳輸，來選擇一個合適的視頻信號在重放過程中伴隨所述音頻信號。
背景技術：
在數位音樂媒介和廣播應用中，如MP3播放器和數字音頻廣播，一般都是單獨音頻的體驗。當聽音樂時，人們通常傾向於只是傾聽，而不看什麼東西。所述音頻節目一般不提供給收聽者任何有趣的視覺顯示。
在一些標準中，輔助數據可以被攜帶在一個音頻基本碼流內用於在音頻媒介內的廣播或存儲。輔助數據最普通的使用是與節目相關聯的數據，其是與所述音頻信號密切關聯的數據。與節目相關聯的數據的例子是與節目相關的文本，演講或音樂的指示，到一個接收機的專門的命令用於同步所述音頻節目，以及動態範圍控制信息。所述與節目相關聯的數據可以包括一般信息，如歌曲名稱，歌手以及音樂公司名稱。它給出相關信息，但是除此之外無用。
在當前數位電視發展中，攜帶文本和互動服務的與節目相關聯的數據可以為所述電視節目開發。這些解決方案包括實施要點，包含協議、通用應用程式接口語言，接口以及推薦技術標準。所述與節目相關聯的數據被與所述視頻和音頻內容一起傳輸，多路復用在所述數字節目或傳輸流中。在這樣的實施中，相應的與節目相關聯的數據必須為每一個電視節目開發，並且還必須對所述多路復用過程進行持續的監控。另外，這個方法佔用傳輸帶寬。
為與節目相關聯的數據開發內容要求巨大的人力資源。因此，傳送這樣的應用需要的成本很高，尤其當需要為不同的電視節目開發不同的內容。還期望，這樣的與節目相關聯的數據內容可以被不同的視頻、音頻和電視節目重新使用。
進行了其他的嘗試，這些嘗試涉及有時在音頻重放中顯示一些內容，特別是為卡拉OK。
日本專利No.JP10-124071公開了一種硬碟驅動，具有一個樂曲數據存儲部分，其在卡拉OK樂曲上存儲樂曲數據，以及一個樂曲信息資料庫，其存儲關於包括這些樂曲的專輯的信息。在所述樂曲數據中，提供一個標記，顯示該樂曲是否包含在專輯中。一個控制器確定一首歌曲是否是能夠得到所述專輯信息的歌曲。在一首歌的間歇時間內，對該歌曲可得到所述信息，關於所述專輯名稱和樂曲的數據被顯示為一個靜態的圖畫。
日本專利No.JP10-268880公開了一個系統來減少存儲各自的圖像數據所需的所述存儲容量，通過根據特定的參考數據一起顯示靜態圖畫數據和動態圖畫數據。在卡拉OK樂曲演奏數據的首部中的類型數據被用來指向一個靜態圖像數據表來選擇在所述導言、間歇和終曲中被顯示的靜態圖像數據。所述類型數據還被用來指向一個動態圖像數據表，在對應於文本數據的時段內選擇和顯示動態圖像數據。
根據專利JP2001-350482A，卡拉OK數據可以包括時間間歇信息，其指示非演唱間歇的時間。對於一個表演，這個信息與表演時間信息比較，該表演時間信息關聯於一個定點節目。所述定點節目的表演時間最接近於所述非演唱間歇時間，其在所述非演唱間歇被顯示。
日本專利No.JP7-271，387公開了一種記錄媒介，其一起記錄音頻和視頻信息以便於避免一種情況，即，當卡拉OK演唱設備播放前奏和間奏時，一個歌手只聆聽所述樂曲並等待下一步。一個記錄媒介包括音頻信息，用來伴奏一首歌的樂曲，以及圖畫信息，用於顯示所述歌曲的文本的圖畫。它還包括文本圖畫信息，用於一個文本圖畫而不是所述歌曲的文本。
根據日本專利NO.JP2001-350,482，卡拉OK數據可以包括時間間歇信息，指示非演唱間歇的時間。在重放時，這個信息與關聯於一個定點節目的表演時間信息比較。所述定點節目的表演時間最接近於所述非演唱間歇時間，其被在所述非演唱間歇中播放。

發明內容
本發明目的在於提供生成令人興奮和有趣的視覺顯示的可能性。可能希望生成相應於所述音頻節目的變化的視覺內容，例如相應於樂曲的美麗的景色，以及對於不同主題音樂，歌曲和抒情詩的相應的視覺內容。
根據本發明的一個方面，提供一種方法，該方法提供帶有相關聯視頻信號的一個音頻信號，包括以下步驟解碼一個被編碼的音頻流來提供一個音頻信號和音頻描述數據；以及提供一個相關聯的第一視頻信號，其至少一部分內容根據所述音頻描述數據被選擇。
優選地，所述提供步驟包括使用所述音頻描述數據來選擇合適於所述音頻信號內容的視覺描述數據；以及從所述被選擇的視覺描述數據創建視頻內容；以及提供包括所述被創建的視頻內容的所述第一視頻信號。
該方法可能進一步包括從一個傳輸流中提取所述視覺描述數據的步驟，例如一個MPEG流包括音頻，視頻和所述視覺描述數據。
根據本發明的第二個方面，提供一種方法，來傳送與節目相關聯的數據來為音頻內容生成相應的視覺顯示，所述方法包括以下步驟編碼一個音頻信號和相關聯的音頻描述數據到一個被編碼的音頻流中；編碼視覺描述數據；以及合成所述被編碼的音頻流和所述視覺描述數據。
所述第一和第二方面可以被合併。
根據本發明的第三個方面，提供一種裝置來提供帶有一個相關聯視頻信號的一個音頻信號，包括音頻解碼裝置，用來解碼一個被編碼的音頻流來提供一個音頻信號和音頻描述數據；以及第一視頻信號裝置，用來提供一個相關聯的第一視頻信號，其至少一部分內容根據所述音頻描述數據選擇。
根據本發明的第四個方面，提供一個系統來提供帶有一個相關聯視頻信號的一個音頻信號，包括音頻編碼裝置，用來編碼一個音頻信號和音頻描述數據到一個被編碼的音頻流中；描述數據編碼裝置，用來編碼視覺描述數據；以及合成裝置，用來合成所述被編碼的音頻流和所述視覺描述數據。
所述第三和第四方面可以合併。
根據本發明的第五個方面，提供一個系統來傳送與節目相關聯的數據來為音頻內容生成相應的視覺顯示，所述系統包括音頻編碼裝置，用來編碼一個音頻信號和與其相關聯的音頻描述數據到一個被編碼的音頻流中；視頻編碼裝置，用來編碼視覺描述數據到一個被編碼的視頻流中；以及合成裝置，用來合成所述被編碼的音頻和視頻流。
在如上所述的任何一個方面中，所述視覺描述數據能夠包括一個或多個以下的組視頻剪接部分，靜態圖像，圖形和文本描述。可選地或另外，所述視覺描述數據可以被分類，與以下至少一種使用至少一種風格的音頻內容，至少一種主題的音頻內容，以及至少一種類型的活動，對於該活動所述數據是合適的。
所述音頻描述數據可以包括相關於以下至少一組的數據歌手識別，組合識別，音樂公司識別，服務提供商識別和卡拉OK文本。可選地或另外，所述音頻描述數據可以包括相關於所述音頻信號的風格的數據。可選地或另外，所述音頻描述數據可以包括相關於所述音頻信號的主題的數據。另一種可能性，所述音頻描述數據可以包括相關於所述活動類型的數據，對於該活動，所述音頻信號是合適的。
所述音頻描述數據可以在所述被編碼的音頻流的幀內，所述幀也包括所述音頻信號。所述被編碼的音頻流可以是一個MPEG音頻流。當兩種都發生時，所述音頻描述數據可以是在所述MPEG音頻流內部的輔助數據。
在本發明的另一個方面，上述的任何裝置或系統根據上述的任何一種方法都是可操作的。
這樣，本發明提供帶有相關聯的視頻信號的一個音頻信號。特別地，它提供一個音頻描述數據，作為音頻流的一部分與所述音頻信號一起傳輸，來選擇一個合適的視頻信號來伴隨所述音頻信號。
本發明提供一種有效的裝置，來添加相關於所述音頻節目的進一步的信息。它為所述內容提供商生成一個選項來插入或修改描述所述音頻內容的相應信息，用於在發布或廣播之前生成相關的視覺內容。所述與節目相關聯的數據，其可能被攜帶在所述音頻基本碼流的所述輔助數據部分中，提供所述優選的分類或類型的一般描述，被所述解碼器使用來生成相關的視覺顯示以及互動應用。
可能希望插入與節目相關聯的數據來為收聽者生成相關的，令人激動和有趣的視覺顯示，例如，為與運動相關的歌曲或音樂生成體育畫面或靜態圖畫。為了生成這樣的視覺顯示，提供在所述音頻基本碼流中編碼和插入所述與節目相關聯的數據的方法，以及解碼，解碼和生成所述視覺顯示的技術。本發明提供一種有效的裝置，來添加相關於所述音頻節目的進一步信息。攜帶在所述音頻基本碼流的所述輔助數據部分中的所述與節目相關聯的數據應該提供所述優選的分類或類型的一般描述，被所述解碼器使用來生成相關的視覺顯示以及互動應用。
在一個方面，一個MPEG音頻流被與一個MPEG視頻流一起傳輸。所述音頻流包括一個音頻信號，以及作為輔助數據的與其相關聯的音頻描述數據。所述視頻流包括一個視頻信號，以及作為專用數據的視頻描述數據(如，視頻剪接部分，靜態圖，圖形，文本等)，所述視頻描述數據不必和與其一起傳輸的所述視頻數據有任何關聯。對於接收，所述音頻和視頻流被解碼。所述視頻描述數據被存儲在一個存儲器中，所述音頻信號被播放。所述音頻描述數據被用來，為來自於所述存儲器或其他存儲，或來自於當前輸入的視頻描述數據的所述特定的音頻信號選擇合適的視頻描述數據。當所述音頻信號被播放時，這就隨即被顯示。


本發明將根據附圖通過非限制性的實例來進一步描述圖1是編碼音頻和視頻描述數據的一個框圖；圖2是本發明的一個實施例的接收機的框圖；以及圖3是一個示意圖，顯示了表達本發明的一個接收機的情況。
具體實施例方式
在本發明中，描述一個音頻內容的與節目相關聯的數據被用於作為一個基礎來為一個聽眾生成一個視覺顯示，例如關於特殊場合的，用於歌曲或抒情詩的歡慶活動的簡短的視頻剪接部分，場景，圖像，廣告，圖形，文本和互動內容，其中所述視覺顯示關聯於所述音頻內容。編碼和插入所述與節目相關聯的數據到音頻基本碼流內的方法被用來生成如此的視覺顯示。
所述與節目相關聯的數據被用來生成與所述音頻內容相關聯的視覺顯示。它可以被清楚地分成兩類數據(i)音頻描述數據，用來描述所述音頻內容以及(ii)視覺描述數據，用來生成所述視覺顯示。所述視覺描述數據不需要為特定的音頻節目或音頻描述數據來開發。
(i)音頻描述數據音頻描述數據給出所述音頻內容的一般描述，例如所述樂曲主題，所述歌曲抒情詩的相關關鍵字，名稱，歌手或公司名稱，以及所述樂曲的風格。所述音頻描述數據可以被插入到每一個音頻幀內或遍布所述樂曲或歌曲的不同的音頻幀內，這樣可以在所述音頻節目的不同部分插入不同的描述。
(ii)視覺描述數據所述視覺描述數據可以包括簡短的視頻剪接部分，靜態圖像，圖形，文本描述，以及能進行互動應用的數據。所述視覺描述數據可以被獨立於所述音頻描述數據進行編碼，並作為專用數據被傳送到所述接收機，存在於所述傳輸或節目流的專用表中。所述視覺描述數據不需為特定的音頻節目或音頻描述數據開發。它可以為特定的音頻「風格」、「主題」、「活動」開發，並且還可包含相應的廣告和互動信息。
圖1是根據本發明的一個實施例的對於音頻和視覺描述數據的一個編碼處理的框圖。
一個音頻源12提供一個音頻信號14到一個音頻編碼器16，該編碼器編碼該信號到合適的音頻基本碼流18中，用於在一個存儲媒介20中存儲，例如一組硬碟。
一個音頻描述數據編碼器22是用於開發音頻描述數據的一個內容生成工具，例如所述音頻內容的一般的描述。它是用戶可操作的或可以自動工作的，例如，通過分析所述音頻基本碼流中的所述樂曲和/或文本內容(例如，樂曲的速度可以被分析來提供相關的信息)。所述音頻描述數據編碼器22從所述存儲媒介20中檢索音頻基本碼流並插入所述音頻描述數據，它在所述音頻基本碼流的每一幀中生成到所述輔助數據部分中。在編輯或插入之後，包含所述音頻描述數據24的所述音頻基本碼流被存儲回所述存儲媒介20中，用於發布或廣播。所述音頻描述數據編碼器22還生成識別和時鐘參考數據26，其與所述音頻基本碼流相關聯，包括所述音頻描述數據24，並且存儲這些在所述音頻基本碼流中。
一個視頻/圖像源28提供一個視頻/圖像信號30到一個視頻/圖像編碼器32，其編碼它成為一個合適的數據格式34，用於存儲在一個存儲媒介36中。其他的數據媒介38也可以貢獻合適的視覺數據40，例如文本和圖形數據。來自於所述存儲媒介36的視頻剪接，圖像，圖形和文本數據42的檔案被提供到一個視覺描述數據編碼器44，並被用來生成所述視覺內容。這通過平臺相依性的方式來完成。對於視頻剪接，它們可以被存儲為MPEG-1/MPEG-2或任何支持的視頻格式中的一種。對於圖形，它們可以被提供並存儲作為MPEG-4或MPEG-7描述語言或Java或諸如此類。對於文本，它可以以統一的字符編碼標準被提供並存儲。對於這些中的任何一個，所述定義甚至可以是專有的。
所述視覺描述數據編碼器44是用於開發視覺描述數據46的一個內容生成工具。所述視覺描述數據46被存儲在一個存儲媒介48中，用於發布或廣播。所述視覺描述數據46可以獨立於所述音頻內容被開發。然而，對於所述視覺描述數據46要連同相關聯的音頻描述數據一起被執行的應用，來自於音頻描述數據編碼器22的所述識別代碼和時鐘參考26被用來同步所述視覺描述數據的解碼。對此，它們被包含在專用的限制描述中，其嵌入在攜帶所述視覺描述數據的所述專用部分中。
在廣播中，不管是通過有線，光纖或無線傳輸，還是作為電視或網際網路，來自於音頻存儲媒介20的音頻基本碼流(包括所述音頻描述數據)與來自於視頻存儲媒介36的作為專用數據的所述視覺描述數據以及視頻基本碼流(例如，包括一個視頻)多路復用來形成一個傳輸流。繼而，這是聲道，被編碼和調製來傳輸。
圖2是根據本發明的用於數位電視接收的另一個實施例建造的一個接收機的框圖。一個射頻(RF)輸入信號50被接收並傳遞到一個前級52，其被控制在所述合適的電視信道中調諧。所述前級52解調並聲道解碼所述RF輸入信號50來生成一個傳輸流54。
一個傳輸解碼器56，通過識別一個唯一的13位節目標識符(PID)從所述傳輸流54中提取一個專用部分表，該PID包含所述視覺描述數據。所述視覺描述數據被引導通過所述解碼器的數據總線58被存儲到一個循環緩衝區60內。同時，所述傳輸解碼器56也從所述傳輸流54，分別過濾所述音頻基本碼流62和視頻基本碼流64到一個MPEG音頻解碼器66和一個MPEG視頻解碼器。
所述PID(節目標識符)對於每一個流是唯一的，並被用來提取所述音頻流，所述視頻流和包括所述視覺描述數據的所述專用部分數據。
所述MPEG音頻解碼器64解碼所述音頻基本碼流62來生成所述被解碼的數字音頻信號70。所述被解碼的數字音頻信號70被送到一個音頻編碼器72中來生成一個模擬音頻輸出信號74。包括所述音頻基本碼流中的所述音頻描述數據的所述輔助數據被過濾並通過所述音頻解碼器的數據總線78存儲在一個循環緩衝區76中。
所述MPEG視頻解碼器68解碼所述視頻基本碼流64來生成所述被解碼的數字視頻信號80。所述被解碼的數字視頻信號80被送到一個圖形處理器和視頻編碼器82來生成所述視頻輸出信號84。
所述接收機主機微處理器86控制所述前級52通過一個I2C總線88來在所述合適的電視聲道調諧。它還通過所述傳輸解碼器的數據總線58，90，從所述循環緩衝區60中檢索所述視覺描述數據。所述視覺描述數據通過所述主機數據總線94被存儲在一個存儲系統92中。所述視覺描述數據還可以通過外部數據總線96和接口98從外部設備中下載，如個人電腦或其他存儲媒介。
所述微處理器86還通過所述音頻解碼器的數據總線78，100，從所述循環緩衝區76中讀取所述被過濾的音頻描述數據。從所述音頻描述數據，它使用認知和搜索工具來從所述系統存儲器92中選擇所述最合適視覺描述數據。選擇所述最合適的一般步驟可以如下所述i.從所述音頻基本碼流中檢索音頻描述數據。這通過所述「audio_description_identification」值識別(下文中描述)；ii.檢索所述「description_data_type」值(下文中描述)來確定跟在後面的數據的類型；iii.如果所述「description_data_type」的值在1和15之間，檢索所述「user_data_code」(統一字符編碼標準文本)(下文中描述)，其描述信息的各自的類型。這個信息被用來作為搜索標準；iv.如果「description_data_type」的值是16，17和18中的任何一個，檢索所述「description_data_code」(下文中描述)來確定所述搜索標準。所述「description_data_code」對於「description_data_type」的值16，17和18，分別遵循表5，6和7(下文中出現)中描述的定義；v.根據所述搜索標準，為最佳的匹配搜索存儲器92的所述視覺描述資料庫。所述資料庫包含所述視覺描述數據文件，存儲在目錄下，其文件名稱允許一個有效的搜索法則的運用。
所述MPEG視頻解碼器68的工作也通過所述解碼器的數據總線102，被所述微處理器86控制。
所示圖形處理器以及視頻編碼器模塊82具有一個圖形生成工具，來覆蓋文本和圖形，並且在所述被解碼的視頻上執行合成和alpha縮放。所述圖形處理器的操作由所述微處理器86控制，通過所述處理器的數據總線104。從所述系統存儲器92中選擇出來的最合適的視覺描述數據在所述微處理器86的控制下被處理，來生成所述視覺顯示，使用所述圖形處理器的特徵和性能。然後，它就作為所述唯一視頻輸出信號輸出或被添加在所述視頻信號上，由所述視頻基本碼流產生。
這樣，在應用中，所述接收機提取包括所述視覺描述數據的所述專用數據並存儲在它的存儲系統中。當播放一個音頻節目時(甚至於在晚些時候)，所述接收機提取所述音頻描述數據並用其為相應的視覺描述數據搜索它的存儲系統。所述最合適的視覺描述數據被選擇來生成所述視覺顯示，然後就在所述音頻節目中出現。
MPEG是本發明中優選的傳送流。它能夠攜帶很多視頻和音頻流。所述解碼器能夠解碼，並同時提供兩個音頻-視覺流。
應用的具體類型不同，取決於所述廣播或網絡服務和所述接收機的硬體性能。在電視應用中，如一個音樂視頻，其已經包括一個視頻信號，所述與節目相關聯的數據也可以被用於生成相應的視頻剪接部分，圖像，圖形和文本顯示，以及在屏顯示(尤其是互動節目)，作為一個第一視頻信號，並且添加或覆蓋它到所述音樂視頻上(所述第二視頻信號)。然而，還有一些應用，其中生成的視覺描述數據的顯示是顯示的唯一信號。
另外，當一個用戶播放包含音頻描述數據的一個音頻節目時，一個圖標出現在顯示器上，指示有效的與節目相關聯的數據出現了。如果所述用戶按「開始視頻」按鈕，所述接收機搜索最合適視覺描述數據並生成相對應的視覺顯示。通過使用預先指定的遠程控制按鈕，所述用戶可以操縱互動節目，其攜帶在所述視覺描述數據中。當檢測到輸入的音頻描述數據時，一個自動的選項也被提供來打開所述最合適的視覺顯示。
所述接收機自由地決定哪一個視覺描述數據應該被選擇，並且每一個視覺描述數據應該被顯示多長。一般地，當接收到音頻描述數據時，搜索標準從所述音頻描述數據中得到。基於所述搜索標準，所述視覺描述資料庫被搜索，並且根據播放次序，建立了一列表的文件位置。如果所述視覺描述播放特徵被激活，這個數據就以這個順序播放。如果得到另一個搜索標準，所述剩餘的視覺描述數據被播放，接著是以上的過程來建立匹配所述新標準的一新列數據。用戶選項被包括入內，來改進所述認知算法和搜索處理。在實施中，所述視覺描述數據可以是陳述式的(如，HTML)或程序式的(如，JAVA)，取決於從所述接收機得到的一組應用程式接口函數。
圖3是在一個接收機發生的情況的示意圖。
一個數位電視(DTV)源MPEG-2流102包括視覺描述數據104，一個被編碼的視頻流106，以及一個被編碼的音頻流108提供每一個流，分別到達。一個MPEG-2傳輸流在DTV中是優選的，因為它具有魯棒性誤差傳輸。所述視覺描述數據被攜帶在一個MPEG-2專用部分。所述編碼的視頻流被攜帶在MPEG-2包化基本數據流(PES)。所述被編碼的音頻流也攜帶音頻描述數據110，當所述被編碼的音頻流被解碼的時候，其被分離開。
其他源112，如檔案庫存儲器，也提供第二視覺描述數據114和一個第二編碼視頻流116。
所述的兩組視覺描述數據和所述的兩個被編碼的視頻流被提供到一個搜索工具118，作為可搜索材料，而所述音頻描述數據也被輸入到所述搜索工具作為搜索信息。被選擇的視覺描述數據被一個解碼器解釋來創建一個視頻信號120(通常圖形或簡短的視頻剪接)。相比於所述視頻流，它使用更少的數據來創建這個視頻信號。被選擇的一個被編碼的視頻信號被解碼來生成一個第二視頻信號122。
同時，所述被編碼的音頻流的解碼，以及提供音頻描述數據110也提供音頻信號124。
一個播放器(renderer)126接收所述兩個視頻信號，並且因為它被建造成不同的層(包括圖形和在屏顯示)，能夠提供一個合成的視頻信號128，其中多個視頻信號重疊。所述播放器還具有來自於所述音頻描述數據的一個輸入。所述合成的視頻信號可以北一個用戶選擇130改變。
所述音頻信號還被單獨地提供來生成聲音132。
現在要描述所述音頻描述數據的格式的一個例子。
所述音頻描述數據被置於一個音頻基本碼流中的每一幀內的一個輔助數據部分中。表1顯示出如ISO/IEC11172-3(MPEG-音頻)所定義的所述語法。
表1音頻幀的語法

所述輔助數據位於每一個音頻幀的尾部。輔助位的數目等於在一個音頻幀可用的位的數目減去頭部(32位)，誤差檢測(16位)以及音頻使用的位的數目。音頻數據位的數目以及輔助數據位的數目都是變量。表2顯示了用於攜帶所述與程序相關聯的數據的所述輔助數據的語法。根據所述音頻內容本身，所述輔助數據是用戶可定義的，基於下文中要顯示的定義。
表2輔助數據的語法

在發布或廣播之前，通過所述所述內容發生器或提供器，所述音頻描述數據被生成並作為輔助數據插入。
表3顯示了在每一個音頻幀內的所述音頻描述數據的語法，位於所述輔助數據部分。
表3音頻描述數據的語法

所述語義的定義為audio_description_identification-用於攜帶音頻描述信息的用戶可定義輔助數據的一個13位唯一的識別。它應該被用於檢驗關聯於所述音頻內容的音頻描述數據的存在。
distribution_flag_bit-這個1位的欄位指示在所述音頻幀內部的所跟隨的音頻描述數據是否可以被編輯或消除。「1」代表不允許任何修改。「0」代表所述音頻描述數據的編輯或消除對於再發布或廣播是可能的。
description_data_type-這個5位的欄位定義跟隨著的數據的類型。所述數據類型定義如表4所示。
description_data_code-這個5位的欄位包括對於大於15的description_data_type的所述預先定義的描述代碼。對於0-15之間的description_data_type未下定義。
audiovisual_pad_identification-一個16位與節目相關聯的數據標識，對於當包括所述音頻描述數據的所述音頻內容和可選的相關聯的視覺描述數據一起輸入時的應用。所述接收機可以在所述接收機的存儲器系統中匹配具有相同的標識的視覺描述數據。
audiovisual_clock_reference-這個16位的欄位為所述接收機提供一個時鐘參考來同步所述視覺描述數據的解碼。每一個計數為20ms。
user_data_code-在每一音頻幀內的用戶數據來描述文本字符以及卡拉OK文本和時間信息。
表4顯示了所述description_data_type的定義，其為description_data_code定義所述數據類型。
表4description_data_type的定義


0的值表示在description_data_code之後的所述代碼應該包含audiovisual_pad_identification和audiovisual_clock_reference數據。其中前者為所出現的音頻內容和具有相同識別數目的可選的關聯的視覺描述信息一起輸入的應用提供一個16位的唯一識別。當所述接收機檢測到這種情況時，它可以在其存儲系統中匹配具有相同識別的視覺描述數據。如果沒發現匹配的視覺描述數據，所述接收機可以為所述匹配的視覺描述信息過濾輸入的流。所述audiovisual_clock_reference為所述接收機提供一個16位時鐘參考來同步所述視覺描述數據的解碼。每一個計數是20ms。隨著16位時鐘參考和每個計數20ms的象素，不溢出的最大總時間為1310.72s，並且足夠於每一個音頻音樂或歌曲的持續時間。
表5，6和7分別列出了「風格」，「主題」和「活動」數據類型的預先定義的所述description_data_code的描述。所述description_data_type和description_data_code應該被用作在所述接收機內實施認知和搜索處理的基礎，來推導出所述最合適的視覺描述數據以生成所述視覺顯示。視覺描述數據的選擇可以不同，即便對於相同的音頻基本碼流，因為它取決於所述接收機的認知和搜索工具的實現。用戶選項可以被添加來指定視覺描述數據的優選的類別。
表5對於description_data_type等於「風格」的description_data_code的定義

表6對於description_data_type等於「主題」的description_data_code的定義


表7對於description_data_type等於「活動」的description_data_code的定義

所述音頻描述數據可以為卡拉OK應用來描述音頻內容的文本和所述時間信息。表8顯示了位於所述音頻幀的所述輔助數據部分中的所述karaoke_text_timing_information的所述語法。表8屬於表3中的「user_data_code」。當表4中的「description_data_type」＝13時，存在此情況。
表8karaoke_text_timing_description的語法

表9提供了音頻聲道信息。
表9audio_channel_format的定義

所述語義定義如下karaoke_clock_reference-這個16位欄位為所述接收機提供一個時鐘參考來同步所述卡拉OK文本和時間代碼的解碼。它被用來在所述解碼器中設定當前的解碼時鐘參考。每一個計數是20ms。
iso_639_language_code-這個24位欄位包括3個字節的ISO 639語言代碼。每一個字符根據ISO 8859-1被編碼成為8位。
start_display_time-這個16位欄位指定顯示所述兩行文本的時間。它被參考於karaoke_clock_reference來使用。每一個計數是20ms。
audio_channel_format-這個2位的欄位指示用在所述接收機中的所述音頻聲道格式，來設定所述左輸出和右輸出。參見表9的定義。
upper_text_length-這個6位的欄位指定在上部顯示行中的文本字符的數目。
upper_text_code-這個代碼定義在所述上部顯示行中的所述文本字符(從0到64)。
lower_text_length-這個6位的欄位指定在下部顯示行中的文本字符的數目。
lower_text_code-這個代碼定義在所述下部顯示行中的所述文本字符(從0到64)。
upper_time_code-這個16位的欄位指定在所述上部顯示行中的各個文本字符的滾動信息。它參考於karaoke_clock_reference來使用。每一個計數是20ms。
lower_time_code-這個16位的欄位指定在所述下部顯示行中的各個文本字符的滾動信息。它參考於karaoke_clock_reference來使用。每一個計數是20ms。
所述karaoke_clock_reference在每一首卡拉OK歌曲的開始，從計數0開始。對於具有音頻的卡拉OK文本的同步，所述音頻描述數據編碼器負責為每一首卡拉OK歌曲更新所述karaoke_clock_reference和設置start_display_time，upper_time_code以及lower_time_code。
在所述接收機，用於文本顯示和滾動的時間在所述start_display_time，upper_time_code以及lower_time_code欄位中定義。所述接收機的卡拉OK文本解碼器計時器應該被更新到karaoke_clock_reference。當所述解碼器計數匹配start_display_time時，所述的兩行文本應該被非高亮地顯示。所述滾動信息被嵌入到所述upper_time_code以及lower_time_code欄位。它們被用來高亮所述文本字符顯示來起到所述滾動效應。例如，所述解碼器將使用upper_time_code[n]和upper_time_code[n+1]之間的差異來為所述上部行中的第n位置文本字符確定所述滾動速度。滾動中的一個停頓通過插入一個空格文本字符來完成。在所述較低行中滾動的末尾，所述解碼器清除所述文字顯示，並且所述解碼器處理根據下一個start_display_time重複。
伴隨16位時間代碼以及每個計數20ms的象素，所述不溢出的最大總時間是1310.72秒或21分50.72秒。所述說明不限定所述解碼器模塊的顯示類型。它取決於所述解碼器實施來使用所述start_display_time以及所述時間代碼信息用於顯示和高亮所述卡拉OK文本。這使得具有不同性能的不同硬體以及在屏顯示(OSD)特徵來執行卡拉OK文本解碼。
這個視覺描述數據可以以不同的格式，如前所述。這傾向於平臺相依性。例如，在多媒體家庭平臺(MHP)接收機中，JAVA和HTML被支持。
在只有音頻的應用中，可能希望插入與節目相關聯的數據來為收聽者生成一個相應的、令人激動和有趣的視覺顯示。為了生成這樣一個視覺顯示，引入編碼和插入與節目相關聯的數據到所述音頻基本碼流中的方法，以及解碼的技術，解碼和生成所述視覺顯示的技術。
開發與所述音頻或電視節目相關的視覺內容需要很多的資源。使觀看者去訪問這些附加的數據服務信息對於成功的商業實施是重要的。在大多數情況下，所述觀察者在看完一個節目之後，會發現這個電視節目沒意思，不願意看更多遍。然而，對於音頻應用，收聽者更可能一次又一次地重複同一首樂曲和歌曲。這樣，生成相關於所述音頻內容的視覺顯示的方法包括生成不同的顯示來吸引觀看者的注意力，即使當播放相同的音頻內容時。為了減少用於生成所述視覺顯示內容的費用，現有的發明允許在不同的音頻和電視應用中，共享和重用與節目相關聯的數據。
在電視應用中，例如音樂電視，攜帶在所述音頻基本碼流中的所述與節目相關聯的數據可以被使用來在視頻上生成相應的圖形和文本顯示。這樣，一個實施例提供一個方法，其能夠使附加的視覺內容添加或重疊到所述視頻上。
所述實施主要是軟體。編輯音頻描述數據的應用可以被使用來協助所述內容生成器或提供器來插入相應的數據到所述音頻基本碼流中。軟體開發工具可以被用來生成所述視覺描述數據，用來插入到所述傳輸或節目流中，作為專用數據。在所述接收機，當包括所述音頻描述數據的所述音頻節目被播放時，所述接收機為相應的視覺描述數據提取所述音頻描述數據並搜索其存儲系統，所述視覺描述數據被先前提取或下載。所述用戶還生成各自的視覺描述數據。所述最合適的視覺描述數據被選擇來生成所述視覺顯示。
隨著技術的進步，尤其是在數位電視領域中，有很多機會在一個背景視頻上開發視覺和互動節目。這個發明提供一種有效的裝置，來添加與所述音頻節目相關聯的進一步的信息。它在發布或廣播前，為所述內容生成器生成一個選項來插入或修改相應的描述性信息或用於生成相應的視覺內容的連結。所述攜帶在所述音頻基本碼流的所述輔助數據部分的與節目相關聯的數據提供用於所述解碼器的優選的分類或種類的一般的描述，來生成相關的視覺顯示和互動應用。適應於數字音頻和電視廣播的一個商業化可行方案，以及其他的多媒體平臺有益於內容提供商，廣播公司或消費者。這樣，本發明能夠用於多媒體應用中，如數位電視，數字音頻廣播，以及在網際網路域中，為音頻內容發布與節目相關聯的數據。
對於定位所述被構建的視覺描述數據而言，其能夠被如願地放置，例如，如在同一個申請人2002年10月4日提交的名為「卡拉OK應用中的視覺內容」的同時待決的專利申請所述，其整個內容在這裡全部被包括作為參考。
雖然只描述了編碼器和接收機和所述音頻描述數據的一個實施例，可以容易地使用符合本發明範圍的其他實施例和格式，如權力要求等所述，均屬於本
權利要求
1.一個方法，提供帶有相關聯視頻信號的一個音頻信號，包括以下步驟解碼一個被編碼的音頻流來提供一個音頻信號和音頻描述數據；以及提供一個相關聯的第一視頻信號，其至少一部分內容根據所述音頻描述數據被選擇。
2.根據權利要求1所述的方法，進一步包括較早的步驟，編碼所述音頻信號和所述音頻描述信號到所述被編碼的音頻流中。
3.根據權利要求1或2中的任何一個所述的方法，進一步包括解碼來自於一個被編碼的視頻流的一個第二視頻信號的步驟。
4.根據權利要求1-3中的任何一個所述的方法，其中所述提供步驟包括使用所述音頻描述數據來選擇合適於所述音頻信號內容的視覺描述數據；從所述被選擇的視覺描述數據創建視頻內容；以及提供包括所述被創建的視頻內容的所述第一視頻信號。
5.根據權利要求4所述的方法，進一步包括從一個傳輸流中提取所述視覺描述數據的步驟。
6.根據權利要求5所述的方法，其中所述視覺描述數據從所述傳輸流內的專用數據中提取。
7.根據權利要求5或6中的任何一個所述的方法，當至少從屬於權利要求3時，其中所述傳輸流進一步包括所述被編碼的視頻和音頻流。
8.根據權利要求7所述的方法，其中在所述被編碼的音頻流中的所述音頻描述數據包括識別數據和時鐘參考數據，與在所述同一個傳輸流內的所述視覺描述數據一起使用。
9.根據權利要求8所述的方法，其中對應於所述識別數據和時鐘參考數據的描述符被存儲在所述視覺描述數據的專用部分內。
10.根據權利要求7-9中的任何一個所述的方法，其中所述音頻流，所述視頻流和所述視頻描述數據被多路復用到所述傳輸流中，其在一個電視信號中傳輸。
11.根據權利要求7-10中的任何一個所述的方法，其中使用所述音頻描述數據來選擇合適的視覺描述數據的步驟包括從所述同一個傳輸流中選擇視覺描述數據。
12.根據權利要求4-11中的任何一個所述的方法，進一步包括存儲所述被提取的視覺描述數據的步驟。
13.根據權利要求12所述的方法，當不從屬於權利要求11時，其中使用所述音頻描述數據來選擇合適視覺描述數據的步驟包括選擇被存儲的視覺描述數據。
14.根據權利要求4-13中的任何一個所述的方法，進一步包括編碼所述視覺描述數據的步驟，其在提取所述視覺描述數據的步驟之前。
15.傳輸與節目相關聯的數據來為音頻內容生成相關聯的視覺顯示的方法，所述方法包括以下步驟編碼一個音頻信號和相關聯的音頻描述數據到一個被編碼的音頻流中；編碼視覺描述數據；以及合成所述被編碼的音頻流和所述視覺描述數據。
16.根據權利要求15所述的方法，其中所述視覺描述數據能夠被合成到一個第一視頻信號中。
17.根據權利要求15或16中的任何一個所述的方法，進一步包括編碼一個第二視頻信號到一個被編碼的視頻流中。
18.根據權利要求17所述的方法，進一步包括合成帶有所述視覺描述數據的所述被編碼的視頻流和所述被編碼的音頻流到一個傳輸流中。
19.根據權利要求18所述的方法，進一步包括在一個電視信號中傳輸所述傳輸流。
20.根據權利要求18或19中的任何一個所述的方法，其中所述視覺描述數據不相關於在所述同一個傳輸流內的所述被編碼的視頻信號。
21.根據權利要求18，19或20中的任何一個所述的方法，其中所述視覺描述數據不相關於在所述同一個傳輸流內的所述被編碼的音頻信號。
22.根據權利要求4-14以及18-21中的任何一個所述的方法，其中所述的傳輸流是一個MPEG流。
23.根據權利要求15-22中的任何一個所述的方法，與權利要求1-14中的任何一個所述的方法相結合。
24.根據權利要求3-23中的任何一個所述的方法，其中所述視覺描述數據包括一個或多個包括以下內容的組視頻剪接部分，靜態圖像，圖形和文本描述。
25.根據權利要求3-24中的任何一個所述的方法，其中所述視覺描述數據被分類與以下任何一種一起使用音頻內容的至少一種風格，音頻內容的至少一種主題，以及活動的至少一種類型，對於該活動類型其是合適的。
26.根據前述權利要求中的任何一個所述的方法，其中所述音頻描述數據包括相關於以下至少一組的數據歌手識別，組合識別，音樂公司識別，服務提供商識別和卡拉OK文本。
27.根據前述權利要求中的任何一個所述的方法，其中所述音頻描述數據包括關於所述音頻信號的風格的數據。
28.根據前述權利要求中的任何一個所述的方法，其中所述音頻描述數據包括關於所述音頻信號的主題的數據。
29.根據前述權利要求中的任何一個所述的方法，其中所述音頻描述數據包括關於所述活動類型的數據，對於該活動，所述音頻信號是合適的。
30.根據前述權利要求中的任何一個所述的方法，其中所述音頻描述數據被編碼於所述被編碼的音頻流的幀內，這些幀也包含所述音頻信號。
31.根據權利要求30所述的方法，其中所述音頻描述數據作為輔助數據被編碼到所述音頻流的音頻幀內。
32.一個裝置，用於提供帶有一個相關聯的視頻信號的一個音頻信號，包括音頻解碼裝置，用來解碼一個被編碼的音頻流來提供一個音頻信號和音頻描述數據；以及第一視頻信號裝置，用來提供一個相關聯的第一視頻信號，其至少一部分內容根據所述音頻描述數據選擇。
33.根據權利要求32所述的裝置，進一步包括視頻解碼裝置，用於解碼來自於一個被編碼的視頻流的一個第二視頻信號。
34.根據權利要求32或33中的任何一個所述的裝置，其中所述第一信號裝置包括選擇裝置，用於使用所述音頻描述數據來選擇合適於所述音頻信號內容的視覺描述數據；創建裝置，用於從所述被選擇的視覺描述數據來創建視頻內容；以及裝置，用於提供包括所述被創建的視頻內容的所述第一視頻信號。
35.根據權利要求34所述的方法，進一步包括提取裝置，用於從一個傳輸流中提取所述視覺描述數據。
36.根據權利要求35所述的裝置，其中所述提取裝置可被操作來從所述傳輸流內的專用數據中提取所述視覺描述數據。
37.根據權利要求35或36中的任何一個所述的裝置，當至少從屬於權利要求32時，當所述傳輸流進一步包括所述被編碼的視頻和音頻流時，可操作。
38.根據權利要求37所述的裝置，當在所述被編碼的音頻流內的所述音頻描述數據包括識別數據和時鐘參考數據，與所述同一個傳輸流中的所述視覺描述數據使用時，可操作。
39.根據權利要求38所述的裝置，當對應於所述識別數據和時鐘參考數據的描述符被存儲在所述視覺描述數據的專用部分時，可操作。
40.根據權利要求37-39中的任何一個所述的裝置，當所述音頻流，所述視頻流和所述視覺描述數據多路復用到在一個電視信號中傳輸的所述傳輸流時，可操作。
41.根據權利要求37-40中的任何一個所述的裝置，其中所述選擇裝置可操作來從所述同一個傳輸流中選擇合適的作為所述視覺描述數據。
42.根據權利要求35-41中的任何一個所述的裝置，進一步包括存儲裝置，用於存儲所述被提取的視覺描述數據。
43.根據權利要求42所述的裝置，其中所述選擇裝置可操作來從所述存儲裝置中選擇合適的視覺描述數據。
44.一個系統，用於傳送與節目相關聯的數據來為音頻內容生成相應的視覺顯示，包括音頻編碼裝置，用來編碼一個音頻信號和與其相關聯的音頻描述數據到一個被編碼的音頻流中；描述數據編碼裝置，用來編碼視覺描述數據；以及合成裝置，用來合成所述被編碼的音頻流和所述視覺描述數據。
45.根據權利要求44所述的系統，進一步包括視頻編碼裝置，用來編碼一個第二視頻信號到一個被編碼的視頻流中。
46.根據權利要求45所述的系統，其中所述合併裝置可操作來合併所述視覺描述數據，所述被編碼的音頻流和所述被編碼的視頻流到一個傳輸流中。
47.根據權利要求46所述的系統，其中所述合併裝置可操作來合併所述視覺描述數據和與它不相關的被編碼的視頻信號，在所述同一個傳輸流中。
48.根據權利要求46或47中的任何一個所述的系統，其中所述合併裝置可操作來合併所述視覺描述數據和與它不相關的被編碼的音頻信號，在所述同一個傳輸流中。
49.根據權利要求46-48中的任何一個所述的系統或根據權利要求35-43中的任何一個所述的裝置，其中所述傳輸流是一個MPEG流。
50.根據權利要求44-50中的任何一個所述的系統與根據權利要求31-43中的任何一個所述的裝置相結合。
51.根據權利要求44-50中的任何一個所述的系統或根據權利要求31-43以及權利要求50中的任何一個所述的裝置，其中所述視覺描述數據包括以下一個或多個組視頻剪接部分，靜態圖像，圖形和文本描述。
52.根據權利要求44-51中的任何一個所述的系統或根據權利要求31-43以及權利要求50-51中的任何一個所述的裝置，其中所述視覺描述數據被分類與以下至少一個使用音頻內容的至少一種風格，音頻內容的至少一種主題，以及活動的至少一種類型，對於該活動其是合適的。
53.根據權利要求44-52中的任何一個所述的系統或根據權利要求31-43以及權利要求50-52中的任何一個所述的裝置，其中所述音頻描述數據包括相關於以下至少一組的數據歌手識別，組合識別，音樂公司識別，服務提供商識別和卡拉OK文本。
54.根據權利要求44-53中的任何一個所述的系統或根據權利要求31-43以及權利要求50-53中的任何一個所述的裝置，其中所述音頻描述數據包括相關於所述音頻信號的風格的數據。
55.根據權利要求44-54中的任何一個所述的系統或根據權利要求31-43以及權利要求50-54中的任何一個所述的裝置，其中所述音頻描述數據包括相關於所述音頻信號的主題的數據。
56.根據權利要求44-55中的任何一個所述的系統或根據權利要求31-43以及權利要求50-55中的任何一個所述的裝置，其中所述音頻描述數據包括相關於所述活動類型的數據，對於該活動，所述音頻信號是合適的。
57.根據權利要求44-56中的任何一個所述的系統或根據權利要求31-43以及權利要求50-56中的任何一個所述的裝置，其中所述音頻編碼裝置可操作來編碼所述被編碼的音頻流的幀中的所述音頻描述數據，這些幀內也包括所述音頻信號。
58.根據權利要求57所述的系統或裝置，其中所述音頻編碼裝置可操作來編碼所述音頻描述數據作為所述音頻流的音頻幀內的輔助數據。
59.一種方法，來傳送與節目相關聯的數據來為音頻內容生成相應的視覺顯示，所述方法包括在一個或多個音頻基本碼流中，編碼與所述音頻內容相關聯的音頻描述數據；以及編碼視覺描述數據，該數據為音頻內容創造以生成一個視覺顯示；其中所述視覺描述數據相關於以下至少一組一個種屬音頻風格，一個種屬音頻主題，特殊活動以及特殊目標。
60.根據權利要求59所述的方法，進一步包括以下的前述步驟為所述音頻基本碼流的所述幀指定優選的視覺顯示；以及使用與所述優選的視覺顯示相關聯的信息創建所述音頻描述數據。
61.根據權利要求58所述的方法，其中所述指定步驟包括識別以下至少一種所述音頻內容的風格；所述音頻幀的主題；與所述音頻幀關聯的一個活動；以及所述音頻幀的任何歌詞的關鍵詞；以及進一步包括在所述識別步驟後，指定一個最優選的視覺顯示。
62.根據權利要求60或61中的任何一個所述的方法，其中所述指定步驟包括為每一個所述幀指定所述優選的視覺顯示。
63.根據權利要求59-62中的任何一個所述的方法，進一步包括插入所述音頻描述數據到所述音頻基本碼流的所述音頻幀的輔助數據部分。
64.根據權利要求59-63中的任何一個所述的方法，其中所述創建步驟包括指定一個唯一的識別代碼；為指明發布權利，指定一個發布標誌；指定所述數據類型；插入描述所述音頻內容的文本描述；插入描述所述優選視覺描述的數據代碼；以及插入用戶數據代碼來生成所述視覺顯示。
65.根據權利要求59-64中的任何一個所述的方法，進一步包括編碼背景視頻到一個視頻基本碼流中；以及編碼所述音頻內容到所述一個或多個音頻基本碼流中；以及其中所述音頻描述數據描述所述音頻內容。
66.根據權利要求59-65中的任何一個所述的方法，其中編碼視覺描述數據的步驟包括編碼所述視覺描述數據到專用數據中，其被一個傳輸流攜帶。
67.根據權利要求65-66中的任何一個所述的方法，進一步包括多路復用所述視頻基本碼流，所述一個或多個音頻基本碼流以及所述專用數據到用於廣播的一個傳輸流中。
68.根據權利要求59-67中的任何一個所述的方法，進一步包括傳送所述音頻描述數據和所述視頻描述數據到一個接收機，用於解碼和生成所述視覺顯示。
69.根據權利要求59-68中的任何一個所述的方法，進一步包括從外部媒介下載所述視覺描述數據或在一個用戶終端創建視覺描述數據來提供所述視覺描述數據的步驟。
70.一個方法，傳送卡拉OK文本和時間信息來為一首音頻歌曲生成一個卡拉OK視覺顯示，所述方法包括編碼所述音頻歌曲到一個音頻基本碼流中；插入時鐘參考用於同步所述卡拉OK文本和時間信息的解碼和所述音頻基本碼流中的所述音頻歌曲；插入所述音頻歌曲的聲道信息到所述音頻基本碼流中；在所述音頻基本碼流中插入所述音頻歌曲的所述卡拉OK文本信息；以及插入所述卡拉OK時間信息，來生成所述音頻基本碼流中的卡拉OK文本的滾動。
71.根據權利要求1-31以及權利要求59-70中的任何一個所述的方法，被用於數位電視廣播和或接收中。
72.一個裝置，用於為音頻內容生成相關聯的視覺顯示，包括存儲裝置，用於存儲生成所述視覺顯示的視覺描述數據；播放裝置，用於播放攜帶在一個音頻基本碼流中的所述音頻內容；提取裝置，用於為來自於所述音頻基本碼流中的所述音頻內容提取音頻描述數據；選擇裝置，用於使用來自於所述音頻描述數據的信息，從所述存儲裝置中選擇優選的視覺描述數據；以及執行裝置，用於執行所述視覺描述數據來生成所述視覺顯示。
73.根據權利要求72所述的裝置，其中所述執行裝置可操作來執行攜帶在所述視覺描述數據中的互動節目。
74.根據權利要求72或73中的任何一個所述的裝置，進一步包括接收裝置，用於接收包括一個或多個所述音頻基本碼流的一個多路復用傳輸流以及作為專用數據攜帶的所述視覺描述數據。
75.一個系統，用於連接音頻和視覺內容，包括下載裝置，用於為所述音頻內容下載音頻基本碼流以及下載視覺描述數據；創建和編輯裝置，用於創建和編輯與所述音頻基本碼流攜帶的所述音頻內容相關的音頻描述數據，以及創建和編輯視覺描述數據來生成所述視覺內容；選擇裝置，用於選擇最適合於所述音頻描述數據的所述視覺描述數據來生成一個視覺顯示；用戶可操作裝置，用於修改所述選擇裝置的行動；以及處理裝置，用於執行所述視覺描述數據來生成所述顯示。
76.根據權利要求75所述的系統，其中所述選擇裝置包括認知和搜索工具。
77.根據權利要求75或76中的任何一個所述的系統，是一個家庭娛樂系統。
78.一個方法，提供帶有與其相關聯的視頻信號的一個音頻信號，基本上如前所述並結合附圖所示。
79.一個方法，傳送與節目相關聯的數據為音頻內容生成相關的視覺顯示，基本上如前所述並結合附圖所示。
80.一個裝置，提供帶有與其相關聯的視頻信號的一個音頻信號，基本上如前所述並結合附圖所示地被創建和安排用於操作。
81.一個系統，提供帶有與其相關聯的視頻信號的一個音頻信號，基本上如前所述並結合附圖所示地被創建和安排用於操作。
82.一個系統，傳送與節目相關聯的數據為音頻內容生成相關的視覺顯示，基本上如前所述並結合附圖所示地被創建和安排用於操作。
83.根據權利要求32-43，51-58，72-74以及權利要求80中的任何一個所述的裝置或根據權利要求44-58，75-77，81以及82中的任何一個所述的系統，根據權利要求1-31，59-71以及權利要求78，79中的任何一個所述的方法可操作。
全文摘要
一個MPEG音頻流與一個MPEG視頻流一起被傳輸。所述音頻流包括一個音頻信號和與其相關聯的音頻描述數據作為輔助數據。所述視頻流包括一個視頻信號和視頻描述數據(如，視頻剪接部分，靜態圖像，圖形，文本等)作為專用數據，所述視頻描述數據不必與和它一起傳輸的所述視頻數據有關係。在接收時，所述音頻和視頻流被解碼。所述視頻描述數據被存儲在一個存儲器中。所述音頻信號被播放。所述音頻描述數據被用來從所述存儲器或其他存儲，或從當前輸入的視頻描述數據中為所述特定的音頻信號選擇合適的視頻描述數據。當所述音頻信號播放時，它就被顯示。
文檔編號G06F17/00GK1695137SQ03825062
公開日2005年11月9日 申請日期2003年9月25日 優先權日2002年10月11日
發明者譚易通, 申盛眉 申請人:松下電器產業株式會社