演示內容重放速率的實時控制技術的製作方法
2023-05-11 00:19:16
專利名稱：演示內容重放速率的實時控制技術的製作方法
技術領域：
本發明涉及一種在演示過程(presentation)中重放速率(playback rate)的實時控制方法。
背景技術：
多媒體的演示一般以其錄製速率呈現以便視頻的移動和音頻的發音能夠自然。然而，多項研究表明人們可以在更高的重放速率(例如比正常高三倍或更高倍數的速率)感知並理解音頻信息，而以高於正常說話速率來接收音頻信息將為演示內容的用戶節省許多時間。
不希望簡單的加速音頻信號的重放速率(例如提高從數字音頻信號播放採樣的速率)，是因為重放速率的增加會改變音頻的間距(pitch)，這將使得難於聽到和理解信息。因此，開發了時間定比(time-scaled)音頻技術，該技術可增加音頻的信息傳輸速率，而不會增加音頻信號的間距。在2000年7月26日提交的申請號為09/626,046、發明名稱為「Continuously Variable ScaleModification of Digital Audio Signals」的美國專利申請中說明了一種用於數字音頻信號的連續變化信號處理方案，將該申請包含在此作為參考。
用戶所希望得到的便利是例如根據信息的複雜程度、用戶想聽的專注程度或音頻的質量而改變信息速率的能力。一種用於改變數字音頻重放的音頻信息速率的技術相應地改變發送者發送的數字數據率，並且可在接收機上應用用於處理或轉換所需數據以保持音頻間距的處理器或轉換器。
在諸如電話網、LAN或網際網路等網路上傳輸信息的系統中，難於執行上述技術。特別是，網絡可能缺乏音頻信息速率所需的、改變從源到用戶傳輸數據速率的功能。傳輸未處理的音頻數據以在接收機上進行時間定比處理(time scaling)使得效率很低，且由於以間距(pitch)復原方式進行時間定比過程會丟掉許多已傳送的數據，將對可用帶寬造成不必要的負擔。此外，這種技術需要接收機具備可維護正在播放的音頻間距的處理器或轉換器。硬體轉換器會增加接收機系統的成本。另外，軟體轉換器需要大部分的接收機可用處理功率或電池電源，特別是在處理功率和/或電池電源受到限制的可攜式電腦、個人數字助理(personal digital assistant，PDA)和手機等裝置中。
包括視頻的網絡演示的另一普遍問題是網絡無法以所需的速率來維護音頻-視頻演示內容。一般來說，缺少足夠的網絡帶寬使音頻-視頻在演示內容時產生間歇中斷或暫停。這些演示內容的中斷使演示內容難以繼續進行。另一種選擇是，組織在網絡演示內容中的圖像作為用戶可以以用戶速率進行瀏覽的一系列連結的網頁或幻燈片。然而，在諸如指南、考試或甚至是商業廣告等網絡演示內容中，演示內容的可聽和可視部分的時序、順序和同步對於演示內容的成功與否相當重要，並且演示內容的作者或演示內容的源有可能要求對演示內容的順序或同步進行控制。
需要尋找能夠以有序且不中斷的方式呈現演示內容、並且給用戶選擇和改變信息速率的自由而不超出網絡傳輸信息的能力和不要求用戶具有特殊的硬體或大量的處理功率的過程和系統。
發明內容
根據發明的一個方面，將通過諸如電話網、LAN或網際網路傳輸數字演示內容的源對具有多通道的數據結構的演示內容(presentation)進行預編碼。每一通道包括演示內容的不同的編碼部分，所述部分根據演示的時間定比(time scaling)和/或數據壓縮變化。
在一特定實施例中，根據通道的時間定比(time scaling)和數據壓縮，演示內容的音頻部分在幾個通道中進行不同編碼。每一編碼按照音頻幀的幀索引值將演示內容分成具有已知時序相關性(know timing relation)的音頻幀。因此，當用戶改變重放速率，數據流從當前信道切換到對應新時間定比(time scale)的通道，並根據當前幀索引從該新通道存取幀。
在一實施例中，當以正常速率進行播放時，每個幀對應於演示內容中的固定時間。因此，每個通道有相同數量的幀，且在每個幀中的信息都對應一個時間間隔，該間隔是由幀的幀索引所標識的。源發送對應於演示內容重放的當前時間索引的幀，且該幀在對應於用戶選擇的重放速率的通道中。
根據本發明的另一方面，文件結構的兩個或更多通道對應於相同的重放速率，但應用於該通道中數據的相應壓縮過程並不相同。源或接收機能自動選擇對應於用戶選擇的重放速率的通道，且不會超過傳輸數據到接收機的網絡的可用傳輸帶寬。
根據本發明的另一方面，演示內容包括書籤和相關的圖形數據，例如，圖像數據，該圖像數據是從與音頻數據相關的通道分別編碼的。每一書籤具有幀索引或時間的相關範圍。顯示應用程式允許用戶跳到與任意書籤(bookmark)相關的範圍的開始位置，且源一般在下一音頻幀開始時通過網絡傳輸書籤數據(例如圖形數據)給用戶，以便其在合適的時間使用(例如顯示)。
本發明的另一實施例是著作工具(authoring tool)或方法，它們允許作者構成具有諸如與音頻內容同步顯示的文字、幻燈片或網頁等圖形的演示內容，其中，無論音頻的重放速率如何，都保持該同步。著作工具可以用於商業或個人信息傳輸並創建演示內容，該演示內容可以上傳到任何網絡伺服器和從任何網絡伺服器上使用，其中所述網絡伺服器執行諸如HTTP協議等傳統網絡文件協議。
根據本發明使用演示內容，作者或演示內容源可以控制圖像的順序並可使圖像與音頻同步。此外，演示內容為傳統的流式視頻提供了低帶寬選擇。特別是，不支持視頻的傳輸的低帶寬系統一般可以支持演示內容的音頻部分，並在需要時顯示圖像以提供描述演示內容的關鍵點的可視提示。
圖1是用於說明根據本發明的一個實施例產生多通道媒體文件(multi-channel media file)的過程的流程圖。
圖2A、2B、2C、2D和2E說明根據本發明實施例的多通道媒體文件、多通道媒體文件的文件頭、音頻通道、音頻幀以及數據通道的結構。
圖3說明根據本發明實施例的用於產生演示內容的著作工具的用戶界面。
圖4說明根據本發明實施例的用於存取和播放演示內容的應用程式的用戶界面。
圖5是根據本發明實施例的重放運行的流程圖。
圖6是說明根據本發明實施例的演示播放器的運行的方框圖。
圖7是根據本發明實施例的獨立式演示播放器的方框圖。
在不同圖中使用相同的附圖標記來指示相似或相同的部分。
具體實施例方式根據本發明的一個方面，媒體編碼、網絡傳輸以及重放過程和結構使用了多通道體系結構(multi-channel architecture)，該體系結構採用相應於不同重放速率或演示內容(representation)的部分(portion)的時間定比(time scale)的不同通道。演示內容的編碼過程使用對相同部分，例如演示內容的音頻部分的多重編碼(multiple encoding)。因此，不同通道針對不同的重放速率或時間定比有不同的編碼，即使不同的通道代表演示內容的相同部分。
演示內容的接收機或用戶能夠選擇重放速率或時間定比，從而選擇使用對應該時間定比的通道。由於所選的通道包括為所選的時間定比所做的信息預編碼，接收機不要求有複雜的解碼器或強大的處理器來得到所需的時間定比。此外，由於在發送之前音頻數據的預編碼或時間定比將會消除冗餘的音頻數據，所需的網絡帶寬並不會隨著系統中接收機所進行的時間定比(timescaling)增大。因此，無論時間定比如何，帶寬要求可以保持不變。
每個通道含有一系列根據演示內容的順序被編入索引的幀，當用戶從一個通道變到另一個通道上，來自新通道的幀可被識別且當要求持續不斷地播放演示內容時，將發送該幀。在一個典型的實施例中，當以正常速度播放時，不同音頻通道中的相應音頻幀對應於演示內容中的相同時間量且具有幀索引，所述索引將該幀標識為對應於演示內容中的特定時間間隔。用戶可改變重放速率，進而造成來自對應於新重放速率的通道的幀的選擇和發送，並且當需要進行演示內容重放速率的實時轉換時，用戶可接收到幀。
另外，該結構可為諸如文字、圖像、HTML描述符以及連結或其它識別符等圖形數據的數據通道提供網絡上的可用信息。該源可根據演示內容的時間索引或用戶的請求發送圖形數據(graphic data)以跳到演示內容的特定書籤(bookmark)處。文件頭可向用戶提供描述書籤的信息。
該結構可進一步向不同的音頻通道提供相同的重放速度，但根據網絡發送數據的條件，提供不同的壓縮方案進行使用。
圖1展示了根據本發明實施例的、用於產生多通道媒體文件190的過程100。100從原始音頻數據110開始，該音頻數據可以是任意格式。在典型的實施例中，原始音頻數據110是以「.wav」文件形式呈現，該文件是代表音頻信號波形的一系列數字採樣。
對原始音頻數據110進行的音頻時間定比(time-scaling)過程120將產生多組的時間定比(time-scaled)數字音頻數據TSF1、TSF2及TSF3。時間定比數據組TSF1、TSF2及TSF3均進行時間定比處理，以便當重放時，可保存原始音頻的間距，但每一數據組TSF1、TSF2或TSF3有不同的時間定比。因此，重放各組數據將會花費不同的時間量。
在一個實施例中，音頻數據組TSF1對應於以在原始音頻數據110的錄製速率進行重放的數據，且音頻數據組TSF1可與原始音頻數據110相同。音頻數據組TSF2與TSF3可對應於以錄製速率二倍與三倍的速度重放的數據。典型地，因為音頻數據組TSF2與TSF3在固定採樣速率上含有較少重放音頻採樣，音頻組TSF2以及TSF3將小於音頻數據組TSF1。雖然圖1展示了三組時間定比數據(time-scaled data)，音頻時間定比編碼120可以產生任意數量的音頻數據組，所述音頻數據組具有相應的重放速率。例如，可產生對應於錄製速率介於1與4之間的半整數倍數的七組時間定比音頻數據(time-scaled audio data)。一般來說，演示內容的作者可選擇用戶可用的時間定比(time scale)。
音頻時間定比過程(audio time-scaling process)120可以是諸如基於SOLA的時間定比過程(time scaling process)的任意期望的時間定比技術(time-scaling technique)，且音頻時間定比過程120根據時間定比因數，包括針對各個時間定比音頻數據組(time-scaled audio data set)TSF1、TSF2或TSF3的不同時間定比技術。典型地，音頻時間定比過程120將使用時間定比因數(time scale factor)作為輸入參數，且針對所產生的各個數據組改變時間定比因數。本發明的示例實施例採用如在美國專利申請第09/626,046號中所公開的連續變化編碼過程，所述申請將包含在此作為參考，但也可使用任何其它類型的時間定比過程。
在進行音頻時間定比過程120之後，劃分過程140將把各時間定比音頻數據組TSF1、TSF2以及TSF3劃分為音頻幀。在本發明的示例實施例中，各音頻幀將對應於原始音頻數據110的相同時間間隔(例如0.5秒)。因此，各數據組TSF1、TSF2及TSF3具有相同數量的音頻幀。在時間定比音頻數據組中具有最大時間定比因數的音頻幀需要最短的重放時間，且將小於進行較少時間定比的音頻數據組的幀。
也可以使用其它的替代劃分過程。在一個替代實施例中，在重放期間，劃分過程140將把各時間定比音頻數據組TSF1、TSF2及TSF3劃分為具有相同持續期間的音頻幀。在此實施例中，不同通道中的音頻幀具有大致相同的尺寸，但是不同通道可包括不同的幀數量。因此，當改變重放速率時，要在不同幀中識別出相應的音頻信息，在此實施例中將比示例實施例更複雜。
在劃分過程140之後，音頻數據壓縮過程150將分別壓縮各幀，而音頻數據壓縮過程150所產生的壓縮音頻幀將被採集成壓縮音頻文件TSF1-C1、TSF2-C1、TSF3-C1、TSF1-C2、TSF2-C2、及TSF3-C2，其統稱為壓縮音頻文件160。壓縮音頻文件TSF1-C1、TSF2-C1及TSF3-C1均對應於第一壓縮方法，且可分別對應於時間定比音頻數據組TSF1、TSF2及TSF3。壓縮音頻文件TSF1-C2、TSF2-C2及TSF3-C2均對應於第二壓縮方法，且可分別對應於時間定比音頻數據組TSF1、TSF2及TSF3。
根據圖1所示的本發明的一個方面，音頻數據壓縮過程150將對各時間定比音頻數據幀使用兩種不同的數據壓縮方法或因數。在替代實施例中，音頻數據壓縮過程150可對各時間定比音頻數據幀使用任何數量的數據壓縮方法。多種合適的音頻數據壓縮方法可用且為本技術領域的公知技術。合適的音頻壓縮方法的實例包括離散餘弦變換(discreet cosine transform、DCT)方法，以及在MPEG標準與規範中定義的壓縮過程，例如美國加州Santa Clara市的DSP Group所出品的Truespeech程序。作為另一替代方案，可研發一種可將音頻時間定比過程120、劃分幀過程140、以及壓縮過程150集成為單個交織過程的過程，該交織過程是為對較小的音頻幀進行有效壓縮而設計的。
各壓縮音頻文件TSF1-C1、TSF1-C2、TSF2-C1、TSF2-C2、TSF3-C1和TSF3-C2相應於多通道媒體文件190中的不同音頻通道。多通道媒體文件190還包含與書籤180相關的數據。
在產生多通道媒體文件190時所進行的作者輸入(Author input)170選擇包含在多通道媒體文件190中的書籤。一般來說，各書籤包括相關時間或幀索引範圍、識別數據和演示內容數據。演示內容數據類型的實例包括但不限於可代表文字182、圖像184、嵌入式HTML文件186的數據，以及對網頁的連結188，或網絡上可得到的其它信息，以在相應於時間相關範圍或幀索引的時間間隔中以演示內容部分進行顯示。識別數據識別或區分不同書籤作為演示內容中用戶可跳躍的位置。
在本發明的某此實施例中，產生多通道媒體文件190時並不需要作者輸入170。例如，多通道文件190可從表示一個或多個語音郵件消息的原始音頻數據110中產生。可產生書籤以在多個消息中進行瀏覽，但一般來說，這樣的消息並不需要相關的圖像、HTML頁或網頁。語音郵件系統可對用戶的語音郵件自動產生多通道文件，以允許用戶控制消息的重放速度。在電話網中使用多通道文件將可避免在改變重放速率的過程中接收機(例如行動電話)消耗處理或電池電源。
圖2A、圖2B、圖2C、圖2D和圖2E表示多通道媒體文件190的合適格式，且將在以下進行說明。所說明的格式僅為示例，且在數據結構的大小、順序及內容上有多種不同的變化。
廣義來講，如圖2A所示，多通道媒體文件190包括文件頭210、N個音頻通道220-1至220-N，以及M個數據通道230-1至230-M。文件頭210表示該文件且可包含通道220-1至220-N和230-1至230-M中音頻幀圖表與數據幀。音頻通道220-1至220-N將包含不同時間定比與壓縮方法的音頻數據，而數據通道230-1至230-M包含用於顯示的書籤信息和嵌入式數據。
圖2B表示文件頭210的實施例。在該實施例中，文件頭210包括表示多通道文件190和文件整體屬性的文件信息212。特別是，文件頭210可包括通用文件ID、文件標籤、文件尺寸、文件狀態欄位，和指示數據通道220-1至220-N及230-1至230-M的數量、偏移量和音頻尺寸的通道信息。
文件頭210中的通用ID指示並依賴於多通道文件190的內容。通用ID可以從多通道媒體文件190的內容產生。用於產生64位元組的通用ID的方法對多通道文件190的64位元組片段進行一系列的XOR運算。在一個會話中，演示的用戶啟動演示、暫停該會話，且在稍後希望恢復使用該演示時，通用文件ID是有用的。如以下所述，多通道媒體文件190可存儲在一個或多個遠程伺服器上，且伺服器的操作者可能移動或改變該演示內容的名稱。當用戶嘗試啟動該原始或另一伺服器上的第二會話時，來自伺服器中的文件通用ID頭將與用戶系統中的高速緩存的通用ID進行比較，以便即使是在會話之間已經移動或重新命名演示時也能確定該演示是先前啟動的。可選的，通用ID可以用於定位伺服器上的正確的演示內容。當恢復第二會話時，可以使用音頻幀以及在第一會話期間用戶系統高速緩衝的其它信息。
文件頭210同時包括多通道文件190中的所有幀的列表或圖表。在所示實例中，文件頭210包括各幀的通道索引213、幀索引214、幀類型215、偏移量216、幀尺寸217及狀態欄位218。通道索引213及幀索引214標識通道和幀的顯示時間。幀類型指示幀的類型，例如數據或音頻、壓縮方法和音頻幀的時間定比。偏移量216指示從多通道媒體文件190開始到相關幀開始的偏移量，且幀大小217指示在該偏移量上幀的尺寸。
如以下所述，用戶系統一般從伺服器將文件頭210載入用戶系統中。當向伺服器請求特定幀時，用戶系統可使用偏移量216和幀尺寸217，且使用狀態欄位218來追蹤在用戶系統中緩衝或高速緩衝哪個幀。
圖2C表示音頻通道220的格式。音頻通道220包括通道頭222和K個壓縮音頻幀224-1至224-K。通道頭222包含有關通道整體的信息，包括例如通道標籤、通道偏移量、通道尺寸、和狀態欄位。通道標籤可標識通道的時間定比和壓縮方法。通道偏移量與尺寸指示從多通道文件190開始到通道開始的偏移量，以及在該偏移量上開始的通道尺寸。
在示例實施例中，所有的音頻通道220-1至220-N具有K個音頻幀224-1至224-K，但幀的尺寸一般根據與幀相關的時間定比、應用於幀的壓縮方法、以及壓縮方法在特定幀的數據上的如何操作而進行變化。圖2D表示音頻幀224的典型格式。音頻幀224包括幀頭226以及幀數據228。幀頭226含有說明諸如幀索引、幀偏移量、幀尺寸和幀狀態等幀屬性的信息。幀數據228實際上為以時間定比處理的數據，並且為從原始音頻產生的壓縮數據。
數據通道230-1至230-M為與書籤相關的數據。在示例實施例中，各數據通道230-1至230-M相應於特定書籤。或者，單個數據通道可含有與書籤相關的所有數據以使M等於1。多通道媒體文件190的另一替代實施例具有針對每種書籤的數據通道，例如四個數據通道分別與文字、圖像、HTML網頁描述符和連結相關聯。
圖2E表示用於多通道媒體文件190中的數據通道230的合適格式。數據通道230包括數據通道頭232和相關數據234。數據通道頭232一般包括諸如偏移量、大小與標籤信息等通道信息。數據通道頭232可附加地標識時間範圍，或開始幀索引以及停止幀索引，該幀索引可指定相應於該書籤的一段時間或一組音頻幀。
圖3表示在如上所述的用於產生多通道媒體文件190的著作工具的用戶界面300。當產生演示內容時，著作工具將允許用於書籤產生的輸入170，和原始音頻數據110的可視信息附件。一般來說，由於可視信息提供用於了解演示內容音頻部分的關鍵點，當以快於正常速度的速率來播放音頻時，增加適當的可視信息可以大大地方便對演示內容的了解。此外，圖形對音頻的連接將允許以有序方式來演示圖形。
用戶界面300包括音頻視窗310、可視顯示視窗320、滑動條330、標誌列表340、標誌數據視窗350、標誌類型列表360以及控制器370。
音頻視窗310顯示在時間範圍內代表所有或部分的原始音頻數據110的波形。當作者檢查演示內容時，音頻視窗310將指示相對於原始音頻110的時間索引。該作者將使用滑鼠或其它裝置來選擇相對於原始音頻數據110開始的任何時間或時間範圍。可視顯示視窗320顯示圖像或與原始音頻110中當前所選的時間索引相關的其它可視信息。滑動條330和標誌列表340各自包含小圖片(thumbnail)幻燈片和書籤名稱。作者可通過選擇標誌列表340中的相應書籤或滑動條330中的相應幻燈片來選擇特定書籤以修改或只是在演示中跳到與書籤相關的時間索引。
為了加入書籤，作者將使用音頻視窗310、滑動條330或標誌列表340來選擇書籤的開始時間，且使用標誌類型列表360來選擇書籤的類型，並使用控制器370以在所選的時間開始進行加入所選類型的書籤的過程。加入書籤的細節一般依賴於與該書籤相關的信息類型。為了說明的目的，將在下面說明加入與書籤相關的嵌入式圖像，但是可與書籤相關的信息類型並不限於嵌入式圖像。
加入嵌入式圖像需要作者選擇代表圖像的數據或文件。該圖像數據具有任意格式，但最好是適合在低帶寬通信鏈路中進行傳輸的格式。在一個實施例中，嵌入式圖像是幻燈片，例如利用Microsoft Power Point軟體所做的幻燈片。該著作工具在多通道媒體文件190的數據通道中嵌入或存儲圖像數據。
作者為書籤取一個名稱，該名稱是出現在標示列表340中的名稱，並且設定或改變相關於該書籤和圖像數據的音頻幀索引值(即開始與結束時刻)的範圍。當顯示出該演示內容時，可視顯示視窗320顯示在任意音頻幀的重放期間與書籤相關的圖像，而該音頻幀具有與書籤相關的範圍中的幀索引。
著作工具根據與該書籤相關的圖像把小圖片(thumbnail)圖像加入到滑動條330中。當作者產生該多通道文件時，可在根據多通道媒體文件190特定格式的位置例如在文件頭210或在數據通道頭232中存儲書籤名稱、音頻索引範圍以及小圖片數據作為多通道媒體文件190中的標識數據，如下所述，當用戶跳到演示內容中的書籤位置時，對演示內容的用戶系統初始化可包括存取並顯示標誌列表和滑動條以進行使用。
以與相關於嵌入式數據的書籤類似的方式，加入與諸如文字、HTML網頁、或與網絡數據(例如網頁)的連結等其它類型圖形數據相關的書籤。對於各種不同類型的圖形數據來說，標誌數據視窗350可用不同於可視顯示視窗320中數據外觀的形式來顯示圖形數據。例如，標誌數據視窗350可含有文字、HTML程序碼、或連結，而可視顯示視窗320可顯示文字、HTML網頁或網頁的相應外觀。
例如，如圖1所示在完成加入書籤和相關數據之後，作者使用控制器370來暫停多通道文件190的產生。作者可選擇一個或多個時間定比，其中所述時間定比對於多通道文件中的音頻是可用的。
圖4表示根據本發明的實施例用於觀看演示內容的系統中的用戶界面400。用戶界面400包括顯示視窗420、滑動條430、標誌列表440、源視窗450、和控制條470。源視窗450提供演示內容列表以供用戶進行選擇並且指示當前所選的演示內容。
控制條470允許對演示內容進行一般控制。例如，用戶可開始或停止演示內容、加速或放慢該演示內容、切換到正常速度、快速前進或快速倒轉(fastbackward)(即向前跳或向後跳一段固定時間)，或激活所有或部分演示內容的自動重複播放。
滑動條430與標誌列表440標識書籤，且允許用戶跳到演示內容的書籤中。
顯示視窗420是用於諸如文字、圖像、html網頁或同步於音頻的網頁等可視內容。利用正確選擇的可視內容，演示內容的用戶可更容易地了解音頻內容，甚至是在以高速播放音頻的時候。
圖5是實施具有圖4的用戶界面的演示播放器的示例過程500的流程圖。過程500可以以計算機系統中的軟體或硬體方式來執行。在步驟510中，過程500通過圖4的用戶界面獲得事件，該事件可以為無事件或用戶的選擇。
判決步驟520確定用戶是否已經開始進行新演示內容，新演示內容是其頭信息未被高速緩衝的演示內容。如果用戶已經開始進行新演示內容，過程500將在步驟522中連接演示內容的源，且請求文件頭信息。該源一般為例如通過網絡(例如網際網路)連接至用戶計算機的伺服器的裝置。
當源返回所請求的頭信息時，如控制請求並緩衝演示內容幀等操作所要求的那樣，在步驟524中，載入頭標信息。特別是，步驟526復位可能已包含另一演示內容的幀和數據的重放緩衝器。
在步驟526復位重放緩衝器之後，步驟550維護重放緩衝器。一般來說，如果用戶並未改變幀索引或重放速率，則在步驟550，通過識別出依序進行播放的一系列音頻幀來維護重放緩衝器，進而確定是否可在幀高速緩衝器中得到該音頻幀系列中的任意音頻幀，且發送請求到系列音頻幀中的音頻幀的源，而不是至幀高速緩衝器中。
在本發明的網際網路實施例中，當向伺服器請求特定幀或數據時，過程500使用公知的http協定。因此，伺服器並不需要一種專門伺服器應用程式來提供該演示。然而，另一替代實施例可通過應用一種伺服器應用程式以與用戶進行通訊並將數據提供給用戶以提供較佳的效能。
當用戶從源接收到音頻幀時，如果系列中的幀需要進行播放的話，過程500將緩衝或高速緩衝音頻幀，但僅將重放緩衝器中的音頻幀進行排序。如果需要播放的音頻幀將在重放緩衝器進行排序的話，步驟560將利用從重放緩衝器中的幀進行解壓縮得到的數據流來維護音頻輸出。當音頻流從一個幀索引切換到下一幀索引時，如果所請求的音頻幀不可用的話，則過程500暫停演示。
步驟570維護視頻顯示。應用過程500將針對該演示內容對頭中指示的位置請求圖形數據。特別是，如果該圖形數據代表文字、圖像、或嵌在多通道文件中的html網頁的話，過程500將向該源請求圖形數據並且根據其類型解釋圖形數據。如果圖形數據是網絡數據的話，例如多通道文件中由連結所識別出的網頁，過程500將接入連結以檢索網絡數據來進行顯示。如果當需要時，因為網絡狀況或其它問題而導致圖形數據不可用的話，過程500繼續維護演示內容的音頻部分。這可避免當網絡流量高時發生完全中斷的問題。
在步驟580中，過程500確定網絡的流量或可用帶寬。可從在該源提供的任何所請求的信息或幀緩衝器狀態的速度來確定網絡流量或帶寬。如果網絡流量過高而無法在所需速率提供數據來進行順利的演示內容重放的話，過程500在步驟584中決定改變演示內容的通道索引，以選擇需要較少帶寬的通道(即使用較多數據壓縮)，但仍可提供用戶所選的音頻重放速度。如果網絡流量低，步驟584可改變演示內容的通道索引以選擇使用較少的數據壓縮的通道，且可以在所選擇的音頻重放速度上提供較佳的聲音品質。
如果判決步驟530確定該事件是用戶改變演示內容的時間定比，應用過程500將從步驟530分支到步驟532，這可將通道索引改變為對應於所選時間定比的數值。先前確定的網絡流量將可用於針對所選的時間定比和可用網絡帶寬來選擇提供最佳期音頻品質的通道。
在步驟532改變通道索引之後，步驟526將隨後復位重放緩衝器，且解除重放緩衝器中除了當前音頻幀之外的所有音頻幀的隊列。在復位重放緩衝器之後，過程500將如上述步驟550、560與570那樣維護重放緩衝器、音頻輸出及視頻顯示。
在步驟560中維護音頻流的過程中，當前音頻幀繼續提供數據以進行音頻輸出，直到該數據用盡為止。因此，音頻輸出以先前的速率繼續進行，直到來自當前音頻幀的數據用盡為止。在該時刻，對應於下一幀索引但來自對應於新通道索引的音頻幀應該是可用的。演示內容的重放將因此切換到小於單一幀持續時間的新重放速率，例如在示例實施例中將小於0.5秒。此外，新通道中下一個幀索引的幀內容對應於緊隨在對應於先前重放速率的幀的音頻數據。因此，用戶可察覺到重放速率的流暢與實時轉換。
如果在需要時對應於下一幀索引的幀不可用，過程500暫停重放，直到用戶從該源接收到所需數據為止，且步驟550對重放緩衝器中的數據幀進行排序。本發明的替代實施例保留並且使用該音頻幀系列，所述幀在重放緩衝器中針對先前的重放速率進行排序，而不是如步驟526中進行的解除幀的隊列。因而當應用過程500無法及時地接收所需幀時，可播放先前音頻幀以避免暫停演示。以先前速率持續演示將不需要地提供非應答型的過程外觀，並且是圖5實施例避免發生的事。
如果並不開始進行新演示或改變速度，用戶選擇書籤或幻燈片，或選擇快速前進或快速後退的話，判決步驟540暫停應用過程540以分支到改變當前幀索引的過程542。當前幀索引的新數值根據用戶採取的行動而定。如果用戶選擇快速前進或快速後退，則當前幀索引將增加或減少一固定量。如果使用者選擇書籤或幻燈片，則當前幀索引變為與所選書籤或幻燈片相關的開始索引值。在示例實施例中，開始索引值位於步驟524從多個通道文件的頭部載入的數據中。
在改變當前幀索引之後，過程544將移動重放緩衝器的隊列以反映當前幀索引的新數值。如果幀索引的變化不大，則已經在重放緩衝器中排序某些以新幀索引值串聯音頻幀了。否則，移動過程544將與重放緩衝器的復位過程526相同。
圖6是說明根據本發明另一實施例的演示播放器600的多線程結構的流程圖。演示播放器600包括音頻播放線程620、音頻載入與高速緩衝線程630、圖形數據載入線程640以及顯示線程650，其均受到過程管理器610的控制。一般在諸如與網際網路或LAN連接的個人電腦或PDA(個人數字助理)、與電話網連接的蜂窩電話等具有網絡連接的計算系統中運行演示播放器600。
當啟動音頻播放線程620時，音頻播放線程620使用來自重放緩衝器625的數據以產生聲音信號作為演示內容的音頻部分。在一實施例中，音頻重放緩衝器625含有壓縮形式的音頻幀，且音頻播放線程620對音頻幀進行解壓縮。或者，音頻重放緩衝器625含有未經壓縮的音頻數據。
音頻載入與高速緩存線程通過網絡接口660與演示內容源進行通信，並填滿音頻重放緩衝器625。此外，音頻載入與高速緩衝線程630將音頻幀預先載入至電腦計算系統的揮發性存儲器(active memory)中，並且控制向硬碟或其它存儲裝置高速緩衝音頻幀。線程630使用幀狀態表632來追蹤組成該演示內容的音頻幀的狀態，並且可以用上述方式從多通道文件的頭部構建幀狀態表632。例如，當各音頻幀的狀態已改變以指示是否音頻幀被載入到揮發性存儲器中、是否已部分地被載入到磁碟上和高速緩衝，或者是否根本未被載入時，線程630改變幀狀態表632。
在本發明的示例實施例中，音頻載入與高速緩衝線程630預先載入對應於當前所選的時間定比的一系列音頻幀。特別地，線程630在演示內容的開始預先載入一系列音頻幀，和以演示書籤的開始幀索引開始的其它系列幀。因此，如果用戶跳到對應於書籤的演示內容中的一位置時，演示播放器600可快速移動到書籤位置，而不會通過網絡接口660使載入音頻幀發生延遲。
當用戶改變演示的時間定比時，將復位音頻重放緩衝器625，且音頻載入與高速緩衝線程630開始從新通道載入對應於新時間定比的幀。在示例實施例中，過程管理器610並不會啟動音頻播放線程620，直到音頻重放緩衝器625含有用戶所選的數據量為止，例如2.5秒的音頻數據。如果音頻幀的網絡傳輸不規則，延遲啟動可避免重複停止音頻播放線程620。一般來說，當音頻重放緩衝器625為空或幾乎為空時，音頻載入與高速緩衝線程630選擇具有高壓縮速率的音頻通道，且當音頻重放緩衝器625含有充足的數據量時，切換至能提供較佳音頻質量的通道。
圖形數據載入線程640與顯示線程650分別載入圖形數據以及顯示圖形圖像。圖形數據載入線程640可將圖形數據載入到數據緩衝器642中，且可為顯示線程650準備顯示數據644。特別是，當圖形數據是對諸如網頁等的網絡數據的連結時，圖形數據載入線程640通過網絡接口660從演示源接收該連結，且隨後存取與該連結相關的數據以得到顯示數據644。或者，圖形數據載入線程640直接地使用來自演示源的嵌入式圖像數據作為顯示數據644。
根據本發明的一方面，播放演示將在音頻附近進行調音過程。因此，過程管理器610給予音頻載入與高速緩衝線程630最高的優先順序。然而，在某些實施例中，音頻載入與高速緩衝線程630可選擇具有高壓縮的音頻通道以為圖形數據釋放更多帶寬。特別是，在音頻到達書籤開始幀索引之前的一段時間前，當音頻播放線程620到達開始幀索引時，線程630可轉換到更高的壓縮音頻通道，以提供帶寬給線程640來載入新圖形數據而進行顯示。
上述的演示播放器與著作工具可提供演示內容，所述演示內容允許用戶對重放速率或對時間定比進行實時改變而不必具備特殊的硬體、大量的可用處理功率、或高帶寬網絡連接。由於其中改變重放速率的功能相當方便，這樣的演示內容對大部分企業、商業環境和教育環境來說是相當有用的。然而，當不需要考慮改變重放速率時，這樣的系統也是相當有用的。特別地，如上所述，著作工具的某些實施例產生適於存取任何執行諸如HTTP協議等認可協議的伺服器的演示內容。因此，即使是一位漫不經心的作者也可以錄製音頻消息，且使用著作工具來將圖像與音頻消息同步，進而為家庭或朋友產生個人演示內容。演示內容的接收者可以播放演示內容而不需要使用特殊硬體或高帶寬網絡連接。
本發明的各方面可同時應用於獨立式系統(standalone system)中，在所述獨立式系統中，不考慮網絡連接，但是處理功率或電池單元可能會受到限制。圖7表示為用戶提供的對演示內容的時間定比或重放速率的實時控制的獨立式系統700。獨立式系統700可以是可攜式裝置，例如PDA或可攜式電腦，或特別設計的演示播放器。系統700包括數據存儲器710、選擇邏輯720、音頻解碼器730和視頻解碼器740。
數據存儲器710可以是能夠存儲代表上述演示內容的多通道文件715的任何媒質。例如，在PDA中，數據存儲器710可以是快閃記憶體盤或其它類似裝置。或者，數據存儲器710可以包括磁碟播放器和CD-ROM或其它類似媒質。在獨立式系統700中，數據存儲器710提供音頻數據和任意圖形數據，因此並不需要網絡連接。
音頻解碼器730將從數據存儲器710接收音頻數據流，且將音頻數據流轉換成可通過放大器或揚聲器系統735進行播放的音頻信號。為了使所需的處理功率最小化，多通道文件715包含未經壓縮的數字音頻數據，且音頻解碼器730是一種傳統的數字/模擬轉換器。或者，如果系統700是為包含壓縮音頻數據的多通道文件715設計的，則音頻解碼器730可對數據進行解壓縮。類似地，如顯示器745所需，數據存儲器710可從多通道文件715向轉換圖像數據的可選視頻解碼器740提供任意圖形數據。
選擇邏輯720選擇由數據存儲器710向音頻解碼器730和視頻解碼器740提供的數據流。選擇邏輯720包括按鈕、切換開關或用於控制系統700的其它用戶界面裝置。當用戶改變重放速率時，選擇邏輯720引導數據存儲器710切換到多通道文件715中對應於新重放速率的通道。當用戶選擇書籤時，選擇邏輯720將引導數據存儲器710跳到對應於該書籤的幀索引，並從新時間索引恢復音頻和視頻數據流。因為時間定比或書籤的選擇僅需要改變數據存儲器710在從多通道文件715讀取音頻和圖形數據流時使用的參數(例如通道或幀索引)，選擇邏輯720需要很少或不需要處理功率。
因為多通道文件715的音頻通道已包括時間定比音頻數據，所以獨立式系統700不會消耗為任何時間定比的處理功率。因此，獨立式系統700幾乎不會消耗電池或處理功率，且仍可提供具有時間定比的實時用戶改變的時間定比演示內容。在特別設計的演示播放器中，由於系統700不需要重要的處理硬體，獨立式系統700可降低裝置的成本。
雖然已經參照特定實施例來說明本發明，上述說明僅是本發明應用的示例，不應被視為對本發明的限制。上述實施例的不同應用與組合均屬於所附權利要求所限定的發明範圍。
工業應用性本發明可以被用於媒體編碼、傳輸和重放的處理和結構，在所述處理和結構中，採用具有相應於將在網絡上傳輸的演示內容的不同重放速率的不同音頻通道的多通道結構。
權利要求
1.一種含有代表演示內容的數據結構的裝置，所述數據結構包括第一音頻通道，表示在由第一時間定比因數進行時間定比處理之後的所述演示內容的音頻部分；和第二音頻通道，表示由第二時間定比因數進行時間定比處理之後的所述音頻部分，其中，所述第二時間定比因數與所述第一時間定比因數不同。
2.如權利要求1所述的裝置，其中所述第一音頻通道包含多個幀；所述第二音頻通道包含多個幀，所述多個幀以一對一方式對應於所述第一音頻通道中的多個幀；和所述第一音頻通道和第二音頻通道中的相應幀表示所述演示內容的相同時間間隔。
3.如權利要求2所述的裝置，其中所述第一音頻通道中的各個幀是利用第一壓縮方法分別進行壓縮的。
4.如權利要求3所述的裝置，其中所述數據結構還包含第三音頻通道，所述第三音頻通道代表在由所述第一時間定比因數進行時間定比處理之後的所述音頻演示內容，其中所述第三音頻通道中的各個幀是利用第二壓縮方法分別進行壓縮的。
5.如權利要求1所述的裝置，其中所述數據結構還包含標識與所述音頻演示內容相關的圖形的數據通道。
6.如權利要求1所述的裝置，其中所述第一音頻通道包含多個幀，而每一幀具有標識該幀所代表音頻部分的時間間隔的索引值；所述第二音頻通道包含多個幀，而所述第二通道中的各個幀具有標識該幀所代表音頻部分的時間間隔的索引值。
7.如權利要求6所述的裝置，其中將分別對所述第一和第二數據通道中各個幀進行壓縮。
8.如權利要求6所述的裝置，其中所述數據結構還包含對應於多個書籤的數據通道，其中每一書籤具有索引值且標識圖形，所述索引值指示相對於所述第一或第二音頻通道的幀播放的圖形的顯示時間。
9.如權利要求1所述的裝置，其中所述裝置包括與網絡連接的伺服器。
10.如權利要求1所述的裝置，其中所述裝置包括數據存儲器，用於存儲所述數據結構；解碼器，連接以從所述數據存儲器接收數據流，所述解碼器轉換所述數據流以進行可感知的演示內容；和選擇邏輯，與所述數據存儲器連接並且能夠為來自包含所述第一音頻通道和所述第二音頻通道的一組通道中的數據流選擇源通道。
11.如權利要求10所述的裝置，其中所述裝置是依賴於電池電源運行的獨立式裝置。
12.一種含有代表音頻演示內容的數據結構的裝置，所述數據結構包含代表時間定比處理之後的音頻演示內容的多個音頻通道，其中每一音頻通道具有相應的時間定比因數且包括多個音頻幀；和每一音頻幀具有從相同通道中的其它音頻幀唯一區分出所述音頻幀並將所述音頻幀識別為相應於其它音頻通道中的特定音頻幀的幀索引。
13.如權利要求12所述的裝置，其中處於不同通道且具有相同幀索引的音頻幀標識音頻演示內容的相同部分。
14.一種用於對音頻數據編碼的方法，包含對音頻數據進行多個時間定比過程以產生多個時間定比音頻數據組，而每一時間定比音頻數據組具有不同的時間定比因數；和產生數據結構，其含有個別對應於該多個時間定比過程的多個音頻通道，其中每一音頻通道的內容來自對所述音頻數據進行對應時間定比過程之後而產生的時間定比音頻數據組。
15.如權利要求14所述的方法，其中產生所述數據結構包含步驟將每一時間定比音頻數據組劃分成多個幀；分別壓縮每一幀以產生壓縮幀；和將所述壓縮幀集中至所述多個音頻通道中，而每一音頻通道具有所述不同時間定比因數中的一個相應的時間定比因數。
16.如權利要求15所述的方法，其中所述劃分步驟產生的所有幀對應於所述音頻數據中的相同時間量。
17.如權利要求15所述的方法，其中分別壓縮每一幀的步驟包含應用多個不同壓縮過程以從每一幀產生多個壓縮幀。
18.如權利要求17所述的方法，其中集中所述壓縮幀的步驟產生音頻通道，以便在每一音頻通道中，所述音頻通道中的所有壓縮幀具有相同的時間定比和壓縮過程。
19.一種播放演示內容的方法，包含通過網絡從源將第一幀載入到播放器中，所述第一幀代表在由第一時間定比因數進行時間定比處理之後的演示內容的第一音頻部分，其中所述第一音頻幀具有第一通道索引值，所述第一通道索引值將所述第一音頻幀標識為正在由所述第一時間定比因數進行定比；根據來自所述第一音頻幀的數據播放所述演示內容的第一部分；接收請求以將播放從所述第一時間定比因數改變為第二時間定比因數；向所述源請求具有第二通道索引值的第二音頻幀，所述第二通道索引值將所述第二音頻幀標識為正在由所述第二時間定比因數進行定比；和在所述第一幀之後播放所述第二幀以提供所述演示內容的時間定比過程中的實時變化。
20.如權利要求19所述的方法，其中所述第一幀具有第一幀索引值，該第一索引值標識所述第一音頻幀所代表的演示內容的第一部分，且所述第二幀具有第二索引值，該第二索引值標識所述第一音頻幀所代表的演示內容的第二部分。
21.如權利要求20所述的方法，其中所述第二索引值緊接著所述第一時間索引值。
22.如權利要求19所述的方法，其中幀的通道索引值還指示所述幀的相應的壓縮過程，且其中所述方法還包含確定所述網絡上的可用帶寬；和從標識所述第二時間定比因數的多個通道索引值中選擇所述第二通道索引值，其中所述第二通道索引指示在可用帶寬提供最高音頻質量的壓縮過程。
23.如權利要求19所述的方法，其中幀的通道索引值還指示所述幀的相應壓縮過程，且其中所述方法還包含確定所述網絡上的可用帶寬；從標識第二時間定比因數的多個通道索引值中選擇第三通道索引值，其中所述第三通道索引指示在可用帶寬提供最高音頻質量的壓縮；向所述源請求具有第三通道索引值的第三音頻幀，所述第三通道索引值將所述第三音頻幀標識為正在由所述第二時間定比因數進行定比；和在所述第二幀之後播放所述第三幀以提供所述演示內容的時間定比過程中的實時變化。
24.一種用於在接收機上播放音頻演示內容的方法，所述接收機通過網絡連接到具有表示所述音頻演示內容的多通道數據結構的源，所述方法包含確定所述網絡上的可用帶寬；從多個通道中選擇所述多通道數據結構的第一通道，所述多個通道表示由期望的時間定比因數進行時間定比之後的音頻演示內容，其中所述第一通道包含利用在可用帶寬提供最高音頻質量的壓縮過程所壓縮的數據；從所述第一通道接收第一幀；和播放所述第一幀。
25.如權利要求24所述的方法，其另包含在接收到所述第一幀之後，確定所述網絡上的可用帶寬；從所述多個通道中選擇所述多個通道數據結構的第二通道，所述多個通道表示由所期望的時間定比因數進行時間定比之後的音頻演示內容，其中所述第二通道包含在接收所述第一幀之後，利用在可用帶寬提供最高音頻質量的第二壓縮過程所壓縮的數據；從所述第二通道接收第二幀；以及在播放所述第一幀之後播放所述第二幀。
26.一種用於控制網頁顯示的方法，包含為表示演示內容音頻部分的音頻數據的相應值分配一系列網頁；播放從所述音頻數據產生的音頻；和顯示每一網頁以響應所述播放，所述達到所述音頻數據中分配給所述網頁的索引值。
27.如權利要求26所述的方法，其中分配所述系列網頁的步驟包括將所述音頻數據劃分為一系列的幀；為每一幀分配不同的索引值；和為幀的所述索引值分配每一網頁，其中當播放所述幀時顯示所述網頁。
28.如權利要求26所述的方法，其中分派所述系列網頁的步驟包括產生數據結構，所述數據結構包括包含音頻幀的音頻通道，所述幀一起構成所述音頻數據；和數據通道，為每一網頁包含對所述網頁的連結，和標識對應於所述網頁的音頻幀的幀索引值。
29.如權利要求26所述的方法，其中分配所述系列網頁到相應索引值的步驟包括將每一網頁分配給開始索引值和停止索引值，其中將在幀播放過程中進行顯示的網頁具有在所述開始索引值和所述停止索引值之間的索引值。
30.一種用於編寫演示內容以在計算機系統上進行重放的方法，包含為所述演示內容的音頻數據分配時間索引值；為每一圖像分配所述時間索引值的範圍，所述圖像由所述演示內容的圖形數據表示；和構成包含所述音頻數據和所述圖形數據的文件，其中所述文件具有指示在播放音頻數據的過程中所發生的每一圖像的顯示，所述音頻數據已被分配在分配給所述圖像的範圍中的時間索引值。
31.如權利要求30所述的方法，其中所述圖形數據包括指示網絡上可用數據的連接，而顯示與所述連結相關的圖像的步驟包括檢索所述連結標識的數據。
32.如權利要求31所述的方法，其中所述連結標識網頁，而顯示與所述連結相關的圖像的步驟還包含顯示所述網頁。
33.如權利要求30所述的方法，其中所述圖形數據包括嵌入在所述文件中的圖像數據，而顯示所述圖像的步驟包括顯示所述圖像數據代表的圖像。
34.如權利要求30所述的方法，其中為所述音頻部分分配時間索引值的步驟包括將所述音頻數據劃分為多個幀，其中每一幀根據所述幀的播放順序具有時間索引值；和構成包括將所述幀集中至音頻通道中的文件。
35.如權利要求34所述的方法，還包括集中數據通道中的圖形數據。
36.如權利要求30所述的方法，其中為圖像分配所述時間索引值的範圍的步驟包括標識所述音頻數據的時距；選擇所述時距中的點；和選擇將分配到所選點的圖像中的一圖像。
全文摘要
媒體編碼、傳輸與重放過程和結構採用多通道結構，該結構具有相應於將在網絡上傳輸的演示內容的不同重放速率的不同音頻通道。不同音頻通道中的音頻幀均對應於原始演示內容中的相同時間量，且具有識別不同音頻通道中對應於演示內容的相同時間間隔的幀索引。用戶可對重放速率進行實時變換，進而可選擇對應於新重放速率的通道，以及用於提出並在進行演示內容的重放速率平滑轉換的幀。該結構還提供用於根據音頻索引顯示的圖形數據的通道，以及具有相同重放速率但不同壓縮方案的不同音頻通道，以根據網絡上的可用帶寬進行使用。
文檔編號G10L19/00GK1507731SQ0280937
公開日2004年6月23日 申請日期2002年5月2日 優先權日2001年5月4日
發明者肯尼思·H·P·張, 肯尼思 H P 張 申請人:Ssi株式會社