一種及早開始呈現音視頻的系統及方法

2023-05-31 09:07:06 1

專利名稱：一種及早開始呈現音視頻的系統及方法
技術領域：
本發明一般涉及音視頻的呈現，特別是一種及早開始呈現音視頻的方法。
背景技術：
本節意在向讀者介紹下面的說明書中所描述和/或在權利要求中所要求的與本 發明的各個方面相關的各種背景技術。相信這些討論對於向讀者提供背景信息以輔助更好 地理解本發明的各個方面是有用的。因此，應理解這些陳述要按照這個目的來讀，而不是對 現有技術的供認。
電視廣播技術的改變導致跳臺的時間更長了。模擬廣播電視的跳臺是瞬間的。數 字電視的跳臺則需要更多時間。下面介紹一下這個現象。視頻一般使用標準壓縮系統諸如 MPEG-2或JVT/H. 26/MPEG AVC通過廣播網絡發布。MPEG標準定義了圖像組(GoP)。這些圖 像組定義了接續的圖像序列I、P、B。這些圖像被定義於MPEG標準中。I圖像的編碼不參照 其它圖像。P圖像則參照前面的I圖像或P圖像。B圖像參照前面及後面的I圖像或P圖 像。當接收機接收一個新節目時，要等收到一個I圖像時才開始對節目解碼，這就在接收視 頻流與在屏幕上呈現該視頻流之間出現了延遲。用於減少數位電視帶寬的機制採用越來越少的I圖像。解碼器要用更多的時間找 到I圖像並對其解碼。這可能要半秒時間。而且，通過IP網絡傳輸電視，在解碼器端需要 更多的緩存來彌補網絡傳輸的不穩定性。這增加了節目接收與電視視頻流傳輸至解碼器之 間的時間。從接收到在屏幕上呈現新節目圖像之間則需要超過兩秒以上。有些減少跳臺時間的技術出現了。W02005112465A1描述了進行跳臺快速解碼的附 加流，例如快速查找I圖像。歐洲專利申請EP1523190描述了一種單播束推方法來填充解 碼器。這些方法要求向解碼器發送專用於跳臺處理的附加流。

發明內容
本發明是關於一種及早開始呈現音視頻的方法。它在音視頻接收機端提供了 一種 不受音視頻發送端影響的簡單的方法。因此，本發明是關於一種在接收機端播放流的方法，該流包括一組適於以標準呈 現速度呈現的離散樣本，包括在接收機端的步驟有開始接收流；以低於標準呈現速度的 速度呈現該離散樣本，並將呈現速度加速至標準呈現速度。該流接收自其它裝置。該接收機開始接收該流。不同於以標準呈現速度開始呈現離散樣本，本發明的接收機以較低的速度開始呈 現。這是一種慢啟動呈現。而呈現的速度被徐緩而連續地提高至標準呈現速度。這就能較 早地呈現出離散樣本。根據本發明的一種實施例，流包括一組連續的樣本，連續及離散的樣本適於以標 準呈現速度以同步方式被呈現，該方法進一步包括當離散樣本以低於正常速度的速度呈現 時，以跟離散樣本不同步的標準呈現速度呈現連續樣本的步驟，以及當離散樣本以正常呈現速度呈現時，以跟離散樣本同步的標準呈現速度呈現連續樣本。在對終端用戶呈現不暢的情況下將實行用慢速度啟動連續樣本的呈現的方法。在 終端用戶等待可接受的同步連續樣本呈現的時間可能對終端用戶來說會有些長。本發明的 連續樣本呈現與離散樣本呈現不同步。該方法能給終端用戶及早提供可接受的連續樣本呈 現。根據本發明的一個具體實施例，呈現與離散樣本同步的連續樣本的步驟自將離散 樣本的呈現調整為連續樣本的呈現開始。隨後該同步啟動對終端用戶透明。根據本發明的一個具體實施例，呈現與離散樣本不同步的連續樣本的步驟自以標 準呈現速度呈現離散樣本的時間所對應的時間開始。根據本發明的各種實施例，流包括一組連續的樣本，連續及離散樣本適於以標準 呈現速度以同步方式呈現，該方法進一步包括步驟當離散樣本以低於正常速度的速度呈 現時，以及當連續樣本的呈現速度達到一閾值時，以與離散樣本同步且低於正常速度的速 度來呈現連續樣本，其中該速度被連續地加速至標準呈現速度。
以低於正常呈現速度的速度來呈現連續樣本是可能的，這種呈現是終端用戶可接 受的。本方法能在連續樣本的呈現剛開始順暢時及早與離散樣本的呈現同步開始呈現。根據本發明的一個具體實施例，在接收流的步驟之前，本方法包括跳到一新的節 目的步驟。本發明的方法令跳臺的時間減少。根據本發明的一個具體實施例，離散樣本為視頻樣本，連續樣本為音頻樣本。根據本發明的一個具體實施例，該流為MPEG-2流。根據本發明的一個具體實施例，該離散樣本的呈現時間取決於相同呈現時間的連 續及離散樣本的接收之間的延遲。當對應於相同呈現時間的連續樣本與離散樣本的接收之間的延遲太高時，提高離 散樣本呈現時間能使其能與連續樣本呈現相同步。下面結合所公開的具體實施例來闡述某些相關方面特徵。應該理解的是，這些方 面的特徵只是為了向讀者提供本發明某些形式的主要內容而展現，而這些方面的特徵不是 為了對本發明加以限定。當然，本發明亦可包含下面未及闡述的各種特徵。


參照以下附圖，通過對下面的具體實施例以及所實行的示例的非限制性的描述可 以更好地理解本發明圖1為根據本發明的實施例的系統模塊圖；圖2為根據本發明的實施例的接收機模塊圖；圖3為描述根據本發明的實施例的慢啟動視頻呈現過程的示意圖；圖4為描述根據本發明的第一實施例的慢啟動視頻呈現過程的示意圖；圖5為描述根據本發明的第二實施例的慢啟動視頻呈現過程的示意圖；圖6為描述根據本發明的第三實施例的慢啟動視頻呈現過程的示意圖；圖7為描述音頻視頻流的接收的示意圖8為描述根據該音頻視頻流的接收呈現音頻和視頻的示意圖；以及圖9也是描述根據該音頻視頻流接收的呈現音頻和視頻的示意圖。
具體實施例方式在圖1和圖2中，所示的模塊都是單純的功能單元，不必對應於物理上單獨的單 元。即，它們可以以軟體方式被開發，或以一個或多個集成電路或者兩者的結合來實施。
圖1所示為根據本發明的實施例的系統。它包括裝置，諸如伺服器6、接收機4、 以及視頻顯示屏5等。該伺服器包括視頻源模塊1以及視頻編碼器模塊2。當然，視頻源模 塊和視頻編碼器模塊可被包含在分開的裝置中。伺服器對音視頻流進行編碼並通過網際網路 3將音視頻流傳送至接收機。當然，音視頻流可以通過任何類型的能夠將音視頻流從伺服器 傳送至接收機的網絡來進行傳輸。特別是，該網絡可以是一個區域網。音視頻的不同組成 成分還可以通過多種不同的網絡來傳輸；其中這些組成成分可隨後以某種方式在接收機上 對其進行同步。該視頻接收機為機頂盒。當然它還可以是任何包括諸如在機頂盒中含有的 進行視頻解碼的那些功能的裝置。該視頻流由機頂盒接收，解碼並在視頻顯示屏上呈現。圖2所示為根據本發明的實施例的一種接收機。該接收機包括自網絡伺服器接收 音視頻數據的通信模塊21。它包括用於儲存音頻數據和視頻數據的儲存模塊23。它還包 括用於解碼音頻流和視頻流的音視頻解碼模塊25。它包括讓用戶控制接收機的用戶界面 24。該用戶界面能激活或取消該跳臺zapping方法。這裡所描述的不同的實施例可以都實 現於同一接收機中，並且用戶界面可以選擇這些跳臺方法中的一種。根據這些實施例，採用 了一種處理模塊22來執行這些方法。數據通過一內部總線26在該裝置內循環。圖3描述了根據本發明的實施例的慢啟動視頻呈現過程的示意圖。它包括接收緩 存填充級別以及視頻呈現速度以時間為函數的示意圖。以標準速度來傳輸流。讓接收機以 標準速度呈現流。在步驟Si，流在接收機上被接收。沒有圖像被保存或呈現。在步驟S2在 流中找到I圖像。階段1開始，其中I圖像在屏幕上顯示。然後，接收機開始在接收緩存中 填充。該緩衝器以接收速率進行填充，因為只有I圖像被呈現並且沒有其它圖像消耗。在 步驟S3接收緩存器到達一個開始呈現的級別。該級別對應於數據接收到能適當呈現視頻 的數量。這個級別值可以被修改使呈現可以更早或稍遲開始。如果很早，所呈現的會是一 組接續的靜止圖像。如果稍遲呈現就看上去像一部慢動作視頻。在這一步驟，呈現以低於 標準呈現速度的速度進行。這是階段2的開始。緩存器還是以接收速度填充，但以低於與 呈現速度相對應的標準速度的速度來排放。該排放的速度緩慢地加速至能夠以標準速度呈 現。因此，緩存器還在填充，但其速度隨著呈現速度接近於標準速度而越來越慢。於是在步 驟4，呈現速度被加速至接收緩存充滿之時。這個對應於以標準速度呈現視頻的階段3。排放速度的加速如下視頻緩存填充N%。然後速度被設置至值100/ (1+(100-N) *coeff/100)。該係數coeff值的預設值設為1。例如，如果視頻緩存填充60%， 則速度為標準速度的71.4%。該coeff值可以被設為任何除1以外的值。低於1的coeff值能快速產生一可接 受的呈現速度，但需要更長時間填充緩存以達到標準速度。高於1的coeff值能快速填充 緩存，但開始時的呈現速度較低。該coeff值還可以是根據緩存大小動態修改的。隨著緩存填充增加，速度也隨後增加至達到標準速度。
慢啟動呈現過程對視頻是有利的，視頻是一組接續的靜態圖像，也被稱為離散樣 本。內容的離散樣本在一段時間內顯示時，在整個時間段內呈現出同樣的內容。在一個特 定時間內一個離散樣本總共只呈現一次。視頻是接續的離散樣本，即被或快或慢呈現的靜 態圖像。典型地，在MPEG-2中，對於相位交替逐行編碼制式(PAL)以每40ms—圖像的頻率 播放視頻，這意味著每秒25幀圖像。若頻率高於40ms對於終端用戶是可以接受的。慢啟動呈現過程對於連續樣本如音頻流是不可接受的。內容的連續樣本在一段時間內顯示時，在這個時間段內連續呈現整個內容。連續樣本在一個時間段內是逐漸呈現的。 典型地，在MPEG-I第二或第三層，音頻流被編碼為固定大小的樣本，例如對應於48kHz採樣 的每24ms—個樣本。以低於或高於正常速率的速率呈現該樣本會改變聲音的音調。當呈 現速度提高或降低5%就可以注意到這種改變。及早呈現視頻的第一實施例採用慢啟動機制，如圖4所示。圖4包括根據時間的 音頻接收緩存圖以及音頻呈現速度圖。該音頻呈現速度圖與圖3中指出的視頻呈現速度圖 相吻合。在該第一實施例中，視頻與以慢啟動方式呈現的視頻同步呈現。接收機採用一種算法在整個再處理樣本過程中修改樣本，從而不改變音調。這種 算法對於本領域一般技術人員來說是熟知的。用這種算法，下面稱為音調算法，可以提高或 降低呈現速度25%而不給終端用戶帶來很明顯的影響。因此，當接收緩存75%填滿時，接 收機可以透明地呈現音頻。當然，該閾值可以高於或低於75%，取決於所處理的聲音類型以 及算法本身。接收機在接收視頻的同時接收音頻。音頻被保存於音頻接收緩存中，這就是1』階 段，對應於圖3的階段1。當視頻在步驟S』2(對應於圖3中的步驟3)開始呈現時，音頻樣 本以同步方式消耗，但未被呈現，這就是階段1.5』。在步驟S』 3，階段2』，當音頻呈現速度 達到75%，音頻開始呈現。音頻與視頻呈現同步。在階段1.5』和2』中，音頻接收緩存慢慢 被完全填滿。在步驟S』 4，當音頻接收緩存填滿時，階段3』開始。音頻和視頻以標準速度 呈現。階段3』與圖3的階段3相吻合。有些實現手段不能提供這種音調算法來處理音頻進行慢速呈現。對於這些實現方 式，只有標準速度可以用於音頻。用前述的方法，音頻只能在階段2的結尾進入階段3時才 呈現，時間比較長。根據第二實施例的及早呈現音頻方法描述於圖5中。這是一個去同步方法，其中 接收機中沒有包括任何音調算法。圖5包括按照時間分布的音頻接收緩存圖以及音頻呈現 速度圖。音頻呈現速度圖與圖3中指出的視頻呈現速度圖相吻合。特別是，階段1的開始與 階段Ibis的開始，以及階段3與階段3bis相吻合。根據該實施例，接收機接收音頻流並填 入音頻接收緩存中，當緩存填滿時，在階段Ibis的結尾，以標準速度呈現音頻，步驟S3bis 以及階段2bis。因此，音頻呈現與視頻呈現在階段2bis不同步。音頻的呈現比慢速視頻呈 現的啟動晚。當視頻在步驟S5bis以標準速度呈現時，音頻與視頻相同步。根據第三實施例，採用音調算法的方法與去同步法結合，如圖6所示。接收機包括 運行音調算法的裝置。在階段Iter，接收機接收音頻並以視頻緩存同樣的速度填入音頻接 收緩存器。當視頻開始呈現時，音頻沒有開始呈現；音頻閾值沒有達到，音頻的呈現終端用 戶不能接受。當音頻緩存到達一閾值時，音調算法允許以減低的速度，這裡在步驟S」3為 85%，呈現音頻。這就是階段1』 ter的開始。音頻的呈現與視頻不同步。
音頻緩存填充級別高於視頻緩存填充級別。只要音頻緩存填充級別到達視頻緩存 填充級別，音頻就與視頻同步，步驟S」5。這就是階段2ter的開始。然後，同步的音頻視頻 呈現緩慢提高至到達第一實施例的標準速度，步驟S」 4以及階段3ter。當音頻和視頻在它們應該同步的時間沒有準確吻合時(例如以去同步方法在階 段2的結尾時)，將視頻成分向音頻成分調整比將音頻成分向視頻成分調整更容易。那時所 呈現的視頻圖像將被呈現比其原始周期或多或少的時間以使其趕上對應的視頻樣本。音頻 成分的調整不如視頻成分的調整容易，而且對於沒有音調算法的系統來說，這會導致給終 端用戶的聲音帶來影響，短暫的靜音或刮擦聲。音頻及視頻緩存的大小取決於音頻及視頻樣本的接收時間。它們可能以同時的或 不同的時間被接收，如圖7所示。PTS代表符合MPEG-2傳輸流的時間戳。傳輸平面描述的 是所接收的分組中的PTS值，以及PTS接收時間的區別。在圖中，為了描述的目的，PTS為 代表與期間等同的樣本，在MPEG系統中技術上不是這樣的。緩存平面指出所需要的最小接 收緩存大小，取決於接收時間的不同。該呈現平面指出了何時音頻和視頻以同步方式呈現。在同時接收時，音頻和視頻樣本在接收時有同樣的PTS。音頻和視頻緩存被同步填 充。因而，在單位時間內音頻和視頻緩存有同樣的大小。當音頻和視頻成分在傳輸層上不同步時，他們不是同時接收的。在702中，視頻早 於音頻接收，差距為2PTS，由Δ值為2表示。在703中，視頻在音頻之後收到，差距為2PTS， 由Δ值為-2來表示。然後有必要在接收機上調節緩存。在702中，視頻緩存在緩存平面上的大小為時 間上大2個PTS。在703中，音頻緩存在緩存平面上的大小為時間上大2個PTS。然後，音 頻和視頻在呈現平面以相同PTS呈現。然而，以去同步化方法，可以讓音頻在跳臺階段的很早期呈現。圖8和9描述了當音頻和視頻不是同時接收到時，根據音頻和視頻的接收呈現音 頻和視頻。如圖8所示，音頻成分的接收晚於視頻成分。不必提高視頻緩存大小，視頻緩存 的大小足夠在階段2之後同步。去同步化的音頻在它到達模擬視頻線時開始，這在下面定 義。如圖9所示，當音頻成分比視頻成分在傳輸層很晚才收到時，視頻緩存的大小被 提高至一個新的視頻緩存大小。這是必要的，因為預設視頻緩存大小不夠使視頻在階段2 之後與音頻同步的。虛擬視頻線是根據新視頻緩存大小計算出來的。去同步化的音頻在到 達虛擬視頻線時開始。呈現去同步音頻的時間點是由虛擬視頻線的交點確定的。該虛擬視頻線則是以最 終的視頻緩存大小通過外推導在沒有跳臺以標準速度呈現視頻的情況下將要呈現的視頻 PTS來計算得出的。以精確的計算，音頻和視頻在階段2結尾被同步。為了計算最終的視頻 緩存大小，視頻成分的比特流率是需要的，因為最終的視頻緩存大小以時間單位表示。虛擬視頻線的計算要考慮最小視頻緩存大小、接收時音頻和視頻比特率之間的 PTS差。這個接收比特率隨著分組接收流被連續進行計算。該最小視頻緩存大小為默認緩 存buffer_default。在接收流中的音頻和視頻差被觀察到，這就是deltajudiojideo。這提供了目標視頻緩存，即實際緩存buffer_real 實際緩存buffer_real =最大 值 max (buffer—defaulf, delta—audio—video χ 比牛寺率 bit—rate)。
虛擬視頻PTS被連續計算虛擬視頻PTS virtual_video_PTS =當前視頻PTS current_video_PTS-(buffer—real—當前緩存級另U current—buffer—level)/bit—rate。一旦真實的音頻PTS到達Virtual_Vide0_PTS，音頻即以標準速度呈現。該音頻緩存大小此時被設為音頻緩存填充級別的值。上述所指出的實施例優選為適於小的緩存器，其中小的緩存器最大對應於5秒。當緩存更大時，跳臺方法包括其它階段，在階段2與3之間，內容以接近標準速度 的速度呈現較長的一段時間。該標準級別是線性達到的。在階段3，接收機通常設有支持傳 輸抖動變化的糾錯機制，其中該標準緩存填充級別是連續更新的。在此階段中也設有糾錯 機制，其中作為累進的緩存填充的理想線的虛擬緩存級別是連續更新的。以30秒的緩存為例，階段2在緩存級為2秒時結束。然後，在新的階段視頻以設 置為標準速度的95%的速度呈現。說明書、權利要求書以及附圖中公開的參數可以是獨立地或者以任何適當的組合 來提供的。這些技術特徵可以，在任何適當之處，以硬體、軟體、或者兩者之組合來實施。這裡所參考的「實施例」意指在本發明的至少一種實施中包括的結合該實施例所 描述的某種特定的特徵、結構或特點。在說明書的不同位置出現的詞組「在一種實施例中」 不必都指同一個實施例，也不是排斥其他實施例的單獨的或替換的實施例。權利要求中所出現的參照號僅僅作為描述而不應對權利要求有任何限制性作用。
權利要求
一種用於在接收機上及早播放流的方法，所述流包括一組適於以標準呈現速度呈現的離散的樣本以及一組連續的樣本，所述連續樣本和所述離散樣本適於以同步方式以標準呈現速度呈現，包括在接收機上的步驟-開始接收所述流；-開始以低於標準呈現速度並且以與標準呈現速度呈現的連續樣本不同步的方式呈現所述離散的樣本；-將所述離散樣本的呈現速度加速至標準呈現速度；以及-以標準呈現速度並且以與標準呈現速度呈現的連續樣本同步的方式呈現所述離散的樣本。
2.根據權利要求1所述的方法，其特徵在於以標準呈現速度並且與離散的樣本同步的 方式呈現連續的樣本的步驟以離散樣本的呈現被調適至連續樣本呈現開始。
3.根據權利要求1或2所述的方法，其特徵在於以標準呈現速度並且與離散的樣本不 同步的方式呈現連續的樣本的步驟自離散樣本以標準呈現速度呈現的時間所對應的時間 開始。
4.根據權利要求1所述的方法，其特徵在於所述方法進一步包括步驟當離散的樣本 以低於標準速度的速度呈現時，以及當連續樣本的呈現速度到達一個閾值時，以低於標準 速度的速度同步於離散樣本呈現連續的樣本，其中該速度被連續地加速至標準呈現速度。
5.根據前述權利要求任一所述的方法，其特徵在於在接收流的步驟之前，包括跳換至 一個新的節目的步驟。
6.根據前述權利要求任一所述的方法，其特徵在於離散的樣本為視頻樣本而連續的樣 本為音頻樣本。
7.根據前述權利要求任一所述的方法，其特徵在於該流為MPEG-2流。
8.根據前述權利要求任一所述的方法，其特徵在於該離散樣本呈現時間取決於在同一 呈現時間接收連續和離散樣本之間的延遲。
9.一種在接收機上及早播放流的方法，所述流包括一組適於以標準呈現速度呈現的離 散的樣本，以及一組連續的樣本，所述連續的樣本和所述離散的樣本適於以同步方式以標 準呈現速度呈現，包括以下接收機上的步驟-開始接收所述流；_開始以低於標準呈現速度並且以與標準呈現速度呈現的離散樣本不同步的方式呈現 所述連續的樣本；-將所述連續樣本的呈現速度加速至標準呈現速度；以及-以標準呈現速度並且以與標準呈現速度呈現的離散樣本同步的方式呈現所述連續的 樣本。
10.根據權利要求9所述的方法，其特徵在於所述方法進一步包括步驟當連續的樣本 以低於標準速度呈現時，以及當離散的樣本的呈現到達一個閾值時，以低於標準速度的速 度且同步於連續樣本呈現離散的樣本，其中該速度被連續地加速至標準呈現速度。
全文摘要
本發明涉及一種在接收機端播放包括一組適於以標準呈現速度呈現的離散的樣本的流的方法，包括在接收機的步驟開始接收流；開始以低於標準呈現速度的速度呈現離散樣本，並將呈現速度加速至標準呈現速度。本發明還關於及早呈現連續樣本的方法，當流中包括一組連續樣本時，其中連續的和離散的樣本適於以同步方式以標準呈現速度呈現。
文檔編號H04N5/00GK101836458SQ200880111239
公開日2010年9月15日 申請日期2008年10月8日 優先權日2007年10月11日
發明者亞歷山大·埃裡塞, 讓·巴蒂斯特·亨利 申請人:湯姆遜許可公司