視頻編碼中的圖像幀編組的製作方法
2023-09-24 12:03:40 2
專利名稱：視頻編碼中的圖像幀編組的製作方法
技術領域：
本發明涉及多媒體文件的編組，尤其是視頻文件並且尤其是與流播(streaming)有關的多媒體文件的編組。
背景技術：
術語「流播」指的是同時發送並回放數據(典型的是多媒體數據，比如音頻和視頻文件)，在流播過程中，接收人可以在所有要發送的數據已經接收到之前開始數據回放。多媒體數據流播系統包括一個流播伺服器和終端設備，接收人可使用該終端設備與流播伺服器典型地通過電信網絡來建立一個數據連接。接收人從流播伺服器取回已存儲的或實時的多媒體數據，然後就可以藉助包含在終端中的流播應用程式非常有利地、幾乎與數據的傳輸實時地開始多媒體數據的回放。
從流播伺服器的角度來看，可以將流播執行為常規流播，或者可以將其執行為向終端的累進下載。在常規流播過程中，多媒體數據和/或數據內容的傳送通過確保傳送的比特率基本上對應於終端設備的回放速率來進行控制，或者如果傳送過程中所使用的電信網絡造成了數據傳送中的瓶頸，就通過確保傳送的比特率基本上對應於電信網絡中可用的帶寬來進行控制。在累進下載過程中，根本不必要對多媒體數據和/或數據內容的傳送進行幹預，但是多媒體文件同樣傳送給接收者，這典型地是通過使用傳送協議流量控制而進行的。於是終端接收、存儲並再生從伺服器傳送過來的數據的精確副本，然後這個副本可以稍後在終端上再次進行再生，而無需再次通過電信網絡開始一個流播。不過，一般來說，存儲在終端中的多媒體文件都非常大，並且將它們傳送到終端是非常耗時的且它們要求非常大量的存儲空間，這就是為什麼經常會首選常規流播的原因。
多媒體文件中的視頻文件包括大量的靜態圖像幀，這些幀被快速連續地(通常為每秒15到30幀)顯示以產生運動圖像的效果。這些圖像幀典型地包括很多靜止的背景物，它們由基本保持不變的圖像信息確定，以及包括少量的運動物，它們由發生了某種程度的變化的圖像信息確定。由連續顯示的圖像幀包含的信息通常大同小異，即，連續的圖像幀包含相當大的冗餘量。視頻文件中出現的冗餘性可以分為空間、時間和頻譜冗餘。空間冗餘涉及相鄰圖像像素的相互相關性，時間冗餘涉及後續幀中的特定圖像對象中發生的變化，而頻譜冗餘涉及圖像幀中的不同顏色分量的相關性。
為了減少視頻文件中的數據量，可以通過減少圖像幀中的冗餘信息量來將圖像數據壓縮為較小的形式。此外，在編碼的同時，大多數當前使用的視頻編碼器會使視頻信息中不很重要的圖像幀片斷的圖像質量降級。此外，很多視頻編碼方法是通過對壓縮參數進行高效無損編碼(稱為VLC(可變長度編碼))而使得從圖像數據編碼得到的比特流中的冗餘得以減少的。
此外，很多編碼方法利用上面介紹的連續圖像幀的時間冗餘。在這種情況下，使用了一種稱為運動補償時間預測的方法，即，視頻序列中的一些(典型地是大多數)圖像幀的內容是通過跟蹤連續圖像幀中的特定對象或區域的變化，從該序列中的其它幀預測出來的。視頻序列總是包含一些壓縮的圖像幀這些壓縮圖像幀的圖像信息尚未使用運動補償時間預測來確定。這樣的幀被稱為INTRA幀，或I幀。對應地，由在前圖像幀預測的運動補償視頻序列圖像幀被稱為INTER-幀，或P幀(預測的)。P幀的圖像信息是使用一個I幀和可能一個或多個在前編碼的P幀確定出來的。如果丟失了一幀，那麼依賴於它的其它幀就不再能夠被正確地解碼。
I幀通常發起一個被定義為一個圖片組(GOP)的視頻序列，該圖片組的P幀只能根據所關心的GOP中的I幀和在前的P幀進行確定。下一個I幀開始一個新的圖片組GOP，該圖片組包含的圖像信息因此不能根據在前的GOP的幀進行確定。換句話說，圖片組在時間上是不重疊的，從而每個圖片組可以單獨進行解碼。此外，很多視頻壓縮方法採用了雙向預測的B幀(雙向的)，在圖片組GOP中，這些B幀被設置在兩個錨幀(anchor frame)(I幀和P幀或兩個P幀)之間，B幀的圖像信息是從在前的錨定幀和跟在B幀之後的錨定幀預測出來的。因此B幀提供了質量比P幀高的圖像信息，但是通常它們不用作錨定幀，因此從視頻序列中將它們去除不會使後續圖像的質量降級。不過，沒有什麼會阻止B幀也用作為錨定幀，只是在那種情況下，才不能將它們從視頻序列中除去、而不降低依賴於它們的那些幀的質量。
每個視頻幀可以分為稱為宏塊的部分，這些宏塊包括一個矩形圖像區域的所有像素的顏色分量(比如Y、U、V)。更加具體講，宏塊由每顏色分量至少一個塊組成，這些塊各自包括相關圖像區域中的一個色級的顏色值(比如Y、U或V)。這些塊的空間解析度可以不同於宏塊的空間解析度，例如，U和V分量可以僅使用Y分量的解析度的一半進行顯示。宏塊可以進一步編組為條，例如，宏塊條可以是通常按照圖像的掃描順序選取的宏塊的組。時間預測通常是在塊或宏塊所特定的視頻編碼方法中進行的，而不是在圖像幀所特定的視頻編碼方法中進行的。
為了顧及視頻文件的靈活流播，很多視頻編碼系統採用了可縮放編碼，按照這種編碼方法，可以除去視頻序列的部分元素或元素組，而不會影響視頻序列其它部分的重構。可縮放性通常是通過將圖像幀編組為幾個分層結構的層來實現的。編碼到基本層圖像幀的圖像幀基本上只包括對於在接收端進行視頻信息解碼所必需的圖像幀。每個圖片組GOP的基本層因此包括一個I幀和必要數目的P幀。在基本層之下可確定一個或多個增強層，每一個增強層與上一層相比提高了視頻編碼的質量。因此這些增強層包含基於運動補償、由一個或多個上層圖像預測得到的P或B幀。這些幀通常依據一個算術級數來編號。
在流播過程中，傳送比特率必須是根據所使用的帶寬或接收者的最大解碼或者比特率值進行控制的。比特率可以在流播伺服器中進行控制，或者在電信網絡的某一個單元中進行控制，例如在網際網路路由器或移動通信網絡的基站中進行控制。在流播伺服器中控制比特率的最簡單的手段是從傳送中省去具有高信息含量的B幀。此外，流播伺服器可以確定將在視頻流中傳送的可縮放層的數量，並且因此可以總是在新的圖片組GOP開始的時候，改變可縮放層的數量。使用不同的視頻序列編碼方法也是可能的。相應地，在電信網絡的單元中，可以從比特流中去除增強層的B幀以及其它的P幀。
上述方案牽涉到許多缺點。很多編碼方法，比如依據ITU-T(國際電信聯盟，電信標準化部門)標準H.263進行的編碼，都熟悉一種稱為參考圖片選擇的規程。在參考圖片選擇中，P圖像的至少一部分是由除了在時域內緊接在該P圖像前面的圖像之外的至少一個其它圖像預測出來的。所選定的參考圖像以特定於圖像的、特定於圖像段(比如一條或一組宏塊)的、特定於宏塊的或者特定於塊的方式在編碼的比特流或者比特流標題欄位中用信號通知。可以對參考圖片選擇進行推廣，以致於還可以從在時間上跟在所要編碼的圖像後邊的圖像來作出預測。此外，還可以將參考圖片選擇推廣為覆蓋所有的在時間上進行預測的幀類型，包括B幀。由於還可能選擇先於作為圖片組GOP開始的I圖像的至少一個圖像作為參考圖像，因此採用參考圖片選擇的一組圖片不是必定能獨立解碼的。此外，在流播伺服器或網絡單元中進行可縮放性或編碼方法的調節變得很困難，因為必須對視頻序列進行長時段的解碼、分析和緩衝，以使得不同圖像組之間的任何依賴性都能夠得以檢測出來。
現有技術的編碼方法中的另一個問題是，沒有用信號通知INTER-幀之間的重要性差異的有用方法。例如，當要對很多個P幀進行連續預測時，對於重構來說第一個P幀通常是最重要的幀，這是因為有比後續P幀更多的、依賴於第一個P幀的圖像幀。不過，已知的編碼方法未能提供用信號通知這種重要性差異的簡單方法。
再有一個問題涉及在另一個視頻序列中間插入一個視頻序列，這通常會導致圖像編號的不連續。視頻序列圖像的編號典型地用於檢測圖像幀的缺失。不過，如果將一個單獨的視頻序列(比如一個商業節目)插入到一個視頻序列中，則所述單獨的視頻序列通常配置有單獨的圖像編號，這個編號方式與原始視頻序列的遞增的圖像編號是不一致的。接收終端可能因此會將不正常的圖像編號解譯為缺失圖像幀的信號，並開始不必要的動作來重構被懷疑為缺失的圖像幀，或者請求對其進行重新發送。在縮放視頻序列的時候，會遇到同樣的問題例如，如果去除了很多個連續的幀，則接收終端可能不必要地將這些去除解譯為協議錯誤。
發明內容
因此本發明的一個目的是，提供一種使得由上述問題造成的不利因素能夠得以減小的方法和一種實現該方法的設備。本發明的這一目的是通過一種方法、視頻編碼器、視頻解碼器、流播系統組成部分和電腦程式來實現的，它們的特徵在於獨立權利要求中所陳述的特徵。
在從屬權利要求中公開了本發明的優選實施例。
本發明基於這樣一種思想編碼一個可縮放的壓縮視頻序列，該視頻序列包括根據至少第一和第二幀格式編碼的視頻幀，符合第一幀格式的視頻幀獨立於其它的視頻幀，即，它們一般來說是I幀，而按照第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，例如P幀。視頻序列包括形成於其中的第一子序列，所述子序列的至少一部分是通過對至少第一幀格式(I幀)的視頻幀(I幀)進行編碼而形成的；和至少一個第二子序列，所述子序列的至少一部分是通過對至少第二幀格式的視頻幀(例如，P幀)進行編碼而形成的，並且所述第二子序列的至少一個視頻幀是從所述第一子序列的至少一個視頻幀預測出來的。此外，將由至少第二子序列包含的視頻幀的識別數據確定到所關心的視頻序列中。
因此，本發明的一個主要方面是確定每個子序列所依賴的子序列，即，一個子序列將包含已被直接用於預測由所述子序列包含的圖像幀的所有子序列的信息。這個信息在視頻序列的比特流中最好獨立於實際的圖像信息而用信號通知，從而由該視頻序列包含的圖像數據可以優選地進行縮放，因為該視頻序列可獨立解碼的部分可以很容易地確定出來，並且可以將所述部分除去而不會影響剩下的圖像數據的解碼。
按照本發明的一個優選實施例，為視頻序列形成了可縮放的編碼分層結構，按照這種分層結構，視頻序列的第一個可縮放層按照這種方式編碼它包括至少第一幀格式的視頻幀，即I幀，且視頻序列的較低的可縮放層被編碼以使得它們包括至少第二幀格式的視頻幀，即P和/或B幀，這些視頻幀編組為子序列，其中至少一個視頻幀是從上面的可縮放層的視頻幀預測的，或者是從同一子序列的另一個視頻幀預測的。可縮放層的數量沒有限制。
按照本發明的一個優選實施例，為每個視頻幀確定了一個唯一的標識符，該標識符組合了可縮放層號、子序列標識符和圖像編號。可以將該標識符包含到視頻序列的標題欄位中，或者包含到依照傳送協議要用於視頻序列傳送的標題欄位中。
本發明的規程的優點是，它提供了一種靈活的編碼分層結構，一方面，它使得能夠實現所傳送的視頻序列的比特率的縮放，而不要求對視頻序列進行解碼，另一方面，它使得能夠實現各個子序列的獨立解碼。這使得，例如流播伺服器，能夠方便地調節比特率，而不用對視頻序列進行解碼、分析和緩衝，因為流播伺服器能夠直接通過標識符以及它們間的依賴性來推導出不同的子序列間的依賴性。此外，必要時，流播伺服器可以進行子序列所特定的、可縮放性或所採用的編碼方法的調整，因為不同幀之間的依賴性是已知的。另外一個優點是，本發明的編碼分層結構和圖像編號使得一個單獨的視頻序列能夠容易地插入到另一個視頻序列中。
下面，將結合優選實施例並參照附圖對本發明進行描述，其中附圖1表示一種普通的多媒體數據流播系統，其中可以應用本發明的可縮放編碼分層結構；附圖2表示本發明的一個優選實施例的可縮放編碼分層結構；附圖3a和3b表示用於調整可縮放性的本發明的實施例；附圖4a、4b和4c表示用於調整圖像編號的本發明的實施例；附圖5a、5b和5c表示在可縮放編碼分層結構中使用B幀的本發明的實施例；附圖6a、6b和6c表示本發明結合參考圖片選擇的優選實施例的可縮放編碼分層結構；和附圖7表示按照用於對場景變換進行編碼的本發明的優選實施例的方案。
具體實施例方式
下面，公開了一種通用的多媒體數據流播系統，其基本原理可以與任何電信系統相結合地應用。雖然這裡是具體參照流播系統(其中多媒體數據最好是通過諸如IP網絡這樣的採用包交換數據協議的電信網絡傳送的)對本發明進行介紹的，但是本發明同樣也可應用在諸如固定電話網PSTN/ISDN(公共交換電話網/綜合業務數字網)這樣的電路交換網絡或者移動通信網PLMN(公共地面行動網路)中。此外，本發明既可以應用在正常流播形式的多媒體文件流播中，又可以應用在累進下載的多媒體文件流播中，而且可以用於實現例如視頻呼叫。
還應當注意到，雖然這裡是具體參照流播系統對本發明進行介紹的，並且本發明也可以便利地應用於這些系統中，但是本發明並不單單局限於流播系統，而是可以應用在任何視頻再生系統中，不管所要解碼的視頻文件是如何下載和從哪裡下載的。本發明因此可以應用於，例如，從DVD盤或從其它一些計算機存儲載體上下載的視頻文件的回放，例如與可用於視頻回放的變化處理能力相結合而進行。具體來講，本發明可應用於通常在受到帶寬限制的電信系統中使用的不同低比特率視頻編碼。一個實例是按照ITU-T標準H.263定義的系統和正在H.26L(可能以後會變為H.264)定義的系統。結合這些系統，本發明可以應用於例如移動臺，在這種情況下，當移動臺還被用來執行視頻回放之外的其它應用時，可以對視頻回放進行調節，以適應改變的傳送容量或信道質量以及當前可用的處理器運算能力。
還應當注意，為了清楚起見，下面將通過給出一個圖像幀級別上的圖像幀編碼和時間預測的計算來對本發明進行介紹。不過，在實踐中，編碼和時間預測通常是對塊或宏塊級進行的，正如上面所述的。
將參照附圖1對一個典型的多媒體流播系統進行介紹，該系統是應用本發明的規程的優選系統。
多媒體數據流播系統通常包括一個或多個多媒體源100，比如攝像機和麥克風，或者存儲在存儲載體中的視頻圖像或計算機圖形文件。在編碼器102中，將從不同的多媒體源100得到的原始數據組合到一個多媒體文件中，該編碼器102也可以稱為編輯單元。從一個或多個多媒體源100得到的原始數據首先是使用一個包含在編碼器102中的捕獲裝置104捕獲到的，這個捕獲裝置通常可以被實現為不同的接口卡、驅動軟體或控制卡功能的應用軟體。例如，可以使用視頻捕獲卡和相關軟體來捕獲視頻數據。捕獲裝置104的輸出通常是未壓縮或輕微壓縮的數據流，例如當涉及到視頻捕獲卡時，是YUV 4:2:0格式或運動-JPEG圖像格式的未壓縮視頻幀。
編輯器106將不同的媒體流連結在一起，以使按期望要同時再生的視頻和音頻流同步。編輯器106還可以舉例而言，通過使幀速率減半或通過降低空間解析度來對比如視頻流的各個媒體流進行編輯。這些單獨的(雖然是同步的)媒體流在壓縮器108中進行壓縮，在這種情況下，每個媒體流是使用適用於該媒體流的壓縮器單獨進行壓縮的。例如，可以使用依照ITU-T建議標準H.263或H.26L的低比特率視頻編碼技術對YUV 4:2:0格式的視頻幀進行壓縮。通常在多路復用器110中對這些單獨的、同步且經過壓縮的媒體流進行交織，從編碼器102得到的輸出是一個單一、均勻的比特流，該比特流包含多個媒體流的數據，並且可以將該比特流稱為多媒體文件。需要注意的是，多媒體文件的形成並非必須要求將多個媒體流多路復用為一個單一的文件，而是可以由流播伺服器就在傳送該媒體流之前對它們進行交織。
這些媒體文件被傳送給一個流播伺服器112，這樣該伺服器就具有按照實時流播方式或以累進下載的形式進行流播的能力。在累進下載過程中，首先將多媒體文件保存在伺服器112的存儲器中，當需求產生時，可以從這裡取回它們以進行傳送。在實時流播過程中，編輯器102向流播伺服器112發送多媒體文件的連續媒體流，並且伺服器112將該媒體流直接轉送給客戶端114。作為另外一種選擇，還可以這樣來執行實時流播將多媒體文件存儲在一個可從伺服器112進行訪問的存儲裝置中，當需求產生時，可以從那裡驅動實時流播並啟動多媒體文件的連續媒體流。在這種情況下，編輯器102就沒有必要藉助任何手段對流播進行控制了。流播伺服器112依照可用帶寬或者客戶端114的最大解碼和回放速率來進行多媒體數據的業務量整形，該流播伺服器112能夠例如通過從傳輸中省去B幀或者通過調整可縮放層的數量來調節媒體流的比特率。而且，流播伺服器112可以修改經多路復用的媒體流的標題欄位，以減小它們的大小，並且可以將多媒體數據封裝到適於在所採用的電信網絡中傳送的數據包中。客戶端114可以通過使用適當的控制協議來至少在某種程度上對伺服器112的操作進行調節。客戶端114至少可以通過這樣的方式對伺服器112進行控制可以選擇所需的多媒體文件傳送到客戶端，除此之外，客戶端通常還能夠停止和中斷多媒體文件的傳送。
當客戶端114正在接收多媒體文件時，首先將該文件提供給一個解復用器116，該解復用器將多媒體文件所包含的媒體流分離出來。然後將單獨的、經壓縮的媒體流提供給一個解壓縮器118，此處各個單獨的媒體流是由適用於各個具體媒體流的解壓縮器進行解壓縮的。將經解壓縮和重構的媒體流提供給一個回放單元120，在這裡，這些媒體流是依照它們的同步數據以正確的步調得以還原的，然後將經還原的媒體流提供給呈現裝置124。實際的呈現裝置124可以包括，例如，計算機或移動臺顯示器和揚聲器裝置。客戶端114一般來說還包括一個控制單元122，終端用戶一般可以通過一個用戶界面對該控制單元122進行控制，並且該控制單元122根據終端用戶給出的指令，既可以通過上述的控制協議對伺服器的操作進行控制，也可以對回放單元120的操作進行控制。
要注意的是，多媒體文件從流播伺服器112到客戶端114的傳送是通過電信網絡進行的，傳送路徑通常包括多個電信網絡單元。因此有可能至少有這樣的一些網絡單元，它們可以至少部分地以與上面關於流播伺服器介紹的相同方式，來進行關於可用帶寬或客戶端114的最大解碼和回放速率的多媒體數據的業務量整形。
下面將參照本發明的優選實施例和附圖2中示出的一個實例對可縮放編碼進行介紹。附圖2表示壓縮視頻序列的一部分，具有第一幀200，該第一幀200是一個INTRA幀或I幀，並因此是一個獨立確定的視頻幀，其圖像信息無需使用運動補償時間預測來確定。I幀200位於第一可縮放層，該層也可稱為INTRA層。給每個可縮放層分配一個唯一的標識符，比如層號。因此可以分配給INTRA層例如一個號碼0，或者其它字母數字的標識符，例如一個字母，或字母與數字的組合。
相應地，為各個可縮放層確定了由一個或多個視頻幀的組構成的子序列，在一個組的圖像中的至少一個(一般來說是第一個或最後一個)被至少從另一個子序列的視頻幀進行時間預測，所述另一個子序列一般來說是較高或同一可縮放層的子序列，其餘的視頻幀是僅從同一子序列的視頻幀進行時間預測，或者也有可能從所述第二個子序列的一個或多個視頻幀進行時間預測。子序列可以獨立地進行解碼，而不考慮除了所述第二個子序列之外的其它子序列。使用例如從為可縮放層的第一個子序列給出的號碼0開始的連續編號，為每個可縮放層的子序列分配了一個唯一的標識符。由於I幀200是獨立確定的，並且在接收的時候還可以進行與其它圖像幀無關的獨立解碼，因此它還可以在某種意義上形成一個單獨的子序列。
因此，本發明的主要特徵是根據子序列所依賴的那些子序列來確定每個子序列。換句話說，一個子序列包括關於已直接用於預測該所關心子序列的圖像幀的所有子序列的信息。這個信息在視頻序列比特流中用信號通知，最好是獨立於實際的圖像信息，並且因此該視頻序列的圖像數據可以優選地被調節，因為很容易確定要獨立進行解碼的視頻子序列部分，並且可以將其除去，而不會影響其餘圖像數據的解碼。
下面，在每個子序列中，使用例如從為子序列的第一個視頻幀給出的號碼0開始的連續編號，為子序列的視頻幀給出圖像號碼。由於I幀200也形成一個單獨的子序列，所以其圖像號碼為0。在附圖2中，I幀200顯示為該幀的類型(I)、子序列標識符和圖像號碼(0.0)。
附圖2還示出了INTRA層的下一個I幀202，該幀也是一個未使用運動補償時間預測而確定的獨立確定的視頻幀。I幀的時間傳輸頻率取決於很多與視頻編碼、圖像信息內容以及所要使用的帶寬相關的因素，並且，取決於應用程式或應用環境，例如，I幀以0.5到10秒的間隔在視頻序列中傳送。由於I幀202可以獨立解碼，因此它也形成一個單獨的子序列。由於這是INTRA層中的第二個子序列，因此I幀202的子序列標識符的連續編號為1。此外，由於I幀202也形成單獨的子序列，即，它是該子序列中僅有的視頻幀，因此其圖像號碼為0。這樣，I幀202可由標識符(I.1.0)標示。相應地，INTRA層中的下一個I幀的標識符是(I.2.0)，等等。結果，只有獨立確定的I幀(其中圖像信息不是使用運動補償時間預測確定的)被編碼到第一個可縮放層(即，INTRA層)中。也可以使用其它類型編號方式或其它的標識符來確定這些子序列，只要可以使子序列相互區別開來即可。
下一個可縮放層(該層具有層號(例如)1，並且可以將該層稱為基本層)，包括經編碼的、經運動補償的INTER或P幀(一般僅從在前的圖像幀進行預測，即，在這種情況下，是從上面的INTRA層的I幀預測)。附圖2中所示的基本層的第一個P幀204的圖像信息是使用INTRA層的I幀200確定的。以P幀204開始該基本層的第一個子序列，因此P幀204的子序列的標識符為0。此外，由於P幀204是基本層的第一個子序列的第一個圖像幀，因此P幀204的圖像號碼是0。P幀204因此可由(P.0.0)來標識。
基本層中在時間上跟在後邊的P幀206是從在前的P幀204預測出來的。因此P幀206和204屬於同一子序列，從而P幀206也接納子序列標識符0。由於P幀206是子序列0中的第二圖像幀，所以P幀206的圖像號是1，並且該P幀206可由(P.0.1)來標識。
跟在基本層後面且具有層號2的可縮放層叫做增強層1。該層包括經編碼的、僅從在前的圖像幀預測出來的運動補償的P幀，在這種情況下是從INTRA層的I幀或基本層的P幀預測出來的。附圖2示出了增強層1的第一個圖像幀208和第二個圖像幀210，它們都是僅從INTRA層的第一圖像幀200預測出來的。從P幀208開始增強層1的第一個子序列，因此該P幀的子序列標識符是0。此外，由於P幀208是所述子序列中的第一個也是僅有的圖像幀，因此P幀208接納圖像編號0。這樣P幀208可由(P.0.0)來標識。
由於第二個圖像幀210也是僅從INTRA層的第一個圖像幀200預測來的，所以從該P幀210開始增強層1的第二個子序列並且因此該P幀210的子序列標識符是1。由於P幀210是該子序列中的第一個圖像幀，因此P幀210的圖像編號為0。這樣該P幀可由(P.1.0)來標識。增強層1中的在時間上後續的P幀212是從前一P幀210預測出來的。P幀210和212因此屬於同一子序列，並且因此該P幀也接納子序列標識符1。P幀212是子序列1中的第二個圖像幀，因此該P幀接納圖像編號1，從而該P幀可由(P.1.1)標識。
增強層1的按時間順序第四個圖像幀214是從基本層的第一個圖像幀204預測出來的。P幀214因此起始了增強層1的第三個子序列，因此P幀214接納子序列標識符2。此外，由於P幀214是該子序列中的第一個且僅有的圖像幀，因此P幀214的圖像編號為0。因此P幀208可由(P.2.0)標識。
而且增強層1的按時間順序第五個圖像幀216是僅從基本層的第一個圖像幀204預測出來的，P幀216因此起始了增強層1的第四個子序列，並且P幀216的子序列標識符是3。此外，由於P幀216是所關心的子序列中的第一個圖像幀，因此P幀216的圖像編號為0。因此P幀216可由(P.3.0)標識。增強層1中的在時間上後續的P幀218是從先前的P幀216預測出來的。P幀216和218因此屬於同一子序列，並且該P幀218的子序列標識符也為3。由於P幀218是子序列3中的第二個圖像幀，因此該P幀218的圖像編號為1，從而該P幀218可由(P.3.1)標識。
為了說明的簡便和清楚，上面所介紹的公開內容僅涉及I和P幀。不過，本領域的技術人員可以輕而易舉地發現，本發明的可縮放視頻編碼也可以使用其它公知的圖像幀類型來實現，比如上面所介紹的B幀和至少SI幀、SP幀和MH幀。SI幀對應於I幀，不過和SP幀結合在一起，才能使相同的圖像得以重構。依次地，SP幀是一個P幀，它經歷了特殊的編碼，與一個SI幀或另一個SP幀組合在一起才能使得同一圖像得以重構。通常把SP幀放在視頻序列中需要訪問點或掃描點的點上，或者放在可能改變視頻流的編碼參數的點上。並且這些幀還可用於糾錯和用於提高容錯。SP幀在其它方面與由在前幀預測的常規P幀相同，只是將SP幀定義為可由SP或SI類型的另一個視頻幀進行替換，新的幀的解碼結果與視頻流中原來的SP幀的解碼結果相同。換句話說，用於代替視頻流中的SP幀的新的SP幀是從另一個序列或視頻流中預測出來的，並且重構得出的幀仍然具有相同的內容。在例如本申請人較早的申請PCT/F102/00004中對SP幀進行了介紹。
與B幀類似，MH(多假設(Multi Hypothesis))幀的宏塊是根據運動補償預測由兩個其它的幀預測出來的，不過，這兩個其它的幀並不必須與MH幀位置相鄰。更精確地講，將預測宏塊計算做兩個其它幀的兩個宏塊的平均。不使用兩個幀，MH幀宏塊實際上也可從一個其它幀預測出來。可以依據宏塊而改變參考圖像，換句話說，在同一圖像中的所有宏塊沒有必要使用同一幀進行預測。
這樣，子序列覆蓋了視頻序列中的特定的時間段。同一層或不同層的子序列可以是部分或完全重疊的。如果在同一層上有時間上重疊的圖像幀，那麼可以將這些幀解譯為是同一圖像內容的交替表示，因此任何模式的圖像表示都可以使用。另一方面，如果在不同層上有時間上重疊的圖像幀，則它們形成了同一圖像內容的不同表示，並且因此這些表示在圖像質量上是不同的，即，較低層上的圖像質量更好。
上面參照附圖2公開的內容說明了按照本發明的優選實施例的圖像幀的一種可縮放的編碼方案以及一種分層結構和編號方法。在這個實施例中，INTRA層只包括I幀，基本層可以只使用從INTRA層接收的信息進行解碼。相應地，增強層1的解碼一般來說需要來自基本層和INTRA層的信息。
可縮放層的數量不局限於如上所述的三個，而是可以使用為產生足夠的可縮放性而考慮的任何數量的增強層。從而，增強層2的層號是四，增強層3的層號是五等等。由於上述例子中的某些圖像幀被給予相同的標識符(例如，圖像幀204和208的標識符都是(P.0.0))，因此通過在標識符中包含層號，便能夠唯一地標識每個圖像幀，並且同時，優選地確定了每個圖像幀與其它圖像幀的依賴性。這樣就唯一地標識了每個圖像幀，圖像幀204的標識符，例如，是(P.1.0.0)或簡單地是(1.0.0)，相應地，圖像208的標識符是(P.2.0.0)或(2.0.0)。
按照本發明的一個優選實施例，參考圖像幀的號碼是依照一個特定的預定字母數字數序列來確定的，例如為0和255之間的整數。當參數值達到所考慮的序列中的最大值N(例如，255)時，則參數值的確定從頭開始，即，從序列的最小值(例如，0)開始。這樣，圖像幀在特定的子序列中得到了唯一地標識，直到同樣的圖像編號被再次使用的那一點。子序列標識符也可以依照一個特定的預定算術級數來確定。當子序列標識符的值達到該級數的最大值N時，標識符的確定再次從該級數的首項開始。不過，不能將仍在使用的(在同一層中的)標識符分配給子序列。除了算術方法外，還可以採用另外一種方法來確定所使用的序列。一種可選方案是，分配隨機子序列標識符，要考慮所分配的標識符不被再次使用。
當用戶希望在視頻序列的中間開始瀏覽視頻文件時，圖像幀的編號會出現問題。這種情況發生在，例如，用戶希望向後或向前瀏覽本地存儲的視頻文件或在一個特定的點瀏覽流播文件的時候；用戶從一個隨機點啟動流播文件的回放的時候；或者檢測到所要再生的視頻文件中包含錯誤、而該錯誤會中斷回放或者要求從錯誤之後的點重新恢復回放的時候。當視頻文件的瀏覽是在先前的瀏覽之後從一個隨機點重新開始時，圖像編號通常會出現不連續性。解碼器一般來說會將這種情況解譯為圖像幀的非故意缺失，並且將會不必要地設法重構那些疑為丟失的圖像幀。
按照本發明的一個優選實施例，這可以通過在可獨立解碼的圖片組GOP中定義一個起始圖像來避免在解碼器中發生這種情況，該可獨立解碼的圖片組GOP是在視頻文件的隨機點上被激活的，並且所述起始圖像的編號被設置為零。這樣，該可獨立解碼的圖片組可以是例如INTRA層的一個子序列，例如在這種情況下，將一個I幀用作所述起始圖像，或者，如果採用了源自基本層的縮放，則該可獨立解碼的圖像組是基本層的一個子序列，在這種情況下，該子序列的第一個圖像幀(一般來說是I幀)通常用作起始圖像。從而，當在一個隨機點激活時，解碼器優選地將可獨立解碼的子序列的第一個圖像幀(最好是I幀)的標識符設置為0。由於所要解碼的子序列還可能包含其它標識符為零的圖像幀(例如當上述的字母數字序列從頭開始時)，可以將子序列的開端(即，其第一個圖像幀)，例如，通過加在該圖像幀中的一個條的標題欄位中的一個單獨標記而指示給解碼器。這使得解碼器能夠將該圖像編號正確地解譯，並且能夠從視頻序列的圖像幀中找到起始該子序列的正確圖像幀。
上述的編號系統給出了這樣一個實例如何進行本發明的唯一圖像幀標識，以致同時指示出圖像幀之間的相互依賴性。不過，可以應用本發明的方法的視頻編碼方法，比如依照ITU-T標準H.263和H.26L的視頻編碼方法，採用了代碼表，它們進而使用了可變長度編碼。當使用可變長度編碼來對層號進行編碼時，例如，一個較低的碼字索引，即較小的層號，則這意味著一個較短的碼字。在實踐中，本發明的可縮放編碼將會在大多數情況中以這樣一種方式用，即基本層將會包括明顯多於INTRA層的圖像幀。這證明了在基本層使用比INTRA層較低的索引(即，較小的層號)是正確的，因為編碼的視頻數據量由此有利地得到了降低。由此，最好為INTRA層指配層號1而將層號0配給基本層。另外，可以通過使用比INTRA層編號更少的比特對基本層編號進行編碼來形成所述代碼，在這種情況下，考慮到所創建的代碼長度，實際的層號值是無關的。
此外，按照本發明的第二個優選實施例，當使可縮放層的數量保持得較低時，尤其可以將第一個可縮放層編碼為包含INTRA層和基本層。從編碼的分層結構的角度考慮，構思此方案的最簡單的方法是一起省略掉INTRA層，並為基本層提供由獨立定義的I幀(其圖像信息未使用運動補償時間預測來確定)和從在前的幀預測出來的圖像幀(圖像幀在這種情況下是由同一層的I幀預測出來的運動補償P幀)組成的編碼幀。這樣，基本層仍然可以使用層號0，並且，如果將增強層編碼為視頻序列，則分配給增強層1的層號是1。這將在下面參照附圖3a和3b進行說明。
附圖3a表示一個非可縮放的視頻序列結構，其中所有的圖像幀都放在同一可縮放層上，即，基本層上。該視頻序列包括一個第一圖像幀300，它是一個I幀(I.0.0)，並且因此它起始第一子序列。圖像幀300用於預測子序列的第二個圖像幀302，即，P幀(P.0.1)，然後該P幀用於預測該子序列的第三個圖像幀304，即，P幀(P.0.2)，該P幀(P.0.2)進而用於預測下一個圖像幀306，即，P幀(P.0.3)。然後在該視頻序列中配備一個經編碼的I幀(I.1.0)，即I幀308，這樣，該I幀起始該視頻序列中的第二個子序列。這種類型的非可縮放編碼可用於，例如，當所採用的應用不允許使用可縮放編碼時，或者不需要使用可縮放編碼時。例如，在電路交換可視電話應用中，信道帶寬保持恆定，並且視頻序列是實時編碼的，因此一般情況下不需要可縮放編碼。
接下來，附圖3b表示這樣一個實例，在需要的時候，如何為組合在一起的INTRA和基本層添加可縮放性。這裡，視頻序列基本層同樣包括一個第一圖像幀310，它是一個I幀(I.0.0)，並且它起始基本層的第一個子序列。圖像幀310用於預測該子序列的第二個圖像幀312，即，P幀(P.0.1)，然後該P幀用於預測該子序列的第三個圖像幀314，即，P幀(P.0.2)。不過，增強層1也編碼為這一視頻序列，並且它包括一個第一子序列，該第一子序列的第一個且唯一的圖像幀316是一個P幀(P.0.0)，該P幀是從基本層的第一個圖像幀310預測來的。增強層的第二個子序列的第一個圖像幀318是順次從基本層的第二個圖像幀312預測來的，並且因此這個P幀的標識符是(P.1.0)。增強層的下一個圖像幀320再次地是從同一層的在前圖像幀318預測出來的，因此，它屬於同一個子序列，從而其標識符為(P.1.1)。
在本發明的這一實施例中，基本層的子序列可獨立地解碼，雖然基本層子序列可能依賴於另一個基本層子序列。基本層子序列的解碼需要來自基本層和/或來自增強層1的第二個子序列的信息，增強層2的子序列的解碼需要來自增強層1和/或來自增強層2的第二個子序列的信息，等等。按照一種實施方案，I幀並不單單限於基本層，而是較低的增強層也可以包含I幀。
支持上述實施例的基本思想是，一個子序列包含關於它所依賴的所有子序列的信息，即，關於用於預測所討論的子序列的圖像幀中的至少一幀的所有子序列的信息。不過，按照一種實施方式，也可能是一個子序列包含關於依賴於所討論的子序列的所有子序列的信息，也就是，關於所有這樣的子序列的信息，即在該子序列中至少一個圖像幀已使用所討論的子序列中的至少一個圖像幀預測。由於在後一情況下，依賴性一般來說在時間上是向前確定的，因此在編碼過程中可以按照稍後介紹的方式來方便地利用圖像幀緩衝器。
在上述所有實施例中，圖像幀的編號都是子序列所特定的，即，新的子序列總是從頭開始編號。這樣，標識個體圖像幀就需要確定層號、子序列標識符和圖像幀編號。按照本發明的優選實施方式，可以使用連續的編號對圖像幀進行獨立編號，其中連續的參考圖像幀按照編碼順序由遞增一的號碼來指示。關於層號和子序列標識符，也可以採用上述的編號規程。在必要的時候，這使得每個圖像幀都能夠得以唯一地標識，而無需使用層號和子序列標識符。
這將參照附圖4a所示的例子進行介紹，在附圖4a中，基本層包括一個在時間上處於第一位的I幀400(I.0.0)。這個幀用於預測增強層1的第一個圖像幀402，即，(P.0.1)，然後幀(P.0.1)用於預測屬於同一子序列(具有子序列標識符0)的第二個圖像幀404，即，(P.0.2)，幀(P.0.2)用於預測同一子序列的第三個圖像幀406，即，(P.0.3)，幀(P.0.3)用於預測第四個圖像幀408(P.0.4)，最後，第四個幀用於預測第五個圖像幀410(P.0.5)。按時間順序下一個視頻序列圖像幀412位於基本層上，在這種情況下該幀412與I幀400處於同一子序列中，雖然按時間順序它只是第七個編碼的圖像幀，並且因此其標識符為(P.0.6)。於是該第七個幀用於預測增強層1的第二個子序列的第一個圖像幀414，即，(P.1.7)，然後該幀(P.1.7)用於預測屬於同一子序列(具有子序列標識符1)的第二個圖像幀416，即，(P.1.8)，幀(P.1.8)進而用於預測第三個圖像幀418(P.1.9)，該第三個圖像幀(P.1.9)用於預測第四個圖像幀420(P.1.10)，最後，第四個圖像幀420用於預測同一子序列的第五個圖像幀422(P.1.11)。按時間順序下一個視頻序列圖像幀424再次位於基本層上，這裡它與I幀400和P幀412處於同一子序列中，雖然按時間順序它只是第十三個編碼圖像幀，並且因此其標識符為(P.0.12)。為了說明清楚，本實施例的上述說明沒有包含層標識符，不過顯然，為了實現可縮放性，層標識符也必須與視頻序列一起用信號通知，一般來說是作為圖像幀標識符的一部分。
附圖4b和4c表示對附圖4a中所示的視頻序列的圖像幀進行編組的另外的實施例。附圖4b中的圖像幀是依據子序列進行編號的，即，新的子序列總是從開端(從零)開始編號。接下來，附圖4c採用了這樣一種圖像幀編號方法在其它方面上與附圖4a中所使用的編號方法相對應，只是基本層的P幀由SP幀對代替，以顧及圖像信息的等同重構。
如上所述，本發明的規程也可以使用B幀來實現。它的一個例子在附圖5a、5b和5c中給出。附圖5a表示時域中的一個視頻序列，該序列包含P幀P1、P4和P7，有多個B幀位於它們之間，B幀關於時間預測的相互依賴關係由箭頭表示。附圖5b表示視頻序列圖像幀的一個優選編組，其中示出了附圖5a中所示的相互依賴關係。附圖5b表示子序列所特定的圖像幀編號，其中新的子序列總是從零開始對圖像幀編號。接下來，附圖5c表示這樣一種圖像幀編號按照時間預測的順序連續編號，其中後面的參考幀總是接納前一編碼的參考幀的下一個圖像號碼。圖像幀(B1.8)(和(B2.10))不用作任何其它幀的參考預測幀，因此它不影響圖像幀編號。
上面的例子說明了可如何通過使用本發明的方法來調整視頻序列編碼的可縮放性的不同可選方案。從終端設備再生視頻序列的角度看，可得到越多的可縮放層，或者說能夠解碼的可縮放層越多，圖像的質量就越好。換句話說，圖像信息量的增加和用於傳送這些信息的比特率的增大，提高了時間或空間解析度，或者圖像數據的空間質量。相應地，較多數量的可縮放層也會對執行解碼的終端設備的處理能力提出相當高的要求。
此外，上面的例子說明了通過使用子序列所獲得的優點。通過使用圖像幀標識符，便以明確的方式指出了子序列中每個圖像幀與其它圖像幀的依賴性。這樣，子序列就形成了一個獨立的整體，在必要時，它可以整個被從視頻序列中省去，而不會影響視頻序列中後續圖像幀的解碼。在這種情況下，只有所討論的子序列的圖像幀和在同一可縮放層上和/或在較低可縮放層上依賴於該所討論子序列的子序列中的圖像幀不被解碼。
與視頻序列一起發送的圖像幀標識符數據最好包含在視頻序列的標題欄位中或包含在傳送視頻序列所使用的傳送協議的標題欄位中。換句話說，預測得到的圖像幀的標識符數據並不包含在經編碼的視頻序列的圖像數據中，而總是包含在標題欄位中，從而不用對實際視頻序列的圖像進行解碼就可以檢測出圖像幀的依賴性。在對視頻序列進行編碼以進行傳送的時候，該圖像幀的標識符數據可以存儲在，例如，流播伺服器的緩衝存儲器中。此外，可以在各個可縮放層上對子序列進行獨立的解碼，因為子序列的圖像幀不依賴於同一可縮放層上的其它子序列。
按照本發明的一種實施方式，子序列所包含的圖像幀因此也可以依賴於同一可縮放層上的其它子序列。然後必須將這種依賴性用信號通知給，例如，執行業務量整形的流播伺服器，因為位於同一層上的相互依賴的子序列不能單獨地從所要發送的視頻序列中除去。執行該信令的優選方式是將其包含在所發送的圖像幀標識符中，例如通過列出所討論的子序列所依賴的層-子序列對。這還提供了一種表示與同一可縮放層上的另一個子序列的依賴性的優選方式。
上述的例子說明了這樣一種情況圖像幀是按照時間順序從在前的圖像幀預測出來的。不過，在一些編碼方法中，已經將參考圖片選擇進一步擴展到還包括從按時間順序跟在後面的圖像幀來預測圖像幀的圖像信息。參考圖片選擇提供了創建不同的在時間上可縮放圖像幀結構的很多各種各樣的手段，並且使得視頻序列的錯誤敏感度得到了降低。基於參考圖片選擇的編碼技術之一是INTRA幀延期。INTRA幀未被放在在視頻序列中其在時間上的「正確」位置上，但是其位置被在時間上延期。位於INTRA幀的「正確」位置與其實際位置之間的視頻序列圖像幀按時間順序向後由所討論的INTRA幀進行預測。這自然要求將未編碼的圖像幀緩衝充分長的時間段，以致使所要顯示的所有圖像幀都可以被編碼且得以按照它們的呈現次序安排。下面將參照附圖6對按照本發明的INTRA幀轉移以及相關的子序列確定進行介紹。
附圖6a表示一個視頻序列部分，其中INTRA幀包括一個單一的I幀600，該I幀在時間上被轉移到附圖6中所示的位置上，雖然該I幀在視頻序列中的「正確」位置應當是第一個圖像幀的位置。這樣，在「正確」位置與實際位置600之間的視頻序列圖像幀是按照時間順序向後由I幀600預測出來的。這是通過編碼到增強層1中並且具有第一個按時間順序後向預測的圖像幀602(P幀(P.0.0))的子序列表示出來的。這個幀用於按時間順序預測在前的圖像幀604，即，P幀(P.0.1)，該P幀(P.0.1)順次用於預測圖像幀606，即，P幀(P.0.2)，最後，幀606用於預測圖像幀608，即，P幀(P.0.3)，該P幀(P.0.3)處於I幀600在視頻序列中的「正確」位置上。相應地，基本層上的I幀600還用於包含四個P幀610、612、614和616(即，P幀(P.0.0)、(P.0.1)、(P.0.2)和(P.0.3))的子序列的按時間順序前向預測。
在這個例子中，將後向預測的圖像幀放在比前向預測的圖像層更低層上的行為表明，為了說明的目的，在這個編碼實例中，將後向預測的圖像幀主觀地看作沒有前向預測的圖像幀有價值。自然，這些子序列也可以同時放在同一層上，在這種情況下，可以將它們看作是等同的，或者也可以將後向預測的子序列放在上層上，在這種情況下，可以將其主觀地看作為更有價值。
附圖6b和6c表示對依據附圖6a的視頻序列進行編碼的一些可供選擇的方法。在附圖6b中，前向和後向預測的子序列都放在了基本層上，只有I幀放在INTRA層上。這樣，這一層上的前向預測的子序列是第二個子序列並且其子序列標識符為1。接下來，在附圖6c中，I幀和基於該I幀的前向預測的子序列放在基本層上，而後向預測的子序列放在了增強層1上。
而且，按照本發明的優選實施例方式，可以利用上面介紹的可縮放性來將所謂的場景變換編碼為視頻序列。諸如新聞報導、音樂視頻和電影預告片這樣的視頻素材經常包括單獨的圖像素材場景之間的迅速切換。有時候這種切換是突然的，不過通常使用一種稱為場景變換的規程，按照這種方法，從一個場景向另一個場景的轉換是通過使前一個場景的圖像幀漸漸變暗、擦除、馬賽克淡入淡出或滾動、並且相應地通過表現出下一場景的圖像幀來進行的。從編碼效率的角度看，場景變換的視頻編號通常是很有問題的，因為在場景變換過程中出現的圖像幀既包括有關終止場景的圖像幀的信息又包括有關開始場景的圖像幀的信息。
一種典型的場景變換-淡出淡入，是通過逐漸將第一個場景的圖像幀的強度或亮度降低為零，同時逐漸將第二個場景的圖像幀的強度增大到其最大值來實現的。這種場景變換被稱為交叉淡出淡入場景變換。
一般來說，可以將計算機製作的圖像想像為是由多個層或圖像對象組成的。可以參照至少三種信息類型來定義每個對象圖像對象的結構、它的形狀和透明度，以及相對於圖像的背景和其它圖像對象的分層等級(深度)。形狀和透明度通常是使用所謂的阿爾法平面來確定的，該阿爾法平面測量不透明性並且其值通常是為各個圖像對象單獨確定的，有可能不包括背景，背景通常被確定為不透明的。這樣，可以將不透明的圖像對象(比如背景)的阿爾法平面值設置為1.0，而完全透明的圖像對象的阿爾法平面值為0.0。之間的值定義了圖片中的特定圖像對象相比於背景，或其它至少部分重疊的具有高於所討論的圖像對象的深度值的圖像對象的可見性的強度。
依據圖像對象的形狀、透明度和深度位置、按層次的圖像對象的疊合稱為場景合成。在實踐中，該規程是以使用加權平均為基礎的。首先，將最接近背景，即，依據其深度位置是最深的圖像對象放到背景上，從而形成了它們兩個的組合圖像。將組合圖像的像素值形成為由背景圖像和所討論的圖像對象的阿爾法平面值加權了的平均值。然後將該組合圖像的阿爾法平面值設置為1.0，此後，該組合圖像用作下一圖像對象的背景圖像。這一處理過程繼續進行，直到將所有圖像對象都粘貼到該圖像上。
在下文中，將會介紹一種按照本發明的優選實施方式的規程，其中將視頻序列可縮放層與上面介紹的圖像幀的圖像對象以及它們的信息類型結合起來，以提供具有可縮放視頻編碼的場景變換，它還具有良好的壓縮效率。
下文中本發明的這個實施例是藉助實例並以簡化的方式進行介紹的，一方面，通過使用交叉淡出淡入場景變換作為實例，另一方面，通過使用突變場景變換作為實例。在場景變換過程中所要顯示的圖像幀一般來說是由兩個重疊的圖像幀形成的，第一個圖像幀包括第一個圖像場景而第二個圖像幀包括第二個場景。圖像幀之一用作背景圖像，而其它被稱為前景圖像的圖像幀被放在該背景圖像之上。背景圖像的不透明度，即，其非透明性值是恆定的。換句話說，其像素所特定的阿爾法平面值不被調節。
在本發明的這個實施例中，背景和前景圖像都是按照可縮放層定義的。這在附圖7中進行了說明，附圖7表示可如何在本發明的場景變換期間將兩個不同場景的圖像幀放到可縮放層上。附圖7示出了位於基本層上的第一個(終止)場景的第一個圖像幀700。該圖像幀700可以是一個包含沒有使用運動補償時間預測確定的圖像信息的I幀，或者是一個P幀(它是由在前的圖像幀預測的運動補償圖像幀)。在按照時間順序的後面的圖像幀期間，第二個(起始)場景的編碼開始，並且，按照本發明，也將該場景的圖像幀放在基本層上。然後將第二個(終止)場景中剩下的圖像幀702、704放在增強層1上。這些圖像幀一般來說是P幀。
在這個實施例中，因此至少在場景變換的持續時間之內將第二個(起始)場景的圖像幀放在基本層上。該場景的第一個圖像幀706一般來說是一個I幀，並且它用於按時間順序預測該場景的後續圖像幀。因此，第二個場景的後續圖像幀是時間上預測的幀，一般來說是P幀，比如附圖7中所示的幀708和710。
按照本發明的一種優選實施方式，通過將基本層上的圖像層總是定義為具有最大不透明度(100％)或非透明性值的背景圖像，這種將圖像幀放在可縮放層上可用於實現交叉淡出淡入場景變換。在場景變換期間，將位於增強層上的圖像幀放到背景圖像上，並且例如藉助適當的濾波器對它們的不透明度進行調節，以致這些幀逐漸從不透明變為透明。
在附圖7所示的視頻序列中，在第一個基本層圖像幀700期間，在較低的可縮放層上沒有圖像幀。對於這一時刻，僅將該第一個圖像幀700編碼為視頻序列。
基本層的下一個圖像幀706起始了一個新的(第二)場景，在此期間，為圖像幀706提供了將其放置為背景圖像的深度定位，並且將其不透明度值設置為最大。在增強層1上，有一個終止(第一)場景的圖像幀702與基本層的圖像幀706在時間上是同時的。為了使得交叉淡出淡入場景變換得以實現，必須要增大幀702的透明性。附圖7的例子假設，將圖像幀702的不透明度設置為67％，並且，此外，為圖像幀702提供了將其確定為前景圖像的深度定位。對於這一時刻，將組合了圖像幀706和702的圖像編碼到視頻序列中，圖像706可視為背景上的一個較弱的圖像，而圖像702可視為前面的一個較強的圖像，因為其不透明度值實質上很高(67％)。
在按時間順序跟在後面的圖像幀期間，在基本層上有一個第二場景的第二圖像幀708，因此為該幀708相應地提供了將其確定為背景圖像的深度定位，並且將其不透明度值設為最大。增強層1還包括時間上同時終止的(第一)場景的最後一個圖像幀704，將該幀的不透明度值設置為33％，並且此外，為該圖像幀704提供了將其也確定為前景圖像的深度定位。從而，對於這一時刻，將由圖像幀708和704組合的圖像編碼為視頻序列，圖像708得以顯示為背景上較強的圖像，而圖像704顯示為前景上較弱的圖像，因為圖像704的不透明度值不再超過33％。
在按時間順序跟在後面的圖像幀期間，基本層包括一個第二場景的第三圖像幀710。由於第一個場景已經終止，所以只有圖像幀710被編碼到視頻序列中，並且第二個場景的顯示從幀710繼續進行。
上面的公開內容藉助實例介紹了按照本發明的圖像幀在可縮放層上的定位，用於以從編碼效率的角度看比較有利的方式實現交叉淡出淡入的場景變換。不過，有可能在傳送或解碼視頻序列的時候，出現這樣一種情況，即必須依據可用於數據傳送的帶寬的最大值和/或終端設備解碼速度對視頻序列的比特率進行調整。此種比特率控制在要使用現有技術的視頻編碼方法實現場景變換的時候會引發問題。
本發明的優選實施方式現在允許將一個或多個可縮放層或包含在它們之中的可獨立解碼的子序列從視頻序列中除去，從而可以降低視頻序列的比特率，且同時仍然可以對視頻序列進行解碼，而不會降低圖像頻率。在按照附圖7的圖像幀定位中，這可以通過從視頻序列中除去增強層1來實現。這樣，視頻序列僅用於顯示基本層的圖像幀700、706、708和710。換句話說，從第一個(終止)場景到第二個(起始)場景的直接變換以突然的場景變換的形式進行，即，直接從第一個場景的圖像幀700進入到起始第二個場景的I圖像幀706。該變換因此不是一個交叉淡出淡入的場景變換，而是一個突然的場景變換。然而儘管如此，場景變換還是能夠以不影響視頻序列圖像的質量的有利方式進行，並且觀眾通常不會經歷一個代替交叉淡出淡入場景變換的、以任何令人心煩或者有錯誤的方式而執行的突然的場景變換。與之相比較，由於現有技術的實現方法不允許除去可縮放層，所以場景變換經常需要降低圖像頻率，此時觀眾會感覺到突然的變化並且會覺得心煩。
因此，本發明提供了一種在流播伺服器中執行多媒體數據業務量整形的優選手段，包括關於視頻序列的不同子序列的信息它們的平均比特率、相對於整個視頻序列的位置、持續時間和它們與各層有關的相互依賴性。流播伺服器還確定了可用於數據傳送的帶寬的最大值和/或終端設備的解碼速度。根據這一信息，流播伺服器決定在視頻序列中傳送多少可縮放層和傳送哪些子序列。這樣，在必要的時候，就可以進行比特率控制了首先通過對可縮放層的數量進行組略地調整，此後可以容易地進行子序列所特定的較為精細的調整。最簡單地講，比特率控制意味著作出有關一個具體的子序列是否應被加入到視頻序列中或從該視頻序列中將其除去的子序列所特定的決定。在除去的情況下，從視頻序列中除去整個子序列是比較可行的，因為除去單獨的圖像可能會導致同一子序列中其它圖像的錯誤。出於同樣的原因，如果較低增強層的所有子序列依賴於已經除去的較高層上的子序列的話，那麼應當將它們全部都除去。如果在同一可縮放層上有相互依賴的多個子序列，那麼如果除去了比較靠前的子序列，則依賴於該比較靠前的子序列的子序列也必須除去。
如果將圖像幀標識符數據加到了所要傳送的視頻序列中，那麼業務量整形也可以在用於傳送視頻序列的電信網絡單元中進行，例如，在網際網路路由器中、在不同的網關中或者在移動通信網絡的基站或基站控制器中進行。為了使網絡單元能夠維持並處理子序列信息，它必須具有額外的存儲器和處理能力。出於這一原因，在網絡中進行的業務量整形也許最有可能使用簡單的處理方法來執行，比如由某些基於IP的網絡支持的DiffServ，即區別業務，規程。按照DiffServ方法，為每個IP數據包分配一個優先級，從而與較低優先級的數據包相比，較高優先級的數據包被更加快速且更加可靠地傳遞給接收者。通過不僅確定可縮放層所特定的優先級，而且確定子序列所特定的優先級，而可以將這種方法便利地應用到本發明的可縮放性中，這使得能夠實現更加高級的優先級。
有很多用於在所要傳送的視頻序列中添加圖像幀標識符數據的可選擇的方案。此外，也有可能不在視頻序列中加入任何標識符數據，在這種情況下，僅在流播伺服器中進行業務量整形。標識符數據可以包含在視頻序列的標題欄位中，或者包含在所使用的傳送協議的標題欄位中，例如RTP(實時協議)的標題欄位中。按照一種優選實施方式，可以使用一種輔助增強信息(SEI)機制來傳送標識符數據。SEI提供一種與視頻數據內容同步傳送的數據傳遞機制，這樣有助於視頻序列的解碼和顯示。在ITU-T標準文件ITU-T Rec.H.264(ISO/IEC 14496-102002)，附件D中，較為詳細地公開了SEI機制，尤其是在用於傳送層和子序列信息的時候。在這種情況下，其中單獨的傳送協議或機制被用於標識符數據的傳送，業務量整形也可以在傳送路徑中的一個網絡單元中進行。此外，接收終端設備可以對解碼進行控制。
如果編碼器或解碼器支持參考圖片選擇，那麼視頻序列編碼要求在編碼之前緩衝經解碼的圖像幀，以便使得不同的圖像幀之間的關係能夠按時間順序從一個或多個其它的圖像幀預測出來。可以至少以兩種不同的方式來安排圖像幀緩衝或者作為活動窗口或者作為自適應緩衝存儲器控制。在滑動窗口中，將最後編碼的M個圖像幀用作為一個緩衝器。該緩衝器中的幀具有已解碼和已重構的形式，這使得它們能夠在編碼中用作參考圖像。隨著編碼的進行，圖像幀緩衝根據FIFO原理(先入先出)工作。不用作參考圖像的圖像，比如傳統的B幀，不需要存儲在緩衝器中。另外，也可以按照自適應緩衝存儲器控制來實施緩衝，在這種情況下，圖像緩衝並不限於FIFO原理，而是在處理過程中間可以將不需要的圖像幀清出緩衝器，或者，相應地，某些圖像幀可以在更長時間內被存儲在緩衝器中(如果它們需要作為後面的圖像幀的參考圖像)。例如，一種公知的參考圖片選擇是通過對緩衝存儲器中的圖像幀編制索引為一個特定的順序來實現的，然後使用這些圖像索引來查找與運動補償相關的圖像。與使用圖像編號(例如，當運動補償參考圖像要用信號通知時，使用圖像編號來查找一個特定的圖像)相比，這種編制索引的方法總地來說提供了更好的壓縮效率。
上面所述的參考圖像編制索引方法對傳送錯誤很敏感，因為發送者的編碼器和接收者的解碼器的緩衝器必須以相同的順序包含相互對應的重構圖像，以確保編碼器和解碼器都根據相同的索引順序。如果圖像幀在編碼器和解碼器的緩衝器中是以不同的順序編制索引的，那麼在解碼器中可能會使用不正確的參考圖像。為了防止這種情況的發生，有必要使解碼器可被控制去考慮編碼器有意從視頻序列中除去的圖像幀和子序列。在這種情況下，圖像幀編號可能會包括間隙，解碼器通常會將此解譯為錯誤，並設法重構被解譯為丟失的圖像幀。出於這種原因，有必要使編碼器能夠告知解碼器，所發送的圖像幀中的圖像編號的不連續是有意造成的。
響應於此，並假定使用了滑動窗口來對圖像幀進行緩衝，則解碼器將與丟失的圖像編號相應的多個圖像幀輸入到緩衝存儲器中，它們的內容可以是完全隨機的。然後使用一個標識符「無效」標示這些隨機的圖像幀，以指示這些所關心的圖像幀不屬於實際的視頻序列，而只是為了緩衝存儲器管理而輸入的填充幀。自然，填充幀可以僅僅使用存儲器指示器來實現，即，最好不將數據輸入到緩衝存儲器中，而是僅僅使用存儲器管理來存儲對同類的「無效」幀的引用。在將由丟失的圖像編號所指示的數量的填充幀輸入到緩衝器中之後，實際視頻序列的圖像幀的輸入從正確的圖像幀編號繼續進行，這使得編碼器和解碼器的緩衝存儲器優選地被保持為同步。如果在解碼期間，檢測到了一個圖像編號的引用，然後發現它指示位於該緩衝器中的一個填充幀，則在解碼器中啟動糾錯動作，以重構該實際的參考圖像，例如，通過請求編碼器重新發送所討論的參考圖像。
此外，本發明的規程使得單獨的緩衝存儲器能夠用在不同的可縮放層上，或者，相應地，特定於子序列。這樣，每個可縮放層可以具有一個單獨的緩衝存儲器，該緩衝存儲器在概念上是單獨的並且是在滑動窗口原理的基礎上運行的。類似地，每個子序列還可以配備一個概念性的單獨的緩衝存儲器，該緩衝存儲器也在滑動窗口原理的基礎上運行。這意味著當子序列終止時，緩衝存儲器總是空的。單獨的緩衝存儲器能夠以優選的方式用於在某些情況下降低對信令的需求，在這些情況中，正常的滑動窗口緩衝將是不夠的並且可能將需要改為使用主動的自適應緩衝存儲器管理。
H.26L標準將圖片次序計數定義為按照輸出次序的圖片位置。在H.26L標準中規定的解碼處理使用圖片次序計數來為B條中的參考圖片確定默認的索引排序，以表示用於運動矢量預測中的矢量縮放和用於B條中的隱含模式加權預測的幀與場之間的圖片次序差，並確定何時按照解碼順序的連續條屬於不同的圖片。對圖片次序計數進行編碼並為每個圖片進行傳送。
按照本發明的一種實施方式，解碼器使用圖片次序計數來推斷那些圖片是時間重疊的，即，具有相等的圖片次序計數的圖片是時間重疊的。最好，解碼器僅輸出最高的接收到的層上的圖片。在缺少層信息的情況下，解碼器推斷最新的按照解碼順序、在時間上重疊的圖像駐留於最高的所接收到的層。
上面公開的內容介紹了一種為了產生一個可縮放的壓縮視頻序列而對視頻幀進行編碼的規程。實際的規程是在視頻編碼器中執行的，比如是在附圖1中的壓縮器108中執行的，該壓縮器可以是任何公知的視頻編碼器。例如可以使用依據ITU-T建議H.263或H.26L的視頻編碼器，將這種視頻編碼器安排為按照本發明，將一個第一子序列形成到視頻序列中，該子序列的至少一部分是通過對I幀進行編碼形成的；將至少一個第二子序列形成到視頻序列中，該第二子序列的至少一部分是通過對至少P或B幀進行編碼形成的，並且該第二子序列的至少一個視頻幀是從所述第一子序列的至少一個視頻幀預測出來的；以及，將至少第二子序列的視頻幀的標識數據確定到視頻序列中。
按照本發明的規程，一個特定可縮放層的每個子序列最好是可獨立解碼的，自然要考慮對較高可縮放層或者同一可縮放層的可能的其它子序列的依賴性。因此，可以通過如下方式對諸如上述的一個可縮放的壓縮視頻幀進行解碼對視頻序列的第一個子序列進行解碼，該子序列的至少一部分是通過對至少I幀編碼而形成的；和對視頻序列的至少一個第二子序列進行解碼，該第二子序列的至少一部分是通過對至少P或B幀編碼而形成的，且該第二子序列的至少一個視頻幀是從第一子序列的至少一個視頻幀預測出來的；和確定至少由視頻序列的第二子序列包含的視頻幀的標識和依賴性數據；並根據子序列依賴性重構該視頻序列的至少一部分。
實際的解碼是在視頻解碼器(比如附圖1中的解壓縮器118)中進行的，該視頻解碼器可以是任何公知的視頻解碼器。例如，可以使用依據ITU-T建議H.263或H.26L的低比特率視頻解碼器，在本發明中，將該解碼器安排為用於對視頻序列的第一個子序列進行解碼，該子序列的至少一部分是通過對I幀編碼形成的；對視頻序列的至少一個第二子序列進行解碼，該第二子序列的至少一部分是通過對至少P或B幀編碼而形成的，且該第二子序列的至少一個視頻幀是從第一子序列的至少一個視頻幀預測出來的。將該視頻解碼器安排為用於確定至少由視頻序列的第二子序列包含的視頻幀的標識和依賴性數據，並根據子序列的依賴性而重構該視頻序列的至少一部分。
本發明的流播系統的操作中的一個主要方面是，對編碼器和解碼器進行定位，至少使得編碼器在操作上與流播伺服器相連接並且解碼器在操作上與接收終端設備相連接。不過，該流播系統的不同組成部分，尤其是終端設備，可以包括允許多媒體文件的雙向傳送(即，傳送和接收)的功能性。因此，編碼器和解碼器可以以集成了編碼器和解碼器功能性的、稱為視頻編解碼器的形式實現。
應當注意到，按照本發明，上述流播系統的功能單元及其組成部分，比如流播伺服器、視頻編碼器、視頻解碼器和終端最好是藉助軟體、通過硬體解決方案或者作為二者的組合來實現的。本發明的編碼和解碼方法尤其適於實現為包括用於執行本發明的處理步驟的計算機可讀命令的計算機軟體。實現編碼器和解碼器的優選方式是將它們作為可由計算機類的設備(例如個人計算機(PC)或移動臺)執行的程序代碼存儲在存儲裝置中，以便為所討論的設備提供編碼/解碼功能性。
另一種可選方案是將本發明實現為包括可縮放地壓縮的視頻序列的視頻信號，其中可縮放地壓縮的視頻序列進而包括按照至少第一和第二幀格式編碼的視頻幀，按照第一幀格式的視頻幀獨立於其它的視頻幀，並且第二幀格式的視頻幀是從其它視頻幀中的至少一個預測出來的。按照本發明，所討論的視頻信號包括至少一個第一子序列，該第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；至少一個第二子序列，該第二子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的；且至少一個第二子序列的視頻幀是從至少一個第一子序列的視頻幀預測出來的；以及至少一個數據欄位，該數據欄位確定屬於第二子序列的視頻幀。
對本領域的技術人員而言，有一點是顯而易見的隨著技術的進步，本發明的基本思想可以以各種不同的方式來實現。因此，本發明及其實施例並不局限於上述的實例，而是，它們可以在權利要求書的範圍之內進行各種改變。
權利要求
1.一種對視頻幀進行編碼的方法，用於形成可縮放的壓縮視頻序列，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，該方法包括下述步驟將一個第一子序列的至少一部分形成到視頻序列中，所述第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；和將至少一個第二子序列形成到視頻序列中，所述第二子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，並且所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；和將指示哪些視頻幀屬於第二子序列的信息形成到視頻序列中。
2.按照權利要求1所述的方法，其特徵在於，包括下述步驟將至少第二子序列的視頻幀與第一子序列的至少一個視頻幀之間的相互依賴性確定到視頻序列中。
3.按照權利要求2所述的方法，其特徵在於，包括下述步驟將視頻序列編碼到多個可縮放層中；和確定第二子序列的視頻幀的依賴性，以致第二子序列的至少一個視頻幀是從一個組預測出來的，該組包括較高的可縮放層的一個視頻幀；同一可縮放層中的另一子序列的一個視頻幀。
4.按照權利要求3所述的方法，其特徵在於，包括下述步驟根據至少一個可縮放層標識符和一個子序列標識符確定第二子序列的視頻幀的依賴性。
5.按照權利要求3或4所述的方法，其特徵在於，包括下述步驟對視頻序列的第一個可縮放層進行編碼，以包括按照一個幀格式的視頻幀，該視頻幀中的每一個形成一個單獨的子序列。
6.按照權利要求3或4所述的方法，其特徵在於，包括下述步驟對視頻序列的第一個可縮放層進行編碼，以包括按照第一和第二幀格式的視頻幀。
7.按照權利要求3所述的方法，其特徵在於，包括下述步驟將每個視頻幀的一個唯一的標識符確定為層號、子序列標識符和圖像編號的組合。
8.按照權利要求3所述的方法，其特徵在於，包括下述步驟根據圖像編號為每個視頻幀確定一個唯一的標識符。
9.按照權利要求7或8所述的方法，其特徵在於，包括下述步驟將所述標識符加到視頻序列的標題欄位中，或者加到傳送視頻序列所使用的傳送協議的標題欄位中。
10.按照前述任何一項權利要求所述的方法，其特徵在於第一幀格式的視頻幀是I幀，而第二幀格式的視頻幀是時間上的前向和/或後向預測的P幀，該P幀已使用至少一個參考圖像進行預測。
11.按照前述任何一項權利要求所述的方法，其特徵在於，包括下述步驟以這樣一種方式對子序列進行編碼，即該子序列幀的至少一些在時間上是至少部分重疊的。
12.按照前述任何一項權利要求所述的方法，其特徵在於，包括下述步驟以這樣一種方式對視頻幀進行編碼，即發生在視頻幀之間的時間預測是特定於塊或宏塊的。
13.一種流播系統中的單元，比如流播伺服器或者電信系統中的網絡單元，其被安排為向至少一個終端設備發送經壓縮的視頻序列並且控制該視頻序列傳送的比特率，其特徵在於該單元被安排為，控制視頻序列傳送的比特率，其中該視頻序列的第一個子序列包括至少第一幀格式的視頻幀，並且至少一個第二個子序列包括至少第二幀格式的視頻幀，第二子序列的至少一個視頻幀已從第一子序列的至少一個視頻幀預測出來；該比特率控制被安排為以至少下述方式之一執行從視頻序列中除去至少一個子序列；將至少一個子序列加到視頻序列中。
14.一種視頻編碼器，用於形成一個可縮放的壓縮視頻序列，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，所述視頻編碼器被安排為將一個第一子序列形成到視頻序列中，所述第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；和將至少一個第二子序列形成到視頻序列中，所述第二子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；和將指示哪些視頻幀屬於第二子序列的信息形成到視頻序列中。
15.一種用於對可縮放地壓縮的視頻序列進行解碼的方法，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，包括下述步驟對視頻序列的第一子序列進行解碼，所述第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；和對視頻序列的至少第二子序列進行解碼，所述第二子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；確定至少與由視頻序列的第二子序列包含的視頻幀相關的依賴性數據；和根據子序列的依賴性重構視頻序列的至少一部分。
16.按照權利要求15所述的方法，其中將視頻幀輸入到一個與解碼有關的滑動緩衝存儲器中，其特徵在於，包括下述步驟從視頻序列解碼出一個指示，該指示通知視頻序列中的圖像幀的圖像編號的不連續是有意造成的；響應於所述指示，該緩衝存儲器被配置為包括與丟失的圖像編號相應數量的圖像幀；和在已經將緩衝存儲器配置為包括與丟失的圖像編號相應數量的圖像幀之後，從正確的圖像幀編號開始，繼續將所關心的視頻序列包含的圖像幀輸入到緩衝存儲器。
17.按照權利要求16所述的方法，其特徵在於，包括下述步驟將數量相應於丟失圖像編號的填充幀輸入到緩衝存儲器中。
18.按照權利要求15到17中任一項所述的方法，其特徵在於，包括下述步驟通過從所述視頻序列中除去至少一個可獨立解碼的子序列來對該視頻序列進行解碼。
19.按照權利要求15到18中任一項所述的方法，其特徵在於，包括下述步驟從所述視頻序列中的一個隨機點起始解碼；確定在所述隨機點之後的下一個可獨立解碼的子序列，和將所述子序列中的第一個視頻幀的圖像編號值設置為零。
20.按照權利要求15到19中任一項所述的方法，其特徵在於，包括下述步驟根據圖片次序計數信息從所述視頻序列中識別出至少部分在時間上重疊的子序列幀，和從解碼器中輸出按照解碼順序的最後一個圖像幀，所述幀是從一組所述至少部分在時間上重疊的圖像幀中選擇出來的。
21.一種視頻解碼器，用於對可縮放地壓縮的視頻序列進行解碼，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，該視頻解碼器被安排為對視頻序列的第一子序列進行解碼，所述第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；和對視頻序列的至少第二子序列進行解碼，所述第二子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，並且所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；確定至少由視頻序列的第二子序列包含的視頻幀的依賴性數據；和根據子序列的依賴性重構視頻序列的至少一部分。
22.一種電腦程式，用於對視頻幀進行編碼從而形成可縮放的壓縮視頻序列，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，所述電腦程式包括用於形成視頻序列的第一子序列的程序代碼，所述子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；和用於形成該視頻序列的至少一個第二子序列的程序代碼，所述子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，並且所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；和用於將數據確定到視頻序列中以確定哪些視頻幀屬於第二子序列的程序代碼。
23.一種電腦程式，用於對可縮放地壓縮的視頻序列進行解碼，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，所述電腦程式包括用於對視頻序列的第一子序列進行解碼的程序代碼，所述子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；和用於對視頻序列的至少第二子序列進行解碼的程序代碼，所述子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，並且所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；和用於確定至少由視頻序列的第二子序列包含的視頻幀的依賴性數據的程序代碼；和用於根據子序列的依賴性重構視頻序列的至少一部分的程序代碼。
24.一種視頻信號，包括可縮放地壓縮的視頻序列，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀，第一幀格式的視頻幀獨立於其它的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的，其特徵在於，所述視頻信號包括第一子序列，所述第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；至少第二子序列，所述第二子序列的至少一部分是通過對至少第二幀格式的視頻幀進行編碼而形成的，並且所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來；和確定屬於第二子序列的視頻幀的至少一個數據欄位。
全文摘要
一種對視頻幀進行編碼的方法，用於形成可縮放的壓縮視頻序列，該視頻序列包括按照至少第一和第二幀格式編碼的視頻幀。第一幀格式的視頻幀是獨立的視頻幀，而第二幀格式的視頻幀是由至少一個其它的視頻幀預測出來的。所述視頻序列具有確定於其中的第一子序列，所述第一子序列的至少一部分是通過對至少第一幀格式的視頻幀進行編碼而形成的；並具有至少一個第二子序列，所述第二子序列的至少一部分是通過對第二幀格式的視頻幀進行編碼而形成的，並且所述第二子序列的至少一個視頻幀已從所述第一子序列的至少一個視頻幀預測出來。將第二子序列的幀標識符數據確定到所述視頻序列中。
文檔編號H04N7/36GK1620820SQ03802521
公開日2005年5月25日 申請日期2003年1月22日 優先權日2002年1月23日
發明者M·漢努克塞拉 申請人:諾基亞有限公司