用於有效的可伸縮流適配的系統和方法

2023-09-11 14:18:50

專利名稱：用於有效的可伸縮流適配的系統和方法
技術領域：
本發明一般地涉及媒體編碼、解碼、存儲和傳輸。更特別地，本發明涉及可伸縮媒 體編碼、解碼、存儲和傳輸。
背景技術：
多媒體應用包括本地回放、流傳輸或隨需(on-demand)、會話和廣播/多播服務。 多媒體應用所涉及的技術例如包括媒體編碼、存儲和傳輸。媒體類型包括語音、音頻、圖像、 視頻、圖像和時間文本。已經針對不同的技術規定了不同的標準。視頻編碼標準包括ITU-T H. 261, IS0/IEC MPEG-I 視頻、ITU-TH. 262 或 ISO/ IEC MPEG-2 視頻、ITU-T H. 263、IS0/IEC MPEG-4 視頻和 ITU-T H. 264(也稱為 IS0/IEC MPEG-4AVC)。此外，還在開發新的視頻編碼標準。例如，正在進行可伸縮視頻編碼(SVC)標 準的開發。此標準將成為H. 264/AVC的可伸縮擴展。同樣，正在進行中國視頻編碼標準的 開發。可伸縮視頻編碼可以提供可伸縮視頻比特流。可伸縮視頻比特流的一部分可以被 提取並解碼，其具有劣化的回放視覺質量。可伸縮視頻比特流包含非可伸縮基本層和一個 或多個增強層。增強層可以增強時間解析度(即幀率)、空間解析度或者僅僅是由較低層或 其部分表示的視頻內容的質量。在有些情況下，增強層的數據可以在特定位置之後、甚至在 任意位置被截短。每個截短位置可以包括一些表示逐漸增強的視覺質量的附加數據。這種 可伸縮性被稱為精細顆粒(粒度)可伸縮性(res)。與res相對，由不提供精細顆粒可伸縮 性的質量增強層提供的可伸縮性被稱為粗顆粒可伸縮性(CGS)。當前草案SVC標準中的可伸縮層結構的特徵在於三個變量，稱為時間_級別 (temporal_level)、從屬 _id(dependency_id)禾口質量 _ 級另lj (quality_level),這些變量 在比特流中用信號發送或者可以根據規範推導出。時間_級別用於指示時間可伸縮性或幀 率。包含具有較小時間_級別值的圖像的層具有比包含具有較大時間_級別的圖像的層更 小的幀率。從屬_id用於指示層間編碼的從屬等級。在任何時間位置，具有較小從屬_id 值的圖像可以用於對具有較大從屬_id值的圖像編碼的層間預測。質量_級別用於指示 res層的等級。在任何時間位置並且具有相同的從屬」d值的情況下，具有質量_級別值等 於QL的res圖像使用該res圖像或具有質量_級別值等於QL-I的基本質量圖像(也即當 QL-I = 0時為非res圖像)來進行層間預測。圖1示出了示例性可伸縮視頻流的時間片段，顯示了上述三個變量的值。應當注 意，時間值是相對的，也即，時間=0不一定是指比特流中按顯示順序排在第一的圖像的時 間。圖2示出了該示例的典型預測參考關係，其中實線箭頭指示沿水平方向的幀間預測參 考關係，虛線空心箭頭指示層間預測參考關係。(箭頭)所指向的實例使用(箭頭)另一方向的實例以用於預測參考。如此處所討論的，層被定義為分別具有相同的時間_級別、從屬_id和質量_級別 的值的圖像的集合。為了解碼和回放增強層，通常包括基本層的較低層也應為可用的，因此 較低層可以直接或間接地用於編碼增強層中的層間預測。例如，在圖1和圖2中，(t，T，D， Q)等於(0，0，0，0)和(8，0，0，0)的圖像屬於基本層，它們可以獨立於任何增強層而解碼。 (t，T，D，Q)等於(4，1，0，0)的圖像屬於雙倍於基本層的幀率的增強層；該層的解碼需要存 在基本層圖像。(t，T，D，Q)等於(0,0,0,1)和(8,0,0,1)的圖像屬於以TOS方式增強基本 層的質量和比特率的增強層；該層的解碼也需要存在基本層圖像。在H. 264/AVC標準中，如下定義了即時解碼刷新(IDR)圖像。所有片是I或者SI 片的編碼圖像使得解碼進程在解碼該IDR圖像之後立即將所有參考圖像標記為「未用於參 考」。在解碼IDR圖像之後，按解碼順序隨後的所有編碼圖像可以在沒有來自任何先於該 IDR圖像解碼的圖像的內部預測的情況下被解碼。每個編碼視頻序列的第一幅圖像是IDR 圖像。IDR圖像的概念也運用在當前的草案SVC標準中，其中該定義適用於分別具有相 同的從屬_1(1((1印611如11(^_1(1)和質量_級別(quality_level)值的圖像。換句話說，IDR 圖像是這樣的編碼圖像，其中該IDR圖像以及所有在同一層中(也即與IDR圖像具有分別 相同的從屬_id和質量_級別值)按解碼順序隨後的編碼圖像的解碼可以在沒有來自任何 在同一層中按解碼順序先於該IDR圖像解碼的圖像的幀間預測的情況下執行。IDR圖像使 得解碼進程在解碼該IDR圖像之後立即將同一層中所有參考圖像標記為「未用於參考」。應 當注意，此處針對當前草案SVC標準上下文所使用的術語「在同一層中」是指解碼圖像具有 與IDR圖像分別相同的從屬_id和質量_級別值。要麼所有具有相同的圖像次序數值(即， 在同一時間位置)、但是不同cbpendencyjd或qualityjevel值的圖像被編碼為IDR圖 像，要麼特定圖像次序數值的圖像不被編碼為IDR圖像。換句話說，要麼所有位於存取單元 (包括所有具有相同的圖像次序數值的圖像)的圖像是IDR圖像，要麼存取單元中沒有圖像 是IDR圖像。可用的媒體文件格式標準包括ISO文件格式(IS0/IEC14496-12)、MPEG-4文件 格式(IS0/IEC 14496-14)、AVC 文件格式(IS0/IEC 14496-15)以及 3GPP 文件格式(3GPP TS 26.244)。SVC 文件格式目前正由 IS0/IEC MPEG 開發，其可以在 MPEGN7477，「VM Study Text for Scalable Video Coding(SVC)FileFormat^Srd IS0/IEC MPEG meeting, Poznan, Poland, 2005年7月中找到，其全文在此通過參考結合弓I入。可伸縮編碼相比於單層編碼的一個優點在於在可伸縮編碼的情況下，單個流可 以滿足不同的質量、比特率、顯示尺寸等的需求，而在單層編碼的情況下，必須使用多個流。 使用多個流花費更多的存儲空間，並且在聯播中，需要更多的傳輸帶寬。在流傳輸應用中， 當傳輸網絡或接收方的能力相對於它們的早期狀態發生改變時，例如傳輸帶寬變化時，需 要流適配。網關和其他可知媒體(media-aware)網元(MANE)也可以執行流自適應。當可 伸縮編碼文件在「本地」(即，文件駐留在與解碼器相同的設備中或者駐留在通過快速連結 連接到解碼設備的存儲器中)播放時，如果解碼器與某些其他處理共享計算資源，則可能 需要流適配。例如，如果在運行多進程作業系統的通用處理器上執行解碼，則解碼器可能在 某一時間能夠使用整個計算功率並且解碼所有的可伸縮層。然而，在另一時間，解碼器可能只具有處理器的計算功率的子集以用於解碼可用可伸縮層的子集。適配的流可以具有變化 的比特流、幀率和/或視頻解析度。在單層編碼的情況下，流適配可以通過流切換或代碼轉 換來執行。在單個可伸縮流的情況下，流適配可以通過層切換來執行。在可伸縮編碼中，從高到低的層切換可以在任何位置執行。然而，從低到高的層切 換則不同，因為對切換到的高層中的圖像的解碼通常需要同一層中存在解碼順序中一些先 前的圖像。對於當前的草案SVC標準，從低到高的層切換可以在IDR存取單元(包括IDR圖 像)中執行。然而，依靠IDR存取單元要麼導致由於對IDR存取單元的頻繁編碼而降低的 編碼效率，要麼導致不即時的流適配。這兩個問題都與終端用戶的體驗密切相關。理論上 還有可能利用SP/SI圖像編碼或漸進解碼刷新技術來執行從低到高的層切換。不過，這些 技術都是針對單層編碼設計的。因此，這些技術目前不可用於可伸縮編碼。而且，即使將這 些技術擴展為可在可伸縮編碼中使用之後，它們的應用也將導致額外的編碼約束(以等同 於較低編碼效率的形式)或者實現複雜性。因此需要支持在可伸縮視頻編碼中簡單有效的從低到高的層切換。而且，還需要 支持在文件格式層簡單有效的從低到高的層切換的信號發送，使得不需要解析和分析視頻 比特流就能查找從低到高的層切換的位置，因為對流的解析和分析需要複雜的計算。

發明內容
本發明提供一種系統和方法，用於在文件格式層中信號發送從低到高的層切換點 以支持在流伺服器和本地文件回放中的有效的可伸縮流切換。本發明還公開了一種系統和 方法，用於在視頻比特流中信號發送從低到高的層切換點，例如，用於支持在可知媒體網元 中智能轉發可伸縮層或者在流接收方中計算上的可伸縮解碼。本發明支持針對可伸縮流適配的簡單有效的從低到高的層切換。本發明使得不需 要流伺服器對視頻比特流進行大量地解析和分析，否則該解析和分析可能要求相當重的計 算和實現負擔。本發明實際上可以用於任何可伸縮媒體應用。本發明的這些和其他優點和特徵及其構造和操作方式，將在下面結合附圖的詳細 描述中變得很明顯，其中下面描述的多個附圖中相同的部件具有相同的附圖標記。


圖1示出了示例性可伸縮視頻流的時間片段，顯示了三個變量時間_級別、從屬_ id和質量_級別的值；圖2是針對圖1所示的時間片段的典型的預測參考關係；圖3是可以實現本發明的系統的縱覽圖；圖4是可以體現本發明的原理的電子設備的透視圖；圖5是圖4的電子設備的電路示意圖；以及圖6是可以應用本發明的可伸縮編碼等級的通用多媒體數據流傳輸系統的圖示。
具體實施例方式參考圖6，描述了用於應用本發明的過程的典型的多媒體流傳輸系統。
多媒體數據流傳輸系統通常包括一個或多個多媒體源100，諸如視頻照相機和麥 克風，或者存儲在存儲器載體中的視頻圖像或計算機圖形文件。從不同多媒體源100獲得 的原始數據在編碼器102中組合成多媒體文件，該編碼器也可以稱為編輯單元。來自一個 或多個多媒體源100的原始數據首先使用包含在編碼器102中的捕獲裝置104進行捕獲， 該捕獲裝置通常可以實現為不同的接口卡、控制卡的功能的驅動軟體或應用軟體。例如，視 頻數據可以使用視頻捕獲卡及相關的軟體進行捕獲。捕獲裝置104的輸出通常是未壓縮的 或者輕度壓縮的數據流，例如當涉及視頻捕獲卡時，為YUV 4:2:0格式或動畫-JPEG圖像格 式的未壓縮視頻幀。編輯器106將不同的媒體流連結在一起以同步將要如所期望地同時重現的視頻 流和音頻流。編輯器106也可以對每個媒體流(諸如視頻流)進行編輯，例如通過將幀率 減半或者降低空間解析度。分離的媒體流在壓縮器108中進行壓縮，儘管這些媒體流已經 同步，但是在壓縮器中每個媒體流使用適合於該媒體流的壓縮器分別進行壓縮。例如，YUV 4 2 0格式的視頻幀可以使用ITU-T推薦H. 263或H. 264進行壓縮。分離的、已同步的且已 壓縮的媒體流通常在復用器110中交織，從編碼器102獲得的輸出是單個、統一的比特流， 其包括多個媒體流的數據，並且可以稱為多媒體文件。應當注意，多媒體文件的形成不一定 要求將多個媒體流復用為單個文件，不過流傳輸伺服器可以就在發送這些媒體流之前，對 它們進行交織。多媒體文件被傳送到流傳輸伺服器112，因而流傳輸伺服器能夠將其作為實時流 傳輸進行執行或者以漸進式下載形式執行。在漸進式下載中，多媒體文件首先存儲在服務 器112的存儲器中，當需要時可以從該存儲器取回多媒體文件以進行傳輸。在實時流傳輸 中，編輯器102向流傳輸伺服器112發送連續的多媒體文件的媒體流，並且伺服器112將流 直接轉發給客戶端114。作為另一選擇，也可以這樣執行實時流傳輸以使得多媒體文件存 儲在伺服器112可存取的存儲裝置中，當需要時可以從該存儲裝置驅動實時流傳輸以及啟 動連續的多媒體文件的媒體流。在這種情況下，編輯器102不一定需要任何裝置來控制流 傳輸。流傳輸伺服器112依照客戶端114的可用帶寬或最大解碼和回放速率，執行多媒體 數據的流量整形，流傳輸伺服器112能夠調整媒體流的比特速率，例如通過從傳輸中省去 B-幀或者通過調整可伸縮層的數量。進一步，流傳輸伺服器112可以修改復用媒體流的報 頭欄位以減少其尺寸，並且將多媒體數據封裝入適合於在所採用的通信網絡中傳輸的數據 分組中。客戶端114通常可以通過使用合適的控制協議來調整(至少在一定程度上)服務 器112的操作。客戶端114至少能夠以這種方式控制伺服器112，即能夠選擇期望的傳輸至 客戶端的多媒體文件，此外，客戶端114通常能夠停止和中斷多媒體文件的傳輸。當客戶端114正在接收多媒體文件時，該文件首先被提供給解復用器116，解復用 器116將包含在該多媒體文件中的媒體流分離。分離的、壓縮的媒體流繼而被提供給解壓 縮器118，在解壓縮器118中，每個分離的媒體流被適合於每個特定媒體流的解壓縮器進行 解壓縮。經解壓縮和重構的媒體流提供給回放單元120，在回放單元處媒體流根據它們的同 步數據以正確的步調再現並提供給呈現裝置124。實際的呈現裝置124例如可以包含計算 機或移動臺顯示器和揚聲器裝置。客戶端114通常也包括終端用戶一般通過用戶接口進行 控制的控制單元122，其通過上述控制協議控制伺服器的操作，並且基於終端用戶給出的指 令控制回放單元120的操作。
應當注意，多媒體文件從流傳輸伺服器112到客戶端114的傳送通過通信網絡進 行，傳送路徑通常包括多個通信網元。因此有可能至少某個網元能夠至少部分地以與上面 結合流伺服器描述的相同的方式、在客戶端114的可用帶寬或最大解碼和回放速率方面執 行多媒體數據的流量整形。本發明提供一種系統和方法，用於在文件格式層中信號發送從低到高的層切換點 以支持在流傳輸伺服器和本地文件回放中的有效的可伸縮流切換。本發明還公開了一種系 統和方法，用於在視頻比特流中信號發送從低到高的層切換點，例如，用於支持在可知媒體 網元中智能轉發可伸縮層或者在流接收方中計算上的可伸縮解碼。在此描述本發明的多個示例性實現。不過，應當注意，這些實現的其他變形也是有 可能的，例如通過組合此處討論的可選實施方式的子集。以文件格式信號發送從低到高的層切換點的第一實現包括將信號發送從低到高 的層切換點用作可伸縮信息的一種。在此實施方式中，針對每個層的信號發送從低到高的 層切換點定義新的盒子(box)。該盒子包含在包含每個可伸縮層的可伸縮信息的數據結構 中，例如在SVC文件格式的草案標準文本中定義的ScalableLayerEntryO結構。該盒子 定義如下盒子類型(Box Types) iIswp'容器(Container) :ScalableLayerEntry 強制 (Mandatory)否數量(Quantity) 0 或者 1該盒子為流內的各個層提供從低到高的層切換點的簡明標記。按照採樣號遞增的 順序嚴格排列表格。如果對於某個層不存在層切換點盒子，則對於該層沒有額外的從低到 高的層切換點，除了在同步採樣盒子中用信號發送的同步採樣或者在陰影同步採樣盒子中 用信號發送的陰影同步採樣。class LayerSwitchingPointBox extends Box( 『1swp『 ) {unsigned int (32)entry_count ；inti, j ；for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for = 0 ;j < entry_count2 ；j++)signed int (16)delta_layer_id ；}}在此示例中，「entry_COunt」給出了後面表格中條目的數量。「samplejumber」給 出了此類採樣的採樣號，該採樣的針對當前層的從低到高的層切換點的信息在後面表格中 用信號發送。「entry_C0Unt2」給出了後面表格中條目的數量。「delta_layer_id」指定了在採樣號等於samplejumber的當前採樣處，流可以從 當前層切換到的較高層，或者可以從其切換到當前層的較低層。等於或大於零的值指示在 當前採樣處，該流可以從當前層切換到層標識符等於(layerld+deltajayerjd+l)的較 高層。小於零的值指示在當前採樣處，該流可以從層標識符等於(layerld+delta_layer_ id)的較低層切換到當前層。每個層的IayerId從包含每個可伸縮層的可伸縮信息的數據 結構中找到。
以文件格式信號發送從低到高的層切換點的第二實現包括在專用盒子中信號發 送所有層的從低到高的層切換點。該盒子定義如下。盒子類型(Box Types) =iIswp'容器 (Container)(採樣表格盒子)(『stbl，)強制(Mandatory)否數量(Quantity) :0 或者 1該盒子為流中的所有層提供從低到高的層切換點的簡明標記。按照採樣號遞增的 順序嚴格排列表格。如果不存在層切換點盒子，則沒有額外的從低到高的層切換點，除了在 同步採樣盒子中用信號發送的同步採樣或者在陰影同步採樣盒子中用信號發送的陰影同 步採樣。class LayerSwitchingPointBox extends Box( 』1swp』 ) {unsigned int (32)entry_count ；inti，j，k;for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for (i = 0 ； j < entry_count2 ； j++) {unsigned int(8)layer_id ；unsigned int(8)entry_count3 ；for (k = 0 ;k < entry_count3 ；k++)signed int(16)delta_layer_id ；}
}
}在此實施方式中，「entry_Coimt」給出了後面表格中條目的數量。「Sample_ number」給出了此類採樣的採樣號，該採樣的從低到高的層切換點的信息在後面表格中用 信號發送。「entry_C0Unt2」給出了後面表格中條目的數量。「 layer_id」給出了從低到高 的層切換點的信息在後面表格中用信號發送的層的層標識符。「entry_C0Unt3」給出了後面 表格中條目的數量。「delta_layer_id」指定了在採樣號等於samplejumber的當前採樣處，流可以 從當前層切換到的較高層，或者可以從其切換到當前層的較低層。不小於零的值指示在 當前採樣處，該流可以從當前層切換到層標識符等於(layer_id+delta_layer_id+l)的 較高層。小於零的值指示在當前採樣處，該流可以從較低層切換到層標識符等於(layer_ id+delta_layer_id)的當前層。在本發明的此特定實施方式中，也有可能將smaple_ number的循環放入layer_id的循環內，代替當前的將sample_nmber循環放入layer_id的 循環內。以文件格式信號發送從低到高的層切換點的第三實現包括使用信號發送軌道 (track)切換點。此實施方式還可以與上述任何其他實施方式同時使用。此實施方式應用 在這樣的情形中，其中可伸縮層的可獨立解碼組合通常通過使用參考而被組合以形成獨立 軌道。在ISO基本媒體文件格式中，媒體數據由一組網絡獨立的軌道表示，其中線索軌道 (hint track)包含網絡相關的傳輸封裝信息並且將媒體採樣或其部分與傳輸分組相關聯(通過從線索軌道到媒體軌道的參考)。提取器軌道包含對媒體軌道的參考，使得針對SVC 存取單元的編碼圖像的子集形成提取器軌道中的樣本。因此，每個提取器軌道將代表不同 的可伸縮層子集，並且每個提取器軌道在不解碼同一媒體軌道的其他提取器軌道的情況下 將是可確定的。在此特定實現中，可以標識線索軌道之間或者提取器軌道之間的切換點。包含或 引用可伸縮層的充分子集的軌道通過軌道參考容器盒中的軌道參考類型『tswf』連結到此 軌道，其中可伸縮層支持切換到該軌道中至少一個指示的切換點採樣。此軌道包含可伸縮 層的充分子集所針對的軌道通過軌道參考容器盒中的軌道參考類型『tswt』連結到此軌道， 其中可伸縮層支持切換到那些軌道中至少一個指示的切換點採樣。盒子類型(Box Type) 『tswd，容器(Container) =Sample Table Box(『stbl，)(採樣表格盒子)強制(Mandatory) 否數量(Quantity) 0或者正好1該盒子提供線索軌道之間或者提取器軌道之間從低到高的層切換點的簡明標記。 按照採樣數目遞增的順序嚴格排列表格。如果不存在軌道切換點盒子，則沒有額外的從低 到高的層切換點，除了在同步採樣盒子中用信號發送的同步採樣或者在陰影同步採樣盒子 中用信號發送的陰影同步採樣。class TrackSwitchingPointBox extends Box( 'tswp' ) {unsigned int (32)entry_count ；int i, j ；for(i = 0 ;i < entry_count ；i++) {unsigned int(32)sample_number ；unsigned int(8)entry_count2 ；for (j = 0 ;j < entry_count2 ；j++)unsigned int(32)src_track_id ；unsigned int (8)entry_count3 ；for (j = 0 ;j < entry_count3 ；j++)unsigned int(32)dest_track_id ；}} 在此情形中，「 entry_COunt 」給出了後面表格中條目的數量。「 samp 1 e_number，，給 出切換點採樣的採樣數量。「entry_C0Unt2」給出了後面表格中條目的數量。「src_track_ id」指示包含流可以從其切換至包含在當前軌道中的層的較低層的軌道的軌道標識符。 「entry_Coimt3」給出了後面表格中條目的數量。「desk_track_id」指示包含流可以從包含 在當前軌道的層切換到的更高層的軌道的軌道標識符。 應當注意，也有可能使用可選的語法定義。例如，可以省略entry_COunt3及針對 desk_traCk_id值的相關循環。而且，如果在『tswf』軌道參考中只指示了一個軌道，則針對 src_track_id值的循環就不是必需的。也可以獨立地使用TrackSwitchingPointBox語法 而不需要軌道參考『tswf』和/或『tswt』。而且，可以重新使用在使用第一或第二可選方案 的媒體軌道中用信號發送的消息，以獲得在線索或提取器軌道中從低到高的層切換點，其 中針對每個線索或提取器軌道用信號發送層標識符，例如在軌道報頭中或採樣條目中。
下面討論用於在比特流中信號發送從低到高的層切換點的可選方法。第一個此類 可選方案包括使用新的網絡提取層(NAL)單元類型，以指示包含該NAL單元類型的已編碼 片的圖像是增強層即時解碼刷新(EIDR)圖像。EIDR圖像是這樣的已編碼圖像，該EIDR圖 像以及在同一層中(也即具有與該EIDR圖像分別相同的temporal_level、d印endency_id 和qUality_level值)按解碼順序隨後的所有已編碼圖像的解碼可以在沒有來自任何在同 一層中按解碼順序先於該EIDR圖像的圖像的幀間預測的情況下執行。EIDR圖像使得解碼 進程在解碼該EIDR圖像之後立即將同一層中所有參考圖像標記為「未用於參考」。EIDR圖 像不會使temporal_level、d印endency_id禾口 quality_level全部等於零。應當注意,此處 針對此可選方案上下文所使用的「在同一層中」是指解碼圖像具有與EIDR圖像分別相同的 temporal_level、cbpendency_id和quality_level值。應當注意，該在同一層中的概念相 比於最近草案SVC標準的差別在於此處考慮了 temporal_level。通過將temporal_level 考慮在內，就能支持從具有較低幀率的層到具有較高幀率的層的從低到高的層切換。而且， EIDR圖像的編碼效率提高了，這是因為具有較高temporaljevel值的參考圖像自動從參 考圖像列表中刪除，使得節省了一些參考圖像列表重排序命令或者參考圖像的索引值變得 更小，從而提高了熵編碼的編碼效率。因為可伸縮編碼的特性使得較低層不能依靠較高層，因此EIDR圖像不能從位於 同一層以及更高層的圖像進行預測，不過其仍然能夠從來自較低層的圖像進行預測，包括 時間上較低的層。這樣就支持在EIDR圖像的位置處從下一個較低層到包含該EIDR圖像的 層的層切換。例如，新的NAL單元類型可以如下表1所示定義。值22用作該新的NAL單元 類型，並且NAL單元類型20的含義從「可伸縮擴展中非IDR圖像的已編碼片」變為「可伸縮 擴展中非IDR圖像和非EIDR圖像的已編碼片」。表 1nal—unit—typeNAL單元內容和RBSP語法結構C0未指定1非IDR圖像的已編碼片 slice_layer_without_partitioning_rbsp2,3,42已編碼片數椐部分A slice_data_partition_a_layer_rbsp23已編碼片數據部分B slice_data_partition_b_layer_rbsp34已編碼片數據部分C slice_data_partition_c_layer_rbsp45IDR圖像的已編碼片 slice_layer_without__partitioning_rbsp2,36補充增強信息(SEI) sei—rbsp57序列^lt集合 seq_parameter_set_rbsp08圖像械集合 pic_parameter_set_rbsp19存取單元分界符 access_unit—delimiter—rbsp610序列結束 end—of一 seq_rbsp權利要求
一種將圖像序列編碼為存取單元序列的方法，所述方法包括將所述圖像序列的第一圖像編碼為所述存取單元序列的第一存取單元，所述第一存取單元包括使用幀間預測編碼的第一編碼圖像和其中所有碼片是I碼片或SI碼片的第二編碼圖像，將可從在解碼順序中所述第一存取單元之前的存取單元解碼的至少一個已解碼參考圖像標記為用於參考，以及指示所述第二編碼圖像以使得所述至少一個已解碼參考圖像被標記為未用於參考。
2.根據權利要求1所述的方法，包括發送針對所述編碼圖像的編碼層結構，其中所述第二編碼圖像根據所述編碼層結構增 強所述第一編碼圖像的空間解析度或質量。
3.根據權利要求1或2所述的方法，進一步包括指示所述第二編碼圖像以使得所有標記為用於參考的已解碼參考圖像被標記為未用 於參考。
4.根據權利要求1到3中任意一項所述的方法，進一步包括針對所述第二編碼圖像生成至少一個網絡抽象層(NAL)單元的NAL單元報頭，從而包 括所述指示。
5.一種將存取單元序列解碼為已解碼圖像序列的方法，所述存取單元序列包括第一存 取單元，所述第一存取單元包括使用幀間預測編碼的第一編碼圖像和其中所有碼片是I碼 片或SI碼片的第二編碼圖像，所述方法包括將在解碼順序中所述第一存取單元之前的至少一個存取單元解碼為至少一個已解碼 參考圖像，將所述至少一個已解碼參考圖像標記為用於參考，將包括所述第二編碼圖像的所述第一存取單元解碼為第一已解碼參考圖像，對與所述第二編碼圖像相關聯的指示進行解碼，以及作為對所述指示的解碼的響應，將所述至少一個已解碼參考圖像標記為未用於參考。
6.一種用於將圖像序列編碼為存取單元序列的電子設備，所述電子設備包括處理器；以及存儲器單元，其可操作地連接至所述處理器並且包括電腦程式產品，所述計算機程 序產品包括用於將所述圖像序列的第一圖像編碼為所述存取單元序列的第一存取單元的計算機 代碼，所述第一存取單元包括使用幀間預測編碼的第一編碼圖像和其中所有碼片是I碼片 或SI碼片的第二編碼圖像，用於將可從在解碼順序中所述第一存取單元之前的存取單元解碼的至少一個已解碼 參考圖像標記為用於參考的計算機代碼，以及用於指示所述第二編碼圖像以使得所述至少一個已解碼參考圖像被標記為未用於參 考的計算機代碼。
7.根據權利要求6所述的電子設備，進一步包括用於發送針對所述編碼圖像的編碼層結構的計算機代碼，其中所述第二編碼圖像根據 所述編碼層結構增強所述第一編碼圖像的空間解析度或質量。
8.根據權利要求6或7所述的電子設備，進一步包括用於指示所述第二編碼圖像以使得所有標記為用於參考的已解碼參考圖像被標記為 未用於參考的計算機代碼。
9.根據權利要求6到8中任意一項所述的電子設備，進一步包括用於針對所述第二編碼圖像生成至少一個網絡抽象層(NAL)單元的NAL單元報頭從而 包括所述指示的計算機代碼。
10.一種用於將存取單元序列解碼為已解碼圖像序列的電子設備，所述存取單元序列 包括第一存取單元，所述第一存取單元包括使用幀間預測編碼的第一編碼圖像和其中所有 碼片是I碼片或SI碼片的第二編碼圖像，所述電子設備包括處理器；以及存儲器單元，其可操作地連接至所述處理器並且包括電腦程式產品，所述計算機程 序產品包括用於將在解碼順序中所述第一存取單元之前的至少一個存取單元解碼為至少一個已 解碼參考圖像的計算機代碼，用於將所述至少一個已解碼參考圖像標記為用於參考的計算機代碼， 用於將包括所述第二編碼圖像的所述第一存取單元解碼為第一已解碼參考圖像的計 算機代碼，用於對與所述第二編碼圖像相關聯的指示進行解碼的計算機代碼，以及 用於作為對所述指示的解碼的響應，將所述至少一個已解碼參考圖像標記為未用於參 考的計算機代碼。
11.一種將圖像序列編碼為存取單元序列的方法，其中所述存取單元序列內的存取單元第一子序列處於第一時間級別上， 所述存取單元序列內的存取單元第二子序列處於第二時間級別上， 所述存取單元第一子序列是獨立於所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決於所述存取單元第一子序列，所述方法包括 對從所述第一時間級別到所述第二時間級別的切換點的指示進行編碼，所述切換點的 所述指示指示出所述存取單元第二子序列可從所述切換點開始解碼，而無需對在解碼順序 中所述切換點之前的所述存取單元第二子序列中的存取單元進行解碼。
12.—種將存取單元序列封裝到至少一個文件中的方法，其中 所述存取單元序列內的存取單元第一子序列處於第一時間級別上， 所述存取單元序列內的存取單元第二子序列處於第二時間級別上，所述存取單元第一子序列是獨立於所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決於所述存取單元第一子序列，所述方法包括 將從所述第一時間級別到所述第二時間級別的切換點的指示封裝到所述至少一個文 件中，所述切換點的所述指示指示出所述存取單元第二子序列可從所述切換點開始解碼， 而無需對在解碼順序中所述切換點之前的所述存取單元第二子序列中的存取單元進行解 碼。
13.根據權利要求11或12所述的方法，進一步包括定義補充增強信息(SEI)消息，其中包括所述切換點的所述指示。
14.一種用於將圖像序列編碼為存取單元序列的電子設備，其中 所述存取單元序列內的存取單元第一子序列處於第一時間級別上， 所述存取單元序列內的存取單元第二子序列處於第二時間級別上，所述存取單元第一子序列是獨立於所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決於所述存取單元第一子序列，所述電子設備包括 處理器；以及存儲器單元，其可操作地連接至所述處理器並且包括電腦程式產品，所述計算機程 序產品包括用於對從所述第一時間級別到所述第二時間級別的切換點的指示進行編碼的計算機 代碼，所述切換點的所述指示指示出所述存取單元第二子序列可從所述切換點開始解碼， 而無需對在解碼順序中所述切換點之前的所述存取單元第二子序列中的存取單元進行解 碼。
15.一種用於將存取單元序列封裝到至少一個文件中的電子設備，其中 所述存取單元序列內的存取單元第一子序列處於第一時間級別上， 所述存取單元序列內的存取單元第二子序列處於第二時間級別上，所述存取單元第一子序列是獨立於所述存取單元第二子序列可解碼的， 所述存取單元第二子序列取決於所述存取單元第一子序列，所述電子設備包括 處理器；以及存儲器單元，其可操作地連接至所述處理器並且包括電腦程式產品，所述計算機程 序產品包括用於將從所述第一時間級別到所述第二時間級別的切換點的指示封裝到所述至少一 個文件中的計算機代碼，所述切換點的所述指示指示出所述存取單元第二子序列可從所述 切換點開始解碼，而無需對在解碼順序中所述切換點之前的所述存取單元第二子序列中的 存取單元進行解碼。
16.一種用於支持視頻比特流中的從低到高的層切換的流式傳輸系統單元，包括第一單元，用於接收包括存取單元序列的所述視頻比特流，其中所述存取單元序列內 的存取單元第一子序列處於第一時間級別上，所述存取單元序列內的存取單元第二子序列 處於第二時間級別上，所述存取單元第一子序列是獨立於所述存取單元第二子序列可解碼 的，所述存取單元第二子序列取決於所述存取單元第一子序列，第二單元，用於將從所述第一時間級別到所述第二時間級別的切換點的指示標識到至 少一個文件中，所述切換點的所述指示指示出所述存取單元第二子序列可從所述切換點開 始解碼，而無需對在解碼順序中所述切換點之前的所述存取單元第二子序列中的存取單元 進行解碼；以及第三單元，用於在從低到高的層切換點處從可伸縮層的子集的傳輸切換到可伸縮層的 更大子集的傳輸。
全文摘要
一種系統和方法，用於在文件格式層中信令從低到高的層切換點，以支持在流伺服器和本地文件回放中的有效的可伸縮流切換。本發明還提供一種系統和方法，用於在視頻比特流中信令從低到高的層切換點，例如，用以支持在可知媒體網元中的智能轉發可伸縮層或者在流接收方的計算上的可伸縮解碼。
文檔編號H04N7/26GK101998123SQ20101058608
公開日2011年3月30日 申請日期2006年10月11日 優先權日2005年10月11日
發明者M·安尼克塞拉, Y-K·王 申請人:諾基亞公司