通過網絡傳輸信號的方法和系統的製作方法

2023-06-15 22:05:41

專利名稱：通過網絡傳輸信號的方法和系統的製作方法
技術領域：
本發明一般涉及用於數字地編碼、解碼和處理視頻、圖像及其它數字媒體內容的技術。本發明由其涉及通過幀高速緩存來改善分組丟失恢復。
背景技術：
數字視頻消耗大量存儲和傳輸容量。典型的原始數字視頻序列每秒包括15或30 幀。每一幀都可包括數以萬計或十萬計的像素(也稱為象素)。每個像素表示圖像一個微小的元素。在原始形式中，計算機通常將像素表示為總計為M比特的三個樣本的集合。例如，一個像素可包括定義該像素的灰度級分量的8比特亮度樣本(也稱為Iuma樣本)，以及定義該像素的色彩分量的兩個8比特色度樣本值(也稱為chroma樣本)。由此，典型的原始數字視頻序列每秒的比特數，或稱比特率，可為每秒五百萬比特或以上。許多計算機和計算機網絡缺乏處理原始數字視頻的資源。為此原因，工程師們使用壓縮(也稱為編碼)來降低數字視頻的比特率。壓縮通過將視頻轉換為較低比特率的形式降低存儲和傳輸視頻的消耗。解壓縮(也稱為解碼)從已壓縮的形式重構原始視頻版本。 「編解碼器」是一種編碼器/解碼器系統。壓縮可以是無損的，其中視頻的質量沒有損失，但比特率的降低受到視頻數據的可變性的固有量(有時稱為熵)限制。或者，壓縮可以是有損的，其中視頻的質量有損失，但可實現的比特率的降低更為可觀。有損壓縮常常被結合無損壓縮來使用——在一種系統設計中，有損壓縮建立信息的近似，而無損壓縮被應用以表示該近似。一般而言，視頻壓縮技術包括「圖像內」壓縮和「圖像間」壓縮，其中圖像是例如逐行掃描的視頻幀、隔行的視頻幀(具有交替的行用於視頻半幀(field))、或隔行的視頻半幀。一般而言，視頻序列在給定幀內及相繼幀之間包含相當大量的冗餘。例如，人眼一般不會注意連續的視頻幀裡相似背景中的細微的差異。壓縮通過移除所發送的比特流內某部分冗餘素材，然後當該圖像被解壓縮時在接收端將其加回，來利用這些冗餘。從視頻幀中減去的兩種常見的冗餘是空間和時間冗餘。空間冗餘在單個幀內的相鄰像素之間發生。使用空間冗餘來壓縮的幀(稱為內幀或I幀)在該幀自身內包含重構圖像所需的所有信息——它們是自包含的。使用時間冗餘的幀(諸如P幀和B幀)需要來自其它幀的信息以進行解碼。 P幀(預測編碼幀)是使用來自前面的I幀和/或P幀的信息來編碼的，並且必須使用這些信息來解碼。B幀(雙向預測編碼幀)是同時使用來自前面和後面的I幀和P幀兩者的信息來編碼的。運動估計通過將獨特的內容隨從前一已編碼的圖像(稱為參考幀)創建的運動預測圖像一起編碼來移除連續視頻幀(幀間)中的時間冗餘。如果參考幀丟失，則其隨後的各預測幀將無法被解碼——傳輸誤差傳播到後續各幀。對於逐行幀，圖像內壓縮的技術壓縮個體幀(通常稱為I幀或關鍵幀)，而圖像間
4壓縮的技術參考在前和/或後續的幀(通常稱為參考幀或錨幀)來壓縮幀(通常稱為預測幀、P幀、或B幀)。I幀(自包含的)和P幀(一般參考在前的幀)本身也可以是參考幀， 而同時參考在前和後續幀兩者的B幀通常本身不會被用作參考。當數據在最終視頻被顯示以前被解壓縮時，解碼器通常執行壓縮操作的逆操作。 例如，解碼器在解壓縮數據時可執行熵解碼、逆量化、以及逆轉換。當使用運動補償時，解碼器(和編碼器)從一個或多個先前重構的幀(現在被用作參考幀)重構一個幀，然後該最近被重構的幀可作為後面各幀的運動補償的參考幀使用。通過網絡發送的分組容易被丟失——分組被漏失。此丟失的發生是隨機且不可預測的。此外，視頻壓縮流數據對延遲高度敏感；因為分組需要按照它們被發送的相同順序被重新裝配；過多的被延遲的分組會引起跳躍的、中斷的信號。傳送延遲問題還可能在重新發送新的I幀時發生；新幀易受所有破壞了丟失的參考幀的相同問題的影響。此外，在有損編碼方案中，壓縮被設計成滿足用於存儲和傳輸的目標比特率。高度壓縮是通過降低重構圖像的質量來實現的。因此，被漏失或延遲的分組所引起的額外丟失可能將圖像降低到可接受的等級以下。處理分組丟失的容限對實時視頻編解碼器(RTC)在有噪網絡(容易產生丟失)中表現良好來說至關重要。大多數現有視頻編解碼器在參考幀丟失時，通過請求新的I幀來應對分組丟失。其它則使用基於時間片(Slice)的編碼，這會增加信令開銷。圖1示出通過請求新I幀來進行的常規分組丟失恢復。在此現有技術的方法中，在解碼器102處接收到I幀104。它隨即被用於解釋/ 重構後續的相關的P幀106。下一個相關的幀，P幀108被破壞，因為亂序地接收了或丟失了過多的幀。後續的P幀110和任何其後的幀不再能被重構。在目的節點(此處由解碼器 102表示)處，生成I幀請求並向源節點(此處由編碼器114表示)發送。每個後續的P幀或B幀都無法被重構，直至接收到新的I幀。一旦源節點114接收到請求，它即裝配新的I 幀並使用通信信道將其發送到目的節點102。在接收到新I幀112以後，目的節點可成功地將各後續P幀解碼。但是，這導致等價於發送初始請求所需的時間、加上將I幀編碼的時間、加上將I幀發送到目的節點102的時間的延遲116。此外，發送者和接收者可能分開很長的實際距離，而很長的距離導致明顯的滯後時間，還有視頻質量的相應降低。在另一種現有技術的方法中，以有規律的間隔發送I幀104、112。當I幀112由於破壞或延遲被丟失時，解碼器等待直至接收到下一 I幀，從而對後續P幀110、108進行了錯誤的解碼。因此，有必要改進用於通過基於有損分組的網絡傳輸壓縮視頻的方法和系統。

發明內容
本文中所描述的一種視頻編解碼器包括編碼器處的幀高速緩存，以及解碼器處的對應的幀高速緩存，其中每一個都可同步工作。解碼器高速緩存中的幀被用來幫助解釋解碼器處的幀。要被解釋的幀可能是使用存儲在編碼器高速緩存中的相同幀的副本已生成的。還提供一種系統實現。它包括將數據分組編碼為幀的編碼器，以及能夠存儲幀或其部分的編碼器高速緩存。它還包括帶有解碼器高速緩存的解碼器，該高速緩存也可存儲幀或其部分。解碼器可用於檢測分組丟失。當檢測到此類丟失時，在一些實施例中，編碼器使用存儲在編碼器高速緩存處的幀來編碼一個幀，然後在解碼器處使用存儲在解碼器高速緩存中的幀將該幀解碼。此高速緩存機制提供以下關鍵特徵a)在分組丟失恢復過程中更有效率的帶寬利用，以及b)消除了與基於時間片的編碼相關聯的信令開銷。從以下參考附圖對各實施例的詳細描述中，本發明的其它特徵和優點將被明確。


圖1是現有技術的幀級分組丟失恢復的示意圖。圖2是利用本文中所描述的幀高速緩存的視頻編碼器的框圖。圖3是利用本文中所描述的幀高速緩存的視頻解碼器的框圖。圖4是使用幀高速緩存從分組丟失中恢復的一種示例性方法的流程圖。圖5A是編碼器高速緩存一個幀而解碼器高速緩存相同幀的幀級示意圖。圖5B是被破壞的P幀到達解碼器處的幀級示意圖。圖5C是示出解碼器使用被高速緩存的幀來解釋P幀的幀級示意圖。圖5D是通過反饋信道報告分組丟失的框圖。圖6是用於實現視頻編碼器/解碼器高速緩存的合適的方法的流程圖。圖7是適用於圖2和3的視頻編碼器/解碼器的計算環境的框圖。
具體實施例方式以下描述針對在視頻編碼器和視頻解碼器兩者中實現幀高速緩存，它被設計成提供適度的分組丟失恢復和有效的帶寬利用的有效組合。幀高速緩存的一種示例性應用是在圖像或視頻編碼器和解碼器中。由此，幀高速緩存是在一般化的圖像或視頻編碼器和解碼器的上下文中描述的，但是也可被結合到細節上與下述的示例性裝置不同的各種其它圖像和視頻編解碼器的編碼器和解碼器中。1. 一般化的視頻編碼器和解碼器圖2是一般化的視頻編碼器200的框圖，而圖3是一般化的視頻解碼器300的框
圖，幀高速緩存可被結合到其中。所示的編碼器和解碼器內部各模塊之間的關係指示編碼器和解碼器中的主信息流；為簡單起見，沒有示出其它關係。特別地，圖2和3通常不示出指示編碼器設置、模式、表等為視頻序列、幀、宏塊、塊等所使用的輔助信息(side information) 0此類輔助信息是通常在輔助信息的熵編碼以後在輸出比特流中被發送的。輸出比特流的格式可以是Windows Media Video格式或其它格式。取決於實現和期望的壓縮類型，編碼器200或解碼器300的各個模塊可被添加、省略、分成多個模塊、與其它模塊集合、和/或用類似模塊代替。在替換實施例中，帶有不同模塊和/或模塊的其它配置的編碼器和解碼器執行所述技術中的一種或數種。A.視頻編碼器圖2是一般的視頻編碼器系統200的框圖。編碼器系統200接收包括當前幀205在內的視頻幀序列，並生成已壓縮的視頻信息295作為輸出。視頻編碼器的特定實施例通常使用一般化編碼器200的變體或增補版本。編碼器系統200壓縮預測幀和關鍵幀。為了說明，圖2示出關鍵幀通過編碼器系統200的路徑，以及前向預測幀的路徑。編碼器系統200的許多組件都被用於壓縮關鍵幀和預測幀兩者。取決於所壓縮的信息的類型，那些組件所執行的確切操作可有所不同。預測幀[可以是P幀、B幀(雙向預測)、或幀間編碼幀]是以從一個或多個其它幀的預測(或差異)的形式表示的。預測殘餘是預測幀和原始幀之間的差異。與之相反， 關鍵幀[也稱為I幀、或幀內編碼幀]是不用參考其它幀而壓縮的。如果當前幀205是前向預測幀，則運動估計器210根據參考幀225 (緩衝在幀存儲 220中的前一重構幀)估算當前幀205的宏塊或其它像素集合。在替換實施例中，參考幀可以是後面的幀，或者當前幀可被雙向地預測。運動估計器210輸出諸如運動矢量等運動信息215作為輔助信息。運動補償器230將運動信息215應用於前一重構幀225以構成經運動補償的當前幀235。但是，預測通常是不完美的，而經運動補償的當前幀235和原始當前幀205之間的差異是預測殘餘M5。或者運動估計器210和運動補償器230應用其它類型的運動估計/補償。頻率變換器260將空間域的視頻信息轉換成頻域(即，頻譜)數據。對於基於塊的視頻幀，頻率變換器260應用以下部分中所描述的變換，它具有類似於離散餘弦變換 ["DCT"]的屬性。在一些實施例中，頻率變換器260為關鍵幀對空間預測殘餘塊應用頻率變換。頻率變換器260可應用8χ8、8χ4、4χ8或其它大小的頻率變換。然後量化器270量化頻譜數據係數塊。量化器270用逐幀或其它方式改變的步長，對頻譜數據應用均勻的、標量的量化。或者，量化器270對頻譜數據係數應用另一類量化，例如，非均勻的、矢量的、或非自適應的量化，或者在不使用頻率變換的編碼器系統中直接量化空間域數據。除了自適應量化以外，編碼器200可使用幀丟棄、自適應過濾、或其它技術來進行速率控制。當後續的運動估計/補償需要重構的當前幀時，逆量化器276對經量化的頻譜數據係數執行逆量化。然後頻率逆變換器266執行頻率變換器沈0的操作的逆操作，以生成重構的預測殘餘(對應於預測幀)或重構的關鍵幀。如果當前幀205是關鍵幀，則重構的關鍵幀被視為重構的當前幀(未示出)。如果當前幀205是預測幀，則重構的預測殘餘被增加到經運動補償的當前幀235，以構成重構的當前幀。幀存儲220緩衝該重構的當前幀，以供預測下一個幀使用。在一些實施例中，編碼器200對重構的幀應用解塊過濾器，以自適應地平滑幀塊中的不連續。熵編碼器280壓縮量化器270的輸出，以及某些輔助信息(例如，運動信息215、 量化步長)。典型的熵編碼技術包括算術編碼、差分編碼、霍夫曼編碼、行程長度編碼、LZ編碼、字典編碼、以及上述的組合。熵編碼器280通常對不同類型的信息(例如，DC係數、AC 係數、等等)使用不同的編碼技術，並且可在特定編碼技術內從多個代碼表中間進行選擇。熵編碼器280將已壓縮的視頻信息295放到緩衝器四0中。緩衝等級指示被反饋給比特率自適應模塊。已壓縮的視頻信息四5以恆定或相對恆定的比特率被從緩衝器四0 排空並存儲以用於後續的此比特率的流傳輸。或者，編碼器系統200在壓縮以後立即流傳輸已壓縮的視頻信息四5。
在緩衝器290以前或以後，已壓縮的視頻信息295可被信道編碼以通過網絡傳輸。 信道編碼可對已壓縮的視頻信息295運用檢錯和糾錯數據。B.視頻解碼器圖3是一般的視頻解碼器系統300的框圖。解碼器系統300接收已壓縮的視頻幀序列的信息395並產生包括重構幀305在內的輸出。視頻解碼器的特定實施例通常使用一般化的解碼器300的變體或增補版本。解碼器系統300解壓縮預測幀和關鍵幀。為了說明，圖3示出關鍵幀通過解碼器系統300的路徑，以及前向預測幀的路徑。解碼器系統300的許多組件都被用於解壓縮關鍵幀和預測幀兩者。取決於所解壓縮的信息的類型，那些組件所執行的確切操作可能有所不同。緩衝器390接收已壓縮視頻序列的信息395，並使已接收的信息對熵解碼器380可用。緩衝器390通常以時間上相當恆定的速率接收信息，並且包括抖動緩衝器來平滑帶寬或傳輸中的短期變動。緩衝器390還可包括回放緩衝器和其它緩衝器。或者，緩衝器390 以變化的速率接收信息。已壓縮的視頻信息395可在到達緩衝器390之前，或在其離開緩衝器390之後，或兩者皆可，被解碼並處理以進行檢錯和糾錯。熵解碼器380對經熵編碼的已量化數據、以及經熵編碼的輔助信息(例如，運動信息、量化步長)進行熵解碼，通常是應用在編碼器200中執行的熵編碼的逆操作。熵解碼技術包括算術解碼、差分解碼、霍夫曼解碼、行程長度解碼、LZ解碼、字典解碼、以及上述的組合。熵解碼器380通常對不同種類的信息(例如，DC係數、AC係數、不同種類的輔助信息) 使用不同的解碼技術，並可在特定解碼技術內從多個代碼表中間進行選擇。如果要被重構的幀是前向預測幀，則運動補償器330將運動信息315應用於參考幀325，以構成對被重構的幀305的預測335。例如，運動補償器330使用宏塊運動矢量在參考幀中尋找宏塊。幀緩衝器320存儲先前所重構的幀以作為參考幀使用。或者，運動補償器應用另一種類型的運動補償。運動補償器330的預測通常是不完美的，所以解碼器300 還重構預測殘餘；345。當解碼器300需要已重構的幀用於後續的運動補償時，幀存儲320緩衝已重構的幀305以供預測下一個幀時使用。在一些實施例中，編碼器200對已重構的幀305運用解塊過濾器，以自適應地平滑幀塊的不連續。逆量化器370逆量化經熵解碼的數據。一般而言，逆量化器370根據以逐幀或其它方式改變的步長，對經熵解碼的數據應用均勻的、標量的逆量化。或者，逆量化器370對數據應用另一種類型的逆量化，例如，非均勻的、矢量的、或非自適應的逆量化，或者在不使用逆頻率變換的解碼器系統中直接逆量化空間域數據。頻率逆變換器360將量化的、頻域的數據變換為空間域的視頻信息。對於基於塊的視頻幀，頻率逆變換器360應用以下部分中所描述的逆變換。在一些實施例中，頻率逆變換器360為關鍵幀對空間預測殘餘應用頻率逆變換。頻率逆變換器360可應用8x8、8x4、 4x8或其它大小的頻率逆變換。C.幀高速緩存在本文所描述的視頻編解碼器體系結構內使用幀高速緩存的實現中，較佳的是在編碼器和解碼器兩處都依次高速緩存參考幀。當參考幀被丟失，可使用解碼器處高速緩存
8的適當參考幀來解碼後續的相關幀。這產生以下好處A)更有效率的帶寬利用現有技術的方法要求I幀被生成並發送到編碼器。而此方法允許特殊類型的幀，SP幀被發送到解碼器。SP幀一般可用比相同質量的I幀更少的比特來編碼，因此比起使用等價的I巾貞，SP幀使用較少的帶寬。B)較快的差錯恢復。2.示例性方法概述所描述的實施例包括用於在解碼器處高速緩存幀、然後使用被高速緩存的幀來重構依賴於已被破壞或丟失的參考幀的P幀和B幀的技術和工具。高速緩存可被集成為視頻解碼器300(圖；3)的一部分，視頻編碼器200(圖幻的一部分，或較佳的是同時被集成為這兩者的一部分。當解碼器檢測到分組丟失時，它向編碼器300發送消息，編碼器300隨即基於共享的已高速緩存的若干幀中的一個幀生成新的參考幀。所生成的參考幀隨即被發送給解碼器。已高速緩存的幀在解碼器處被用來解碼所生成的幀和後續的相關幀，直至另一個參考幀到達解碼器處。本文中所描述的流程圖元素只是示例；根據所描述的技術，可使用其它流程圖元素。此外，根據所描述的技術和工具，流程圖元素可按不同順序發生，或者特定的過程塊可被跳過。所描述的技術和工具可彼此結合或結合其它技術和工具來使用，或可被獨立使用。參考圖4，流程圖400示出本文中所揭示的方法的簡要概覽。在過程框402，一部分要通過網絡發送的視頻信號被分配給若干個分組。在過程框404，編碼器編碼視頻信號的幀，這些幀被分配給一個或多個分組用於傳輸。這些幀可包括參考幀325 (諸如I幀和P 幀)，還可包括B幀，後者不被用作為任何其它幀類型的參考。諸如跳幀等其它類型的幀也可被編碼為幀。在可選的過程框406，幀(通常是參考幀)可被高速緩存在編碼器處。如果該幀被高速緩存，則它在其幀頭部被賦予類型「已高速緩存的幀」(CF)。然後，被高速緩存的幀連同其它幀被發送到解碼器。一旦幀在解碼器處，在過程框410，它就被高速緩存在解碼器高速緩存中。典型的被高速緩存的幀類型是P幀和I幀。如果後續的參考幀被丟失，則已高速緩存的幀可被用來解壓縮以後的相關幀，如在過程框412所示。流程圖400僅示出一個示例性實施例，且無論如何不應被解釋為是限制性的。例如，在決策框406，與編碼器相關聯的高速緩存是可選的。方法400可在如圖2 和3中所示的視頻編解碼器中實現，而該視頻編解碼器可在軟體、硬體、或兩者的結合中實現。3.用於高速緩存幀的示例性方法圖5A到5D示出高速緩存幀以在有噪網絡中實現視頻編解碼器的最優性能的示例性方法。參考圖5D，在一個示例性實施例中，幀通過諸如RTP(實時傳輸協議)508D的主信道從編碼器502D被發送到解碼器506D。網絡常常丟失分組，或亂序地傳遞分組。分組還可能被延遲隨機的時間量，這也可能令它們不可使用。分組丟失事件被解碼器506D檢測到， 並通過反饋信道從解碼器向編碼器502D發信號通知。為正確重構消息，在一些實施例中， RTP 508D頭部包含信息和序列號，它們都允許接收器正確地重新將分組排序並確定所丟失的分組個數。RTP 508D由其控制協議(RTPC) 504D增強，後者用來提供用於監視數據傳遞的反饋信道。每個數據分組都有一個序列號，通常每個後續數據分組遞增1。在一個示例性實施例中，當某個序列號未被接收到時，分組丟失被解碼器506D檢測到。一旦解碼器506D發現丟失分組，它即通過反饋信道504D發送消息，以通知編碼器502D哪個(或哪些)分組已被丟失。在一些實施例中，僅提供關於最初丟失的分組的信息。在其它實施例中，還提供諸如漏失的分組數或丟失的具體分組的列表等附加信息。較佳的是在報告窗口中使用最早丟失的分組的時間戳來發送分組丟失的位置。此信息使編碼器502D能夠確定要使用哪個已高速緩存的參考。參考圖5A，編碼器502A周期性地將幀高速緩存到幀高速緩存504A中。要高速緩存哪些幀，高速緩存應該多頻繁地發生，以及在單次應能高速緩存的幀數是非常取決於實現方式的。在一些實施例中，被高速緩存的幀是參考幀，即P幀和I幀。也可高速緩存其它幀類型。被高速緩存的幀506A(或其副本)還被發送給解碼器512A。也存儲在編碼器高速緩存504A中的這樣一個幀在其頭部中被定義為幀類型CF (已高速緩存的幀)。在一些實施例中，此頭部通過令解碼器512A知道此特定幀應被高速緩存在解碼器高速緩存510A中以供稍後使用，來允許編碼器502A和解碼器512A的同步。以下的表1示出包括已高速緩存的幀(CF)類型在內的幀類型代碼的一個示例性實施例。表1 幀類型代碼
權利要求
1.一種通過網絡發送信號的方法，所述方法包括用編碼器將信號幀序列編碼成包括關鍵幀和預測幀的編碼幀序列；發送所述編碼幀序列，編碼幀包括至少一個參考幀；在編碼器處高速緩存所述至少一個參考幀；響應於在編碼器處接收到分組丟失檢測信號，使用在所述編碼器處高速緩存的所述參考幀來生成幀；以及發送所生成的幀。
2.如權利要求1所述的方法，其特徵在於，所生成的幀用於通過使用所述至少一個參考幀來解釋所生成的幀來產生一未壓縮的幀。
3.如權利要求1所述的方法，其特徵在於，至少一個編碼幀具有定義了幀要成為與在所述編碼器處高速緩存的所述至少一個參考幀相對應的高速緩存幀的幀類型代碼。
4.如權利要求1所述的方法，其特徵在於，在所述編碼器處高速緩存所述至少一個參考幀是用於分組丟失恢復。
5.如權利要求1所述的方法，其特徵在於，所述方法還包括在所述編碼器處周期性地高速緩存所述至少一個參考幀。
6.如權利要求5所述的方法，其特徵在於，高速緩存之間的周期能夠是設定的時間間隔或者能夠是可變的時間間隔。
7.如權利要求1所述的方法，其特徵在於，相同的至少一個參考幀的副本被高速緩存在解碼器和所述編碼器處，且所述方法還包括與在所述解碼器處高速緩存參考幀相同步地在所述編碼器處高速緩存所述至少一個參考幀。
8.如權利要求1所述的方法，其特徵在於，所述分組丟失檢測信號是通過到所述編碼器的反饋信道接收的。
9.如權利要求8所述的方法，其特徵在於，所述分組丟失檢測信號有與之相關聯的時間，且表示分組丟失時間的時間戳被發送到所述編碼器。
10.如權利要求8所述的方法，其特徵在於，一旦接收到所述分組丟失檢測信號，所述編碼器就使用所述至少一個參考幀來構造下一幀。
11.如權利要求10所述的方法，其特徵在於，所述下一幀還包括幀頭部，且所述下一幀在所述幀頭部中被區別地命名。
12.如權利要求1所述的方法，其特徵在於，所述編碼器周期性地向解碼器發送高速緩存幀。
13.如權利要求1所述的方法，其特徵在於，所述信號是圖像信號、視頻信號、音頻信號、或語音信號。
14.一種存儲計算機可執行指令的計算機可讀介質，所述計算機可執行指令用於使計算機系統執行如權利要求1-13中任一項所述的方法。
15.一種在有損網絡內流式傳輸信號的系統，所述系統包括用於高速緩存參考幀的幀高速緩存；用於從所述編碼器發送高速緩存幀序列的發送器；所述編碼器，其中所述編碼器用於將幀序列編碼成編碼幀序列，所述序列包括關鍵幀和預測幀，接收分組丟失檢測信號，一旦接收到分組丟失信號，使用高速緩存的參考幀來生成幀，以及用所述發送器從所述編碼器發送所生成的幀。
16.如權利要求15所述的系統，其特徵在於，所述編碼器還用於將在所述編碼器處高速緩存所述參考幀與在接收被流式傳輸的信號的解碼器處高速緩存一參考幀相同步。
17.如權利要求15所述的系統，其特徵在於，所生成的幀和高速緩存的參考幀能被用於基於解釋所生成的幀和所述參考幀來重構一未壓縮的幀。
18.如權利要求15所述的系統，其特徵在於，至少一個編碼幀具有定義了幀要成為與高速緩存的參考幀相對應的高速緩存幀的幀類型代碼。
19.如權利要求15所述的系統，其特徵在於，所述幀高速緩存用於周期性地高速緩存參考幀。
20.如權利要求19所述的系統，其特徵在於，高速緩存之間的周期能夠是設定的時間間隔或者能夠是可變的時間間隔。
21.如權利要求15所述的系統，其特徵在於，所述編碼器用於通過到所述編碼器的反饋信道接收所述分組丟失檢測信號。
22.如權利要求15所述的系統，其特徵在於，所述分組丟失檢測信號有與之相關聯的時間。
23.如權利要求15所述的系統，其特徵在於，一旦接收到所述分組丟失檢測信號，所述編碼器用於使用高速緩存的參考幀來構造下一幀。
24.如權利要求23所述的系統，其特徵在於，所述下一幀還包括幀頭部，且所述下一幀在所述幀頭部中被區別地命名。
25.如權利要求15所述的系統，其特徵在於，所述編碼器用於周期性地向解碼器發送高速緩存的參考幀。
26.如權利要求15所述的系統，其特徵在於，被流式傳輸的信號是圖像信號、視頻信號、音頻信號、或語音信號。
全文摘要
提供了通過網絡傳輸信號的方法和系統。揭示了使用幀高速緩存來改善分組丟失恢復的各種新的和非顯而易見的裝置和方法。所揭示的實施例中的一個是一種在編碼器及其對應的解碼器內使用周期性和同步的幀高速緩存的方法。當解碼器發現分組丟失時，它通知編碼器，後者隨即基於存儲在編碼器和解碼器兩處的若干共享幀中的一個生成幀。當解碼器接收到這個生成的幀時，它能夠使用其本地已高速緩存的幀來對其進行解碼。
文檔編號H04N7/36GK102158713SQ20111012037
公開日2011年8月17日 申請日期2005年11月30日 優先權日2004年12月30日
發明者S·瑞古納莎恩, T·W·胡爾庫姆, 夏明輝, 徐柏翔, 林志隆 申請人:微軟公司