細粒可分級性的最佳傳輸/流式順序的製作方法
2024-03-06 20:25:15 2
專利名稱：細粒可分級性的最佳傳輸/流式順序的製作方法
技術領域：
本發明涉及視頻編碼，更具體地說，涉及諸如網際網路的可變帶寬計算機網絡中用於流式增強層剩餘時間和質量信噪比(SNR)視頻幀數據(streaming enhancement layer residual temporal and qualitysignal-to-noise-ratio)的方法。
背景技術：
可分級視頻編碼已經用於對通過諸如網際網路的可變帶寬的計算機網絡發送的視頻數據進行壓縮。這樣的一種視頻編碼方案是細粒可分級(嵌入式)視頻編碼。細粒可分級(FGSfine granular scalable)視頻編碼已被ISO MPEG-4標準採納為MPEG-4流式視頻檔次(profile)的核心視頻編碼方法。
如圖1所示，FGS視頻編碼方案包括運動補償基本層10，由非可分級編解碼器來編碼，包括RBL比特率的I、P和B幀；以及增強層11，由諸如FGS的可分級編解碼器編碼，包括最大比特率為Rmax的質量信噪比(SNR)I、P、和B剩餘幀。傳輸時，對應於比特率REL的增強層11的一部分從FGS編碼比特流被「切」，使得可用帶寬為R＝RBL+REL。
例如，如果需要向客戶提供100kbps至1Mbps範圍比特率的增強層比特流，則將RBL設置為100kbps，而將Rmax設置為1Mbps。因此，始終發送以100kbps編碼的基本層I、P和B幀。但是，如果更多的帶寬可用，則也將發送至少一部分增強層剩餘I、P和B幀。
圖2A和2B示出上面提到的普通轉讓的同時待審的美國專利申請No.09/590825中描述的示例性FGS混合時間-SNR視頻編碼方案。在圖2A的視頻編碼方案中，用非可分級編解碼器對基本層12編碼，包括I、P和B幀，而用諸如FGS的可分級編解碼器對增強層13編碼，包括也就是時間幀(當用FGS編碼時的FGST幀)的剩餘B幀和也就是質量信噪比(SNR)幀(當用FGS編碼時的FGS幀)的質量信噪比剩餘I和P幀。在圖2B的視頻編碼方案中，用非可分級編解碼器對基本層14進行編碼，只包括I和P幀，也就是，基本層14中不對B幀進行編碼。增強層15的編碼方式類似於圖2A中諸如FGS的可分級編解碼器的編碼方案，包括也就是FGST幀的剩餘B幀和也就是FGS幀的SNR剩餘I和P幀。
在伺服器進行傳輸期間，基本層I、P和B幀(圖2A的編碼方案)或基本層I和P幀(圖2B的編碼方案)被編碼至RBL，因此始終被發送。如果更多的帶寬可用，當前用於傳輸圖2A和2B的編碼方案中的增強層13或15的方法是利用一種速率控制策略在FGS和FGST幀之間同樣地分配增強層比特(REL)。
與非可分級編解碼器相比，與FGS編解碼器有關的缺點是它降低的編碼效率。這是由於FGS得到不足的時間去相關(只在基本層利用時間相關)，而不是由於增強層的嵌入編碼所引起的。
通過改進基本層中的時間去相關，可減少增強層的時間相關。這可通過為基本層分配更大量的比特加以實現。但這是不可能的，因為RBL對應於保證多個客戶始終可用的最小帶寬。如果增加RBL，則有些客戶在某些時間將不能對基本層解碼，這就有違於MPEG-4標準。
發明內容
本發明針對可變帶寬網絡中流式(streaming)增強層視頻幀數據，增強層視頻幀數據具有可分級編碼剩餘時間(residual temporal)視頻幀數據和可分級編碼剩餘質量信噪比(SNR)視頻幀數據。本發明的一個方面包括一種方法，該方法包括以下步驟用非可分級編解碼器對原始未編碼視頻數據進行編碼，以生成基本層幀數據；從原始未編碼視頻數據和基本層幀數據生成剩餘時間和SNR視頻幀數據；用可分級編解碼器對剩餘時間和SNR視頻幀數據進行編碼，以生成具有可分級編碼的剩餘時間和SNR視頻幀數據的增強層視頻幀數據；確定可變帶寬網絡的可用帶寬；當可用帶寬是範圍在被分配用於只發送基本層幀數據的最小比特率和低於網絡最大比特率的預定比特率之間的第一帶寬時，至少發送部分可分級編碼剩餘時間幀數據；當可用帶寬是延伸在所述預定比特率和網絡最大比特率之間的第二帶寬時，還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分可分級編碼SNR幀數據。
本發明的另一個方面包括一種系統，所述系統包括用於用非可分級編解碼器對原始未編碼視頻數據進行編碼以生成基本層幀數據的裝置；用於從原始未編碼視頻數據和基本層幀數據生成剩餘時間和SNR視頻幀數據的的裝置；用於用可分級編解碼器對剩餘時間和SNR視頻幀數據進行編碼以生成具有可分級編碼的剩餘時間和SNR視頻幀數據的增強層視頻幀數據的裝置；用於確定可變帶寬網絡的可用比特率的裝置；用於當可用帶寬是範圍在被分配用於只發送基本層幀數據的最小比特率和低於網絡最大比特率的預定比特率之間的第一帶寬時至少發送部分可分級編碼剩餘時間幀數據的裝置；用於當可用帶寬是延伸在所述預定比特率和網絡最大比特率之間的第二帶寬時還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分可分級編碼SNR幀數據的裝置。
本發明的另一個方面包括一種視頻速率控制器，所述控制器包括用於確定可變帶寬網絡的可用帶寬的裝置；用於當可用帶寬是範圍在被分配用於只發送基本層幀數據的最小比特率和低於網絡最大比特率的預定比特率之間的第一帶寬時至少發送部分可分級編碼剩餘時間幀數據的裝置；用於當可用帶寬是延伸在所述預定比特率和網絡最大比特率之間的第二帶寬時還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分可分級編碼SNR幀數據的裝置。
本發明的另一個方面包括一種存儲介質，所述存儲介質包括用於用非可分級編解碼器對原始未編碼視頻數據進行編碼以生成基本層幀數據的代碼；用於從原始未編碼視頻數據和基本層幀數據生成剩餘時間和SNR視頻幀數據的的代碼；用於用可分級編解碼器對剩餘時間和SNR視頻幀數據進行編碼以生成具有可分級編碼的剩餘時間和SNR視頻幀數據的增強層視頻幀數據的代碼；用於確定可變帶寬網絡的可用帶寬的代碼；用於當可用帶寬是範圍在被分配用於只發送基本層幀數據的最小比特率和低於網絡最大比特率的預定比特率之間的第一帶寬時至少發送部分可分級編碼剩餘時間幀數據的代碼；用於當可用帶寬是延伸在所述預定比特率和網絡最大比特率之間的第二帶寬時還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分可分級編碼SNR幀數據的代碼。
現將結合附圖來討論本發明的說明性實施例，使得本發明的優點、性質和其它特徵將更加明顯，附圖中，同一標號表示同一單元，其中圖1表示當前增強層視頻編碼方案；
圖2A和2B示出用於本發明的示例性FGS混合時間-SNR視頻編碼方案；圖3是描述按照本發明原理的方法之步驟的流程圖；圖4用圖解的方式說明在圖2B的結構中使用的方法；圖5示出利用本發明的混合可分級編碼方案的系統的示例性實施例；以及圖6示出可用於本發明的另一個示例性FGS混合時間-SNR視頻編碼方案。
具體實施例方式現將說明根據本發明的原理的一種方法，所述方法用於諸如網際網路的可變帶寬計算機網絡上的流式增強層剩餘時間和質量信噪比(SNR)視頻幀數據(FGS編碼情況下的FGST和FGS幀數據)。該方法採用圖2B中的混合時間-SNR可分級視頻編碼方案，使增強層中的時間相關得到顯著改善。因此，通過引用將普通轉讓的同時待審的美國專利申請No.09/000000的整個公開結合在此。雖然圖2B的視頻編碼方案只示出SNR之間的一個時間幀，但在本方法中也可以使用SNR幀之間具有兩個或兩個以上的時間幀的時間-SNR可分級視頻編碼方案。
圖3是描述按照本發明原則的方法的步驟的流程圖。步驟AA-DD是在美國專利申請No.09/000000中所描述的系統的編碼器端執行，步驟EE-HH是在美國專利申請No.09/000000中所描述的系統的伺服器端執行。
在步驟AA中，用非可分級編解碼器對原始未編碼視頻數據編碼，以生成只含有I和P幀的基本層14，如圖2B所示。在基本層中不對B幀編碼。使用圖2B的視頻編碼方案利用了這樣一個事實只有I和P幀顯著地對時間去相關起作用。因此，在更多的RBL比特可用於I和P幀編碼時，在基本層中不對B幀編碼可提供較高質量的基本層I和P幀。較高質量的基本層I和P幀相應地改進了基本層中的時間去相關。
在步驟BB中，通過計算原始視頻數據和參考I、P基本層幀之間的差來預測運動補償或時間剩餘B幀。兩個時間相鄰的基本層參考幀被用來預測每個時間剩餘B幀。B幀受益於這種編碼方案，因為可更精確地從改進質量的參考基本層I和P幀來對B幀進行預測。
在步驟CC中，通過計算原始視頻數據和基本層幀參考幀之間的差來生成改進質量或信噪比(SNR)的剩餘I和P幀。SNR剩餘I和P幀受益於這種編碼方案，因為以減少的時間相關對它們編碼。當用可分級編解碼器進一步編碼時，這還將導致改善的性能。
在步驟DD中，用諸如FGS的適當編解碼器對時間剩餘幀和SNR剩餘幀進行編碼，以生成具有可分級編碼的時間B幀和可分級編碼的SNRI和P幀的增強層。在圖2B所示的實施例中，剩餘時間和SNR幀用FGS編碼，因此生成由FGST幀表示的時間增強層B幀和由FGS幀表示的SNR增強層I和P幀。
在步驟EE中，對較高質量I和P基本層幀分配高達RBL的比特率，對增強層時間幀分配RBL和RBL+k之間的比特率，其中k小於等於RBL，在時間幀和SNR幀之間均勻分配RBL+k和Rmax之間的比特率。
在步驟FF中，始終以帶寬RBL發送I和P基本層幀。
在步驟GG中，當可用帶寬被確定為在RBL和RBL+k之間時，其中k小於等於RBL，發送至少部分增強層時間幀。這可以通過一次一個地逐步發送所述至少部分時間幀來完成。確定首先發送哪些時間幀部分的策略可以基於運動活動性(motion activity)，由於該信息已在編碼期間由編碼器確定，其中首先發送具有最大運動活動性的時間幀部分。確定首先發送哪些時間幀部分的策略也可基於峰值信噪比或其它參數。
在步驟HH中，當可用帶寬被確定在RBL+k和Rmax之間時，還發送增強層時間幀的其餘部分以及至少部分增強層SNR幀。
圖4用圖解的方式說明了圖2B的結構中所應用的方法。
如上所述，可利用前面提到的美國專利申請No.99/000000中描述的系統來執行所述方法，如圖5所示。在編碼器中，來自視頻源20的未編碼視頻數據被輸入到基本層編碼器21和混合時間-SNR可分級視頻編碼器22中。基本層編碼器21利用標準幀預測編碼技術對一部分原始視頻數據進行編碼。基本層編碼器21以預定比特率RBL對視頻數據進行壓縮。最好由計算單元23根據有關可變帶寬網絡24的當前帶寬來確定RBL。計算單元23測定網絡24的當前可用帶寬(R)、最小比特率(Rmin)及最大比特率(Rmax)。然後計算單元23最好將RBL設置到Rmin，以保證即使在其最低帶寬，網絡24也能適應編碼的視頻數據。
來自視頻源20的原始視頻數據和由基本層編碼器21提供的編碼視頻數據(即基本層)都被路由選擇到混合編碼器22中的剩餘圖像(RI)計算單元25和運動補償剩餘圖像(MCRI)計算單元26中。RI計算單元25和MCRI計算單元26用原始視頻數據和編碼視頻數據來生成剩餘圖像27和運動補償(MC)剩餘圖像28。更具體地說，RI計算單元25接收來自基本層編碼器21的編碼視頻數據，然後對該編碼視頻數據進行解碼。此後，根據所述解碼的視頻數據中的像素和原始視頻數據中的像素之間的差來生成剩餘圖像27。MCRI計算單元26接收來自基本層編碼器21的編碼視頻數據，然後對所述編碼視頻數據進行解碼。此後，根據運動補償處理方法從解碼視頻數據中生成MC剩餘圖像28。再從對應的原始圖中減去所述運動補償圖。
混合編碼器22也包括MCRI增強層編碼器28和剩餘圖像增強層編碼器30，這兩個編碼器都使用諸如FGS的可分級編解碼器。工作期間，MCRI增強層編碼器29和剩餘圖像增強層編碼器30分別利用可分級編解碼器對MC剩餘圖像22和剩餘圖像12進行編碼。
MCRI增強層編碼器29生成壓縮時間幀31的數據流，RI增強層編碼器30生成SNR幀32的數據流。數據流31和32可被組合以生成單個增強層數據流或者可被保持為兩個分開的數據流。無論哪種情況，結果流都可被實時存儲或發送。
在伺服器端，實時可分級視頻速率控制器34接收時間和SNR幀數據流31、32(與由基本層編碼器21生成的基本層幀數據流33一起)並實時執行前面所述的方法步驟EE-HH。速率控制器34通常包括與存儲器(未示出)通信的處理器。處理器可以是執行方法步驟EE-HH的任何能專用或通用處理器。處理器中可以包含當被執行時完成方法步驟EE-HH的編碼。所述編碼可存於存儲器中。
速率控制器34根據從計算單元23、FGS速率控制器35及任選用戶輸入36接收的輸入R、RBL和Rmax來執行所述方法步驟EE-HH。由於對基本層I和P幀分配達RBL之多的比特率，並且始終發送基本層幀，根據這些輸入，速率控制器34確定其餘用於發送時間和SNR幀的可用帶寬(R-RBL)。根據這個信息，速率控制器34按照所述方法的步驟EE在增強層數據流31和32之間分配比特率。
在幀數據流中分配比特率之後，速率控制器34就按照所述方法的步驟FF-HH在可變帶寬網絡24上發送作為基本層流和增強層流的數據流。
除較好的時間去相關之外，本發明附帶的好處是總是用FGST對B幀編碼並因此只有1個剩餘(MC剩餘)需要計算，由此導致複雜性降低並且效率更好，因為符號只需一次編碼。而且，因為基本層只含有I和P幀，因此其複雜性僅為中等。只在增強層才引入有更多計算和存儲通信量複雜的B幀。
本發明的方法也採用圖6所示的混合時間-SNR可分級視頻編碼方案，其中包括用I和P幀編碼的基本層40和兩個增強層，也就是用時間B幀編碼的時間層41和用SNR I和P幀編碼的SNR層42。這種編碼方案的細節也在上面提到的美國專利申請No.09/000000中深入討論過。
儘管參考上述實施例描述了前述發明，然而在不脫離本發明精神的情況下可以進行各種修改和變化。因此，所有這樣的修改和變化都被認為是在後附權利要求書的範圍內。
權利要求
1.一種用於可變帶寬網絡中流式增強層視頻幀數據的方法，所述增強層視頻幀數據具有可分級編碼剩餘時間視頻幀數據和可分級編碼剩餘質量信噪比(SNR)視頻幀數據，所述方法包括以下步驟用非可分級編解碼器對原始未編碼視頻數據進行編碼以生成基本層幀數據；從所述原始未編碼視頻數據和所述基本層幀數據生成剩餘時間和SNR視頻幀數據；用可分級編解碼器對所述剩餘時間和SNR視頻幀數據進行編碼，以生成具有所述可分級編碼剩餘時間和SNR視頻幀數據的所述增強層視頻幀數據；確定所述可變帶寬網絡的可用帶寬；在所述可用帶寬是範圍在分配用於只發送基本層幀數據的最小比特率和低於所述網絡最大比特率的預定比特率之間的第一帶寬時，發送至少部分所述可分級編碼剩餘時間幀數據。
2.如權利要求1所述的方法，其特徵在於還包括以下步驟當所述可用帶寬是延伸在所述預定比特率和所述網絡的最大比特率之間的第二帶寬時，還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分所述可分級編碼SNR幀數據。
3.如權利要求2所述的方法，其特徵在於所述第二比特率延伸到所述可變帶寬網絡的最大可用帶寬。
4.如權利要求1所述的方法，其特徵在於所述基本層幀數據包含只用於I和P幀的數據。
5.如權利要求4所述的方法，其特徵在於所述可分級編碼剩餘時間幀數據包含只用於B幀的數據。
6.如權利要求5所述的方法，其特徵在於所述可分級編碼SNR視頻幀數據只包含用於I和P幀的數據。
7.如權利要求1所述的方法，其特徵在於所述可分級編碼的剩餘時間幀數據包含只用於B幀的數據。
8.如權利要求1所述的方法，其特徵在於所述可分級編碼SNR視頻幀數據只包含用於I和P幀的數據。
9.一種用於可變帶寬網絡中流式增強層視頻幀數據的系統，所述增強層視頻幀數據具有可分級編碼剩餘時間視頻幀數據和可分級編碼剩餘質量信噪比(SNR)視頻幀數據，所述系統包括用於用非可分級編解碼器對原始未編碼視頻數據進行編碼以生成基本層幀數據的裝置；用於從所述原始未編碼視頻數據和所述基本層幀數據生成剩餘時間和SNR視頻幀數據的裝置；用於用可分級編解碼器對所述剩餘時間和SNR視頻幀數據進行編碼以生成具有所述可分級編碼剩餘時間和SNR視頻幀數據的所述增強層視頻幀數據的裝置；用於確定所述可變帶寬網絡的可用比特率的裝置；用於在所述可用帶寬是範圍在分配用於只發送基本層幀數據的最小比特率和低於所述網絡最大比特率的預定比特率之間的第一帶寬時發送至少部分所述可分級編碼剩餘時間幀數據的裝置。
10.如權利要求9所述的系統，其特徵在於還包括用於在所述可用帶寬是延伸在所述預定比特率和所述網絡的最大比特率之間的第二帶寬時還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分所述可分級編碼SNR幀數據的裝置。
11.如權利要求10所述的系統，其特徵在於所述第二比特率延伸到所述可變帶寬網絡的最大可用帶寬。
12.一種視頻速率控制器，包括用於確定所述可變帶寬網絡的可用帶寬的裝置；用於在所述可用帶寬是範圍在分配用於只發送基本層幀數據的最小比特率和低於所述網絡最大比特率的預定比特率之間的第一帶寬時發送至少部分所述可分級編碼剩餘時間幀數據的裝置。
13.如權利要求12所述的控制器，其特徵在於還包括用於在所述可用帶寬是延伸在所述預定比特率和所述網絡的最大比特率之間的第二帶寬時還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分所述可分級編碼SNR幀數據的裝置。
14.一種用於可變帶寬網絡中流式增強層視頻幀數據的存儲介質，所述增強層視頻幀數據具有可分級編碼剩餘時間視頻幀數據和可分級編碼剩餘質量信噪比(SNR)視頻幀數據，所述存儲介質包括用於用非可分級編解碼器對原始未編碼視頻數據進行編碼以生成基本層幀數據的代碼；用於從所述原始未編碼視頻數據和所述基本層幀數據生成剩餘時間和SNR視頻幀數據的代碼；用於用可分級編解碼器對所述剩餘時間和SNR視頻幀數據進行編碼以生成具有所述可分級編碼剩餘時間和SNR視頻幀數據的所述增強層視頻幀數據的代碼；用於確定所述可變帶寬網絡的可用帶寬的代碼；用於在所述可用帶寬是範圍在分配用於只發送基本層幀數據的最小比特率和低於所述網絡最大比特率的預定比特率之間的第一帶寬時發送至少部分所述可分級編碼剩餘時間幀數據的代碼。
15.如權利要求14所述的存儲介質，其特徵在於還包括用於在所述可用帶寬是延伸在所述預定比特率和所述網絡的最大比特率之間的第二帶寬時還發送所述可分級編碼剩餘時間幀數據的其餘部分以及至少部分所述可分級編碼SNR幀數據的代碼。
全文摘要
一種用於可變帶寬網絡中流式增強層視頻幀數據的方法，所述方法包括以下步驟用非可分級編解碼器對原始未編碼視頻數據進行編碼，以生成I和P基本層幀；從原始未編碼視頻數據和基本層幀生成剩餘時間B幀和SNRI和P幀；用可分級編解碼器對時間和SNR幀進行編碼；確定可變帶寬網絡的可用帶寬；在可用帶寬是範圍在分配用於只發送基本層幀數據的最小比特率和低於網絡最大比特率的預定比特率之間的第一帶寬時，發送至少部分可分級編碼剩餘時間幀；並且在可用帶寬是延伸在所述預定比特率和網絡的最大比特率之間的第二帶寬時，還發送可分級編碼剩餘時間幀數據的其餘部分以及至少部分可分級編碼SNR幀數據。
文檔編號H04N7/24GK1436423SQ01803790
公開日2003年8月13日 申請日期2001年9月24日 優先權日2000年9月22日
發明者M·范德沙爾 申請人:皇家菲利浦電子有限公司