用於視頻流傳輸業務的視頻編碼和解碼方法及系統的製作方法
2023-07-11 00:47:06 2
專利名稱：用於視頻流傳輸業務的視頻編碼和解碼方法及系統的製作方法
技術領域：
本發明涉及用於視頻流傳輸業務的視頻編碼方法和系統，以及用於重建原始視頻的視頻解碼方法和系統。
背景技術：
隨著包括網際網路的信息通信技術的發展，提出了各種新的通信業務。這種通信業務之一是視頻點播(VOD)業務。VOD是指根據用戶的請求將諸如電影或新聞的視頻內容通過電話線、線纜或網際網路提供給一端的用戶的業務。允許用戶不必離開他們的住處就可以觀看電影。另外，允許用戶不必去學校或私人教育學院就可以通過運動圖像講課來訪問各種類型的教育內容。
需要根據網絡條件和解碼器的性能將諸如VOD的視頻流傳輸業務設置有各種解析度、幀速率或圖像質量。圖1至圖3分別顯示在不同的解析度、幀速率或圖像質量用於視頻流傳輸的傳統的同時聯播、多層編碼和可分級視頻編碼方案。
在同時聯播編碼方案中，對每種解析度、幀速率或圖像質量產生單獨的比特流。例如，為了在三種解析度提供比特流業務，需要三種單獨的比特流。參照圖1，具有704×576解析度(第一解析度)和60Hz幀速率的視頻、具有352×288解析度(第二解析度)和30Hz幀速率的視頻和具有176×155解析度(第三解析度)和15Hz幀速率的視頻被獨立地編碼為三種比特流。將第一至第三解析度的比特流分別用於提供帶寬為6Mbps、750Kbps和64Kbps的網絡線纜上的流傳數業務。在不同解析度的視頻之間存在強相關性。如圖2所示的多層編碼方案是在多層的視頻序列之間使用強相關性的一條途徑。
與圖1所示的同時聯播編碼方案相反，用於可分級視頻編碼的由MPEG-2採用的多層編碼方案通過參考最低解析度的基本層視頻對高解析度增強層視頻進行編碼。也就是，參照圖2，參考具有176×155解析度的編碼的基本層視頻對具有352×288解析度的第一增強層視頻進行編碼，以及參考第一增強層視頻對具有704×576解析度的第二增強層視頻進行編碼。
當接收到用於704×576解析度的視頻的用戶請求時，流傳輸業務提供者將在第二增強層中編碼的視頻及在第一增強層中和基本層中編碼的視頻發送到用戶。接收到所述視頻的用戶首先重建基本層視頻，然後分別參考重建的基本層視頻和重建的第一增強層視頻來按次序重建第一增強層視頻和704×576解析度的第二增強層視頻。
同樣，當接收到用於352×288解析度的視頻的用戶請求時，流傳輸業務提供者將在第一增強層中和基本層中編碼的視頻發送到用戶。接收到所述視頻的用戶首先重建基本層視頻，然後參考重建的基本層視頻來重建具有352×288解析度的第一增強層視頻。當接收到用於176×155解析度的視頻的用戶請求時，流傳輸業務提供者將在基本層中編碼的視頻發送到用戶。然後用戶重建基本層視頻。
已經在第PCT/US2000/09584號國際申請中公開了同時聯播或多層編碼方案的示例。該申請提出一種用於通過選擇地使用同時聯播或用於可分級視頻編碼的多層編碼改進編碼效率的方法。然而，由於這種方法使用基於MPEG-4的離散餘弦變換(DCT)作為基本編碼算法，所以不能提供充分的可分級性。也就是，為提供具有n解析度的視頻流傳輸業務，這種方法需要對n個視頻序列或包括n層的視頻進行編碼。相反地，基於可分級視頻編碼方案的小波變換能夠在不同的解析度、幀速率和圖像質量使用單個比特流進行視頻編碼。
MPEG-4意在使可分級視頻編碼標準化，所述可分級編碼包括從單個編碼的比特流在各種解析度、幀速率和圖像質量創建視頻。如圖3所示，可分級視頻編碼方案從單個比特流產生具有各種解析度和幀速率的視頻。
可以通過小波變換實現空域分級，所述空域分級能夠從分級的比特流產生具有各種解析度的視頻。可以通過運動補償時域濾波(MCTF)、非限制性MCTF(UMCTF)或連續時域近似和參考(STAR)提供時域分級，所述時域分級能夠從分級的比特流產生不同幀速率的視頻。可以通過嵌入式量化實現信噪比(SNR)分級。
發明內容
技術問題使用可分級視頻編碼算法允許在各種解析度和幀速率從單個視頻序列獲得的單個比特流的視頻流傳輸業務。然而，這種可分級視頻編碼算法不能在所有解析度提供高質量比特流。換句話說，傳統的編碼算法不能不能在所有解析度提供高質量比特流。例如，能夠以高質量重建最高解析度的視頻，但是不能以滿意的質量重建低解析度視頻。可在對低解析度視頻進行視頻編碼時分配更多的比特從而改善它的質量。然而，這將降低編碼效率。
迫切需要一種這樣的視頻流傳輸業務的視頻編碼方案，該方案通過在編碼效率和重建的圖像質量之間達到很好的均衡來提供滿意的圖像質量和高視頻編碼效率。
技術方案本發明提供一種能夠提供具有各種圖像解析度和高編碼效率的視頻流傳輸業務的視頻編碼方法和系統。
本發明還提供一種對由視頻編碼方法和系統編碼的視頻進行解碼來重建原始視頻序列的視頻解碼方法和系統。
根據本發明的一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第一解析度幀進行編碼；將第一解析度幀上採樣到第二解析度；以及參考第一解析度幀的上採樣版本使用可分級視頻編碼對第二解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用非可分級視頻編碼對第一解析度幀進行編碼；將第一解析度幀上採樣到第二解析度；以及參考第一解析度幀的上採樣版本使用可分級視頻編碼對第二解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第一解析度幀進行編碼；將第一解析度幀上採樣到第二解析度；將第一解析度幀上採樣到第三解析度；參考被上採樣到第二解析度的幀使用可分級視頻編碼對第二解析度幀進行編碼；以及參考被上採樣到第三解析度的幀使用可分級視頻編碼對第三解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第一解析度幀進行編碼；將第一解析度幀上採樣到第二解析度；參考被上採樣到第二解析度的幀使用可分級視頻編碼對第二解析度幀進行編碼；使用可分級視頻編碼對具有比第二解析度高的第三解析度的幀進行編碼；將第三解析度幀上採樣到第四解析度；以及參考被上採樣到第四解析度的幀使用可分級視頻編碼對第四解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的幀進行編碼；獨立於第一解析度幀，使用可分級視頻編碼對具有比第一解析度高的第二解析度的幀進行編碼；以及獨立於第二解析度幀，使用可分級視頻編碼對具有比第二解析度高的第三解析度的幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用非可分級視頻編碼對具有第一解析度的幀進行編碼；獨立於第一解析度幀，使用可分級視頻編碼對具有比第一解析度高的第二解析度的幀進行編碼；以及獨立於第二解析度幀，使用可分級視頻編碼對具有比第二解析度高的第三解析度的幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第一解析度幀進行編碼；將第一解析度幀上採樣到第二解析度；使用可分級視頻編碼對具有比第二解析度高的第三解析度的幀進行編碼；將第三解析度幀下採樣到第二解析度；以及參考第一解析度幀的上採樣版本和第三解析度的下採樣版本使用可分級視頻編碼對第二解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第二解析度幀進行編碼；將第二解析度幀下採樣到第一解析度；以及參考第二解析度幀的下採樣版本使用可分級視頻編碼對第一解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第二解析度幀進行編碼；將第二解析度幀下採樣到第一解析度；以及參考第二解析度幀的下採樣版本使用非可分級視頻編碼對第一解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼方法，所述方法包括使用可分級視頻編碼對第三解析度幀進行編碼；將第三解析度幀下採樣到第二解析度；參考被下採樣到第二解析度的幀使用可分級視頻編碼對第二解析度幀進行編碼；將第三解析度幀下採樣到比第二解析度低的第一解析度；以及參考被下採樣到第一解析度的幀使用可分級視頻編碼對第一解析度幀進行編碼。
根據本發明的另一方面，提供一種視頻編碼器系統，所述系統包括第一可分級視頻編碼器，使用非可分級視頻編碼對第一解析度幀進行編碼；第二可分級視頻編碼器，將第一解析度幀轉換為第二解析度，並參考轉換的幀使用可分級視頻編碼對第二解析度幀進行編碼；以及比特流產生模塊，產生包括第一解析度編碼的幀和第二解析度編碼的幀的比特流。
根據本發明的另一方面，提供一種視頻編碼器系統，所述系統包括第一可分級視頻編碼器，使用可分級視頻編碼對具有第一解析度的幀進行編碼；第二可分級視頻編碼器，使用可分級視頻編碼對具有比第一解析度低的第二解析度的幀進行編碼；以及比特流產生模塊，產生包括第一解析度編碼的幀和第二解析度編碼的間幀的比特流。
根據本發明的另一方面，提供一種視頻編碼器系統，所述系統包括可分級視頻編碼器，使用可分級視頻編碼對具有第一解析度的幀進行編碼；非可分級視頻編碼器，使用非可分級視頻編碼對具有比第一解析度低的第二解析度的幀進行編碼；以及比特流產生模塊，產生包括第一解析度編碼的幀和第二解析度編碼的間幀的比特流。
根據本發明的另一方面，提供一種視頻解碼方法，所述方法包括為重建原始幀，對使用可分級視頻編碼進行編碼的第一解析度幀進行解碼；將重建的第一解析度幀上採樣到第二解析度；以及為重建原始幀，參考重建的第一解析度幀的上採樣的版本對使用可分級視頻編碼進行編碼的第二解析度幀進行解碼。
根據本發明的另一方面，提供一種視頻解碼方法，所述方法包括為重建原始幀，對使用非可分級視頻編碼進行編碼的第一解析度幀進行解碼；將重建的第一解析度幀上採樣到第二解析度；以及為重建原始幀，參考重建的第一解析度幀的上採樣的版本對使用可分級視頻編碼進行編碼的第二解析度幀進行解碼。
根據本發明的另一方面，提供一種視頻解碼方法，所述方法包括為重建原始幀，對使用可分級視頻編碼進行編碼的第一解析度幀進行解碼；將部分重建的第一解析度幀下採樣到第二解析度，並產生具有第二解析度的內幀；以及參考產生的內幀對使用可分級視頻編碼進行編碼的第二解析度間幀進行解碼。
根據本發明的另一方面，提供一種視頻解碼方法，所述方法包括為重建原始幀，對使用可分級視頻編碼進行編碼的第一解析度幀進行解碼；將部分重建的第一解析度幀下採樣到第二解析度，並產生具有第二解析度的內幀；以及參考產生的內幀對使用非可分級視頻編碼進行編碼的第二解析度間幀進行解碼。
根據本發明的另一方面，提供一種視頻編碼器系統，所述系統包括第一可分級視頻解碼器，為重建原始幀，對使用可分級視頻編碼進行編碼的第一解析度幀進行解碼；以及第二可分級視頻解碼器，將重建的第一解析度幀轉換為第二解析度，並且為重建原始幀，參考轉換的幀對使用可分級視頻編碼進行編碼的第二解析度幀進行解碼。
根據本發明的另一方面，提供一種視頻編碼器系統，所述系統包括非可分級視頻解碼器，為重建原始幀，對使用非可分級視頻編碼進行編碼的第一解析度幀進行解碼；以及可分級視頻解碼器，將重建的第一解析度幀轉換為第二解析度，並且為重建原始幀，參考轉換的幀對使用可分級視頻編碼進行編碼的第二解析度幀進行解碼。
通過下面結合附圖對其示例性實施例進行的詳細描述，本發明的上述和其它方面將會變得更加清楚，其中圖1至圖3顯示在不同的解析度提供視頻流傳輸的傳統的編碼方案；圖4示出使用多層編碼方案在增強層中編碼幀的參考關係；圖5和圖6示出根據本發明的第一和第二示例性實施例的用於視頻流傳輸的編碼方案；圖7至圖10示出根據本發明的第三至第六示例性實施例的用於視頻流傳輸的編碼方案；圖11至圖14示出根據本發明的第七至第十示例性實施例的用於視頻流傳輸的編碼方案；圖15示出根據本發明的示例性實施例的幀間編碼中的參考關係；圖16示出根據本發明的另一示例性實施例的幀間編碼中的參考關係；圖17示出根據本發明的另一示例性實施例的幀間編碼中的參考關係；圖18示出根據本發明的另一示例性實施例的幀間編碼中的參考關係；圖19示出根據本發明的示例性實施例的內幀共享；
圖20示出根據本發明的另一示例性實施例的內幀共享；圖21是根據本發明的示例性實施例的視頻編碼器系統的框圖；圖22是根據本發明的示例性實施例的視頻解碼器系統的框圖；以及圖23是用於解釋在內幀共享的平滑的增強層中產生平滑的內幀以及對共享的內幀進行解碼的過程的示圖。
具體實施例方式
現在將參照附圖來更加全面地描述本發明，其中顯示了本發明的優選實施例。
圖4示出使用多層編碼方案在增強層中編碼幀的參考關係。
參照圖4，可以使用前一幀(幀N-1)作為參考(後向預測)或使用後一幀作為參考(前向預測)對增強層中的當前幀(幀N)進行幀間編碼。當將前一幀中的一塊和後一幀中的一塊的平均作為參考時，該預測稱為雙向預測。在多層編碼方案中，參考基本層中相應的幀對增強層中的幀進行編碼，這被稱為層間預測。
層間預測使用基本層中的當前幀來對增強層中的當前幀進行編碼。通過將基本層的當前幀上採樣或下採樣到增強層的解析度來創建參考幀。例如，如圖4所示當基本層的解析度低於增強層的解析度時，基本層中的當前幀被上採樣到增強層的解析度，然後參考基本層中的所述幀的上採樣版本對增強層中的當前幀進行幀間編碼。當基本層的解析度高於增強層的解析度時，基本層中的當前幀被下採樣到增強層的解析度，並且參考基本層中的所述幀的下採樣版本對增強層中的當前幀進行幀間編碼。
儘管基於向前預測、向後預測、雙向預測或層間預測模式之一對增強層幀中的所有塊進行幀間編碼，但是可以將不同預測用於每塊的編碼。也可將加權雙向預測和塊內預測用作預測模式。可以基於包含編碼的數據和用於預測的運動向量的數據的代價、計算的複雜性和其它因素來選擇預測模式。
可從另一增強層而不是基本層基於層間預測對增強層中的幀進行編碼。例如，可使用基本層中的幀作為參考對第一增強層的幀進行編碼，並且可使用第一增強層中的幀作為參考對第二增強層的幀進行編碼。此外，可使用另一層(基本層或第一增強層)中的幀作為參考基於層間預測對第一或第二增強層的所有或部分幀進行編碼。具體地，當被參考的層的幀速率低於當前正被編碼的增強層的幀速率時，基於除了層間預測的預測對增強層的部分幀進行編碼。
本發明的示例性實施例使用同時聯播編碼或多層編碼方案以在各種解析度和幀速率提供視頻流傳輸業務。本發明還在所有或部分層使用可分級視頻編碼來允許以更多解析度和幀速率進行視頻流傳輸業務。
圖5至圖14示出根據本發明的第一至第十示例性實施例的用於視頻流傳輸的編碼方案。儘管描述了三層或四層的視頻，但是所述視頻可包括兩層或五層或更多層。在第一至第十示例性實施例中的低層和高層分別表示低解析度或高解析度層。在圖5至圖14中，由虛線箭頭表示層間參考，由實線箭頭表示具有不同解析度、幀速率或傳輸速率的視頻，所述視頻可從特定層中的編碼的視頻獲得。
圖5顯示根據本發明的第一示例性實施例的用於視頻流傳輸的多層編碼方案的示例，其中，視頻數據被編碼為三層，即，基本層和第一及第二增強層。
參照圖5，使用可分級視頻編碼對所有層中的視頻進行編碼。即，使用可分級視頻編碼對基本層中的視頻進行編碼。使用可分級視頻編碼參考在編碼的基本層視頻中的幀對第一增強層中的視頻進行編碼，並且使用可分級視頻編碼參考在編碼的第一增強層視頻中的幀對第二增強層中的視頻進行編碼。
當接收到用於704×576解析度的視頻的用戶請求時，流傳輸業務提供者將在第二增強層中編碼的視頻及在第一增強層中和基本層中編碼的視頻發送到用戶。當請求的幀速率為60Hz時，將基本層中和第一及第二增強層中所有編碼的幀發送到用戶。另一方面，當請求的幀速率為30Hz或15Hz時，流傳輸業務提供者在傳輸之前將編碼的幀的不必要的部分截去。用戶使用編碼的幀首先重建基本層中的視頻。然後，用戶通過分別參考重建的基本層中的視頻和重建的第一增強層中的視頻來順次重建第一增強層中的視頻和704×576解析度的第二增強層中的視頻。
當接收到用於352×288解析度的視頻的用戶請求時，流傳輸業務提供者將在基本層中和第一增強層中編碼的視頻發送到用戶。當請求的幀速率為30Hz時，將基本層中和第一增強層中所有編碼的幀發送到用戶。另一方面，當請求的幀速率為15Hz時，流傳輸業務提供者在傳輸之前將編碼的幀的不必要的部分截去。接收到編碼的幀的用戶重建基本層中的視頻，然後參考重建的基本層中的視頻來重建352×288解析度的第一增強層中的視頻。
當接收到用於176×155解析度的視頻的用戶請求時，流傳輸業務提供者將在基本層中的編碼的視頻發送到用戶。當用戶選擇以128Kbps的比特率傳輸比特流時，將所有編碼的幀發送到用戶。然而，當用戶選擇以64Kbps傳輸時，流傳輸業務提供者在傳輸之前將編碼的幀的部分比特截去。接收到編碼的幀的用戶重建基本層中的視頻。
圖6顯示根據本發明的第二示例性實施例的用於視頻流傳輸的多層編碼方案的示例，其中，使用非可分級視頻編碼對一層進行編碼。儘管如第PCT/US2000/09584號國際申請所公開的H.264或MPEG-4視頻編碼標準可通過使用圖1至圖3所示的編碼方案支持有限的空域分級或有限的時域分級，但是不能提供充分的空域、時域和信噪比(SNR)分級。
因此，本發明使用基於小波的分級編碼方案作為基本算法。儘管提供好的空域、時域和SNR分級，當前已知的分級視頻編碼算法比H.264或MPEG-4提供的編碼效率低。為了提高編碼效率，可使用如圖6所示的非可分級H.264或MPEG-4方案對部分層進行編碼。
參照圖6，由於最低解析度的視頻不需要分級，所以使用非可分級H.264或MPEG-4編碼方案對最低解析度的基本層進行編碼。也就是，使用具有高編碼效率的H.264或MPEG-4編碼方案對具有64Kbps(最低比特率)傳輸率的視頻進行編碼。
圖7顯示根據本發明的第三示例性實施例的用於視頻流傳輸的多層編碼方案的示例，其中，參考低於緊接前面的層的層對增強層進行編碼。在第三示例性實施例中，參考基本層而不是第一增強層對第二增強層進行編碼。因為參考具有更大解析度差異的基本層對第二增強層進行編碼，所以根據第三示例性實施例的編碼方案提供比第一示例性實施例中更低的編碼效率。然而，由於在解碼處理期間通過直接參考基本層而不是第一增強層重建第二增強層中的視頻，所以這比第一示例性實施例中提供了更高的圖像質量。
圖8顯示根據本發明的第四示例性實施例的用於視頻流傳輸的多層編碼方案的示例，其中，將視頻編碼為多個基本層和增強層。使用如第一示例性實施例中的許多層可降低編碼效率。因此，在第四示例性實施例中，根據層數將不參考任何其它層而獨立編碼的基本層放置在適當的位置。
圖9顯示根據本發明的第五示例性實施例的同時聯播視頻編碼方案的示例，其中，在每種解析度的編碼中僅使用可分級編碼。根據應用的類型，同時聯播編碼方案比多層編碼方案效率更高。當同時聯播編碼方案更有效時，在所有或部分解析度的編碼中使用可分級視頻編碼。可選地，為提高編碼的效率，可使用如圖10所示的第六示例性實施例中的非可分級H.264或MPEG-4編碼僅對最低解析度的視頻進行編碼。
圖11顯示根據本發明的第七示例性實施例的用於視頻流傳輸的多層編碼方案的示例，其中，最低解析度層不是基本層。在所述多層編碼方案中，參考中間解析度的基本層將視頻數據編碼為最低解析度的第一增強層和最高解析度的第二增強層。在對第二增強層的視頻編碼中將基本層的幀的上採樣版本作為參考，而在對第一增強層的視頻編碼中將基本層的幀的下採樣版本作為參考。
圖12顯示根據本發明的第八示例性實施例的用於視頻流傳輸的多層編碼方案的示例，其中，以最高的解析度對基本層進行編碼。在第八實施例中，參考基本層中視頻對第一增強層中的視頻進行編碼，並且參考第一增強層中的視頻對第二增強層中的視頻進行編碼。在編碼第一增強層視頻中使用的參考幀是基本層的幀的下採樣版本。可選地，為了提高編碼效率，可使用如圖13所示的第九示例性實施例中的非可分級視頻編碼對所述多個層的一部分進行編碼。
圖14顯示根據本發明的第十示例性實施例的用於視頻流傳輸的多層編碼方案的示例。與圖7所示的第三示例性實施例相比，在第十示例性實施例中的多層編碼方案參考高解析度層中的視頻對低解析度層中的視頻進行編碼。
圖15示出根據本發明的示例性實施例的幀間編碼中的參考關係。由虛線箭頭表示每個解析度層之間的參考，而由實線箭頭表示相同解析度層之內的參考。
參照圖15，首先對低解析度視頻610進行編碼。確定低解析度視頻610中的編碼順序以實現時域分級。也就是，當畫面組(GOP)的大小為4時，GOP中的幀1被編碼為內幀(I幀)，幀3被編碼為間幀(H幀)。然後，將幀1和3作為參考來對幀2進行編碼，幀3用於對幀4進行編碼。以與編碼過程相同的順序執行解碼過程，即，按照幀1、3、2和4的順序。在對幀1、3、2和4順序解碼之後，按幀1、2、3和4的順序輸出。
以與低解析度視頻610相同的順序，即，以幀1、3、2和4的順序，參考低解析度視頻610對高解析度視頻620進行編碼。為了對高解析度視頻620進行解碼，需要編碼的高解析度幀和低解析度幀。首先，對低解析度視頻610中的幀1進行解碼，並且解碼的幀1用於對高解析度620中的幀1進行解碼。然後，對低解析度視頻610中的幀3進行解碼，並且解碼的幀3用於對高解析度620中的幀3進行解碼。同樣，對低解析度視頻610中的幀2進行解碼並且用於對高解析度620中的幀2進行解碼。對低解析度視頻610中的幀4進行解碼並且用於對高解析度620中的幀4進行解碼，隨後對下一GOP中的幀進行解碼。通過用這種方式對幀進行編碼和解碼，可以實現時域分級。當GOP的大小為8時，按照幀1、5、3、7、2、4、6和8的順序執行編碼和解碼。如果只有幀1和5被編碼或解碼，則幀速率是全幀速率的四分之一。如果只有幀1、5、3和7被編碼或解碼，則幀速率是全幀速率的一半。
圖16示出根據本發明的示例性實施例的幀間編碼中的參考關係。
根據圖15所示的示例性實施例，由於參考I幀對幀2至幀4進行編碼，所述I幀沒有參考任何其它幀而獨立地被編碼的，所以編碼的低解析度視頻的質量高。另一方面，因為參考H幀對幀2至幀4進行編碼，所述H幀是參考另一幀進行編碼的，所以當採用同時聯播編碼方案時，編碼的高解析度視頻的質量比獲得的低。因此，為了解決這個問題，圖16顯示了用於層之間參考的改進的方法。
參照圖16，首先對高解析度視頻720進行編碼。確定高解析度視頻720中的編碼順序以實現時域分級。也就是，當GOP的大小為4時，GOP中的幀1被編碼為內幀(I幀)，幀3被編碼為間幀(H幀)。然後，將幀1和3作為參考來對幀2進行編碼，幀3用於對幀4進行編碼。以與編碼過程相同的順序執行解碼過程，即，按照幀1、3、2和4的順序。在對幀1、3、2和4順序解碼之後，按幀1、2、3和4的順序輸出。
以與高解析度視頻720相同的順序，即，以幀1、3、2和4的順序，參考高解析度視頻720對低解析度視頻710進行編碼。為了對低解析度視頻710進行解碼，需要編碼的高解析度幀和低解析度幀。首先，對高解析度視頻720中的幀1進行解碼，並且解碼的幀1用於對低解析度710中的幀1進行解碼。然後，對高解析度視頻720中的幀3進行解碼，並且解碼的幀3用於對低解析度710中的幀3進行解碼。以同樣的方式，對高解析度視頻720中的幀2進行解碼並且用於對低解析度710中的幀2進行解碼。對高解析度視頻720中的幀4進行解碼並且用於對低解析度710中的幀4進行解碼。
圖17和圖18分別示出當解析度層具有變化的幀速率時，根據本發明的其它示例性實施例的幀間編碼中的參考關係。
參照圖17，首先對低解析度視頻810進行編碼。確定低解析度視頻810中的編碼順序以實現時域分級。也就是，當畫面組(GOP)的大小為4時，GOP中的幀1被編碼為內幀(I幀)，幀5被編碼為間幀(H幀)。然後，將幀1和5作為參考來對幀3進行編碼。以這種方式，按順序對GOP中的幀1、5、3和7進行編碼。以與編碼過程相同的順序執行解碼過程。另一方面，以與低解析度視頻810相同的順序，即，以幀1、5、3和7的順序，參考低解析度視頻810對高解析度視頻820進行編碼。然後，對沒有包含在低解析度視頻810中的幀2、4、6和8進行編碼。
參照圖18，首先對高解析度視頻920進行編碼。確定高解析度視頻920中的編碼順序以實現時域分級。也就是，當GOP的大小為8時，對GOP中的所有幀1、5、3、7、2、4、6和8順序進行編碼。以與編碼過程相同的順序執行解碼過程。以與高解析度視頻920相同的順序，即，以幀1、5、3和7的順序，參考高解析度視頻920對低解析度視頻910進行編碼。
儘管圖15至圖18示出根據本發明的示例性實施例的兩個解析度層之間的參考關係，但是示出的實施例也可以應用於將視頻數據編碼為三層或更多層的多層視頻編碼方案。在使用參考高解析度幀對低解析度幀進行編碼的多層視頻編碼方案進行視頻流傳輸業務的情況下，由於低解析度比特流包含低解析度編碼的視頻數據和高解析度編碼的數據，所以當發送低解析度比特流時，編碼效率降低。對於傳輸低解析度比特流，同時聯播視頻編碼方案比多層視頻編碼方案更加有效。
圖19和圖20分別示出根據本發明的示例性實施例的為提高編碼效率在同時聯播編碼方案中的內幀的共享。
參照圖19，使用同時聯播編碼方案對具有不同解析度的視頻1010和1020獨立地進行編碼。為了實現時域分級，按照幀1、3、2和4的順序對高解析度視頻1020進行編碼。也根據實現時域分級的順序對低解析度視頻1010進行編碼。每個GOP中編碼的高解析度視頻和低解析度視頻分別包括一個內幀(I幀)和一個或多個間幀(H幀)。通常，I幀比H幀分配更多的比特。由於除了解析度以外低解析度視頻1010與高解析度視頻1020十分相似，所以在本示例性實施例中，將除低解析度I幀1012和1014之外的低解析度視頻1010與高解析度視頻1020中的所有幀編碼為比特流。也就是，最終產生的比特流包括所有高解析度編碼的幀和低解析度編碼的間幀。
當解碼器請求傳輸高解析度視頻1020時，比特流中的低解析度編碼的間幀被截去，並且剩餘的部分被發送到解碼器。當解碼器請求對傳輸低解析度視頻1010時，高解析度編碼的間幀被去除並且與低解析度視頻1010共享的高解析度內幀1022和1024的不必要的比特被截去來分別創建低解析度內幀1012和1014。然後，包含低解析度編碼的間幀和低解析度內幀1012和1014的比特流被發送到解碼器。
圖20示出根據本發明的另一示例性實施例的內幀的共享。
參照圖20，與圖19所示的示例性實施例相似，高解析度視頻1120與低解析度視頻1110共享內幀1122。也就是，對於低解析度視頻流傳輸，使用高解析度內幀1122創建低解析度內幀1112。然而，與圖19所示的示例性實施例的不同在於不與低解析度視頻1110共享高解析度內幀1124，並且低解析度幀1114被用作間幀。也就是，當每個解析度視頻具有不同的幀速率時，通過使低解析度視頻1110和高解析度視頻1120中的GOP大小相等而不是設置GOP分界線使彼此一致，可以保持在低幀速率的I幀百分比比在高幀速率的I幀百分比低。
圖21是根據本發明的示例性實施例的視頻編碼器系統1200的框圖。儘管視頻編碼器系統1200將視頻數據編碼為具有不同解析度的兩層，但是也可將視頻數據編碼為具有不同解析度的n層。
參照圖21，視頻編碼器系統1200包括第一可分級視頻編碼器1210，對基本層視頻進行編碼；第二可分級視頻編碼器1220，對增強層視頻進行編碼；以及比特流產生模塊1230，將編碼的基本層視頻和增強層視頻結合成比特流。
第一可分級視頻編碼器1210接收基本層視頻並使用可分級視頻編碼對基本層視頻進行編碼。為完成這種操作，第一可分級視頻編碼器1210包括運動估計模塊1212、變換模塊1214和量化模塊1216。
為了去除在基本層視頻中的幀之間的時間冗餘，運動估計模塊1212估計參考幀和當前幀之間的運動，並產生殘餘幀。採用諸如UMCTF或STAR的算法使用運動估計來去除時間冗餘。為了在編碼效率和圖像質量之間實現更好的平衡，針對運動估計選擇了參照圖5至圖20描述的部分技術。
變換模塊1214對殘餘幀進行小波變換以產生變換係數。在小波變換中，殘餘幀被分解成四部分，並且與整個圖像相似的四分之一大小的圖像(L圖像)被放置在幀的左上部分，而需要從L圖像重建整個圖像的信息(H圖像)被放置在其它三部分。以這種方式，L圖像可被分解成四分之一大小的LL圖像和重建L圖像需要的信息。
量化模塊1216將量化應用到由小波變換獲得的變換係數。目前已知的嵌入式量化算法包括嵌入式零樹小波算法(EZW)、分層樹中的集分割算法(SPIHT)、嵌入式零塊編碼(EZBC)、最佳截斷嵌入碼塊編碼(EBCOT)等。
第二可分級視頻編碼器1220接收增強層視頻並使用可分級視頻編碼對增強層視頻進行編碼。為完成這種操作，第二可分級視頻編碼器1220包括運動估計模塊1222、變換模塊1224和量化模塊1226。
為了去除在增強層視頻中的幀之間的時間冗餘，運動估計模塊1222在增強層視頻和基本層視頻中估計當前被編碼的幀和參考幀之間的運動，並獲得殘餘幀。採用諸如UMCTF或STAR的算法使用運動估計來去除時間冗餘。
變換模塊1224對殘餘幀進行小波變換以產生變換係數。在小波變換中，殘餘幀被分解成四部分，並且與整個圖像相似的四分之一大小的圖像(L圖像)被放置在幀的左上部分，而需要從L圖像重建整個圖像的信息(H圖像)被放置在其它三部分。以這種方式，L圖像可被分解成四分之一大小的LL圖像和重建L圖像需要的信息。
量化模塊1226將量化應用到由小波變換獲得的變換係數。目前已知的嵌入式量化算法包括EZW、SPIHT、EZBC、EBCOT等。
比特流產生模塊1230產生比特流，所述比特流包括由第一和第二可分級視頻編碼器1210和1220編碼的基本層幀和增強層幀以及相應的頭信息。
在另一示例性實施例中，所述視頻編碼器系統包括多個對不同解析度的視頻進行編碼的視頻編碼器。所述多個視頻編碼器中的一部分使用諸如H.264或MPEG-4的非可分級視頻編碼方案。
通過預解碼器1240對產生的比特流進行預解碼，然後發送到解碼器(未顯示)。
可根據視頻流傳輸業務的類型將預解碼器1240放置在不同的位置。在一個實施例中，當將預解碼器1240合併到用於視頻流傳輸的視頻編碼器系統1200時，視頻編碼器系統1200僅將預解碼的比特流發送到解碼器，而不是將由比特流產生模塊1230產生的全部比特流發送到解碼器。在另一實施例中，當將預解碼器1240與視頻編碼器系統1200分離，而在流傳輸業務提供者之內時，流傳輸業務提供者對由內容提供者編碼的比特流進行預解碼，並且將預解碼的比特流發送到解碼器。在另一實施例中，當預解碼器1240位於解碼器內時，預解碼器1240截去比特流的不必要的比特，以這種方式用期望的解析度和幀速率來重建視頻。
上面描述的視頻編碼器系統1200的各種部件和下面將描述的視頻解碼器系統1300的各種部件是功能性模塊並且執行如上所述的相同的功能。這裡使用的術語「模塊」的意思是，但不限於，軟體和硬體組件，諸如現場可編程門陣列(FPGA)或執行特定任務的專用集成電路(ASIC)。模塊可以方便地被配置以駐留在可尋址的存儲介質上，並且可被配置以在一個或多個處理器上執行。因此，舉例來說，模塊可以包括諸如軟體組件、面向對象的軟體組件、類組件和任務組件的組件、進程、函數、屬性、過程、子程序、程序代碼段、驅動程序、固件、微碼、電路、數據、資料庫、數據結構、表、數組和變量。在組件和模塊中提供的功能可被組合為更少的組件和模塊，或者可進一步被分離成另外的組件和模塊。另外，組件和模塊可以以這樣的方式被實現，它們在通信系統中的一個或多個計算機上執行。
圖22是根據本發明的示例性實施例的視頻解碼器系統1300的框圖。儘管視頻編碼器系統1200將視頻數據編碼為具有不同解析度的兩層，但是也可將視頻數據編碼為具有不同解析度的n層。
參照圖22，視頻解碼器系統1300包括第一可分級視頻解碼器1310，對基本層視頻進行解碼；以及第二可分級視頻解碼器1320，對增強層視頻進行編碼。為了解碼，第一可分級視頻解碼器1310和第二可分級視頻解碼器1320從比特流解釋模塊(bitstream interpreting module)1330接收編碼的視頻數據。
第一可分級視頻解碼器1310接收編碼的基本層視頻並使用可分級視頻解碼對編碼的基本層視頻進行解碼。為完成這種操作，第一可分級視頻解碼器1310包括反量化模塊1312、反變換模塊1314和運動補償模塊1316。
反量化模塊1312將反向量化應用到接收的編碼的視頻數據並輸出變換係數。目前已知的反量化算法包括EZW、SPIHT、EZBC、EBCOT等。
在幀內編碼的幀的情況下，反變換模塊1314對變換係數執行反變換來重建原始幀。在幀間編碼的情況下，反變換模塊1314執行反變換來產生殘餘幀。
為了重建原始幀，運動補償模塊1316使用先前重建的幀作為參考來補償殘餘幀的運動。可使用諸如UMCTF或STAR的算法來進行運動補償。
第二可分級視頻解碼器1320接收編碼的增強層視頻數據並使用可分級視頻解碼對編碼的增強層視頻數據進行解碼。為完成這種操作，第二可分級視頻解碼器1320包括反量化模塊1322、反變換模塊1324和運動補償模塊1326。
反量化模塊1322將反向量化應用到接收的編碼的視頻數據並產生變換係數。目前已知的反量化算法包括EZW、SPIHT、EZBC、EBCOT等。
反變換模塊1324對變換係數執行反變換。在幀內編碼的幀的情況下，反變換模塊1324對變換係數執行反變換來重建原始幀。在幀間編碼的情況下，反變換模塊1324執行反變換來產生殘餘幀。
為了重建原始幀，運動補償模塊1326接收殘餘幀，並使用先前重建的基本層幀和先前重建的增強層幀作為參考來補償殘餘幀的運動。可使用諸如UMCTF或STAR的算法來進行運動補償。
圖23是用於解釋在內幀共享的平滑的增強層中產生平滑的內幀以及對共享的內幀進行解碼的過程的示圖。
在圖23中，D和U分別表示下採樣和上採樣，並且下標W和M分別表示基於小波的方案和基於MPEG的方案。F、FS和FL分別表示高解析度(基本層)幀、低解析度(增強層)幀和在高解析度幀中的低通子帶。
為了獲得低解析度比特流，使用基於小波的方法首先將視頻序列下採樣到較低的解析度，然後將下採樣的版本上採樣到更高的解析度。隨後經過基於MPEG的下採樣。然後使用可分級編碼對通過執行基於MPEG的下採樣獲得的低解析度視頻序列進行編碼。
當低解析度幀FS1420為內幀時，低解析度幀FS1420不包含在比特流中，而是從包含在比特流中的高解析度內幀F1410獲得。也就是，為獲得平滑的低解析度幀FS1420，使用基於小波的方案對高解析度內幀F1410進行下採樣，然後進行上採樣來獲得原始高解析度內幀F1410的近似，隨後基於MPEG進行下採樣。對高解析度內幀F1410進行小波變換和量化，然後合併到比特流中。在被發送到解碼器之前，通過預解碼器截去比特流中的部分比特。通過截去高解析度內幀F1410的高通子帶，獲得高解析度內幀F1410的低通子帶FL1430。換句話說，低通子帶FL1430是高解析度內幀F1410的下採樣版本Dw(F)。接收低通子帶FL1440的解碼器使用基於小波的方案對其進行上採樣，並且基於MPEG的方案對所述上採樣的版本進行下採樣，產生平滑的內幀FS1450。
產業上的可利用性如上所述，在根據本發明的編碼方法和系統及解碼方法和系統中，可以提供各種圖像質量的視頻流傳輸業務。
在詳細描述的結論中，本領域的技術人員應該理解，在不脫離本發明的原理的情況下，可以對其示例性實施例進行各種改變和修改。因此，本發明的範圍由權利要求來限定。
權利要求
1.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀上採樣到第二解析度；以及參考被上採樣到第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼。
2.一種視頻編碼方法，所述方法包括使用非可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀上採樣到第二解析度；以及參考被上採樣到第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼。
3.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀上採樣到第二解析度；將第一幀上採樣到第三解析度；參考被上採樣到第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼；以及參考被上採樣到第三解析度的第一幀使用可分級視頻編碼對具有第三解析度的第三幀進行編碼。
4.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀上採樣到第二解析度；參考被上採樣到第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼；使用可分級視頻編碼對具有比第二解析度高的第三解析度的第三幀進行編碼；將第三幀上採樣到第四解析度；以及參考被上採樣到第四解析度的第三幀使用可分級視頻編碼對具有第四解析度的第四幀進行編碼。
5.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；獨立於第一幀，使用可分級視頻編碼對具有比第一解析度高的第二解析度的第二幀進行編碼；以及獨立於第二幀，使用可分級視頻編碼對具有比第二解析度高的第三解析度的第三幀進行編碼。
6.一種視頻編碼方法，所述方法包括使用非可分級視頻編碼對具有第一解析度的第一幀進行編碼；獨立於第一幀，使用可分級視頻編碼對具有比第一解析度高的第二解析度的第二幀進行編碼；以及獨立於第二幀，使用可分級視頻編碼對具有比第二解析度高的第三解析度的第三幀進行編碼。
7.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀上採樣到第二解析度；使用可分級視頻編碼對具有比第二解析度高的第三解析度的第二幀進行編碼；將第二幀下採樣到第二解析度；以及參考被上採樣到第二解析度的第一解析度幀和被下採樣到第三解析度的第二幀使用可分級視頻編碼對具有第二解析度的第三幀進行編碼。
8.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀下採樣到第二解析度；以及參考被下採樣到第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼。
9.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀下採樣到第二解析度；以及參考被下採樣到第二解析度的第一幀使用非可分級視頻編碼對具有第二解析度的第二幀進行編碼。
10.一種視頻編碼方法，所述方法包括使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；將第一幀下採樣到第二解析度；參考被下採樣到第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼；將第一幀下採樣到比第二解析度低的第三解析度；以及參考被下採樣到第三解析度的第一幀使用可分級視頻編碼對具有第三解析度的第三幀進行編碼。
11.如權利要求1所述的方法，其中，如果第一幀與第二幀具有相同的幀速率，則以與第二幀相同的順序對第一幀進行編碼。
12.如權利要求8所述的方法，其中，第二幀中的每幀具有與相應的第一幀相同的類型。
13.如權利要求8所述的方法，其中，如果第二幀與第一幀具有不同的幀速率，則使第二幀中的內幀的百分比與第一幀中的內幀的百分比相等。
14.一種視頻編碼器系統，所述系統包括第一可分級視頻編碼器，使用非可分級視頻編碼對具有第一解析度的第一幀進行編碼；第二可分級視頻編碼器，將第一幀轉換為第二解析度，並參考被轉換為第二解析度的第一幀使用可分級視頻編碼對具有第二解析度的第二幀進行編碼；以及比特流產生模塊，產生包括編碼的第一幀和編碼的第二幀的比特流。
15.如權利要求14所述的系統，其中，根據H.264或MPEG-4編碼標準對第一解析度幀進行編碼。
16.一種視頻編碼器系統，所述系統包括第一可分級視頻編碼器，使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；第二可分級視頻編碼器，使用可分級視頻編碼對具有比第一解析度低的第二解析度的第二幀進行編碼；以及比特流產生模塊，產生包括編碼的第一幀和編碼的第二幀的比特流。
17.如權利要求16所述的系統，其中，使用基於小波的方案通過對第一幀進行下採樣和上採樣來獲得第二幀，隨後基於MPEG進行下採樣。
18.一種視頻編碼器系統，所述系統包括可分級視頻編碼器，使用可分級視頻編碼對具有第一解析度的第一幀進行編碼；非可分級視頻編碼器，使用非可分級視頻編碼對具有比第一解析度低的第二解析度的幀進行編碼；以及比特流產生模塊，產生包括編碼的第一幀和編碼的第二幀的比特流。
19.如權利要求18所述的系統，其中，根據H.264或MPEG-4編碼標準對第二解析度幀進行編碼。
20.一種視頻解碼方法，所述方法包括為重建原始幀，對具有第一解析度並使用可分級視頻編碼進行編碼的第一幀進行解碼；將重建的第一幀上採樣到第二解析度；以及為重建原始幀，參考重建的第一幀的上採樣的版本對具有第二解析度並使用可分級視頻編碼進行編碼的第二幀進行解碼。
21.一種視頻解碼方法，所述方法包括為重建原始幀，對具有第一解析度並使用非可分級視頻編碼進行編碼的第一幀進行解碼；將重建的第一幀上採樣到第二解析度；以及為重建原始幀，參考重建的第一幀的上採樣的版本對具有第二解析度並使用可分級視頻編碼進行編碼的第二幀進行解碼。
22.一種視頻解碼方法，所述方法包括為重建原始幀，對具有第一解析度並使用可分級視頻編碼進行編碼的第一幀進行解碼；將部分重建的第一解析度幀下採樣到第二解析度，並產生具有第二解析度的內幀；以及參考產生的內幀對具有第二解析度並使用可分級視頻編碼進行編碼的第二間幀進行解碼。
23.一種視頻解碼方法，所述方法包括為重建原始幀，對具有第一解析度並使用可分級視頻編碼進行編碼的第一幀進行解碼；將部分重建的第一解析度幀下採樣到第二解析度，並產生具有第二解析度的內幀；以及參考產生的內幀對具有第二解析度並使用非可分級視頻編碼進行編碼的第二間幀進行解碼。
24.一種視頻編碼器系統，所述系統包括第一可分級視頻解碼器，為重建原始幀，對具有第一解析度並使用可分級視頻編碼進行編碼的第一幀進行解碼；以及第二可分級視頻解碼器，將重建的第一幀轉換為第二解析度，並且為重建原始幀，參考轉換的第一幀對具有第二解析度並使用可分級視頻編碼進行編碼的第二幀進行解碼。
25.一種視頻編碼器系統，所述系統包括非可分級視頻解碼器，為重建原始幀，對具有第一解析度並使用非可分級視頻編碼進行編碼的第一幀進行解碼；以及可分級視頻解碼器，將重建的第一幀轉換為第二解析度，並且為重建原始幀，參考轉換的第一幀對具有第二解析度並使用可分級視頻編碼進行編碼的第二幀進行解碼。
全文摘要
提供了用於流傳輸的視頻編碼方法和系統及視頻解碼方法和系統。一種視頻編碼方法包括使用可分級視頻編碼對第一解析度幀進行編碼；將第一解析度幀上採樣到第二解析度；以及參考第一解析度幀的上採樣版本使用可分級視頻編碼對第二解析度幀進行編碼。
文檔編號H04N7/12GK1926873SQ200580006644
公開日2007年3月7日 申請日期2005年2月25日 優先權日2004年3月4日
發明者韓宇鎮 申請人:三星電子株式會社