用於視頻序列壓縮的編碼方法
2023-10-09 12:59:19
專利名稱：用於視頻序列壓縮的編碼方法
技術領域：
本發明涉及一種用於視頻序列壓縮的編碼方法，該視頻序列劃分為幀組且用三維(3D)小波變換分解得到指定數目的對應所述變換分解級的連續解析度級，所述方法基於一種分層的子帶編碼過程，從每個幀組的原圖象元素(像素)集合中得到變換係數，構成一個分層的金字塔，一個時空方向樹中的根由3D小波變換產生的近似子帶的像素形成，且這些像素中每一個的支系由與這些根像素定義的圖象容量對應的更高子帶像素形成，此樹定義所述分層金字塔內部的時空關係，要編碼的子帶按照遵守所述樹中形成的雙親支系從屬關係且保持3D小波變換初始子帶結構的順序相繼掃描。
在異構網絡中傳輸流視頻需要高度可伸縮性能力。這意味著比特流的一些部分無需序列的完全解碼就可解碼，且被合併用來重構更低空間或時間解析度(空間/時間可伸縮性)或者更低質量(PSNR可伸縮性)的初始視頻信息。可得到所有三種可伸縮類型的適當方法是對經運動補償的視頻序列進行三維(3D)小波分解。
在以前由申請人於2000年5月3日提出的00401216.7號(PHFR000044)歐洲專利申請中，已經描述了具有此特性的紋理編碼的簡單方法。在那種方法和其它已公布文獻(例如，「An embeddedwavelet video coder using three-dimensional set partitioningin hierarchical trees(SPIHT)(使用以分層樹劃分的三維集的嵌入式小波視頻編碼器)」，B.Kim與W.A.Pearlman，數據壓縮會議DCC』97論文集，Snowbird，UT，USA，1997 3月25-27日第251-260頁)中，所有運動矢量欄位被編碼並在比特流中發送，當以低碼率為目標且接收機僅需要減少的幀率或空間解析度時，這可能成為一個主要缺點。
因此本發明的一個目的是提出一種更適於必須獲得高度可伸縮性的情況的編碼方法。
為此目的，本發明涉及一種諸如描述的介紹部分所定義的編碼方法，此外其特徵在於，考慮到時間可伸縮，對每個時間解析度級執行運動估計，通過插入到比特流中的標記指示時間解析度級的起始，只有需要重構任何指定時間解析度級別的估計運動矢量被編碼並與此指定時間級小波係數的編碼比特一起放入比特流中，對相同時間級的紋理係數編碼前將所述運動矢量插入所述比特流中。
在另一種實施方案中，本發明還涉及一種諸如描述的介紹部分所定義的編碼方法，其特徵在於，考慮到空間可伸縮，對最高的空間解析度級執行運動估計，隨後獲得的矢量被2除，以獲得用於更低空間解析度的運動矢量，只有需要重構任何空間解析度級的估計運動矢量被編碼並與此指定空間級小波係數的編碼比特一起放入比特流中，所述運動矢量在對相同空間級的紋理係數編碼前插入所述比特流中，且對最低空間解析度的運動矢量執行所述編碼操作，只有每個空間解析度的加細(refinement)比特逐個位面地放入比特流中，對應從一個解析度級到另一個解析度級。
因而提出的技術解決方案允許僅對與所要求幀率或空間解析度對應的運動矢量進行編碼，而不是發送與所有可能幀率和所有空間解析度級對應的所有運動矢量。
本發明將參考附圖，通過示例加以說明，附圖如下
圖1示出使用哈爾多解析度分析對視頻信息進行帶運動補償的時間子帶分解；圖2表示由三維小波分解產生的空-時子帶；圖3示出在比特流中插入運動矢量，用於時間可伸縮；圖4表示空-時樹由時間驅動掃描得到的比特流結構；圖5是運動矢量的二進位表示及其從最低到最高解析度的漸進傳輸；圖6表示在所提議的可伸縮方法中運動矢量的比特流構造。
視頻序列的時間子帶分解示於圖1。如圖示，對附註F1到F8的一組幀(GOF)應用帶運動補償的3D小波分解。在此3D子帶分解方案中，輸入視頻的每個GOF首先進行運動補償(圖1中的MC)(此步驟允許處理運動劇烈的序列)，隨後使用哈爾小波進行時域濾波(虛線箭頭對應高通時域濾波，而另外的箭頭對應低通時域濾波)，而且在這兩步操作後，每個時間子帶在空間上分解為一個空-時子帶，這導致原先GOF的3D小波表示，示於圖2。在圖1中示出分解的三步(L和H＝第一步；LL和LH＝第二步；LLL和LLH＝第三步)。在圖示8幀的組的每個時間分解級，產生一組運動矢量欄位(第一級為MV4，第二級為MV3，第三級為MV2)。當使用哈爾多解析度分析進行時域分解時，由於在所考慮的幀組中對每個時域分解級每兩幀之間產生一個運動矢量欄位，運動矢量欄位的數目等於時域子帶中幀數的一半，也即，運動矢量欄位的第一級為4，第二級為2，第三級為1。在解碼器端，為重構指定的時間級，只需要該級和更低級時間解析度(幀率減少)的運動矢量欄位。
(A)時間可伸縮根據本發明，上述觀察導致以允許漸進解碼的方式構造比特流，如圖3中示例所述三個時間分解級TDL(如圖1示)產生四個時間解析度級別(1到4)，分別代表從初始幀率得到的可能幀率。對應最低解析度時間級的係數首先被編碼，對此級無需發送運動矢量，且對於所有其它重構幀率，對應高頻時間子帶的幀和運動矢量欄位被編碼。到目前為止，對比特流構造的描述只考慮了時間級。但對完整的可伸縮而言，應考慮到每個時間級內的空間可伸縮。對小波係數的解決方案在已引用的歐洲專利申請中描述，且在圖4中回顧在每個時間級中，所有的空間解析度被相繼掃描(SPL＝空間分解級)，且因此可得到所有空間頻率。(幀率t＝1到4；顯示尺寸s＝1到4)。上方的標記隔開兩個位面，下方的標記隔開兩個時間分解級。
(B)空間可伸縮為能夠重構一個空間解析度降低的視頻，不需要在比特流的開始傳輸全解析度的運動矢量欄位。實際上，有必要對當前空間級的尺寸調整運動矢量所描述的運動。理想地，需要先有對應最低空間解析度的低解析度運動矢量，然後根據空間解析度的提高能夠漸進增加運動矢量的解析度。只有運動矢量欄位解析度與另一個運動矢量解析度的差別被編碼並傳輸。
假定用象全搜索塊匹配或其它導出解決方案的基於塊的方法來完成運動估計，對全解析度幀精確度為整數個像素(這種假設並不減少問題的一般性如果希望對運動矢量使用半像素精度，在開始時將所有運動矢量乘以2，即使這些運動矢量代表位移值為小數，仍可返回前例中的整數矢量)。因此，運動矢量以整數表示。給定全解析度運動矢量欄位，為滿足空間可伸縮的上述要求，通過簡單的除2操作降低運動矢量的解析度。實際上，由於近似子帶的空間解析度被降低到原來的1/2，當運動與全解析度子帶相同時，位移可以被降低到原來的1/2。整數的這種除法通過簡單的移位就可實現。
必須仔細選擇運動估計的塊尺寸實際上，如果在全解析度中塊的原尺寸是8×8，在半解析度時成為4×4，四分之一解析度時為2×2，依次類推。因此塊的原尺寸太小時會出現問題對於小的空間解析度塊尺寸能夠為0。因此必須檢查原尺寸與分解/重構級的數目相配。
現在假定有S個空間分解級且希望運動矢量對應從最低到最高的所有可能解析度。然後，最初運動矢量被2S除或執行S位移位。結果代表對應從最低解析度塊尺寸除以2S的塊的運動矢量。最初運動矢量除以2s-1將提供下一個空間解析度。但此值已經從先前操作可得。實際上，它對應移動S-1位。與第一次操作的差別是運動矢量二進位表示中的比特其權為2s-1。將此比特(加細比特)加至先前傳輸的矢量以重構更高解析度的運動矢量是足夠的，示於圖5，S＝4。這種運動矢量的漸進傳輸允許在比特流中對應相同空間級的紋理比特前包含從一種空間解析度到另一種空間解析度的運動矢量欄位的加細比特。本方法在圖6中再次說明。
最低解析度的運動矢量以DPCM(差分脈衝調製)技術及其後的使用通常的VLC表的熵編碼(例如在MPEG-4中使用的那些)進行編碼。對其它解析度級，一個完整的位面由需要編碼的運動矢量欄位的加細比特組成，編碼方法可使用例如基於取決於運動矢量水平和垂直分量的上下文的算術編碼。
比特流中代表運動矢量的部分先於任何涉及紋理的信息。與「傳統」的非分級方法的差別是時間和空間級的層次轉換為運動矢量的編碼。與以前技術相比，最重要的改進是運動信息可被漸進解碼。對指定的空間解析度，解碼器不需要解碼比特流中對該級無用的部分。
權利要求
1.一種用於視頻序列壓縮的編碼方法，該視頻序列劃分為幀組且用三維(3D)小波變換分解得到指定數目的對應所述變換分解級的連續解析度級，所述方法基於一種分層的子帶編碼過程，從每個幀組的原圖象元素(像素)集合中得到變換係數，構成一個分層的金字塔，一個時空方向樹中的根由3D小波變換產生的近似子帶的像素形成，且這些像素中每一個的支系由與這些根像素定義的圖象卷對應的更高子帶像素形成，此樹定義所述分層金字塔內部的時空關係，要編碼的子帶按照遵守所述樹中形成的雙親支系從屬關係且保持3D小波變換初始子帶結構的順序相繼掃描，所述方法的特徵還在於，考慮到時間可伸縮，對每個時間解析度級執行運動估計，通過插入到比特流中的標記指示時間解析度級的起始，只有需要重構任何指定時間解析度級的估計運動矢量被編碼，並與此指定時間級小波係數的編碼比特一起放入比特流中，對相同時間級的紋理係數編碼前將所述運動矢量插入所述比特流中。
2.一種用於視頻序列壓縮的編碼方法，該視頻序列劃分為幀組且用三維(3D)小波變換分解得到指定數目的對應所述變換分解級的連續解析度級，所述方法基於一種分層的子帶編碼過程，從每個幀組的原圖象元素(像素)集合中得到變換係數，構成一個分層的金字塔，一個時空方向樹中的根由3D小波變換產生的近似子帶的像素形成，且這些像素中每一個的支系由與這些根像素定義的圖象對應卷的更高子帶像素形成，此樹定義所述分層金字塔內部的時空關係，要編碼的子帶按照遵守所述樹中形成的雙親支系從屬關係且保持3D小波變換初始子帶結構的順序相繼掃描，所述方法的特徵還在於，考慮到空間可伸縮，對最高的空間解析度級執行運動估計，隨後獲得的矢量被2除，以獲得用於更低空間解析度的運動矢量，只有需要重構任何空間解析度級的估計運動矢量被編碼並與此指定空間級小波係數的編碼比特一起放入比特流中，所述運動矢量在對相同空間級的紋理係數編碼前插入所述比特流中，且對最低空間解析度的運動矢量執行所述編碼操作，只有每個空間解析度的加細比特逐個位面地放入比特流中，對應從一個解析度級到另一個解析度級。
全文摘要
本發明涉及一種用於視頻序列壓縮的編碼方法。所述方法使用三維小波變換，基於分層子帶編碼過程，其中，要編碼的子帶以保持三維小波變換初始子帶結構的順序進行掃描。根據本發明，通過以下獲得時間(相應為空間)可伸縮對每個時間解析度級(相應為最高空間解析度級)進行運動估計，且只對為重構任意指定的時間(空間)解析度級所需的估計運動矢量的一部分進行編碼，並與此指定時間(相應為空間)級的小波係數的編碼比特一起放入比特流中，所述比特流中的插入在相同時間(相應為空間)級紋理係數的編碼前完成。當以低比特率為目標且接收機僅需要減少的幀率或空間解析度時，編碼並發送比特流中所有運動矢量欄位是一個缺點，本解決方案可避免此缺點。
文檔編號H03M7/30GK1411665SQ01801831
公開日2003年4月16日 申請日期2001年6月22日 優先權日2000年6月30日
發明者B·菲爾茨, B·佩斯奎特－波佩斯庫, V·博特雷奧 申請人:皇家菲利浦電子有限公司