無漂移代碼轉換器和相關的方法
2023-06-27 00:57:11 1
專利名稱：無漂移代碼轉換器和相關的方法
技術領域：
本發明涉及用於對輸入的編碼信號進行代碼轉換的方法，包括以下步驟-解碼所述輸入的編碼信號，得出解碼的量化的信號，-去量化所述解碼的量化的信號，得出去量化的信號，-重新量化被補償的信號，得出重新量化的信號，-重新編碼所述重新量化的信號，得出重新編碼的信號，-補償由所述重新量化步驟在重新編碼的信號中引入的漂移，所述補償步驟在所述去量化和重新量化步驟之間執行。
本發明也涉及用於實行所述方法的代碼轉換器。
本發明可用來把具有給定的比特速率的經過MPEG壓縮的信號代碼轉換成另一個具有較低的比特速率的經過MPEG壓縮的信號。
相關技術代碼轉換器可以把具有給定的比特速率的壓縮的信號變換成另一個具有較低的比特速率的壓縮的信號。基本上，被使用於這樣的目的的代碼轉換器包含級聯的解碼器和編碼器。這種組合相當複雜，以及這種複雜性可被大大地減小。在視頻信號的具體情形下，必須考慮某些其它方面。編碼的視頻信號包含一系列編碼的幀，其中每個幀再被劃分成二維的宏塊陣列，每個宏塊由多個塊組成。一個幀可以存在於作為象素域的空間域中，以及在頻率域或變換域中被傳輸，它是由該幀在空間域中的離散餘弦變換(DCT)而產生的。此外，任何的幀可被分成兩個區由幀的奇數行形成的頂部區和由幀的偶數行形成的底部區。宏塊可以以兩種不同的格式被輸送交織格式(此後稱為幀格式)，和去交織格式(此後稱為區格式)。在幀格式下，宏塊包括交替地來自兩個區的行，以及宏塊的每個DCT塊由來自兩個區的數據形成。在區格式下，宏塊包括來自兩個區的行，以及宏塊的每個DCT塊僅由來自兩個區中的一個區的數據形成。
用於實現諸如在引言中描述的代碼轉換的方法的一種可能的代碼轉換器，是由Assuncao等在IEEE Trans.On CSVT,vol.8,No.8(December 1998)中提出的。這篇論文揭示了一種具體的MPEG-2視頻信號專用的代碼轉換器。按照現有技術的代碼轉換器1，如
圖1所示，包括解碼部分和以後的帶有運動補償的編碼部分。解碼部分包括可變長度解碼器VLD和去量化器IQ1。編碼部分包括量化器Q2，漂移補償環DCL和可變長度編碼器VLC。由Q2進行的量化引入誤差宏塊E，或每個解碼的宏塊F被量化到代碼轉換器1的代碼轉換路徑時的漂移。這個誤差宏塊E在漂移補償環DCL中被按照如下方式得出。誤差宏塊E在抽頭加法器S2的輸出端處作為在一個被提供到Q2的要被量化的被補償的宏塊與一個從去量化器IQ2發出的去量化的宏塊之間的差值而被得出。這個誤差宏塊E可以以幀格式或以區格式被提供。在後一種情況下，宏塊在區/幀轉換器f/T中被轉換成幀格式。所述誤差宏塊然後以幀格式被存儲在存儲器單元MEM，而所有其它的誤差宏塊相應於同一個幀。因此，整個幀的誤差宏塊被存儲在存儲器單元MEM中，先前發送的幀的誤差宏塊也是如此。所有這些存儲的宏塊可供在MC-DCT單元中解碼的宏塊F的運動補償用於預測的參考。最後得出解碼的宏塊F的預測宏塊，以及在抽頭加法器S1中將它附加到解碼的宏塊F上，結果形成補償的解碼的宏塊，以便傳送到Q2去進行量化。
現有技術描述的代碼轉換器包括專門地對具有幀格式的宏塊執行運動補償的漂移補償環。代碼轉換器包括與運動補償單元分開的、位於存儲器單元的上遊處的區/幀轉換器，這樣，宏塊可以以幀格式被存儲。在這種代碼轉換器中實行的代碼轉換的方法涉及許多費時的和導致複雜的硬體設施的獨立操作。
發明概要本發明的目的是提供一種代碼轉換方法，它包含節省時間的、少量的操作，以及能使用於實行這種方法的代碼轉換器的硬體設施簡單。
按照本發明，諸如引言中描述的代碼轉換方法的漂移補償步驟至少包括以下接連的步驟-得出相應於所述漂移的誤差信號，-通過基於誤差信號的、和適合於誤差信號和預測信號的交織或非交織傳輸模式的同時進行的運動補償和區/幀轉換，得出所述解碼信號的預測信號，-從解碼信號中減去得出的所述預測信號，從而得到要被重新量化的補償信號。
按照本發明的方法的漂移補償包括與區/幀轉換相組合的運動補償。這裡提到的區/幀轉換操作涉及從區格式到幀格式的轉換和從幀格式到區格式的轉換。事實上，由量化所產生的誤差宏塊以它被提供的格式被存儲，不必事先轉換成幀格式或區格式。運動補償操作可以針對區格式的宏塊或針對幀格式的宏塊不加區別地執行。同樣地，運動補償操作可以不加區別地提供區格式的宏塊或幀格式的宏塊。此外，運動補償步驟根據被存儲在存儲器單元中的幀來執行，這些宏塊或者以幀格式或者以區格式被存儲。因此，區/幀轉換操作與運動補償同時被執行，取決於輸入和輸出的宏塊是需要區格式還是幀格式。組合的運動補償和區/幀轉換步驟可被考慮為一個自適應運動補償步驟。
所以，與現有技術相比較，本發明的優點是操作數量的減小，從而是費用的減小。本發明中涉及的操作是被組合起來的，因此，按照本發明的方法的硬體設施被簡化。
在本發明的實施例中，自適應運動補償步驟是在變換域中針對幀來實行的。在變換域中對於幀的代碼轉換的優點是使得所需的存儲器較少。
而且，本發明也涉及用於實現按照本發明的方法的代碼轉換器。
附圖簡述現在，參照以下描述的和結合附圖考慮的實施例來說明本發明的具體方面，其中圖1是用於實行按照現有技術的方法的代碼轉換器，圖2是用於實行按照本發明的方法的代碼轉換器，圖3顯示參照先前的圖象來對當前的圖象的宏塊進行預測，圖4顯示亮度塊預測的推導，圖5給出16×16去交織矩陣，圖6顯示色度塊預測的推導，圖7顯示色度分量的垂直預測。
發明詳細描述圖2顯示用於實現按照本發明的方法的代碼轉換器1的實施例。代碼轉換器1用來把第一比特速率R1的數字視頻比特流轉換成第二比特速率R2的數字視頻比特流。可變長度解碼器VLD首先解碼第一比特速率R1的編碼的比特流。解碼器VLD的輸出比特流包含在頻域上被傳輸到去量化器IQ1的一系列n個解碼的量化的宏塊。去量化器IQ1對於從VLD單元接收的每個量化的宏塊提供一個解碼的宏塊Fi(i=1...n)。VLD單元連同去量化器IQ1一起構成代碼轉換器1的解碼部分。
代碼轉換器1還包括一個用來把接收的比特速率R1的比特流轉換成比特速率R2的比特流的編碼部分。為此，代碼轉換器1包括用於重新量化接收的從IQ1發出的、去量化的和解碼的比特流的量化器Q2。如上所述，漂移被引入到代碼轉換器的重新量化步驟。實際上，量化器Q2把誤差宏塊Ei或漂移引入到代碼轉換器1的代碼轉換路徑中。這個誤差宏塊Ei在漂移補償環DCL中被如下地導出和被補償。在環路DCL中，任何被Q2量化的宏塊在下一個步驟中被去量化器IQ2去量化，IQ2的量化步驟是與量化器Q2使用的量化步驟相同的。誤差宏塊Ei在抽頭加法器S2的輸出端作為在從IQ2發出的宏塊與初始被提供給Q2的宏塊之間的差值而被得出的。在視頻編碼時，任何宏塊可以按照幀內模式不參考另一個圖象而進行編碼，或可以按照幀間模式參照先前的或未來的幀而被編碼。屬於I幀的宏塊按照幀內模式被編碼。屬於P幀的宏塊可以參照先前的I或P幀被編碼。屬於B幀的宏塊可以參照先前的I或P幀和參照下一個I或P幀被編碼。P宏塊或B宏塊沿著代碼轉換路徑作為與一組被用作參考的幀有關的餘量而被發送。這樣，當P宏塊或B宏塊由代碼轉換器的解碼級提供時，所提供的數據涉及到先前的或未來的參考宏塊。而且，被Q2量化的任何宏塊要經受到先前提到的漂移，結果，用作為參考的任何宏塊在量化後被稍微修改，因而除非進行補償，否則將傳播誤差。為了校正這裡引入的漂移，以參考的名義被輸送到其它宏塊的任何宏塊必須在DCP環路中根據錯誤的宏塊進行運動補償，以使得漂移不被傳播。
這樣，當宏塊F1由去量化器IQ1提供給量化器Q2時，在抽頭加法器S2中得出在去量化期間由Q2引入的誤差宏塊。在本實施例中，宏塊F1可以幀格式或以區格式不加區別地被提供，僅取決於原先的比特流沿著代碼轉換路徑被輸送的方式。誤差宏塊E1因此以與宏塊F1被輸送的格式相同的格式被送出。誤差宏塊E1然後被存儲在存儲器單元MEM中。同時，運動補償在AMC單元中被執行。按照本發明，運動補償操作在頻域中與區/幀轉換相組合。這些同時的運動補償和區/幀轉換此後被稱為自適應運動補償步驟。它導致在AMC單元的輸出端處產生的解碼的宏塊F1的預測宏塊P1。在自適應運動補償步驟中的區/幀轉換是可任選的，它取決於AMC單元的輸出或輸入所需要的傳輸格式。實際上，運動補償首先根據先前被存儲在存儲器單元MEM中的幀來進行，以及按照本發明，這些幀的宏塊可以以幀格式或區格式進行存儲。此外，預測宏塊P1可以預期以幀格式或以區格式出現。運動補償步驟也根據在這裡未提到的先前編碼期間得出的、從VLD單元接收的運動矢量MV來進行。這樣，按照本發明的代碼轉換的方法的自適應運動補償步驟是可以自適應於任何類型的宏塊格式的。在下面的段落中將詳細描述這種自適應運動補償步驟。
宏塊F1的預測宏塊P1最後在AMC單元的輸出端以想要的格式得出。這個預測宏塊P1在抽頭加法器S1中被從宏塊F1減去，這樣，補償的宏塊F1-P1可被發送到量化器Q2。在由Q2量化後，補償的宏塊被發送到可變長度編碼器(即圖2上的VLC單元)以用於重新編碼。
如上所述，以參考名義被輸送到其它宏塊的任何宏塊需要進行運動補償，以使得在用作為參考的宏塊中由Q2的量化引入的誤差不傳播。因此，屬於I幀的宏塊不需要被補償，可以直接從去量化器IQ1傳送到量化器Q2，以及傳送到VLC單元，以用於進一步編碼。然而，由量化步驟Q2引入的、相應的誤差宏塊被存儲在存儲器單元MEM。在本發明的實施例中，在AMC單元對屬於P幀和由IQ1提供的宏塊執行的自適應運動補償只使用過去的參考圖象。因此，只有相應於過去的參考圖象的宏塊的誤差宏塊需要被存儲在存儲器單元MEM，以用於這樣的宏塊的預測。
對由IQ1提供的、並且屬於B幀的宏塊的預測傳統上需要分別相應於先前的I或P圖象的宏塊和下一個I或P圖象的宏塊的誤差宏塊。在本發明的實施例中，屬於先前的I或P幀的誤差宏塊的貢獻被設置為零，因此只有相應於未來的I或P幀的誤差宏塊需要被存儲在存儲器MEM中。給定這個假設後，存儲器單元MEM的尺寸可以減小，因為只有單個幀的誤差宏塊需要被存儲。
在以上提到的自適應運動補償步驟中作出的預測可以通過許多不同的方式得出。實際上，預測宏塊可以根據具有幀格式或區格式的宏塊從幀預測或從區預測得出。
現在將說明基本的運動補償處理過程，在本發明的實施例中，將說明這種運動補償如何與可能的區/幀轉換相組合。在本發明的實施例中，幀具有4:2:0 DCT格式，每個幀的被劃分成二維的DCT宏塊陣列，每個宏塊包含一個U-色度8×8DCT塊、一個V-色度8×8DCT塊、和四個亮度8×8DCT塊。圖3顯示屬於當前的圖象5的宏塊M。運動補償處理過程的目的是得到預測宏塊P(M)，即宏塊M的預測。一個先前的圖象4(其相應的誤差宏塊被存儲在存儲器單元MEM中)被用作為圖象參考，以便進行對宏塊M的預測。在象素域中，宏塊R是根據一個與M有關以及與參考圖象4的坐標(Vx,Vy)有關的運動矢量MV，通過變換而得出的。在本發明的實施例中，運動矢量MV是由解碼器VLD給出的。宏塊R被用作為塊參考，以便得到宏塊P(M)的色度塊和亮度塊的分量。宏塊R跨立在四個宏塊M1,M2,M3,M4上，所以這四個宏塊被用作為預測宏塊M的參考。為了得出P(M)，必須根據四個宏塊M1,M2,M3,M4的各自的色度塊和亮度塊來對色度數據和亮度數據執行運動補償。
圖4上顯示亮度數據的運動補償。它表示了帶有它們各自的四個亮度8×8 DCT塊Aj,Bj,Cj,Dj(j=1...4)的四個參考宏塊M1,M2,M3,M4。亮度數據的運動補償步驟包括可導致產生六個亮度8×8DCT塊J1,J2,J3,K1,K2和K3的垂直運動補償，後面跟隨可導致產生四個亮度8×8 DCT塊L1,L2,L3和L4的水平運動補償。J1,J2,J3,K1,K2,K3,L1,L2,L3和L4被計算為如下L1L2L3L4=J1J2J3K1K2K3H1(dx)t0H2(dx)tH1(dx)t0H2(dx)t----(1)]]>以及對於i=1,2,3 -其中在半象素中的(dx,dy)是從四個宏塊區域{M1,M2,M3,M4}的左上角的宏塊參考R的運動(0＜dx＜32；0＜dy＜32)，-其中H1(dx)和H2(dx)是8×8水平預測矩陣，它們的係數依賴於dx的數值和相應於水平運動補償。H1(dx)t和H2(dx)t是它們各自的轉置矩陣。
-其中XA,XB,YA,YB是8×8垂直預測矩陣，它們的係數依賴於dy的數值。它們的元素也依賴於宏塊P(M)的預期的格式和塊Ai與Bi的格式。
-其中XC,XD,YC,YD是8×8垂直預測矩陣，它們的係數依賴於dy的數值和相應於垂直運動補償。它們的元素也依賴於宏塊P(M)的預期的格式和塊Ci與Di的格式。
這些矩陣的元素可以事先針對所有可能的參量(預測模式、DCT格式和運動矢量(dx,dy))被計算。由於發現許多矩陣是相同的，每個矩陣的單次出現被存儲和被加下標。矩陣從查找表中被檢索，該查找表以參量的函數的形式來提供該矩陣。
必須進行預測模式的選擇，以使得公式(1)和(2)的矩陣可以只需進行一次計算。在本發明的實施例中，所選擇的預測模式是幀預測。我們引入圖5上給出的矩陣Γ16,Γ16是16×16去交織矩陣，用於把空間域中以區格式的幀轉換成空間域中以幀格式的幀。Γt16是Γ16的轉置矩陣。矩陣△(r,c)(0＜r＜8,0＜c＜8)也被定義為8×8離散餘弦變換矩陣 矩陣SN(k)也被定義為N×N矩陣-如果k是偶數和正的，則具有在第(k/2)條上對角線上的1，
-如果k是偶數和負的，則具有在第(-k/2)條下對角線上的1，-其它情況時，它等於(SN(k-1)+SN(k+1))/2)。
因此，在本發明的實施例中，對於亮度分量的水平運動補償，選擇幀預測模式，它給出以下的水平預測矩陣H1(dx)和H2(dx)H1(dx)=116round(16S8(dx)t)]]>H2(dx)=116round(16S8(dx-16)t)----(3)]]>同樣地，在本發明的實施例中，對於亮度分量的垂直運動補償，選擇同樣的任意幀預測模式，它給出以下的垂直預測矩陣XA(dy),YA(dy),XB(dy),YB(dy),XC(dy),YC(dy),XD(dy),YD(dy) 附著在矩陣Γ16和Γt16上的、公式組(4)中的下標[1],[2],[3]表示相應的矩陣是否應當被歸併到公式中。下標[1]表示如果要被預測的宏塊M具有幀格式，則在兩個公式組(4)中要考慮矩陣Γ16，否則不考慮它。同樣地，下標[2]表示如果塊Ai和Bi處在區格式，則矩陣Γt16被歸併到第一式。下標[3]表示如果塊Ci和Di處在區格式，則矩陣Γt16被歸併到第二式。
幀預測模式的選擇絕不是本發明的限制，以及頂部區或底部區預測模式可被選擇和將會導致不同的補償矩陣。在本發明的實施例中，對於亮度分量提出的運動補償步驟可應用於任何宏塊，而不管它的格式如何。現在對於色度分量的運動補償給出類似的計算。
圖6上顯示色度數據的運動補償。在本發明的本實施例中，被使用於色度塊預測的運動矢量是與前面被使用於亮度塊預測的運動矢量相同的。然而，它按照色度格式被換算，在4∶2∶0格式中水平和垂直分量都被除以2，因為色度分量在密度上是亮度分量的一半。這個運動矢量在某種意義上可以稍微不同。四個參考宏塊M1,M2,M3,M4具有它們各自的色度8×8DCT塊EK(k=1,2,3,4)。由於在換算運動矢量的Vx和Vy分量時的捨入誤差，圖6上的宏塊M1,M2,M3,M4不一定與圖4上的宏塊M1,M2,M3,M4相同。按照本發明的運動補償步驟首先包括可導致產生兩個色度8×8DCT塊X1,X2的垂直運動補償，後面跟隨可導致產生預測宏塊P(M)的一個色度8×8DCT塊Z的水平運動補償。Z,X1和X2被計算為如下 -其中在半象素中的(dx』,dy』)是從四個宏塊區域{M1.M2,M3,M4}的左上角的宏塊參考R的運動(dx』=dx/2；dy』=dy/2)。H1(dx』),H2(dx』),H1(dx』)t和H2(dx』)t是與亮度分量計算時相同的。
-其中VA(dy』)和VB(dy』)相應於垂直運動補償，是8×8垂直預測矩陣，它們的係數依賴於dy』的數值。
對於色度分量的垂直運動補償，選擇相同的預測模式，這給出以下的、任意選擇的垂直預測矩陣VA(dy』)和VB(dy』)VA(dy)=116round(16S8(dy)t)]]>VB(dy)=116round(16S8(dy-16)t)----(6)]]>圖7上給出在方程組(5)中執行的色度分量的垂直預測的計算的一部分的圖。它顯示宏塊M1和M2具有它們各自的、從E1和E2的逆離散餘弦變換得出的8×8象素塊IDCT(E1)和IDCT(E2)。它也顯示宏塊R的一部分(圖上的畫陰影線部分)。垂直預測計算導致產生宏塊X1。在本例中，dx=4和dy=6。8×8DCT塊X1的陰影線部分是通過由圖7上的DCT亮度塊E1,E2的陰影線部分的函數116round(16...)]]>的捨入而得到。
這些提出的預測矩陣VA(dy』),VB(dy』),XA(dy),YA(dy),XB(dy),YB(dy),XC(dy),YC(dy),XD(dy),YD(dy)，決不表示對本發明的限制。實際上，數學平均函數116round(16...)]]>是任意選擇的，以及可以使用其它的預測函數，這取決於所需要的得出的分量的精度。在本發明的本實施例中，選擇了幀預測模式並且任意地選擇給定的預測矩陣。在基於區的預測的情況下，就得出不同的矩陣。基於區的預測包括對於給定的宏塊的不同數值的兩個運動矢量第一運動矢量表示在被使用於宏塊的頂部區的預測的參考圖象中的宏塊，以及第二運動矢量表示在被使用於宏塊的底部區的預測的參考圖象中的宏塊。宏塊本身的預測是兩個區的預測的總和。這導致產生另兩組預測矩陣用於根據第一運動矢量的頂部區的預測的一組預測矩陣、和用於根據第二運動矢量的底部區的預測的一組預測矩陣。而且，考慮到每個區可以從頂部區或從底部區被預測，從每組預測矩陣可導致產生更多的替換方案。
權利要求
1．用於對輸入的編碼信號進行代碼轉換的方法，包括以下步驟-解碼所述輸入的編碼信號，得出解碼的量化的信號，-去量化所述解碼的量化的信號，得出去量化的信號，-重新量化被補償的信號，得出重新量化的信號，-重新編碼所述重新量化的信號，得出重新編碼的信號，-補償由所述重新量化步驟在重新編碼的信號中引入的漂移，所述補償步驟在所述去量化和重新量化步驟之間執行，其中所述漂移補償步驟至少包括以下接連的步驟-得出相應於所述漂移的誤差信號，-通過基於誤差信號的、和適合於誤差信號和預測信號的交織或非交織傳輸模式的同時進行的運動補償和區/幀轉換，得出所述解碼信號的預測信號，-從解碼信號中減去所得出的所述預測信號，從而得到要被重新量化的補償信號。
2．如權利要求1的對輸入的編碼信號進行代碼轉換的方法，其特徵在於，其中所述輸入的編碼信號包括被劃分成空間上非重疊的在頻域上編碼的宏塊的接連的視頻幀，所述預測信號是預測宏塊，以及這個預測宏塊的導出只是針對先前按照幀間模式編碼的宏塊而執行的。
3．如權利要求1的對輸入的編碼信號進行代碼轉換的方法，其特徵在於，其中所述輸入的編碼信號包括被劃分成空間上非重疊的在頻域上編碼的宏塊的接連的視頻幀，所述預測信號是預測宏塊，以及屬於B幀的宏塊的預測宏塊的導出只是根據未來幀的誤差宏塊而執行的。
4．代碼轉換器，具有-解碼器，用於解碼輸入的編碼信號和提供解碼的量化的信號，-去量化器，用於去量化被解碼的量化的信號和提供被解碼的信號，-量化器，用於重新量化被補償的信號和提供重新量化的信號，-編碼器，用於重新編碼所述重新量化的信號和提供重新編碼的信號，-補償裝置，用於補償由所述量化器補償在重新編碼的信號中引入的漂移，所述補償裝置在去量化器和量化器之間引入補償，其中所述用於補償漂移的裝置包括-用於得出相應於所述漂移的誤差信號的單元，-用於通過基於誤差信號的、和適合於誤差信號和預測信號的交織或非交織傳輸模式的同時進行的運動補償和區/幀轉換從而得出所述解碼信號的預測信號的單元，-加法器，用於從所述解碼信號中減去所得出的預測信號，從而得到補償的信號。
全文摘要
本發明涉及代碼轉換器,它包括漂移補償環(DCL),用於補償由量化操作(Q2)在代碼轉換路徑中引入的漂移信號(Ei)。這個漂移補償環對於從先前的去量化(IQ1)發出的信號(F1)執行運動補償,從而得到預測信號(P1)。運動補償是根據被存儲在存儲器單元(MEM)中的漂移信號進行的。漂移信號和預測信號可以以交織的或去交織的結構形式被輸送。按照本發明,AMC單元利用所述漂移和預測信號的去交織的或交織的結構來適應運動補償操作。
文檔編號H04N7/32GK1322444SQ00802018
公開日2001年11月14日 申請日期2000年7月13日 優先權日1999年7月20日
發明者A·莫雷爾 申請人:皇家菲利浦電子有限公司