在音頻視頻編解碼器中使用的濾波方法、設備和介質的製作方法

2023-05-24 05:05:31

專利名稱：在音頻視頻編解碼器中使用的濾波方法、設備和介質的製作方法
技術領域：
本發明涉及一種編碼器和解碼器(編解碼器)，並更特別地，涉及一種在音頻視頻編解碼器中使用的濾波方法、設備和介質。
背景技術：
最近，微軟(Microsoft)公司向電影與電視工程師協會(SMPTE)(一個國際標準化團體)提出了一項被授予「VC-1」稱號(先前稱作「VC9」)的運動畫面壓縮標準的草案。當前，正在對VC-1進行審查，並且許多專家預期遲早採用VC-1作為國際標準。
還預期VC-1如同已被用作運動畫面壓縮標準並已被廣泛應用到各個領域的運動畫面專家組(MPEG)-2、MPEG-4、和H.264一樣，在不久的將來成為最主要的運動畫面壓縮標準。VC-1的複雜性比H.264小大約60％，但VC-1能實現H.264的壓縮效率的大約80％，這被看作是一種在壓縮效率方面最有效的運動畫面壓縮標準。另外，還知道VC-1能提供比MPEG-2或MPEG-4高的畫面質量。
根據上面簡要描述的現有運動畫面壓縮標準，以塊為單位對數字圖像進行編碼或解碼。所以，當解碼然後再現該數字圖像時，可能錯誤地呈現(render)數字圖像的每對垂直或水平相鄰塊之間的邊界，如同它們是真實的邊界一樣。這些偽邊界被稱作成塊(blocking)假象，並且該現象被稱作成塊現象。為了防止成塊現象，需要一種環路濾波器，其是在編解碼器中包括的濾波器，以對該編解碼器所處理的數字圖像進行解塊(deblock)。
下面將更詳細地描述VC-1解碼方法。
圖1是VC-1解碼器110的方框圖。參考圖1，該VC-1解碼器110包括比特流分析單元115；I畫面的解碼部分120，包括逆可變長度編碼(VLC)單元122、逆量化單元124、和逆變換單元；P和B畫面的解碼部分130，包括逆可變長度編碼(VLC)單元132和預測單元134；運動補償單元140；組合器或加法器145；重疊平滑和環路濾波單元150；強度補償和範圍縮放單元160；存儲器(例如緩衝器)170；已解碼的幀180；和後解碼部分190，包括後濾波器192、顏色變換單元194、和尺寸調整單元196。稍後將在該公開中進行描述的本發明涉及該重疊平滑和環路濾波單元。
假設作為序列參數的OVERLAP(重疊)和LOOPFILTER(環路濾波)被設置為1，則通過將其經過逆VLC單元、逆量化單元、和逆變換單元而恢復的畫面在一些條件下可被重疊平滑然後被環路濾波。在用作用於運動補償的參考幀之前，該畫面應被環路濾波。為了將該畫面用作稍後用於運動補償的參考幀，VC-1解碼器110應在完全符合VC-1的情況下，對該畫面執行環路濾波操作。一般來說，由於一個畫面包括幾個片斷(slice)，所以應以片斷為單位執行重疊平滑操作和環路濾波操作。
下面將更詳細地描述環路濾波操作。
為了在量化操作期間，防止或最小化在畫面的多對垂直或水平相鄰的8×8塊之間的邊界附近可能出現的成塊現象，而執行環路濾波操作。由於I畫面被變換為一組8×8塊，所以應以8的倍數個像素為單位對其進行垂直和水平環路濾波。所以，可以以8個像素、16個像素、或24個像素為單位對I畫面進行垂直和水平環路濾波。
然而，P畫面可被變換為一組8×8塊、8×4子塊、和/和4×8子塊。由此，應以4的倍數個像素為單位對P畫面進行垂直和水平環路濾波。所以，可以以4個像素、8個像素、或12個像素為單位對P畫面進行垂直和水平環路濾波。
現在將更詳細地描述環路濾波操作。
1)I畫面的環路濾波為了防止解塊現象，而對I畫面的每對垂直或水平相鄰塊之間的邊界執行環路濾波操作(即解塊濾波操作)。圖2是圖示I畫面的環路濾波的圖。具體說，圖2(a)圖示了具有YCbCr的I畫面的左上部分的水平環路濾波，而圖2(b)圖示了I畫面的左上部分的垂直環路濾波。參考圖2(a)和圖2(b)，十字形(+)代表像素，而帶圈十字形()代表環路濾波後的像素。對從I畫面頂部起的第一行像素和從I畫面最左邊起的第一列像素不進行環路濾波。同樣，對從I畫面底部起的第一行像素和從I畫面最右邊起的第一列像素也不進行環路濾波。換言之，假設一幀由N×M個塊組成，並且每一塊具有8×8的尺寸，則在對I畫面進行水平環路濾波的過程中，對第7行和第8行、第15行和第16行、...、以及第((N-1)×(8-1))行和第((N-1)×8)行的像素進行環路濾波，在對I畫面進行垂直環路濾波的過程中，對第7列和第8列、第15列和第16列、...、以及第((N-1)×(8-1))列和第((N-1)×8)列的像素進行環路濾波。
對I畫面進行環路濾波的順序很重要。傳統上，對一幀中每對水平相鄰子塊之間的邊界附近的像素進行環路濾波，然後對該幀中每對垂直相鄰子塊之間的邊界附近的像素進行環路濾波。在對該幀中每對垂直相鄰子塊之間的邊界附近的像素進行環路濾波之前，應將對該幀中每對水平相鄰子塊之間的邊界附近的像素進行環路濾波的結果存儲在存儲器中。這類無關聯(non-causal)濾波方法一般需要很大的存儲帶寬來僅對一幀進行濾波。另外，這類無關聯濾波方法經常引起幀延遲，因為直到預定塊既經歷了水平濾波操作又經歷了垂直濾波操作，才完成對該預定塊的濾波。
2)P畫面的環路濾波P畫面被分類為幀內編碼(intra-coded)P畫面或幀間編碼(inter-coded)P畫面。幀內編碼P畫面總是經過8×8變換。由此，在幀內編碼P畫面的情況下，僅對每對垂直或水平相鄰8×8塊之間的邊界附近的像素進行環路濾波。然而，幀間編碼P畫面可經過8×8、8×4、4×8、或4×4逆變換以解碼殘留誤差。所以，在幀間編碼P畫面的情況下，可以根據情況對當前正濾波的塊(以後稱為當前塊)和與該當前塊垂直或水平相鄰的塊之間的邊界附近的像素進行或不進行環路濾波。根據以下規則來確定是否對當前塊(或子塊)和與該當前塊(或子塊)垂直或水平相鄰的塊(或子塊)之間的邊界進行環路濾波(1)對每一塊(具有8×8尺寸)中的每對垂直或水平相鄰子塊(具有8×4、4×8、或4×4尺寸)之間的邊界附近的像素進行環路濾波；和(2)對具有相同運動矢量且不具有殘留誤差的每對垂直或水平相鄰塊(或子塊)之間的邊界附近的像素不進行環路濾波。
圖3是圖示對P畫面的環路濾波的各個例子的圖。具體說，圖3圖示了在哪種情況下，必須對P畫面的一對水平相鄰塊(或子塊)之間的邊界進行環路濾波。如果一對水平相鄰塊具有相同的運動矢量，則不對這對水平相鄰塊之間的邊界進行環路濾波。否則，就必須對這對水平相鄰塊之間的邊界進行環路濾波。參考圖3，灰色塊(或子塊)是用變換係數編碼的塊(或子塊)，而白色塊(或子塊)是不用變換係數的塊，粗實線代表進行環路濾波的一對垂直或水平相鄰塊(或子塊)之間的邊界，而細實線代表不進行環路濾波的一對垂直或水平相鄰塊(或子塊)之間的邊界。根據上述規則來確定是否對P畫面的一對垂直或水平相鄰塊(或子塊)之間的邊界進行環路濾波。圖3圖示了僅對P畫面的多對水平相鄰塊進行的環路濾波。然而，可根據與用於確定是否對P畫面的一對水平相鄰塊之間的邊界進行環路濾波的規則相同的規則，來確定是否對P畫面的一對垂直相鄰塊之間的邊界進行環路濾波。以上描述也可應用於P畫面的水平塊(或水平子塊)邊界的環路濾波。
圖4(a)和4(b)是分別圖示了P畫面的水平環路濾波和垂直環路濾波的圖。參考圖4(a)，可以對P畫面的每對垂直相鄰的8×8塊之間的邊界以及每對垂直相鄰的8×4子塊之間的邊界，即第4和第5、第8和第9、第12和第13行像素，進行環路濾波。
參考圖4(b)，可以對P畫面的每對水平相鄰的8×8塊之間的邊界以及每對水平相鄰的4×8子塊之間的邊界，即第4和第5、第8和第9、第12和第13列像素，進行環路濾波。與從I畫面的頂部和底部起的第一行像素以及從I畫面的最左邊和最右邊起的第一列像素一樣，與P畫面的輪廓線鄰接的像素，即從P畫面的頂部和底部起的第一行像素以及從P畫面的最左邊和最右邊起的第一列像素，被排除在P畫面的環路濾波之外。
對P畫面進行環路濾波的順序也很重要。首先，按照從P畫面的頂部到底部的順序而對一幀中每對垂直相鄰塊之間的邊界進行環路濾波，並將環路濾波結果存儲在存儲器中。其後，按照從P畫面的頂部到底部的順序而對該幀中每對垂直相鄰8×4子塊之間的邊界進行環路濾波，並將環路濾波結果存儲在存儲器中。其後，按照從P畫面的左邊到右邊的順序而對該幀中每對水平相鄰8×8塊之間的邊界進行環路濾波，並將環路濾波結果存儲在存儲器中。其後，按照從P畫面的左邊到右邊的順序而對該幀中每對水平相鄰4×8子塊之間的邊界進行環路濾波，並將環路濾波結果存儲在存儲器中。所以，以2個階段對每對垂直塊或子塊之間的邊界進行環路濾波，並以2個階段對每對水平相鄰塊或子塊之間的邊界進行環路濾波。由此，以總共4個階段對每一幀進行環路濾波。在這一點上，認為這類無關聯濾波方法會引起延遲並需要大存儲帶寬。
3)B畫面的環路濾波以與I畫面相同的方式對B畫面進行環路濾波。
下面將更詳細地描述對每對垂直或水平相鄰塊(或子塊)之間的邊界進行的環路濾波。
圖5(a)和5(b)是圖示對一對垂直或水平相鄰塊之間的邊界附近的像素的環路濾波的圖。由於每一塊或子塊沿縱向或橫向包括4的倍數個像素，所以可以4的倍數個像素為單位來執行垂直或水平環路濾波操作。參考圖5(a)，兩列像素被劃分為4段，每段包括4個像素，使得一對垂直相鄰塊(或子塊)之間的邊界落在上邊兩段和下邊兩段之間。從每一段的頂部起的、用「X」標記的第三像素在對應段的其它像素之前被環路濾波。其後，基於對對應部分的第三像素進行環路濾波的結果，而確定是否對對應段中除了第三像素之外的像素進行環路濾波。具體說來，如果對對應部分的第三像素進行環路濾波的結果表示還沒有發生成塊現象並由此確定不再執行環路濾波操作，則不對對應部分中除了第三像素之外的像素進行環路濾波。
參考圖5(b)，假設一對水平相鄰塊或子塊之間的邊界落在第四和第五像素P4和P5之間。在濾波過程中，第四和第五像素P4和P5是可交換的。第五像素P4的值和位於像素P4左邊的第一到第三像素P1到P3的值被加權平均，由此獲得第一補償值。同樣，像素P5的值和位於像素P5右邊的第六到第八像素P6到P8的值被加權平均，由此獲得第二補償值。其後，向像素P4和P5的值中添加或從其中減去第一和第二補償值。以這種方式，可能防止或最小化在每對垂直或水平相鄰塊或子塊之間的邊界周圍呈現的成塊假象。
參考圖5(a)，如果對對應段的第三像素進行環路濾波的結果表示需要對對應段的其它像素進行環路濾波，則對對應部分中除了第三像素之外的所有像素進行環路濾波。否則，就跳過對對應段中除了第三像素之外的所有像素的環路濾波，並對對應段之後的段執行環路濾波的另一迭代。
現在將詳細描述重疊平滑操作。
圖6是圖示重疊平滑操作的例子的圖。參考圖6，如果作為序列參數的OVERLAP被設置為1，並且滿足預定條件，則可對每個都具有YCbCr的一對兩個垂直或水平相鄰幀內塊(intra block)之間的邊界執行稱為重疊平滑的濾波操作。在以上參考圖2(a)到5(b)所述的環路濾波操作之前，執行重疊平滑操作，也稱為重疊變換操作。重疊平滑操作是一種基於塊的變換，其使得一對垂直或水平相鄰塊彼此交換其邊界信息。精心設計的重疊平滑操作有助於最小化成塊噪聲。
圖6圖示了包括多個I塊的P幀。參考圖6，可作為Y或CbCr的像素被呈現為小正方形，I塊被呈現為填充了陰影線的大矩形，而P塊被呈現為填充了點的區。僅對填充了點的區進行重疊平滑。具體說，在水平或垂直相鄰2×2的P塊之間的邊界的每一邊的兩列或兩行像素被重疊平滑。圓圈中包括的像素既被水平地重疊平滑，又被垂直地重疊平滑。
對一對水平相鄰像素a0和a1以及一對水平相鄰像素b1和b0執行重疊平滑操作。這兩對水平相鄰像素a0和a1、以及b1和b0彼此相鄰，並在其間具有邊界。像素a0和a1在該邊界的左邊，而像素b1和b0在該邊界的右邊。其後，對一對垂直相鄰像素p0和p1以及一對垂直相鄰像素q1和q0執行重疊平滑操作。這兩對垂直相鄰像素p0和pl、以及q1和q0彼此相鄰，並在其間具有邊界。換言之，對像素a0、al、b1和b0進行重疊平滑，然後對像素p0、p1、q1和q0進行重疊平滑。在對像素p0、p1、q1和q0進行重疊平滑之前，將對像素a0、a1、b1和b0進行重疊平滑的結果存儲在存儲器中。
基於是否滿足預定條件而確定是否對I、P或B幀執行重疊平滑操作。在與VC-1相關的文獻中詳細描述了該預定條件，並由此將省略對它們的詳細描述。如果不滿足該預定條件，則可跳過該重疊平滑操作。例如，可以不對僅包括幀間塊(inter block)的幀執行重疊平滑操作。然而，為了便於說明，在本公開中假設需要執行重疊平滑操作和環路濾波操作。然而，顯然可以基於是否滿足預定條件而跳過重疊平滑操作。
如上所述，為了防止成塊現象，傳統VC-1濾波方法和設備以幀或片斷為單位執行水平重疊平滑操作和隨後的垂直重疊平滑操作，然後以幀或片斷為單位執行水平環路濾波操作和隨後的垂直環路濾波操作。因此，傳統VC-1濾波方法和設備需要在執行垂直重疊平滑操作之前，存儲執行水平重疊平滑操作的結果，並需要在執行垂直環路濾波操作之前，存儲執行水平環路濾波操作的結果。所以，VC-1濾波方法和設備需要大存儲帶寬和多個幀存儲器，可能引起幀延遲，並需要具有大存儲容量的幀存儲器。另外，由於傳統VC-1濾波方法和設備的無關聯特性，使得很難利用傳統VC-1濾波方法和設備實現編解碼器硬體。

發明內容
本發明的其它方面、特徵、和/或優點將部分地在下面的描述中闡明，部分地通過該描述將變得明顯，或可以通過對本發明的實踐而得知。
本發明提供了一種在音頻視頻編解碼器中使用的濾波方法、設備和介質，其可以克服重疊平滑操作和環路濾波操作的無關聯性，並可以在不需要擴大存儲器或帶寬的情況下，有效地執行重疊平滑操作和環路濾波操作。
根據本發明的一個方面，提供了一種音頻視頻編解碼器中使用的濾波方法。該濾波方法包括確定預定宏塊為濾波區域；擴展該濾波區域，以進一步包括與該預定宏塊相鄰的宏塊中該預定宏塊和與該預定宏塊相鄰的宏塊之間的邊界附近的一部分；和根據時間的過去，而以關聯(causal)方式對該擴展的濾波區域執行解塊濾波操作。
在執行解塊濾波操作的步驟中，可對該擴展的濾波區域進行水平和隨後的垂直解塊濾波，然後可對該擴展的濾波區域後面的濾波區域進行水平和隨後的垂直解塊濾波。
所述與該預定宏塊相鄰的宏塊的一部分可包括多個各由至少4個像素組成的段。
該解塊濾波操作可包括重疊平滑操作和環路濾波操作中的至少一個。
如果滿足預定條件，則可以宏塊為單位對該擴展的濾波區域進行重疊平滑，然後以宏塊為單位進行環路濾波。
可利用該擴展的濾波區域中包括的宏塊的每一對相鄰子塊之間的邊界的每一邊的至少兩行或兩列像素，來對該擴展的濾波區域進行重疊平滑。
可對該擴展的濾波區域中包括的宏塊的兩對垂直相鄰8×8塊之間的邊界附近的像素進行水平重疊平滑然後進行垂直重疊平滑。
可利用該擴展的濾波區域中包括的宏塊的每一對相鄰子塊之間的邊界的每一邊的至少四行或四列像素，來對該擴展的濾波區域進行環路濾波。
可對該擴展的濾波區域中包括的宏塊的兩對水平相鄰8×8塊之間的邊界附近的像素進行水平環路濾波，可對該擴展的濾波區域中包括的宏塊的每對水平相鄰8×4子塊之間的邊界附近的像素進行水平環路濾波，可對該擴展的濾波區域中包括的宏塊的兩對垂直相鄰8×8塊之間的邊界附近的像素進行垂直環路濾波，並可對該擴展的濾波區域中包括的宏塊的每對垂直相鄰4×8子塊之間的邊界附近的像素進行垂直環路濾波。
該音頻視頻編解碼器可以符合提交給電影與電視工程師學會(SMPTE)的VC-1。
根據本發明的另一方面，提供了一種音頻視頻編解碼器中使用的濾波設備。該濾波設備包括緩衝器單元，存儲預定宏塊作為濾波區域；行緩衝器，存儲與該預定宏塊垂直相鄰的宏塊中該預定宏塊和與該預定宏塊垂直相鄰的宏塊之間的邊界附近的一部分；列緩衝器，存儲與該預定宏塊水平相鄰的宏塊中該預定宏塊和與該預定宏塊水平相鄰的宏塊之間的邊界附近的一部分；和濾波單元，根據時間的過去，而以關聯方式對該緩衝器單元中存儲的濾波區域執行解塊濾波操作。
根據本發明的另一方面，提供了至少一種存儲有指令的計算機可讀介質，該指令控制至少一個處理器執行以下方法，該方法包括確定預定宏塊為濾波區域；擴展該濾波區域，以進一步包括與該預定宏塊相鄰的宏塊中該預定宏塊和與該預定宏塊相鄰的宏塊之間的邊界附近的一部分；和根據時間的過去，而以宏塊為單位對該擴展的濾波區域執行解塊濾波操作。


通過結合附圖對示範實施例的以下描述，本發明的這些和/或其它方面、特徵和優點將變得清楚和更易於理解，其中圖1是VC-1編解碼器的方框圖；圖2(a)和2(b)是圖示在I畫面的兩個垂直相鄰塊和I畫面的兩個水平相鄰塊之間的邊界附近的像素的環路濾波的圖；圖3是圖示P畫面的環路濾波後的塊邊界的各個例子的圖；圖4(a)和4(b)是圖示對在P畫面的兩個垂直相鄰塊(或子塊0)和P畫面的兩個水平相鄰塊(或子塊)之間的邊界附近的像素的環路濾波的圖；圖5(a)和5(b)是圖示對在兩個相鄰塊之間的邊界附近的像素的環路濾波的圖；圖6是圖示重疊平滑操作的圖；圖7是根據本發明示範實施例的濾波設備的方框圖；圖8是圖示要用根據本發明示範實施例的濾波方法來濾波的幀的圖；圖9是圖示根據本發明示範實施例的圖8的框格(CASE)1的重疊平滑和環路濾波的圖；圖10A和10B是圖示根據本發明示範實施例的圖8的框格2的重疊平滑和環路濾波的圖；圖11A和11B是圖示根據本發明示範實施例的圖8的框格3的重疊平滑和環路濾波的圖；以及圖12A到12C是圖示根據本發明示範實施例的圖8的框格4的重疊平滑和環路濾波的圖。
具體實施例方式
現在將詳細討論附圖中圖示了其例子的本發明的示範實施例，其中相同的附圖標記始終表示相同的元件。下面通過參考附圖來描述示範實施例以說明本發明。
現在將參考示出了本發明的示範實施例的附圖來更全面地描述本發明。
圖7是根據本發明示範實施例的濾波設備的方框圖。參考圖7，與傳統VC-1濾波設備不同，該濾波設備以宏塊為單位對畫面執行濾波操作。因此，該濾波設備包括行緩衝器630和列緩衝器640，其中臨時存儲宏塊邊界信息。
具體地，該濾波設備包括濾波器單元610，防止成塊現象；緩衝器單元(L_BUF)620，存儲要濾波的數據和對要濾波的數據進行濾波的結果；以及行緩衝器(ROW_BUF)630和列緩衝器(COL_BUF)640，臨時存儲宏塊邊界信息。
根據本發明可以處理的數據的最小單位是16×16宏塊。因此，根據本發明示範實施例的濾波設備被設計為以16×16宏塊為單位執行重疊平滑操作和環路濾波操作。換言之，根據本發明示範實施例的濾波設備對一幀的每一16×16宏塊執行重疊平滑操作，然後對該幀的每一16×16宏塊執行環路濾波操作。作為尺寸為16×16的緩衝器的緩衝器單元620存儲對該幀的每一16×16宏塊的濾波結果。作為尺寸為20×8的緩衝器的行緩衝器630存儲當前正濾波的宏塊(下面稱為當前宏塊)中該當前宏塊和位於該當前宏塊正上方的宏塊之間的邊界附近的像素、以及對其中存儲的像素進行濾波的結果。作為尺寸為8×16的緩衝器的列緩衝器640存儲該當前宏塊中在當前宏塊和位於該當前宏塊左邊的宏塊之間的邊界附近的像素、以及對其中存儲的像素的濾波結果。
現在將在要濾波的幀縱向包括4個宏塊而橫向包括3個宏塊的假設下，更詳細地描述根據本發明示範實施例的濾波設備的操作。
圖8是圖示根據本發明示範實施例的要被重疊平滑然後環路濾波的幀的圖。參考圖8，該幀包括12個宏塊，即第1到第12宏塊MB1到MB12。框格1表示要被濾波並包括第1宏塊MB1的區域，而框格2表示要被濾波並包括第2宏塊MB2的區域。框格3表示要被濾波並包括第5宏塊MB5的區域，而框格4表示要被濾波並包括第6宏塊MB6的區域。
圖9是圖示根據本發明示範實施例的圖8的框格1的重疊平滑和環路濾波的圖。參考圖9，以與上面參考圖1描述的相同方式對第1宏塊MB1進行運動補償。其後，對運動補償後的第1宏塊MB1進行重疊平滑，然後進行環路濾波。
參考圖7和9，運動補償後的第1宏塊MB1被存儲在緩衝器單元620中。其後，基於是否滿足上面已描述過的預定條件，而確定是否對運動補償後的第1宏塊MB1進行重疊平滑。如果不滿足預定條件，則對運動補償後的第1宏塊MB1直接進行環路濾波，而無需進行重疊平滑。否則，就對運動補償後的第1宏塊MB1進行重疊平滑，然後進行環路濾波，現在對此進行更詳細的描述。
圖9(a)圖示了框格1。由於第1宏塊MB1是圖8的幀的第一片斷的第1宏塊，所以行緩衝器630和列緩衝器640是空的。當對第2宏塊MB2執行濾波操作時，對鄰接第1和第2宏塊MB1和MB2之間的邊界的像素進行濾波。
現在將參考圖9(b)和9(c)而詳細描述對第1宏塊MB1的重疊平滑。
參考圖9(b)，對呈現為黑圓圈並由兩條平行虛線包圍的、第1宏塊MB1的2對垂直相鄰塊之間的邊界的每一邊的2列像素進行重疊平滑。具體地，第1宏塊MB1的每一行中的第7到第10像素同時被分別輸入到圖7的鎖存器p1、p0、q0和q1。將第1宏塊MB1的每一行與時鐘周期同步地從各鎖存器輸入到濾波器單元610。其後，將對第1宏塊MB1執行重疊平滑操作的濾波器單元610的輸出值輸入到寄存器P1、P0、Q0和Q1。緩衝器單元620基於鎖存器P1、P0、Q0和Q1的輸出值而更新先前從鎖存器P1、P0、Q0和Q1接收的值。緩衝器單元620僅對於滿足預定條件的第1宏塊MB1的一部分而更新先前從寄存器P1、P0、Q0和Q1輸入的值。
參考圖9(c)，從第1宏塊MB1的2對水平相鄰8×8塊之間的邊界起的2行像素除了未被虛線包圍的像素之外被呈現為黑圓圈。以與圖9(b)所示的從第1宏塊MB1的2對垂直相鄰8×8塊之間的邊界起的2行像素相同的方式，而僅對呈現為黑圓圈的像素進行重疊平滑。當對第2宏塊MB2執行濾波操作時，對未被虛線包圍但與第1宏塊MB1的2對水平相鄰8×8塊之間的邊界鄰接的像素進行濾波。可替換地，當對第2宏塊MB2執行濾波操作時，可對從第1宏塊MB1的最右邊起的至少2列像素進行濾波。
一旦完成了對第1宏塊MB1的重疊平滑，就對第1宏塊MB1執行環路濾波。參考圖9(d)，與2對水平相鄰8×8塊之間的邊界鄰接的像素除了未被虛線包圍的像素之外被呈現為黑圓圈。僅對呈現為黑圓圈的像素進行環路濾波。當對第5宏塊MB5執行濾波操作時，對第1宏塊MB1中與第1宏塊MB1和第5宏塊MB5之間的邊界鄰接的像素進行環路濾波。當對第2宏塊MB2執行濾波操作時，對未被虛線包圍但與第1宏塊MB1的2對水平相鄰8×8塊之間的邊界鄰接的像素進行環路濾波。不與2對水平相鄰8×8塊之間的邊界鄰接但被虛線包圍的像素用於對呈現為黑圓圈的像素進行環路濾波。
參考圖9(d)，由虛線包圍的一共12列像素被輸入到圖7的鎖存器p0、p1、p2、p3、q0、q1、q2和q3，使得12列中的每一列中的8個像素被同時輸入到相應鎖存器。由虛線包圍的12列的每一列都包括8個像素。特別是，在第1宏塊MB1的第一到第四行中除了未被虛線包圍的像素之外的第1到第12個像素以同時將4個像素輸入到相應鎖存器的方式被輸入到鎖存器p3、p2、p1和p0，而第五到第八行中除了未被虛線包圍的像素之外的第1到第12個像素以同時將4個像素輸入到相應鎖存器的方式被輸入到鎖存器q0、q1、q2和q3。
如圖9(d)的頂部所示，由虛線包圍的一共8行中的每一行中包括的一共12個像素根據它們被輸入到對應鎖存器(p3、p2、p1、p0、q0、q1、q2或q4)的順序而被編號。假設由虛線包圍的8行中的每一行被劃分為3個部分，每一部分包括4個像素，如上所述，3個部分中的每一部分中的第3個像素(即由虛線包圍的8行中的每一行中的第3、第7、和第11個像素)在對應部分的其它像素之前被環路濾波。其後，基於對對應部分的第3像素進行環路濾波的結果而確定是否對對應部分的其餘像素進行環路濾波。其後，從目應鎖存器輸出由虛線包圍的8行像素，然後將其在一個周期中依次輸入到圖6的濾波器單元610並進行環路濾波。以與上面參考圖5描述的相同方式執行對由虛線包圍的12列像素或8行像素的環路濾波。這裡，可利用VC-1中定義的任何濾波方法對虛線包圍的8行像素進行環路濾波。作為對虛線包圍的8行像素進行環路濾波的結果，呈現為黑圓圈的像素的值被輸入到圖7的鎖存器P0和Q0。如果需要執行濾波操作，例如如果宏塊MB的水平或垂直塊邊界而非第1宏塊MB1的輪廓線被錯誤地呈現為第1宏塊MB1的邊界，則緩衝器單元620基於當前從鎖存器P0和Q0接收的值，而更新先前從鎖存器P0和Q0接收的值。
同樣，對虛線包圍的8行中的每一行中的第5到第8個像素進行濾波，然後對虛線包圍的8行中的每一行中的第9到第12個像素進行濾波。由虛線包圍的所有8行像素可被環路濾波，但緩衝器單元620基於對圖9(d)中呈現為黑圓圈的像素(即與第1宏塊MB1的2對水平相鄰8×8塊之間的邊界鄰接的像素)進行環路濾波的結果，而更新先前從鎖存器P0和Q0接收的值。例如，在對I畫面進行環路濾波的情況下，緩衝器單元620僅對於與相鄰8×8塊之間的邊界鄰接的像素而更新存儲器中存儲的數據，而在對P畫面進行環路濾波的情況下，緩衝器單元620僅對於與編碼塊之間的邊界鄰接的像素而更新存儲器中存儲的數據。
圖9(e)圖示了對與第1宏塊MB1的2對水平相鄰8×4子塊之間的邊界鄰接的像素的環路濾波。參考圖9(e)，與第1宏塊MB1的2對水平相鄰8×4子塊之間的邊界鄰接的像素被呈現為黑圓圈。由虛線包圍的所有多個像素除了呈現為黑圓圈的像素之外都用於對呈現為黑圓圈的像素進行環路濾波。以與上面參考圖9(d)所描述的相同的方式對呈現為黑圓圈的像素進行環路濾波。根據VC-1，如果第1宏塊MB1是幀內塊，則可跳過對呈現為黑圓圈的像素進行的環路濾波。
如果完成了對與第1宏塊MB1中的水平塊邊界鄰接的像素的環路濾波，則對與垂直塊邊界鄰接的像素進行環路濾波，這將在下面參考圖9(f)、9(g)和9(h)進行描述。
參考圖9(f)，對與第1宏塊MB1的2對垂直相鄰8×8塊之間的邊界鄰接的像素除了未被2條平行虛線包圍的像素之外進行環路濾波。在對第5宏塊MB5執行濾波操作時，對未被2條平行虛線包圍但與第1宏塊MB1的2對垂直相鄰8×8塊之間的邊界鄰接的像素進行濾波。另外，當對第2宏塊MB2執行濾波操作時，對從第1宏塊MB1的最右邊起的4列像素進行濾波。不與第1宏塊MB1的2對垂直相鄰8×8塊之間的邊界鄰接但被2條虛線包圍的像素用於對呈現為黑圓圈的像素進行環路濾波。
參考圖9(g)，以與上面參考圖9(d)和9(e)所描述的相同的方式，對第1宏塊MB1的左上8×8塊中的2對垂直相鄰4×8子塊進行環路濾波。根據VC-1，如果第1宏塊MB1是幀內塊，則可跳過對與第1宏塊MB1的左上8×8塊中的2對垂直相鄰4×8子塊進行的環路濾波。
對第1宏塊MB1進行環路濾波的結果被臨時存儲在緩衝器單元620中，然後被記錄在外部幀存儲器中。圖9(h)圖示了在外部幀存儲器中記錄的對第1宏塊MB1進行環路濾波的結果。
其後，將第1宏塊MB1的右上和右下8×8塊中包括的像素值載入到列緩衝器640中，而將第二宏塊MB2中包括的像素值載入到緩衝器單元620中，以便對框格2執行重疊平滑操作和隨後的環路濾波操作(參考圖7)。
如上所述，以每個都包括4個像素的段為單位而執行重疊平滑操作和環路濾波操作。另外，對宏塊垂直地重疊平滑，然後水平地重疊平滑。在完成對宏塊的重疊平滑之後，對宏塊水平地環路濾波，然後垂直地環路濾波。
圖10A和10B是圖示根據本發明示範實施例的圖8的框格2的重疊平滑和環路濾波(具體說是對第2宏塊MB2的重疊平滑和環路濾波)的圖。具體地，圖10A(a)圖示了要被重疊平滑和環路濾波的框格2。參考圖10A(a)，框格2不僅包括第2宏塊MB2，而且包括第1宏塊MB1的右上和右下8×8塊。如上所述，第1宏塊MB1的右上和右下8×8塊中包括的像素值被臨時存儲在列緩衝器640中。
參考圖10A(b)到10A(d)，在第1和第2宏塊MB1和MB2之間的邊界的每一邊的兩排像素被重疊平滑，在第2宏塊MB2的2對垂直相鄰8×8塊之間的邊界的每一邊的兩排像素被重疊平滑，然後在第1宏塊MB1的最右邊的一對垂直相鄰4×8子塊之間的邊界的每一邊的兩排像素、以及在第2宏塊MB2的2對水平相鄰8×8塊之間的邊界的每一邊的兩排像素除了包括在第2宏塊MB2的最右邊的一對垂直相鄰4×8子塊中的像素之外被重疊平滑。框格2的重疊平滑與上面參考圖9(b)和9(c)所述的框格1的重疊平滑相同。參考圖10(d)，從框格2的最左邊起的4列像素已在對框格1進行重疊平滑時被重疊平滑，而從框格2的最右邊起的4列像素將在對第3宏塊MB3進行重疊平滑時被重疊平滑。由此，這8列像素被排除在對框格2的重疊平滑之外。
如果完成了對框格2的重疊平滑，則對框格2進行環路濾波。參考圖10A(e)，在與第1宏塊MB1的右上和右下8×8塊之間的邊界或與第2宏塊MB2的2對水平相鄰8×8塊之間的邊界鄰接的多個像素中，僅對呈現為黑圓圈的像素進行環路濾波。從框格2的底部起的8行像素和從框格2的最右邊起的4列像素將在對後續片斷或後續宏塊進行環路濾波時被環路濾波。由虛線包圍的所有多個像素除了被呈現為黑圓圈的像素之外用於對呈現為黑圓圈的像素進行環路濾波。換言之，由虛線包圍的一共8行被輸入到鎖存器p3、p2、p1、p0、q0、q1、q2和q3，然後被環路濾波。由虛線包圍的8行中的每一行以與上面參考圖9(d)到9(h)所述的相同方式包括16個像素。其後，參考圖10B(f)，在由虛線包圍的2對水平相鄰4×8子塊中包括的多個像素中，以與上述相同的方式對與2對水平相鄰4×8子塊之間的邊界鄰接的像素進行環路濾波。
圖10B(g)到10B(k)圖示了框格2的垂直環路濾波。參考圖10B(g)，由虛線包圍的一共8列以與上面參考圖5所描述的幾乎相同的方式被輸入到鎖存器p3、p2、p1、p0、q0、q1、q2和q3，然後被環路濾波。8列中的每一列包括8個像素。如圖10B(g)的左邊所示，8列中的每一列包括的8個像素根據將其輸入到對應鎖存器的順序而編號。
其後，以上面參考圖10B(g)所述的相同方式對由圖10B(h)的虛線包圍的8列、由圖10B(i)的虛線包圍的8列、和由圖10B(j)的虛線包圍的8列順序地進行環路濾波。圖10B(k)圖示了外部幀存儲器中記錄的對框格2進行環路濾波的結果。
其後，從第2宏塊MB2的最右邊起的8列中包括的像素值被載入到列緩衝器640中，並且在後續迭代中要被濾波的包括在第3宏塊MB3中的像素值被載入到緩衝器單元620。以這種方式，對由第1到第4宏塊MB1到MB4組成的第1片斷進行濾波。
圖11A和11B是圖示根據本發明示範實施例的對圖8的框格3的重疊平滑和環路濾波的圖。具體地說，圖11A和11B圖示了作為第2片斷的第1宏塊的第5宏塊MB5的重疊平滑和環路濾波。在完成第4宏塊MB4的重疊平滑和環路濾波之後，將從第1宏塊MB1的底部起的上面8行中包括的像素值載入到行緩衝器630中，並將第5宏塊MB5中包括的像素值載入到緩衝器單元620中。
圖11A(b)到11A(d)中圖示了框格3的重疊平滑。參考圖11A(b)到11A(d)，以與上面參考圖9、10A或10B所述相同的方式對框格3進行重疊平滑。
圖11A(e)、11B(f)到11B(h)中圖示了框格3的環路濾波。參考圖11A(e)、11B(f)到11B(h)，以與上面參考圖9、10A或10B所述相同的方式對框格3進行環路濾波。對框格3進行環路濾波的結果被圖示在圖11B(i)和11B(j)中，而對框格3進行重疊平滑然後進行環路濾波的結果被圖示在圖11B(k)中。對框格3進行重疊平滑然後進行環路濾波的結果被記錄在外部幀存儲器中。
更新緩衝器單元620、行緩衝器630、和列緩衝器640中存儲的像素值，以進行後續迭代的濾波。更新的像素值不屬於還沒濾波的像素，而是屬於已濾波的像素。
圖12A到12C是圖示根據本發明示範實施例的圖8的框格4的重疊平滑和環路濾波的圖。具體地說，圖12A(b)到12A(e)圖示了框格4的重疊平滑，圖12B(f)到12B(i)圖示了框格4的水平環路濾波，而圖12B(j)到12C(m)圖示了框格4的垂直環路濾波。圖12C(n)圖示了對框格4進行重疊平滑然後進行環路濾波的結果。對框格4進行重疊平滑然後進行環路濾波的結果波記錄在外部幀存儲器中。
根據本發明的濾波設備以宏塊為單位執行重疊平滑操作和隨後的環路濾波操作，而傳統VC-1濾波設備以幀為單位執行重疊平滑操作和隨後的環路濾波操作。因此，與傳統VC-1濾波設備不同，根據本發明的濾波設備包括行緩衝器630和列緩衝器640。
換言之，根據本發明的濾波設備對每一宏塊執行重疊平滑操作，然後對對應宏塊執行水平環路濾波和隨後的垂直環路濾波操作。在當前宏塊和與該當前宏塊垂直或水平相鄰的宏塊之間的邊界附近的像素被存儲在行緩衝器630或列緩衝器640中，然後被排除在當前宏塊的重疊平滑和環路濾波之外，並在對與該當前宏塊垂直或水平相鄰的宏塊進行重疊平滑和環路濾波時被使用。
因此，根據本發明的濾波設備能夠以關聯方式執行濾波操作，即能夠根據時間的過去而以宏塊為單位執行濾波操作。所以，根據本發明的濾波設備與以幀為單位執行濾波操作的傳統濾波設備相比，能更顯著地降低需要的存儲帶寬，並因此而可以防止幀延遲。
然而，儘管預期上面已描述過的根據本發明的濾波方法和設備與現有技術相比能更顯著地減小需要的存儲帶寬，但是很難控制所述濾波方法和設備。所以，現在將描述與根據本發明前一示範實施例的濾波方法和設備相比可以較不顯著地減小需要的存儲帶寬但可以被更容易地控制的根據本發明另一示範實施例的濾波方法和設備。
在本示範實施例中，水平濾波操作與垂直濾波操作相分離。特別是，假設存在多個片斷要濾波，則以宏塊為單位對第1片斷進行水平重疊平滑然後進行水平環路濾波。其後，以宏塊為單位對第2片斷進行水平重疊平滑然後進行水平環路濾波。如果完成了對所有要濾波的片斷的水平重疊平滑和水平環路濾波，則按照已對它們進行水平重疊平滑然後被水平環路濾波的順序，對所有片斷進行垂直重疊平滑然後進行垂直環路濾波。其後，在完成對所有片斷的垂直和水平重疊平滑以及垂直和水平環路濾波之後，在外部幀存儲器中記錄垂直和水平重疊平滑結果以及垂直和水平環路濾波結果。
儘管上面已將緩衝器單元、行緩衝器、和列緩衝器描述為如同它們的尺寸限於這裡提出的尺寸，但是緩衝器單元、行緩衝器、和列緩衝器的尺寸可動態確定。例如，水平方向的緩衝器單元和行緩衝器的尺寸可擴展到與一個片斷一樣大，在該情況下，將行緩衝器中存儲的數據載入到存儲器中所需的帶寬變得不必要。換言之，隨著緩衝器單元、行緩衝器、和列緩衝器的每一個的尺寸的增加，需要的存儲帶寬減小。由此，需要考慮到緩衝器單元、行緩衝器、和列緩衝器的每一個的尺寸與需要的存儲帶寬之間的折衷，而適當地調整它們。
如上所述，根據本發明的濾波方法和設備可用在音頻視頻編解碼器中，以便以關聯方式以宏塊為單位而執行濾波操作。根據本發明的濾波方法和設備可以利用非關聯環路濾波器和緩衝器而容易地實現。根據本發明的濾波方法和設備可以有效地對成塊假象進行濾波，而不增加所需要的存儲帶寬，並不引起幀延遲。
根據本發明的濾波方法和設備不僅可應用於VC-1編解碼器，而且可應用於基於其它標準的編解碼器。
除了上述示範實施例之外，本發明的示範實施例也可以通過執行例如計算機可讀介質的介質中/上的計算機可讀代碼/指令而實現。該介質可對應於允許存儲和/或傳輸計算機可讀代碼的任何一種介質/多種介質。
該計算機可讀代碼可以以各種方式在介質上記錄/傳輸，例如包括磁存儲介質(例如ROM、軟盤、硬碟等)、光記錄介質(例如CD-ROM、或DVD)、和諸如載波的存儲/傳輸介質的介質，以及通過網際網路。該介質也可以為分布式網絡，使得計算機可讀代碼以分布方式被存儲/傳送和執行。
儘管已示出和描述了本發明的幾個示範實施例，但本領域普通技術人員應明白，在不脫離由權利要求及其等同限定其範圍的本發明的原理和精神的情況下，可對這些示範實施例進行改變。
權利要求
1.一種音頻視頻編解碼器中使用的濾波方法，包括確定預定宏塊為濾波區域；擴展該濾波區域，以進一步包括與該預定宏塊相鄰的宏塊中該預定宏塊和與該預定宏塊相鄰的宏塊之間的邊界附近的一部分；和根據時間的過去，而以宏塊為單位對該擴展的濾波區域執行解塊濾波操作。
2.根據權利要求1的濾波方法，其中該執行解塊濾波操作的步驟包括對該擴展的濾波區域執行水平解塊濾波操作，然後對該擴展的濾波區域執行垂直解塊濾波操作；和對該擴展的濾波區域後面的濾波區域執行水平解塊濾波操作，然後對該後面的濾波區域執行垂直解塊濾波操作。
3.根據權利要求1的濾波方法，其中所述與該預定宏塊相鄰的宏塊的一部分包括多個各由至少4個像素組成的段。
4.根據權利要求1的濾波方法，其中該解塊濾波操作包括重疊平滑操作和環路濾波操作中的至少一個。
5.根據權利要求4的濾波方法，其中如果滿足預定條件，則以宏塊為單位對該擴展的濾波區域進行重疊平滑，然後以宏塊為單位進行環路濾波。
6.根據權利要求4的濾波方法，其中利用該擴展的濾波區域中包括的宏塊的每一對相鄰子塊之間的邊界的每一邊的至少兩行或兩列像素，來對該擴展的濾波區域進行重疊平滑。
7.根據權利要求4的濾波方法，其中對該擴展的濾波區域中包括的宏塊的兩對垂直相鄰8×8塊之間的邊界附近的像素進行水平重疊平滑然後進行垂直重疊平滑。
8.根據權利要求4的濾波方法，其中利用該擴展的濾波區域中包括的宏塊的每一對相鄰子塊之間的邊界的每一邊的至少四行或四列像素，來對該擴展的濾波區域進行環路濾波。
9.根據權利要求4的濾波方法，其中對該擴展的濾波區域中包括的宏塊的兩對水平相鄰8×8塊之間的邊界附近的像素進行水平環路濾波，對該擴展的濾波區域中包括的宏塊的每對水平相鄰8×4子塊之間的邊界附近的像素進行水平環路濾波，對該擴展的濾波區域中包括的宏塊的兩對垂直相鄰8×8塊之間的邊界附近的像素進行垂直環路濾波，並對該擴展的濾波區域中包括的宏塊的每對垂直相鄰4×8子塊之間的邊界附近的像素進行垂直環路濾波。
10.根據權利要求1的濾波方法，其中該音頻視頻編解碼器符合VC-1標準。
11.一種音頻視頻編解碼器中使用的濾波設備，包括緩衝器單元，存儲預定宏塊作為濾波區域；行緩衝器，存儲與該預定宏塊垂直相鄰的宏塊中該預定宏塊和與該預定宏塊垂直相鄰的宏塊之間的邊界附近的一部分；列緩衝器，存儲與該預定宏塊水平相鄰的宏塊中該預定宏塊和與該預定宏塊水平相鄰的宏塊之間的邊界附近的一部分；和濾波單元，根據時間的過去，而以宏塊為單位對該緩衝器單元中存儲的濾波區域執行解塊濾波操作。
12.根據權利要求11的濾波設備，其中該濾波單元對濾波區域執行水平解塊濾波操作和隨後的垂直解塊濾波操作，然後對後面的濾波區域執行水平解塊濾波操作和垂直解塊濾波操作。
13.根據權利要求11的濾波設備，其中在行緩衝器或列緩衝器中存儲的所述與該預定宏塊垂直或水平相鄰的宏塊的一部分包括多個各由至少4個像素組成的段。
14.根據權利要求11的濾波設備，其中該解塊濾波操作包括重疊平滑操作和環路濾波操作中的至少一個。
15.根據權利要求14的濾波設備，其中如果滿足預定條件，則以宏塊為單位執行重疊平滑，然後以宏塊為單位執行環路濾波操作。
16.根據權利要求14的濾波設備，其中利用該緩衝器單元中存儲的濾波區域中包括的宏塊的每一對相鄰子塊之間的邊界的每一邊的至少兩行或兩列像素，來執行重疊平滑操作。
17.根據權利要求14的濾波設備，其中在該重疊平滑操作中，對該緩衝器單元中存儲的濾波區域中包括的宏塊的兩對垂直相鄰8×8塊之間的邊界附近的像素進行水平重疊平滑然後進行垂直重疊平滑。
18.根據權利要求14的濾波設備，其中利用該緩衝器單元中存儲的濾波區域中包括的宏塊的每一對相鄰子塊之間的邊界的每一邊的至少四行或四列像素，來執行環路濾波。
19.根據權利要求14的濾波設備，其中在環路濾波操作中，對該緩衝器單元中存儲的濾波區域中包括的宏塊的兩對水平相鄰8×8塊之間的邊界附近的像素進行水平環路濾波，對該緩衝器單元中存儲的濾波區域中包括的宏塊的每對水平相鄰8×4子塊之間的邊界附近的像素進行水平環路濾波，對該緩衝器單元中存儲的濾波區域中包括的宏塊的兩對垂直相鄰8×8塊之間的邊界附近的像素進行垂直環路濾波，並對該緩衝器單元中存儲的濾波區域中包括的宏塊的每對垂直相鄰4×8子塊之間的邊界附近的像素進行垂直環路濾波。
20.根據權利要求11的濾波設備，其中該音頻視頻編解碼器符合VC-1標準。
21.至少一種存儲有指令的計算機可讀介質，該指令控制至少一個處理器執行以下方法，該方法包括確定預定宏塊為濾波區域；擴展該濾波區域，以進一步包括與該預定宏塊相鄰的宏塊中該預定宏塊和與該預定宏塊相鄰的宏塊之間的邊界附近的一部分；和根據時間的過去，而以宏塊為單位對該擴展的濾波區域執行解塊濾波操作。
全文摘要
提供了一種在音頻視頻編解碼器中使用的濾波方法、設備和介質。該濾波方法可包括確定預定宏塊為濾波區域；擴展該濾波區域，以進一步包括與該預定宏塊相鄰的宏塊中該預定宏塊和與該預定宏塊相鄰的宏塊之間的邊界附近的一部分；和根據時間的過去，而以關聯方式對該擴展的濾波區域執行解塊濾波操作。該濾波方法、設備和介質可以利用非關聯環路濾波器和緩衝器而容易地實現。該濾波方法、設備和介質可以有效地對成塊假象進行濾波，而不增加需要的存儲帶寬，並且不引起幀延遲。
文檔編號H04N7/26GK1725860SQ20051008485
公開日2006年1月25日 申請日期2005年7月19日 優先權日2004年7月19日
發明者宋秉哲 申請人:三星電子株式會社