貫穿圖塊或條帶邊界的環路濾波方法及其裝置與流程
2023-06-01 22:59:51 2
交叉引用
本發明要求如下優先權：編號為61/594,457，申請日為2012年2月3日，名稱為「constrainqpavailabilityatsliceortileboundaries」的美國臨時專利申請。上述美國臨時專利申請在此作為參考。
本發明有關於視頻編解碼。特別地，本發明有關於在圖塊(tile)或條帶(slice)邊界進行環路濾波處理(loopfilterprocessing)的視頻編解碼技術。
背景技術：
運動估計(motionestimation)是利用視頻序列中時間冗餘(temporalredundancy)的一種有效幀間編碼技術。運動補償幀間編碼(motioncompensatedinter-framecoding)已經廣泛應用於各種國際視頻編碼標準。在各種編碼標準中採用的運動估計是通常以區塊(block)為基礎的技術，其中為每個宏塊(macroblock)或相似區塊配置確定例如編碼模式與運動矢量的運動信息。此外，也可自適應地採用幀內編碼(intra-coding)，其中在無需參考任何其他圖像的情況下處理圖像。通常可進一步由變換(transformation)、量化(quantization)以及熵編碼(entropycoding)處理幀間預測與幀內預測殘差(residue)以生成壓縮視頻比特流。在編碼進程期間，尤其是在量化進程中引入了編碼偽影(codingartifact)。為了減輕編碼偽影，在較新的編碼系統中可對重建視頻採用附加處理以提高圖像品質。經常在環內操作(in-loopoperation)中配置上述附加處理從而使得編碼器與解碼器可得到相同的參考圖像以取得改進的系統性能。
圖1描述包含環內濾波處理的示例自適應幀間/幀內視頻編碼系統。對於幀間預測，可使用運動估計(motionestimation,me)/運動補償(motioncompensation,mc)模塊112基於其他圖像的視頻數據提供預測數據。開關114選擇幀內預測模塊110或幀間預測數據並且將選擇的預測數據提供至加法器116以產生預測誤差(predictionerror)，也稱為殘差。然後變換(t)模塊118處理預測誤差，接著量化(q)模塊120處理預測誤差。接著，熵編碼器122編碼已變換及已量化的殘差從而形成對應壓縮視頻數據的視頻比特流。然後，將輔助信息(sideinformation)加入與變換係數相關聯的比特流，其中上述輔助信息可為例如與圖像區域相關聯的運動、模式及其他信息。上述輔助信息也可進行熵編碼處理以減小需求帶寬。相應地，如圖1所示，將輔助信息數據提供給熵編碼器122(連接熵編碼器122的運動/模式路徑未示出)。當使用幀間預測模式時，必須使用預先重建參考圖像以形成預測殘差。因此，逆量化(inversequantization,iq)模塊124與逆變換(inversetransformation,it)模塊126處理已變換及已量化殘差以恢復處理殘差。接著重建(rec)模塊128將上述處理殘差疊加至預測數據136以重建視頻數據。可將上述重建視頻數據儲存至參考圖像緩衝器134中並且將上述重建視頻數據用於其他幀的預測。
如圖1所示，接收的視頻數據在編碼系統中經過一系列處理。由於上述一系列處理，來自rec模塊128的重建視頻數據經受了各種損害。相應地，在重建視頻數據用作預測數據之前對上述重建視頻數據應用各種環路處理從而改善視頻品質。在當前發展的高效率視頻編碼(highefficiencyvideocoding,hevc)標準中，已經發展出了去塊濾波(deblockingfilter,df)130、樣本自適應偏移(sampleadaptiveoffset,sao)131與自適應環路濾波(adaptiveloopfilter,alf)132以提高圖像品質。可將去塊濾波(df)130應用於邊界像素(boundarypixel)並且df處理依賴於與相應區塊相關聯的基礎像素數據與編碼信息。無需將任何特定df輔助信息合併入視頻比特流中。另一方面，sao與alf處理是自適應的，其中可根據基礎視頻數據動態改變類似濾波器參數與濾波器類型的濾波器信息。因此，與sao、alf相關聯的濾波器信息合併入視頻比特流中，從而使得解碼器可正確恢復所需信息。因此，向熵編碼器122提供來自sao與alf的濾波器信息用於合併入比特流。在圖1中，首先對重建視頻應用df130；接著將sao131應用於df已處理視頻；然後將alf132應用於sao已處理視頻。然而，可重新調整df、sao、alf的處理順序。在h.264/avc視頻標準中，環路濾波處理僅包含df。在當前發展的高效率視頻編碼(hevc)視頻標準中，環路濾波處理包含df與sao。
在hevc測試模型版本5.0(hm-5.0)，引入包括條帶與圖塊的不同圖像單元結構。將圖像分割為多個條帶或圖塊，其中上述圖像單元分區通常與最大編碼單元(largestcodingunit,lcu)的邊界對齊。在每幅圖像中，圖塊的處理順序可依據逐行掃描順序(rasterscanorder)。可獨立配置條帶與圖塊。因此，一個條帶可貫穿多個圖塊，以及一個圖塊也可貫穿多個條帶。類似df、sao與alf的環路濾波處理可依靠相鄰像素。相應地，當前圖塊或條帶的環路濾波處理必須等待直到某些相鄰條帶或圖塊變為可用為止。存在兩種圖塊類型：獨立圖塊(independenttile)與非獨立圖塊(dependenttile)。為平行處理主要設計條帶或獨立圖塊，其中條帶或圖塊中的lcu重建(例如mv預測、幀內預測、熵編碼)無需任何其他圖塊的數據。然而，可根據旗標貫穿條帶或圖塊邊界(acrosssliceortileboundary)應用環路濾波或者將環路濾波限定在條帶或圖塊內。雖然處在在條帶或獨立圖塊中應用編解碼進程的模式中，但是環路濾波處理仍需要來自相鄰條帶或圖塊的某些信息。例如，當貫穿區塊邊界應用df時，df進程依靠來自區塊邊界兩側的量化參數(quantizationparameter,qp)數值。當將df應用於與區塊邊界對齊的條帶或圖塊邊界時，df進程依靠來自上述條帶或圖塊兩側的qp數值。如果編解碼進程不貫穿條帶或圖塊邊界，則將產生上述問題。因此，開發一種能夠克服對貫穿條帶或圖塊邊界的參數依賴的方法及其裝置是令人滿意的。
技術實現要素：
本發明揭露一種用於貫穿區塊邊界的邊界像素的環路濾波處理方法及其裝置。該邊界像素具有該區塊邊界第一側的第一像素與該區塊邊界第二側的第二像素。將環路濾波處理應用於貫穿區塊邊界的邊界像素取決於第一側第一像素的第一參數與第二側第二像素的第二參數。本發明實施例根據旗標自適應地應用貫穿條帶或圖塊邊界的環路濾波處理，其中該旗標指示是否允許貫穿條帶或圖塊環路濾波處理。根據本發明一實施例，該方法包含：接收與圖像相關聯的重建視頻數據；決定分別對應該條帶或該圖塊的貫穿條帶環路濾波旗標或貫穿圖塊環路濾波旗標的數值；以及根據該貫穿條帶環路濾波旗標或該貫穿圖塊環路濾波旗標的該數值將該環路濾波處理應用於貫穿與區塊邊界對齊的該條帶邊界或該圖塊邊界的該邊界像素，其中該條帶或圖塊邊界的邊界像素環路濾波處理取決於該條帶或該圖塊內部該第一像素的該第一參數與該條帶或該圖塊外部該第二像素的該第二參數。
該第一參數與該第二參數對應於該區塊邊界兩側的量化參數(qp)。對於條帶或圖塊，如果該貫穿條帶環路濾波旗標或該貫穿圖塊環路濾波旗標的數值指示不允許貫穿條帶或貫穿圖塊濾波環路處理，則將對應相鄰條帶或圖塊的量化參數設定為環路濾波處理不可用。對於條帶或圖塊，如果該貫穿條帶環路濾波旗標或該貫穿圖塊環路濾波旗標的數值指示允許貫穿條帶或貫穿圖塊濾波環路處理，則將對應相鄰條帶或圖塊的量化參數提供用於環路濾波處理。在這種情況下，使用該第一量化參數與該第二量化參數的平均量化參數將該環路濾波處理應用於條帶或圖塊的邊界像素。
本發明另一實施例揭露一種貫穿圖塊或條帶邊界的環路濾波處理裝置，其中邊界像素包含區塊邊界第一側的第一像素與該區塊邊界第二側的第二像素，該貫穿圖塊或條帶邊界的環路濾波處理裝置包含：用於從媒介或處理器接收與圖像相關聯的重建視頻數據的裝置，其中將該重建視頻數據分割為條帶或圖塊，並且該條帶或該圖塊的該條帶邊界或該圖塊邊界與一個區塊邊界對齊；用於決定分別對應該條帶或該圖塊的貫穿條帶環路濾波旗標或貫穿圖塊環路濾波旗標的數值的裝置；以及用於根據該貫穿條帶環路濾波旗標或該貫穿圖塊環路濾波旗標的該數值將該環路濾波處理應用於貫穿該條帶邊界或該圖塊邊界的該邊界像素的裝置，其中該環路濾波處理取決於該條帶或該圖塊內部該第一像素的第一參數與該條帶或該圖塊外部該第二像素的第二參數。
本發明的貫穿圖塊或條帶邊界的環路濾波方法及其裝置可使用旗標靈活選擇是否使用貫穿條帶或圖塊邊界的參數。
附圖說明
圖1描述使用幀間/幀內預測的示例視頻編碼系統，其中環路濾波處理包含去塊濾波(df)、樣本自適應偏移(sao)以及自適應環路濾波(alf)。
圖2描述涉及去塊濾波的垂直邊界兩側的像素。
圖3根據本發明實施例描述貫穿條帶或圖塊環路濾波處理的示例流程圖。
具體實施方式
將hevc中的編解碼進程應用於圖像的最大編碼單元(lcu)。可使用四分樹(quadtree)將lcu自適應地分割為編碼單元。在每個葉cu中，在hevc測試模型版本5.0(hm-5.0)中對每個8×8區塊執行df。將df應用於8×8區塊邊界。對於每個8×8區塊，首先執行貫穿垂直區塊邊界的水平濾波，並且接著執行貫穿水平區塊邊界的垂直濾波。
圖2顯示在兩個區塊210與220之間待濾波的垂直邊界示例，其中兩個區塊210與220表示為如圖2所示的粗線區塊，並且每個區塊包含8×8像素。如圖2所示，231至238標識與兩個相鄰區塊相關聯的八個像素行。將垂直邊界每側的四個像素標識為(p3i,p2i,p1i,p0i,q0i,q1i,q2i,q3i)，其中i是像素行的指數並且i＝0,…,7。在本示例中，區塊210與區塊220可為兩個預測單元(predictionunit,pu)或變換單元(transformunit,tu)。去塊進程包含確定濾波開啟/關閉(on/off)、確定濾波強度(filterstrength)以及應用去塊濾波的步驟。濾波on/off決策檢查邊界處的變換是否是自然邊界還是編碼偽影造成的。如果是自然邊界，則濾波器變為off以保留與各自邊界相關的圖像的銳度(sharpness)。否則，去塊濾波器變為on以降低上述偽影。首先為待濾波的各圖像區域的所有區塊邊界執行濾波on/off決策。如果邊界是待濾波的，則確定濾波強度決策，即選擇強濾波(strongfilter)或弱濾波(weakfilter)。隨後，將具有已確定濾波強度的去塊濾波應用於待濾波的邊界。本實施例中為了簡潔可將去塊進程稱為去塊(deblocking)。在視頻編解碼領域去塊進程也稱為去塊濾波。用於去塊的濾波器也稱為去塊濾波器。因此，術語去塊濾波可根據上下文內容對應去塊進程或去塊使用的濾波器。
為了保持較低的計算複雜度，僅基於兩個像素行決定傳統hevc的濾波on/off決策。例如，在hm-5.0中，使用行2(對應圖2中的像素行233)與行5(對應圖2中的像素行236)。基於行2與行5上的像素計算邊界活動測量值(edgeactivitymeasure)d：
d＝|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|.(1)
如果邊界活動測量值d小於預定閾值β，則濾波相應的去塊邊界。預定閾值β與量化參數(qp)相關聯。如果決定將去塊邊界進行濾波，則接著根據下列條件逐行執行弱/強濾波決策：
d＜β＞＞2,(2)
|p3i-p0i|+|q3i-q0i|＜β＞＞3,以及(3)
|p0i-q0i|＜5·tc+1,(4)
其中tc是與qp關聯的另一預定閾值以避免過濾波像素(over-filteringpixel)。如果上述三個條件皆滿足，則選擇強濾波。否則選擇弱濾波。雖然上述示例描述垂直區塊邊界的df處理，但也可同理獲知水平區塊邊界的df處理。
上述條帶或圖塊邊界可與區塊邊界對齊。在這種情況下，區塊210的垂直邊界也為垂直條帶/圖塊邊界。區塊邊界的兩側稱為第一側與第二側。第一側的邊界像素稱為第一像素以及第二側的邊界像素稱為第二像素。對於給出的條帶或圖塊，條帶對齊或圖塊對齊區塊邊界一側的邊界像素是在給出條帶或圖塊中，以及條帶對齊或圖塊對齊區塊邊界另一側的邊界像素是位於給出條帶或圖塊外。為了簡潔起見，將邊界像素(q0i,q1i,q2i,q3i)指定為第一像素並且將相應側指定為第一側。相似地，將邊界像素(p3i,p2i,p1i,p0i)指定為第二像素並且將相應側指定為第二側。而且，可將第一像素指定為df處理的邊界像素並且第一像素位於當前條帶或圖塊內。因此，區塊邊界第二側的第二像素位於相鄰條帶或圖塊中，即當前條帶或圖塊外。
如上所述，兩個閾值tc與β取決於量化參數qp。分別與區塊邊界的第一像素與第二像素相關聯的qp值qpq與qpp可不相同。因此，在hm-5.0中，將qpq與qpp取平均得到最終qp並且將平均得到的qp用於獲取tc與β閾值。在條帶或圖塊邊界，qpq、qpp與兩個相鄰條帶或圖塊相關聯。如果選擇幀內條帶或圖塊處理，來自其他條帶或圖塊(qpq或qpp)的qp值是不可用的。
在hm-5.0中，在不依賴任何其他條帶的情況下可獨立處理每個條帶。使用旗標noncrosssliceloopfilterflag指示是否允許環路濾波處理貫穿條帶邊界應用。相似地，支持獨立與非獨立圖塊，其中在不依賴任何其他圖塊的情況下處理每個獨立圖塊。使用旗標noncrosstileloopfilterflag指示是否允許環路濾波處理貫穿圖塊邊界應用。當指定非貫穿條帶或圖塊操作時，禁止包括來自其他條帶或圖塊的量化參數qp的數據使用。因此，條帶或圖塊外部像素的qp不可用於條帶或圖塊邊界處為df處理獲取平均qp。
根據本發明實施例依照貫穿條帶環路濾波旗標(cross-sliceloopfilterflag)使用與相鄰條帶相關聯的參數。例如，在條帶邊界的情況中，如果非貫穿條帶環路濾波旗標noncrosssliceloopfilterflag為真(即不允許貫穿條帶環路濾波處理)，則將qpp(即條帶外部第二像素的量化參數)設定為對於條帶中像素的環路濾波處理不可用。在這種情況下，不可將環路濾波處理應用於貫穿條帶邊界的邊界像素。可使用區塊邊界第一側的用於第一像素的量化參數qpq作為用於第一像素環路濾波處理的qp，即qp＝qpq。如果非貫穿條帶環路濾波旗標noncrosssliceloopfilterflag為假(即允許貫穿條帶環路濾波處理)，則將qpp設定為可用的。在這種情況下，可使用第一量化參數與第二量化參數的平均值作為對條帶邊界的邊界像素進行環路濾波處理的量化參數，即qp＝1/2(qpq+qpp)。
對於圖塊，存在獨立圖塊與非獨立圖塊。對於獨立圖塊，使用環路濾波旗標noncrosstileloopfilterflag指示是否貫穿圖塊邊界應用環路濾波處理。本發明實施例也根據貫穿圖塊環路濾波旗標(cross-tileloopfilterflag)使用與相鄰圖塊相關聯的參數。例如，在圖塊的獨立圖塊邊界情況下，如果非貫穿圖塊環路濾波旗標noncrosstileloopfilterflag為真(即不允許貫穿圖塊環路濾波處理)，則將qpp(即圖塊外部第二像素的量化參數)設定為對於圖塊中像素的環路濾波處理不可用。在這種情況下，不可將環路濾波處理應用於貫穿圖塊邊界的邊界像素。可使用圖塊內部第一像素的量化參數qpq作為用於第一像素環路濾波處理的qp，即qp＝qpq。如果非貫穿圖塊環路濾波旗標noncrosstileloopfilterflag為假(即允許貫穿圖塊環路濾波處理)，則將qpp設定為可用的。在這種情況下，可使用第一量化參數與第二量化參數的平均值作為用於環路濾波處理的量化參數，即qp＝1/2(qpq+qpp)。
當使用非獨立圖塊時，允許來自先前圖塊的信息用於當前圖塊的環路濾波處理。因此，不管noncrosstileloopfilterflag是否為真，則總將qpp設定為可用的。
可將上述的貫穿條帶環路濾波旗標或貫穿圖塊環路濾波旗標合併入壓縮視頻比特流的圖像層。根據上述的貫穿條帶環路濾波旗標或貫穿圖塊環路濾波旗標使用相鄰條帶或圖塊相關量化參數的環路濾波處理方法不僅應用於視頻編碼器也應用於視頻解碼器。圖3根據本發明實施例描述編碼器或解碼器的示例流程圖。如步驟310所示，從媒介或處理器接收與圖像相關的重建視頻數據，其中將重建視頻數據分割為一個或多個條帶或圖塊，其中條帶或圖塊的條帶邊界或圖塊邊界與一個區塊邊界對齊。可從存儲器獲取上述重建視頻數據，例如緩衝器的計算機存儲器(ram或dram)。也可從控制器接收重建視頻數據，例如重建視頻數據的控制器、中央處理單元或數據信號處理器。在步驟320，分別決定對應條帶或圖塊的貫穿條帶環路濾波旗標或貫穿圖塊環路濾波旗標的數值。接著，如步驟330所示，根據貫穿條帶環路濾波旗標或貫穿圖塊環路濾波旗標的數值將環路濾波處理應用於條帶或圖塊邊界的邊界像素，其中邊界像素的環路濾波處理取決於條帶或圖塊內部的第一像素的第一參數與條帶或圖塊外部的第二像素的第二參數。
上述的流程圖根據本發明實施例描述了用於視頻編碼器與解碼器的在條帶或圖塊邊界處的環路濾波處理方法示例。本領域技術人員可調整每個步驟、重排步驟或結合步驟以在不違背本發明精神的情況下實施本發明。
上述描述能夠使得本領域技術人員在特定應用與需求的背景下實施本發明。對上述實施例的各種調整對於本領域技術人員是顯而易見的，並且可將基本原則應用於其他實施例中。因此，本發明並不局限於上述特定實施例，其包含與上述揭露的本質原則以及新穎特徵相一致的最大範圍。在上述細節描述中，揭示了各種特定細節以充分說明本發明。本領域技術人員可以理解本發明是可實施的。
上述的根據本發明的實施例可在各種硬體、軟體編碼或兩者組合中進行實施。例如，本發明實施例可為集成入視頻壓縮晶片的電路或集成入視頻壓縮軟體以執行上述過程的程序代碼。本發明的實施例也可為在數據信號處理器(digitalsignalprocessor,dsp)中執行的執行上述程序的程序代碼。本發明也可涉及計算機處理器、數位訊號處理器、微處理器或現場可編程門陣列(fieldprogrammablegatearray,fpga)執行的多種功能。可根據本發明配置上述處理器執行特定任務，其通過執行定義了本發明揭示的特定方法的機器可讀軟體代碼或固件代碼來完成。可將軟體代碼或固件代碼發展為不同的程序語言與不同的格式或形式。也可為了不同的目標平臺編譯軟體代碼。然而，根據本發明執行任務的軟體代碼與其他類型配置代碼的不同代碼樣式、類型與語言不脫離本發明的精神與範圍。
在不脫離本發明精神或本質特徵的情況下，可以其他特定形式實施本發明。描述示例被認為說明的所有方面並且無限制。因此，本發明的範圍由權利要求書指示，而非前面描述。所有在權利要求等同的方法與範圍中的變化皆屬於本發明的涵蓋範圍。