滿足單環解碼條件的幀內基本層預測方法及使用該預測方法的視頻編碼方法和設備的製作方法

2023-12-09 18:01:51 3

專利名稱：滿足單環解碼條件的幀內基本層預測方法及使用該預測方法的視頻編碼方法和設備的製作方法
滿足單環解碼條件的幀內基本層預測方法及 使用該預測方法的視頻編碼方法和設備技術領域根據本發明的方法及設備涉及視頻編碼，更具體地講，涉及提高基於多 層的視頻編解碼器的性能。
背景技術：
隨著包括網際網路的通信技術的發展，除了文本和語音通信增加之外，圖 像通信也正在增加。現有技術的主要用於文本通信的通信方案不能滿足消費 者的各種需要，因此，正在越來越多地開發能夠提供包括文本、圖像和音樂 的各種類型的信息的多媒體服務。多媒體數據通常比較大並且需要大容量的 用於存儲的存儲介質和用於傳輸的寬帶寬。因此，使用壓縮編碼方案以發送 多媒體數據是很重要的。數據壓縮的基本原理在於去除冗餘。可通過去除空間冗餘(比如圖像中的相同顏色或實體的重複)、時間冗餘(比如音頻數據中相同聲音的重複或者 運動圖像流中的相鄰畫面之間的沒有改變或者改變很小的重複)或基於人類 的視覺和感知能力對高頻不敏感的事實的知覺冗餘。在通常的視頻編碼方案 中，通過基於運動補償的時間濾波來去除時間冗餘，並通過空間變換來去除 空間冗餘。為了發送產生的多媒體數據所需要的傳輸媒體顯示出各種等級的性能。 當前使用的傳輸媒體包括從超高速通信網絡到移動通信網絡的具有各種傳輸 速度的媒體，所述超高速通信網絡能夠每秒內傳輸數千萬比特的數據，而移動通信網絡具有每秒384k比特的傳輸速度。在這種環境中，可伸縮的視頻編 碼方案，即用於根據傳輸環境或者為了支持各種速度的傳輸媒體而以合適的 數據率傳輸多媒體數據的方案，更適合於多媒體環境。可伸縮的視頻編碼是這樣的編碼方案，通過該編碼方案可通過丟棄壓縮 的比特流中的一部分來控制視頻的解析度、幀率和信噪比(SNR),即可伸縮 的視頻編碼支持各種可伸縮性的編碼方案。目前，聯合^L頻組(JVT )，作為運動圖^象專家組(MPEG )和國際電信 聯盟(ITU)的聯合工作組，正在進行被稱作"H.264 SE"(可伸縮擴展)的 標準化的工作，以實現基於H.264的多層編解碼器的可伸縮性。
基於H.264 SE的可伸縮視頻編解碼器基本上支持四種預測方式，這四種
預測方式包括幀間預測、方向幀內預測(以下被簡稱為"幀內預觀'r，)、殘差
預測和幀內基本層預測。"預測"是一種通過使用從可用於編碼器和解碼器的 信息產生的預測數據來壓縮地表示原始數據的技術。
在上述四種壓縮方式中，幀間預測是通常用於具有單層結構的視頻編解 碼器的方式。根據幀間預測，從至少一個參考畫面(先前或未來畫面)搜索 與當前圖像的某一塊(當前塊)最相似的塊，從搜索的塊中獲得儘可能表示 當前塊的預測塊，並對當前塊和預測塊之間的差進行量化。
根據參照參考畫面的方式，幀間預測可被劃分成使用兩個參考畫面的雙
向預測、使用先前參考畫面的前向預測和使用未來參考畫面的後向預測。
幀內預測也是用於單層視頻編解碼器(比如H.264)的預測方案。幀內 預測是這樣一種預測方案，在該預測方案中，通過使用在當前塊的周圍塊中 與當前塊相鄰的像素來預測當前塊。幀內預測與其他預測方式的不同之處在 於幀內預測只使用當前畫面內的信息，而不參照相同層中的其他畫面或者其 {也層中的畫面。
幀內基本層預測可被用於下面所述的情況當前畫面具有在擁有多層結 構的視頻編解碼器中具有同一時間位置的較低層的畫面(下面稱作"基本畫 面")。如圖2中所示，可以從與當前畫面的宏塊相應的基本畫面的宏塊來有 效地預測當前畫面的宏塊。具體地講，量化當前畫面的宏塊和基本畫面的宏 》夾之間的差。
當較低層的解析度和當前層的解析度不同時，在獲得所述差之前，必須 將基本畫面的宏塊上採樣到當前層的解析度。當幀間預測的效率不高時，例 如，在運動非常快的圖像中或具有場景改變的圖像中，上述的幀內基本層預 測特別有效。幀內基本層預測還被稱作幀內BL預測。
最後，具有殘差預測的幀間預測(下面，被簡稱"殘差預測")是從現有 單層到多層的幀間預測的擴展。如圖3所示，在殘差預測中，不對在當前層 的幀間預測期間獲得的差進行直接量化，而是將獲得的差與通過較低層的幀 間預測獲得的差相比較以產生它們之間的另一差，然後對另一差進行量化。考慮各種視頻序列的特性，對構成畫面的每一宏塊，在上述四種預測方 式中選擇最有效的方式。例如，對於具有慢運動的視頻序列可選擇幀間預測 或殘差預測，而對具有快運動的視頻序列可主要選擇幀內基本層預測。
與具有單層結構的視頻編解碼器相比，具有多層結構的視頻編解碼器具 有更複雜的預測結構，並主要使用開環結構。因此，在具有多層結構的視頻 編解碼器中觀察到比在具有單層結構的視頻編解碼器中多的塊效應。具體地 講，在使用較低層畫面的殘差信號的殘差預測中，當較低層畫面的殘差信號 顯示與當前層畫面的幀間預測信號不同的特性時，可出現大的失真。
相反，在幀內基本層預測期間的當前畫面的宏塊(即基本畫面的宏塊) 的預測信號不是原始信號，而是量化之後恢復的信號。因此，通過編碼器和 解碼器可獲得預測信號，因此所述預測信號不會引起編碼器和解碼器之間的 失配。具體地講，如果在將平滑濾波器應用於預測信號之後獲得預測信號的 宏塊和當前畫面的宏塊之間的差，則可以在很大程度上減小塊效應。
根據已經作為當前H.264 SE的工作草案採用的低複雜性解碼條件，限制 了幀內基本層預測的使用。也就是說，根據H.264 SE，僅在滿足特定的條件 時允許使用幀內基本層預測，以使得即使以多層方式執行編碼，也可至少以 與單層視頻編解碼器相似的方式來執行解碼。
根據低複雜性解碼條件(單環解碼條件)，僅在與當前層的特定宏塊相應 的較低層的宏塊的宏塊類型是幀內預測方式或者幀內基本層預測方式時，使 用幀內基本層預測，以根據運動補償處理減小佔用了解碼期間的總運算量的 最大部分的運算量。然而，這樣限制使用幀內基本層預測在很大程度上降低 了快運動圖像的性能。
發明的公開 技術問題
圖1是示出通過將允許多環的視頻編解碼器(編解碼器1)和僅使用單 環的視頻編解碼器(編解碼器2)應用於具有快運動的視頻序列(例如運動 序列)獲得的結果的曲線圖，所述曲線圖顯示了在亮度分量PSNR ( Y-PSNR) 中的差異。從圖1中應該注意到在大多數的比特率下，編解碼器1的性能 優於編解碼器2的性能。
儘管現有技術中的單環解碼條件可降低解碼複雜性，但是不能忽略現有技術中的單環解碼條件也降低了畫面質量。因此，必須開發出一種在遵循單 環解碼條件的同時而不加限制地使用幀內基本層預測的方法。
技術方案
本發明的示例性實施例克服上述缺點和上面沒有描述的其他缺點。此外， 本發明不需要克服上述的任何缺點，並且本發明示例性實施例可以不克服上 述的任何問題。
本發明通過提供一種在基於多層的視頻編解碼器中滿足單環解碼條件的 新的幀內基本層預測方案，而提供了 一種改進了視頻編碼性能的幀內基本層
預測方法和一見頻編碼方法和i殳備。
根據本發明的一方面，提供了一種基於多層的^L頻編碼方法，所述方法 包括獲得與當前層塊相應的基本層塊和基本層塊的幀間預測塊之間的差； 對當前層塊的巾貞間預測塊進行下採樣；將所述差和下採樣的幀間預測塊相加； 對相加的結果進行上採樣；對當前層塊和上採樣的結果之間的差進行編碼。
根據本發明的另一方面，提供了一種基於多層的視頻解碼方法，所述方 法包括從包括在輸入比特流中的當前層塊的紋理數據恢復當前層塊的殘差 信號；從與當前層塊相應並包括在所述比特流中的基本層塊的紋理數據恢復 基本層塊的殘差信號；對當前層塊的幀間預測塊進行下採樣；將下採樣的幀 間預測塊和恢復的殘差信號相加；對相加的結果執行上採樣；將恢復的殘差 信號和上採樣的結果相加。
根據本發明的另一方面，提供了一種基於多層的視頻編碼器，包括減 法器，獲得與當前層塊相應的基本層塊和基本層塊的幀間預測塊之間的差； 下採樣器，對當前層塊的幀間預測塊進行下採樣；加法器，將所述差和下採 樣的幀間預測塊相加；上採樣器，對相加的結果進行上採樣；編碼裝置，對 當前層塊和上採樣的結果之間的差進行編碼。
根據本發明的一方面，提供了一種基於多層的視頻解碼器，包括第一 恢復裝置，從包括在輸入比特流中的當前層塊的紋理數據恢復當前層塊的殘 差信號；第二恢復裝置，從與當前層塊相應並包括在所述比特流中的基本層 塊的紋理數據恢復基本層塊的殘差信號；下採樣器，對當前層塊的幀間預測 塊進行下採樣；第一加法器，將下採樣的幀間預測塊和通過第二恢復裝置恢 復的殘差信號相加；上採樣器，對相加的結果執行上採樣；第二加法器，將 通過第一恢復裝置恢復的殘差信號和上採樣的結果相加。


從下面結合附圖對本發明示例性實施例的詳細描述中，本發明的上述和
其他方面將變得清楚，其中
圖1是示出允許多環的視頻編解碼器和使用單環的視頻編解碼器之間的
性能差的曲線圖2示出將去塊濾波器應用到子塊之間的垂直邊界的示例； 圖3示出將去塊濾波器應用到子塊之間的水平邊界的示例； 圖4是根據本發明示例性實施例的修改的幀內基本層預測處理的流程
圖5是示出根據本發明示例性實施例的視頻編碼器的結構的框圖； 圖6是顯示填充的必要性的示圖； 圖7是顯示填充的具體示例的示圖8是示出根據本發明示例性實施例的視頻解碼器的結構的框圖； 圖9和圖IO是示出根據本發明的編解碼器的編碼性能的曲線圖。
發明的方式
下面，將參照附圖來描述本發明的示例性實施例。提供在描述中定義的 內容(比如詳細的結構和部件)以有助於全面理解本發明。因此，應該清楚 在沒有那些定義的內容的情況下，本發明也可被實施。在下面對本發明的描 述中，貫穿不同附圖，相同的附圖標號被用於相同的部件。此外，當包含於 此的已知功能和構造的詳細描述可能會使得本發明的主題不清楚時，將省略 對已知功能和構造的詳細描述。
如在這裡所使用的，當前正被編碼的層被稱作"當前層"，當前層參考的 另一層被稱作"基本層"。此外，在當前層的畫面中，位於用於編碼的當前時 隙的畫面4皮稱作"當前畫面"。Rf。
Rf-Of-[U] Ob (1) 在等式中，Of表示當前畫面的特定決，OB表示基本層畫面的塊， U表示上採樣函數。因為僅在當前層和較低層具有不同解析度時可應用上採樣函數，所以上採樣函數由[U]表示，它暗指可被有選l奪地應用。然而，因為 ob可被表示為基本層畫面的塊的殘差信號rb和預測信號Pb的和，所以等式
(1)可被表示為等式(2):
RfOf陽[U] '(Rb+Pb) (2)
根據單環解碼條件，當等式(2)的pb是通過幀間預測產生的信號時，
可使用幀內基本層預測。這是一種限制以避免在幀間預測期間需要大量運算 的運動補償操作的雙重使用。
本發明提出了一種新的幀內基本層預測方案，該方案通過稍微修改由等
式(2)定義的現有的幀內基本層預測技術而獲得，並且該方案滿足單環解碼
條件。根據本發明的提議，通過幀間預測獲得用於基本層塊的預測信號PB，
所述預測信號被當前層塊的預測信號Pf或其下採祥版本替代。
關於所述l是"i義的才示題為 "Smoothed Reference Prediction for Single-loop Decoding"的文檔(下面稱作"JVT-0085")，由Woo Jin Han在第17屆JVT 會議(波茲南，波蘭)提出，該文檔被包含於此以資參考。該文檔還識別相 似的問題並公開了 一種用於克服單環解碼條件的限制的技術方案。 根據JVT-0085 ，可通過等式(3)來荻得Rf。 Rf=Of- (Pf+ [U] Rb) (3) 如等式(3)所示，Pb被Pf代替，RB被上採樣以使層間的解析度匹配。 使用該方法，JVT-0085還滿足單環解碼條件。
然而，JVT-0085使用殘差信號RB的上採樣以使其解析度與預測信號Pf
的解析度匹配。然而，因為殘差信號RB與一般圖像具有不同的特性，所以除
了具有非零值的一些採樣之外，殘差信號RB中的大多數採樣具有採樣值0。 因此，由於殘差信號Rb的上採祥，JVT-0085不能顯著提高整個編碼性能。
本發明建議了一種對等式(2)的Pb下釆祥的方法，並將其解析度與Rb 的解析度匹配。也就是說，在建議的新方法中，在幀內基本層預測中使用的
基本層的預測信號被當前層的預測信號的下採樣版本替代，以滿足單環解碼 條件。
根據本發明，可通過使用等式(4)來奸算Rf: Rf=Of-[U] .([D] -Pf + Rb) (4) 與等式(3)相比，等式(4)不包括對Re上採樣的處理，對RB上採樣 的處理具有上述的問題。相反，對當前層的預測信號PF進行下採樣，其結果被添加到Rb,所得的和又被上採樣到當前層的解析度。因為在等式(4)中 的圓括號內的元素不只表示殘差信號，而且還表示接近實際圖像的信號，所 以對元素進行上採樣的應用不會產生顯著的問題。
在現有技術中通常已知，應用去塊濾波器以減小視頻編碼器和視頻解碼 器之間的失配提高了編碼效率。
在本發明中，最好可另外應用去塊濾波器。當去塊濾波器被另外應用時，
等式(4)被修改為等式(5),其中，B表示去塊函數或去塊濾波器。 Rf=Of-[U]-B.([D] 'Pf + Rb) (5) 去塊函數B和上採樣函數U都具有平滑效果，因此它們起著重複的作用。 因此，可通過使用位於塊的邊緣的像素和其臨近像素的線性組合來簡單表達 去塊函數B,使得應用去塊函數的處理可通過少量運算而被執行。
圖2和圖3示出當所述濾波器被應用於4 x 4大小的子塊的垂直邊緣和水 平邊緣時，這種去塊濾波器的示例。如圖2和圖3所示，可通過位於邊緣的 像素x(n-l)和x(n)和與其相鄰的鄰近單元的線性組合來平滑像素x(n-l)和 x(n)。當對像素x(n-l)和x(n)應用去塊濾波器的結果被分別標記為x，(n-l)和 x，(n)時，x，(n-l)和x，(n)可通過等式(6)定義 x，(n-1 )=a*x(n-2)+b*x(n-1 )+c*x(n)
x，(n)=c*x(n-l)+b*x(n)+a*x(n+l) (6) 在等式(6)中，可適當選4奪a、 b和c以便它們的和等於1。例如，通 過在等式(6)中選擇3=1/4、 b=l/2以及c-l/4,可將相應像素的權值提高為 高於臨近像素的權值。當然，可在等式(6)中選擇更多像素作為臨近像素。 圖4是示出根據本發明示例性實施例的用於修改的幀內基本層預測處理 的流程圖。
首先，通過運動矢量從與基本塊IO相應的較低層的相鄰參考畫面(前向 參考畫面和後向參考畫面)中的塊11和塊12來產生基本塊10的幀間預測塊 13 (Sl)。然後，通過從基本塊減去預測塊13獲得與等式(5)中的Rs相應 的殘差14 (S2)。
同時，通過運動矢量從與當前塊20相應的當前層的相鄰參考畫面中的塊 21和22產生與等式(5 )中的Pf相應的當前塊20的幀間預測塊23 ( S3 )。 操作S3可在操作Sl和S2之前執行。通常，幀間預測塊是從與將被編碼的畫 面中的當前塊相應的參考畫面的一個圖像或多個圖像獲得的預測塊。當前塊和相應圖像之間的關係由運動矢量來表示。幀間預測塊可在存在單個參考畫 面時暗指相應的圖像本身，而在存在多個參考畫面時暗指相應的圖像的加權
的和。通過預定下採樣器對幀間預測塊23進行下採樣(S4)。關於下採樣， 可使用MPEG下採樣器、小波下採樣器等。
其後，與等式(5)的[D] .Pf相應的下採樣的結果15被加到在操作S2 中獲得殘差上(S5)。然後，通過使用去塊濾波器來對與等式(5)中的[D]-Pf + rb相應的通過相加產生的塊16進行平滑(S6)。然後，通過使用預定上採 樣器將平滑的結果17上採樣到當前層的解析度。關於上採樣，可使用MPEG 上採樣器、小波上採樣器等。
然後，從當前塊20減去與等式(5)中的[U]'B'([D]'pf + rb)相應的上採 樣的結果24(S6)。最後，量化作為相減的結果的殘差25 (S7)。
圖5是根據本發明示例性實施例的視頻編碼器100的框圖。
首先，包括在當前畫面中的預定塊Of (以下稱作"當前塊")被輸入到 下採樣器103。下採樣器103對當前塊0進行空間和/或時間下採樣，並產生
相應的基本層塊ob。
運動估計器205通過參照相鄰畫面FB，對基本層塊OB4丸4亍運動估計獲得 運動矢量MVb。這種參考的相鄰畫面被稱作"參考畫面"。關於運動估計， 廣泛使用塊匹配算法。具體地講，將如下所述的矢量選擇為運動矢量，在給 定塊於參考畫面的特定搜索區域內逐像素或逐子像素(1/2像素、1/4像素等) 移動時，所述矢量具有擁有最小誤差的位移。關於運動估計，不僅可使用固 定大小的塊匹配，而且可使用已經在H.264中使用的層次式可變大小塊匹配 (HVSBM)等。
如果視頻編碼器100由開環編解碼器實現，則存儲在緩沖器201中的原 始相鄰畫面FoB將按原樣用於參考畫面。然而，如果視頻編碼器100由閉環 編解碼器實現，則在編碼之後已經被解碼的畫面(未示出)將被用於參考畫 面。下面的描述集中在開環編解碼器，但是本發明並不限於此。
向運動補償器210提供通過運動估計器205獲得的運動矢量MVb。運動 補償器210從參考畫面Fb中提取與運動矢量mvb相應的圖像，並從提取的 圖像產生幀間預測塊pb。在使用雙向參考的情況下，可將幀間預測塊計算為 提取的圖像的平均值。在使用單向參考的情況下，幀間預測塊可以與提取的 圖像相同。減法器215通過從基本層塊Ob中減去幀間預測塊pb來產生殘差塊Rb。 產生的殘差塊RB被提供給加法器135。
同時，當前塊OF被輸入到運動估計器105、緩沖器101和減法器115。 運動估計器105通過參考相鄰畫面FF，對當前塊執4亍運動估計來計算運動矢量 MVf。這種運動估計處理與在運動估計器205中才丸4亍的處理相同，所以這裡 將省略重複的描述。
通過運動估計器105的運動矢量MVF被提供給運動補償器110。運動補 償器110從參考畫面FF提取與運動矢量MVF相應的圖像，並從提取的圖像產
生幀間預測塊PF。
然後，下採樣器130對從運動補償器IIO提供的幀間預測塊PF進行下採 樣。此時，n:l下採樣不是將n個像素的值操作為一個像素值的簡單處理，而 是將與n個像素相鄰的臨近像素值操作為一個像素值的處理。當然，將被考 慮的臨近像素的數量取決於下採樣算法。考慮的臨近像素越多，下採樣的結 果將變得越平滑。
因此，如圖6所示，為了對幀間預測塊31進行下採樣，必須獲知與塊 31相鄰的臨近像素32的值。然而，儘管可以從位於不同時間位置的參考畫 面獲得幀間預測塊31，但是不是總可獲得包括臨近像素32的塊33。具體地 講，當包括臨近像素32的塊33屬於幀內基本方式，而與塊33相應的基本層 塊34屬於方向幀內方式時，將出現問題。這是因為在H.264 SE的實際實現 中，只有在基本層的宏塊屬於幀內基本方式時，宏塊的數據才被存儲在緩衝 器中。因此，當基本層塊34屬於方向幀內方式時，與塊33相應的基本層塊 34沒有存在於緩沖器中。
因為塊33屬於幀內基本方式，所以當沒有相應的基本層塊時，不可能產 生其預測塊，因此不可能完全構造臨近像素32。
考慮到上述的情況，本發明採用填充辦法以在包括臨近像素的塊不包括 相應基本層塊時，產生包括臨近像素的塊的像素值。
如圖7所示，可以在方向幀內預測之中以相似於對角線方式的方式來執 行填充。也就是說，與特定塊35的左側相鄰的i象素I、 J、 K和L、與塊35 的上側相鄰的像素A、 B、 C和D、以及與左上角相鄰的^象素M以具有45度 的傾斜的方向被複製。例如，像素K和像素L的值的平均值被複製到塊35 的最左下像素36。在存在忽略的臨近像素時，下採樣器130通過上述處理恢復臨近像素，
然後對幀間預測塊pf進行下採樣。
加法器135將下採樣的結果D.Pf和從威法器215輸出的Rb相加，並將 相加的結果D.PF+RB提供給去塊濾波器140。
去塊濾波器140通過將去塊函數應用到相加的結果D.PF+RB來對該結果 進行平滑。關於形成分塊濾波器的去塊函數，不僅可使用H.264中的雙線性 濾波器，而且可如等式6所示使用簡單線性組合。此外，考慮到在去塊濾波 器之後的上採樣處理，可忽略通過去塊濾波器的這種處理。這是因為可只通 過上採樣來在一定程度上實現平滑效果。
上採樣器145對平滑的結果B.(D.PF+RB)進行上採樣，然後作為當前塊 O的預測塊被輸入到減法器115中。然後，減法器115通過從當前塊0f減去 上採樣的結果U'B'(D'Pf+Rb )而產生殘差信號Rf。
儘管最好可如上所述在去塊之後執行上採樣，但是也可在上採樣之後執 行去塊。
變換器120對殘差信號rf執行空間變換並產生變換係數rft。關於空間
變換，可使用包括離散餘弦變換(DCT)和小波變換的各種方法。當使用DCT 時，變換係數是DCT係數，當使用小波變換時，變換係數是小波係數。
量化器125對變換係數RpT執行量化，從而產生量化係數RFQ。量化是 通過使用離散值來表示具有預定實數值的變換係數Rft的處理。例如，量化 器125可通過將由實數值表示的變換係數RFT除以預定量化步長，然後對除 法的結果四捨五入為最接近的整數值來執行量化。
同時，基本層的殘差信號RB也可以以相同的方式通過變換器220和量化 器225被變換到量化係數Rbq。
熵編碼器150通過對通過運動估計器105估計的運動矢量MVF、通過量 化器125提供的量化係數RF。和通過量化器225提供的量化係數Rb9拔行無 損編碼來產生比特流。關於無損編碼，可使用包括哈夫曼編碼、算術編碼和 可變長度編碼的各種方法。
圖8是示出根據本發明示例性實施例的視頻解碼器300的結構的框圖。 熵解碼器305對輸入的比特流執行無損解碼，以提取當前塊的紋理數據 Rfq、與當前塊相應的基本層塊的紋理數據RBQ和當前塊的運動矢量mvf。無 損解碼是無損編碼的逆處理。基本層塊的紋理數據RbQ被提供給去量化器410，而當前塊的紋理數據 RfQ被提供給去量化器310。此外，當前塊的運動矢量mvf被提供給運動補 償器350。
去量化器310對接收的當前塊的紋理數據RfQ迸行去量化。去量化的處 理是通過使用與在量化處理期間使用的相同量化表恢復與在量化期間產生的 索引匹配的值。
逆變換器320對去量化的結果執行逆變換。這種逆變換是編碼器端的變 換的逆處理，可包括逆DCT、逆小波變換等。
作為逆變換的結果，恢復當前塊的殘差信號rf。
同時，去量化器410對接收的基本層塊的紋理數據RbQ迸行去量化，並 且逆變換器420對去量化的結果rbt執行逆變換。作為逆變換的結果，恢復 基本層塊的殘差信號Rb。恢復的殘差信號Rb被提供給加法器370。
緩沖器340臨時存儲最終恢復的畫面，然後在恢復另一畫面時將存儲的 畫面提供為參考畫面。
運動補償器350從參考畫面中提取由運動矢量mvf指示的相應圖像Qf,
並通過使用提取的圖像來產生幀間預測塊pf。當使用雙向參考時，可將幀間 預測塊pf計算為提取的圖像Of，的平均但。相反，當使用單向參考時，幀間 預測塊Pf可以與提取的圖像Of，相同。
下採樣器360對從運動補償器350提供的幀間預測塊pf進行下採樣。下 採樣的處理可包括如圖7所示的填充。
加法器370將下採樣的結果D.pf和從逆變換器420提供的殘差信號Rb 相力口。
去塊濾波器380通過將去塊函數應用到加法器370輸出的D'Pf+Rb迸行 平滑。關於形成分塊濾波器的去塊函數，不僅可使用H.264中的雙線性濾波 器，而且可如等式6所示使用簡單線性組合。此外，考慮到在去塊濾波器之 後的上採樣處理，可忽略通過去塊濾波器的這種處理。
上採樣器390對平滑的結果B'(D'Pf+Rb )進行上採樣，然後作為當前塊 O的預測塊被輸入到加法器330中。然後，加法器330通過將殘差信號Rf 和上採樣的結果U.B.(D.Pf+Rb )相加而恢復當前塊Of。
儘管最好可如上所述在去塊之後執行上採樣，但是也可在上採樣之後執 行去塊。儘管以上參照圖5和圖8描述了對具有兩層的視頻幀進行編碼的示例，
應用於對具有多於兩層的結構的視頻幀進行編碼。
參照圖5和圖8描述的上述組件的每個可通過在存儲器的預定區域中執 行的軟體(比如任務、類、子程序、過程、對象、執行線程或程序)、硬體(比
如現場可編程門陣列(FPGA)或專用集成電路(ASIC))或這種軟體和硬體的組 合來實現。所述組件可被包括在計算機可讀的存儲介質中或分布於多個計算 機上。
圖9和圖IO是示出根據本發明的編解碼器SR1的編碼性能的曲線圖。 圖9是用於顯示在具有多種幀率7.5、 15和30Hz的視頻序列中本發明的編解 碼器SR1和現有技術的編解碼器ANC之間的亮度PSNR(Y-PSNR)的比較的曲 線圖。如圖9所示，與現有技術中的編解碼器相比，才艮據本發明的編解碼器 顯示了最大25dB的改進，並且可看到不管幀率如何這種PSNR差幾乎不變。
圖IO是顯示在具有多種幀率的視頻序列中應用了 JVT-85文檔提出的方 法的編解碼器SR2的性能和本發明的編解碼器SR1的性能的比較的曲線圖。 如圖IO所示，兩種編解碼器的PSNR差最大是0.07dB，並且在大多數的比較 區間都保持在0.07dB。
產業上的可利用性 根據本發明，可以不加限制地使用幀內基本層預測，同時滿足基於多層
的視頻編解碼器中的單環解碼條件。
這種幀內基本層預測的無限制的使用可改善視頻編碼的性能。
儘管為了說明性的目的已經描述了本發明的示例性實施例，但是本領域
的技術人員將理解，在不脫離權利要求中公開的本發明的範圍和精神的情況
下，可進行各種修改、添加和替換。
權利要求
1. 一種基於多層的視頻編碼方法，所述方法包括獲得與當前層塊相應的基本層塊和基本層塊的幀間預測塊之間的差；對當前層塊的幀間預測塊進行下採樣；將所述差和下採樣的幀間預測塊相加；對相加的結果進行上採樣；對當前層塊和上採樣的結果之間的差進行編碼。
2、 如權利要求1所述的方法，還包括對相加的結果進行去塊濾波，其 中，所述上採樣的結果是所述去塊濾波的結果。
3、 如權利要求2所述的方法，其中，在去塊濾波中使用的去塊函數被表 示為位於當前層塊的邊緣的像素和當前層塊的臨近像素的線性結合。
4、 如權利要求3所述的方法，其中，臨近像素包括與具有1/2權值的位 於所述邊緣的像素相鄰的兩個像素，所述兩個臨近像素中的每一個具有1/4 的權值。
5、 如權利要求l所述的方法，其中，通過運動估計和運動補償來產生基 本層塊的幀間預測塊和當前層塊的幀間預測塊。
6、 如權利要求l所述的方法，其中，對當前層塊和所述上採樣的結果之 間的差進行編碼的步驟包括對當前層塊和所述上採樣的結果之間的差執行空間變換以產生變換係數；對變換係數進行量化以產生量化係數； 對量化的係數執行無損編碼。
7、 如權利要求l所述的方法，其中，對當前層塊的幀間預測塊執行下採 樣的步驟包括如果在緩衝器中不存在相應於和所述幀間預測塊相鄰的臨近 預測塊的基本層塊，則填充所述臨近預觀'J塊。
8、 如權利要求7所述的方法，其中，在所述填充步驟中，與所述臨近預 測塊的左側和上側相鄰的像素以具有45度傾斜的方向被複製到所述臨近預 測塊。
9、 一種基於多層的視頻解碼方法，所述方法包括 從包括在輸入比特流中的當前層塊的紋理數據恢復當前層塊的殘差信從與當前層塊相應並包括在所述比特流中的基本層塊的紋理數據恢復基 本層塊的殘差信號；對當前層塊的幀間預測塊進行下採樣；將下採樣的幀間預測塊和恢復的殘差信號相加；對下採樣的幀間預測塊和恢復的殘差信號相加的結果執行上採樣；將恢復的殘差信號和上採樣的結果相加。
10、 如權利要求9所述的方法，還包括對將下採樣的幀間預測塊和恢 復的殘差信號相加的結果執行去塊濾波，其中，所述上採樣的結果是所述去 塊濾波的結果。
11、 如權利要求IO所述的方法，其中，在去塊濾波中使用的去塊函數被 表示為位於當前層塊的邊緣的像素和當前層塊的臨近像素的線性結合。
12、 如權利要求11所述的方法，其中，臨近像素包括與具有1/2權值的 位於所述邊緣的像素相鄰的兩個像素，所述兩個臨近像素中的每一個具有1/4 的權值。
13、 如權利要求9所述的方法，其中，通過運動補償來產生當前層塊的 幀間預測塊。
14、 如權利要求9所述的方法，其中，恢復當前層塊的殘差信號的步驟包括對紋理數據執行無損解碼； 對無損解碼的結果執行去量化； 對去量化的結果執行逆變換。
15、 如權利要求9所述的方法，其中，對當前層塊的幀間預測塊執行下 採樣的步驟包括當在緩衝器中不存在相應於和所述幀間預測塊相鄰的臨近 預測塊的基本層塊時，填充所述臨近預測塊。
16、 如權利要求15所述的方法，其中，在所述填充步驟中，與所述臨近 預測塊的左側和上側相鄰的像素以具有45度傾斜的方向被複製到所述臨近 預測塊。
17、 一種基於多層的視頻編碼器，包括減法器，獲得與當前層塊相應的基本層塊和基本層塊的幀間預測塊之間 的差；下採樣器，對當前層塊的幀間預測塊進行下採樣；加法器，將所述差和下採樣的幀間預測塊相加；上採樣器，對通過加法器相加的結果進行上採樣；編碼裝置，對當前層塊和通過上採樣器進行上採樣的結果之間的差進行編碼。
18、 一種基於多層的視頻解碼器，包括第 一恢復裝置，從包括在輸入比特流中的當前層塊的紋理數據恢復當前 層塊的殘差信號； '第二恢復裝置，從與當前層塊相應並包括在所述比特流中的基本層塊的 紋理數據恢復基本層塊的殘差信號；下採樣器，對當前層塊的幀間預測塊進行下採樣；第一加法器，將下採樣的幀間預測塊和通過第二恢復裝置恢復的殘差信 號^f目力口；上採樣器，對通過第 一加法器相加的結果執行上採樣； 第二加法器，將通過第一恢復裝置恢復的殘差信號和通過上採樣器進行 上採樣的結果相加。
全文摘要
提供了一種改進基於多層的視頻編解碼器的性能的方法和設備。所述方法包括獲得與當前層塊相應的基本層塊和基本層塊的幀間預測塊之間的差；對當前層塊的幀間預測塊進行下採樣；將所述差和下採樣的幀間預測塊相加；對相加的結果進行上採樣；對當前層塊和上採樣的結果之間的差進行編碼。
文檔編號H04N7/24GK101288308SQ200680037948
公開日2008年10月15日 申請日期2006年10月13日 優先權日2005年10月14日
發明者金素英 申請人:三星電子株式會社