影像編碼方法、影像解碼方法、影像編碼裝置、影像解碼裝置及它們的程序的製作方法

2023-05-28 19:20:56

專利名稱：影像編碼方法、影像解碼方法、影像編碼裝置、影像解碼裝置及它們的程序的製作方法
技術領域：
本發明涉及具有插補濾波器係數的畫面內變更功能的影像編碼方法、影像解碼方法、影像編碼裝置、影像解碼裝置及它們的程序。本申請基於2010年8月12日在日本申請的特願2010-180814號主張優先權，將其內容引用於此。
背景技術：
在影像編碼中，在不同的畫面間執行預測的畫面間預測(動態補償)編碼中，參考已經解碼的幀(frame)，以使預測誤差能等為最小的方式求出動態矢量。對該動態矢量的殘差信號進行正交變換，實施量化，經熵(entropy )編碼變成二進位數據。為了提高編碼效率，要求預測精度更高的預測方式，預測誤差能的減低是必不可少的。在影像編碼標準方式中導入有數量眾多的用於提高畫面間預測的精度的工具(tool)。例如，因為在H.264/AVC (Advanced Video Coding:高級視頻編碼)中，在最近的幀中存在遮擋(occulusion)的情況下，參考在時間上稍微分開的幀更能減低預測誤差能，所以做成能參考多個幀。將本工具稱為多個參考幀預測。此外，為了使之還能應對複雜的形狀的運動，除了 16X16和8X8以外，還像16X8、8X16、8X4、4X8、4X4那樣使之能對區塊大小(block size)細緻地進行分割。將本工具稱為可變區塊大小預測。與它們同樣地，根據參考幀的整數精度像素使用六抽頭(tap)的濾波器插補1/2精度的像素，進而利用該像素以線性插補生成1/4精度的像素。由此，對非整數精度的運動，預測變得準確。將本工具稱為1/4像素精度預測。面向編碼效率比H.264/AVC高的下一代影像編碼標準方式的制定，在國際標準化組織 ISO/IEdPEG』X International Organization for Standardization/InternationalElectrotechnical Commission (國際標準化組織 / 國際電工委員會)「Moving PictureExperts Group(運動圖像專家組)，，)和 ITU — T『VCEG，，( International TelecommunicationUnion — Telecommunication Standardization Sector (國際電信聯盟電信標準化部門)「Video Coding Experts Group (視頻編碼專家組)」)中，目前從世界各國收集有各種提案。其中，特別是與畫面間預測(動態補償)相關聯的提案做得多，在由VCEG主導製作的面向下一代影像編碼的軟體(以下，稱為KTA (Key Technical Area:關鍵技術領域)軟體)中採用了削減動態矢量的編碼量的工具、將區塊大小擴展到16X16以上的工具。特別是，使小數精度像素的插補濾波器係數自適應地變化的工具被稱為自適應插補濾波器，對大致所有的像素有效果，最先被KTA軟體所採用。對團體JCT-VC (JointCollaborative Team on Video Coding:視頻編碼聯合協作小組)發行的用於MPEG和VCEG共同推進的下一代影像編碼標準制定的新編碼測試模型的徵集(call for Proposal)的投稿中也數量眾多地採用了本技術。因為對編碼效率提升的貢獻高，所以認為今後自適應插補濾波器的性能改善是非常被期待的領域。雖然目前是像以上那樣的狀況，但是作為影像編碼中的插補濾波器，以往使用了如下的濾波器。[固定性插補]
在過去的影像編碼標準方式MPEG-1/2/4中，如

圖10所示，為了插補1/2精度的像素，根據左右相鄰的兩點的整數精度像素(也只稱為整數像素)使用加法平均生成插補像素。即，對兩點的整數像素實施[1/2、1/2]的平均值濾波器。雖然因為是非常單純的處理，所以從計算複雜度的觀點來看是有效的，但是在求出1/4精度的像素方面，作為濾波器的性能並不高。另一方面，在H.264/AVC中，在插補1/2像素位置的像素時，使用成為對象的插補像素的左右各三個點共六個整數像素進行插補。對垂直方向，使用上下各三個點共六個整數像素進行插補。濾波器係數分別變成[(1、-5、20、20、-5、1)/32]。在插補1/2精度的像素後，1/4精度的像素使用[1/2、1/2]的平均值濾波器進行插補。雖然因為需要一次對1/2精度像素全部進行插補來求出，所以計算複雜度高，但是能進行性能更高的插補，導致編碼效率提升。在圖11示出H.264/AVC的插補處理的一個例子。以上的細節公開在非專利文獻1、非專利文獻2以及非專利文獻3。[自適應性插補]
在H.264/AVC中，與輸入圖像條件(序列種類/圖像大小/幀率)、編碼條件(區塊大小/GOP (Group of Pictures:畫面組)構造/QP (Quantization Parameter:量化參數))無關，濾波器係數值是固定的。在濾波器係數值為固定的情況下，未考慮例如，圖形失真(aliasing)、量化誤差、由動態估計造成的誤差、以及稱為攝像機噪聲的時間性變化的效果。因此，可以認為在編碼效率方面在性能提升上是有限的。於是，在非專利文獻4提案了使插補濾波器係數自適應性地變化的方式，稱為非分離型的自適應插補濾波器。在非專利文獻4中，考慮了二維的插補濾波器(6X6的共36濾波器係數)，以使預測誤差能最小的方式決定濾波器係數。雖然在該方式中，能實現比使用在H.264/AVC使用的一維六抽頭濾波器的固定插補濾波器高的編碼效率，但是因為在求出濾波器係數的方面的計算複雜度非常高，所以在非專利文獻5中介紹了用於減低該計算複雜度的提案。在該非專利文獻5中介紹的手法稱為分離型自適應插補濾波器(SAIF SeparableAdaptive Interpolation Filter),不是使用二維的插補濾波器,而是使用一維的六抽頭插補濾波器。圖12A 圖12C是示出分離型自適應插補濾波器(SAIF)中的非整數精度的像素插補方法的圖。作為順序，如圖12B的步驟I所示，首先，插補水平方向的像素a、b、c。在濾波器係數的決定中使用整數精度像素Cl至C6。利用一般性地已知的最小二乘法(參考非專利文獻4)以解析方式決定最小化式(I)的預測誤差能函數
輯那樣的水平濾波器係數。[數學式I]
權利要求
1.一種影像編碼方法，所述影像編碼方法使用小數精度的動態補償，其中，具有: 從預先確定的多個區域分割手法之中依次選擇一個區域分割手法的步驟； 按照所述選擇的區域分割手法，基於在編碼完成或編碼過程中從編碼對象幀或片得到的信息在幀或片內進行區域分割，按每個該分割後的區域選擇小數精度像素的插補濾波器的步驟； 使用選擇的插補濾波器進行對參考圖像的小數精度像素的插補，利用小數精度的動態補償進行預測編碼的步驟； 對選擇的區域分割手法算出編碼的成本並進行保存的步驟； 根據保存的所述成本在所述多個區域分割手法中選擇使成本最小的區域分割手法，對示出該選擇的區域分割手法的信息進行編碼的步驟；以及 使用所述選擇的區域分割手法執行所述編碼對象幀或片的編碼的步驟。
2.根據權利要求1所述的影像編碼方法，其中， 在所述編碼完成或編碼過程中得到的信息包括編碼對象區塊的動態矢量的分量的大小、或者編碼對象區塊的動態矢量的方向、或者示出編碼對象區塊的位置的空間坐標。
3.根據權利要求1或權利要求2所述的影像編碼方法，其中， 所述多個區域分割手法包括不對區域進行分割的模式、利用編碼對象區塊的動態矢量的水平分量的大小對區域進行分割的一個或多個模式、利用編碼對象區塊的動態矢量的方向對區域進行分割的一個或多個模式、利用示出編碼對象區塊的位置的空間坐標對區域進行分割的一個或多個模式中的任一多個模式。
4.根據權利要求3所述的影像編碼方法，其中， 具有下述步驟:對用於根據所述一個或者多個模式中的被選擇的模式進行所需的所述區域分割的閾值信息進行編碼。
5.一種影像解碼方法，所述影像解碼方法使用小數精度的動態補償，其中，具有: 對示出在編碼時使用的區域分割手法的信息進行解碼的步驟； 對小數精度像素的插補濾波器係數進行解碼的步驟； 使用從解碼對象區塊得到的信息以區塊單位進行按照由所述解碼得到的區域分割手法的區域的分類，根據該分類結果對解碼對象幀或片的區域進行分割的步驟；以及 按每個分割後的所述區域切換小數精度像素的插補濾波器，進行對參考圖像的小數精度像素的插補，利用小數精度的動態補償進行預測解碼的步驟。
6.根據權利要求5所述的影像解碼方法，其中， 所述區域分割手法包括不對區域進行分割的模式、利用編碼對象區塊的動態矢量的水平分量的大小對區域進行分割的一個或多個模式、利用編碼對象區塊的動態矢量的方向對區域進行分割的一個或多個模式、利用示出編碼對象區塊的位置的空間坐標對區域進行分割的一個或多個模式中的任一多個模式。
7.根據權利要求6所述的影像解碼方法，其中， 具有下述步驟:對用於根據所述一個或多個模式中的被選擇的模式進行所需的所述區域分割的閾值信息進行解碼。
8.一種影像編碼裝置，所述影像編碼裝置使用小數精度的動態補償，其中，具備: 區域分割部，從預先確定的多個區域分割手法之中依次選擇一個區域分割手法；插補濾波器係數切換部，按照所述選擇的區域分割手法，基於在編碼完成或編碼過程中從編碼對象幀或片得到的信息在幀或片內進行區域分割，按每個該分割後的區域選擇小數精度像素的插補濾波器； 預測編碼部，使用選擇的插補濾波器進行對參考圖像的小數精度像素的插補，利用小數精度的動態補償進行預測編碼； 區域分割模式判定部，對所述選擇的區域分割手法算出編碼的成本並進行保存，並且根據保存的成本在所述多個區域分割手法中選擇使成本最小的區域分割手法，對示出該區域分割手法的信息進行編碼；以及 編碼部，使用所述使成本最小的區域分割手法執行編碼對象幀或片的編碼。
9.一種影像解碼裝置，所述影像解碼裝置使用小數精度的動態補償，其中，具備: 區域分割模式解碼部，對示出在編碼時使用的區域分割手法的信息進行解碼； 可變長度解碼部，對小數精度像素的插補濾波器係數進行解碼； 區域判定部，使用從解碼對象區塊得到的信息以區塊單位進行按照由所述解碼得到的區域分割手法的區域的分類，根據該分類結果對解碼對象幀或片的區域進行分割；以及預測解碼部，按每個所述分割的區域切換小數精度像素的插補濾波器，進行對參考圖像的小數精度像素的插補，利用小數精度的動態補償進行預測解碼。
10.一種影像編碼程序，用於使計算機執行權利要求1 4的任一項所述的影像編碼方法。
11.一種影像解碼程序，用於使計算機執行權利要求5 7的任一項所述的影像解碼方法。
全文摘要
本發明的影像編碼裝置在插補濾波器係數的最優值在時空間變化的圖像的編碼中，謀求減低動態補償畫面內預測的殘差能，改善編碼效率。在該影像編碼裝置中，區域分割部從多個準備的區域分割手法之中依次一個一個地選擇區域分割手法，對編碼對象圖像的區域進行分割。插補濾波器係數切換部按每個分割的區域切換小數精度像素的插補濾波器，在預測編碼部進行預測編碼。區域分割模式判定部在按各區域分割手法算出的碼率失真成本之中選擇使成本最小的區域分割手法。使用該選擇的區域分割手法，預測編碼部和可變長度編碼部對編碼對象圖像進行編碼。示出區域分割手法的信息也進行可變長度編碼，並被送到解碼器。
文檔編號H04N7/32GK103168470SQ20118003902
公開日2013年6月19日 申請日期2011年8月5日 優先權日2010年8月12日
發明者松尾翔平, 坂東幸浩, 高村誠之, 如澤裕尚 申請人:日本電信電話株式會社