活動圖像可分級編碼方法及解碼方法、其裝置、其程序以及記錄有程序的記錄介質的製作方法

2023-05-10 10:09:51 2

專利名稱：活動圖像可分級編碼方法及解碼方法、其裝置、其程序以及記錄有程序的記錄介質的製作方法
技術領域：
本發明涉及對明亮度隨時間變化的活動圖像可分級地進行編碼的活動圖像可分級編碼方法及其裝置、對通過該活動圖像可分級編碼而被編碼的編碼數據進行解碼的活動圖像可分級解碼方法及其裝置、用於實現該活動圖像可分級編碼方法的活動圖像可分級編碼程序和記錄了該程序的計算機能夠讀取的記錄介質、以及用於實現該活動圖像可分級解碼方法的活動圖像可分級解碼程序和記錄了該程序的計算機能夠讀取的記錄介質。
本申請基於2007年10月25日申請的日本專利特願2007-277224號要求優先權，並在這裡引用其內容。

背景技術：
在通常的活動圖像編碼方式中，通過基於幀間的像素值差分最小化的塊匹配進行運動預測，謀求編碼性能的提高。可是，在如淡化(fade)那樣的明亮度隨時間變化的圖像中，與明亮度變化的量相應地，運動預測的預測殘差擴大，編碼性能降低。
因此，在非專利文獻1所示的H.264/AVC中，進行適應地對運動預測的參照圖像乘以權重係數的加權運動預測。通過該加權運動預測，構成對時間上的明亮度變化進行校正後的預測參照信號，使編碼性能提高。
在H.264/AVC中，具備以下2種加權運動預測的方法對在明亮度的校正中使用的權重係數進行編碼並傳輸的Explicit模式，和不傳輸權重係數而在編碼器和解碼器根據參照幀的信息間接地生成相同權重係數的Implicit模式。在表1中表示P條帶(slice)和B條帶的加權運動預測的種類和預測方法。
[表1] 表1H.264/AVC中的加權運動預測的種類及其方法
在該表1中，z是加權運動預測信號，r0、r1是加權運動預測參照信號，w0、w1、d0、d1是權重係數。加權運動預測的切換和權重係數傳輸模式的選擇以條帶單位執行。
圖20是說明H.264/AVC的加權運動預測(Implicit模式)的圖。Implicit模式僅在B條帶的雙預測的情況下使用。假定跨越編碼對象幀和2枚被參照幀的明亮度變化是線性的，對應於從被參照幀起的距離來計算比例係數w0、w1。將偏置係數d作為0。
再有，在圖20中表示有利用對應於從參照幀起的距離的內分來計算比例係數的例子，但在外分的情況下也能夠同樣地進行。
現在，在非專利文獻2所示的作為ISO和ITU-T的聯合團體的JVT進行研究的H.264/AVC的可分級擴展方式JSVC中，也採用了與上述所示的H.264/AVC相同的加權運動預測。此外，在非專利文獻3中表示的JSVC的參照編碼器JSVM中，也進行表1所示的加權運動預測。
此外，作為檢測活動圖像的全局的亮度變化，進行亮度補償的技術，已知有專利文獻1記載的技術。在該專利文獻1所述的技術中，通過使用畫面整體的全局的亮度變化量、和表示是否按小區域的每1個進行亮度變化補償的判定的標誌(flag)，應對明亮度變化在畫面內不一樣的情況。
非專利文獻1ITU-T″Advanced video coding for generic audiovisualservices″，ITU-T Rec.H.264，pp.129-132，May，2003. 非專利文獻2T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz andM.Wien″Joint Draft 8 of SVC Amendment″，ISO/IEC JTC1/SC29/WG11and ITU-T SG16 Q.6，JVT-U201，pp.166-170，October，2006. 非專利文獻3J.Reichel，H.Schwarz and M.Wien″Joint ScalableVideo Model JSVM-8″，ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6，JVT-U202，October，2006. 專利文獻1日本專利申請特開平10-32824號公報 本發明要解決的課題 H.264/AVC的加權運動預測以條帶單位執行。因此，在條帶內的一部分中產生明亮度變化的情況下、或條帶內的明亮度變化不一樣的情況下，加權運動預測的預測性能降低。由移動物體的影子等而產生的明亮度的變化等，相當於上述情況。由於JSVC也繼承了H.264/AVC的加權運動預測，所以面臨與上述相同的問題。
假設，當要以比條帶細小的宏塊等單位計算權重係數，執行加權運動預測時，在Explicit模式中權重係數所要的碼量變得非常大。在這樣的情況下，優選以Implicit模式計算權重係數。可是，如上所述，H.264/AVC的加權運動預測的Implicit模式的實施，僅限於進行雙預測的B條帶。
此外，該在加權運動預測的Implicit模式下計算的權重係數，是基於跨越編碼對象幀和2枚被參照幀的明亮度變化是線性的這一假定的權重係數，因此在跨越該3幀的明亮度的時間變化是非線性的情況下，不能夠計算出適合的權重係數，預測性能降低。明亮度非線性地進行變化的淡化圖像、或包含閃光的圖像等相當於上述情況。
在JSVC的加權運動預測中，因為直接實施H.264/AVC的加權運動預測，因此面臨與上述相同的問題。
此外，在上述專利文獻1記載的技術中，因為需要按小區域的每1個對標誌的信息進行傳輸，所以存在編碼性能降低的問題，在該小區域的亮度變化量大、並且與全局亮度變化量乖離的情況下，由於不能夠補償該小區域的亮度變化，所以在該方面也存在編碼性能降低的問題。


發明內容
本發明正是鑑於上述情況而完成的，其目的在於確立一種可分級編碼器和解碼器的設計方法，其中，在由具有最低的空間解析度的基本層、和1個以上的具有比其高的空間解析度的增強層構成的空間可分級編碼中，生成加權運動預測的權重係數，不傳輸權重係數的信息而在編碼器和解碼器使用相同的權重係數進行加權運動預測，其中，所述加權運動預測的權重係數基於運動預測的被參照幀的解碼信號、和編碼對象幀的緊下層的解碼信號之間的時間上的明亮度變化的信息。
用於解決課題的方案 [1]本發明的活動圖像可分級編碼裝置的結構 為了實現上述目的，本發明的活動圖像可分級編碼裝置在採用如下結構，即計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的編碼對象圖像區域和被參照圖像區域之間的明亮度變化，將該權重係數應用於成為探索對象的被參照圖像區域的圖像信號進行運算而進行運動的推定，由此計算運動矢量，將該權重係數應用於該運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號，這時，該活動圖像可分級編碼裝置具備(i)基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構的單元；(ii)在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數的單元。
在這裡，在決定單元中，在被參照圖像區域是1個的情況下，在使用比例係數校正的權重係數計算方法的情況下，作為比例係數，決定使用被參照圖像區域的直流成分和上述緊下圖像區域的直流成分的比，作為偏置係數，決定使用零，由此，決定權重係數的數據結構。
此外，在決定單元中，在被參照圖像區域是1個的情況下，在使用偏置係數校正的權重係數計算方法的情況下，作為偏置係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的差，作為比例係數，決定使用1，由此決定權重係數的數據結構。
此外，在決定單元中，在被參照圖像區域是2個的情況下，作為比例係數，決定使用對應於編碼對象圖像區域和各被參照圖像區域之間的幀間距離計算出的值，作為偏置係數，決定使用以如下方式計算的值，即，從上述緊下圖像區域的直流成分，減去將該比例係數對2個被參照圖像區域的直流成分相乘後的值，由此決定權重係數的數據構造。
在採用該結構時，在計算單元中，在也考慮在緊下圖像區域中產生的運動預測的預測殘差信號而謀求精度的提高的情況下，也可以對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與緊下層被參照圖像區域在空間的相同位置存在，進一步對該運算的結果加上在緊下圖像區域中產生的運動預測的預測殘差信號的直流成分，將相加的結果看作緊下圖像區域的直流成分。
此外，在採用該結構時，在計算單元中，在緊下圖像區域以更細小的小區域單位進行運動預測的情況下，也可以按該小區域的每1個計算所述被看作直流成分的直流成分，基於該計算出的直流成分和各小區域的面積，計算所述被看作直流成分的直流成分。
通過以上各處理單元工作而實現的本發明的活動圖像可分級編碼方法也能夠以電腦程式實現，該電腦程式記錄在適當的計算機能夠讀取的記錄介質中而被提供，或經由網絡而被提供，在實施本發明時通過被安裝並在CPU等的控制單元上工作，從而實現本發明。
[2]本發明的活動圖像可分級解碼裝置的結構 為了實現上述目的，本發明的活動圖像解碼裝置採用如下結構，計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的解碼對象圖像區域、和解碼後的運動矢量所指的被參照圖像區域之間的明亮度變化，將該權重係數應用於解碼後的運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號，這時，該活動圖像可分級解碼裝置具備(i)基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構的單元；(ii)在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數的單元。
在這裡，在決定單元中，在被參照圖像區域是1個的情況下，在使用比例係數校正的權重係數計算方法的情況下，作為比例係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的比，作為偏置係數，決定使用零，由此決定權重係數的數據結構。
此外，在決定單元中，在被參照圖像區域是1個的情況下，在使用偏置係數校正的權重係數計算方法的情況下，作為偏置係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的差，作為比例係數，決定使用1，由此決定權重係數的數據結構。
此外，在決定單元中，在被參照圖像區域是2個的情況下，作為比例係數，決定使用對應於編碼對象圖像區域和各被參照圖像區域之間的幀間距離計算出的值，作為偏置係數，決定使用以如下方式計算的值，即，從所述緊下圖像區域的直流成分，減去將該比例係數對2個被參照圖像區域的直流成分相乘後的值，由此決定權重係數的數據結構。
在採用該結構時，在計算單元中，在也考慮在緊下圖像區域中產生的運動預測的預測殘差信號而謀求精度的提高的情況下，也可以對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與緊下層被參照圖像區域在空間的相同位置存在，進一步對該運算的結果加上在緊下圖像區域中產生的運動預測的預測殘差信號的直流成分，將相加的結果看作緊下圖像區域的直流成分。
此外，在採用該結構時，在計算單元中，在緊下圖像區域以更細小的小區域單位進行運動預測的情況下，也可以按該小區域的每1個計算所述被看作直流成分的直流成分，基於該計算出的直流成分和各小區域的面積，計算所述被看作直流成分的直流成分。
通過以上各處理單元工作而實現的本發明的活動圖像可分級編碼方法也能夠以電腦程式實現，該電腦程式記錄在適當的計算機能夠讀取的記錄介質中而被提供，或經由網絡而被提供，在實施本發明時通過被安裝並在CPU等的控制單元上工作，從而實現本發明。
本發明的效果 根據本發明，即使在由於移動物體的影子等導致圖像內的一部分的明亮度進行變化的情況下，也能夠在節約解碼處理所需要的存儲器和計算時間的同時，通過不傳輸權重係數的Implicit模式執行高精度的加權運動預測。
而且，根據本發明，即使在只能採用現有的Explicit模式的P條帶和B條帶的L0/L1預測等單方向預測的情況下，也能夠在節約解碼處理所需要的存儲器和計算時間的同時，通過不傳輸權重係數的Implicit模式執行高精度的加權運動預測。
而且，根據本發明，即使在包含閃光的圖像或非線性變化的淡化圖像那樣的編碼/解碼處理對象幀和多個預測參照幀之間的明亮度變化是非線性的圖像中，也能夠在節約解碼處理中所需要的存儲器和計算時間的同時，通過不傳輸權重係數的Implicit模式執行高精度的加權運動預測。
通過以上的加權運動預測的性能提高，根據本發明能夠期待編碼效率的提高。



圖1A是說明幀間的明亮度變化的圖。
圖1B是表示預測性能劣化的例子的圖。
圖1C是說明本發明的概念的圖。
圖2是校正對象幀和被校正幀的說明圖。
圖3是日本專利特願2007-174161的發明中的權重係數的計算方法的說明圖。
圖4A是日本專利特願2007-174161的發明中的權重係數的計算方法的說明圖。
圖4B同樣地是日本專利特願2007-174161的發明中的權重係數的計算方法的說明圖。
圖4C同樣地是日本專利特願2007-174161的發明中的權重係數的計算方法的說明圖。
圖5是說明本發明的概念的圖。
圖6同樣地是說明本發明的概念的圖。
圖7是用於驗證本發明的有效性而進行的實驗的實驗結果的說明圖。
圖8是本發明的編碼處理的實施例的流程圖。
圖9是本發明的解碼處理的實施例的流程圖。
圖10是本發明的加權運動推定處理的實施例的流程圖。
圖11是本發明的加權運動補償處理的實施例的流程圖。
圖12是本發明的權重係數計算處理的實施例的流程圖。
圖13是本發明的緊下塊直流成分推定處理的實施例的流程圖。
圖14是本發明的編碼裝置的實施例的結構圖。
圖15是本發明的解碼裝置的實施例的結構圖。
圖16是本發明的加權運動推定部的實施例的結構圖。
圖17是本發明的加權運動補償部的實施例的結構圖。
圖18是本發明的權重係數計算部的實施例的結構圖。
圖19是本發明的緊下塊直流成分推定部的實施例的結構圖。
圖20是H.264/AVC的加權運動預測的說明圖。
附圖標記說明 101預測方法判定部 102幀內預測部 103未加權運動預測部 104層間預測部 105加權運動推定部 106加權運動補償部 107預測殘差信號生成部 108預測殘差信號編碼部 109解碼部 110相關增強層解碼信號存儲部 111緊下層編碼信息存儲部 201預測模式解碼部 202預測模式存儲部 203預測方法判定部 204幀內預測部 205未加權運動預測部 206層間預測部 207運動矢量信息解碼部 208運動矢量信息存儲部 209加權運動補償部 210緊下層編碼信息存儲部 211殘差信號解碼部 212殘差信號存儲部 213解碼信號生成部 214相關增強層解碼信號存儲部
具體實施例方式 首先，對本發明的概要進行說明。
在這裡的說明中，為了說明的方便，將與圖像區域相當的部分記載為塊，將與圖像區域的直流成分相當的值記載為平均值，從而進行說明。
Implicit模式是通過間接地對在加權運動預測中需要的權重係數進行計算，從而不傳輸多餘的編碼信息的方式。因此，只要計算出的權重係數能夠充分地反映明亮度的變化，就是非常有效的方法，但是當它們乖離時，預測性能下降。
在非線性的淡化圖像或閃光圖像中，幀間的明亮度的變化如圖1A所示那樣變為非線性的。
在這樣的情況下，當對預測參照信號進行僅根據權重係數的線性預測時，如圖1B所示那樣預測性能劣化。
因此，在雙預測中的加權運動預測中，設置偏置係數d，在上述的JSVC的Implicit模式中，將該偏置係數d設置為零，因此乖離量直接作為預測殘差而表示。
另一方面，當將M×N尺寸的編碼對象塊的坐標(m，n)中的原信號表示為smn，將雙預測中的2個被參照塊的坐標(m，n)中的解碼信號表示為y0mn，y1mn，將權重係數(w0，w1，d)分配到編碼對象塊時，利用權重係數(w0，w1，d)計算出的加權預測信號與原信號的誤差e變為 emn＝smn-(w0y0mn+w1y1mn+d) 因此，編碼對象塊中的預測誤差emn的總能量E變為 E＝∑m∑n(smn-(w0y0mn+w1y1mn+d))2 當假設以與圖20相同的方式賦予W0、W1時，使該總能量E最小化的偏置係數d通過求解

從而求取 d＝-w0-w1 編碼對象塊的原信號的平均值 被參照塊的解碼信號的平均值 被參照塊的解碼信號的平均值 可是，在解碼器中不能參照原信號。因此，在本發明中，著眼於層間的平均值的保存性，如圖1C所示那樣，代替原信號的平均值，使用緊下(immediately-lower)層中的與編碼對象塊在空間的相同位置存在的塊(緊下塊)的解碼信號的平均值，以如下方式求取偏置係數d。
d≈-w0-w1 然而，為了求取緊下層中的與編碼對象塊在空間的相同位置存在的緊下塊的解碼信號的平均值，需要對緊下層的解碼信號全部進行解碼，需要大容量的存儲器，並且需要較長的計算時間。
因此，在本發明中，在雙預測的加權運動預測中，在按照 d≈-w0-w1這一計算式求取偏置量時，識別緊下塊作為運動預測的預測參照目的地的緊下層被參照塊，將緊下塊在加權運動預測時利用的權重係數，應用於與該緊下層被參照塊在空間的相同位置存在的上位層的塊的解碼信號的平均值進行運算，將運算後的值看作緊下塊的解碼信號的平均值，由此求取。
關於緊下塊作為運動預測的預測參照目的地的緊下層被參照塊，即使不對緊下層的全部信號進行解碼也能通過解碼運動矢量等的一部分的信息而特別指定，因此根據本發明，不會發生「需要大容量的存儲器，並且需要較長的計算時間」的問題。
此外，關於權重係數w0、w1，對應於編碼對象塊和各被參照塊之間的幀間預測距離來進行計算，由此在解碼側也能求取，進而，關於偏置係數d，由於能夠利用解碼信號進行計算，所以在解碼側也能夠求取，由此，根據本發明，不需要向解碼側傳輸權重係數。
因此，根據本發明，在雙預測的加權運動預測中，能夠在實現Implicit模式的同時，在幀間的明亮度非線性地變化的情況下，也能夠以較少的存儲器容量、並且短時間地執行高精度的加權運動預測。
再有，本發明的技術思想也能夠應用於單方向預測中的加權運動預測。
即，在單方向預測中的加權運動預測中，成為 (i)作為比例係數使用被參照塊的解碼信號的平均值和編碼對象塊的原信號的平均值的比，並且作為偏置係數使用零，或者， (ii)作為偏置係數使用被參照塊的解碼信號的平均值和編碼對象塊的解碼信號的平均值的差，並且作為比例係數使用1。
可是，在解碼器中不能參照原信號。因此，在本發明中，著眼於層間的平均值的保存性，代替編碼對象塊的原信號的平均值，而使用緊下塊的解碼信號的平均值，求取上述的比或差。
然而，為了求取緊下塊的解碼信號的平均值，需要對緊下層的解碼信號全部進行解碼，需要大容量的存儲器，並且需要較長的計算時間。
因此，在本發明中，在單方向預測中的加權運動預測中，識別緊下塊作為運動預測的預測參照目的地的緊下層被參照塊，將緊下塊在加權運動預測時利用的權重係數，應用於與該緊下層被參照塊在空間的相同位置存在的上位層的塊的解碼信號的平均值進行運算，將運算後的值看作緊下塊的解碼信號的平均值，由此求取上述比或差。
關於緊下塊作為運動預測的預測參照目的地的緊下層被參照塊，即使不對緊下層的解碼信號全部進行解碼也能夠通過對運動矢量等的一部分的信息進行解碼而特別指定，因此根據本發明，也不會發生「需要大容量的存儲器，並且需要較長的計算時間」的問題。
此外，關於權重係數，由於能夠利用解碼信號進行計算，所以在解碼側也能夠求取，由此，根據本發明，不需要向解碼側傳輸權重係數。
因此，根據本發明，在單方向預測的加權運動預測中，能夠在實現Implicit模式的同時，在幀間的明亮度非線性地變化的情況下，也能夠以較少的存儲器容量、並且短時間地執行高精度的加權運動預測。
下面，按照實施方式對本發明進行詳細地說明。
如上述那樣，H.264/AVC的加權運動預測以條帶單位執行。因此，在條帶內的一部分中產生明亮度變化的情況下、或條帶內的明亮度變化不一樣的情況下，加權運動預測的預測性能降低。由移動物體的影子等而產生的明亮度的變化等相當於上述情況。由於JSVC也繼承了H.264/AVC的加權運動預測，所以面臨與上述相同的問題。
假設，當以比條帶細小的宏塊等單位計算權重係數，執行加權運動預測時，在Explicit模式中權重係數所要的碼量變得非常大。在這樣的情況下，優選以Implicit模式計算權重係數。可是，如上所述，H.264/AVC的加權運動預測的Implicit模式的實施，僅限於進行雙預測的B條帶。
此外，該在加權運動預測的Implicit模式下計算的權重係數，是基於跨越編碼對象幀和2枚被參照幀的明亮度變化是線性的這一假定的權重係數，因此在跨越該3幀的明亮度的時間變化是非線性的情況下，不能夠計算出適合的權重係數，預測性能降低。明亮度非線性地進行變化的淡化圖像、或包含閃光的圖像等相當於上述情況。在JSVC的加權運動預測中，因為直接實施H.264/AVC的加權運動預測，因此面臨與上述相同的問題。
鑑於這樣的情況，本發明者在先前申請的日本專利特願2007-174161(平成19年7月2日申請)中，申請了能夠解決這些問題的新的發明。
在該日本專利特願2007-174161申請的發明中，利用編碼對象幀的緊下層的解碼信號來計算權重係數。
接著，針對在日本專利特願2007-174161申請的發明中導出的權重係數的計算方法進行說明。
在日本專利特願2007-174161中申請的發明中，通過以下過程，對在可分級編碼的加權運動推定和加權運動補償中使用的權重係數進行計算。
在現有的Implicit模式中，封閉在1個層內，根據與從被參照幀起的距離對應的內插或外插來推定時間上的明亮度變化，計算權重係數。
在本發明(日本專利特願2007-174161)中，在該時間上的明亮度變化的推定中，通過使用編碼/解碼對象的層的緊下層的解碼信號的信息，使該推定精度提高。
在對過程進行說明時，整理在說明中使用的記號。
將相關增強層的編碼/解碼處理對象幀(以下，稱為校正對象幀)作為f，將P條帶或B條帶的L0預測的加權運動推定/補償被參照幀(以下，稱為被校正幀)作為f0，將B條帶的L1預測的被校正幀作為f1。此外，將與校正對象幀f相同時刻的緊下層的幀作為g。
此外，將代入幀f的編碼/解碼處理對象塊(以下，稱為校正對象塊)的坐標(i，j)的預測信號值作為z(i，j)，此外，將幀f0的加權運動推定/補償被參照塊(以下，稱為被校正塊)的坐標(i，j)的解碼信號值作為y0(i，j)。此外，將幀g的與幀f的校正對象塊位於空間的相同位置的塊的坐標(i，j)的解碼信號值作為x(i，j)。
在圖2中對以上進行圖示。圖2是表示相關增強層和緊下層的解析度比在縱橫均為2∶1的情況下的圖。再有，在解析度比為2∶1以外的情況下也能夠進行同樣的處理。
此外，將幀f0的被校正塊的直流成分值作為Y0，此外，將幀g中的與幀f的校正對象塊位於空間的相同位置的塊的直流成分值作為X。在圖2的情況下，它們以下述方式計算。
[數式1] ....(1)式 ....(2)式 在P條帶和進行L0/L1預測的B條帶那樣的單一幀的預測的情況下，預測信號值z(i，j)以下述方式計算。
·在P條帶或L0預測B條帶的情況下， z(i，j)＝w0·y0(i，j)+d0 ·在L1預測B條帶的情況下， z(i，j)＝w1·y1(i，j)+d1....(3)式 在本發明(日本專利特願2007-174161)中，列舉2個該權重係數w0和d0、或w1和d1的計算方法。
在以下所述的計算方法的說明中，以P條帶或L0預測B條帶的情況作為例子。在L1預測B條帶的情況下，將與幀f0和g0相關的要素變更為與幀f1和g1相關的要素即可。
2個計算方法基於以下的假定。由於幀f和幀g是同時刻的信息，所以預想為信號的明亮度相近。因此，利用已知的幀g的明亮度信息，根據被校正幀f0間接地預測校正對象幀f的明亮度變化。
[方法1-1]單一幀預測中的使用了直流成分的比例係數校正 在本方法中，按以下方式計算權重係數。
w0＝X/Y0 ....(4)式 d0＝0 ....(5)式 [方法1-2]單一幀預測中的使用了直流成分的偏置係數校正 在本方法中，按以下方式計算權重係數。
w0＝1 ....(6)式 d0＝X-Y0 ....(7)式 在進行雙預測的B條帶中，預測信號值z(i，j)以如下方式計算。
z(i，j)＝w0·y0(i，j)+w1·y1(i，j)+d ..(8)式 在本發明(日本專利特願2007-174161)中，以下述方式計算該權重係數w0、w1、d。
再有，該計算方法基於以下的假定。由於幀f和幀g是同時刻的信息，所以預想為信號的明亮度相近。因此，利用已知的幀g的明亮度信息，根據被校正幀f0和f1間接地預測校正對象幀f的明亮度變化。
[方法2-1]雙預測中的使用了直流成分塊的權重係數校正 在本方法中，按以下方式計算權重係數。
w0＝1-w1....(9)式 w1＝tb/td ....(10)式 d＝X-w0·Y0-w1·Y1 ....(11)式 在這裡，tb表示從被校正幀f0到校正對象幀的幀間距離，td表示從被校正幀f0到被校正幀f1的幀間距離。
針對以上說明的在日本專利特願2007-174161中申請的發明中導出的權重係數的計算方法進行總結，如下所述。
如圖3所示，將相關層(relevant layer)l的時刻t的幀的相關塊作為B，將該被參照塊分別作為B0、B1。B0、B1分別屬於相關層l中的時刻t-T0的幀，和相關層l中的時刻t+T1的幀。
在這裡，單方向預測的情況下的被參照幀僅為時刻t-T0的幀。
此外，將緊下層l-1中的與相關塊B位於空間的相同位置中的時刻t的幀的塊作為Ba。以後，將該Ba稱為緊下塊。
在這裡，將被參照塊B0內的解碼信號的直流成分作為R(l，t-T0，B0)，將被參照塊B1內的解碼信號的直流成分作為R(l，t+T1，B1)，將緊下塊Ba內的解碼信號的直流成分作為R(l-1，t，Ba)。
各塊的直流成分是對於塊內的像素集合應用2維FFT或二維DCT等而生成的。
這時，在日本專利特願2007-174161申請的發明中，以下述方式決定權重係數(w0，d0)，或(w0，w1，d)。
(單方向預測的情況) *比例係數校正根據上述的(4)(5)式的校正方法 w0＝R(l-1，t，Ba)/R(l，t-T0，B0) d0＝0 ....(12)式 或， *偏置係數校正根據上述的(6)(7)式的校正方法 w0＝1 d0＝R(l-1，t，Ba)-R(l，t-T0，B0) ...(13)式 (雙預測的情況) *根據上述的(9)式～(11)式的校正方法 w0＝1-w1 w1＝T0/(T0+T1) d＝R(l-1，t，Ba)-w0·R(l，t-T0，B0) -w1·R(l，t+T1，B1)..(14)式 由此，能夠以單方向預測實現不傳輸權重係數的信息的Implicit模式的加權運動預測。在單方向預測的權重係數計算方法中，有(12)式舉出的比例係數校正方法、和(13)式舉出的偏置係數校正方法的2種。
進而，H.264/AVC的雙預測的Implicit模式的預測性能，也如(14)式那樣被改善。
再有，本發明者針對與該(14)式相關的發明，在「早瀬和也，坂東幸浩，高村誠之，上倉一人，八島由幸「空間スケ一ラブル符號化におけるレイヤ間相関を利用した重み付き予測方式，」FIT2007、第6回情報科學技術フオ一ラム，pp.253-256，Sep.2007.」中進行了發表。
針對按照(12)式求取權重係數(w0，d0)的單方向預測的比例係數校正簡單地進行說明，如圖4A所示，權重係數w0是在以層l的時刻t-T0的解碼信號的直流成分α和層l的時刻t的原信號的直流成分β的比來進行求取時，將其中的層l的時刻t的原信號的直流成分β置換為層l-1的時刻t的解碼信號的直流成分β』，由此求取的係數是權重係數w0。
在這裡，針對該權重係數w0能夠通過解碼信號進行計算，因此其特徵在於不需要向解碼側進行傳輸。
此外，針對按照(13)式求取權重係數(w0，d0)的單方向預測的偏置係數校正簡單地進行說明，如圖4B所示，偏置係數d0是在以層l的時刻t的原信號的直流成分β和層l的時刻t-T0的解碼信號的直流成分α的差分來進行求取時，將其中的層l的時刻t的原信號的直流成分β置換為層l-1的時刻t的解碼信號的直流成分β』，由此求取的係數是偏置係數d0。
在這裡，針對該偏置係數d0能夠通過解碼信號進行計算，因此其特徵在於不需要向解碼側進行傳輸。
此外，針對按照(14)式求取權重係數(w0，d0)的雙預測的偏置係數校正簡單地進行說明，如圖4C所示，如果將層l的時刻t-T0的解碼信號的直流成分表示為α，將層l的時刻t的原信號的直流成分表示為β，將層l的時刻t+T1的解碼信號的直流成分表示為γ的話，偏置係數d是在以「d＝β-w0·α-w1·γ」進行求取時，將其中的層l的時刻t的原信號的直流成分β置換為層l-1的時刻t的解碼信號的直流成分β』，由此求取的係數是偏置係數d。
在這裡，針對該偏置係數d能夠通過解碼信號進行計算，因此其特徵在於不需要向解碼側進行傳輸。
另一方面，在JSVC那樣的形成多層的編碼處理的解碼的種類中，有在下位層中需要反運動補償的multi-loop decoding，和在下位層中不需要反運動補償的single-loop decoding。通常，需要解碼處理是簡便的。因此，高負荷的反運動補償是應該極力避免的處理，所以需要single-loop decoding。
在這裡，在本說明書中所說的反運動補償，指的是到識別運動矢量所指的塊的解碼信號為止的處理。
然而，在日本專利特願2007-174161申請的發明中，如(2)式所示，在創建全部的緊下層的解碼信號之後，計算緊下塊Ba內的解碼信號的直流成分R(l-1，t，Ba)。因此，解碼處理變為multi-loop decoding，還存在改善的餘地。
本發明鑑於以上情況，其目的在於確立一種新可分級編碼器和解碼器的設計方法，在由基本層和1個以上的增強層構成的空間可分級編碼中，僅根據運動預測的被參照幀的解碼信號和關於緊下層中的運動補償的編碼信息，對編碼對象幀的緊下層的解碼信號的直流成分進行推定，根據計算出的編碼對象幀的緊下層的解碼信號的直流成分與運動預測的被參照幀的解碼信號的直流成分之間的關係，生成加權運動預測的權重係數，由此不傳輸權重係數的信息就能在編碼器和解碼器進行使用了相同權重係數的加權運動預測。
本發明的加權運動預測的過程如下所述。
加權運動預測由加權運動推定和加權運動補償這兩個步驟構成。
加權運動推定指的是一邊對處理對象幀和運動預測參照幀之間的明亮度變化進行校正，一邊探索兩幀間的運動，將通過探索而檢測出的運動信息作為運動矢量進行輸出的處理。
加權運動補償指的是讀入運動矢量信息，對該運動矢量所指的信號值進行明亮度變化的校正，將校正後的信號值作為處理對象幀中的預測信號進行輸出的處理。
在編碼處理中，通過加權運動推定來檢測出運動矢量，讀入該運動矢量，執行加權運動補償。
另一方面，在解碼處理中，對編碼信息進行解碼並讀入運動矢量，執行加權運動補償。
權重係數的計算能夠以任意的圖像區域單位進行。作為例子，能夠舉出幀單位、條帶單位、宏塊單位、將宏塊進一步細分的小塊單位等。
在本發明中關於相關層由於不需要權重係數的傳輸，所以加權運動預測所要的開銷(overhead)，在任何圖像區域單位中都不變。因此，越利用小圖像區域單位進行權重係數的計算，加權運動預測的預測性能越提高。
在這裡，將利用宏塊單位進行權重係數的計算的情況作為例子進行說明。在宏塊單位以外，也能通過同樣的處理進行加權運動預測。
此外，不依賴於成為對象的信號，是亮度信號還是色差信號都能同樣地進行處理。
[加權運動推定] 在加權運動推定中，按照編碼對象幀的宏塊的每1個，探索在推定被參照幀內匹配的宏塊。
在該探索時，每當對象宏塊被變更，對表示兩幀的相關塊間的明亮度變化的權重係數進行計算，將以該權重係數對探索對象宏塊的解碼信號進行校正後的信號作為用於匹配判定的比較信號而充分利用。
然後，被判定為匹配的宏塊成為運動矢量的參照目的地，成為運動補償的被參照宏塊。
作為匹配的判定單元的1個例子，可以舉出非專利文獻1示出的利用碼量和編碼失真間的拉格朗日成本最小化的判定單元。
[加權運動補償] 在加權運動補償中，首先，按編碼/解碼對象宏塊的每1個，讀入該宏塊具有的運動矢量信息。
接著，對表示該運動矢量所指的被參照宏塊、和編碼/解碼對象宏塊之間的明亮度變化的權重係數進行計算。
然後，將以該權重係數對被參照宏塊的解碼信號進行校正後的信號，作為編碼/解碼對象宏塊中的預測信號進行有效利用。
[權重係數的計算處理] 典型地，通過以下過程，對在可分級編碼的加權運動推定和加權運動補償中使用的權重係數進行計算。
權重係數的計算式與在日本專利特願2007-174161申請的發明相同，對於相關塊而言，在單方向預測的情況下通過上述的式(12)或式(13)計算權重係數，在雙預測的情況下通過上述的式(14)計算權重係數。
但是，各式中包含的求取緊下塊的解碼信號直流成分R(l-1，t，Ba)的方法在本發明和在日本專利特願2007-174161申請的發明之間不同 即，在日本專利特願2007-174161申請的發明中，對緊下層全部進行解碼並通過正交變換而獲得直流成分，相對於此，在本發明中，使緊下層的解碼為部分解碼(不是進行到對圖像信號進行解碼的階段的解碼，而是對一部分編碼信息進行解碼的階段的解碼)，通過根據該部分解碼信息和相關層的參照幀的解碼信號間接地進行推定，從而獲得直流成分。
通過僅進行部分解碼，從而不需要進行反運動補償，能夠削減解碼時間。
為了具體過程的說明，對在說明中使用的記號進行整理。
如圖5所示，將相關層l的時刻t的幀的相關塊作為B。此外，將緊下層l-1中的相關塊B的緊下塊作為Ba。
此外，將緊下塊Ba的運動預測的被參照塊分別作為Bb0、Bb1。假定Bb0、Bb1分別屬於相關層l中的時刻t-T0的幀，和相關層l中的時刻t+T1的幀。
緊下層l-1的被參照塊Bb0、Bb1的位置，通過對緊下塊Ba具有的參照幀索引和運動矢量的編碼信息進行解碼來獲得。
此外，將與該緊下層l-1的被參照塊Bb0、Bb1在空間的相同位置存在的相關層l中的塊，分別作為Bc0、Bc1。以後，將該Bc0、Bc1稱為緊上(immediately-upper)塊。
在這裡，將塊Ba、Bb0、Bb1、Bc0、Bc1內的解碼信號的直流成分分別作為R(l-1，t，Ba)、R(l-1，t-T0，Bb0)、R(l-1，t+T1，Bb1)、R(l，t-T0，Bc0)、R(l，t+T1，Bc1)。
此外，將緊下塊Ba中包含的預測殘差信號的直流成分作為E(l-1，t，Ba)。預測殘差信號的直流成分E(l-1，t，Ba)通過對緊下塊Ba具有的預測殘差信號的直流成分的編碼信息進行解碼而獲得。
此外，在緊下層中進行加權運動預測的情況下，將緊下塊Ba與被參照塊Bb0之間的權重係數作為(w0′，d0′)，將緊下塊Ba與被參照塊Bb1之間的權重係數作為(w1′，d1′)。
這些權重係數(w0′，d0′)、(w1′，d1′)是通過對緊下塊Ba具有的權重係數的編碼信息進行解碼而獲得。
再有，在本發明中，不需要針對相關層l對權重係數進行編碼，但在其緊下層l-1中是否需要對權重係數進行編碼，還依賴於在其下是否還存在層。
在這裡，為了說明的方便，假設權重係數(w0′，d0′)、(w1′，d1′)是通過對緊下塊Ba具有的權重係數的編碼信息進行解碼而獲得的。
接著，針對緊下塊Ba的預測方式，分為幀內預測(intra prediction)的情況，幀間預測(interframe prediction)的單方向預測的情況，幀間預測的雙預測的情況，以及幀間預測的在塊內混合存在單方向預測區域和雙預測區域的情況這4種，對求取緊下塊Ba的解碼信號直流成分R(l-1，t，Ba)的方法的差異進行說明。
(1)緊下塊Ba是幀內預測的情況 在緊下塊Ba進行幀內預測，並且該預測是利用Constrained IntraPrediction的情況下，緊下塊Ba內的解碼信號不進行反運動補償而能夠全部重建(reconstructed)。
在這裡，Constrained Intra Prediction指的是，在非專利文獻1中舉出的H.264和非專利文獻2中舉出的JSVC中使用的、賦予了如下制約的幀內預測方式的一種，該制約為在鄰接塊中不存在幀內預測模式時，相關塊不能採用幀內預測模式。
根據該方式，由於採用的幀內預測模式的塊能夠封閉在相關幀內對塊內的解碼信號進行重建，所以不需要反運動補償。
因此，在緊下塊Ba是幀內預測，並且該預測為Constrained IntraPrediction的情況下，單純地對緊下塊Ba內的解碼信號全部進行重建，根據該各信號計算直流成分即可。如果在不是Constrained IntraPrediction的幀內預測的情況下，不執行本發明。
(2)緊下塊Ba是幀內預測、並且是單方向預測的情況 在緊下塊Ba是單方向預測的情況下，能夠以下述方式推定緊下塊Ba的解碼信號直流成分R(l-1，t，Ba)。
R(l-1，t，Ba)≈w0』·R(l-1，t-T0，Bb0) +d0』+E(l-1，t，Ba)..(15)式 可是，R(l-1，t-T0，Bb0)的信息在不對緊下層的解碼信號全部進行重建的情況下不能夠獲得。
因此，假定 R(l-1，t-T0，Bb0)≈R(l，t-T0，Bc0) ....(16)式，相關層內的塊Bb0的緊上塊Bc0的解碼信號直流成分R(l，t-T0，Bc0)被代替使用。
如果相關層和緊下層的解碼信號直流成分中包含的量化失真不大的話，該式(16)的假定通常成立。
如果層l的幀t-T0是相關層t的被參照幀的話，為了進行運動預測而在緩衝器中保持塊Bc0的解碼信號。
因此，通過在緊下塊Ba的解碼信號直流成分的計算中使用通過式(16)推定的值，在緊下層中不進行反運動補償而能夠計算權重係數。
由此，在本發明中，以下式的方式推定R(l-1，t，Ba)。
R(l-1，t，Ba)≈w0』·R(l，t-T0，Bc0) +d0』+E(l-1，t，Ba)..(17)式 在這裡，可能存在緊下塊Ba內由多個小塊構成，包含多個運動矢量的情況。例如，在相關塊B是16×16尺寸的情況下，緊下塊Ba是8×8尺寸。在JSVC中，作為能夠採用的塊尺寸準備有4×4、4×8、8×4、8×8、8×16、16×8、16×16的7種。
由此，在緊下塊Ba為8×8尺寸的情況下，最大包含4個小塊。
在包含多個小塊的情況下，對應於各小塊的面積對各小塊內的解碼信號直流成分值進行加權，將其總和作為緊下塊Ba的解碼信號直流成分R(l-1，t，Ba)。
在以下記述以多個小塊構成的情況下的具體的計算過程。
如圖6所示，假定相關塊B是16×16尺寸，緊下塊Ba中包含2個4×4尺寸的小塊、和1個4×8尺寸的小塊。在這裡，將各小塊作為Ba0、Ba1(分別是4×4尺寸)、Ba2(4×8尺寸)。
此外，將小塊Ba0、Ba1、Ba2的運動預測的被參照塊分別作為Bb00、Bb01、Bb02，將與各被參照塊在空間的相同位置存在的相關層中的緊上塊作為Bc00、Bc01、Bc02。
此外，將分配到小塊Ba0、Ba1、Ba2的權重係數分別作為(w00′，d00′)、(w01′，d01′)、(w02′，d02′)。
這時，塊Ba的解碼信號直流成分R(l-1，t，Ba)以如下方式計算。
R(l-1，t，Ba)＝(1/4)·〔w00』·R(l，t-T0，Bc00) +d00』+E(l-1，t，Ba0)〕 +(1/4)·〔w01』·R(l，t-T0，Bc01) +d01』+E(l-1，t，Ba1)〕 +(1/2)·〔w02』·R(l，t-T0，Bc02) +d02』+E(l-1，t，Ba2)〕 ....(18)式 (3)緊下塊Ba是幀內預測、並且是雙預測的情況 在緊下塊Ba是雙預測的情況下，能夠以下述方式推定緊下塊Ba的解碼信號直流成分R(l-1，t，Ba)。
R(l-1，t，Ba)≈w0』·R(l-1，t-T0，Bb0) +w1』·R(l-1，t+T1，Bb1)+(1/2)·(d0』+d1』)+E(l-1，t，Ba) ....(19)式 可是，與單方向預測的情況同樣地，R(l-1，t-T0，Bb0)和R(l-1，t+T1，Bb1)的信息在不對緊下層的解碼信號全部進行解碼的情況下不能夠獲得。
因此，假定 R(l-1，t-T0，Bb0)≈R(l，t-T0，Bc0) R(l-1，t+T1，Bb1)≈R(l，t+T1，Bc1) ....(20)式，相關層內的塊Bb0、Bb1的緊上塊Bc0、Bc1的解碼信號直流成分R(l，t-T0，Bc0)和R(l，t+T1，Bc1)被代替使用。
如果相關層和緊下層的解碼信號直流成分中包含的量化失真不大的話，該式(20)的假定通常成立。
由此，在本發明中，以下式的方式推定R(l-1，t，Ba)。
R(l-1，t，Ba)≈w0』·R(l，t-T0，Bc0) +w1』·R(l，t+T1，Bc1) +(1/2)·(d0』+d1』)+E(l-1，t，Ba) ....(21)式 在這裡，與單方向預測的情況同樣地，可能存在塊Ba內由多個小塊構成，包含多個運動矢量的情況。
這時，與單方向預測的情況同樣地，對應於各小塊的面積對各小塊內的直流成分值進行加權，將其總和作為緊下塊Ba的解碼信號直流成分R(l-1，t，Ba)。
例如，假定相關塊B是16×16尺寸，緊下塊Ba中包含2個4×4尺寸的小塊、和1個4×8尺寸的小塊。在這裡，將各小塊作為Ba0、Ba1、Ba2。
此外，將小塊Ba0、Ba1、Ba2的雙預測的被參照塊分別作為Bb00、Bb01、Bb02、Bb10、Bb11、Bb12，將與該各被參照塊在空間的相同位置存在的相關層中的緊上塊作為Bc00、Bc01、Bc02、Bc10、Bc11、Bc12。
此外，將分配到小塊Ba0、Ba1、Ba2的權重係數分別作為(w00′，d00′)、(w10′，d10′)、(w01′，d01′)、(w11′，d11′)、(w02′，d02′)、(w12′，d12′)。
這時，塊Ba的解碼信號直流成分R(l-1，t，Ba)以如下方式計算。
[數式2] ....(22)式 (4)在緊下塊Ba中單方向預測和雙預測混合存在的情況 塊Ba內的多個小塊(例4×4)，能夠分別獨立地採用單方向預測或雙預測。這時，以與(2)和(3)同樣的過程，對應於各小塊的面積對直流成分值進行加權，將其總和作為塊Ba的解碼信號直流成分R(l-1，t，Ba)。
以下，與(2)和(3)同樣地，假定相關塊B是16×16尺寸，緊下塊Ba中包含2個4×4尺寸的小塊(Ba0、Ba1)、和1個4×8尺寸的小塊(Ba2)。
在這裡，Ba0和Ba2是單方向預測，Ba1是雙預測。而且，將小塊Ba0、Ba2的單方向預測的被參照塊分別作為Bb00、Bb02，將小塊Ba1的雙預測的被參照塊分別作為Bb01、Bb11。
將與該各被參照塊在空間的相同位置存在的相關層中的緊上塊作為Bc00、Bc02、Bc01、Bc11。
此外，將分配到小塊Ba0、Ba1、Ba2的權重係數分別作為(w00′，d00′)、(w01′，d01′)、(w11′，d11′)、(w02′，d02′)。
這時，塊Ba的解碼信號直流成分R(l-1，t，Ba)以如下方式計算。
[數式3] ....(23)式 如上所述，本發明在緊下塊Ba是幀內預測、並且該預測不利用Constrained Intra Prediction的情況下不實施。此外，在預測參照塊Bb0、Bb1的緊上塊Bc0、Bc1的解碼信號沒有儲存在用於運動預測的緩衝器的情況下，也不實施。
在不實施本發明的情況下，使用其它的預測方式進行編碼。例如，JSVS的加權運動補償、未加權的通常的運動預測、幀內預測等。
此外，在緊下層進行幀間預測的情況下，如果緊下層中的加權運動預測是非常高性能的話，緊下塊Ba的預測殘差信號的直流成分E(l-1，t，Ba)大致變為零。
在這樣的情況下，不需要考慮該預測殘差信號的直流成分。由於不進行考慮就能夠省略預測殘差信號的直流成分的解碼，所以能夠進一步節省在解碼中使用的存儲器和計算量。因此，在重視存儲器和計算量的削減的情況下，不進行預測殘差信號的直流成分的加法也可。
接著，在JSVC的參照解碼器JSVM8.0中實施本發明，針對如下實驗進行說明，該實驗驗證單方向預測中的進行根據本發明的比例係數校正的WP(Weighted Prediction，加權預測)、和進行偏置係數校正的WP的編碼性能。
在該實驗中，基本層使用JSVM的WP進行編碼，在增強層中應用本發明的WP。性能驗證根據在增強層中應用JSVM的WP的情況下，和應用本發明的WP的情況下的率失真特性進行評價 使用JSVC標準圖像的City，Soccer，Foreman的3個視頻圖像，在各視頻圖像的先頭33幀中混合白的線性淡化。
將淡化的種類是淡入/淡出(fade in/fade out)的2種作為實驗對象，將該淡化混合部分的33幀作為編碼對象幀。
在基本層輸入30fps的QCIF(176×144像素的圖像尺寸)圖像，在增強層中輸入30fps的CIF(352×288像素的圖像尺寸)圖像，圖像類型是IPPP形式。
量化參數嘗試21，24，27，30的4種，在基本層和增強層中使用相同的值。
運動探索僅為整數精度，進行全檢索。
在表2中，表示相對於JSVM的WP的、通過應用本發明引起的碼量的削減結果。最大實現6.38％的碼量削減。可知在整體上，在淡出視頻圖像中削減效果大。
[表2] 表2從JSVM WP的碼量削減率[％]
在這裡，針對各方法的每1個，求取實現了最大削減率的City的淡出視頻圖像中的PSNR(Peak Signal to Noise Ratio，峰值信噪比)和比特率，對其進行比較(「Y PSNR」表示亮度信號的PSNR)。
通過該該圖，可知本發明的方法能夠不依賴於速率而實現碼量的削減。
當比較比例係數校正和偏置係數校正時，在淡入視頻圖像在幾乎看不到兩者的差異(省略圖示)，但在淡出視頻圖像中可知偏置係數校正的效果大。
在上述性能驗證中，在淡出視頻圖像中利用偏置係數校正的WP平均實現4.39％的碼量削減率。
本實驗表示單方向預測中的編碼特性，但在雙預測中能夠預計同樣的性能提高。
實施例 接著，按照實施例對本發明詳細地進行說明。
[處理的流程] [編碼處理的實施例] 參照圖8對本發明的編碼處理的實施例進行說明。
進行說明的實施例是對1個宏塊進行的編碼處理。通過對所有的宏塊實施該處理，構成整體的編碼信息。
步驟S101進行相關增強層的相關宏塊是否是加權運動預測的對象宏塊的判定處理，在為真的情況下進行步驟S103的處理，在為假的情況下進行步驟S102的處理。
步驟S102按照在步驟S101的處理中輸出的相關宏塊的預測模式信息進行預測信號的生成。
在這裡的預測方式中，可以舉出幀內預測、未加權的通常的運動預測、以及層間預測。作為各方式的預測方法的1個例子，可以舉出非專利文獻3舉出的JSVM的預測方法。
步驟S103對於相關宏塊，讀入相關宏塊的原信號、(被參照幀內的)探索對象宏塊的解碼信號和緊下層的編碼信息，進行加權運動推定，輸出運動矢量信息。本處理的詳細在圖10中表示(後述)。
步驟S104讀入在步驟S103的處理中輸出的運動矢量信息、和緊下層的編碼信息，進行加權運動補償，輸出加權運動預測信號。本處理的詳細在圖11中表示(後述)。
步驟S105讀入通過步驟S102或步驟S104的處理輸出的預測信號，生成與相關宏塊的原信號的差分信號，進行該差分信號的編碼。
作為該差分信號的編碼處理的1個例子，可以舉出非專利文獻3中舉出的JSVM的編碼處理。
[解碼處理的實施例] 參照圖9對本發明的解碼處理的實施例進行說明。
進行說明的實施例是對1個宏塊的解碼處理。通過對所有的宏塊實施該處理，構成整體的解碼信號。
步驟S201讀入與相關增強層的相關宏塊的預測模式相關的編碼信息，進行解碼處理，輸出預測模式信息。
步驟S202進行相關增強層的相關宏塊是否是加權運動預測的對象宏塊的判定處理，在為真的情況下進行步驟S204的處理，在為假的情況下進行步驟S203的處理。
步驟S203按照在步驟S201的處理中輸出的相關宏塊的預測模式信息進行預測信號的生成。在這裡的預測方式中，可以舉出幀內預測、未加權的通常的運動預測、以及層間預測。
步驟S204讀入與相關宏塊的運動矢量相關的編碼信息，進行解碼處理，輸出運動矢量信息。
步驟S205讀入在步驟S204的處理中輸出的運動矢量信息、和緊下層的編碼信息，進行加權運動補償，輸出加權運動預測信號。本處理的詳細在圖11中表示(後述)。
步驟S206讀入通過步驟S203或步驟S205的處理輸出的預測信號，與解碼後的預測殘差信號相加，構成解碼信號，進行輸出。
[步驟S103的處理的詳細] 參照圖10，對本發明的加權運動推定處理(步驟S103的處理)的實施例進行說明。
步驟S301讀入緊下層的編碼信息和現在的探索對象宏塊的解碼信號，計算對探索對象宏塊施加的權重係數，進行輸出。本處理的詳細在圖12中表示(後述)。
步驟S302讀入通過步驟S301的處理輸出的權重係數信息，通過該權重係數對現在的探索對象宏塊的解碼信號進行加權，輸出該被加權後的信號值。
步驟S303對通過步驟S302的處理輸出的信號值和相關宏塊的原信號之間的、通過碼量和編碼失真量構成的編碼成本進行計算，進行輸出。
作為該編碼成本的1個例子，可以舉出非專利文獻3中舉出的JSVM中的、碼量和利用平方誤差的編碼失真間的拉格朗日成本。
步驟S304進行針對應該探索的所有宏塊是否進行了探索的判定處理，在為真的情況下進行步驟S306的處理，在為假的情況下進行步驟S305的處理。
步驟S305將處理對象轉移至下1個的探索對象宏塊。
步驟S306讀入通過步驟S303的處理輸出的編碼成本的信息，在探索了的宏塊中選定編碼成本成為最小的宏塊，將該宏塊與相關宏塊的坐標位置的差分作為運動矢量進行輸出。
[步驟S104、步驟S205的處理的詳細] 參照圖11，對本發明的加權運動補償處理(步驟S104、步驟S205的處理)的實施例進行說明。
步驟S401讀入相關宏塊的運動矢量信息，進行輸出。該運動矢量信息在編碼處理中的加權運動補償的情況下從加權運動推定的輸出讀入，在解碼處理的加權運動補償的情況下從運動矢量的解碼處理的輸出讀入。
步驟S402讀入緊下層的編碼信息、和通過步驟S401的處理輸出的運動矢量信息，計算對運動矢量所指的被參照宏塊施加的權重係數，進行輸出。本處理的詳細在圖12中表示(後述)。
步驟S403讀入通過步驟S402的處理輸出的權重係數信息，通過該權重係數對被參照宏塊的解碼信號進行加權，輸出該被加權後的信號值。
[步驟S301、步驟S402的處理的詳細] 參照圖12，對本發明的權重係數計算處理(步驟S301、步驟S402的處理)的實施例進行說明。
步驟S501讀入緊下層的編碼信息，進行相關宏塊的緊下塊的預測模式是否是幀內預測的判定處理，在為真的情況下進行步驟S504的處理，在為假的情況下進行步驟S502的處理。
步驟S502進行緊下塊在運動預測中參照的被參照塊的緊上塊的解碼信號是否為了運動預測而儲存在緩衝器中的判定處理，在為真的情況下進行步驟S503的處理，在為假的情況下進行步驟S512的處理。
步驟S503讀入緊下層的編碼信息和相關層的被參照幀的解碼信號，推定緊下塊的直流成分的值，進行輸出。本處理的詳細在圖13中表示(後述)。
步驟S504讀入緊下層的編碼信息，進行相關宏塊的緊下塊的幀內預測是否是Constrained Intra Prediction的判定處理，在為真的情況下進行步驟S505的處理，在為假的情況下進行步驟S512的處理。
步驟S505讀入緊下層的編碼信息，進行緊下塊的解碼處理，對塊內的全部信號進行重建，輸出到緩衝器。
步驟S506從緩衝器讀入緊下塊內的解碼信號，對緊下塊的解碼信號的直流成分進行計算，輸出到寄存器。
步驟S507讀入相關宏塊的預測模式信息，進行預測模式是否是單方向預測的判定處理，在為真的情況下進行步驟S508的處理，在為假的情況下進行步驟S511的處理。
步驟S508進行通過外部指定的權重係數計算方法是否是比例係數校正型的判定處理，在為真的情況下進行步驟S509的處理，在為假的情況下進行步驟S510的處理。
在這裡，比例係數校正型指的是按照上述的式(12)實施的權重係數的計算方法。
通常，比例係數校正型主要在白淡入視頻圖像和黑淡出視頻圖像中發揮效果，相對於此，作為按照上述的式(13)而實施的權重係數的計算方法的偏置係數校正型，主要在白淡出視頻圖像和黑淡入視頻圖像中發揮效果。
因此，優選來自外部的權重係數計算方法的指定信息按照淡化類型的判定結果來決定。
步驟S509讀入通過步驟S503的處理推定的緊下塊的直流成分、或通過步驟S506的處理計算出的緊下塊的直流成分的任何1個的值，將該直流成分值和被參照塊的直流成分值的比定為比例係數，將偏置係數定為0，進行輸出。本處理按照上述的式(12)。
步驟S510讀入通過步驟S503的處理推定的緊下塊的直流成分、或通過步驟S506的處理計算出的緊下塊的直流成分的任何1個的值，將該直流成分值和被參照塊的直流成分值的差定為偏置係數，將比例係數定為1，進行輸出。本處理按照上述的式(13)。
步驟S511讀入被參照塊和相關塊的幀間距離的信息，將其比定為比例係數，讀入通過步驟S503的處理推定的緊下塊的直流成分、或通過步驟S506的處理計算出的緊下塊的直流成分的任何1個的值，將該直流成分值、和將上述比例係數應用於2個被參照塊的直流成分值進行運算後的值的差定為偏置係數，進行輸出。本處理按照上述的式(14)。
步驟S512實施不參照緊下塊的推定直流成分的權重係數計算方法。
作為例子，考慮非專利文獻3中舉出的JSVM中的利用Implicit模式或Explicit模式的權重係數的計算方法。
[步驟S503的處理的詳細] 參照圖13，對本發明的緊下塊直流成分的推定處理(步驟S503的處理)的實施例進行說明。
步驟S601讀入與相關緊下塊的小塊的分割信息相關的編碼信息，對其進行解碼，識別相關緊下塊的小塊的分割構造。
步驟S602讀入與相關小塊的參照幀索引相關的編碼信息，對其進行解碼，寫入寄存器。
步驟S603讀入與相關小塊的運動矢量相關的編碼信息，對其進行解碼，寫入寄存器。
步驟S604讀入與相關小塊的權重係數相關的編碼信息，對其進行解碼，寫入寄存器。
步驟S605讀入與相關小塊的預測殘差信號的直流成分相關的編碼信息，對其進行解碼，寫入寄存器。
步驟S606從寄存器讀入通過步驟S602的處理和步驟S603的處理輸出的參照幀索引和運動矢量的信息，識別相關小塊的運動預測的被參照塊的位置。
步驟S607讀入在步驟S606的處理中識別的被參照塊的緊上塊的解碼信號，計算該解碼信號的直流成分，將該直流成分值寫入寄存器。
步驟S608從寄存器讀入在步驟S607的處理中計算出的直流成分值，使用通過步驟S604的處理計算出的權重係數對其進行加權，將其值寫入寄存器。
步驟S609從寄存器讀入在步驟S608的處理中計算出的被加權後的直流成分值，對其加上通過步驟S605的處理計算出的預測殘差信號的直流成分值，將該值看作相關小塊的直流成分的推定值，寫入寄存器。
步驟S610對全部的小塊進行是否結束了直流成分的推定處理的判定處理，在為真的情況下進行步驟S611的處理，在為假的情況下進行步驟S612的處理。
步驟S611讀入在步驟S609的處理中計算出的各小塊的推定直流成分值，對應於相關緊下塊中的各小塊的面積比對各小塊的推定直流成分值進行加權，將其加權和看作相關緊下塊的直流成分的推定值，進行輸出。
步驟S612將處理對象轉移至下1個的直流成分的推定對象小塊。
[處理裝置] [編碼裝置的實施例] 參照圖14對根據本發明的編碼裝置的實施例進行說明。圖14是針對1個宏塊進行編碼的裝置的圖。
預測方法判定部101讀入對應宏塊的預測方式的指定信息，按照該指定信息轉移到各預測部的處理。
如果指定的預測方式是幀內預測的話轉移到幀內預測部102的處理，如果是不加權的通常的運動預測的話轉移到未加權運動預測部103的處理，如果是層間預測的話轉移到層間預測部104的處理，如果是加權運動預測的話轉移到加權運動推定部105的處理。
幀內預測部102讀入編碼對象幀的、成為對象的原信號和解碼信號，執行幀內預測而創建預測信號，將該預測信號向預測殘差信號生成部107輸出。
作為幀內預測的方法的1個例子，可以舉出非專利文獻3所示的JSVM的幀內預測。
未加權運動預測部103讀入成為編碼對象幀的對象的原信號和成為被參照幀的對象的解碼信號，執行不加權的通常的運動預測並創建預測信號，將該預測信號向預測殘差信號生成部107輸出。
作為未加權通常的運動預測方法的1個例子，可以舉出非專利文獻3所示的JSVM的未加權的通常的運動預測。
層間預測部104讀入編碼對象幀的、成為對象的原信號和緊下層的編碼信息，執行層間預測並創建預測信號，將該預測信號向預測殘差信號生成部107輸出。
作為層間預測的方法的1個例子，可以舉出非專利文獻3所示的JSVM的層間預測。
加權運動推定部105讀入編碼對象幀的、成為對象的原信號、從相關增強層解碼信號存儲部110輸出的被參照幀的解碼信號、以及從緊下層編碼信息存儲部111輸出的緊下層的編碼信息，執行加權運動推定，生成運動矢量，將該運動矢量信息向加權運動補償部106輸出。在圖16中表示加權運動推定部105的詳細結構(後述)。
加權運動補償部106讀入從相關增強層解碼信號存儲部110輸出的被參照幀的解碼信號、以及從緊下層編碼信息存儲部111輸出的緊下層的編碼信息，執行加權運動補償，生成預測信號，將該預測信號向預測殘差信號生成部107輸出。在圖17中表示加權運動補償部106的詳細結構(後述)。
預測殘差信號生成部107讀入編碼對象幀的成為對象的原信號、以及從幀內預測部102或未加權運動預測部103或層間預測部104或加權運動補償部106輸出的預測信號，生成原信號與預測信號的差分信號，向預測殘差信號編碼部108輸出。
預測殘差信號編碼部108讀入從預測殘差信號生成部107輸出的預測殘差信號，進行編碼處理，作為編碼信息進行輸出。
此外，為了將該編碼信息向解碼部109輸入，同時向緩衝器輸出。
作為該預測殘差信號的編碼處理的1個例子，可以舉出非專利文獻3所示的JSVM的應用正交變換、量化、可變長度編碼的一系列的處理。
解碼部109從相關緩衝器讀入編碼信息，進行解碼處理，將得到的解碼信號向相關增強層解碼信號存儲部110輸出。
在該解碼處理中應用本發明的解碼處理。作為解碼部109而發揮功能的解碼裝置的詳細結構在圖15中表示(後述)。
緊下層編碼信息存儲部111讀入緊下層的編碼信息，向緩衝器輸出。
[解碼裝置的實施例] 參照圖15對本發明的解碼裝置的實施例進行說明。圖15是針對相關增強層中的1個宏塊進行解碼的裝置的圖。
預測模式解碼部201讀入與相關宏塊的預測模式相關的編碼信息，進行其解碼處理，向預測模式存儲部202輸出預測模式信息。
預測方法判定部203從預測模式存儲部202讀入預測模式信息，按照該指定信息轉移到各預測部的處理。
如果指定的預測方式是幀內預測的話轉移到幀內預測部204的處理，如果是不加權的通常的運動預測的話轉移到未加權運動預測部205的處理，如果是層間預測的話轉移到層間預測部206的處理，如果是加權運動預測的話轉移到運動矢量信息解碼部207的處理。
幀內預測部204讀入編碼對象幀的、成為對象的原信號和解碼信號，執行幀內預測並創建預測信號，將該預測信號向解碼信號生成部213輸出。
未加權運動預測部205讀入成為編碼對象幀的對象的原信號和成為被參照幀的對象的解碼信號，執行不加權的通常的運動預測並創建預測信號，將該預測信號向解碼信號生成部213輸出。
層間預測部206讀入編碼對象幀的、成為對象的原信號和緊下層的編碼信息，執行層間預測並創建預測信號，將該預測信號向解碼信號生成部213輸出。
運動矢量信息解碼部207讀入與相關宏塊的運動矢量相關的編碼信息，進行其解碼處理，向運動矢量信息存儲部208輸出運動矢量信息。
加權運動補償部209讀入從相關增強層解碼信號存儲部214輸出的被參照幀的解碼信號、以及從緊下層解碼信號存儲部210輸出的緊下層的編碼信息，執行加權運動補償，生成預測信號，將該預測信號向解碼信號生成部213輸出。在圖17中表示加權運動補償部209的詳細結構(後述)。
緊下層編碼信息存儲部210讀入緊下層的編碼信息，向緩衝器輸出。
殘差信號解碼部211讀入與相關宏塊的殘差信號相關的編碼信息，進行其解碼處理，向殘差信號存儲部212輸出殘差信號。
解碼信號生成部213讀入從幀內預測部204或未加權運動預測部205或層間預測部206或加權運動補償部209輸出的預測信號，將其與從殘差信號存儲部212讀入的殘差信號進行合成，生成解碼信號，進行輸出。
此外，同時也將該解碼信號寫入相關增強層解碼信號存儲部214。
[加權運動推定部105的結構的詳細] 參照圖16，對本發明的加權運動推定部105的實施例進行說明。圖16是針對相關增強層的1個宏塊進行加權運動推定的裝置的圖。
探索對象塊設置部301讀入相關增強層的被參照幀的解碼信號，識別成為運動推定的探索對象的宏塊，將該宏塊的解碼信號向權重係數計算部302輸出。
權重係數計算部302讀入從探索對象塊設置部301輸出的探索對象宏塊的解碼信號、和緊下層的編碼信息，計算對探索對象宏塊施加的權重係數，向權重係數存儲部303輸出。
加權運動推定信號生成部304從權重係數存儲部303讀入權重係數，通過權重係數對相關探索對象宏塊的解碼信號進行加權，將該被加權後的信號向加權運動推定信號存儲部305輸出。
編碼成本計算部306從緩衝器讀入相關宏塊的原信號，從加權運動推定信號存儲部305讀入加權運動推定信號，計算與相關宏塊的原信號之間的、由碼量和編碼失真量構成的編碼成本，將該編碼成本向編碼成本存儲部307輸出，轉移到探索完成判定部308的處理。
作為該編碼成本的1個例子，可以舉出非專利文獻3中舉出的JSVM中的、碼量和利用平方誤差的編碼失真之間的拉格朗日成本。
探索完成判定部308進行如下判定處理，即，是否針對指定的全部探索範圍內的候補進行了相關宏塊的在被參照幀內的加權運動推定的探索，在為真的情況下轉移到被參照塊決定部309的處理，在為假的情況下轉移到探索對象塊設置部301的處理。
被參照塊決定部309從編碼成本存儲部307讀入針對全部探索對象宏塊的編碼成本數據組，將編碼成本最小的探索對象宏塊決定為被參照塊，將該被參照塊和相關宏塊的坐標位置的差分作為運動矢量信息進行輸出。
[加權運動補償部106、209的結構的詳細] 參照圖17，對本發明的加權運動補償部106、209的實施例進行說明。圖17是針對相關增強層的1個宏塊進行加權運動補償的裝置的圖。
被參照塊信號設置部401讀入被參照幀的解碼信號和運動矢量信息，識別被參照宏塊，將該宏塊的解碼信號向權重係數計算部402輸出。
該運動矢量信息在編碼裝置內設置有本加權運動補償部的情況下(即，加權運動補償部106的情況下)通過加權運動推定部105賦予，在解碼裝置內設置有本加權運動補償部的情況下(即，加權運動補償部209的情況下)通過運動矢量信息解碼部207賦予。
權重係數計算部402讀入從被參照塊信號設置部401輸出的被參照宏塊的解碼信號、和緊下層的編碼信息，計算對被參照宏塊施加的權重係數，向權重係數存儲部403輸出。
加權運動預測信號生成部404從權重係數存儲部403讀入權重係數，通過權重係數對被參照塊的解碼信號進行加權，將該被加權後的信號向加權運動預測信號存儲部405輸出。
[權重係數計算部302、402的結構的詳細] 參照圖18對上述權重係數計算部302、402的實施例進行說明。圖18是針對相關增強層中的1個宏塊計算權重係數的裝置的圖。
緊下塊預測模式判定部501讀入緊下層的編碼信息，進行相關宏塊的緊下塊的預測模式的判定處理，(i)在同預測模式是幀內預測，並且該預測是Constrained Intra Prediction的情況下，轉移到緊下塊內信號解碼部505的處理，(ii)在同預測模式是幀內預測，並且該預測不是Constrained Intra Prediction的情況下，轉移到緊下塊推定直流成分非參照權重係數計算部512的處理，(iii)在同預測模式是幀間預測的情況下，轉移到緊下塊預測參照目的地緊上解碼信號緩衝判定部502的處理。
緊下塊預測參照目的地緊上解碼信號緩衝判定部502進行緊下塊參照的預測參照塊的緊上塊的解碼信號是否被緩衝的判定處理，在是真的情況下轉移到緊下塊直流成分推定部503的處理，在是假的情況下轉移到緊下塊推定直流成分非參照權重係數計算部512的處理。
緊下塊直流成分推定部503讀入緊下層的編碼信息和相關層的被參照幀的解碼信號，推定緊下塊的直流成分的值，向緊下塊推定直流成分存儲部504輸出。緊下塊直流成分推定部503的詳細結構在圖19中表示(後述)。
緊下塊內信號解碼部505讀入緊下層的編碼信息，對緊下塊內的解碼信號全部進行重建，將該解碼信號向緊下塊直流成分計算部506輸出。
緊下塊直流成分計算部506從緊下塊內信號解碼部505讀入緊下塊內的解碼信號，計算緊下塊內的解碼信號的直流成分，轉移到相關宏塊預測模式判定部507。
相關宏塊預測模式判定部507讀入相關宏塊的預測模式信息，進行預測模式是否為單方向預測的判定處理，在是真的情況下轉移到權重係數計算方法判定部508的處理，在為假的情況下轉移到雙預測權重係數計算部509的處理。
權重係數計算方法判定部508進行通過外部指定的權重係數計算方法是否是比例係數校正型的判定處理，在為真的情況下轉移到單方向預測比例係數校正型權重係數計算部510的處理，在為假的情況下進行單方向預測偏置係數校正型權重係數計算部511的處理。
在這裡，比例係數校正型指的是按照上述的式(12)實施的權重係數的計算方法。
通常，比例係數校正型主要在白淡入視頻圖像和黑淡出視頻圖像中發揮效果，相對於此，作為按照上述的式(13)而實施的權重係數的計算方法的偏置係數校正型，主要在白淡出視頻圖像和黑淡入視頻圖像中發揮效果。
因此，優選來自外部的權重係數計算方法的指定信息按照淡化類型的判定結果來決定。
雙預測權重係數計算部509讀入被參照塊和相關塊的幀間距離的信息，將其比定為比例係數，從緊下塊推定直流成分存儲部504或緊下塊直流成分計算部506讀入緊下塊的直流成分的值，將該直流成分值、和將上述的比例係數應用於2個被參照塊的直流成分值進行運算後的值的差定為偏置係數，進行輸出。本處理按照上述的式(14)。
單方向預測比例係數校正型權重係數計算部510從緊下塊推定直流成分存儲部504或緊下塊直流成分計算部506讀入緊下塊的直流成分的值，將該直流成分值和被參照塊的直流成分值的比定為比例係數，將偏置係數定為0，進行輸出。本處理按照上述的式(12)。
單方向預測偏置係數校正型權重係數計算部511從緊下塊推定直流成分存儲部504或緊下塊直流成分計算部506讀入緊下塊的直流成分的值，將該直流成分值和被參照塊的直流成分值的差定為偏置係數，將比例係數定為1，進行輸出。本處理按照上述的式(13)。
緊下塊推定直流成分非參照權重係數計算部512進行不使用緊下塊的直流成分的權重係數的計算方法，進行輸出。
作為本處理的例子，能夠應用非專利文獻3中舉出的JSVM中的利用Explicit模式或Implicit模式的權重係數的計算方法。
[緊下塊直流成分推定部503結構的詳細] 參照圖19對本發明的緊下塊直流成分推定部503的實施例進行說明。圖19是針對相關增強層中的1個宏塊進行緊下塊直流成分的推定的裝置的圖。
小塊分割信息解碼部601讀入與相關緊下塊的小塊的分割信息相關的編碼信息，對其進行解碼，將被解碼的小塊的分割信息向小塊分割信息存儲部602輸出。
參照幀索引(index)信息解碼部603讀入與相關宏塊的參照幀索引相關的編碼信息，對其進行解碼，將解碼後的參照幀索引信息向參照幀索引信息存儲部604輸出。
運動矢量信息解碼部605讀入與相關小塊的運動矢量相關的編碼信息，對其進行解碼，將解碼後的運動矢量信息向運動矢量信息存儲部606輸出。
權重係數信息解碼部607讀入與相關小塊的權重係數相關的編碼信息，對其進行解碼，將解碼後的權重係數信息向權重係數信息存儲部608輸出。
預測殘差信號直流成分信息解碼部609讀入與相關小塊的預測殘差信號的直流成分相關的編碼信息，對其進行解碼，將解碼後的預測殘差信號的直流成分信息向預測殘差信號直流成分信息存儲部610輸出。
相關小塊預測參照位置識別部611從參照幀索引信息存儲部604和運動矢量信息存儲部606，分別讀入解碼後的參照幀索引和運動矢量的信息，識別相關小塊的運動預測的被參照塊的位置。
緊上塊解碼信號直流成分計算部612讀入在相關小塊預測參照位置識別部611中識別的被參照塊的緊上塊的解碼信號，計算該解碼信號的直流成分，向緊上塊解碼信號直流成分存儲部613輸出。
權重係數運算部614從緊上塊解碼信號直流成分存儲部613讀入被參照塊的緊上塊的解碼信號的直流成分，或，從權重係數信息存儲部608讀入被分配到相關小塊的權重係數，使用權重係數對緊上塊的解碼信號的直流成分進行加權，將加權後的直流成分向預測殘差信號直流成分加法部615輸出。
預測殘差信號直流成分加法部615讀入從權重係數運算部614輸出的、被加權後的緊上塊的解碼信號的直流成分的值，或從預測殘差信號直流成分信息存儲部610讀入被解碼後的預測殘差信號的直流成分，對兩者相加，將其值向相關小塊推定直流成分存儲部616輸出。
小塊直流成分推定處理判定部617進行是否對全部的小塊完成了直流成分的推定處理的判定處理，在為真的情況下轉移到相關緊下塊推定直流成分計算部618，在為假的情況下轉移到推定對象小塊更新部619。
相關緊下塊推定直流成分計算部618從相關小塊推定直流成分存儲部616讀入各小塊的推定直流成分，對應於相關緊下塊中的各小塊的面積比對各小塊的推定直流成分值進行加權，將其加權和看作相關緊下塊的直流成分的推定值，進行輸出。
推定對象小塊更新部619將處理對象轉移到下1個直流成分的推定對象小塊。
產業上的利用可能性 本發明能夠應用於活動圖像可分級編碼，根據本發明，能夠不傳輸權重係數而執行高精度的加權運動預測。
權利要求
1.一種活動圖像可分級編碼方法，在活動圖像可分級編碼中使用，計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的編碼對象圖像區域和被參照圖像區域之間的明亮度變化，將該權重係數應用於成為探索對象的被參照圖像區域的圖像信號進行運算而進行運動的推定，由此計算運動矢量，將該權重係數應用於該運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號，該活動圖像可分級編碼方法的特徵在於，具有
基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構的步驟；以及
在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數的步驟。
2.根據權利要求1所述的活動圖像可分級編碼方法，其特徵在於，
在所述決定權重係數的數據結構的步驟中，在被參照圖像區域是1個的情況下，作為比例係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的比，作為偏置係數，決定使用零。
3.根據權利要求1所述的活動圖像可分級編碼方法，其特徵在於，
在所述決定權重係數的數據結構的步驟中，在被參照圖像區域是1個的情況下，作為偏置係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的差，作為比例係數，決定使用1。
4.根據權利要求1所述的活動圖像可分級編碼方法，其特徵在於，
在所述決定權重係數的數據結構的步驟中，在被參照圖像區域是2個的情況下，作為比例係數，決定使用對應於編碼對象圖像區域和各被參照圖像區域之間的幀間距離計算出的值，作為偏置係數，決定使用以如下方式計算的值，即，從所述緊下圖像區域的直流成分，減去將該比例係數對2個被參照圖像區域的直流成分相乘後的值。
5.根據權利要求1所述的活動圖像可分級編碼方法，其特徵在於，
在所述計算權重係數的步驟中，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與緊下層被參照圖像區域在空間的相同位置存在，進一步對該運算的結果加上在緊下圖像區域中產生的運動預測的預測殘差信號的直流成分，將相加的結果看作緊下圖像區域的直流成分。
6.根據權利要求1所述的活動圖像可分級編碼方法，其特徵在於，
在所述計算權重係數的步驟中，在緊下圖像區域以更細小的小區域單位進行運動預測的情況下，按該小區域的每1個計算所述被看作直流成分的直流成分，基於該計算出的直流成分和各小區域的面積，計算所述被看作直流成分的直流成分。
7.一種活動圖像可分級解碼方法，在活動圖像可分級編碼中使用，計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的解碼對象圖像區域、和解碼後的運動矢量所指的被參照圖像區域之間的明亮度變化，將該權重係數應用於解碼後的運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號，該活動圖像可分級解碼方法的特徵在於，具有
基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構的步驟；以及
在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數的步驟。
8.根據權利要求7所述的活動圖像可分級解碼方法，其特徵在於，
在所述決定權重係數的數據結構的步驟中，在被參照圖像區域是1個的情況下，作為比例係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的比，作為偏置係數，決定使用零。
9.根據權利要求7所述的活動圖像可分級解碼方法，其特徵在於，
在所述決定權重係數的數據結構的步驟中，在被參照圖像區域是1個的情況下，作為偏置係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的差，作為比例係數，決定使用1。
10.根據權利要求7所述的活動圖像可分級解碼方法，其特徵在於，
在所述決定權重係數的數據結構的步驟中，在被參照圖像區域是2個的情況下，作為比例係數，決定使用對應於編碼對象圖像區域和各被參照圖像區域之間的幀間距離計算出的值，作為偏置係數，決定使用以如下方式計算的值，即，從所述緊下圖像區域的直流成分，減去將該比例係數對2個被參照圖像區域的直流成分相乘後的值。
11.根據權利要求7所述的活動圖像可分級解碼方法，其特徵在於，
在所述計算權重係數的步驟中，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與緊下層被參照圖像區域在空間的相同位置存在，進一步對該運算的結果加上在緊下圖像區域中產生的運動預測的預測殘差信號的直流成分，將相加的結果看作緊下圖像區域的直流成分。
12.根據權利要求7所述的活動圖像可分級解碼方法，其特徵在於，
在所述計算權重係數的步驟中，在緊下圖像區域以更細小的小區域單位進行運動預測的情況下，按該小區域的每1個計算所述被看作直流成分的直流成分，基於該計算出的直流成分和各小區域的面積，計算所述被看作直流成分的直流成分。
13.一種活動圖像可分級編碼裝置，在活動圖像可分級編碼中使用，計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的編碼對象圖像區域和被參照圖像區域之間的明亮度變化，將該權重係數應用於成為探索對象的被參照圖像區域的圖像信號進行運算而進行運動的推定，由此計算運動矢量，將該權重係數應用於該運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號，該活動圖像可分級編碼裝置的特徵在於，具有
基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構的單元；以及
在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數的單元。
14.根據權利要求13所述的活動圖像可分級編碼裝置，其特徵在於，
在所述決定權重係數的數據結構的單元中，在被參照圖像區域是1個的情況下，作為比例係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的比，作為偏置係數，決定使用零。
15.根據權利要求13所述的活動圖像可分級編碼裝置，其特徵在於，
在所述決定權重係數的數據結構的單元中，在被參照圖像區域是1個的情況下，作為偏置係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的差，作為比例係數，決定使用1。
16.根據權利要求13所述的活動圖像可分級編碼裝置，其特徵在於，
在所述決定權重係數的數據結構的單元中，在被參照圖像區域是2個的情況下，作為比例係數，決定使用對應於編碼對象圖像區域和各被參照圖像區域之間的幀間距離計算出的值，作為偏置係數，決定使用以如下方式計算的值，即，從所述緊下圖像區域的直流成分，減去將該比例係數對2個被參照圖像區域的直流成分相乘後的值。
17.根據權利要求13所述的活動圖像可分級編碼裝置，其特徵在於，
在所述計算權重係數的單元中，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與緊下層被參照圖像區域在空間的相同位置存在，進一步對該運算的結果加上在緊下圖像區域中產生的運動預測的預測殘差信號的直流成分，將相加的結果看作緊下圖像區域的直流成分。
18.根據權利要求13所述的活動圖像可分級編碼裝置，其特徵在於，
在所述計算權重係數的單元中，在緊下圖像區域以更細小的小區域單位進行運動預測的情況下，按該小區域的每1個計算所述被看作直流成分的直流成分，基於該計算出的直流成分和各小區域的面積，計算所述被看作直流成分的直流成分。
19.一種活動圖像可分級解碼裝置，在活動圖像可分級編碼中使用，計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的解碼對象圖像區域、和解碼後的運動矢量所指的被參照圖像區域之間的明亮度變化，將該權重係數應用於解碼後的運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號，該活動圖像可分級解碼裝置的特徵在於，具有
基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構的單元；以及
在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數的單元。
20.根據權利要求19所述的活動圖像可分級解碼裝置，其特徵在於，
在所述決定權重係數的數據結構的單元中，在被參照圖像區域是1個的情況下，作為比例係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的比，作為偏置係數，決定使用零。
21.根據權利要求19所述的活動圖像可分級解碼裝置，其特徵在於，
在所述決定權重係數的數據結構的單元中，在被參照圖像區域是1個的情況下，作為偏置係數，決定使用被參照圖像區域的直流成分和所述緊下圖像區域的直流成分的差，作為比例係數，決定使用1。
22.根據權利要求19所述的活動圖像可分級解碼裝置，其特徵在於，
在所述決定權重係數的數據結構的單元中，在被參照圖像區域是2個的情況下，作為比例係數，決定使用對應於編碼對象圖像區域和各被參照圖像區域之間的幀間距離計算出的值，作為偏置係數，決定使用以如下方式計算的值，即，從所述緊下圖像區域的直流成分，減去將該比例係數對2個被參照圖像區域的直流成分相乘後的值。
23.根據權利要求19所述的活動圖像可分級解碼裝置，其特徵在於，
在所述計算權重係數的單元中，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與緊下層被參照圖像區域在空間的相同位置存在，進一步對該運算的結果加上在緊下圖像區域中產生的運動預測的預測殘差信號的直流成分，將相加的結果看作緊下圖像區域的直流成分。
24.根據權利要求19所述的活動圖像可分級解碼裝置，其特徵在於，
在所述計算權重係數的單元中，在緊下圖像區域以更細小的小區域單位進行運動預測的情況下，按該小區域的每1個計算所述被看作直流成分的直流成分，基於該計算出的直流成分和各小區域的面積，計算所述被看作直流成分的直流成分。
25.一種活動圖像可分級編碼程序，用於使計算機執行權利要求1所述的活動圖像可分級編碼方法。
26.一種計算機能讀取的記錄介質，記錄有活動圖像可分級編碼程序，該活動圖像可分級編碼程序用於使計算機執行權利要求1所述的活動圖像可分級編碼方法。
27.一種活動圖像可分級解碼程序，用於使計算機執行權利要求7所述的活動圖像可分級解碼方法。
28.一種計算機能讀取的記錄介質，記錄有活動圖像可分級解碼程序，該活動圖像可分級解碼程序用於使計算機執行權利要求7所述的活動圖像可分級解碼方法。
全文摘要
一種活動圖像可分級編碼方法，計算包括比例係數和偏置係數的權重係數，其中，該比例係數表示上位層的編碼對象圖像區域和被參照圖像區域之間的明亮度變化，將該權重係數應用於成為探索對象的被參照圖像區域的圖像信號進行運算而進行運動的推定，由此計算運動矢量，將該權重係數應用於該運動矢量所指的被參照圖像區域的解碼信號進行運算而進行運動補償，由此生成預測信號。基於在緊下層中與編碼對象圖像區域在空間的相同位置存在的緊下圖像區域的編碼信息，決定所述權重係數的數據結構，在緊下圖像區域在緊下層中進行幀間預測的情況下，識別緊下圖像區域作為運動預測的預測參照目的地的緊下層被參照圖像區域，對上位層的圖像區域的直流成分，應用緊下圖像區域在加權運動預測時利用的權重係數進行運算，其中，該上位層的圖像區域與該緊下層被參照圖像區域在空間的相同位置存在，將運算的結果看作緊下圖像區域的直流成分，計算所述權重係數。
文檔編號H04N7/32GK101836457SQ20088011282
公開日2010年9月15日 申請日期2008年10月20日 優先權日2007年10月25日
發明者早瀨和也, 坂東幸浩, 高村誠之, 上倉一人, 八島由幸 申請人:日本電信電話株式會社