編碼裝置、解碼裝置及數據結構的製作方法
2023-05-15 15:12:46
專利名稱：編碼裝置、解碼裝置及數據結構的製作方法
技術領域：
本發明涉及對運動圖像進行編碼並生成編碼數據的運動圖像編碼裝置。另外，涉及對利用這種運動圖像編碼裝置所生成的編碼數據進行解碼的運動圖像解碼裝置。
背景技術：
為了有效地傳送或記錄運動圖像，採用了運動圖像編碼裝置。作為具體的運動圖像編碼方式，例如舉出H. 264/MPEG-4AVC、以及VCEG(視頻編碼專家組)中的共同開發用編解碼器即KTA軟體所採用的方式等。在這種編碼方式中，構成運動圖像的圖像(圖片)利用由通過分割圖像而得到的切片、通過分割切片而得到的宏塊、以及通過分割宏塊而得到的塊構成的層級結構進行管·理，通常按塊進行編碼。另外，在這種編碼方式中，採用了對輸入圖像與預測圖像之差(預測誤差)進行編碼的方式。即、(I)根據輸入圖像和通過量化/逆量化輸入圖像而得到的局部解碼圖像來算出運動矢量；(2)通過利用該運動矢量進行運動補償而生成預測圖像；(3)對該預測圖像與輸入圖像的預測誤差進行編碼。在專利文獻I中公開了下述針對參考圖像的自適應濾波方法根據輸入圖像和局部解碼圖像來求出第I運動矢量，以利用第I運動矢量對濾波局部解碼圖像而得到的參考圖像進行運動補償所獲得的圖像與輸入圖像之間的誤差最小的方式，生成作用於局部解碼圖像的濾波器，由該濾波器對上述局部解碼圖像進行濾波來生成上述參考圖像，根據輸入圖像和上述參考圖像來求出第2運動矢量，利用第2運動矢量對參考圖像進行運動補償而生成預測圖像。根據該方法，因為能夠以利用第I運動矢量對參考圖像進行運動補償而得到的圖像與輸入圖像之間的誤差最小的方式生成自適應濾波器，所以較之僅採用固定濾波器的情況，存在預測圖像與輸入圖像之間的預測誤差變小的趨勢。現有技術文獻專利文獻專利文獻I :日本公開專利公報「特開2006-135376(2006年5月25日公開)」
發明內容
發明要解決的技術問題然而，在上述方法中，由於相對於上述局部解碼圖像整體而生成濾波器，因而具有在上述局部解碼圖像的各區域中的圖像的特性不均勻的情況下難以進行適當濾波的技術問題。本發明是鑑於上述技術問題而提出的，其目的在於實現具備有即便在上述局部解碼圖像的各區域中的圖像的特性不均勻的情況下也能進行適當濾波的濾波器的編碼裝置。為解決技術問題而採用的技術方案
為了解決上述技術問題，本發明涉及的編碼裝置其特徵在於具備第I濾波器，其作用於通過編碼並重構輸入圖像而得到的參考圖像；第I預測單元，其通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預測圖像；第2濾波器，其作用於上述參考圖像;第2預測單元，其通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預測圖像；分割単元，其將上述第I預測圖像和上述輸入圖像分割成多個區域；和濾波器係數設定單元，其以按每個上述區域使上述輸入圖像與上述第I預測圖像之差最小化的方式，來設定上述第2濾波器的濾波器係數，所述編碼裝置對上述輸入圖像與上述第2預測圖像的殘差數據進行編碼。根據如上述構成的本發明涉及的編碼裝置，由於具備將上述第I預測圖像和上述輸入圖像分割成多個區域的分割単元、和以按每個上述區域使上述輸入圖像與上述第I預測圖像之差最小化的方式設定上述第2濾波器的濾波器係數的濾波器係數設定單元，因而即便在上述第I預測圖像的特性不均勻的情況下，也能按上述多個區域的每個區域自適應地設定上述第2濾波器的濾波器係數。換言之，即便在上述第I預測圖像的參考源即上述參考圖像(局部解碼圖像)的特性不均勻的情況下，通過按上述多個區域的每個區域自適應地設定上述第2濾波器的濾波器係數，也可起到能進行適當濾波的效果。另外，本發明涉及的另ー種編碼裝置是具備第I濾波器、第I預測單元、第2濾波器和第2預測單元的編碼裝置，其中上述第I濾波器作用於通過編碼並重構輸入圖像而得到的多個參考圖像，上述第I預測單元通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預測圖像，上述第2濾波器作用於上述多個參考圖像，上述第2預測單元通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預測圖像，所述編碼裝置對上述輸入圖像與上述第2預測圖像的殘差數據進行編碼，上述編碼裝置的特徵在於，上述第2濾波器在上述多個參考圖像之中的、屬於第I參考圖像列表的參考圖像對上述第I預測圖像作出貢獻的權重為預先確定的權重以上的情況下，針對屬於該第I參考圖像列表的參考圖像，利用以使上述輸入圖像與上述第I預測圖像之差最小化的方式設定出的濾波器係數來進行濾波，在上述第2濾波器在上述多個參考圖像之中的、屬於第I參考圖像列表的參考圖像對上述第I預測圖像作出貢獻的權重小於預先確定的權重的情況下，針對屬於不同於第I參考圖像列表的第2參考圖像列表的參考圖像而利用預先確定的濾波器係數來進行濾波。一般地，參考圖像的、對預測圖像作出貢獻的權重越小，對該參考圖像進行自適應濾波的優點越少。換言之，參考圖像對預測圖像作出貢獻的權重越小，因進行自適應濾波而引起的計算成本以及濾波器係數所需的碼量的増大這ー缺點超過因自適應濾波而帶來的編碼效率的提高這ー優點的可能性變高。根據上述構成，因為能夠僅關於對上述第I預測圖像作出貢獻的權重為預先確定的權重以上的參考圖像來進行自適應濾波，關於對上述第I預測圖像作出貢獻的權重小於預先確定的權重的參考圖像，利用預先確定的濾波器係數來進行濾波，由此起到在不會導致計算成本増大這ー缺點的情況下能夠進行適當濾波的效果。
另外，根據上述構成，能夠在上述多個參考圖像之中的、屬於第I參考圖像列表的參考圖像對上述第I預測圖像作出貢獻的權重小於預先確定的權重的情況下，針對屬於第2參考圖像列表的參考圖像而利用預先確定的濾波器係數來進行濾波。因此，能夠將參考列表編號作為下述標誌發揮功能，該標誌表示利用自適應地求出的濾波器係數或者利用非自適應濾波器係數。因此，根據上述構成，可起到能夠在利用追加的輔助信息而不增大碼量的情況下進行更適當的濾波的效果。另外，本發明涉及的解碼裝置，對通過將原圖像與預測圖像的殘差數據、與濾波器係數組一起編碼而得到的編碼數據進行解碼，上述解碼裝置的特徵在於具備濾波器単元，其是針對基於通過解碼上述殘差數據而得到的預測殘差所生成的參考圖像進行濾波，由此生成濾波完成參考圖像的濾波器単元，即能夠按上述參考圖像的每個單位區域來切換濾波器係數的濾波器単元；預測圖像生成単元，其對上述濾波完成參考圖像進行運動補償，由此生成上述預測圖像；和濾波器係數選擇單元，其按上述參考圖像上的每個單位區域選擇上述濾波器係數組中所含的濾波器係數、或預先確定的濾波器係數之中的任ー個。根據如上述構成的本發明涉及的解碼裝置，由於具備濾波器単元，其是針對基於通過解碼上述殘差數據而得到的預測殘差所生成的參考圖像進行濾波，由此生成濾波完成參考圖像的濾波器単元，即可以按上述參考圖像的每個單位區域來切換濾波器係數；預測圖像生成単元，其對上述濾波完成參考圖像進行運動補償，由此生成上述預測圖像；和濾波器係數選擇單元，其按上述參考圖像上的每個單位區域選擇上述濾波器係數組中所含的濾波器係數和預先確定的濾波器係數之中的任ー個，因而可起到能夠按上述參考圖像上的每個單位區域而利用更適當的濾波器係數來進行濾波的效果。另外，本發明涉及的編碼數據的數據結構，是通過將原圖像與根據原圖像生成的預測圖像的殘差數據、與濾波器係數組一起編碼而得到的編碼數據的數據結構，上述編碼數據的數據結構的特徵在於，上述濾波器係數組包括按參考圖像上的每個單位區域而選擇出的濾波器係數，所述參考圖像是基於通過在解碼該編碼數據的解碼裝置中解碼上述殘差數據而得到的預測殘差所生成的。根據如上述構成的編碼數據的數據結構，由於包括下述濾波器係數按照基於通過在解碼該編碼數據的解碼裝置中解碼上述殘差數據而得到的預測殘差所生成的參考圖像上的每個單位區域選擇出的濾波器係數，因而起到能夠在解碼裝置中按參考圖像上的每個單位區域進行更適當的濾波的效果。發明效果如上所述，本發明涉及的編碼裝置具備 第I濾波器，其作用於通過編碼並重構輸入圖像而得到的參考圖像；第I預測單元，其通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預測圖像；第2濾波器，其作用於上述參考圖像；第2預測單元，其通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預測圖像；分割単元，其將上述第I預測圖像和上述輸入圖像分割成多個區域；和濾波器係數設定單元，其以按每個上述區域使上述輸入圖像與上述第I預測圖像之差最小化的方式，來設定上述第2濾波器的濾波器係數，而且，所述編碼裝置對上述輸入圖像與上述第2預測圖像的殘差數據進行編碼。因此，即便在上述參考圖像(局部解碼圖像)的各區域中的圖像的特性不均勻的情況下，也能進行適當濾波。本發明的其他目的、特徵及優點根據以下所示的記載可充分理解。另外，本發明的、優點在參考了附圖的下述說明的基礎上可明確。
圖I是表示實施方式涉及的編碼裝置的構成的框圖。圖2是表示實施方式涉及的編碼裝置中的幀間預測圖像生成部的構成的框圖。圖3是表示實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作流程的流程圖。圖4是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作例的圖，是表示第I預測圖像中的第I區域及第2區域的例子的圖。圖5是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作例的圖，是表示針對參考圖像中的參考圖像索引為O的參考圖片中的區域、以及參考圖像中的 參考圖像索引為I的參考圖片中的區域分別施加濾波器的情況的圖。圖6是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作例的圖，是針對第I參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片、即由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區域、以及由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區域分別施加濾波器的情況的圖。圖7是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作例的圖，是表示第I預測圖像中的第I區域以及第2區域的例子的圖、即表示第I區域的面積小的情況的圖。圖8是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作例的圖，是表示針對參考圖像中的參考圖像索引為O的參考圖片中的區域、以及參考圖像中的參考圖像索引為O的參考圖片中的其他區域分別施加濾波器的情況的圖。圖9是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的動作例的圖，是表示針對參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片上的區域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區域、由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區域、以及由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區域分別施加濾波器的情況的圖。圖10是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的其他動作例的圖，是表示針對參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片、即由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區域、以及由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區域分別施加濾波器的情況的圖。圖11是用於說明實施方式涉及的編碼裝置中的幀間預測圖像生成部的其他動作例的圖，是表示針對參考圖像之中的由參考圖像列表LO中的參考圖像索引O所指定的參考圖片上的區域、由參考圖像列表LO中的參考圖像索引I所指定的參考圖片上的區域、由參考圖像列表LI中的參考圖像索引O所指定的參考圖片上的區域、以及由參考圖像列表LI中的參考圖像索引I所指定的參考圖片上的區域分別施加濾波器的情況的圖。圖12是表示實施方式涉及的解碼裝置的構成的框圖。
圖13是表示實施方式涉及的解碼裝置中的幀間預測圖像生成部的構成的框圖。圖14是表示被輸入至實施方式涉及的解碼裝置中的編碼數據的比特流的圖。
具體實施例方式以下，根據實施例對本發明進行更進ー步的詳細說明，但是本發明並非通過此來進行任何限定。參照圖I 圖2來說明本實施方式涉及的運動圖像編碼裝置I的構成。運動圖像編碼裝置I是在其一部分利用了 H. 264/AVC規格、以及被KTA軟體採用的技術的運動圖像
編碼裝置。圖I是表示運動圖像編碼裝置I的構成的框圖。如圖I所示，運動圖像編碼裝置I具備變換/量化部11、可變長度編碼部12、逆量化/逆變換部13、緩衝存儲器14、幀內預測圖像生成部15、幀間預測圖像生成部16、預測方式控制部18、運動矢量冗餘性削減部19、加法器21以及減法器22。在運動圖像編碼裝置I中輸入了輸入圖像#I，該輸入圖像#I被分割成由相鄰的多個像素構成的塊圖像(以下稱為「宏塊」)。運動圖像編碼裝置I對輸入圖像#1進行編碼處理，並輸出編碼數據#2。變換/量化部11在通過DCT (離散餘弦變換)變換將被分割成宏塊的輸入圖像#I與從後述的預測方式控制部18輸出的預測圖像#18a之間的差分圖像#22變換成頻率分量之後，對該頻率分量進行量化，生成量化預測殘差數據#11。在這裡，上述量化是指，將上述頻率分量與整數值建立對應的運算。另外，上述DCT變換及量化是以分割宏塊後的分區作為單位進行的。以下，將成為處理對象的宏塊稱為「對象宏塊」，將成為處理對象的分區稱為「對象分區」。逆量化/逆變換部13對量化預測殘差數據#11進行解碼，生成預測殘差#13。具體而言，逆量化/逆變換部13對量化預測殘差數據#11進行逆量化、即構成量化預測殘差數據#11的整數值向頻率分量的對應、以及、對該頻率分量進行逆DCT變換、即基於該頻率分量的對象宏塊向像素分量的逆變換，生成預測殘差#13。加法器21對預測殘差#13和預測圖像#18a進行加法運算，生成解碼圖像#21。所生成的解碼圖像#21被提供至緩衝存儲器14。幀內預測圖像生成部15從保存至緩衝存儲器14中的解碼圖像#21之中提取局部解碼圖像#14a(與對象宏塊相同的幀的已解碼區域)，基於局部解碼圖像#14a進行幀內預測，生成幀內預測圖像#15。幀間預測圖像生成部16利用對輸入圖像#I上的對象分區已經解碼了幀整體且保存至緩衝存儲器14中的參考圖像#14b，算出運動矢量#17並進行分配。所算出的運動矢量 #17被輸出至幀間預測圖像生成部16、運動矢量冗餘性削減部19，並且被保存至緩衝存儲器14。另外，幀間預測圖像生成部16針對參考圖像#14b，按照每個分區基於運動矢量#17來進行運動補償，生成幀間預測圖像#16。另外，幀間預測圖像生成部16將用於濾波處理的濾波器係數#101輸出至可變長度編碼部12。關於幀間預測圖像生成部16的詳細構成在後面詳細敘述，因而在此省略其說明。預測方式控制部18以宏塊為單位，比較幀內預測圖像#15、幀間預測圖像#16和輸入圖像#1，選擇幀內預測圖像#15和幀間預測圖像#16之中的任ー個，並作為預測圖像#18a進行輸出。另外，預測方式控制部18輸出預測模式#18b，該預測模式#18b是表示選擇了幀內預測圖像#15和幀間預測圖像#16之中的哪ー個的信息。預測圖像#18a被輸入至減法器22。預測模式#18b被保存至緩衝存儲器14，並且被輸入至可變長度編碼部12。運動矢量冗餘性削減部19在幀間預測圖像生成部16中給上述對象分區分配了運動矢量#17之後，基於被分配給其他分區且保存至緩衝存儲器14的運動矢量組#14c算出預測矢量。另外，運動矢量冗餘性削減部19取該預測矢 量與運動矢量#17之間的差分，生成差分運動矢量#19。所生成的差分運動矢量#19被輸出至可變長度編碼部12。可變長度編碼部12對量化預測殘差數據#11、差分運動矢量#19、預測模式#18b以及濾波器係數#101進行可變長度編碼，生成編碼數據#2。減法器22針對對象宏塊，取輸入圖像#1與預測圖像#18a之間的差分，輸出差分圖像#22。(幀間預測圖像生成部16)接著，參照圖2 圖4來說明幀間預測圖像生成部16的構成及動作。圖2是表示幀間預測圖像生成部16的構成的框圖。如圖2所示，幀間預測圖像生成部16具備預測圖像生成部16a、運動矢量推定部17、自適應濾波器100。圖3是表示幀間預測圖像生成部16中的動作流程的流程圖。以下，參照圖3 圖4來說明幀間預測圖像生成部16的各部的動作例。(動作例I)(步驟101)保存於緩衝存儲器14的參考圖像#14b被輸入至自適應濾波器100。另外，設在後述的步驟102中，在採用了多個參考圖片的情況下，參考圖像#14b由這些多個參考圖片構成。自適應濾波器100在本步驟中，基於預先確定的規定濾波器係數(以下稱為標準濾波器係數)對參考圖像#14b進行濾波處理，輸出第I輸出圖像數據#100。具體而言，自適應濾波器100利用由式(I)表示的加權線性和來算出第I輸出圖像數據#100的坐標(X』、y』 )處的像素值S0(x』、y』 )。此外，自適應濾波器100也不需要一次生成並輸出輸出圖像數據全體，而可以基於來自運動矢量推定部或預測圖像生成部的請求來生成並輸出輸出圖像數據的部分區域。數學式I.ν,, ,τ',.ν I ニ YhijJ)\Ax f I /') ' + ,,(I)
、仏ノ在這裡，SI(x，y)表示參考圖像#14b的坐標(x，y)處的像素值，h(i，j)表示與像素值SI(x+i，y+j)相乘的濾波器係數。另外，R表示取上述加權線性和的像素的區域(以下稱為濾波器區域)。更具體而言，R表示成為上述加權線性和對象的相對坐標的集合。例如，在進行以坐標(x，y)處的像素為中心的3X3抽頭的濾波的情況下，R= {(-1、-1)、(-1、O)、(-1,1) > (O、-I)、(0、0)、(OU) > (I、-I)、(1、0)、(Ul)Io 另外，hoffset 表示與像素值相加的偏差值。此外，濾波器區域R—般既可以是MXN抽頭的矩形形狀的區域，也可以是菱形、圓形或其他任意形狀的區域。另外，參考圖像#14b是由整數坐標的像素(以下稱為整數像素)的像素值構成的圖像數據。即、在式(I)中，X及y都取整數值。另ー方面，X』及y』也可取非整數的值。即、第I輸出圖像數據#100是包括整數像素的像素值、以及整數像素以下的像素精度的插補信號在內的圖像數據。換言之，自適應濾波器100是根據整數像素的像素值以插補的方式生成整數像素以下的像素精度的插補信號的圖像濾波器。此外，自適應濾波器100根據要以濾波器處理取得的像素的坐標值來適當地切換濾波器係數及偏差。例如，在X』和y』分別取相當於整數像素、1/4像素、1/2像素、3/4像素這4個種類像素的任一個像素的坐標位置的值的情況下，根據X』及y』的坐標位置的種類的組合來切換濾波器係數及偏差。以下，設濾波器係數h(i，j)及偏差hoffset為包括與X』及y』的坐標值的組合相應的濾波器係數及偏差在內的值，為適當選擇並應用的值。 另外，在本步驟中，濾波器係數h(i，j)及偏差hoffset取預先確定的值。此外，上述標準濾波器係數的具體值並未限定本發明，例如也可以採用H. 264/AVC規格中的用於插補濾波器的濾波器係數。(步驟102)運動矢量推定部17基於第I輸出圖像數據#100和輸入圖像#1來進行運動預測，生成第I運動矢量#17』。此外，在本步驟中的運動預測中，也可利用參考圖像#14b中包含的多個參考圖片。(步驟IO3)預測圖像生成部16a基於第I運動矢量#17』對第I輸出圖像數據#100進行運動補償，生成第I預測圖像#16』。此外，設步驟102及步驟103的處理是按預測方法不同的每個預測模式進行試行且採用最佳的預測模式的處理。(步驟104)自適應濾波器100將第I預測圖像#16，分割成由應用了跳躍模式的宏塊構成的第I區域ER1、和由未應用跳躍模式的宏塊構成的第2區域ER2。圖4是表示第I預測圖像#16』中的第I區域ERl以及第2區域ER2的例子的圖。另外，自適應濾波器100將輸入圖像#1分割成與上述第I區域ERl對應的區域ER1』、和與上述第2區域ER2對應的區域ER2』。進而，與之對應地，將在參考圖像#14b中為了預測區域ER1』所參照的區域設定成區域ER 1』，將在參考圖像#14b中為了預測區域ER2』所參照的區域設定成區域ER 2』。此外，區域ER I』及區域ER 2』並不限於將參考圖像#14b進行2分割。S卩、區域ER I』及區域ER 2』有時也相互重疊。(步驟IO5)自適應濾波器100基於濾波器係數hi』 (i,j)對參考圖像#14b中的區域ER I』進行濾波，基於濾波器係數h2』(i，j)對參考圖像#14b中的區域ER 2』進行濾波。雖然區域ER I』和區域ER 2』有時會如前述那樣在參考圖像#14b上重疊，但是能夠通過判別參考了該區域的區域是區域ER1』還是區域ER2』，來判別是被作為區域ER I』參考的區域還是被作為區域ER 2』參考的區域。
在這裡，以第I預測圖像#16』中的區域ERl和與其對應的輸入圖像#I之間的誤差最小的方式，確定濾波器係數hr (i，j)。另外，以第I預測圖像#16』中的區域ER2和與其對應的輸入圖像#I之間的誤差最小的方式，確定濾波器係數h2』(i，j)。此外，為了如前述那樣根據運動矢量的不足整數的精度的位置來變更濾波器係數hi』(i，j)及濾波器係數h2』(i，j)，只要按運動矢量#17』的不足整數的像素精度的每種組合來導出各濾波器係數即可。另外，濾波器係數hk』(i，j) (k = 1,2)的具體決定能夠採用統計手法。例如，濾波器係數hk』 (i,j) (k = 1,2)能夠按照由以下的式(2)給出的平方誤差Ek最小的方式進行決定。數學式
權利要求
1.一種編碼裝置，其特徵在於具備 第I濾波器，其作用於通過編碼並重構輸入圖像而得到的參考圖像； 第I預測單元，其通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預測圖像； 第2濾波器，其作用於上述參考圖像； 第2預測單元，其通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預測圖像； 分割單元，其將上述第I預測圖像和上述輸入圖像分割成多個區域；和濾波器係數設定單元，其以按每個上述區域使上述輸入圖像與上述第I預測圖像之差最小化的方式，來設定上述第2濾波器的濾波器係數， 所述編碼裝置對上述輸入圖像與上述第2預測圖像的殘差數據進行編碼。
2.根據權利要求I所述的編碼裝置，其特徵在於， 上述分割單元將上述第I預測圖像分割成由應用了跳躍模式的宏塊構成的區域、和由未應用跳躍模式的宏塊構成的區域。
3.根據權利要求I所述的編碼裝置，其特徵在於， 上述分割單元將上述第I預測圖像分割成由參考了參考圖像索引為O的圖像的分區構成的區域、和由參考了參考圖像索引不為O的圖像的分區構成的區域。
4.根據權利要求I所述的編碼裝置，其特徵在於， 上述分割單元包括第I分割單元及第2分割單元， 上述濾波器係數設定單元包括第I濾波器係數設定單元及第2濾波器係數設定單元，上述第I分割單元將上述第I預測圖像分割成由應用了跳躍模式的宏塊構成的第I區域、和由未應用跳躍模式的宏塊構成的第2區域， 上述第I濾波器係數設定單元針對上述第I區域及上述第2區域，分別以使上述第I預測圖像與上述輸入圖像之差最小化的方式來決定第I備用濾波器係數， 上述第2分割單元將上述第I預測圖像分割成由參考了參考圖像索引為O的圖像的分區構成的第3區域、和由參考了參考圖像索引不為O的圖像的分區構成的第4區域， 上述第2濾波器係數設定單元針對上述第3區域及上述第4區域，分別以使上述第I預測圖像與上述輸入圖像之差最小化的方式來決定第2備用濾波器係數， 將上述第I備用濾波器係數和上述第2備用濾波器係數中編碼效率良好的濾波器係數設定為上述第2濾波器的濾波器係數。
5.根據權利要求I所述的編碼裝置，其特徵在於， 上述分割單元通過將上述第I預測圖像上的各單位區域分配給與該宏塊相鄰的多個宏塊之中更多宏塊所屬的區域，來將上述第I預測圖像分割成多個區域。
6.根據權利要求I所述的編碼裝置，其特徵在於， 上述分割單元將上述第I預測圖像分割成由平均亮度大於預先確定的亮度的宏塊構成的區域、和由平均亮度為預先確定的亮度以下的宏塊構成的區域。
7.根據權利要求I所述的編碼裝置，其特徵在於， 上述濾波器係數設定單元針對上述多個區域之中的、相對於上述第I預測圖像的面積比大於預先確定的面積比的區域，以使上述第I預測圖像與上述輸入圖像之差最小化的方式來設定上述第2濾波器的濾波器係數， 上述濾波器係數設定單元針對上述多個區域之中的、相對於上述第I預測圖像的面積比為預先確定的面積比以下的區域，將預先確定的濾波器係數選擇為上述第2濾波器的濾波器係數。
8.根據權利要求I所述的編碼裝置，其特徵在於， 上述分割單元將上述第I預測圖像分割成由參考了參考圖像索引為O的圖像的分區構成的第I區域、和由參考了參考圖像索引不為O的圖像的分區構成的第2區域， 在上述第2區域相對於上述第I預測圖像的面積比小於預先確定的面積比的情況下，上述濾波器係數設定單元針對上述第I區域，以使上述第I預測圖像與上述輸入圖像之差最小化的方式來設定上述第2濾波器的濾波器係數， 在上述第2區域相對於上述第I預測圖像的面積比小於預先確定的面積比的情況下，上述第2預測單元針對與上述第2區域對應的上述參考圖像之中參考圖像索引為O的參考圖片，利用預先確定的濾波器係數來進行濾波。
9.根據權利要求I所述的編碼裝置，其特徵在於， 上述濾波器係數設定單元以上述第2濾波器的濾波器係數的平方誤差最小的方式來決定濾波器係數。
10.一種編碼裝置，是具備第I濾波器、第I預測單元、第2濾波器和第2預測單元的編碼裝置，其中上述第I濾波器作用於通過編碼並重構輸入圖像而得到的多個參考圖像，上述第I預測單元通過進行參考了上述第I濾波器的輸出圖像的運動補償來生成第I預測圖像，上述第2濾波器作用於上述多個參考圖像，上述第2預測單元通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預測圖像，並且所述編碼裝置對上述輸入圖像與上述第2預測圖像的殘差數據進行編碼， 上述編碼裝置的特徵在於， 在上述多個參考圖像之中屬於第I參考圖像列表的參考圖像對上述第I預測圖像作出貢獻的權重為預先確定的權重以上的情況下，上述第2濾波器針對屬於該第I參考圖像列表的參考圖像，利用以使上述輸入圖像與上述第I預測圖像之差最小化的方式而設定的濾波器係數來進行濾波， 在上述多個參考圖像之中屬於第I參考圖像列表的參考圖像對上述第I預測圖像作出貢獻的權重小於預先確定的權重的情況下，上述第2濾波器針對屬於與第I參考圖像列表不同的第2參考圖像列表的參考圖像，利用預先確定的濾波器係數來進行濾波。
11.一種解碼裝置，對通過將原圖像與預測圖像的殘差數據、與濾波器係數組一起進行編碼而得到的編碼數據進行解碼，上述解碼裝置的特徵在於具備 濾波器單元，其是針對基於通過解碼上述殘差數據而得到的預測殘差所生成的參考圖像進行濾波，由此生成濾波完成參考圖像的濾波器單元，即能夠按上述參考圖像的每個單位區域來切換濾波器係數的濾波器單元； 預測圖像生成單元，其通過對上述濾波完成參考圖像進行運動補償，來生成上述預測圖像；和 濾波器係數選擇單元，其按上述參考圖像上的每個單位區域來選擇上述濾波器係數組中所含的濾波器係數、或預先確定的濾波器係數中任一個。
12.根據權利要求11所述的解碼裝置，其特徵在於， 上述濾波器係數選擇單元根據上述參考圖像上的單位區域是否屬於應用了跳躍模式的宏塊，來選擇上述濾波器係數組中所含的濾波器係數中的任一個。
13.根據權利要求11所述的解碼裝置，其特徵在於， 上述濾波器係數選擇單元根據上述參考圖像的參考圖像索引是否為O，來選擇上述濾波器係數組中所含的濾波器係數中的任一個。
14.根據權利要求11所述的解碼裝置，其特徵在於， 上述濾波器係數選擇單元根據預先確定的判定基準將生成中的上述預測圖像分割成多個區域，並針對與該多個區域的每一個對應的上述參考圖像上的區域，選擇上述濾波器係數組中所含的濾波器係數中的任一個。
15.根據權利要求11所述的解碼裝置，其特徵在於， 上述濾波器係數選擇單元針對生成中的上述預測圖像上的多個區域之中的、相對於該生成中的預測圖像的面積比大於預先確定的面積比的區域所對應的上述參考圖像上的區域，選擇上述濾波器係數組中所含的濾波器係數，針對生成中的上述預測圖像上的多個區域之中的、相對於該生成中的預測圖像的面積比為預先確定的面積比以下的區域所對應的上述參考圖像上的區域，選擇上述預先確定的濾波器係數。
16.根據權利要求11所述的解碼裝置，其特徵在於， 在上述參考圖像之中參考圖像索引不為O的參考圖像所對應的上述預測圖像上的區域相對於上述預測圖像的面積比小於預先確定的面積比的情況下， 上述濾波器單元通過利用上述預先確定的濾波器係數對參考圖像索引為O的參考圖像上的該區域進行濾波，來生成參考圖像索引不為O的參考圖像所對應的上述預測圖像上的區域。
17.根據權利要求11所述的解碼裝置，其特徵在於， 在上述參考圖像之中參考圖像列表編號不為O的參考圖像所對應的上述預測圖像上的區域對上述預測圖像作出貢獻的權重小於預先確定的權重的情況下， 上述濾波器單元通過利用上述預先確定的濾波器係數對參考圖像列表編號為O的參考圖像上的該區域進行濾波，來生成參考圖像列表編號不為O的參考圖像所對應的上述預測圖像上的區域。
18.根據權利要求11所述的解碼裝置，其特徵在於， 取代上述濾波器係數選擇單元而具備下述濾波器係數選擇單元參考上述編碼數據中所含的標誌，來選擇上述濾波器係數組中所含的濾波器係數中的任一個濾波器係數、以及應該應用該濾波器係數的參考圖像上的區域。
19.一種編碼數據的數據結構，是通過將原圖像與根據原圖像而生成的預測圖像的殘差數據、與濾波器係數組一起編碼而得到的編碼數據的數據結構，上述編碼數據的數據結構的特徵在於， 上述濾波器係數組包括按參考圖像上的每個單位區域而選擇出的濾波器係數，所述參考圖像是基於通過在解碼該編碼數據的解碼裝置中解碼上述殘差數據而得到的預測殘差所生成的。
全文摘要
編碼裝置具備作用於通過編碼並重構輸入圖像而得到的參考圖像的自適應濾波器(100)、以及生成第1預測圖像的預測圖像生成部(16a)，預測圖像生成部(16a)與作用於上述參考圖像的第2濾波器一起，通過進行參考了上述第2濾波器的輸出圖像的運動補償來生成第2預測圖像，自適應濾波器(100)還將上述第1預測圖像分割成多個區域，以按每個上述區域使上述輸入圖像與上述第1預測圖像之差最小化的方式來設定上述第2濾波器的濾波器係數。
文檔編號H04N7/32GK102714732SQ201080061128
公開日2012年10月3日 申請日期2010年12月24日 優先權日2010年1月12日
發明者八杉將伸, 豬飼知宏 申請人:夏普株式會社