影像編碼方法和解碼方法、其裝置、以及其程序和記錄程序的記錄介質的製作方法

2023-05-30 04:14:31 4

專利名稱：影像編碼方法和解碼方法、其裝置、以及其程序和記錄程序的記錄介質的製作方法
技術領域：
本發明涉及將由兩個信號成分以上構成的影像信號作為編碼對象 的影像編碼方法及其裝置、對通過該影像編碼方法生成的編碼數據進行 解碼的影像解碼方法及其裝置、用於實現該影像編碼方法的影像編碼程 序和記錄了該程序的計算機能夠讀取的記錄介質、用於實現該影像解碼 方法的影像解碼程序和記錄了該程序的計算機能夠讀取的記錄介質。
本申請基於2006年10月10日申請的日本專利申請2006-276074 號主張優先權，並在這裡引用其內容。
背景技術：
在以H.264/AVC起始的活動圖像的標準編碼方式中，使用輸入圖像 的色度成分(chrominance elements )與亮度成分相比被下採樣 (downsampling)(即，以比亮度成分的採樣頻率低的頻率被重新採樣) 了的信號。這相當於被稱為4:2:2、 4:2:0、 4:1:1格式的影像格式。
像這樣重新採樣了色度成分的影像格式是基於與亮度成分相比對 色度成分的視覺敏感度低的生理學的知見的影像格式、以削減影像的信 息量、攝像設備的低成本化等目的而被導入(例如，參照非專利文獻1、 2)。
另一方面，受到對影像的高圖像質量化的期待的高漲，不對色度信 號進行重新採樣的4:4:4格式影像受到矚目。例如，在JVT ( Joint Video Team,聯合一見頻編碼組)中，正在進行對H.264的新框架(advanced 4:4:4 profile)的制定。
非專利文獻1: "YUV4:2:0 7才一7、;/卜力，一畫像(D色度成分補 間法，，，杉田博司，田口亮，信學論，Vol.J88-A,No.6, pp.751-760, 2005
非專利文獻2:"適応的直交変換d3力，一畫像圧縮-乂一卜S tL廣c辭書KlJ:3高速化-"，三浦高志，板垣史彥，橫山昭彥，山口百恵， 信學論，VoU85-D2， No.ll, pp. 1672-1682, November 2002
6本發明要解決的課題
色度成分的下採樣是 一 邊抑制主觀圖像質量的下降 一 邊使碼量減 少的有效的方法。可是，根據圖像的內容，有時能夠進一步進行下採樣 而不導致主觀圖像質量的劣化。另一方面，根據圖像的內容，對幀內的
色度成分同樣地進下採樣，也有損害4:4:4格式影像的高圖像質量的情況。
圖像信號的性質按照幀的每一個而變化、進而，即使在幀內也有局 部地變化。對應於這樣的變化，對色度成分的視覺敏感度也變化。例如， 在像素值小(暗)的幀(或區域)中，與像素值大(亮)的幀(或區域) 相比，對色度成分的視覺壽丈感度下降。
因此，通過對應於每一個幀的性質、或幀內的局部的性質使色度成 分的下採樣比率變化，有能夠在保持主觀圖像質量的同時，有效率地削 減碼量的可能性。
行，關於編碼效率還留存有改善的餘地。

發明內容
本發明正是基於上述情況而完成的，其目的在於確立一種新的影像 編碼/解碼技術，通過導入針對每個幀的適應的下採樣處理、和針對各幀 內的每個區域的適應的下採樣處理，能夠有效率地削減碼量。
用於解決課題的方法使下採樣比(downsampling ratio)適應地變化的本發明的影像 編碼裝置使幀為單位而適應地變化的結構
為了實現上述目的，本發明的影像編碼裝置在將由兩個信號成分以 上構成的影像信號作為編碼對象的情況下，構成為具備(l)設定單 元，對應於幀內的性質，對幀的特定的信號成分設定下採樣比；(2) 生成單元，對應於設定單元設定了的下採樣比，通過對幀的特定的信號 成分進行下採樣，生成成為向編碼器的輸入對象的影像信號。
這裡，通過以上的各處理單元工作而實現的本發明的影像編碼方法 以電腦程式也能夠實現，該電腦程式記錄在適當的計算機能夠讀取 的記錄介質中而被提供，或經由網絡而被提供，在實施本發明時被安裝並通過在CPU等的控制單元上工作，從而實現本發明。
在這樣構成的本發明的影像編碼裝置中，例如在比較過渡量
(amount of transition )大的幀和過渡量小的幀的情況下，在前者中碎見覺 敏感度相對地變低，因此，在過渡量大的幀中，與過渡量小的幀相比， 即使進行大的下採樣主觀圖像質量也不下降，著眼於這一點，例如對應 於幀內的過渡量的大小，在每一個幀中對色度信號等的特定的信號成分 設定下採樣比，對應於該設定了的下採樣比，以幀為單位對特定的信號 成分進行下採樣，由此生成成為向編碼器的輸入對象的影像信號。
按照該結構，根據本發明的影像編碼裝置，能夠在保持主觀圖像質 量的同時有效率地削減碼量。 ^使幀內的部分區域為單位而適應地變化的結構 在上述影像編碼裝置中，上述設定下採樣比的單元也可以具有 對應於幀內的局部的性質，將幀分割為部分區域的單元； 對應於各部分區域內的性質，對該部分區域的特定的信號成分設定 下採樣比的單元，
對應於上述設定了的下採樣比，通過對上述部分區域的特定的信號 成分進行下採樣，從而生成上述編碼對象影像信號。
在這樣構成的影像編碼裝置中，例如在比較過渡量大的部分區域和 過渡量小的部分區域的情況下，在前者中視覺敏感度相對地變低，因此， 在過渡量大的部分區域中，與過渡量小的部分區域相比，即使進行大的 下採樣主觀圖像質量也不下降，著眼於這一點，例如對應於幀的部分區 域內的過渡量的大小，在每一個幀內的部分區域中對色度信號等的特定 的信號成分設定下採樣比，對應於該設定了的下採樣比，以幀內的部分 區域為單位對特定的信號成分進行下採樣，由此生成成為向編碼器的輸 入對象的影像信號。
在該結構的情況下，同樣地能夠在保持主觀圖像質量的同時有效率 地削減碼量。
化的本發明的影像編碼裝置:影像解碼裝置 '''— V A 本發明的影像編碼裝置的基本結構是，將由兩個信號成分以上構成 的影像信號作為編碼對象，對應於每個幀或幀內的每個部分區域而設定 的下採樣比，對通過下採樣特定的信號成分而生成的影像信號進行編
8碼。
另一方面，在標準化了的影像編碼裝置中，有時採用如下結構，針 對通過編碼而得到的量化後的各信號成分，將表示某種大小的塊的每一
個中是否包含有意係數(significant coefficient)的信息賦予該塊。當採 用這樣的結構時，針對沒有包含有意係數的塊，能夠省略變換係數的賦 予，由此能夠謀求削減碼量。
可是，在本發明的影像編碼裝置中，因為使特定的信號成分的下採 樣比適應地變化，所以各信號成分的塊的組合模式並不是固定的。
因此，在本發明中，還可以具備在針對通過所述編碼對象影像信 號的編碼而得到的量化後的各信號成分，將表示某種程度大小的塊的每 一個中是否包含有意係數的信息賦予該塊的情況下，將表示在哪個位置 的塊的集合共有了所述特定的信號成分的信息，對該塊的集合進行賦予 的單元。
而且，本發明提供一種影像解碼裝置，對通過該影像編碼裝置生成 的影像信號的編碼數據進行解碼，其中，該影像解碼裝置具備
通過對表示所述哪個位置的塊的集合共有了所述特定的信號成分 的信息的編碼數據進行解碼，判定解碼對象的塊集合是否是共有了所述 特定的信號成分的塊集合的判定單元；
針對所述判定單元判定為是共有了所述特定信號成分的塊集合的 塊集合，通過對其共有的所述特定的信號成分的編碼數據進行解碼，從 而對與在編碼側設定的下採樣比對應地被下採樣的信號成分進行解碼 的單元。
和本發明的影像解碼方法也能夠以電腦程式實現，該電腦程式記錄 在適當的計算機能夠讀取的記錄介質中而被提供，或經由網絡而被提
供，在實施本發明時通過被安裝並在CPU等的控制單元上工作，從而 實現本發明。
在這樣構成的本發明的影像編碼裝置中，將表示在哪個位置的塊集 合共有了特定的信號成分的信息對該塊集合進行賦予。
而且，本發明提供一種影像解碼裝置，對通過該影像編碼裝置生成 的影像信號的編碼數據進行解碼，該影像解碼裝置具備
通過對表示所述哪個位置的塊集合共有了所述特定的信號成分的信息的編碼數據進行解碼，判定解碼對象的塊集合是否是共有了所述特 定的信號成分的塊集合的判定單元；
針對所述判定單元判定為是共有了所述特定信號成分的塊集合的 塊集合，通過對其共有的所述特定的信號成分的編碼數據進行解碼，從
的單元。
按照該結構，根據本發明，在採用以幀或幀內的片(slice)為單位 而使下採樣比適應地變化的結構時，即使有按照該結構而各信號成分的 塊的組合模式變化的情況，也能夠不改變在標準化了的影像編碼裝置中 使用的結構而使用該結構，其中該標準化了的影像編碼裝置對某種程度 大小的塊賦予表示量化信號是否包含有意係數的信息。
度的變化的本發明的影像編:馬裝置和影像解碼裝置、鄉、、下採樣比以幀為單位而適應地變化的情況
本發明的影像編碼裝置的基本結構是，將由兩個信號成分以上構成 的影像信號作為編碼對象，對與按照每個幀而設定的下採樣比對應地下 採樣特定的信號成分而生成的影像信號進行編碼。
另一方面，在影像編碼裝置中，有時在幀間預測中使用小數像素精 度的運動補償。當採用這樣的結構時，能夠實現高精度的運動補償。
可是，在本發明的影像編碼裝置中，因為以幀為單位而使特定的信 號成分的下採樣比適應地變化，所以在幀間預測中使用小數像素精度的 運動補償的情況下所需要的參照幀的內插精度(interpolation accuracy) 不能是固定的。
因此，本發明的所述影像編碼裝置可以還具備
在所述編碼對象影像信號的編碼中，在幀間預測中使用小數像素精 度的運動補償的情況下，對應於編碼對象幀的下採樣比、和參照幀的下 採樣比的比率值，使所述參照幀中的被下採樣了的信號成分的內插精度 變化的單元；
基於所述變化的內插精度，生成所述參照幀的內插圖像的單元。 與此對應，本發明提供一種影像解碼裝置，對通過上述影像編碼裝 置生成的影像信號的編碼數據進行解碼，該影像解碼裝置具備
在幀間預測中使用小數像素精度的運動補償的情況下，對應於解碼對象幀的下採樣比、和參照幀的下採樣比的比率值，使所述參照幀中的 被下採樣了的信號成分的內插精度變化的單元；
基於所述變化的內插精度，生成所述參照幀的內插圖像的單元。 這裡，通過以上的各處理單元工作而實現的本發明的影像編碼方法 和本發明的影像解碼方法也能夠以電腦程式實現，該電腦程式記錄 在適當的計算機能夠讀取的記錄介質中而被提供，或經由網絡而被提 供，在實施本發明時通過被安裝並在CPU等的控制單元上工作，從而 實現本發明。
在這樣構成的本發明的影像編碼裝置中，對應於編碼對象幀的下採 樣比、和參照幀的下採樣比的比率值，使參照幀中的被下採樣了的信號 成分的內插精度變化，基於該變化了的內插精度，生成所述參照幀的內 插圖像。
此外，在具有與此對應的結構的本發明的影像解碼裝置中，對應於 解碼對象幀的下採樣比、和參照幀的下採樣比的比率值，使參照幀中的 被下採樣了的信號成分的內插精度變化，基於該變化了的內插精度，生 成所述參照幀的內插圖像。
按照該結構，根據本發明，在採用以幀為單位使下採樣比適應地變 化的結構時，即使有按照該結構而參照幀的內插精度變化的情況，也能 夠生成實現所要求的運動補償的參照幀的內插圖像。下採樣比以幀內的部分區域為單位而適應地變化的情況
本發明的影像編碼裝置能夠更細緻地，對與在幀內的部分區域的每
一個設定的下採樣比對應地下採樣特定的信號成分而生成的影像信號
進行編碼。
如上述那樣，在影像編碼裝置中，有時在幀間預測中使用小數像素 精度的運動補償。這是因為當採用這樣的結構時，能夠實現高精度的運 動補償。
可是，在上述的影像編碼裝置中，因為以幀內的部分區域為單位而 使特定的信號成分的下採樣比適應地變化，所以在幀間預測中使用小數 像素精度的運動補償的情況下所需要的參照幀的內插精度不能是固定的。
因此，所述影像編碼裝置還可以具備
在所述編碼對象影像信號的編碼中，在幀間預測中使用小數像素精度的運動補償的情況下，對應於編碼對象幀內的各部分區域的下採樣 比、和該部分區域在運動補償時參照的參照幀內的部分區域的下採樣比 的比率值，使所述參照幀內的部分區域中的被下採樣了的信號成分的內
插精度變化的單元；
基於所述變化的內插精度，生成所述參照幀內的部分區域的內插圖
像的單元。
與此對應，本發明提供一種影像解碼裝置，對通過上述影像編碼裝
置生成的影像信號的編碼數據進行解碼，該影像解碼裝置具備
在幀間預測中使用小數像素精度的運動補償的情況下，對應於解碼
對象幀內的各部分區域的下採樣比、和該部分區域在運動補償時參照的
參照幀內的部分區域的下採樣比的比率值，使所述參照幀內的部分區域
中的被下採樣了的信號成分的內插精度變化的單元；
基於所述變化的內插精度，生成所述參照幀內的部分區域的內插圖
像的單元。
這裡，通過以上的各處理單元工作而實現的本發明的影像編碼方法 和本發明的影像解碼方法也能夠以電腦程式實現，該電腦程式記錄 在適當的計算機能夠讀取的記錄介質中而被提供，或經由網絡而被提 供，在實施本發明時通過被安裝並在CPU等的控制單元上工作，從而 實現本發明。
在這樣構成的本發明的影像編碼裝置中，對應於編碼對象幀內的部 分區域的下採樣比、和該部分區域在運動補償時參照的參照幀內的部分 區域的下採樣比的比率值，使參照幀內的部分區域中的被下採樣了的信 號成分的內插精度變化，基於該變化的內插精度，生成所述參照幀內的 部分區域的內插圖像。
此外，在具有與此對應的結構的本發明的影像解碼裝置中，對應於 解碼對象幀內的部分區域的下採樣比、和該部分區域在運動補償時參照 的參照幀內的部分區域的下採樣比的比率值，使參照幀內的部分區域中 的被下採樣了的信號成分的內插精度變化，基於該變化了的內插精度， 生成所述參照幀內的部分區域的內插圖像。
按照該結構，根據本發明，在採用以幀內的片為單位使下採樣比適 應地變化的結構時，即使有按照該結構而參照幀的內插精度變化的情 況，也能夠生成實現所要求的運動補償的參照幀的內插圖像。
12發明的效果
根據本發明，在對影像進行編碼時，對應於每個幀的性質、或幀內 的局部的性質，能夠使特定的信號成分的下採樣比適應地變化，由此能 夠實現對應於視覺靈敏度等的有效率的碼量減少。
此外，根據本發明，即使有通過使下採樣比適應地變化，各信號成 分的塊的組合模式變化的情況，也能夠不改變在標準化了的影像編碼裝 置中使用的結構，而使用該結構，其中該標準化了的影像編碼裝置對某 種程度大小的塊賦予表示量化信號是否包含有意係數的信息。
而且，根據本發明，在幀間預測中使用小數像素精度的運動補償的 情況下，即使有通過使下採樣比適應地變化而參照幀的內插精度變化的
情況，也能夠生成實現所要求的運動補償的參照幀的內插圖像。


圖1是本發明的下採樣處理的說明圖。 圖2是本發明的下採樣處理的說明圖。
圖3是本發明的下採樣處理的說明圖。 圖4是本發明的下採樣處理的說明圖。 圖5是CBP的說明圖。
圖6是表示亮度成分和被下採樣了的色度成分的一個例子的說明圖。
圖7A是色度共有塊集的說明圖。
圖7B同樣地是色度共有塊集的說明圖。
圖7C同樣地是色度共有塊集的說明圖。
圖7D同樣地是色度共有塊集的說明圖。
圖8是參照幀的內插精度的說明圖。
圖9是本發明的編碼處理的流程圖的一個實施例。
圖IO是圖9的流程圖的後續部分。
圖11是本發明的解碼處理的流程圖的一個實施例。
圖12是圖11的流程圖的後續部分。
圖13是本發明的影像編碼裝置的一個實施例。
圖14是本發明的影像解碼裝置的一個實施例。
圖15是本發明的參照幀內插圖像生成裝置的 一個實施例。
13圖16是表示影像編碼裝置的裝置結構例的圖。 圖17是表示影像解碼裝置的裝置結構例的圖。
圖1 8是本發明的參照幀內插圖像生成處理的流程圖的 一個實施例。
附圖標誌說明
100適應處理標誌設定部
101適應處理標誌存儲部
102亮度信號讀入部
103亮度信號存儲部
104色度信號讀入部
105色度信號存儲部
106下採樣比設定部
107下採樣比存儲部
108色度信號下採樣處理部
109色度信號存儲部
110有色度宏塊位置信息設定部
110-1序列適應處理部
110-2片適應處理部
110- 3色度適應處理部 111編碼流生成部
111- 1頭部信息編碼部 111-2頭部信息編碼流存儲部
111-3亮度信號/色度信號編碼處理部 111-4亮度信號/色度信號編碼流存儲部 111-5編碼流復用部 112編碼流存儲部 113最終片判定部
具體實施例方式
下面，」接照實施方式對本發明進行詳細地it明。
在本發明中，實現了一種新的影像編碼/解碼技術，該技術通過導入 針對每個幀的適應的下採樣處理、和針對各幀內的每個區域的適應的下 採樣處理，能夠有效率地削減碼量。在下面表示該適應的下採樣處理導入所需要的編碼器/解碼器中的 功能。
再有，在以下的例子中，將由亮度信號(Y)和兩個色度成分(Cb，
Cr)構成的色空間中的色度成分作為下採樣的對象，但本發明的對象並 不限於該色空間的信號。
例如，本發明對通過對4:4:4格式的影像信號實施任意的顏色變換 而得到的三個成分也能夠同樣地進行。進而，實施適應的下採樣處理的 成分的數量也不被限定於特定的數。例如，在作為色變化使用KL變換 而得到第一主成分、第二主成分、第三主成分的情況下，能夠以任意一 個成分作為對象。此外，也有將三個成分中的兩個成分(例如第二主成 分、第三主成分)作為對象的例子。進而，當然也能夠將三個成分全部 作為對象。
進而，在將色空間信號以外的信號作為下採樣的對象的情況下，本 發明也能夠同樣地應用。 [1]幀單位的適應處理
在本發明的第一方式中，對應於幀內的性質，使對於色度成分的幀 下採樣比適應地變^ft。
幀下採樣比指的是在將4:4:4格式的影像的第t幀的大小作為
W[t]xH[t][像素]，將下採樣後的色度成分的幀大小作為W，[t]xH，[t][像素〗
的情況下，以
formula see original document page 15
的數式定義的rf[t] (<1 )。
圖1所示的例子，是從起始幀起依次將幀下採樣比設定為1/2、 1/4、 1/4的例子。
這裡，將兩個色度成分(Cb,Cr成分)的幀下採樣比作為相同的值。 這裡，能夠對兩個色度成分(Cb，Cr成分)獨立地設定幀下採樣比。 圖2表示該例子。在這裡，表示從起始幀起依次將Cb成分的幀下
採樣比設定為1/2、 1/4、 1/2,將Cr成分的幀下採樣比設定為1/2、 1/2、
1/4的例子。
關於對各幀的下採樣比的設定方法是從與進行下採樣的機構不同 的另外設置的外部的機構提供的。
例如，對應於幀內的過渡(變化)量的大小，能夠設置對於各幀的下採樣比。
在比較過渡量大的幀和過渡量小的幀的情況下，在前者中視覺靈敏 度相對地變低。因此，在過渡量大的幀中，與過渡量小的幀相比較，能 夠以進行大的下採樣的方式較小地設定下採樣比。
由此，在該情況下，設定下採樣比的機構針對幀檢測出過渡量的大 小，決定與其對應的下採樣比，對進行下採樣的機構指示按照該決定了 的下採樣比對該幀進行下採樣。片單位的適應處理
在本發明的第二方式中，對應於幀內的性質，使對於色度成分的片 下採樣比適應地變化。
片下採樣比指的是在將4:4:4格式影像的色度成分的第t幀分割為數
個部分區域(將此稱為"片"),將第i片的大小作為w[t,i]xh[t,i][像素]，
將下採樣後的第i片的大小作為w，[t,i]xh，[t,i][像素]的情況下，以 r [t, i]-w' [t, i:l/w[t, i]-h' [t, i]/h[t,i]
的數式定義的rs[t,i] (<1 )。
這裡，屍O,l,...,I-l， I是幀內的片的總數。
圖3的上行表示將色度成分的幀分割為兩個片的情況的例子。下面， 為了方便將兩個片中位於上方的片稱為第一片，將位於下方的片稱為第 二片。
在本例中，如圖3的下行所示，將第一片的片下採樣比設定為1/2, 將第二片的片下採樣比設定為1/4,這裡，將兩個色度成分(Cb,Cr成分) 的片下採樣比作為相同值。
這裡，能夠對兩個色度成分(Cb, Cr成分)獨立地設定片下採樣比。
圖4表示該例子。如上行所示，在與圖3相同的片分割設定中，將 Cb成分的第一片和第二片的片下採樣比分別設定為1/2, 1/4,將Cr成 分的第一片和第二片的片下採樣比分別設定為1/4, 1/2。
關於將幀的分割成片;方法，和對各片的;^F採樣比的設定方法是 從與進行片下採樣的機構不同的另外設置的外部的機構提供的。
例如，對應於過渡(變化)量的大小，能夠區域分割為片。在比較
16過渡量大的片和過渡量小的片的情況下，在前者中視覺靈敏度相對地變 低。因此，在過渡量大的片中，與過渡量小的片相比較，能夠以進行大 的片下採樣的方式較小地設定片下採樣比。
由此，在該情況下，設定片下採樣比的機構針對幀內的各小區域檢 測出過渡量的大小，基於此將幀區域分割為片，並且對各片決定對應於 該片內的過渡量的片下採樣比，對進行片下採樣的機構指示按照該決定 了的片下採樣比對對應的片進行片下採樣。編碼塊模式
述)相關的位分配進行說明。
在H.264中，將16xl6[像素]的亮度成分、和兩個8x8[像素]的色度 成分稱為宏塊，以該宏塊為單位將變換係數變換為編碼流。
這時，如圖5所示那樣，對包括亮度成分的四個8x8[像素]的子塊、 和同一大小的兩個色度成分的子塊的六個子塊，賦予表示各子塊內的變 換係數是否包含有意係數(非零的係數)的六位的信息。將該信息稱為 "Coded Block Pattern(CBP),塊編碼模式"。
再有，圖5中的子塊內的數字表示對於各子塊的CBP內的位的位置。
對CBP內的對應的位為0的子塊，不附加CBP以外的變換係數的 編碼信息。這是為了削減碼量的處理。另一方面，對於同位成為l的子 塊，附加變換係數的信息。
在H.264中，使用這樣的CBP謀求碼量的削減，在進行本發明的適 應的幀下採樣和片下採樣時，需要構築為了能夠使用該CBP的結構。
由此，在本發明中，在色度成分的下採樣比為可變的情況下，變更 與該CBP相關的位分配。
接著，對本發明的與CBP相關的位分配進行說明。
作為例子，考慮將宏塊中的亮度成分的大小作為16x16,將幀下採 樣比(或片下採樣比)作為"<1/2)的情況。
在該情況下，發生構成要素不同的兩種宏塊。
即，包括以亮度成分的四個8x8[像素]的子塊和相同大小的兩個色 度成分的子塊構成的六個子塊的宏塊，和僅包括亮度成分的四個8x8[像 素]的子塊的宏塊。在前者的情況下，CBP與現有技術同樣地以6位表示。另一方面，
在後者的情況下，CBP以4位表示。
圖6表示r=l/4的例子。在該情況下，關於色度成分和亮度成分的 組合，可以考慮圖7A 7D所示的四種。因此，需要表示在哪個位置的 宏塊保有色度成分的信息。
將色度成分和共有該色度成分的亮度成分構成的像素集合稱為色 度共有塊集。即，在圖7A 7D的任意一個中，某個宏塊所保有的色度 成分(圖中施加了陰影的部分)被其它的三個宏塊(僅具有亮度成分) 所共有。
此外，將在色度共有塊集中保有色度成分的宏塊的位置稱為有色度 宏塊位置。
關於該有色度宏塊位置的表現方法，對本發明使用的表現方法在以 下進行說明。本發明的第三方式
這是預先決定有色度宏塊位置的方法。
例如， 一個例子是以僅在與掃描順序的起始最近的宏塊保有色度成 分的方式來決定。如果預先將該位置在編碼器/解碼器共有的話，在解碼 器中沒有附加信息就能夠解碼。本發明的第四方式
這是對序列(被壓縮的影像整體)的每一個，在編碼器側設定有色 度宏塊位置的方法。
在該情況下，有色度宏塊位置在序列內採取固定的值。伴隨於此， 需要將以下的信息作為編碼信息對編碼流賦予。
首先將表示本適應處理的應用的有無的標誌 (chroma-position-sequence-adaptive)作為頭部信息對編碼流賦予。在進行 本適應處理的情況下，同標誌被設定為1,在不是的情況下，將同標誌 設定為0。
進而，由於有色度宏塊位置按照序列的每一個而變化，所以將對於 各序列的有色度宏塊位置作為序列的頭部信息對編碼流賦予。將本處理 稱為序列適應有色度宏塊位置可變處理。本發明的第五方式
這是對片的每一個，在編碼器側設定有色度宏塊位置的方法。在這裡，如上所述，片指的是將各幀內分割了的部分區域。關於具 體的分割的方法，是從設置於外部的決定片分割的機構提供的。
在該情況下，有色度宏塊位置在片內採取固定的值。伴隨於此，需 要將以下的信息作為編碼信息對編碼流賦予。
首先將表示本適應處理的應用的有無的標誌
(chroma-position-slice-adaptive)作為頭部信息對編碼流貝武予。在進行本適 應處理的情況下，同標誌被設定為1,在不是的情況下，將同標誌設定 為0。
進而，由於有色度宏塊位置按照片的每一個而變化，所以需要將對 於各片的有色度宏塊位置作為片的頭部信息對編碼流賦予。將本處理稱 為片適應有色度宏塊位置可變處理。本發明的第六方式
這是對色度共有塊集的每一個，在編碼器側設定有色度宏塊位置的 方法。在該情況下，能夠對色度共有塊集的每一個使有色度宏塊位置變 化。伴隨於此，需要將以下的信息作為編碼信息對編碼流賦予。
首先將表示本適應處理的應用的有無的標誌 (chroma-position-MBs-adaptive)作為頭部信息對編碼流賦予。在進行本適 應處理的情況下，同標誌被設定為1,在不是的情況下，將同標誌設定 為0。
進而，由於有色度宏塊位置按照色度共有塊集的每一個而變化，所 以需要對於各色度共有塊集將有色度宏塊位置作為色度共有塊集的頭 部信息對編碼流賦予。將本處理稱為色度共有塊集適應有色度宏塊位置 可變處理。運動矢量的編碼形式
接著，對進行本發明的適應的幀下採樣和片下採樣時的運動矢量的 編碼形式進行說明。
在色度共有塊集內，設亮度成分和色度成分共有相同的運動矢量信 息。其中，關於色度，需要對應於下採樣比對運動矢量進行縮放(scaling)。
例如，在賦予編碼流的運動矢量是v^(4,8),下採樣比是l/4的情況 下，亮度成分的運動矢量是v=(4,8)，色度成分的運動矢量是 (l/4)xv=(l,2)。本發明的第七方式對應於編碼對象幀(第t幀)和參照幀(第t-l幀)的幀下採樣比， 基於以下所示的數式(1),使參照幀的色度成分的內插精度變化，基 於此生成參照幀的色度成分的內插圖像。
再有，在以下將編碼對象幀的幀下採樣比作為rf[t],將參照幀的幀 下採樣比作為rf[t-l]。
在笫t幀的亮度成分的運動估計精度(運動補償精度)為1/M的情
況下，參照幀的色度成分的內插精度A以
A- (r [t—[t]) X (1/M)數式(1) f f
來求取。
例如，在編碼對象幀的亮度成分的運動估計為1/4像素精度、編碼 對象幀的色度成分的下採樣比為1/4、參照幀的色度成分的下採樣比為 1/2的情況下，參照幀的色度成分的運動內插精度A按照該數式(1)， 成為
A= (1/2) + (1/4) X (1/4) = 1/2
的1/2像素精度。
這是基於如下理由。在編碼對象幀的色度成分的下採樣比為1/4的 情況下，色度成分的運動矢量使用將亮度成分的運動矢量縮放為1/4的 矢量。通過該縮放，運動矢量的不足1像素的信息被丟棄，編碼對象幀 的色度成分的運動估計精度為l像素精度。
另一方面，參照幀的下採樣比為1/2,成為亮度信號的一半的分辨 率。因此，編碼對象幀的色度成分為了得到要求的整數像素位置的信息， 需要通過對參照幀中相當於1/2像素的位置的信息進行內插而獲得。
圖8綜合表示在將亮度成分的運動估計精度作為1/4像素精度、使 編碼對象幀/參照幀的下採樣比以1、 1/2、 1/4變化的情況下的參照幀的 內插精度(通過數式(1)求取的內插精度A)的結果。
這裡，圖8中表示的編碼對象幀(的色度成分)所需要的運動估計
精度通過
(l/r [t])X(l/M)
f
的數式來求取。本發明的第八方式
對應於編碼對象幀(第t幀)和參照幀(第t-l幀)的片下採樣比， 基於以下所示的數式(2),使參照幀的色度成分的片中的內插精度變
20化，基於此生成參照幀的色度成分的片中的內插圖像。
再有，以下考慮編碼對象幀的第i片內的塊將參照幀的第j片內的
區域作為運動補償時的參照信號的情況。
這時，將編碼對象幀的第i片的片下採樣比作為rs[t,i],將參照幀的
第j片的片下採樣比作為rs[t-l,j]。
在第t幀的亮度成分的運動估計精度為1/M的情況下，參照幀的色 度成分的第j片中的內插精度A[j ]成為以下數式
A[j] = (rs[t—1, j]/rs[t' i]) X (1/M) 數式(2)
實施例
接著，按照實施例對本發明進行詳細地說明。
在圖9和圖10中，圖示了本發明執行的編碼處理的流程圖的一個 實施例。按照該流程圖，對本發明執行的編碼處理進行詳細地說明。
步驟S100:讀入與有色度宏塊位置信息的設定相關的標誌 (chroma-position-sequence-adaptive,chroma-position-slice-adaptive，chroma -position-MBs-adaptive),寫出至寄存器。設定是使用所述的序列適應有 色度宏塊位置可變處理、還是使用所述的片適應有色度宏塊位置可變處 理、還是使用所述的色度共有塊集適應有色度宏塊位置可變處理。
步驟S101:進行與有色度宏塊位置信息的設定有關的標誌 chroma-position-sequence-adaptive是否為1的判定,在判定結果為真"f直 (即為"是，，)的情況下，進入到步驟S102,在不是真值(即為"否")的 情況下，進入步驟S103。
步驟S102:進行設定有色度宏塊位置信息的處理，將有色度宏塊位 置信息寫出至寄存器。
這裡，被設定的有色度宏塊位置信息在序列整體的編碼中使用。這 相當於所述的第四方式。
關於具體的設定值，從設置於外部的進行有色度宏塊位置信息的設 定的機構提供。例如，有將編碼失真和碼量的加權和作為代價函數，以 使同代價函數最小化的方式設定有色度宏塊位置信息的方法等。
步驟S103:進行與有色度宏塊位置信息的設定相關的標誌 chroma-position-sequence-adaptive是否為1的判定,在判定糹吉果為真^f直的情況下，進入步驟S106。在不是真值的情況下，進入步驟S104。
步驟S104:進行與有色度宏塊位置信息的設定相關的標誌 chroma-position-slice-adaptive是否為1的判定，在判定結果為真值的情 況下，進入步驟S105。在不是真值的情況下，進入步驟S106。
步驟S105:進行設定有色度宏塊位置信息的處理，將有色度宏塊位 置信息寫出至寄存器。
這裡，被設定的有色度宏塊位置信息在片內的編碼中使用。這相當 於所述的第五方式。
關於具體的設定值，從設置於外部的進行有色度宏塊位置信息的設 定的機構提供。例如，有將編碼失真和碼量的加權和作為代價函數，以 使同代價函數最小化的方式設定有色度宏塊位置信息的方法等。
步驟S106:讀入現在觀察的片的亮度信號、色度信號，寫出至寄存器。
步驟S107:設定對於色度信號的下採樣比。這裡，被設定的下採樣 比是片下採樣比。
關於具體的設定值，從設置於外部的進行片下採樣比的設定的機構 提供。例如，有在亮度值低的片中，以對色度成分進行大的下採樣的方 式設定小的下採樣比的方法等。
步驟S108:將寫出至寄存器的色度信號和設定了的下採樣比作為輸 入，進行與輸入的下採樣比對應的色度成分的下採樣處理，將下採樣後 的色度成分寫出至寄存器。
關於下採樣中使用的濾波器的係數，對應於下採樣比，從設置於外 部的進行濾波器係數的決定的機構提供。
步驟S109:進行與有色度宏塊位置信息的設定相關的標誌 chroma-position-sequence-adaptive或chroma-position-slice-adaptive的至 少一方是否為l的判定，在判定結果是真值的情況下，進入步驟S112。 在不是真值的情況下，進入步驟S110。
步驟SH0:進行與有色度宏塊位置信息的設定相關的標誌 chroma-position-MBs-adaptive是否為1的判定，在判定結果是真值的情 況下，進入步驟Slll。在不是真值的情況下，進入步驟S112。
步驟S111.'進行設定有色度宏塊位置信息的處理，將有色度宏塊位 置信息寫出至寄存器。這裡，被設定的有色度宏塊位置信息在色度共有
22塊集的編碼中使用。這相當於所述第六方式。
關於具體的設定值，從設置於外部的進行有色度宏塊位置信息的設 定的機構提供。例如，有將編碼失真和碼量的加權和作為代價函數，以 使同代價函數最小化的方式設定有色度宏塊位置信息的方法等。
步驟S112:讀入設定了的有色度宏塊位置信息、和下採樣比，寫出
至寄存器。
步驟S113:將在步驟S112寫出至寄存器的有色度宏塊位置信息作 為輸入，判定編碼對象的宏塊是否在有色度宏塊位置，輸出作為判定結 果的真假值。
在輸出是真值的情況下，進入步驟S114。在輸出是假值的情況下， 轉移到步驟S115的處理。
步驟S114:將色度信號作為輸入，進行編碼處理，將編碼結果寫出 至寄存器。
具體的編碼方法根據使用的編碼算法而不同。例如，在H.264、
MPEG-2中，包括運動補償、離散餘弦變換等處理。
步驟S115:將在編碼中發生的頭部信息寫出至寄存器。 具體的編碼對象記號(symbol)等根據使用的編碼算法而不同。例
如在H.264的情況下，同步碼是編碼對象記號(這裡，記號指的是信息
的結構單位)。
步驟S116:將亮度信號作為輸入進行編碼處理，將編碼結果寫出至 寄存器。
具體的編碼方法根據使用的編碼算法而不同。例如，在H.264、 MPEG-2中，包括運動補償、離散餘弦變換等處理。
步驟S117、步驟S118:對色度共有塊集內的全部宏塊反覆進行步 驟S113-步驟S116的處理。
步驟S119:對片內的全部色度共有塊集反覆進行步驟S109-步驟 S118的處理。
步驟S120:對序列內的全部片反覆進行步驟S103-步驟S119的處理。
這樣，在本實施例中，以下述方式進行處理，對應於適應地設定的 片下採樣比， 一邊對色度成分進行片下採樣， 一邊對亮度成分和色度成 分進行編碼，同時對表示哪個宏塊保有色度成分的有色度宏塊位置信息進行設定並作為頭部信息進行編碼。
在圖11和圖12中，圖示了將通過圖9和圖10的流程圖的編碼處 理生成的編碼數據作為解碼對象的、根據本發明的解碼處理的流程圖的 一個實施例。按照該流程圖，對本發明執行的解碼處理進行詳細地說明。
步驟S200:將編碼流作為輸入，對與有色度宏塊位置信息的設定相 關的才示志(chroma-position-sequence-adaptive, chroma-position-slice-ada ptive, chroma-position-MBs-adaptive)進行解碼處理，將得到的標誌的值
寫出至寄存器。
步驟S201:進行與有色度宏塊位置信息的設定相關的標誌 chroma-position-sequence-adaptive是否為1的判定，在判定結果為真i"直 的情況下，進入到步驟S202。在不是真值的情況下，進入到步驟S203。
步驟S202:將編碼流作為輸入，進行解碼有色度宏塊位置信息的處 理，將得到的有色度宏塊位置信息的值寫出至寄存器。這成為使用所述 的第四方式的情況下的處理。
步驟S203:將編碼流作為輸入，進行解碼下採樣比的處理，將下採 樣比的值寫出至寄存器。
步驟S2'04:進行與有色度宏塊位置信息的設定相關的標誌 chroma-position-slice-adaptive是否為1的判定，在判定結果是真值的情 況下，進入步驟S205。在不是真值的情況下，進入步驟S206。
步驟S205:將編碼流作為輸入，進行解碼有色度宏塊位置信息的處 理，將得到的有色度宏塊位置信息的值寫出至寄存器。這成為使用所述 的第五方式的情況下的處理。
步驟S206:進行與有色度宏塊位置信息的設定相關的標誌chroma-position-MBs-adaptive是否為1的判定，在判定結果是真值的情況下， 進入步驟S207。在不是真值的情況下，進入步驟S208。
步驟S207:將編碼流作為輸入，進行解碼有色度宏塊位置信息的處 理，將得到的有色度宏塊位置信息的值寫出至寄存器。這成為使用所述 的第六方式的情況下的處理。
步驟S208:將有色度宏塊位置信息作為輸入，判定作為編碼對象的 宏塊是否在有色度宏塊位置，將作為判定結果的真假值輸出。在輸出是 真值的情況下，進入步驟S209。在輸出是假值的情況下，轉移至步驟 S210的處理。步驟S209:將編碼流作為輸入，進行解碼色度成分的處理，將解碼 結果寫出至寄存器。
步驟S210:將編碼流作為輸入，進行解碼亮度成分的處理，將解碼 結果寫出至寄存器。
步驟S211、步驟S212:對色度共有塊集內的全部的宏塊反覆進行 步驟S208 -S210的處理。
步驟S213:將在步驟S203解碼的下採樣比作為輸入，進行將下採 樣比換算為上採樣比的處理，將計算出的值寫出至寄存器。
該上採樣比是下採樣比的倒數。
步驟S214:將在步驟S213得到的上採樣比、和在步驟S209被解 碼的色度成分作為輸入，對同色度成分進行上採樣處理，將處理後的色 度成分寫出至寄存器。
步驟S215:對片內的全部的色度共有塊集反覆進行步驟S206 步 驟S214的處理。
步驟S216:對序列內的全部的片反覆進行步驟S203 ~步驟S215的處理。
這樣，在本發明中，將通過圖9和圖10的流程圖的編碼處理生成 的編碼數據作為解碼對象，以解碼影像信號的方式進行處理。
圖13中表示執行圖9和圖10的流程圖的編碼處理的本發明的影像 編碼裝置的一個實施例。按照該圖13,對本影像編碼裝置的裝置結構進 行說明。
這裡，在圖13中，IOO是適應處理標誌設定部、101是適應處理標 志存儲部、102是亮度信號讀入部、103是亮度信號存儲部、104是色度 信號讀入部、105是色度信號存儲部、106是下採樣比設定部、107是下 採樣比存儲部、108是色度信號下採樣處理部、109是色度信號存儲部、 IIO是有色度宏塊位置信息設定部、lll是編碼流生成部、112是編碼流 存儲部、113是最終片判定部。
該有色度宏塊位置信息設定部110具備序列適應處理部110-1、 片適應處理部110-2、色度適應處理部110-3。
此外，編碼流生成部111具備頭部信息編碼部111-1、頭部信息 編碼流存儲部111-2、亮度信號/色度信號編碼處理部111-3、亮度信號/ 色度信號編碼流存儲部111-4、編碼流復用(multiplexing)部111-5。
25接著，對該各處理部執行的處理進行說明。
適應處理標誌設定部110:讀入與有色度宏塊位置信息的設定相關
的標誌 (chroma-position-sequence-adaptive，chroma-position-slice—adapti ve, chroma-position-MBs-adaptive ),寫出至適應處理標誌存寸諸部101 。
亮度信號讀入部102:讀入亮度信號，寫出至亮度信號存儲部103。 讀入亮度信號的單位在本實施例中是片，但也能夠以比片大的單位、或 小的單位進行讀入。
色度信號讀入部104:讀入色度信號，寫出至色度信號存儲部105。 色度信號的讀入單位在本實施例中是片，但也能夠以比片大的單位、或 小的單位進行讀入。
下採樣比設定部106:進行設定下採樣比的處理，將設定的值寫出 至下採樣比存儲部107。這裡，設定的下採樣比是片下採樣比。
關於具體的設定值，從設置於外部的進行片下採樣比的設定的機構 提供。例如，在亮度值低的片中，使用對色度成分以進行大的下採樣的 方式設定小的下採樣比的方法等。
色度信號下採樣處理部108:將從色度信號存儲部105讀出的色度 信號、和從下採樣比存儲部107讀出的下採樣比作為輸入，進行對應於 輸入的下採樣比的色度成分的下採樣處理，將下採樣後的色度成分寫出 至色度信號存儲部109。
關於下採樣中使用的濾波器的係數，對應於下採樣比，從設置於外 部的進行濾波器係數的決定的機構提供。
有色度宏塊位置信息設定部110:將從亮度信號存儲部103讀出的 亮度信號、從色度信號存儲部105讀出的下採樣前的色度信號、從色度 信號存儲部109讀出的下採樣後的色度信號、從下採樣比存儲部107讀 出的下釆樣比作為輸入，進行設定有色度宏塊位置信息的處理，將得到 的有色度宏塊位置信息向編碼流生成部111提供。
此外，基於得到的有色度宏塊位置信息，將從色度信號存儲部109 輸出的下採樣後的色度信號向編碼流生成部111提供。
再有，關於有色度宏塊位置信息的設定的詳細如以圖9和圖10的 流程圖說明了的那樣。
編碼流生成部111:包括以下記述的頭部信息編碼部111-1 ~編碼流 復用部111-5的處理。頭部信息編碼部111-1:將有色度宏塊位置信息、下採樣比和其它 的頭部信息一起作為輸入而讀入，進行編碼處理，將得到的編碼流寫出 至頭部信息編碼流存儲部111-2。
亮度信號/色度信號編碼處理部111-3:將從亮度信號存儲部103讀 出的亮度信號、從色度信號存儲部109讀出的下採樣後的色度信號作為 輸入，進行編碼處理，將得到的編碼流寫出至亮度信號/色度信號編碼流 存儲部111-4。
編碼流復用部111-5:將從頭部信息編碼流存儲部111-2讀出的頭 部信息的編碼流、相對於從亮度信號/色度信號編碼流存儲部111-4讀出 的亮度成分和色度成分的編碼流作為輸入，對兩流進行復用，寫出至編 碼流存儲部112。
最終片判定部113:由於對序列內的全部的片進行上述處理，所以 對現在實施處理的片是否是最終的片進行判定，並且對編碼流存儲部 112中存儲的編碼流進行輸出。
這樣，圖13表示的影像編碼裝置按照該圖13所示的裝置結構，執 行圖9和圖IO的流程圖的編碼處理。
在圖14中，圖示了執行圖11和圖12的流程圖的解碼處理的本發 明的影像解碼裝置的一個實施例。按照該圖14，對本影像解碼裝置的裝 置結構進行說明。
這裡，在圖14中，200是頭部信息解碼部、201是亮度信號解碼處 理部、202是亮度信號存儲部、203是下採樣比存儲部、204是有色度宏 塊位置信息存儲部、205是有色度宏塊位置信息判定部、206是色度信 號解碼處理部、207是色度信號存儲部、208是色度信號上採樣處理部、 209是色度信號存儲部。
該頭部信息解碼部200具備下採樣比解碼處理部200-1、有色度 宏塊位置信息解碼處理部200-2。
而且，該有色度宏塊位置信息解碼處理部200-2具備序列適應處 理標誌糹企測部200-3、序列適應處理標誌存儲部200-4、序列適應處理判 定部200-5、片適應處理標誌衝全測部200-6、片適應處理標誌存4諸部200-7、 片適應處理判定部200-8、色度共有塊集適應處理標誌;險測部200-9、色 度共有塊集適應處理標誌存儲部200-10、色度共有塊集適應處理判定部 200-11、流存儲部200-12、有色度宏塊位置信息解碼部200-13。
27接著，對該各處理部執行的處理進行說明。
頭部信息解碼部200:將編碼流作為輸入，進行解碼頭部信息的處 理。成為解碼對象的是下採樣比、有色度宏塊位置信息、和其它的頭部 信息(在亮度信號解碼處理部201、色度信號解碼處理部206不成為解 碼處理的對象的信號)。
下採樣比解碼處理部200-1:將編碼流作為輸入，進行解碼下採樣 比的處理，寫出至下採樣比存儲部203。
有色度宏塊位置信息解碼處理部200-2:將編碼流作為輸入，進行 解碼有色度宏塊位置信息的處理，寫出至有色度宏塊位置信息存儲部 204。
該有色度宏塊位置信息解碼處理部200-2的處理包含以下記述的序 列適應處理標誌檢測部200-3 ~有色度宏塊位置信息解碼部200-13的處理。
序列適應處理標誌檢測部200-3:將編碼流作為輸入，4企測與有色 度宏塊位置信息的設定相關的標誌chroma-position-sequence-adaptive, 將得到的標誌的值寫出至序列適應處理標誌存儲部200-4。
序列適應處理判定部200-5:將從序列適應處理標誌存儲部200-4 讀出的chroma-position-sequence-adaptive的^f直作為專命入，進4亍該直是否 是l的判定處理，輸出真假值，在輸出是真值的情況下，在編碼流中在 標誌chroma-position-sequence-adaptive之後,4妻著將有色度宏塊位置信 息的編碼流寫出至流存4諸部200-12。
在不是真值的情況下，向片適應處理標誌檢測部200-6輸入編碼流。
片適應處理標誌檢測部200-6:將編碼流作為輸入，檢測與有色度 宏塊位置信息的設定相關的標誌chroma-position-slice-adaptive, 將得到 的標誌的值寫出至片適應處理標誌存儲部200-7。
片適應處理判定部200-8:將從片適應處理標誌存儲部200-7讀出 的chroma-position—slice-adaptive的Y直作為豐lT入,進4亍該ii是否是1的判 定處理，輸出真假值，在輸出是真值的情況下，在編碼流中在標誌 chroma-position-slice-adaptive之後，接著將有色度宏塊位置信息的編碼 流寫出至流存4請部200-12。
在不是真值的情況下，將編碼流輸入到色度共有塊集適應處理標誌 ;險測部200-9。色度共有塊集適應處理標誌檢測部200-9:將編碼流作為輸入，才全 測與有色度宏塊位置信息的設定相關的標誌chroma-position-MBs-adap tive,將得到的標誌的值寫出至色度共有塊集適應處理標誌存儲部 200-10。
色度共有塊集適應處理判定部200-11:將從色度共有塊集適應處理 標誌存4諸部200-10讀出的chroma-position-MBs-adaptive的值作為4俞入， 進行該值是否是1的判定處理，輸出真假值，在輸出是真值的情況下， 在編碼流中在標誌chroma-position-MBs-adaptive之後，接著將有色度宏 塊位置信息的編碼流寫出至流存儲部200-12。
有色度宏塊位置信息解碼部200-13:將從流存儲部200-12讀出的 編碼流作為輸入，進行解碼有色度宏塊位置信息的處理，將解碼結果寫 出至有色度宏塊位置信息存儲部204。
亮度信號解碼處理部201:將編碼流作為輸入，進行解碼亮度信號 的處理，寫出至亮度信號存儲部202。
有色度宏塊位置信息判定部205:將從有色度宏塊位置信息存儲部 204讀出的有色度宏塊位置信息作為輸入，判定編碼對象的宏塊是否在 有色度宏塊位置上，在判定為在同位置上的情況下，發送控制信號，進 行色度信號解碼處理部206的處理。
色度信號解碼處理部206:將編碼流作為輸入，進行解碼色度信號 的處理，寫出至色度信號存儲部207。
色度信號上採樣處理部208:將從下採樣比存儲部203讀出的下採 樣比、和從色度信號存儲部207讀出的色度信號作為輸入，基於下採樣 比計算出上採樣比，對同色度信號進行上採樣處理，將處理後的色度信 號寫出至色度信號存儲部209。
這樣，圖14所示的影像解碼裝置按照該圖14所示的裝置結構，執 行圖11和圖12的流程圖的解碼處理。
接著，如在所述第七方式中說明了的那樣，在本發明中，在以幀為 單位適應地使下採樣比變化時，能夠生成實現所要求的運動補償的參照 幀的內插圖像。
在圖15中圖示了實現該第七方式的本發明的參照幀內插圖像生成 裝置的一個實施例。
以該方式構成的本發明的參照幀內插圖像生成裝置，在生成用於色度信號的運動估計的參照信號時使用。能夠應用到具備採用了圖16所 示那樣的結構的影像編碼裝置的參照信號生成處理部1000,或應用到具 備採用了圖17所示那樣的結構的影像解碼裝置的參照信號生成處理部
2000。
這裡，在圖15中，300、 301是內插濾波器係數存儲部，302是參 照幀信號存儲部，303、 304是下採樣比存儲部，305是參照幀內插精度 計算部，306是參照幀內插精度存儲部，307是參照幀內插處理判定部， 308是參照幀內插像素值生成部，309是參照幀內插像素值存儲部，310 是輸出控制部，311是參照幀內插處理狀態存儲部。
內插濾波器係數存儲部300:容納對運動補償中的參照幀的內插濾 波器係數。
內插濾波器係數存儲部301:同樣地，容納對運動補償中的參照幀 的內插濾波器係數。在本實施例中，為了表示有選擇地使用兩種濾波器 係數的例子，將兩種濾波器係數分別容納在個別的存儲部中。
例如，該濾波器係數對應於運動補償中的內插位置(1/2像素位置、 1/4像素位置)進行切換。再有，本發明在使用兩種以上的濾波器係數 的情況下也能夠應用。
參照幀信號存儲部302:容納運動補償中的參照幀信號。
下採樣比存儲部303:容納對運動補償中的參照幀的下採樣比。
下採樣比存儲部304:容納對運動補償中的對象幀(編碼對象幀和 解碼對象幀)的下採樣比。
參照幀內插精度計算部305:將從下採樣比存儲部303讀出的對參 照幀的下採樣比、和從下採樣比存儲部304讀出的對對象幀的下採樣比 作為輸入，進行計算參照幀所需要的內插精度的處理，寫出至參照幀內 插精度存儲部306。具體的計算方法按照數式(1 )。
參照幀內插處理判定部307:將從參照幀內插精度存儲部306讀出 的參照幀的內插精度、和從參照幀內插處理狀態存儲部311讀出的、表 示已經完成了內插處理的像素位置的信息(例如關於1/2像素位置已經 完成了內插處理等信息)作為輸入，進行是否全部生成了參照幀中的內 插像素值的判定，在該判定結果是真的情況下，驅動輸出驅動部310, 輸出參照幀內插像素值存儲部309的值(即，最終的參照幀的內插圖像 的輸出)。
30另一方面，在該判定結果是假的情況下，轉移至參照幀內插像素值 生成部308的處理。這時，將表示成為內插對象的像素位置的信息向參 照幀內插像素值生成部308提供。
參照幀內插像素值生成部308:將表示成為內插對象的像素位置的 信息作為輸入，對應於同信息，從內插濾波器係數存儲部300或內插濾 波器係數存儲部301讀入濾波器係數作為輸入。
接著，將從參照幀信號存儲部302讀出的參照幀的像素值、或從參 照幀內插像素值存儲部309讀出的也包含內插位置的參照幀的像素值作 為輸入，進行內插處理，將其結果寫出至參照幀內插像素值存儲部309。
再有，參照幀內插像素值存儲部309在最初以零值被初始化。此外， 每當各參照幀的處理結束時，同樣地以零值被初始化。這樣，在容納有 初始值的情況下，在本處理中，不進行從參照幀內插像素值存儲部309 讀入。
進而，將表示已經完成內插處理的像素位置的信息(例如關於1/2 像素位置已經執行了內插等的信息)寫出至參照幀內插處理狀態存儲部 311。
這樣，圖15所示的本發明的參照幀內插圖像生成裝置在採用以 採用圖16所示的結構的影像編碼裝置、或採用圖17所示的結構的影像 解碼裝置以幀為單位使下採樣比適應地變化的結構時，按照該結構配合 參照幀的內插精度變化的情況，以生成實現所要求的運動補償的參照幀 的內插圖像的方式進行處理。
圖18中圖示了釆用圖15的裝置結構的參照幀內插圖像生成裝置執 行的流程圖的一個實施例。按照該流程圖，對本參照幀內插圖像生成裝 置執行的處理進行說明。
步驟S300: BR〉F讀入運動補償中的對參照幀的內插濾波器係數作 為輸入，寫出至寄存器。再有，本發明能夠使用多種濾波器係數。
步驟S301:讀入運動補償中的對參照幀的下採樣比作為輸入，寫出 至寄存器。
步驟S302:讀入運動補償中的對對象幀的下採樣比作為輸入，寫出 至寄存器。
步驟S303:讀入運動補償中的參照幀信號作為輸入，寫出至寄存器。 步驟S304:將對參照幀的下釆樣比、和對對象幀的下採樣比作為輸入，進行計算參照幀所需要的內插精度的處理，寫出至寄存器。具體的 計算方法按照數式(1 )。
步驟S305:將在步驟S304計算出的參照幀的內插精度作為輸入， 進行該值是否不足1像素的判定，輸出真假值，在輸出是真值的情況下， 轉移至步驟S306的處理，在輸出是假值的情況下，因為不需要進行內 插，所以結束處理。
步驟S306:將參照幀的現在的內插精度、和在步驟S304計算出的 參照幀的內插精度作為輸入，進行參照幀的現在的內插精度是否比在步 驟S304計算出的參照幀的內插精度粗的判定處理，輸出真假值，在輸 出是真值的情況下，轉移至步驟S307的處理，在輸出是假值的情況下， 結束處理。
步驟S307:將參照幀的現在的內插精度作為輸入，選擇同精度的內 插濾波器係數，將同濾波器係數寫出至寄存器。
關於具體的濾波器係數(存儲在內插濾波器係數存儲部300、 301 中)，從設置於外部的進行濾波器係數的決定的機構提供。
步驟S308:將參照幀信號、參照幀的現在的內插精度、在步驟S307 中選擇的同精度的內插濾波器係數作為輸入，進行內插處理，生成參照 幀的內插圖像。
步驟S309:將步驟S308中的參照幀的內插精度作為輸入，使同內 插精度細緻一個級別(level)。
關於內插精度的級別，例如在要得到對1/8像素精度的內插圖像的 情況下，通過使內插精度的濾波器係數依次變細緻，生成在對應於1/2、 1/4、 1/8像素精度的順序的位置的內插圖像。
像這樣，圖15所示的參照幀內插圖像生成裝置，通過執行圖18所 示的流程圖的參照幀內插圖像生成處理，在採用以幀為單位使下採樣比 適應地變化的結構時，即使有按照該結構而參照幀的內插精度變化的情 況，也能夠以生成實現所要求的運動補償的參照幀的內插圖像的方式進 行處理。
產業上的利用可能性
本發明能夠應用於將由兩個信號成分以上構成的影像信號作為編 碼對象的情況，在對影像進行編碼時，能夠使特定的信號成分的下採樣比適應地變化，由此能夠實現對應於視覺敏感度等的有效率的碼量降低。
權利要求
1. 一種影像編碼方法，將由兩個信號成分以上構成的影像信號作為編碼對象，具備對應於幀內的性質，設定對於幀的特定的信號成分的下採樣比的步驟；通過對應於所述設定了的下採樣比，對幀的特定的信號成分進行下採樣，從而生成編碼對象影像信號的步驟。
2. 根據權利要求1所述的影像編碼方法，其中，所述設定下採樣比的步驟具有對應於幀內的局部的性質，將幀分割為部分區域的步驟；對應於各部分區域內的性質，設定對於該部分區域的特定的信號成分的下採樣比的步驟，所述生成影像信號的步驟，通過對應於所述設定了的下採樣比，對所述部分區域的特定的信號成分進行下採樣，從而生成所述編碼對象影像信號。
3. 根據權利要求1所述的影像編碼方法，還具備對於通過所述編碼對象影像信號的編碼而得S'j的量化後的各信號成分，在將表示某種大小的塊的每一個中是否包含有意係數的信息賦予該塊的情況下，將表示哪個位置的塊的集合共有所述特定的信號成分的信息對該塊的集合進行賦予的步驟。
4. 根據權利要求1所述的影像編碼方法，還具備在所述編碼對象影像信號的編碼中，在幀間預測中使用小數像素精度的運動補償的情況下，對應於編碼對象幀的下採樣比、和參照幀的下採樣比的比率值，使所述參照幀中的被下採樣了的信號成分的內插精度變化的步驟；基於所述變化了的內插精度，生成所述參照幀的內插圖像的步驟。
5. 根據權利要求2所述的影像編碼方法，還具備在所述編碼對象影像信號的編碼中，在幀間預測中使用小數像素精度的運動補償的情況下，對應於編碼對象幀內的各部分區域的下採樣比、和該部分區域在運動補償時參照的參照幀內的部分區域的下採樣比的比率值，使所述參照幀內的部分區域中的被下採樣了的信號成分的內插精度變化的步驟；基於所述變化了的內插精度，生成所述參照幀內的部分區域的內插圖像的步驟。
6. —種影像解碼方法，對通過權利要求3所述的影像編碼方法生成的影像信號的編碼數據進行解碼，具備通過對表示所述哪個位置的塊的集合共有了所述特定的信號成分的信息的編碼數據進行解碼，判定解碼對象的塊集合是否是共有了所述特定的信號成分的塊集合的步驟；對於在所述判定步驟中判定為是共有了所述特定的信號成分的塊集合的塊集合，通過對其共有的所述特定的信號成分的編碼數據進行解的步驟。
7. —種影像解碼方法，對通過權利要求1所述的影像編碼方法生成的影像信號的編碼數據進行解碼，具備在幀間預測中使用小數像素精度的運動補償的情況下，對應於解碼對象幀的下採樣比、和參照幀的下採樣比的比率值，使所述參照幀的被下採樣了的信號成分的內插精度變化的步驟；基於所述變化了的內插精度，生成所述參照幀的內插圖像的步驟。
8. —種影像解碼方法，對通過權利要求2所述的影像編碼方法生成的影像信號的編碼數據進行解碼，具備在幀間預測中使用小數像素精度的運動補償的情況下，對應於解碼對象幀內的各部分區域的下採樣比、和該部分區域在運動補償時參照的參照幀內的部分區域的下採樣比的比率值，使所述參照幀內的部分區域中的被下採樣了的信號成分的內插精度變化的步驟；基於所述變化了的內插精度，生成所述參照幀內的部分區域的內插圖像的步驟。
9. 一種影像編碼裝置，將由兩個信號成分以上構成的影像信號作為編碼對象，具備對應於幀內的性質，設定對於幀的特定的信號成分的下釆樣比的單元；通過對應於所述設定了的下採樣比，對幀的特定的信號成分進行下採樣，從而生成編碼對象影像信號的單元。
10. 根據權利要求9所述的影像編碼裝置，其中，所述設定下採樣比的單元具有對應於幀內的局部的性質，將幀分割為部分區域的單元；對應於各部分區域內的性質，設定對於該部分區域的特定的信號成 分的下採樣比的單元，通過對應於所述設定了的下採樣比，對所述部分區域的特定的信號 成分進行下採樣，從而生成所述編碼對象影像信號。
11. 根據權利要求9所述的影像編碼裝置，還具備對於通過所述編碼對象影像信號的編碼而得至ij的量化後的各信號 成分，在將表示某種大小的塊的每一個中是否包含有意係數的信息賦予 該塊的情況下，將表示哪個位置的塊的集合共有所述特定的信號成分的 信息對該塊的集合進行賦予的單元。
12. 根據權利要求9所述的影像編碼裝置，還具備在所述編碼對象影像信號的編碼中，在幀間預測中使用小數像素精 度的運動補償的情況下，對應於編碼對象幀的下採樣比、和參照幀的下 採樣比的比率值，使所述參照幀中的被下採樣了的信號成分的內插精度 變化的單元；基於所述變化了的內插精度，生成所述參照幀的內插圖像的單元。
13. 根據權利要求IO所述的影像編碼裝置，還具備 在所述編碼對象影像信號的編碼中，在幀間預測中使用小數像素精度的運動補償的情況下，對應於編碼對象幀內的各部分區域的下採樣 比、和該部分區域在運動補償時參照的參照幀內的部分區域的下採樣比 的比率值，使所述參照幀內的部分區域中的被下採樣了的信號成分的內 插精度變化的單元；基於所述變化了的內插精度，生成所述參照幀內的部分區域的內插 圖像的單元。
14. 一種影像解碼裝置，對通過權利要求11所述的影像編碼裝置生 成的影像信號的編碼數據進行解碼，具備通過對表示所述哪個位置的塊的集合共有了所述特定的信號成分 的信息的編碼數據進行解碼，判定解碼對象的塊集合是否是共有了所述 特定的信號成分的塊集合的單元；對於所述判定單元判定為是共有了所述特定的信號成分的塊集合 的塊集合，通過對其共有的所述特定的信號成分的編碼數據進行解碼，單元。
15. —種影像解碼裝置，對通過權利要求9所述的影像編碼裝置生成 的影像信號的編碼數據進行解碼，具備在幀間預測中使用小數像素精度的運動補償的情況下，對應於解碼 對象幀的下採樣比、和參照幀的下採樣比的比率值，使所述參照幀的被 下採樣了的信號成分的內插精度變化的單元；基於所述變化了的內插精度，生成所述參照幀的內插圖像的單元。
16. —種影像解碼裝置，對通過權利要求IO所述的影像編碼裝置生 成的影像信號的編碼數據進行解碼，具備在幀間預測中使用小數像素精度的運動補償的情況下，對應於解碼 對象幀內的各部分區域的下採樣比、和該部分區域在運動補償時參照的 參照幀內的部分區域的下採樣比的比率值，使所述參照幀內的部分區域 中的被下採樣了的信號成分的內插精度變化的單元；基於所述變化了的內插精度，生成所述參照幀內的部分區域的內插 圖像的單元。
17. —種影像編碼程序，用於使計算機執行用於實現權利要求1所 述的影像編碼方法的處理。
18. —種計算機能夠讀取的記錄介質，記錄有影像編碼程序，該影 像編碼程序用於使計算機執行用於實現權利要求1所述的影像編碼方法 的處理。
19. 一種影像解碼程序，用於使計算機執行用於實現權利要求6至 8的任意一項所述的影像解碼方法的處理。
20. —種計算機能夠讀取的記錄介質，記錄有影像解碼程序，該影 像解碼程序用於使計算機執行用於實現權利要求6至8的任意一項所述 的影像解碼方法的處理。
全文摘要
一種影像編碼方法，將由兩個信號成分以上構成的影像信號作為編碼對象，該影像編碼方法具備對應於幀內的性質，設定對於幀的特定信號成分的下採樣比的步驟；以及通過對應於所述設定了的下採樣比，對幀的特定的信號成分進行下採樣，從而生成編碼對象影像信號的步驟。也可以對應於幀內的局部的性質，將幀分割為部分區域，對應於各部分區域內的性質，設定對於該部分區域的特定的信號成分的下採樣比。
文檔編號H04N11/04GK101523923SQ20078003672
公開日2009年9月2日 申請日期2007年10月5日 優先權日2006年10月10日
發明者上倉一人, 八島由幸, 坂東幸浩 申請人:日本電信電話株式會社