運動矢量檢測裝置及方法、運動圖像編碼裝置及方法、以及運動圖像解碼裝置及方法

2023-07-19 14:51:51 1

專利名稱：運動矢量檢測裝置及方法、運動圖像編碼裝置及方法、以及運動圖像解碼裝置及方法
技術領域：
本發明涉及運動矢量檢測裝置及方法、運動圖像編碼裝置及方法、以及運動圖像 解碼裝置及方法，例如可以應用於遵循H. 264/AVC標準的運動圖像編碼、解碼中。
背景技術：
在包括H. 264/AVC標準等在內的大部分運動圖像編碼方式中，採用將1個圖像(1 幀)分割為多個塊，以各塊為單位對相對於已編碼圖像的運動進行預測的運動補償。運動 補償的塊尺寸越小，能進行越精細的預測，但是，由於必須針對每個塊進行運動矢量信息的 編碼，因而碼量增加。因此，在H.264/AVC標準中，採用了從幾個運動補償塊尺寸(以下，稱為分區 (partition))中切換而選用最優的塊尺寸的策略(可變塊尺寸的運動補償)(參照非專利 文獻1)。非專利文獻1 大久保栄監修、[改訂版H. 264/AVC教科書]，株式會社〃 > / > ^ 才、,卜 if -/ 才、ζ 力 > 二一，2006 年 1 月發行，PP. 113-119但是，在H. 264/AVC標準的可變塊尺寸的運動補償中，當得到最優尺寸的分區及 運動矢量時，對該分區的運動矢量信息進行編碼，即使附近存在可認為是相同的運動矢量 所涉及的分區，也必須針對各個分區進行運動矢量信息的編碼，所以在碼量的減少方面存 在限制。因此，尋求一種能檢測運動矢量的運動矢量檢測裝置及方法，以能進一步抑制運 動矢量的碼量。並且，尋求一種採用了這種運動矢量檢測裝置或方法的運動圖像編碼裝置 及方法。進而，尋求一種與這種運動圖像編碼裝置及方法對應的運動圖像解碼裝置及方法。

發明內容
本發明的第一方面提供一種運動矢量檢測裝置，該裝置針對分割1個畫面所得到 的規定尺寸的每個塊，以上限為所述塊的尺寸、尺寸及矩形形狀不同的多個分區為單位，取 得運動矢量信息，其特徵在於，所述運動矢量檢測裝置具有分區結合單元，其在針對1個 所述塊在多個分區中取得了運動矢量的情況下，判斷是否將取得了運動矢量的多個分區結 合，並在進行結合時，將結合後的分區的運動矢量信息包含在從該裝置輸出的運動矢量信 息中。本發明的第二方面提供一種運動矢量檢測方法，針對分割1個畫面所得到的規定 尺寸的每個塊，以上限為所述塊的尺寸、尺寸及矩形形狀不同的多個分區為單位，取得運動 矢量信息，其特徵在於，分區結合單元在針對1個所述塊在多個分區中取得了運動矢量的 情況下，判斷是否將取得了運動矢量的多個分區結合，並在進行結合時，將結合後的分區的 運動矢量信息包含在從該裝置輸出的運動矢量信息中。本發明的第三方面提供一種運動圖像編碼裝置，其具有運動矢量檢測裝置，根據運動補償圖像間編碼方式對運動圖像進行編碼，其特徵在於，所述運動圖像編碼裝置將本 發明的第一方面的運動矢量檢測裝置用作上述運動矢量檢測裝置。本發明的第四方面提供一種運動圖像編碼方法，其包含由運動矢量檢測裝置執行 的運動矢量檢測步驟，根據運動補償圖像間編碼方式對運動圖像進行編碼，其特徵在於，應 用根據本發明第二方面的運動矢量檢測方法作為所述運動矢量檢測步驟。本發明的第五方面提供一種運動圖像解碼裝置，其基於由本發明的第三方面的運 動圖像編碼裝置所提供的編碼信息，進行運動圖像解碼處理，其特徵在於，所述運動圖像解 碼裝置具有運動補償解碼單元，其根據運動矢量信息，執行伴有運動補償的解碼；以及結 合分區分解單元，其識別包含在接收到的編碼信息中的運動矢量信息是否是關於結合後的 分區的運動矢量信息，在是關於結合後的分區的運動矢量信息的情況下，還原成結合前的 運動矢量信息而提供給所述運動補償解碼單元。本發明的第六方面提供一種運動圖像解碼方法，基於所輸入的編碼信息進行運動 圖像解碼處理，其特徵在於，所述運動圖像解碼方法包括運動補償解碼單元基於運動矢量 信息進行伴有運動補償的解碼的步驟；結合分區分解單元識別包含在接收到的編碼信息 中的運動矢量信息是否是關於結合後的分區的運動矢量信息，在是關於結合後的分區的運 動矢量信息的情況下，還原成結合前的運動矢量信息而提供給所述運動補償解碼單元的步 馬聚ο根據本發明，與以往相比可以減少運動矢量的碼量。


圖1是示出第1實施方式中的畫面間預測器的要部結構的框圖。圖2是示出第1實施方式的運動圖像編碼裝置的整體結構的框圖。圖3是示出編碼器6的一個構成例的框圖。圖4(A) (H)是第1實施方式的分區的組合的說明圖。圖5㈧及⑶是H. 264/AVC標準中、插入到發送信息中的運動矢量信息的表述方 法的說明圖。圖6(A) (E)是第1實施方式中的結合分區用資料庫的說明圖。圖7(A)及(B)是第1實施方式中的分區結合器的動作的說明圖。圖8是示出第1實施方式的運動圖像解碼裝置的要部結構的框圖。圖9是示出由運動圖像編碼裝置1進行了編碼的運動矢量信息(輸入信息)34的 圖。圖10是示出從圖9的信息34轉換而得到的遵循H. 264/AVC標準規範的運動矢量 信息(輸出信息)35的圖。圖11示出了與對應於分區信息/運動矢量信息32、由運動圖像編碼裝置1進行了 編碼的分區信息/運動矢量信息(輸入信息)對應的信息37、以及與基於運動矢量信息轉 換表30A由該信息37轉換而得到的遵循H. 264/AVC標準規範的分區信息/運動矢量信息 (輸出信息)對應的信息38。圖12(A) (C)是第2實施方式中的分區結合器的動作的說明圖。附圖標記說明
1 運動圖像編碼裝置、11 畫面間預測器、20-1 20-N 分區分割器21-1 21-N 運動矢量搜索器、22 分區形狀確定器、23 分區結合器30 結合分區分解器、30A 運動矢量信息轉換表。
具體實施例方式(A)第1實施方式以下，參照

根據本發明的運動矢量檢測裝置及方法、運動圖像編碼裝置 及方法、以及運動圖像解碼裝置及方法的第1實施方式。(A-I)第1實施方式的運動圖像編碼裝置圖2是示出第1實施方式的運動圖像編碼裝置1的整體結構的框圖。第1實施方 式的運動圖像編碼裝置1例如一般是遵循H. 264/AVC標準的裝置。在圖2中，運動圖像編碼裝置1具有塊分割器2、預測誤差信號生成器3、正交變 換器4、量化器5、編碼器6、逆量化器7、逆正交變換器8、解碼圖像生成器9、解碼圖像存儲 器10、畫面間預測器11、畫面內預測器12以及預測圖像生成器13。塊分割器2將圖像信號Sl分割成被稱作宏塊(macro block)的16X 16像素的矩 形塊(以下，稱為宏塊)，得到宏塊尺寸的圖像數據S2。預測誤差信號生成器3根據宏塊尺 寸的圖像數據S2、以及由預測圖像生成器13提供的預測圖像S12得到預測誤差信號S3。 正交變換器4進行預測誤差信號S3的正交變換處理，得到變換到頻域的預測誤差信號S4。 量化器5對變換到頻域的預測誤差信號S4進行量化而得到變換到頻域的量化預測誤差信 號S5。編碼器6對量化預測誤差信號S5及未圖示的編碼信息(例如，與運動補償有關的信 息；參照圖5(A)及(B))進行熵編碼(可變長編碼)而得到流S13。這種流S13作為該運 動圖像編碼裝置1的輸出而被發送，由例如未在圖2示出的運動圖像解碼裝置接收。圖3示出了編碼器6的一個結構例。圖示的編碼器6具備可變長編碼器14、可變 長編碼器15、以及復用器16。編碼器6輸入量化預測誤差信號S5、和後述的運動矢量等的 預測信息S15作為輸入信號。編碼器6通過可變長編碼器14對量化預測誤差信號進行熵 編碼，並通過可變長編碼器15對運動矢量等預測信息進行熵編碼。編碼器6通過復用器16 將經過熵編碼的量化預測誤差信號與經過熵編碼的運動矢量等的預測信息進行復用。編碼 器6輸出流S13作為輸出信號。並且，在圖3中未圖示的運動圖像解碼裝置的一個結構例中，從接收到的流S13中 分離出經過熵編碼的量化預測誤差信號、以及經過熵編碼的運動矢量等的預測信息。在該 運動圖像解碼裝置中，根據分離出的信號，對經過熵編碼的量化預測誤差信號進行熵解碼， 並對經過熵編碼的運動矢量等的預測信息進行熵解碼。接著，在該運動圖像解碼裝置中，使 用解碼後的量化預測誤差信號、以及解碼後的運動矢量等的預測信息，按照基於預定順序 的處理，輸出解碼後的運動圖像。逆量化器7對量化了的變換到頻域的預測誤差信號S5進行逆量化，得到伴有量化 誤差的、變換到頻域的預測誤差信號S6。逆正交變換器8對伴有量化誤差的、變換到頻域的 預測誤差信號S6進行逆正交變換，得到伴有量化誤差的預測誤差信號S7。解碼圖像生成器 9根據伴有量化誤差的預測誤差信號S7和預測圖像S12得到解碼圖像S8。解碼圖像存儲器10存儲已經過編碼的、局部被解碼的解碼圖像S8。存儲的解碼圖像S8被讀出作為參照圖像S9。在H. 264/AVC標準的情況下，運動補償中參照的圖像不限於 當前正要進行編碼的圖像(編碼對象圖像)的緊前面的圖像，多個時刻的圖像(位於當前 畫面(幀)的前後的、多個相互不同的畫面的圖像)可以作為參照圖像。畫面間預測器11根據當前要進行編碼的時刻Tn的畫面中的宏塊尺寸的圖像數據 S2、以及與時刻Tn不同的時刻Tk Φ Tn的畫面中的參照圖像S9，得到運動矢量等的預測信 息S15。運動矢量是表示以塊為單位的(不限於宏塊尺寸)參照圖像(參照區域)S9與當 前的圖像數據(處理對象區域)S2之間在空間上的偏移的值。作為在求取與當前的圖像數 據S2最類似的參照圖像(參照區域)時使用的方法的一種，例如有塊匹配法。畫面間預測 器11得到的運動矢量信息被提供給編碼器6。畫面內預測器12根據當前要進行編碼的時刻Tn的畫面中的宏塊尺寸的圖像數據 S2、以及同一時刻Tn的畫面中的在空間上靠近要進行編碼的宏塊的周邊參照圖像，來確定 預測方法，並輸出表示所確定的預測方法的信號S10。畫面內預測相當於各塊的預測編碼，利用同一畫面內的、在此之前經過了編碼的 像素的數據，在H. 264/AVC (例如，畫面內預測中的垂直預測、畫面內預測中的水平預測、畫 面內預測中的平均值預測)中，僅使用與要編碼的塊相鄰的行及列的像素。具體而言，需要確定使用相鄰像素中的哪個(對要編碼的塊的各像素使用哪個方 向上的像素？)、進行何種運算(僅僅是直接使用相鄰的像素的值？還是求取多個像素的 平均？)、對何種尺寸的每個塊進行編碼，而且，對於畫面的左端、上端的塊，需要進行與上 述不同的特殊處理。通過上述的「(表示)預測方法(的信號)S10」來指定這些預測編碼 的詳細信息。預測圖像生成器13在畫面內預測的情況下，根據參照圖像S9和預測方法SlO通 過畫面內預測來生成預測圖像S12，並且在畫面間預測的情況下，根據參照圖像S9和預測 信息S15通過畫面間預測來生成預測圖像S12。進行畫面內預測還是進行畫面間預測的確定是例如通過選擇編碼對象塊與參照 圖像(參照區域)之間的圖像殘差的絕對值小的一方的方法來進行。圖1是表示第1實施方式中的畫面間預測器11的要部的結構的框圖，下面通過運 動矢量搜索器21-1 21-Ν的說明來敘述該運動矢量的檢測方法(以下，將運動矢量的檢 測稱為運動矢量的搜索)。圖1中，畫面間預測器11具有Ν(Ν在依照H. 264/AVC標準時是7，以下有時以N = 7來進行說明)個分區分割器20-1 20-N、N個運動矢量搜索器21-1 21-N、分區形狀確 定器22以及分區結合器23。各分區分割器20-1 20-7分別將作為運動矢量檢測對象的16 X 16像素的宏塊， 分割成H. 264/AVC標準中規定的尺寸的各自所分配的分區(矩形塊)。例如，分區分割器 20-1 20-7分別將宏塊分割成16X 16像素、16X8像素、8X 16像素、8X8像素、8X4像 素、4X8像素、4X4像素的7種分區。另外，由於分區分割器20-1所負責的分區的尺寸與 宏塊的尺寸相等，因此可以省略分區分割器20-1。此處，8X8像素被稱為子宏塊，子宏塊可以細分為8X4像素、4X8像素、4X4像
ο運動矢量搜索器21-1 21-7分別針對每個由對應的分區分割器20_1 20_7分割的分區搜索運動矢量。在搜索的一例中，從包含處理對象分區的圖片(picture)的前後的預定多個圖片 (搜索對象圖片)中搜索最類似的區域(與處理對象分區相同形狀的區域)。例如，分別提取上述多個圖片內的最類似的區域，並從上述多個圖片各自的最類 似的區域中提取類似度最高的區域。關於類似度，求出處理對象分區的各像素與位於搜索對象區域的相同位置的像素 之間的差分的絕對值在整個處理對象分區上的合計(差分絕對值的和)，並且可以認為，該 差分絕對值的和越小，則類似度越大。各個運動矢量搜索器21-1 21-7針對各形狀的分區，求出表示包含差分絕對值 之和最小的區域(參照區域)的圖片的信息(參照圖片編號)、以及該參照區域相對於處理 對象分區(運動補償區域)的相對位置，作為該分區的運動。另外，作為求出上述差分的絕對值的和的替換，也可以求出上述差分的平方和。運動矢量搜索器21-1 21-4分別獨立地進行上述處理，並針對各自分配的分區， 求出參照圖片以及運動矢量。運動矢量搜索器21-5 21-7在運動矢量搜索器21_4所求出的參照圖片內，將最 類似的區域用作參照區域。這樣，對比子宏塊小的8X4像素、4X8像素、4X4像素的分區進行處理的運動矢 量搜索器21-5 21-7針對每個子宏塊確定參照圖片。分區形狀確定器22根據各運動矢量搜索器21-1 21_7的搜索結果，針對作為運 動矢量檢測對象的宏塊，確定使用基於何種分區組合的運動矢量信息。例如，在如圖4(A)所示的16X16像素的分區中求出的差分絕對值之和(例如，假 設由運動矢量搜索器21-1求出)SADa比第1閾值(16X 16像素的分區用的閾值)THa小的 情況下，將運動矢量搜索器21-1的輸出確定為運動矢量信息。如果16X16像素的分區中求出的差分絕對值之和SADa大於等於第1閾值THaJlJ 確認是否可以將如圖4(B)所示的16X8像素的分區中求出的運動矢量信息、或如圖4(C) 所示的8X16像素的分區中求出的運動矢量信息確定為要輸出的信息。例如，在如圖4(B)所示的16X8像素的分區中求出的2個差分絕對值之和(例如， 假設由運動矢量搜索器21-2求出)SADbl、SADb2分別比第2閾值(16X8像素的分區用的 閾值)THb小、而且這2個差分絕對值之和的合計(SADbl+SADb2)比如圖4(C)所示的8X16 像素的分區中求出的2個差分絕對值之和(例如，假設由運動矢量搜索器21-3求出)的合 計(SADcl+SADc2)小的情況下，將如圖4 (B)所示的16X8像素的分區中求出的運動矢量信 息確定為要輸出的信息。並且，在如圖4(C)所示的8X16像素的分區中求出的2個差分絕對值之和SADcl、 SADc2分別比上述第2閾值THb小、而且這2個差分絕對值之和的合計(SADcl+SADc2) 小於等於如圖4(C)所示的16X8像素的分區中求出的2個差分絕對值之和的合計 (SADbl+SADb2)的情況下，將如圖4(C)所示的8X 16像素的分區中求出的運動矢量信息確 定為要輸出的信息。當不能將在圖4(A) (C)中任意一個分區中求出的運動矢量信息確定為要輸出 的信息時，如圖4(D)所示，針對每個8X8像素的子宏塊確定運動矢量信息。關於子宏塊單位的確定方法，也存在應用如圖4(E)所示的8X8像素的分區、應用如圖4(F)所示的8X4 像素的分區、應用如圖4(G)所示的4X8像素的分區、應用如圖4(H)所示的4X4像素的分 區這4種，並且採用在不能選擇比較寬的分區的情況下，轉移到窄的分區的確定過程。圖4(D)的宏塊由4個子宏塊構成，由於在各子宏塊中，存在圖4(E) (H)這4種 確定方法，因此，在以宏塊為單位確定運動矢量時，總種類數為256( = 44)種。除此以外， 由於存在應用圖4(A) (C)中任意一個的情況，因此分區形狀確定器22的確定所涉及的 種類數是259 ( = 256+3)種。如上所述，在圖4㈧ (H)所示的分區中，圖4㈧所示的分區的運動信息從運 動矢量搜索器21-1輸出，圖4(B)所示的分區的運動信息從運動矢量搜索器21-2輸出，圖 4(C)所示的分區的運動信息從運動矢量搜索器21-3輸出，圖4(D)所示的分區的運動信息 是在8X8像素的塊0 3中分別選擇圖4(E) (H)中的任意一個，圖4(E)所示的分區的 運動信息從運動矢量搜索器21-4中輸出，圖4(F)所示的分區的運動信息從運動矢量搜索 器21-5中輸出，圖4(G)所示的分區的運動信息從運動矢量搜索器21-6輸出，圖4(H)所 示的分區的運動信息從運動矢量搜索器21-7輸出。但是，表示從運動矢量搜索器21-5 21-7輸出的參照圖片的信息是在運動矢量搜索器21-4中生成的。圖5㈧及⑶是H. 264/AVC標準中的、插入到發送信息中的運動矢量信息的表述 方法的說明圖，圖5(A)是不存在以子宏塊為單位的運動矢量信息時(圖4(A) 4(C)的情 況)的說明圖，圖5(B)是存在以子宏塊為單位的運動矢量信息時(圖4(D)的情況)的說 明圖。在圖5㈧及⑶中，mb_type表示代表圖4㈧ ⑶中的任意一個的宏塊類型。如果是根據圖4㈧ (C)中任意一個的情況，則如圖5(A)所示，運動矢量信息 由表示圖4(A) (C)中任意一個的宏塊類型mb_type、每個分區的參照圖片的信息ref_ idxi(i =0、1)、以及每個分區的運動矢量mvj(j = 0、1)構成。圖5 (A)是具有1個或2個 分區的圖4(A) (C)的情況。在圖5㈧中，ref_idX、mv的尾標i、j( = 0、l)對應於各自的分區。另外，在圖 4(A)的情況下，由於分區是1個，因此僅使用ref_idX0、mv0。如果是根據圖4⑶的情況，如圖5(B)所示，運動矢量信息由表示圖4(D)的宏塊 類型mb_type、表示16種以子宏塊為單位的組合中的任意一種的子宏塊類型sub_mb_type、 每個子宏塊的參照圖片的信息ref_idxi(i = 0 3)、以及每個分區的運動矢量mvj(j = 0、1、2、3、4、…)構成。在圖5 (B)中，ref_idx的尾標i ( = 0 3)對應於各自的子宏塊，mv的尾標j (= 0、1、2、3、4…)對應於各自的分區。在第1實施方式的情況下，到上述的分區分割器20-1 20_7、7個運動矢量搜索 器21-1 21-7及分區形狀確定器22為止的結構與以往的相同，但是不將來自分區形狀確 定器22的信息提供給編碼器6 (參照圖2)，而是提供給分區結合器23。分區形狀確定器22 例如將基於圖5(A)及(B)的運動矢量信息提供給分區結合器23。分區結合器23在來自分區形狀確定器22的輸出信息為圖5(A)所示的信息的情 況(分區為圖4(A) (C)中任意一個所示的分區的情況)下，原樣進行輸出，在來自分區 形狀確定器22的輸出信息為圖5(B)所示的信息的情況(分區如圖4(D)所示的情況，其中在8X8像素的4個塊中分別是圖4(E) (H)中的某一個所示)下，進行分區的結合動作， 並根據該結合結果，對運動矢量信息進行重構後輸出。待結合的分區是參照圖像的時刻相 同(參照圖片相同)且運動矢量的方向和大小也相同的分區。與分區結合器23相關聯地設置有結合分區用資料庫23A，該結合分區用資料庫 23A記述了針對結合後的分區結構的宏塊類型mb_type、以及待輸出的運動矢量信息的結 構，分區結合器23參照結合分區用資料庫23A對運動矢量信息進行重構。另外，圖6(A) (E)是示出存儲在針對P片段(slice)(根據1個參照圖像進行預 測的片段)的結合分區用資料庫23A中的結合分區的例子的圖。針對B片段(根據2個參 照圖像進行預測的片段)也準備同樣的結合分區用資料庫。圖6(A)示出了右下側的8X8 像素的運動矢量(包含參照圖像的信息)與其它區域的運動矢量不同的情況。在該結合後 的分區結構中，對宏塊類型mb_type賦予「4」、按照圖中的「0」和「1」的分區(區域)順序 記載參照圖片的信息ref_idxi、按照「0」和「1」的分區(區域)順序記載運動矢量mvj。圖 6(B) (E)的例子也是同樣。另外，在結合分區用資料庫23A中記載的宏塊類型mb_type 不遵循H. 264/AVC標準，而是第1實施方式特有的。例如，在來自分區形狀確定器22的信息如圖7(A)所示時，將參照圖片彼此相同、 且運動矢量彼此相同的、由MVl表示的4個4X8像素的分區ptl、pt4、pt5及pt8結合而轉 換成圖7(B)所示的分區PTA，同時，將參照圖片彼此相同、且運動矢量彼此相同的、由MV2表 示的4個4\8像素的分區？丨2、？丨3、？丨6及？丨7結合而轉換成圖7 )所示的分區PTB。當 通過轉換後的分區形狀來檢索結合分區用資料庫23A時，判斷為圖6 (E)的結合後分區結構 匹配，對宏塊類型mb_type賦予該結合後分區結構「8」，按照分區(區域)PTA、PTB順序記 載參照圖片的信息ref_idxi(i = 0、1)，按照分區(區域)PTA、PTB順序記載運動矢量MV1、 MV2 為 mvj(j = 0,1) ο重構的運動矢量信息32相當於上述的運動矢量等的預測信息S15，並與圖5(A)所 示的信息同樣，包含表示結合後的分區結構的信息、以及表示每個分區的運動矢量的信息， 但不包含表示子宏塊的信息。如上所述，在第1實施方式的運動圖像編碼裝置1中，對於在H. 264/AVC標準中分 區數增多的宏塊，可以抑制運動矢量信息的碼量。表示宏塊類型mb_type的比特數可以是固定的，但也可以分配表示針對結合後分 區結構的宏塊類型的比特數，使得分區數越少則比特數越少。(A-2)第1實施方式的運動圖像解碼裝置第1實施方式的運動圖像解碼裝置的整體結構與遵循H. 264/AVC標準的普通結構 大致相同。但是，如圖8所示，第1實施方式的運動圖像解碼裝置不向運動補償解碼圖像生成 器31原樣輸入所接收的運動矢量信息(參照圖5 (A)及(B)、圖6 (A) (E)等)，而是通過 結合分區分解器30進行輸入，這一點與遵循H. 264/AVC標準的普通運動圖像解碼裝置不 同。結合分區分解器30在所輸入的運動矢量信息的宏塊類型mb_type表示上述圖 4(A) (C)中的任意一種的情況下，將其原樣輸出到運動補償解碼圖像生成器31。另一方 面，結合分區分解器30在所輸入的運動矢量信息的宏塊類型mb_type表示圖6(A) (E)等
9中的任意一種的情況下，將其運動矢量信息轉換為如圖5(B)所示的遵循H. 264/AVC標準的 信息，並輸出到運動補償解碼圖像生成器31。從分區的觀點來看，這種轉換是將圖6(A) (E)等中的任意一種結合後分區轉換為圖4(D)所示的以子宏塊為單位的分區結構。與結合分區分解器30相關聯地設置有運動矢量信息轉換表30A，該運動矢量信息 轉換表30A將輸入信息與輸出信息關聯起來。輸出信息的形式是基於圖5(B)的形式，在宏 塊類型mb_type、和子宏塊類型SUb_mb_type中插入有值，記載了將輸入信息中的哪個欄位 的值取出插入到每個子宏塊的參照圖片信息ref_idxi(i = 0 3)和每個分區的運動矢量 mvj(j = 0、1、2、3、4、…)的欄位中。因此，結合分區分解器30例如進行將從上述的圖7(B)所示的分區信息/運動矢 量信息(由標號「32」表示)轉換成圖7(A)所示的分區信息/運動矢量信息(由標號「33」 表示)的分區信息轉換/運動矢量信息轉換。圖9、圖10示出了從上述圖7(B)的分區信 息/運動矢量信息32到圖7(A)的分區信息/運動矢量信息33的具體地轉換例。在圖8 中，結合分區分解器30輸入圖9所示的、由運動圖像編碼裝置1進行了編碼的運動矢量信 息(輸入信息)34，並參照運動矢量信息轉換表30A，轉換為圖10所示的、遵循H. 264/AVC 標準規範的運動矢量信息(輸出信息)35而輸出。如圖9所示，結合分區分解器30的輸入信息34中依次存儲有表示分區形狀(宏 塊類型)的「mb_type」、表示每個分區的參照圖片的信息(參照圖像索引)的「ref_idx」、 以及表示每個分區的運動矢量的「mv」。在結合分區分解器30的輸入信息34中，「ref_idX」、「mv」的個數根據分區的形狀 而變化。在圖9所示的例子的情況下，「mb_type」為「8」、「ref_idX」為1個且「refjdxO，， 為 「0」，「mv」 為 2 個，「mvO」 % "MVl 」、「mvl，，為 「MV2」。另外，「refjdxO」為「O」意味著編碼對象圖片的前一個參照圖片。關於運動矢量信息轉換表30A，在由圖7(B)所示的分區信息/運動矢量信息32向 圖7 (A)所示的分區信息/運動矢量信息33轉換時，使用如下的運動信息轉換表30A。運動矢量信息轉換表30A根據與對應於分區信息/運動矢量信息32、由運動圖像 編碼裝置1進行了編碼的運動矢量信息(輸入信息)對應的信息37 (圖11)中的分區形狀 (宏塊類型)「mb_type」，利用如下內容進行轉換(TBYl)與遵循H. 264/AVC標準規範的運動矢量信息(輸出信息)對應的信息 38(圖11)中的分區形狀(宏塊類型)「mb_type」，(TBY2)基於該H. 264/AVC標準規範的宏塊類型mb_type是「3」(即，8X8像素) 時的子宏塊類型「sub_mb_type」，(TBY3)與該宏塊類型或子宏塊類型對應的分區形狀「Pt」、和與對應於分區信息/ 運動矢量信息32、由運動圖像編碼裝置1進行了編碼的運動矢量信息(輸入信息)34對應 的信息中的分區形狀「PT，，之間的對應關係。具體而言，運動矢量信息轉換表30A首先記載了與輸入信息34對應的信息「mb_ type」 = 「8」是與哪個輸出信息35對應的信息「mb_type」、以及與圖4(D)的O 3的各 個位置對應的子宏塊O 子宏塊3的分區形狀分別是圖4(E) (H)中的哪個(與哪個輸 出信息35對應的信息:"sub_mb_type" = 「O 3』』)的內容。
在與輸出信息35對應的信息「mb_type」為「3」(圖4(D))時，與輸出信息35對 應的信息「sub_mb_type」由4個子宏塊構成，且4個子宏塊都記載為「2」(圖4(G))。運動矢量信息轉換表30A如下所示，使用與作為各個分區的輸出信息35對應的信 息(即，與對應於子宏塊0的「SUb_mb_type」 = 「2」(圖4(G))對應的2個分區形狀「ptl」、 「pt2」、與對應於子宏塊1的「SUb_mb_type」 =「2」(圖4(G))對應的2個分區形狀「pt3」、 「pt4」、與對應於子宏塊2的「SUb_mb_type」 =「2」(圖4(G))對應的2個分區形狀「pt5」、 「Pt6」、以及與對應於子宏塊3的「SUb_mb_type」 = 「2」 (圖4(G))對應的2個分區形狀 「pt7」、「pt8」)、和與輸入信息34對應的信息中的分區形狀(「PTA」或「PTB」)之間的對應 關係進行轉換。 「ptl，』包含在『iPTAr，中。
「pt2，』包含在『iPTBr，中。
「pt3，』包含在『iPTBr，中。
「pt4，』包含在『iPTAr，中。
「pt5，』包含在『iPTAr，中。
「pt6，』包含在『iPTBr，中。
「pt7，』包含在『iPTBr，中。
「pt8，』包含在『iPTAr，中。結合分區分解器30根據由上述運動圖像編碼裝置1進行了編碼的運動矢量信息 (輸入信息)34，基於運動矢量信息轉換表30A，生成遵循H. 264/AVC標準規範的運動矢量信 息(輸出信息)35。如圖5(B)所示，按照表示分區的形狀(宏塊類型)的「mb_type」、表示宏塊中的 分區的形狀(子宏塊類型)的「sub_mb_type」、表示每個分區的參照圖片的信息(參照圖 像索引)的「ref_idx」、宏塊或子宏塊中的每個分區的運動矢量「mv」的順序對輸出信息35 進行存儲。參照圖像索引「ref_idx」判斷分別包含在每個宏塊或每個子宏塊中的分區包含在 遵循H. 264/AVC標準規範的哪個分區，並使用與該分區對應的參照圖像索引「ref_idx」。在該輸出信息35的情況下，由於4個子宏塊的參照圖像相同，因此輸入與對應於 輸出信息34中的參照圖像的值完全相同的值。從而，該例子的情況下基於H. 264/AVC標準規範的(輸出信息)35如下。
"mb_type"->「3」。
『『sub__mb_type:0，，-2」。
『『sub__mb_type:1，，-2」。
『『sub__mb_type:2，，-2」。
『『sub__mb_type:3，，-2」。
"ref_idxO，，->「0」。
"ref_idxl，，->「0」。
"ref_idx2，，->「0」。
"ref_idx3，，->「0」。
"mvO」->"MVl
· "mvl· "mv2· "mv3· "mv4· "mv5· "mv6· "mv7
->『『MV2，，。 ->『『MV2，，。 ->『『MV1，，。 ->『『MV1，，。 ->『『MV2，，。 ->『『MV2，，。 ->『『MV1，，。與H.264/AVC標準比較，在第1實施方式的情況下，宏塊類型mb_type的數量增 多。也可以不設置結合分區分解器30，而是運動補償解碼圖像生成器31在輸入了結合後分 區的運動矢量信息時，根據相應的參照圖像來取得相應的分區形狀的區域，並通過將上述 區域移動運動矢量的量而作為解碼圖像的區域。但是，在這種情況下，必須對遵循H. 264/ AVC標準的現有的運動補償解碼圖像生成器31進行變更。在第1實施方式的運動圖像解碼 裝置中，由於設置了結合分區分解器30，可以直接應用遵循H. 264/AVC標準的現有的運動 補償解碼圖像生成器31。(A-3)第1實施方式的效果根據第1實施方式，由於結合分區，並在運動圖像編碼裝置與運動圖像解碼裝置 之間收髮結合後分區的運動矢量信息，因此可以削減與運動補償相關的平均碼量。換言之， 可以提高運動圖像編碼裝置中的壓縮效率。(B)第2實施方式接著，說明本發明的運動矢量檢測裝置及方法、運動圖像編碼裝置及方法、以及運 動圖像解碼裝置及方法的第2實施方式。另外，可以將第1實施方式的圖1、圖2、圖8、圖 9、圖10、圖11直接當作第2實施方式的圖。在上述的第1實施方式中，分區結合器23在基於從分區形狀確定器22輸出的運 動矢量信息來結合分區時，在存在參照圖像和運動矢量相同的分區的情況下，與這些分區 的位置關係無關地結合分區。但是，在如第1實施方式這樣的分區結合中，結合後分區的種類極多。因此，用於 確定結合分區的形狀的宏塊類型的碼量增多，有可能抵消通過結合分區而削減運動矢量個 數的碼量削減量。因此，在第2實施方式中，使分區結合器23中的結合條件比第1實施方式的更嚴 格，抑制結合後分區的種類數。第2實施方式中的分區結合器23例如將待結合的分區限定 為相鄰的相同尺寸的分區。例如，分區形狀確定器22的輸出信息在如圖12㈧所示的情況下，分區PT21及 PT23不僅運動矢量相同，而且是相鄰的同一尺寸的分區，因此分區結合器23將分區PT21與 PT23結合。分區PT24-1的運動矢量與分區PT21及分區23的運動矢量也相同，但由於尺 寸不同，因此不將它們結合。根據相同的理由，分區結合器23不結合分區PT22及PT24-1。 其結果是，在第2實施方式的情況下，結合後分區為如圖12(B)所示。順便說一下，圖12(C) 示出了第1實施方式中的結合後分區。根據第2實施方式，由於抑制了結合後分區的種類數，因而可以大大地抑制用於 確定其種類數的碼量，可以有效地實現通過結合分區來削減碼量。並且，可以期待結合處理
12時間比第1實施方式少。(C)其它實施方式在上述各實施方式的說明中也提到了變形實施方式，但是還可以例舉以下所例示 的變形實施方式。在上述的第1及第2實施方式中，雖然示出了將與運動矢量的方向和大小相等作 為分區的結合條件，但即使運動矢量不完全一致，在某些條件的情況下也可以結合分區。作 為條件的一例，可以例舉運動矢量的差分在閾值以內的情況。並且，在運動矢量的信息量與 分區形狀的信息量的加權和(碼量的指標)比較大的情況下，使針對上述差分的閾值比較 大，由此也可以認為類似度比較高的運動矢量彼此相同而結合分區。此時，將結合前的分區 各自的運動矢量的平均或加權平均等用作結合後的分區的運動矢量。上述各實施方式示出了將本發明應用於依照H. 264/AVC標準的運動矢量檢測裝 置及方法、運動圖像編碼裝置及方法、以及運動圖像解碼裝置及方法的情況，但本發明並不 限定於此。例如，本發明也可以應用於參照圖片為1個的情況(沒有選擇餘地的情況)。並 且，本發明還可以應用於大塊(對應於宏塊)為32X32像素，並且小塊(對應於子宏塊) 為16X16像素的裝置中。在上述各實施方式中，雖然示出了並行求取不同尺寸的分區的運動矢量，但也可 以按照由大的分區的運動矢量至小的分區的運動矢量的順序依次求出，在這種情況下，也 可以在確定了依照H. 264/AVC標準的運動矢量信息的階段停止向小一方的轉移。雖然在上述各實施方式的說明中說明了通過硬體進行處理的情況，但是也可以通 過軟體執行一部分或全部的處理。
1權利要求
一種運動矢量檢測裝置，該裝置針對分割1個畫面所得到的規定尺寸的每個塊，以上限為所述塊的尺寸、尺寸及矩形形狀不同的多個分區為單位，取得運動矢量信息，其特徵在於，所述運動矢量檢測裝置具有分區結合單元，其在針對1個所述塊在多個分區中取得了運動矢量的情況下，判斷是否將取得了運動矢量的多個分區結合，並在進行結合時，將結合後的分區的運動矢量信息包含在從該裝置輸出的運動矢量信息中。
2.根據權利要求1所述的運動矢量檢測裝置，其特徵在於，該裝置能夠從多個畫面的參照圖像中選擇要應用的參照圖像，所述分區結合單元以參照圖像的時刻相等、運動矢量的方向和大小的差處於規定的誤 差範圍內作為分區結合的條件。
3.根據權利要求1或2所述的運動矢量檢測裝置，其特徵在於，所述分區結合單元以分區彼此相鄰且尺寸相同作為分區結合的條件。
4.一種運動矢量檢測方法，針對分割1個畫面所得到的規定尺寸的每個塊，以上限為 所述塊的尺寸、尺寸及矩形形狀不同的多個分區為單位，取得運動矢量信息，其特徵在於，分區結合單元在針對1個所述塊在多個分區中取得了運動矢量的情況下，判斷是否將 取得了運動矢量的多個分區結合，並在進行結合時，將結合後的分區的運動矢量信息包含 在從該裝置輸出的運動矢量信息中。
5.一種運動圖像編碼裝置，該裝置根據運動補償圖像間編碼方式對運動圖像進行編 碼，其特徵在於，所述運動圖像編碼裝置具有根據權利要求1 3中任一項所述的運動矢量檢測裝置。
6.一種運動圖像編碼方法，該方法包含運動矢量檢測裝置執行的運動矢量檢測步驟， 根據運動補償圖像間編碼方式對運動圖像進行編碼，其特徵在於，應用根據權利要求4所述的運動矢量檢測方法作為所述運動矢量檢測步驟。
7.—種運動圖像解碼裝置，該裝置基於由根據權利要求5所述的運動圖像編碼裝置提 供的編碼信息，進行運動圖像解碼處理，其特徵在於，所述運動圖像解碼裝置具有運動補償解碼單元，其根據運動矢量信息，執行伴有運動補償的解碼；以及結合分區分解單元，其識別包含在接收到的編碼信息中的運動矢量信息是否是關於結 合後的分區的運動矢量信息，在是關於結合後的分區的運動矢量信息的情況下，還原成結 合前的運動矢量信息而提供給所述運動補償解碼單元。
8.—種運動圖像解碼方法，基於所輸入的編碼信息進行運動圖像解碼處理，其特徵在 於，所述運動圖像解碼方法包括由運動補償解碼單元基於運動矢量信息進行伴有運動補償的解碼的步驟；由結合分區分解單元識別包含在接收到的編碼信息中的運動矢量信息是否是關於結 合後的分區的運動矢量信息，在是關於結合後的分區的運動矢量信息的情況下，還原成結 合前的運動矢量信息而提供給所述運動補償解碼單元的步驟。
全文摘要
一種運動矢量檢測裝置，其針對分割1個畫面所得到的規定尺寸的每個塊，以上限為所述塊的尺寸、尺寸及矩形形狀不同的多個分區為單位，取得運動矢量信息，其中，所述運動矢量檢測裝置具有分區結合單元(23)，其在針對1個所述塊在多個分區中取得了運動矢量的情況下，判斷是否將取得了運動矢量的多個分區結合，並在進行結合時，將結合後的分區的運動矢量信息包含在從該裝置輸出的運動矢量信息中。能夠減少運動矢量的碼量。
文檔編號H04N7/32GK101926176SQ20098010334
公開日2010年12月22日 申請日期2009年1月9日 優先權日2008年1月31日
發明者蓮尾知志 申請人:衝電氣工業株式會社