運動圖像編碼裝置及運動圖像解碼裝置的製作方法

2023-09-24 04:47:15 2

專利名稱：運動圖像編碼裝置及運動圖像解碼裝置的製作方法
技術領域：
本發明涉及編碼運動圖像來生成編碼數據的運動圖像編碼裝置、及解碼編碼數據 來再生運動圖像的運動圖像解碼裝置。
背景技術：
為了去除運動圖像編碼中的時間冗餘性，廣泛應用了運動補償預測。在運動補償 預測中，首先導出運動向量，所述運動向量表示物體在2幀(編碼對象幀和參照幀)之間移 動多少。然後，對編碼對象幀上的各像素的像素值、和處於從該像素分離運動向量表示的位 移的位置的參照幀上的像素的像素值之間的差分進行編碼。在運動補償預測中，成為編碼 的對象的差分值的方差及絕對值比編碼對象幀的像素值的方差及絕對值小。因此，在利用 了運動補償預測的情況下，與對編碼對象幀的像素值直接編碼的情況相比，能夠用更少的 代碼量對運動圖像進行編碼。通過採用上述的運動補償預測，從而能夠有效地去除因物體的平行移動、照相機 的搖攝、傾斜等所產生的運動圖像的時間冗餘性。可是，即使採用運動補償預測，也不能補 償亮度的時間性變化。例如，不能補償因伴隨著鏡頭切換時的淡變、照明條件的變化而物體 的亮度變化所產生的幀間的亮度變化。作為補償幀間的亮度變化的方法，例如公知一種專利文獻1所述的技術。在專利 文獻1所述的方法中，通過分別表示亮度變化及對比度變化的兩個參數來表現幀間的亮度 變化。然後，通過利用這些參數修正參照幀上的各像素的像素值，來補償幀間的亮度變化。 例如，在鏡頭切換時的淡變中，為了在幀內的各位置亮度變化的比例相等，通過採用專利文 獻1所述的方法，從而能夠準確地補償亮度變化。即，能夠以更少的代碼量編碼運動圖像。專利文獻1 日本公開專利公報「特開平10-136385號」(
公開日1998年5月22日)非專利文獻1 ITU-T Recommendation H. 264 (公布日2005 年 3 月)可是，關於幀間的局部的亮度變化(例如，因照明條件的時間變化所產生的亮度 變化)，由於因物體的位置、方向、性質而變化的比例不同，所以在專利文獻1所述的補償全 局的亮度變化的方式中存在不能準確補償的問題。作為補償局部的亮度變化的方法，例如考慮將編碼對象幀分割為多個塊，求出表 現各塊的亮度變化的參數來用於亮度變化的補償的方法。另外，作為表現各塊的亮度變化 的參數，例如考慮利用塊平均亮度的變化幅度或塊平均亮度的變化率。此時，表現各塊的亮度變化的參數的精度越高，越能準確補償亮度變化。可是，為 了得到高的精度，卻導致將這些參數作為附加信息進行編碼時所需的代碼量增大的問題。 另一方面，在利用少的代碼量編碼這些參數的情況下，由於參數的精度不充分，所以存在不 能高精度地補償亮度變化的問題。

發明內容
本發明鑑於上述問題而實現，其目的在於提供一種既能抑制因附加信息引起的代碼量的増加，又能補償幀間的局部的亮度變化的運動圖像編碼裝置及運動圖像解碼裝置。為了解決上述課題，本發明所涉及的一種運動圖像編碼裝置通過將構成運動圖像 的各幀作為編碼對象圖像，按每塊對該編碼對象圖像和運動補償圖像之間的差分即預測殘 差進行編碼，來生成編碼數據，其特徵在於，該運動圖像編碼裝置具備修正單元，該修正單 元基於在通過解碼上述編碼數據而得到的局部解碼圖像中、與成為當前編碼處理對象的處 理對象塊相鄰的處理對象塊周邊區域內的像素的像素值，和在作為運動補償預測的基準的 參照圖像中、與上述處理對象塊所對應的參照塊相鄰的參照塊周邊區域內的像素的像素 值，來推定上述處理對象塊的各像素中的亮度變化量，並修正上述運動補償圖像以補償推 定出的亮度變化量。根據上述的構成，具有下述效果，S卩，不會產生因附加信息引起的代碼量的増加， 或者縱使產生了代碼量的增加也能在抑制為最小限度的同時補償幀間的局部的亮度變化。其中，所謂與某一處理對象塊對應的參照塊，例如是指在參照圖像(參照幀)中所 處的位置與該處理對象塊在局部解碼圖像(處理對象幀)中所處的位置一致的參照塊。在本發明所涉及的運動圖像編碼裝置中，優選在上述局部解碼圖像中，上述處理 對象塊周邊區域是與上述處理對象塊的上邊相鄰的區域及與上述處理對象塊的左邊相鄰 的區域之中的至少一方，在上述參照圖像中，上述參照塊周邊區域是與上述參照塊的上邊 相鄰的區域及與上述參照塊的左邊相鄰的區域之中的至少一方。另外，在本發明所涉及的運動圖像編碼裝置，優選，在應用了低通濾波器後的上述 局部解碼圖像中，上述處理對象塊周邊區域是與上述處理對象塊的上邊相鄰的區域及與上 述處理對象塊的左邊相鄰的區域之中的至少一方，在應用了低通濾波器後的上述參照圖像 中，上述參照塊周邊區域是與上述參照塊的上邊相鄰的區域及與上述參照塊的左邊相鄰的 區域之中的至少一方。另外，在本發明所涉及的運動圖像編碼裝置中，優選在應用了噪聲去除濾波器後 的上述局部解碼圖像中，上述處理對象塊周邊區域是與上述處理對象塊的上邊相鄰的區域 及與上述處理對象塊的左邊相鄰的區域之中的至少一方，在應用了噪聲去除濾波器後的上 述參照圖像中，上述參照塊周邊區域是與上述參照塊的上邊相鄰的區域及與上述參照塊的 左邊相鄰的區域之中的至少一方。另外，在本發明所涉及的運動圖像編碼裝置中，優選上述修正單元通過計算上述 處理對象塊周邊區域內的像素的像素值和該像素所對應的像素即上述參照塊周邊區域內 的像素的像素值之間的差分，來推定上述亮度變化量。另外，在本發明所涉及的運動圖像編碼裝置中，優選上述修正單元基於第1差分 值和第2差分值之中的至少一方來推定上述處理對象塊的各像素中的亮度變化量，上述第 1差分值是位於該像素的上方的上述處理對象塊周邊區域內像素的像素值、和上述參照圖 像中位於該像素所對應的參照像素的上方的上述參照塊周邊區域內像素的像素值之間的 差分，上述第2差分值是位於該像素的左方的上述處理對象塊周邊區域內像素的像素值、 和位於上述參照像素的左方的上述參照塊周邊區域內像素的像素值之間的差分。另外，在本發明所涉及的運動圖像編碼裝置中，優選上述修正單元推定上述處理 對象塊的各像素中的亮度變化量時，通過與該像素和位於該像素的上方的上述處理對象塊 周邊區域內像素之間的距離、及該像素和位於該像素的左方的上述處理對象塊周邊區域內像素之間的距離相應的加權，對上述第1差分值和上述第2差分值進行加權平均來進行推定。另外，在本發明所涉及的運動圖像編碼裝置中，優選上述修正單元修正針對上述 處理對象塊的各像素推定出的亮度變化量，以使該像素距上述處理對象塊的上邊或左邊越 遠其亮度變化量的值越小。另外，優選本發明所涉及的運動圖像編碼裝置還具備判定單元，上述判定單元判 定上述運動補償圖像及由上述修正單元修正後的運動補償圖像中的哪一個適合為預測圖 像，該運動圖像編碼裝置對上述編碼對象圖像和由上述判定單元判定出適合為預測圖像的 一方的運動補償圖像之間的差分即預測殘差進行編碼，並將上述判定單元的判定結果包括 在上述編碼數據中。另外，在本發明所涉及的運動圖像編碼裝置中，優選上述修正單元從至少2種以 上的修正方法中選擇修正上述運動補償圖像的修正方法，該運動圖像編碼裝置將表示由上 述修正單元選擇出的修正方法的信息包括在上述編碼數據中。另外，優選本發明所涉及的運動圖像編碼裝置還具備判定單元，上述判定單元判 定上述運動補償圖像及由上述修正單元修正後的運動補償圖像中的哪一個適合為預測圖 像，該運動圖像編碼裝置只在由上述判定單元判定出上述修正後的運動補償圖像適合為預 測圖像時，將表示由上述修正單元選擇出的修正方法的信息包括在上述編碼數據中。為了解決上述課題，本發明所涉及的一種運動圖像解碼裝置，對下述編碼數據進 行解碼，該編碼數據是通過將構成運動圖像的各幀作為編碼對象圖像並按每塊對該編碼對 象圖像和運動補償圖像之間的差分即預測殘差進行編碼而生成的數據，該運動圖像解碼裝 置的特徵在於，具備修正單元，該修正單元基於在通過解碼上述編碼數據而得到的解碼圖 像中、與成為當前解碼處理對象的處理對象塊相鄰的處理對象塊周邊區域內的像素的像素 值，和在作為運動補償預測的基準的參照圖像中、與上述處理對象塊所對應的參照塊相鄰 的參照塊周邊區域內的像素的像素值，來推定上述處理對象塊的各像素中的亮度變化量， 並修正上述運動補償圖像以補償推定出的亮度變化量。根據上述構成，起到能夠解碼由上述運動圖像編碼裝置編碼後的編碼數據的效^ ο本發明的其它目的、特徵及優點通過下述記載能夠充分理解。另外，本發明的優點 在參照附圖的下述說明中變得明確。


圖1表示本發明的第1實施方式，是表示亮度變化檢測/補償部的構成的框圖。圖2表示本發明的第1實施方式，是表示運動圖像編碼裝置的構成的框圖。圖3表示本發明的第1實施方式，是表示運動圖像解碼裝置的構成的框圖。圖4表示本發明的第1實施方式，是表示亮度變化補償部的構成的框圖。圖5表示本發明的實施方式，是用於說明以塊為單位處理運動圖像時的處理順序 的圖。圖6表示本發明的實施方式，是用於說明參照塊周邊區域及處理對象塊周邊區域 的圖。
圖7表示本發明的實施方式，是用於說明在塊內的各位置中為了根據距離塊上邊 或左邊的距離修正亮度變化推定量所利用的係數的圖。圖8表示本發明的第2實施方式，是表示運動圖像編碼裝置的構成的框圖。圖9表示本發明的第2實施方式，是表示亮度變化檢測/補償部的構成的框圖。圖10表示本發明的第2實施方式，是表示運動圖像解碼裝置的構成的框圖。圖11表示本發明的第2實施方式，是表示亮度變化補償部的構成的框圖。符號說明100-輸入圖像，101-預測殘差，102,203-變換係數等級，103、104-局 部解碼圖像，204,205-局部解碼圖像，105,201-運動向量，106,206-運動補償圖像，107、 207-預測圖像，108,202-亮度變化檢測信息，200-編碼數據，120-正交變換部，121-量化 部，122,221-逆量化部，123,222-逆正交變換部，124,223-幀存儲器，125-運動檢測部， 126,224-運動補償部，127、127a-亮度變化檢測/補償部，128、128a_可變長編碼部，140、 240-參照塊周邊圖像生成部，141,241-處理對象塊周邊圖像生成部，142,242-亮度變化補 償圖像生成部，143,243-預測圖像選擇開關，144-亮度變化判定部，150,250-亮度變化補 償方法信息，151,251-亮度變化補償圖像生成部A，152,252-亮度變化補償圖像生成部B， 153,253-亮度變化補償圖像生成部C，154-亮度變化補償方法確定部，155,254-預測圖像 選擇開關，220、220a-可變長編解碼部，225,225a-亮度變化補償部，1000、1000a-運動圖像 編碼裝置，2000、2000a-運動圖像解碼裝置。
具體實施例方式(實施方式1)以下，基於圖1 圖7對本發明所涉及的運動圖像編碼裝置及運動圖像解碼裝置 的第1實施方式進行說明，如下所述。 另外，在本實施方式及後述的第2實施方式中，運動圖像由多個幀構成，運動圖像 編碼裝置及運動圖像解碼裝置以預先規定的順序(例如，幀的顯示時刻順序)處理這些幀。 另外，在構成運動圖像的幀中，將成為編碼或解碼處理的對象的幀稱為處理對象幀Ic，將為 了運動補償預測所參照的幀(例如，在上述預先規定的順序中，處理對象幀的前一幀)稱為 參照幀Ir。參照幀Ir是存儲在幀存儲器上的解碼完成後的幀。另外，在本實施方式及後述的第2實施方式中，運動圖像編碼裝置及運動圖像解 碼裝置將處理對象幀Ic分割為預先規定的尺寸的多個塊，以預先規定的順序處理這些塊。 另外，在構成處理對象幀Ic的塊中，將成為編碼或解碼處理的對象的塊稱為處理對象塊 Be。另外，為了簡單，在以下的說明中，如圖5所示，塊的處理順序採用以左上角的塊為起點 的光柵掃描順序，塊尺寸採用LXM像素。而且，在處理對象幀Ic中，在進行針對處理對象塊Bc的編碼或解碼處理的時刻， 將由已經完成編碼或解碼處理的塊構成的區域稱為編碼完成區域或解碼完成區域。在圖5 中，通過斜線表示該解碼完成區域。另外，在處理對象幀Ic中，以位於幀左上的像素作為原點，將位於位置(X，Y)的像 素記為IC (X，Y)，將其像素值記為Ic (X，Y)。同樣，在參照幀Ir中，將處於位置(X，Y)的像 素記為IR (X，Y)，將其像素值記為Ir (X，Y)。
參照圖2對本實施方式所涉及的運動圖像編碼裝置1000的構成進行說明。圖2 是表示運動圖像編碼裝置1000的構成的框圖。如圖2所示，運動圖像編碼裝置1000具備正交變換部120、量化部121、逆量化部 122、逆正交變換部123、幀存儲器124、運動檢測部125、運動補償部126、亮度變化檢測/補 償部127、可變長編碼部128。運動圖像編碼裝置1000按每塊對處理對象幀Ic進行編碼。即，將處理對象幀Ic 的各處理對象塊Bc作為輸入圖像100 (LXM像素)，通過正交變換部120、量化部121及可變 長編碼部128對輸入圖像100和預測圖像107 (LXM像素)之間的差分即預測殘差101 (LXM 像素)進行編碼，從而得到編碼數據200。其中，與輸入圖像100對應的預測圖像107如後 述由亮度變化檢測/補償部127提供。正交變換部120通過離散餘弦變換(DCT discrete Cosine Transform)將空間區 域的圖像數據即預測殘差101變換為頻率區域的圖像數據。由正交變換部120導出的頻率 成分係數(DCT係數)被提供給量化部121。量化部121對由正交變換部120導出的頻率成分係數進行量化。由量化部121導 出的變換係數等級(level) 102 (通過量化各頻率成分係數所得到的量化代表值的集合)被 提供給可變長編碼部128及逆量化部122。逆量化部122通過對由量化部121導出的變換係數等級102進行逆量化，來對由 正交變換部120導出的各頻率成分係數進行復原。由逆量化部122復原的頻率成分係數被 提供給逆正交變換部123。逆正交變換部123通過對由逆量化部122復原的頻率成分係數進行逆離散餘弦變 換，來對輸入到正交變換部120的預測殘差101(LXM像素)進行復原。運動圖像編碼裝置1000通過將由逆正交變換部123復原的預測殘差和從亮度變 化檢測/補償部127提供來的預測圖像107相加，來生成局部解碼圖像103。所生成的局部 解碼圖像103 (LXM像素)被存儲於幀存儲器124。其中，在幀存儲器124中依次存儲按照每塊生成的局部解碼圖像103。在對處理對 象幀Ic的某一處理對象塊Bc進行處理的時刻，除了參照幀Ir上的局部解碼圖像(以下， 稱為「參照圖像」)以外，處理對象幀Ic的解碼完成區域上的局部解碼圖像(以下稱為「解 碼完成當前圖像(decoded original images)")也被記錄於幀存儲器124。運動檢測部125通過比較輸入圖像100與存儲於幀存儲器124的參照圖像(即， 參照幀Ir上的局部解碼圖像)，來導出用於運動補償預測的運動向量105。由運動檢測部 125導出的運動向量105被提供給亮度變化檢測/補償部127及可變長編碼部128。運動補償部126基於由運動檢測部125導出的運動向量105和存儲於幀存儲器 124的參照圖像，生成與輸入圖像100對應的運動補償圖像106 (LXM像素)。由運動補償 部126生成的運動補償圖像106被提供給亮度變化檢測/補償部127。亮度變化檢測/補償部127基於存儲於幀存儲器124的解碼完成當前圖像及參照 圖像，來檢測幀間的亮度變化。檢測結果作為亮度變化檢測信息108被提供給可變長編碼 部128。另外，亮度變化檢測/補償部127基於該亮度變化檢測信息108來修正運動補償圖 像106，以補償幀間的亮度變化。前面提到的預測圖像107是通過該亮度變化檢測/補償部 127修正後的運動補償圖像。
其中，關於亮度變化檢測/補償部127而言，由於是本發明中的特徵構成，所以結 合參照的附圖，在後面稍微詳細地說明。可變長編碼部128分別對變換係數等級102、運動向量105及亮度變化檢測信息 108進行編碼，並且復用通過分別編碼這些信息所得到的編碼數據，生成編碼數據200。由 可變長編碼部128生成的編碼數據200被輸出到外部。接著，參照圖1及圖6對上述的運動圖像編碼裝置1000具備的亮度變化檢測/補 償部127的詳細情況進行說明。圖1是表示亮度變化檢測/補償部127的構成例的框圖。 圖6是表示處理對象塊Be、處理對象塊周邊區域Sc、參照塊Br及參照塊周邊區域Sr的配 置的圖。如圖1所示，亮度變化檢測/補償部127具備參照塊周邊圖像生成部140、處理 對象塊周邊圖像生成部141、亮度變化補償圖像生成部142、預測圖像選擇開關143及亮度 變化判定部144。以下，對亮度變化檢測/補償部127具備的各部分依次進行說明。參照塊周邊圖像生成部140基於由運動檢測部125導出的運動向量105，從幀存儲 器124中讀取參照圖像中的參照塊周邊區域Sr內的各像素的像素值，作為參照塊周邊圖像 提供給亮度變化補償圖像生成部142。這裡，所謂參照塊周邊區域Sr位於為了運動補償預測所參照的參照塊Br的周邊 的區域。在本實施方式中，如圖6(a)例示，作為參照塊周邊區域Sr，利用與參照塊Br的上 邊相鄰的矩形區域STr (LX 1像素)和與參照塊Br的左邊相鄰的矩形區域SLr (1 XM像素) 的併集 Sr = STr U SLr。參照塊周邊圖像的各像素的像素值、即矩形區域STr的各像素的像素值STr (i，j) 及矩形區域SLr的各像素的像素值SLr(i，j)由以下所示的(1)式給出。數學式1STr (i，0) = Ir (Xr+i，Yr-1) (i = 0. . . L-1)···(]_)SLr (0, j) = Ir (Xr-1, Yr+j) (j = 0· · · M_l)這裡，(&，Yr)是參照幀Ir中的參照塊Br的左上角的像素的位置(&，Yr)，基於 處理對象幀Ic中的處理對象塊Bc的左上角的像素的位置(Xc，Yc)及由運動向量105所示 的位移(dX，dY)，由以下所示的(2)式給出。數學式2
Xr = Xc +dX } ,,} 『 『 * { 2 }
Fr = 7c + d￥ J處理對象塊周邊圖像生成部141從幀存儲器124中讀取解碼完成當前圖像中的處 理對象塊周邊區域Sc內的各像素的像素值，作為處理對象塊周邊圖像提供給亮度變化補 償圖像生成部142。這裡，所謂處理對象塊周邊區域Sc在處理對象幀Ic中位於處理對象塊Bc的周邊 的區域。在本實施方式中，如圖6(b)所示，作為處理對象塊周邊區域Sc，利用與處理對象 塊Bc的上邊相鄰的矩形區域STc (LX 1像素)和與處理對象塊Bc的左邊相鄰的矩形區域 SLc (1 XM 像素)的併集 Sc = STc U SLc。
處理對象塊周邊圖像的各像素的像素值、即矩形區域STc的各像素的像素值 STc (i, j)及矩形區域SLc的各像素的像素值SLc (i，j)由以下所示的(3)式給出。數學式3STc(i，0) = Ic(Xc+i，Yc-1) (i = 0· · · L_l)· · · (3)SLc (0，j) = Ic(Xc-l, Yc+j) (j = 0. · · M_l)其中，在(3)式中，(&，Yr)是參照幀Ir中的參照塊Br的左上角的像素的位置 (Xr, Yr)，其定義如(2)式所示。另外，如上述，雖然優選處理對象塊周邊區域Sc與參照塊 周邊區域Sr迭合，但是也不一定限定於此。亮度變化補償圖像生成部142基於參照塊周邊圖像及處理對象塊周邊圖像計算 亮度變化推定量0(i，j)，利用計算出的亮度變化推定量0(i，j)修正運動補償圖像106，以 補償幀間的亮度變化。修正後的運動補償圖像106作為亮度變化補償圖像被提供給預測圖 像選擇開關143及亮度變化判定部144。所謂亮度變化補償圖像，是為了補償幀間的亮度變化而修正運動補償圖像106所 得到的圖像(LXM像素)。亮度變化補償圖像的各像素的像素值P(i，j)基於運動補償圖 像106的各像素的像素值R(i，j)和對各像素的亮度變化推定量0(i，j)，例如由以下所示 的⑷式計算出。其中，位置(i，j)是以處理對象塊的左上角為基點表現出的像素的位置， 即，塊內像素位置。數學式4P(i, j) = R(i, j)+0(i, j) (i = 0... L-l, j = 0... M-l) 『 · .(4)這裡，在運動補償圖像106中，處於位置(i，j)的像素的像素值R(i，j)由(5)式數學式5R(i, j) = Ir(Xr+i, Yr+j) (i = 0· · · L-l, j = 0. · · M_l) · · · (5)另外，對位置(i，j)的亮度變化推定值0(i，j)是幀間的亮度變化的推定量(亮度 變化推定量)，例如能夠基於參照塊周邊圖像和處理對象塊周邊圖像由(6)式計算出。數學式6
IO (ij)=——
L+M
=0... M-l)· · · (6)此時，在0(i，j)中，參照塊周邊圖像和處理對象塊周邊圖像之間的差分圖像的平 均值作為幀間的亮度變化推定量進行設定。即，根據按照(6)式計算出的0(i，j)，能夠以塊為單位補償幀間的亮度變化。其中，0(i, j)的計算方法並不限定於(6)式所示。例如，可以根據(7)式計算亮 度變化推定值0(i，j)。數學式70(i, j) = STc (i,0)-STr (i,0) (i = 0. . . L-l, j = 0. . . M-l) 『 · .(7)此時，在0(i，j)中，與處於處理對象塊內像素IC(Xc+i，Yc+j)的正上方的處理對
Σ ISTc(PsQ)-STY(Pfi)) + ^ {SL^S-SIM^qm (i = 0... L-I，j象塊周邊區域內像素的像素值的變化相當的量作為幀間的亮度變化推定量進行設定。由於 根據按照(7)式計算出的0(i，j)能夠以塊的列為單位補償亮度變化，所以與由(6)式計算 出的0(i，j)相比，能夠更準確地補償幀間的亮度變化。另外，也可以根據⑶式計算0(i，j)。數學式80(i, j) = SLc (0, j)-SLr(0, j) (i = 0· · · L_l，j = 0· · · M_l) · · · (8)此時，在0(i，j)中，與位於處理對象塊內像素IC(Xc+i，Yc+j)的正左邊的處理對 象塊周邊區域內像素的像素值的變化相當的量作為幀間的亮度變化推定量進行設定。由於 根據按照(8)式計算出的0(i，j)能夠以塊的行為單位補償亮度變化，所以與按照(7)式計 算出的0(i，j)同樣地，能夠準確地補償幀間的亮度變化。另外，也可以按照(9)式計算0(i，j)。數學式90(i，j) = WijjX {XTc (i, 0)-STr (i,0)} +(I-Wijj) X {STc(0，j)-SLr (0, j)} (i = 0. . . L-I, j = 0. . . M-l)其中，
wu =-HL
..·(9)此時，在0(i，j)中，將與位於處理對象塊內像素IC(Xc+i，Yc+j)的正上方及正左 邊的處理對象塊周邊區域內像素的像素值的變化相當的量加權平均後的值，作為幀間的亮 度變化推定量進行設定。此時的加權是根據處理對象塊內像素IC(Xc+i，Yc+j)和所述處理 對象塊周邊區域上的兩像素的距離進行的。由於根據按照(9)式計算出的0(i，j)能夠以 像素為單位補償亮度變化，所以能夠進一步準確地補償幀間亮度變化。另外，也可以根據(10)式計算0(i，j)。數學式100(i, j) = [Wij j 『 X {STc (i, 0) -STr (i, 0)} + (2^, j 『 ) X {SLc (0，j)-SLr (0，( i = 0 ... L - 1 , j = 0 ... M - 1 ) · · (10)苴中，κ= I 川 χ2Λ + 2Nh此時，在0(i，j)中，與按照(9)式計算出的情況相同，將與位於處理對象塊內像素 IC(Xc+i,Yc+j)的正上方及正左邊的處理對象塊周邊區域內像素的像素值的變化相當的量 加權平均後的值，作為幀間的亮度變化推定量進行設定。在(10)式中，由於加權係數W』i， j的值是整數，所以無需為了計算亮度變化推定值0(i，j)而執行小數運算。因此，根據式 (11)，能夠在計算機中高速導出亮度變化推定值0(i，j)。另外，也可以根據(11)式計算0(i，j)。數學式110(i, j) = 0. 5X {STc (i,0)-STr (i,0)}+0. 5 X SLc (0, j)-SLr(0, j)} (i =
110. . . L-I, j = 0. . . M-1)
· · (11)此時，在0(i，j)中，將與位於處理對象塊內像素IC(Xc+i，Yc+j)的正上方及正左 邊的處理對象塊周邊區域內像素的像素值的變化相當的量的單純平均值作為幀間的亮度 變化推定量進行設定。根據按照(11)式計算出的0(i，j)，因為能夠基於2個地方的亮度 變化補償亮度變化，所以不易受到噪聲的影響。而且，關於由(11)式導出的0(i，j)而言， 與由(9)式的導出相比，能夠以少的處理量來實現。亮度變化判定部144通過將亮度變化補償圖像及運動補償圖像106分別與輸入圖 像100進行比較，來判定哪個圖像適用於預測圖像，並將表示判定結果的亮度變化檢測信 息108提供給可變長編碼部128及預測圖像選擇開關143。另外，作為適用於預測圖像的圖像的判定方法，例如能夠利用如下所示的方法。首 先，計算亮度變化補償圖像與輸入圖像100之間的SAD (Sum of Absolute Difference)作 為SAD1。這裡，所謂SAD是指遍及圖像內的所有像素將迭合的2幅圖像中處於對應位置的 像素間的像素值的差分求和之後的值。接著，計算運動補償圖像106和輸入圖像100之間 的SAD作為SAD2。隨後，在SADl ( SAD2成立的情況下，判定為亮度變化補償圖像適合作為 預測圖像，在除此之外的情況下(SAD1 > SAD2成立的情況)，判定為運動補償圖像106適合 作為預測圖像。預測圖像選擇開關143基於亮度變化檢測信息108選擇亮度變化補償圖像及運動 補償圖像106中的其中一個，將選擇出的圖像作為預測圖像107進行輸出。以上，結束了亮度變化檢測/補償部127的說明。如上述，在亮度變化檢測/補償 部127中，基於所輸入的運動補償圖像106、局部解碼圖像104(參照圖像和解碼完成當前圖 像)、運動向量105及輸入圖像100導出並輸出預測圖像107及亮度變化檢測信息108。以上，結束了運動圖像編碼裝置1000的說明。如上述，在運動圖像編碼裝置1000 中，由於利用以塊為單位補償了幀間的亮度變化後的預測圖像進行編碼，所以能夠以少的 代碼量對幀間產生了局部的亮度變化的運動圖像進行編碼。另外，由於所需的附加信息也 只是平均每塊至多1比特的信息，所以與以參數表現亮度變化的情況相比，附加信息的代 碼量少。接著，參照圖3對由圖2所示的運動圖像編碼裝置1000編碼後的編碼數據200進 行解碼的運動圖像解碼裝置2000進行說明。圖3是表示運動圖像解碼裝置2000的構成的 框圖。如圖3所示，運動圖像解碼裝置2000具備可變長編解碼部220、逆量化部221、逆 正交變換部222、幀存儲器223、運動補償部224及亮度變化補償部225。在運動圖像編碼裝 置1000中，通過編碼各處理對象塊Bc所得到的編碼數據200被輸入於運動圖像解碼裝置 2000的可變長編解碼部220。可變長編解碼部220通過對編碼數據200進行解碼，得到運動向量201、亮度變化 檢測信息202及變換係數等級203。運動向量201被提供給運動補償部224及亮度變化補 償部225。另外，亮度變化檢測信息202被提供給亮度變化補償部225。另外，變換係數等級203提供給逆量化部221。逆量化部221通過對由可變長編解碼部220得到的變換係數等級203進行逆量 化，來對由運動圖像編碼裝置1000的正交變換部120導出的各頻率成分進行復原。由逆量 化部221復原後的頻率成分係數被提供給逆正交變換部222。逆正交變換部222通過對由逆量化部122復原的頻率成分係數進行逆離散餘弦變 換，來對被輸入到運動圖像編碼裝置1000的正交變換部120的預測殘差101進行復原。運動圖像解碼裝置2000通過將由逆正交變換部222復原的預測殘差和由亮度變 化補償部224提供的預測圖像207相加，來生成局部解碼圖像204。所生成的局部解碼圖像 204被存儲於幀存儲器223並且被輸出到外部。運動補償部224基於運動向量201和被存儲於幀存儲器223的參照圖像，生成運 動補償圖像206。由運動補償部224生成的運動補償圖像206被提供給亮度變化補償部 225。亮度變化補償部225基於運動向量201、亮度變化檢測信息202和被記錄於幀存 儲器223的解碼完成當前圖像及參照圖像，來修正運動補償圖像206，以補償幀間的亮度變 化。前面提到的預測圖像207是通過亮度變化補償部225修正後的該運動補償圖像。其中，關於亮度變化補償部225而言，由於是本發明中的特徵構成，所以結合所參 照的附圖，以下稍微詳細地說明。接著，參照圖4對上述的運動圖像解碼裝置2000具備的亮度變化補償部225的詳 細進行說明。圖4是表示亮度變化補償部225的構成例的框圖。如圖4所示，亮度變化補償部225具備參照塊周邊圖像生成部240、處理對象塊 周邊圖像生成部241、亮度變化補償圖像生成部242及預測圖像選擇開關243。以下，對亮 度變化補償部225具備的各部依次進行說明。參照塊周邊圖像生成部240基於運動向量201，從幀存儲器223中讀取參照幀Ir 中的參照塊周邊區域Sr內的各像素的像素值，作為參照塊周邊圖像提供給亮度變化補償 圖像生成部242。其中，參照塊周邊區域Sr與在運動圖像編碼裝置1000的說明中所述的區 域相同。處理對象塊周邊圖像生成部241從幀存儲器223中讀取處理對象塊周邊區域Sc 內的各像素的像素值，作為處理對象塊周邊圖像提供給亮度變化補償圖像生成部242。其 中，處理對象塊周邊區域Sc與在運動圖像編碼裝置1000的說明中敘述的區域相同。如圖6(b)所示，應該注意處理對象塊周邊區域Sc包括在處理對象幀Ic的解碼 完成區域中。即，處理對象塊周邊圖像是被存儲於幀存儲器223的解碼完成當前圖像的一 部分，處理對象塊周邊圖像生成部241能夠從幀存儲器223中讀取該圖像。亮度變化補償圖像生成部242基於參照塊周邊圖像及處理對象塊周邊圖像計算 亮度變化推定量0(i，j)，並且利用計算出的亮度變化推定量0(i，j)修正運動補償圖像 206，以補償幀間的亮度變化。修正後的運動補償圖像206作為亮度變化補償圖像被提供給 預測圖像選擇開關243。另外，作為運動補償圖像206的修正方法，利用與在運動圖像編碼裝置1000中的 編碼過程中所利用的修正方法相同的方法。關於具體的修正方法，因為在運動圖像編碼裝置1000的說明中已經敘述了，所以這裡省略說明。預測圖像選擇開關243基於亮度變化檢測信息202選擇亮度變化補償圖像及運動 補償圖像206中的其中一個，將選擇出的圖像作為預測圖像207進行輸出。以上，結束了亮度變化補償部225的說明。如上述，在亮度變化補償部225中，基 於所輸入的運動補償圖像206、局部解碼圖像205 (參照圖像和解碼完成當前圖像)、運動向 量201及亮度補償檢測信息202，生成並輸出預測圖像207。以上，結束了運動圖像解碼裝置2000的說明。如上述，根據運動圖像解碼裝置 2000，能夠基於補償了幀間的亮度變化後的預測圖像來對圖像進行解碼。預測圖像207是 與未補償亮度變化的情況下的預測圖像(運動補償圖像206)相比能準確表現原始圖像 (向運動圖像編碼裝置1000輸入的輸入圖像)的圖像。因此，在補償了亮度變化後的預測 圖像中相加所復原的預測殘差而得到的再生圖像，更忠實地再現了原始的圖像。〈關於低通濾波器〉另外，在與本實施方式相關的上述說明中，雖然作為參照/處理對象塊周邊圖像 的各像素值而直接利用了參照/處理對象圖像的像素值，但是並不一定限定於此。例如，也能夠將應用了低通濾波器的參照/處理對象圖像的各像素值作為參照/ 處理對象塊周邊圖像的各像素值進行設定。即，參照塊周邊圖像的各像素的像素值及處理 對象塊周邊圖像的各像素的像素值也可以由以下所示的(12)及(13)式給出。數學式12STr (i,0) = {Ir (Xr+i—1，Yr_l)+2X Ir (Xr+i，Yr_l)+Ir (Xr+i+1，Yr_l)}+4 (i =0. . . L-l)SLr (0，j) = {Ir (Xr-1, Yr+j-1) +2 X Ir (Xr-1, Yr+j) +Ir (Xr-1, Yr+j+1)} ^-4 (j =0. . . M-l)
· (12)數學式I3STc (i,0) = {Ic(Xc+i-l，Yc-l)+2XIc(Xc+i，Yc-l)+Ic(Xc+i+l，Yc-1)}+4 (i =0. . . L-l)SLc (0, j) = {Ic(Xc_l，Yc+j-l)+2XIc(Xc_l，Yc+j)+Ic(Xc_l，Yc+j+1)}+4 (j =0. . . M-l)
· (13)根據(12)及(13)式，在參照圖像或解碼完成當前圖像中，通過對位於參照/處理 對象塊的上側的像素在水平方向上施加低通濾波器後的像素值、對位於參照/處理對象塊 的左側的像素在垂直方向上施加低通濾波器後的像素值，來設定參照/處理對象塊周邊圖 像的各像素值。由此，通過應用低通濾波器，從而能夠在參照塊周邊圖像和處理對象塊周邊圖像 之間的像素值的變化中，去除主要因物體的發生消滅或變形等引起的高頻成分的變化。因 此，通過利用應用了低通濾波器後的參照/處理對象塊周邊圖像，從而能夠更準確地補償 幀間的亮度變化。
14
另外，作為應用低通濾波器的方法的其它具體例，也可以利用由以下所示的(12a) 及(13a)式給出的參照塊周邊圖像的各像素的像素值、及處理對象塊周邊圖像的各像素的
像素值。數學式14STr (i,0) = {Ir (Xr+i, Yr-2)+3X Ir (Xr+i, Yr-I)} ^-4 (i = 0· · · L_l)
· · (12a)SLr (0，j) = {Ir(Xr-2，Yr+j)+3XIr(Xr-l，Yr+j)}+4 (j = 0. · · M_l)數學式15STc(i，0) = {Ic(Xc+i，Yc-2)+3XIc(Xc+i，Yc-1)}+4 (i = 0. · · L_l)
· · (13a)STc (0, j) = {Ic(Xc_2，Yc+j)+3XIc(Xc_l，Yc+j)}+4 (j = 0…M_l)根據(12a)及(13a)式，在參照圖像或解碼完成當前圖像中，通過對位於參照/處 理對象塊的上側的像素在垂直方向上施加了低通濾波器後的像素值、對位於該塊的左側的 像素在水平方向上施加了低通濾波器後的像素值，來設定參照/處理對象塊周邊圖像的各
像素值。另外，代替低通濾波器，也能夠將噪聲去除濾波器應用於參照圖像或解碼完成當 前圖像，將結果得到的值用於參照/處理對象塊周邊圖像。例如，參照塊周邊圖像的各像素 的像素值、及處理對象塊周邊圖像的各像素的像素值也可以由以下所示的(14)及(15)式
全A屮
口 QQ ο數學式16STr (i，0) = median (Ir (Xr+i-1，Yr-I)，Ir (Xr+i，Yr-I)，Ir (Xr+i+Ι，Yr-1)) (i = 0. . . L-1)SLr (0, j) = median (Ir (Xr-1, Yr+j-1), Ir (Xr-1, Yr+j), Ir (Xr-1, Yr+j+1)) (j = 0. . . M-l)
· · (14)數學式17STc (i，0) = median (Ic (Xc+i-1，Yc_l)，Ic (Xc+i，Yc_l)，Ic (Xc+i+1，Yc_l)) (i = 0. . . L-1)SLc (0，j) = median (Ic (Xc-1, Yc+j-1), Ic (Xc-1, Yc+j), Ic (Xc-1, Yc+j+1)) (j = 0. . . M-l)
· · (15)這裡，median (a，b，c)是賦予3個數a、b、c的中央值的函數。由此，通過應用噪聲去除濾波器，從而能夠在參照塊周邊圖像和處理對象塊周邊 圖像之間的像素值的變化中，去除因噪聲引起的成分。因此，通過利用應用了噪聲去除濾波 器後的參照/處理對象塊周邊圖像，從而能夠更準確地補償幀間的亮度變化。
另外，在以上的說明中，亮度變化補償圖像生成部142及242如(4)式所示，通過 在運動補償圖像106的各像素值上加上幀間的亮度變化推定量導出亮度變化補償圖像。可是，由於幀間的亮度變化推定量是基於位於參照/處理對象塊的上側或左側的 像素所導出的，所以塊內位置越接近右下精度就越低。因此，考慮這樣的性質，也可以代替 (4)式，根據以下所示的(16)式修正亮度變化補償圖像。數學式ISP(i, j) = R(i, j)+w(i, j) X0(i, j) (i =0. ..L-l, j =0. ..M-l) 『 · · (16)這裡，w(i, j)是表示塊內位置(i，j)中的幀間的亮度變化推定量的正確性的量， 由以下所示的(17)式給出。數學式I9w(i, j) = α -β Xmin(i, j) (i = 0· · · L_l，j = 0· · · M_l) · · · (17)這裡，α是表示塊內位置(0，0)中的亮度變化推定量的正確性的值，β是表示與 距塊上邊或左邊的距離相應的所述正確性的減少率的值。即，根據(17)式可知，w(i，j)的 值，是與距該像素位置的塊左邊的距離和距上邊的距離之中距離短的一方的距離成比例地 減少的值。作為一例，在圖7(a)中示出在塊尺寸為4X4像素的情況下採用α = 1、β = 0.25時由(17)式確定出的w(i，j)的值。通過根據上述方法生成亮度變化補償圖像，從而能夠也考慮幀間的亮度變化推定 量的正確性來補償亮度變化。因此，能夠降低亮度變化推定量與實際的亮度變化產生不同 的可能性。另外，在亮度變化推定量的導出中只利用位於參照/處理對象塊的上側的像素的 情況下，優選由以下所示的(18)式確定w(i，j)。數學式2Ow(i, j) = α -β Xj (i = 0· · · L-l，j = 0· · ·Μ_1) · · · (18)此時，由於從塊左邊到該像素位置的距離與亮度變化推定量的正確性無關，所以 由(18)式導出的值與由(17)式導出的值相比，更準確地表示亮度變化推定量的正確性。 圖7(b)表示在塊尺寸為4X4像素的情況下採用α =1、β =0.25時由(18)式確定出的 w(i，j)的值。另外，在亮度變化推定量的導出中只利用位於參照/處理對象塊的左側的像素的 情況下，優選由以下所示的(19)式確定w(i，j)。數學式21w(i, j) = α -β Xi (i = 0· · · L-l，j = 0· · ·Μ_1) · · · (19)此時，由於從塊上邊到該像素位置的距離與亮度變化推定量的正確性無關，所以 由(19)式導出的值與由(17)式導出的值相比，更準確地表示亮度變化推定量的正確性。圖 7(c)示出在塊尺寸為4X4像素的情況下採用α =1、β = 0. 25時由(19)式確定的w(i， j)的值。而且，亮度變化補償圖像生成部142及242可以通過其它方法導出亮度變化補償 圖像，而不是通過在運動補償圖像106的各像素值上加上幀間的亮度變化推定量來導出亮度變化補償圖像。例如，也可以通過計算按照每個處理對象塊Bc的各像素位置推定幀間的 亮度變化率後的推定亮度變化率Q(i，j)，在運動補償圖像106的各像素值上乘以幀間的推 定亮度變化率Q(i，j)，來導出亮度變化補償圖像。即，也可以基於運動補償圖像106的各 像素的像素值R(i，j)和對各像素的推定亮度變化率Q(i，j)，根據以下的(20)式計算亮度 變化補償圖像的各像素值P(i，j)。數學式22P(i, j) = R(i, j) XQ(i, j) (i = 0. · · L-l，j = 0. · ·Μ-1) · · · (20)這裡，Q(i，j)例如能夠根據以下所示的(21)式進行計算。數學式23Qas =α = 0...L-Lj = O...m-d · · · (21)
Y Sr(Oj) Sr(i,Q)此時，在Q(i，j)中，將與位於處理對象塊內像素IC(i，j)的正上方和正左邊的處 理對象塊周邊區域內像素的像素值的變化率的幾何平均相當的值，作為推定亮度變化率進 行設定。在由上述的(20)及(21)式進行的亮度變化補償中，因為能夠根據運動補償圖像 上的像素的亮度以不同的比例補償亮度變化，所以能夠正確地補償幀間的亮度變化。(實施方式2)基於圖8 圖11對本發明所涉及的運動圖像編碼裝置及運動圖像解碼裝置的第 2實施方式進行說明，如下所述。〈運動圖像編碼裝置〉圖8是表示本實施方式所涉及的運動圖像編碼裝置1000a的構成的框圖。運動圖 像編碼裝置IOOOa具備正交變換部120、量化部121、逆量化部122、逆正交變換部123、幀 存儲器124、運動檢測部125、運動補償部126、亮度變化檢測/補償部127a及可變長編碼部 128a。在運動圖像編碼裝置1000a中，由於亮度變化檢測/補償部127a及可變長編碼部 128a以外的各構成要素與在圖2所示的運動圖像編碼裝置1000中賦予相同符號的構成要 素相同，所以省略說明。亮度變化檢測/補償部127a基於被存儲於幀存儲器124的解碼完成當前圖像及 參照圖像來檢測幀間的亮度變化。檢測結果作為亮度變化檢測信息108被提供給可變長編 碼部128。另外，亮度變化檢測/補償部127a基於該亮度變化檢測信息108來修正運動補 償圖像106，以補償幀間的亮度變化。這些點與運動圖像編碼裝置1000具備的亮度變化檢 測/補償部127相同。在運動圖像編碼裝置1000a具備的亮度變化檢測/補償部127a能夠通過不同的 多個方法補償幀間的亮度變化這點上，與運動圖像編碼裝置1000具備的亮度變化檢測/補 償部127不同。亮度變化檢測/補償部127a構成為選擇補償幀間的亮度變化的方法，並 將表示選擇出的方法的亮度變化補償方法信息150提供給亮度變化檢測信息108及可變長 編碼部128a。另外，可變長編碼部128a對變換係數等級102、運動向量105、亮度變化檢測信息 108及亮度變化補償方法信息150分別進行編碼，並且對分別編碼這些信息所得到的編碼 數據進行復用，來生成編碼數據200。由可變長編碼部128生成的編碼數據200被輸出到外部。接著，參照圖9對亮度變化檢測/補償部127a的詳細進行說明。圖9是表示亮度 變化檢測/補償部127a的構成的框圖。如圖9所示，亮度變化檢測/補償部127a具備參照塊周邊圖像生成部140、處 理對象塊周邊圖像生成部141、亮度變化補償圖像生成部A151、亮度變化補償圖像生成部 B152、亮度變化補償圖像生成部C153、亮度變化補償方法確定部154、及預測圖像選擇開關 155。在亮度變化檢測/補償部127a的構成要素中，由於參照塊周邊圖像生成部140及 處理對象塊周邊圖像生成部141與在圖1所示的亮度變化檢測/補償部127賦予相同符號 的構成要素相同，所以省略說明。亮度變化補償圖像生成部A151、亮度變化補償圖像生成部B152、及亮度變化補償 圖像生成部C153，基於參照塊周邊圖像及處理對象塊周邊圖像計算亮度變化推定量0(i， j)，並且利用計算出的亮度變化推定量0(i，j)來修正運動補償圖像106，以補償幀間的亮 度變化。其中，亮度變化推定量0(i，j)的計算方法分別不同。具體而言，亮度變化補償圖像生成部A151根據上述的(4)式、(5)式及(7)式補 償幀間的亮度變化。即，由亮度變化補償圖像生成部A151生成的亮度變化補償圖像A，是 基於與塊上邊相鄰的處理對象塊周邊區域上的像素值的亮度變化來修正運動補償圖像106 的各像素值後的圖像。另外，亮度變化補償圖像生成部B152根據上述的(4)式、(5)式及(8)式來補償 幀間的亮度變化。即，由亮度變化補償圖像生成部B152生成的亮度變化補償圖像B，是基於 與塊左邊相鄰的處理對象塊周邊區域上的像素值的亮度變化來修正運動修正圖像106的 各像素值後的圖像。另外，亮度變化補償圖像生成部C153根據上述的(4)式、(5)式及(9)式來補償 幀間的亮度變化。即，由亮度變化補償圖像生成部C 153生成的亮度變化補償圖像C，是基 於與塊上邊或左邊相鄰的處理對象塊周邊區域上的像素值的亮度變化來修正運動補償圖 像106的各像素值的圖像。亮度變化補償方法確定部154將亮度變化補償圖像的3個候補(亮度變化補償圖 像A、亮度變化補償圖像B及亮度變化補償圖像C)以及運動補償圖像106分別與輸入圖像 100進行比較。然後，在運動補償圖像106比其中任一個候補更相似於輸入圖像100的情況 下，判定出無亮度變化，在除此之外的情況下，判定出有亮度變化，並將表示判定結果的亮 度變化檢測信息108提供給可變長編碼部128a及預測圖像選擇開關155。而且，亮度變化補償方法確定部154從亮度變化補償圖像的3個候補中選擇最相 似於輸入圖像100的圖像，並將表示選擇出的亮度變化補償圖像的生成中使用的方法的亮 度變化補償方法信息150提供給可變長編碼部128a及預測圖像選擇開關155。另外，作為各圖像(亮度變化補償圖像的3個候補及運動補償圖像106)對輸入圖 像100的相似度，例如能夠利用各圖像和輸入圖像100之間的SAD。此時，SAD的值越小，用 於計算該SAD的圖像越相似於輸入圖像100。預測圖像選擇開關155基於亮度變化檢測信息108及亮度變化補償方法150，從亮
18度變化補償圖像的3個候補及運動補償圖像106中選擇一個圖像，並將選擇出的圖像作為 預測圖像107輸出。更具體地說，在表示亮度變化檢測信息108無亮度變化的判定結果的情況下，將 運動補償圖像106作為預測圖像107進行選擇。另外，在表示亮度變化檢測信息108有亮 度變化的判定結果的情況下，將根據由亮度變化補償方法信息150表示的方法所生成的亮 度變化補償圖像選擇作為預測圖像107。以上，在檢測出亮度變化的情況下，由亮度變化檢測/補償部127a導出的預測圖 像107，利用3個不同的亮度變化補償方法中最合適的方法補償幀間的亮度變化。因此，與 利用唯一的亮度變化補償方法的情況相比，預測圖像107成為了更準確近似輸入圖像100 的圖像，減少了預測殘差101含有的信息量。因此，在圖8所示的運動圖像編碼裝置1000a 中，能夠以少的代碼量編碼離散餘弦變換及量化預測殘差101後得到的變換係數等級102。〈運動圖像解碼裝置〉接著，參照圖10對由圖8所示的運動圖像編碼裝置1000a編碼後的編碼數據200 進行解碼的運動圖像解碼裝置2000a進行說明。圖10是表示運動圖像解碼裝置2000a的 構成的框圖。圖10所示，運動圖像解碼裝置2000a具備可變長編解碼部220a、逆量化部221、 逆正交變換部222、幀存儲器223、運動補償部224及亮度變化補償部225a。在運動圖像解碼裝置2000a中，由於亮度變化補償部225a及可變長編解碼部220a 以外的構成要素與在圖3所示的運動圖像解碼裝置2000中賦予相同符號的構成要素相同， 故省略說明。可變長編解碼部220a通過對編碼數據200進行解碼，得到運動向量201、亮度變化 檢測信息202、變換係數等級203及亮度變化補償方法信息250。運動向量201被提供給運 動補償部224及亮度變化補償部225。另外，亮度變化檢測信息202及亮度變化補償方法信 息250被提供給亮度變化補償部225a。另外，變換係數等級203被提供給逆量化部221。亮度變化補償部225a基於運動向量201、亮度變化檢測信息202、亮度變化補償方 法信息250以及被記錄於幀存儲器223中的解碼完成當前圖像及參照圖像來修正運動補償 圖像206，以補償幀間的亮度變化。這些點與運動圖像解碼裝置2000具備的亮度變化補償 部225a相同。其中，在運動圖像解碼裝置2000a具備的亮度變化補償部225a能夠通過不同的 多個方法補償幀間的亮度變化這點上，與運動圖像解碼裝置2000具備的亮度變化補償部 225a不同。亮度變化補償部225a構成為確定基於亮度變化補償方法信息250補償幀間 的亮度變化的方法。接著，參照圖11對亮度變化補償部225a的詳細進行說明。圖11是表示亮度變化 補償部225a的構成的框圖。如圖11所示，亮度變化補償部225a具備參照塊周邊圖像生成部240、處理對象 塊周邊圖像生成部241、亮度變化補償圖像生成部A251、亮度變化補償圖像生成部B252、亮 度變化補償圖像生成部C253及預測圖像選擇開關254。另外，在亮度變化補償部225a的構成要素中，由於參照塊周邊圖像生成部240及處理對象塊周邊圖像生成部241與在圖4所示的亮度變化補償部127中賦予相同符號的構 成要素相同，故省略說明。亮度變化補償圖像生成部A251、亮度變化補償圖像生成部B252及亮度變化補償 圖像生成部C253，基於參照塊周邊圖像及處理對象塊周邊圖像計算亮度變化推定量0(i， j)，並且利用計算出的亮度變化推定量0(i，j)來修正運動補償圖像206，以補償幀間的亮 度變化。其中，亮度變化推定量0(i，j)的計算方法分別不同。具體而言，亮度變化補償圖像生成部A251、亮度變化補償圖像生成部B252及亮度 變化補償圖像生成部C253構成為通過相同的方法分別對運動圖像編碼裝置1000a具備的 亮度變化補償圖像生成部A151、亮度變化補償圖像生成部B152及亮度變化補償圖像生成 部C153補償幀間的亮度變化。預測圖像選擇開關254基於亮度變化檢測信息202及亮度變化補償方法信息250， 從亮度變化補償圖像的3個候補及運動補償圖像106中選擇一個圖像，並將選擇出的圖像 作為預測圖像207輸出。關於選擇方法，由於與運動圖像編碼裝置1000a具備的亮度變化 檢測/補償部127a的預測圖像選擇開關155中的選擇方法相同，故省略詳細的說明。以上，結束了亮度變化補償部225a的說明。如上述，在亮度變化補償部225a中， 利用與用於生成編碼數據200時所利用的方法相同的方法，生成補償幀間的亮度變化後的 預測圖像207。以上，結束了運動圖像解碼裝置2000a的說明。如上述，根據運動圖像解碼裝置， 通過按照每塊從多個亮度變化補償方法中選擇合適的方法來補償幀間的亮度變化，能夠生 成準確補償了幀間的亮度變化的預測圖像。所述預測圖像是與未補償亮度變化的情況下的 預測圖像相比更準確表現原始圖像(向運動圖像編碼裝置1000a輸入的輸入圖像)的圖 像。因此，在補償了亮度變化的預測圖像中加上復原後的預測殘差所得到的再生圖像，能夠 更忠實地再現原始圖像。另外，在以上的說明中，雖然對組合利用特定的3個亮度變化補償方法進行了說 明，但是也可以組合利用任意2個以上的亮度變化補償方法。例如，能夠組合利用以下所示的3個亮度變化補償方法。方法1 根據(16)式、(18)式、(5)式及(7)式，計算P(i，j)(通過根據距塊上邊 的距離，對與處理對象塊上邊相鄰的像素的像素值的變化量加權後的值，來補償亮度變化) 的亮度變化補償方法。方法2 根據(16)式、(18)式、(5)式及(8)式，計算P(i，j)(通過根據距塊左邊 的距離，對與處理對象塊左邊相鄰的像素的像素值的變化量加權後的值，來補償亮度變化) 的亮度變化補償方法。方法3 根據(16)式、(18)式、(5)式及(9)式，計算P(i，j)(通過根據距塊上邊 和左邊中最近一邊的距離，對與處理對象塊上邊和左邊相鄰的像素的像素值的變化量進行 加權平均的值進行加權之後的值，來補償亮度變化)的亮度變化補償方法。根據上述組合可知，由於能夠將根據距處理對象塊上邊或左邊的距離加權後的值 作為亮度變化推定量進行利用，所以能夠降低亮度變化推定量和實際的亮度變化產生不同 的可能性。
另外，例如能夠組合利用以下所示的2個亮度變化補償方法。方法1 基於由(1)式導出的參照塊周邊圖像和由(3)式導出的處理對象塊周邊 圖像，根據(4)式、(5)式及(9)式計算P(i，j)(根據對與處理對象塊上邊和左邊相鄰的像 素的像素值的變化量進行加權平均後的值來補償亮度變化)的亮度變化補償方法。方法2 基於由(14)式導出的參照塊周邊圖像和由(15)式導出的處理對象塊周 邊圖像，根據(4)式、(5)式及(9)式計算P(i，j)(通過對與處理對象塊上邊和左邊相鄰的 像素實施噪聲去除後的像素值的變化量再進行加權平均後的值來補償亮度變化)的亮度 變化補償方法。根據上述的組合可知，能夠根據噪聲的多少以不同的方法補償亮度變化。另外，在本實施方式中，雖然可變長編碼部128a—同編碼亮度變化檢測信息108 和亮度變化補償方法信息150，但是也不一定同時編碼兩方。例如也可以構成為在表示亮 度變化檢測信息108有亮度變化的判定結果的情況下，只編碼亮度變化檢測信息108，在表 示無亮度變化的判定結果的情況下，編碼亮度變化檢測信息108和亮度變化補償方法150 的兩方。此時，由於只在需要補償幀間的亮度變化時，只要編碼與利用哪一亮度變化補償方 法相關的信息即可，所以能夠減少編碼數據的代碼量。以上，本發明所涉及的運動圖像編碼裝置其特徵在於具備修正單元，該修正單元 基於與成為當前編碼處理的對象的處理對象塊相鄰的處理對象塊周邊區域內的像素的像 素值、和在以運動補償預測為基準的參照圖像中與對應於上述處理對象塊相鄰的參照塊周 邊區域內的像素的像素值，來推定上述處理對象塊的各像素中的亮度變化量，並且修正運 動補償圖像，以補償推定出的亮度變化量。因此，不會發生因附加信息帶來的代碼量的増加，或者縱使發生了代碼量的增加 也能起到既能最小限度地抑制又能補償幀間的局部的亮度變化的效果。另外，本發明所涉及的運動圖像解碼裝置具備修正單元，該修正單元基於在由解 碼上述編碼數據得到的解碼圖像中與成為當前解碼處理的對象的處理對象塊相鄰的處理 對象塊周邊區域內的像素的像素值、和在以運動補償預測為基準的參照圖像中與對應於上 述處理對象塊的參照塊相鄰的參照塊周邊區域內的像素的像素值，來推定上述處理對象塊 的各像素中的亮度變化量，並且修正運動補償圖像，以補償推定出的亮度變化量。因此，能夠起到解碼由上述運動圖像編碼裝置編碼後的編碼數據的效果。(附註事項)本發明並不限定於上述的各實施方式，可以在技術方案所示的範圍內進行各種變 更，關於適當組合在不同的實施方式中分別公開的技術的單元所得到的實施方式而言，也 包括在本發明的技術範圍內。例如，運動圖像編碼裝置1000的各塊也可以由硬體邏輯構成，也可以如下利用 CPU通過軟體來實現。S卩，運動圖像編碼裝置1000具備執行實現各功能的控制程序的命令的 CPU (central processing unit)、存儲了上述程序的 ROM (read only memory)、展開上述程 序的RAM(random access memory)、存儲上述程序及各種數據的存儲器等的存儲裝置(記錄 介質)等。
並且，本發明的目的通過下述步驟能夠達成將以計算機可讀的方式對實現上述 功能的軟體即運動圖像編碼裝置1000的控制程序的程序代碼(執行形式程序、中間代碼程 序、源程序)進行記錄的記錄介質提供給運動圖像編碼裝置1000，該計算機(或CPU、MPU) 讀取並執行被記錄於記錄介質的程序代碼。作為上述記錄介質，例如能夠利用磁帶或盒式磁帶等的帶系、包括軟(註冊商 標)盤/硬碟等的磁碟或⑶-R0M/M0/MD/DVD/⑶-R等的光碟的盤系、IC卡(包括存儲卡)/ 光卡等的卡系、或者掩模R0M/EPR0M/EEPR0M/快閃記憶體ROM等的半導體存儲器系等。另外，也可以使運動圖像編碼裝置1000構成為可與通信網絡連接，或者經由通信 網絡提供上述程序代碼。作為該通信網絡並不特別限定於此，例如可利用網絡、內部網絡、 外部網絡、LAN、ISDN、VAN、CATV通信網、虛擬專用網(virtual private network)、電話線 路網、移動體通信網、衛星通信網等。另外，作為構成通信網絡的傳輸介質並不特別限定於 此，例如可以利用IEEE1394、USB、電力線搬送、電纜TV線路、電話線、ADSL線路等的有線，以 及IrDA或遙控器等的紅外線、Bluetooth(註冊商標)、802. 11無線、HDR、行動電話網、衛星 線路、地面波數字網等的無線。另外，本發明能夠以上述程序代碼因電子傳輸具體化的被嵌 入到載波中的計算機數據信號的方式來實現的。關於運動圖像編碼裝置1000a、運動圖像解碼裝置2000及運動圖像解碼裝置 2000a也同樣。在發明的詳細說明事項中實施的具體的實施方式或實施例，終究不能狹義地解釋 為使本發明的技術內容明確，只限定於該具體例，只要在本發明的主旨及接著記載的要求 保護的範圍內進行各種變更並加以實施。例如，本發明能夠以下述方式表現。1. 一種運動圖像編碼裝置，將運動圖像的幀分割為多個塊，以塊為單位對輸入圖 像和預測圖像之間的差分即預測殘差進行編碼後生成編碼數據，其特徵在於，具備運動檢 測部，其將近似所述輸入圖像的參照幀上的區域的位置作為運動向量進行導出；運動補償 部，其基於所述運動向量生成運動補償圖像；處理對象塊周邊圖像生成部，其基於處理對 象塊周邊區域的圖像生成處理對象塊周邊圖像；參照塊周邊圖像生成部，其基於參照塊周 邊區域的圖像生成參照塊周邊圖像；亮度變化補償圖像生成部，其基於所述處理對象塊周 邊圖像及所述參照塊周邊圖像，導出表示處理對象塊內各位置的亮度變化的亮度變化推定 量，根據所述亮度變化推定量修正所述運動補償圖像後生成亮度變化補償圖像。2.在方式1所述的運動圖像編碼裝置，其特徵在於，所述處理對象塊周邊圖像的 各像素值是在解碼完成當前圖像中與處理對象塊上邊或左邊相鄰的各像素的像素值，所述 參照塊周邊圖像的各像素值是在參照圖像中與參照塊上邊或左邊相鄰的各像素的像素值。3.在方式1所述的運動圖像編碼裝置，其特徵在於，所述處理對象塊周邊圖像的 各像素值，是將低通濾波器應用於解碼完成當前圖像中與處理對象塊上邊或左邊相鄰的各 像素所得到的值，所述參照塊周邊圖像的各像素值，是將低通濾波器應用於參照圖像中與 參照塊上邊或左邊相鄰的各像素所得到的值。4.在方式1所述的運動圖像編碼裝置，其特徵在於，所述處理對象塊周邊圖像的 各像素值，是將噪聲去除應用於解碼完成當前圖像中與處理對象塊上邊或左邊相鄰的各像 素所得到的值，所述參照塊周邊圖像的各像素值，是將噪聲去除應用於參照圖像中與參照
22塊上邊或左邊相鄰的各像素所得到的值。5.在方式1 4中任意一項所述的運動圖像編碼裝置，其特徵在於，所述亮度變化 推定量基於所述處理對象塊周邊圖像和所述參照塊周邊圖像中對應的像素間的像素值之 間的差分而被導出。6.在方式1 5中任意一項所述的運動圖像編碼裝置，其特徵在於，處理對象塊 內的各像素中的所述亮度變化推定量基於第一差分和第二差分而被導出，所述第一差分是 位於該處理對象塊內像素的上方的所述處理對象塊周邊圖像上的像素、和位於該處理對象 塊內像素所對應的參照塊內像素的上方的所述參照塊周邊圖像上的像素之間的像素值的 差分，所述第二差分是位於該處理對象塊內像素的左方的所述處理對象塊周邊圖像上的像 素、和位於該處理對象塊內像素所對應的參照塊內像素的左方的所述參照塊周邊圖像上的 像素之間的像素值的差分。7.在方式6所述的運動圖像編碼裝置，其特徵在於，處理對象塊內的各像素中的 所述亮度變化推定量，是根據該處理對象塊內像素和位於其上方的所述處理對象塊周邊圖 像上的像素之間的距離、該處理對象塊內像素和位於其左方的所述處理對象塊周邊圖像上 的像素之間的距離，對所述第一差分值和所述第二差分值進行加權平均所得到的值。8.在方式1 7中任意一項所述的運動圖像編碼裝置，其特徵在於，修正所述處理 對象塊內的各像素位置中的亮度變化推定量，以使對象像素的所述處理對象塊內的位置距 塊上邊或塊左邊越遠其值越小。9.在方式1 8中任意一項所述的運動圖像編碼裝置，其特徵在於，該運動圖像編 碼裝置還具備亮度變化檢測部，所述亮度變化檢測部判定所述亮度變化補償圖像和所述運 動補償圖像中的哪個適合為所述預測圖像後生成亮度變化檢測信息，將由所述亮度變化檢 測信息判定出適合為所述預測圖像的圖像作為所述預測圖像使用，並且將所述亮度變化檢 測信息包括在所述編碼數據中。10.在方式1 9中任意一項所述的運動圖像編碼裝置，其特徵在於，所述亮度補 償圖像生成部具有至少通過2種以上的方法生成亮度補償圖像候補的單元，該運動圖像編 碼裝置還具備亮度變化補償方法確定部，所述亮度變化補償方法確定部判定多個所述亮度 補償圖像候補中的哪個適合為所述預測圖像，並將由所述判定而判定出適合為所述預測圖 像的所述亮度補償圖像候補選擇為所述亮度補償圖像，並且將所述判定的結果包括在所述 編碼數據中。11.在方式10所述的運動圖像編碼裝置，其特徵在於，所述亮度補償圖像生成部 具有至少通過2種以上的方法生成亮度補償圖像候補的單元，該運動圖像編碼裝置還具備 亮度變化補償方法確定部，所述亮度變化補償方法確定部判定多個所述亮度補償圖像候補 中的哪個適合為所述預測圖像，將由所述判定而判定出適合為所述預測圖像的所述亮度補 償圖像候補選擇為所述亮度補償圖像，並且只在所述亮度變化檢測信息表示所述亮度變化 補償圖像適合為所述預測圖像的情況下，將所述判定的結果包括在所述編碼數據中。12. 一種運動圖像解碼裝置，解碼以塊為單位編碼被分割為多個塊的運動圖像的 幀所得到的編碼數據後再生運動圖像，其特徵在於，該運動圖像編碼裝置具備運動補償預 測部，其基於由所述編碼數據解碼的運動向量來指定與處理對象塊相似的參照幀上的區域 即參照塊的位置後生成運動補償圖像；處理對象塊周邊圖像生成部，其基於處理對象塊周邊區域的圖像生成處理對象塊周邊圖像；參照塊周邊圖像生成部，其基於參照塊周邊區域 的圖像生成參照塊周邊圖像；亮度變化補償圖像生成部，其基於所述處理對象塊周邊圖像 及所述參照塊周邊圖像來導出處理對象塊和參照塊之間的亮度變化推定量，基於所述亮度 變化推定量修正所述運動補償圖像。(產業上的可用性)本發明能夠廣泛應用於利用運動補償預測編碼運動圖像的運動圖像編碼裝置、及 解碼由這樣的運動圖像編碼裝置所編碼的編碼數據的運動圖像解碼裝置。尤其，特別適用 於AVC/H264或MPEG-4所對應的運動圖像編碼裝置、及運動圖像解碼裝置。並且，能夠應用 於編碼運動圖像並記錄於記錄介質的運動圖像記錄裝置或根據記錄於記錄介質的編碼數 據再生運動圖像的運動圖像再生裝置等。
權利要求
一種運動圖像編碼裝置，通過將構成運動圖像的各幀作為編碼對象圖像，按每塊對該編碼對象圖像和運動補償圖像之間的差分即預測殘差進行編碼，來生成編碼數據，其特徵在於，該運動圖像編碼裝置具備修正單元，該修正單元基於在通過解碼上述編碼數據而得到的局部解碼圖像中、與成為當前編碼處理對象的處理對象塊相鄰的處理對象塊周邊區域內的像素的像素值，和在作為運動補償預測的基準的參照圖像中、與上述處理對象塊所對應的參照塊相鄰的參照塊周邊區域內的像素的像素值，來推定上述處理對象塊的各像素中的亮度變化量，並修正上述運動補償圖像以補償推定出的亮度變化量。
2.根據權利要求1所述的運動圖像編碼裝置，其特徵在於，在上述局部解碼圖像中，上述處理對象塊周邊區域是與上述處理對象塊的上邊相鄰的 區域及與上述處理對象塊的左邊相鄰的區域之中的至少一方，在上述參照圖像中，上述參照塊周邊區域是與上述參照塊的上邊相鄰的區域及與上述 參照塊的左邊相鄰的區域之中的至少一方。
3.根據權利要求1所述的運動圖像編碼裝置，其特徵在於，在應用了低通濾波器後的上述局部解碼圖像中，上述處理對象塊周邊區域是與上述處 理對象塊的上邊相鄰的區域及與上述處理對象塊的左邊相鄰的區域之中的至少一方，在應用了低通濾波器後的上述參照圖像中，上述參照塊周邊區域是與上述參照塊的上 邊相鄰的區域及與上述參照塊的左邊相鄰的區域之中的至少一方。
4.根據權利要求1所述的運動圖像編碼裝置，其特徵在於，在應用了噪聲去除濾波器後的上述局部解碼圖像中，上述處理對象塊周邊區域是與上 述處理對象塊的上邊相鄰的區域及與上述處理對象塊的左邊相鄰的區域之中的至少一方，在應用了噪聲去除濾波器後的上述參照圖像中，上述參照塊周邊區域是與上述參照塊 的上邊相鄰的區域及與上述參照塊的左邊相鄰的區域之中的至少一方。
5.根據權利要求1 4中任意一項所述的運動圖像編碼裝置，其特徵在於，上述修正單元通過計算上述處理對象塊周邊區域內的像素的像素值和該像素所對應 的像素即上述參照塊周邊區域內的像素的像素值之間的差分，來推定上述亮度變化量。
6.根據權利要求5所述的運動圖像編碼裝置，其特徵在於，上述修正單元基於第1差分值和第2差分值之中的至少一方來推定上述處理對象塊的 各像素中的亮度變化量，上述第1差分值是位於該像素的上方的上述處理對象塊周邊區域 內像素的像素值、和上述參照圖像中位於該像素所對應的參照像素的上方的上述參照塊周 邊區域內像素的像素值之間的差分，上述第2差分值是位於該像素的左方的上述處理對象 塊周邊區域內像素的像素值、和位於上述參照像素的左方的上述參照塊周邊區域內像素的 像素值之間的差分。
7.根據權利要求6所述的運動圖像編碼裝置，其特徵在於，上述修正單元推定上述處理對象塊的各像素中的亮度變化量時，通過與該像素和位於 該像素的上方的上述處理對象塊周邊區域內像素之間的距離、及該像素和位於該像素的左 方的上述處理對象塊周邊區域內像素之間的距離相應的加權，對上述第1差分值和上述第 2差分值進行加權平均來進行推定。
8.根據權利要求1 7中任意一項所述的運動圖像編碼裝置，其特徵在於，上述修正單元修正針對上述處理對象塊的各像素推定出的亮度變化量，以使該像素距 上述處理對象塊的上邊或左邊越遠其亮度變化量的值越小。
9.根據權利要求1 8中任意一項所述的運動圖像編碼裝置，其特徵在於，該運動圖像編碼裝置還具備判定單元，上述判定單元判定上述運動補償圖像及由上述 修正單元修正後的運動補償圖像中的哪一個適合為預測圖像，該運動圖像編碼裝置對上述編碼對象圖像和由上述判定單元判定出適合為預測圖像 的一方的運動補償圖像之間的差分即預測殘差進行編碼，並將上述判定單元的判定結果包 括在上述編碼數據中。
10.根據權利要求1 8中任意一項所述的運動圖像編碼裝置，其特徵在於，上述修正單元從至少2種以上的修正方法中選擇修正上述運動補償圖像的修正方法，該運動圖像編碼裝置將表示由上述修正單元選擇出的修正方法的信息包括在上述編碼數據中。
11.根據權利要求10所述的運動圖像編碼裝置，其特徵在於，該運動圖像編碼裝置還具備判定單元，上述判定單元判定上述運動補償圖像及由上述 修正單元修正後的運動補償圖像中的哪一個適合為預測圖像，該運動圖像編碼裝置只在由上述判定單元判定出上述修正後的運動補償圖像適合為 預測圖像時，將表示由上述修正單元選擇出的修正方法的信息包括在上述編碼數據中。
12.—種運動圖像解碼裝置，對下述編碼數據進行解碼，該編碼數據是通過將構成運動 圖像的各幀作為編碼對象圖像並按每塊對該編碼對象圖像和運動補償圖像之間的差分即 預測殘差進行編碼而生成的數據，該運動圖像解碼裝置的特徵在於，具備修正單元，該修正單元基於在通過解碼上述編碼數據而得到的解碼圖像中、與成 為當前解碼處理對象的處理對象塊相鄰的處理對象塊周邊區域內的像素的像素值，和在作 為運動補償預測的基準的參照圖像中、與上述處理對象塊所對應的參照塊相鄰的參照塊周 邊區域內的像素的像素值，來推定上述處理對象塊的各像素中的亮度變化量，並修正上述 運動補償圖像以補償推定出的亮度變化量。
全文摘要
本發明提供一種運動圖像編碼裝置及運動圖像解碼裝置。在運動圖像編碼裝置中設置了亮度變化檢測/補償部(127)。亮度變化檢測/補償部(127)具備參照塊周邊圖像生成部(140)；處理對象塊周邊圖像生成部(141)；根據參照塊周邊區域和處理對象塊周邊區域各自的像素的比較結果來補償幀間的亮度變化的亮度變化補償圖像生成部(142)；亮度變化判定部(144)；以及預測圖像選擇開關(143)。由此，在運動圖像編碼裝置及運動圖像解碼裝置中，既能最低限度地抑制附加信息(輔助信息)的増加又能補償幀間的局部的亮度變化。
文檔編號H04N7/32GK101911705SQ20088012252
公開日2010年12月8日 申請日期2008年11月19日 優先權日2007年12月28日
發明者山本智幸, 豬飼知宏 申請人:夏普株式會社