圖像解碼裝置及其方法、圖像編碼裝置及其方法

2023-05-23 18:49:01

專利名稱：圖像解碼裝置及其方法、圖像編碼裝置及其方法
技術領域：
本發明涉及圖像解碼裝置、圖像解碼程序、圖像解碼方法、圖像 編碼裝置、圖像編碼程序以及圖像編碼方法。
背景技術：
已知從通過把視頻編碼數據進行解碼所再生的多個低清晰圖像 (以下，把r低清晰」記為LR)生成高清晰圖像(以下，把r高清 晰J記為HR)的超清晰技術(以下，把r超清晰J記為SR)(例如， 參照「 C.A.Segall et al., "High - Resolution Images from Low-Resolution Compressed Vidio"， IEEE Signal Processing Magazine, 2003年5月，pp.37- 48 J (以下稱為r非專利文獻1」))。
在SR技術中，把多個LR圖像與1張HR圖像的關係建模，通 過統計性地處理已知信息以及推測信息，能夠從多個LR圖像生成HR 圖像。圖1表示LR圖像與HR圖像之間的模型。在該模型中，假定 從l張原圖像HR圖像101生成多幀(L張)的原圖像LR圖像104。
在該假定中，為了生成原圖像LR圖像104-1、 104-2........ 104
-L,對於原圖像HR圖像101適用動態模型201-1、 201-2........
201-L。這時，如果對於HR圖像，根據低通濾波器和降抽樣的取樣
模型202 ，實施取樣處理，則生成原圖像LR圖像104 - 1 、 104 - 2........
104 - L。這裡，如果把通過解碼視頻編碼數據生成的再生LR圖像102-l、 102-2.......、 102-L與原圖像LR圖像104-1、 104-2........
104-L的差分假定為量化噪聲103-1、 103 - 2........ 103 -L，則
幀k的原圖^f象HR圖^象f—k(x， z) ， HxS2M， 1S《2N與幀1的再生 LR圖像y—l(m， n) ， l￡mSM, l^n^N的關係能夠按照以下的公式 1建模。
y—1 = AHC ( d Jk) f一k + e—1 ......(式1)
式中，1是從1到L的整數，C (djk)是幀k與幀I的HR圖像 之間的動態模型的矩陣，AH是取樣模型的矩陣(H是表示HR圖像 的濾波處理的4MNx4MN的矩陣，A是MNx4MN的降抽樣矩陣)， e一l表示幀I的再生LR圖像的量化噪聲。
這樣，視頻編碼數據的某個再生LR圖像與1張HR圖像能夠用 表示LR-HR圖像之間的時空對應的動態模型和在從HR圖像向LR 圖像的惡化過程中發生的噪聲的信號模型建模。從而，為了從多個再 生LR圖像生成1張HR圖像，使用統計性的方法定義評價動態模型 或者信號模型的推測值的成本函數，求解非線性的優化處理。在該優 化處理中，對於多個LR圖像的每一個，求表示LR圖像-HR圖像之 間的時空對應的動態信息(SR動態信息)和HR圖像的解。
作為優化處理的方法，例如有coordinate decent法(參照「 H.He， L.P.Kondi， "MAP Based Resolution Enhancement of Video Sequences Using a Huber - Markov Random Field Image Prior Model, Pro" Of IEEE International Conference on Image Processing Vol. H，(西班 牙)，，，2003年9月，pp.933 - 936 J (以下，稱為「非專利文獻2 J ))。 在該方法中，首先，從再生LR圖像通過內插處理生成虛擬HR圖像 (伴隨著利用了反覆處理的優化的暫時的HR圖像)。把HR圖像固 定，利用成本函數，求表示虛擬HR圖像與多個LR圖像之間的時空 對應的動態信息。接著，把求出的動態信息固定，利用成本函數更新 虛擬HR圖像。進而，把虛擬HR圖像固定，更新動態信息。反覆進 行該處理，使解收斂。

發明內容
在現有的超清晰技術中，在從多個圖像生成清晰度更高的圖像的 清晰度擴充處理中，由於低清晰度圖像的編碼噪聲以及取樣不清楚， 以及作為假定的模型的不確定性等的影響，難以高精度地進行低清晰 圖像與高清晰圖像之間的動態檢測。另外，為了進行圖像之間的動態 檢測或者優化處理，在清晰度擴充處理中需要巨大的運算量。
本發明是為解決上述課題而完成的，其目的在於提供減輕圖像清 晰度擴充處理中的運算量，同時能夠提高圖像之間的動態檢測精度的 圖像解碼裝置、圖像解碼程序、圖像解碼方法、圖像編碼裝置、圖像 編碼程序以及圖{象編碼方法。
本發明的圖像解碼裝置具備視頻數據解碼單元，接收視頻編碼 數據並進行解碼，得到多個再生圖像；輔助數據解碼單元，接收輔助 數據並進行解碼，得到輔助動態信息；清晰度擴充單元，基於由上述 輔助數據解碼單元得到的輔助動態信息，生成表示上述多個再生圖像 之間的時空對應的動態矢量，使用所生成的動態矢量和由上述視頻數 據解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生圖
像高的高清晰圖像。
如果依據上述的圖像解碼裝置，則根據輔助動態信息生成動態矢
量，使用所生成的動態矢量和多個再生圖像，生成空間清晰度比該多 個再生圖像高的高清晰圖像。
另外，在上述圖像解碼裝置中，最好採用以下的形態。即，在上 述圖像解碼裝置中，最好構成為輔助動態信息包括輔助動態矢量，清 晰度擴充單元把輔助動態矢量用作為動態矢量。
另外，在上述圖像解碼裝置中，最好釆用輔助動態信息包括輔助
動態矢量，清晰度擴充單元使用多個再生圖像檢測中間動態矢量，通 過該中間動態矢量與輔助動態矢量的加法處理生成動態矢量的結構。
另外，在上述圖像解碼裝置中，最好採用輔助動態信息包括輔助 動態矢量，清晰度擴充單元把輔助動態矢量作為動態矢量的初始動態 矢量，通過使用多個再生圖像更新初始動態矢量，生成動態矢量的結構。
進而，在上述圖像解碼裝置中，最好採用輔助動態矢量包括作為 用於生成動態矢量所需要條件的動態矢量生成條件，清晰度擴充單元 根據動態矢量生成條件從多個再生圖像生成動態矢量的結構。
本發明的圖像編碼裝置具備圖像取樣單元，把高清晰圖像變換 為低清晰圖像；視頻數據編碼單元，把由上述圖像取樣單元生成的多 個低清晰圖像壓縮編碼，生成編碼視頻數據；視頻數據解碼單元，把 由上述視頻數據編碼單元生成的編碼視頻數據解碼，得到再生低清晰 圖像；輔助動態信息生成單元，使用上述高清晰圖像或者上述低清晰 圖像，生成在上述動態矢量的生成中所需要的輔助動態信息；清晰度 擴充單元，基於由上述輔助動態信息生成單元生成的輔助動態信息， 生成表示由上述視頻數據解碼單元得到的多個再生低清晰圖像之間的 時空對應的動態矢量，使用所生成的動態矢量和上述多個再生低清晰 圖像，生成再生高清晰圖像；輔助數據編碼單元，把由上述輔助動態 信息生成單元生成的輔助動態信息作為輔助數據進行編碼。
如果依據上述圖像編碼裝置，則使用高清晰圖像或者低清晰圖 像，生成在動態矢量的生成中所需要的輔助動態信息，根據所生成的 輔助動態信息生成動態矢量，使用所生成的動態矢量和多個再生低清 晰圖像生成再生高清晰圖像，同時，把輔助動態信息作為輔助數據進 行編碼。
另外，本發明的圖像解碼裝置具備編碼數據解碼單元，接收編 碼數據並進行熵解碼，得到作為用於生成動態矢量所需要的條件的動 態矢量生成條件和表示預測誤差圖像信號的編碼信息；用於保存解碼 圖像信號的圖像存儲器；動態矢量生成單元，根據由上述編碼數據解 碼單元得到的動態矢量生成條件，從保存在上述圖像存儲器中的解碼 圖像信號生成動態矢量；預測圖像信號生成單元，使用由上述動態矢 量生成單元生成的動態矢量和上述解碼圖像信號生成預測圖像信號； 解碼單元，把由上述編碼數據解碼單元得到的編碼信息解碼，得到預 測誤差圖像信號；保存單元，把由上述預測圖像信號生成單元生成的預測圖像信號與由上述解碼單元得到的預測誤差圖像信號相加，復原 解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中。
如果依據上述圖像解碼裝置，則根據作為用於生成動態矢量所需 要的條件的動態矢量生成條件，從保存在圖像存儲器中的解碼圖像信 號生成動態矢量，使用所生成的動態矢量和解碼圖像信號生成預測圖 像信號。另一方面，在把表示預測誤差圖像信號的編碼信息解碼得到 了預測誤差圖像信號以後，把上述生成的預測圖像信號與上述預測誤 差圖像信號相加，復原解碼圖像信號，把該解碼圖像信號保存在圖像 存儲器中。
另外，本發明的圖像編碼裝置具備輸入單元，把輸入圖像信號 進行輸入；用於保存解碼圖像信號的圖像存儲器；動態矢量生成條件 決定單元，根據由上述輸入單元輸入的輸入圖像信號，決定作為用於 生成動態矢量所需要的條件的動態矢量生成條件；動態矢量生成單元， 根據由上述動態矢量生成條件決定單元決定的動態矢量生成條件，從 保存在上述圖像存儲器中的解碼圖像信號生成動態矢量；預測圖像信 號生成單元，使用由上述動態矢量生成單元生成的動態矢量和上述解 碼圖像信號，生成預測圖像信號；預測誤差圖像信號生成單元，從由 上述輸入單元輸入的輸入圖像信號和由上述預測圖像信號生成單元生 成的預測圖像信號生成預測誤差圖像信號；編碼信息取得單元，把由 上述預測誤差圖像信號生成單元生成的預測誤差圖像信號編碼，得到 編碼信息；局部解碼單元，把由上述編碼信息取得單元取得的編碼信 息解碼，得到解碼預測誤差圖像信號；保存單元，從由上述預測圖像 信號生成單元生成的預測圖像信號和由上述局部解碼單元得到的解碼 預測誤差圖像信號復原解碼圖像信號，把該解碼圖像信號保存在上述 圖像存儲器中；編碼數據生成單元，把由上述動態矢量生成條件決定 單元決定的動態矢量生成條件和由上述編碼信息取得單元取得的編碼 信息進行熵編碼，生成編碼數據。
如果依據上述圖像編碼裝置，則根據所輸入的輸入圖像信號，決 定作為用於生成動態矢量所需要的條件的動態矢量生成條件，根據所決定的動態矢量生成條件，從保存在圖像存儲器中的解碼圖像信號生 成動態矢量，使用所生成的動態矢量和解碼圖像信號，生成預測圖像 信號。另一方面，從所輸入的輸入圖像信號和上述所生成的預測圖像 信號生成預測誤差圖像信號，把所生成的預測誤差圖像信號編碼得到 編碼信息，把所得到的編碼信息解碼得到解碼預測誤差圖像信號。而 且，從所生成的預測圖像信號和上述得到的解碼預測誤差圖像信號復 原解碼圖像信號，把該解碼圖像信號保存在圖像存儲器中，同時，把 上述動態矢量生成條件和編碼信息進行熵編碼，生成編碼數據。 另外，本發明的圖像解碼裝置能夠採用以下的形態。 本發明的圖像解碼裝置能夠採用如下的結構，該結構的特徵是具
備接收視頻編碼數據進行解碼，得到多個再生圖像的視頻數據解碼 單元；接收輔助數據進行解碼，得到輔助動態信息的輔助數據解碼單 元；生成表示由上述視頻數據解碼單元得到的多個再生圖像與l張高 清晰圖像之間的時空對應的動態矢量，使用所生成的動態矢量和上述 多個再生圖像，生成空間清晰度比上述多個再生圖像高的高清晰圖像 的清晰度擴充單元，上述清晰度擴充單元根據由上述輔助數據解碼單 元得到的輔助動態信息和先前生成的高清晰圖像，反覆實施生成上述 動態矢量的動態矢量生成處理、從所生成的動態矢量和上述多個再生 圖像生成高清晰圖像的高清晰圖像生成處理。
上述中，清晰度擴充單元在每次動態矢量生成處理和高清晰圖像 生成處理的反覆處理中，也可以採用每次根據輔助動態信息實施動態 矢量生成處理的結構，輔助動態信息包括在表示動態矢量生成處理和 高清晰圖像生成處理的反覆處理中的特定次數的特定次數信息，清晰 度擴充單元也可以採用在特定次數信息所表示的特定次數的動態矢量 生成處理中，實施基於輔助動態信息的動態矢量生成處理的結構。
本發明的圖像解碼裝置能夠採用如下的結構，該結構具備接收 視頻編碼數據進行解碼，得到多個再生圖像的視頻數據解碼單元；用
於保存清晰度擴充完畢的高清晰圖像的圖像存儲器；生成表示上述多 個再生圖像之間的時空對應的動態矢量，使用所生成的動態矢量和由上述視頻數據解碼單元得到的多個再生圖像，生成空間清晰度比上述 多個再生圖像高的第1高清晰圖像，使用所生成的第1高清晰圖像和
保存在上述圖像存儲器中的高清晰圖像生成第2高清晰圖像的清晰度 擴充單元；把由上述清晰度擴充單元生成的第l或者第2高清晰圖像 保存在圖像存儲器中的圖像保存單元。
另外，本發明的圖像解碼裝置能夠釆用如下的結構，該結構具備 接收視頻編碼數據進行解碼，得到多個再生圖像的視頻數據解碼單元； 接收輔助數據進行解碼，得到輔助動態信息的輔助數據解碼單元；用 於保存清晰度擴充完畢的高清晰圖像的圖像存儲器；生成表示上述多 個再生圖像之間的時空對應的動態矢量，使用所生成的動態矢量和由 上述視頻數據解碼單元得到的多個再生圖像，生成空間清晰度比上述 多個再生圖像高的第1高清晰圖像，根據由上述輔助數據解碼單元得 到的輔助動態信息，使用所生成的第1高清晰圖像和保存在上述圖像 存儲器中的高清晰圖像生成第2高清晰圖像的清晰度擴充單元；把由 上述清晰度擴充單元生成的第l或者第2高清晰圖像保存在上述圖像 存儲器中的圖像保存單元。
另外，本發明的圖像解碼裝置能夠採用如下的結構，該結構的特 徵是具備接收視頻編碼數據進行解碼，得到多個再生圖像和再生動 態矢量的視頻數據解碼單元；接收輔助數據進行解碼，得到在上述再 生動態矢量的修正中所需要的輔助動態信息的輔助數據解碼單元；生 成表示多個再生圖像之間的時空對應的動態矢量，使用所生成的動態 矢量和由上述視頻數據解碼單元得到的多個再生圖像，生成空間清晰 度比上述多個再生圖像高的高清晰圖像的清晰度擴充單元，上述清晰 度擴充單元把根據由上述輔助數據解碼單元得到的輔助動態信息修正 的再生動態矢量作為上述動態矢量的初始動態矢量，通過使用上述多 個再生圖像更新上述初始動態矢量，生成上述動態矢量。
另外，本發明除去能夠像上述那樣記述為圖像解碼裝置以及圖像 編碼裝置的發明以外，還能夠像以下那樣記述為圖像解碼方法、圖像 解碼程序、圖像編碼方法以及圖像編碼程序的發明。這只是實施形態以及產品形態不同，但是起到相同的作用和效果。
本發明的圖像解碼方法的特徵是具備視頻數據解碼步驟，接收 視頻編碼數據並進行解碼，得到多個再生圖像；輔助數據解碼步驟， 接收輔助數據並進行解碼，得到輔助動態信息；清晰度擴充步驟，根 據在上述輔助數據解碼步驟中得到的輔助動態信息，生成表示上述多 個再生圖像之間的時空對應的動態矢量，使用所生成的動態矢量和在 上述視頻數據解碼步驟中得到的多個再生圖像，生成空間清晰度比上 述多個再生圖像高的高清晰圖像。
本發明的圖像編碼方法的特徵是具備圖像取樣步驟，把高清晰 圖像變換為低清晰圖像；視頻數據編碼步驟，把在上述圖像取樣步驟 中生成的多個低清晰圖像壓縮編碼，生成編碼視頻數據；視頻數據解 碼步驟，把在上述視頻數據編碼步驟中生成的編碼視頻數據解碼，得 到再生低清晰圖像；輔助動態信息生成步驟，使用上述高清晰圖像或 者上述低清晰圖像，生成在上述動態矢量的生成中所需要的輔助動態 信息；清晰度擴充步驟，基於在上述輔助動態信息生成步驟中生成的 輔助動態信息，生成在上述視頻數據解碼步驟中得到的多個再生低清 晰圖像之間的時空對應的動態矢量，使用所生成的動態矢量和上述多 個再生低清晰圖像生成再生高清晰圖像；輔助數據編碼步驟，把在上 述輔助動態信息生成步驟中生成的輔助動態信息作為輔助數據進行編 碼。
另外，本發明的圖像解碼方法的特徵是具備編碼數據解碼步驟， 接收編碼數據進行熵解碼，得到作為用於生成動態矢量所需要的條件
的動態矢量生成條件和表示預測誤差圖像信號的編碼信息；動態矢量
生成步驟，根據在上述編碼數據解碼步驟中得到的動態矢量生成條件，
從保存在圖像存儲器中的解碼圖像信號生成動態矢量；預測圖像信號 生成步驟，使用在上述動態矢量生成步驟中生成的動態矢量和上述解 碼圖像信號，生成預測圖像信號；解碼步驟，把在上述編碼數據解碼 步驟中得到的編碼信息進行解碼，得到預測誤差圖像信號；保存步驟， 把在上述預測圖像信號生成步驟中生成的預測圖像信號和在上述解碼步驟中得到的預測誤差圖像信號相加，復原解碼圖像信號，把該解碼 圖像信號保存在上述圖像存儲器中。
本發明的圖像編碼方法的特徵是具備輸入步驟，把輸入圖像信 號進行輸入；動態矢量生成條件決定步驟，根據在上述輸入步驟中輸 入的輸入圖像信號，決定作為用於生成動態矢量所需要的條件的動態 矢量生成條件；動態矢量生成步驟，根據在上述動態矢量生成條件決 定步驟中決定的動態矢量生成條件，從保存在圖像存儲器中的解碼圖 像信號生成動態矢量；預測圖像信號生成步驟，使用在上述動態矢量 生成步驟中生成的動態矢量和上述解碼圖像信號，生成預測圖像信號； 預測誤差圖像信號生成步驟，從在上述輸入步驟中輸入的輸入圖像信 號和在上述預測圖像信號生成步驟中生成的預測圖像信號，生成預測 誤差圖像信號；編碼信息取得步驟，把在上述預測誤差圖像信號生成 步驟中生成的預測誤差圖像信號編碼，得到編碼信息；局部解碼步驟， 把在上述編碼信息取得步驟中得到的編碼信息解碼，得到解碼預測誤 差圖像信號；保存步驟，從在上述預測圖像信號生成步驟中生成的預 測圖像信號和在上述局部解碼步驟中得到的解碼預測誤差圖像信號復 原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中；編碼 數據生成步驟，把在上述動態矢量生成條件決定步驟中決定的動態矢 量生成條件和在上述編碼信息取得步驟中得到的編碼信息進行熵編 碼，生成編碼數據。
本發明的圖像解碼程序是使設置在圖像解碼裝置中的計算機起 到以下各單元的作用，這些單元是接收視頻編碼數據進行解碼，得
到多個再生圖像的視頻數據解碼單元；接收輔助數據進行解碼，得到 輔助動態信息的輔助數據解碼單元；根據由上述輔助數據解碼單元得 到的輔助動態信息，生成表示上述多個再生圖像之間的空間對應的動 態矢量，使用所生成的動態矢量和由上述視頻數據解碼單元得到的多 個再生圖像，生成空間清晰度比上述多個再生圖像高的高清晰圖像的 清晰度擴充單元。
本發明的圖像編碼程序是使設置在圖像編碼裝置中的計算機起到以下各單元的作用，這些單元是把高清晰圖像變換為低清晰圖像 的圖像取樣單元；把由上述圖像取樣單元生成的多個低清晰圖像壓縮 編碼，生成編碼視頻數據的視頻數據編碼單元；把由上述視頻數據編 碼單元生成的編碼視頻數據解碼，得到再生低清晰圖像的視頻數據解 碼單元；使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態 矢量的生成中所需要的輔助動態信息的輔助動態信息生成單元；根據 由上述輔助動態信息生成單元生成的輔助動態信息，生成表示由上述 視頻數據解碼單元得到的多個再生低清晰圖像之間的時空對應的動態 矢量，使用所生成的動態矢量和上述多個再生低清晰圖像，生成再生 高清晰圖像的清晰度擴充單元；把由上述輔助動態信息生成單元生成 的輔助動態信息作為輔助數據進行編碼的輔助數據編碼單元。
另外，本發明的圖像解碼程序是使設置在圖像解碼裝置中的計算 機起到以下各單元的作用，這些單元是接收編碼數據，進行熵解碼， 得到作為用於生成動態矢量所需要的條件的動態矢量生成條件和表示 預測誤差圖像信號的編碼信息的編碼數據解碼單元；用於保存解碼圖 像信號的圖像存儲器；根據由上述編碼數據解碼單元得到的動態矢量 生成條件，從保存在上述圖像存儲器中的解碼圖像信號生成動態矢量 的動態矢量生成單元；使用由上述動態矢量生成單元生成的動態矢量 和上述解碼圖像信號生成預測圖像信號的預測圖像信號生成單元；把 由上述編碼數據解碼單元得到的編碼信息解碼，得到預測誤差圖像信 號的解碼單元；把由上述預測圖像信號生成單元生成的預測圖像信號
與由上述解碼單元得到的預測誤差圖像信號相加，復原解碼圖像信號， 把該解碼圖像信號保存在上述圖像存儲器中的保存單元。
另外，本發明的圖像編碼程序是使設置在圖像編碼裝置中的計算
機起到以下各單元的作用，這些單元是把輸入圖像信號進行輸入的 輸入單元；用於保存解碼圖像信號的圖像存儲器；根據由上述輸入單
元輸入的輸入圖像信號，決定作為用於生成動態矢量所需要的條件的
動態矢量生成條件的動態矢量生成條件決定單元；根據由上述動態矢 量生成條件決定單元決定的動態矢量生成條件，從保存在上述圖像存儲器中的解碼圖像信號生成動態矢量的動態矢量生成單元；使用由上 述動態矢量生成單元生成的動態矢量和上述解碼圖像信號，生成預測 圖像信號的預測圖像信號生成單元；從由上述輸入單元輸入的輸入圖 像信號和由上述預測圖像信號生成單元生成的預測圖像信號生成預測 誤差圖像信號的預測誤差圖像信號生成單元；把由上述預測誤差圖像 信號生成單元生成的預測誤差圖像信號編碼，得到編碼信息的編碼信 息取得單元；把由上述編碼信息取得單元取得的編碼信息解碼，得到 解碼預測誤差圖像信號的局部解碼單元；從由上述預測圖像信號生成 單元生成的預測圖像信號和由上述局部解碼單元得到的解碼預測誤差 圖像信號復原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲 器中的保存單元；把由上述動態矢量生成條件決定單元決定的動態矢 量生成條件和由上述編碼信息取得單元取得的編碼信息進行熵編碼， 生成編碼數據的編碼數據生成單元。
如果依據以上所述的本發明，則提高圖像之間的動態檢測的精 度，提高再生高清晰圖像的圖像品質。另外，由於減少動態搜索的處 理量，因此減少圖像清晰度擴充處理中的運算量。


圖l表示多個再生低清晰圖像與高清晰圖像的關係。
圖2說明與本發明的輔助數據有關的動態信息的種類。
圖3說明本發明的編碼裝置的整體結構。
圖4說明本發明的編碼處理的結構。
圖5說明使用了本發明的編碼處理的清晰度擴充處理。
圖6說明本發明的解碼裝置的整體結構。
圖7說明使用了本發明的解碼處理的清晰度擴充處理。
圖8表示本發明的輔助數據的數據結構。
圖9表示本發明的編碼處理流程。
圖IO表示使用了本發明的輔助數據的清晰度擴充處理流程。 圖11表示本發明的解碼處理流程。圖12說明保存用於由計算機實現本發明實施形態的圖像編碼處 理或者圖像解碼處理的程序的數據存儲媒體。
圖13說明本發明編碼處理的結構的其它例子。
圖14說明使用了本發明的編碼處理的清晰度擴充處理的其它例子。
圖15說明使用了本發明的解碼處理的清晰度擴充處理的其它例子。
圖16說明塊匹配法。
圖17說明解碼處理中的動態搜索。
圖18說明使用了本發明的編碼處理的視頻編碼處理的結構。
圖19說明使用了本發明的解碼處理的視頻解碼處理的結構。
圖20說明視頻編碼數據的結構。
圖21說明本發明的編碼處理流程的其它例子。
圖22說明本發明的解碼處理流程的其它例子。
具體實施例方式
參照圖2到圖12說明本發明的實施形態。
圖2說明包含在各種動態信息內的數據中的動態矢量。另外，圖 3到圖5表示本發明的解碼裝置的結構，圖6以及圖7表示本發明的 解碼裝置的結構。圖8表示本發明中的輔助數據的數據格式結構。另 外，圖9到圖11分別說明編碼的處理流程、超清晰圖像生成的處理流 程以及解碼的處理流程。圖12說明保存用於由計算機實現圖像編碼處 理或者圖像解碼處理的程序的數據存儲媒體。
本發明中的輔助數據預先具有輔助動態信息，如後所述，在輔助 動態信息中，有低清晰動態信息(LR動態信息)、修正超清晰動態 信息(修正SR動態信息)、高清晰動態信息(HR動態信息)。另夕卜， 以下，適當地把r低清晰」簡略為LR，把「高清晰」簡略為HR，把 r超清晰」簡略為SR進行說明。另夕卜，把清晰度比「低清晰圖像(LR 圖像)」高的圖像作為「高清晰圖像(HR圖像)」進行說明。首先，說明本發明實施形態的編碼裝置10。
圖3表示本發明實施形態的編碼裝置IO的整體結構。編碼裝置 10具備圖像取樣單元302、塊分割單元303、編碼處理單元304、解碼 處理單元305、數據存儲器308、幀存儲器307、數據存儲器309和清 晰度變換/編碼單元306。
原圖像HR圖像101在具備低通濾波器和降抽樣處理單元的圖像 取樣單元302中，變換為清晰度比原圖像HR圖像低的原圖像LR圖 像104。被變換了的原圖像LR圖像104在塊分割單元303中，分割 為編碼塊，例如，從圖像的左上方向右下方，按照光柵掃描順序輸入 到編碼處理單元304。編碼處理單元304把輸入塊進行活動圖像編碼， 壓縮成視頻編碼數據120。另外，編碼處理單元304把一見頻編碼數據 120輸出到解碼處理單元305。解碼處理單元305通過把視頻編碼數據 120進行解碼，生成再生LR圖像102以及解碼動態信息(以下，稱 為rDEC動態信息J )108。另外，編碼處理單元304由於在內部具 有局部解碼處理單元，因此解碼處理單元305也可以由編碼處理單元
304內的局部解碼處理單元代用。
編碼處理單元304以及解碼處理單元305把生成的再生LR圖像 102、動態信息(DEC動態信息)108以及量化參數114分別輸出到 幀存儲器307、數據存儲器308以及數據存儲器309。幀存儲器307、 數據存儲器308以及數據存儲器309分別保存再生LR圖像102、DEC 動態信息102以及量化參數114的同時，把它們輸出到清晰度變換/ 編碼單元306。另外，塊分割、編碼處理以及(局部)解碼處理的詳 細過程例如記栽在"MPEG - 4 Video Verification Model version 18.0，，， Output document of MPEG Pisa Meeting, January 2001 (以 下，作為參考文獻l)中。
DEC動態信息108由預測類型、動態矢量(以下，把DEC動態 信息中的動態矢量作為「DECMV」)構成，針對每個編碼塊分別決 定了以後進行編碼。
使用圖2(a),說明DEC動態信息的預測類型以及DECMV。在預測類型中，有使用動態矢量進行動態預測的中間模式和不伴隨動 態矢量而使用當前幀的編碼完畢的像素進行空間預測的內部模式。進
而，在中間模式中，有針對當前幀的LR圖像910用顯示時刻以過去 的編碼完畢幀的LR圖像920a作為參考圖像進行時間預測的前向動態 預測，以未來的編碼完畢幀的LR圖像920b作為參考圖像進行時間預 測的後向動態預測，以這兩種圖像作為參考圖像分別進行時間預測， 通過內插處理合成預測圖像的雙向預測。在圖2(a)中，922a表示前 向預測的預測塊，921a表示前向的DECMV， 922b表示後向預測的預 測塊，921b表示後向的DECMV， 924a和924b表示雙向預測的內插 前預測塊，923a和923b表示雙向預測的前向DECMV和後向 DECMV。
接著，使用圖4以及圖5說明清晰度變換/編碼單元306。清晰度 變換/編碼單元306具備清晰度擴充處理單元310、輔助數據生成單元 351、輔助數據編碼/速率控制單元311、幀存儲器315。另外，輔助數 據生成單元351具備低清晰動態補償單元312、超清晰動態補償單元 313、高清晰動態補償單元314。低清晰動態補償單元312把LR動態 信息109 (後述)生成為輔助數據，超清晰動態補償單元313把修正 SR動態信息111 (後述)生成為輔助信息，高清晰動態補償單元314 把HR動態信息112 (後述)生成為輔助數據。
清晰度變換/編碼單元306以在編碼處理單元304以及解碼處理 單元305中生成的多個再生LR圖像、DEC動態信息(包括DECMV ) 和量化參數作為輸入，進行局部清晰度擴充處理。另外，在清晰度變 換/編碼單元306中，清晰度擴充處理單元310通過局部清晰度擴充處 理生成再生HR圖像106，從外部輸入原圖像HR圖像101和原圖像 LR圖像104。使用這些圖像以及信息，清晰度變換/編碼單元306生 成輔助清晰度擴充處理的輔助數據，在輔助數據編碼/速率控制單元 311中，實施輔助數據的編碼處理(即，生成輔助數據113)。
在本實施形態中，在輔助數據113的生成中，使用再生HR圖像 106、 SR動態信息(超清晰動態信息)110、量化參數114、原圖像HR圖像101和原圖像LR圖像104。另外，所謂超清晰動態信息意味 著表示再生HR圖像與多個LR圖像之間的時空對應的動態信息。
參照圖4，說明清晰度變換/編碼單元306的內部結構。使用涉及 與在實施清晰度擴充的幀上加入了顯示時刻前後的3個幀總計7個幀 的信息實施清晰度變換/編碼單元306的處理。即，在把3個幀前的幀 編碼了以後，實施清晰度擴充處理。
本實施形態中的編碼裝置10中的清晰度擴充處理以及輔助數據 的編碼處理分為7個步驟。以下，根據處理順序說明動作。
在笫1步驟中，在低清晰動態補償單元312中，使用原圖像LR 圖像104，把DEC動態信息108修正為高精度的LR動態信息109。 LR動態信息由LR圖像的塊位置信息和輔助動態矢量(以下，把LR 動態信息中的動態矢量作為「LRMVJ )構成。低清晰動態補償單元 312接受在實施清晰度擴充處理的再生LR圖像上加入了其前後2個 幀的再生LR圖像(在視頻編碼時是動態預測的參考圖像)的總計3 張再生LR圖像102、相對應的3張原圖像LR圖像104和DEC動態 信息108的輸入，把LR動態信息109輸出到輔助數據編碼/速率控制 單元311和清晰度擴充處理單元310。
使用圖2(b),說明LR動態信息。在LR動態信息中，有在不 具有DECMV的塊中新添加輔助動態矢量(LRMV)的類型、以及雖 然DECMV存在但是把其值變更為不同輔助動態矢量(LRMV)的類 型《
在添加LRMV的類型中，對於不具有DECMV的塊915a，在實 施清晰度擴充的幀的原圖像LR圖像910和前幀的參考圖像即再生LR 圖像920a之間實施動態搜索。而且，把評價值(例如，塊內的像素的 差方和)為最小的動態矢量檢索為LRMV。在圖2 (b)中，前幀的 再生LR圖像920a上的塊926a成為評價值最小，檢索相對應的動態 矢量LRMV925a。另外，在最小的評價值大於預先設定的閾值的情況 下，判斷為其塊的動態矢量無效，不進行LR動態信息的添加。在最 小的評價值小於閾值的情況下，把檢索出的動態矢量作為LRMV的LR動態信息109輸出到輔助數據編碼/速率控制單元311和清晰度擴 充處理單元310。
另一方面，在變更為LRMV的類型中，對於具有DECMV的塊 915b，在實施清晰度擴充的幀的原圖像LR圖像910和參考圖像的原 圖像LR圖像920b之間實施動態檢索。而且，檢測評價值(例如，塊 內的像素的差方和)成為最小的動態矢量。在圖2 (b)中，後方幀的 LR圖像920b上的塊926b成為評價值最小，檢測出相對應的動態矢 量925b。把該動態矢量與DECMV進行比較，在差分值大於預先設定 的閾值的情況下，把以檢測出的動態矢量作為LRMV的LR動態信息 109輸出到輔助數據編碼/速率控制單元311和清晰度擴充處理單元 310。
如後所述，把DECMV作為表示用SR技術檢測出的多個LR圖 像與HR圖像之間的時空對應的動態信息(SR動態信息)的初始數據 使用。該初始數據越接近實際的動態，越能夠減少在SR動態信息的 檢測中花費的時間。從而，通過使用把解碼動態信息進行修正所生成 的低清晰動態信息，能夠減少清晰度擴充處理中的運算時間。
在第2步驟中，在清晰度擴充處理單元310中，實施再生HR圖 像106和SR動態信息110的生成處理。清晰度擴充處理單元310輸 入在實施清晰度擴充的再生LR圖像102上加入了前後3個幀的再生 LR圖像102 (參照再生LR圖像)共7張再生LR圖像、在其編碼中 使用的DEC動態信息108和LR動態信息109，生成再生LR圖像106 和SR動態信息110。
圖5表示清晰度擴充處理單元310的內部結構。首先，在初始數 據生成單元405中，生成用於進行清晰度擴充處理的初始數據。具體 地講，初始數據生成單元405把DEC動態信息108和LR動態信息 109作為輸入，計算由清晰度擴充處理單元310檢測的SR動態信息 110的動態矢量的初始數據。
這裡，說明SR動態信息。SR動態信息由再生LR圖像的幀號和 動態矢量(以下，把SR動態信息中的動態矢量作為「SRMV」)構成。如在背景技術中說明過的那樣，為了實施使用了 SR技術的清晰 度擴充處理，對於6張參照再生HR圖像上的各像素，需要檢測以再 生HR圖像為參照圖像時的動態矢量(SRMV)。另外，原圖像LR 圖像上的1個像素能夠通過在原圖像HR圖像上的多個像素中實施低 通濾波和降抽樣來生成。
使用圖2 (c)，說明SRMV。在圖2 (c)中，1格表示1個像 素。另外，如果關注6張參照再生LR圖像的1張再生LR圖像920 上的像素927，則像素927在再生HR圖像940的上面，假定相當於 與像素927相對應的像素941和其周邊的8個像素構成的像素塊942。 這時，能夠通過在由從再生HR圖像上的像素塊942用9個動態矢量 檢測出的9個像素構成的像素塊944上實施低通濾波和降抽樣計算像 素927的預測像素945。從而，像素927的SRMV943成為像素927 與預測像素945的誤差為最小的9個動態矢量。
在本實施形態中的初始數據生成單元405中，對於6張參照再生 LR圖像上的所有像素計算再生LR圖像上的1個像素的預測中所需要 的9個SRMV的初始值。如圖1所示，LR圖像通過在HR圖像上實 施低通濾波和降抽樣而生成。因此，為了決定1張參照再生LR圖像 上的所有像素與再生HR圖像上的對應，對於把參照再生LR圖像放 大為HR圖像尺寸的圖像(參照HR圖像)上的像素，可以把再生HR 圖像的對應點作為SRMV的初始值進行檢測。即，在再生LR圖像上 的1個像素的預測中所需要的9個像素塊944的初始SRMV中，與再 生LR圖像上的鄰接像素的初始SRMV重合的MV成為相同的值。
這裡，如果把圖2(c)的再生LR圖像920考慮為再生HR圖像 940的緊前面的幀，則圖2 (a)以及(b)的再生LR圖像920a與圖 像920相對應，再生LR圖^f象910與再生HR圖1象940的清晰度擴充 前的LR圖像相對應。另外，通過沿著反方向搜索(從圖像920a向圖 像910的方向)把再生LR圖像920a作為參照圖像時的再生LR圖像 910的DECMV或者LRMV，求圖像920a上的像素與圖像910的對 應點。這時，對於不存在一致對應點的像素，通過動態矢量的空間內插處理計算對應點。進而，把與對應點相當的LR圖像單位的動態矢 量擴充為HR圖像單位的動態矢量。
接著，通過沿著反方向搜索以圖像920a的緊前面幀的再生LR 圖像為參照圖像時的再生LR圖像920a的DECMV或者LRMV，求 圖像920a的緊前面幀的再生LR圖像上的像素與圖像920a的對應點。 這時，對於沒有一致對應點的像素，通過動態矢量的空間內插處理求 對應點。進而，從圖像910與圖像920a之間的對應點和圖像920a與 圖像920a的緊前面幀之間的對應點，計算圖像920a的緊前面幀的再 生LR圖像上的像素與圖像910的對應點，把與對應點相當的LR圖 像單位的動態矢量擴充為HR圖像單位的動態矢量。通過對於全部6 張參照再生LR圖像，沿著從再生HR圖像940離開的方向連續地實 施該處理，生成SRMV檢索的初始數據。
接著，在超清晰圖像合成單元410生成再生HR圖像106。超清 晰圖像合成單元410把7張再生LR圖像102和在初始數據生成單元 405生成的SRMV搜索的初始數據以及量化參數114作為輸入，實施 由動態檢索單元411進行的SR動態信息110的優化和由編碼噪聲推 定單元412進行的再生HR圖像106的優化的反覆處理，輸出SR動 態信息110和再生HR圖像106 (使用了反覆處理的優化的詳細過程 例如參照非專利文獻1 )。
在第3步驟中，在超清晰動態補償單元313中，把SR動態信息 110使用原圖像修正為高精度的修正SR動態信息111。超清晰動態補 償單元313接受6張參照再生LR圖像的原圖像LR圖像104、在清晰 度擴充處理對象的再生LR圖像上加入了 6張參照再生LR圖像的總 計7張的原圖像即原圖像HR圖像101以及SR動態信息110的輸入， 把修正SR動態信息111輸出到清晰度擴充處理單元310和輔助數據 編碼/速率控制單元311。
修正SR動態信息由再生LR圖像上的塊位置信息、參照幀號、 塊尺寸、輔助動態矢量(以下，把修正SR動態信息中的動態矢量作 為r修正SRMVJ )構成。塊尺寸在通過把幾個像素部分匯總在一起編碼，用於減少輔助數據的代碼量的目的。屬於修正SR動態信息的 修正SRMV的數量在塊尺寸為lxl像素的情況下是9個，在NxN像 素的情況下成為(2xN+l) x (2xN+l)個。
在超清晰動態補償單元313中，使用6張原圖像LR圖像和原圖 像HR圖像，檢測6張參照再生LR圖像上的像素與原圖像HR圖像 之間的SRMV。進而，在原圖像LR圖像上的對象像素與其預測像素 的差分值大於預先確定的閾值的情況下，不進行基於低通濾波和降抽 樣的取樣處理，在原圖像LR圖像之間檢測SRMV。針對指定了的數 種分割塊用平均值對檢測出的SRMV與所輸入的SRMV的差分值進 行比較，在差分值大於閾值的情況下，把檢測出的SRMV的平均值和 構成要素數據作為修正SR動態信息111輸出。另外，即使在SRMV 的差分值小於閾值的情況下，在適用了檢測出的SRMV和所輸入的 SRMV時的預測像素與原圖像LR圖像上的像素的差分值的塊的差方 和大於閾值的情況下，也把檢測出的SRMV的平均值和構成要素數據 輸出為修正SR動態信息111。根據該修正SRMV，提高再生LR圖像 與進行了清晰度擴充的HR圖像之間的對應點的推定精度，提高再生 HR圖像的圖像品質。另外，由於能夠縮短SRMV的檢測中花費的時 間，因此能夠縮短在超清晰圖像的生成中的運算時間。
在第4步驟中，在清晰度擴充處理單元310中，再次調整再生 HR圖像106和SR動態信息110。清晰度擴充處理單元310把實施清 晰度擴充的再生LR圖像102及其前後3個幀的再生LR圖像102以 及修正SR動態信息111作為輸入，更新並輸出再生HR圖像106和 SR動態信息110。具體地講，在超清晰圖像合成單元410中，在把 SRMV置換為修正SRMV以後，實施由動態檢索單元411進行的SR 動態信息110的優化和由編碼噪聲推定單元412進行的再生HR圖像 106的優化的反覆處理，更新SR動態信息110和再生HR圖像106(使 用了反覆處理的優化的詳細過程例如參照非專利文獻1)。
在第5步驟中，在高清晰動態補償單元314中，使用生成完畢的 前3個幀的再生HR圖像(參照HR圖像)和原圖像HR圖像，生成用於進一步改善再生HR圖像的圖像品質的動態信息。高清晰動態補 償單元314把多個參照HR圖像107、再生HR圖像106和再生HR 圖像的原圖像即原圖像HR圖像101作為輸入，把參照HR圖像107 與再生HR圖像106之間的HR動態信息112輸出到清晰度擴充處理 單元310和輔助數據編碼/速率控制單元311。
HR動態信息由參照HR圖像上的塊位置信息、參照幀號、塊尺 寸、輔助動態矢量(以下，把HR動態信息中的r動態矢量J作為HRMV) 構成。
使用圖2(d)說明HRMV。在圖2(d)中，表示對於把再生 HR圖像940上的塊946用緊前面幀的參照HR圖像950上的塊952 進行更新時，在參照HR圖像950上塊946與空間上同一位置的塊951 以及進4亍更新的塊952之間的空間動態矢量成為HRMV954的情況。 塊尺寸在通過把多個像素部分匯總在一起進行編碼，減少輔助數據的 代碼量的目的下使用。
在高清晰動態補償單元314中，首先，對於預先指定的多種分割 塊，比較原圖像HR圖像和再生HR圖像，檢測塊像素的差分值的差 方和大於預先確定的閾值的塊。然後，從原圖像HR圖像抽取檢測位 置的塊，以多個參照HR圖像為對象搜索與抽取塊的差分值的差方和 為最小的塊位置。而且，在搜索的結果得到的塊與抽取塊的差分值的 差方和小於閾值的情況下，輸出相對應的HR動態信息112。根據利 用該原圖像高清晰圖像的信息的HR動態信息，使用過去擴充了清晰 度的高品質的參照高清晰圖像，能夠修正再生高清晰圖像的畫質，提 高再生HR圖像的圖像品質。
在第6步驟中，在清晰度擴充處理單元310中實施再生HR圖像 106的畫質改善處理。清晰度擴充處理單元310把參照HR圖像107 以及HR動態信息112作為輸入，更新並輸出再生HR圖像106。具 體地講，在圖5的圖像銳化單元420的動態補償單元421中基於HR 動態信息112,從參照HR圖像107—個一個地抽取塊圖像，在畫質 修復單元422把抽取出的塊圖像合成到再生HR圖像上。對於所有的HR動態信息實施該處理，輸出更新了的再生HR圖像106。在合成方 法中，使用與原來的再生HR圖像上的對應塊的加權內插。
在第7步驟中，在輔助數據編碼/速率控制單元311中把由輔助 數據生成單元351生成的輔助信息即LR動態信息109、修正SR動態 信息111和HR動態信息112編碼，生成輔助數據113，向解碼裝置 20輸出。
圖8表示與1張再生HR圖像有關的輔助數據的數據格式。成為 由輔助數據編碼/速率控制單元311進行的編碼對象的輔助數據113從 用於檢索1幀部分的輔助數據的起始的開始代碼701開始。在開始代 碼中，使用在輔助數據內不發生其數據圖形的獨特代碼。同步代碼707 是用於針對後述的每種數據類型區別1幀的輔助數據的獨特代碼，緊 接在開始代碼以後進行省略。從數據類型702到動態矢量705用可變 長度代碼進行編碼(關於可變長度代碼，參照專利文獻l)。
塊位置信息703表示在參照幀號和圖像(在LR動態信息以及修 正SR動態信息中是LR圖像，在HR動態信息中是HR圖像)上的 像素位置。另外，在數據類型是LR動態信息的情況下，參照幀號由 於根據DEC動態信息決定，因此僅把像素位置的信息編碼。
塊尺寸信息704表示把上述的像素位置作為左上端的塊的尺寸。 動態矢量密度信息708對於上述塊範圍，表示編碼的輔助動態矢量的 像素間隔。從而，除去像素間隔是O的情況，即塊中編碼的輔助動態 矢量是l個的情況以外，由反覆環712把多個輔助動態矢量編碼。動 態矢量按照水平成分、垂直成分的順序把LRMV、修正SRMV或者 HRMV的矢量值編碼。實際上編碼的動態矢量作為與預測動態矢量的 差分矢量。
在LRMV中，對於不存在DECMV的塊，鄰接3個塊的動態矢 量成分的中間值(動態矢量的中間值預測參照參考文獻1)，對於存 在DECMV的塊，DECMV的矢量值成為預測值。在修正SRMV和 HRMV中，對於相同數據類型的動態矢量，相鄰3個塊的動態矢量成 分的中間值成為預測值。輔助數據編碼/速率控制單元311在編碼的信息量多的情況下， 根據優先順序減少信息量。在使高速優先的情況下，按照LR動態信 息、修正SR動態信息，HR動態信息的順序優先，在使再生HR圖像 的圖像品質優先的情況下，按照HR動態信息、修正SR動態信息、 LR動態信息的順序優先。另夕卜，在同一種數據類型內，使評價值(LR 動態信息與DECMV的差分值，修正SR動態信息與SRMV的差 分值，HR動態信息從參照SR圖像抽取的塊與再生HR圖像上的對 應塊之間的像素單位的差方和)大的塊優先。
接著，說明本發明實施形態的解碼裝置20。
圖6表示本發明實施形態的解碼裝置20的整體結構。解碼裝置 20具備解碼處理單元501、清晰度擴充處理單元502、幀存儲器503、 數據存儲器504、數據存儲器505、幀存儲器508和輔助數據解碼/分 離單元531。
首先，視頻編碼數據120在解碼處理單元501解碼為再生LR圖 像102。解碼了的再生LR圖像102保存在幀存儲器503中，解碼了 的動態信息(DEC動態信息)108保存在數據存儲器504中，解碼了 的量化參數114保存在數據存儲器505中，依照來自清晰度處擴充處 理單元502的請求進行輸出。解碼處理的詳細過程例如記載在"Text of ISO/IEC 14496 — 2 Third Edition", March 2003 (以下，作為參考文 獻2)中。清晰度擴充處理單元502把再生LR圖像102、 DEC動態 信息108、量化參數114、輔助數據113解碼的輔助信息(由輔助數據 解碼/分離單元531解碼以及分離了的LR動態信息109、修正SR動 態信息111以及HR動態信息112)以及參照HR圖像107(從幀存儲 器508輸出的在過去生成的再生HR圖像)作為輸入，生成再生HR 圖像106。
圖7表示清晰度擴充處理單元502的內部結構以及輔助數據解 碼.分離單元531 。清晰度擴充處理單元502請求輸入再生LR圖像102、 DEC動態信息108、量化參數114、解碼了的輔助數據113以及參照 HR圖像107 (已經生成的再生HR圖像)，而這時，再生LR圖像和DEC動態信息需要與在實施清晰度擴充的幀中加入了顯示時刻前後 的3個幀總計7個幀有關的信息，或者參照HR圖像前面的3個幀部 分的信息。即，在把3個幀前面的再生LR圖像解碼後實施清晰度擴 充處理。
本發明實施形態的解碼裝置20中的清晰度擴充處理分為3個步 驟。以下，根據處理順序說明動作。
在第1步驟中，進行LR動態信息109的解碼和SRMV搜索的 初始數據生成。首先，在輔助數據解碼/分離單元531從清晰度擴充處 理對象幀的輔助數據113分離LR動態信息109的數據，進行可變長 度解碼。接著，初始數據生成單元405把解碼了的LR動態信息109 和7個幀部分的DEC動態信息108作為輸入，生成SRMV檢索的初 始數據。關於初始數據生成單元405的動作由於已經在圖5中說明過， 因此在這裡捨去說明。
在第2步驟中，進行修正SR動態信息111的解碼和再生HR圖 像106的生成。首先，由輔助數據解碼/分離單元531從清晰度擴充對 象幀的輔助數據113分離修正SR動態信息111的數據，進行可變長 度解碼。接著，超清晰圖像合成單元510把解碼了的修正SR動態信 息lll、 7張再生LR圖像102、 SRMV搜索的初始數據以及量化參數 114作為輸入，生成再生HR圖像106。具體地講，在動態檢索單元 511中，在根據修正SR動態信息111把SRMV搜索的初始數據修正 了以後，通過實施由動態檢索單元511進行的SRMV的優化和由編碼 噪聲推定單元512進行的再生HR圖像106的優化的反覆處理，使再 生HR圖像106收斂(關於使用了反覆處理的優化的詳細過程例如參 照非專利文獻l)。其中，關於用修正SR動態信息修正了的SRMV， 由於能夠推定為是精度高的值，因此僅進行限定在整數像素以下的實 數值範圍中的微調整。
在第3步驟中，進行HR動態信息112的解碼和再生HR圖像106 的畫質改善處理。首先，由輔助數據解碼/分離單元531從清晰度擴充 對象幀的輔助數據113分離HR動態信息112的數據，進行可變長度解碼。接著，圖像銳化單元520使用HR動態信息112和參照HR圖 像107實施畫質改善處理。具體地講，由動態補償單元521基於HR 動態信息112從參照HR圖像107 —個一個地抽取塊圖像，在畫質修 復單元522通過把抽取出的塊圖像合成在由超清晰圖像合成處理單元 510所生成的再生HR圖像123上，更新再生HR圖像106。對於所有 的HR動態信息實施該處理，輸出更新了的再生HR圖像106。在合 成方法中，使用與原來再生HR圖像上的對應塊的加權內插。
圖9表示實施本發明的編碼處理流程。另外，圖9的各步驟的詳 細過程由於與圖3、圖4、圖5的說明重複，因此在這裡僅說明處理的 流程。編碼處理開始601以後，在處理602中，通過基於低通濾波和 降抽樣的取樣處理，把原圖像HR圖像變換為原圖像LR圖像。在處 理603中，把變換了的原圖像LR圖像進行視頻編碼的同時，通過局 部解碼處理生成再生LR圖像和DEC動態信息。在處理604中，使用 原圖像LR圖像，把DEC動態信息的至少一部分修正為高精度的LR 動態信息。在處理605中，使用多個幀的DEC動態信息和LR動態信 息，生成SRMV檢索的初始數據。在處理606中，通過清晰度擴充處 理，從多個再生LR圖像生成再生HR圖像和SR動態信息。在步驟 607中，使用原圖像HR圖像和原圖像LR圖像，把在處理606中生 成的SR動態信息的 一部分修正為高精度的修正SR動態信息。在處理 608中，把SRMV置換為在處理607中生成的修正SRMV，再次實施 清晰度擴充處理，更新再生HR圖像和SR動態信息。在處理洲9中， 使用參照HR圖像，檢測用參照HR圖像改善作為對象的再生HR圖 像的圖像品質的參照HR圖像與再生HR圖像之間的動態信息(HR 動態信息)。在步驟610中，使用在處理609中檢測出的HR動態信 息和參照HR圖像，改善再生HR圖像的圖像品質。在處理611中， 把在處理604中生成的LR動態信息、在處理607中生成的修正SR 動態信息和在處理609中生成的HR動態信息編碼，生成輔助數據。 在結束了處理611以後，結束編碼處理(處理612)。
圖IO表示實施本發明的解碼處理內的超清晰圖像生成處理流程。另外，圖IO的各步驟的詳細過程由於與圖7的說明重複，因此在這裡 僅說明處理的流程。在超清晰度圖像生成處理開始801以後，在處理 802中，把LR動態信息解碼。在處理803中，使用在處理802中解 碼了的LR動態信息和多個幀DEC動態信息，生成SRMV搜索的初 始數據。在處理804中，把修正SR動態信息解碼。在處理805中， 把在處理804中解碼了的修正SR動態信息設定為SRMV搜索的初始 數據的同時，在把修正SR動態信息的更新限定在整數像素以下的範 圍內這樣的條件下，搜索SRMV，從多個幀的再生LR圖像生成再生 HR圖像。在處理806中，把HR動態信息解碼。在處理807中，基 於在處理806中解碼了的HR動態信息，從參照HR圖像改善再生HR 圖像的圖像品質。在結束了處理807以後，結束超清晰度圖像生成處 理(處理808)。
圖ll表示實施本發明的解碼處理流程。另外，圖ll的各步驟的 詳細過程由於與圖6以及圖7的說明重複，因此在這裡僅說明處理的 流程。在解碼處理開始901以後，在處理902中，把編碼視頻數據解 碼，生成再生低清晰圖像、DEC動態信息和量化參數。接著，在處理 903中實施被編碼了的輔助數據的解碼，生成LR動態信息、修正SR 動態信息和HR動態信息。然後，在處理卯4中，使用在處理卯3中 解碼了的LR動態信息和多個幀的DEC動態信息，生成SRMV搜索 的初始數據。在處理905中，把在處理903中解碼了的修正SR動態 信息設定為SRMV搜索的初始數據的同時，在把修正SR動態信息的 更新限定在整數像素以下的範圍內這樣的條件下搜索SRMV，從多個 幀的再生LR圖像生成再生HR圖像。在處理卯6中，基於在處理903 中解碼了的HR動態信息，從參照HR圖像改善再生HR圖像的圖像 品質。在結束了處理906以後，結束解碼處理(處理卯7)。
圖12用於說明使用保存了上述實施形態的圖像編碼處理或者圖 像解碼處理的程序的軟盤等存儲媒體，由計算機系統實施的情況。
圖12 (b)表示從軟盤的正面觀看的外觀、剖面構造以及軟盤， 圖12 (a)表示作為存儲媒體主體的軟盤的物理格式的例子。軟盤FD安裝在外殼F內部，在該軟盤的表面上，同心圓形地形成從外周向內 周的多個磁軌Tr，各磁軌沿著角度方向分割為16個扇區Se。從而， 在保存了上述程序的軟盤中，在上述軟盤FD上分配的區域上，記錄 作為上述程序的數據。
另外，圖12 (c)表示用於在軟盤FD上進行上述程序的記錄再 生的結構。在把上述程序記錄到軟盤FD中時，從計算機系統Cs經過 軟盤驅動器寫入作為上述程序的數據。另外，在由軟盤內的程序把上 述編碼或者解碼裝置構築在計算機系統中的情況下，由軟盤驅動器從 軟盤讀出程序，傳送到計算機系統。
另外，在上述說明中，作為數據記錄媒體使用軟盤進行了說明， 而使用光碟也能夠同樣進行。另外，記錄媒體不限於這些，IC卡、盒 式ROM等只要是能夠記錄程序，則就能夠同樣地實施。另外，作為 計算機，包括具備CPU,進行由軟體實施的處理或者控制的DVD播 放器、機頂盒、便攜電話等。
以上說明了本發明的實施形態，而也可以進^f亍以下的變形，每種 形態都包含在本發明中。
(1)涉及功能的利用部分的變形例
並不需要齊備所有構成本發明的輔助數據即輔助信息的LR動態 信息、修正SR動態信息、HR動態信息，在僅使用其一部分輔助動態 信息，從低清晰圖像生成高清晰圖像的情況下，也能夠得到同樣的效 果。
即，即使在使用清晰度比原圖像LR圖像高的原圖像HR圖像和 原圖像LR圖像的雙方或者其中一方生成本發明的輔助數據的情況 下，也能夠提高圖像解碼裝置以及圖像編碼裝置中的圖像之間的動態 檢測的精度，提高再生高清晰圖像的圖像品質。另外，由於減少圖像 解碼裝置以及圖像編碼裝置的動態搜索的處理量，因此能夠減少圖像 清晰度擴充處理中的運算量。
具體地講，如果依據本發明的圖像解碼裝置以及圖像編碼裝置， 則在採用僅把修正SR動態信息構成為輔助數據時，採用把修正SR動態信息和HR動態信息構成為輔助數據時，採用把修正SR動態信息、 HR動態信息和LR動態信息構成為輔助信息時的哪一種情況下都能 夠實現上述那樣的提高像素品質以及減少運算量。另外，在採取不使 用一部分輔助動態信息的結構的情況下，在圖像編碼裝置io的輔助數
據生成單元351中，不進行與其輔助動態信息相對應的動態信息的生 成就能夠實現。
另外，即使沒有SRMV搜索初始數據也能夠實施圖5、圖7的超 清晰度圖像合成處理。從而，在沒有實施初始數據生成和LR動態信 息編碼的情況下，本發明的修正SR動態信息和HR動態信息也是有 效的。
進而，即使沒有由圖像銳化處理進行的再生HR圖像的畫質改善 處理也能夠實施通過圖5、圖7的超清晰圖像合成處理生成的再生HR 圖像。從而，在沒有實施圖像銳化處理和HR動態信息的編碼的情況 下，本發明的LR動態信息和修正SR動態信息也是有效的。
另外，即使在不是從來自視頻編碼數據的解碼圖像，而是從通過 照相機等單元取得的多個圖像或者預先保存在硬碟等裝置中的多個圖
像生成清晰度更高的超清晰圖像的情況下，本發明的輔助數據也是有 效的。在這種情況下，雖然不存在DEC動態信息，但是修正SR動態 信息和HR動態信息是有效的。
(2)涉及功能定義的變更的變形例
把在圖像銳化處理中抽取出的參照HR圖像上的塊合成到再生 HR圖像中的方法不限於加權合成處理。即使在抽取出的塊中置換再 生HR圖像的部分的情況下，本發明的HR動態信息也是有效的。
另外，從HR圖像變換為LR圖像時的低通濾波器的種類沒有限 制。在圖2(c)的說明中，濾波器的分支數在水平/垂直方向都取為3 個分支，而長分支數的濾波器或者係數不同的濾波器也是有效的。除 此以外，說明了 HR圖像上的9像素與LR圖像上的1個像素相對應 的情況、但是並不限於這種對應。具體地講，由於如果所對應的HR 圖像的像素是1個像素則能夠生成LR圖像上的1個像素，因此也可以缺少濾波器產生影響的區域內的像素的一部分。進而，在圖2(c) 中，把由降抽樣捨棄的像素作為濾波整理後的HR圖像的偶數列以及 偶數行的像素，但是並不限於這種情況。即使在由低通濾波處理的HR 圖像上把實數位置的樣品作為LR圖像上的像素樣品的情況下，本發 明也是有效的。
進而，SRMV搜索初始數據生成方法並不限於在圖5中說明過的 方法。不是沿著從再生HR圖像離開的方向搜索的方法，依照根據幀 間隔把動態矢量定標的方法也是有效的。
(3)涉及輔助數據的編碼方法的變形例
本發明的成為編碼對象的輔助數據的數據格式並不限於圖8的格 式。另外，動態矢量的預測方法也不限於在圖8中說明過的方法。
另外，在圖8的數據格式中，代替把塊位置信息作為參照幀號信 息，把像素位置進行編碼的方法，把圖像進行塊分割，把有無從左上 方開始按照光柵掃描順序編碼的輔助動態信息進行編碼的方法也是有 效的。這時，並不一定需要塊尺寸信息。
進而，在圖8的數據格式中，代替把塊位置信息作為參照幀號信 息，進而，把像素位置信息、塊尺寸信息、動態矢量密度信息進行編 碼的方法，把圖像進行塊分割，從左上方開始按照光柵掃描順序把有 無動態矢量進行編碼的方法也是有效的。
另外，在圖8的數據格式中，針對每個幀把數據類型的信息進行 編碼，也可以考慮去除重複環713，對於輔助數據信息內的各塊把數 據類型進行編碼的情況。在該格式中，由於針對每個塊的輔助動態信 息添加同步碼，因此在希望從輔助數據檢索特定像素的輔助動態信息 的情況下是有效的。
進而，動態矢量的編碼精度沒有限定。例如，記載在參考文獻2 或者"Text of ISO / IEC 14496 - 10 Advanced Video Coding 3rd Edition", September 2004 (以下，作為參考文獻3)中的高精度的動 態矢量也是有效的。
另外，在圖8的說明中，根據可變長度代碼進行輔助數據的構成要素的編碼，但是並不限於這種方法。記載在專利文獻3中的算術編
碼方法等也是有效的。
(4)涉及輔助數據的構成要素的變形例 輔助數據的構成要素並不限於上述實施形態的記載。 另外，圖8的輔助動態矢量信息還包括表示在2個像素圖像之間
沒有相對應的動態矢量的情況。視頻順序的任意2個像素內的像素完
全一對一地相對應的狀況極其稀少，表示沒有對應點的信息是有效的。 進而，圖8的輔助動態矢量信息還包括不是按照矢量值，而是按
照塊尺寸信息指定的範圍的動態搜索範圍信息的情況。在這種情況下，
省略動態矢量密度信息。根據該搜索範圍指定，能夠縮減動態矢量的
檢測時間。
另外，圖8的輔助動態矢量信息在不是矢量值，而是表示旋轉、 放大、變形等的動態參數的情況下也是有效的。關於動態參數(仿射 變換參數、投影變換參數)等詳細內容記載在參考文獻l中。
進而，在圖2 (b)中，把LR動態信息的預測類型限定為DEC 動態信息的預測類型或者預設值，然而並不限定於此。在這種情況下， 在LR動態信息中包括預測類型(前向預測/後向預測/雙向預測 等)。另外，在適用記載在專利文獻3中的使用了多個參照幀的動態 預測的編碼/解碼方式的情況下，在DEC動態信息中包括參照幀號。 進而，如在專利文獻3中記栽的那樣，在能夠從多種類型選擇實施動 態預測的塊尺寸的編碼/解碼方式的情況下，在DEC動態信息中還包 括塊尺寸。在這種情況下，同樣地在LR動態信息中也包括參照幀號 和塊尺寸。
另外，不需要對於再生LR圖像上的所有像素求出SRMV。根據 包藏等的影響，在不能夠通過再生HR圖像檢測的情況下，不使用該 像素進行優化處理也能夠生成有效的再生HR圖像。
進而，修正SR動態信息的塊位置信息不是採用以再生LR圖像 為基準的值，而是採用以再生HR圖像為基準的值也是有效的。在這 種情況下，當動態密度信息是l時(對於塊內的所有像素把動態矢量編碼)，塊內的像素數與像素單位的修正SRMV的數量一致。
另外，輔助動態信息的塊的形狀也可以是任意形狀。在這種情況 下，也可以把形狀信息進行編碼。在形狀信息的編碼方法中，例如有 在專利文獻2中所示的使用了算術編碼的方法。
(5) 涉及動態推定的方法的變形例
上述中，在多個原圖像LR圖像與原圖像HR圖像之間實施修正 SRMV的檢測，而由於不是使用原圖像LR圖像而是使用HR圖像實 施的方法也提高SRMV的精度，因此效果也很高。這種情況下，塊位 置信息的像素位置成為HR圖像上的值。
另外，在上述中，在多個再生LR圖像與再生HR圖像之間實施 SRMV的檢測，而由於不是使用再生LR圖像而是使用參照HR圖像 實施的方法也提高SRMV的精度，因此效果也很高。
(6) 涉及整體結構的變形例
上述中，把視頻順序的編碼/解碼方法採取為參考文獻1以及參 考文獻2中的方法，但是並不限於這些方法。
另外，在上述中，用非專利文獻1和非專利文獻2說明了清晰度 擴充方法以及推定模型，而在從多個低清晰度圖像生成高清晰度圖像 的技術中，由於能夠適用本發明的輔助信息的編碼以及利用了該編碼 的高畫質處理，因此並不限定於該方法。
進而，上述中，把在清晰度擴充處理中使用的再生LR圖像的數 量取為7張，而由於在除此以外的數量下也能夠實施本發明，因此在 數量上沒有限定。另外，參照HR圖像的數量也沒有限定。
本說明書中介紹的清晰度擴充處理是把1張未知的高清晰度圖像 與多個已知的低清晰圖像的關係建立公式，推測滿足這些公式的最佳 的高清晰圖像和動態信息的技術，非專利文獻l以及非專利文獻2是 使用統計性的方法推定滿足評價函數的最佳的高次矢量的技術的例 子。如在文獻r Sung Cheol Park et al, "Super - Resolution Image Reconstruction: A Technical Overview", IEEE Signal Processing Magazine, May 2003」(以下，作為參考文獻4)中所示的那樣，在清晰度擴充處理中有各種方法，而本說明書的輔助數據在使用動態矢 量表現高清晰度圖像與多個低清晰圖像之間的關係的情況下能夠適用
所有方法。作為非專利文獻1或者2以外的方法，有求解聯立方程式 的方法，或者使用了向凸集合的投影幀構架(projections onto convex sets)的方法(例如，「A.M.Tekalp， M.K.Ozkan and M.I.Sezan， "High—resolution image reconstruction from low—resolution image sequences and space varying image restoration", in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing ( ICASSP ) ， San Fransisco, CA.， vol.3， Mar. 1992， pp.169 — 172 J ,(以下，作為 專利文獻5))等。在所生成的高清晰圖像中，對於作為已知的多個 低清晰度圖像，空間的清晰度升高，具有在圖像上生成在多個低清晰 度圖像之間的對位和合成處理(例如，鑲嵌)中不發生的高頻成分的 特徵。
上述中，在圖5和圖7的編碼噪聲推定單元412的處理中，把量 化參數114作為輸入，而在不需要量化參數的編碼噪聲推定處理中也 能夠實施本發明。因此，有無清晰度擴充處理中的量化參數並不影響 實施本發明。
上述中，根據預測類型、動態矢量(DECMV)構成DEC動態 信息108,但並不限定於該構成要素。例如，如參考文獻3那樣，在 把多個再生LR圖像作為參考圖像的方式中，由於需要針對每個預測 塊選擇參照幀號，因此參照幀號也包含在DEC動態信息中。 (7)輔助數據的生成方法
在上述圖4中的超清晰動態補償單元313的說明中，在原圖像 LR圖像上的對象像素與其預測像素的差分值大於預先確定的閾值的 情況下，把在修正SRMV的檢測中使用的參照圖像從原圖像LR圖像 替換為原圖像HR圖像，但是原圖像HR圖像的利用並沒有限定於該 方法。例如，也可以不使用原圖像LR圖像，而對於所有的像素使用 原圖像HR圖像。另外，關於修正SR信息111的輸出條件，在圖4 的說明中，規定為針對每個所指定的多種分割塊中用平均值把檢測出的SRMV與包含在SR信息110中的SRMV的差分值進行比較，在 差分值大於閾值情況下進行輸出，但是並不限定於該方法。例如，也 可以不是MV的差分值，而是把檢測出的SRMV、適用了SRMV時 的預測值與原圖像上的像素的差分值用作為輸出條件。另外，分割塊 的尺寸選擇方法也不限定於一種方法。進而，在圖4的說明中把輸出 的修正SRMV作為檢測出的SRMV的塊平均值，但是並不限於這種 方法。例如，也可以不是把檢測MV的平均值而是把塊內的SRMV 作為恆定值，以塊單位進行檢測。
關於低清晰動態補償單元以及高清晰動態補償單元中的輔助數 據選擇方法，同樣也沒有限定於一種方法。
進而，關於涉及輔助數據編碼/速率控制單元中的輔助動態信息 的選擇的優先順序以及評價方法，也不限定於在圖4的說明中表示的 方法。例如，即使在使用了考慮代碼量的評價方法的情況下，利用了 本發明的輔助數據的清晰度擴充處理也是有效的。 (8)變形例(5)的實施形態
在超清晰合成單元410中，使用多張再生LR圖像102生成再生 HR圖像106和多個再生LR圖像之間的SR動態信息110,而如變形 例(4)或者(5)所示，通過使用HR圖像之間的動態推定，可以預 料提高SR動態信息以及修正SR動態信息的推定精度。因此，使用圖 13、圖14以及圖15詳細地說明HR圖像之間的動態推定的實施形態。 另外，這裡，關於變形例(1)，以清晰度擴充處理僅需要SR動態信 息的情況為例進行說明。
圖13表示清晰度變換/編碼單元306的結構，即圖4的變形例。 清晰度擴充處理單元310是從多個再生LR圖<象102生成再生HR圖 像106和SR動態信息IIO的處理單元，圖14示出其內部結構。
圖14成為圖5的變形例。如從圖的輸入輸出端可知，清晰度擴 充處理單元310和超清晰動態補償單元313的結構與圖4、圖5不同。 即，在本發明中，使用SR信息的清晰度擴充處理的方法不限於圖5， 修正SR信息的生成方法也不限於圖4。在圖2(c)的說明中，把SR信息作為表示再生HR圖像與多個LR圖像之間的時空對應的動態信 息。因此，在圖2(c)的例子中，與LR圖像上的1個像素相對應的 SRMV (修正SRMV)的條數根據從HR圖像變換為LR圖像時使用 的低通濾波器的分支數決定(在圖2 (4)中是9條)。然而，SRMV 的結構如在變形例(4)和(5)中表示的那樣，沒有限定於圖2(c) 的結構，在本實施例中，為了成為表示再生HR圖像與多個HR圖像 之間的時空對應的信息，SR信息如在變形例(4)中說明的那樣，與 HR圖像上的1個像素相對應的SRMV (修正SRMV)成為1條。
在從動態模型的觀點考慮2個例子的差別的情況下，圖2(c)的 SRMV包括圖1的動態模型201和取樣模型202在內，表示原圖像 HR圖像101與多個原圖像LR圖像102的時空對應，對此，本實施 例的SRMV表示動態模型201的動態矢量，即原圖像HR圖像101與 多個原圖像HR圖像的時空對應。由於原圖像HR圖像和原圖像LR 圖像是未知的，因此在圖2(c)中，從虛擬生成的虛擬HR圖像和再 生LR圖像生成SR信息。對此，在本實施例中，除去虛擬HR圖像 以外，對於多個再生LR圖像也生成虛擬的HR圖像，通過HR之間 的動態推定生成SR信息。從而，由於2個例子SR信息的生成方法不 同，因此雖然根據相同的動態模型，但是所得到的結果不同。如果依 據本實施例，則認為通過適當地選擇虛擬HR圖像，能夠提高再生HR 圖像的品質以及處理速度。另外，由於把原圖像HR圖像之間的動態 矢量活用為修正SRMV，因此認為輔助數據的導入效果也比圖2 (c) 高。
在本實施例中，圖13的局部清晰度擴充處理單元310相當於圖5 的超清晰圖像合成單元410。在局部清晰度擴充處理單元310中，與 圖5相同，把多個再生LR圖像102作為輸入，但在輸入到動態檢測 單元411之前，把它們在圖像放大處理單元406中變換為放大圖像 118。關於圖像放大處理單元406的處理，在本發明中沒有限定，可以 考慮單純的線性內插處理、使用了 B-spline函數的樣條內插處理， 進而，可以考慮在通過內插處理放大的圖像中利用非專利文獻1記載的圖像修復模型改善畫質的方法等。
在清晰度擴充處理中，通過反覆進行清晰度擴充處理單元310的 處理，來謀求再生HR圖像的高畫質的情況很多。這種情況下，對於 清晰度擴充對象的再生LR圖像，首先(第l次反覆處理)，把在圖 像擴大處理單元406生成的擴大圖像118作為虛擬HR圖像119,輸 入到動態搜索單元411。然後，在生成了虛擬的再生HR圖像的第2 次以後的反覆處理中，通過在開關407代替放大圖像118,把參照HR 圖像107 (虛擬的再生HR圖像)選擇為虛擬HR圖像119輸入到動 態搜索單元411。對於參照再生LR圖像，在第1次反覆處理之前， 有時已經通過清晰度擴充處理生成再生HR圖像(參照HR圖像107 )。 在這種情況下，在開關407,把參照HR圖像107選擇為虛擬HR圖 像。這樣，通過利用參照HR圖像107，能夠期待提高由動態搜索單 元411生成的SR信息110的推定精度或者縮短處理運算時間這樣的 效果。
在動態搜索單元411中，通過2張HR圖像之間的動態推定，生 成SR信息110。所生成的SR信息110輸入到超清晰動態補償單元311。 在超清晰動態補償單元311中，使用原圖像把SR動態信息IIO修正 成高精度的修正SR動態信息111。在本實施例中，超清晰動態補償單 元313接受在與多個(L張)參照再生LR圖像相對應的原圖像HR 圖像上加入了清晰度擴充處理對象的再生HR圖像的總計(L+l)張 原圖《象HR圖像101和SR動態信息110的輸入，檢測修正SRMV。 而且，對於SRMV與修正SRMV的差(或者SRMV與適用了 SRMV 和修正SRMV時的預測誤差的差)大的區域或者在最佳的SRMV的 檢測中需要大量運算時間的區域，生成修正SR動態信息lll，輸出到 清晰度擴充處理單元310和輔助數據編碼/速率控制單元311。另外， 如在變形例(7)中所示的那樣，超清晰動態補償單元313中的修正 SR動態信息的生成方法並不限於一種方法。修正SR動態信息例如可 以考慮由參照HR圖像(把參照再生LR圖像放大為HR尺寸的圖像) 上的塊位置信息、參照幀號、塊尺寸、修正SRMV所構成的信息。塊尺寸在通過把幾個像素部分匯總在一起進行編碼，用於減少輔助數據
的代碼量的目的。屬於修正SR動態信息的修正SRMV的數量當塊尺 寸是NxN像素時成為大於1小於等於NxN個。修正SRMV的數量通 過在修正動態矢量信息中添加動態矢量密度信息708等的信息，能夠 在解碼一側明示。
清晰度擴充處理單元310使用修正SR動態信息111,用動態搜 索單元411更新SR動態信息110。在編碼噪聲推定單元412中，使用 實施清晰度擴充的再生LR圖像102和L張再生LR圖像102,以及 更新了的SR動態信息110,生成虛擬的再生HR圖像106。這樣，在 本實施例中，通過反覆進行清晰度擴充處理和超清晰動態補償處理， 優化再生HR圖像106、 SR動態信息110以及修正SR動態信息111。 作為優化方法，可以考慮確定輔助數據的代碼量，調整修正SR動態 信息111使得在其代碼量下再生HR圖像106與原圖像HR圖像的誤 差成為最小的方法等，然而本申請並沒有限定優化方法。另外，在修 正SR動態信息111的優化以後，需要根據修正SR動態信息的適用方 法，再次生成再生HR圖像，使得在編碼一側和解碼一側能夠生成相 同的再生HR圖像106。優化了的修正SR動態信息通過由輔助數據編 碼/速率控制單元311進行編碼，成為輔助數據113,向解碼裝置傳送。
在本實施例中，也像在變形例(1)所示的那樣，即使在不是從 來自視頻編碼數據的解碼圖像，而是從多個圖像生成清晰度更高的圖 像的情況下，本發明也是有效的。另外，如變形例(4)所示，不需要 對於所有的像素計算SRMV,對於沒有發現對應點的像素，不使用其 像素的動態數據生成再生HR圖像106。從而，在本實施例中也如在 變形例(4)中說明過的那樣，作為修正SR動態信息，發送表示沒有 使用對象像素的動態數據的信息是有效的。
圖15表示本實施例的清晰度擴充處理單元502的內部結構以及 輔助數據解碼/分離單元531。在本實施例中，圖15的清晰度擴充處理 單元502相當於圖7的超清晰圖像合成處理單元510。
清晰度擴充處理單元502 <吏用再生LR圖像102、解碼了的修正SR動態信息111以及參考HR圖像107(已經生成的再生HR圖像)， 生成再生HR圖像106和SR動態信息110。首先，由輔助數據解碼/ 分離單元531從清晰度擴充對象幀的輔助數據113分離修正SR動態 信息111，進行可變長度代碼。然後，清晰度擴充處理單元502由圖 像放大處理單元406生成放大圖像118。如在圖14中所示那樣，按照 預先確定的順序從放大圖像118和參照HR圖像107選擇虛擬HR圖 像119。然後，使用多個虛擬HR圖像119和修正SR動態信息111， 生成SR動態信息110和再生HR圖像106。具體地講，通過反覆處理 由動態檢索單元511進行的SRMV的生成和由編碼噪聲推定單元512 進行的再生HR圖像106的生成進行優化。
在本實施例中，在HR圖像之間進行SR動態信息110的生成， 而在不存在參照HR圖像(第l次反覆處理)的情況下，省略圖像放 大處理單元的處理，在再生LR圖像之間實施動態推定，通過動態矢 量值的內插處理或者零次保持法放大為SRMV。因此，在本實施形態 中，依照反覆處理的次數，有時修正SR動態信息的構成要素即修正 SRMV的意義或者數量不同。另外，還可以考慮把不是由原圖像之間 的動態搜索，而是由通常的再生圖像之間的動態搜索檢測出的動態矢 量作為修正SR動態信息，為了減少解碼一側的運算量進行傳送的情 況。
關於修正SR動態信息的利用方法，可以考慮若干種方法，在本 申請中並沒有限定於一種方法。作為利用修正SRMV的方法，可以考 慮不進行SRMV的動態搜索而適用修正SRMV的方法、在適用了修 正SRMV以後，通過動態搜索進行再次調整的方法，然後，從通過實 施動態搜索檢測出的SRMV和修正SRMV決定最終的SRMV的方法。 關於再次調整，可以考慮實際上考慮了在再生HR圖像的生成中使用 的再生LR圖像的差別，進行調整使得再生HR圖像成為高品質的情 況、把以塊單位傳送的修正SRMV改善為像素單位的SRMV的情況 或者改善修正SRMV像素精度等的情況等各種提高MV的精度的情 況。關於從2個動態矢量決定最終的動態矢量的方法，可以考慮修正SRMV是通過實施動態搜索檢測出的SRMV與最終的SRMV的差分 矢量的情況、或者修正SRMV與通過實施動態搜索檢測出的SRMV 的平均值是最終的SRMV的情況等。即，既可以是修正SR動態信息 包括修正SRMV,把該修正SRMV用作為動態矢量的形態，還可以是 修正SR動態信息包括修正SRMV，使用多個再生圖像檢測中間動態 矢量，通過該中間動態矢量與修正SRMV的相加處理，生成動態矢量。 另外，修正SR動態信息包括修正SRMV，把修正SRMV作為動態矢 量的初始動態矢量，通過使用多個再生圖像更新初始動態矢量也可以 生成動態矢量。
另外，關於與利用修正SR動態信息時的反覆處理的對應，也可 以考慮多種方法。如果大致區分，則有在所有次數的反覆處理中適用 相同的修正SRMV的方法和僅在反覆處理的特定次數中適用的方法。 關於後者，根據用於減少運算量等的理由，進而可以考慮在相同的區 域或者塊中傳送對於反覆次數不同的修正SRMV的情況。
在該變形例中，說明了編碼裝置、解碼裝置，而關於圖9~圖11 所示的處理流程，同樣也能夠變形。在這種情況下，雖然沒有圖示， 然而通過上述說明過的方法實施在圖10的超清晰處理805中所示的虛 擬HR圖像119的生成。另外，該變形例的圖像編碼處理或者圖像解 碼處理如在圖12中說明的那樣，能夠由基於程序的計算機系統實施。 (9)涉及利用參照HR圖像的變形例
在圖5和圖7中，利用HR動態信息112實施畫質銳化處理，而 即使是在高清晰動態補償單元314中沒有使用HR輔助信息的方法， 也能夠實施畫質銳化處理。這種情況下，使用多個參照HR圖像107、 編碼噪聲推定單元412 (512)輸出的再生HR圖像123以及由畫質修 復處理已經修正了的清晰度擴充對象圖像的虛擬的再生HR圖像上的 像素數據，由動態補償單元421 ( 521 )檢測HRMV。這時，可以考 慮通過利用再生HR圖像上的修正完畢的像素數據，提高像素精度。 例如，在以塊單位按照光柵掃描順序實施了修正處理的情況下，能夠 在搜索中使用更新了的再生HR圖像上的當前塊的上端和左端的更新完畢的像素。在畫質修復單元422 ( 522)中利用檢測出的HRMV改 善再生HR圖像106的畫質。另外，如在變形例(2)中所示那樣，在 圖像銳化處理中，使用參照HR圖像改善再生HR圖像的畫質的方法 並沒有限定於一種。除去把2個圖像(從參照HR圖像107和HRMV 生成的HR圖像與虛擬的再生HR圖像1123)的像素部分地進行加權 合成的方法以外，還有置換為參照HR圖像所生成的HR圖像上的像 素的方法，或者使用多個參照HR圖像107和虛擬HR圖像之間的 SRMV謀求優化再生HR圖像的方法等。進而，這裡，用HR動態信 息112 j奮正由動態補償單元421 (521 )檢測出的HRMV的方法作為 提高畫質銳化處理的性能的方法也是有效的。這種情況下，包含在HR 動態信息112中的動態矢量(修正HRMV)成為由動態補償單元421 檢測出的HRMV與最終的HRMV之間的差分動態矢量。另外，作為 畫質銳化處理的方法，準備使用在圖5和圖7中說明過的HRMV的 方法、使用在這裡說明了的修正HRMV的方法和由動態補償單元421 (521)檢測HRMV的方法等，在HR動態信息的構成要素中包括其 選擇信息的方法作為提高畫質銳化處理的處理效率的方法也是有效 的。
另外，上述中，在圖5、圖7、圖14以及圖15的編碼噪聲推定 單元中，使用多個再生LR圖像102和SR動態信息110實施再生HR 圖像123(在圖14和圖15中是106)的優化，而對於存在生成完畢的 再生HR圖像的幀，代替再生LR圖像102使用參照HR圖像107也 是有效的。在這種情況下，再生HR圖像107輸入到圖5和圖14的編 碼噪聲推定單元412以及圖7和圖15的編碼噪聲修正單元512中。另 外，在該變形例中，還可以設想圖1中省略了取樣模型202的模型。 關於動態模型201，能夠利用在圖14和圖15的說明中表示的虛擬HR 圖像之間的SRMV。
(10)涉及輔助數據的構成要素的利用方法的變形
並不需要全部傳送構成要素的數據，對於在編碼一側和解碼一側 唯一決定的信息，能夠從傳送的構成要素去除。例如，在使用在編碼一側和解碼一側共同具有的圖像的特徵等信息，能夠規定構成要素的 一部分的情況下，能夠省略傳送其構成數據。在構成要素的數據的組 合中，對於不需要的數據，也能夠從所傳送的構成要素去除。例如， 當適用表示是否針對每個塊傳送輔助動態矢量的方法時，不需要傳送 塊位置信息，根據狀況，也不需要傳送輔助動態矢量。另外，如在變
形例(4)中說明過的那樣，在表示任意的區域或者塊的SRMV在再 生HR圖像的生成中無效的情況下，也不需要傳送修正SRMV。進而， 還有不是根據編碼 一 側和解碼 一 側的默認的規則來抑制傳送構成要素 的 一部分數據的方法，而是在構成要素中包括表示進行哪種數據傳送 的模式信息，明示地表示所傳送的構成要素的方法。
作為傳送輔助數據的方法，把構成要素的數據分為序列單位、幀 單位、片單位(由多個塊構成)、塊單位等分層傳送的方法也是用於 減少代碼量的有效方法。即，通過依照其分派的任務分層傳送構成要 素的數據能夠減少代碼量。在這種情況下，在上位層次中所傳送的信 息不需要在下位中傳送。例如，在作為幀單位的輔助信息傳送塊尺寸 的情況下，在塊單位中的輔助動態信息中，不需要傳送該信息。這種 情況下，也把以塊單位傳送的共同要素的數據分割在若干個傳送型(構 成要素數據不同的組合)或者傳送組(構成要素數據的分類)中，在 解碼 一側明示地表示與傳送型或者傳送組的組合相對應的模式信息的 方法是有效的。進而，還有把模式信息作為片單位或者幀單位的信息 傳送的方法，可以說作為控制反映區域或者幀單位下的圖像的變化傾 向的方法是有效的。
作為其它的輔助數據傳送方法，有把構成要素的數據根據其局部 性分為若干個組，傳送表示是否變更各組的構成要素的值的信息的方 法。可以認為根據該方法能夠減少輔助數據的代碼量。對於沒有變更 組的數據，預先確定適用在前面剛傳送的值或者預設值的規定。變更 的組的構成要素的數據作為輔助數據傳送。
如在變形例(4)中所示那樣，LR動態信息、修正SR動態信息 以及HR動態信息的構成要素沒有限定。例如，也可以考慮用塊單位傳送LR動態信息、修正SR動的信息以及HR動態信息的種類(數 據類型702 )的方法。另外，如在變形例(8)或者在上述中說明過的 那樣，明示輔助動態信息的構成要素的數據的組合或者傳送方法的模 式信息也包含在構成要素的變形例中。該模式信息的傳送方法不限於 修正SR動態信息，對於LR動態信息或者HR動態信息也能夠適用。
進而，作為構成要素的數據明示地表示在變形例(8)中所示的 修正SR動態信息的利用方法的方法也是有效的，4吏用原圖像，根據 在編碼一側要求的信息，能夠有效地實施解碼一側中的處理。關於該 輔助動態信息的利用方法也不限於修正SR動態信息，對於LR動態 信息或者H R動態信息的利用方法也能夠同樣適用。在利用方法的信 息中，包括調整輔助動態信息的適用方法(不進行解碼器中的動態搜 索，反映輔助動態信息，或者用解碼器調整輔助動態信息)時的調整 方法(生成更細微單位的動態矢量，調整動態矢量的像素精度)。另 外，還包括在變形例(8 )中說明過的表示與反覆處理的對應的信息(在 所有的反覆處理中適用輔助動態信息，僅在特定的反覆次數的處理中 適用)或者表示反覆處理的特定次數的信息。作為表示輔助動態信息 的利用方法，還可以考慮通過把表示輔助動態信息的利用目的(減少 運算量，提高再生HR圖像的品質)的信息傳送到接收一側，變更接 收一側中的處理的方法。
另一方面，作為其它的例子，還可以考慮對於動態矢量密度信息 707,不向接收一側傳送而表示動態矢量數量的方法，或者根據塊尺寸 信息唯一地決定的方法。
進而，關於LR動態信息，由於有在不具有DECMV的塊中新添 加LRMV的方法和雖然存在DECMV但是把其值變更為不同的 LRMV的方法，因此還可以考慮不是從DECMV生成而是明示地傳送 該LRMV利用信息。這種情況下，通過在構成要素中包括塊尺寸，能 夠為了清晰度擴充處理而提供精度更高的動態信息。
作為HR動態信息的變形例，首先，有動態推定的方法。作為是 在再生HR圖像之間(變形例(9))實施，還是使用原圖像HR圖像實施的適應選擇，通過把動態推定方法作為HR動態信息的構成要素 的數據傳送，能夠謀求減少HR動態信息的代碼量和優化再生HR圖 像畫質。另外，關於畫質改善修復處理(使用參照HR圖像改善再生 HR圖像的畫質的處理)，由於也有加權合成方法或者置換為參照HR 圖像的方法等若干種候選，因此通過明示地傳送表示合成方法的信息 能夠期待再生HR圖像的畫質改善。
關於SR動態信息也可以考慮變形。例如，SRMV在圖5中是表 示LR圖像與HR圖像的時空對應的數據，而在圖14中，是表示HR 圖像之間或者LR圖像之間的時空對應的數據，表現方法不同。作為 清晰度信息，通過以幀單位或者塊單位明示地傳送該差別，能夠進行 與局部的特徵對應的畫質改善，帶來畫質的進一步改善。因此，通過 在修正SR信息的構成要素上添加該信息，代替修正SRMV進行傳送， 即使不傳送SRMV，也能夠提高SRMV的檢測精度。另外，如圖14 或者圖15所示那樣，在SRMV的檢測中使用的虛擬HR圖像的候選 中，有放大圖像和參照HR圖像，可以選擇任一種。通過在修正SR 信息的構成要素上添加用於明示地選擇虛擬HR圖像的種類的參照圖 像信息，能夠預料將提高SRMV的檢測精度。這時也不需要傳送修正
s畫v。
關於修正SR動的信息的變形例，除去上述示出的以外還可以考 慮修正SRMV的清晰度信息(LR圖像水平的MV或者HR圖像水平 的MV)。通過傳送該數據，能夠明示地表示適應於區域的局部特徵 的清晰度，另外，還可以考慮通過明示地表示有效的反覆處理次數， 在所指定的反覆處理次數以後，向接收一側傳送不需要再次搜索該區 域的SRMV的情況。根據該信息，能夠抑制無效的動態搜索處理。 (11)輔助數據的應用
至此為止，以修正SRMV等輔助動態矢量為中心說明了輔助動 態信息的傳送以及輔助動態信息。在這種情況下，通過將有用的動態 矢量通知給接收一側，在接收一側能夠生成更高品質的再生HR圖像。 另一方面，如果著眼於在清晰度擴充處理單元中生成的SRMV等動態矢量，則在動態矢量的生成所需要的條件，例如用於實施動態搜索的 方法和條件根據預先確定的規則在接收一側實施。以下，以動態搜索 為例進行說明。在該動態搜索中，有與圖像的各種特徵相對應的多種 方法，而在把搜索出的動態矢量向接收一側傳送的情況下，能夠使用 原數據在發送一側決定用於動態搜索的最佳方法以及條件。然而，如 清晰度擴充處理那樣，在使用解碼完畢的像素數據進行動態搜索的情 況下，在不具有原數據的接收一側需要確定其方法或者條件。因此， 這裡，表示在具有原始數據的編碼一側，實施用於動態搜索的理想方 法以及條件的選定，把該信息作為輔助動態信息向接收一側傳送的方 法。該方法由於也使用原圖像數據，具有提高動態矢量的精度的效果 以及縮短在動態矢量的檢測中所需要的時間的效果，因此可以認為是
提高再生HR圖像的品質以及效率的有效方法。另外，為了在以後的 處理中利用再生HR圖像，需要在編碼一側和接收一側生成相同的再 生HR圖像，因此需要在編碼一側和接收一側共同具有動態搜索的方 法和條件。為了實現共同具有，有在編碼一側和接收一側預先進行動 態搜索的方法或者預先決定條件的方法，而如在這裡所示，通過作為 輔助動態信息進行傳送，能夠減少與圖像的局部性相對應的運算量或 者提高HR圖像的畫質。
關於動態搜索的方法和的條件(以下，稱為動態搜索條件信息) 的種類或者數量，在本說明書中沒有限定。關於其種類的例子，有搜 索範圍或者搜索方法等，詳細情況在後面敘述。圖13中說明動態搜索 條件信息的生成方法。雖然沒有圖示，然而在該情況下，認為再生HR 圖像106也輸出到超清晰動態補償單元313。超清晰動態補償單元313 把動態搜索條件信息的候選包含在修正SR動態信息111中，輸入到 清晰度擴充處理單元310。在清晰度擴充處理單元310中，根據包含 在修正SR動態信息111中的動態搜索條件信息，生成SR動態信息 110和再生HR圖^象106。超清晰動態補償單元313使用再生HR圖像 106和原圖像HR圖像，評價動態搜索條件信息(例如，評價值是絕 對值差和)。對於多個動態搜索條件信息的候選實施該處理，選擇評價結果為最佳的條件信息。另外，動態搜索條件信息的生成方法的決
定方法不限於該方法。例如，不是再生HR圖像與原圖像HR圖像的 比較，而是把在清晰度擴充處理單元中生成的SRMV與在超清晰動態 補償單元313中生成的修正SRMV111進行比較，選擇其差為最小時 的動態搜索條件信息的方法也是有效的。在這種情況下，不需要向超 清晰動態補償單元313輸出再生HR圖像106。
關於動態搜索條件信息的傳送方法，與動態矢量信息一樣可以考 慮若干種方法，分為幀單位或者塊單位分層傳送的方法也是用於減少 代碼量的有效方法。關於所傳送的數據，可以考慮直接傳送數據的方 法，或者準備若干種候選，傳送選擇信息的方法。傳送數值的方法的 自由度高，但是另一方面將帶來代碼量的增大。因此，可以認為是在 以序列單位或者幀單位等批量單位傳送時可用的方法。在以塊單位或 者像素單位傳送的情況下，基本上適用從候選中選擇的方法。
這裡，說明了在利用輔助動態矢量和動態搜索條件信息的清晰度 擴充處理中適用的方法。而像本變形例這樣，在輔助動態信息有可能 包括動態搜索條件信息的情況下，作為圖像區域內的局部的處理，需 要根據能夠利用的輔助動態矢量以及動態搜索條件信息，實施不同的 處理。
在輔助動態信息包括輔助動態矢量而不包括動態搜索條件信息 的情況下，清晰度擴充處理單元利用復原了的輔助動態矢量，檢測其 區域(塊)的SRMV (HRMV)，生成再生HR圖像。利用方法的詳 細過程由於已經在變形例(8)的修正SRMV的利用方法中說明過， 因此在這裡省略。作為輔助動態矢量的復原方法，如在圖8的說明中 所示， 一般是把根據預先確定的方法所求出的預測動態矢量與通過輔 助數據的解碼得到的差分動態矢量相加的方法，在本申請中並不限定 於如在變形例(3)中所示那樣。例如，在解碼了的動態矢量是通過預 先確定的方法檢測出的SRMV (HRMV)與最終的SRMV ( HRMV ) 的差分動態矢量的情況下，由於即使直接編碼其代碼量也很少，因此 能夠省略預測處理。另外，關於準備多種輔助動態矢量的利用方法時的選定方法，有通過把選定信息作為輔助動態信息傳送，可以明示地 傳送適用方法的方法，或者根據條件(例如，輔助動態信息中的構成 要素的數據值)唯一決定的方法等。
在輔助動態信息包括動態搜索條件信息而不包輔助動態矢量的 情況下，清晰度擴充處理單元根據解碼了的動態搜索方法或者條件，
檢測其區域(塊)的SRMV (HRMV)，在再生HR圖像的生成中利 用。這時，在解碼了的動態搜索條件信息中沒有包括所必需的所有信 息的情況下，對於其信息，適用預先確定的值。例如，在比預先確定 的值小的搜索範圍內就足夠的條件下，通過發送搜索範圍的信息，具 有能夠減少動態搜索所需要的運算量的效果。
另外，作為輔助動態信息包括動態搜索條件信息而不包括輔助動 態矢量的其它例子，可以考慮根據預先確定的動態搜索的條件信息檢 測出SRMV ( HRMV )以後，根據解碼了的條件信息修正檢測出的 SRMV(HRMV)的方法，或者才艮據解碼了的動態搜索條件信息修正 通過前面的反覆處理檢測出的SRMV (HRMV)的方法等。例如，通 過傳送用於修正SRMV (HRMV)的小的搜索範圍，具有取得運算量 與搜索性能的平衡等的效果。另外，關於具有多個動態搜索條件信息 的利用方法的候選時的選定方法，有通過把選定信息作為輔助動態信 息傳送，能夠明示地傳送適用方法的方法，或者依照條件(例如，輔 助動態信息中的構成要素的數據值)唯一決定的方法等。
在輔助動態信息同時包括輔助動態矢量和動態搜索條件信息的 情況下，有從根據動態搜索條件信息檢測出的SRMV (HRMV)和復 原了的輔助動態矢量決定最終的SRMV (HRMV)的方法。在這種情 況下的例子中，包括輔助動態矢量是根據動態搜索條件信息檢測出的 SRMV (HRMV)與最終的SRMV (HRMV)的差分矢量的情況。例 如，對於動態搜索條件信息用幀單位或者片單位等大的區域單位替換， 需要塊單位以上的精度的動態矢量，通過僅把來自推斷值的差分值進 行編碼能夠減少代碼量。在使用了動態矢量的分散性大的鄰接區域中 的動態矢量的動態矢量預測的性能惡化的區域中是有效的。另外，根據動態搜索條件信息以很少的運算量檢測大致的動態矢量，通過把其 與差分動態矢量相加這樣的順序，還具有能夠減少動態搜索的運算量 的效果。
作為輔助動態信息同時包括輔助動態矢量和動態搜索條件信息 的其它例子，有根據動態搜索條件信息修正復原了的輔助動態矢量， 把修正了的輔助動態矢量作為最終的動態矢量的方法。如果依據該方 法，則對於廣泛的區域(塊)傳送輔助動態矢量，根據動態搜索條件 信息，能夠把所傳送的輔助動態矢量修正為更狹窄區域(塊或者像素) 的動態矢量。因此，能夠減少代碼量。進而，還有在用輔助動態信息
把SRMV (HRMV)修正了以後，根據動態搜索條件信息再次調整修 正SRMV(HRMV)的方法。
關於是否有輔助動態矢量以及動態搜索條件信息，可以考慮作為 變形例(10)的前半部分所示那樣的模式信息明示地表示的方法等。 另外，關於包含在動態搜索條件信息中的方法或者條件等參數，通過 分別使用分層傳送能夠減少代碼量。
由於還有輔助動態信息既不包括輔助動態矢量也不包括動態搜 索條件信息的情況，因此說明這種情況下的清晰度擴充處理的順序的 例子。其中之一是輔助動態信息包括表示其區域(塊)的動態矢量在 再生HR圖像的生成中無效的信息的情況。在這種情況下，清晰度擴 充處理單元不實施其區域(塊)的SRMV (HRMV)的動態搜索，不 使用其區域的SRMV (HRMV)生成再生HR圖像。如果以上述非專 利文獻1 (圖1的模型)為例，則有對於矩陣C (d—lk)，代替成為 不可使用的動態矢量，使用相鄰像素的動態矢量，通過內插處理生成 的動態矢量代用的方法，或者對於矩陣H，在使與成為不可使用的動 態矢量相對應的濾波器係數為0的基礎上，調整與成為不可使用的動 態矢量關聯的像素相對應的濾波器係數的方法。另外，作為既不包括 輔助動態矢量也不包括動態搜索條件信息的其它情況，有輔助動態信 息包括其區域(塊)的SRMV(SRMV)的更新處理為有效的反覆處 理的次數的情況。在這種情況下，清晰度擴充處理單元在所指定的次數以後的反覆處理中，不用再次搜索其區域的SRMV (HRMV)，實 施再生HR圖像的生成。
以下，表示在動態搜索中必要條件的例子。
a) 動態檢索方法
在圖2中，作為動態檢測方法使用塊匹配法進行了說明，而在動 態搜索方法中，有梯度法(例如，專利第3271369號(作為參考獻6 ))、 像素匹配法(例如，專利第2934151號(作為參考文獻7))、樣板 匹配法(例如特開平1 - 228384 (作為參考文獻8))等多種方法。這 些方法的有效性由於根據像素內區域的特徵而不同，因此通過作為動 態搜索的條件向解碼一側通知適宜的方法，能夠期待提高解碼一側的 動態檢測的性能。
b) 搜索範圍和搜索中心
在進行動態輸出時，如果搜索圖像整體則需要巨大的運算量，因 此通常設計搜索範圍，在其範圍內進行搜索。理想的輸出範圍由於根 據圖像區域的特徵而不同，因此其條件對於輸出結果帶來的影響也很 大。從而，通過明示地向解碼一側傳送適當的搜索範圍，能夠進行無 浪費的動態搜索。另外，通過適當地設定速度範圍的中心，能夠減小 搜索範圍。從而，通過向解碼一側明示地傳送決定搜索中心的方法， 能夠提高解碼一側中的伴隨動態搜索的處理效率。作為決定動態搜索 中心的方法，例如有利用從鄰接區域的動態搜索結果推測出的動態量 的方法或者以動態量0為搜索中心的方法等。圖16中表示塊匹配的例 子。圖中，把a100作為當前幀，把a101作為搜索對象塊，把a200 作為參照幀，把與塊a101在空間上一致的a201作為參照幀上的塊。 a202是a101的鄰接塊的動態矢量，在用於設定塊a101的搜索中心 a204時使用。把搜索範圍a206設定在搜索中心a204的周圍，通過在 搜索範圍內進行搜索，檢測動態矢量a203和預測塊a205。作為用於 決定搜索中心的動態矢量，把塊al01的左、上、右上的3個塊的動態 矢量作為候選，在編碼器中的動態搜索中頻繁使用從各成分的中央值 構成的動態矢量。C)搜索塊尺寸
關於實施動態搜索的單位，根據圖像區域的特徵所適宜的尺寸也 不同。例如，在塊匹配的情況下，準備多種搜索塊尺寸，通過以序列 單位、幀單位、片單位或者塊單位(比搜索塊尺寸大)向解碼一側傳 送搜索塊尺寸，提高動態搜索的精度。另外，也有不是按照塊單位而 是把任意形狀作為單位進行動態搜索的情況。在這種情況下，傳送形 狀信息(三角片等)或者區域分割的方法等。
d) 動態搜索方法
在進行動態搜索時，由於如果在搜索範圍內搜索整體則需要大量 的運算量，因此可以考慮在搜索範圍內抽樣搜索的情況。從而，通過 設置明示地向解碼一側傳送動態搜索的方法的功能，能夠調整運算量 和搜索性能。作為動態搜索方法，有在搜索範圍內無遺漏地進行搜索 的全搜索，以縱橫數像素間隔進行搜索，按照以更狹窄的像素間隔搜 索檢索出的位置周圍這樣的順序縮小動態的樹形搜索等。另外，不是 在搜索範圍內進行一次搜索，而是以大的塊尺寸搜索大的搜索範圍， 根據其結果確定搜索中心，以小的塊尺寸搜索更小的搜索範圍這樣的 分層搜索作為減少運算量的方法也是有效的。另外，在該分層搜索中， 需要根據層數傳送搜索範圍和搜索塊尺寸。
e) 搜索順序
關於實施動態搜索時的搜索順序，有從左上向右下按照光柵掃描 順序在動態搜索的範圍內進行搜索的方法，或者從動態搜索範圍的中 心向外按照螺旋順序進行搜索的方法等若干種方法。通過明示地向解 碼一側傳送搜索順序，使得在編碼一側和解碼一側都能夠得到同樣的 結果。另外，為了實現高速，有設置中止搜索的條件的情況。關於該 搜索中止條件(預測誤差的閾值等)，通過明示地向解碼一側表示， 也能夠減少解碼單元的動態搜索中需要的運算時間。
f) 動態檢索精度
關於動態搜索中的動態檢索精度，實際上在MPEG等標準方式 中使用l像素精度、1/2像素精度、1/4像素精度，進而l/8像素精度等多種精度。通過向解碼一側傳送該搜索精度，也能夠謀求優化 運算時間和畫質。另外，關於實數像素的生成方法，通過向解碼一側 傳送其方法，能夠謀求優化畫質。 g)評價函數
作為進行動態搜索時的評價函數，使用預測誤差信號的塊絕對值 和、相同的差方和、預測誤差信號的絕對值和以及從動態矢量代碼量 計算出的評價值等多種方法。關於評價函數，在具有原數據的編碼一 側進行選擇，向解碼一側傳送，能夠謀求優化運算時間和動態搜索性 能。除此以外，還有動態模式(平行移動模式、仿射變換模式、投影 變換模式)、動態搜索方法(前向、反向)等各種條件。
至此為止，以清晰度擴充處理為前提，示出了把在動態矢量的生 成中所需要的條件進行編碼/傳送的方法，而向接收一側傳送在動態矢 量的生成中所需要的條件的順序在接收一側能夠沒有限制地適用在生 成動態矢量的裝置或者軟體中。例如，在解碼一側生成的視頻編碼等
中能夠適用動態矢量。圖16說明在視頻編碼方式中，使用解碼完畢的 像素數據在解碼一側搜索動態矢量的方法。a200表示解碼完畢的前 幀，alOO表示編碼對象的當前幀。a100以塊單位從左上向右下按照光 柵掃描順序編碼，圖中，表示a103的區域的塊(7個塊)編碼/解碼完 畢。在搜索塊al01的動態矢量時，從解碼完畢區域的解碼數像素數椐 構成樣板al08，檢測樣板內的誤差和為最小的區域a208。這時，作為 動態矢量檢測a203，塊a205成為塊a101的預測塊。在編碼一側，把 編碼塊a101與預測塊a205的誤差塊編碼，動態矢量不編碼。在解碼 一側，按照與編碼一側相同的條件進行動態搜索檢測動態矢量。然後， 通過把根據在解碼一側檢測出的動態矢量生成的預測塊和解碼了的誤 差塊相加，求編碼塊的再生值。從而，這樣在解碼一側，在包括生成 與動態矢量關聯的信息的處理的視頻編碼中，在具有原數據的編碼一 側決定實施動態搜索的條件，通過把該條件向解碼一側傳送，能夠提 高編碼一側中的動態搜索的性能。關於在動態矢量的生成中所需要的 條件的編碼方法，分層的傳送方法是有效的。圖20表示一般的視頻編碼的數據構造。
一般的視頻數據由表示序列整體的編碼條件的序列標
題bll、表示幀單位的編碼條件的幀標題b12、表示片單位的編碼條 件的片標題b13、表示動態矢量或者預測方法等的塊單位的編碼條件 的塊標題b14以及包括預測誤差信號的編碼數據的塊數據b15構成。 依照其局部性，通過把在動態矢量的生成中所需要的各種條件分為4 種標題信息進行編碼，提高編碼效率。
圖18和圖19表示在解碼一側生成的動態矢量的視頻編碼的編碼 裝置以及解碼裝置的例子。圖18表示編碼裝置的結構。當前幀a100 在塊分割單元ci02分割為編碼塊a101。編碼塊a101輸入到動態搜索 條件決定單元c112和減法器c103。動態搜索條件決定單元c112把在 動態矢量的生成中所需要的條件的候選c115輸出到動態搜索單元 c114。另外，關於在動態矢量生成中所需要的條件中以序列單位或者 幀單位選擇的條件，事先在動態搜索條件單元使用原圖像選擇。作為 選擇方法，例如，通過對於多種條件的候選實施使用了原圖像的動態 搜索處理，能夠選擇適當的條件。動態搜索單元cll4從幀存儲器clll 輸入解碼完畢的前幀a200和樣板a108，根據在動態矢量的生成中所 需要的條件c115，檢測動態矢量a203。動態補償單元cll3從幀存儲 器clll的解碼完畢的前幀a200抽取與動態矢量a203相對應的預測塊 c120，輸出到動態搜索條件決定單元c112。動態搜索條件決定單元 c112把與在動態矢量的生成中所需要的條件的多個候選相對應的預 測塊c120與輸入塊a101進行比較，決定預測誤差絕對值和為最小的 預測塊a205。另外，把這時的條件作為在動態矢量的生成中所需要的 條件c117輸出到動態搜索條件編碼單元c120。動態搜索條件編碼單 元c120把在動態矢量的生成中所需要的條件編碼，把編碼的信息輸出 到熵編碼單元。關於編碼方法沒有限定，如上所述，能夠使用分層構
造或者分成組的方法、限定使用模式信息進行編碼的構成要素的方法、 直接傳送數值的方法、準備多種編碼信息的候選進行選擇的方法、把 來自從鄰接塊推定的預測值的差分編碼等。
預測塊205輸出到減法器c103和加法器c108。在減法器c103中，計算輸入塊a101與預測塊a205的誤差塊c104，輸出到誤差塊編碼單 元c105。誤差塊編碼單元c105進行誤差塊的編碼處理，把誤差編碼 數據c106輸出到熵編碼單元cllO和誤差塊解碼單元c107。誤差塊解 碼單元c107把誤差編碼數據解碼，復原再生誤差塊c118，輸出到加 法器cl08。加法器cl08通過再生誤差塊c118與預測塊c205的相加處 理生成再生塊c109，合成到幀存儲器內的當前幀的再生圖像上。最後， 熵編碼單元cllO把誤差編碼數據c106和表示在動態矢量的生成中所 需要的條件的信息c119以及各種標題信息進行合成，輸出編碼數據 cll6。
圖19表示解碼裝置的結構。編碼數據cll6在熵解碼單元中解碼 成解碼數據d102，由分離單元d103分離為誤差編碼數據c106和表示 在動態矢量的生成中所需要的條件的信息c119。表示在動態矢量的生 成中所需要的條件的信息c119由動態搜索條件解碼單元d109解碼成 在動態矢量的生成中所需要的條件c117。動態搜索單元d107從幀存 儲器的dl06輸入解碼完畢的前幀a200和樣板a108，根據在動態矢量 的生成中所需要的條件c117，檢測動態矢量a203。動態補償單元dl08 從幀存儲器dlll的解碼完畢的前幀a200抽取與動態矢量a203相對應 的預測塊c205，輸出到加法器d105。誤差塊解碼單元dl04把誤差編 碼數據解碼，復原再生誤差塊c118，輸出到加法器d105。加法器dl05 通過再生誤差塊c118與預測塊c205的相加處理生成再生塊c109，合 成到幀存儲器內的當前幀的再生圖像上。
在視頻編碼的例子中，也可以考慮塊共同具有動態矢量和在動態 矢量的生成中所需要的條件的情況。在這種情況下，根據在動態矢量 的生成中所需要的條件，解碼器修正解碼了的動態矢量。另外，在其 它的例子中，從解碼器根據在動態矢量的生成中所需要的條件生成的 動態矢量和解碼了的動態矢量，生成最終的動態矢量。這種情況下， 解碼動態矢量認為是由解碼器生成的動態矢量與最終的動態矢量的差 分動態矢量。這樣，在接收一側，在生成動態矢量的裝置或者軟體中， 能夠適用向接收一側一起傳送在動態矢量的生成中所需要的條件和動態矢量的方法。
在該變形例中，說明了編碼裝置、解碼裝置，而對於編碼/解碼 處理流程也同樣能夠變形。另外，該變形例的圖像編碼處理或者圖像
解碼處理如在圖12中所說明的那樣，能夠通過基於程序的計算機系統 實施。
圖21和圖22中表示實施本變形例的編碼處理流程以及解碼處理 流程中的塊處理。對於序列標題、幀標題的編碼/解碼省略說明，在編 碼處理中，在動態矢量生成中所需要的條件中，把以幀單位以及序列 單位傳送的信息按照它們的單位進行選擇。作為選擇的方法，如在圖 18的說明中所示的那樣，利用使用了原圖像的動態搜索。在解碼處理 中，把序列標題、幀標題的編碼數據解碼後保存，在進行各塊的解碼 處理時使用。
圖21中說明實施本變形例的編碼處理流程的塊處理。在塊編碼 開始處理c201以後，在處理c202中，輸入下一個編碼塊。在處理c203 中，選定在動態矢量的生成中所需要的條件的候選。在處理204中， 根據該條件，如圖17所示那樣，使用解碼完畢的圖像和樣板檢測動態 矢量。在處理c205中，從解碼完畢的圖像取得與動態矢量相對應的預 測塊。在處理c206中，評價編碼塊與預測塊的預測誤差絕對值和。關 於在動態矢量的生成中所需要的條件的多個候選，反覆進行處理c203 到處理c206，選擇預測誤差絕對值和最小時的動態矢量生成條件和預 測塊。在處理c207中，把編碼塊與預測塊的各像素相減，生成誤差塊。 在處理c208中，把誤差塊編碼(例如，離散餘弦變換、量化)。在處 理c209中，把誤差塊解碼(例如，量化變換係數的反量化和反離散餘 弦變換)。在處理c210中，把解碼了的誤差塊與預測塊相加，復原解 碼塊。在處理c211中，把誤差塊的編碼信息(量化變換係數)和在處 理c206中選擇的表示在動態矢量的生成中所需要的條件的信息進行 熵編碼，生成編碼數據，在處理c212中結束塊編碼處理。
在圖22中說明實施本實施例的解碼處理流程的塊處理。在塊解 碼的開始處理d201以後，在處理d202中，輸入與下一個解碼塊相對應的編碼數據。在處理d203中，把解碼數據進行熵解碼，取得在動態 矢量的生成中所需要的條件和誤差塊的編碼信息。在處理d204中，根 據該條件，如圖17所示，使用解碼完畢的圖像和樣板檢測動態矢量。 在處理d205中，從解碼完畢的圖像取得與動態矢量相對應的預測塊。 在處理d206中，把誤差塊的編碼信息解碼(例如，量化係數的反量化 和反離散餘弦變換)。在處理d207中，把解碼了的誤差塊與預測塊相 加，復原解碼塊，在處理d208中結束塊編碼處理。
除去動態矢量以外，對於在解碼一側生成參照幀、預測模式(單 向預測、雙向預測)、預測塊的生成方法(從2個預測塊生成1個預 測塊的方法)等與動態矢量有關的信息的情況，在編碼一側決定用於 生成這些信息所需要的條件，通過把該信息傳送到解碼一側，能夠提 高其信息的生成性能。另外，還包括一次生成的用於修正這些信息的 條件。
權利要求
1. 一種圖像解碼裝置，其特徵在於，具備視頻數據解碼單元，接收視頻編碼數據並進行解碼，得到多個再生圖像；輔助數據解碼單元，接收輔助數據並進行解碼，得到輔助動態信息；清晰度擴充單元，基於由上述輔助數據解碼單元得到的輔助動態信息，生成表示上述多個再生圖像之間的時空對應的動態矢量，使用所生成的動態矢量和由上述視頻數據解碼單元得到的多個再生圖像，生成空間清晰度高於上述多個再生圖像的高清晰圖像。
2. 根據權利要求1所述的圖像解碼裝置，其特徵在於 上述輔助動態信息包括輔助動態矢量，上述清晰度擴充單元把上述輔助動態矢量用作為上述動態矢量。
3. 根據權利要求1所述的圖像解碼裝置，其特徵在於 上述輔助動態信息包括作為為了生成上述動態矢量所需要的條件的動態矢量生成條件，上述清晰度擴充單元基於上述動態矢量生成條件從上述多個再 生圖像生成上述動態矢量。
4. 一種圖像編碼裝置，其特徵在於，具備 圖像取樣單元，把高清晰圖像變換為低清晰圖像； 視頻數椐編碼單元，把由上述圖像取樣單元生成的多個低清晰圖像壓縮編碼，生成編碼視頻數據；碎見頻數據解碼單元，把由上述視頻數椐編碼單元生成的編碼視頻 數據解碼，得到再生低清晰圖像；輔助動態信息生成單元，使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態矢量的生成中所需要的輔助動態信息；清晰度擴充單元，基於由上述輔助動態信息生成單元所生成的輔助動態信息，生成表示通過上述視頻數據解碼單元得到的多個再生低清晰圖像之間的時空對應的動態矢量，使用所生成的動態矢量和上述多個再生低清晰圖像，生成再生高清晰圖像；輔助數據編碼單元，把由上述輔助動態信息生成單元生成的輔助動態信息作為輔助數據進行編碼。
5. —種圖像解碼裝置，其特徵在於，具備 編碼數據解碼單元，接收編碼數據並進行熵解碼，得到作為為了生成動態矢量所需要的條件的動態矢量生成條件和表示預測誤差圖像 信號的編碼信息；用於保存解碼圖像信號的圖像存儲器；動態矢量生成單元，基於由上述編碼數據解碼單元得到的動態矢 量生成條件，從保存在上述圖像存儲器中的解碼圖像信號生成動態矢 量；預測圖像信號生成單元，使用由上述動態矢量生成單元生成的動態矢量和上述解碼圖像信號，生成預測圖像信號；解碼單元，把由上述編碼數據解碼單元得到的編碼信息進行解 碼，得到預測誤差圖像信號；保存單元，把由上述預測圖像信號生成單元生成的預測圖像信號 與由上述解碼單元得到的預測誤差圖像信號相加，復原解碼圖像信號， 把該解碼圖像信號保存在上述圖像存儲器中。
6. —種圖像編碼裝置，其特徵在於，具備 輸入單元，把輸入圖像信號進行輸入；用於保存解碼圖像信號的圖像存儲器； 動態矢量生成條件決定單元，基於由上述輸入單元所輸入的輸入 圖像信號，決定作為為了生成動態矢量所需要的條件的動態矢量生成條件；動態矢量生成單元，基於由上述動態矢量生成條件決定單元所決 定的動態矢量生成條件，從保存在上述圖像存儲器中的解碼圖像信號 生成動態矢量；預測圖像信號生成單元，使用由上述動態矢量生成單元生成的動 態矢量和上述解碼圖像信號，生成預測圖像信號；預測誤差圖像信號生成單元，從由上述輸入單元輸入的輸入圖像 信號和由上述預測圖像信號生成單元生成的預測圖像信號，生成預測 誤差圖像信號；編碼信息取得單元，把由上述預測誤差圖像信號生成單元生成的預測誤差圖像信號編碼，得到編碼信息；局部解碼單元，把由上述編碼信息取得單元取得的編碼信息解碼，得到解碼預測誤差圖像信號；保存單元，從由上述預測圖像信號生成單元所生成的預測圖像信 號和由上述局部解碼單元得到的解碼預測誤差圖像信號，復原解碼圖 像信號，把該解碼圖像信號保存在上述圖像存儲器中；編碼數據生成單元，把由上述動態矢量生成條件決定單元所決定 的動態矢量生成條件和由上述編碼信息取得單元取得的編碼信息進行 熵編碼，生成編碼數據。
7.—種圖像解碼方法，其特徵在於，具備視頻數據解碼步驟，接收視頻編碼數據並進行解碼，得到多個再 生圖像；輔助數據解碼步驟，接收輔助數據並進行解碼，得到輔助動態信息；清晰度擴充步驟，基於在上述輔助數據解碼步驟中得到的輔助動 態信息，生成表示上述多個再生圖像之間的時空對應的動態矢量，使 用所生成的動態矢量和在上述視頻數據解碼步驟中得到的多個再生圖 像，生成空間清晰度高於上述多個再生圖像的高清晰圖像。
8. —種圖像編碼方法，其特徵在於，具備 圖像取樣步驟，把高清晰圖像變換為低清晰圖像； 視頻數據編碼步驟，把在上述圖像取樣步驟中生成的多個低清晰圖像壓縮編碼，生成編碼視頻數據；視頻數據解碼步驟，把在上述視頻數據編碼步驟中生成的編碼視 頻數據解碼，得到再生低清晰圖像；輔助動態信息生成步驟，使用上述高清晰圖像或者上述低清晰圖 像，生成在上述動態矢量的生成中所需要的輔助動態信息；清晰度擴充步驟，基於在上述輔助動態信息生成步驟中生成的輔 助動態信息，生成表示在上述視頻數據解碼步驟中得到的多個再生低 清晰圖像之間的時空對應的動態矢量，使用所生成的動態矢量和上述 多個再生低清晰圖像生成再生高清晰圖像；輔助數據編碼步驟，把在上述輔助動態信息生成步驟中生成的輔 助動態信息作為輔助數據進行編碼。
9. 一種圖像解碼方法，其特徵在於，具備編碼數據解碼步驟，接收編碼數據並進行熵解碼，得到作為為了 生成動態矢量所需要的條件的動態矢量生成條件和表示預測誤差圖像信號的編碼信息；動態矢量生成步驟，基於在上述編碼數據解碼步驟中得到的動態 矢量生成條件，從保存在圖像存儲器中的解碼圖像信號生成動態矢量；預測圖像信號生成步驟，使用在上述動態矢量生成步驟中生成的 動態矢量和上述解碼圖像信號，生成預測圖像信號；解碼步驟，把在上述編碼數據解碼步驟中得到的編碼信息進行解 碼，得到預測誤差圖像信號；保存步驟，把在上述預測圖像信號生成步驟中生成的預測圖像信 號和在上述解碼步驟中得到的預測誤差圖像信號相加，復原解碼圖像 信號，把該解碼圖像信號保存在上述圖像存儲器中。
10.—種圖像編碼方法，其特徵在於，具備 輸入步驟，把輸入圖像信號進行輸入；動態矢量生成條件決定步驟，基於在上述輸入步驟中所輸入的輸 入圖像信號，決定作為為了生成動態矢量所需要的條件的動態矢量生 成條件；動態矢量生成步驟，基於在上述動態矢量生成條件決定步驟中所 決定的動態矢量生成條件，從保存在圖像存儲器中的解碼圖像信號生 成動態矢量；預測圖像信號生成步驟，使用在上述動態矢量生成步驟中生成的 動態矢量和上述解碼圖像信號，生成預測圖像信號；預測誤差圖像信號生成步驟，從在上述輸入步驟中輸入的輸入圖 像信號和在上述預測圖像信號生成步驟中生成的預測圖像信號，生成預測誤差圖像信號；編碼信息取得步驟，把在上述預測誤差圖像信號生成步驟中生成的預測誤差圖像信號編碼，得到編碼信息；局部解碼步驟，把在上述編碼信息取得步驟中得到的編碼信息解碼，得到解碼預測誤差圖像信號；保存步驟，從在上述預測圖像信號生成步驟中所生成的預測圖像信號和在上述局部解碼步驟中得到的解碼預測誤差圖像信號，復原解 碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中；編碼數據生成步驟，把在上迷動態矢量生成條件決定步驟中所決 定的動態矢量生成條件和在上述編碼信息取得步驟中得到的編碼信息 進行熵編碼，生成編碼數據。
全文摘要
本發明提供圖像解碼裝置、圖像解碼程序、圖像解碼方法、圖像編碼裝置、圖像編碼程序以及圖像編碼方法。其中，圖像解碼裝置具備接收視頻編碼數據進行解碼，得到多個再生圖像的視頻數據解碼單元；接收輔助數據進行解碼，得到輔助動態信息的輔助數據解碼單元；基於由輔助數據解碼單元得到的輔助動態信息，生成表示多個再生圖像之間的時空對應的動態矢量，使用所生成的動態矢量和由視頻數據解碼單元得到的多個再生圖像，生成空間清晰度高於多個再生圖像的高清晰圖像的清晰度擴充單元。
文檔編號G06T3/40GK101437162SQ200810175399
公開日2009年5月20日 申請日期2005年11月18日 優先權日2004年11月19日
發明者文仲丞, 鈴木芳典, 陳朝慶 申請人:株式會社Ntt都科摩