Imageinterpolationwithhaloreduction的製作方法

2023-05-24 14:01:26

專利名稱：Image interpolation with halo reduction的製作方法
技術領域：
本發明涉及圖像插值中減少運動補償偽像，更具體地涉及在插值圖像中減少光
背景技術：
基於運動補償的圖像插值是發展成熟的技術。運動補償的一個示例是幀速率轉換 (FRC)，其經常用於提高(或降低)視頻的刷新速率，以及增多(或減少)每秒顯示的圖像。 對視頻進行插值以使每秒的圖像數目更多的一個優點在於，LCD面板中可用的刷新速率越 高，運動表現得更流暢。另一優點在於，將通常為每秒24幀(24fps)的影片內容轉換為可 以是30、50、60、100、120、200或24(^ 8的視頻。插值成更少圖像的優點在於，在常用的例 如60Hz國家電視系統委員會(NTSC)等標準與逐行倒相(PAL)標準的50Hz之間的轉換。FRC是極具挑戰性的，特別在實時視頻中。許多先前的技術方案已嘗試解決該問 題；然而，這些技術方案全都引入偽像，特別是在實時應用中。對於運動補償(MC)和運動估 計(ME)，大多數現有技術方法使用基於塊的運動矢量(MV)估計。這些現有技術方案甚至對 於逐行掃描圖像，也會引起許多偽像，包括光暈效應、閃爍以及塊偽像。當MV估計基於固定的預定大小的像素塊時，會出現塊偽像。在這種情況下，認為 塊中所有像素都具有相同的MV，即使在塊內存在以不同方式運動的不同對象或區域。此外， 當給定塊的相鄰塊出於任何原因而具有不同的估計運動矢量時，塊邊界變得更加明顯，因 為在不同相鄰塊中，相同區域的像素會發生不同的位移。閃爍是運動補償圖像插值中的另一種偽像。當圖像序列中少數像素的運動矢量從 一幀到另一幀出現不一致時，會發生這種偽像。這種不一致一般是由於小區域中錯誤的運 動矢量計算。當視頻序列中圖像中的前景對象相對於背景進行運動時，在該對象周圍出現光暈 效應。背景可以是固定不動的，對象是運動的，或者反之。在一些情況下，對象和背景兩者 都是運動的，例如在視頻遊戲序列中可以是這種情況。光暈效應的根源在於遮擋區域中的 錯誤MV估計。光暈效應的視覺感知是，對象看上去在其周圍具有不同特徵的光暈。例如， 在場景中行走的人的臉可能看上去被光暈包圍著，似乎背景的一部分與臉一同運動。已經開發了多種光暈減少算法。光暈減少可以基於美國專利No. 6，625，333中描 述的基於對象的插值。然而，這種技術意味著對象分割和對象著色，這需要額外的幀存儲器 和額外帶寬。此外，所提出的MV校正需要多個基於幀的迭代，這不適合實時處理。也已經提出了多幀方案，涉及對多於兩幀的數據的分析。例如美國專利No. 6，005，639，美國專利No. 6，011，596，美國專利No. 7，010，039，美國申請公開 No. 2007/0121725A1,以及 K. Sugiyama，T. Aoki 禾口 S. Hangai 的"Motion Compensated Frame Rate Conversion Using Normalized Motion Estimation，，，2005 IEEE Workshop on Signal Processing Systems-Design and Implementation(SiPS 2005), Athens, Greece。 用於覆蓋/去除覆蓋/無遮擋檢測以及MV校正的多幀方案本質上基於較早的先前圖像幀 以及在後較遠處的未來圖像幀。多幀方案需要較大的圖像存儲器、以及存儲器與處理器之 間顯著增大的帶寬。 已經提出的兩幀方案基於MV校正(或重估計)、插值策略、以及/或者這兩種方法 的混合。在MV校正中，將前景和背景運動矢量分離開來，這也是一種減少光暈效應的可能 方法。在美國公開No. US 2006/0072790 A1中已提出了使用設置在圖像邊界處的一些運動 矢量來作為可能的背景MV。然而，這種邊界MV是背景MV的假設不一定是有效的，並且背景 MV估計需要附加的幀等待時間和額外的存儲器。G. de Haan 的"IC for Motion-Compensated De-Interlacing, Noise Reduction and Picture Rate Conversion", IEEE Trans, on CE, Vol. 45, No. 3, Aug 1999 中出了中 值濾波，作為插值策略的示例。在該文獻中，中值濾波插值是前向圖像插值、後向圖像插值、 以及兩個現有圖像的平均值之中的中間值。此外，使用單個遞歸估計的MV來獲得前向和後 向MV。所描述的中值濾波插值能夠在無遮擋區域中得到總體良好的結果。然而，在遮擋區 域中，使用中值濾波方法估計的MV不再正確。美國專利No. 7，039，109中提出了各個單獨插值的加權均值。同樣，相鄰組中MV 提供的每個單獨插值基於對前向插值、後向插值以及兩個現有圖像的均值的中值濾波。該 專利中描述的MV是基於塊的，並且是從當前圖像到下一圖像的前向估計。為各個單獨插值 指定的權重是根據相鄰組中MV的預測亮度以及/或相對出現頻率之差的可靠性測量。為 了複雜度降低目的，還提供了 MV邊緣檢測。然而，基於組或塊的MV方案會帶來塊效應。此 外，在畫面的遮擋部分，塊的單個(前向)MV可能不夠。此外，MV邊緣檢測僅僅對於軟體仿 真效果較好。同樣，基於像素的圖像平均會使遮擋區域中的插值圖像模糊，或者當MV較大 時會得到圖像倍增效應。美國專利No. 6，219，436中，為了更高精度，提出了覆蓋/去除覆蓋檢測，這是具有 二次或4次冪誤差的二次基於塊的ME。提出了根據檢測到的「真實」覆蓋/去除覆蓋區域， 使用移動位置處的MV來進行MV校正。然而，事實上，對於檢測到的區域，具有適當均值的 多種中值濾波策略是該專利中提出的優選方案。在美國專利No. 6，487，313和美國專利No. 7，058，227中均假設MV場中的不連續 對應於運動對象的邊界。由此，提出了使用MV長度來確定遮擋區域、採用較小的塊尺寸進 行附加雙向插值誤差計算來提高檢測到的遮擋區域的精度、以及針對最終插值的多種中值 濾波。然而，當對象是由平坦但有噪聲的區域構成時，MV長度不一定是可靠的參數。MV場 中的不連續以及運動對象的邊界要求一定的較高精度，由於MV未校正，中值濾波仍然是特 定技術。因此，需要提供一種快速的圖像平面插值，其不需要大存儲量來實現。

發明內容
根據本發明實施例的圖像插值器可以包括運動估計器，估計第一圖像和第二圖 像之間基於塊的運動矢量；運動矢量選擇器，與運動估計器連接，根據基於塊的運動矢量， 提供選定的運動矢量；第一插值器，連接以接收選定的運動矢量，並提供針對第一圖像和第 二圖像之間平面的第一插值圖像；以及第二插值器，連接以接收第一插值圖像，對選定的運 動矢量進行校正以形成校正運動矢量，並基於校正運動矢量來提供第二插值圖像。根據本發明的另一圖像插值器可以包括基於塊的運動估計器，連接以接收相鄰 圖像，基於塊的運動估計器提供基於塊的運動矢量、基於塊的運動矢量、前向誤差和後向誤 差；運動矢量選擇器，與基於塊的運動估計器連接，運動矢量選擇器提供基於像素的選定的 前向運動矢量和選定的後向運動矢量，並提供基於像素的前向和後向誤差；第一圖像插值 器，與基於塊的運動估計器和運動矢量選擇器連接，第一圖像插值器根據選定的前向運動 矢量和選定的後向運動矢量來提供第一插值圖像；第二圖像插值器，與第一圖像插值器和 運動矢量選擇器連接，第二圖像插值器提供第二插值圖像、以及校正前向運動矢量和校正 後向運動矢量；以及後處理塊，與第一圖像插值器和第二圖像插值器連接，後處理塊根據第 二插值圖像、以及校正前向運動矢量和校正後向運動矢量，提供最終插值圖像。根據本發明實施例的在第一和第二相鄰圖像之間進行圖像插值的方法，包括估 計第一和第二相鄰圖像之間的基於塊的前向運動矢量和基於塊的後向運動矢量；根據基於 塊的前向運動矢量以及前向誤差函數，為圖像中每一個像素選擇前向運動矢量；根據基於 塊的後向運動矢量以及後向誤差函數，為圖像中每一個像素選擇後向運動矢量；根據選定 的後向運動矢量、選定的前向運動矢量、基於塊的前向估計誤差以及基於塊的後向估計誤 差，對第一圖像插值；基於選定的前向運動矢量和選定的後向運動矢量的前向和後向加權 誤差，根據第一圖像，對第二圖像插值；以及根據第二圖像確定所述圖像。以下參照附圖，進一步描述根據本發明的上述和其他實施例。


圖1示出了兩個相鄰圖像之間的圖像平面插值。圖2示出了根據本發明的圖像插值器的實施例的框圖。圖3示出了在根據本發明的一些實施例中使用的前景、背景、覆蓋和去除覆蓋區域。圖4A示出了運動對象以及中心在前景區域中的滑動窗。圖4B示出了運動對象以及中心在遮擋區域中的滑動窗。圖5A示出了中心在前景區域中的、分割成三個區域的滑動窗。圖5B示出了中心在遮擋區域中的、分割成三個區域的滑動窗。圖6示出了 MV校正的可能決策。圖7示出了在兩個現有連續圖像之間插值多個圖像。圖8示出了針對光暈減少的如圖2所示的第二運動插值器。圖9示出了背景網格後處理中針對光暈減少的進一步處理。圖10示出了可以在後處理中執行的針對閃爍減少的處理。如果可能，附圖中具有相同或類似功能的元件具有相同的標記指示。
具體實施例方式在幀速率轉換(FRC)應用中，「光暈效應」是在前景對象相對於具有細節的背景而 運動時出現的視覺偽像。根據本發明的用於減少光暈效應的系統包括基於像素的運動矢 量(MV)選擇、初步插值、針對MV前景/背景校正的局部形狀自適應加窗、以及具有一些附 加的後處理的最終插值。初步和最終圖像插值基於前向和後向運動矢量估計的局部絕對差 和(SAD)的發生頻率。針對光暈減少的MV校正可以基本上基於局部圖像亮度和局部MV變 化。一些實施例是非迭代技術，這對於圖像存儲器使用以及圖像存儲器與圖像處理器之間 的通信帶寬而言是高效的。圖1示出了要根據兩個連續圖像104和106而插值的插值圖像(a -平面)102 的時間位置。與提出的多幀方案(參見美國專利No. 6，005，639，美國專利No. 6，011，596， 美國專利 No. 7，010, 039，美國申請公開 No. 2007/0121725A1,以及 K. Sugiyama, T. Aoki 和
S. Hangai 的"Motion Compensated Frame Rate Conversion Using Normalized Motion
Estimation")相反，插值圖像102隻基於來自兩個連續圖像(S卩，圖像1041^以及圖像 106IJ的信息。如圖1所示，圖像104和106用於在被稱為「Alpha( a)平面」的任意時間 距離處來插值圖像102，該a平面在時間上與圖像1041^的距離是a，與圖像106In的距 離是(l_a )。因為只有兩個現有圖像用於插值，所以根據本發明的一些實施例在存儲器、帶 寬和速度方面具有優勢。本發明的一些實施例得到視覺上期望的插值圖像，並提供可接受 的實時FRC方案。圖2示出了根據本發明的圖像插值器200的實施例。將表示圖像1041^以及圖 像106In的數據輸入至圖像插值器200。從圖像插值器200輸出與a-平面中圖像102相 對應的插值圖像If。圖像插值器200包括運動估計器(ME) 202、運動矢量選擇器(MVS) 204、 第一運動插值器(Mil) 210、第二運動插值器(MI2)206、以及後處理(PP)模塊208。ME 202、 MVS 204,Mil 210、MI2 206和PP 208中每一個接收圖像輸入In_i和In。如圖1所示，對於單個塊，運動估計器202分析圖像數據1 和In_i，並提供前向運 動矢量(MVF)和後向運動矢量(MVB)。ME 202可以是用於估計前向運動矢量MVF和後向運 動矢量MVB的塊匹配算法。前向運動矢量(MVF)指示了圖像1041^中給定圖像塊相對於 圖像106In中匹配塊的位移。後向運動矢量(MVB)指示了圖像106In中給定圖像塊相對於 圖像1041^中匹配塊的位移。此外，ME 202產生針對全搜索估計的前向和後向絕對差和 誤差SADF和SADB，以分別生成MVF和MVB。在數學上，SADF、SADB、MVF和MVB可以如下定 義
權利要求
一種在第一和第二相鄰圖像之間插值圖像的方法，包括估計第一和第二相鄰圖像之間的基於塊的前向運動矢量和基於塊的後向運動矢量；根據基於塊的前向運動矢量以及前向誤差函數，為所述圖像中每一個像素選擇前向運動矢量；根據基於塊的後向運動矢量以及後向誤差函數，為所述圖像中每一個像素選擇後向運動矢量；根據選定的後向運動矢量、選定的前向運動矢量、基於塊的前向估計誤差以及基於塊的後向估計誤差，插值第一圖像；基於選定的前向運動矢量和選定的後向運動矢量的前向和後向加權誤差，根據第一圖像，插值第二圖像；以及根據第二圖像確定所述圖像。
2.根據權利要求1的方法，其中，估計基於塊的前向估計誤差和估計基於塊的後向估 計誤差包括計算前向絕對差和誤差以及後向絕對差和誤差。
3.根據權利要求1的方法，其中，估計基於塊的前向運動矢量和基於塊的後向運動矢 量是自適應的。
4.根據權利要求1的方法，其中，估計基於塊的前向運動矢量和基於塊的後向運動矢 量是對隔行掃描圖像執行的。
5.根據權利要求1的方法，其中，選擇前向運動矢量或者選擇後向運動矢量包括將基 於塊的運動矢量轉換為所述圖像的基於像素的運動矢量。
6.根據權利要求1的方法，其中，前向誤差函數和後向誤差函數是根據第一和第二相 鄰圖像而估計的圖像中運動矢量之間的差的和。
7.根據權利要求1的方法，其中，前向誤差函數和後向誤差函數是合成局部誤差。
8.根據權利要求1的方法，其中，前向誤差函數和後向誤差函數是加權局部誤差。
9.根據權利要求1的方法，其中，插值第一圖像包括根據塊誤差函數的基於像素的值、以及圖像中相對於第一和第二相鄰平面的位置α， 計算像素數目；根據選定的前向運動矢量、選定的後向運動矢量、基於所述像素數目的歸一化的像素 數目、以及位置α，計算第一圖像。
10.根據權利要求9的方法，其中，插值第一圖像是基於上下文的插值。
11.根據權利要求9的方法，其中，插值第一圖像包括時間距離的函數。
12.根據權利要求1的方法，其中，插值第二圖像包括 減少光暈效應；混合運動矢量； 對運動矢量濾波；以及 圖像插值。
13.根據權利要求12的方法，其中，減少光暈效應包括根據所述圖像的平面中的局部亮度信息、選定的前向運動矢量、以及對應的局部加權 前向最小誤差，分割局部滑動分割窗，該局部滑動分割窗具有針對前向運動矢量的感興趣 的多個像素組；根據所述圖像的平面中的局部亮度信息、選定的後向運動矢量、以及對應的局部加權 後向最小誤差，分割局部滑動分割窗，該局部滑動分割窗具有針對後向運動矢量的感興趣 的多個像素組；根據所述感興趣的多個像素組之一的當前位置，校正所述選定的前向運動矢量，以提 供減少光暈效應的校正前向運動矢量；以及根據所述感興趣的多個像素組之一的當前位置，校正所述選定的後向運動矢量，以提 供減少光暈效應的校正後向運動矢量。
14.根據權利要求13的方法，其中，混合運動矢量包括通過將所述校正前向運動矢量與所述選定的前向運動矢量之差乘以前向估計誤差，並 與所述選定的前向運動矢量相加，來計算調整前向運動矢量。
15.根據權利要求14的方法，其中，混合運動矢量還包括通過將所述校正後向運動矢量與所述選定的後向運動矢量之差乘以後向估計誤差，並 與所述選定的後向運動矢量相加，來計算調整後向運動矢量。
16.根據權利要求15的方法，其中，對運動矢量濾波包括用中值前向運動矢量替代調整前向運動矢量，並用中值後向運動矢量替代調整後向運 動矢量。
17.根據權利要求16的方法，其中，圖像插值包括根據所述調整前向運動矢量和所述調整後向運動矢量，形成第二圖像。
18.根據權利要求17的方法，其中，形成第二圖像包括通過對圖像的時間位置的二次 修正來進行插值。
19.根據權利要求1的方法，其中，確定所述圖像包括通過減少光暈效應以及通過減 少閃爍效應，對第二圖像進行後處理。
20.根據權利要求19的方法，其中，減少光暈效應包括 檢測網格背景；校正運動矢量； 插值最終圖像；以及 將校正混合到最終圖像中。
21.根據權利要求20的方法，其中，減少閃爍效應包括 檢測閃爍；確定鄰域平均；以及將鄰域平均與最終圖像混合，以形成所述圖像。
22.—種圖像插值器，包括基於塊的運動估計器，連接以接收相鄰圖像，基於塊的運動估計器提供基於塊的運動 矢量、基於塊的運動矢量、前向誤差和後向誤差；運動矢量選擇器，與基於塊的運動估計器連接，運動矢量選擇器提供基於像素的選定 的前向運動矢量和選定的後向運動矢量，並提供基於像素的前向和後向誤差；第一圖像插值器，與基於塊的運動估計器和運動矢量選擇器連接，第一圖像插值器根 據選定的前向運動矢量和選定的後向運動矢量來提供第一插值圖像；第二圖像插值器，與第一圖像插值器和運動矢量選擇器連接，第二圖像插值器提供第二插值圖像、以及校正前向運動矢量和校正後向運動矢量；以及後處理模塊，與第一圖像插值器和第二圖像插值器連接，後處理模塊根據第二插值圖 像、以及校正前向運動矢量和校正後向運動矢量，提供最終插值圖像。
23.根據權利要求22的圖像插值器，其中，第二圖像插值器包括光暈減少器，利用滑動窗來校正選定的前向運動矢量和選定的後向運動矢量； MV混合模塊，進一步校正選定的前向運動矢量和選定的後向運動矢量； 孤立MV濾波器，進一步校正選定的前向運動矢量和選定的後向運動矢量，以生成校正 前向運動矢量和校正後向運動矢量；以及第二圖像插值器，根據校正前向運動矢量和校正後向運動矢量，插值圖像。
24.根據權利要求22的圖像插值器，其中，後處理模塊包括 光暈減少器；以及閃爍減少器。
25.根據權利要求24的圖像插值器，其中，光暈減少器包括 網格背景檢測器；網格運動矢量校正器，與網格背景檢測器連接，網格運動矢量校正器對校正前向運動 矢量和校正後向運動矢量進行校正；以及圖像插值器，根據網格運動矢量校正器校正的運動矢量，插值圖像。
26.根據權利要求24的圖像插值器，其中，閃爍減少器包括 孤立元素檢測器，檢測孤立運動矢量或孤立像素；以及 鄰域平均計算器。
27.一種圖像插值器，包括運動估計器，估計第一圖像和第二圖像之間基於塊的運動矢量； 運動矢量選擇器，與運動估計器連接，根據基於塊的運動矢量，提供選定的運動矢量； 第一插值器，連接以接收選定的運動矢量，並提供針對第一圖像和第二圖像之間平面 的第一插值圖像；以及第二插值器，連接以接收第一插值圖像，對選定的運動矢量進行校正以形成校正運動 矢量，並基於校正運動矢量來提供第二插值圖像。
全文摘要
文檔編號H04N7/01GK101953167SQ20088012692
公開日2011年1月19日 申請日期2008年12月18日 優先權日2007年12月20日
發明者Tran Thuy-Ha Thi, Ledinh Chon Tam 申請人:Integrated Device Tech