產生內插幀的方法和裝置的製作方法
2023-06-17 03:10:21
專利名稱：產生內插幀的方法和裝置的製作方法
技術領域：
本發明涉及產生內插於兩幀之間的內插幀的內插幀產生方法和內插幀產生裝置。
背景技術：
圖像顯示器一般包括兩類；只在圖像寫入後磷光的餘輝期間連續發射的脈衝型顯示器(例如CRT或場發射型顯示器(FED))，及在新讀入圖像之前連續保持前幀的顯示的保持型顯示器(例如液晶(LCD)，電致發光顯示器(ELD))。
保持型顯示器的一個問題是在運動圖像顯示中發生的模糊現象。模糊現象的發生是由於當運動物體在幾個幀的圖像中出現，且觀察者的眼睛跟隨運動物體的運動時，幾個幀的圖像以疊加的方式投射到視網膜上的事實引起的。
在被顯示圖像從前幀切換至下一幀之前，雖然在同一前幀中的圖像被連續顯示，但人眼預期圖像在下一幀上的圖像的顯示，並在前幀圖像上的運動物體的運動方向上移動的同時觀看該圖像。換句話說，由於眼睛的跟隨運動是連續的，且進行的取樣比幀間隔更精細，因此人眼觀看兩相鄰幀之間的圖像，看到的是模糊的圖像。
為了解決這一問題，只能使顯示的幀間隔更短。這樣，可能改善具有少數目顯示幀的運動畫面中的不自然的運動。作為一種特定的方法，考慮利用在MPEG2(運動畫面專家組版本2)中使用的運動補償來產生內插圖像並將其內插於相鄰幀之間。
運動補償採用通過塊匹配檢測的運動矢量。但是，由於MPEG2中在塊基礎上產生圖像，當在塊中包含其運動不同的幾個物體時，發生相關的部分和非相關的部分，引起非相關的部分中的塊失真。
已經揭示了為解決這樣的問題的幀內插法(例如，參見日本專利申請公開公報No.2000-224593)。將一個塊分解成幾個區域，對每個區域求出運動矢量。這樣，當其運動不同的幾個物體包含在該塊中時，可以減小塊的失真。而且，應用適合於通過閾值將塊分解成多個區域的運動矢量檢測法，以及應用適合於在被分解成多個區域後的像素塊的運動矢量檢測法，從而為每個區域檢測最佳的運動矢量。
日本專利申請公開公報No.2000-224593中揭示的幀內插法使圖像質量的下降減小，但不能精確地計算遮蔽區域的運動矢量。
發明內容
根據本發明的一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法包括將內插幀分解為幾個包含幾個像素的內插區域；從第一參考區域和第二參考區域之間的幾個組合中對於每個內插區域檢測最相關的組合，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插區域、所述多個組合的每一個組合的第一參考區域和所述多個組合的每一個組合的第二參考區域以直接的時間方式排列；從包括在被檢測組合中的第一參考區域和第二參考區域取得運動矢量；確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域相應於第一參考區域和第二參考區域中被確定為高相關區域的內插區域；用運動矢量未檢出區域、第一區域、第三參考幀、第二區域及第四參考幀通過運動估計確定將給予運動矢量未檢出區域的運動矢量，第一區域在第一參考幀內並被確定為低相關區域，以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上，第二區域在第二參考幀內並被確定為低相關區域，以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上，運動矢量未檢出區域相應於第一參考區域和第二參考區域中被確定為低相關區域的內插區域；和根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
根據本發明的另一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法包括將第一參考幀分解為幾個各由幾個像素構成的第一參考區域；檢測在第二參考幀中具有與第一參考區域相同的大小和形狀的並與其最相關的第二參考區域，取得被檢測的第二參考區域和第一參考區域的運動矢量；確定第一參考區域和第二參考區域在高相關區域內還是在低相關區域內；將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域被確定為高相關區域；用運動矢量未檢出區域和第三參考幀通過運動估計確定運動矢量未檢出區域的運動矢量，以第一參考幀為參考，第三參考幀處在時間上與第二參考幀相反的方向上，運動矢量未檢出區域被確定為低相關區域且在第一參考區域內；以及根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
根據本發明的再一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法包括將內插幀分解為幾個各由幾個像素構成的內插區域；從第一參考區域和第二參考區域之間的多個組合中對於每個內插區域檢測最相關的組合，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插區域、所述幾個組合的每一個組合的第一參考區域和所述幾個組合的每一個組合的第二參考區域以直接的時間方式排列；從包括在被檢測組合中的第一參考區域和第二參考區域取得運動矢量；確定第一參考區域和第二參考區域在高相關區域內還是在低相關區域內；將運動矢量給予相應於第一參考區域和第二參考區域中被確定為高相關區域的內插區域的運動矢量檢出區域；將運動矢量給予相應於第一參考區域和第二參考區域中被確定為低相關區域的內插區域的運動矢量未檢出區域；和根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀。
根據本發明的再一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法包括將第一參考幀分解為幾個各由幾個像素構成的第一參考區域；檢測在第二參考幀中具有與第一參考區域相同的大小和形狀並與第一參考區域最相關的第二參考區域，取得檢測的第二參考區域和第一參考區域的運動矢量；確定第一參考區域和第二參考區域在高相關區域內還是在低相關區域內；將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域被確定為第一參考區域中的高相關區域；將給予排列在運動矢量未檢出區域周圍的運動矢量檢出區域的運動矢量給予運動矢量未檢出區域，該運動矢量未檢出區域被確定為第一參考區域中的低相關區域；和根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀。
根據本發明的再一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置包括將內插幀分解為幾個包含幾個像素的內插區域的內插分解單元；從第一參考區域和第二參考區域之間的幾個組合中對於每個內插區域檢測最相關組合的組合檢測單元，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插區域、所述幾個組合的每一個組合的第一參考區域和所述幾個組合的每一個組合的第二參考區域以直接的時間方式排列；從包括在被檢測的組合中的第一參考區域和第二參考區域取得運動矢量的運動估計單元；確定第一參考區域和第二參考區域在高相關區域內還是低相關區域內的相關度確定單元；將運動矢量給予運動矢量檢出區域的給予單元，該運動矢量檢出區域相應於第一參考區域和第二參考區域中被確定為高相關區域的內插區域；用運動矢量未檢出區域、第一區域、第三參考幀、第二區域和第四參考幀通過運動估計確定將給予運動矢量未檢出區域的運動矢量的運動矢量確定單元，第一區域在第一參考幀內並被確定為低相關區域，以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上，第二區域在第二參考幀內並被確定為低相關區域，以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上，運動矢量未檢出區域相應於第一參考區域和第二參考區域中被確定為低相關區域的內插區域；和根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀的運動補償單元。
根據本發明的再一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置包括將第一參考幀分解為幾個各由幾個像素構成的第一參考區域的區域產生單元；檢測在第二參考幀中具有與第一參考區域相同的大小和形狀並與其最相關的第二參考區域的第二參考檢測單元；取得被檢測的第二參考區域和第一參考區域的運動矢量的運動估計單元；確定第一參考區域和第二參考區域在高相關區域內還是在低相關區域內的相關度確定單元；將運動矢量給予運動矢量檢出區域的給予單元，該運動矢量檢出區域被確定為高相關區域；用運動矢量未檢出區域和第三參考幀通過運動估計確定運動矢量未檢出區域的運動矢量的運動矢量確定單元，以第一參考幀作為參考，第三參考幀處在時間上與第二參考幀相反的方向上，運動矢量未檢出區域被確定為低相關區域並在第一參考區域內；和根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀的運動矢量補償單元。
根據本發明的再一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置包括將內插幀分解為幾個各由幾個像素構成的內插區域的區域產生單元；從第一參考區域和第二參考區域之間的多個組合中對於每個內插區域檢測最相關組合的組合檢測單元，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插區域、所述多個組合的每一個組合的第一參考區域和所述多個組合的每一個組合的第二參考區域被排列為直接的時間方式；從包括在被檢測的組合中的第一參考區域和第二參考區域取得運動矢量的運動估計單元；確定第一參考區域和第二參考區域在高相關區域內還是在低相關區域內的相關度確定單元；將運動矢量給予對應於在第一參考區域和第二參考區域中被確定為高相關區域的內插區域的運動矢量檢出區域的第一運動矢量給予單元；將運動矢量給予對應於在第一參考區域和第二參考區域中被確定為低相關區域的內插區域域的運動矢量未檢出區域的第二運動矢量給予單元；和根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀的運動補償單元。
根據本發明的再一個方面，一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置包括將第一參考幀分解為幾個各由幾個像素構成的第一參考區域的區域域產生單元；檢測具有與第一參考區域相同的大小和形狀並在第二參考幀中與第一參考區域最相關的第二參考區域的第二參考區域檢測單元；取得被檢測的第二參考區域和第一參考區域域的運動矢量的運動估計單元；確定第一參考區域和第二參考區域在高相關區域內還是在低相關區域內的相關度確定單元；將運動矢量給予運動矢量檢出區域的第一運動矢量給予單元，該運動矢量檢出區域被確定為第一參考區域中的高相關區域；將給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量給予運動矢量未檢出區域的第二運動矢量給予單元，該運動矢量未檢出區域被確定為第一參考區域中的低相關區域；和根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀的運動補償單元。
圖1是顯示內插圖像產生裝置的總體結構的框圖；圖2為說明內插幀的示意圖；圖3為說明塊創建單元的處理的示意圖；圖4是顯示由內插圖像產生裝置進行的內插圖像產生處理過程的流程圖；圖5是顯出包含在第一幀和第二幀中的圖像的示意圖；圖6是顯示與第二幀中的第二塊的最相關區域的示意圖；圖7是顯示第二塊的示意圖；圖8是顯示與第二幀中的第二塊的最相關區域的示意圖；圖9是顯示第二塊的示意圖；圖10是顯示內插幀的示意圖；圖11是顯示根據第一實施例的內插圖像產生裝置的硬體結構的示意圖；圖12是顯示根據第二實施例的內插圖像產生裝置100的內插圖像產生處理過程的流程圖；圖13是說明提取第一塊和第二塊的處理的示意圖；圖14是說明低相關區域的處理過程(步驟S310至步驟S314)的示意圖；圖15是說明低相關區域的處理過程(步驟S310至步驟S314)的示意圖；圖16是顯示內插塊的示意圖；圖17是說明將圖像分配到區域的處理的示意圖；
圖18是說明將圖像分配到另一區域的處理的示意圖；圖19是顯示根據第三實施例的內插圖像產生裝置的整體結構的框圖；圖20是說明內插幀的示意圖；圖21是說明參考區域的示意圖；圖22是顯示根據第三實施例的內插圖像產生裝置進行的高相關區域運動矢量分配處理過程的流程圖；圖23是說明在第一參考幀上求得參考區域和在第二參考幀內與第一參考幀上的參考區域最相關的區域位置(運動矢量)並計算其間的運動矢量的處理的示意圖；圖24是顯示在其間物體在靜止背景上運動的幀的示意圖；圖25是顯示相對於在處理目標參考區域提取處理(步驟S504)中提取的第一參考區域在運動估計處理(步驟S505)中提取的第二參考區域的示意圖；圖26是顯示在運動估計處理(步驟S505)中像素基礎上提取的第一參考區域和第二參考區域的示意圖；圖27是顯示相關度計算結果的示意圖；圖28是顯示參考區域和在相關度確定處理(步驟S507)中根據圖27所示的相關度計算結果分別分類成高相關區域和低相關區域的參考區域的示意圖；圖29是顯示第一參考幀和第二參考幀的高相關區域和低相關區域的示意圖；圖30是顯示當運動估計次數t為2時在參考區域提取處理(步驟S504)中提取的第一參考區域，和在運動估計處理(步驟S505)中相對於第一參考區域提取的第二參考區域的示意圖；圖31是顯示在運動估計處理(步驟S505)中提取的第二參考幀中第一參考區域和第二參考區域的每個像素的亮度值的示意圖；圖32是顯示在區域內相關度計算處理(步驟S506)中的相關性計算值(絕對差值)的示意圖；圖33是顯示在相關度確定處理(步驟S507)中分類的第一參考區域和第二參考區域的高相關區域的示意圖；圖34是顯示當完成相關度確定處理時第一參考幀和第二參考幀之間的相關度的示意圖；圖35是顯示由運動矢量未檢出區域處理單元進行的運動矢量未檢出區域處理過程的流程圖；
圖36是說明運動矢量未檢出區域周圍的運動矢量的示意圖；圖37是顯示處於時間上與第一參考幀和第二參考幀相反的方向上的另一個第三參考幀的示意圖；圖38是顯示區域提取處理(步驟S603)中提取的第三參考幀內的區域的示意圖；圖39是說明當運動矢量未檢出區域周圍存在幾個運動矢量時的處理的示意圖；圖40是說明運動矢量的比例變換的示意圖；圖41是說明將內插幀分解成多個區域的處理的示意圖；圖42是說明將內插幀分解成多個區域的處理的示意圖；圖43是說明物體在靜止背景上水平運動的實例的示意圖；圖44是顯示由根據第四實施例的內插圖像產生裝置進行的高相關區域運動矢量分配處理過程的流程圖；圖45是顯示進行用圖44說明的處理後每個幀中的相關度的示意圖；圖46是顯示由運動矢量未檢出區域處理單元進行的運動矢量未檢出區域處理過程的流程圖；圖47是顯示運動矢量未檢出區域周圍的運動矢量的示意圖；圖48是說明在區域提取處理(步驟S803)中的具體處理的示意圖；圖49是說明將運動矢量分配到運動矢量未檢出區域的處理的示意圖；圖50是說明用在內插幀中的運動矢量未檢出區域、第一參考幀和第三參考幀中的低相關區域的運動估計處理的示意圖；具體實施方式
以下將參考附圖詳述根據本發明的內插幀產生方法和內插幀產生裝置的示例性實施例。本發明不受所述實施例的限制。
圖1是顯示根據本發明的第一實施例的內插圖像產生裝置100(內插幀發生裝置)的整體結構的框圖。內插圖像產生裝置100包括塊產生單元102，幀存儲器106，相關塊提取單元108，部分區域指定單元120，高相關部分區域運動矢量計算單元124，低相關部分區域運動矢量計算單元128和運動補償單元130。
根據本實施例的內插圖像產生裝置100產生內插於包括在輸入圖像中的幾個幀之間的內插幀。圖2顯示包括在輸入圖像中的三個連續幀，即第一幀210、第二幀220及第三幀230。通過示例產生內插於第一幀210和第二幀220之間的內插幀300的情況來說明本實施例。
第一實施例中說明內插圖像產生裝置100產生兩個連續幀即第一幀210和第二幀220之間的內插幀的情況，但由內插圖像產生裝置100產生的內插幀可以只是內插於兩個不同幀之間的幀，並且不限於本實施例。
圖1所示的內插圖像產生裝置100中的塊創建單元102從外界獲取輸入運動畫面。然後，該裝置將獲取的輸入運動畫面中的參考幀分解成以矩陣排列的幾個塊。這裡，參考幀是當實施以塊為基礎的匹配時用來設定塊的幀。例如，第一幀210或第二幀220被假設為參考幀。
圖3是說明塊創建單元102的處理的示意圖。如圖3所示，塊創建單元102分解第二幀220以產生第二塊。換句話說，第二塊是包括在第二幀220中的各個塊。如圖3所示，塊創建單元102將第二幀220分解成在矩陣中的9個第二塊221至229。這裡第二幀220是參考幀。
幀存儲器106從外部獲取運動畫面並保持這些畫面。相關塊提取單元108從塊創建單元102獲取被分解成為幾個塊的第二幀220。另外，單元108從幀存儲器106獲取第一幀210。然後，單元108相對於第二幀220中的每個第二塊從第一幀210提取最相關的塊。下文中，從第一幀210提取的且與第二幀220中預定的第二塊最相關的塊被稱為第一塊。
部分區域指定單元120指定第二塊中高相關部分區域(運動矢量檢出區域)和低相關的部分區域(運動矢量未檢出區域)。這裡，高相關部分區域是與第一幀210中的預定區域較多相關的區域，低相關部分區域是與第一幀210中的預定區域較少相關的區域。
例如，當假定相關度值為一個差值時，包括在低相關塊中的像素的值與第一幀210中的像素的值之間的差值不小於預定閾值的區域被假定為低相關部分區域。另一方面，該差值小於該閾值的區域被假定為高相關部分區域。所述相關度值最好採用由亮度信息的絕對差值、色差信息的絕對差值、絕對差值的總和或高相關的像素的數目確定的值。
高相關部分區域運動矢量計算單元124計算由部分區域指定單元120指定的高相關部分區域的高相關部分區域運動矢量。這裡，高相關部分區域運動矢量是高相關部分區域和對應於該高相關部分區域的第一幀210中的區域之間的運動矢量。
低相關部分區域運動矢量計算單元128計算由部分區域指定單元120指定的低相關區域部分區域的低相關部分區域運動矢量。這裡，低相關部分區域運動矢量是在低相關部分區域和對應於該低相關部分區域的第三幀230中的區域之間的運動矢量。
運動補償單元130獲取由部分區域指定單元120指定的高相關部分區域和對應於該高相關部分區域的第一幀210中的區域。此外，單元130從高相關部分區域運動矢量計算單元124獲取高相關部分區域運動矢量。然後單元130根據高相關部分區域、對應於該高相關部分區域的第一幀210中的區域和高相關部分區域運動矢量產生內插幀中預定區域的圖像。這時，運動矢量受到比例變換，以在預定位置產生內插幀。
運動補償單元130進而獲取由部分區域指定單元120指定的低相關部分區域和對應於該低相關部分區域的第三幀230中的區域。此外，單元130從低相關部分區域運動矢量計算單元128獲取低相關部分區域運動矢量。然後單元130根據低相關部分區域、第三幀230中對應的區域和低相關部分區域運動矢量產生內插幀中預定區域的圖像。
當通過上述處理在內插幀300中的預定區域無任何圖像產生時，可根據相鄰於該區域的圖像、包括在第一幀210、第二幀220等中的圖像及這些幀之間的運動矢量通過加權平均值或中值處理產生該區域的圖像。
具體地說，被給予圖像未產生區域的運動矢量的平均值或中值被利用來產生該區域的圖像。
圖4是顯示由內插圖像產生裝置100進行的內插圖像產生處理過程的流程圖。首先，內插圖像產生裝置100獲取輸入圖像。假定內插圖像產生裝置100已經獲取第一幀210，且幀存儲器106保持該第一幀210。然後，塊創建單元102獲取跟隨第一幀210的第二幀220(步驟S100)。接著，單元102分解第二幀220以獲取幾個第二塊221至229(步驟S102)。
接著，相關塊提取單元108提取相對於第二塊的最相關塊，即從第一幀210提取第一塊(步驟S104)。這裡第一塊和第二塊具有相同的大小和形狀。
相關塊提取單元108具體計算包括在第二塊中的每個像素的值和第一幀210中預定塊的像素的值之間的差值。然後，提取其中差值的總和最小的塊作為第一塊。
作為另一個實例，對不大於預定閾值的包括在第二塊中的每個像素的值和第一幀210中預定塊的像素的值之間的差值的數量進行計數。所計數量最大的塊可被假定為第一塊。
接著，部分區域指定單元120指定第一塊210中的高相關部分區域和低相關部分區域(步驟S200)。高相關部分區域是第一塊中包括表示相關度值等於或大於閾值的像素的區域。低相關部分區域是第一塊中包括表示相關度值小於閾值的像素的區域。
這裡，參考圖5至9說明高相關部分區域和低相關部分區域。將說明的情況是，第二塊可分解成高相關部分區域和低相關部分區域，但整個第二塊可以是高相關部分區域。圖5表示包括在第一幀210和第二幀220中的圖像。圖5所示的第一幀210包括背景區域430和在背景區域430上以幀的水平方向運動的矩形運動物體432。背景區域430是靜止圖像。第二幀220包括背景區域430和類似於第一幀210的運動物體432。在第二幀220中，運動物體432正運動到比第一幀中的運動物體432更向右的位置。
如圖6所示，例如，與第二幀220中的第二塊225最相關的區域是第一幀210中區域211。其圖像只在背景430中匹配。因此，該區域是高相關部分區域。其他區域是低相關部分區域。換句話說，如圖7所示，第二塊225被分解成高相關部分區域2251和低相關部分區域2252。
如圖8所示，與第二幀220中的第二塊226最相關的區域是第一幀210中區域212。其圖像只在運動物體432中匹配。因此，該區域是高相關部分區域。其他區域是低相關部分區域。換句話說，如圖9所示，第二塊226被分解成高相關部分區域2261和低相關部分區域2262。
回到圖4。當目標部分區域是高相關部分區域(步驟S202為是)時，高相關部分區域運動矢量計算單元124計算在高相關部分區域和對應於該高相關部分區域的區域之間的高相關部分區域運動矢量(步驟S204)。這裡，對應於高相關部分區域的區域是第一幀210中的區域並具有與高相關部分區域相同的形狀和大小。
在圖5至9所說明的實例中，計算高相關部分區域2251的運動矢量和高相關部分區域2261的運動矢量。
接著，運動補償單元130根據由部分區域指定單元120取得的高相關部分區域、對應於該高相關部分區域的第一幀210中的區域及由高相關部分區域運動矢量計算單元124計算的高相關部分區域運動矢量產生內插幀中預定區域的圖像(步驟S206)。
圖10顯示通過上述處理產生的內插幀300。如上所述，在內插幀300中，運動物體432排列在第一幀210中的運動物體432和第二幀220中的運動物體432之間。在步驟S204和步驟S206的處理中，圖像不分配到運動物體432兩側的區域301和302。
當目標部分區域是低相關部分區域(步驟S202為否)時，低相關部分區域運動矢量計算單元128從其他幀提取對應於該低相關部分區域的區域(步驟S220)。本實施例中，單元128從第三幀230提取該區域。接著，低相關部分區域運動矢量計算單元128計算在低相關部分區域和從第三幀230提取的對應的區域之間的低相關部分區域運動矢量(步驟S222)。這裡，對應的區域具有與低相關部分區域相同的形狀和大小。
在圖5至9說明的實例中，計算低相關部分區域2252的運動矢量和低相關部分區域2262的運動矢量。
下文將詳細說明步驟S220中由低相關部分區域運動矢量計算單元128進行的處理。如圖10所示，對其不分配圖像的區域301和302仍然留在內插幀的一部分上。
這個區域是不能由第一幀210、第二幀220和它們之間的運動矢量確定的區域，即是遮蔽區域。例如，當在第一幀中被另一物體遮住的物體或背景在第二幀中出現時，就出現該遮蔽區域。為了產生該區域的圖像，必須提取對應於低相關部分區域的區域。
例如，在第一幀210中，運動物體432被重疊在與低相關部分區域2252中表示的背景430相同的背景430將出現的區域。因此，與低相關部分區域2252相同的圖像不出現在第一幀210中。
然而，因為運動物體432在連續運動，與在低相關部分區域2252中表示的背景430相同的背景430被包括在第一幀210以外的幀中。換句話說，可從第一幀210以外的幀提取該相同的圖像。
根據本實施例的內插圖像產生裝置100從第一幀210和第二幀220以外的幀提取包括與低相關部分區域2252相同的背景430(相同形狀和大小)的區域。本實施例中，從跟隨第二幀220的第三幀230提取與低相關部分區域2252相同的背景430。
雖然跟隨第二幀220的第三幀230被假定為第一實施例中檢測的目標，但目標幀可以是第一幀210、第二幀220以外的幀，或以第二幀220為參考，處於時間上與第一幀210相反方向上的幀，並且不限於第三幀。
接著，運動補償單元130根據由低相關部分區域運動矢量計算單元128計算的低相關部分區域運動矢量、低相關部分區域及第三幀230中對應的區域將圖像分配到內插幀300中的預定區域(步驟S224)。
當產生兩幀之間的內插幀時，參考該兩幀外的幀，因而也以良好的精度將圖像分配到內插幀的遮蔽區域。
圖11是顯示根據第一實施例的內插圖像產生裝置100的硬體結構的示意圖。作為硬體構成，內插圖像產生裝置100包括在其中存儲內插圖像產生裝置100中執行內插圖像產生處理的內插圖像產生程序的ROM 52，根據ROM 52中的程序控制內插圖像產生裝置100中的每一單元的CPU 51，在其中存儲控制內插圖像產生裝置100所需的各項數據的RAM 53，用於連接到網絡進行通信的通信I/F 57，和用於連接各個單元的總線62。
上述內插圖像產生裝置100中的內插幀產生程序可記錄於諸如帶可安裝形式或可執行形式的文件的CD-ROM、軟盤(商標品牌)(FD)或DVD的計算機可讀記錄介質並被提供。
在這種情況下，將內插幀產生程序從記錄介質中讀出並在內插圖像產生裝置100中執行而被加載到主存儲裝置中，這樣，在主存儲器中產生在軟體結構中說明的每個單元。
根據第一實施例的內插幀產生程序可存儲到連接於諸如網際網路的網絡上的計算機，並通過網絡下載而被提供。
已經用本發明的實施例說明了該裝置，但上述實施例可作多種修改和改進。
作為第一例修改，本實施例中，將塊分解成高相關部分區域和低相關部分區域，運動矢量被分配到每個部分區域，但作為替代，可在塊的基礎上分配運動矢量。換句話說，確定每個塊是高相關還是低相關的。高相關部分區域運動矢量計算單元124計算被確定為高相關的高相關塊的運動矢量。低相關部分區域運動矢量計算單元128計算被確定為低相關的低相關塊的運動矢量。
作為第二例修改，低相關部分區域可進一步分解成高相關區域和低相關區域，高相關區域部分區域運動矢量計算單元124和低相關部分區域運動矢量計算單元128可計算各自的區域的運動矢量。
進而，諸如運動估計、相關度確定和運動矢量計算的各種處理可對低相關區域遞推地實施，這樣低相關部分區域可進一步分解成高相關區域和低相關區域，以及這時得到的低相關區域可再分解成高相關區域和低相關區域。
接著，將說明根據第二實施例的內插圖像產生裝置100。根據第二實施例的內插圖像產生裝置100通過將內插幀300分解成多個塊，並以內插幀300為參考從第一幀210和第二幀220搜索高相關區域來產生內插幀300。在這一點上不同於根據第一實施例的內插圖像產生裝置100。
塊創建單元102將待內插的內插幀300分解成待內插的以矩陣排列的幾個塊，並獲得幾個內插塊。相關塊提取單元108對第一幀210和第二幀220中通過待內插的每個塊的直線上的區域實施相關度計算。這樣，提取一對最相關的區域。
圖12是顯示根據第二實施例的內插圖像產生裝置100的內插圖像產生處理過程的流程圖。取得第二幀220後，相關塊提取單元108分解內插幀300並取得幾個內插塊(步驟S300)。接著，從第一幀210和第二幀220提取具有與待內插的塊相同的大小和形狀的第一塊和第二塊(步驟S302)。這裡，第一塊和第二塊是高相關的塊。
圖13是說明提取第一塊和第二塊的處理的示意圖。如圖13所示，從第一塊和第二塊中提取一對在通過內插幀300中的每個內插塊的直線上的區域作為第一塊和第二塊。換句話說，提取第一塊和以內插塊作為參考排列在對應於第一塊的位置上的第二塊。
一對第一塊和第二塊具有多個備選塊。通過第一實施例中所述的確定最相關塊的方法從多個備選塊中選擇第一塊212和第二塊222的一對塊。
在步驟S200中，在步驟302中取得的一對塊中指定塊中的高相關部分區域和低相關部分區域。當待處理的區域是高相關部分區域時(步驟S202為是)，實施步驟204和步驟206中的處理。
另一方面，當待處理的區域是低相關部分區域時(步驟S202為否)，低相關部分區域運動矢量計算單元128從其他幀提取對應於該低相關部分區域的區域(步驟S310)。本實施例中，用第零幀200或第三幀230來提取該區域。待提取的區域是具有與低相關部分區域相同的大小和形狀的區域。
接著，低相關部分區域運動矢量計算單元128計算在低相關部分區域和從第零幀200或第三幀230提取的區域之間的運動矢量(步驟S213)。然後，運動補償單元130根據由低相關部分區域運動矢量計算單元128計算的低相關部分區域的運動矢量、低相關部分區域和對應的區域將圖像分配到內插幀300中的預定區域(步驟S314)。
圖14和15是說明對於低相關部分區域的處理(步驟S310至步驟S314)的示意圖。如圖14所示，假定運動物體434在第零幀200至第三幀230的幀上從左至右運動。在這種情況下，如圖15所示，內插幀300中的內插塊301、302、303、304、306、307、308和309在高相關區域中。背景430通過步驟S204和步驟S206中的處理被分配到該區域。
圖16顯示圖15所示的內插塊305。待內插的塊305的中心處的區域3051是高相關區域。通過步驟S204和步驟206中的處理將運動物體434分配至該區域。
內插塊305兩側的區域3052和3053是對應於低相關部分區域的區域，並且是遮蔽的區域。由來自步驟S310至步驟S314的處理通過利用第零幀200和第三幀230將背景430分配到該區域。
待分配到區域3052和3053的圖像出現在第零幀200或第三幀230中。因此可以分配出現在第零幀200或第三幀230的圖像。進一步實施確定分配在第零幀200的圖像還是第三幀230的圖像的處理。
換句話說，第一幀210和第二幀220中的高相關部分區域被屏蔽。然後，確定在未屏蔽的區域即低相關部分區域和其外部幀(第零幀200或第三幀230)之間的相關度來規定待分配到區域3052和3053的圖像。
圖17是說明將圖像分配到區域3052的處理的示意圖。當指定待分配到區域3052的圖像時，以區域3052為參考，實施第一幀210中的低相關部分區域2101和第零幀200中的預定區域之間的匹配。另外，假定區域3052為參考，實施第二幀220中的低相關部分區域2201和第三幀230中的預定區域之間的匹配。
在第一幀210和第零幀200之間的匹配中，通過屏蔽，第一幀210中的區域只限於低相關部分區域。這樣，以內插幀300中的區域3052作為起點，只實施與第零幀200中由運動矢量MV10穿過第一幀210中的低相關部分區域2101確定的區域2001相匹配。以這樣的方式，第一幀210被屏蔽，從而匹配只限於第零幀200中的區域2001。第一幀210中的低相關部分區域2101和第零幀200中的區域2001的之間的相關度低。
在第二幀220和第三幀230之間的匹配中，通過屏蔽，第二幀220中的區域被限於低相關部分區域2201。因此，以內插幀300中區域3052作為起點，只實施與第三幀230中由運動矢量MV12穿過第二幀220中的低相關部分區域2201確定的區域2301相匹配。以這樣的方式，在第二幀220上實施屏蔽，從而匹配只限於第三幀230中的區域2301。第二幀220中的低相關部分區域2201的左邊的區域2202和第三幀230中的區域2301的左邊的區域2302具有相同的背景430，且具有高相關度。
如上所述，可以只從第零幀200和第三幀230中的一個幀檢測高相關區域。因此，高相關區域被分配到區域3052。
在該方式中，只在第一幀210和第二幀220中的低相關部分區域上實施與外部幀的匹配，從而將合適的圖像分配到遮蔽區域。
圖18是說明將圖像分配到區域3053的處理的示意圖。當指定待分配到區域3053的圖像時，也類似於在區域3052中，以區域3053為參考，實施第一幀210中的低相關部分區域2101和第零幀200中的區域之間的匹配。進而，以區域3053為參考，實施第二幀220中的低相關部分區域2201和第三幀230中的區域之間的匹配。
在第一幀210和第零幀200之間的匹配中，以內插幀300中的區域3053作為起點，只實施與第零幀200中由運動矢量MV20穿過第一幀210中的低相關部分區域2101確定的區域2005相匹配。
第一幀210中的低相關部分區域2102、第三幀230的區域2301中的左面區域2302和第零幀200的區域2005中的左面區域2006具有相同的背景430，且具有高相關度。
在第二幀220和第三幀230之間的匹配中，以內插幀300中的區域3053作為起點，只實施與第三幀230中由運動矢量MV22穿過第二幀210中的低相關部分區域2101確定的區域2301相匹配。第二幀220中的低相關部分區域2201和第三幀230中的區域2301之間的相關度低。如上所述，具有高相關度的第一幀210中的區域2102和第零幀中的區域2006被分配到區域3053。
當沒有分配圖像的區域的合適的運動矢量即使參考其他的幀也不指定時，可假定給予沒有分配圖像的區域周圍的區域的運動矢量的平均值或中值作為該區域的運動矢量，來產生該區域的圖像。
在根據第二實施例的內插圖像產生裝置100中，已經說明了在一個塊中存在對應於兩種不同運動矢量的圖像的情況，但本發明不限於此。
例如，當在一個塊中存在對應於三個以上不同運動矢量的圖像時，可以只計算對應於此的運動矢量。而且，可以只提取對應於此的部分區域。這樣，可以從存在對應於幾個運動矢量的圖像的兩個幀中以高精度產生內插幀。
此外，可將幾個運動矢量給予一個區域。在這種情況下，向內插幀分配由幾個被給予的運動矢量分別指定的參考幀中的圖像的平均值。
作為其他實例，可以由幾個被給予的運動矢量指定的區域之間的相關度值選擇運動矢量。具體地說，在幾個參考幀中指定將由被給予的運動矢量指定的區域。例如，在兩個參考幀中指定所述區域。然後求出該幾個被指定區域之間的相關度值。該過程對於各個被給予的運動矢量實施。選擇對應於最小相關度值的運動矢量。圖像根據所選出的運動矢量分配到該區域。
圖19是顯示根據第三實施例的內插圖像產生裝置500的整體結構的框圖。根據第三實施例的內插圖像產生裝置500根據低相關區域即運動矢量未檢出區域周圍的運動矢量將運動矢量給予運動矢量未檢出區域。
內插圖像產生裝置500包括幀存儲單元502，區域產生單元504，運動估計單元506，相關度確定單元508，運動矢量檢出區域處理單元510，運動矢量未檢出區域處理單元512和運動補償單元514。
圖20是說明內插幀的示意圖。圖20顯示包括在輸入圖像中的兩個連續的參考幀，即第一參考幀210和第二參考幀220。下文將敘述產生內插於第一參考幀210和第二參考幀220之間的內插幀300的情況。
下文將敘述產生在兩個連續的幀即第一參考幀210和第二參考幀220之間的內插幀的情況，但由內插圖像產生裝置產生的內插幀可以是內插在不同參考幀之間的幀並且不限於本實施例。
區域產生單元504從幀存儲單元502提取第一參考幀210。然後將第一參考幀210分解成由幾個像素構成的參考區域。
圖21是說明參考區域的示意圖。本實施例中，區域產生單元504將幀分解成各由五個垂直像素乘五個水平像素構成的方形區域，如圖21所示。換句話說，第一參考幀210被分解成從參考區域2102a至參考區域2102p的16個參考區域。參考區域的形狀和大小不限於本實施例，可以與本實施例不同。
運動估計單元506根據第二參考幀220計算第一參考幀210中幾個參考區域的各個運動矢量。相關度確定單元508確定第二參考幀220中的預定區域和第一參考幀210中幾個參考區域中的每一個區域之間的相關度。
運動矢量檢出區域處理單元510對參考區域中由相關度確定單元508確定為高相關區域的區域即對運動矢量檢出區域實施處理。運動矢量未檢出區域處理單元512對參考區域中由相關度確定單元508確定為低相關區域的區域即對運動矢量未檢出區域實施處理。運動補償單元514根據由運動矢量檢測/未檢測區域處理單元510和512進行的處理產生內插圖像產生裝置500的預定區域的圖像。
圖22是顯示根據第三實施例的內插圖像產生裝置500進行的高相關區域運動矢量分配處理過程的流程圖。相關度確定初始化步驟S501將輸入參考幀中的所有像素假定為「低相關的」像素。
首先，將第一參考幀210和第二參考幀220中的所有像素設定為低相關的像素(步驟S501)。接著，將第一參考幀210分解為n個參考區域(步驟S502)。如圖21所示，本實施例中，第一參考幀210被分解成16個參考區域。
接著，設定運動估計次數t(步驟S503)。這裡，運動估計次數t是下述的從參考區域提取處理(步驟S504)至相關度確定處理(步驟S507)的各個處理的次數。
根據本實施例的內插圖像產生裝置500將參考區域分解成高相關區域和低相關區域。將得到的低相關區域進一步分解成高相關區域和低相關區域。如上所述，重複進行將參考區域分成更細的區域的處理。換句話說，實施遞推處理。運動估計次數t對應於該處理的次數。在本實施例中，運動估計次數t被設定為2，同時表示當前運動估計次數的計數器被設定為1。當運動估計次數t設定為2時，步驟S504之後的處理實施兩次。
運動估計次數t可自然地設定為1。這樣，整個參考區域變成高相關區域或低相關區域。作為其他實例，可不設定運動估計次數t。作為替代，可自動地重複處理直至參考區域中檢測不到高相關區域為止。
接著，提取將經受運動估計處理的參考區域(步驟S504)。本實施例中，有16個參考區域，如圖21所示。因此參考區域的數目n被設定為16。表示當前運動估計次數的計數器t被設定為1。
接著，在將在參考區域提取處理(步驟S504)中處理而提取的參考區域(下稱「第一參考區域」)的被設定為低相關的低相關區域中提取低相關區域和從第二參考幀220的被設定為低相關的低相關區域中提取高相關區域(步驟S505)。所提取的區域被稱為第二參考區域。
具體地說，在第二參考幀的低相關區域中設定具有與第一參考區域相同的大小和形狀的幾個區域。在每個區域中計算絕對差值的和，並且提取該和值為最小的區域作為第二參考區域。該絕對差值是第二參考區域中的像素與第一參考區域中對應於該像素的像素之間的差值的絕對值。
作為其他實例，對應於第二參考幀220中的第一參考區域和預定區域的每個像素的絕對差值不大於預定閾值的像素的數目被計數，並可提取其所計的數目最大的區域作為第二參考區域。
因為在低相關設定處理(步驟S501)中所有像素被設定為低相關的像素，故當第一次實施提取高相關區域的處理(步驟S505)時，所有的參考區域被設定為低相關區域，並且第二參考幀中的所有區域被設定為低相關區域。
然後，利用第一參考幀210中的低相關區域和第二參考幀220中的低相關區域求出運動矢量MV(步驟S505)。這一次t不利用第二參考幀220中的高相關區域。因此可計算更合適的運動矢量。
本實施例中，如圖23所示，對第一參考幀210中的參考區域求得第二參考幀220中的最相關區域位置(運動矢量)，並計算它們之間的運動矢量。在第一遞推處理(t＝1)中，由於第一參考幀210上參考區域中所有像素(由五個垂直像素乘五個水平像素形成的方塊區域構成的塊)是「低相關的」像素，故實施與一般塊匹配完全相同的相關度計算。
接著，實施對每個對應的像素的相關度計算(步驟S506)，以確定在運動估計處理(步驟S505)中提取的第一參考區域和第二參考區域的區域中在像素基礎上的相關度。本實施例中，絕對差值被計算為相關度值。
接著，根據區域內相關度計算(步驟S506)的相關度計算結果作出像素基礎上的相關度確定，並將第一參考區域和第二參考區域分類成高相關區域和低相關區域(步驟S507)。被確定為高相關的像素的設定從「低相關的」改變到「高相關的」，將運動估計處理(步驟S505)中求得的運動矢量MV給予高相關區域(步驟S508)。
對第一參考幀210中所有第一參考區域(16個區域)實施上述處理，並重複與運動估計次數t一樣多的次數(步驟S509、S510)。高相關區域運動矢量分配處理完成。
下面，具體說明在處理目標參考區域提取處理(步驟S504)後的處理。圖24是顯示目標442在靜止背景440上移動的幀的示意圖。
圖25是顯示對於在處理目標參考區域提取處理(步驟S504)中提取的第一參考區域212f在運動估計處理(步驟S505)中提取的第二參考區域222f的示意圖。在該方式中，與第一參考區域最相關的區域被提取為第二參考區域。
圖26是顯示在運動估計處理(步驟S505)中在像素基礎上提取的第一參考區域212f和第二參考區域222f的示意圖。圖中的數字表示每個像素的亮度值。在區域內相關度計算步驟S506中，為確定該參考區域中像素基礎上的相關度，對一對第一參考區域和第二參考區域實施根據每個對應像素的亮度值的相關度計算。在所說明的實例中，絕對差值被計算為相關度計算值。
圖27是顯示相關度計算結果的示意圖。圖28是顯示根據圖27所示的相關度計算結果被分類為高相關區域和低相關區域的參考區域212f和參考區域222f的示意圖。
為了有關高相關或低相關的確定，在區域內相關度計算(步驟S506)中求得的絕對差值計算結果上設定閾值，並且當計算結果不大於該閾值時，區域被確定為高相關的區域，當計算結果大於該閾值時，區域被確定為低相關的區域。圖28所示的實例中，絕對差值的計算結果為24的像素被確定為低相關的，為0的像素被確定為高相關的。然後，在運動估計處理(步驟S505)中求得的運動矢量MV被給予圖28所示的高相關區域。
圖29是顯示第一參考幀210和第二參考幀220中的高相關區域和低相關區域的示意圖。來自處理目標參考區域提取處理(步驟S504)的運動矢量給予處理(步驟S508)在第一參考幀210上從參考區域212a進行到參考區域212p(步驟S509)，從而將第一參考幀210分類成高相關區域和低相關區域，如圖29所示。
本實施例中，在運動估計次數設定處理(步驟S503)中將運動估計次數設定為2。因此，對圖29所示的第一參考幀210中的低相關區域再次重複從步驟S504至步驟S509的處理(步驟S511)。
圖30是顯示當運動估計次數t為2時在參考區域提取處理(步驟S504)中提取的第一參考區域232f和在運動估計處理(步驟S505)中對於第一參考區域232f提取的第二參考區域242f的示意圖。這裡，第一參考區域232f是當運動估計次數t為1時，在相關度分類處理(步驟S507)中設定為低相關區域的第一參考區域212f中的低相關區域。
圖31是顯示在運動估計處理(步驟S505)中提取的第二參考幀220中的第一參考區域232f和第二參考區域242f中的每個像素的亮度值的示意圖。圖32是顯示在區域內相關度計算處理(步驟S506)中的相關度計算值(絕對差值)的示意圖。
圖33是顯示在相關度確定處理(步驟S507)中分類的第一參考區域232f和第二參考區域242f中的高相關區域的示意圖。在該實例中，如圖33所示，整個參考區域是高相關區域。在運動估計處理(步驟S505)中求得的運動矢量MV62被給予被確定為高相關的整個參考區域。類似地，對所有參考區域實施第二處理，從而完成相關度確定處理。
如上所述，即使在一個參考區域中包括幾個運動時，也能求得對應於各自運動的幾個運動矢量。
圖34是顯示當完成相關度確定處理時第一參考幀210與第二參考幀220之間的相關度的示意圖。如圖34所示，當參考區域被分解並用兩個參考幀來求該參考區域中的幾個運動矢量時，產生不能求運動矢量的區域，即運動矢量未檢出區域2104。該區域出現是因為被物體掩蓋的背景被該物體移動，或者該區域消失是因為所觀看的背景被該物體掩蓋，這是一個不能實現兩個參考幀之間的匹配的區域並稱作遮蔽區域。此外，該區域還包括因噪聲之類不能實現兩個幀之間的匹配的區域。
運動矢量未檢出區域處理單元512求解運動矢量不能在兩個幀之間求解的區域的運動矢量。圖35是顯示由運動矢量未檢出區域處理單元512進行的運動矢量未檢出區域處理過程的流程圖。首先，運動矢量未檢出區域處理單元512從第一參考幀提取低相關區域，即運動矢量未檢出區域(步驟S601)。
其次，提取分配到運動矢量未檢出區域2104周圍的像素的運動矢量作為運動矢量未檢出區域2104的運動矢量的備選(步驟S602)。周圍的像素最好是相鄰於運動矢量未檢出區域2104的像素。
遮蔽區域很少可能具有不同於周圍的運動矢量。換句話說，遮蔽區域更多可能具有與遮蔽區域周圍的區域相同的運動矢量。因此，在步驟S202，提取運動矢量未檢出區域2104周圍的運動矢量作為運動矢量未檢出區域的運動矢量的備選。
圖36是解釋運動矢量未檢出區域2104周圍的運動矢量的示意圖。如圖36所示，運動矢量未檢出區域2104周圍的運動矢量包括對應於物體442的區域2105的運動矢量MV30和對應於背景440的高相關區域2106的運動矢量MV32。它們中的任何一個被分配到運動矢量未檢出區域2104。
回到圖35。在提取周圍的運動矢量後，對第一參考幀210提取運動矢量未檢出區域2104，並提取由將步驟S602中提取的周圍的運動矢量乘以-1得到的矢量指定的第三參考幀230中的區域(步驟S603)。
遮蔽區域是不能從兩個參考幀求得運動矢量的區域。為了從幾個運動矢量備選中選擇一個運動矢量未檢出區域2104運動矢量，如圖37所示，利用另一個處在時間上與第一參考幀和第二參考幀相反的方向上的第三參考幀。
圖38是顯示在區域提取處理(步驟S603)中提取的第三參考幀230中的區域的示意圖。如圖38所示，分別從運動矢量MV30和運動矢量MV32提取區域2304a和區域2304b。
回到圖35。分別實施區域提取處理(步驟S603)中提取的區域2304a、2304b和運動矢量未檢出區域2104之間的相關度計算(步驟S604)。在本實施例中，絕對差值被計算為相關度值。
其次，從幾個運動矢量備選中選擇最佳運動矢量(步驟S605)。具體地說，根據相關度計算處理(步驟S604)中的相關度計算結果選擇最相關區域的運動矢量備選作為運動矢量未檢出區域的運動矢量。
本實施例中。選擇對應於絕對差值為最小的區域的運動矢量備選作為運動矢量未檢出區域的運動矢量。
在圖38的實例中，由運動矢量MV30指定的區域2304a是出現物體442的區域。另一方面，由運動矢量MV32指定的區域2304b是對應於背景440的區域。因此，區域2304b與運動矢量未檢出區域2104高相關。這樣，對應於區域2304b的運動矢量MV32被選擇為運動矢量未檢出區域的運動矢量。
運動矢量未檢出區域和第三參考幀230中的區域之間的相關度計算最好在像素基礎上實施。因此，能夠以像素基礎上的精度選擇運動矢量。
此外，作為另一實例，可在運動矢量未檢出區域的形狀的基礎上實施相關度計算。而且，作為又一實例，可在塊基礎上實施相關度計算。
圖39是說明當在運動矢量未檢出區域2104的周圍出現幾個運動矢量(mv2，mv11至mv13)時的處理的示意圖。在這種情況下，根據參考圖35說明的運動矢量未檢出區域處理，將周圍區域的運動矢量mv2，mv11至mv13分別應用到運動矢量未檢出區域2104中的像素。然後實施由每個運動矢量指定的第三參考幀230中的區域和運動矢量未檢出區域2104之間的相關度計算。選擇最相關區域的運動矢量備選作為運動矢量未檢出區域2104的運動矢量。
以這樣的方式，即使在運動矢量未檢出區域2104周圍出現三個以上運動矢量，也能從中選擇最佳運動矢量作為該運動矢量未檢出區域的運動矢量。
如上所述，檢測運動矢量未檢出區域2104的運動矢量。第三參考幀230被利用來從運動矢量備選中選擇運動矢量而不用來進行運動估計，因此減少了計算量。
第一參考幀中一個物體可能被另一物體遮蔽。該物體可以有不同於背景和另一物體的運動。於是該物體可在第二參考幀中作為遮蔽區域出現。
在這種情況下，用本方法求遮蔽區域正確的運動矢量是困難的。因此，根據由在運動矢量選擇處理(步驟S605)中選擇的運動矢量指定的第三參考幀230中的區域與運動矢量未檢出區域2104之間的相關度計算值，確定所選的運動矢量是否分配到運動矢量未檢出區域。
具體地說，事先設定相關度計算值的閾值。然後，實施在由運動矢量選擇處理(步驟S605)中選擇的運動矢量指定的第三參考幀230和第二參考幀220中的區域與運動矢量未檢出區域2104之間的相關度計算。當相關度值小於閾值，即兩個區域中的圖像相似(步驟S606為是)時，運動矢量選擇處理(步驟S605)中選擇的運動矢量被確定為將分配到運動矢量未檢出區域的運動矢量(步驟S608)。
另一方面，當相關度值不小於閾值(步驟S606為否)時，不利用運動矢量選擇處理(步驟S605)中選擇的運動矢量，通過運動矢量未檢出區域2104和第三參考幀實施運動估計，來計算運動矢量未檢出區域2104的運動矢量(步驟S607)。換言之，通過類似於根據第一實施例的內插圖像產生裝置100的處理實施運動估計。
運動補償單元514利用在運動估計單元506和運動矢量未檢出區域處理單元512中求得的運動矢量實施運動補償。如圖40所示，運動矢量根據內插幀產生位置經受比例變換，從而在預定位置上產生內插幀。運動補償方法不受特定限制。
當通過上述處理實施運動補償時，所應用的區域可以互相疊合，或所應用的區域之間可發生間隙。當所應用的區域互相疊合時，在前一幀和下一幀之間疊合區域或高相關區域的平均值或中值總是被重寫。當發生間隙時，實施幀內或幀間內插。
下面將敘述根據第四實施例的內插圖像產生裝置500。根據第四實施例的內插圖像產生裝置如圖41和42所示將內插幀300分解為各個區域，並以內插幀300作為參考實施第一參考幀210和第二參考幀220的運動估計以產生內插幀300。
由於內插幀300被分解成各個區域，因此沒有可能以疊合方式在將產生的內插幀300上產生圖像，或發生不產生圖像的區域，從而以高精度產生內插圖像。
在本實施例中，如圖41所示，將說明一種在兩個連續幀之間即第一參考幀210和第二參考幀220之間的一半時間長度的位置上產生內插幀300的情況，但內插幀不是必定出現在兩個不同幀的一半時間長度的位置上，並且可以僅是將被插入兩個不同幀中的幀，其位置不作特定限制。
這裡將具體說明一個實例，其中物體442水平地在靜止背景440上移動，如圖43所示。
圖44是顯示由根據第四實施例的內插圖像產生裝置500進行的高相關區域運動矢量分配處理過程的流程圖。如圖41和42所示，本實施例中，運動估計單元106實施第一參考幀210和第二參考幀220關於內插幀300的運動估計。
本實施例中，將第一參考幀210和第二參考幀220中的所有像素設定為低相關的像素(步驟S701)，然後將內插幀300分解為n個內插區域(步驟S702)。
設定運動估計次數t(步驟S703)，然後從內插幀提取內插區域(步驟S704)。然後，以內插幀上的內插區域作為參考，提取第一參考幀210中的低相關區域和第二參考幀220中的低相關區域之間的高相關組合，並求出它們之間的運動矢量MV(步驟S705)。
接著，為了確定區域中像素基礎上的相關度，對在運動估計處理(步驟S705)中提取的一對第一參考區域和第二參考區域上的每個對應像素實施相關度計算(步驟S706)。接著，根據區域內相關度計算處理(步驟S706)中的相關度計算結果作出像素基礎上的相關度確定，並將第一參考區域和第二參考區域分類為高相關區域和低相關區域(步驟S707)。
從「低相關」至「高相關」改變被確定為高相關的像素的設定，並將在運動估計處理(步驟S705)中求得的運動矢量MV給予內插幀參考區域中的高相關區域(步驟S708)。
這裡，從低相關至高相關改變被確定為與第一參考幀和第二參考幀高相關的像素的設定，但這是對於第一參考幀和第二參考幀中的像素的處理。進而，將運動矢量給予內插幀上的像素。
對內插幀300中的所有參考區域(16區域)實施上述處理，並且進一步重複與運動估計次數t一樣多的次數(步驟S709、步驟S710)。高相關區域運動矢量分配處理完成。
圖45是顯示在圖44說明的處理實施後各發幀中的相關度的示意圖。在這樣的方式中，當完成圖44說明的處理時，留下運動矢量沒有被檢測的運動矢量未檢出區域。
圖46是顯示由運動矢量未檢出區域處理單元512進行的運動矢量未檢出區域處理過程的流程圖。首先，運動矢量未檢出區域處理單元512從內插幀300提取運動矢量未檢出區域(步驟S801)。接著，單元512提取運動矢量未檢出區域周圍的運動矢量(步驟S802)。
圖47是顯示運動矢量未檢出區域3001a和3001b周圍的運動矢量的示意圖。物體420的運動矢量MV71被給予運動矢量未檢出區域3001a和運動矢量未檢出區域3001b之間的區域。背景400的運動矢量MV72被給予其他區域。因此，在圖47所示的實例中，在步驟S802中提取運動矢量MV71和運動矢量MV72。
接著，根據在運動矢量備選提取處理(步驟S802)中關於運動矢量未檢出區域3001a和3001b提取的物體區域運動矢量MV71和背景區域運動矢量MV72，從第一參考幀、第二參考幀、第三參考幀和第四參考幀提取對應的區域(步驟S803)。
第三參考幀是時間上出現在第一參考幀210之前的參考幀。第四參考幀是時間上出現在第二參考幀220之後的參考幀。
圖48是說明在區域提取處理(步驟S803)中的具體處理過程的示意圖。如圖48所示，運動矢量MV71在正方向和負方向上延伸。然後分別提取運動矢量MV71與第一參考幀210、第二參考幀220、第三參考幀230和第四參考幀240相交的區域。如圖48所示，從第一參考幀210提取區域2111，從第二參考幀220提取區域2211，從第三參考幀提取區域2311，從第四參考幀提取區域2411。
分別提取運動矢量MV72與第一參考幀210、第二參考幀220、第三參考幀230和第四參考幀240相交的區域。如圖48所示，從第一參考幀210提取區域2121。從第二參考幀220提取區域2221。從第三參考幀提取區域2321。第四參考幀中運動矢量MV72指定幀的外部。
返回圖46。在從每個參考幀提取所述區域(步驟S803)後，對相同的運動矢量實施從第一參考幀210和第三參考幀230提取的區域之間的相關度計算。進而，對相同的運動矢量實施從第二參考幀220和第四參考幀240提取的區域之間的相關度計算(步驟S804)。在第四實施例中，相關度計算使用絕對差值。
在圖48所示的實例中，對運動矢量MV71實施從第一參考幀210和第三參考幀230分別提取的區域2111和區域2311之間的相關度計算。對運動矢量MV71實施從第二參考幀220和第四參考幀240分別提取的區域2211和區域2411之間的相關度計算。
對運動矢量MV72實施從第一參考幀210和第三參考幀230分別提取的區域2112和區域2312之間的相關度計算。對運動矢量MV72實施從第二參考幀220和第四參考幀240分別提取的區域2212和區域2412之間的相關度計算。
根據相關度計算結果，從幾個運動矢量中選擇將給予運動矢量未檢出區域的運動矢量(步驟S805)。在本實施例中，選擇絕對差值為最小的區域的運動矢量。
在圖48所示的實例中，從運動矢量MV71和運動矢量MV72中選擇一個運動矢量。在這種情況下，在第一參考幀210中的區域2121和第三參考幀230中的區域2321之間的絕對差值為最小。因此，對應於這個區域的運動矢量即運動矢量MV72被給予運動矢量未檢出區域3001a。
圖49是說明將運動矢量分配給運動矢量未檢出區域的處理的示意圖。如圖49所示，當由步驟S802中提取的運動矢量指定區域時，只注意到第一參考幀210和第二參考幀220中的低相關區域。因此，待提取作為將經受相關度計算的區域的數目變得較小。
例如，在圖48所示的實例中，由運動矢量MV71和運動矢量MV72指定的第二參考幀220中的任何區域在高相關區域中。因此該區域不被提取。
在這樣的方式中，當提取將由運動矢量指定的區域時，目標區域被限制於低相關區域，因此可以限制將被提取的區域的數目，從而能更方便和更精確地選擇運動矢量未檢出區域的運動矢量。
其次，根據由運動矢量選擇處理(步驟S805)中選擇的運動矢量指定的兩個幀中的區域之間的相關度計算值，確定是否將所選的運動矢量分配給運動矢量未檢出區域。
具體地說，事先設定相關度計算值的閾值。當由運動矢量選擇處理(步驟S805)中選擇的運動矢量指定的兩個區域之間的相關度計算值小於閾值時，即，當兩個區域的圖像互相相似(步驟S806為是)時，在運動矢量選擇處理(步驟S805)中選擇的運動矢量被確定為將分配給運動矢量未檢出區域的運動矢量(步驟S809)。
另一方面，當相關度計算值不小於閾值(步驟S806為否)時，則如圖50所示不利用在運動矢量選擇處理(步驟S805)中選擇的運動矢量，並且採用內插幀中的運動矢量未檢出區域、第一參考幀和第三參考幀中的低相關區域進行運動估計(步驟S807)。而且，採用內插幀中的運動矢量未檢出區域、第二參考幀和第四參考幀中的低相關區域進行運動估計(步驟S808)。然後根據其結果確定內插幀中運動矢量未檢出區域的運動矢量(步驟S809)。
由於存在限制，故對第一參考幀和第三參考幀只採用低相關區域，估計區域也受到限制，從而以較少的計算和較高的精度實施運動估計。
運動補償單元114利用運動估計單元106和運動矢量未檢出區域處理單元512求得的運動矢量實施運動補償。在本實施例中，根據該運動矢量將目標區域應用在內插幀上。
其他的優點和修改對於本專業的熟練技術人員來說是容易實現的。因此，本發明在其廣闊的各個方面不限於本文顯示和說明的具體細節和代表性的實施例。因而，可作出各種修改而不背離由附後的權利要求及其等效內容限定的總體發明概念的精神和範圍。
權利要求
1.一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法，其特徵在於，包括將內插幀分解為幾個包含幾個像素的內插區域；從第一參考區域和第二參考區域之間的幾個組合中對於每個內插區域檢測最相關的組合，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插區域、所述幾個組合的每一個組合的第一參考區域和所述幾個組合的每一個組合的第二參考區域以直接的時間方式排列；從包括在所檢測的組合中的第一參考區域和第二參考區域獲得運動矢量；確定第一參考區域和第二參考區域在高相關區域中還是在低相關區域中；將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域對應於第一參考區域和第二參考區域中被確定為高相關區域的內插區域；採用運動矢量未檢出區域、第一區域、第三參考幀、第二區域和第四參考幀通過運動估計確定要給予運動矢量未檢出區域的運動矢量，第一區域在第一參考幀內並被確定為低相關區域；以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上；第二區域在第二參考幀內並被確定為低相關區域；以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上，該運動矢量未檢出區域對應於第一參考區域和第二參考區域中被確定為低相關區域的內插區域；和根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
2.如權利要求1所述的方法，其特徵在於，進一步包括從第一參考區域和第三參考區域之間的幾個組合中檢測最相關的組合，第一參考區域在第一參考幀內並在確定為低相關區域的區域內並具有與運動矢量未檢出區域相同的大小和形狀，第三參考區域在第三參考幀內並具有與運動矢量未檢出區域相同的大小和形狀；獲得在第一參考區域和第三參考區域之間的最相關的組合；從第一參考區域和第三參考區域之間的被檢測組合中確定運動矢量；從在第二參考區域和第四參考區域之間的幾個組合中檢測最相關的組合，第二參考區域在第二參考幀內並在確定為低相關區域的區域內並具有與運動矢量未檢出區域相同的大小和形狀，第四參考區域在第四參考幀內並具有與運動矢量未檢出區域相同的大小和形狀；獲得在第二參考區域和第四參考區域之間的最相關的組合；和從第二區域和第四區域之間的特定的組合中確定運動矢量，其中，根據從第一參考區域和第三參考區域之間的組合確定的運動矢量和從第二參考區域和第四參考區域之間的組合確定的運動矢量來確定要給予運動矢量未檢出區域的運動矢量。
3.如權利要求2所述的方法，其特徵在於，將第一參考區域和第三參考區域之間的相關度與第二參考區域和第四參考區域之間的相關度進行比較，以及對應於更相關的區域的運動矢量被確定為將給予運動矢量未檢出區域的運動矢量。
4.如權利要求2所述的方法，其特徵在於，當第一參考區域和第三參考區域之間的相關度和第二參考區域和第四參考區域之間的相關度都小於預先設定的閾值時，沒有運動矢量被假定為運動矢量未檢出區域的運動矢量。
5.如權利要求4所述的方法，其特徵在於，當對於運動矢量未檢出區域的運動矢量還沒有被確定時，將給予在運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量的平均值或中值被確定為運動矢量未檢出區域的運動矢量。
6.如權利要求1所述的方法，其特徵在於，進一步包括通過遞推處理將運動矢量未檢出區域進一步分解成高相關區域和低相關區域，其中，通過遞推處理分解成高相關區域的區域被假定為運動矢量檢出區域，將所檢測的運動矢量給予運動矢量檢出區域，分解成低相關區域的區域被假定為運動矢量未檢出區域，以及，採用運動矢量未檢出區域、第三區域、第三參考幀、第四區域和第四參考幀通過運動估計確定要給予運動矢量未檢出區域的運動矢量，第三區域在第一參考幀內並被確定為低相關區域；以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上，第四區域在第二參考幀內並被確定為低相關區域；以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上。
7.如權利要求6所述的方法，其特徵在於，第一參考區域中每個對應區域的相關度值由第二參考區域通過遞推處理而計算的，以及通過將所計算的相關度值與預設的閾值比較而將運動矢量未檢出區域分解為高相關區域和低相關區域。
8.如權利要求6所述的方法，其特徵在於，對所述低相關區，運動估計、相關度確定和給予運動矢量檢出區域中的每一種處理都以遞推方式進行。
9.如權利要求1所述的方法，其特徵在於，計算第一參考區域和第二參考區域中的每個對應區域的相關度值，以及通過將所計算的相關度值與預設的閾值比較而確定所述區域是高相關區域還是低相關區域。
10.如權利要求1所述的方法，其特徵在於，計算由亮度信息的絕對差值、色差信息的絕對差值、絕對差值之和及高相關像素的數目所確定的一個相關度值。
11.如權利要求1所述的方法，其特徵在於，當將幾個運動矢量給予一個區域時，將以第一參考幀作為參考，分別由該幾個運動矢量指定的其他多個參考幀中的圖像的平均值被分配到該內插幀。
12.如權利要求1所述的方法，其特徵在於，當將幾個運動矢量給予一個區域時，以第一參考幀作為參考，由該幾個運動矢量檢測的幾個其他參考幀中的各個區域之間的相關度值最小的運動矢量被確定為要給予運動矢量未檢出區域的運動矢量。
13.一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法，其特徵在於，包括將所述第一參考幀分解為幾個各由幾個像素構成的第一參考區域；在第二參考幀中檢測具有與第一參考區域相同的大小和形狀的並與其最相關的第二參考區域，獲得被檢測的第二參考區域和第一參考區域的運動矢量；確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域被確定為高相關區域；採用運動矢量未檢出區域和第三參考幀通過運動估計確定運動矢量未檢出區域的運動矢量，以第一參考幀為參考，第三參考幀處在時間上與第二參考幀相反的方向上，該運動矢量未檢出區域被確定為低相關區域且在第一參考區域內；和根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
14.如權利要求13所述的方法，其特徵在於，根據第一參考幀和第二參考幀之間內插幀的時間位置產生所述內插幀。
15.如權利要求13所述的方法，其特徵在於，進一步包括通過遞推處理將運動矢量未檢出區域進一步分解成高相關區域和低相關區域，其中分解成高相關區域的區域被假定為運動矢量檢出區域，將所述運動矢量給予運動矢量檢出區域，分解成低相關區域的區域被假定為運動矢量未檢出區域，以及，採用運動矢量未檢出區域和第三參考幀通過運動估計確定運動矢量未檢出區域的運動矢量。
16.如權利要求15所述的方法，其特徵在於，計算第一參考區域和第二參考區域中的每個對應區域的相關度值，以及通過將所計算的相關度值與預設的閾值比較而將運動矢量未檢出區域分解為高相關區域和低相關區域。
17.如權利要求15所述的方法，其特徵在於，對於低相關區域，運動估計、相關度確定和運動矢量檢出區域運動矢量中的每一種處理都以遞推方式進行。
18.一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法，其特徵在於，包括將內插幀分解為幾個各由幾個像素構成的內插區域；從第一參考區域和第二參考區域之間的組合中對於每個內插區域檢測最相關的組合，第一參考區域是第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插幀、所述幾個組合的每一個組合的第一參考區域和所述幾個組合的每一個組合的第二參考區域以直接的時間方式排列；從包括在所檢測組合中的第一參考區域和第二參考區域獲得運動矢量；確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；將運動矢量給予相應於第一參考區域和第二參考區域中被確定為高相關區域的內插區域的運動矢量檢出區域；將運動矢量給予相應於第一參考區域和第二參考區域中被確定為低相關區域的內插區域的運動矢量未檢出區域；和根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀。
19.如權利要求18所述的方法，其特徵在於，將給予相鄰於運動矢量未檢出區域的運動矢量檢出區域的運動矢量給予所述運動矢量未檢出區域。
20.如權利要求18所述的方法，其特徵在於，進一步包括求出在第一參考區域和第三參考區域之間的相關度值，其中，第一參考區域在第一參考幀中，由給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量以運動矢量未檢出區域作為參考確定，第三參考區域，以內插幀作為參考，在第三參考幀內處在時間上與第一參考幀完全相同的方向上並由所述運動矢量確定；和求出在第二參考區域和第四參考區域之間的相關度值，其中，第二參考區域在第二參考幀中，由給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量以運動矢量未檢出區域作為參考確定，第四參考區域，以內插幀作為參考，在第四參考幀內，處在時間上與第二參考幀完全相同的方向上並由運動矢量確定，其中，根據第一參考區域和第三參考區域之間的相關度值和第二參考區域和第四參考區域之間的相關度值確定將給予運動矢量未檢出區域的運動矢量。
21.如權利要求20所述的方法，其特徵在於，當具有運動矢量未檢出區域周圍排列的運動矢量檢出區域的幾個運動矢量時，根據第一參考區域和第三參考區域之間的相關度值和第二參考區域和第四參考區域之間的相關度值確定將從所述幾個運動矢量給予運動矢量未檢出區域的運動矢量。
22.如權利要求21所述的方法，其特徵在於，根據第一參考區域和第三參考區域之間的相關度值和第二參考區域和第四參考區域之間的相關度值將對應於最相關的區域的運動矢量被確定為將給予運動矢量未檢出區域的運動矢量。
23.如權利要求20所述的方法，其特徵在於，當第一參考區域和第三參考區域之間的相關度值和第二參考區域和第四參考區域之間的相關度值都小於預設的閾值時，沒有任何運動矢量被假定為運動矢量未檢出區域的運動矢量。
24.如權利要求23所述的方法，其特徵在於，當給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量不被假定為運動矢量未檢出區域的運動矢量時，運動矢量被給予運動矢量未檢出區域，採用運動矢量未檢出區域、第一區域、第三參考幀、第二區域及第四參考幀通過運動估計確定所述運動矢量，第一區域在第一參考幀內並被確定為低相關區域，以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上，第二區域在第二參考幀內並被確定為低相關區域，以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上。
25.如權利要求18所述的方法，其特徵在於，當由給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量確定的第一參考幀中的第一參考區域是被確定為低相關區域的區域時，求出第一參考區域和第三參考區域之間的相關度值，以及在相關度確定步驟中當由給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量確定的第二參考幀中的第二參考區域是被確定為低相關區域的區域時，求出第二參考區域和第四參考區域之間的相關度值。
26.如權利要求18所述的方法，其特徵在於，進一步包括通過遞推處理將運動矢量未檢出區域進一步分解成高相關區域和低相關區域，其中被確定為高相關區域的區域被假定為運動矢量檢出區域，將運動矢量給予運動矢量檢出區域，以及採用被確定為低相關區域的運動矢量未檢出區域和第三參考幀通過運動估計確定的運動矢量被給予運動矢量未檢出區域。
27.如權利要求26所述的方法，其特徵在於，進行對於第一參考區域和第二參考區域中的每個對應區域的相關度計算，以及通過將計算結果與預定閾值比較確定是高相關區域還是低相關區域。
28.如權利要求26所述的方法，其特徵在於，在低相關區域中，運動估計、相關度確定和運動矢量檢出區域運動矢量分配中的每一種處理都以遞推方式進行。
29.一種用於產生在第一參考幀和第二參考幀之間的內插幀的方法，其特徵在於，包括將第一參考幀分解為幾個各由幾個像素構成的第一參考區域；檢測第二參考幀中具有與第一參考區域相同的大小和形狀並與第一參考區域最相關的第二參考區域；獲得被檢測的第二參考區域和第一參考區域的運動矢量；確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；將運動矢量給予運動矢量檢出區域，運動矢量檢出區域被確定為第一參考區域中的高相關區域；將給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量給予運動矢量未檢出區域，所述運動矢量未檢出區域被確定為第一參考區域中的低相關區域；和根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀。
30.如權利要求29所述的方法，其特徵在於，將給予相鄰於運動矢量未檢出區域的運動矢量檢出區域的運動矢量給予所述運動矢量未檢出區域。
31.如權利要求29所述的方法，其特徵在於，進一步包括以運動矢量未檢出區域為參考，求出由給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量確定的第二參考幀中的第二參考區域和所述運動矢量未檢出區域之間的相關度值，和以運動矢量未檢出區域為參考，求出由給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量確定的第三參考幀中的第三參考區域和所述運動矢量未檢出區域之間的相關度值，其中，根據第二參考區域和運動矢量未檢出區域之間的相關度值和第三參考區域和運動矢量未檢出區域之間的相關度值確定將給予運動矢量未檢出區域的運動矢量。
32.如權利要求31所述的方法，其特徵在於，當具有運動矢量未檢出區域周圍排列的運動矢量檢出區域的幾個運動矢量時，根據第二參考區域和運動矢量未檢出區域之間的相關度值和第三參考區域和運動矢量未檢出區域之間的相性值確定將從所述幾個運動矢量給予運動矢量未檢出區域的運動矢量。
33.如權利要求31所述的方法，其特徵在於，根據第二參考區域和運動矢量未檢出區域之間的相關度值和第三參考區域和運動矢量未檢出區域之間的相關度值將對應於最相關的區域的運動矢量確定為將給予運動矢量未檢出區域的運動矢量。
34.如權利要求31所述的方法，其特徵在於，其中當第二參考區域和運動矢量未檢出區域之間的相關度值和第三參考區域和運動矢量未檢出區域之間的相關度值都小於預設的閾值時，任一個對應於區域的運動矢量都不被假定為運動矢量未檢出區域的運動矢量。
35.如權利要求34所述的方法，其特徵在於，當給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量不被假定為運動矢量未檢出區域的運動矢量時，將所述運動矢量給予運動矢量未檢出區域，所述運動矢量採用運動矢量未檢出區域、第一區域、第三參考幀、第二區域及第四參考幀通過運動估計而確定，第一區域在第一參考幀內並被確定為低相關區域，以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上，第二區域在第二參考幀內並被確定為低相關區域，以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上。
36.如權利要求29所述的方法，其特徵在於，根據第一參考幀和第二參考幀之間的內插幀的時間上的位置產生內插幀。
37.一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置，其特徵在於，包括內插分解單元，該單元將內插幀分解為幾個包含幾個像素的內插區域；組合檢測單元，該單元對於每個內插區域從第一參考區域和第二參考區域之間的幾個組合中檢測最相關的組合，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插區域、所述幾個組合的每一個組合的第一參考區域和所述幾個組合的每一個組合的第二參考區域以直接的時間方式排列；運動估計單元，該單元從包括在被檢測的組合中的第一參考區域和第二參考區域獲得運動矢量；相關度確定單元，該單元確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；給予單元，該單元將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域相應於第一參考區域和第二參考區域中被確定為高相關區域的內插區域；運動矢量確定單元，該單元採用運動矢量未檢出區域、第一區域、第三參考幀、第二區域及第四參考幀通過運動估計確定將給予運動矢量未檢出區域的運動矢量，第一區域在第一參考幀內並被確定為低相關區域，以內插幀作為參考，第三參考幀處在時間上與第一參考幀完全相同的方向上，第二區域在第二參考幀內並被確定為低相關區域，以內插幀作為參考，第四參考幀處在時間上與第二參考幀完全相同的方向上，該運動矢量未檢出區域相應於第一參考區域和第二參考區域中被確定為低相關區域的內插區域；和運動補償單元，該單元根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
38.一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置，其特徵在於，包括區域產生單元，該單元將第一參考幀分解為幾個各由幾個像素構成的第一參考區域；第二參考檢測單元，該單元檢測第二參考幀中具有與第一參考區域相同的大小和形狀並與其最相關的第二參考區域；運動估計單元，該單元獲得所檢測的第二參考區域和第一參考區域的運動矢量；相關度確定單元，該單元確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；運動矢量給予單元，該單元將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域被確定為高相關區域；運動矢量確定單元，該單元採用運動矢量未檢出區域和第三參考幀通過運動估計確定運動矢量未檢出區域的運動矢量，以第一參考幀作為參考，該第三參考幀處在時間上與第二參考幀相反的方向上，該運動矢量未檢出區域被確定為低相關區域並在第一參考區域內；和運動矢量補償單元，該單元根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
39.一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置，其特徵在於，包括區域產生單元，該單元將內插幀分解為幾個各由幾個像素構成的內插區域；組合檢測單元，該單元對於每個內插區域從第一參考區域和第二參考區域之間的幾個組合中檢測最相關的組合，第一參考區域在第一參考幀內並具有與內插區域相同的大小和形狀，第二參考區域在第二參考幀內並具有與內插區域相同的大小和形狀，每一個內插幀、所述多個組合的每一個組合的第一參考區域和所述多個組合的每一個組合的第二參考區域直接的時間方式排列；運動估計單元，該單元從包括在被檢測的組合中的第一參考區域和第二參考區域獲取運動矢量；相關度確定單元，該單元確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；第一運動矢量給予單元，該單元將運動矢量給予對應於在第一參考區域和第二參考區域中被確定為高相關區域的內插區域的運動矢量檢出區域；第二運動矢量給予單元，該單元將運動矢量給予對應於在第一參考區域和第二參考區域中被確定為低相關區域的內插區域的運動矢量未檢出區域；和運動補償單元，該單元根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀。
40.一種用於產生在第一參考幀和第二參考幀之間的內插幀的裝置，其特徵在於，包括區域產生單元，該單元將第一參考幀分解為幾個各由幾個像素構成的第一參考區域；第二參考區域檢測單元，該單元檢測第二參考幀中具有與第一參考區域相同的大小和形狀並與第一參考區域最相關的第二參考區域；運動估計單元，該單元獲得被檢測的第二參考區域和第一參考區域的運動矢量；相關度確定單元，該單元確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；第一運動矢量給予單元，該單元將運動矢量給予運動矢量檢出區域，該運動矢量檢出區域被確定為第一參考區域中的高相關區域；第二運動矢量給予單元，該單元將給予運動矢量未檢出區域周圍排列的運動矢量檢出區域的運動矢量給予運動矢量未檢出區域，該運動矢量未檢出區域被確定為第一參考區域中的低相關區域；和運動補償單元，該單元根據給予運動矢量檢出區域的運動矢量和給予運動矢量未檢出區域的運動矢量產生內插幀。
全文摘要
用於產生在第一和第二參考幀之間的內插幀的方法包括將內插幀分解為幾個內插區域；對於每個內插區域從第一和第二參考區域之間的幾個組合中檢測最相關的組合；從第一和第二參考區域取得運動矢量；確定第一參考區域和第二參考區域是在高相關區域內還是在低相關區域內；將運動矢量給予運動矢量檢出區域，運動矢量檢出區域相應於第一和第二參考區域中被確定為高相關區域的內插區域；確定將給予運動矢量未檢出區域的運動矢量；和根據給予運動矢量檢出區域的運動矢量和為運動矢量未檢出區域確定的運動矢量產生內插幀。
文檔編號H04N7/26GK1842165SQ200610071860
公開日2006年10月4日 申請日期2006年3月30日 優先權日2005年3月31日
發明者大脅一泰, 伊藤剛, 三島直 申請人:株式會社東芝