確定插值方法的程序、裝置及方法

2024-02-09 22:06:15

專利名稱：確定插值方法的程序、裝置及方法
技術領域：
本發明涉及確定對像素進行插值(interpolation)的方法的技術。
技術背景在將隔行掃描(interlace)形式的圖像轉換為逐行掃描(progressive) 形式的IP轉換(隔行/逐行轉換)、靜態圖像或動態圖像(movingpicture) 的放大處理中，需要在輸入的原圖像中插值其所不具有的像素。在將希 望插值的像素稱為"對象像素"時， 一般針對一個對象像素選擇多個像 素，根據這些多個像素的像素值來計算出對象像素的像素值，從而插值 該對象像素。進行像素插值時存在多種方法，可根據如何選擇上述多個像素的第 一觀點、和根據所選擇的多個像素的像素值如何計算出對象像素的像素 值的第二觀點來分類。以下特別對在IP轉換中進行像素插值的方法，從 第一觀點來對關聯技術進行概述。在對IP轉換進行說明之前，首先對隔行掃描方式和逐行掃描方式進 行說明。在用於在顯示器上顯示動態圖像的掃描方式中，存在隔行掃描 方式和逐行掃描方式。隔行掃描方式為交互重複僅奇數掃描線的掃描和 僅偶數掃描線的掃描的方式，使用在模擬輸入的電視等中。另一方面， 逐行掃描方式為掃描全部的掃描線的方式，使用在個人計算機的CRT (Cathode Ray Tude，陰極射線管)顯示器等中。另外，"隔行掃描"和 "逐行掃描"的名稱還可以用作對應於上述掃描方法的差異而生成的各 圖像形式的名稱。例如，在幀頻為30^ps (frames per second,幀/秒)的情況下、即每 秒的幀數為30的情況下，逐行掃描圖像為由每秒30張的幀圖像構成的 動態圖像。另一方面，由於兩個場(field)與一個幀對應，所以在該情況下，隔行掃描圖像由每秒60張的場圖像構成。與一個幀對應的兩個場的 一方稱為"奇數場"，另一方稱為"偶數場"。奇數場的場圖像僅包括奇 數線的像素數據，偶數場的場圖像僅包括偶數線的像素數據。另外，顯 示器中的1條掃描線與圖像中的1行對應。在幀頻為30*s的情況下，在 逐行掃描圖像中，1張幀圖像中的第n行和第(n+l)行對應於相同時刻， 但在隔行掃描圖像中，第n行和第(n+l)行之間存在l/60秒的偏差。以下，將存在像素數據的行稱為"實行"，將不存在像素數據的空白 行稱為"插值行"。即，在奇數場中奇數行為實行且偶數行為插值行，在 偶數場中則相反。另外，將實行上的像素稱為"實像素"。IP轉換為將隔行掃描圖像接收為輸入，並轉換為逐行掃描圖像而輸 出的處理。在將輸入的隔行掃描圖像的幀頻設為f時，每秒存在2f張的 場圖像。IP轉換為對插值行上的像素進行插值的處理。其結果，與各場 圖像對應地，取得所有行的像素的數據齊備的圖像。即，取得幀頻為2f 的逐行掃描圖像。為了在IP轉換中取得高畫質的逐行掃描圖像，需要檢測出對象像素 附近的運動和邊緣的方向，來適當地插值。在實現這樣的插值的一個方 法中，有運動自適應IP轉換。在運動自適應IP轉換中，在檢測出運動的情況下，在相同場圖像內 進行根據存在於對象像素的上下的行的像素的像素值來插值對象像素的 場內插值。另一方面，在靜止的情況下，進行在包括對象像素的場的前 後的場圖像中根據位於與對象像素相同位置處的像素的像素值來插值對 象像素的場間插值。即，從第一觀點出發，運動自適應IP轉換的特徵在 於，在檢測出運動時選擇相同場內的像素，在沒有檢測出運動時選擇前 後場內的像素。運動自適應IP轉換與如運動補償IP轉換那樣針對每個像素求出運 動向量來進行插值的方法相比，具有處理量少的優點，但具有插值的精 度不佳的缺點。因此，將精度的提高作為目的，提出了各種方法的運動 自適應IP轉換(motion adaptive IP conversion)。例如，最簡單的運動自適應IP轉換的方法為圖1所示方法。在該方法中，在檢測出運動時，在場內插值中使用要進行插值的對象像素的位置的正上方和正下方的像素。以下，使用x坐標來表示水平方向，使用y 坐標來表示垂直方向，使用正方形來表示各像素。x坐標在圖像的左端it 為0，越靠右值變得越大，y坐標在圖像的上端值為0，越靠下值變得越 大。在圖1中，輸入的隔行掃描圖像僅包括7=0、 2、 4、 6的行，y=l、 3、 5的各行為插值行。因此，在隔行掃描圖像包括圖1的左側所示那樣的傾 斜的邊緣的情況下，在插值後的逐行掃描圖像中，如圖1的右側所示， 產生稱為鋸齒失真(jaggy)的階梯狀的鋸齒狀態。在使用(x， y)坐標來表示像素的位置時，例如(2， 3)的像素根 據位於正上方的(2， 2)的白色像素和位於正下方的(2， 4)的黑色像 素來進行插值。例如，該兩個像素的像素值的平均值作為對象像素的像 素值進行分配，對象像素插值成灰色。(3， 3)的像素也同樣地插值成灰 色。其結果，在逐行掃描圖像中產生鋸齒失真。傾斜的邊緣的其他部分、 即(0， 5)和(1， 5)的部分以及(4， 1)和(5， 1)的部分也同樣。但是，如果(0, 5)、 (2， 3)、 (4， 1)的各像素插值成白色，且(1， 5)、 (3， 3)、 (5， 1)的各像素插值成黑色時，應取得包括平滑的傾斜的 邊緣而無鋸齒失真的逐行掃描圖像。即，在如圖1所示那樣簡單地使用 正上方和正下方的像素的方法中，有時無法取得高畫質的插值結果。因此，提出專利文獻1 4等方法。另外，在以下的說明中，為了將 用詞統一來易於理解，改變在各文獻中使用的用詞的一部分來進行說明。圖2是說明專利文獻1中記載的插值方法的圖。在該方法中，在確 定使用位於哪個方向的像素來對對象像素T進行插值時，還利用與對象 像素T所處的行上下鄰接的兩行以外的行。在圖2中，對象像素T位於(3， 3)。將對象像素T作為中心，針對 幾個方向計算出y=2的行上的像素和y=4的行上的像素之間的相關。例 如垂直方向與(3， 2)的白色像素和(3， 4)的黑色像素的組對應，所 以相關較弱。另一方面，使用將(5， 2)的黑色像素和(1， 4)的黑色 像素連接的箭頭來表示的右上方向檢測為相關最強的方向。相同地，檢 測出在對象像素T的正上方2行的位置(3， 1)的參照像素R1處使用箭頭表示出的垂直方向的相關較強，在正下方2行的位置(3， 5)的參照 像素R2處使用箭頭表示出的左上方向的相關較強。針對參照像素R2檢測出的左上方向為右上方向的相反方向。在專利 文獻1中，在檢測出這樣的相反方向的情況下，考慮在對象像素T的周 邊具有較強相關的方向的整合性，將對象像素T的插值方向設為垂直方 向而非傾斜方向。另外，"插值方向為垂直方向"是指，根據位於與垂直 方向對應的(3， 2)和(3， 4)的兩個像素的像素值來插值對象像素T。 在參照像素Rl和對象像素T處檢測出的方向為相反方向的情況下也相 同。圖3是說明專利文獻2中記載的插值方法的圖。在專利文獻2的方 法中，位於對象像素T的正上方2行的位置處的像素也利用為參照像素 R。在該方法中，將與對象像素T相關的右上方向的相關值和與參照像素 R相關的右上方向的相關值相加，計算出右上方向的相關。對於左上方 向來說也相同。其結果，相關較強的一方的方向如果示出比規定閾值強 的相關，則選擇為插值方向。在圖3的示例中，對於右上方向的相關，在對象像素T處弱，在參 照像素R處強。因此，根據兩個相關值的和，右上方向的相關判斷為整 體較弱。另外，對於左上方向的相關，在對象像素T處強，在參照像素 R處弱。因此，根據兩個相關值的和，左上方向的相關也判斷為整體較 弱。其結果，在該示例中，將對象像素T和參照像素R這兩者相關強的 方向即垂直方向選擇為對象像素T的插值方向。圖4是說明專利文獻3中記載的插值方法的圖。在該方法中，根據包括多個像素的區域彼此的相關而非像素彼此的相關，來確定插值方向。 例如，如圖4所示，利用由3X3-9個像素構成的區域。在以對象像素T為中心的中心像素區域A中，上面的行的3個像素 和下面的行的3個像素為實像素。相同地，位於中心像素區域A的斜左 上方的周邊像素區域Bl和位於中心像素區域A的斜右下方的周邊像素 區域B2中，上下的行也分別為實行，中央的行為插值行。圖4中僅圖示 出以中心像素區域A為中心位於對稱位置處的兩個周邊像素區域Bl和B2，但實際上，環繞中心像素區域A的周圍，例如存在IO個周邊像素 區域B1 B10。針對各區域，計算出包含在該區域中的像素的像素值的加權和。然 後，根據該加權和，計算出中心像素區域A和各周邊像素區域Bj (j-l, 2,…)之間的相關。例如，連接周邊像素區域B1和B2的左上方向的相 關為中心像素區域A和周邊像素區域Bl的相關值、以及中心像素區域A 和周邊像素區域B2的相關值的和。如此針對各方向計算出相關值，將相關最強的方向選擇為插值方向。 圖4是將連接周邊像素區域Bl和B2的左上方向選擇為插值方向的情況 的圖。然後，在對象像素T的上下行上，選擇從對象像素T出發位於插 值方向上的兩個像素，根據這兩個像素的像素值來插值對象像素T。圖5是說明專利文獻4中記載的插值方法的圖。例如，對象像素T 的右上的像素和左下的像素的相關強，作為在對象像素T處相關最強的 方向，設為檢測出(1)所示的右上方向。另一方面，在與對象像素T的 左右鄰接的參照像素R1以及R2處，相反地左上方向檢測為相關最強的 方向。由此，在對象像素T處檢測為相關最強的方向和在參照像素Rl或 R2處檢測出的方向為左右相反的方向的情況下，有可能是錯誤檢測。在 這樣的情況下，為了防止在錯誤的傾斜方向上的插值，如(2)所示，將 對象像素T處的插值方向修正為垂直方向。但是，在(3)所示情況下，向垂直方向的修正不適當。將具有針對 對象像素T在(1)中檢測出的右上方向的傾斜度且通過對象像素T的直 線L、和對象像素T所處的插值行的上下方的插值行交叉的位置處的像 素，設為參照像素R3以及R4。在參照像素R3或R4處，作為相關最強 的方向檢測出與直線L的傾斜度相同的方向的情況下，如(4)所示，將 對象像素T處的插值方向再次修正為原來的右上方向。在以上說明的方法中，在將相對於對象像素位於哪個方向的像素選 擇為插值用的像素的方面各自不同，但共同點在於，考慮對象像素周圍 的像素。但是，即使如此考慮對象像素周圍的像素也存在插值方向容易弄錯的類型的圖像。如圖6所示，這樣的圖像的一個示例為在平坦的背景上如編帶那樣存在細斜線的圖像。在圖6中，在白色的背景上存在右上方向的黑色細 線。例如，位於插值行上的(3， 3)的像素由於位於該黑色的線上，所 以優選插值成黑色。在將(3， 3)的像素設為對象像素時，在(4， 2)和(2， 4)處都 存在黑色的像素，所以右上方向即與黑色線相同方向的相關強。另一方 面，由於該黑色的線細，所以都屬於白色的背景的(2， 2)禾n (4， 4) 的相關也強。即，在(3， 3)處，右上方向和左上方向這雙方的相關為 大致相同的強度。在插值行上應插值成黑色的其他像素處，上述情況也 相同。另外，在一般的圖像中，即使表現為相同顏色但像素值稍微不同的 情況較多。因此，這樣的像素值稍有差異，其結果例如有可能檢測為在 (3， 3)處右上方向的相關最強，在(5， 1)處左上方向的相關最強。 於是，在(3， 3)處黑色線被正確地插值，但(5， 1)被插值成背景的 顏色，在(5， 1)處造成黑色線中斷。艮P，在對象像素處使用位於相關最強的方向的像素來進行插值時， 其結果弄錯插值方向，如圖6所示造成產生線中斷的不整齊的圖像。另 外，即使使用專利文獻1 4等考慮周圍像素的方法，在圖6那樣的圖像 中，由於在對象像素處檢測為相關最強的方向的方向和在周圍的像素處 檢測為相關最強的方向的方向為相反方向，所以會弄錯插值方向。[專利文獻l]日本特開2003—230109號公報[專利文獻2] WO 2004/017634號公報[專利文獻3]日本特開2005-341337號公報[專利文獻4]日本特開2003 —143555號公報如上所述，提出了運動自適應IP轉換的幾個方法，但在插值中使用 的像素的選擇方法中，存在改善的餘地。另外，使用哪個像素來如何插 值的插值方法的確定方法不限於運動自適應IP轉換，可普遍廣泛地應用 於像素的插值。發明內容本發明的課題在於，提供為了獲得高畫質的插值結果而確定用於插 值輸入圖像中不存在的像素的插值方法的程序、裝置及方法。本發明的課題在於，提供為了獲得高畫質的插值結果而確定用於插 值輸入圖像中不存在的像素的插值方法的程序、裝置、及方法。通過本發明的一個方式(aspect)來提供的像素值的插值方法確定程 序使計算機執行確定用於對輸入圖像中不存在且位於一條直線上的多個 像素的各像素值進行插值的插值方法的處理。所述插值方法確定程序也 可以存儲在計算機可讀取的存儲介質中來提供。所述處理具有如下的步驟對象像素選擇步驟，在該步驟中，按照 指定的選擇順序方向依次將所述多個像素中的一個像素選擇為應確定所 述插值方法的對象像素；局部相關值計算步驟，在該步驟中，分別針對 所指定的多個相關計算方向，根據從所述對象像素出發位於所述相關計 算方向的第一像素的像素值和從所述對象像素出發位於所述相關計算方 向的相反方向的第二像素的像素值，來計算與所述相關計算方向對應的 局部相關值；累積相關值計算步驟，在該步驟中，根據與所述相關計算 方向對應的所述局部相關值、和在緊接選擇所述對象像素之前的所述選 擇步驟中選擇出的其它像素的累積相關值，來分別按照各所述多個相關 計算方向對所述對象像素計算累積相關值，其中，該累積相關值是根據 對所述多個像素中的按照所述選擇順序方向順序為開頭的像素即開頭像 素賦予的值，而從所述開頭像素按照所述選擇順序方向逐次分別針對所 述多個像素計算出的相關值；方向選擇步驟，在該步驟中，根據分別與 所述多個相關計算方向對應的所述累積相關值，選擇所述多個相關計算 方向之一；以及插值用像素確定步驟，在該步驟中，根據與在所述方向 選擇步驟中選擇出的所述相關計算方向對應的所述局部相關值和所述累 積相關值中的至少一方，來確定所述對象像素的插值中使用的多個像素。 通過本發明的另一方式提供的插值方法確定裝置按照上述插值方法 確定程序來動作，通過本發明的又一方式提供的插值方法確定方法由上述計算機來執行。根據本發明的實施方式，不僅考慮局部相關值而且還考慮累積相關 值來確定對象像素的插值方法，所以可進行不僅是對象像素的附近，而且還反映出更寬範圍內的相關的全局(global)傾向的插值。由於圖像不同，在僅根據局部(local)相關來確定插值方法時，有 時造成進行不適當插值的情況。但是，在根據本發明的實施方式來確定 對象像素的插值方法時，可進行反映出相關的全局傾向的插值，所以針 對這樣的圖像，也可以取得良好的插值結果。


圖1是說明通過以往的插值方法而產生鋸齒失真的情況的圖。圖2是說明專利文獻1中記載的插值方法的圖。圖3是說明專利文獻2中記載的插值方法的圖。圖4是說明專利文獻3中記載的插值方法的圖。圖5是說明專利文獻4中記載的插值方法的圖。圖6是易弄錯插值方向的圖像的示例。圖7是示出在第一和第二實施方式(embodiment)中共同的原理的 功能模塊結構圖。圖8是示出在第一和第二實施方式中共同的原理的流程圖。圖9是第一實施方式中的像素值插值裝置的功能模塊結構圖。圖IO是第一實施方式中的插值處理的流程圖。圖11是說明第一實施方式中的局部相關值的圖。圖12是說明第一實施方式中的累積相關值的計算的具體例的圖。圖13是第一實施方式中的局部相關值和累積相關值的計算的流程圖。圖M是第一實施方式中的場內插值的流程圖。 圖15是說明通過場內(intra-field)插值來計算像素值的圖。 圖16是示出場內插值方向的確定例的圖。圖17是說明利用局部相關值來確定場內插值用像素並進行插值的以往例的圖。圖18是說明在第一實施方式中利用累積相關值來確定場內插值用像素並進行插值的示例的圖。圖19是造成插值錯誤連鎖的以往的插值方法的示例。圖20是通過將第一實施方式變形後的插值方法確定處理來對與圖 19相同的圖像進行處理時的圖。圖21是第二實施方式中的像素值插值裝置的功能模塊結構圖。圖22是第二實施方式中的插值處理的流程圖。圖23是說明第二實施方式中的考慮了插值完成像素的空間相關值 rel一skew的計算方法的圖。圖24是說明考慮插值完成像素的優點的圖。圖25是說明第二實施方式中的時間相關值rel一xt、 rd一yt的圖。圖26是說明縱線快速移動的圖像中的時間相關值re1—xt、rel—yt的特 徵的圖。圖27A是說明第二實施方式中的時間相關值rel^t2的圖。 圖27B是說明第二實施方式中的時間相關值rel一yt2的圖。 圖28說明斜線快速移動的圖像中的時間相關值re1—xt、 rd—yt 2的特 徵的圖。圖29是第二實施方式中的混合插值的流程圖。 圖30是示出時間相關值及空間相關值和權重係數w_t、 w—s之間的 關係的圖。圖31是執行第一或第二實施方式的程序的計算機的框圖。
具體實施方式
以下，參照附圖來詳細說明本發明的實施方式。以第一實施方式、 第二實施方式、變形例的順序來說明第一和第二實施方式中共同的原理。首先，參照圖7和圖8來對第一和第二實施方式中共同的原理進行 說明。圖7是示出第一和第二實施方式中共同的原理的功能模塊結構圖， 圖8是示出第一和第二實施方式中共同的原理的流程圖。圖7的插值方法確定裝置100是確定用於插值像素值的插值方法的 裝置，其具有存儲部101、對象像素選擇部102、局部相關值計算部103、 累積相關值計算部104、方向選擇部105、以及插值用像素確定部106。向插值方法確定裝置100的輸入是要進行像素插值的輸入圖像，輸 入圖像存儲在存儲部101中。通過按照由插值方法確定裝置100所確定 的插值方法來插值像素，從而取得期望的圖像。例如，在輸入圖像為IP 轉換的對象即隔行掃描圖像的情況下，通過插值來取得逐行掃描圖像。 或者，在輸入圖像為作為放大處理的對象即靜態圖像或動態圖像的情況 下，通過插值來取得放大的圖像。存儲部101存儲輸入圖像、後述的局部相關值以及累積相關值。在 被提供輸入圖像時，插值方法確定裝置100如圖8所示進行插值方法確 定處理。即，重複執行步驟S101 S106的循環。在步驟S101中，對象像素選擇部102依次從輸入圖像中逐次選擇一 個要插值像素即對象像素。接下來在步驟S102中，局部相關值計算部103計算出針對在步驟 S101中選擇的對象像素的局部相關值，並存儲在存儲部101中。對於一 個對象像素，計算分別與多個方向對應的多個局部相關值。以下，將這 些方向稱為"相關計算方向"。接下來在步驟S103中，累積相關值計算部104計算針對在步驟S101 中選擇的對象像素的累積相關值，並存儲在存儲部101中。與局部相關 值同樣地，對於一個對象像素，計算分別與多個相關計算方向對應的多 個累積相關值。累積相關值根據在以前的循環中的步驟S103中計算並存 儲在存儲部101中的累積相關值、以及在之前的步驟S102中計算並存儲 在存儲部101中的局部相關值來計算。接下來在步驟S104中，根據在步驟S103中計算出的多個累積相關 值，方向選擇部105從多個相關值計算方向中選擇一個。例如，選擇與 示出相關最強的值的累積相關值對應的相關值計算方向。接下來在步驟S105中，插值用像素確定部106確定對象像素的插值 中使用的多個像素。以下，將對象像素的插值中使用的像素稱為"插值用像素"。插值用像素根據與在步驟S104中選擇的方向對應的局部相關 值或累積相關值中的至少一方來確定。在步驟S105的確定中，可以僅利 用局部相關值和累積相關值的一方，也可以利用雙方。在圖7中，利用 從局部相關值計算部103和累積相關值計算部104這雙方朝向插值用像 素確定部106的2條虛線箭頭來表示該情況。接下來在步驟S106中，對象像素選擇部102判定是否還留有接下來 要插值的像素。在留有要插值的像素時判定為"是"，處理返回步驟SlOl， 在未留有要插值的像素時為"否"，處理結束。通過如此重複執行步驟S101 S106，針對所有要插值的像素，確定 插值用像素。例如，在輸入圖像為隔行掃描圖像的情況下，在該隔行掃 描圖像中，水平的實行和水平的插值行交互排列。因此，通過預先指定 例如"在步驟SIOI中按照從左至右的順序依次選擇對象像素"的順序， 從而插值行上的所有像素依次從左至右被選擇為對象像素，針對各對象 像素確定插值用像素。以下，將用於表示如此指定的順序的"從左至右" 等方向稱為"選擇順序方向"。在步驟S101 S106中，按照選擇順序方 向來重複執行，所以累積相關值也按照選擇順序方向來累積。另外，如上所述，對於插值像素的方法，可通過針對一個對象像素 如何選擇多個插值用像素的第一觀點、和如何根據所選擇的多個插值用 像素的像素值來計算對象像素的像素值的第二觀點的組合來分類。上述 說明的插值方法確定裝置100的動作涉及第一觀點。即，可從第二觀點 出發不同的多個方法中選擇任意的方法，應用於各實施方式。例如，從第二觀點出發最簡單的方法是將所確定的多個插值用像素 的像素值的算術平均作為對象像素的像素值來分配的方法。另外，將該 方法應用於圖8的處理是指，"計算出在步驟S105中確定的多個插值用 像素的像素值的算術平均，將計算出的值作為對象像素的像素值來分配， 而插值對象像素"。另外，圖7的功能框中的存儲部101可通過易失性存儲器或可擦寫 非易失性存儲器等硬體來實現，但其它功能模塊可通過硬體、軟體、固 件、這些組合中的任一個來實現。例如，可通過分別獨立的硬體來實現各功能模塊。或者，對於多個功能模塊，還可以通過共通的硬體和實現 這些功能的軟體來實現。如後所述，當然也可以通過一般的計算機來實現插值方法確定裝置100。接下來，針對本發明的第一實施方式，參照圖9 圖20來說明。首 先，對第一實施方式中的假設和用詞的定義進行敘述。(a) 在第一實施方式中，為了IP轉換進行像素的插值。(b) 在各時刻t^ti、 t2、…、ti、…時的場圖像作為輸入圖像提供。 例如在幀頻為30ft)s的情況下，時刻ti和時刻ti+1之間為1/60秒。另外， 利用標號Fi來表示時刻ti時的場圖像。以下，為了強調其是輸入圖像的 情況，有時還將與上述各時刻對應的場圖像稱為"輸入場圖像"。(c) 以下，以對時刻t^ti時的場圖像Fi內的像素插值的情況為例來 說明。另外，也將場圖像Fi稱為"對象場圖像"。(d) 將緊接對象場圖像Fi之前的時刻t^tw時的場圖像FU1稱為"先 行場圖像"，將緊接對象場圖像Fi之後的時刻t=ti+1時的場圖像Fi+1稱為"後 續場圖像"。在對象場圖像Fi為偶數場圖像的情況下，先行場圖像Fw和 後續場圖像Fi+1為奇數場圖像。在對象場圖像Fi為奇數場圖像的情況下， 先行場圖像Fw和後續場圖像Fi+1為偶數場圖像。(e) 假設各像素由一個像素值來表示，像素值假設為0至100範圍 內的整數。另外，假設像素值0表示黑色，像素值100表示白色，二者 中間的像素值表示灰色。這些假設是為簡化說明易於理解而進行的假設。 對於插值彩色圖像的情況，作為變形例在後面敘述。(f) 利用坐標(x， y)來表示圖像內的像素位置。x軸為水平方向 的軸，y軸為垂直方向的軸。對於x坐標，在圖像的左端值為0，而越靠 右值變得越大，對於y坐標，在圖像的上端值為0，而越靠下值變得越大。 另外，坐標利用像素數來表示。因此，表示各像素的位置的x和y值為 非負整數。(g) 利用p(j， x， y)來表示在與時刻tj對應的場圖像Fj內位於(x， y)的實像素的像素值。(h) 選擇順序方向是針對一個插值行"從左至右"的方向。(i)針對所有插值行以"從上至下"的順序來確定插值方法。該"從上至下"的順序與選擇順序方向沒有關係。(j)輸入圖像的尺寸、即各場圖像的尺寸假設為水平方向N個像素 且垂直方向M個像素的尺寸。g卩，0《x《N-l且0《y《M-l。接下來，參照圖9來簡單說明第一實施方式中的像素值插值裝置200 的功能模塊結構。圖9的各結構要素的功能的詳細內容在後面與流程圖 對應敘述。圖9的像素值插值裝置200是圖7的插值方法確定裝置100的具體 例之一。像素值插值裝置200不僅確定像素值的插值方法，而且還根據 所確定的方法來插值像素值，所以與插值方法確定裝置100的名稱不同。 像素值插值裝置200具有存儲部201、對象像素選擇部202、相關值計算 部203、靜止/運動(static/moving)判定部206、場內(intra-field)插值 部207、場間(inter-field)插值部211。另外，相關值計算部203具有局 部相關值計算部204和累積相關值計算部205，場內插值部207具有方向 選擇部208、場內插值用像素確定部209、以及場內插值像素值計算部210， 場間插值部211具有場間插值用像素確定部212和場間插值像素值計算 部213。在本實施方式中，所插值的圖像存儲在存儲部201中。在圖9中， 利用從場內插值像素值計算部210和場間插值像素值計算部213朝向存 儲部201的箭頭來表示該情況。圖9的像素值插值裝置200包括將圖7的插值方法確定裝置100的 各結構要素具體化的結構要素，另外還包括圖7中沒有的結構要素。圖7 和圖9的對應關係如下。存儲部201與存儲部101相同，與圖7相比，在圖9中更具體地示 出所存儲的內容。對象像素選擇部202與對象像素選擇部102對應，對 選擇順序方向進行具體化。局部相關值計算部204和累積相關值計算部 205分別與局部相關值計算部103和累積相關值計算部104對應，對局部 相關值和累積相關值的計算式進行具體化。方向選擇部208與方向選擇 部105對應，對所選擇的基準進行具體化。場內插值用像素確定部209 與插值用像素確定部106對應，對插值用像素的確定方法進行具體化。接下來，參照圖10的流程圖來說明在第一實施方式中像素值插值裝 置200進行的插值處理。該插值處理包括確定像素值的插值方法的插值 方法確定處理和按照該確定來插值像素值的處理。圖10的處理是將圖8 的處理具體化後的處理。在步驟S201中，對象像素選擇部202對變量x和變量y進行初始化。 變量x和變量y是表示對象像素坐標的變量。即，對象像素選擇部202 通過設定變量x和變量y的值，來選擇對象像素。為了實現按照上述假設(f)、 (h)、 (0的動作，在步驟S201中，對 象像素選擇部202向x代入0，向y代入與時刻ti對應的值的ofst。在時 刻ti與偶數場對應的情況下ofst的值為1,在時刻ti與奇數場對應的情況 下ofst的值為0。即，在時刻ti與偶數場對應的情況下，插值行的y坐標 為奇數，所以向y代入奇數l。相反，在時刻ti與奇數場對應的情況下， 插值行的y坐標為偶數，所以向y代入偶數0。初始化之後，進入步驟 S202。步驟S202 S209為二重循環。外側的循環是用於依次從上至下逐次 處理一個插值行的循環，與假設(i)關聯。內側的循環是用於在1個插 值行中按從左至右的順序逐次處理一個對象像素的循環，與假設(h)關 聯。在步驟S202中，對象像素選擇部202判定對象像素的位置(x， y) 是否位於圖像的下端的下方位置。根據假設(i)和(j)，比較y和M， 即可進行判定。如果y》M，則判定結果為"是"，如果y《M-l，則判定 結果為"否"。在判定結果為"是"的情況下，表示針對所有插值行處理 已結束，所以結束圖10的插值處理。在判定結果為"否"的情況下，表 示還留有應處理的插值行，所以轉到步驟S203。在步驟S203中，對象像素選擇部202判定對象像素的位置(x, y) 是否位於圖像的右端的右方的位置。根據假設(h)和(j)比較x和N， 即可進行判定。判定結果，如果x》N，則判定結果為"是"，如果x《 N-l，則判定結果為"否"。在判定結果為"是"的情況下，表示針對當 前插值行上的所有像素處理結束，所以為了移到下一插值行，而轉到步驟S209。在判定結果為"否"的情況下，表示在當前的插值行上還留有 應處理的像素，所以轉到步驟S204。在步驟S204中，針對位於(x， y)的對象像素，相關值計算部203 計算相關值。具體而言，局部相關值計算部204計算局部相關值，累積 相關值計算部205計算累積相關值。局部相關值和累積相關值都存儲在 存儲部201中。計算方法的詳細內容將在後面敘述。接步驟S204之後，在步驟S205中，靜止/運動判定部206進行靜止 /運動判定。即，判定在時刻ti在坐標(x， y)或其附近是否存在運動。 靜止/運動判定的具體方法為任意。一般，在針對對象場圖像Fi上的位於坐標(x， y)處的對象像素的 靜止/運動判定中，利用先行場圖像Fw和後續場圖像Fw。例如，也可以 通過比較在先行場圖像Fw和後續場圖像Fw中分別位於(x， y)處的實 像素的像素值pl和p2，來進行靜止/運動判定。pl和p2根據上述(g) 的表記法可利用式(1)和式(2)來表示。formula see original document page 22例如，靜止/運動判定部206也可以在由式(3)所示的Jp超過規定 的閾值pt的情況下判定為對象像素運動，而在」p為pt以下的情況下判定為對象像素靜止。formula see original document page 22另外也可以將位於(x， y)附近的像素使用於靜止/運動判定中。另 夕卜，在如上所述那樣將後續場圖像Fw使用於靜止/運動判定中的情況下， 在時刻ti+1後續場圖像Fi+1輸入到像素值插值裝置200之後，開始針對對 象場圖像Fi的圖10的處理。另外，為了進行靜止/運動判定，至少直到 圖IO的處理結束，先行場圖像Fw需要存儲在存儲部201中而不刪除。在靜止/運動判定的結果被判斷為運動時、即在檢測出運動時，處理 轉到步驟S206，在判定為靜止時，處理轉到步驟S207。步驟S206是在靜止/運動判定中檢測出運動的情況下的處理。在該 情況下，優選利用在對象場圖像Fi的內部位於對象像素附近的像素來進行插值。因此，在步驟S206中，場內插值部207通過場內插值來插值對 象像素，之後轉到步驟S208。另外，處理的詳細內容將在後面與圖13 對應敘述。步驟S207是在靜止/運動判定中判定為靜止的情況下的處理。例如， 在根據某靜止/運動判定的方法，式(3)的」p為規定的閾值pt以下時， 判定為靜止。在該情況下，在時刻tw至tw的期間中，(x， y)的像素可 視為像素值幾乎沒有變化。因此，包含在該期間內的時刻ti時的像素值也 可視為與pl和p2大致相同的值。因此，在步驟S207中，場間插值部211 進行例如將(pl+p2) /2、 pl、 p2、或以適當的比例對pl和p2進行內分 後的值等，作為對象像素的像素值來分配的處理。艮P，場間插值用像素確定部212例如選擇在先行場圖像Fw和後續場 圖像Fw中分別位於(x， y)的兩個實像素作為場間插值中使用的插值用 像素，場間插值像素值計算部213根據這些選擇出的插值用像素的像素 值，計算對對象像素分配的像素值。然後在這些處理之後，轉到步驟S208。在步驟S208中，對象像素選擇部202向變量x加1。即，對象像素 選擇部202將在步驟S206或步驟S207中插值的當前對象像素的右鄰像 素，選擇為新對象像素。之後，返回步驟S203。執行步驟S209直到1個插值行的末尾，在此處理的對象移到下一插 值行。即，對象像素選擇部202將0代入x，對y加2。在隔行掃描圖像 中，插值行和實行交替存在，所以對y加2而不是l。由此，下一插值行 的左端像素選擇為新對象像素。之後，返回步驟S202。通過上述那樣的處理，插值包含在對象場圖像Fi中的所有插值行上 的所有像素。接下來，參照圖ll來說明在圖IO的步驟S204中計算的局部相關值。 如對圖8的步驟S102進行說明的那樣，對於一個對象像素，計算出針對 多個相關計算方向的局部相關值。圖11是示出多個相關計算方向的示例 和與這些相關計算方向對應的局部相關值的計算方法的圖。局部相關值是表示由中間夾著對象像素T位於對稱的位置上的一個 以上的像素構成的組之間的相關的強度的值。而且，根據相關計算方向來確定各組和對象像素T之間的相對位置關係，針對多個相關計算方向 分別計算局部相關值。在第一實施方式的情況下，各組由1個像素或2 個像素構成。另外，根據構成各組的像素的像素值來計算組之間的相關 的強度。在圖11中，設為將對象場圖像Fi的位於坐標(x， y)的像素選擇為 對象像素T狀態。在圖11中，圖示出對象像素T、以及在對象像素T所 處的插值行221的上下兩個實行220和222中位於對象像素T附近的合 計10個實像素。根據這些實像素的像素值來計算局部相關值。另外，針 對對象像素T在圖11中圖示出九個相關計算方向。首先，如下這樣定義 用於說明的用詞和記法。，將九個相關計算方向分別稱為c方向、rl方向、r2方向、r3方向、 r4方向、ll方向、12方向、13方向和14方向這樣的名稱。-將插值行221的上下實行分別稱為"上實行"、"下實行"，分別利 用標號"220"、 "222"來參照。'分別使用由u0、 ul、 u2、 u3、 u4構成的標號來參照位於上實行 220的(x-2， y畫l)、 (x-l， y-l)、 (x， y-l)、 (x+l， y-l)、 (x+2， y-l)的 像素。'分別使用由d0、 dl、 d2、 d3、 d4構成的標號來參照位於下實行 222的(x-2， y+l)、 (x-l， y+l)、 (x， y+l)、 (x+l， y+l)、 (x+2， y+l) 的像素。 上述10個實像素的像素值使用與該像素的標號相同的標號來表 示。例如，像素u0的像素值利用"u0"來表示。因此，如下式(4) 式(13)那樣定義。u0=p (i， x-2， y-l) (4)ul=p (i， x-l， y-l) (5)u2=p (i， x， y-l) (6)u3=p (i， x+l， y-l) (7)u4=p (i， x+2， y-l) (8)d0=p (i， x-2， y+l) (9)dl=p (i， x-l， y+l) (10) d2=p (i， x， y+l) (11) d3=p (i, x+l， y+l) (12) d4=p (i， x+2， y+l) (13)首先對c方向進行說明。根據式(14)計算對象場圖像Fi的位於坐 標(x， y)的對象像素T與c方向對應的局部相關值c (i， x， y)。c (i， x， y) =|p (i， x， y-l) -p (i， x， y+l) |=|u2-d2| (14)c方向為正上方的方向。因此，在局部相關值c (i， x， y)的計算中 利用在上實行220上位於對象像素T的正上方方向的像素u2的像素值 u2。另外，在局部相關值c (i， x， y)的計算中還利用以對象像素T為 中心、位於與像素u2對稱的位置處的像素d2的像素值d2。換言之，像 素d2的位置是在下實行222上從對象像素T觀察，位於c方向的相反方 向即正下方方向的像素。如式(14)所示，與c方向對應的對象像素T的局部相關值c(i， x， y)是像素值u2和像素值d2之差的絕對值，表示像素u2和像素d2之間 的相關的強度。另外，從該定義可知，相關越強、即相關越大，局部相 關值變得越小。此處，在著眼於某一個對象場圖像Fi內的某一個插值行時，i和y 的值恆定，與從左至右依次選擇對象像素T對應，僅x的值變化。因此， 導入從式(4)刪除變量i和變量y後的簡略記法，以下利用式(15)的 c (x)來表示c方向的局部相關值。c (x) =|u2-d2| (15)接下來，對rl方向進行說明。利用式(16)來計算與rl方向對應的 對象像素T的局部相關值r (x， 1)。另夕卜，r (x， 1)的第二自變量的1 與"rl方向"的"1"對應。r (x， 1) =| (u2+u3) /2- (dl+d2) /2| (16)rl方向表示右上方向。"右上方向" 一詞表示包括多種傾斜度的右上 方向的廣義概念，但rl方向為特定傾斜度的右上方向，該傾斜度為"上 1個像素，右0.5個像素"的傾斜度。在上實行220上與對象像素T的rl方向相當的是像素u2和像素u3的邊界。相同地，rl的相反方向為"下l 個像素，左0.5個像素"的傾斜度的左下方向。而且，在下實行222上從 對象像素T觀察位於rl的相反方向的是像素dl和像素d2的邊界。另一方面，在利用標號"U2—3"來參照由像素u2和像素u3構成的 組時，組U2一3的中點是在上實行220上與對象像素T的rl方向相當的 位置。另外，在利用標號"D1—2"來參照由像素dl和像素d2構成的組 時，組Dl一2的中點是在下實行222上從對象像素T觀察與rl的相反方 向相當的位置。這兩個中點的x方向的距離為1。 "rl方向"的名稱中的 "1"與該距離l對應。此處，作為表示組U2一3的像素值，分配像素值u2和像素值u3的平 均值，作為表示組D1—2的像素值，分配像素值dl和像素值d2的平均值。 另外，這些像素值也使用與組相同的標號來參照。於是，式(16)的右 邊表示像素值U2—3和D1一2之差的絕對值。如式(14)所示，二值之差 的絕對值可利用為表示該兩個值之間的相關的強度的值。即，利用式(16) 計算出的局部相關值r (x， 1)是組U2一3和D1—2之間的相關的強度。或者，式(16)也可以如下這樣解釋。假設位於像素u2和像素u3 的中點並具有像素值u2和像素值u3的平均的像素值的虛擬像素。以下 將該像素稱為"虛擬像素"，利用標號"u2—3"來參照。相同地，假設位 於像素dl和d2的中點並具有像素值dl和像素值d2的平均像素值的虛 擬像素。以下利用標號"dl_2"來參照該虛擬像素。此處，在利用標號 u2—3和dl_2來表示虛擬像素u2一3和dl一2的各像素值時，根據上述假設， 與rl方向對應的局部相關值r (x， 1)是像素值u2_3和像素值dl一2之 差的絕對值，是虛擬像素u2—3和虛擬像素dl一2之間的相關的強度。另外，根據上述假設可視為虛擬像素u2—3位於坐標(x+0.5， y-l)， 虛擬像素dl—2位於坐標(x-0.5， y+l)，所以虛擬像素u2—3和d^2的x 方向的距離為l。 "rl方向"這一名稱中的"1"與該距離l對應。以上為關於式(16)的兩個解釋的說明，歸結而言，如以下的式(17) 式(19)那樣表示。式(19)為與式(14)相似的形式。U2 3=u2 3= (u2+u3) /2 (17)Dl—2=dl_2= (dl+d2) /2 (18) r (x， 1) =|U2—3-Dl_2|=|u2—3-dl—2| (19)另外，在不使用簡略記法的情況下，可利用下式(20)來表示局部 相關值r (x， 1)。r (i， x， y， 1) =|{p (i， x， y-l) +p (i， x+l， y-l) }/2-{p (i, x-l， y+l) +p (i， x， y+l) }/2| (20)接下來，對11方向進行說明。11方向表示左上方向。11方向與rl 方向左右對稱，所以省略詳細的說明。與rl方向相同地，利用式(21) 來定義局部相關值l (x， 1)。1 (x， 1) =| (ul+u2) /2- (d2+d3) /2| (21)接下來對r2方向進行說明。r2方向表示右上方向，但與rl方向相 比傾斜度較緩。利用式(22)來計算與r2方向對應的對象像素T的局部 相關值r (x， 2)。另外，r(x， 2)的第二自變量的2與"r2方向"的"2" 對應。r (x， 2) =|u3-dl| (22)r2方向的傾斜度為"上1個像素，右1個像素"的傾斜度。因此， 在上實行220上，與對象像素T的r2方向相當的是像素u3。另外，r2 方向的相反方向為"下1個像素，左1個像素"的傾斜度的左下方向。 因此，在下實行222上，從對象像素T觀察，位於r2方向的相反方向的 是像素dl。因此，與r2方向對應的局部相關值r (x， 2)如式(22)所 示為像素值u3和像素值dl之差的絕對值，表示像素u3和像素dl之間 的相關的強度。另外，像素u3和像素dl在x方向的距離為(x+l) - (x-l) =2。 "r2方向"這一名稱中的"2"表示該距離2。另外，還可以解釋為r (x， 2)為僅由一個像素u3構成的組U3和 僅由一個像素dl構成的組D1之間的相關。接下來在對12方向進行說明時，12方向表示左上方向，是與r2方向 左右對稱的方向。因此，省略詳細的說明，利用式(23)來定義局部相 關值l (x， 2)。1 (x， 2)卞l-d31 (23)接下來對r3方向進行說明。r3方向表示右上方向，與r2方向相比 傾斜度更緩。利用式(24)來計算與r3方向對應的對象像素T的局部相 關值r (x， 3)。 r (x， 3)的第二自變量的3與"r3方向"的"3"對應。 r (x， 3) =| (u3+u4) /2- (d0+dl) /2| (24) r3方向的傾斜度為"上1個像素，右1.5個像素"的傾斜度。因此， 在上實行220上，與對象像素T的r3方向相當的是像素u3和像素u4的 邊界。因此，與rl方向的情況相同地，對由像素u3和像素u4構成的組 U3一4分配像素值u3和像素值u4的平均值。或者，假設位於像素u3和 像素u4的中點並具有像素值u3和像素值u4的平均像素值的虛擬像素 u3—4。於是，與r (x， 1)的計算的情況相同地，得到式(25)。 U3—4=u3—4= (u3+u4) /2 (25) 另夕卜，r3方向的相反方向為"下1個像素，左1.5個像素"的傾斜 度的左下方向。而且，在下實行222上，從對象像素T觀察，位於r3的 相反方向的是像素dO和dl的邊界。因此，與rl方向的情況相同地，對 由像素d0和像素dl構成的組D0一1分配像素值d0和像素值dl的平均值。 或者，假設位於像素d0和像素dl的中點並具有像素值d0和像素值dl 的平均像素值的虛擬像素dOJ。於是，與r(x， 1)的計算的情況相同地， 得到式(26)。D0_l=d0—1= (d0+dl) /2 (26) 因此，與r3方向對應的局部相關值r(x， 3)可以解釋為兩個組U3—4 和D0一1之間的相關的強度，也可以解釋為虛擬像素u3—4和d0—1之間的 相關的強度。接下來，對13方向進行說明，13方向表示左上方向，是與r3方向左 右對稱的方向。因此，省略詳細的說明，利用式l (x， 3)來定義局部相 關值l (x， 3)。1 (x，3) =| (u0+ul) /2畫(d3+d4) /2| (27) 接下來對r4方向進行說明。r4方向表示右上方向，但與r3方向相 比傾斜度更緩。利用式(28)計算與r4方向對應的對象像素T的局部相 關值r (x， 4)。 r (x， 4)的第二自變量的4與"r4方向"的"4"對應。r (x， 4) =|u4-d0| (28) r4方向的傾斜度為"上1個像素，右2個像素"的傾斜庫。因此， 在上實行220上與對象像素T的r4方向相當的是像素u4。另外，r4方向 的相反方向為"下1個像素，左2個像素"的傾斜度的左下方向。因此， 在下實行222上，從對象像素T觀察，位於r4的相反方向的是像素d0。 因此，與r4方向對應的局部相關值r (x， 4)如式(28)所示為像素值 u4和像素偉d0之差的絕對值，表示像素u4和像素d0之間的相關的強度。 另外，與r2方向的情況相同地，r (x， 4)也可以解釋為僅由像素u4構 成的組U4和僅由像素d0構成的組DO之間的相關。接下來，對14方向進行說明，14方向表示左上方向，是與r4方向左 右對稱的方向。因此，省略詳細的說明，利用式(29)來定義局部相關 值l (x， 4)。1 (x， 4) =|u0-d4| (29) 以上，參照圖ll針對九個相關計算方向，分別說明了局部相關值的 計算方法及其解釋，但根據實施方式不同，應考慮的相關計算方向的數 量為任意。在使用與式(14)或式(20)相同的不進行省略的記法時， 可以以一般化的形式來表示右上方向的情況下的局部相關值的式子。艮P， 可使用1以上的整數m，以下式(30)和式(31)這樣表示。左上方向 的情況也相同。r (i， x， y， 2m-l) =|{p (i， x+m-l， y畫l) +p (i， x+m， y畫l) /2-{p (i， x-m， y+l) +p (i， x-m+l， y+l ) }/2| (30) r (i， x， y， 2m) =|p (i， x+m， y-l) -p (i， x-m， y+l) | (31) 接下來，對圖10的步驟S204中計算的累積相關值進行說明。如關 於圖8說明所示，累積相關值分別與多個相關計算方向對應。即，分別 針對在上述計算了局部相關值的c方向、rj方向、lj方向(j=l， 2， 3， 4)， 定義並計算累積相關值。另外，累積相關值通過按照選擇順序方向進行 累積來計算。在第一實施方式中，根據假設(h)，選擇順序方向針對一 個插值行為"從左至右"的方向。S卩，選擇順序方向為x坐標的值增加的方向。以下，將針對位於坐標(x， y)的對象像素T的與c方向對應的累 積相關值表示為C (x)，將與rj方向對應的累積相關值表示為R (x， j)， 將與lj方向對應的累積相關值表示為L (x， j)。此處，j為1、 2、 3、 4 中的任一個。另外，與局部相關值的情況相同地，C (x)、 R (x， j)、 L (x， j)為簡略記法。即，是在對象場圖像Fi和y坐標恆定的情況下， 僅著眼於x的變化的記法。關於累積相關值，在首先集中示出定義之後進行說明。累積相關值 在x-0時利用式(32) 式(34)來定義，在xX)時利用式(35) 式 (43)來遞歸性定義。C (0) =0 (32)L (0， j) =BIG (j=l， 2， 3， 4) (33)R (0， j) =BIG (j=l， 2， 3， 4) (34)C (x) =min (L (x匿l， 1)， C (x-1)， R (x-l， l)) +c (x) (35)R (x， 4) =min (R (x畫l， 4)， R (x-l， 3)) +r (x， 4) (36)R (x， 3) =min (R (x-l， 4)， R (x隱l， 3)， R (x-l， 2)) +r (x， 3)(37)R (x， 2) =min (R (x-l， 3)， R (x-l， 2)， R (x-l， l)) +r (x， 2)(38)R (x， 1) =min (R (x畫l， 2)， R (x-l， 1)， C (x-l)) +r (x， 1)(39)L (x， 4) =min (L (x-l， 4)， L (x-l， 3)) +1 (x， 4) (40) L (x， 3) =min (L (x畫l， 4)， L (x-l， 3)， L (x-1， 2)) +1 (x， 3)(41)L (x， 2) =min (L (x畫l， 3)， L (x-l， 2)， L (x-l， l)) +1 (x， 2)(42)L(x， l)=min(L(x-l， 2)， L(x-l， 1)， C(x-l))+l(x， 1) (43) 在這些式中，min (a、 b)表示a、 b的最小值，min (c， d， e)表 示c、 d、 e的最小值。另外，BIG是比作為累積相關值實際可取的值的上限大的任意常數。在將上述式視為數學模型的情況下，BIG相當於無限 大。因此，對BIG加上什麼樣的值，其結果仍視為BIG，例如，如下式 (44)這樣計算。 L (1， 2)=min (L (0， 3)， L (0， 2)， L (0， l)) +1 (1， 2) =min (BIG， BIG， BIG) +1 (1， 2) =BIG+1 (1， 2)=BIG (44) 接下來，對累積相關值的含義進行說明。如從上述遞歸性定義可知， 累積相關值是對位於(x， y)的對象像素T的左側的局部相關值進行累 積相加而取得的值。根據上述定義，局部相關值非負，相關越大其值越 小。因此，對局部相關值進行累積相加而取得的累積相關值也為非負， 相關越大其值越小。因此，在式(35) 式(43)中，使用函數min表 示在兩個或三個累積相關值中選擇相關最大的相關值，BIG表示相關無 限小。此處，對對象像素T的左側的局部相關值進行累積相加，所以可知 對象像素T位於圖像左端的情況、即x=0的情況為特別的情況。在x=0 的情況下，由於相關計算方向而無法計算累積相關值的值。參照圖ll來 說明該情況。在圖11中，在x-0的情況下，像素u0、 ul、 d0、 dl不存在。例如， r2方向的局部相關值r (x， 2)為從對象像素T觀察位於r2方向的像素 u3和從對象像素T觀察位於r2方向的相反方向的像素dl之間的相關。 因此，在x-O時由於像素dl不存在，所以無法計算出局部相關值r (x， 2)。此處，在針對各相關計算方向而定義這一點上，局部相關值和累積 相關值相同。因此，如果像素dl不存在，則無法針對r2方向計算出局部 相關值和累積相關值。根據相同的理由，在x-0處，無法針對c方向以 外的方向計算出累積相關值。另一方面，c方向為在x=0時唯一可計算的方向。因此，針對c方向， 例如可使用局部相關值c (0)來定義累積相關值C (0)，但在本實施方式中，確定為利用式(32)來計算出累積相關值。如後所述，累積相關 值C (0)對其他所有累積相關值均等地影響，但累積相關值利用在大小 比較中。因此，累積相關值C (0)如式(32)那樣確定為適當的常數也 不會成為問題。另夕卜，針對在x-O時無法計算的rj方向以及lj方向(j=l， 2， 3， 4)，利用式(33)和式(34) —律定義為累積相關值為BIG。接下來，說明xX)時的式(35) 式(43)的含義。在式(35) 式(43)的任一個中，在利用當前對象像素T的左邊一個像素計算出的 多個累積相關值中的最小值與對象像素T的局部相關值之和這一點相同。 另外，與某一相關計算方向d對應的累積相關值的計算中使用的局部相 關值為與相同相關計算方向d對應的局部相關值這一點也在式(35) 式(43)中共同。此處，在將圖11所示的九個相關計算方向按照其傾斜的角度來排序 時，成為14方向、13方向、12方向、ll方向、c方向、rl方向、r2方向、 r3方向、r4方向的順序。在著眼於該順序來觀察式(35) 式(43)時， 一般如下情況成立。即，在針對相關計算方向d的累積相關值的計算中， 作為自變量而向函數min賦予的計算完成的累積相關值與相關計算方向 d本身及其前後的相關計算方向對應。例如，式(40)與14方向對應。14方向為上述順序的第l個，所以 比14方向相比順序靠前的相關計算方向不存在。因此，向函數min賦予 與順序為第1的14方向和順序為第2的13方向對應的累積相關值。另外， 式(41)與13方向對應。由於13方向的順序為第2，所以向函數min賦 予與順序在其前後的方向、即順序為第1的14方向和順序為第3的12的 方向對應的累積相關值作為自變量。艮口，在各相關計算方向中，對應關聯多個在與該相關計算方向對應 的累積相關值的計算中應考慮的相關計算方向。以下，將如此對應關聯 的相關計算方向稱為"關聯方向"。例如，14方向的關聯方向為14方向和 13方向這兩個，c方向的關聯方向為rl方向、c方向、ll方向這三個。艮口，在各式(35) (43)中，包含函數min的第1項意味著如下 的2點。 預先將與著眼的相關計算方向d接近的一個以上的相關計算方向和相關計算方向d本身，作為關聯方向與相關計算方向d對應關聯。 關於對象像素T的左邊一個的像素，選擇與這些關聯方向對應地 計算出的多個累積相關值中相關最強的相關計算方向的累積相關值。這兩點直觀上表示，在對象像素T左側與和當前著眼的相關計算方 向d接近的方向對應的相關傾向是強還是弱。此處，如果某一相關計算 方向d的相關強，則在與該相關計算方向d接近的其它相關計算方向d' 中，默認相關較強。例如，考慮在某插值行上，在對象像素T的左側，rl方向的局部相 關值為最大的像素為大多數的情況。在該情況下，當然在對象像素T的 左側，rl方向的相關為強的傾向。另外，c方向和r2方向由於與rl方向 接近，所以在對象像素T的左側，推測為c方向和r2方向的相關也為較 強的傾向。式(35) 式(43)的遞歸性定義反映出這樣的直觀理解。 在該示例中，作為關聯方向，與c方向和r2方向對應關聯有rl方向，所 以在與c方向和r2方向對應的累積相關值的累積相加中，利用函數min 來選擇並相加相關強的rl方向的累積相關值。其結果，C (x)和R (x， 2)也成為表示較強的相關的值、即較小的值。圖12是說明在以上說明的累積相關值的計算的具體示例的圖。在圖 12中，例示出與上實行220和下實行222之間的插值行221上的像素對 應的累積相關值的計算。圖12由示出針對坐標(x-l， y)的對象像素T1 的累積相關值的計算的左列、示出針對坐標(x， y)的對象像素T2的累 積相關值的計算的中央列、示出定義累積相關值的式子的右列構成。另 夕卜，各列從上到下依次分別示出r2方向、rl方向、c方向、11方向、12 方向這五個方向。圖12的左列包括分別與針對坐標(x-l， y)的對象像素Tl計算完 成的累積相關值R (x-l， 2)、 R (x-l， 1)、 C (x)、 L (x-l， 1)、 L (x-l， 2)對應的計算說明圖230、 231、 232、 233、 234。另外，在圖12中，由 於紙面限制僅示出五個相關計算方向，但假設針對未圖示的r3方向等， 也計算出局部相關值以及累積相關值。另外，在圖12中，由於紙面限制，在水平方向即x方向上僅圖示出7個像素，但實際上，在左右兩側還存 在像素。例如，從式(38)可知，針對對象像素T1的、與r2方向對應的累 積相關值R (x-l， 2)為三個累積相關值的最小值和局部相關值r (x-l， 2)之和。局部相關值r (x-l， 2)與r2方向對應。因此，在累積相關值 R(x-l， 2)的計算說明圖230中，利用以對象像素T1為中心朝向r2方 向及其相反方向的雙向的實線箭頭A14表示局部相關值r (x-l， 2)。相同地，在累積相關值R (x-l， 1)的計算說明圖231中，利用以 對象像素Tl為中心朝向rl方向及其相反方向的雙向的實線箭頭A18， 表示局部相關值r (x-l， 1)。圖12的中央列也與左列相同地，示出與五個相關計算方向對應的累 積相關值的計算說明圖235 239。在中央列中，對象像素T1的右鄰像素、 即坐標(x， y)的像素為對象像素T2。例如，向表示針對對象像素T1的rl方向的累積相關值R (x， 1) 的計算的計算說明圖236，分別從表示R(x-l， 2)的計算的計算說明圖 230、表示R (x-l， 1)的計算的計算說明圖231、表示C (x-l)的計算 的計算說明圖232，伸出粗箭頭A24、 A25、 A26。粗箭頭A24、 A25、 A26表示在定義R (x， 1)的式(39)中，作為自變量向函數min賦予R (x-l， 2)、 R (x-l， 1)、 C (x-l)這三者。另外，在圖12中假設該三者 中R (x-l， 1)最小。因此，在3根粗箭頭A24、 A25、 A26中，使用實 線來僅示出與R(x-l, 1)對應的粗箭頭A25，使用虛線來示出其它2根 粗箭頭A24和A26。對於表示累積相關值R (x， 2)的計算的計算說明圖235也相同。 從與R (x-l， 1)對應的計算說明圖231發出的粗箭頭A23、從與R (x-l， 2)對應的計算說明圖230發出的粗箭頭A22、從與R (x-l， 3)對應的 未圖示的計算說明圖發出的粗箭頭A21指向計算說明圖235。另外，在 圖12中假設為在這3個累積相關值中R (x-l， 1)最小。因此，使用實 線來示出與R(x-l， 1)對應的粗箭頭A23，使用虛線來示出粗箭頭A21 和A22。在上述的假設下，根據式(38)， R (x， 2)為R (x-l， 1)與局部 相關值r (x， 2)之和。在計算說明圖235中，以對象像素T2為中心朝 向r2方向及其相反方向的雙向的實線箭頭A35表示r (x， 2)。另外，在計算說明圖235中，在實線箭頭A35的左側，存在4根雙 向虛線箭頭。即，存在與(x-l)對應的虛線箭頭A34、與(x-2)對應的 虛線箭頭A33、與(x-3)對應的虛線箭頭A32、與(x-4)對應的虛線箭 頭A31。以下，對這些虛線箭頭進行說明。根據式(32) 式(43)的定義可知，累積相關值除了例外地值為 BIG的情況以外，是一個以上的局部相關值之和。將這些局部相關值稱 為該累積相關值的"結構要素"。R (x， 2)的計算說明圖235中存在的 虛線箭頭A31 A34表示.在R (x， 2)的計算中利用函數min選擇的R (x-l， 1)的結構要素。例如，如上所述，在R(x-l， 1)中作為結構要素包括r (x-l， 1)， 其在計算說明圖231中利用實線箭頭A18來表示。另外，在該示例中， R (x， 2)為R (x-l， 1)和r (x， 2)的和，所以R (x-l， 1)的結構要 素的r (x-l， 1)還是R (x， 2)的結構要素。因此，在計算說明圖235 中，存在與計算說明圖231中的實線箭頭A18對應的虛線箭頭A34，虛 線箭頭A34表示r (x-l， 1)。即，虛線箭頭A34是以坐標(x-l， y)為 中心朝向rl方向及其相反方向的雙向虛線箭頭。同樣地，計算說明圖235中的虛線箭頭A31、 A32、 A33分別與計算 說明圖231中的虛線箭頭A15、 A16、 A17對應。B卩，在R (x， 2)的計 算中利用函數min選擇出的R (x-l， 1)的各結構要素也是R(x， 2)的 結構要素，所以計算說明圖231中的虛線箭頭朝向的圖案緊接著計算說 明圖235中的虛線箭頭朝向的圖案。因此，R (x， 2)作為結構要素包括 c (x-4)、 c (x-3)、 r (x國2， 1)、 r (x-l， 1)、 r2 (x， 2)。這五個局部相 關值分別與計算說明圖235中的虛線箭頭A31、虛線箭頭A32、虛線箭 頭A33、虛線箭頭A34、實線箭頭A35對應。另一方面，在比較表示R (x-l， 2)的計算的計算說明圖230和表 示R(x， 2)的計算的計算說明圖235時，兩者都與r2方向對應，但虛線箭頭朝向的圖案不同。其原因為，在R (x， 2)的計算中沒有利用函 數min來選擇R (x-l， 2)。另外，有時包含關聯方向以外的方向的局部相關值作為累積相關值 的結構要素。例如，與R (x， 2)對應的r2方向的關聯方向為rl方向、 r2方向、r3方向這三個。另一方面，在表示R (x， 2)的計算的計算說 明圖235中，存在與c方向對應的虛線箭頭A31和A32。圖12的右列示出定義與五個相關計算方向對應的累積相關值的式 子。即，示出上述式(38)、 (39)、 (35)、 (43)、 (42)。以上，說明了局部相關值和累積相關值的定義和含義，所以接下來， 對實際的計算步驟進行說明。圖13是在圖10的步驟S204中進行的相關 值計算的流程圖。圖13示出局部相關值計算部204和累積相關值計算部 205分別計算出利用上述的式子定義的局部相關值和累積相關值的處理。另外，在圖13中，假設為進行針對對象場圖像Fi中位於(x， y)的 對象像素T的計算來說明。另外，在圖13中假設為xX)。即，準確地說， 圖13是在圖10的步驟S204中x>0的情況下的流程圖。從局部相關值和累積相關值的定義可知，x=0的情況為例外的情況。 另外，在x-0的情況下，除c方向以外無法計算出局部相關值和累積相 關值，累積相關值計算部205按照式(33)和式(34)僅將累積相關值 確定為規定的值並存儲在存儲部201中。因此，對於x-0的情況，省略 流程圖。另一方面，在xX)的情況下，執行圖13的處理。首先，在步驟S301 中，局部相關值計算部204將-n代入變量k來進行初始化。變量k是用 於指定多個相關計算方向之一的變量。n是(2n+l)為相關計算方向的數 那樣的規定的常數，是根據實施方式而預先確定的正整數。另外，優選 在考慮為相關計算方向的方向中一定包括c方向、且右上方向的數量和 左上方向的數量相同，在圖13中將其默認為前提。例如，在針對r4方向、r3方向、r2方向、rl方向、c方向、ll方向、 12方向、13方向、14方向這九個方向進行考慮的實施方式中，右上方向 和左上方向分別為四個，所以n=4。在變量k的初始化之後，轉到步驟S302。步驟S302 S305是改變變量k的值來重複執行的循環。該循環表示針對各相關計算方向計算局部相關值。在步驟S302中，局部相關值計算部204判定k是否大於n。在k大 於n時，判定為"是"，結束針對對象像素T的局部相關值的計算，轉 到步驟S306。在k為n以下時，判定為"否"，轉到步驟S303。在步驟S303中，如對圖13中的局部相關值的表記法進行說明的那 樣，實際上不進行任何操作，處理轉到步驟S304。在圖13中，通過如式 (45) 式(47)那樣定義，利用統一的表記"v (k)"來表示針對位於 (x， y)的對象像素T的局部相關值。例如，v (-3) =1 (x， 3)， v (2) =r (x， 2)。v (k) =1 (x， -k) (k0) (47)接步驟S303之後在步驟S304中，局部相關值計算部204計算與表 示當前的變量k的值的相關計算方向對應的、針對對象像素T的局部相 關值v (k)，並存儲在存儲部201中。即，局部相關值計算部204按照上 述局部相關值的定義，從存儲部201讀出對象場圖像Fi內的像素中的在 局部相關值的計算中所需的多個像素的像素值，根據這些像素值計算出 局部相關值，並存儲在存儲部201中。另外，如圖9所示，在存儲部201中存儲有輸入場圖像、局部相關 值、累積相關值等各數據。在第一實施方式中，設為這些數據分別存儲 在存儲部201內的規定區域，但也可以動態確定並分配存儲數據的區域。在v (k)的計算和存儲之後，在步驟S305中，局部相關值計算部 204對變量k加1 。這意味著局部相關值計算部204選擇在上述相關計算 方向的排序順序中鄰接的下一相關計算方向。在相加之後，返回步驟 S302。在步驟S302的判定為"是"時執行步驟S306。步驟S301 S305是 由局部相關值計算部204執行的局部相關值的計算處理，步驟S306 S314是由累積相關值計算部205執行的累積相關值的計算處理。在步驟S306中，累積相關值計算部205將-n代入變量k來進行初始 化，並轉到步驟S307。這與步驟S301相同。步驟S307 S314是改變變量k的值來重複執行的循環。該循環表示 針對各相關計算方向計算累積相關值。在步驟S307中，累積相關值計算部205判定k是否大於n。如果k 大於n，則判定為"是"，結束針對對象像素T的累積相關值的計算，結 束圖13的處理整體。如果k為n以下，則判定為"否"，轉到步驟S308。在步驟S308中，如對圖13中的累積相關值的表記法進行說明的那 樣，實際上不進行任何操作，處理轉到步驟S309。在圖13中，通過如式 (48) 式(50)那樣定義，利用統一的表記"V (x， k)"來表示針對 位於(x， y)的對象像素T的累積相關值。例如，V (-3) =L (x， 3)， V (x， 2) =R (x， 2)。V (x， k) =L (x， -k)(k0) (50)步驟S309 S313是累積相關值計算部205根據由於k的值而不同的 定義來計算出累積相關值，並存儲在存儲部201中的步驟。在步驟S309中，累積相關值計算部205判定變量k是否等於-n。在 k二n時，判定為"是"，轉到步驟S310，在k^-n時，判定為"否"，轉 到步驟S311。在步驟S310中，累積相關值計算部205計算累積相關值V (x， k)。 在l^-n的情況下執行步驟S310，所以利用變量k來表示的相關計算方向 為相關計算方向中傾斜度最緩的左上方向、即ln方向。ln方向是上述相 關計算方向的排序順序中的第1個方向。如從表示n=4情況的示例的式 (40)可知，在該情況下，作為自變量賦予函數min的累積相關值僅為 兩個。即，針對分別與相關計算方向的排序順序為第1和第2的相關計 算方向對應而位於(x-l， y)的像素過去計算出的累積相關值V (x-l， k) 和V (x-l， k+l)作為函數min的自變量。在步驟S310中利用式(40)的一般化形式的下式(51)來定義累積相關值V (x， k)，累積相關值計 算部205根據式(51)來計算V (x， k)。V (x， k) =min (V (x-l， k)， V (x-l， k+l)) +v (k) (51) 艮P，累積相關值計算部205從存儲部201讀出過去計算出並存儲在存儲部201中的累積相關值V (x-l， k)和V (x-l， k+l)。累積相關值 計算部205選擇出二者中的最小值。另外，上述的"過去計算出"具體 而言是指，在圖10中緊接當前執行中的步驟S204之前的循環中執行的 步驟S204。累積相關值計算部205還讀出在步驟S304中計算出並存儲在 存儲部201中的局部相關值v (k)，通過將選擇出的最小值和v (k)相 加來計算V(x， k)，並存儲在存儲部201中。然後，處理轉到步驟S3M。 在步驟S311中，累積相關值計算部205判定變量k是否等於n。在 !^n時判定為"是"，轉到步驟S312，在k^O時，判定為"否"，轉到步 驟S313。在步驟S312中，累積相關值計算部205計算累積相關值V (x， k)。 在k=n的情況下執行步驟S312，所以利用變量k來表示的相關計算方向 為相關計算方向中傾斜度最緩的右上方向、即m方向。S卩，在步驟S312 中針對與步驟S310左右對稱的相關計算方向，累積相關值計算部205計 算累積相關值。該累積相關值利用式(52)來定義。式(52)為式(36) 的一般化形式。累積相關值計算部205的動作與步驟S310相同，所以省 略說明。在步驟S312的執行後，處理轉到步驟S314。V (x， k) =min (V (x-l， k-l)， V (x曙l， k)) +v (k) (52) 在步驟S313中，累積相關值計算部205計算累積相關值V (x， k)。在-iKk〈n的情況下執行步驟S313。即，針對利用變量k表示的相關計算 方向，定義出三個關聯方向。因此，利用式(53)來定義V (x， k)。V (x， k) =min (V (x-l, k隱l)， V (x-l， k)， V (x-l， k+l))+v (k) (53) 式(53)為式(35)、式(37) 式(39)、式(41) 式(43)的 一般化形式。累積相關值計算部205的動作除了從存儲部201讀出的累 積相關值的數量不同這一點以外，其它與步驟S310相同，所以省略說明。在步驟S313的執行後，處理轉到步驟S314。在步驟S314中，累積相關值計算部205對變量k加1 。這意味著累 積相關值計算部205選擇在上述的相關計算方向的排序順序中鄰接的下 一相關計算方向。在相加之後，返回步驟S307。在相關值計算部203如此結束圖13的處理後，處理進入到圖10的 步驟S205。另外，累積相關值為反映出對象像素的左側的相關傾向的值，但計 算中所需的計算機資源的量沒有那麼多。即，如式(51) 式(53)所 示，可僅通過進行最小值的選擇和相加來計算累積相關值。如此定義的 累積相關值的計算量不會例如隨著x的值和相關計算方向的數量而呈指 數增大。另外，從式(51) 式(53)可知，在第一實施方式中，只要針對 坐標(x-l， y)的像素的累積相關值存儲在存儲部201中，即可計算出針 對坐標(x， y)的對象像素的累積相關值。即，即使從存儲部201中刪 除針對坐標(x-2， y)的像素及其左側的像素的累積相關值，也可以計算 出針對坐標(x， y)的對象像素的累積相關值。因此，第一實施方式具 有即使輸入圖像的像素數較多，累積相關值的計算中所需的存儲部201 的容量也可以較少的優點。接下來，參照圖14來說明圖10的步驟S206的詳細內容。圖14是 第一實施方式中的場內插值的流程圖，圖10中示出針對利用變量x和y 來設定的坐標(x， y)的對象像素的處理。圖14的處理由場內插值部207 來執行。步驟S401 S405為用於確定對象像素的插值中使用的插值用像 素的處理，步驟S406為用於插值對象像素的處理。在步驟S401中，方向選擇部208選擇累積相關值為最小的相關計算 方向dir。如圖13所示，累積相關值計算部205針對(2n+l)個相關計 算方向，分別完成累積相關值的計算。因此，方向選擇部208選擇出與 這些(2n+l)個累積相關值中的值最小的累積相關值對應的相關計算方 向。另外，累積相關值為非負，其值越小相關越高，所以也可以說"方 向選擇部208將累積相關最高的相關計算方向選擇為dir"。另外，在存在多個值為最小的累積相關值的情況下，方向選擇部208 選擇出與其中的最接近c方向的相關計算方向對應的方向。例如，在 (2n+l)個累積相關值中與12方向對應的L (x， 2)和與rl方向對應的 R (x， 1)這兩個值相同且為最小值時，由於rl方向的一方與12方向相 比更接近c方向，所以在步驟S401中rl方向選擇為dir。在dir的選擇後， 轉到步驟S402。在步驟S402中，場內插值用像素確定部209取得與dir對應的局部 相關值min—rel。例如，在dir為r2方向時，min_rel為r (x， 2)，在dir 為c方向時，min—rel為c (x)，在dir為11方向時，min_rel為1 (x， 1)。 在min一rd的取得之後，轉到步驟S403。在步驟S403中，場內插值用像素確定部209將規定的常數k和 min—rd的積與c (x)進行比較，在式(54)成立時判定為"是"，在不 成立時判定為"否"。k,min—rel<c (x) (54)另夕卜，此處k為預先確定的常數，優選為1.0至2.0左右範圍內的值。 另外，上述的2.0並非理論上的臨界值，而是通過實驗經驗性取得的大概 數字，其詳細內容將在後面敘述。因此，k也可以是上述範圍外的值。在步驟S403的判定為"是"時，在步驟S404中，場內插值用像素 確定部209將場內插值方向確定為dir。此處，"場內插值方向"是指，利 用在對對象像素進行場內插值時使用的多個插值用像素的位置關係來確 定的方向。場內插值方向的確定和插值用像素的確定的意思相同。即，"將場內插值方向確定為dir"是指接下來的(la) (3a)。 (la)確定由從對象像素觀察位於dir方向的、上實行220上的、一 個以上的實像素構成的組。(2a)確定由從對象像素觀察位於dir的相反方向的、下實行222上 的、 一個以上的實像素構成的組。(3a)將包含在這兩個組中的多個實像素確定為對象像素的插值用像素。另外，上述(la) (3a)還可以描述成接下來的(lb) (3b)。(lb)確定從對象像素觀察位於dir方向的、上實行220上的、 一個 實像素或一個虛擬像素。(2b)確定從對象像素觀察位於dir的相反方向的、下實行222上的、 一個實像素或一個虛擬像素。(3b)將(lb)和(2b)中確定的兩個實像素或(lb)和(2b)中 確定的兩個虛擬像素確定為對象像素的插值用像素。與在圖12中利用雙向的虛線箭頭A11等來表示與局部相關值對應的 相關計算方向相同，場內插值方向也可以在以下的圖中利用雙向的箭頭 來表現。參照圖11來對在步驟S403中選擇的插值用像素進行說明。例如， 在di產rl時，在上述(la)中確定由像素u2和像素u3構成的組U2—3， 在(2a)中確定由像素dl和像素d2構成的組Dl一2，在(3a)中四個實 像素u2、 u3、 dl、 d2確定為對象像素T的插值用像素。換言之，在(lb) 中確定虛擬像素u2—3，在(2b)中確定虛擬像素d1—2，在(3b)中兩個 虛擬像素n2一3、 dl_2確定為對象像素T的插值用像素。相同地，例如在dir^2時，在(la)中確定僅由像素u3構成的組， 在(2a)中確定僅由像素dl構成的組，在(3a)中兩個實像素u3、 dl 確定為對象像素T的插值用像素。換言之，在(lb)中確定像素u3，在 (2b)中確定像素dl，在(3d)中兩個實像素u3、 dl確定為對象像素T 的插值用像素。在場內插值方向如此確定為dir後，處理轉到步驟S406。另一方面，在步驟S403的判定為"否"時，在步驟S405中場內插 值用像素確定部209將場內插值方向確定為c方向。即，對象像素的正 上方的像素u2和正下方的像素d2確定為對象像素的插值用像素。這是 在步驟S404中說明的(la) (3a)、 (lb) (3b)中改讀為dir^c的 動作。在場內插值方向的確定後，處理轉到步驟S406。在步驟S406中，按照在步驟S404或步驟S405中確定的場內插值方 向，場內插值像素值計算部210進行對象像素的場內插值。即，場內插 值像素值計算部210計算對象像素的像素值。參照圖15來說明步驟S406中的像素值的計算例。例如在場內插值 方向為r2時，如上所述，對象像素T的插值用像素為像素u3和dl這兩 個。在該情況下，場內插值像素值計算部210按照式(55)來計算出對 象像素T的像素值T，對對象像素T進行場內插值。式(55)表示兩個 插值用像素的像素值的平均。T=(u3+dl) /2 (55)在圖15的示例中，像素u3和dl都為黑色，所以利用式(55)計算 出像素值T的對象像素T也插值成黑色。另夕卜，在例如場內插值方向為rl時，如上所述，對象像素T的插值 用像素為像素u2、 u3、 dl、 d2這四個實像素。在該情況下，場內插值像 素值計算部210按照式(56)來計算對象像素T的像素值T，對對象像 素T進行場內插值。式(56)表示四個插值用像素的像素值的平均。T=(u2+u3+dl+d2) /4 (56)另外，也可以使用式(17)以及式(18)將式(56)變形為式(57)。 formula see original document page 43 (57)式(57)解釋為將對象像素T的插值用像素視為兩個虛擬像素u2」、 dl一2。式(57)表示該兩個插值用像素的像素值的平均為對象像素T的 像素值T。式(56)和式(57)按照不同的解釋表現為不同的形式，但其 實質內容相同。當如此在步驟S406中對對象像素T進行場內插值後，圖14的場內 插值處理結束。然後，處理返回圖IO，轉到步驟S208。另外，在補充說明圖14的處理的含義時，如下所述。在步驟S401 中考慮累積相關值，在步驟S402和步驟S403中考慮局部相關值，所以 在圖14中，進行考慮了局部相關值和累積相關值這雙方的場內插值。另 外，步驟S403 S405反映出根據實驗經驗性地取得的知識。即，在步驟 S403 S405中，將提高插值後的圖像的畫質作為目的，施加有易於將c 方向選擇為場內插值方向的偏倚(bias)。如上所述，在如圖1那樣總是將c方向設為場內插值方向時，將產 生鋸齒失真，引起插值後的圖像的畫質惡化。另一方面，在如圖6那樣將傾斜方向即C方向以外的方向作為場內插值方向來對對象像素進行場 內插值時，如果場內插值方向適當則可以取得高畫質的結果，但如果不 適當，則有時成為比圖1的鋸齒失真更差的低畫質的結果。因此，可知 僅在經驗性地認為是高可靠性且適當的方向的情況下，進行傾斜方向上的場內插值方向對畫質的提高有效。即，經驗上來講，如果步驟S401中 選擇出的dir為適當的場內插值方向的可靠性低，則與dir相比在c方向 上進行場內插值時，不易導致畫質的惡化。由此，對於易於使c方向選擇為場內插值方向的偏倚，在本實施方 式中，具體而言利用步驟S403的式(54)來實現。在本實施方式中，局 部相關值為非負，其值越小相關越大。因此，在實現上述偏倚時，k必須 大於1.0。例如如果假設為k=1.5，則在與相關計算方向dir對應的局部相關值 min一rel小於與c方向對應的局部相關值c (x)的2/3時，式(54)成立。 即，僅在與dir對應的局部相關明顯大於與c方向對應的局部相關時，式 (54)成立，在兩者沒有很大差異的情況下，式(54)不成立。此處， 是否"明顯大"的判斷具體而言依賴於k的值。在k為極端大的值時， min一rd和c (x)為非負，所以在步驟S403中幾乎總是判定為"否"，幾 乎總是c方向被選擇為場內插值方向。因此，優選k的值通過實驗等來 適當地確定。上述1.0 2.0的範圍為優選的值的範圍的示例。另外，在步驟S401中，在多個相關計算方向上累積相關值為最小的 情況下，將其中最接近c方向的方向選擇為dir，但這也是與上述偏倚類 似的考慮方法。即是如下的考慮方法在所計算出的累積相關值為相同 程度時，與遠離c方向的相關計算方向相比，接近c方向的相關計算方 向可靠性更高且累積相關更大。以上對第一實施方式中的像素值插值裝置200的動作進行了說明， 但在圖16中，示意性示出並總結該動作的流程。圖16示出場內插值方 向的確定例。如圖16的左側所示，在該示例中y^的行為插值行。該插值行上的 像素從左到右依次選擇為對象像素，並進行插值。圖16示出坐標(O， 1) (6， 1)這七個對象像素的插值。如圖16的中央所示，針對各對象像素計算出與多個相關計算方向對 應的累積相關值。在圖16中，由於紙面限制僅示出五個相關計算方向。 另外，在圖16中，使用灰色來示出步驟S401的dir的選擇。例如，在對 象像素的坐標為(1， 1)時，在該示例中，假設為累積相關值R (1， j)、 C (1)、 L (1， j) (j=l， 2，…)中的C (1)為最小。因此，C (1)使 用灰色來示出。另外，在圖16中，假設為在步驟S205中對任何對象像素都檢測到 運動。因此，對各對象像素，根據這樣選擇出的dir，按照步驟S402 S405， 確定實際的場內插值方向。圖16的右側利用雙向箭頭來示出所確定的場 內插值方向。從圖16的中央和右側的比較可知，在該示例中，在步驟S403 中不存在判定為"否"的對象像素。接下來，對圖8和圖10、圖13、圖14的對應進行敘述。圖8的步驟S101與在圖10中進行向變量x和變量y的代入的步驟 S201、 S208、 S209對應。圖8的步驟S102和步驟S103與圖10的步驟S204對應。更準確而 言，步驟S102與圖13的步驟S301 S305對應，步驟S103與圖13的步 驟S306 S314對應。圖8的步驟S104和步驟S105與圖10的步驟S206對應。更準確而 言，步驟S104與圖14的步驟S401對應，步驟S105與圖14的步驟S402 S405對應。圖8的步驟S106與圖10的步驟S203對應，步驟S106的"是"判 定與步驟S203的"否"判定對應。另外，圖8示出針對多個對象像素沿 一個選擇順序方向依次確定插值方法的情況，所以在步驟S106中判定為 "否"時處理結束。例如，在針對某一水平的一個插值行上的多個對象 像素，沿從左至右的選擇順序方向確定插值方法的情況下，圖8示出處 理在該插值行的右端結束的情況。另一方面，圖10還示出針對多個插值 行的處理。因此，在圖10中，即使在步驟S203中判定為"是"，處理也 不結束，為了轉移到下一插值行而轉移到步驟S209。圖10相當於將圖8的處理重複執行插值行個數次。接下來，參照圖17 圖20來對在進行場內插值時如上述那樣利用 累積相關值的優點進行說明。參照圖17和圖18來說明第一個優點，參 照圖19和圖20來說明第二個優點。另外，在圖17 圖20中，也假設上 述(a) (j)。特別，在圖17 圖20中為了使用數值來說明具體例， 圖示出各像素的像素值。根據上述(e)的假設，例如標示為"100"的 正方形表示白色像素。圖17是說明利用局部相關值來確定場內插值用像素而進行插值的 以往例的圖。另外，圖18是說明在第一實施方式中利用累積相關值來確 定場內插值用像素進行插值的示例的圖。圖17和圖18的輸入圖像是相 同的輸入場圖像Fi，是在像素值為100的白色背景中存在像素值為0或5 的黑色斜線的圖像。圖17所示的以往的方法是利用與式(14) 式(29)所示上述第一 實施方式相同的局部相關值，但不利用累積相關值的方法。在圖17中， 僅將12方向、ll方向、c方向、rl方向、r2方向這五個方向考慮為相關 計算方向。另外，輸入場圖像Fi的寬度為8個像素，其x坐標為0 7的 範圍。插值行221上的8個像素從左至右依次被選擇為對象像素，針對 五個相關計算方向分別計算出局部相關值。計算出的局部相關值如局部相關值一覽表240所示。另外，在局部 相關值一覽表240中將小數點以下四捨五入來示出。局部相關值一覽表 240的空欄表示定義上無法計算的情況。另外，局部相關值一覽表240是 用於說明的表，局部相關值一覽表240中示出的所有累積相關值並非同 時存儲在存儲部201中。在圖17的方法中，局部相關值最小且因此局部 相關最大的方向被確定為場內插值方向。針對各對象像素，在局部相關 值一覽表240內，使用灰色來示出五個相關計算方向中的局部相關值最 小的方向。在場內插值方向的說明圖241中，針對如此確定的場內插值方向， 使用表示該方向的雙向箭頭來示出。而且，根據該場內插值方向來插值 的結果為插值完成場圖像Gi。在插值完成場圖像Gi中，插值行221上的8個像素全部通過插值成為像素值為IOO的白色像素。因此，黑色斜線被 插值行221中斷。艮P，在位於x-3以及x:4的位置的像素處，與正的場內插值方向即 r2方向相反的12方向的局部相關最強，所以在圖17的方法中將造成錯誤 的插值。具體而言，由於r (3， 2) >1 (3， 2)，所以在x-3處與r2方向 相比12方向的局部相關強，由於r (4， 2) >1 (4， 2)，所以在x-4處與 r2方向相比12方向的局部相關強。因此，位於f3以及x-4的位置處的 像素的場內插值方向成為12方向，這些兩個像素插值成白色。另一方面，圖18示出通過第一實施方式的處理來插值與圖17相同 的輸入場圖像Fi的示例。在圖18中也與圖17相同地僅將五個方向考慮 為相關計算方向。另外，插值行221上的8個像素從左至右依次被選擇 為對象像素的方面也與圖17相同。與圖17的不同之處在於，在圖18中 像素值插值裝置200不僅計算局部相關值而且還計算累積相關值，利用 累積相關值來確定場內插值方向。計算出的累積相關值如累積相關值一覽表242所示。另外，累積相 關值一覽表242中也將小數點以下四捨五入來示出。累積相關值一覽表 242的空欄表示值為"BIG"的累積相關值。另外，在累積相關值一覽表 242中連接累積相關值彼此的粗線表示與圖12中的粗箭頭A23和A25相 同的意思。例如，根據式(39)的定義，R (3， 1)通過下式(58)來計 算。R (3， 1) =min (R (2， 2)， R (2， 1)， C (2)) +r (2， 1) =min (0， 48， 95) +45 =0+45=45 (58) 在式(58)中利用函數min選擇出的是表示R (2， 2)的0值。因 此，在累積相關值一覽表242中，從表示R(2， 2)的0向表示R(3， 1) 的45引出粗線。另外，在累積相關值一覽表242內，針對各對象像素，使用灰色來 示出五個相關計算方向中的累積相關值最小的方向。即，灰色的方框與圖14的步驟S401的dir相當。另夕卜，在圖18中，在例如假設為式(54) 的常數k的值為2時，在x=6以外，在步驟S403中不會判定為"否"。 因此，在x-6以夕卜，灰色的方框表示在步驟S404中確定的場內插值方向。 另夕卜，在x=6時，min—rel-r (6， 1) =0且c (x) =0，所以在步驟S403 中判定為"否"，場內插值方向確定為c方向。在場內插值方向的說明圖243中，針對這樣確定的場內插值方向， 使用表示該方向的雙向箭頭來示出。根據該場內插值方向來插值的結果 為插值完成場圖像Gi。根據累積相關值一覽表242和場內插值方向的說 明圖243可知，通過利用累積相關值，在x-3和x-4處，r2方向的局部 相關值即使沒有成為最小，r2方向的累積相關值也為最小。g口， R(3， 2) <L (3， 2)以及R (4， 2) <L (4， 2)成立。其結果，在x=3和x=4處， 場內插值方向被準確地確定為r2方向，在插值完成場圖像Gi中，黑色斜 線以不中斷的形式被包含，取得良好畫質的圖像。接下來，參照圖19和圖20來說明利用累積相關值時的第二個優點。 圖19是造成插值錯誤連鎖的以往的插值方法的示例。另外，圖20是通 過將第一實施方式變形的插值方法確定處理來對與圖19相同的圖像進行 處理時的圖。圖19的上段示出所有行為實行的原圖像P，中段示出與原圖像P對 應的隔行掃描圖像I，下段是針對隔行掃描圖像I的一部分的場內插值方 向的說明圖245。另外，在圖19中，為便於說明，示出為根據原圖像P 來取得隔行掃描圖像I。但是，實際上並不存在原圖像P，在假設準確地 進行了理想的IP轉換的情況下，應從隔行掃描圖像I取得的逐行掃描圖 像為原圖像P。原圖像P為在發白的背景中縱向排列有兩個灰色的倒V字型的邊緣 的圖像，其大小為橫向17個像素X縱向9個像素。隔行掃描圖像I是針 對該9行每隔1行進行了間疏(間引)的圖像。隔行掃描圖像I中包括5 個實行，需要針對4個插值行進行插值。在圖19中，著眼於從上開始的 第2個和第3個實行來說明。將由該2個實行和被這兩行夾著的插值行 構成的部分稱為"著眼部分"，利用標號"224"來參照。與原圖像P比較可知，在著眼部分244的0《x《7的範圍內，將r3方向等右上方向設 為場內插值方向，在8《x《16的範圍內，將13方向等左上方向設為場內 插值方向，從而可取得高畫質的結果。但是，在圖19中說明的以往的方法中，依賴於鄰近的像素處的場內 插值方向來確定對象像素的場內插值方向，所以連鎖地產生場內插值方 向的錯誤(以下簡稱為"插值錯誤")。在該示例中，從左至右依次對插 值行進行插值，所以"鄰近的像素"具體而言是指對象像素的左側的像 素。艮P，即使在優選將左上方向設為場內插值方向的8《x《16的範圍 內，依賴於在其左側被選擇為場內插值方向的右上方向來確定場內插值 方向。因此，其結果，如場內插值方向的說明圖245所示，針對位於8 《x《16範圍內的對象像素，右上方向也成為場內插值方向，而連鎖地產 生插值錯誤。而且，如圖所示在8《x《16的範圍內該連鎖一直持續。艮P，如V字型和倒V字型的邊緣那樣，在將某位置設為邊界，所期 望的場內插值方向變化較大的圖像的情況下，在圖19的以往方法中，有 時插值錯誤連鎖。其原因為，即使超過該邊界，也受到以前的場內插值 方向的影響而確定場內插值方向。例如在該邊界附近的某對象像素處臨 時產生插值錯誤時，該插值錯誤對較寬範圍帶來影響，在寬範圍內連鎖 地產生插值錯誤。另一方面，在第一實施方式的插值方法確定處理中，即使插值錯誤 連鎖，該連鎖也僅限於某種程度的範圍內，可從插值錯誤的連鎖復原。 參照圖20來說明該情況。另外，圖20是基於將第一實施方式的一部分 變形的插值方法確定處理的圖，變形的方面為關於與圖像的右端和左端 相關的處理，關於插值方法的確定基本上與上述第一實施方式相同。在圖20的第1段中，與像素值的數字對應地示出圖19的著眼部分 244。像素值插值裝置200將由上實行220、下實行222、以及夾在上實 行220和下實行222之間的插值行221構成的該圖像作為輸入場圖像Ft 來接收，執行圖10、圖13、圖14所示的處理。另外，在圖20的示例中， 將13方向、12方向、ll方向、c方向、rl方向、r2方向、r3方向這7個方向考慮為相關計算方向。計算出的累積相關值如第2段的累積相關值一覽表246所示。累積 相關值一覽表246的表記法與圖18的累積相關值一覽表242相同，與累 積相關值最小的方向dir對應的方框為灰色。另外，在累積相關值一覽表246中，在L (1， 2)和R (1， 2)等、 在上述累加相關值的定義下由於值變為"BIG"而應成為空欄的方框中， 記入"100"和"50"等值。其原因為，在圖20中變更了第一實施方式 的累積相關值的計算方法的一部分。如式(44)所示，在第一實施方式 的計算方法中L (1， 2) =BIG。艮卩，在圖像的左端和右端，在累積相關 值中，存在幾個值為BIG的累積相關值。圖20是進行了用於減少值為 BIG的累積相關值的變形時的圖。艮P，在式(32) 式(43)中，對各相關計算方向對應關聯有兩個 或三個關聯方向，但在圖20的示例中，在圖像的左端和右端例外地增加 關聯方向的數量。例如，在x-l的像素處，12方向的關聯方向除了與第 一實施方式相同的13方向、12方向、11方向這3個方向之外，還包括c 方向。通過如此增加關聯方向，在f1的像素處也可以計算出累積相關 值L (1， 2)和R (1， 2)。這樣增加關聯方向的變形是為了針對可計算局部相關值的相關計算 方向，也可以計算累積相關值。例如，對Fl的像素，可計算出與從12 方向至r2方向這5個方向對應的局部相關值，在如上述那樣在x-l處例 外地使關聯方向增加時，針對從12方向至r2方向這5個方向，也可以計 算出累積相關值。但是，無需一定要進行這樣的變形，當然也可以嚴格 地按照式(32) 式(43)計算累積相關值。另外，從在累積相關值一覽表246中將累積相關值彼此連接的粗線 可知，所有的累積相關值包括C (0)來作為其結構要素。即，累積相關 值C (0)對所有的累積相關值影響均等。因此，累積相關值C (0)的具 體數值不影響各累積相關值的大小關係。在第3段所示的場內插值方向的說明圖247中，使用箭頭來示出所 確定的場內插值方向。在圖20中，將在圖14的步驟S403中使用的k的值假設為1.5。於是，僅在x^、 9、 12處，步驟S403的判定為"否"， 場內插值方向變更為c方向。在第4段中，示出插值的結果。在圖20的示例中，在7《x《12處選擇了不適當的場內插值方向。 觀察圖19的原圖像P可知，6《x《9的範圍內的下實行222的像素表示 的邊緣在上實行220中不存在。因此，在該範圍內產生插值錯誤，其結 果插值錯誤連鎖直到x=12。但是，在13《x《16處從該插值錯誤的連鎖 復原，適當的方向被選擇為場內插值方向，適當地進行插值。艮P，根據上述實施方式，例如在x^3的情況下，對於在x〈3的範 圍內實際上沒有被釆用為場內插值方向的12方向和13方向，也可以藉助 累積相關值，考慮與該方向相關的x〈3的範圍內的相關。例如，在x42 處沒有選擇13方向，但與13方向對應的L (12， 3)保存在存儲部201 中，在插值x^3的像素時參照，其結果，在x^3處13方向被適當地選 擇為場內插值方向。由此，在上述實施方式中，針對以前的像素處沒有被選擇的方向， 也藉助累積相關值來考慮，所以即使進行了錯誤的插值，也難以引起該 插值錯誤在較寬範圍內連鎖的情況。實際上，在如圖19的原圖像P那樣 的倒V字型和V字型的邊緣連續幾層的圖像的情況下，根據在中途可否 從插值錯誤的連鎖復原、即可否在某時刻修正插值錯誤的不同，從而所 輸出的逐行掃描圖像的畫質存在顯著的差異。接下來，參照圖21 圖30來對本發明的第二實施方式進行說明。 第二實施方式在靜止/運動判定中檢測出運動的情況下進行混合插值而不 是場內插值這一點與第1實施方式不同。"混合插值"是指，將場內插值 和場間插值組合的插值，其詳細內容將在後面敘述。其中，對於根據局 部相關值來計算累積相關值的方面等，在第一和第二實施方式中具有很 多共同點。另外，在第二實施方式中也假設在第一實施方式中假設的 (a) (j)。第一和第二實施方式的差異在於圖7中的插值用像素確定 部106的差異，是圖8中的步驟S105的差異。圖21是第二實施方式中的像素值插值裝置300的功能模塊結構圖。 與圖9的像素值插值裝置200相同，圖21的像素值插值裝置300也是圖7的插值方法確定裝置100的具體例之一。像素值插值裝置300不僅確定 像素值的插值方法，還根據所確定的方法來插值像素值，所以與插值方 法確定裝置100的名稱不同。此處僅進行像素值插值裝置300的結構的 簡單說明，各結構要素的功能的詳細內容將在後面敘述。另外，以下， 對與像素值插值裝置300具有的結構要素中的與圖9相同或類似的部分， 附加與圖9相同的標號來參照。像素值插值裝置300具有存儲部201、對象像素選擇部202、第一空 間相關值計算部301、時間相關值計算部304、靜止/運動判定部206、混 合插值部302、以及場間插值部211。圖21的存儲部201與圖9的存儲部201相同。但是，在第二實施方 式中，如後述那樣為了對象像素的插值還需要插值完成的場圖像，所以 在圖21中，明示出插值完成場圖像也存儲在存儲部201中這一點。另外， 在圖中，利用標號"Gw"來參照對先行場圖像Fw進行插值而取得的插 值完成場圖像，利用標號"Gi'"來參照從對象場圖像Fi取得的、僅一部 分的像素插值完成而另一部分的像素仍未被插值的圖像。另外，圖像整 體的插值是否結束並非很重要，所以圖像Gi'也稱為"插值完成場圖像"。 另外，雖然在圖21中未示出，但以下利用標號"Gj"來參照針對對象場 圖像Fi的所有插值行上的所有像素完成插值而取得的插值完成場圖像。第一空間相關值計算部301雖然名稱不同，但功能與圖9的相關值 計算部203相同，並具有局部相關值計算部204和累積相關值計算部205。 混合插值部302具有方向選擇部208、第二空間相關值計算部303、場內 插值用像素確定部209、場內插值像素值計算部210、權重係數計算部305 、 以及混合插值像素值計算部306。場間插值部211與圖9相同地具有場間 插值用像素確定部212和場間插值像素值計算部213。另外，在圖21中，從混合插值像素值計算部306和場間插值像素值 計算部213還伸出不指向任何功能模塊的箭頭。這兩個箭頭意思上是朝 向存儲部201的箭頭，由於紙面限制而這樣圖示。如後所述，在第二實 施方式中，由混合插值像素值計算部306或場間插值像素值計算部213 計算對象像素的像素值。存儲在存儲部201中的插值完成場圖像的數據包含該計算出的像素值的數據。這兩個箭頭表示插值完成場圖像的存儲。圖21的像素值插值裝置300包括將圖7的插值方法確定裝置100的 各結構要素具體化後的結構要素，另外還包括圖7中沒有的結構要素。 圖7和圖21的對應關係如下所述。存儲部201與存儲部101相同，與圖7相比在圖21中對所存儲的內 容更具體地示出。對象像素選擇部202與對象像素選擇部102對應，對 選擇順序方向進行了具體化。局部相關值計算部204和累積相關值計算 部205分別與局部相關值計算部103和累積相關值計算部104對應，對 局部相關值和累積相關值的計算式進行了具體化。方向選擇部208與方 向選擇部105對應，對所選擇的基準進行了具體化。場內插值用像素確 定部209和場間插值用像素確定部212與插值用像素確定部106對應， 對插值用像素的確定方法進行了具體化。接下來，參照圖22的流程圖來對在第二實施方式中像素值插值裝置 300進行的插值處理進行說明。該插值處理包括確定像素值的插值方法的 插值方法確定處理和按照該確定來插值像素值的處理。圖22的處理是將 圖8的處理具體化的處理。另外，圖22包括與第一實施方式的圖10的 流程圖相同的步驟，所以首先從與圖IO的共同點開始進行說明。圖10示出在變量x和變量y的初始化之後，重複執行與變量y相關 的循環，對變量y的某一個值，重複執行與變量x相關的循環的情況。 該二重循環結構也與圖22相同。即，在圖10和圖22中，步驟S201和 步驟S501、步驟S202和步驟S502、步驟S203和步驟S503、步驟S208 和步驟S511、步驟S209和步驟S512分別對應。圖22中的上述步驟為與 圖IO中的對應的步驟相同的動作，所以省略說明。艮P，第一和第二實施方式差異在於，圖10的步驟S204 S207和圖 22的步驟S504 S510之間的差異。因此，以下對步驟S504 S510進行 說明。步驟S504與步驟S204大致相同。在步驟S504中，針對位於(x， y) 的對象像素，第一空間相關值計算部301計算空間相關值，並存儲在存 儲部201中。此處，"空間相關值"是指，包含在第一實施方式中說明的局部相關值和累積相關值的上位概念，在步驟S504中計算出的空間相關 值具體而言是局部相關值和累積相關值。即，局部相關值計算部204計 算局部相關值，累積相關值計算部205計算累積相關值。局部相關值和 累積相關值的計算方法與第一實施方式的情況完全相同，如圖13所示。局部相關值根據包含在同一場圖像Fi中的多個像素的像素值來計 算。這些多個像素位於不同的位置，位置為空間的概念。另外，累積相 關值通過累積局部相關值來計算。因此，可以說局部相關值和累積相關 值都表示某種空間的相關。另外，在第二實施方式中，如後述那樣，還利用局部相關值和累積 相關值以外的空間相關值。任一空間相關值都表示根據包含在同一場圖 像Fi中的、不同的多個位置處的像素的像素值計算的、空間上的相關。在局部相關值和累積相關值的計算之後，處理轉到步驟S505。在步 驟S505中，方向選擇部208確定對對象像素的臨時插值方向dir。此處， "臨時插值方向"定義為相關計算方向中的累積相關值最小的方向。艮P， 在步驟S505中，進行與圖14的步驟S401相同的處理。之後，處理轉到 步驟S506。在步驟S506中，第二空間相關值計算部303計算考慮了插值完成的 像素的像素值的空間相關值rel一xy以及rel一skew。這些空間相關值利用 在後述的步驟S509中的權重係數的計算中，其詳細內容將在後面敘述。 另外，rel一skew根據dir不同其具體的計算方法也不同。在rd—xy和 reljkew的計算之後，處理轉到步驟S507。在步驟S507中，時間相關值計算部304計算時間相關值。"時間相 關值"為與空間相關值成對的概念。時間相關值根據包含在多個場圖像 中的多個像素的像素值來計算。多個不同的場圖像與多個不同的時刻對 應，所以根據包含在多個場圖像中的多個像素的像素值計算出的相關值 示出時間上的相關。時間相關值也是與空間相關值同樣地表示廣義概念 的詞彙。在步驟S507中，具體而言計算出rel一xt、 rel_yt、 rel_yt 2這3種時 間相關值，計算方法的詳細內容將在後面敘述。其中，rel_yt 2根據dir不同其具體的計算方法也不同。在時間相關值計算部304計算出這些時 間相關值後，處理轉移到步驟S508。在步驟S508中，靜止/運動判定部206進行靜止/運動判定。靜止/ 運動判定的具體處理也可以與圖10的步驟S205相同，但在第二實施方 式中，利用在步驟S507中計算出的時間相關值來進行靜止/運動判定，判 定在時刻ti時的對象像素的附近是否存在運動。在靜止/運動判定的結果被判定為運動時、即在檢測到運動時，轉移 到步驟S509，在判定為靜止時，轉移到步驟S510。在靜止/運動判定中檢測出運動的情況下執行步驟S509，進行將場內 插值和場間插值組合的混合插值。混合插值的詳細內容將在後面與圖29 的流程圖對應敘述，但其概要如下。由場內插值用像素確定部209和場內插值像素值計算部210計算通 過場內插值來插值對象像素時的像素值。另外，由場間插值用像素確定 部212和場間插值像素值計算部213計算通過場間插值來插值對象像素 時的像素值。然後，權重係數計算部305計算應對兩個像素值附加的權 重係數，混合插值像素值計算部306使用該權重係數來計算兩個像素值 的加權和，而插值對象像素。在對象像素的插值後，處理轉移到步驟S511 。步驟S510為在靜止/運動判定中判定為靜止時的處理。在步驟S510 中，使用與圖10的步驟S207類似的方法，場間插值部211進行場間插 值。在場間插值的執行之後，處理轉移到步驟S511。步驟S511和步驟S512如上所述，與圖IO相同。通過圖22的處理， 對包含在對象場圖像Fi中的所有插值行上的所有像素進行插值。接下來，參照圖23來對在圖22的步驟S506中計算的空間相關值 rel一skew進行說明。如上所述，rel_skew根據所選擇的臨時插值方向dir 不同其具體的計算方法也不同。在根據方向來定義計算方法的方面，局 部相關值和rd—skew相似。在圖23中也利用與示出局部相關值的圖11共同的標記。圖23中的 上實行220、插值行221、下實行222的位置關係與圖11相同。另外， 圖23中的各像素u0 u4、 d0 d4分別為實像素，與對象像素T對應的相對位置和圖11相同。即，這些像素的像素值u0 u4、 d0 d4如式(4) 式(13)所示。另外，在圖11中針對九個相關計算方向進行了圖示，但 在圖23中由於紙面限制，僅圖示出c方向、ll方向、12方向、rl方向、 r2方向這五個方向。局部相關值僅使用實像素的像素值來計算，但空間相關值rel—skew 還考慮插值完成的像素的像素值來計算。以下，將插值完成的像素稱為 "插值完成像素"，將其像素值稱為"插值結束像素值"。另外，插值完 成像素值也為像素值的一種，所以有時還簡稱為"像素值"。設在對象像素T的位置為(x， y)時，利用標號"ml"來參照位於 其左鄰的(x-l， y)的插值完成像素，利用標號"m0"來參照位於像素 ml的左鄰的(x-2， y)的插值完成像素。在使用與上述(g)類似的記法， 使用q (j， x， y)來表示在與時刻tj對應的場圖像Fj內位於(x， y)的 插值完成像素的插值完成像素值時，插值完成像素值mO和ml如式(59)、 式(60)所示。formula see original document page 56
rel—skew根據臨時插值方向dir來定義，在dir=c時rel一skew如式(61)所示。formula see original document page 56(61)此處，a是調節分別對右邊的第1項和第2項的rel_skew的貢獻的 係數，且0《a《1。從經驗上來講，優選a在0.5 0.75的範圍內。a可 以是根據實施方式而預先指定數值的常數，也可以由用戶來指定。另外，f為兩個自變量的函數，在式(61)中兩個自變量都為像素值 之差的絕對值。函數f的具體例為表示兩個自變量的最大值的式(62)、 表示兩個自變量的平均值的式(63)，但也可以使用除此以外的函數f。formula see original document page 56在如式(62)那樣使用函數max時，如果在式(61)中lul-mll和ldl-m11 中只要有一方的值較大時，該較大值反映到rel—skew。因此，式(62)表示將像素值的差更敏感地反映到rd—skew的偏倚。在式(63)中不是這樣的偏倚，而是中立。通過使用式(63)的函 數f，在式(61)中lul-mll和ldl-mll均等地反映到re1—skew。另一方面，選擇最小值的函數min表示與函數max相反的偏倚。優 選rd一skew為反映出像素值的差的值，其理由將在後面敘述。因此，優 選將函數min用作函數f。艮卩，式(61)的第1項(a X|u2-d2|)表示從對象像素T觀察位於c 方向的上實行220上的實像素u2、與從對象像素T觀察位於c方向的相 反方向的下實行222上的實像素d2之間的相關。實像素u2與實像素d2 之間的相關越高，第l項的值變得越小。另一方面，式(61)的第2項(1-cl) Xf (lul-ml卜|dl-ml|)表示 位於對象像素T的附近、且相互位於與連接在第1項中考慮的兩個實像 素的方向平行的方向上的、實像素和插值完成像素之間的相關。在di產c 的情況下，如圖23所示，在這樣的實像素和插值完成像素的組中，存在 像素ul和像素ml的組以及像素dl和像素ml的組。因此，在第2項中，針對該兩個組進行考慮。接下來，對dir-ll的情況進行說明。在di產ll時rel—skew如式(64)所示。rel_skew=a X|u2-d3|+) Xf (|ul-ml|， |d2-ml|) (64)式(64)中的常數a以及函數f與式(61)相同。即，對任何臨時 插值方向dir，都使用相同常數a以及函數f定義空間相關值rd—skew。式(64)和式(61)的共同點在於，第1項表示實像素彼此的相關， 第2項表示實像素和插值完成像素之間的相關。式(64)和式(61)的 不同點在於，在rel_Skew的計算中使用的像素處於什麼樣的位置關係。在式(64)的第1項中，考慮實像素u2和實像素d3的相關。在圖 23中連接實像素u2和實像素d3的雙向箭頭與在圖11中表示11方向的 雙向箭頭平行。但是，在圖23中，並非考慮從對象像素T觀察位於11 方向的像素和從對象像素T觀察位於11方向的相反方向的像素的方面與 圖ll不同。圖23中的實像素u2和實像素d3的位置關係全部滿足接下來的三個 條件。 兩者都位於對象像素T的附近。 第一像素位於上實行220上，第二像素位於下實行222上。 *從第二像素觀察第一像素位於11方向上。g卩，從第一像素觀察第 二像素位於ll方向的相反方向上。換言之，在dii=ll時，利用處於全部滿足這些條件的位置關係的兩 個實像素，計算reLskew。在第二實施方式中，使用滿足上述三個條件的 兩個實像素的組中的像素u2的像素d3的組。式(64)的第2項表示位於對象像素T的附近且具有與在第1項中 考慮的11方向接近的方向的位置關係的實像素和插值完成像素之間的相 關。如上所述，在按照傾斜度的角度來排序相關計算方向時，11方向的 前一方向和後一方向為12方向和c方向。因此，在第二實施方式中，在 計算dir=ll時的rd一skew的第2項時，利用接下來的兩組像素。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀 察位於c方向的上實行220上的實像素ul的組。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀 察位於12方向的相反方向的下實行222上的實像素d2的組。接下來說明di產rl的情況。在該情況下，rel—skew如式(65)所示。 rel—skew=a X|u3-d2|+ (l-a ) Xf (|u2-ml|， |dl-ml|) (65) 與在圖11中說明的局部相關值不同，考慮插值完成像素值的空間相 關值即rel一skew的計算並非左右對稱。即，11方向和rl方向為左右對稱 的方向，但與ll方向對應的式(64)和與rl方向對應的式(65)左右不 對稱。不對稱的理由在於，在reLskew的計算中利用插值完成像素。在第 二實施方式中也與第一實施方式相同，按照選擇順序方向依次選擇對象 像素來進行插值。即，在某一個插值行上，從左至右依次選擇對象像素 來進行插值。因此，在插值行221上，插值完成像素僅存在於對象像素T 的左側。因此，無法定義與和ll方向對應的式(64)左右對稱的式子。但是，根據與11方向相同的考慮方法，可定義diHl時的rel—skew。 式(65)表示這樣的定義。艮P，式(65)的第1項表示處於全部滿足接下來的三個條件的位置 關係的兩個實像素彼此的相關。 兩者都位於對象像素T的附近。 第一像素位於上實行220上，第二像素位於下實行222上。 *從第二像素觀察第一像素位於1"1方向。即，從第一像素觀察，第二像素位於rl方向的相反方向。而且，式(65)的第2項表示位於對象像素T的附近且具有接近rl方向的方向的位置關係的實像素和插值完成像素之間的相關。接近rl方向的方向具體而言是指r2方向和c方向。因此，在dir=rl時的rel—skew的第2項的計算中，利用接下來的兩組像素。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀察位於r2方向的上實行220上的實像素u2。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀察位於c方向的相反方向的下實行222上的實像素dl。接下來說明dir=12的情況。在該情況下，re^skew如式(66)所示。 rel—skew=a X|ul-d3|+(l-a ) Xf (|u0-ml|， |d2-ml|) (66) 式(66)的第1項也表示位於對象像素T附近的兩個實像素的相關。而且，該兩個實像素的一方位於上實行220上而另一方位於下實行222上，且從後者觀察前者位於12方向的位置關係。另外，第2項利用接下來的兩組像素來計算。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀察位於12方向的上實行220上的實像素u0的組。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀察位於12方向的相反方向的下實行222上的實像素d2的組。接下來說明dir=r2的情況。在該情況下，rel—skew如式(67)所示。 rel—skew=a X|u3-dl|+) Xf (|u2-ml|， |d0-ml|) (67) 式(67)的第1項也表示位於對象像素T附近的兩個實像素之間的相關。而且，這兩個實像素的一方位於上實行220上而另一方位於下實 行222上，且從後者觀察前者位於r2方向的位置關係。另外，第2項利用接下來的兩組像素來計算。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀 察位於r2方向的上實行220上的實像素u2的組。 對象像素T的左鄰的插值完成像素ml、和從插值完成像素ml觀 察位於r2方向的相反方向的下實行222上的實像素d0的組。以上，對圖23所示的空間相關值rel一skew進行了說明，但也可以針 對未圖示的13方向、14方向、r3方向、r4方向同樣地計算出re1—skew。 即，在將m設為1以上的整數時，可根據臨時插值方向dir，如式(68) 式(71)那樣採取一般化形式來定義rd—skew。formula see original document page 60(l-a ) Xf (|p (i， x+m-l， y-l) -q (i， x-l， y) |， |p (i， x-m-l， y+l) -q (i， x-l， y) |) (71)艮P，空間相關值rel—skew表示與臨時插值方向dir對應的、位於相對 於對象像素T的特定的相對位置的像素彼此的相關，利用至少一個插值 完成像素的插值完成像素值來計算。以上說明的空間相關值rd—skew在圖22的步驟S506中，由第二空 間相關值計算部303來計算。另外，第二空間相關值計算部303在步驟 S506中，還計算由式(72)定義的空間相關值rd—xy。rel—xy=a X|u2-d2|+ (l-a ) Xf (|ul-ml|， |dl-ml|) (72)式(72)的右邊與式(61)的右邊完全相同，rel—xy與dir=c時的 rel—skew相等。如後所述，混合插值部302內的場內插值用像素確定部 209確定的場內插值方向為臨時插值方向dir或c方向。在場內插值方向 確定為c方向的情況下，進行rel一xy的計算。接下來，參照圖24來說明考慮插值完成像素ml來計算空間相關值 rel—skew的優點。為便於說明，在圖24中也與圖19相同地，在左側示出 所有的行為實行的原圖像P，在中央示出與原圖像P對應的隔行掃描圖像 I。在右側示出像素值插值裝置300將隔行掃描圖像I作為輸入來接收， 從左至右依次選擇插值行221上的像素來進行插值的情況。在該圖中， 對象像素T的左側的像素已經進行了插值。如圖24所示，原圖像p是背景為明亮的灰色且在插值行221上存在 黑色的細橫線H的圖像。但是，由於該橫線H非常細，所以僅存在於插 值行221上，在其上下的行上不存在。因此，在隔行掃描圖像I中完全不 包括該橫線H。針對這樣的隔行掃描圖像I，在第l實施方式中，如圖24的中央所 示，僅計算考慮插值行221的上下實行間的相關的局部相關值和基於該 局部相關值的累積相關值。在局部相關值中，僅反映出屬於背景的像素 彼此的強相關，而沒有反映出背景和橫線H之間的相關。另一方面，在第二實施方式中，參照插值完成像素ml，所以在適當 地插值像素ml時，空間相關值rel—skew成為還反映出背景和橫線H之間的相關的值。在圖24的情況下，由於背景和橫線H的像素值存在較大 差異，所以rd_skew的值也隨之變大，rd一skew適當地表示對象像素T 附近處的空間相關較小的情況。如上所述，對於原圖像P，通過考慮插值 完成像素ml，可以得到更適當地表示空間相關的空間相關值。對於通過 取得適當的空間相關值來進行適當的插值的情況，將在後面與圖30對應 地進行敘述。接下來，參照圖25 圖28來對時間相關值計算部304在圖22的步 驟S507中計算的時間相關值進行說明。在本實施方式中，利用根據先行 場圖像以及後續場圖像內的實像素計算出的第一時間相關值、以及根據 先行場圖像內的插值完成像素和對象場圖像內的實像素計算出的第二時 間相關值這雙方。第一時間相關值的計算中使用的實像素為存在於對象像素的位置處 的像素。或者，也可以將存在於對象像素的位置及其附近的多個實像素 使用在第一時間相關值的計算中。本實施方式中的第一時間相關值具體 而言為rel—xt。第二時間相關值的計算中使用的插值完成像素和實像素的位置相 同，其位置為對象像素的位置附近。本實施方式中的第二時間相關值具 體而言為rel_yt和rel_yt 2。接下來，參照圖25和圖26來對時間相關值中的rel—xt和relj進行 說明。圖25說明對在與時刻t^ti對應的對象場圖像Fi中位於(x， y)的對 象像素T進行插值的情況。在圖25中，針對對象像素T的附近，示出先 行場圖像Fw、對象場圖像Fi、後續場圖像Fw。在圖25中，使用實線來 示出實行上的實像素，使用虛線來示出插值行上的像素。首先，針對時間相關值的計算中利用的像素如下這樣定義。 ，在先行場圖像Fw中，利用標號"b"來參照位於與對象像素T相同的位置、即(x， y)的實像素及其像素值。.在後續場圖像Fiw中，利用標號"f"來參照位於與對象像素T相 同的位置、即(x， y)的實像素及其像素值。另夕卜，該"f"與式(61) 式(72)的函數f沒有關係。 在對象場圖像Fi中，利用標號"u"來參照對象像素T的上鄰、 即位於(x， y-l)的實像素及其像素值。 在對象場圖像&中，利用標號"d"來參照對象像素T的下鄰、 即位於(x, y+l)的實像素及其像素值。 ，-在先行場圖像？1.1中，利用標號來參照位於與像素u相同的 位置、即(x， y-l)的插值完成像素及其插值完成像素值。 在先行場圖像Fw中，利用標號"d'"來參照位於與像素d相同的 位置、即(x， y+l)的插值完成像素及其插值完成像素值。在使用式來表示以上的定義時，如式(73) 式(78)所示。b=p (i-l， x， y) (73)f=p (i+l， x， y) (74)u=p (i， x， y-l) (75)d=p (i， x， y+l) (76)u，=q (i-1， x， y國l) (77)d，=q (i-l， x， y+l) (78)時間相關值rd—xt為對象像素T的位置處的先行場圖像Fw和後續場 圖像Fw之間的相關，利用式(79)來定義。 rel—xt=|f-b| (79)另外，時間相關值rel_yt為對象像素T的上下位置處的先行場圖像 Fw和對象場圖像Fi之間的相關，利用式(80)來定義。 rel_yt=f (|u-u，|， |d-d，|) (80)由於像素u和像素d位於對象像素T的附近，所以在稱為"附近像 素"時，式(80)為包含在對象場圖像Fi中的附近像素、與在先行場圖 像Fw中位於與該附近像素相同位置處的插值完成像素之間的相關。作為式(80)的右邊的函數f，具體而言，例如可使用式(62)和式 (63)所示的函數。即，式(80)的函數f起到與空間相關值rel—skew 的計算中使用的函數f相同的功能。例如，通過利用使用式(62)來定義 的函數f，可將先行場圖像和後續場圖像Fi+1的差更加敏感地反映到rel_yt。接下來，參照圖26來說明除了時間相關值reLxt之外還計算出rel_yt 的理由。圖26是說明縱線快速移動的圖像中的時間相關值re1—xt、 rdj 的特徵的圖。在圖26中也與圖25相同地使用"X"符號來表示對象像 素，圖26中的標號b、 f、 u、 d、 u，、 d，表示與圖25相同的像素。在圖26的示例中，在明亮的灰色的背景上，寬度僅為3個像素的暗 灰色縱線從右向左移動。該縱線移動得非常快。因此，在先行場圖像Fw 中像素u'、 b、 d'相當於背景，縱線位於其右側。縱線在對象場圖像& 中向像素u、對象像素、像素d的位置移動。然後，在後續場圖像Fiw中 造成縱線移動到像素f的左側，像素f相當於背景。在該情況下，像素f和像素b都相當於背景，所以時間相關值rd一xt 為較小的值，表示在對象像素的位置處先行場圖像Fw和後續場圖像Fi+1 之間的相關大。因此，在假設靜止/運動判定部206僅根據rd—xt來進行 靜止/運動判定時，造成在時刻ti的對象像素的位置處被判斷為靜止。但是，如圖26所示，實際上在時刻ti的對象像素的位置處存在非常 快速的運動。時間相關值rd一yt用於檢測圖26所示那樣的運動。此處為簡化說明，假設為對像素u'和像素d'進行了適當的插值。於 是，|u-u' l和ld-d， l這兩者都為較大的值，所以時間相關值reLyt也為較 大的值。即，reLyt表示在對象像素的上下中至少一方的位置處，先行場 圖像Fw和對象場圖像Fi之間的相關小。由於相關小，所以可檢測出時刻 ti的對象像素附近的運動。其中，優選為作為時間相關值不是僅使用relj/t，而是互補地使用 rel—xt和reLyt這雙方。其原因為，由於設為可如上述那樣檢測出快速的 運動，所以relj與rel一xt相比時間解析度更佳，但垂直解析度比rd一xt 差。即，rel一xt的計算中使用的像素寬度在垂直方向即y方向上僅為l個 像素的量，但rd一yt的計算中使用的像素在垂直方向上存在3個像素量的 範圍。因此，reLyt的垂直解析度比re1—xt差。接下來，參照圖27A、 27B、 28來對時間相關值中的reLyt2進行說 明。如上所述，relj 2的計算方法根據臨時插值方向dir不同而不同。圖27A示出dir=r2的情況，圖27B示出dir=r3的情況。在依次對這兩個 情況進行說明之後，對一般的情況進行說明，之後，參照圖28來說明rel_yt 2的意義。圖27A示出對在與時刻t^i對應的對象場圖像Fi中位於(x， y)的 對象像素T進行插值的情況。在圖27A中，針對對象像素T的附近，示 出先行場圖像Fw和對象場圖像Fi。首先，針對在dir=r2的情況下在時間相關值reLyt2的計算中利用的 像素，如下這樣定義。另外，在接下來的定義中使用與圖25相同的標號 u、 d、 u'、 d'，但應該注意在此具有與圖25的情況不同的含義。'在對象場圖像Fi中，利用標號"u"來參照上實行上的、從對象像 素T觀察位於r2方向的位置、即(x+l， y-l)的實像素及其像素值。，在對象場圖像Fi中，利用標號"d"來參照下實行上的、從對象像 素T觀察位於r2方向的相反方向的位置、即(x-l， y+l)的實像素及其 像素值。"在先行場圖像Fw中，利用標號來參照位於與像素u相同的 位置、即(x+l， y-l)的插值完成像素及其插值完成像素值。'在先行場圖像FM中，利用標號"d'"來參照位於與像素d相同的 位置、即(x-l， y+l)的插值完成像素及其插值完成像素值。在使用式子來表示以上的定義時，如式(81) 式(84)所示。u=p (i， x+l， y-l) (81)d=p (i， x-l， y+l) (82)u，=q (i-l， x+l， y-l) (83)d，=q (i-l， x-l， y+l) (84)與圖11比較可知，這樣定義的像素u和像素d的位置與r2方向對 應。因此，插值完成像素u'和d'的位置也與r2方向對應。另外，圖27A包括使用xyt坐標系來三維地示出先行場圖像FM和對 象場圖像Fi的一部分的示意圖310。在示意圖310中，為便於說明將各 像素表示為立方體。dh^r2時的時間相關值rel_yt 2如式(85)所示。在dir=r2的情況下，利用式(81) 式(84)來定義的像素值使用在式(85)中。 rel_yt2=f (|u-u，|， |d-d，|) (85)作為式(85)中的函數f，例如可使用式(62)和式(63)所示的函 數。即，式(85)中的函數f起到與式(80)中的函數f相同的功能。時間相關值rd_yt 2在使用位於與臨時插值方向dir對應的對象像素 T的特定相對位置處的像素來計算的方面與空間相關值rd一skew相似。 另外，時間相關值rd_yt 2在表示特定位置處的先行場圖像Fi.,和對象場 圖像Fj之間的相關的方面，與時間相關值reLyt相似。即，與i"djyt相同 地，rd_yt 2也是包含在對象場圖像Fi中的附近圖像、與在先行場圖像 中位於與該附近像素相同位置處的插值完成像素之間的相關。接下來，參照圖27B來對dir^r3時的時間相關值rel—yt 2進行說明。 圖27B由於與圖27A相似的方面較多，所以對共同點適當地省略說明。首先，針對在dir=r3的情況下時間相關值rd—yt2的計算中利用的像 素，如下那樣定義。另外，在接下來的定義中使用與圖ll等相同的標號 ul、 u2、 dl、 d2，但應該注意在此具有與圖11等不同的含義。 在對象場圖像&中，上實行上的從對象像素T觀察r3方向的位置 為坐標(x+1.5， y-l)。分別利用標號"ul"和標號"u2"來參照隔著該 位置左右鄰接的兩個像素。另外，還使用與像素相同的標號來參照像素 值。艮卩，像素ul為位於(x+l， y-1)的實像素，像素u2為位於(x+2， y-1)的實像素。 在對象場圖像Fi中，下實行上的從對象像素T觀察r3方向的相反 方向的位置為坐標(x-1.5， y+l)。分別利用標號"dl"和標號"d2"來 參照隔著該位置左右鄰接的兩個像素。另外，還使用與像素相同的標號 來參照像素值。即，像素dl為位於(x-2， y+l)的實像素，像素d2為 位於(x-l， y+l)的實像素。'在先行場圖像Fw中，利用標號"ul'"來參照位於與像素ul相同 的位置、即(x+l， y-1)的插值完成像素及其插值完成像素值。'在先行場圖像Fw中，利用標號"u2'"來參照位於與像素u2相同 的位置、即(x+2， y-l)的插值完成像素及其插值完成像素值。'在先行場圖像Fw中，利用標號"dl'"來參照位於與像素dl相同 的位置、即(x-2， y+l)的插值完成像素及其插值完成像素值。，在先行場圖像Fw中，利用標號"d2'"來參照位於與像素d2相同 的位置、即(x-l， y+l)的插值完成像素及其插值完成像素值。在使用式子來表示以上的定義時，如式(86) 式(93)所示。ul=p (i， x+l， y-l) (86)u2=p (i， x+2， y-l) (87)dl=p (i， x-2， y+l) (88)d2=p (i， x-l， y+l) (89)ul，=q (i-l， x+l， y-l) (90)u2，=q (i-l， x+2， y畫l) (91)dl，=q (i-l， x-2， y+l) (92)d2，=q (i-l， x-l， y+l) (93)與圖11比較可知，這樣定義的像素ul、 u2、 dl、 d2的位置與r3方 向對應。因此，插值完成像素ul'、 u2'、 dl'、 d2'的位置也與r3方向對 應。另外，與圖27A相同，圖27B也包括使用xyt坐標系的示意圖311。 dir=r3時的時間相關值relj2如式(94)所示。在dir=r3的情況下， 利用式(86) 式(93)來定義的像素值使用在式(94)中。rel_jyt2=f((|ul-ul，|+|u2-u2，|)/2， (|dl-dr|+|d2-d2，|)/2) (94) 式(94)中的函數f為與式(85)的函數f相同的函數。 從式(94)可知，在dir^3時，針對與r3方向對應的特定的四個位 置(x+l， y-l)、 (x+2， y-l)、 (x-2， y+l)、 (x畫1， y+l)，分別計算出先 行場圖像Fw和對象場圖像Fi之間的相關lul-ul'l、 |u2-u2'|、 ldl-dl'l、 |d2-d2，|。然後，作為對象像素T附近的上實行中的時間上的相關，在本 實施方式中，計算出lul-ul，l和lu2-n2'l的平均，並作為第一自變量提供給 函數f。相同地，作為對象像素T附近的下實行中的時間上的相關，計算 出ldl-dl，l和ld2-d2，l的平均，並作為第二自變量提供給函數f。其結果，計 算出與臨時插值方向dir對應的特定位置處的、先行場圖像Fw和對象場 圖像Fi之間的相關即relj2。接下來，將圖27A和圖27B中的說明轉為一般形式，說明針對r2 方向和r3方向以外的方向的re1—yt 2的計算方法。另外，以下設m為1 以上的整數。在dir^j且j-2m時，通過將式(81) 式(84)置換為接下來的式 (95) 式(98)而利用式(85)來計算relj2。u=p (i， x+m， y-l) (95)d=p (i， x-m， y+l) (96)u，=q (i-l， x+m， y-l) (97)d，=q (i-l， x-m， y+l) (98)同樣地，在dir^lj且j-2m時，通過將式(81) 式(84)置換為接 下來的式(99) 式(102)而利用式(85)來計算rel一yt2。u=p' (i， x-m， y-l)d=p (i， x+m， y+l)u，=q (i-l， x-m， y-l)d，=q (i-l， x+m， y+l)在dir=rj且j-2m-l時，通過將式 式(103) 式(110)而利用式(94)ul=p (i， x+m-l， y-l)u2=p (i， x+m， y-l) dl=p (i, x-m, y+l) d2=p (i， x-m+l， y+l) ul，=q (i-l， x+m-l， y國l) u2,=q (i-l， x+m， y-l) dl，=q (i-l， x-m， y+l) d2，=q (i-l， x-m+l， y+l)(99)(100)(101)(102)(86) 式'(93)置換為接下來的 來計算rd_yt2。(103)(104)(105)(106)(107)(108)(109)(110)同樣地，在diFlj且j-2m-l時，通過將式(86) 式(93)置換為 接下來的式(111) 式(118)而利用式(94)來計算rdj2。 ul=p (i， x-m， y-l) (111) u2=p (i， x-m+l， y-l) (112)dl=p (i， x+m-l， y+l) (113)d2=p (i， x+m， y+l) (114)ul，=q (i-l， x-m， y畫l) (115)u2,=q (i-l， x畫m+l， y-l) (116)dl，=q (i-l， x+m-l， y+l) (117)d2，=q (i-l， x+m， y+l) (118)另外，從圖11可知，c方向可以視為rO方向，也可以視為10方向。 因此，在式(95) 式(98)中代入m-0時，可利用式(85)來計算出 dir=c時的rel—yt2。根據以上的式子，針對任何臨時插值方向dir，時間相關值計算部304 均可計算出時間相關值rel_yt 2 。接下來，參照圖28來說明計算rel》2的理由。圖28為與圖26類 似的圖。另外，圖28為di阿2的情況下的示例，標號u、 d、 u'、 d，表示 與圖27A相同的像素。另外，使用"X"標記來表示的對象像素、像素 b、像素f與圖25相同。在圖28的示例中，在明亮的灰色的背景上，寬度僅為3個像素的暗 灰色斜線從右向左移動。該斜線與r2方向平行且移動得非常快。因此， 在先行場圖像Fw中像素u'、 b、 d'相當於背景，斜線位於其右側。斜線 在對象場圖像Fi中向像素u、對象像素、像素d的位置移動。然後，造 成在後續場圖像Fi+1中斜線移動到像素f的左側，像素f相當於背景。在該情況下，像素f和像素b都相當於背景，所以時間相關值re1—xt 為較小的值，表示在對象像素的位置處先行場圖像Fw和後續場圖像Fi+1 之間的相關大。因此，如果假設靜止/運動判定部206僅根據rd一xt來進 行靜止/運動判定，則造成在時刻ti的對象像素的位置處被判斷為靜止。但是，如圖28所示，實際上在時刻ti的對象像素的位置處存在非常 快速的運動。時間相關值reLyt2用於檢測圖28所示的那樣的運動。此處為簡化說明，假設為像素u，和d'已被適當地插值。於是， l和ld-d' l這兩者都為較大的值，所以時間相關值reLyt2也為較大的值。 在該情況下，rel_yt2表示在根據臨時插值方向dir確定的對象像素的斜上方或斜下方這兩個位置處，先行場圖像Fw和對象場圖像Fi之間的相關 小。由於相關小，所以可檢測出時刻t,的對象像素附近的運動。由此，rel_yt 2具有與rel_yt相同的高時間解析度。另一方面，與rd_yt 同樣地，rel_yt2的垂直解析度遜於rel_xt。因此，優選rd一yt 2也與rel一xt 互補地進行使用。接下來，對圖22的步驟S508中靜止/運動判定部206進行的靜止/ 運動判定迸行說明。靜止/運動判定部206從時間相關值計算部304接收 時間相關值re1—xt、 rel—yt、 rel_yt 2。靜止/運動判定部206將預先確定的 閾值timeth和3種時間相關值分別進行比較，根據該結果，判定是否在 時刻ti在對象像素的附近存在運動。具體而言，在本實施方式中，在式 (119) 式(121)全部成立時，靜止/運動判定部206判定為靜止。rel—xt < timeth (119)rel_yt < timeth (120)rel_yt2 < timeth (121)一般而言，式(119) 式(121)在不同的場圖像中位於相同位置 的像素彼此的相關大的情況下成立。即，在由於完全沒有運動或僅稍微 運動，所以場間的相關大的情況下，這些式子成立。因此，在本實施方 式中，在式(119) 式(121)全部成立時判定為靜止，在除此以外的 情況下判定為存在運動。另外，式(119) 式(121)全部成立的條件為嚴格的條件。設置 如此嚴格的條件的理由在於，在圖22的步驟S508中被判定為靜止時， 在步驟S510中進行場間插值，對象場圖像Fi內的像素不會被用作插值用 像素。另一方面，在步驟S508中檢測到運動的情況下，在步驟S509中 進行包括場間插值和場內插值這雙方的要素的混合插值。因此，僅在滿 足嚴格的條件，且場內插值適當這一事件的可靠性高的情況下，進行只 包括一方的要素的步驟S510的處理。另外，在本實施方式中，在所有的式(119) 式(121)中使用相 同閾值timeth，但在另一實施方式中，也可以按照每個時間相關值分別與 不同的閾值進行比較。接下來，參照圖29的流程圖來說明在圖22的步驟S509中混合插值 部302執行的混合插值的詳細內容。圖29包括與表示第一實施方式中的 場內插值的圖14相同的過程。在步驟S601中，場內插值用像素確定部209取得與臨時插值方向 dir對應的局部相關值min—rel。這與圖14的步驟S402相同。在第一實施方式中，在圖14的步驟S402之前的步驟S401中，已經 選擇出累積相關值為最小的相關計算方向dir。另一方面，在第二實施方 式中，在執行圖29的處理之前、即在圖22的步驟S505中，已經將累積 相關值為最小的相關計算方向dir選擇為臨時插值方向。在任何情況下， dir都為累積相關值最小的方向。因此，步驟S601與步驟S402完全相同。在步驟S601後，處理轉移到步驟S602，但步驟S602、 S603、 S604 分別與圖14的步驟S403、 S404、 S405相同，所以省略說明。在執行步 驟S603或S604之後，處理轉移到步驟S605。在步驟S605中，場內插值像素值計算部210與圖14的步驟S406 相同地，計算出對對象像素進行場內插值時的像素值g—s。以後，將像素 值g一s稱為"場內插值值"。另外，在步驟S605中，場間插值部211與步驟S510同樣地計算對 對象像素進行場間插值時的像素值g一t。以後，將像素值g一t稱為"場間 插值值"。在場內插值值§_3和場間插值值§_1這雙方的計算後，處理轉 移到步驟S606。在步驟S606中，權重係數計算部305計算出權重係數w一t和w_s。 權重係數w—t和w_s都定義成值為0以上1以下，且兩者的和為1。具體 而言，根據在步驟S603或步驟S604中確定的場內插值方向，權重係數 w_t和w—s的計算方法不同。場內插值方向為c方向時的權重係數w—t和w_s分別利用式(122) 和式(123)來定義。formula see original document page 71式(122)和式(123)中的"k2"是預先確定的常數，是調節對空 間相關值的權重係數的貢獻的係數。從經驗上來講，k2的值通常期望為 1.0。另外，式(122)和式(123)中的"e "也為預先確定的常數。e 是在時間相關值和空間相關值都為0的情況下為了防止分母為0而加上 的值。因此，對e例如設定0.01等較小的值。在權重係數w—t和w_s的計算中使用的時間相關值rel—xt、 rel_yt以 及空間相關值reLxy根據其定義為非負。因此，根據上述k2和e的含義， 當然k2和e為非負。因此，權重係數w一t和w一s也為非負。另夕卜，從定 義可知，權重係數w—t與w_s的和為1 。接下來，說明式(122)和式(123)的含義。如上所述，e是為便 於計算而導入的常數，所以在考慮式子的意思時，可假設為s-0。另外， 如上所述，優選為k2=l，所以假設為k2=l。根據該假設理解為，式(122) 的權重係數w—t表示空間相關值在時間相關值和空間相關值的和中所佔 的比例，式(123)的權重係數w一s表示時間相關值在時間相關值和空間 相關值的和中所佔的比例。接下來，對場內插值方向與臨時插值方向均為dir時的權重係數wj 和w一s進行說明。在該情況下，權重係數w一t和 _3分別利用式(124) 和式(125)來定義。k2.rel skew "。"、 w_t =-=- (124)_ (max(re1—xt, rel_yt2) + e) + k2 rel—skew(max(rel xt,rel^yt2)十s) ^w、w_s =-^-^~=--^- (125)一 (max(re1—xt, rel_yt2) + s) + k2 rel—skew式(124)是在式(122)中，將空間相關值rel—xy置換為空間相關 值rel—skew,並將時間相關值rel_yt置換為時間相關值relj 2而取得的 式子。式(125)是通過在式(123)中進行相同的置換而取得的式子。 另外，rel一skew和re1—yt2根據其定義也為非負。因此，在式(124)和式(125)中，k2和e與上述相同，權重係數 w—t和w一s為非負。另外，從定義可知，在該情況下，權重係數w—t和 w s的和也為1。另外，在將從c方向這一特定方向向任意方向dir的擴展的含義稱為 "一般化"時，從上述說明可知，rel一skew為re1—xy的一般化，relj 2 為reLyt的一般化。因此，式(124)和式(125)可視為用於將與c方向 這一特定方向對應的式(122)和式(123)擴展到一般方向dir的式子。 因此可以說，式(124)的權重係數wj也表示空間相關值在時間相關值 和空間相關值的和中所佔的比例，式(125)的權重係數w—s也表示時間 相關值在時間相關值和空間相關值的和中所佔的比例。在權重係數計算部305按照以上的式子計算出權重係數w—t和w—s 時，處理轉移到步驟S607。在步驟S607中，混合插值像素值計算部306 按照式(126)計算出混合插值值g—out，利用該混合插值值g—out來插lt 對象像素。然後，圖29的處理結束。g—out=w—t ■ g_t+w_s - g—s (126)接下來，參照圖3o說明上述混合插值中的時間相關值及空間相關值:和權重係數w一t、 w一s之間的關係。圖30的左邊的表示出時間相關值和 空間相關值的值的組合，右邊的表示出與該組合對應的權重係數的值的 大小。由於w一t和w一s非負且兩者的和為1，所以在圖30的右邊的表中， 將接近0的值表示為"小"，將接近0.5的值表示為"中"，將接近1的值 表示為"大"。另外，在第二實施方式中，時間相關值和空間相關值這雙方都是相 關越大其值越小的相關值。而且，從上述的rel—xt、 rel—yt、 rel_yt2、 rel一xy、 rd一skew的定義可知，這些值可取的最小值和最大值相同。艮P，該共同的 最小值為0。另外，根據上述(e)的假設，由於像素值為0以上100以 下，所以兩個像素的像素值之差的絕對值最大為100。因此，上述的共同 的最大值都為100。因此，如下的內容成立。在時間相關值和空間相關值都小或都大的情況下、即在雙方的值為 相同程度的情況下，根據式(122) 式(125)，權重係數w—t和w一s都 為接近0.5的值。因此，根據式(126)，混合插值值g一out為接近場間插 值值g一t和場內插值值g—s的平均值的值。在時間相關值小而空間相關值大的情況下、即在時間相關大而空間相關小的情況下，根據式(122) 式(125)， w一t大且w—s小。因此， 根據式(126)，混合插值值g一out為接近場內插值值g—t的值。即，時間 相關大時的混合插值為接近場間插值的插值。另一方面，在時間相關值大而空間相關值小的情況下、即在時間相 關小而空間相關大的情況下，根據式(122) 式(125)， w一t小且w一s 大。因此，根據式(126)，混合插值值g—out為接近場內插值值g一s的值。 即，空間相關大時的混合插值為接近場內插值的插值。例如，在圖24的示例中，空間相關值的一種即局部相關值c (x)、 r (x， j)、 1 (x， j)中沒有反映的空間相關在另一空間相關值re1—skew中 反映出。艮卩，在圖24的示例中，reLskew的值大。因此，根據圖30， w一s 小於w一t或與w—t相同程度。因此，針對對象像素T，進行中間的插值或 接近場間插值的插值。而圖24是接近場內插值的插值不適當的示例，所 以根據以上內容可以理解本方法能夠防止不適當的插值。如上這樣計算出的混合插值值g—out同時包括時間的要素即場間插 值的要素和空間的要素即場內插值的要素。而且，根據時間相關值和空 間相關值的大小關係，時間的要素和空間的要素利用權重係數w_t和w_s 來調節加權。因此，與以二者選其一的方式來確定場間插值和場內插值 的情況相比，在進行混合插值的第二實施方式中，可防止畫面的閃爍， 可取得更自然的逐行掃描圖像。另外，第一或第二實施方式中的插值方法的確定也可以由圖31那樣 的一般的計算機來執行。圖7的插值方法確定裝置100、圖9的像素值插 值裝置200、圖21的像素值插值裝置300都可由圖31的計算機來實現。 即，圖31的計算機通過進行上述流程圖中示出的處理，作為插值方法確 定裝置100、像素值插值裝置200、或像素值插值裝置300來發揮功能。圖31的計算機具有CPU (Central Processing Unit，中央處理單元) 401、 ROM (Read Only Memory,只讀存儲器)402、 RAM (Random Access Memory,隨機存取存儲器)403、通信接口 404、輸入裝置405、輸出裝 置406、存儲裝置407、可移動型存儲介質410的驅動裝置408，這些全部通過總線409來連接。另外，圖31的計算機經由通信接口 404與網絡411連接。通信接口 404為有線通信用和/或無線通信用的接口。網絡411可以是LAN (Local Area Network,區域網)或網際網路等任意的計算機網絡，也可以是電視廣 播網。在網絡411為電視廣播網時，通信接口 404包括天線和調諧器。輸入裝置405例如為滑鼠等指示設備和鍵盤。輸出裝置406例如為 液晶顯示器或CRT顯示器等顯示裝置。例如，通過第一或第二實施方式 的處理進行IP轉換而取得的逐行掃描圖像也可以輸出給輸出裝置406。存儲裝置407可以是硬碟等磁碟裝置，也可以是可重寫的非易失性 存儲器等其他種類的存儲裝置。在存儲裝置407或ROM 402中存儲有第一或第二實施方式的程序、 例如使計算機執行圖10、圖13、圖14的處理或圖22、圖13、圖29的 處理的程序。通過CPU 401執行該程序，圖31的計算機作為插值方法確 定裝置IOO、像素值插值裝置200、像素值插值裝置300中的任一個來動 作。另外，輸入圖像的數據可以預先積蓄在存儲裝置407中，也可以從 圖像提供者413經由網絡411和通信接口 404發送來。或者，也可以是 存儲有輸入圖像的數據的可移動型存儲介質410設置在驅動裝置408中， 輸入圖像的數據讀出到RAM 403。另夕卜，輸入圖像可以是利用圖像信號 顯示的靜止圖像，也可以是利用視頻信號顯示的動態圖像。存儲部101和存儲部201與RAM 403相當。但是，也可以由RAM 403 實現存儲部101和存儲部201的一部分，由存儲裝置407實現剩餘的部 分。另外，圖7的存儲部101以外的功能模塊以及圖9和圖21的存儲部 201以外的功能模塊與CPU 401相當。第一或第二實施方式的程序也可以從程序提供者412經由網絡411 以及通信接口 404來提供，例如存儲在存儲裝置407中，由CPU 401執 行。另外，也可以是在可移動型存儲介質410中存儲第一或第二實施方 式的程序，將可移動型存儲介質410設置在驅動裝置408中，存儲的程 序載入RAM403中由CPU410執行。作為可移動型存儲介質410，可使用CD (Compact Disc,高密度磁碟)或DVD (Digital Versatile Disk,數字多用途磁碟)等光碟、光磁碟、軟盤等多種形式的存儲介質。另外，本發明不限於上述實施方式，可進行多種變形。以下敘述幾 個變形示例，但當然還可以進行以下敘述的以外的變形。變形的第一觀點為向彩色圖像的應用。在第一以及第二實施方式中， 為簡化說明，如上述(e)所述，假設為各像素利用一個像素值來表示。 在將亮度設為像素值的灰度的單色圖像的情況下，該假設成立。在彩色圖像的情況下，各像素由多個像素值來表示。例如，在一般 的計算機的顯示器中使用的RGB顏色顯示系統中，利用表示紅色的R、 表示綠色的G、表示藍色的B這三個像素值來表示各像素。另外，在電 視廣播中使用的YCbCr顏色顯示系統中，利用亮度信號Y和兩個色差信 號Cb及Cr這合計三個像素值來表示各像素。通過將第一以及第二實施方式例如如下那樣變形，即使在輸入圖像 為彩色圖像的情況下，也可以確定插值方法。最簡單的變形例為在插值方法的確定中僅使用1種像素值的方法。 在插值方法的確定中使用的像素值優選按照人眼的特性來選擇。與顏色 的差相比，人眼對明亮度的差更敏感，最能感覺到明亮度的顏色為綠色。 因此，優選為在YCbCr顏色顯示系統的情況下選擇亮度信號Y，在RGB 顏色顯示系統的情況下選擇表示綠色的G。以下，以YCbCr顏色顯示系統的情況為例進行說明。在該變形例中， 空間相關值和時間相關值的計算、靜止/運動判定、場內插值方向的確定、 權重係數的計算僅使用像素值Y來進行。在對象像素的像素值的計算、 即第一實施方式中的圖14的步驟S406或第二實施方式中的圖29的步驟 S605和步驟S607中，分別針對像素值Y、 Cb、 Cr進行計算。在輸入圖像為彩色圖像時的另一變形例中，分別針對多種像素值進 行空間相關值和時間相關值的計算。例如，代替式(15)的局部相關值c (x)，而進行分別基於像素值Y、 Cb、 Cr的局部相關值c—Y (x)、 c—Cb (x)、 c—Cr (x)的計算。然後，將該三個局部相關值中的最大值選擇為 c (x)。另外， 一般來說亮度信號Y和色差信號Cb、 Cr的位數不同。因此，在該示例以及以下的示例中，假設為該三個局部相關值是迸行與位 數的差異對應的比例轉換而取得的值。或者，為了與像素值Cb和Cr相比更優先考慮像素值Y，也可以預 先確定適當的權重係數wl、 w2、 w3，而比較wl *c—Y (x)、 w2*c—Cb (x)、 w3 c—Cr (x)。而且，例如在其中的w2 c—Cb (x)為最大的情 況下，將c一Cb (x)的值用作c (x)。另外，通過使用滿足0<w<2、 w3<wl 的關係的權重係數，可優先考慮像素值Y。根據如此計算出的局部相關值來計算累積相關值的方法與第一以及 第二實施方式相同。另外，與在上述中根據c—Y (x)、 c—Cb (x)、 c一Cr (x)計算c (x)相同地，其他空間相關值和時間相關值也根據分別針對 多種像素值的計算來計算出。使用該結果的靜止/運動判定、場內插值方 向的確定、權重係數的計算與第一以及第二實施方式相同。對象像素的 像素值的計算分別針對多種像素值進行。變形的第二觀點為兩個像素的相關的計算方法。根據兩個像素的相 關值來計算空間相關值和時間相關值，但在上述中，也可以將兩個像素 值之差的絕對值用作兩個像素的相關值。但是，例如，也可以將兩個像 素值之差的平方用作兩個像素的相關值，也可以利用其他方法定義兩個 像素的相關。根據上述定義，各種相關值的相關越大其值越小，但也可 以使用相關越大其值越大這樣的定義。變形的第三觀點為局部相關值的計算中使用的像素的數量。如圖11 所示，在第一以及第二實施方式中，使用上實行220上的1個像素和下 實行222上的1個像素、或者上實行220上的2個像素和下實行222上 的2個像素來計算局部相關值。但是，為了減少像素的噪聲對周部相關 值波及的影響，也可以將上述"1個像素"擴展為3個像素或5個像素， 將上述"2個像素"擴展為4個像素或6個像素。例如，將式(16)置換為式(127) 式(129)中的任一個即相當 於上述的從2個像素向4個像素的擴展。式(129)所示係數1/8和3/8 僅是一個示例。r (x， 1)叫(ul+u2+u3+u4) /4- (d0+dl+d2+d3) /4| (127)formula see original document page 78(129)另外，上述為水平方向的擴展，但也可以是垂直方向的擴展。艮口， 也可以還考慮上實行220上方的實行和下實行222下方的實行，來計算 局部相關值。例如，可以將式(15)置換為式(130)，也可以對式(130) 的右邊的三項分別施加適當的權重係數。關於c方向以外的方向也可以 同樣地，還考慮上實行220上方的實行和下實行222下方的下實行來定 義局部相關值。formula see original document page 78 (130) 變形的第四觀點為時間相關值rel_xt和rd_yt的計算中使用的像素的 數量。如圖25所示，在對象像素T的坐標為(x， y)時，在第二實施方 式中，根據位於(x， y)的像素的像素值來計算rd一xt，根據位於(x， y-l)禾卩(x， y+l)的像素的像素值來計算relj。艮P，在rel_xt和rel_jyt 的計算中使用的像素的水平方向的寬度為1個像素。也可以將該"l個像 素"擴展為3個像素或5個像素。例如，將式(79)置換為式(131)或將式(80)置換為式(132) 即相當於從1個像素向3個像素的擴展。另外，式(131)和式(132) 的函數f優選為返回最大值的函數或返回平均值的函數等。 formula see original document page 78 (131)|p (i, x+l， y+l) -q (i-1， x+l， y+l) |) (132)變形的第五觀點為作為相關計算方向考慮的方向的數量。該數量可 以是實施方式中固有的常數，也可以由用戶預先指定。例如在圖ll中示 出9個方向，但作為相關計算方向考慮的方向的數量也可以多於9個或 少於9個。但是，考慮很多的相關計算方向，也並沒有那麼大的意義。其理由如下。從式(30)和式(31)可知，例如r5方向和r6方向等 局部相關值表示離開較遠的像素間的相關。 一般而言，離開得較遠的像 素間的相關大的情況少。另外，r6方向和16方向的傾斜度平緩且接近於 水平。在例如圖l所示的45度左右的傾斜狀態的情況下，如果產生鋸齒 失真則鋸齒失真明顯，人眼感到像素惡化。但是，在與水平接近的平緩 的傾斜狀態下，即使使用以往的方法，也不會產生那麼明顯的鋸齒失真。 因此，即使過度地考慮平緩的傾斜，也不會有助於畫質提高。因此，雖然作為相關計算方向考慮的方向的數量為任意，但優選通 過實驗等來確定適當的數量，而無需過度地考慮多個相關計算方向。變形的第六觀點為空間相關值rel一skew的計算中使用的像素。可以 與上述第三觀點同樣地進行增加像素數的擴展來計算出rd—skew。另外， 在圖23中，針對每個相關計算方向示出rel一skew的計算中使用的像素， 但圖23示出優選的一個示例。rel_skew的計算中使用的像素根據臨時插 值方向dir來確定與對象像素T的相對位置關係即可。該位置關係在與圖 23的示例不同的實施方式中也可以實現。變形例的第七觀點為對累積相關值進行累積的方向以及範圍。在第 一以及第二實施方式中，選擇順序方向為"水平上從左至右"的方向， 還按照該選擇順序方向指定的順序，對累積相關值進行累積。但是，在 另一實施方式中，選擇順序方向也可以為"水平上從右至左"等其他方 向。另外，也可以將輸入圖像分割成多個塊，計算出累積相關值。艮P， 也可以將aj《x《bj的範圍作為第j塊，針對每個塊進行插值方法的確定 以及插值。在該情況下，例如將圖31變形以具有多個CPU401，從而可 針對多個塊並行地進行處理。另外，如圖18的累積相關值一覽表242所示，在選擇順序方向為"水 平上從左至右"的方向的情況下，在圖像的左端附近以及右端附近無法 計算出累積相關值，而為BIG值。因此，在如此分割成塊的情況下，優 選分割成鄰接的兩個塊的x坐標的範圍重疊。例如，如圖18所示，在作為相關計算方向考慮5個方向的情況下， 與塊的左端的2個像素和右端的2個像素對應地，存在無法計算的累積 相關值。因此，第j塊和其左鄰的第(j-l)塊優選在x方向上至少2個 像素部分的範圍重疊。在假設為存在n個像素部分的重疊時，在該示例 中，針對第j塊中的aj《x《aj+n-l的範圍僅進行局部相關值和累積相關 值的計算，針對aj+n《x《bj的範圍還進行像素的插值。變形例的第八觀點為場內插值方向的確定方法。圖14的步驟S403 和圖29的步驟S602中參照的min一rd和c (x)都為局部相關值，但也可 以根據累積相關值來確定場內插值方向。例如，在步驟S403和步驟S602 中，也可以進行基於與方向dir對應的累積相關值Min一rel和累積相關值 C (x)的判定。另外，也可以使用局部相關值和累積相關值這雙方來進 行判定。變形的第九觀點為本發明的實施方式的應用對象。在第一以及第二 實施方式中，如假設(a)所示，將IP轉換作為應用對象。但是，本發明 的上述實施方式中共同的原理還可以應用在IP轉換以外。具體而言，還 可以在靜止圖像或動態圖像的放大處理中應用本發明的一個實施方式。圖像的放大處理還可以說成是在已有的像素間插入新像素的處理。 即，放大後的像素中的一部分像素是直接繼承存在於原圖像中的像素的 像素值的像素，而剩餘的像素是根據存在於原圖像中的多個像素的像素 值進行插值的像素。因此，可將本發明的一個實施方式利用在該插值中。例如在圖11中，插值行221的上下行為實行，但在伴隨向水平方向 的放大的放大處理中，並不存在所有像素為實像素的那樣的水平方向的 行。因此，對象像素的上鄰和下鄰的像素有可能都不是實像素。在該情 況下，例如無法計算出在圖11中定義的局部相關值c (x)。即，在應用 於放大處理的實施方式中，需要根據實像素的分布來適當改變各種空間相關值和時間相關值的定義。
例如，將對象像素的位置假設為(x， y)，假設為在(x-l， y-n)、 (x+l， y+n)、 (x+l， y-n)、 (x-l， y+n)處分別存在實像素P1 P4。 n越大，則 連接像素Pl和P2的方向以及連接像素P3和P 4的方向越接近於垂直方 向。因此，也可以利用與這些方向對應的局部相關，對c方向的局部相 關進行近似，例如代替式(15)而利用式(133)來計算出局部相關值c (x)。
formula see original document page 81(133)
但是，在n過大時，像素P1 P4和對象像素離開得過遠。因此，優選通 過實驗來確定適當的n值範圍。
權利要求
1.一種存儲介質，其可由計算機讀取且存儲有像素值插值方法確定程序，所述像素值插值方法確定程序使計算機執行確定插值方法的處理，所述插值方法是用於對在輸入圖像中不存在且位於一條直線上的多個像素的各像素值進行插值的方法，其特徵在於，所述處理具有如下的步驟對象像素選擇步驟，在該步驟中，按照指定的選擇順序方向依次將所述多個像素中的一個像素選擇為應確定所述插值方法的對象像素；局部相關值計算步驟，在該步驟中，分別針對所指定的多個相關計算方向，根據從所述對象像素出發位於所述相關計算方向的第一像素的像素值和從所述對象像素出發位於所述相關計算方向的相反方向的第二像素的像素值，來計算與所述相關計算方向對應的局部相關值；累積相關值計算步驟，在該步驟中，根據與所述相關計算方向對應的所述局部相關值、和在緊接選擇所述對象像素之前的所述選擇步驟中選擇出的其它像素的累積相關值，來分別按照各所述多個相關計算方向對所述對象像素計算累積相關值，其中，該累積相關值是根據對所述多個像素中的按照所述選擇順序方向順序為開頭的像素即開頭像素賦予的值，而從所述開頭像素按照所述選擇順序方向逐次分別針對所述多個像素計算出的相關值；方向選擇步驟，在該步驟中，根據分別與所述多個相關計算方向對應的所述累積相關值，選擇所述多個相關計算方向之一；以及插值用像素確定步驟，在該步驟中，根據與在所述方向選擇步驟中選擇出的所述相關計算方向對應的所述局部相關值和所述累積相關值中的至少一方，來確定所述對象像素的插值中使用的多個像素。
2. 根據權利要求1所述的存儲介質，其特徵在於，與所述對象像素 和一個所述相關計算方向的組合對應的所述第一像素和所述第二像素的 個數雙方都為N個，其中，N^，相互對應的所述第一像素和所述第二像素位於距所述對象像素距離 相等的位置。
3. 根據權利要求1所述的存儲介質，其特徵在於，在各所述多個相 關計算方向上，所述多個相關計算方向中的與所述相關計算方向接近的 一個以上的相關計算方向和所述相關計算方向自身對應關聯為關聯方 向，在所述累積相關值計算步驟中，根據分別與所述相關計算方向的各 所述關聯方向對應地、針對所述其它像素計算出的多個所述累積相關值， 計算出針對所述對象像素的與所述相關計算方向對應的所述累積相關 值。
4. 根據權利要求3所述的存儲介質，其特徵在於，在所述累積相關 值計算步驟中，選擇分別與所述關聯方向對應的多個所述累積相關值中 的相關最高的所述累積相關值，根據選擇出的所述累積相關值和所述局 部相關值，計算與所述對象像素對應的所述累積相關值。
5. 根據權利要求1所述的存儲介質，其特徵在於，在所述方向選擇 步驟中，選擇與表示多個所述累積相關值中的相關最高的所述累積相關 值對應的所述相關計算方向。
6. 根據權利要求1所述的存儲介質，其特徵在於，所述選擇順序方 向為所述輸入圖像的水平方向或垂直方向，所述相關計算方向之一與所述選擇順序方向成直角。
7. 根據權利要求6所述的存儲介質，其特徵在於，所述插值用像素 確定步驟的確定還基於與和所述選擇順序方向成直角的所述相關值計算 方向對應的所述局部相關值。
8. 根據權利要求1所述的存儲介質，其特徵在於，所述輸入圖像為 隔行掃描形式的動態圖像的場圖像，所述選擇順序方向為沿所述場圖像中不存在的行的方向。
9. 根據權利要求8所述的存儲介質，其特徵在於，所述處理還具有 第一時間相關值計算步驟，在該第一時間相關值計算步驟中，在先行場 圖像和後續場圖像中，分別根據在所述對象像素的位置或所述位置的附 近存在的像素的像素值來計算第一時間相關值，其中，該先行場圖像和 後續場圖像分別與緊接作為所述輸入圖像且作為確定所述插值方法的對象的對象場圖像之前的時刻和緊接其之後的時刻對應。
10. 根據權利要求9所述的存儲介質，其特徵在於，所述處理還具 有靜止/運動判定步驟，在該靜止/運動判定步驟中，根據所述第一時間相 關值來判定所述對象像素或所述對象像素附近是靜止還是運動。
11. 根據權利要求10所述的存儲介質，其特徵在於，所述處理還具 有場間插值用像素確定步驟，在該場間插值用像素確定步驟中，當在所 述靜止/運動判定步驟中判定為靜止的情況下，將在所述先行場圖像或所 述後續場圖像中位於與所述對象像素相同位置處的像素，確定為所述對 象像素的插值中使用的像素。
12. 根據權利要求10所述的存儲介質，其特徵在於，在所述靜止/ 運動判定步驟中判定為運動的情況下，通過所述方向選擇步驟和所述插 值用像素確定步驟，確定所述對象像素的插值中使用的所述多個像素。
13. 根據權利要求9所述的存儲介質，其特徵在於，所述處理還具 有如下的步驟場內插值值計算步驟，在該步驟中，通過所述插值用像素確定步驟 來確定所述對象場圖像內的多個像素，根據所確定的所述多個像素的像 素值來計算場內插值值；場間插值值計算步驟，在該步驟中，根據在所述先行場圖像中位於 與所述對象像素相同位置處的像素和在所述後續場圖像中位於與所述對 象像素相同位置處的像素中的至少一方的像素值來計算場間插值值；以 及混合插值值計算步驟，在該步驟中，根據所述場內插值值和所述場 間插值值來計算應對所述對象像素分配的混合插值值。
14. 根據權利要求13所述的存儲介質，其特徵在於，所述混合插值 值計算步驟包括如下的步驟-權重係數計算步驟，在該步驟中，計算第一權重係數和第二權重系 數；以及加權和計算步驟，在該步驟中，將所述場內插值值和所述第一權重 係數的積、與所述場間插值值和所述第二權重係數的積之和，計算為所述混合插值值。
15. 根據權利要求13所述的存儲介質，其特徵在於，所述處理還具 有第二時間相關值計算步驟，在該步驟中，根據在所述對象場圖像中所 述存在於附近的附近像素的像素值和在所述先行場圖像中位於與所述附 近像素相同位置處且完成插值的插值完成像素的像素值，來計算第二時 間相關值。
16. 根據權利要求15所述的存儲介質，其特徵在於，分別針對所述 多個相關計算方向，確定與所述相關計算方向對應的多個所述附近像素 的位置，在所述第二時間相關值計算步驟中，計算與在所述方向選擇步驟中 選擇出的所述相關計算方向對應的所述第二時間相關值。
17. 根據權利要求13所述的存儲介質，其特徵在於， 所述處理還具有空間相關值計算步驟，在該步驟中，分別針對所述多個相關計算方向，確定在所述對象場圖像中與所述相關計算方向對應 的多個像素的位置，確定位置後的所述多個像素包括存在於所述對象場圖像中的像素、 和不存在於所述對象場圖像中的像素中而在之前的所述對象像素選擇步 驟中選擇出的像素值已被插值的像素這雙方，根據所述多個像素的所述像素值來計算空間相關值。
18. 根據權利要求1所述的存儲介質，其特徵在於，所述輸入圖像 為應放大圖像，在所述對象像素選擇步驟中依次選擇不存在於所述輸入圖像中且在 放大的圖像中應進行補足的多個像素。
19. 一種像素值插值方法確定裝置，其確定用於對在輸入圖像中不 存在且位於一條直線上的多個像素的各像素值進行插值的插值方法，其 特徵在於，所述像素值的插值方法確定裝置具有對象像素選擇部，其按照指定的選擇順序方向依次將所述多個像素 中的一個像素選擇為應確定所述插值方法的對象像素；局部相關值計算部，其分別針對所指定的多個相關計算方向，根據從所述對象像素出發位於所述相關計算方向的第一像素的像素值和從所 述對象像素出發位於所述相關計算方向的相反方向的第二像素的像素值，來計算與所述相關計算方向對應的局部相關值；存儲部，其存儲累積相關值，該累積相關值是根據對所述多個像素 中的按照所述選擇順序方向順序為開頭的像素即開頭像素賦予的值，而 從所述開頭像素按照所述選擇順序方向逐次分別針對所述多個像素計算 出的相關值，累積相關值計算部，其分別按照所述多個相關計算方向，根據與所 述相關計算方向對應的所述局部相關值、和存儲在所述存儲部中的針對 緊接在選擇所述對象像素之前選擇出的其它像素的所述累積相關值，來 計算針對所述對象像素的與所述相關計算方向對應的所述累積相關值， 並存儲在所述存儲部中；方向選擇部，其根據分別與所述多個相關計算方向對應的所述累積 相關值，選擇所述多個相關計算方向之一；以及插值用像素確定部，其根據與所述方向選擇部選擇出的所述相關計 算方向對應的所述局部相關值和所述累積相關值中的至少一方，來確定 所述對象像素的插值中使用的多個像素。
20. —種像素值的插值方法確定方法，其確定用於對在輸入圖像中 不存在且位於一條直線上的多個像素的各像素值進行插值的插值方法， 其特徵在於，所述像素值的插值方法確定方法具有如下的步驟對象像素選擇步驟，在該步驟中，按照指定的選擇順序方向依次將 所述多個像素中的一個像素選擇為應確定所述插值方法的對象像素；局部相關值計算步驟，在該步驟中，分別針對所指定的多個相關計 算方向，根據從所述對象像素出發位於所述相關計算方向的第一像素的 像素值和從所述對象像素出發位於所述相關計算方向的相反方向的第二 像素的像素值，來計算與所述相關計算方向對應的局部相關值；累積相關值計算步驟，在該步驟中，根據與所述相關計算方向對應 的所述局部相關值、和在緊接選擇所述對象像素之前的所述選擇步驟中 選擇出的其它像素的累積相關值，來分別按照各所述多個相關計算方向對所述對象像素計算累積相關值，其中，該累積相關值是根據對所述多 個像素中的按照所述選擇順序方向順序為開頭的像素即開頭像素賦予的 值，而從所述開頭像素按照所述選擇順序方向逐次分別針對所述多個像 素計算出的相關值；方向選擇步驟，在該步驟中，根據分別與所述多個相關計算方向對 應的所述累積相關值，選擇所述多個相關計算方向之一；以及插值用像素確定步驟，在該步驟中，根據與在所述方向選擇步驟中 選擇出的所述相關計算方向對應的所述局部相關值和所述累積相關值中 的至少一方，來確定所述對象像素的插值中使用的多個像素。
全文摘要
本發明提供一種確定用於對在輸入圖像中不存在且位於一條直線上的多個像素的各像素值進行插值的像素值插值方法的方法，其包括以下步驟將所述多個像素之一依次選擇為對象像素的步驟；分別針對多個相關計算方向，根據從所述對象像素出發位於相關計算方向及其相反方向的第一和第二像素的像素值，計算與相關計算方向對應的局部相關值的步驟；根據所述局部相關值和剛剛選擇出的其它像素的累積相關值，來分別按照各所述多個相關計算方向對所述對象像素計算累積相關值的步驟；根據所述累積相關值，選擇一個相關計算方向的步驟；以及根據所述局部相關值和/或所述累積相關值，確定對象像素的插值中使用的多個像素的步驟。
文檔編號H04N7/01GK101237553SQ20071030117
公開日2008年8月6日 申請日期2007年12月26日 優先權日2006年12月26日
發明者中澙昌平, 山田幸二 申請人:富士通株式會社