圖像處理設備、圖像處理方法、程序和顯示設備的製作方法

2023-04-26 06:24:51 2

專利名稱：圖像處理設備、圖像處理方法、程序和顯示設備的製作方法
技術領域：
本發明涉及圖像處理設備、圖像處理方法、程序和顯示設備，並且更特別地，涉及可以例如更高精度且更低成本地獲得指示運動信息(其指示圖像的運動)的可靠性的可靠性信息的圖像處理設備、圖像處理方法、程序和顯示設備。

背景技術：
例如，在將通過隔行掃描而掃描的隔行圖像轉換為通過非隔行掃描而掃描的逐行圖像的IP(隔行逐行，Interlace Progressive)轉換中，在隔行圖像的每一個半幀(field)中執行關於沒有像素值的像素的內插。由此，僅在奇數行(奇數編號的水平行)或偶數行(偶數編號的水平行)中具有像素值的半幀被轉換為在奇數行和偶數行均有像素值的幀。
作為用於在IP轉換中的像素內插的方法，存在被稱為半幀內(intra-field)內插和半幀間(inter-field)內插的方法。
半幀內內插和半幀間內插將在隔行圖像的半幀中不具有像素值的像素設置為要對其執行內插的內插目標像素，並使用具有像素值的像素的像素值來為內插目標像素獲得像素值(像素值的內插值)。
在本說明書中，將從一個垂直同步信號到下一垂直同步信號的半幀和幀統稱為畫面(picture)。
另外，合適地，在下文中將在內插目標像素之中所關注的內插目標像素稱為感興趣像素，並且在下文中將包括感興趣像素的畫面(半幀或幀)稱為感興趣畫面。
半幀內內插使用感興趣畫面的像素之中感興趣像素附近的像素的像素值，來獲得感興趣像素的像素值。
另一方面，半幀間內插使用感興趣畫面之前一個畫面(時間上處於過去)的之前畫面中像素的像素值和感興趣畫面之後一個畫面(時間上處於未來)的之後畫面中像素的像素值以及感興趣像素的運動矢量來獲得感興趣像素的像素值。
具體地說，半幀間內插使用之前畫面的像素之中、處於從感興趣像素的位置起移位與感興趣像素的運動矢量對應的量的位置的像素的像素值以及之後畫面的像素之中、處於從感興趣像素的位置起移位與感興趣像素的運動矢量對應的量的位置的像素的像素值，來獲得感興趣像素的像素值。
如上所述，半幀間內插使用感興趣像素的運動矢量來內插感興趣像素(感興趣像素的像素值)。因此，當感興趣像素的運動矢量表示錯誤的運動時，不能獲得正確的內插值作為感興趣像素的像素值。結果，降低了逐行圖像的圖像質量。
因此，存在一種IP轉換，其使用對於所關注的感興趣的塊所檢測到的運動矢量和對於感興趣的塊的周圍的塊所檢測到的運動矢量，基於這些運動矢量之間的一致性獲得指示對於感興趣的塊所檢測到的運動矢量的可靠性(精度)的可靠性信息，根據可靠性信息將通過半幀內內插獲得的內插值與通過半幀間內插獲得的內插值混合，並將混合的結果設置為感興趣像素的像素值(例如，見日本專利公開No.Hei 08-015334)。


發明內容
作為用於檢測運動矢量的方法，存在使用多個像素的組的、被稱為塊匹配的方法。假設將用以檢測運動矢量的多個像素的組稱為宏塊(MB)，那麼在塊匹配中，在移動宏塊時，獲得形成某一畫面的宏塊的像素的像素值與形成另一畫面的宏塊的像素的像素值之間的差(差的絕對值)的總和(在下文中稱為運動誤差)。然後，獲得運動誤差變為最小時某一畫面的宏塊與另一畫面的宏塊之間的位置關係作為運動矢量。
在塊匹配中，宏塊的規模越大(宏塊的像素的數量越大)，則可以獲得可靠運動矢量的可能性越強。
然而，當宏塊的規模增大時，確定運動誤差所需的計算量增大。對於實時處理來說，能夠高速執行處理的硬體變得是必需的，這增加了設備成本。
另一方面，當宏塊的規模減小時，確定運動誤差所需的計算量減小，並且由此可以實現更低成本。然而，獲得低可靠性的運動誤差的可能性增強。
當在很有可能具有低可靠性的運動矢量之中，僅使用對於感興趣塊檢測到的運動矢量和對於感興趣塊周圍的塊檢測到的運動矢量來獲得用於對於感興趣塊檢測到的運動矢量的可靠性信息時，可靠性信息可能不精確地指示運動矢量的可靠性。
已經在考慮到上述情形的情況下進行了本發明。期望更高精度且更低成本地獲得指示圖像的運動的運動信息的可靠性的可靠性信息。
根據本發明的實施例的圖像處理設備或程序是用於獲得指示圖像的運動的運動信息的圖像處理設備，或用於使計算機用作圖像處理設備的程序，所述圖像處理設備包括運動估計裝置，用於在所關注的感興趣畫面的像素值中，使用感興趣像素的運動矢量和感興趣像素附近的像素的運動矢量，來獲得所關注的感興趣像素的運動信息，並輸出感興趣像素的運動信息。圖像處理設備進一步用於使用感興趣畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用評估值來確定感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息。
根據本發明的實施例的圖像處理方法是用於獲得指示圖像的運動的運動信息的圖像處理設備的圖像處理方法，圖像處理方法包括用於使用在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和感興趣像素附近的像素的運動信息，來獲得所述感興趣像素的運動信息，並輸出感興趣像素的運動信息的步驟。圖像處理方法進一步包括用於使用感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用評估值確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息的步驟。
根據本發明的實施例的顯示設備是用於顯示廣播節目的圖像的顯示設備，所述顯示設備包括運動估計裝置，用於使用在組成廣播節目的圖像的畫面之中、在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息。顯示設備進一步包括估計裝置，用於使用感興趣畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用評估值確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。
在本發明的上述實施例中，使用在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息。另外，使用感興趣畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，並且使用感興趣畫面的另一像素的像素值來獲得用於評估感興趣像素的運動信息的評估值。然後，使用評估值確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。
順便提及，圖像處理設備可以是獨立設備，也可以是形成一臺設備的內部塊。
另外，通過經由傳送介質傳送或者通過在記錄介質上記錄來提供程序。
根據本發明的上述實施例，可以獲得更高精度且更低成本地指示運動信息(其指示圖像的運動)的可靠性的可靠性信息。



圖1是示出本發明應用到的TV的實施例的配置的示例的框圖； 圖2是示出IP轉換單元15的配置的示例的框圖； 圖3是示出隔行圖像的圖； 圖4是示出逐行圖像的圖； 圖5是有助於解釋IP轉換過程的流程圖； 圖6是有助於解釋用於逐行圖像的運動矢量檢測方法的圖； 圖7是有助於解釋用於隔行圖像的運動矢量檢測方法的圖； 圖8是示出存儲器單元21的配置的示例的框圖； 圖9是示出運動估計單元22的配置的第一示例的框圖； 圖10是示出多個候選矢量的示例的圖； 圖11是有助於解釋評估值(evaluation value)計算單元52k的處理的圖； 圖12是有助於解釋運動估計處理的流程圖； 圖13是示出逐行圖像產生單元23的配置的示例的框圖； 圖14是有助於解釋逐行圖像產生處理的流程圖； 圖15是示出從存儲器單元21提供到運動估計單元22的圖像的圖； 圖16是示出運動估計單元22的配置的第二示例的框圖； 圖17是有助於解釋運動估計處理的流程圖； 圖18是示出運動估計單元22的配置的第三示例的框圖； 圖19是有助於解釋運動估計處理的流程圖； 圖20是示出運動估計單元22的配置的第四示例的框圖； 圖21是有助於解釋運動估計處理的流程圖；以及 圖22是示出本發明應用到的計算機的實施例的配置的示例的圖。

具體實施例方式 在下文中將描述本發明的優選實施例。以下例示了本發明的組成要求和說明書或附圖中描述的實施例之間的對應。該描述是要確認在說明書或附圖中描述支持本發明的實施例。因此，即使當存在在說明書或附圖中描述的、但沒有在此作為與本發明的組成要求對應的實施例描述的實施例時，也不表示所述實施例不與所述組成要求對應。相反地，即使當在此將一個實施例描述為與所述組成要求對應時，也不表示所述實施例不與除了所述組成要求之外的組成要求相對應。
根據本發明的實施例的圖像處理設備或程序是用於獲得指示圖像的運動的運動信息的圖像處理設備(如圖2中的IP轉換單元15)或用於使計算機用作圖像處理設備的程序，所述圖像處理設備包括運動估計裝置(例如，圖2中的運動估計單元22)，用於使用感興趣像素的運動矢量和感興趣像素周圍的像素的運動矢量獲得在所關注的畫面的像素之中所關注的感興趣像素的運動信息，並輸出感興趣像素的運動信息，並且獲得用於使用感興趣畫面的多個像素的運動矢量來評估感興趣像素的運動信息的評估值。所述圖像處理設備進一步包括運動估計裝置，用於獲得用於通過使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來評估感興趣像素的運動信息的評估值，使用所述評估值來確定感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息。
運動估計裝置可以包括一個運動矢量檢測裝置(如圖20中的運動矢量檢測單元510)，用於檢測感興趣畫面的像素的運動矢量；以及多個運動矢量存儲裝置(如圖20中的運動矢量存儲單元581和582)，用於存儲在過去(in apast)已經是感興趣畫面的多個畫面(如第(N-1)畫面和第(N-2)畫面)的像素的所檢測到的運動矢量。運動估計裝置可以進一步包括運動信息計算裝置(如圖20中的運動信息計算單元53)，用於使用感興趣的運動矢量和感興趣像素周圍的像素的運動矢量來獲得感興趣像素的運動信息，所述運動矢量由運動矢量檢測裝置檢測；以及多個評估值計算裝置(如圖20中的評估值計算單元520至522)，用於使用感興趣畫面和所述多個畫面的所檢測到的運動矢量，來獲得用於評估感興趣像素的運動信息的評估值。運動估計裝置還可以進一步包括確定進行中結果存儲裝置(如圖20中的確定進行中結果存儲單元56)，用於存儲作為確定運動信息的可靠性的可靠性確定的進行中結果(in-progress result)的確定進行中結果。運動估計裝置還可以進一步包括可靠性確定裝置(如圖20中的可靠性確定單元57)，用於進行可靠性確定，其使用通過多個評估值計算裝置獲得的評估值以及過去的可靠性確定的確定進行中結果，來確定感興趣像素的運動信息的可靠性，所述過去的可靠性確定的確定進行中結果由確定進行中結果存儲裝置來存儲，並且該可靠性確定裝置還用於使確定進行中結果存儲裝置存儲可靠性確定的確定進行中結果。
運動估計裝置可以包括多個運動矢量檢測裝置(如圖9中的運動矢量檢測單元510到514)，用於檢測多個畫面(如圖9中的第N到第(N-4)畫面)的像素的運動矢量，所述多個畫面是感興趣畫面，並且一個或多個畫面與感興趣畫面相鄰。運動估計裝置可以進一步包括運動信息計算裝置(如圖9中的運動信息計算單元53)，用於使用感興趣像素的運動矢量和感興趣像素周圍的像素的運動矢量來獲得感興趣像素的運動信息，所述運動矢量由多個運動矢量檢測裝置之中用於感興趣畫面的運動矢量檢測裝置檢測。運動估計裝置還可以進一步包括多個評估值計算裝置(如圖9中的評估值計算單元520至524)，用於使用由多個運動矢量檢測裝置檢測到的運動矢量來評估感興趣像素的運動信息；以及可靠性確定裝置(如圖9中的可靠性確定單元54)，用於使用通過多個評估值計算裝置獲得的評估值來確定感興趣像素的運動信息的可靠性。
運動估計裝置可以包括多個運動矢量檢測裝置(如圖16中的運動矢量檢測單元510到512)，用於檢測多個畫面(如圖16中的第N到第(N-2)畫面)的像素的運動矢量，所述多個畫面是感興趣畫面並且一個或多個畫面與感興趣畫面相鄰。運動估計裝置可以進一步包括運動信息計算裝置(如圖16中的運動信息計算單元53)，用於使用感興趣像素的運動矢量和感興趣像素周圍的像素的運動矢量來獲得感興趣像素的運動信息，所述運動矢量由多個運動矢量檢測裝置之中用於感興趣畫面的運動矢量檢測裝置檢測。運動估計裝置還可以進一步包括多個評估值計算裝置(如圖16中的評估值計算單元520到522)，用於使用由多個運動矢量檢測裝置所檢測到的運動矢量，來獲得用於評估感興趣像素的運動信息的評估值；以及確定進行中結果存儲裝置(如圖16中的確定進行中結果存儲單元56)，用於存儲作為確定運動信息的可靠性的可靠性確定的進行中結果的確定進行中結果。運動估計裝置還可以進一步包括可靠性確定裝置(如圖16中的可靠性確定單元57)，用於進行可靠性確定，其使用通過多個評估值計算裝置獲得的評估值以及過去的可靠性確定的確定進行中結果來確定感興趣像素的運動信息的可靠性，所述過去的可靠性確定的確定進行中結果由確定進行中結果存儲裝置存儲，並且該可靠性確定裝置還用於使確定進行中結果存儲裝置存儲可靠性確定的確定進行中結果。
運動估計裝置可以包括一個運動矢量檢測裝置(如圖18中的運動矢量檢測單元510)，用於檢測感興趣畫面的像素的運動矢量；以及多個運動矢量存儲裝置(如圖18中的運動矢量存儲單元581到584)，用於存儲在過去(in a past)已經是感興趣畫面的多個畫面(如第(N-1)個畫面到第(N-4)個畫面)的像素的所檢測到的運動矢量。運動估計裝置還可以進一步包括運動信息計算裝置(如圖18中的運動信息計算單元53)，用於通過使用感興趣的運動矢量和感興趣像素周圍的像素的運動矢量來獲得感興趣像素的運動信息，所述運動矢量由運動矢量檢測裝置檢測；以及多個評估值計算裝置(如圖18中的評估值計算單元520至524)，用於使用感興趣畫面和所述多個畫面的所檢測到的運動矢量，來獲得用於評估感興趣像素的運動信息的評估值。運動估計裝置還可以進一步包括可靠性確定裝置(如圖18中的可靠性確定單元54)，用於使用通過多個評估值計算裝置獲得的評估值來確定感興趣像素的運動信息的可靠性。
根據上述實施例的圖像處理設備可以進一步包括逐行圖像產生裝置(如圖13中的逐行圖像產生單元23)，用於從隔行圖像產生逐行圖像，所述逐行圖像產生裝置包括第一內插裝置(如圖13中的半幀內內插單元62)，用於適用感興趣畫面的另一個像素的像素值來獲得感興趣像素的第一內插值。逐行圖像產生裝置進一步包括第二內插裝置(如圖13中的半幀間內插單元61)，用於使用與感興趣畫面相鄰的畫面的像素的像素值以及感興趣像素的運動信息來獲得感興趣像素的第二內插值。逐行圖像產生裝置還進一步包括選擇裝置(如圖13中的選擇單元63)，用於當可靠性信息指示運動信息不可靠時，選擇第一內插值並輸出第一內插值作為感興趣像素的像素值，而當可靠性信息指示運動信息可靠時，選擇第二內插值並輸出第二內插值作為感興趣像素的像素值。
根據本發明的實施例的圖像處理方法是用於獲得指示圖像的運動的運動信息的圖像處理設備的圖像處理方法，所述圖像處理方法包括步驟(如圖5中的步驟S12)使用感興趣像素的運動矢量以及感興趣像素附近的像素的運動矢量，來在所關注的感興趣畫面的像素之中獲得所關注的感興趣像素的運動信息，並輸出感興趣像素的運動信息，並使用感興趣畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值。圖像處理方法進一步包括步驟使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量，來獲得用於評估感興趣像素的運動信息，使用所述評估值來確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。
根據本發明的實施例的顯示設備是用於顯示廣播節目的圖像的顯示設備(如圖1中的TV)，所述顯示設備包括接收裝置(如圖1中的調諧器11)，用於接收廣播節目。顯示設備進一步包括運動估計裝置(如圖2中的運動估計單元22)，用於使用感興趣像素的運動矢量以及感興趣像素附近的像素的運動矢量，獲得在組成廣播節目的圖像之中、在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動信息，並輸出感興趣像素的運動信息。顯示設備進一步包括運動估計裝置，用於使用感興趣畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用所述評估值來確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。顯示設備還進一步包括逐行圖像產生裝置(如圖2中的逐行圖像產生單元23)，用於使用感興趣畫面的另一像素的像素值來獲得感興趣像素的第一內插值，並使用與感興趣畫面相鄰的畫面的像素的像素值以及感興趣像素的運動矢量來獲得感興趣像素的第二內插值，並且當可靠性信息指示運動信息不可靠時，選擇第一內插值並輸出第一內插值作為感興趣像素的像素值，而當可靠性信息指示運動信息可靠時，選擇第二內插值並輸出第二內插值作為感興趣像素的像素值，由此從隔行圖像中產生逐行圖像。顯示設備還進一步包括顯示裝置(如圖1中的顯示面板16)，用於顯示逐行圖像。
在下文中，將參照附圖描述本發明的優選實施例。
圖1是示出本發明應用到的、作為顯示設備的TV(電視接收機)的實施例的配置的示例的框圖。
例如，向調諧器11提供來自天線的陸地數字廣播的廣播信號。
例如，調諧器11從向其提供的廣播信號中以預定頻帶提取傳輸流作為信號。然後調諧器11將傳輸流提供到解擾器(descrambler)12。
解擾器12解擾來自調諧器11的傳輸流。然後，解碼器12將傳輸流提供到多路分配器(demultiplexer)13。
多路分配器13從來自解擾器12的傳輸流中分離包括預定廣播節目的圖像數據和音頻數據的TS(傳輸流)分組，然後輸出該TS分組。
從多路分配器13輸出的音頻數據的TS分組由解碼器(在圖中未示出)解碼。然後，將作為解碼結果獲得的音頻數據提供到揚聲器(在圖中未示出)，並從揚聲器輸出相應的聲音。
另外，從多路分配器13輸出的圖像數據的TS分組提供到解碼器14。解碼器14解碼來自多路分配器13的TS分組。然後，解碼器14將作為解碼結果獲得的隔行圖像的圖像數據提供到IP轉換單元15。
IP轉換單元15是使來自解碼器14的隔行圖像經歷圖像處理的圖像處理設備。IP轉換單元15通過IP轉換將來自解碼器14的隔行圖像(隔行圖像的圖像數據)轉換為逐行圖像。將在IP轉換單元15中通過IP轉換獲得的逐行圖像提供到顯示面板16。
例如，顯示面板16由液晶面板、有機EL(電致發光)面板等形成。顯示面板16顯示來自IP轉換單元15的逐行圖像。
圖2示出圖1中的IP轉換單元15的配置的示例。
IP轉換單元15包括存儲器單元21、運動估計單元22和逐行圖像產生單元23。
存儲器單元21以畫面(半幀)為單位臨時地存儲從解碼器14提供的隔行圖像。存儲器單元21根據需要將隔行圖像提供到運動估計單元22和逐行圖像產生單元23。
運動估計單元22順序地將存儲器單元21中存儲的圖像(隔行圖像的畫面)設置為所關注的感興趣畫面。運動估計單元22使用感興趣像素的運動矢量以及感興趣像素附近的像素的運動矢量來在感興趣畫面之中獲得所關注的感興趣像素的運動信息。然後，運動估計單元22輸出感興趣像素的運動信息。
此外，運動估計單元22使用感興趣畫面的多個像素的運動矢量獲得用於評估感興趣像素的運動信息的評估值，並使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值。然後，運動估計單元22使用評估值確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。
將由運動估計單元22輸出的運動信息和可靠性信息提供到逐行圖像產生單元23。
逐行圖像產生單元23使用來自運動估計單元22的運動信息和可靠性信息，從存儲器單元21中存儲的隔行圖像中產生逐行圖像。然後，逐行圖像產生單元23輸出逐行圖像。
具體地說，逐行圖像產生單元23通過使用感興趣畫面的另一像素的像素值以執行半幀內內插來獲得半幀內內插值(第一內插值)，並通過使用與感興趣畫面相鄰的畫面的像素的像素值以及來自運動估計單元22的感興趣像素的運動信息以執行半幀間內插來獲得半幀間內插值(第二內插值)。
然後，當來自運動估計單元22的可靠性信息指示感興趣像素的運動信息不可靠時，逐行圖像產生單元23選擇半幀內內插值作為感興趣像素的像素值。
當來自運動估計單元22的可靠性信息指示感興趣像素的運動信息可靠時，逐行圖像產生單元23選擇半幀間內插值作為感興趣像素的像素值。
逐行圖像產生單元23將在存儲器單元21中存儲的感興趣畫面中不具有像素值的像素設置為內插目標像素，順序地將內插目標像素設置為感興趣像素，並確定感興趣像素(即內插目標像素)的像素值。
然後，逐行圖像產生單元23從在感興趣畫面中具有像素值的像素以及確定了像素值的內插目標像素產生逐行圖像。
圖3示出隔行圖像。
隔行圖像的畫面包括僅具有奇數編號行(奇數編號行的像素值)且不具有偶數編號行(偶數編號行的像素值)的畫面以及僅具有偶數編號行(偶數編號行的像素值)且不具有奇數編號行(奇數編號行的像素值)的畫面。交替地排列僅具有奇數編號行(奇數編號半幀)的畫面和僅具有偶數編號行(偶數編號半幀)的畫面。
在圖3中(如後面描述的圖4、圖6、圖7和圖11的情況那樣)，奇數編號行由實線表示，而偶數編號行由虛線表示。
此外，在圖3中(如後面描述的圖4、圖6、圖7和圖11的情況那樣)，奇數編號行中的像素由圓圈表示，而偶數編號行中的像素由矩形(方形)表示。
順便提及，在表示奇數編號行中的像素的圓圈中，表示具有像素值的像素的圓圈由實線形成，而表示不具有像素值的像素的圓圈由虛線形成。類似地，在表示偶數編號行中的像素的矩形中，表示具有像素值的像素的矩形由實線形成，而表示不具有像素值的像素的矩形由虛線形成。
在圖3中，第(N-1)畫面和第(N+1)畫面是僅具有偶數編號行的偶數編號半幀，而第N畫面是僅具有奇數編號行的奇數編號半幀。
在這種情況下，例如，第N個畫面是從廣播節目的圖像的開始的第N畫面。因此，第(N-1)畫面是在第N畫面之前一個畫面的過去畫面(在下文中也稱為之前畫面)，而第(N+1)畫面是在第N畫面之後一個畫面的將來畫面(在下文中也稱為之後畫面)。
圖4示出逐行圖像。
逐行圖像的畫面具有奇數編號行和偶數編號行二者。
圖2中的IP轉換單元15執行IP轉換，以便將圖3所示的隔行圖像的......、第(N-1)畫面、第N畫面、第(N+1)畫面轉換為圖4所示的逐行圖像的......、第(N-1)畫面、第N畫面、第(N+1)畫面。
圖5是有助於解釋由圖2中的IP轉換單元15執行的IP轉換的處理(IP轉換處理)的流程圖。
IP轉換單元15等待被提供來自解碼器14(圖1)的隔行圖像的新畫面。在步驟S11，存儲器單元21臨時存儲來自解碼器14的隔行圖像的畫面。然後處理進行到步驟S12。
在步驟S12，運動估計單元22執行運動估計處理，所述運動估計處理將存儲器單元21中存儲的(隔行圖像的)畫面的預定畫面設置為感興趣畫面，並獲得感興趣畫面的內插目標像素(不具有像素值的像素)的運動信息以及指示運動信息的可靠性的可靠性信息。
然後，運動估計單元22將通過運動估計處理獲得的運動信息和可靠性信息提供到逐行圖像產生單元23。處理從步驟S12進行到S13。
在步驟S13，逐行圖像產生單元23執行逐行圖像產生處理，所述逐行圖像產生處理基於來自運動估計單元22的運動信息和可靠性信息，使用在存儲器單元21中存儲的感興趣畫面的隔行圖像，來產生感興趣畫面的逐行圖像。然後逐行圖像產生單元23將作為逐行圖像產生處理的結果獲得的逐行圖像提供到顯示面板16(圖1)。
然後，處理從步驟S13返回到步驟S11，以便從步驟S11到下重複相同的處理。
下面將進行由IP轉換單元15執行的IP轉換處理的描述。然而，在IP轉換處理的描述之前，將進行通過塊匹配來檢測運動矢量的方法的描述。
首先將參照圖6描述檢測逐行圖像的運動矢量的方法。
順便提及，在這種情況下，例如，假設面向未來方向的矢量(具有過去側的起點和將來側的終點)檢測為運動矢量。
圖6示出逐行圖像的三個連續畫面，即第(N-1)畫面、第N畫面、第(N+1)畫面。
當將逐行圖像的第N畫面設置為感興趣畫面並將感興趣畫面的特定像素設置為感興趣像素以檢測感興趣像素的運動矢量時，使用感興趣畫面以及作為在感興趣畫面之後一個畫面的之後畫面的第(N+1)畫面來檢測運動矢量。
具體地說，在第N畫面中設置具有感興趣像素作為其中心的預定規模的宏塊(macroblock)(在下文中也合適地簡稱為塊)作為感興趣畫面。在圖6中，設置具有感興趣像素作為其中心的3×3像素，即3像素行和3像素列的塊MBN。
此外，將使感興趣像素作為起點且使作為之後畫面的第(N+1)畫面的像素的位置作為結束點的多個矢量設置為候選矢量，其是關於運動矢量的候選。選擇多個候選矢量的一個矢量v1作為感興趣的候選矢量。
然後，與塊MBN相同規模的塊，即3×3像素或3像素行和3像素列的塊MBN+1，1被設置為與第(N+1)畫面中的塊MBN對應的對應塊，其具有位於感興趣的候選矢量v1的終點的位置處的像素作為對應塊MBN+1，1的中心。獲得例如是塊MBN中各個像素的像素值與對應塊MBN+1，1中相同位置處像素的像素值之間的差的總和(差的絕對值)的運動誤差。
對於其他候選矢量也類似地獲得運動誤差。當對於所有候選矢量已經獲得運動誤差時，將給出最小運動誤差的候選矢量檢測為感興趣像素的運動矢量。
因此，假設例如有兩個矢量v1和v2作為候選矢量，則獲得在第(N+1)畫面使位於候選矢量v1的終點的位置處的像素作為其中心的對應塊MBN+1，1的像素值與在第N畫面中使感興趣像素作為其中心的塊MBN的像素值之間的差的總和作為候選矢量v1的運動誤差。
此外，獲得在第(N+1)畫面使位於候選矢量v2的終點的位置處的像素作為其中心的對應塊MBN+1，2的像素值與在第N畫面中使感興趣像素作為其中心的塊MBN的像素值之間的差的總和作為候選矢量v2的運動誤差。
當在候選矢量v1的運動誤差和候選矢量v2的運動誤差中，候選矢量v1的運動誤差較小時，將候選矢量v1檢測為感興趣像素的運動矢量。另一方面，當候選矢量v2的運動誤差較小時，將候選矢量v2檢測為感興趣像素的運動矢量。
如上所述，感興趣畫面和之後畫面(或之前畫面)是用以檢測逐行圖像的運動矢量所必需的。
下面將參照圖7描述檢測隔行圖像的運動矢量的方法。
圖7示出隔行圖像的三個連續畫面，即第(N-1)畫面、第N畫面和第(N+1)畫面。
在隔行圖像的情況下，如逐行圖像的情況那樣，對於所有多個候選矢量獲得運動誤差，並且將給出最小運動誤差的候選矢量檢測為感興趣像素的運動矢量。
然而，在隔行圖像中，如參照圖3描述的那樣，交替地排列僅具有奇數編號行(奇數編號半幀)的畫面和僅具有偶數編號行(偶數編號半幀)的畫面。
因此，在作為感興趣畫面的第N畫面與作為之後畫面的第(N+1)畫面之間具有像素值的像素的位置是不同的。
因此，在隔行圖像中，使用作為之後畫面的第(N+1)畫面以及作為在感興趣畫面之前一個畫面的之前畫面的第(N-1)畫面來檢測運動矢量，而不是如逐行圖像中那樣，使用作為感興趣畫面的第N畫面以及作為之後畫面的第(N+1)畫面來檢測運動矢量。
具體地說，將通過感興趣像素並且使作為之前畫面的第(N-1)畫面的像素的位置作為起點並使作為之後畫面的第(N+1)畫面的像素的位置作為終點的多個矢量設置為候選矢量，其是對於運動矢量的候選。選擇多個候選矢量的一個候選矢量v1作為感興趣的候選矢量。
然後，將兩個塊(即與感興趣像素的塊MBN相同規模的塊MBN-1，1，塊MBN-1，1在第(N-1)畫面中使位於感興趣的候選矢量v1的起點的位置處的像素作為其中心，以及與感興趣像素的塊MBN相同規模的塊MBN+1，1，塊MBN+1，1在第(N+1)畫面中使位於感興趣的候選矢量v1的終點的位置處的像素作為其中心)設置為與感興趣像素的塊MBN對應的對應塊。例如，獲得在兩個對應塊MBN-1，1和MBN+1，1中相同位置處的像素的像素值之間的差的總和，作為感興趣的候選矢量v1的運動誤差。
對於其他候選矢量，類似地獲得運動誤差。當對於所有候選矢量已經獲得運動誤差時，將給出最小運動誤差的候選矢量檢測為感興趣像素的運動矢量。
因此，假設例如存在通過感興趣像素的兩個矢量v1和v2作為候選矢量，則獲得第(N-1)畫面中對應塊MBN-1，1的像素值與第(N+1)畫面中對應塊MBN+1，1的像素值之間的差的總和作為候選矢量v1的運動誤差，對應塊MBN-1，1使位於候選矢量v1的起點的位置處的像素作為其中心，而對應塊MBN+1，1使位於候選矢量v1的終點的位置處的像素作為其中心。
此外，獲得第(N-1)畫面中對應塊MBN-1，2的像素值與第(N+1)畫面中對應塊MBN+1，2的像素值之間的差的總和作為候選矢量v2的運動誤差，對應塊MBN-1，2使位於候選矢量v2的起點的位置處的像素作為其中心，而對應塊MBN+1，2使位於候選矢量v2的終點的位置處的像素作為其中心。
當在候選矢量v1的運動誤差和候選矢量v2的運動誤差中，候選矢量v1的運動誤差較小時，將候選矢量v1檢測為感興趣像素的運動矢量。另一方面，當候選矢量v2的運動誤差較小時，將候選矢量v2檢測為感興趣像素的運動矢量。
如上所述，在感興趣畫面之前的之前畫面和在感興趣畫面之後的之後畫面是用以檢測隔行圖像的運動矢量所必需的。
圖8示出圖2中的存儲器單元21的配置的示例。
圖8中的存儲器單元21通過將六個幀(半幀)存儲器310、311、312、313、314和315彼此串聯連接而形成。存儲器31i(i＝0，1，...，5)具有用以存儲至少一個半幀的像素值的存儲容量。
存儲器單元21被提供有來自解碼器14(圖1)的隔行圖像的畫面(半幀)。
將從解碼器14向存儲器單元21提供的畫面提供到運動估計單元22和逐行圖像產生單元23(圖2)，並提供到幀存儲器310。
幀存儲器310存儲從解碼器14提供到存儲器單元21的畫面，直到提供下一畫面(之後畫面)為止，即將畫面延遲一個畫面的時間。然後，幀存儲器310將畫面提供到下一級中的幀存儲器311，並將畫面提供到運動估計單元22和逐行圖像產生單元23(圖2)。
如幀存儲器310那樣，幀存儲器311存儲從之前級中的幀存儲器310提供的畫面，由此將畫面延遲一個畫面的時間。然後，幀存儲器311將畫面提供到之後級中的幀存儲器312，並將畫面提供到運動估計單元22和逐行圖像產生單元23。
如幀存儲器310那樣，幀存儲器312存儲從之前級中的幀存儲器311提供的畫面，由此將畫面延遲一個畫面的時間。然後，幀存儲器312將畫面提供到之後級中的幀存儲器313，並將畫面提供到運動估計單元22。
如幀存儲器310那樣，幀存儲器313存儲從之前級中的幀存儲器312提供的畫面，由此將畫面延遲一個畫面的時間。然後，幀存儲器313將畫面提供到之後級中的幀存儲器314，並將畫面提供到運動估計單元22。
如幀存儲器310那樣，幀存儲器314存儲從之前級中的幀存儲器313提供的畫面，由此將畫面延遲一個畫面的時間。然後，幀存儲器314將畫面提供到之後級中的幀存儲器315，並將畫面提供到運動估計單元22。
如幀存儲器310那樣，幀存儲器315存儲從之前級中的幀存儲器314提供的畫面，由此將畫面延遲一個畫面的時間。然後，幀存儲器315將畫面提供到運動估計單元22。
因此，假設在某一時間t從解碼器14向存儲器單元21提供的畫面是第(N+1)畫面，則此時存儲器單元21分別在存儲器310到315中存儲第N畫面、第(N-1)畫面、第(N-2)畫面、第(N-3)畫面、第(N-4)畫面和第(N-5)畫面。因此存儲器單元21輸出七個連續畫面，即第(N+1)到第(N-5)畫面。
如上所述，運動估計單元22被提供有由存儲器單元21輸出的所有七個畫面，即第(N+1)到第(N-5)畫面。逐行圖像產生單元23(圖2)被提供有三個畫面，即由存儲器單元21輸出的七個畫面(即第(N+1)到第(N-5)畫面)的第(N+1)到第(N-1)畫面。
當分別在幀存儲器310到315中存儲第N到第(N-5)畫面時，運動估計單元22和逐行圖像產生單元23使用幀存儲器310中存儲的作為感興趣畫面的畫面，即使用作為感興趣畫面的第N畫面來執行處理。
圖9是示出圖2中的運動估計單元22的配置的第一示例的框圖。
圖9中的運動估計單元22包括五個運動矢量檢測單元510、511、512、513和514、五個評估值計算單元520、521、522、523和524、運動信息計算單元53以及可靠性確定單元54。
運動矢量檢測單元510到514檢測作為感興趣畫面以及與感興趣畫面相鄰的一個或多個其他畫面的多個畫面的像素的運動矢量。然後運動矢量檢測單元510到514將運動矢量分別提供到評估值計算單元520到524。
具體地說，例如，假設在存儲器單元21的幀存儲器310(圖8)中存儲第N畫面，則通過使用在幀存儲器310中存儲的第N畫面，運動矢量檢測單元510到514檢測第N到第(N-4)五個畫面，即作為感興趣畫面的第N畫面以及在幀存儲器311到314中存儲的、作為與感興趣畫面相鄰的一個或多個其他畫面的第(N-1)到第(N-4)畫面的像素的運動矢量。然後，運動矢量檢測單元510到514將運動矢量分別提供到評估值計算單元520到524。
具體地說，從存儲器單元21向運動矢量檢測單元510提供從解碼器14(圖1)向存儲器單元21提供的最新的第(N+1)畫面以及在幀存儲器311(圖8)中存儲的第(N-1)畫面。
運動矢量檢測單元510使用作為在作為感興趣畫面的第N畫面之前的之前畫面的第(N-1)畫面以及作為在作為感興趣畫面的第N畫面之後的之後畫面的第(N+1)畫面，如參照圖7描述的那樣，檢測作為感興趣畫面的第N畫面的內插目標像素的運動矢量mv0。然後，運動矢量檢測單元510將運動矢量mv0提供到評估值計算單元520和運動信息計算單元53。
從存儲器單元21向運動矢量檢測單元511提供在幀存儲器310(圖8)中存儲的第N畫面以及在幀存儲器312中存儲的第(N-2)畫面。
運動矢量檢測單元511使用作為在作為感興趣畫面的第N畫面之前一個畫面的之前畫面的第(N-1)畫面以及作為在與感興趣畫面相鄰的四個連續第(N-1)到第(N-4)畫面之中的第(N-1)畫面之後的之後畫面的第N畫面，如參照圖7描述的那樣，檢測第(N-1)畫面的內插目標像素的運動矢量mv1。然後，運動矢量檢測單元511提供運動矢量mv1給評估值計算單元521。
從存儲器單元21向運動矢量檢測單元512提供在幀存儲器311(圖8)存儲的第(N-1)畫面和在幀存儲器313存儲的第(N-3)畫面。
運動矢量檢測單元512使用作為在作為感興趣畫面的第N畫面之前兩個畫面的第(N-2)畫面之前的之前畫面的第(N-3)畫面以及作為在與感興趣畫面相鄰的四個連續第(N-1)到第(N-4)畫面之中的第(N-2)畫面之後的之後畫面的第(N-1)畫面，如參照圖7描述的那樣，檢測第(N-2)畫面的內插目標像素的運動矢量mv2。然後，運動矢量檢測單元512提供運動矢量mv2給評估值計算單元522。
從存儲器單元21向運動矢量檢測單元513提供在幀存儲器312(圖8)存儲的第(N-2)畫面和在幀存儲器314存儲的第(N-4)畫面。
運動矢量檢測單元513使用作為在作為感興趣畫面的第N畫面之前三個畫面的第(N-3)畫面之前的之前畫面的第(N-4)畫面以及作為在與感興趣畫面相鄰的四個連續第(N-1)到第(N-4)畫面之中的第(N-3)畫面之後的之後畫面的第(N-2)畫面，如參照圖7描述的那樣，檢測第(N-3)畫面的內插目標像素的運動矢量mv3。然後，運動矢量檢測單元513提供運動矢量mv3給評估值計算單元523。
從存儲器單元21向運動矢量檢測單元514提供在幀存儲器313(圖8)存儲的第(N-3)畫面和在幀存儲器315存儲的第(N-5)畫面。
運動矢量檢測單元514使用作為在作為感興趣畫面的第N畫面之前四個畫面的第(N-4)畫面之前的之前畫面的第(N-5)畫面以及作為在與感興趣畫面相鄰的四個連續第(N-1)到第(N-4)畫面之中的第(N-4)畫面之後的之後畫面的第(N-3)畫面，如參照圖7描述的那樣，檢測第(N-4)畫面的內插目標像素的運動矢量mv4。然後，運動矢量檢測單元514提供運動矢量mv4給評估值計算單元524。
評估值計算單元52k(k＝0，1，...，4)使用從運動矢量檢測單元51k提供的運動矢量mvk來獲得用於評估感興趣畫面的感興趣像素的運動信息的評估值。然後，評估值計算單元52k將評估值提供到可靠性確定單元54。
運動信息計算單元53使用感興趣像素的運動矢量以及感興趣像素附近的像素的運動矢量來獲得感興趣像素的運動信息，在五個運動矢量檢測單元510到514之中，從用於作為感興趣畫面的第N畫面的運動矢量檢測單元510提供運動矢量。然後運動信息計算單元53將感興趣像素的運動信息提供到逐行圖像產生單元23(圖2)。
可靠性確定單元54使用從評估值計算單元520到524提供的評估值，來確定感興趣像素的運動信息，運動信息通過運動信息計算單元53獲得。可靠性確定單元54將指示可靠性的可靠性信息提供到逐行圖像產生單元23(圖2)。
下面將參照圖10進一步描述圖9中的運動矢量檢測單元51k的處理。
運動矢量檢測單元51k將在感興趣畫面之前k個畫面的第(N-k)畫面設置為要檢測其運動矢量的畫面(在下文中將所述畫面稱為檢測目標畫面)。運動矢量檢測單元51k使用作為之前畫面的第(N-k-1)畫面以及作為之後畫面的第(N-k+1)畫面，如參照圖7描述的那樣，對檢測目標畫面的內插目標像素的運動矢量mvk進行檢測。
也就是說，如參照圖7描述的那樣，運動矢量檢測單元51k分別獲得關於多個候選矢量的運動誤差，並將給出最小運動誤差的候選矢量檢測為運動矢量。
圖10示出多個候選矢量的示例。
運動矢量檢測單元51k使用圖10所示的49個矢量v(-3，-3)到v(3，3)來檢測運動矢量，例如作為候選矢量。
將作為檢測目標畫面的第(N-k)畫面的內插目標像素之中，要由運動矢量檢測單元51k檢測其運動矢量的像素稱為檢測目標像素。將x軸取在畫面的左到右的方向上，將y軸取在畫面的上到下的方向上。
在這種情況下，在圖10中，候選矢量v(x，y)是經過檢測目標像素並具有在作為檢測目標畫面之後的之後畫面的第(N-k+1)畫面中從檢測目標像素移動(x，y)的位置作為終點並具有在作為檢測目標畫面之前的之前畫面的第(N-k-1)畫面中從檢測目標像素移動(-x，-y)的位置作為起點的矢量。
運動矢量檢測單元51k順序地將圖10中的49個候選矢量v(x，y)設置為用於作為檢測目標畫面的第(N-k)畫面的檢測目標像素的感興趣的候選矢量。
此外，運動矢量檢測單元51k設置3×3像素或3像素行和3像素列的對應塊，在作為檢測目標畫面之前的之前畫面的第(N-k-1)畫面中，所述塊使位於感興趣的候選矢量的起點的位置處的像素作為對應塊的中心，並且設置3×3像素或3像素行和3像素列的對應塊，在作為檢測目標畫面之後的之後畫面的第(N-k+1)畫面中，所述塊使位於感興趣的候選矢量的終點的位置處的像素作為對應塊的中心。運動矢量檢測單元51k獲得第(N-k-1)畫面中的對應塊中以及第(N-k+1)畫面中的對應塊中相同位置處像素的像素值之間的差的總和作為用於感興趣的候選矢量的運動誤差。
然後，運動矢量檢測單元51k在圖10所示的49個矢量v(-3，-3)到v(3，3)之中，檢測給出最小運動誤差的候選矢量v(x，y)作為檢測目標像素的運動矢量mvk。
順便提及，候選矢量不限於圖10所示的49個矢量。
另外，對應塊的規模不限於3×3像素或3像素行和3像素列的塊。
下面將參照圖11，進一步描述圖9中的評估值計算單元52k的處理。
圖11示出當第N畫面是感興趣畫面時，其運動矢量由圖9中的運動矢量檢測單元510到514檢測的隔行圖像的第N到第(N-4)畫面。
評估值計算單元520使用作為感興趣畫面的第N畫面的內插目標像素的運動矢量mv0，來獲得用於評估感興趣畫面的感興趣像素的運動信息的第零評估值，運動矢量mv0從運動矢量檢測單元510提供。
具體地說，評估值計算單元520獲得例如感興趣畫面的感興趣像素p0，0的運動矢量mv0，0以及例如作為感興趣像素附近的多個像素的運動矢量的靠近感興趣像素p0，0左邊的像素p0，-1的運動矢量mv0，-1、距離感興趣像素p0，0兩個像素的感興趣像素的左邊的像素p0，-2的運動矢量mv0，-2、靠近感興趣像素p0，0右邊的像素p0，1的運動矢量mv0，1以及距離感興趣像素p0，0兩個像素的感興趣像素p0，0右邊的像素p0，2的運動矢量mv0，2(即總共五個內插目標像素的運動矢量mv0，0、mv0，-1、mv0，-2、mv0，1、mv0，2)的平均值ave0和方差dis0作為第零評估值。
在這種情況下，根據公式(1)計算平均值ave0。
ave0＝(mv0，0+mv0，-1+mv0，-2+mv0，1+mv0，2)/M...(1) 可以說，例如根據公式(2)，以簡單的方式計算方差dis0。
dis0＝(|mv0，0-ave0|+|mv0，-1-ave0|+|mv0，-2-ave0|+|mv0，1-ave0|+|mv0，2-ave0|)/M ...(2) 順便提及，公式(1)和公式(2)中的M是用於歸一化的歸一化係數，並且是計算中使用的運動矢量的數目。因此，在公式(1)和公式(2)中歸一化係數M是5。
評估值計算單元521使用在感興趣畫面之前一個畫面的第(N-1)畫面的內插目標像素的運動矢量mv1來獲得用於評估感興趣畫面的像素的運動信息的第一評估值，運動矢量mv1從運動矢量檢測單元511提供。
具體地說，評估值計算單元521獲得例如在感興趣畫面之前一個畫面的第(N-1)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量的平均值ave1和方差dis1作為第一評估值。
在這種情況下，運動矢量檢測單元51k僅對於畫面的內插目標像素檢測運動矢量mvk。另外，其運動矢量mvk由運動矢量檢測單元51k檢測的畫面是隔行圖像。因此，在感興趣畫面中檢測到其運動矢量的像素(內插目標像素)的位置與距離感興趣畫面偶數個畫面的畫面中像素的位置相一致，而在感興趣畫面中檢測到其運動矢量的像素的位置從距離感興趣畫面奇數個畫面的畫面中像素的位置移動一行。
因此，在感興趣畫面之前一個畫面的第(N-1)畫面中包括感興趣像素的位置的行中不對於像素檢測運動矢量。在感興趣畫面之前一個畫面的第(N-1)畫面中，對於比感興趣像素的位置高一行的行以及比感興趣像素的位置低一行的行中的像素檢測運動矢量。
因此，評估值計算單元521獲得例如作為在感興趣畫面之前一個畫面的第(N-1)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量的其水平方向的位置與比感興趣像素p0，0的位置低一行的行中感興趣像素的水平方向位置相一致的像素pd1，0的運動矢量mvd1，0、靠近像素pd1，0左邊的像素pd1，-1的運動矢量mvd1，-1、距離像素pd1，0兩個像素的像素pd1，0左邊的像素pd1，-2的運動矢量mvd1，-2、靠近像素pd1，0右邊的像素pd1，1的運動矢量mvd1，1、距離像素pd1，0兩個像素的像素pd1，0右邊的像素pd1，2的運動矢量mvd1，2、其水平方向的位置與比感興趣像素p0，0的位置高一行的行中感興趣像素的水平方向的位置相一致的像素pu1，0的運動矢量mvu1，0、靠近像素pu1，0左邊的像素pu1，-1的運動矢量mvu1，-1、距離像素pu1，0兩個像素的像素pu1，0左邊的像素pu1，-2的運動矢量mvu1，-2、靠近像素pu1，0右邊的像素pu1，1的運動矢量mvu1，1以及距離像素pu1，0兩個像素的像素pu1，2的運動矢量mvu1，2(即總共10個內插目標像素的運動矢量mvd1，0、mvd1，-1、mvd1，-2、mvd1，1、mvd1，2、mvu1，0、mvu1，-1、mvu1，-2、mvu1，1和mvu1，2)的例如平均值ave1和方差dis1作為第一評估值。
在這種情況下，根據與公式(1)類似的公式(3)計算平均值ave1。
ave1＝(mvd1，0+mvd1，-1+mvd1，-2+mvd1，1+mvd1，2+mvu1，0+mvu1，-1+mvu1，-2+mvu1，1+mvu1，2)/M ...(3) 根據與公式(2)類似的公式(4)計算方差dis1。
dis1＝(|mvd1，0-ave1|+|mvd1，-1-ave1|+|mvd1，-2-ave1|+|mvd1，1-ave1|+|mvd1，2-ave1|+|mvu1，0-ave1|+|mvu1，-1-ave1|+|mvu1，-2-ave1|+|mvu1，1-ave1|+|mvu1，2-ave1|)/M ...(4) 順便提及，公式(3)和公式(4)中係數歸一化M是10。
評估值計算單元522使用在感興趣畫面之前兩個畫面的第(N-2)畫面的內插目標像素的運動矢量mv2來獲得用於評估感興趣畫面的感興趣像素的運動信息的第二評估值，運動矢量mv2從運動矢量檢測單元512提供。
具體地說，評估值計算單元522獲得在感興趣畫面之前兩個畫面的第(N-2)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量的平均值ave2和方差dis2作為第二評估值。
在這種情況下，在感興趣畫面之前兩個畫面的第(N-2)畫面中檢測到其運動矢量的像素(內插目標像素)的位置與感興趣畫面中像素的位置相一致。
因此，如評估值計算單元520那樣，評估值計算單元522使用作為在感興趣畫面之前兩個畫面的第(N-2)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量的、以感興趣像素作為五個像素的中心的、以水平方向排列的五個像素的運動矢量，來執行類似於公式(1)和公式(2)的計算。評估值計算單元522由此獲得五個像素的運動矢量的平均值ave2和方差dis2作為第二評估值。
評估值計算單元523使用在感興趣畫面之前三個畫面的第(N-3)畫面的內插目標像素的運動矢量mv3來獲得用於評估感興趣畫面的感興趣像素的運動信息的第三評估值，運動矢量mv3從運動矢量檢測單元513提供。
具體地說，評估值計算單元523獲得在感興趣畫面之前三個畫面的第(N-3)畫面中感興趣的像素的位置附近的位置處的多個像素的運動矢量的平均值ave3和方差dis3作為第三評估值。
在這種情況下，如第(N-1)畫面中那樣，在感興趣畫面之前三個畫面的第(N-3)畫面中檢測到其運動矢量的像素(內插目標像素)的位置與感興趣畫面中的像素的位置不一致。
因此，如評估值計算單元521一樣，評估值計算單元523使用總共10個像素的運動矢量，即在比感興趣像素的位置低一行的行中以水平方向排列的五個像素(將水平方向中其位置與感興趣像素的水平方向的位置相一致的像素的位置作為五個像素的中心)的運動矢量，以及在比感興趣像素的位置高一行的行中以水平方向排列的五個像素(將水平方向中其位置與感興趣像素的水平方向的位置相一致的像素的位置作為第(N-3)畫面中五個像素的中心)的運動矢量，作為在感興趣畫面之前三個畫面的第(N-3)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量來執行類似於公式(3)和公式(4)的計算。評估值計算單元523由此獲得10個像素的運動矢量的平均值ave3和方差dis3作為第三評估值。
評估值計算單元524使用在感興趣畫面之前四個畫面的第(N-4)畫面的內插目標像素的運動矢量mv4獲得用於評估感興趣畫面的感興趣像素的運動信息的第四評估值，運動矢量mv4從運動矢量檢測單元514獲得。
具體地說，評估值計算單元524獲得在感興趣畫面之前四個畫面的第(N-4)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量的平均值ave4和方差dis4作為第四評估值。
在這種情況下，在感興趣畫面之前四個畫面的第(N-4)畫面中檢測到其運動矢量的像素(內插目標像素)的像素的位置與感興趣畫面的像素的位置相一致。
因此，如評估值計算單元520那樣，評估值計算單元524使用作為在感興趣畫面之前四個畫面的第(N-4)畫面中感興趣像素的位置附近的位置處的多個像素的運動矢量的、第(N-4)畫面中以感興趣像素作為五個像素的中心的、以水平方向排列的五個像素的運動矢量來執行類似於公式(1)和公式(2)的計算。評估值計算單元524由此獲得五個像素的運動矢量的平均值ave4和方差dis4作為第四評估值。
在下文中，將用以獲得感興趣像素的評估值(第零到第四評估值)的運動矢量合適地稱為用於評估值計算的運動矢量。
順便提及，可以採用空間上和時間上接近於感興趣像素的位置的運動矢量作為用於評估值計算的運動矢量，並且用於評估值計算的運動矢量不限於參照圖11所述的運動矢量。
另外，當在上述情況下時，評估值計算單元52k獲得用於評估值計算的運動矢量的平均值和方差二者，只可以獲得用於評估值計算的運動矢量的平均值和方差之一作為評估值。
此外，當在上述情況下時，評估值計算單元520使用作為用於評估值計算的運動矢量的、包括感興趣畫面的感興趣像素在內的多個像素的運動矢量，還可以在感興趣畫面中，設置例如感興趣像素的一個運動矢量作為用於評估值計算的運動矢量。
類似地，也在感興趣畫面之前一到四個畫面的畫面中，只有處於感興趣像素的位置處或接近於感興趣像素的位置的位置處的一個像素的運動矢量可以設置為用於評估值計算的運動矢量。
例如，當僅設置畫面的一個運動矢量作為用於評估值計算的運動矢量時，用於評估值計算的運動矢量變為實際上的評估值。
下面將參照圖12的流程圖，描述由圖9中運動估計單元22執行的運動估計處理。
在運動估計處理的步驟S31中，運動矢量檢測單元510到514將在存儲器單元21(圖8)的幀存儲器310中存儲的畫面作為感興趣畫面，進一步設置包括感興趣畫面和感興趣畫面之前一到四個畫面的四個畫面的五個畫面，並使用包括從存儲器單元21提供的感興趣畫面在內的七個畫面來檢測五個檢測目標畫面的內插目標像素的運動矢量。
具體地說，例如，當在幀存儲器310中存儲的感興趣畫面是第N畫面時，包括感興趣畫面在內的第(N+1)到第(N-5)畫面從存儲器單元21提供到運動估計單元22。
在運動估計單元22中，運動矢量檢測單元51k使用作為第(N-k)畫面之前的之前畫面的第(N-k-1)畫面以及作為第(N-k)畫面之後的之後畫面的第(N-k+1)畫面，如參照圖7所述的那樣，檢測第(N-k)畫面的內插目標像素的運動矢量mvk，第(N-k-1)和第(N-k+1)畫面從存儲器單元21提供。然後，運動矢量檢測單元51k將運動矢量mvk提供到評估值計算單元52k。
順便提及，在運動矢量檢測單元510到514中，用於檢測作為感興趣畫面的第N畫面的運動矢量mv0的運動矢量檢測單元510將感興趣畫面的運動矢量mv0不僅提供到評估值計算單元520，而且提供到運動信息計算單元53。
在步驟S31之後，處理進行到步驟S32，其中運動信息計算單元53在感興趣畫面的內插目標像素之中選擇還沒有被設置為感興趣像素的像素之一作為感興趣像素，然後使用來自運動矢量檢測單元510的感興趣畫面(感興趣畫面的內插目標像素)的運動矢量mv0來獲得感興趣像素的運動信息。
具體地說，運動信息計算單元53使用來自運動矢量檢測單元510的感興趣畫面的運動矢量mv0之中、感興趣像素的運動矢量以及感興趣像素附近的像素的運動矢量，或具體地說，例如使用已經參照圖11描述的、用作用於感興趣畫面中感興趣像素的評估值計算的運動矢量的公式(1)中五個運動矢量mv0，0、mv0，-1、mv0，-2、mv0，1以及mv0，2，來獲得公式(1)的平均值ave0作為感興趣像素的運動信息。
順便提及，不僅可以採用平均值ave0而且可以採用例如通過使用平均值ave0和已經參照圖11描述的、用作用於感興趣畫面之前的之前畫面(第(N-1)畫面)中感興趣像素的評估值計算的、公式(3)中的10個運動矢量mvd1，0、mvd1，-1、mvd1，-2、mvd1，1、mvd1，2、mvu1，0、mvu1，-1、mvu1，-2、mvu1，1和mvu1，2的平均值ave1而獲得的平均值(ave0+ave1)/2作為感興趣像素的運動信息。
在步驟S32之後，處理進行到步驟S33，其中評估值計算單元520到524使用五個檢測目標畫面的運動矢量獲得第零到第四評估值。
具體地說，評估值計算單元52k在作為感興趣畫面之前k個畫面的畫面的檢測目標畫面的運動矢量mvk之中獲得參照圖11所述的用於評估值計算的運動矢量的平均值avek和方差disk作為第k評估值。
然後評估值計算單元52k將平均值avek和方差disk作為第k評估值提供到可靠性確定單元54。處理從步驟S33進行到步驟S34。
在步驟S34，可靠性確定單元54使用作為從評估值計算單元520到524提供的第零到第四評估值的平均值ave0到ave4以及方差dis0到dis4，進行可靠性確定以確定通過運動信息計算單元53獲得的感興趣像素的運動信息的可靠性，並獲得指示可靠性的可靠性信息。
在這種情況下，例如，可靠性確定單元54根據下面的控制語句(5)進行可靠性確定。
If{(ABS(ave0-ave1)＜＝A)&&(ABS(ave1-ave2)＜＝A)&&(ABS(ave2-ave3)＜＝A)&&(ABS(ave3-ave4)＜＝A)&&(ABS(dis0-dis1)＜＝B)&&(ABS(dis1-dis2)＜＝B)&&(ABS(dis2-dis3)＜＝B)&&(ABS(dis3-dis4)＜＝B)} {Me_valid＝1} Else {Me_valid＝0} ...(5) 順便提及，控制語句(5)中的ABS表示括號內值的絕對值。A和B是常數。常數A是平均值的閾值。常數B是方差的閾值。此外，&&表示邏輯積(product)，而Me_valid表示可靠性信息。
為1的可靠性信息Me_valid指示運動信息可靠，即由運動信息指示的運動很有可能表示感興趣像素的運動。另一方面，為0的可靠性信息Me_valid指示運動信息不可靠，即由運動信息指示的運動很有可能表示感興趣像素的錯誤的運動。
控制語句「If{X}{Y}Else{Z}」表示當X為真時執行Y，而當X為假時執行Z。
因此，根據基於控制語句(5)的可靠性確定，當確定對於兩個彼此相鄰的畫面獲得的評估值之間的差是否等於或小於預定閾值(或小於所述預定閾值)的評估值確定的確定結果為真時，確定感興趣像素的運動信息是可靠的，這樣的確定是對於包括感興趣畫面在內的五個連續畫面的彼此相鄰的兩個畫面的所有組(set)進行的。
具體地說，根據基於控制語句(5)的可靠性確定，進行評估值確定以確定作為對於感興趣畫面獲得的第零評估值的平均值ave0與作為對於感興趣畫面之前一個畫面的畫面獲得的第一評估值的平均值ave1之間的差(差的絕對值)ABS(ave0-ave1)是否等於或小於閾值A(在下文中將該閾值確定合適地稱為用於平均值的第一評估值確定)。
類似地，根據基於控制語句(5)的可靠性確定，進行評估值確定以確定作為對於感興趣畫面之前一個畫面的畫面獲得的第一評估值的平均值ave1與作為感興趣畫面之前兩個畫面的畫面獲得的第二評估值的平均值ave2之間的差ABS(ave1-ave2)是否等於或小於閾值A(在下文中將該閾值確定合適地稱為用於平均值的第二評估值確定)，進行評估值確定以確定作為對於感興趣畫面之前兩個畫面的畫面獲得的第二評估值的平均值ave2與作為感興趣畫面之前三個畫面的畫面獲得的第三評估值的平均值ave3之間的差ABS(ave2-ave3)是否等於或小於閾值A(在下文中將該閾值確定合適地稱為用於平均值的第三評估值確定)，並且進行評估值確定以確定作為對於感興趣畫面之前三個畫面的畫面獲得的第三評估值的平均值ave3與作為感興趣畫面之前四個畫面的畫面獲得的第四評估值的平均值ave4之間的差ABS(ave3-ave4)是否等於或小於閾值A(在下文中將該閾值確定合適地稱為用於平均值的第四評估值確定)。
另外，根據基於控制語句(5)的可靠性確定，進行評估值確定以確定作為對於感興趣畫面獲得的第零評估值的方差dis0與作為對於感興趣畫面之前一個畫面的畫面獲得的第一評估值的方差dis1之間的差ABS(dis0-dis1)是否等於或小於閾值B(在下文中將該評估值確定合適地稱為用於方差的第一評估值確定)。
類似地，根據基於控制語句(5)的可靠性確定，進行評估值確定以確定作為對於感興趣畫面之前一個畫面的畫面獲得的第一評估值的方差dis1與作為對於感興趣畫面之前兩個畫面的畫面獲得的第二評估值的方差dis2之間的差ABS(dis1-dis2)是否等於或小於閾值B(在下文中將該評估值確定合適地稱為用於方差的第二評估值確定)，進行評估值確定以確定作為對於感興趣畫面之前兩個畫面的畫面獲得的第二評估值的方差dis2與作為對於感興趣畫面之前三個畫面的畫面獲得的第三評估值的方差dis3之間的差ABS(dis2-dis3)是否等於或小於閾值B(在下文中將該評估值確定合適地稱為用於方差的第三評估值確定)，並且進行評估值確定以確定作為對於感興趣畫面之前三個畫面的畫面獲得的第三評估值的方差dis3與作為對於感興趣畫面之前四個畫面的畫面獲得的第四評估值的方差dis4之間的差ABS(dis3-dis4)是否等於或小於閾值B(在下文中將該評估值確定合適地稱為用於方差的第四評估值確定)。
然後，根據可靠性確定，當用於平均值的第一到第四評估值確定以及用於方差的第一到第四評估值確定的確定結果全部為真時，確定感興趣像素的運動信息是可靠的。
順便提及，使用平均值ave0到ave4或方差dis0到dis4作為評估值而不是平均值ave0到ave4和方差dis0到dis4二者作為評估值，可以進行可靠性確定。
當僅使用平均值ave0到ave4進行可靠性確定時，當用於平均值的第一到第四評估值確定的確定結果全部為真時，確定感興趣像素的運動信息是可靠的。在這種情況下，評估值計算單元520到524僅獲得平均值ave0到ave4作為評估值就足夠了。
當僅使用方差dis0到dis4進行可靠性確定時，當用於方差的第一到第四評估值確定的確定結果全部為真時，確定感興趣像素的運動信息是可靠的。在這種情況下，評估值計算單元520到524僅獲得方差dis0到dis4作為評估值就足夠了。
在步驟S34，可靠性確定單元54進行可靠性確定以確定感興趣像素的運動信息的可靠性並且獲得可靠性信息之後，處理進行到步驟S35，其中運動信息計算單元53(或可靠性確定單元54)確定是否對於感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息。
當在步驟S35確定還沒有對於感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息，即，確定感興趣畫面的內插目標像素包括還沒有獲得運動信息和可靠性信息的像素時，處理返回到步驟S32，其中將感興趣畫面的內插目標像素之中還沒有獲得運動信息和可靠性信息的像素之一設置為新的感興趣像素，並且對於新的感興趣像素執行從步驟S32向下的相同處理。
當在步驟S35確定已經對於感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息時，處理進行到步驟S36，其中運動信息計算單元53向逐行圖像產生單元23順序地輸出感興趣畫面的內插目標像素的運動信息，並且可靠性確定單元54向逐行圖像產生單元23輸出用於由運動信息計算單元53輸出的運動信息的可靠性信息。由此結束運動估計處理。
圖13是示出圖2中的逐行圖像產生單元23的配置的示例的框圖。
圖13中的逐行圖像產生單元23包括半幀間內插單元61、半幀內內插單元62、選擇單元63和組合單元64。
從存儲器單元21(圖2)向半幀間內插單元61提供感興趣畫面之前的之前畫面以及感興趣畫面之後的之後畫面。因此，當感興趣畫面是第N畫面時，從存儲器單元21向半幀間內插單元61提供作為感興趣畫面之前的之前畫面的第(N-1)畫面以及作為感興趣畫面之後的之後畫面的第(N+1)畫面。
此外，從運動估計單元22(圖2)向半幀間內插單元61提供感興趣像素的運動信息。
半幀間內插單元61使用來自存儲器單元21的之前畫面和之後畫面中像素的像素值以及來自運動估計單元22的感興趣像素的運動信息，執行被稱為半幀間內插或運動補償內插的內插。半幀間內插單元61由此獲得半幀間內插值(第二內插值)作為當作內插目標像素的感興趣像素(感興趣像素的像素值)的內插值的一個候選。然後，半幀間內插單元61將半幀間內插值提供到選擇單元63。
具體地說，例如，半幀間內插單元61獲得在之前畫面的像素之中位於作為感興趣像素的運動信息的矢量的起點處的像素的像素值與之後畫面的像素之中位於作為感興趣像素的運動信息的矢量的終點處的像素的像素值的平均值作為半幀間內插值。然後半幀間內插單元61將半幀間內插值提供到選擇單元63。
半幀內內插單元62被提供有來自存儲器單元21(圖2)的感興趣畫面。
半幀內內插單元62使用來自存儲器單元21的感興趣畫面的像素的像素值來執行半幀內內插。半幀內內插單元62由此獲得半幀內內插值(第一內插值)作為當作內插目標像素的感興趣像素的內插值的另一個候選。然後半幀內內插單元62將半幀內內插值提供到選擇單元63。
具體地說，例如，半幀內內插單元62獲得位於感興趣像素以上的位置處、與感興趣像素相鄰的像素的像素值以及位於感興趣像素以下的位置處、與感興趣的像素相鄰的像素的像素值的平均值作為半幀內內插值。然後半幀內內插單元62將半幀內內插值提供到選擇單元63。
如上所述，選擇單元63被提供有來自半幀間內插單元61的半幀間內插值以及來自半幀內內插單元62的半幀內內插值。另外，選擇單元63還被提供有來自運動估計單元22(圖2)的、用於感興趣像素的運動信息的可靠性信息Me_valid。
選擇單元63根據來自運動估計單元22的可靠性信息Me_valid，選擇來自半幀間內插單元61的半幀間內插值和來自半幀內內插單元62的半幀內內插值之一作為內插值。
具體地說，當來自運動估計單元22的可靠性信息Me_valid指示感興趣像素的運動信息不可靠時，即當可靠性信息Me_valid為0時，選擇單元63從來自半幀間內插單元61的半幀間內插值和來自半幀內內插單元62的半幀內內插值中選擇來自半幀內內插單元62的半幀內內插值。選擇單元63向組合單元62輸出半幀內內插值作為用於感興趣像素(感興趣像素的像素值)的內插值。
當來自運動估計單元22的可靠性信息Me_valid指示感興趣像素的運動信息可靠時，即當可靠性信息Me_valid為1時，選擇單元63從來自半幀間內插單元61的半幀間內插值和來自半幀內內插單元62的半幀內內插值中選擇來自半幀間內插單元61的半幀間內插值。選擇單元63向組合單元62輸出半幀間內插值作為用於感興趣像素(感興趣像素的像素值)的內插值。
組合單元64被提供有來自選擇單元63的用於感興趣畫面的感興趣像素的內插值，即用於感興趣畫面的內插目標像素的內插值以及來自存儲器單元21(圖2)的感興趣的畫面。
組合單元64將來自存儲器單元21的感興趣畫面的像素值與來自選擇單元63的感興趣像素的內插值進行組合，即將來自選擇單元的感興趣像素的內插值設置為來自存儲器單元21的感興趣畫面中感興趣像素的像素值。組合單元64由此產生逐行圖像的畫面，所述畫面由在感興趣畫面中具有像素值的像素以及確定其像素值(內插值)的內插目標像素組成。然後組合單元64將逐行圖像的畫面提供到顯示面板16(圖1)。
順便提及，除了根據可靠性信息Me_valid選擇來自半幀間內插單元61的半幀間內插值和來自半幀內內插單元62的半幀內內插值之一作為感興趣像素的內插值之外，選擇單元63還可以使用根據可靠性信息Me_valid的權重，執行半幀間內插值和半幀內內插值的加權和，並輸出加權和的結果作為感興趣像素的內插值。
具體地說，在上述情況下，根據基於控制語句(5)的可靠性確定，當用於平均值的第一到第四評估值確定的確定結果以及用於方差的第一到第四評估值確定的確定結果(即，總共八個評估值)全部為真時，可靠性確定單元54(圖9)輸出其值為1的可靠性信息，而即使當八個評估值的確定結果之一為假時，輸出其值為0的可靠性信息。除此之外，可靠性確定單元54可以在八個評估值確定的真確定結果的數目增大時，輸出其值接近1的可靠性信息(在八個評估值確定的假確定結果的數目增大時，輸出其值接近0的可靠性信息)。
在這種情況下，例如，選擇單元63可以根據公式Me_valid×P+(1-Me_valid)×Q執行半幀間內插值P和半幀內內插值Q的加權和，並輸出加權和的結果作為用於感興趣像素的內插值。
下面，將參照圖14的流程圖，描述在圖13中的逐行圖像產生單元23中執行的逐行圖像產生處理。
在逐行圖像產生單元23中，從存儲器單元21(圖2)向半幀間內插單元61提供感興趣畫面之前的之前畫面以及感興趣畫面之後的之後畫面。另外，從存儲器單元21向半幀內內插單元62和組合單元64提供感興趣畫面。
在步驟S51，半幀間內插單元61在感興趣畫面的內插目標像素之中選擇還沒有被設置為感興趣像素的像素之一作為感興趣像素。此外，在步驟S51，半幀間內插單元61等待感興趣像素的運動信息從運動估計單元22(圖2)提供到半幀間內插單元61，並且等待用於感興趣像素的運動信息的可靠性信息從運動估計單元22提供到選擇單元63。然後半幀間內插單元61通過使用來自存儲器單元21的之前畫面和之後畫面中像素的像素值以及來自運動估計單元22的感興趣像素的運動信息執行半幀間內插，來獲得感興趣像素的半幀間內插值。
然後，半幀間內插單元61將用與感興趣像素的半幀間內插值提供到選擇單元63。處理從步驟S51進行到步驟S52。
半幀內內插單元在步驟S52通過使用來自存儲器單元21的感興趣畫面的像素的像素值執行半幀內內插，來獲得用於感興趣像素的半幀內內插值。然後半幀內內插單元62將用於感興趣像素的半幀內內插值提供到選擇單元63。處理從步驟S52進行到步驟S53。
選擇單元63在步驟S53使用來自半幀間內插單元61的半幀間內插值以及來自半幀內內插單元62的半幀內內插值，基於來自運動估計單元22的可靠性信息Me_valid，獲得用於感興趣像素的內插值。然後，選擇單元63將用於感興趣像素的內插值提供到組合單元64。處理進行到步驟S54。
具體地說，例如，選擇單元63根據可靠性信息Me_valid選擇半幀間內插值和半幀內內插值之一。選擇單元63將所選擇的內插值作為用於感興趣像素的內插值提供到組合單元64。
半幀間內插單元61在步驟S54確定是否對於感興趣畫面的所有內插目標像素獲得內插值。
當在步驟S54確定還沒有對於感興趣畫面的所有內插目標像素獲得內插值時，處理返回到步驟S51，其中在感興趣畫面的內插目標像素之中將還沒有被設置為感興趣像素的像素之一設置為新的感興趣像素，並且執行從步驟S51到下的相同處理。
當在步驟S54確定對於感興趣畫面的所有內插目標像素獲得內插值時，處理進行到步驟S55，其中組合單元64通過將來自存儲器單元21的感興趣畫面中具有像素值的像素與來自選擇單元63的其像素值是內插值的像素進行組合，來產生逐行圖像的畫面。然後，組合單元64將逐行圖像的畫面提供到顯示面板16(圖1)。由此結束逐行圖像產生處理。
如上所述，運動估計單元22使用感興趣的像素的運動矢量和感興趣像素附近的像素的運動矢量來獲得感興趣像素的運動信息，並輸出感興趣像素的運動信息，並且使用感興趣畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用與感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估感興趣像素的運動信息的評估值，使用評估值確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。因此，可以更高精度且更低成本地獲得指示運動信息的可靠性的可靠性信息。
具體地說，當感興趣畫面是第N畫面時，圖9中運動估計單元22中的運動矢量檢測單元510到514檢測作為感興趣畫面的第N畫面以及與感興趣畫面相鄰的第(N-1)到第(N-4)畫面(即總共第N到第(N-4)五個畫面)的像素的運動矢量mv0到mv4。
此外，運動信息計算單元53使用感興趣像素的運動矢量以及感興趣像素附近的像素的運動矢量(即使用公式(1)中的運動矢量mv0，0、mv0，-1、mv0，-2、mv0，1和mv0，2)來獲得感興趣像素的運動信息，運動矢量由用於感興趣畫面的運動矢量檢測單元510檢測。
評估值計算單元520到524使用第N到第(N-4)畫面的運動矢量mv0到mv4，來獲得平均值ave0到ave4以及方差dis0到dis4作為用於評估感興趣像素的運動信息的評估值。
然後，可靠性確定單元54使用作為對於第N到第(N-4)畫面而獲得的評估值的平均值ave0到ave4以及方差dis0到dis4來確定感興趣像素的運動信息的可靠性，並獲得指示可靠性的可靠性信息。
因此，由於使用與感興趣畫面相鄰的第(N-1)到第(N-4)畫面以及作為感興趣畫面的第N畫面來獲得可靠性信息，所以即使當在檢測運動矢量的時候使用小型的宏塊(對應塊)時，也可以獲得精確地指示運動信息的可靠性的可靠性信息。也就是說，可以以低成本獲得精確的可靠性信息。
圖15示出在時間t、t+1和t+2由存儲器單元21(圖8)向運動估計單元22(圖9)提供的畫面。
假設存儲器單元21在時間t向運動估計單元22提供第(N+1)到第(N-5)畫面，其中第N畫面作為感興趣畫面。
在這種情況下，運動估計單元22(圖9)中的五個運動矢量檢測單元510到514使用來自存儲器單元21的第(N+1)到第(N-5)畫面來檢測第N到第(N-4)畫面的運動矢量mv0到mv4，然後將運動矢量mv0到mv4提供到評估值計算單元520到524。
假設在作為感興趣畫面的第N畫面的內插目標像素之中，作為從右方向中左上起第x個像素並且從向下方向中左上起第y個像素的像素p(x，y)是感興趣像素，那麼評估值計算單元52k使用在來自運動矢量檢測單元51k的運動矢量mvk之中用於感興趣像素p(x，y)的評估值計算的運動矢量，來獲得平均值avek和方差disk作為第k評估值。
當使用從感興趣畫面之前k個畫面的畫面中檢測到的運動矢量之中用於評估值計算的運動矢量而獲得的第k評估值被表示為Ek，t時，評估值計算單元520在時間t使用用於作為感興趣畫面的第N畫面的評估值計算的運動矢量來獲得第零評估值E0，t。
類似地，在時間t，評估值計算單元521使用用於感興趣畫面之前一個畫面的第(N-1)畫面的評估值計算的運動矢量來獲得第一評估值E1，t，並且評估值計算單元522使用用於感興趣畫面之前兩個畫面的第(N-2)畫面的評估值計算的運動矢量來獲得第二評估值E2，t。此外，在時間t，評估值計算單元523使用用於感興趣畫面之前三個畫面的第(N-3)畫面的評估值計算的運動矢量來獲得第三評估值E3，t，並且評估值計算單元524使用用於感興趣畫面之前四個畫面的第(N-4)畫面的評估值計算的運動矢量來獲得第四評估值E4，t。
此後，第(N+1)幀在時間t+1(其中已經從時間t過去了一個畫面的時間)變為感興趣畫面。評估值計算單元520使用用於作為感興趣畫面的第(N+1)畫面的評估值計算的運動矢量來獲得第零評估值E0，t+1。
類似地，在時間t+1，評估值計算單元521使用用於感興趣畫面之前一個畫面的第N畫面的評估值計算的運動矢量來獲得第一評估值E1，t+1，並且評估值計算單元522使用用於感興趣畫面之前兩個畫面的第(N-1)畫面的評估值計算的運動矢量來獲得第二評估值E2，t+1。此外，在時間t+1，評估值計算單元523使用用於感興趣畫面之前三個畫面的第(N-2)畫面的評估值計算的運動矢量來獲得第三評估值E3，t+1，並且評估值計算單元524使用用於感興趣畫面之前四個畫面的第(N-3)畫面的評估值計算的運動矢量來獲得第四評估值E4，t+1。
在這種情況下，第N畫面的內插目標像素的位置不與第(N+1)畫面的內插目標像素的位置相一致。因此，當使用設置為感興趣像素的第N畫面的像素p(x，y)獲得評估值時，不使用設置為感興趣像素的第(N+1)畫面的像素p(x，y)獲得評估值。
此後，第(N+2)幀在時間t+2(其中已經從時間t+1過去了一個畫面的時間)變為感興趣畫面。評估值計算單元520使用用於作為感興趣畫面的第(N+2)畫面的評估值計算的運動矢量來獲得第零評估值E0，t+2。
類似地，在時間t+2，評估值計算單元521使用用於感興趣畫面之前一個畫面的第(N+1)畫面的評估值計算的運動矢量來獲得第一評估值E1，t+2，並且評估值計算單元522使用用於感興趣畫面之前兩個畫面的第N畫面的評估值計算的運動矢量來獲得第二評估值E2，t+2。此外，在時間t+2，評估值計算單元523使用用於感興趣畫面之前三個畫面的第(N-1)畫面的評估值計算的運動矢量來獲得第三評估值E3，t+2，並且評估值計算單元524使用用於感興趣畫面之前四個畫面的第(N-2)畫面的評估值計算的運動矢量來獲得第四評估值E4，t+2。
在這種情況下，第N畫面的內插目標像素的位置不與第(N+2)畫面的內插目標像素的位置相一致。因此，當使用設置為感興趣像素的第N畫面的像素p(x，y)獲得評估值時，不使用設置為感興趣像素的第(N+2)畫面的像素p(x，y)獲得評估值。
在時間t從具有設置為感興趣像素的、作為感興趣畫面的第N畫面的像素p(x，y)的第N畫面獲得的評估值E0，t與在時間t+2從具有設置為感興趣像素的、作為感興趣畫面的第(N+2)畫面的像素p(x，y)的感興趣畫面之前兩個畫面的第N畫面獲得的評估值E2，t+2相一致。
類似地，在時間t從具有設置為感興趣像素的、作為感興趣畫面的第N畫面的像素p(x，y)的感興趣畫面之前一個畫面的第(N-1)畫面獲得的評估值E1，t與在時間t+2從具有設置為感興趣像素的、作為感興趣畫面的第(N+2)畫面的像素p(x，y)的感興趣畫面之前三個畫面的第(N-1)畫面獲得的評估值E3，t+2相一致。此外，在時間t從具有設置為感興趣像素的、作為感興趣畫面的第N畫面的像素p(x，y)的感興趣畫面之前兩個畫面的第(N-2)畫面獲得的評估值E2，t與在時間t+2從具有設置為感興趣像素的、作為感興趣畫面的第(N+2)畫面的像素p(x，y)的感興趣畫面之前四個畫面的第(N-2)畫面獲得的評估值E4，t+2相一致。
作為基於控制語句(5)的可靠性確定，進行用於平均值的第一到第四評估值確定和用於方差的第一到第四評估值確定，即總共八個評估值確定。當八個評估值確定的確定結果全部為真時，可靠性信息是1，其是指示運動信息具有很高可靠性的值。即使當八個評估值確定的確定結果的一個為假時，可靠性信息也是0，其是指示運動信息具有很低可靠性的值。
使用評估值E0，t和E1，t進行用於平均值和方差的第一評估值確定(在下文中將該確定合適地簡稱為第一評估值確定)，使用在時間t作為感興趣像素的像素p(x，y)進行所述確定。
使用評估值E1，t和E2，t進行用於平均值和方差的第二評估值確定(在下文中將該確定合適地簡稱為第二評估值確定)，使用在時間t作為感興趣像素的像素p(x，y)進行所述確定。
使用評估值E2，t和E3，t進行用於平均值和方差的第三評估值確定(在下文中將該確定合適地簡稱為第三評估值確定)，使用在時間t作為感興趣像素的像素p(x，y)進行所述確定。
使用評估值E3，t和E4，t進行用於平均值和方差的第四評估值確定(在下文中將該確定合適地簡稱為第四評估值確定)，使用在時間t作為感興趣像素的像素p(x，y)進行所述確定。
使用在時間t+2作為感興趣像素的像素p(x，y)進行的第一評估值確定通過使用評估值E0，t+2和E1，t+2進行。
使用在時間t+2作為感興趣像素的像素p(x，y)進行的第二評估值確定通過使用評估值E1，t+2和E2，t+2進行。
使用在時間t+2作為感興趣像素的像素p(x，y)進行的第三評估值確定通過使用評估值E2，t+2和E3，t+2進行。
使用在時間t+2作為感興趣像素的像素p(x，y)進行的第四評估值確定通過使用評估值E3，t+2和E4，t+2進行。
如上所述，時間t的評估值E0，t與時間t+2的評估值E2，t+2相一致。時間t的評估值E1，t與時間t+2的評估值E3，t+2相一致。時間t的評估值E2，t與時間t+2的評估值E4，t+2相一致。
因此，在時間t使用評估值E0，t和E1，t進行的第一評估值的確定結果與在時間t+2使用評估值E2，t+2和E3，t+2進行的第三評估值的確定結果相一致。
另外，在時間t使用評估值E1，t和E2，t進行的第二評估值的確定結果與在時間t+2使用評估值E3，t+2和E4，t+2進行的第四評估值的確定結果相一致。
因此，使用第零到第二評估值E0，t+2、E1，t+2和E2，t+2(其用於第一和第二評估值確定中)，以及作為過去可靠性確定的進行中結果的確定進行中結果，即在時間t+2之前兩個畫面的時間t的第一和第二評估值確定的確定結果，可以進行時間t+2的可靠性確定。
根據代替控制語句(5)的控制語句(6)，可以使用過去可靠性確定的確定進行中結果來進行可靠性確定。
If{(ABS(ave0-ave1)＜＝A)&&(ABS(ave1-ave2)＜＝A)&&(ABS(dis0-dis1)＜＝B)&& (ABS(dis1-dis2)＜＝B)&&(valid_d＝＝1)} {Me_valid＝1} Else {Me_valid＝0}...(6) 順便提及，公式(6)中的valid_d表示在兩個畫面時間之前的時間上的可靠性確定的確定進行中結果。當在兩個畫面時間之前的時間上的可靠性確定中用於平均值的第一評估值確定的確定結果(ABS(ave0-ave1)＜＝A)、用於平均值的第二評估值確定的確定結果(ABS(ave1-ave2)＜＝A)、用於方差的第一評估值確定的確定結果(ABS(dis0-dis1)＜＝B)以及用於方差的第二評估值確定的確定結果(ABS(dis1-dis2)＜＝B)全部為真時，確定進行中結果valid_d為1(真)，其是指示確定結果全部為真的值。
即使當在兩個畫面時間之前的時間上的可靠性確定中用於平均值的第一評估值確定的確定結果(ABS(ave0-ave1)＜＝A)、用於平均值的第二評估值確定的確定結果(ABS(ave1-ave2)＜＝A)、用於方差的第一評估值確定的確定結果(ABS(dis0-dis1)＜＝B)以及用於方差的第二評估值確定的確定結果(ABS(dis1-dis2)＜＝B)中一個為假時，確定進行中結果valid_d也為0(假)，其是指示確定結果的至少一個為假的值。
通過使用過去可靠性確定的確定進行中結果valid_d，在不使用作為第三評估值的平均值ave3和方差dis3和作為第四評估值的平均值ave4和dis4的情況下，可以進行根據控制語句(6)的可靠性確定。
因此，無需獲得第三和第四評估值，或者反過來，感興趣畫面之前三個畫面的畫面以及感興趣畫面之前四個畫面的畫面的運動矢量。
圖16是示出如上所述使用過去可靠性確定的確定進行中結果來進行可靠性確定的、圖2中的運動估計單元22(運動估計單元22的配置的第二示例)的配置的示例的框圖。
順便提及，在圖16中，與圖9對應的部分由相同的附圖標記表示，並且在下面將合適地省略其描述。
圖16中的運動估計單元22具有和圖9中的運動估計單元22一樣的運動信息計算單元53。
另一方面，圖16中的運動估計單元22與圖9中的運動估計單元22的不同在於圖16中的運動估計單元22具有三個運動矢量檢測單元510到512代替五個運動矢量檢檢測單元510到514，三個評估值計算單元520到522代替五個評估值計算單元520到524，以及可靠性確定單元57代替可靠性確定單元54。
此外，圖16中的運動估計單元22與圖9中的運動估計單元22的不同在於圖16中的運動估計單元22被新提供有確定進行中結果存儲單元56。
確定進行中結果存儲單元56存儲作為可靠性確定的進行中結果的確定進行中結果，所述結果從可靠性確定單元57提供。
可靠性確定單元57使用通過三個評估值計算單元520到522獲得的評估值以及在確定進行中結果存儲單元56中存儲的過去可靠性確定的確定進行中結果來確定感興趣像素的運動信息的可靠性。然後可靠性確定單元57將用於感興趣像素的運動信息的可靠性信息提供到逐行圖像產生單元23(圖2)，所述可靠性信息通過可靠性確定獲得。
具體地說，圖16中的運動估計單元22僅具有三個運動矢量檢測單元510到512代替圖9中的五個運動矢量檢測單元510到514。另外，圖16中的運動估計單元23僅具有三個評估值計算單元520到522代替圖9中的五個評估值計算單元520到524。
因此，當感興趣畫面是第N畫面時，圖16中的運動估計單元22中的運動矢量檢測單元510到512使用第(N+1)到第(N-3)畫面獲得第N到第(N-2)畫面的運動矢量。
然後，三個評估值計算單元520到522使用第N到第(N-2)畫面分別獲得第零到第二評估值。評估值計算單元520到522將第零到第二評估值提供到可靠性確定單元57。
可靠性確定單元57使用如上所述從三個評估值計算單元520到522提供的第零到第二評估值和作為在兩個畫面時間之前的時間上進行的可靠性確定的確定進行中結果的第一和第二評估值確定的確定結果，來根據控制語句(6)確定感興趣像素的運動信息的可靠性，所述確定進行中結果存儲在確定進行中結果存儲單元56中。
另外，可靠性確定單元57將可靠性確定的確定進行中結果，即使用第零到第二評估值進行的第一和第二評估值確定的確定結果提供到確定進行中結果存儲單元56，以便在確定進行中結果存儲單元56中存儲可靠性確定的確定進行中結果。在確定進行中結果存儲單元56中存儲的確定進行中結果用在兩個畫面時間之前的時間的可靠性確定中。
下面將參照圖17的流程圖，描述由圖16中的運動估計單元22執行的運動估計處理。
在運動估計處理的步驟S61，運動矢量檢測單元510到512將在存儲器單元21的幀存儲器310(圖8)中存儲的畫面設置為感興趣畫面，還將包括感興趣畫面以及感興趣畫面之前一個畫面和兩個畫面的兩個之前畫面的三個畫面設置為檢測目標畫面，並使用從存儲器單元21提供的包括感興趣畫面的五個畫面來檢測三個檢測目標畫面的內插目標像素的運動矢量。
具體地說，例如，當在幀存儲器310中存儲的感興趣畫面是第N畫面時，將包括感興趣畫面的第(N+1)到第(N-3)五個畫面從存儲器單元21提供到運動估計單元22。
在運動估計單元22中，運動矢量檢測單元51k使用作為第(N-k)畫面之前的之前畫面的第(N-k-1)畫面以及作為第(N-k)畫面之後的之後畫面的第(N-k+1)畫面，如參照圖7描述的那樣，檢測第(N-k)畫面的內插目標像素的運動矢量mvk(k＝0，1，2)，第(N-k-1)畫面和第(N-k+1)畫面從存儲器單元21提供。然後運動矢量檢測單元51k將運動矢量mvk提供到評估值計算單元52k。
順便提及，關於運動矢量檢測單元510到512，用於檢測作為感興趣畫面的第N畫面的運動矢量mv0的運動矢量檢測單元510將感興趣畫面的運動矢量mv0提供到運動信息計算單元53以及評估值計算單元520。
在步驟S61之後，處理進行到步驟S62，其中運動信息計算單元53在感興趣畫面的內插目標像素之中選擇還沒有被設置為感興趣像素的像素之一作為感興趣像素，然後使用來自運動矢量檢測單元510的感興趣畫面的運動矢量mv0來獲得感興趣像素(感興趣畫面的內插目標像素)的運動信息。
具體地說，例如，如圖12中的步驟S32那樣，運動信息計算單元53使用公式(1)中的五個運動矢量mv0，0、mv0，-1、mv0，-2、mv0，1和mv0，2(已經參照圖11對其進行了描述，並且用作用於感興趣畫面中感興趣像素的評估值計算的運動矢量)來獲得公式(1)的平均值ave0作為感興趣像素的運動信息。
在步驟S62之後，處理進行到步驟S63，其中評估值計算單元520到522使用三個檢測目標畫面的運動矢量，來獲得三個第零到第二評估值。
具體地說，評估值計算單元52k在作為感興趣畫面之前k個畫面的畫面的檢測目標畫面的運動矢量mvk之中，獲得用於參照圖11所述的評估值計算的運動矢量的平均值avek和方差disk作為第k評估值mvk(k＝0，1，2)。
然後，評估值計算單元52k將作為第k評估值的平均值avek和方差disk提供到可靠性確定單元57。處理從步驟S63進行到步驟S64。
在步驟S64，可靠性確定單元57在兩個畫面時間之前的時間、從確定進行中結果存儲單元56讀取可靠性確定的確定進行中結果valid_d。處理進行到步驟S65。
在步驟S65，可靠性確定單元57根據使用從評估值計算單元520到522提供的、作為第零到第二評估值的平均值ave0到ave2和方差dis0到dis2以及在之前步驟S64從確定進行中結果存儲單元56讀取的確定進行中結果valid_d的控制語句(6)，進行可靠性確定以確定感興趣像素的運動信息的可靠性，所述運動信息由運動信息計算單元53獲得。可靠性確定單元57獲得指示可靠性的可靠性信息。
在步驟S65獲得可靠性信息之後，處理進行到步驟S66，其中可靠性確定單元57向確定進行中結果存儲單元56提供在緊接著的之前步驟S65中進行的可靠性確定的處理中獲得的確定進行中結果，即指示第一評估值確定(ABS(ave0-ave1)＜＝A)、用於平均值的第二評估值確定的確定結果(ABS(ave1-ave2)＜＝A)、用於方差的第一評估值確定的確定結果(ABS(dis0-dis1)＜＝B)以及用於方差的第二評估值確定的確定結果(ABS(dis1-dis2)＜＝B)是否全部為真的確定進行中結果，可靠性確定單元57由此使確定進行中結果存儲在確定進行中結果存儲單元56中。處理進行到步驟S67。
在步驟S67，運動信息計算單元53(或可靠性確定單元57)確定是否對於感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息。
當在步驟S67中確定還沒有對感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息時，即確定感興趣畫面的內插目標像素包括還沒有獲得運動信息和可靠性信息的像素時，處理返回到步驟S62，其中在感興趣畫面的內插目標像素之中，將還沒有獲得運動信息和可靠性信息的像素之一設置為新的感興趣像素，並對於新的感興趣像素執行從步驟S62向下的相同處理。
當在步驟S67中確定已經對於感興趣畫面的所有內插目標像素獲得了運動信息和可靠性信息時，處理進行到步驟S68，其中運動信息計算單元53順序地將感興趣畫面的內插目標像素的運動信息輸出到逐行圖像產生單元23，並且可靠性確定單元57將用於由運動信息計算單元53輸出的運動信息的可靠性信息順序地輸出到逐行圖像產生單元23。由此運動估計處理結束。
如上所述，如圖9的情況中那樣，圖16中的運動估計單元22有效地使用感興趣畫面和與感興趣畫面相鄰的第(N-1)到第(N-4)畫面，來獲得可靠性信息。因此，在檢測運動矢量的時候，使用小型宏塊(對應塊)可以獲得精確地指示運動信息的可靠性的可靠性信息。
此外，由於圖16中的運動估計單元22存儲可靠性確定的確定進行中結果，並且使用過去可靠性確定的確定進行中結果進行可靠性確定，所以可以小型化IP轉換單元15(圖2)(並且反過來小型化圖1的TV)。
也就是說，由於圖16中的運動估計單元22使用過去可靠性確定的確定進行中結果來進行可靠性確定，所以無需獲得第三和第四評估值，或者，反過來感興趣畫面之前三個畫面的畫面和感興趣畫面之前四個畫面的畫面的運動矢量。
換句話說，對於圖16中的運動估計單元22來說，獲得第零到第二評估值，或者反過來感興趣畫面的運動矢量、感興趣畫面之前一個畫面的畫面的運動矢量和感興趣畫面之前兩個畫面的畫面的運動矢量就足夠了。
因此，當感興趣的畫面是第N畫面時，從存儲器單元21向運動估計單元22提供包括感興趣畫面的第(N+1)到第(N-3)五個畫面就足夠了。圖8中的存儲器單元21由此可以由存儲第N到第(N-3)畫面的四個幀存儲器310到313組成。
結果，使用圖16中的運動估計單元22，與圖9中的運動估計單元22(要求存儲器單元21由六個幀存儲器310到315組成)相比，可以小型化IP轉換單元15(圖5)。
圖18是示出圖2中的運動估計單元22的配置的第三示例的框圖。
順便提及，在圖18中，與圖9的那些對應的部分由相同的附圖標記表示，並且在下面合適地省略其描述。
圖18中的運動估計單元22具有與圖9中的運動估計單元22相同的評估值計算單元520到524、運動信息計算單元53和可靠性確定單元54。
另一方面，圖18中的運動估計單元22與圖9中的運動估計單元不同在於圖18中的運動估計單元22具有一個運動矢量檢測單元510和四個運動矢量存儲單元581到584，代替五個運動矢量檢測單元510到514。
運動矢量存儲單元581到584存儲作為過去的感興趣畫面的畫面的運動矢量，所述運動矢量由運動矢量檢測單元510檢測。
具體地說，從運動矢量檢測單元510向運動矢量存儲單元581提供感興趣畫面的運動矢量。運動矢量存儲單元581存儲從運動矢量檢測單元510提供的感興趣畫面的運動矢量，直到從運動矢量檢測單元510提供下一感興趣畫面為止。運動矢量存儲單元581將運動矢量提供到評估值計算單元521和運動矢量存儲單元582。
因此，當從運動矢量檢測單元510向運動矢量存儲單元581提供感興趣畫面的運動矢量mv0時，運動矢量存儲單元581存儲感興趣畫面之前一個畫面的畫面的運動矢量mv1。運動矢量存儲單元581將運動矢量mv1提供到評估值計算單元521和運動矢量存儲單元582。
運動矢量存儲單元582存儲感興趣畫面之前一個畫面的畫面的運動矢量，所述運動矢量從運動矢量存儲單元581提供，直到從運動矢量存儲單元581提供之後畫面的運動矢量為止。運動矢量存儲單元582將運動矢量提供到評估值計算單元522和運動矢量存儲單元583。
因此，當感興趣畫面之前一個畫面的畫面的運動矢量mv1從運動矢量存儲單元581提供到運動矢量存儲單元582時，運動矢量存儲單元582存儲以上畫面之前一個畫面的畫面的運動矢量mv2。運動矢量存儲單元582將運動矢量mv2提供到評估值計算單元522和運動矢量存儲單元583。
運動矢量存儲單元583存儲感興趣畫面之前兩個畫面的畫面的運動矢量，所述運動矢量從運動矢量存儲單元582提供，直到從運動矢量存儲單元582提供下一畫面的運動矢量為止。運動矢量存儲單元583將運動矢量提供到評估值計算單元523和運動矢量存儲單元584。
因此，當感興趣畫面之前兩個畫面的畫面的運動矢量mv2從運動矢量存儲單元582提供到運動矢量存儲單元583時，運動矢量存儲單元583存儲以上畫面之前一個畫面的畫面的運動矢量mv3。運動矢量存儲單元583將運動矢量mv3提供到評估值計算單元523和運動矢量存儲單元584。
運動矢量存儲單元584存儲感興趣畫面之前三個畫面的畫面的運動矢量，所述運動矢量從運動矢量存儲單元583提供，直到從運動矢量存儲單元583提供之後畫面的運動矢量為止。運動矢量存儲單元584將運動矢量提供到評估值計算單元524。
因此，當感興趣畫面之前三個畫面的畫面的運動矢量從運動矢量存儲單元583提供到運動矢量存儲單元584時，運動矢量存儲單元584存儲以上畫面之前一個畫面的畫面的運動矢量mv4。運動矢量存儲單元584將運動矢量mv4提供到評估值計算單元524。
因此，在圖18中的運動估計單元22中，當運動矢量檢測單元510檢測到感興趣畫面的運動矢量mv0，然後將運動矢量mv0提供到評估值計算單元520時，運動矢量存儲單元58k(k＝1，2，3，4)存儲感興趣畫面之前k個畫面的畫面的運動矢量mvk，並將運動矢量mvk提供到評估值計算單元52k。
圖18中的運動估計單元22僅具有一個運動矢量檢測單元510。因此，當感興趣畫面是第N畫面時，圖18中的運動估計單元22中的所述一個運動矢量檢測單元510使用第(N+1)畫面和第(N-1)畫面獲得第N畫面的運動矢量。
因此，當感興趣畫面是第N畫面時，從存儲器單元21向運動估計單元22提供獲得第N畫面的運動矢量所需的第(N+1)和第(N-1)兩個畫面就足夠了。
下面將參照圖19的流程圖，描述由圖18中的運動估計單元22執行的運動估計處理。
在運動估計處理的步驟S71，運動矢量檢測單元510將在存儲器單元21的幀存儲器310(圖8)中存儲的畫面設置為感興趣畫面，此外將感興趣畫面設置為檢測目標畫面，並使用從存儲器單元21提供的兩個畫面(即感興趣畫面之前的畫面和感興趣畫面之後的畫面)來檢測檢測目標畫面的內插目標像素的運動矢量。
具體地說，例如，當在幀存儲器310中存儲的感興趣畫面是第N畫面時，作為感興趣畫面之後的畫面的第(N+1)畫面和作為感興趣畫面之前的畫面的第(N-1)畫面從存儲器單元21提供到運動估計單元22。
在運動估計單元22中，運動矢量檢測單元510使用作為感興趣畫面之後的之後畫面的第(N+1)畫面和作為感興趣畫面之前的之前畫面的第(N-1)畫面(第(N+1)畫面和第(N-1)畫面從存儲器單元210提供)，如參照圖7所述的那樣，檢測作為感興趣畫面的第N畫面的內插目標像素的運動矢量mv0。然後，運動矢量檢測單元510將運動矢量mv0提供到評估值計算單元520和運動信息計算單元53。處理進行到步驟S72。
在步驟S72，運動信息計算單元53在感興趣畫面的內插目標像素之中選擇還沒有被設置為感興趣像素的像素之一作為感興趣像素，然後使用來自運動矢量檢測單元510的感興趣畫面(感興趣畫面的內插目標像素)的運動矢量mv0來獲得感興趣畫面的運動信息。
具體地說，例如，如在圖12中的步驟S32那樣，運動信息計算單元53使用公式(1)中的五個運動矢量mv0，0、mv0，-1、mv0，-2、mv0，1和mv0，2(所述運動矢量已經參照圖11進行了描述並且用作用於感興趣畫面中感興趣像素的評估值計算的運動矢量)，獲得公式(1)的平均值ave0作為感興趣像素的運動信息。
在步驟S72之後，處理進行到步驟S73，其中評估值計算單元520獲得在感興趣畫面的運動矢量mv0之中用於參照圖11所述的評估值計算的運動矢量的平均值ave0和方差dis0作為第零評估值。然後評估值計算單元520將作為第零評估值的平均值ave0和方差dis0提供到可靠性確定單元54。
此外，在步驟S73，評估值計算單元52k(k＝1，2，3，4)獲得在感興趣畫面之前k個畫面的畫面的運動矢量mvk之中用於參照圖11所述的評估值計算的運動矢量的平均值avek和方差disk作為第k評估值，所述運動矢量mvk存儲在運動矢量存儲單元58k中。然後評估值計算單元52k將作為第k評估值的平均值avek和方差disk提供到可靠性確定單元54。處理從步驟S73進行到步驟S74。
在步驟S74，可靠性確定單元54根據使用從評估值計算單元520到524提供的、作為第零到第四評估值的平均值ave0到ave4以及方差dis0到dis4的控制語句(5)進行可靠性確定，以確定感興趣像素的運動信息的可靠性，所述運動信息由運動信息計算單元53獲得。可靠性確定單元54獲得指示可靠性的可靠性信息。處理進行到步驟S75。
在步驟S75，運動矢量存儲單元581到584分別存儲感興趣畫面和感興趣畫面之前一個畫面到三個畫面的畫面(即總共四個畫面)的運動矢量，作為感興趣畫面之後的畫面之前一個到四個畫面的畫面的運動矢量。
具體地說，運動矢量存儲單元581存儲感興趣畫面的運動矢量，所述運動矢量由運動矢量檢測單元510檢測並提供。當感興趣畫面之後一個畫面的畫面成為新的感興趣畫面時，在運動矢量存儲單元581中存儲的運動矢量被用作新的感興趣畫面之前一個畫面的畫面的運動矢量mv1。
運動矢量存儲單元582存儲感興趣畫面之前一個畫面的畫面的運動矢量，所述運動矢量已經被存儲在運動矢量存儲單元581中。當感興趣畫面之後一個畫面的畫面成為新的感興趣畫面時，在運動矢量存儲單元582中存儲的運動矢量被用作新的感興趣畫面之前兩個畫面的畫面的運動矢量mv2。
運動矢量存儲單元583存儲感興趣畫面之前兩個畫面的畫面的運動矢量，所述運動矢量已經被存儲在運動矢量存儲單元582中。當感興趣畫面之後一個畫面的畫面成為新的感興趣畫面時，在運動矢量存儲單元583中存儲的運動矢量被用作新的感興趣畫面之前三個畫面的畫面的運動矢量mv3。
運動矢量存儲單元584存儲感興趣畫面之前三個畫面的畫面的運動矢量，所述運動矢量已經被存儲在運動矢量存儲單元583中。當感興趣畫面之後一個畫面的畫面成為新的感興趣畫面時，在運動矢量存儲單元584中存儲的運動矢量被用作新的感興趣畫面之前四個畫面的畫面的運動矢量mv4。
在步驟S75之後，處理進行到步驟S76，其中運動信息計算單元53(或可靠性確定單元54)確定是否對於感興趣畫面的所有內插目標像素獲得了運動信息和可靠性信息。
當在步驟S76確定還沒有對於感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息時，即確定感興趣畫面的內插目標像素包括還沒有獲得運動信息和可靠性信息的像素時，處理返回到步驟S72，其中在感興趣畫面的內插目標像素之中，將還沒有獲得運動信息和可靠性信息的像素之一設置為新的感興趣像素，並且對於新的感興趣像素執行從步驟S72向下的相同處理。
當在步驟S76確定已經對於感興趣畫面的所有內插目標像素獲得了運動信息和可靠性信息時，處理進行到步驟S77，其中運動信息計算單元53將感興趣畫面的內插目標像素的運動信息順序地輸出到逐行圖像產生單元23，並且可靠性確定單元54將用於由運動信息計算單元53輸出的運動信息的可靠性信息順序地輸出到逐行圖像產生單元23。由此結束運動估計處理。
如上所述，如圖9的情況那樣，圖18中的運動估計單元22使用感興趣畫面以及與感興趣畫面相鄰的第(N-1)到第(N-4)畫面來獲得可靠性信息。因此，在檢測運動矢量的時候，使用小型宏塊(對應塊)，可以獲得精確地指示運動信息的可靠性的可靠性信息。
此外，由於圖18中的運動估計單元22中的運動矢量存儲單元581到584存儲作為過去感興趣畫面(即現在作為感興趣畫面的畫面之前一個到四個畫面的畫面)的畫面的運動矢量，所述運動矢量由運動矢量檢測單元510檢測，所以可以小型化IP轉換單元15(圖2)(反過來小型化圖1的TV)。
也就是說，圖18中的運動估計單元22存儲現在作為感興趣畫面的畫面之前一個到四個畫面的畫面的運動矢量，所述運動矢量已經在之前畫面為感興趣畫面時由運動矢量檢測單元510檢測。因此，無需再次檢測運動矢量，並且檢測現在作為感興趣畫面的畫面的運動矢量就足夠了。
因此，當感興趣畫面是第N畫面時，從存儲器單元21向運動估計單元22提供檢測第N畫面的運動矢量所需的第(N+1)到第(N-1)兩個畫面就足夠了。因此圖8中的存儲器單元21可以由存儲第N畫面和第(N-1)畫面的幀存儲器310和311組成。
結果，使用圖18中的運動估計單元22，與圖9中的運動估計單元22(其要求存儲器單元21由六個幀存儲器310到315組成)或圖16中的運動估計單元22(其要求存儲器單元21由四個幀存儲器310到313組成)相比，可以小型化IP轉換單元15(圖5)。
圖20是示出圖2中的運動估計單元22的配置的第四示例的框圖。
順便提及，在圖20中，與圖9、圖16或圖18的那些對應的部分由相同的附圖標記表示，並且在下面合適地省略其描述。
圖20中的運動估計單元22具有與圖16中的運動估計單元22相同的三個評估值計算單元520到522、運動信息計算單元53、確定進行中結果存儲單元56和可靠性確定單元57。
另一方面，圖20中的運動估計單元22與圖16中的運動估計單元22的不同在於圖20中的運動估計單元22具有一個運動矢量檢測單元510和圖18中的兩個運動矢量存儲單元581和582，代替三個運動矢量檢測單元510到512。
如參照圖18所述的那樣，運動矢量存儲單元581到582存儲作為過去感興趣畫面的畫面的運動矢量，所述運動矢量由運動矢量檢測單元510檢測。
具體地說，從運動矢量檢測單元510向運動矢量存儲單元581提供感興趣畫面的運動矢量。運動矢量存儲單元581存儲從運動矢量檢測單元510提供的感興趣畫面的運動矢量，直到從運動矢量檢測單元510提供下一感興趣畫面的運動矢量為止。運動矢量存儲單元581將運動矢量提供到評估值計算單元521和運動矢量存儲單元582。
因此，當感興趣畫面的運動矢量mv0從運動矢量檢測單元510提供到運動矢量存儲單元581時，運動矢量存儲單元581存儲感興趣畫面之前一個畫面的畫面的運動矢量mv1。運動矢量存儲單元581將運動矢量mv1提供到評估值計算單元521和運動矢量存儲單元582。
運動矢量存儲單元582存儲從運動矢量存儲單元581提供的、感興趣畫面之前一個畫面的畫面的運動矢量，直到從運動矢量存儲單元581提供之後畫面的運動矢量為止。運動矢量存儲單元582將運動矢量提供到評估值計算單元522。
因此，當感興趣畫面之前一個畫面的畫面的運動矢量mv1從運動矢量存儲單元581提供到運動矢量存儲單元582時，運動矢量存儲單元582存儲以上畫面之前一個畫面的畫面的運動矢量mv2。運動矢量存儲單元582將運動矢量mv2提供到評估值計算單元522。
因此，在圖20中的運動估計單元22中，當運動矢量檢測單元510檢測到感興趣畫面的運動矢量mv0，然後將運動矢量mv0提供到評估值計算單元520時，運動矢量存儲單元58k(k＝1，2)存儲感興趣畫面之前k個畫面的畫面的運動矢量mvk，並將運動矢量mvk提供到評估值計算單元52k。
圖20中的運動估計單元22僅具有一個運動矢量檢測單元510。因此，當感興趣畫面是第N畫面時，圖20中的運動估計單元22中的所述一個運動矢量檢測單元510使用第(N+1)畫面和第(N-1)畫面來獲得第N畫面的運動矢量。
因此，如圖18的情況那樣，當感興趣畫面是第N畫面時，從存儲器單元21向運動估計單元22提供獲得第N畫面的運動矢量所需的第(N+1)和第(N-1)兩個畫面就足夠了。
下面參照圖21的流程圖描述由圖20中的運動估計單元22執行的運動估計處理。
在運動估計處理的步驟S81中，運動矢量檢測單元510將在存儲器單元21的幀存儲器310(圖8)中存儲的畫面設置為感興趣畫面，此外將感興趣畫面設置為檢測目標畫面，並使用從存儲器單元21提供的兩個畫面(即感興趣畫面之前的畫面和感興趣畫面之後的畫面)來檢測檢測目標畫面的內插目標像素的運動矢量。
具體地說，例如，當在幀存儲器310中存儲的感興趣畫面是第N畫面時，作為感興趣畫面之後的畫面的第(N+1)畫面和作為感興趣畫面之前的畫面的第(N-1)畫面從存儲器單元21提供到運動估計單元22。
在運動估計單元22中，運動矢量檢測單元510使用作為感興趣畫面之後的之後畫面的第(N+1)畫面和作為感興趣畫面之前的之前畫面的第(N-1)畫面，如參照圖7所述的那樣，檢測作為感興趣畫面的第N畫面的內插目標像素的運動矢量mv0，所述第(N+1)畫面和第(N-1)畫面從存儲器單元21提供。然後，運動矢量檢測單元510將運動矢量mv0提供到評估值計算單元520和運動信息計算單元53。處理進行到步驟S82。
在步驟S82，運動信息計算單元53在感興趣畫面的內插目標像素之中選擇還沒有被設置為感興趣像素的像素之一作為感興趣像素，然後使用來自運動矢量檢測單元510的感興趣畫面(感興趣畫面的內插目標像素)的運動矢量mv0來獲得感興趣像素的運動信息。
具體地說，例如，如圖12中步驟S32中那樣，運動信息計算單元53使用公式(1)中的五個運動矢量mv0，0、mv0，-1、mv0，-2、mv0，1和mv0，2(所述運動矢量已經參照圖11進行了描述並且用作用於感興趣畫面中感興趣像素的評估值計算的運動矢量)，獲得公式(1)的平均值ave0作為感興趣像素的運動信息。
在步驟S82之後，處理進行到步驟S83，其中評估值計算單元520獲得在感興趣畫面的運動矢量mv0之中用於參照圖11所述的評估值計算的運動矢量的平均值ave0和方差dis0作為第零評估值。然後評估值計算單元520將作為第零評估值的平均值ave0和方差dis0提供到可靠性確定單元57。
此外，在步驟S83，評估值計算單元521獲得在感興趣畫面之前一個畫面的畫面的運動矢量mv1之中用於參照圖11所述的評估值計算的運動矢量的平均值ave1和方差dis1作為第一評估值，所述運動矢量mv1被存儲在運動矢量存儲單元581中。然後評估值計算單元521將作為第一評估值的平均值ave1和方差dis1提供到可靠性確定單元57。
另外，在步驟S83，評估值計算單元522獲得在感興趣畫面之前兩個畫面的畫面的運動矢量mv2之中用於參照圖11所述的評估值計算的運動矢量的平均值ave2和方差dis2作為第二評估值，所述運動矢量mv2被存儲在運動矢量存儲單元582中。然後評估值計算單元522將作為第二評估值的平均值ave2和方差dis2提供到可靠性確定單元57。處理從步驟S83進行到步驟S84。
在步驟S84，可靠性確定單元57在兩個畫面時間之前的時間，從確定進行中結果存儲單元56讀取可靠性確定的確定進行中結果valid_d。處理進行到步驟S85。
在步驟S85，可靠性確定單元57根據使用從評估值計算單元520到522提供的、作為第零到第二評估值的平均值ave0到ave2和方差dis0到dis2以及在之前步驟S84從確定進行中結果存儲單元56讀取的確定進行中結果valid_d的控制語句(6)進行可靠性確定，以確定感興趣像素的運動信息的可靠性，所述運動信息由運動信息計算單元53獲得。可靠性確定單元57獲得指示可靠性的可靠性信息。
在步驟S85獲得可靠性信息之後，處理進行到步驟S86，其中可靠性確定單元57向確定進行中結果存儲單元56提供在之前步驟S85中進行的可靠性確定的處理中獲得的確定進行中結果，即指示在控制語句(6)中，對於平均值的第一評估值確定(ABS(ave0-ave1)＜＝A)、對於平均值的第二評估值確定(ABS(ave1-ave2)＜＝A)、對於方差的第一評估值確定(ABS(dis0-dis1)＜＝B)和對於方差的第二評估值確定(ABS(dis1-dis2)＜＝B)的確定結果是否全部為真的確定進行中結果，可靠性確定單元57由此產生在確定進行中結果存儲單元56中存儲的確定進行中結果。處理進行到步驟S87。
在步驟S87，運動矢量存儲單元581和582存儲感興趣畫面和感興趣畫面之前一個畫面的畫面(即總共兩個畫面)的運動矢量分別作為感興趣畫面之後的畫面之前一個畫面和兩個畫面的畫面的運動矢量。
具體地說，運動矢量存儲單元581存儲感興趣畫面的運動矢量，所述運動矢量由運動矢量檢測單元510檢測和提供。當感興趣畫面之後一個畫面的畫面成為新的感興趣畫面時，將運動矢量存儲單元581中存儲的運動矢量用作新的感興趣畫面之前一個畫面的畫面的運動矢量mv1。
運動矢量存儲單元582存儲感興趣畫面之前一個畫面的畫面的運動矢量，所述運動矢量已經被存儲在運動矢量存儲單元581中。當目前感興趣畫面之後一個畫面的畫面成為新的感興趣畫面時，將運動矢量存儲單元582中存儲的運動矢量用作新的感興趣畫面之前兩個畫面的畫面的運動矢量mv2。
在步驟S87之後，處理進行到步驟S88，其中運動信息計算單元53(或可靠性確定單元57)確定是否對於感興趣畫面的所有內插目標像素獲得了運動信息和可靠性信息。
當在步驟S88中確定還沒有對感興趣畫面的所有內插目標像素獲得運動信息和可靠性信息，即確定感興趣畫面的內插目標像素包括還沒有獲得運動信息和可靠性信息的像素時，處理返回到步驟S82，其中將感興趣畫面的內插目標像素之中還沒有獲得運動信息和可靠性信息的像素之一設置為新的感興趣像素，並且對於新的感興趣像素執行從步驟S82向下的相同處理。
當在步驟S88中確定已經對於感興趣畫面的所有內插目標像素獲得了運動信息和可靠性信息時，處理進行到步驟S89，其中運動信息計算單元53將感興趣畫面的內插目標像素的運動信息順序地輸出到逐行圖像產生單元23，並且可靠性確定單元57將用於由運動信息計算單元53輸出的運動信息的可靠性信息順序地輸出到逐行圖像產生單元23。由此結束運動估計處理。
如上所述，如圖9的情況那樣，圖20中的運動估計單元22使用有效的感興趣畫面和與感興趣畫面相鄰的第(N-1)到第(N-4)畫面來獲得可靠性信息。因此在檢測運動矢量的時候，使用小型化的宏塊(對應塊)可以獲得精確地指示運動信息的可靠性的可靠性信息。
此外，在圖20中的運動估計單元22中，運動矢量存儲單元581和582存儲作為過去感興趣畫面的畫面(即現在作為感興趣畫面的畫面之前一個和兩個畫面的畫面)的運動矢量，所述運動矢量由運動矢量檢測單元510檢測，並且確定進行中結果存儲單元56存儲可靠性確定的確定進行中結果，以便使用過去可靠性確定的確定進行中結果來進行可靠性確定。因此，可以進一步小型化IP轉換單元15(圖2)(反過來小型化圖1的TV)。
也就是說，由於圖20中的運動估計單元22使用過去可靠性確定的確定進行中結果進行可靠性確定，所以無需檢測或存儲第三和第四評估值，或反過來不需要感興趣畫面之前三個畫面的畫面以及感興趣畫面之前四個畫面的畫面的運動矢量。
換句話說，圖20中的運動矢量檢測單元22使用第零到第二評估值，或者反過來感興趣畫面、感興趣畫面之前一個畫面的畫面和感興趣畫面之前兩個畫面的畫面的運動矢量(即總共三個畫面)，如圖9的情況中那樣，進行可靠性確定。
此外，圖20中的運動估計單元22存儲現在作為感興趣畫面的畫面之前一個和兩個畫面之前的畫面的運動矢量，所述運動矢量在之前畫面為感興趣畫面時已經被檢測。因此，無需再次檢測運動矢量，檢測現在作為感興趣畫面的畫面的運動矢量就足夠了。
因此，當感興趣畫面是第N畫面時，從存儲器單元21向運動估計單元22提供檢測第N畫面的運動矢量所需的第(N+1)和第(N-1)兩個畫面就足夠了。因此圖8中的存儲器單元21可以由存儲第N畫面和第(N-1)畫面的兩個幀存儲器310和311組成。
此外，圖20中的運動估計單元22存儲過去可靠性確定的確定進行中結果，代替獲得第三和第四評估值，或者反過來獲得(存儲)感興趣畫面之前三個畫面的畫面和感興趣畫面之前四個畫面的畫面的運動矢量。因此，提供存儲確定進行中結果的一個確定進行中結果存儲單元56消除了用於提供圖18中的兩個運動矢量存儲單元583和584以及兩個評估值計算單元523和524的需求。
結果，使用圖20中的運動估計單元22，與圖18中的運動估計單元22相比，可以小型化IP轉換單元15(圖2)。
可以由硬體也可以由軟體執行上述在IP轉換單元15(圖2)中的運動估計單元22和逐行圖像產生單元23的一系列處理。當要由軟體執行一系列處理時，將組成軟體的程序安裝在一般用途的個人計算機等上。
圖22示出在其上安裝用於執行上述一系列處理的程序的計算機的實施例的配置的示例。
可以將程序預先記錄在作為計算機中或ROM 103中包括的記錄介質的硬碟105上。
替代地，可以將程序臨時或永久地存儲(記錄)在諸如軟盤、CD-ROM(光碟只讀存儲器)、MO(磁光)盤、DVD(數字多功能盤)、磁碟、半導體存儲器之類的可拆卸記錄介質111上。這樣的可拆卸記錄介質111可以作為所謂的封裝軟體(packaged software)提供。
順便提及，除了要從如上所述的可拆卸記錄介質111安裝到計算機上之外，還可以通過經由用於數字衛星廣播的人造衛星的無線電將程序從下載地點傳送到計算機，或者可以通過經由諸如LAN(區域網)、網際網路之類的網絡的有線將程序傳送到計算機，計算機通過通信單元108可以接收到由此傳送的程序，並將程序安裝在內置硬碟105上。
計算機包括CPU(中央處理單元)102。CPU 102經由總線101與輸入-輸出接口110連接。當用戶通過例如操作由鍵盤、滑鼠、麥克風等組成的輸入單元107來經由輸入-輸出接口110輸入命令時，CPU 102根據所述命令執行存儲在ROM(只讀存儲器)103中的程序。替代地，CPU 102將硬碟105上存儲的程序、從衛星或網絡傳送的、由通信單元108接收然後安裝在硬碟105上的程序、或者從載入到驅動器109中的可拆卸記錄介質111讀取然後安裝在硬碟105上的程序載入到RAM(隨機存取存儲器)104中。然後CPU 102執行所述程序。CPU 102由此執行根據上述流程圖的處理或執行由上述框圖的配置執行的處理。然後，根據要求，例如，CPU 102經由輸入-輸出接口110輸出來自輸出單元106(輸出單元106由LCD(液晶顯示器)、揚聲器等組成)的處理的結果，或者將該結果記錄在硬碟105上。
在本說明書中，描述用於使計算機執行各種處理的程序的處理步驟不需要以流程圖中所述的順序以時間序列執行，並且包括並行或單獨執行的處理(如並行處理或基於對象的處理)。
可以由一臺計算機執行程序，或者可以由多臺計算機經歷分布式處理。
雖然已經進行了將本發明的實施例應用於將隔行圖像轉換為逐行圖像的IP轉換的情況的描述，但是本發明的實施例也可以應用於從圖像獲得運動信息的圖像處理設備。
另外，雖然在本實施例中以像素單元獲得運動信息，但是可以將圖像劃分為由多個像素組成的塊並以塊為單元獲得運動信息。然而，以塊為單元獲得運動信息可以被看作是獲得形成塊的一個像素的運動信息，並將所述運動信息設置為形成塊的所有像素的運動信息，並且因此在以像素為單元獲得運動信息的所有等效之後。
要注意，本發明的實施例不限於前述實施例，並且在不脫離本發明的實施例的精神的情況下，各種改變都是可容許的。
本領域的技術人員應該理解，根據設計要求和其他因素，可以出現各種修改、組合、子組合和變更，只要它們落在所附權利要求及其等效物的範圍內即可。
權利要求
1、一種用於獲得指示圖像的運動的運動信息的圖像處理設備，所述圖像處理設備包括
運動估計裝置，用於
使用在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和感興趣像素附近的像素的運動矢量，獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息，以及
使用所述感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與所述感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用所述評估值來確定所述感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息。
2、根據權利要求1所述的圖像處理設備，其中
所述運動估計裝置包括
一個運動矢量檢測裝置，用於檢測感興趣畫面的像素的運動矢量；
多個運動矢量存儲裝置，用於存儲已經在過去作為感興趣畫面的多個畫面的像素的所檢測到的運動矢量；
運動信息計算裝置，用於使用所述感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，該運動矢量由所述運動矢量檢測裝置檢測；
多個評估值計算裝置，用於使用所述感興趣畫面和所述多個畫面的所檢測到的運動矢量，來獲得用於評估所述感興趣像素的運動信息的評估值；
確定進行中結果存儲裝置，用於存儲確定進行中結果，該確定進行中結果是確定運動信息的可靠性的可靠性確定的進行中結果；以及
可靠性確定裝置，用於進行可靠性確定，該可靠性確定使用由所述多個評估值計算裝置獲得的評估值和由所述確定進行中結果存儲裝置存儲的過去的可靠性確定的確定進行中結果，來確定所述感興趣像素的運動信息的可靠性，並且該可靠性確定裝置還用於使所述確定進行中結果存儲裝置存儲該可靠性確定的確定進行中結果。
3、根據權利要求1所述的圖像處理設備，其中
所述運動估計裝置包括
多個運動矢量檢測裝置，用於檢測多個畫面的像素的運動矢量，該多個畫面是感興趣畫面和與所述感興趣畫面相鄰的一個或多個其他畫面；
運動信息計算裝置，用於使用感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量來獲得所述感興趣像素的運動信息，該運動矢量由所述多個運動矢量檢測裝置之中用於所述感興趣畫面的所述運動矢量檢測裝置檢測；
多個評估值計算裝置，用於使用由所述多個運動矢量檢測裝置檢測到的運動矢量，來獲得用於評估所述感興趣像素的運動信息的評估值；以及
可靠性確定裝置，用於使用由所述多個評估值計算裝置獲得的評估值，來確定所述感興趣像素的運動信息的可靠性。
4、根據權利要求1所述的圖像處理設備，其中
所述運動估計裝置包括
多個運動矢量檢測裝置，用於檢測多個畫面的像素的運動矢量，該多個畫面是感興趣畫面和與所述感興趣畫面相鄰的一個或多個其他畫面；
運動信息計算裝置，用於使用感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，該運動矢量由所述多個運動矢量檢測裝置之中用於所述感興趣畫面的所述運動矢量檢測裝置檢測；
多個評估值計算裝置，用於使用由所述多個運動矢量檢測裝置檢測到的運動矢量，來獲得用於評估所述感興趣像素的運動信息的評估值；
確定進行中結果存儲裝置，用於存儲確定進行中結果，該確定進行中結果是確定運動信息的可靠性的可靠性確定的進行中結果；以及
可靠性確定裝置，用於進行可靠性確定，該可靠性確定使用由所述多個評估值計算裝置獲得的評估值和由所述確定進行中結果存儲裝置存儲的過去的可靠性確定的確定進行中結果，來確定所述感興趣像素的運動信息的可靠性，並且該可靠性確定裝置還用於使所述確定進行中結果存儲裝置存儲該可靠性確定的確定進行中結果。
5、根據權利要求1所述的圖像處理設備，其中
所述運動估計裝置包括
一個運動矢量檢測裝置，用於檢測感興趣畫面的像素的運動矢量；
多個運動矢量存儲裝置，用於存儲已經在過去作為感興趣畫面的多個畫面的像素的所檢測到的運動矢量；
運動信息計算裝置，用於使用所述感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，該運動矢量由所述運動矢量檢測裝置檢測；
多個評估值計算裝置，用於使用所述感興趣畫面和所述多個畫面的所檢測到的運動矢量，來獲得用於評估所述感興趣像素的運動信息的評估值；以及
可靠性確定裝置，用於使用由所述多個評估值計算裝置獲得的評估值來確定所述感興趣像素的運動信息的可靠性。
6、根據權利要求1所述的圖像處理設備，其中
所述運動估計裝置獲得所述多個像素的運動矢量的平均值和方差之一或兩者作為所述評估值。
7、根據權利要求1所述的圖像處理設備，其中
當確定對於兩個彼此相鄰的畫面獲得的所述評估值之間的差是否等於或小於預定閾值的評估值確定的確定結果為真時，所述運動估計裝置確定所述感興趣像素的運動信息是可靠的，如此的確定是對於包括所述感興趣畫面的多個連續畫面的彼此相鄰的兩個畫面的所有組均進行，以及
當對於至少一組的評估值確定的確定結果為假時，所述運動估計裝置確定所述感興趣像素的運動信息是不可靠的。
8、根據權利要求1所述的圖像處理設備，進一步包括
逐行圖像產生裝置，用於從隔行圖像產生逐行圖像，
所述逐行圖像產生裝置包括
第一內插裝置，用於使用所述感興趣畫面的另一像素的像素值，來獲得關於所述感興趣像素的第一內插值，
第二內插裝置，用於使用與所述感興趣畫面相鄰的畫面的像素的像素值和感興趣像素的運動信息，來獲得關於所述感興趣像素的第二內插值，以及
選擇裝置，用於當所述可靠性信息指示所述運動信息不可靠時，選擇所述第一內插值並輸出所述第一內插值作為所述感興趣像素的像素值，而當所述可靠性信息指示所述運動信息可靠時，選擇所述第二內插值並輸出所述第二內插值作為所述感興趣像素的像素值。
9、一種用於獲得指示圖像的運動的運動信息的圖像處理設備的圖像處理方法，所述圖像處理方法包括步驟
使用在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息，以及
使用所述感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與所述感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用所述評估值確定所述感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息。
10、一種用於使計算機用作用於獲得指示圖像的運動的運動信息的圖像處理設備的程序，所述圖像處理設備包括運動估計裝置用於
使用在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息，以及
使用所述感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與所述感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用所述評估值確定所述感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息。
11、一種用於顯示廣播節目的圖像的顯示設備，所述顯示設備包括
接收裝置，用於接收所述廣播節目；
運動估計裝置，用於
使用在組成所述廣播節目的圖像的畫面之中在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息，以及
使用所述感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與所述感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用所述評估值確定所述感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息；
逐行圖像產生裝置，用於使用所述感興趣畫面的另一像素的像素值，來獲得關於所述感興趣像素的第一內插值，並使用與所述感興趣畫面相鄰的畫面的像素的像素值和所述感興趣像素的運動信息，來獲得關於所述感興趣像素的第二內插值，並且當所述可靠性信息指示所述運動信息不可靠時，選擇所述第一內插值並輸出所述第一內插值作為所述感興趣像素的像素值，而當所述可靠性信息指示所述運動信息可靠時，選擇所述第二內插值並輸出所述第二內插值作為所述感興趣像素的像素值，由此從隔行圖像中產生逐行圖像；以及
顯示裝置，用於顯示所述逐行圖像。
12、一種用於獲得指示圖像的運動的運動信息的圖像處理設備，所述圖像處理設備包括
運動估計部分，被配置為
使用在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息，以及
使用所述感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與所述感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用所述評估值確定所述感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息。
13、一種用於顯示廣播節目的圖像的顯示設備，所述顯示設備包括
接收部分，被配置為接收所述廣播節目；
運動估計部分，被配置為
使用在組成所述廣播節目的圖像的畫面之中在所關注的感興趣畫面的像素之中所關注的感興趣像素的運動矢量和所述感興趣像素附近的像素的運動矢量，來獲得所述感興趣像素的運動信息，並輸出所述感興趣像素的運動信息，以及
使用所述感興趣畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用與所述感興趣畫面相鄰的另一畫面的多個像素的運動矢量來獲得用於評估所述感興趣像素的運動信息的評估值，使用所述評估值確定所述感興趣像素的運動信息的可靠性，並輸出指示該可靠性的可靠性信息；
逐行圖像產生部分，被配置為使用所述感興趣畫面的另一像素的像素值，來獲得關於所述感興趣像素的第一內插值，並使用與所述感興趣畫面相鄰的畫面的像素的像素值和所述感興趣像素的運動信息，來獲得關於所述感興趣像素的第二內插值，並且當所述可靠性信息指示所述運動信息不可靠時，選擇所述第一內插值並輸出所述第一內插值作為所述感興趣像素的像素值，而當所述可靠性信息指示所述運動信息可靠時，選擇所述第二內插值並輸出所述第二內插值作為所述感興趣像素的像素值，由此從隔行圖像中產生逐行圖像；以及
顯示裝置，用於顯示所述逐行圖像。
全文摘要
公開了圖像處理設備、圖像處理方法、程序和顯示設備。用於獲得指示圖像的運動的運動信息的圖像處理設備，所述圖像處理設備包括運動估計部分，被配置為獲得感興趣像素的運動信息，並輸出感興趣像素的運動信息，並獲得用於評估感興趣像素的運動信息的評估值，確定感興趣像素的運動信息的可靠性，並輸出指示可靠性的可靠性信息。
文檔編號H04N7/26GK101350884SQ20081013774
公開日2009年1月21日 申請日期2008年7月18日 優先權日2007年7月18日
發明者田中鐵朗, 藤森健史 申請人:索尼株式會社