圖像處理設備,圖像處理方法和圖像顯示設備的製作方法

2023-06-26 16:45:11

專利名稱：圖像處理設備,圖像處理方法和圖像顯示設備的製作方法
技術領域：
本發明涉及能夠識別輸入圖像信號的圖像格式的圖像處理設備，由圖像處理設備 採用的圖像處理方法，以及使用圖像處理設備的圖像顯示設備。
背景技術：
很久以來，人們就已經知道了採用眼鏡(spectacle)系統的三維圖像顯示設備。 三維圖像顯示設備通過基於光學偏振和/或晶體光間(shutter)，對佩戴特殊的立體光學 眼鏡(stereoptican)的觀看者的雙眼示出具有不一致性的分離圖像來實現雙目視覺。此外，人們也已經知道了採用視差阻擋系統或柱鏡法的裸眼三維圖像顯示設備。 該裸眼三維圖像顯示設備能夠實現裸眼的雙目視覺。採用這些系統的裸眼三維圖像顯示設 備並不需要觀看者配戴立體光學眼鏡。為了實現雙目視覺，必須對觀看者的右眼和左眼示出具有不一致性的不同圖像。 因此，必須示出至少兩個分離的不一致的圖像，其是右眼的圖像和左眼的圖像。近年來，實際上已經推出了供消費者用的、能夠顯示三維圖像的電視機，並引起了 人們的關注。

發明內容
已經提出了用於向圖像處理設備或圖像顯示設備提供三維圖像信號的三維圖像 格式。作為特定的三維圖像格式，已經提供了一種格式，根據此格式，通過典型地採用場順 序系統(field sequential system)沿著時間軸交替地和順序地提供左眼圖像和右眼圖 像。就消費者電視機等而言，除了已知的二維圖像格式之外，跟上三維圖像格式已成為必須 的了。日本專利特開No. 2006-332985和Hei 10-257525公開了除了已知的二維圖像格 式之外的用於各種三維圖像格式的自動格式識別技術。上述的專利文件根據下面的概念提 出了確定輸入圖像是否是三維圖像格式的圖像的處理。左眼圖像和右眼圖像基本上彼此 相似，但是，仍然存在與左眼和右眼之間的圖像中的不一致性對應的差別，因此，左眼圖像 和右眼圖像並非是彼此完全相同的。例如，根據日本專利特開No. 2006-332985中所公開的技術，在根據場順序系統確 定輸入圖像是否是三維圖像格式的圖像的程序中，首先，將用作為格式確定處理的對象的 輸入圖像劃分為兩個子圖像。如果確定這兩個子圖像是彼此不同的，就確定輸入圖像是三 維圖像。但是，即使在已知二維圖像的情況下，在包含運動的情景的圖像中，在圖像之間也 自然地存在差別。因此，該技術引起一個問題，即具有劇烈運動的二維圖像會被不正確地確 定為三維圖像。此外，該技術還引起另一問題，就是即使根據場順序系統偶然將輸入圖像正 確地確定為三維圖像，基於此技術的圖像顯示設備也不能正確地顯示圖像，除非該設備能 夠確定兩個子圖像中的哪一個是右眼圖像，和兩個子圖像中的哪一個是左眼圖像。為了解決上述的問題，本發明提供了圖像處理設備，圖像處理方法和圖像顯示設備，其能夠以高度的準確性來確定根據場順序系統接收的輸入信號是三維圖像格式的信號 還是二維圖像格式的信號。根據本發明的實施例，提供了圖像處理設備，該設備採用以下各個部件運動矢量檢測部件，配置來於在輸入圖像信號中沿著時間軸連續出現的第一、第 二和第三圖像，發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢量，對於其中 將根據場順序系統提供給圖像處理設備的輸入圖像信號看成是三維圖像格式的信號的情 況，該圖像不一致性作為圖像中的不一致性而出現；和格式確定部件，配置來基於與在左眼和右眼之間的圖像中的不一致性對應的運動 矢量來確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式的信號，和如果確定輸 入圖像信號是三維圖像格式的信號，則確定由輸入圖像信號表示的當前接收的圖像是左眼 圖像還是右眼圖像。根據本發明的另一實施例，提供了由圖像處理設備採用的圖像處理方法，該方法 包含如下步驟驅動運動矢量檢測部件，基於在輸入圖像信號中沿著時間軸連續出現的第一、第 二和第三圖像，發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢量，該圖像不 一致性作為對於將根據場順序系統提供給圖像處理設備的輸入圖像信號看成是三維圖像 格式的信號的情況的圖像中的不一致性而出現；驅動格式確定部件，基於與在左眼和右眼之間的圖像中的不一致性對應的運動矢 量，來確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式的信號；和驅動格式確定部件，如果確定輸入圖像信號是三維圖像格式的信號，則定由輸入 圖像信號表示的當前接收的圖像是左眼圖像還是右眼圖像。根據本發明的又一實施例，提供了圖像顯示設備，該設備使用以下各個部件運動矢量檢測部件，配置來基於在輸入圖像信號中沿著時間軸連續出現的第一、 第二和第三圖像，對於將根據場順序系統提供給圖像處理設備的輸入圖像信號看成是三維 圖像格式的信號的情況，發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢量， 該圖像不一致性作為圖像中的不一致性而出現；格式確定部件，配置來基於與在左眼和右眼之間的圖像中的不一致性對應的運動 矢量，來確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式的信號，且如果確定 輸入圖像信號是三維圖像格式的信號，則確定由輸入圖像信號表示的當前接收的圖像是左 眼圖像還是右眼圖像；和顯示部件，配置來在確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式 的信號時，根據由格式確定部件識別的圖像格式，來顯示基於輸入圖像信號的圖像。在如上所述的由本發明提供的圖像處理設備、圖像處理方法和圖像顯示設備中驅動運動矢量檢測部件，以基於在輸入圖像信號中沿著時間軸連續出現的第一、 第二和第三圖像，對於將根據場順序系統提供給圖像處理設備的輸入圖像信號看成是三維 圖像格式信號的情況，發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢量，該 圖像不一致性作為圖像中的不一致性而出現；驅動格式確定部件，以至少基於與左眼和右眼之間的圖像中的不一致性對應的運 動矢量，來確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式的信號；
驅動格式確定部件，以如果確定輸入圖像信號是三維圖像格式的信號，則確定由 輸入圖像信號表示的當前接收的圖像是左眼圖像還是右眼圖像。根據本發明實施例的圖像處理設備、圖像處理方法和圖像顯示設備，至少基於與 左眼和右眼之間的圖像中的不一致性對應的運動矢量來進行格式確定。這樣，就能夠以高 度的準確性來確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式的信號。具體地 說，如果輸入圖像信號是三維圖像格式的信號，則能夠確定由輸入圖像信號表示的當前接 收的圖像是左眼圖像還是右眼圖像。


通過如下參照附圖給出的優選實施例的描述，本發明的上述和其它創新和特徵將 會變得更加清楚，其中圖1是框圖，示出根據本發明的第一實施例的圖像顯示設備的典型的整體配置；圖2是框圖，示出根據本發明的第一實施例的圖像顯示設備中採用的圖像處理部 件的典型配置；圖3A是說明圖，示出了根據場順序系統的二維圖像格式的典型的輸入圖像信號；圖3B是說明圖，示出了根據場順序系統的三維圖像格式的典型的輸入圖像信號；圖4A到圖4D是說明圖，示出了在圖像的顯示位置和實現雙目視覺之間的關係；圖5A和圖5B是說明圖，在描述表示在左眼和右眼之間的圖像中的不一致性的運 動矢量時參照該圖；圖6是流程圖，表示由圖2所示的圖像處理部件中採用的格式確定部件執行的圖 像格式確定處理；圖7是框圖，示出了在根據第二實施例的圖像顯示設備中採用的圖像處理部件的 配置；圖8A是說明圖，示出了根據場順序系統的二維圖像格式的典型的輸入圖像信號；圖8B是說明圖，示出了根據場順序系統的三維圖像格式的典型的輸入圖像信 號；圖9示出了流程圖，表示由圖7所示的圖像處理部件中採用的格式確定部件執行 的圖像格式確定處理。
具體實施例方式以下，將參照附圖來詳細說明本發明的優選實施例。[圖像顯示設備的配置]圖1是框圖，示出了根據本發明的第一實施例的圖像顯示設備10的典型的整體配 置。如圖所示，圖像顯示設備10採用信號輸入部件1、圖像處理部件2、信號輸出部件3和 顯示面板4。顯示面板4是本發明提供的顯示部件的典型的具體實現，而圖像處理部件2是 本發明提供的圖像處理設備的典型的具體實現。圖像顯示設備10的典型的例子是電視機。信號輸入部件1通常接收廣播信號。隨 後，信號輸入部件1進行處理，以將廣播信號分為亮度信號(也被稱為Y信號)和色差信號(其是U信號和V信號)。最後，信號輸入部件1向圖像處理部件2提供處理結果，作為輸 入圖像信號。圖像處理部件2是用於對輸入圖像信號進行各種信號處理的部件。圖像處理部件 2具有這樣的功能，即通過進行信號處理來執行識別輸入圖像信號的信號格式的處理。顯示面板4是用於作為在顯示屏幕上二維布置的多個像素、而二維顯示圖像的部 件。顯示面板4通常是有機EL (電致發光)顯示面板或液晶顯示面板。信號輸出部件3基於輸入圖像信號產生適於由圖像處理部件2識別的圖像格式的 驅動信號，然後將驅動信號提供給顯示面板4。應該說明的是，作為顯示三維圖像的系統，可以採用各種已知的顯示系統中的任 何一個。由於圖像顯示設備10的特點在於由圖像處理部件2進行識別輸入圖像信號的圖像 格式的處理，因此，沒有具體說明用作本發明的顯示部件的典型的具體實現的顯示面板4。[圖像處理部件2的配置]如上所述，圖像處理部件2是由本發明提供的圖像處理設備的典型的具體實現。 圖2是框圖，示出了圖像處理部件2的典型配置。如圖所示，圖像處理部件2採用第一運動矢量檢測部件23、第二運動矢量檢測部 件24和格式確定部件25。基於在輸入圖像信號(其是根據場順序系統提供給圖像處理設 備2的)中沿著時間軸連續出現的第一、第二和第三圖像，第一運動矢量檢測部件23和第 二運動矢量檢測部件24發現每個都與存在於左眼和右眼之間的圖像不一致性對應的運動 矢量，該圖像不一致性是作為對於輸入圖像信號是三維圖像格式信號的情況的圖像中的不 一致性而出現的。另一方面，格式確定部件25是這樣的部件，其基於每個都與在左眼和右眼之間的 圖像中的不一致性對應的運動矢量來確定輸入圖像信號是三維圖像格式的信號還是二維 圖像格式的信號，和如果確定輸入圖像信號是三維圖像格式的信號，則確定由輸入圖像信 號表示的當前接收的圖像是左眼圖像還是右眼圖像。圖2所示的圖像處理部件2確定輸入圖像信號是如圖3B所示的具有三維圖像格 式的信號或者如圖3A所示的具有二維圖像格式的信號。圖3是多個說明圖，每個都示出了 根據場順序系統提供給圖像顯示設備10的典型的輸入圖像信號。更具體地說，圖3A是說 明圖，示出了根據場順序系統的二維圖像格式的典型的輸入圖像信號。附圖標記FN表示出 現在時間N的二維圖像。二維圖像可以是場圖像或幀圖像。另一方面，圖3B是說明圖，示 出了根據場順序系統的三維圖像格式的典型的輸入圖像信號。附圖標記LN表示出現在時 間N的、用作左眼的場圖像或幀圖像的三維圖像，而附圖標記RN表示出現在時間N的、用作 右眼的場圖像或幀圖像的三維圖像。應該說明的是，如圖3B所示，沿著時間軸順序地將左 眼圖像LN且之後將右眼圖像RN提供給圖像顯示設備10。然而，為了指示左眼圖像LN和右 眼圖像RN是虛擬合成的並同時在顯示面板4上顯示的，最終將左眼圖像LN和右眼圖像RN 示出為同時出現的圖像，從而可以在顯示面板4上實現雙目視覺。如圖2所示，圖像處理部件2起圖像格式識別電路的作用，其採用第一圖像存儲器 21、第二圖像存儲器22、第一運動矢量檢測部件23、第二運動矢量檢測部件24和格式確定 部件25。在第一實施例中採用的第一運動矢量檢測部件23和第二運動矢量檢測部件24是本發明提供的運動矢量檢測部件的典型實現。第一圖像存儲器21和第二圖像存儲器22中的每一個都用於分別以1場或1幀延 遲可以是場圖像或幀圖像的輸入圖像。在下面的說明中，如圖3A所示，附圖標記F0、Fl和 F2分別表示沿時間軸連續出現的第一、第二和第三二維圖像。如圖3B所示，根據相同的意 義，分別用附圖標記L0、RO和L2來表示沿時間軸連續出現的第一、第二和第三三維圖像。 將第一二維圖像FO或第一左眼三維圖像LO提供給第一運動矢量檢測部件23。此外，也將第三二維圖像F2或第三左眼用三維圖像L2提供給第一運動矢量檢測 部件23。第三二維圖像F2和第三左眼三維圖像L2中的每一個都是由第一圖像存儲器21 和第二圖像存儲器22從第一二維圖像FO和第一左眼三維圖像LO分別延遲兩個場或兩個 幀的輸入圖像。也將第一二維圖像FO和第一左眼三維圖像LO提供給第二運動矢量檢測部件24。 此外，也將第二二維圖像Fl和第二右眼三維圖像RO提供給第二運動矢量檢測部件24。第 二二維圖像Fl和第二右眼三維圖像RO中的每一個是由第一圖像存儲器21和第二圖像存 儲器22從第一二維圖像FO和第一左眼三維圖像LO分別延遲一個場或一個幀的輸入圖像。 就是說，將如圖3A所示的沿時間軸連續出現的第一和第二二維圖像FO和Fl或如圖3B所 示的沿時間軸連續出現的第一和第二三維圖像LO和RO連續提供給第二運動矢量檢測部件 24。第一運動矢量檢測部件23和第二運動矢量檢測部件24中的每一個都是用於計算 運動矢量並向格式確定部件25輸出所計算的運動矢量的部件。運動矢量是表示在水平和 垂直方向上從特定的輸入圖像到緊跟在該特定輸入圖像後面的輸入圖像的運動量的矢量。 以像素為單位來表達該運動量。有各種檢測運動矢量的技術。用於檢測運動矢量的技術的 典型例子是塊匹配技術。然而，在第一實施例中，沒有特別地指定用於檢測運動矢量的特定 的具體技術。這就是說，第一實施例決沒有將用於檢測運動矢量的技術限定為某個特定的 具體技術。換句話說，只要該技術能夠用來產生作為像素塊檢測的結果而得到的運動矢量， 就能採用用於檢測運動矢量的任何技術。更具體地說，第一運動矢量檢測部件23檢測在第一二維圖像FO或第一左眼三維 圖像LO和第三二維圖像F2或第三左眼三維圖像L2之間的第一運動矢量BO，並將第一運動 矢量BO輸出到格式確定部件25。另一方面，第二運動矢量檢測部件24檢測在第一二維圖 像FO或第一左眼三維圖像LO和第二二維圖像Fl或第二右眼三維圖像RO之間的第二運動 矢量Bi，並將第二運動矢量Bl輸出到格式確定部件25。如上所述，第一二維圖像FO和第 二二維圖像Fl是沿著時間軸連續出現的二維圖像，而第一左眼三維圖像LO和第二右眼三 維圖像RO是沿著時間軸連續出現的三維圖像。格式確定部件25是這樣的部件，其基於分別從第一運動矢量檢測部件23和第二 運動矢量檢測部件24上接收到的第一運動矢量BO和第二運動矢量Bl來產生指示輸入圖 像格式的格式識別信號。就是說，格式確定部件25確定由輸入圖像信號表示的輸入圖像的 格式是三維圖像的格式還是二維圖像的格式。因此，由格式識別信號傳遞的信息是這樣的 信息，其至少由輸入圖像信號表示的輸入圖像的格式是三維圖像的格式還是二維圖像的格 式。在圖2的框圖中，輸入圖像信號是作為輸入亮度信號示出的。此外，如果格式確定部件 25確定由輸入圖像信號表示的輸入圖像的格式是三維圖像的格式，格式確定部件25進一步確定當前提供的輸入圖像是左眼還是右眼的三維圖像。也由格式識別信號來傳遞指示當 前的輸入圖像是左眼還是右眼的三維圖像的信息。[由圖像處理部件2進行的識別圖像格式的處理]根據第一實施例的圖像顯示設備的最突出的特徵是由圖像處理部件2進行的識 別輸入圖像的格式的處理。因此，下面的描述具體說明了由圖像處理部件2進行的識別輸 入圖像的格式的處理，其作為圖像顯示設備10的特徵處理。具體地說，下面的描述具體說 明了基於分別從第一運動矢量檢測部件23和第二運動矢量檢測部件24接收的第一運動矢 量BO和第二運動矢量Bi，而由格式確定部件2進行的識別輸入圖像的格式的處理。在圖2所示的圖像處理部件2中，第一運動矢量檢測部件23檢測在第一二維圖像 FO或第一左眼三維圖像LO和第三二維圖像F2或第三左眼三維圖像L2之間的第一運動矢 量B0，並將第一運動矢量BO輸出到格式確定部件25。另一方面，第二運動矢量檢測部件24 檢測在第一二維圖像FO或第一左眼三維圖像LO和第二二維圖像Fl或第二右眼三維圖像 RO之間的第二運動矢量Bi，並將第二運動矢量Bl輸出到格式確定部件25。如上所述，第 一二維圖像FO和第二二維圖像Fl是沿著時間軸連續出現的二維圖像，而第一左眼三維圖 像LO和第二右眼三維圖像RO是沿著時間軸連續出現的三維圖像。如果提供給圖像處理部件2的輸入圖像信號的格式是如圖3B所示的那樣的三維 圖像格式，那麼，能夠從第一運動矢量BO得到在三維圖像的幀之間的運動量。在此情況下， 第二運動矢量Bl是表示在左眼和右眼之間的圖像中的不一致性的運動矢量。因此，能夠從 第二運動矢量Bl得到在左眼和右眼之間的圖像中的不一致性的量值(magnitude)。另一方面，如果提供給圖像處理部件2的輸入圖像信號的格式是如圖3A所示的那 樣的二維圖像格式，那麼，第一運動矢量BO和第二運動矢量Bl中的每一個的方向(和絕對 值)就會與三維圖像格式的不同地變化。格式確定部件25基於第一運動矢量BO和第二運動矢量Bl的性質來確定由輸入 圖像信號表示的輸入圖像的格式是三維圖像的格式還是二維圖像的格式。此外，如果格式 確定部件25確定由輸入圖像信號表示的輸入圖像的格式是三維圖像的格式，則格式確定 部件25進一步確定當前提供的輸入圖像是左眼的三維圖像還是右眼的三維圖像。圖6示出了流程圖，表示如上所述由格式確定部件25執行的圖像格式確定處理。 如圖所示，該流程圖從步驟Sl開始，在步驟Si，格式確定部件25接收第一運動矢量BO和 第二運動矢量Bi。然後，在下一步驟S2，格式確定部件25執行第一確定處理，以確定在第 一運動矢量BO和第二運動矢量Bl之間是否存在關聯。如果在步驟S2執行的第一確定處 理的結果為「是(Yes) 」(這指示在第一運動矢量BO和第二運動矢量Bl之間存在關聯)，格 式確定部件25則確定由輸入圖像信號表示的輸入圖像的格式是二維圖像的格式。這是因 為，在三維圖像格式的情況下，即使在幀間運動的量之間存在著在時間軸方向上的緊密的 關聯，但是，在表示幀間的運動量的第一運動矢量BO和表示左眼和右眼之間的圖像中的不 一致性的量值的第二運動矢量Bl之間幾乎不存在關聯。另一方面，如果在步驟S2執行的第一確定處理的結果為「否(No) 」(這指示在第一 運動矢量BO和第二運動矢量Bl之間不存在關聯)，則處理流程進行到步驟S3，在此步驟， 格式確定部件25進一步執行第二確定處理，以確定第二運動矢量Bl是否滿足在左眼和右 眼之間的圖像中的不一致性的限制條件。更具體地說，如下面將要詳細說明的那樣，格式確定部件25確定在左眼和右眼之間的圖像中的不一致性的量值是否不大於預先確定的閾值 ΤΗ0』和TH1』。如前所述，左眼和右眼之間的圖像中的不一致性的量值是從第二運動矢量 Bl得到的量值。將預先確定的閾值ΤΗ0』和ΤΗΓ用作為是否實現雙目視覺的標準。如果在步驟S3執行的第二確定處理的結果為「否(No) 」(這指示第二運動矢量Bl 不滿足在左眼和右眼之間的圖像中的不一致性的限制條件，或者，更具體地說，在左眼和右 眼之間的圖像中的不一致性的量值大於預先確定的閾值ΤΗ0』和ΤΗΓ)，則格式確定部件25 確定由輸入圖像信號表示的輸入圖像的格式是二維圖像的格式。另一方面，如果在步驟S3執行的第二確定處理的結果為「是(Yes)，，(這指示第二 運動矢量Bl滿足在左眼和右眼之間的圖像中的不一致性的限制條件，或者，更具體地說， 在左眼和右眼之間的圖像中的不一致性的量值不大於預先確定的閾值ΤΗ0』和ΤΗΓ )，則格 式確定部件25確定由輸入圖像信號表示的輸入圖像的格式是三維圖像的格式。在此情況下，處理流程進行到步驟S4，在此步驟，格式確定部件25進一步進行第 三確定處理，以確定當前提供的輸入圖像是左眼的三維圖像還是右眼的三維圖像。在第三 確定處理中，格式確定部件25識別第二運動矢量Bl的方向。具體地說，格式確定部件25 確定在用作為矢量/格式檢測處理的對象的圖像的表面上的第二運動矢量Bl之中、具有最 大的絕對值的第二運動矢量Bl的方向是不是負方向。如果在步驟S4進行的第三確定處理 的結果為「是(Yes) 」(這指示第二運動矢量Bl的方向是負方向)，則格式確定部件25確定 當前提供的輸入圖像是左眼的三維圖像。另一方面，如果在步驟S4進行的第三確定處理的 結果為「否(No)，，(這指示第二運動矢量Bl的方向不是負方向)，則格式確定部件25確定 當前提供的輸入圖像是右眼的三維圖像。應當說明的是，下面將參照圖5A和圖5B來詳細 說明所進行的識別第二運動矢量Bl的方向的第三確定處理。[實現雙目視覺的條件]圖4A到圖4D是說明圖，示出了在圖像的顯示位置和實現雙目視覺之間的關係。更 具體地說，圖4A是說明圖，示出了一狀態，在此狀態中，觀看者的左眼5L和右眼5R觀看在 圖像平面(也稱為圖像顯示平面)上的相同的圖像像素位置。在此情況下，在所顯示的圖 像上不存在不一致性，因此，觀看者看到了真實的圖像P。另一方面，圖4B到圖4D中的每一 個都示出了顯示在左眼和右眼之間的圖像中具有不一致性的兩個圖像的狀態。更具體地說，圖4B是說明圖，該圖示出了一狀態，在此狀態中，將右眼圖像RO放置 在圖像顯示平面上位於左眼圖像LO的右側的位置。因此，在圖4B所示的狀態的情況下， 觀看者可以立體光學地觀看在圖像顯示平面前側上的虛擬圖像P0。圖4C示出了一狀態的 圖，在此狀態中，將右眼圖像R2放置在圖像顯示平面上位於左眼圖像L2的左側的位置，就 是說，圖4C是示出了與圖4B所示的狀態中的右圖像和左圖像位置相反的左圖像和右圖像 位置的圖。這樣，在圖4C所示的狀態的情況下，觀看者可以立體光學地觀看在圖像顯示平 面後側上的虛擬圖像P2。圖4D是示出了一狀態的圖，在此狀態中，顯示具有不一致性的圖像，但是沒有實 現雙目視覺，就是說，沒有創建虛擬圖像。與圖4C所示的狀態很相似，圖4D是示出了 一狀態 的圖，在此狀態中，將右眼圖像R4放置在圖像顯示平面上位於左眼圖像L4的左側的位置。 由於右眼圖像R4和左眼圖像L4彼此間分開過遠的距離，因此，不能實現雙目視覺。用附圖 標記THl來表示在觀看者的左眼5L和右眼5R之間的圖像中的所假定的不一致性的量值。在此情況下，如果在右眼圖像R4和左眼圖像L4之間的圖像中的不一致性的量值大於所假 設的不一致性TH1，就不能實現雙目視覺。這樣，為了實現示出位於圖像顯示平面後側的虛 擬圖像的雙目視覺，就必須將右眼圖像R4和左眼圖像L4之間的圖像中的不一致性減小到 不大於預定閾值ΤΗΓ的值，在此，該預定閾值ΤΗΓ是基於所假定的不一致性THl設置的。如圖4B所示的狀態的情況那樣，為了實現示出位於圖像顯示平面前側的虛擬圖 像的雙目視覺，存在雙目視覺的條件。如果右眼圖像RO和左眼圖像LO彼此間分開過遠的 距離，即使在圖4B所示的狀態下，也不能實現雙目視覺。具體地說，必須將右眼圖像RO和 左眼圖像LO之間的圖像中的不一致性減小到不大於預定閾值ΤΗ0』的值，在此，該預定閾值 THO'是基於所假定的視距THO設置的，該視距THO被定義為在圖像顯示平面和觀看者的視 點之間的距離。應當說明的是，在一個三維圖像中，形成在圖像顯示平面前側上的虛擬圖像的像 素通常與形成在圖像顯示平面後側上的虛擬圖像的像素相混淆。在向圖像顯示設備10提 供三維圖像的時候，能夠使用從三維圖像中檢測到的第二運動矢量Bl的方向來確定像素 是形成在圖像顯示平面前側上的虛擬圖像的像素還是形成在圖像顯示平面後側上的虛擬 圖像的像素。參照圖5A和圖5B，下面的描述說明了利用從三維圖像中檢測到的第二運動 矢量Bl的方向來確定像素是形成在圖像顯示平面前側的虛擬圖像的像素還是形成在圖像 顯示平面後側的虛擬圖像的像素。圖5A是說明圖，該圖示出了一狀態，在此狀態中，在圖像顯示平面的前側上形成 了虛擬圖像PO和P1。虛擬圖像PO是基於右眼圖像RO和左眼圖像LO形成的虛擬圖像，而 虛擬圖像Pl是基於右眼圖像Rl和左眼圖像Ll形成的虛擬圖像。在虛擬圖像PO的情況下， 將右眼圖像RO放置在圖像顯示平面上位於左眼圖像LO的左側的位置。同樣，在虛擬圖像 Pl的情況下，將右眼圖像Rl放置在圖像顯示平面上位於左眼圖像Ll的左側的位置。在這 些情況下，第二運動矢量Bl是在左眼圖像LO和右眼圖像RO之間的矢量或者是在左眼圖像 Ll和右眼圖像Rl之間的矢量。將向左的方向稱為負方向(_)，而將向右的方向稱為正方向 (+)。在此情況下，第二運動矢量Bl的方向是負方向。應當說明的是，在圖5A所示的情況 下，在右眼圖像RO和左眼圖像LO之間的眼間不一致性DO不大於預定的閾值ΤΗ0』，該閾值 是基於假定的視距THO設置的。同樣，在右眼圖像Rl和左眼圖像Ll之間的眼間不一致性 Dl不大於預先確定的閾值ΤΗ0，。另一方面，圖5B是說明圖，該圖示出了一狀態，在此狀態中，在圖像顯示平面的後 側形成了虛擬圖像P2和P3。虛擬圖像P2是基於右眼圖像R2和左眼圖像L2形成的虛擬圖 像，而虛擬圖像P3是基於右眼圖像R3和左眼圖像L3形成的虛擬圖像。在虛擬圖像P2的情 況下，將右眼圖像R2放置在圖像顯示平面上位於左眼圖像L2的右側的位置。同樣，在虛擬 圖像P3的情況下，將右眼圖像R3放置在圖像顯示平面上位於左眼圖像L3的右側的位置。 在這些情況下，第二運動矢量Bl是在左眼圖像L2和右眼圖像R2之間的矢量或者是在左眼 圖像L3和右眼圖像R3之間的矢量。將向左的方向稱為負方向(_)，而將向右的方向稱為正 方向(+)。在此情況下，第二運動矢量Bl的方向是正方向。應當說明的是，在圖5B所示的 情況下，在右眼圖像R2和左眼圖像L2之間的眼間不一致性D2不大於預定的閾值TH1』，該 閾值是根據假定的不一致性THl設置的。同樣，在右眼圖像R3和左眼圖像L3之間的眼間 不一致性D3不大於預先確定的閾值ΤΗΓ。
如上所述，在一個三維圖像中，形成在圖像顯示平面前側的虛擬圖像的像素通常 與形成在圖像顯示平面後側的虛擬圖像的像素相混淆。因此，第二運動矢量Bl既能面向 正方向又能面向負方向。然而，在許多情況下，普通的三維圖像是示出在前側的虛擬圖像 的圖像。因此，在圖6所示的流程圖的步驟S4，通過使格式確定部件25確定在用作為矢量 /格式檢測處理的對象的圖像的表面上的多個第二運動矢量Bl之中、具有最大的絕對值的 第二運動矢量Bl的方向是負方向還是正方向，可以確定當前輸入的三維圖像是左眼圖像 還是右眼圖像。這就是說，如果在用作為矢量/格式檢測處理的對象的圖像的表面上的多 個第一運動矢量Bl之中、具有最大的絕對值的第二運動矢量Bl的方向是負方向，則能夠確 定當前輸入的三維圖像是左眼圖像。此外，如上所述，在圖6所示的流程圖的步驟S3，格式確定部件25執行第二確定處 理，以確定第二運動矢量Bl是否滿足在左眼和右眼之間的圖像中的不一致性的限制條件。 典型地，格式確定部件25通過確定是否滿足下述的條件(1)或(2)來執行第二確定處理。 這就是說，如果滿足下述的條件(1)或(2)，則確定第二運動矢量Bl是滿足在左眼和右眼之 間的圖像中的不一致性的限制條件的矢量。條件(1)在屏幕上朝向正方向的所有矢量Bl的絕對值不大於預先確定的閾值TH1，並且， 在屏幕上朝向負方向的所有矢量Bl的絕對值不大於預先確定的閾值ΤΗ0』。條件(2)在屏幕上朝向正方向的所有矢量Bl的絕對值不大於預先確定的閾值ΤΗ0』，並且， 在屏幕上朝向負方向的所有矢量Bl的絕對值不大於預先確定的閾值TH1』。在屏幕尺寸為1920像素X 1080像素的情況下，更具體地說，基於所假定的、在40 個像素的視距THO來設置預定的閾值ΤΗ0，。在屏幕尺寸為1920像素X 1080像素的情況下，更具體地說，基於在8個像素的所 假定的不一致性THl來設置預定的閾值ΤΗΓ。[第一實施例的效果]根據第一實施例，至少能夠基於表示在左眼和右眼之間的圖像中的不一致性的運 動矢量來識別輸入圖像的格式。因此，能夠以高度的準確度來確定表示輸入圖像的信號的 格式是三維圖像的格式還是二維圖像的格式。具體地說，如果表示輸入圖像的信號的格式 是三維圖像的格式，則可確定當前的輸入圖像是左眼圖像還是右眼圖像。這樣，圖像顯示 設備10能夠以正確的格式恰當地顯示圖像。下面，將說明根據本發明的第二實施例的圖像顯示設備。應當說明的是，在根據第 二實施例的圖像顯示設備中，用相同的標號和相同的附圖標記來表明與在根據第一實施例 的圖像顯示設備中所採用的各個對應部分相同的組件作為相對部分。此外，為了避免重複 描述，適當地省略了對相同組件的說明。圖7是框圖，示出了根據第二實施例的圖像處理部件2的配置。圖7示出的圖像 處理部件2的配置與根據圖2的框圖中所示的第一實施例的圖像處理部件2的配置的不同 之處在於，第二實施例具有圖像內插部件31。此外，第二實施例採用了新的第二運動矢量檢 測部件32來代替第一實施例中包括的第二運動矢量檢測部件24。最主要的是，第二實施例採用了新的格式確定部件33來代替格式確定部件25。在第二實施例中所採用的第一運動矢量檢測部件23和第二運動矢量檢測部件32 是本發明提供的運動矢量檢測部件的典型實現。圖7的框圖所示的圖像處理部件2被設計來起用於確定輸入信號的格式是像圖8A 所示的二維圖像的格式或者是像圖8B所示的三維圖像的格式的電路的作用。圖8A是說明圖，示出了根據場順序系統的二維圖像格式的典型的輸入圖像信號。 附圖標記FN表示出現在時間N的二維圖像。該二維圖像可以是場圖像或幀圖像。另一方 面，圖8B是說明圖，示出了根據場順序系統的三維圖像格式的典型的輸入圖像信號。附圖 標記LN表示出現在時間N的，用作左眼的場圖像或幀圖像的三維圖像，而附圖標記RN表示 出現在時間N的，用作右眼的場圖像或幀圖像的三維圖像。圖8B所示的三維圖像與圖3B所示的三維圖像的不同之處在於，圖8B所示的三維 圖像的左眼三維圖像LN出現的時間不同於同一三維圖像的右眼三維圖像RN出現的時間。 如果用圖2所示的圖像處理部件2來處理圖8B所示的三維圖像，就會不希望地將不一致性 的量值與運動距離相混淆，以至於錯誤地識別輸入圖像的格式。為了解決這個問題，在圖7所示的圖像處理部件2中，圖像內插部件31基於運 動補償來執行圖像內插處理，以便發現要用作作為圖像格式確定處理的對象的圖像的圖像 F1，(或Li)。圖像F1，(或Li)是位於第一圖像FO (或L0)的時間和第三圖像F2 (或L2) 的時間之間的時間的圖像。第二運動矢量檢測部件32檢測在兩個圖像，即用作圖像格式確定處理的對象的 第一圖像FO (或L0)和圖像F1』(或Li)之間的第二運動矢量Bi。第二運動矢量Bl用作 表示在左眼和右眼之間的圖像中的不一致性的運動矢量。格式確定部件33是用於僅基於 第二運動矢量Bl來識別輸入信號的格式的部件。如果輸入圖像是二維圖像，則用作圖像格 式確定處理的對象的第一圖像FO和圖像F1』幾乎是彼此相同的。這樣，就能根據如下參照 圖9所述的流程圖來進行圖像格式確定處理。圖9示出了流程圖，表示由上述的格式確定部件33執行的圖像格式確定處理。如 圖所示，該流程圖從步驟Sl 1開始，在此步驟，格式確定部件33從第二運動矢量檢測部件32 接收第二運動矢量Bl。然後，在下一步驟S12，格式確定部件33執行第一確定處理，以便確 定第二運動矢量Bl在整個屏幕上是否幾乎全都是零(或者是靜止不動的)。如果在屏幕 上的多個第二運動矢量Bl之中具有最大絕對值的第二運動矢量Bl的量值不大於預先確 定的閾值，那麼，在第一確定處理中就確定第二運動矢量Bl在整個屏幕上幾乎完全靜止不 動。如果在步驟S12執行的第一確定處理的結果為「是(Yes) 」(這指示確定第二運動矢量 Bl在整個屏幕上幾乎全都是靜止不動的)，則確定輸入圖像的格式是二維圖像的格式。另一方面，如果在步驟S12執行的第一確定處理的結果為「否(No)，，(這指示確定 第二運動矢量Bl在整個屏幕上並不都是靜止不動的，則確定輸入圖像的格式是三維圖像 的格式。在此情況下，在繼續到步驟S14之前，處理流程進行到步驟S13，然後。在步驟S13 和步驟S14上執行的處理基本上與分別在圖6所示的流程圖中的步驟S3和S4執行的處理 相同。然而，在圖9所示的流程圖的情況下，在完成在步驟S14執行的處理之後，處理的流 程進行到步驟S15或步驟S16。在步驟S15，格式確定部件33執行第(4-a)個確定處理，以確定前面的確定結果是否指示前面的幾個幀是三維圖像並且緊接在前面的幀是左眼的三維圖像。如果第(4-a) 個確定處理的結果是「否(No) 」(這指示沒有滿足這些條件)，則格式確定部件33可以確定 當前的輸入幀是右眼的三維圖像。然而，格式確定部件33確定當前的輸入幀是二維圖像。 另一方面，如果第(4_a)個確定處理的結果為「是(Yes)」(這指示滿足了這些條件)，則格 式確定部件33就確定當前的輸入幀是右眼的三維圖像。在步驟S16，格式確定部件33執行第(4-b)個確定處理，以確定前面的確定結果是 否指示前面的幾個幀是三維圖像並且緊接在前面的幀是右眼的三維圖像。如果第(4-b)個 確定處理的結果是「否(No) 」(這指示沒有滿足這些條件)，則格式確定部件33可以確定當 前的輸入幀是左眼的三維圖像。然而，格式確定部件33確定當前的輸入幀是二維圖像。另 一方面，如果第(4-b)個確定處理的結果為「是(Yes)」(這指示滿足了這些條件)，則格式 確定部件33確定當前的輸入幀是左眼的三維圖像。〈其它實施例〉本發明的實施決不僅限於至此描述的實施例。因此，可以用各種實施例中的每一 種來實現本發明。例如，可為三維圖像的格式提供實現圖像顯示設備10的每一實施例，這些三維圖 像是根據場順序系統提供給圖像顯示設備10的。但是，可將每個實施例應用到任何其它種 類的三維圖像的格式。例如，為了將根據本發明的圖像處理應用到另一種三維圖像格式，可 用屏幕左/右分區處理電路等來代替第一圖像存儲器21和第二圖像存儲器22中的每一 個，在此，所述的第一圖像存儲器和第二圖像存儲器是在圖2和圖7的每個框圖的圖像處理 部件2中採用的。如前所述，第一圖像存儲器21和第二圖像存儲器22中的每一個都用於 延遲輸入信號。本發明包含與於2009年6月3日在日本專利局提交的日本優先權專利申請JP 2009-134123中所公開的主題內容相關的主題內容，現將其全部內容通過引用合併於此。本領域技術人員應當了解，根據設計要求和其它的因素，可進行各種修改、組合、 部分組合和變更，只要其在所附的權利要求或其等效條款所規定的範圍內即可。
權利要求
一種圖像處理設備，包括運動矢量檢測部件，配置來基於在輸入圖像信號中沿著時間軸連續出現的第一、第二和第三圖像，對於根據場順序系統提供給所述圖像處理設備的所述輸入圖像信號被看成是三維圖像格式的信號的情況，發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢量，該圖像不一致性作為圖像中的不一致性而出現；和格式確定部件，配置來基於與左眼和右眼之間的圖像中的不一致性對應的所述運動矢量，來確定所述輸入圖像信號是所述三維圖像格式的信號還是二維圖像格式的信號，且如果確定所述輸入圖像信號是所述三維圖像格式的信號，則確定由所述輸入圖像信號表示的當前接收到的圖像是左眼圖像還是右眼圖像。
2.根據權利要求1所述的圖像處理設備，其中，所述格式確定部件確定基於與左眼和 右眼之間的圖像中的不一致性對應的所述運動矢量而發現的眼間不一致性的量值是否不 大於用作關於是否實現雙目視覺的標準的預定閾值；並進一步如果所述格式確定部件確定所述眼間不一致性的量值不大於所述預定閾值，則確定所 述輸入圖像信號的格式是所述三維圖像格式；或如果所述格式確定部件確定所述眼間不一致性的量值大於所述預定閾值，則確定所述 輸入圖像信號的格式是所述二維圖像格式。
3.根據權利要求1所述的圖像處理設備，其中，如果所述格式確定部件確定所述輸入 圖像信號的格式是所述三維圖像格式，則所述格式確定部件則基於與所述左眼和右眼之間 的圖像中的不一致性對應的所述運動矢量的方向，來進一步確定當前輸入圖像是左眼的三 維圖像還是右眼的三維圖像。
4.根據權利要求1所述的圖像處理設備，其中，所述運動矢量檢測部件包括第一運動矢量檢測子部件和第二運動矢量檢測子部件； 所述第一運動矢量檢測子部件檢測在所述第一圖像和所述第三圖像之間的第一運動矢量；所述第二運動矢量檢測子部件檢測在從所述第一到第三圖像中選出的作為沿著時間 軸連續出現的兩個相鄰圖像的任何兩個圖像之間的第二運動矢量，並將所述第二運動矢量 用作與左眼和右眼之間的所述圖像中的不一致性對應的運動矢量。
5.根據權利要求1所述的圖像處理設備，其中所述格式確定部件確定在所述第一運動矢量和所述第二運動矢量之間是否存在關聯；如果所述格式確定部件確定在所述第一運動矢量和所述第二運動矢量之間存在關聯， 則所述格式確定部件確定所述輸入圖像信號的格式是所述二維圖像格式；如果所述格式確定部件確定在所述第一運動矢量和所述第二運動矢量之間沒有關聯， 則所述格式確定部件進一步確定基於與在左眼和右眼之間的所述圖像中的不一致性對應 所述第二運動矢量發現的眼間不一致性的量值是否不大於用作關於是否實現雙目視覺的 標準的預定閾值；如果所述格式確定部件確定所述眼間不一致性的量值不大於所述預定閾值，則所述格 式確定部件確定所述輸入圖像信號的格式是所述三維圖像格式；如果所述格式確定部件確定所述眼間不一致性的量值大於所述預定閾值，則所述格式確定部件確定所述輸入圖像信號的格式是所述二維圖像格式。
6.根據權利要求1所述的圖像處理設備，所述圖像處理設備進一步具有圖像內插部 件，其中，所述運動矢量檢測部件包括第一運動矢量檢測子部件和第二運動矢量檢測子部件； 所述第一運動矢量檢測子部件檢測在所述第一圖像和所述第三圖像之間的第一運動矢量；所述圖像內插部件進行圖像內插過程，以基於所述第一運動矢量發現在位於時間軸上 的所述第一圖像和所述第三圖像之間的一時間處的特定圖像，並將所述特定圖像用作矢量 檢測/格式確定處理的對象；和所述第二運動矢量檢測子部件檢測在所述第一圖像和用作矢量檢測/格式確定處理 的對象的所述特定圖像之間的第二運動矢量，並將所述第二運動矢量用作與在左眼和右眼 之間的所述圖像中的不一致性對應的運動矢量。
7. 一種圖像處理設備所採用的圖像處理方法，包括如下步驟驅動運動矢量檢測部件，以基於在輸入圖像信號中沿時間軸連續出現的第一、第二和 第三圖像，對於根據場順序系統提供給所述圖像處理設備的所述輸入圖像信號被看成是三 維圖像格式的信號的情況，來發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢 量，該圖像不一致性作為圖像中的不一致性而出現；驅動格式確定部件，以基於與左眼和右眼之間的圖像中的不一致性對應的所述運動矢 量，來確定所述輸入圖像信號是所述三維圖像格式的信號還是二維圖像格式的信號；和驅動所述格式確定部件，以如果確定所述輸入圖像信號是所述三維圖像格式的信號， 則確定由所述輸入圖像信號表示的當前接收到的圖像是左眼圖像還是右眼圖像。
8. 一種圖像顯示設備，包括運動矢量檢測部件，配置來基於在輸入圖像信號中沿著時間軸連續出現的第一、第二 和第三圖像，對於根據場順序系統提供給所述圖像顯示設備的所述輸入圖像信號被看成是 三維圖像格式的信號的情況，來發現與存在於左眼和右眼之間的圖像不一致性對應的運動 矢量，該圖像不一致性作為圖像中的不一致性而出現；格式確定部件，配置來基於與在左眼和右眼之間的圖像中的不一致性對應的所述運動 矢量，來確定所述輸入圖像信號是所述三維圖像格式的信號還是二維圖像格式的信號，且 如果確定所述輸入圖像信號是所述三維圖像格式的信號，則確定由所述輸入圖像信號表示 的當前接收到的圖像是左眼圖像還是右眼圖像；和顯示部件，配置來在確定所述輸入圖像信號是所述三維圖像格式的信號還是所述二維 圖像格式的信號時，根據由所述格式確定部件識別的圖像格式，來顯示基於所述輸入圖像 信號的圖像。
9. 一種圖像處理設備，包括運動矢量檢測裝置，用於基於輸入圖像信號中沿著時間軸連續出現的第一、第二和第 三圖像，對於根據場順序系統提供給所述圖像處理設備的所述輸入圖像信號被看成是三維 圖像格式的信號的情況，來發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢 量，該圖像不一致性作為圖像中的不一致性而出現；格式確定裝置，用於基於與左眼和右眼之間的圖像中的不一致性對應的所述運動矢量，來確定所述輸入圖像信號是所述三維圖像格式的信號還是二維圖像格式的信號，且如 果確定所述輸入圖像信號是所述三維圖像格式的信號，則確定由所述輸入圖像信號表示的 當前接收到的圖像是左眼圖像還是右眼圖像。
10. 一種圖像顯示設備，包括運動矢量檢測裝置，用於基於在輸入圖像信號中沿著時間軸連續出現的第一、第二和 第三圖像，對於根據場順序系統提供給所述圖像顯示設備的所述輸入圖像信號被看成是三 維圖像格式的信號的情況，來發現與存在於左眼和右眼之間的圖像不一致性對應的運動矢 量，該圖像不一致性作為圖像中的不一致性而出現；格式確定裝置，用於基於與左眼和右眼之間的圖像中的不一致性對應的所述運動矢 量，來確定所述輸入圖像信號是所述三維圖像格式的信號還是二維圖像格式的信號，且如 果確定所述輸入圖像信號是所述三維圖像格式的信號，則確定由所述輸入圖像信號表示的 當前接收到的圖像是左眼圖像還是右眼圖像；和顯示裝置，用於在確定所述輸入圖像信號是所述三維圖像格式的信號還是所述二維圖 像格式的信號時，根據由所述格式確定裝置識別的圖像格式，來顯示基於所述輸入圖像信 號的圖像。
全文摘要
本發明公開了圖像處理設備，圖像處理方法和圖像顯示設備。所述圖像處理設備包括運動矢量檢測部件，配置來用於發現與存在於左眼和右眼之間的圖像不一致性對應的、作為圖像中的不一致性而出現的運動矢量；和格式確定部件，配置來確定輸入圖像信號是三維圖像格式的信號還是二維圖像格式的信號。
文檔編號H04N5/46GK101909182SQ20101019327
公開日2010年12月8日 申請日期2010年5月27日 優先權日2009年6月3日
發明者井原利升, 淺野光康 申請人:索尼公司