立體圖像顯示設備、立體圖像顯示方法、立體圖像顯示程序、及記錄介質的製作方法

2023-10-25 21:06:32 2

專利名稱：立體圖像顯示設備、立體圖像顯示方法、立體圖像顯示程序、及記錄介質的製作方法
技術領域：
本發明涉及立體圖像的顯示，特別是涉及包含多個面部的立體圖像的顯示。
背景技術：
根據專利文獻1，面部檢測部件30從第一圖像Gl中檢測存在對象的參考對象區域，並從第二圖像G2中檢測與參考對象區域相對應的相應對象區域，這些圖像是由圖像拍攝部件21A和21B獲得的。區域配置部件31在第一圖像Gl上配置一個位於預定範圍內的包括參考對象區域在內的參考裁剪區域；以及在第二圖像G2上配置一個位於預定範圍內的包括相應對象區域的臨時裁剪區域。隨後，通過在第二圖像G2上移動臨時裁剪區域，檢測出包含於參考裁剪區域中的對象的預定結構與包含於臨時裁剪區域中的對象的預定結 構之間的位移量，處於位移量最小的位置的臨時裁剪區域被配置為針對參考裁剪區域的相應裁剪區域。修剪部件32對第一圖像Gl的參考裁剪區域和第二圖像G2的相應裁剪區域進行修剪。根據專利文獻2，對象的圖像拍攝是在多個成像單元的光軸變為平行的情況下執行的，並將圖像數據存儲在幀存儲器12中。CPU 10對從成像單元Il和12獲得的多個拍攝圖像中的某個面部的位置進行檢測，並指示電機驅動器11移動螺母NI和N2，從而調整會聚角。成像單元Il和12分別生成用於右視點和左視點的圖像數據。引用文獻專利文獻專利文獻I :日本專利申請公開No. 2009-129420專利文獻2 :日本專利申請公開No. 2008-22150

發明內容
{技術問題}立體圖像的回放需要與視點圖像中的某個點匹配的視差。因此，立體圖像包含視差匹配的部分和視差不匹配的部分。通常，在視角的中心附近(圖像中心部分)調整視差。因此，當拍攝某個人等的圖像的情況下面部為主要對象時，如果此人位於屏幕中心外，則對中心的視差匹配將導致該面部的視差的不匹配(圖IlA至圖HE)。圖IlA是示意性地示出了立體圖像拍攝設備的右和左圖像拍攝部件與拍攝對象(人和塔)之間的位置關係的視圖，圖IlB示出了利用處於圖IlA中的位置關係的右和左圖像拍攝部件拍攝對象所獲得的圖像(分別為右圖像拍攝部件圖像和左圖像拍攝部件圖像)。圖IlC是示意性地示出了拍攝對象的位置與從右圖像拍攝部件圖像和左圖像拍攝部件圖像所獲得的拍攝對象的圖像之間的關係的視圖。圖IlD示出了在右圖像拍攝部件圖像和左圖像拍攝部件圖像中心部分設置一個交叉點時的兩個圖像。圖IlE示出了對進行過面部識別的拍攝對象設置一個交叉點時的右圖像拍攝部件圖像和左圖像拍攝部件圖像。此外，在圖IlB至圖IlE中，實線指示的是從左圖像拍攝部件獲得的圖像，虛線指示的是從右圖像拍攝部件獲得的圖像。如圖IlC中所示，當拍攝對象的位置處於和鄰近交叉點設置位置(中等距離)時，右圖像拍攝部件圖像和左圖像拍攝部件圖像的回放圖像大體上重疊。在另一方面，當拍攝對象的位置處在比交叉點設置位置更近的距離或更遠的距離時，拍攝對象的回放圖像導致了重像。為此，對於圖IlA中的位置關係，將交叉點設置在圖像的中心部分導致了與處於圖像中心部分的拍攝對象(塔)相比處於更近的距離的拍攝對象(人)的面部的重像,如圖IlD中所示。因此，如專利文獻I中一樣，考慮了執行面部識別，並對通過面部識別獲得的位置進行視差的匹配，而不是對視角的中心進行視差的匹配(圖HE)。但是，當多個面部存在於視角範圍內時，對於某些面部視差可能不匹配。本發明基於除了主要面部以外的其餘所有面部的相應視差信息，通過控制視差以使得即使在存在多個人而任何面部能看到的情況下適當地匹配視差，來實現自然的立體圖·像的顯示。{技術手段}根據本發明的一個方面的一種立體圖像顯示設備包括視差信息獲取部件，其獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息；顯示方法選擇部件，其選擇該多個面部區域的顯示方法；面部區域選擇部件，其基於顯示方法選擇部件所選擇的顯示方法，從該多個面部區域中選擇一個特定面部區域；視差調整部件，其基於面部區域選擇部件所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及顯示控制器，其基於通過視差調整部件調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。優選地，顯示方法選擇部件從該多個面部區域中選擇出任意一個面部區域並選擇顯示所選面部區域的顯示方法，面部區域選擇部件基於選擇操作從該多個面部區域中選擇出任意一個面部區域，以及視差調整部件基於所選擇的面部區域的視差信息，調整視點圖像中的所選擇的面部區域的視差量。優選地，面部區域選擇部件從顯示在顯示設備上的列表中的多個面部區域中選擇出任意一個面部區域。優選地，顯示方法選擇部件順序地從多個面部區域中選擇出任意一個面部區域，並順序地且分別地選擇用於顯示順序選擇的面部區域的顯示方法，面部區域選擇部件順序地從多個面部區域中選擇出任意一個面部區域，視差調整部件基於順序選擇的面部區域的視差信息，對順序選擇的面部區域的視差量進行調整，以及顯示控制器順序地顯示調整了視差量的面部區域。優選地，顯示方法選擇部件選擇用於將各個面部區域分別顯示在各個分割屏幕中的顯示方法，面部區域選擇部件從該多個面部區域中選擇顯示在各個分割屏幕中的面部區域，並且包括，該裁剪部件從視點圖像中裁剪出面部區域選擇部件所選擇的各個面部區域，視差調整部件基於顯示在各個分割屏幕中的各個面部區域的視差信息，對裁剪部件所裁剪出的各個面部區域的視差量進行調整，並且顯示控制器將調整了視差量的各個面部區域顯示在各個分割屏幕中。
優選地，顯示方法選擇部件從該多個面部區域中選擇出任意一個面部區域並選擇顯示面部區域的顯示方法，使得這些面部區域全部包含在一個預定的視角範圍內，並將所選擇的面部區域設置為基準，面部區域選擇部件從多個面部區域中選擇任意一個面部區域，並且包括裁剪部件，裁剪部件在視點圖像中配置其中多個面部區域全部包含在一個預定的視角範圍內的裁剪範圍、將所選擇的面部區域設置為基準、以及裁剪視點圖像中的裁剪範圍內的圖像，視差調整部件基於所選面部區域的視差信息調整視點圖像中用於裁剪部件裁剪的所選面部區域的視差量，以及顯示控制器對調整了視差量的裁剪圖像進行顯示。優選地，顯示方法選擇部件選擇用於將各個面部區域分別顯示在各個分割屏幕中的顯示方法，面部區域選擇部件從該多個面部區域中選擇顯示在各個分割屏幕中的面部區域，視差調整部件基於顯示在各個分割屏幕中的各個面部區域的視差信息，對顯示在各個分割屏幕中的各個面部區域的視差量進行調整，並且包括裁剪部件，該裁剪部件從調整了各個面部區域的視差量的視點圖像中裁剪出面部區域選擇部件所選擇的各面部區域，以及顯示控制器將裁剪部件所裁剪的各個面部區域的視點圖像顯示在各個分割屏幕中。
優選地，顯示方法選擇部件從該多個面部區域中選擇出任意一個面部區域並選擇顯示該多個面部區域的顯示方法，使得這些面部區域全部包含在一個預定的視角範圍內，並將所選擇的面部區域設置為基準，面部區域選擇部件從該多個面部區域中選擇任意一個面部區域，視差調整部件基於所選擇的面部區域的視差信息來調整視點圖像中的面部區域選擇部件所選擇的所選面部區域的視差量，並且視差調整部件包括裁剪部件，該裁剪部件在視點圖像中配置其中多個面部區域全部包含在一個預定的視角範圍內的裁剪範圍、將所選擇的面部區域設置為基準、以及裁剪視點圖像中的裁剪範圍內的圖像，以及顯示控制器對裁剪部件從視點圖像中裁剪出的裁剪圖像進行顯示。根據本發明的一個方面的一種立體圖像顯示方法包括通過計算機執行的如下步驟獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息；選擇該多個面部區域的顯示方法；根據所選的顯示方法，從該多個面部區域中選擇一個特定面部區域；基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。根據本發明的一個方面的一種立體圖像顯示程序，其使得計算機實現如下功能獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息；選擇該多個面部區域的顯示方法；根據所選的顯示方法，從該多個面部區域中選擇一個特定面部區域；基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。根據本發明的一個方面的一種計算機可讀介質，當處理器讀取並執行存儲於該記錄介質中的命令時，處理器執行如下步驟獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息；選擇該多個面部區域的顯示方法；根據所選的顯示方法，從該多個面部區域中選擇一個特定面部區域；基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。{本發明的有益效果}
根據本發明，視點圖像之間具有對應關係的面部區域的信息以及它們的視差信息是隨著圖像一起獲得的，根據顯示方法來選擇某個面部，根據該面部的視差執行視差調整以顯示立體圖像。相應地，對於包含多個面部的立體圖像，可顯示其中對於目標面部的視差最優化的、自然並且對眼睛負荷最小的立體圖像。


圖I是包括根據本發明的一個實施例的立體圖像顯示設備的圖像拍攝設備(數位相機)的正面透視圖。圖2是包括根據本發明的一個實施例的立體圖像顯示設備的圖像拍攝設備(數位相機)的背面透視圖。圖3A是包括根據本發明的一個實施例的立體圖像顯示設備的圖像拍攝設備(數位相機)的框圖。
圖3B是包括根據本發明的一個實施例的立體圖像顯示設備的圖像拍攝設備(數位相機)的框圖。圖4是根據第一實施例的顯示處理的流程圖。圖5是顯示重放設備的主要部分的框圖。圖6A是示出了根據第一實施例的立體圖像的顯示實例的視圖。圖6B是示出了根據第一實施例的立體圖像的顯示實例的視圖。圖6C是示出了根據第一實施例的立體圖像的顯示實例的視圖。圖7是根據第二實施例的顯示處理的流程圖。圖8A是示出了根據第二實施例的立體圖像的顯示實例的視圖。圖8B是示出了根據第二實施例的立體圖像的顯示實例的視圖。圖8C是示出了根據第二實施例的立體圖像的顯示實例的視圖。圖8D是示出了根據第二實施例的立體圖像的顯示實例的視圖。圖9是根據第三實施例的顯示處理的流程圖。圖IOA是示出了根據第三實施例的立體圖像的顯示實例的視圖。圖IOB是示出了根據第三實施例的立體圖像的顯示實例的視圖。圖IOC是示出了根據第三實施例的立體圖像的顯示實例的視圖。圖IlA是示意性地示出了立體圖像拍攝設備的右和左圖像拍攝部件與拍攝對象(人和塔)之間的位置關係的視圖。圖IlB是示出了利用處於圖IlA中的位置關係的右和左圖像拍攝部件拍攝對象所獲得的圖像(分別為右圖像拍攝部件圖像和左圖像拍攝部件圖像)的視圖。圖IlC是示意性地示出了拍攝對象的位置與從右圖像拍攝部件圖像和左圖像拍攝部件圖像所獲得的拍攝對象的圖像之間的關係的視圖。圖IlD示出了將交叉點設置在右圖像拍攝部件圖像和左圖像拍攝部件圖像的中心部分時的兩個圖像。圖IlE示出了將交叉點配置於進行過面部識別的拍攝對象時的右圖像拍攝部件圖像和左圖像拍攝部件圖像。
具體實施例方式圖I是示出了根據本發明的立體圖像拍攝設備的一個實施例的數位相機10的外觀結構的正面透視圖。圖2是示出了該數位相機的一個實例的外觀結構的背面透視圖。數位相機10包括多個圖像拍攝部件(圖I中示例性地示出了兩個部件)，數位相機10可從多個視點拍攝同一對象的圖像(圖I中示例性地示出了右和左兩個視點)。此外，在該實例中，包括兩個圖像拍攝部件的情況是為了便於說明而進行的示例性描述，但是本發明並不局限於這種情況，而是適用於包括三個或更多個類似的圖像拍攝部件的情況。該實例的數位相機10的相機主體112被製作成矩形盒子形狀，其正面上具有一對圖像拍攝光學系統IlR和IlL以及閃光燈116，如圖I所示。此外，在相機主體112的頂面上具有釋放按鈕14、電源/模式開關120、模式轉盤122等等。此外，在相機主體112的背面上具有由液晶顯示設備(IXD :液晶顯示器)等等構成的監視器13、變焦按鈕126、十字按鈕128、菜單/確定按鈕130、DISP按鈕132、後退按鈕134等等，如圖2中所示。 成對的右和左圖像拍攝光學系統IlR和IlL分別被構造為具有可伸縮的筒形變焦透鏡(圖3中的18R和18L)，並且當數位相機10的電源打開時滑出相機主體112。此外，由於圖像拍攝光學系統中的變焦機構、可伸縮透鏡筒裝置等等是已知的技術，這裡不再對它們詳細描述。監視器13為顯示設備，如彩色液晶面板，其正面布置有具有半圓柱形透鏡的所謂雙凸透鏡。監視器13被用作圖像顯示部件來顯示已拍攝的圖像，此外，還被用作配置各種設置中的GUI (圖形用戶界面)，此外，在圖像拍攝、實施通過圖像傳感器所獲得的圖像的直通顯示中還被用作電子取景器。此外，監視器13上的立體圖像的顯示方法不局限於使用雙凸透鏡的方法。例如，可採用視差屏障方法，或可採用使用眼鏡的立體圖像顯示方法(例如，立體影像方法、偏振濾光鏡方法、液晶快門方法等等)。釋放按鈕14配置了被稱為「半按」和「全按」的二行程開關。在釋放按鈕14處於半按時，數位相機10執行圖像拍攝準備處理，即拍攝(例如，使用模式轉盤122或通過菜單選擇靜止圖像拍攝模式時)靜止圖像拍攝的AE (自動曝光)、AF (自動對焦)、AWB (自動白平衡)的處理，以及在全按時，執行圖像拍攝和記錄處理。此外，在釋放按鈕14處於全按時，開始視頻圖像拍攝，當再次處於全按時，停止視頻圖像拍攝中(例如，使用模式轉盤122或通過菜單選擇視頻圖像拍攝模式中)的圖像拍攝。另外，也可將設置配置為在釋放按鈕14處於全按時執行視頻圖像拍攝並在全按釋放時結束圖像拍攝。此外，可提供一個專門用於靜止圖像拍攝的釋放按鈕以及一個專門用於視頻圖像拍攝的釋放按鈕。電源/模式開關120 (電源開關和模式開關)起到了數位相機10的電源開關的功能，並且，還起到了選擇器開關的功能，用於在回放模式和圖像拍攝模式之間切換數位相機
10。模式轉盤122用於配置圖像拍攝模式。通過將該模式轉盤122設置為「2D靜止圖像位置」，數位相機10被設置為用於拍攝2D靜止圖像的2D靜止圖像拍攝模式，通過將該模式轉盤122設置為「3D靜止圖像位置」，數位相機10被設置為用於拍攝3D靜止圖像的3D靜止圖像拍攝模式。此外，通過將該模式轉盤122設置為「3D視頻圖像位置」，數位相機10被設置為用於拍攝3D視頻圖像的3D視頻圖像拍攝模式。變焦按鈕126用於圖像拍攝光學系統IlR和IlL的變焦操作，其由變焦遠攝按鈕(用於指示變焦到遠距離側)和變焦廣角按鈕(用於指示變焦到廣角側)。十字按鈕128能夠推向上、下、右、左四個方向，依據設置相機狀態的功能被分配給推向各個方向的操作。菜單/確定按鈕130用於調用菜單屏幕(菜單功能)，並且還用於確認所選擇的內容、指示執行處理等等(確定功能)。DI SP按鈕132用於輸入切換監視器13上所顯示的內容等等的指令。後退按鈕134用於輸入取消輸入操作等等的指令。圖3A和圖3B為示出了數位相機10的主要部分的框圖。數位相機10包括用於右視點的圖像拍攝部件(其具有用於右視點的圖像拍攝光學系統IlR及圖像傳感器29R)，以及用於左視點的圖像拍攝部件(其具有用於左視點的圖像拍攝光學系統IlL及圖像傳感器29L)。兩個圖像拍攝光學系統11 (IlR和11L)分別包括變焦透鏡18 (18R和18L)、聚焦透鏡19 (19R和19L)、孔徑光闌20 (20R和20L)。變焦透鏡18、聚焦透鏡19、孔徑光闌20分別由變焦透鏡控制器22 (22R和22L)、聚焦透鏡控制器23 (23R和23L)、孔徑光闌控制器24 (24R和24L)控制。各個控制器22、23、24由步進電機構成並且由驅動脈衝控制，該 驅動脈衝是由與CPU 26連接的電機驅動器(未示出)發出的。CCD (電荷耦合器件)圖像傳感器(在後文中，簡稱為「CCD」)29 (29R和29L)分別置於兩個圖像拍攝光學系統11 (11R和11L)後面。此外，可使用MOS (金屬氧化物半導體)類型的圖像傳感器替代CCD 29。眾所周知，CCD 29具有光電轉換平面，該平面上配置了若干光電轉換元件，拍攝對象的光線通過圖像拍攝光學系統11入射在光電轉換平面上，從而將拍攝對象的圖像成像。定時發生器TG 31 (31R和31L)，由CPU 26控制並與CXD 29連接，根據自這些TG 31輸入的定時信號(時鐘脈衝)，確定電子快門的快門速度(每個光電轉換元件的電荷積聚時間)。CXD 29輸出的成像信號被輸入到模擬信號處理電路33 (33R和33L)。模擬信號處理電路33具有相關雙取樣電路(CDS)、放大器(AMP)、模數轉換器等等。CDS根據圖像信號生成各個像素的與電荷積聚時間相對應的R(紅)、G (綠)、B (藍)的圖像數據。AMP將生成的圖像數據放大。模數轉換器對放大的圖像數據執行模數轉換。AMP起到調節CXD 29的靈敏度的靈敏度調節裝置的作用。CXD 29的ISO靈敏度(國際標準化組織)根據AMP的增益確定。隨後，通過圖像輸入控制器38 (38R和38L)分別將模數轉換器36 (36R和36L)輸出的數字圖像數據作為右視點圖像數據和左視點圖像數據臨時存儲在作為工作存儲器的SDRAM (同步動態隨機存取存儲器)39中。數位訊號處理部件41從SDRAM 39讀取圖像數據，並執行各種類型的圖像處理，如灰度轉換、白平衡校正、伽瑪校正處理以及隨後的YC轉換處理，並將圖像數據再次存儲在SDRAM 39中。經過數位訊號處理部件41進行的圖像處理的圖像數據被獲取到VRAM (視頻隨機存取存儲器)65中作為直通圖像，並隨後被轉換為用於通過顯示控制器42的可視輸出的模擬信號，以顯示在監視器13上。此外，通過壓縮/解壓縮處理部件43，將經過圖像處理的(當釋放按鈕14被全按時所獲得的)圖像數據以指定壓縮格式(例如，JPEG (聯合圖像專家組)格式)進行壓縮，並隨後由介質控制器15記錄在記憶卡16中，作為用於記錄的圖像。操縱部件25用於數位相機10的各種操作，包括圖I和圖2中所示的各種按鈕和開關120至134。提供CPU 26用於數位相機10的整體控制。CPU 26根據存儲在快閃ROM (只讀存儲器)60及ROM 61等等中的各類控制程序和設置信息、來自姿態檢測傳感器73及操縱部件25等等的輸入信號等，控制各個部件，如電池70、電源控制器71和時鐘部件72。此外，數位相機10具有用於執行AE (自動曝光)/AWB (自動白平衡)控制的AE/AffB控制器47、用於對面部區域執行視差檢測的視差檢測部件49。此外，數位相機10包括閃光燈控制器23，用於控制閃光燈5的閃光時間、閃光量等等。AE/AWB控制器47對CXD 29在釋放按鈕14處於半按時所獲得的圖像(拍攝圖像)進行分析，並根據拍攝對象的亮度信息等計算孔徑光闌20的光圈值和CCD 29的電子快門的快門速度。隨後，根據這些計算結果 ，AE/AWB控制器47通過孔徑光闌控制器24控制光圈值，並通過TG31控制快門速度。例如，圖像拍攝光學系統IlR和IlL 二者的光圈值和快門速度都是根據由兩個圖像拍攝光學系統IlR和IlL中的一個圖像拍攝光學系統的CXD 29R或29L獲得的拍攝圖像(右視點圖像或左視點圖像)計算的。圖像拍攝光學系統IlR和IlL各自的光圈值和快門速度也可根據圖像拍攝光學系統IlR和IlL 二者所獲得的拍攝圖像(右視點圖像或左視點圖像)計算。AF控制器45執行通過將聚焦透鏡19R和19L沿著光軸方向移動來計算對比度值的AF搜索控制，並且執行根據釋放按鈕14處於半按時的對比度值將聚焦透鏡19R和19L移動到焦距對準透鏡位置的聚焦控制。這裡，「對比度值」是根據CXD 29R或29L所獲得的拍攝圖像計算的。「焦距對準透鏡位置」是聚焦透鏡19R和19L至少在主要拍攝對象上聚焦時聚焦透鏡19R和19L的位置。例如，對比度值是通過驅動電機驅動器27R或27L來移動兩個圖像拍攝光學系統IlR或IlL的聚焦透鏡19R和19L中的至少一個時，根據圖像拍攝光學系統IlR或IlL中任一個的拍攝圖像(右視點圖像或左視點圖像)計算的。根據對比度值，可分別確定兩個圖像拍攝光學系統IlR和IlL的聚焦透鏡19R和19L的焦距對準透鏡位置，並且分別通過驅動電機驅動器27R和27L將聚焦透鏡19R和19L分別移動至各自的焦距對準位置。此外，可對兩個圖像拍攝光學系統IlR和IlL執行AF搜索，從而分別確定各自的焦距對準透鏡位置。姿態檢測傳感器73檢測圖像拍攝光學系統I IR和IlL相對於預先確定的姿態進行旋轉的方向和角度。相機抖動控制器62通過使用電機驅動未示出的安裝在圖像拍攝光學系統IlR和IlL中的糾正透鏡，對姿態檢測傳感器73檢測到的光軸偏離進行糾正，從而防止相機抖動。CPU 26控制面部識別部件64，從而根據與圖像拍攝光學系統I IR和IlL的拍攝對象相對應的右和左圖像數據執行面部識別。面部識別部件64按照CPU 26的控制開始面部識別，以根據右和左圖像數據執行面部識別。面部識別部件64將從右和左圖像數據分別識別出的面部區域信息(包括各個面部區域的位置信息)作為面部識別的結果存儲在SDRAM39中。面部識別部件64可利用已知的方法(如模板匹配法)從存儲在SDRAM 39中的圖像識別面部區域。此外，拍攝對象的面部區域可包括拍攝圖像中的人或動物的面部區域。面部對應確定部件66確定識別自右圖像數據的面部區域與識別自左圖像數據的面部區域之間的對應關係。即，面部對應確定部件66識別出一組面部區域，其中在該組面部區域中分別識別自右和左圖像數據的面部區域的位置信息相互最接近。隨後，面部對應確定部件66將構成相關組的各面部區域的圖像信息進行匹配。當二者之間一致的可靠性超出了預定的閾值時，可確定構成該相關組的各面部區域為相互對應關係。視差檢測部件49根據被確定為處於對應關係的全部面部區域的位置信息，計算相關面部區域之間的視差。視差檢測部件49對各組被確定為對應關係的面部區域重複計算視差，並將各組面部區域的視差存儲在SDRAM 39中。例如，處於對應關係的面部區域之間的視差的計算如下執行。首先，視差檢測部件49計算在構成所述組的面部區域之間對應的多個特定點(對應點)之間的位置差(對應點之間的距離)。隨後，視差檢測部件49計算包含於該相關面部區域組中的各點之間的視差的平均值，並將其設置為該相關組的視差。將具有對應關係的面部區域的位置信息及其視差與右和左圖像數據相關聯地存儲在SDRAM 39中。例如，將具有對應關係的面部區域的位置信息及其視差作為圖像數據的附加信息(報頭、標籤、元信息等等)存儲。例如，當圖像數據被壓縮並作為用於記錄的圖像存儲在記憶卡16中時，具有對應關係的面部區域的位置信息及有關其視差的信息被以用於記錄的圖像的附加信息的形式被存儲，將面部區域的位置信息及其視差信息集成為Exif (可交換圖像文件格式)的標籤信息等等。毫無疑問，在圖 像數據中不存在任何面部區域時，或者即使存在面部區域，但它們不具有對應關係時，不存儲這種信息。圖4示出了根據第一實施例的顯示處理的流程圖。該處理由CPU26控制。使得CPU 26執行該處理的程序存儲在計算機可讀記錄介質中，如ROM 61中。該處理是在上述的面部區域的位置信息和視差存儲在以圖像數據的附加信息的形式被存儲之後執行的。此外，執行該處理所需的功能塊可存儲在數位相機以外的電子設備中。例如，包括用於顯示平面或立體圖像的程序塊的顯示回放設備可執行該處理，這些功能塊包括CPU26,VRAM 65,SDRAM 39、快閃ROM 60,ROM 61、壓縮/解壓縮處理部件43、介質控制器15、視差檢測部件49、視差調整部件63、顯示控制器42、監視器13等等，如圖5中所示。在SI，CPU 26嘗試從存儲在SDRAM 39或記憶卡16中的右和左圖像數據和相關圖像數據的附加信息中讀出具有對應關係的面部區域的位置信息和視差。在S2，CPU 26確定面部區域的位置信息是否成功讀出。如果是，流程進入S3，如果不是，流程進入S5。在S3，CPU 26確定與該組面部區域的位置信息相對應的視差信息是否成功讀出。如果是，流程進入S4，如果不是，流程進入S5。在S4，CPU 26接受圖像的回放方法，如「標準回放」、「面部選擇回放」、「面部擴展回放」、「幻燈片」。當選擇「面部選擇回放」或「面部擴展回放」作為面部擴展回放的回放方法時，CPU26允許操縱部件25進一步選擇期望進行視差調整的面部。CPU 26將指示從操縱部件25選擇的面部的信息作為面部選擇信息存儲在SDRAM 39中。CPU 26可接受通過操縱部件25從以列表顯示的面部信息中對期望的面部信息的選擇。例如，選擇圖像的回放方法後，CPU26將右和左任一圖像數據顯示為平面圖像，並從相關圖像的面部區域中，將列表中的右和左圖像數據中的具有對應關係的面部區域顯示為平面部圖像或立體圖像。當選擇「幻燈片」作為面部擴展回放的回放方法時，CPU 26對各條面部信息給出不重疊的顯示順序來作為面部選擇信息，各個面部的顯示順序將被作為面部選擇信息存儲在SDRAM 39中。顯示順序可自動或手動給出。例如，CPU 26以存儲在圖像數據的附加信息中的圖像拍攝時間和日期的升序或降序給出顯示順序。否則，CPU 26根據操縱部件25的顯示順序指令給出顯示順序。當選擇「面部擴展回放」或「幻燈片」作為面部擴展回放的回放方法時，流程進入S6，否則進入S7。在S5，CPU 26指示視差調整部件63執行視差調整，將屏幕中心設置為基準。視差調整部件63調整右和左圖像數據的視差量，使得在屏幕中心形成一個交叉點，並通過顯示控制器42在監視器13上顯示立體圖像。圖6A為該立體圖像的一個顯示實例。在S6，CPU 26指示視差調整部件63執行右和左圖像數據的視差調整，將面部選擇信息表示的所選面部區域設置為基準。視差調整部件63調整右和左圖像數據的視差量，使得在所選擇的面部區域上形成一個交叉點，並通過顯示控制器42在監視器13上顯示立體圖像。當選擇了 「面部選擇回放」時，CPU 26指示視差調整部件63執行右和左圖像數據·的視差調整，將與所選面部區域相對應的視差信息設置為基準。視差調整部件63調整右和左圖像數據的視差量，使得在所選擇的面部區域上形成一個交叉點，並通過顯示控制器42在監視器13上執行完成了相關的視差調整的右和左圖像數據的立體顯示。圖6B為該立體圖像的一個顯示實例，交叉點形成於面部D上。當選擇「面部擴展回放」時，CPU 26從右和左圖像數據中裁剪出面部選擇信息表示的所選擇的面部區域。隨後，CPU 26指示視差調整部件63執行相關的裁剪出的面部區域的視差調整，將與所選擇的面部區域相對應的視差信息設置為基準。視差調整部件63調整相關的裁剪出的面部區域的視差量，使得在所選擇的面部區域上形成一個交叉點，並通過顯示控制器42將相關的裁剪出的面部區域的立體圖像顯示在監視器13上。在該階段，顯示控制器42擴展面部區域，直到其達到監視器13的顯示區域的邊緣。圖6C示出了分別選擇了面部A至D的面部區域情況下的立體圖像的顯示實例。此外，存在這樣的可能，S卩，從右和左圖像數據中裁剪出面部區域後執行視差調整時，由於裁剪出的圖像數據之間的公共區域的減少導致立體顯示區域的減少。因此，優選的是，首先，視差調整部件63調整視差量，使得在所選擇的面部區域上形成一個交叉點。隨後，優選的是視差調整後，CPU 26從右和左圖像數據中裁剪出面部區域，並且顯示控制器42將來自進行過視差調整的右和左圖像數據的相關裁剪出的面部區域顯示在監視器13上。當選擇「幻燈片」時，CPU 26根據面部選擇信息所指定的顯示順序，順序地從右和左圖像數據中一個接一個地裁剪出各個面部區域。隨後，CPU 26指示視差調整部件63對相關的裁剪出的面部區域執行視差調整，將與相關的裁剪出的面部區域相對應的視差信息設置為基準。視差調整部件63調整相關的裁剪出的面部區域的視差量，使得在所選擇的面部區域上形成一個交叉點，並通過顯示控制器42將相關的裁剪出的面部區域的立體圖像顯示在監視器13上。通過根據顯示順序對所有單獨的面部區域重複上述操作，執行幻燈顯示，從而順序地切換進行立體顯示的面部區域。在該階段，顯示控制器42可擴展並顯示各個面部區域直到其達到了監視器13的顯示區域的邊緣。在S7，CPU 26指示視差調整部件63執行視差調整，將主要面部區域設置為基準。視差調整部件63調整右和左圖像數據的視差量，使得在所選擇的面部區域上形成一個交叉點，並通過顯示控制器42將立體圖像顯示在監視器13上。例如，主要面部區域為位於最接近屏幕中心的位置上的面部區域，或者尺寸最大的面部區域，或者排序最高的面部區域。根據上面的處理，將預先存儲的具有對應關係的面部區域的信息及其視差信息隨圖像一起讀出，並且隨後根據回放中的面部選擇信息和所選擇的面部的視差執行視差調整，並且根據所選擇的回放方法顯示立體圖像。相應地，關於包含多個面部的立體圖像，可顯示對於目標面部的視差最優化的、以及自然的並且對眼睛負荷最小的立體圖像。圖7示出了根據第二實施例的顯示處理的流程圖。該處理由CPU26控制。使得CPU 26執行該處理的程序存儲在計算機可讀記錄介質中，如ROM 61中。該處理是在上述的面部區域的位置信息和視差以圖像數據的附加信息的形式存儲之後執行的。該處理還可通過圖5中的顯示回放設備執行。Sll至S13分別與SI至S3相同。 在S14，CPU 26確定用戶是否通過操縱部件25選擇了「索引顯示」或「分割顯示」的顯示方法。「索引顯示」方法是這樣的方法以列表顯示圖像數據中的所有面部，並且隨後除了在列表中之外，還在監視器13的顯示區域中顯示從多個面部中任意選擇的一個面部。「分割顯示」方法是這樣的回放方法將監視器13的顯示區域分割為面部區域的數量並在相應的分割屏幕中執行圖像數據中的每個單獨面部區域的立體顯示。當選擇「索引顯示」時，流程進入S15，當選擇「分割顯示」時，流程進入S22。在S15，假定具有對應關係的面部區域的總數量為N，CPU 26確定屏幕分區的數量為N+l。CPU 26接受期望面部區域的選擇。該選擇可根據用戶操作等等手動完成或者根據面部區域的順序自動完成。這種預定順序如由面部識別部件64執行的面部識別順序。在用戶操作的情況下，優選的是，將列表中所有的圖像數據中的面部顯示在監視器13中的各個分割屏幕的顯示區域中，並允許從它們中選擇面部區域。CPU 26可將從列表中選擇的面部區域顯示為立體圖像，並將沒有從該列表中選擇的面部區域顯示為平面圖像。這樣，可有效地顯示高度關注的面部區域。該列表可包括平面圖像或立體圖像。但是，當顯示為立體圖像時，對每個面部區域單獨地執行視差調整。CPU 26根據Sll中讀取的面部區域的位置信息，從各個右和左圖像數據中裁剪出所選擇的面部區域。在S16，CPU 26指示視差調整部件63對相關的裁剪出的面部區域執行視差調整，將與相關的裁剪出的面部區域相對應的視差信息設置為基準。視差調整部件63調整相關的裁剪出的面部區域的視差量，使得在所選擇的面部區域上形成一個交叉點。在S17，CPU 26通過顯示控制器42將相關的裁剪出的面部區域的立體圖像顯示在監視器13上。該面部區域的立體圖像顯示在與顯示上述面部區域列表的N個分割屏幕不同的分割屏幕上的位置上。作為結果，如圖8D中的屏幕顯示在監視器13上。在S18，CPU 26確定是否對於所有的面部區域都已經執行了 S15至S18中的處理，並且對於所有的面部區域都進行了立體顯示。例如，該確定是根據S15至S18中的處理的循環次數是否等於或大於識別出的面部區域的數量。如果是，流程進入S19，如果不是，流程返回S15。在S19，CPU 26指示視差調整部件63調整右和左圖像數據的視差量，將主要面部區域設置為基準。例如，主要面部區域為位於最接近屏幕中心央位置上的面部區域，或者尺寸最大的面部區域，或者面部識別過程中面部可能性評定值排序最高的面部區域。在S20，視差調整部件63調整右和左圖像數據的視差量，使得在主要面部區域上形成一個交叉點，並通過顯示控制器42將立體圖像顯示在監視器13上。作為結果，如圖SC中所示，相關的立體圖像除了顯示在面部區域列表中之外還顯示在分割屏幕中。否則，如圖8A中的屏幕可能會顯示在監視器13上。在S21，CPU 26指示視差調整部件63執行視差調整，將屏幕中心設置為基準。視差調整部件63調整右和左圖像數據的視差量，使得在屏幕中心形成一個交叉點，並通過顯示控制器42將立體圖像顯示在監視器13上。在S22，CPU 26判斷屏幕分割的數量為具有對應關係的面部區域的總數N。CPU 26指示將具有對應關係的各個面部區域從右和左圖像數據中裁剪出，然後，對各個裁剪出的面部區域進行視差調整後將其顯示在上述數量的相互獨立的分割屏幕中。視差調整部件63調整右和左圖像數據的視差量，使得各分割屏幕中的各個面部區域形成一個交叉點，並通過顯示控制器42將各個分割屏幕中的各個面部區域的立體圖像顯示在監視器13上。作為結果，如圖SB中的屏幕顯示在監視器13上。在S23，CPU 26通過操縱部件接受是否結束處理的選擇。如果是，處理結束，如果不是，流程返回SI I。此外，如上面所描述，存在這樣的可能，從右和左圖像數據中裁剪出面部區域後執行視差調整時，由於裁剪出的圖像數據之間的公共區域的減少導致立體顯示區域的減少。因此，在S22，優選的是，對右和左圖像數據的每個面部區域執行視差調整，並且將視差調整後的各個面部區域從右和左圖像數據中裁剪出，用於顯示在各個分割屏幕上。圖8A至圖8D示出了根據該處理的顯示實例。如圖8A中所示，當整個圖像顯示在監視器13的整個顯示區域中時，執行視差調整，將主要面部區域設置為基準(S19)。此外，當沒有從列表中選擇任何面部區域時，也可以執行與此類似的顯示。此外，如圖8B中所示，當各個面部區域都被裁剪出並且各個面部區域都被顯示在分割屏幕中時，調整各個分割屏幕的視差，將各個面部區域的視差設置為基準(S22)。此外，如圖SC中所示，當多個單獨面部以列表顯示在分割屏幕中時，整個圖像顯示在監視器13的整個的一個剩餘分割屏幕中(S20)。該列表的視差調整的執行可類似於分割屏幕的情況。此外，如圖8D中所示，當從列表中選擇了某個特定面部區域時，進行了視差調整從而將從列表中所選擇的面部區域設置為基準的面部區域除了在列表中顯示之外還在剩餘分割屏幕中顯示(S15至S17)。當上面的處理中選擇了「分割顯示」時，對從屏幕分割獲得的各單獨顯示平面中的每個面部進行視差調整。可顯示沒有任何面部具有重像以及自然的並且對眼睛負荷較小的立體圖像，並改善了多屏幕中的可視性。當在上面的處理中選擇了 「索引顯示」時，如圖SC或圖8D中，一個大屏幕和多個小屏幕組合顯示。這裡，2D和3D顯示選擇性地用於各個分割屏幕。這樣，可更有效地展示高度關注的屏幕。〈第三實施例〉圖9示出了根據本發明的第三實施例的顯示處理的流程圖。該處理由CPU 26控制。使得CPU 26執行該處理的程序存儲在計算機可讀記錄介質中，如ROM 61中。該處理是在上述的面部區域的位置信息和視差以圖像數據的附加信息的形式存儲之後執行的。該處理還可通過圖5中的顯示回放設備執行。S31至S37分別與SI至S7相同。在S38，CPU 26確定用戶選擇的面部區域是否出現在右和左圖像數據的中心附近。如果是，流程進入S40,如果不是,進入S39。在S39，CPU 26確定圖像中是否存在兩個或更多個面部區域。如果是，流程進入S42，如果不是，進入S41。S40 與 S35 相同。在S41，CPU 26從右和左圖像數據中裁剪出一個與監視器13的顯示區域的外觀相對應的區域，使得用戶所選擇的面部區域出現在圖像中心附近。隨後，CPU 26控制視差調·整部件63調整視差量，將裁剪區域中心設置為基準，並控制顯示控制器42以將相關的裁剪區域作為立體圖像顯示在監視器13上。在S42，CPU 26將右和左圖像中的裁剪框配置為具有預定的尺寸和長寬，使得用戶所選擇的面部區域以及其它面部區域出現在圖像中心附近。此外，CPU 26配置裁剪框的位置，使得用戶所選擇的面部區域包含在裁剪框內。CPU 26裁剪出裁剪框中的圖像的部分區域。隨後，CPU 26調整視差量，將裁剪區域中心設置為基準，並將相關裁剪區域作為立體圖像顯示在監視器13上。裁剪區域的尺寸小於監視器13的顯示區域的尺寸，例如，為監視器13的顯示區域的尺寸的70-50%。裁剪區域的縱橫比與監視器13的顯示區域的縱橫比相同。此外，如上面所描述，存在這樣的可能，即從右和左圖像數據中裁剪圖像後執行視差調整時，由於裁剪圖像數據之間的公共區域的減少導致立體顯示區域的減少。因此，在S42，優選的是，對右和左圖像數據執行視差調整，將裁剪框的中心設置為基準，並且視差調整後將裁剪框中的區域從右和左圖像數據中裁剪出來，以用於顯示。圖IOA至圖IOC示出了根據該處理的顯示實例。如圖IOA中所示，當顯示整個圖像時，執行視差調整，將主要面部區域設置為基準(S37)。如圖IOB中所示，當所選擇的面部區域(這裡為面部D)未出現在屏幕的中心附近時，如圖IOC所示，則調整裁剪框的位置，使得用戶所選擇的面部區域D和其它面部區域A、B、D出現在圖像中心附近，S卩，使得面部區域D包含在圖中的虛線所包圍的區域內。通常，圖像在圖像拍攝時以構圖(composition)形式回放，但是，如果圖像包含面部信息，有時需要不改變整體環境的情況下的特定面部的特寫。在這種情況中，視差和視角可自動調整，使得所選擇的面部和其它多個面部在一定程度上出現在視角的中心附近，並且所選擇的面部包含在視角內。由此，用戶可容易地識別所顯示的面部區域中的哪個是視差匹配的面部區域，並且所選擇的面部和其它多個面部的可視性都得到提高。根據上述各實施例的立體圖像顯示設備和立體圖像顯示方法適用於具有顯示立體圖像功能的立體圖像顯示設備或圖像拍攝設備，並可作為引發上述處理的計算機可讀程序、存儲該程序的記錄介質等等來提供。{參考符號列表}42 :顯示控制器，49 :視差檢測部件，63 :視差調整部件，64 :面部識別部件，66 :面部對應確定部件
權利要求
1.一種立體圖像顯示設備，包括 視差信息獲取部件，其獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差息; 顯示方法選擇部件，其選擇所述多個面部區域的顯示方法； 面部區域選擇部件，其基於顯示方法選擇部件所選擇的顯示方法，從所述多個面部區域中選擇一個特定面部區域； 視差調整部件，其基於面部區域選擇部件所選擇的特定面部區域的視差信息，調整視點圖像中的該特定面部區域的視差量；以及 顯示控制器，其基於其中通過視差調整部件調整了特定面部區域的視差量的視點圖像來將立體圖像顯示在預定的顯示設備上。
2.如權利要求I的立體圖像顯示設備，其中 顯示方法選擇部件從所述多個面部區域中選擇出任意一個面部區域並選擇顯示所選擇的面部區域的顯示方法， 面部區域選擇部件基於選擇操作從所述多個面部區域中選擇出任意一個面部區域，以及 視差調整部件基於所選擇的面部區域的視差信息，調整視點圖像中的所選擇的面部區域的視差量。
3.如權利要求2的立體圖像顯示設備，其中 面部區域選擇部件從以列表顯示在顯示設備上的多個面部區域中選擇出任意一個面部區域。
4.如權利要求I至3中任一項的立體圖像顯示設備，其中 顯示方法選擇部件順序地從所述多個面部區域中選擇出任意一個面部區域，並順序地且分別地選擇用於顯示順序選擇的面部區域的顯示方法， 面部區域選擇部件順序地從所述多個面部區域中選擇出任意一個面部區域， 視差調整部件基於順序選擇的面部區域的視差信息，對順序選擇的面部區域的視差量進行調整，以及 顯示控制器順序地顯示調整了視差量的面部區域。
5.如權利要求I至3中任一項的立體圖像顯示設備，其中 顯示方法選擇部件選擇用於將各個面部區域分別顯示在各個分割屏幕中的顯示方法，面部區域選擇部件從所述多個面部區域中選擇顯示在各個分割屏幕中的面部區域，並且包括裁剪部件，該裁剪部件從視點圖像中裁剪出面部區域選擇部件所選擇的各個面部區域， 視差調整部件基於顯示在各個分割屏幕中的各個面部區域的視差信息，對裁剪部件所裁剪的各個面部區域的視差量進行調整，並且 顯示控制器將調整了視差量的各個面部區域顯示在各個分割屏幕中。
6.如權利要求I至3中任一項的立體圖像顯示設備，其中 顯示方法選擇部件從所述多個面部區域中選擇出任意一個面部區域並選擇顯示所述多個面部區域的顯示方法，使得這些面部區域全部包含在一個預定的視角範圍內，並將所選擇的面部區域設置為基準，面部區域選擇部件從所述多個面部區域中選擇任意一個面部區域，並且包括裁剪部件，該裁剪部件用於在視點圖像中配置其中所述多個面部區域全部包含在一個預定的視角範圍內的裁剪範圍、將所選擇的面部區域設置為基準、以及從視點圖像中裁剪出裁剪範圍內的圖像， 視差調整部件基於所選面部區域的視差信息調整視點圖像中通過裁剪部件裁剪出的所選面部區域的視差量，以及 顯示控制器對調整了視差量的裁剪圖像進行顯示。
7.如權利要求I至3中的任一項的立體圖像顯示設備，其中顯示方法選擇部件選擇用於將各個面部區域分別顯示在各個分割屏幕中的顯示方法，面部區域選擇部件從所述多個面部區域中選擇顯示在各個分割屏幕中的面部區域，視差調整部件基於顯示在各個分割屏幕中的各個面部區域的視差信息，對顯示在各個分割屏幕中的各個面部區域的視差量進行調整，並且包括裁剪部件，該裁剪部件從調整了各個面部區域的視差量的視點圖像中裁剪出面部區域選擇部件所選擇的各面部區域，以及顯示控制器將裁剪部件所裁剪出的各個面部區域的視點圖像顯示在各個分割屏幕中。
8.如權利要求I至3中的任一項的立體圖像顯示設備，其中 顯示方法選擇部件從所述多個面部區域中選擇出任意一個面部區域並選擇顯示面部區域的顯示方法，使得這些面部區域全部包含在一個預定的視角範圍內，並將所選擇的面部區域設置為基準， 面部區域選擇部件從所述多個面部區域中選擇任意一個面部區域， 視差調整部件基於所選面部區域的視差信息來調整視點圖像中的由面部區域選擇部件所選擇的所選面部區域的視差量，並且包括裁剪部件，該裁剪部件在視點圖像中配置其中所述多個面部區域全部包含在一個預定的視角範圍內的裁剪範圍、將所選面部區域設置為基準、以及從視點圖像中裁剪出裁剪範圍內的圖像，以及 顯示控制器對裁剪部件從視點圖像中裁剪出的裁剪圖像進行顯示。
9.一種立體圖像顯示方法，包括通過計算機執行的如下步驟 獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息； 選擇所述多個面部區域的顯示方法； 根據所選的顯示方法，從所述多個面部區域中選擇一個特定面部區域； 基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及 基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。
10.一種立體圖像顯示程序，其使計算機實現如下功能 獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息； 選擇所述多個面部區域的顯示方法； 根據所選的顯示方法，從所述多個面部區域中選擇一個特定面部區域； 基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及 基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。
11.一種計算機可讀記錄介質，當處理器讀取並執行存儲於記錄介質中的命令時，處理器執行如下步驟 獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息； 選擇所述多個面部區域的顯示方法； 根據所選的顯示方法，從所述多個面部區域中選擇一個特定面部區域； 基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；以及 基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。
全文摘要
公開了一種立體圖像顯示方法，其包括以下步驟通過計算機獲取出現在不同視點圖像中的多個面部區域的每個面部區域的視差信息；選擇多個面部區域的顯示方法；根據所選的顯示方法，從多個面部區域中選擇一個特定面部區域；基於所選擇的特定面部區域的視差信息，調整視點圖像中的特定面部區域的視差量；基於調整了其中的特定面部區域的視差量的視點圖像將立體圖像顯示在預定的顯示設備上。
文檔編號H04N13/02GK102948157SQ20118003111
公開日2013年2月27日 申請日期2011年5月24日 優先權日2010年6月22日
發明者櫻武仁史 申請人:富士膠片株式會社