三維圖像處理裝置和三維圖像處理方法

2023-04-28 06:31:56

專利名稱：三維圖像處理裝置和三維圖像處理方法
技術領域：
本文描述的實施方式主要涉及三維圖像處理裝置和三維圖像處理方法。
背景技術：
近年來，已經開發並發布了通過其可觀看三維圖像的圖像處理器(下文中，稱作三維圖像處理器)。一些三維圖像處理器採用集成成像方式(也稱為集成攝影方式)和視差障柵方式(parallax barrier system),在所述集成成像方式中，具有視差(多視點圖像)的多個圖像的像素被分離地設置在一個圖像(在下文中，稱作合成圖像)中，且使用雙凸透鏡等控制來自構成上述合成圖像的像素的光束軌跡，以使觀看者感知三維圖像，而在所述視差障柵方式中，狹縫形成在一個板上以限制圖像的視野(vision)。在所述集成成像方式和視差障柵方式中，通過控制光束的軌跡，可以移動圖像可被識別為三維體的區域(在下文中，簡稱為視域)的位置。為此，已經提出了傳統的三維圖像處理器包括照相機，檢測來自由照相機成像的圖像的面部，並控制光束的軌跡，以便視域形成於所檢測的面部的位置處 。

發明內容
本發明涉及一種三維圖像處理裝置，包括成像模塊，被配置為對包括顯示器前方的區域進行成像，所述顯示器被配置為顯示三維圖像；檢測模塊，被配置為從由成像模塊成像的圖像中檢測面部；以及控制器，被配置為將由檢測模塊檢測的面部從用於形成視域的目標中排除，所述視域為三維圖像能夠被識別為三維體的區域。本發明進一步涉及一種三維圖像處理裝置，包括成像模塊，被配置為對包括顯示器前方的區域進行成像，所述顯示器被配置為顯示三維圖像；檢測模塊，被配置為從由成像模塊成像的圖像中檢測面部；以及選擇模塊，被配置為允許將由檢測模塊檢測的面部從用於形成視域的目標中排除，所述視域為三維圖像能夠被識別為三維體的區域。本發明還涉及一種三維圖像處理方法，包括從其上對包括顯示器的前方的區域進行了成像的圖像中檢測面部，所述顯示器顯示三維圖像；以及將所述檢測的面部從用於形成視域的目標中排除，所述視域為所述三維圖像能夠被識別為三維體的區域。


圖1是根據實施方式的三維圖像處理器的結構圖。圖2是示出根據實施方式的三維圖像處理器的視域的示圖。圖3是示出顯示在顯示屏上的圖像的一個實例的示圖。
圖4至圖6是示出根據實施方式的三維圖像處理器的操作的流程圖。
具體實施例方式
在下文中，將參照附圖來說明實施方式。(實施方式)根據實施方式的三維圖像處理器(三維圖像處理裝置)包括成像模塊，被配置為對包括顯示器前方的區域進行成像，所述顯示器被配置為顯示三維圖像；檢測模塊，被配置為從由成像模塊成像的圖像中檢測面部；以及控制器，被配置為將由所述檢測模塊檢測的面部從用於形成視域的目標中排除，其中，所述視域為三維圖像能夠被識別為三維體的視域。(三維圖像處理裝置100的結構)圖1是根據實施方式的三維圖像處理裝置100的結構圖(在下文中，稱作三維圖像處理器100)。根據實施方式的三維圖像處理器100包括調諧器101-103、PSK(相移鍵控)解調器104、0FDM (正交頻分多路復用)解調器105、模擬解調器106、信號處理模塊107、圖形處理模塊108、0SD (屏上顯不)信號生成模塊109、聲音處理模塊110、揚聲器111、圖像處理模塊112、顯示器113、控制器114、操作模塊115 (操作接收模塊)、光接收模塊116 (操作接收模塊)、終端117、通信I/F(接口)118以及相機模塊119 (成像模塊、面部檢測模塊以及位置計算模塊)。首先，將說明三維圖像處理器100的略述，圖2是示出顯示在三維圖像處理器100的顯示器上的圖像可被識別為三維體的區域(在下文中，均被簡稱為視域)的示圖。圖2中的虛線表示照相機119a的成像範圍的邊界。三維圖像處理器100例如為數位電視。三維圖像處理器100通過集成成像方式對觀看者呈現三維圖像，在所述集成成像方式中，在一個圖像(下文中，稱作合成圖像)中分離地設置具有視差(多視點圖像)的多個圖像的像素，並使用雙凸透鏡等控制來自構成上述合成圖像的像素的光束軌跡以使觀看者感知三維圖像。如圖2所示，在三維圖像處理器100中，形成多個視域304a至304e。在集成成像方式中，通過由雙凸透鏡控制光束軌跡，可將上述視域304a至304e的位置相對於三維圖像處理器100進行前後左右移動。然而，在集成成像方式中，多個視域304a至304e的位置不能單獨地移動。為此，當不同於用戶的面部(特定面部)的面部,例如,諸如海報、壁畫、動物面部等的面部照片被後述的相機模塊119錯誤地檢測時，則會引起以下風險，S卩，形成了匹配被錯誤地檢測的上述面部的位置的視域，但是沒有為本來應該為其形成視域的用戶形成視域。因此，根據實施方式的三維圖像處理器100被配置為使用戶可以設置是否將通過後述的相機模塊檢測的面部從用於視域形成的目標中排除。此外，三維圖像處理器100還建議將在預定的時間段(例如，幾小時)內其位置沒有改變的面部從用於視域形成的目標中排除，因為其很可能是已經錯誤地檢測到了諸如海報等的面部照片。此外，三維圖像處理器100存儲了預先登記的動物等的面部特徵並將所檢測的面部的特徵點與所存儲的面部特徵進行比較，從而執行更加具體的面部識別，且在當比較結果超過了特定閾值的情況下，三維圖像處理器100建議將所檢測的面部從用於視域形成的目標中排除。注意的是，在圖2中，示出了視域的數量是五個的情況，但是視域的數量不限於五個。(各個元件的細節)調諧器101基於來自控制器114的控制信號從由用於接收BS/CS數字廣播的天線I接收的衛星數位電視廣播中選擇所需頻道的廣播信號。調諧器101將所選的廣播信號輸出至PSK解調器104。PSK解調器104基於來自控制器114的控制信號解調從調諧器101輸入的廣播信號， 並將解調的廣播信號輸出至信號處理模塊107。調諧器102基於來自控制器114的控制信號從由用於接收地面廣播的天線2接收的地面數位電視廣播信號中選擇所需頻道的數字廣播信號。調諧器102將所選擇的數字廣播信號輸出至OFDM解調器105。OFDM解調器105基於來自控制器114的控制信號解調從調諧器102輸入的數字廣播信號並將解調的數字廣播信號輸出至信號處理模塊107。調諧器103基於來自控制器114的控制信號從由用於接收地面廣播的天線2接收的地面模擬電視廣播信號中選擇所需頻道的模擬廣播信號。調諧器103將所選擇的模擬廣播信號輸出至模擬解調器106。模擬解調器106基於來自控制器114的控制信號解調從調諧器103輸入的模擬廣播信號並將所解調的模擬廣播信號輸出至信號處理模塊107。信號處理模塊107根據從PSK解調器104、OFDM解調器105和模擬解調器106輸入的解調的廣播信號生成圖像信號和聲音信號。信號處理模塊107將圖像信號輸出至圖形處理模塊108,並將聲音信號輸出至聲音處理模塊110。OSD信號生成模塊109基於來自控制器114的控制信號生成OSD信號，並將OSD信號輸出至圖形處理模塊108。圖形處理模塊108根據基於來自控制器114的控制信號而從信號處理模塊107輸出的圖像信號生成對應於兩個視差或九個視差的多個圖像數據(多視點圖像數據)。圖形處理模塊108在一個圖像中分離地設置所生成的多視點圖像的像素，以將圖像轉換為具有兩個視差或九個視差的合成圖像。圖形處理模塊108將由OSD信號生成模塊109生成的OSD信號輸出至圖像處理模塊112。圖像處理模塊112將由圖形處理模塊108轉換的合成圖像轉換為可在顯示器113上顯示的格式。圖像處理模塊112將轉換的合成圖像輸出至顯示器113，以使其顯示三維圖像。圖像處理模塊112將輸入OSD信號轉換為可在顯示器113上顯示的格式。圖像處理模塊112將轉換的OSD信號輸出至顯示器113，以使其顯示對應於OSD信號的圖像。顯示器113是用於顯示集成成像方式(其包括用於控制來自像素的光束軌跡的雙凸透鏡)的三維圖形的顯示器。聲音處理模塊110將輸入聲音信號轉換為可由揚聲器111再生的格式。聲音處理模塊110將所轉換的聲音信號輸出至揚聲器111,以使其再生出聲音。在操作模塊115上，設置了用於操作三維圖像處理器100的多個操作鍵(例如，光標鍵、確定(OK)鍵、BACK(返回)鍵以及色彩鍵(紅、綠、黃和藍))。用戶按下上述操作鍵，對應於所按下的鍵的操作信號由此被輸出至控制器114。光接收模塊116接收從遙控器3(在下文中，稱為控制器3)發射的紅外信號。在控制器3上，設置了用於操作三維圖像處理器100的多個操作鍵(例如，光標鍵、確定(OK)鍵、BACK(返回)鍵、色彩鍵(紅、綠、黃和藍))。用戶按下上述操作鍵，由此發出對應於所按下的操作鍵的紅外信號。光接收模塊116接收從控制器3發出的紅外信號。光接收模塊116將對應於所接收的紅外信號的操作信號輸出至控制器114。用戶可以使三維圖像處理器100執行各種操作並通過操作上述操作模塊115或控制器3來設置三維圖像處理器100的功能。例如，用戶可設置三維圖像處理器100的視差數量、自動追蹤、排除登記/解除以及自動排除。(視差數量的設置)對於視差數量的設置，用戶可選擇是否來觀看具有兩個視差或九個視差的三維圖像。由用戶所選的視差數量的設置存儲在後述的控制器114的非易失性存儲器114c中。上述視差數量(兩個視差或九個視差)為一個實例，也可採用視差的其它數量(例如，四個視差或六個視差)。

(自動追蹤的設置)對於自動追蹤的設置,用戶可設置是否接通(ON)或關閉(OFF)自動追蹤。當自動追蹤的設置處於ON時，則視域自動地形成在由相機模塊119檢測的面部(從用於後述視域形成的目標中排除的面部被從中排除)的位置處。當自動追蹤的設置處於ON時，由相機模塊119每隔預定的時間段(例如，幾十秒至幾分鐘)檢測面部，視域形成在上述檢測的面部(從用於後述視域形成的目標中排除的面部被從中排除)的位置處。在自動追蹤的設置處於OFF的情況下，當用戶操作操作模塊115或控制器3來指示視域的形成時，視域形成在由相機模塊119檢測的面部(從用於後述的視域形成的目標中排除的面部被從中排除)的位置處。如下執行視域的形成。例如，當期望在顯示器113的前後方向上移動視域時，通過增加或減小顯示圖像和雙凸透鏡的開口部分的孔徑來在顯示器113的前後方向上移動視域。當雙凸透鏡的開口部分的孔徑增加時，視域移動至顯示器113的後面。當雙凸透鏡的開口部分的孔徑減小時，視域移動至顯示器113的前方。當期望在顯示器113的左右方向上移動視域時，通過將顯示圖像移動至右邊和左邊，視域在顯示器113的右左方向上移動。通過將顯示圖像移位至左邊，視域移動至顯示器113的左側。通過將顯示圖像移位至右邊，視域移動至顯示器113的右側。(排除登記/解除的設置)對於排除登記/解除的設置，可以設置是否將由相機模塊119檢測的面部從用於視域形成的目標中排除。當所檢測的面部被登記為用於排除的目標時，在自動追蹤的設置處於ON或用戶指示視域的形成的情況下，將所檢測的面部從用於形成視域的目標中排除。可解除所檢測的面部作為用於排除的目標的登記。當登記被解除時，所檢測的面部不會從用於視域形成的目標中被排除。即，所檢測的面部變為用於視域形成的目標。將在後面參照圖3來描述上述排除登記/解除的操作。(自動排除的設置)對於自動排除的設置，可以設置是否將由控制器114建議排除的面部從用於視域形成的目標中自動排除。當自動排除的設置處於ON時，由後述的控制器114建議排除的面部從用於視域形成的目標中被自動排除。當建議排除的面部已經從用於視域形成的目標中被自動排除時，通知用戶已經排除了該面部，當自動排除的設置處於OFF時，通知用戶是否將由後述的控制器114建議排除的面部從用於視域形成的目標中排除。用戶操作操作模塊115或控制器3來確定是否將建議排除的面部從用於視域形成的目標中排除。終端117是用於連接外部終端(例如，USB存儲器、DVD存儲和再生裝置、Internet伺服器或PC)的USB終端、LAN終端、HDMI終端、iLINK終端等。通信I/F118是與連接至終端117的上述外部終端的進行通信的接口。通信I/F118轉換控制器114和上述外部終端之間控制信號和數據格式等。相機模塊119設置在三維圖像處理器110的下前側(lower front side)或上前側(upper front side)。相機模塊119包括相機119a(成像模塊)、面部檢測模塊119b (面部檢測模塊)、非易失性存儲器119c以及位置計算模塊119d(位置計算模塊)。相機119a例如為CMOS (互補金屬氧化物半導體)圖像傳感器或CCD (電荷耦合器件)圖像傳感器。相機119a對包括三維圖像處理器100前方的區域進行成像。面部檢測模塊119b根據由相機119a成像的圖像檢測面部。面部檢測模塊119b為所檢測的面部提供唯一的編號(識別數據)。對於上述面部檢測，可以使用已知的方法。例如，可以將面部識別的算法大致分為直接幾何比較可視特徵的方法和統計地將圖像數位化並將數值與模板進行比較的方法。在該實施方式中，每一種算法都可用於檢測面部。位置計算模塊119d計算由面部檢測模塊11%檢測的面部的位置坐標。對於用戶的位置坐標的上述計算，可使用已知的方法。例如，也可基於由面部檢測模塊11%檢測的面部的右眼和左眼之間的距離以及從所成像的圖像的中心至面部中心(右眼和左眼之間的中間)的坐標來計算其面部已經被檢測的用戶的位置坐標。根據面部的從右眼至左眼的距離，可以計算從相機119a至用戶的距離。通常，人的右眼和左眼之間的距離約為65mm，所以如果得到右眼和左眼之間的距離，則可計算從相機119a至所檢測的面部的距離 。此外，根據成像的圖像中的面部的位置和上述計算的距離，可計算所檢測的面部在上下方向和左右方向(χ-y平面)上的位置。位置計算模塊119d對所計算的位置坐標上的數據提供與由面部檢測模塊11%提供的ID同樣的ID。位置坐標僅需被識別為三維坐標數據，且也可通過任何一個一般已知的坐標系(例如，正交坐標系、極坐標系和球坐標系)來表達。當已經檢測到面部時，相機模塊119將由位置計算模塊119d計算的位置坐標與由面部檢測模塊11%提供的ID —起輸出。注意的是，也可在控制器114中進行面部檢測和所檢測的面部的位置坐標的計算。控制器114包括R0M(只讀存儲器)114a、RAM(隨機存取存儲器)114b、非易失性存儲器114c和CPU 114d。在ROM 114a中，存儲由CPU 114d執行的控制程序。RAM 114b用作CPU 114d的工作區。在非易失性存儲器114c中，存儲各種設置信息(例如，上述視差數量、追蹤、排除登記/解除以及自動排除的設置)、視域信息、動物的面部特徵等。視域信息為在被形成為三維坐標數據的實際空間中的視域的分布。兩個視差和九個視差的視域信息存儲在非易失性存儲器114c中。控制器114控制三維圖像處理器100。具體地，控制器114基於從操作模塊115和光接收模塊116輸入的操作信號以及存儲在非易失性存儲器114c中的設置信息來控制三維圖像處理器100的操作。在下文中，將描述控制器114的典型功能。(視差數量的控制)當存儲在非易失性存儲器114c中的視差數量為兩個(視差)時，控制器114指示圖形處理模塊108根據從信號處理模塊107輸出的圖像信號生成兩個視差的圖像數據。當存儲在非易失性存儲器114c中的視差數量為九個(視差)時，控制器114指示圖形處理模塊108根據從信號處理模塊107輸出的圖像信號生成九個視差的圖像數據。(追蹤的控制)當存儲在非易失性存儲器114c中的自動追蹤處於ON時，控制器114控制來自顯示器113的像素的光束軌跡，使得視域形成在由相機模塊109每隔預定的時間段(例如，幾十秒至幾分鐘)而檢測的面部(從用於視域形成的目標中排除的面部被從中排除)的位置處。在存儲於非易失性存儲器114c中的自動追蹤處於OFF的情況下，當用戶操作操作模塊115或控制器3以指示視域的形成時，控制器114控制來自顯示器113的像素的光束軌跡，從而使得視域形成在由相機模塊119檢測的面部(從用於視域形成的目標中排除的面部被從中排除)位置處。控制器114控制雙凸透鏡，使得將成為視域形成的目標的所有面部位於視域中。然而，當作為用於視域形成的目標的所有面部沒有位於視域中時，控制器114控制雙凸透鏡，從而使得沒有位於視域中的面部數量最小化。當存在沒有位於視域中的面部時，控制器114使顯示器113顯示存在沒有位於視域中的面部，以通知用戶。(排除建議的檢測)控制器114根據由相機模塊119檢測的面部檢測被優選認為從用於視域形成的目標中排除的面部。控制器114將其位置在預定的時間段(例如，幾小時)沒有改變的面部以及已經通過與預先存儲在非易失性存儲器114c中的動物面部特徵相比較的結果判斷不是人的面部的面部檢測作為相對於視域信息的排除建議。控制器114通過使用置於其中的計時器114e來測量所述時間段。

當自動排除的設置處於ON時，控制器114自動將檢測作為排除建議的面部從用於視域形成的目標中排除。當自動排除的設置處於OFF時，控制器114通知用戶是否將將檢測作為排除建議的面部從用於視域形成的目標中排除。用戶操作操作模塊115或控制器3來確定是否將建議排除的面部從用於視域形成的目標中排除。(排除登記/解除畫面的顯示)當排除建議已經由控制器114檢測到時，或者操作模塊115或控制器3上的藍色鍵已經由用戶按下時，控制器114指示OSD信號生成模塊109生成顯示如圖3中所示的圖像的OSD信號。OSD信號生成模塊109生成的OSD信號如圖3中所示的圖像那樣顯示在顯示器113上。在該實施方式中，藍色鍵被分配了顯示如圖3所示的圖像的操作，但是也可分配不同的操作鍵。也可以是菜單畫面顯示在顯示器113上，在上述菜單畫面上選擇排除登記/解除畫面，隨後按下確定鍵，從而使圖3中示出的圖像顯示在顯示器113上。圖3是顯示在顯示器113上的圖像示圖。如圖3中所示,顯示框301至304顯示在顯示器113上。在下文中，將說明顯示在各自顯示框301至304中的圖像。(顯不框(displayframe) 301)在顯示框301中，顯示了排除登記的說明和用戶在用戶可以將圖像識別為三維體的區域(即，視域)內部觀看三維圖像而所要求的事項。(顯示框3O2)在顯示框302中，顯示了通過相機模塊119的相機119a成像的圖像。用戶可以根據顯示在顯示框302中的圖像來檢查面部的定向和位置，並檢查面部是否已經實際被檢測等。所檢測的面部由方框環繞。在框的上部分，顯示了已經由相機模塊119的面部檢測模塊11%提供的ID (該實施方式中的字母)。(排除登記/解除的設置)用戶可以通過操作操作模塊115或控制器3來設置是否將所檢測的面部從用於視域形成的目標中排除。用戶操作光標鍵以從顯示在顯示框302中的圖像選擇用戶設置為排除的目標的面部或用戶解除登記為排除目標的面部。當用戶操作光標鍵時，在顯示框302中，當前被選擇的環繞面部的框為高亮的(例如，框以閃爍的方式顯示，或框醒目地顯示)。用戶選擇用戶設置為排除的目標的面部或用戶解除登記為排除目標的面部，隨後按下確定鍵。每次用戶按下確定鍵時，所選面部的排除登記和排除登記的解除(在下文中，稱作排除解除)交替(循環)改變。即，如果設置為排除登記，則通過按下確定鍵，設置改變為排除解除。如果設置是排除解除，則通過按下確定鍵，設置改變為排除登記。顯示框302中顯示的框根據由框所環繞的面部的設置狀態(在下文中，稱作狀態)發生顏色變化。在以下表I中，示出了顯示框302中顯示的框的顏色和狀態之間的關係。[表 1]
權利要求
1.一種三維圖像處理裝置，包括 成像模塊，被配置為對包括顯示器前方的區域進行成像，所述顯示器被配置為顯示三維圖像； 檢測模塊，被配置為從由所述成像模塊成像的圖像中檢測面部；以及 控制器，被配置為將由所述檢測模塊檢測的面部從用於形成視域的目標中排除，所述視域為所述三維圖像能夠被識別為三維體的區域。
2.根據權利要求1所述的裝置，其中， 當接收到用來將由所述檢測模塊檢測的面部從用於形成所述視域的目標中排除的信號時，所述控制器將已經變為排除目標的面部從用於形成所述視域的目標中排除。
3.根據權利要求1所述的裝置，其中， 當由所述檢測模塊檢測的面部對應於特定面部時，所述控制器將對應於所述特定面部的面部從用於形成所述視域的目標中排除。
4.根據權利要求1所述的裝置，其中， 當接收到用來解除所述排除的信號時，所述控制器將已經從用於形成所述視域的目標中排除的所述面部設置為用於形成所述視域的目標。
5.根據權利要求2所述的裝置，還包括被配置為存儲所述特定面部的特徵的存儲器，其中， 所述控制器根據由所述檢測模塊檢測的所述面部的特徵與存儲在所述存儲器中的面部的特徵之間的比較來判斷由所述檢測模塊檢測的面部是否對應於所述特定面部。
6.根據權利要求3所述的裝置，其中， 所述控制器將由所述檢測模塊檢測的且其位置在預定的時間段內沒有改變的面部作為特定面部從用於形成所述視域的目標中排除。
7.根據權利要求1所述的裝置，其中， 所述控制器通知由所述檢測模塊檢測的且其位置在預定的時間段內沒有改變的面部。
8.根據權利要求1所述的裝置，其中， 當所述控制器已經將所述面部從用於形成所述視域的目標中排除時，所述控制器通知用戶已經排除了所述面部。
9.根據權利要求1所述的裝置，還包括被配置為計算由所述檢測模塊檢測的面部的位置的位置計算模塊， 其中，所述控制器根據所述面部是否已經從用於所述視域的所述目標中排除來控制所述顯示器以不同的顯示形式來顯示位置信息，所述位置信息表示所述面部在示出所述視域的第一圖像上的計算出的位置。
10.根據權利要求1所述的裝置，其中，所述控制器根據所述面部是否已經從用於所述視域的所述目標中排除，來控制所述顯示器以不同的顯示形式顯示由所述成像模塊成像的圖像。
11.一種三維圖像處理裝置，包括 成像模塊，被配置為對包括顯示器前方的區域進行成像，所述顯示器被配置為顯示三維圖像； 檢測模塊，被配置為從由所述成像模塊成像的圖像中檢測面部；以及選擇模塊，被配置為允許將由所述檢測模塊檢測的面部從用於形成視域的目標中排除，所述視域為所述三維圖像能夠被識別為三維體的區域。
12.—種三維圖像處理方法，包括 從其上對包括顯示器的前方的區域進行了成像的圖像中檢測面部，所述顯示器顯示三維圖像；以及 將所檢測的面部從用於形成視域的目標中排除，所述視域為所述三維圖像能夠被識別為三維體的區域。
全文摘要
本發明涉及三維圖像處理裝置和三維圖像處理方法。在一個實施方式中，三維圖像處理裝置包括成像模塊，被配置為對包括顯示器前方的區域進行成像，所述顯示器被配置為顯示三維圖像；檢測模塊，被配置為檢測從由所述成像模塊成像的圖像中檢測的面部；以及控制器，被配置為將由所述檢測模塊檢測的面部從用於形成視域的目標中排除，所述視域為三維圖像能夠被識別為三維體的區域。
文檔編號H04N13/04GK103037230SQ20121011727
公開日2013年4月10日 申請日期2012年4月19日 優先權日2011年9月30日
發明者桑原一貴 申請人:株式會社東芝