圖像處理設備和方法、以及程序的製作方法

2023-07-11 06:11:21

專利名稱：圖像處理設備和方法、以及程序的製作方法
技術領域：
本公開涉及圖像處理設備和方法、以及電腦程式產品，更具體地涉及可以允許在沒有觸摸顯示屏幕的情況下選擇和執行分配給圖標等的功能的圖像處理設備和方法、以及電腦程式產品。
背景技術：
根據現有技術，已經嘗試擴展⑶I (圖形用戶界面)功能。例如，作為採用圖標的GUI ，GUI顯示在觸控螢幕上，該觸控螢幕由顯示圖標等的諸如液晶面板的顯示面板和檢測用戶的手指的觸摸的觸摸面板一體地構成。在使用觸控螢幕的GUI中，當觸摸在觸控螢幕上顯示的圖標時，執行分配給該圖標的功能。另外，還提出了這樣的技術其中，檢測手指接近顯示屏幕，並且，對圖標進行放大顯示(例如，參見專利文獻I和專利文獻2)。引文列表專利文獻I JP-A-2006-236143專利文獻2 JP-A-2005-5187
發明內容
技術問題然而，在專利文獻I和專利文獻2中，為了選擇和執行分配給圖標的功能，必需觸摸在其上顯示圖標的顯示屏幕。如上所述，當用手指觸摸諸如液晶面板的顯示屏幕時，諸如皮脂的汙染物可以被附著到其上。另外，當對顯示屏幕強按壓多次時，液晶面板等可能會被損壞。另一方面，例如，在無需觸摸顯示屏幕而允許執行分配給圖標的功能的情況中，存在難以向用戶返回反饋的問題，通過向用戶返回反饋，用戶會清楚地地感覺到對圖標等的選擇。在這種情形下，希望在沒有觸摸顯示屏幕的情況下允許選擇和執行分配給圖標等的功能。解決問題的方案根據一個實施例，一種控制單元包括控制電路，該控制電路控制在顯示器上顯示的圖形用戶界面的一部分的深度顯示，當檢測到物體接近顯示器時，該控制電路改變該部分的顯示的深度。根據本實施例的一個方面，控制單元通過減少顯示的深度來改變顯示的深度。根據本實施例的另一個方面，所述一部分是在顯示器上顯示的圖標。根據本實施例的另一個方面，
圖標是用戶可選擇的圖標，並且，控制電路響應於檢測到物體處於離圖標的預定距離內而改變顯示的深度。根據本實施例的另一個方面，當檢測到物體處於顯示器的預定距離內時，控制電路將圖標從第一狀態改變為第二狀態，該第二狀態使得該圖標視覺上被感知在與第一狀態不同的距離處。根據本實施例的另一個方面，所述單元還包括
傳感器，該傳感器檢測物體何時與顯示器相距預定距離。根據本實施例的另一個方面，傳感器是作為顯示器的組成部分而被包括在內的靜電電容式傳感器。根據本實施例的另一個方面，所述單元還包括顯示器,該顯示器是3維顯示器。根據本實施例的另一個方面，3維顯示器包含左圖像和右圖像。根據本實施例的另一個方面，控制電路改變所述一部分的視差，以便在所述一部分的顯示深度上產生視覺上感知的變化。根據本實施例的另一個方面，圖形用戶界面的所述一部分是圖標，並且在物體與顯示器相距第一距離時，控制電路改變所述一部分的顯示的深度，並且當檢測到物體處於離顯示器的第二距離內時，控制電路執行與該圖標相關聯的功能，該第二距離小於第一距離。根據本實施例的另一個方面，當物體處於離顯示器的第二距離內時，控制電路改變圖標的顏色。根據本實施例的另一個方面，響應於檢測到物體處於第二距離內並觸發功能的執行，控制電路使得圖標逐漸地消失。根據方法實施例，一種方法包括在顯示器上顯示圖形用戶界面的一部分；檢測物體接近顯示器；用控制電路控制圖形用戶界面的所述一部分的深度顯示，該控制包括改變所述一部分的顯示的深度。根據本方法的一個方面，所述控制包括通過減少顯示的深度來改變顯示的深度。根據本方法的一個方面，所述一部分是顯示在顯示器上的圖標。根據本方法的一個方面，圖標是用戶可選擇的圖標，並且響應於檢測到物體處於離圖標的預定距離內，所述控制改變顯示的深度。根據本方法的一個方面，
所述控制包括當檢測到物體處於顯示器的預定距離內時將圖標從第一狀態改變為第二狀態，該第二狀態使得該圖標視覺上被感知在與第一狀態不同的距離處。根據本方法的一個方面，所述方法還包括用傳感器檢測物體何時與顯示器相距預定距離。根據非暫態計算機可讀存儲裝置實施例，存儲裝置具有當由處理電路執行時實現顯示控制方法的計算機可讀指令，該方法包括在顯示器上顯示圖形用戶界面的一部分；檢測物體接近顯示器；
用控制電路控制圖形用戶界面的所述一部分的深度顯示，該控制包括改變所述一部分的顯示的深度。有益效果根據本公開的實施例，可以在沒有觸摸顯示屏幕的情況下允許選擇和執行分配給圖標等的功能。


圖I是圖示產生3D圖像的方法的示圖。圖2是圖示顯示3D圖像的顯示器的配置例子的示圖。圖3是圖示在這樣的情況中的例子的示圖即，其中，通過被接通的視差屏障(parallax barrier)顯不圖像。圖4是圖示在這樣的情況中的例子的示圖即，其中，通過被斷開的視差屏障顯示圖像。圖5A和5B是圖示作為應用本公開的技術的圖像處理設備的實施例的成像設備的外觀配置例子的示圖。圖6是圖示在圖5A和5B中的成像設備的內部配置例子的框圖。圖7是圖示由CPU執行的軟體的功能配置例子的框圖。圖8是圖示在觸控螢幕上顯示的圖像的例子的示圖。圖9A和9B是圖示在選擇圖標的情況中的觸控螢幕的顯示屏幕中的轉變的示圖。圖IOA和IOB是圖示在選擇圖標的情況中的觸控螢幕的顯示屏幕中的轉變的示圖。圖IlA和IlB是圖示在選擇圖標的情況中的觸控螢幕的顯示屏幕中的轉變的示圖。圖12是圖示圖標選擇和顯示控制處理的例子的示圖。圖13是圖示圖標選擇和顯示控制處理的另一例子的示圖。圖14是圖示個人計算機的配置例子的框圖。圖15是圖示控制單元的配置例子的框圖。
具體實施例方式下文中將參照附圖描述本公開的實施例。在下面描述的實施例中，顯示3D圖像(3維地顯示的圖像)。因此，在描述本公開的實施例之前，將提供易於理解本公開的實施例的產生包括左眼圖像和右眼圖像的3D圖像的方法的概要。
圖I示出圖示產生3D圖像的方法的示圖。第一產生方法是使用設置有兩個透鏡的成像設備的方法。也就是說，在第一產生方法中，用戶以兩個透鏡設置在近似水平的方向上的方式保持成像設備，並且拍攝一次圖片。然後，在兩個透鏡中，左眼圖像的數據是由透射通過左側透鏡的光產生的，右眼圖像的數據是由透射通過右側透鏡的光產生的。另外，在不使用成像設備等的情況下，可以對應於通過CG(計算機製圖)產生的圖像來產生左眼圖像數據和右眼圖像數據。以這樣的方式產生的左眼圖像和右眼圖像中的每一個都包括在與成像設備的兩個透鏡之間的距離相對應地隔開的位置處的對應物體。這裡，左眼圖像和右眼圖像中的每一個中包含的對應物體的基本上水平的方 向上的布置位置之間的差(即，距離)被稱為視差。視差越大，三維地顯示的物體的深度變得越深。也就是說，不均勻度變得越強。因此，具有上述特性的視差可以用作確定三維地顯示的物體的不均勻度的參數。圖2示出圖示顯示上述3D圖像的顯示器的配置例子的示圖。在該同一圖中示出的顯示器是3D顯示器30，該3D顯示器通過稱為視差屏障系統的系統顯示3D圖像，並且，允許用戶通過用裸眼觀察3D顯示器30來感知三維地顯示的物體的不均勻度。如圖2所示，3D顯示器30包括顯示層31和視差屏障層32。在顯示層31中，對於水平方向上的每一個單位像素(一列)交替地顯示左眼圖像和右眼圖像。在該同一圖中，顯示左眼圖像的顯示層31的列用「L」指示，顯示右眼圖像的列「R」用「R」指示。視差屏障層32由具有與顯示層31上的圖像的周期性列相同的周期性列的格子型屏障形成，並且，該屏障的開口部分被設置為具有與顯示層31的一個圖像列的寬度相同的寬度。當用戶通過視差屏障層32從以預定距離隔開的位置觀看在顯示層31上顯示的圖像時，「L」和「R」圖像分開地呈示給用戶的左眼和右眼，從而出現視差。例如，如圖3所示，當用戶40通過視差屏障層32從以預定距離隔開的位置觀看在顯示層31上顯示的圖像時，由左眼圖像的列構成的圖像被呈示給用戶40的左眼，並且，由右眼圖像的列構成的圖像被呈示給用戶40的右眼。在該同一圖的例子中，由「Ll(表示第一左眼圖像)」、……、「Ln(表示第η左眼圖像)」、……、「LN(表示第N左眼圖像)」的每一個列構成的圖像被呈示給用戶40的左眼。另外，由「R1 (表示第一右眼圖像)」、……、「Rn (表示第η右眼圖像)」、……、「RN(表示第N右眼圖像)」的每一個列構成的圖像被呈示給用戶40的右眼。以這樣的方式，可以允許用戶40通過用裸眼觀察3D顯示器30來感知三維地顯示的物體的不均勻性。另外，通過視差屏障層32觀察的圖像可以表示顯示層31最初在水平方向上具有的解析度的一半。因此，3D顯示器30可以如圖3所示通過被接通的視差屏障來顯示圖像，並且可以如圖4所示通過被斷開的視差屏障來顯示圖像。圖4示出圖示這樣的例子的示圖即，其中，通過被斷開的視差屏障顯示圖像。在圖4中的例子的情況中，在顯示層31的每一列中顯示的圖像分別被呈示給用戶40的左眼和右眼。因此，在通過被斷開的視差屏障顯示圖像的情況中，在顯示層31的每一列中顯示被呈示給左眼和右眼兩個眼的圖像「LR1」、「LR2」、……，從而可以以顯示層31最初在水平方向上具有的解析度顯示該圖像。然而，在圖4的情況中，由於具有視差的圖像沒有被呈示給用戶，所以難以三維地顯示圖像，並且，只能執行二維顯示(2D顯示)。
以這樣的方式，3D顯示器30被配置為如圖3所示地3D顯示圖像或者如圖4所示地2D顯示圖像。圖5A和5B示出圖示作為應用本公開的技術的圖像處理設備的實施例的成像設備50的外觀配置例子的示圖。圖5A示出成像設備50的正面，圖5B示出其後面。例如，如圖5A所示，透鏡單元111被設置在成像設備50的正面的右側，該成像設備50被配置為數位照相機。透鏡單元111包括光學系統，例如，使從被攝體發出的光會聚的聚光透鏡、調整焦點的聚焦透鏡和光圈等(全部未示出)。透鏡單元111在成像設備50的電源接通時從成像設備50的殼體突出，並且，在電源斷開時被收納在成像設備50的殼體中。在圖5A中，透鏡單元111被收納在成像設 備50的殼體中。AF (自動聚焦)輔助光發射單元112被設置在成像設備50的正面的透鏡單元111的右上側。AF輔助光發射單元112在透鏡單元111的光學系統的光軸方向上發射光作為AF輔助光，從而照射被攝體。以這樣的方式，例如，所謂的自動聚焦功能操作，其中，即使在暗的地方，也捕獲被攝體的圖像，並且，基於該圖像使被攝體聚焦。閃光器(strobe) 113被設置在成像設備50的正面的中上側。在接通和斷開電源時操作的電源按鈕114被設置在當從正面側觀看時的成像設備50的頂面的右側，並且，在記錄捕獲的圖像時操作的快門按鈕(釋放按鈕)115被設置在當從正面側觀看時的成像設備50的頂面的左側。如圖5B中所示，變焦按鈕116被設置在成像設備50的後面的右上側。例如，當用戶通過使用成像設備50捕獲被攝體的圖像時，用戶在作出望遠攝影(Tele)的指示時按壓變焦按鈕116中的由「T」標記的部分(下文中被稱為T按鈕)。另一方面，用戶在作出廣角攝影(Wide)的指示時按壓變焦按鈕116中的由「W」標記的部分(下文中被稱為W按鈕)。另外，用戶可以通過保持T按鈕或W按鈕的按壓狀態來連續地作出望遠攝影(Tele)或廣角攝影(Wide)的指示。模式盤(mode dial) 117被設置在變焦按鈕116的下側。在選擇成像設備50的各種模式等時操作該模式盤117。作為成像設備50的操作模式，例如，可以例示對被攝體進行攝影的攝影模式、或者顯示作為對被攝體進行攝影的結果而獲得的攝影圖像的圖像顯示模式。另外，作為與在攝影模式的各種操作有關的模式，可以例示強制地接通或斷開閃光器113的發光的模式、使用自拍器的模式、在稍後描述的液晶面板120上顯示菜單屏幕的模式
坐寸ο操作按鈕118被設置在模式盤117的下側。當用戶執行預先分配的指示操作時，使用該操作按鈕118。例如，用戶操作操作按鈕118，從而移動菜單屏幕上的光標，並且，作為其結果，可以選擇處於光標的布置位置中的項目。觸控螢幕119包括一體地形成的液晶面板120和設置在液晶面板120上的接近面板121。觸控螢幕119通過液晶面板120顯示各種圖像，並且通過接近面板121接收用戶的操作。例如，液晶面板120被配置為具有與上面參照圖2至4描述的3D顯示器30的配置相同的配置的顯示器，並且，在必要的時候被配置為二維地或三維地顯示圖像。
接近面板121通過與靜電電容方法的觸控螢幕相同的方法來檢測靜電電容的變化，從而檢測到用戶的手指等與其接近。接近面板121檢測在面板上的預定位置處的靜電電容的變化，並且輸出指示用戶的手指等在該位置處的接近程度的信號。圖6示出圖示在圖5A和5B中的成像設備50的內部配置的框圖。另外，在圖6中，沒有繪出圖5A和5B中的AF輔助光發射單元112和閃光器113。CXD(電荷耦合器件)131根據從定時發生器(TG) 141供應的定時信號來操作。CXD131接收通過透鏡單元111入射的來自被攝體的光，執行光電轉換，並且將模擬圖像信號作為與接收到的光量相對應的電信號供應給模擬信號處理單元132。
模擬信號處理單元132根據CPU (中央處理單元)136的控制對從CXD 131供應的模擬圖像信號執行諸如放大的模擬信號處理等，並且，將作為模擬信號處理的結果而獲得的圖像信號供應給A/D (模擬/數字)轉換單元133。A/D轉換單元133根據CPU 136的控制對作為從模擬信號處理單元132供應的模擬信號的圖像信號執行A/D轉換，並且，將作為轉換結果而獲得的數位訊號的圖像數據供應給數位訊號處理單元134。根據CPU 136的控制，數位訊號處理單元134針對從A/D轉換單元133供應的圖像數據執行諸如噪聲去除的數位訊號處理，並且將處理之後的圖像數據供應給液晶面板120。以這樣的方式，在液晶面板120上顯示與供應的圖像(B卩，正被攝影時的攝影圖像(下文中被稱為通過透鏡的圖像))的數據相對應的圖像。另外，數位訊號處理單元134通過例如JPEG(聯合圖片專家組)方法等對從A/D轉換單元133供應的圖像數據進行壓縮和編碼，並且將作為其結果而獲得的壓縮的編碼數據供應給記錄裝置135以便記錄在其中。另外，數位訊號處理單元134對記錄在記錄裝置135中的壓縮的編碼數據進行解壓和解碼，並且將作為其結果而獲得的圖像數據供應給液晶面板120。以這樣的方式，在液晶面板120上顯示與供應的圖像(即，記錄的攝影圖像)的數據相對應的圖像。另外，數位訊號處理單元134根據CPU 136的控制來控制在液晶面板120上顯示的GUI (例如，稍後描述的菜單屏幕)的顯示。例如，記錄裝置135包括諸如DVD (數字多功能盤)的盤、諸如存儲器卡的半導體存儲器和其它的可移動記錄介質，並且被設置為容易地從成像設備50拆卸下來。在記錄裝置135中，記錄攝影圖像的數據。CPU 136執行在程序R0M(只讀存儲器)139中記錄的程序，控制構成成像設備50的每一個單元，並且，根據從接近面板121供應的信號或從操作單元137供應的信號執行各種處理。操作單元137由用戶操作，並且將與該操作相對應的信號供應給CPU 136。另外，操作單元137包括如圖5A和5B中所示的電源按鈕114、快門按鈕115、變焦按鈕116、模式盤117、操作按鈕118等。根據CPU 136的控制，除了給成像設備50設置的各種信息以外，EEPROM(電可擦除可編程ROM) 138還存儲即使在成像設備50的電源斷開時也必須保持的數據等。程序ROM 139存儲由CPU 136執行的程序和為了 CPU 136執行程序所需的數據。RAM(隨機存取存儲器)140臨時地存儲為了 CPU136執行各種處理所需的程序或數據。定時發生器141根據CPU 136的控制將定時信號供應給(XD131。CXD 131中的曝光時間(快門速度)等由從定時發生器141供應給CCD 131的定時信號控制。電機驅動器142根據CPU 136的控制驅動包括電機的致動器143。當致動器143被驅動時，透鏡單元111從成像設備50的殼體突出，或者被收納在成像設備50的殼體中。另外，當致動器143被驅動時，執行構成透鏡單元111的光圈的調整或者構成透鏡單元111的聚焦透鏡的移動。在如上所述地配置的成像設備50中，CXD 131接收通過透鏡單元111入射的來自被攝體的光，執行光電轉換，並且，輸出作為轉換的結果而獲得的模擬圖像信號。從CCD 131輸出的模擬圖像信號在通過模擬信號處理單元132和A/D轉換單元133時變成數位訊號的圖像數據，並且被供應給數位訊號處理單元134。數位訊號處理單元134將從A/D轉換單元133供 應的圖像數據供應給液晶面板120，並且作為其結果，在液晶面板120上顯示通過透鏡的圖像。當用戶操作快門按鈕115 (圖5A和5B)時，與該操作相對應的信號從操作單元137供應給CPU 136。當從操作單元137供應與快門按鈕115的操作相對應的信號時，CPU 136控制數位訊號處理單元134，以壓縮從A/D轉換單元133供應到數位訊號處理單元134的圖像數據，並且將作為壓縮的結果而獲得的壓縮圖像數據記錄在記錄裝置135中。以這樣的方式，執行所謂的攝影。另外，CPU 136執行預定的程序，並且產生3D圖像的圖像數據。在產生3D圖像的情況中，CPU 136設置視差d。在視差d被設置為具有大值的情況中，用具有視差的圖像顯示的物體的透視感(三維地顯示的物體的不均勻度)變大。例如，在視差d被設置為具有大值的情況中，在觀察屏幕的用戶的一側，物體看起來好像從屏幕大大地向前突出(或者，屏幕好像深深地引進去(draw))。另一方面，在視差d被設置為具有小值的情況中，用具有視差的圖像顯示的物體的透視感(三維地顯示的物體的不均勻度)變小。例如，在視差d被設置為具有小值的情況中，在觀察屏幕的用戶的一側，物體看起來好像與屏幕基本上齊平地呈示。CPU 136獲取作為3D圖像的產生的起源的圖像數據，設置其中顯示要三維地顯示的物體的要處理的區域，並且在要處理的區域的水平方向上的預定位置處設置基準點P。CPU 136產生與基準點P間隔對應於視差d確定的相同距離的左右區域的相應數據作為左眼圖像數據和右眼圖像數據。與以這樣的方式產生且具有視差d的左眼圖像數據和右眼圖像數據相對應的圖像被顯示在觸控螢幕119上，由此，用戶能夠觀察3D圖像。圖7示出圖示由CPU 136執行的程序等的軟體的功能配置例子的框圖。接近確定單元181基於從接近面板121輸出的接近檢測信號來確定用戶手指等相對於觸控螢幕119的接近程度。例如，當用戶的手指等接近觸控螢幕119直到離觸控螢幕119的距離變成小於預定的閾值時，接近確定單元181產生並輸出指示該情形的預定數據。另外，當接近觸控螢幕119的用戶的手指等遠離觸控螢幕119直到離觸控螢幕119的距離變成大於等於預定的閾值時，接近確定單元181產生並輸出指示該情形的數據。另外，在由接近確定單元181產生的數據中，包含指示用戶的手指等是否接近觸控螢幕119的一部分(接近面板121)的信息。視差調整單元182設置由3D圖像產生單元183產生的3D圖像的視差。例如，基於從接近確定單元181輸出的數據來指定用戶的手指等的接近程度，並且，基於接近程度來設置3D圖像的視差。例如，當指定用戶的手指接近小於第一閾值的距離的情況中，設置視差dl，並且，當指定用戶的手指接近小於第二閾值的距離的情況中，設置視差d2，其中，第二閾值小於第一閾值，視差d2大於視差dl。另外，視差調整單元182獲取作為3D圖像的產生的起源的圖像的數據(例如，稍後描述的菜單屏幕的圖像)，並且，指定顯示要三維地顯示的物體的要處理的區域。此時，例如，基於在從接近確定單元181輸出的數據中包含的且指示用戶的手指等是否接近觸控螢幕119的哪一部分的信息，指定要三維地顯示的物體(例如，在下面描述的菜單屏幕上顯示的圖標)。另外，例如，視差調整單元182在要三維地顯示的物體的中央位置處設置基準點P。
3D圖像產生單元183產生與上述基準點間隔對應於視差確定的相同距離的左右區域的相應數據作為左眼圖像數據和右眼圖像數據。以這樣的方式，產生3D圖像的數據。當基於從接近確定單元181輸出的數據來指定要三維地顯示的物體與用戶的手指等之間的接近程度時，選擇執行指示單元184基於該接近程度來確定選擇物體，並且給出用於執行對應於該物體的功能的指示。例如，確定選擇在下面描述的菜單屏幕上顯示的預定圖標，並且，給出用於執行對應於該圖標的功能的指示。圖8示出在觸控螢幕119上顯示的圖像的例子。圖8被視為當通過成像設備50中的上述模式盤117選擇例如顯示菜單屏幕的模式時顯示的菜單屏幕。在該菜單屏幕中，顯示各種圖標。例如，顯示被顯示為「簡單模式」的圖標201、被顯示為「微笑快門」(smile shutter)的圖標202、……、被顯示為「顯示設置」的圖標208。用戶使用手指來接近在觸控螢幕119上顯示的圖標，並且可以選擇期望的圖標。當選擇該圖標時，執行對應於該圖標的功能，或者，執行預定設置。例如，當用戶使用手指接近圖標207時，選擇該圖標，並且執行「臉部檢測」的功能。這裡，「臉部檢測」是這樣的功能，即，自動檢測作為與從CXD 131輸出的圖像信號相對應的圖像被拍攝的被攝體中的人的臉部，並且，執行自動聚焦，以使檢測到的臉部進一步聚焦。參照圖9A至11B，針對在用戶選擇圖標207的情況中的觸控螢幕119的顯示屏幕的轉變進行描述。圖9A示出圖示在用用戶眼睛觀察觸控螢幕119時獲得的圖像的例子的示圖。如圖9A所示，用戶通過使用手指221接近觸控螢幕119的顯示圖標207的一部分。此時，假設手指221沒有充分地接近觸控螢幕119。例如，假設手指221和觸控螢幕119之間的距離大於等於閾值Thl。圖9B示出當用戶從圖9A的左側方向觀看觸控螢幕119時獲得的示圖，該示示作為觀察觸控螢幕119的結果的、用戶感知的觸控螢幕119的圖標207與手指221之間的距離的虛擬感。另外，圖9B圖示用戶從3D圖像感知的透視感，然而，實際上，圖標207僅僅是在觸控螢幕119的表面上顯示的圖像(即，沒有厚度和深度的平面物品)。如圖9B所示，圖標207沒有從觸控螢幕119突出。也就是說，手指221和觸控螢幕119之間的距離大於等於閾值Thl，從而沒有產生具有視差的圖像，並且，從用戶看見的圖標207似乎位於觸控螢幕119的表面上。
圖IOA圖示在用用戶眼睛觀察觸控螢幕119時獲得的圖像的另一例子。如圖IOA所示，用戶通過使用手指221進一步接近觸控螢幕119的顯示圖標207的一部分。此時，例如，假設手指221和觸控螢幕119之間的距離小於閾值Thl且大於等於閾值Th2。圖IOB示出當用戶從圖IOA的左側方向觀看觸控螢幕119時獲得的示圖，該示示作為觀察觸控螢幕119的結果的、用戶感知的觸控螢幕119的圖標207與手指221之間的距離的虛擬感。另外，圖IOB圖示用戶從3D圖像感知的透視感，然而，實際上，圖標207僅僅是在觸控螢幕119的表面上顯示的圖像(即，沒有厚度和深度的平面物品)。如圖IOB所示，圖標207從觸控螢幕119突出，並且變得靠近手指221。也就是說，手指221和觸控螢幕119之間的距離小於閾值Thl，從而產生具有視差的圖像，並且，從用戶看見的圖標207看起來好像從觸控螢幕119突出。圖IlA圖示在用用戶眼睛觀察觸控螢幕119時獲得的圖像的另一例子。如圖IlA所示，用戶通過使用手指221進一步接近觸控螢幕119的顯示圖 標207的一部分。此時，例如，假設手指221和觸控螢幕119之間的距離小於閾值Th2。圖IlB示出當用戶從圖IlA的左側方向觀看觸控螢幕119時獲得的示圖，該示示作為觀察觸控螢幕119的結果的、用戶感知的觸控螢幕119的圖標207與手指221之間的距離的虛擬感。另外，圖IlB圖示用戶通過3D圖像感知的透視感，然而，實際上，圖標207僅僅是在觸控螢幕119的表面上顯示的圖像(即，沒有厚度和深度的平面物品)。如圖IlB所示，圖標207從觸控螢幕119突出，並且與手指221接觸。也就是說，手指221和觸控螢幕119之間的距離小於閾值Th2，從而產生具有更大的視差的圖像，並且，從用戶看見的圖標207看起來好像從觸控螢幕119進一步突出。另外，圖IOA和圖IlA中所示的圖標207可以被放大顯示。也就是說，當向用戶一側觀看時，與其它圖標相比，圖標207可以看起來好像從觸控螢幕119突出，並且同時圖標207看起來好像被放大了。以這樣的方式，可以允許用戶清楚地感覺到圖標207的選擇。當它達到了圖IlA和IlB中所示的狀態時，執行分配給圖標207的功能。也就是說，執行這樣的功能(臉部檢測)即，自動檢測作為與從CCD 131輸出的圖像信號相對應的圖像被拍攝的被攝體中的人的臉部，並且，執行自動聚焦，以使檢測到的臉部聚焦。另外，當執行分配給圖標207的功能時，例如，可以改變圖標207的顏色。另外，當執行分配給圖標207的功能時，例如，可以動畫顯示圖標207，以逐漸地消失(漸隱)。以這樣的方式，用戶可以清楚地感覺到圖標207的選擇。另外，以這樣的方式，可以向用戶反饋該圖標的選擇操作，使得可以允許用戶清楚地感覺到圖標207的選擇。另外，當三維地顯示菜單屏幕時，或者，當執行該圖標的功能時，可以輸出預定的聲首效果等。接下來，將參照圖12的流程圖描述由成像設備50執行的圖標選擇和顯示控制處理的例子。例如，當成像設備50通過觸控螢幕119接收用戶的操作時，執行該處理。在步驟S21中，CPU 136控制數位訊號處理單元134，並且在液晶面板120 (觸控螢幕119)上顯示菜單屏幕。例如，以這樣的方式，顯示上面參照圖8描述的菜單屏幕。在步驟S22中，接近確定單元181確定是否檢測到用戶的手指221的接近，並且，當確定手指221尚未接近時，本處理返回到步驟S21。例如，在圖9A和9B中所示的狀態的情況中，確定用戶的手指221尚未接近。當在步驟S22中確定檢測到用戶的手指221接近的情況中，本處理進入步驟S23。例如，在圖IOA和IOB中所示的狀態的情況中，確定檢測到用戶的手指221接近。例如，在手指221和觸控螢幕119之間的距離小於閾值Thl的情況中，確定檢測到用戶的手指221接近。在步驟S23中，視差調整單元182指定要三維地顯示的圖標。此時，例如，基於在從接近確定單元181輸出的數據中包含的且指示用戶的手指221接近觸控螢幕119的哪一部分的信息，指定要三維地顯示的圖標。另外，例如，基準點P被設置為要三維地顯示的圖標的中央位置。在步驟S24中，視差調整單元182指定觸控螢幕119和手指221之間的距離。例如，基於根據從接近確定單元181輸出的數據獲得的接近程度來指定觸控螢幕119和手指221之間的距離。 在步驟S25中，視差調整單元182設置由3D圖像產生單元183產生的3D圖像的視差。此時，例如，設置與在步驟S24中指定的距離相對應的視差。例如，當指定用戶的手指接近小於第一閾值的距離的情況中，設置視差dl，並且，當指定用戶的手指接近小於第二閾值的距離的情況中，設置視差d2，其中，第二閾值小於第一閾值，視差d2大於視差dl。在步驟S26中，基於在步驟S25中的處理中設置的視差和根據步驟S23中的處理設置的基準點，3D圖像產生單元183產生數據作為左眼圖像數據和右眼圖像數據。以這樣的方式，產生3D圖像數據。另外，基於該3D圖像數據，三維地顯示觸控螢幕119的菜單屏幕。在步驟S27中，視差調整單元182確定觸控螢幕119和手指221之間的距離是否改變，並且，在確定觸控螢幕119和手指221之間的距離不改變的情況中，本處理返回到步驟S26。在步驟S27中，在確定觸控螢幕119和手指221之間的距離改變的情況中，本處理進入步驟S28。在步驟S28中，視差調整單元182確定觸控螢幕119和手指221之間的距離是否充分小。例如,在觸控螢幕119和手指221之間的距離小於閾值Th2的情況中，在步驟S28中，確定觸控螢幕119和手指221之間的距離充分小。在步驟S28中，在確定觸控螢幕119和手指221之間的距離不是充分小的情況中，本處理返回到步驟S22。另一方面，在步驟S28中，在觸控螢幕119和手指221之間的距離充分小的情況中，本處理進入步驟S29。例如，在圖IlA和IlB中所示的狀態的情況中，在步驟S28中，確定觸控螢幕119和手指221之間的距離充分小。例如，在觸控螢幕119和手指221之間的距離小於閾值Th2的情況中，確定離用戶的手指221之間的距離充分小。在步驟S29中，視差調整單元182設置相對較大的視差作為由3D圖像產生單元183產生的3D圖像的視差。在步驟S30中，3D圖像產生單元183與在步驟S29的處理中設置的視差相對應地產生數據作為左眼圖像數據和右眼圖像數據。以這樣的方式，產生3D圖像數據，因此，三維地顯示觸控螢幕119的菜單屏幕。在步驟S31中，選擇執行指示單元184確定在步驟S23的步驟中指定的圖標的選擇。在步驟S32中，選擇執行指示單元184允許執行在步驟S31中確定其選擇的圖標的功能。此時，例如，如圖IlA和IB中所示，選擇圖標207，並且，執行這樣的功能(臉部檢測)即，自動檢測作為與從CCD 131輸出的圖像信號相對應的圖像被拍攝的被攝體中的人的臉部，並且，執行自動聚焦，以使檢測到的臉部聚焦。以這樣的方式，執行圖標選擇和顯示控制處理。以這樣的方式，例如，如上面參照圖9A至圖IlB所述，當用戶的手指221接近圖標207時，圖標207看起來好像從觸控螢幕119突出。另外，當用戶的手指221進一步接近圖標207時，圖標207看起來好像從觸控螢幕119進一步突出並與手指221接觸。因此，在手指221沒有接觸屏幕119的情況中，可以允許用戶清楚地感覺到圖標207的選擇和執行該圖標的功能的事實。 另外，在上述的例子中，當手指接近時，圖標被顯示為其看起來好像從觸控螢幕突出，但是，圖標也可以以其它的方式被顯示。例如，可以以這樣的方式執行顯示即，看起來好像在觸控螢幕的深度方向中陷入的圖標在手指接近圖標時看起來好像其升起來。要點在於，可以產生顯示數據，使得當手指接近圖標時，該圖標看起來好像其靠近手指。然而，在上面參照圖12描述的例子中，例如，在觸控螢幕119和手指221之間的距離小於閾值Thl的情況中，檢測到接近，並且，在該距離小於閾值Th2的情況中，確定圖標的選擇。也就是說，在兩個步驟中執行觸控螢幕119和手指221之間的距離的確定。然而，可以在三個以上的步驟中執行觸控螢幕119和手指221之間的距離的確定。以這樣的方式，可以執行真實的3D顯示。另外，可以使用單個閾值來執行觸控螢幕119和手指221之間的距離的確定。在這種情況下，圖標選擇和顯示控制可以相對較簡單。圖13示出圖示由成像設備50執行的圖標選擇和顯示控制處理的另一例子的流程圖。本處理是變得比圖12的圖標選擇和顯示控制處理簡單的處理。在步驟S51中，CPU 136控制數位訊號處理單元134，以在液晶面板120 (觸控螢幕119)上顯示菜單屏幕。在步驟S52中，接近確定單元181確定是否檢測到用戶的手指221的接近，並且，當確定手指221尚未接近時，本處理返回到步驟S51。例如，在圖9A和9B中所示的狀態的情況中，確定用戶的手指221尚未接近。當在步驟S52中確定檢測到用戶的手指221接近的情況中，本處理進入步驟S53。例如，在觸控螢幕119和手指211之間的距離小於閾值Thl的情況中，確定檢測到用戶的手指221接近。在步驟S53中，視差調整單元182執行要三維地顯示的圖標。此時，例如，基於在從接近確定單元181輸出的數據中包含的且指示用戶的手指221接近觸控螢幕119的哪一部分的信息，指定要三維地顯示的圖標。另外，例如，基準點P被設置為要三維地顯示的圖標的中央位置。在步驟S54中，視差調整單元182設置由3D圖像產生單元183產生的3D圖像的視差。此時，例如，設置預先確定的視差。在步驟S55中，基於在步驟S54中的處理中設置的視差和根據步驟S53中的處理設置的基準點，3D圖像產生單元183產生數據作為左眼圖像數據和右眼圖像數據。以這樣的方式，產生3D圖像數據。另外，基於該3D圖像數據，三維地顯示觸控螢幕119的菜單屏幕。在步驟S56中，選擇執行指示單元184確定在步驟S53的步驟中指定的圖標的選擇。在步驟S57中，選擇執行指示單元184允許執行在步驟S31中確定其選擇的圖標的功能。此時，例如，如圖IlA和IB中所示，選擇圖標207，並且，執行這樣的功能(臉部檢測)即，自動檢測作為與從CCD 131輸出的圖像信號相對應的圖像被拍攝的被攝體中的人的臉部，並且，執行自動聚焦，以使檢測到的臉部聚焦。以這樣的方式，可以執行圖標選擇和顯 示控制處理。在上文中，描述了本技術被應用於成像設備50的例子，但是，本技術可以被應用於除了成像設備以外的其它電子設備。本技術可以被應用於任意設備，只要執行使用觸控螢幕等的操作即可。另外，在上文中，描述了其中通過使用手指等來操作在觸控螢幕上顯示的圖標等的例子，但是，例如，本技術可以被應用於其中通過使用觸筆(stylus pen)等來操作在觸控螢幕上顯不的圖標等的情況。另外，在上文中，描述了其中在選擇在觸控螢幕上顯示的菜單屏幕中的圖標時執行3D顯示的例子，但是，本技術的應用不限於此。要點在於，只要在觸控螢幕等上顯示GUI部分並操作該GUI部分，就可以應用本技術。另外，在上文中，描述了其中通過具有採用了視差屏障系統的3D顯示器的觸控螢幕來執行3D顯示的例子，但是，即使在使用除視差屏障系統以外的系統來執行3D顯示的情況中，也可以應用本公開。例如，可以使用具有採用了微透鏡系統(lenticular system)的3D顯示器的觸控螢幕。另外，可以使用具有允許用戶佩戴特殊眼鏡來觀察它的3D顯示器的觸控螢幕，該3D顯示器不同於允許用戶用裸眼觀察它的3D顯示器。另外，上述的系列處理可以通過硬體或軟體來執行。在上述的系列處理通過軟體來執行的情況中，構成軟體的程序可以通過網絡或者從記錄介質被安裝在組裝有專用硬體的計算機或者例如圖14中所示的通用個人計算機700上，所述計算機可以通過安裝各種程序來執行各種功能。在圖14中，CPU(中央處理單元)701根據存儲於R0M(只讀存儲器)702中的程序或者從存儲單元708加載到RAM(隨機存取存儲器)703中的程序來執行各種處理。在RAM703中，適當地存儲由CPU 701執行各種處理所需的數據。CPU 70KROM 702和RAM 703通過總線704相互連接。另外，I/O接口 705連接到總線704。諸如鍵盤和滑鼠的輸入單元706、諸如IXD (液晶顯示器)的顯示器、諸如揚聲器的輸出單元707、諸如硬碟的存儲單元708、以及諸如數據機和包括LAN卡等的網絡接口卡的通信單元709連接到I/O接口 705。通信單元709通過包括網際網路的網絡執行通信處理。驅動器710在必要的時候連接到I/O接口 705，並且，適當地安裝諸如磁碟、光碟、磁光碟和半導體存儲器的可移動介質711，由此，在必要的時候，可以在存儲單元708中安裝從這些介質讀出的電腦程式。在通過軟體執行上述系列處理的情況中，構成該軟體的程序可以通過諸如網際網路的網絡或者諸如可移動介質711的記錄介質被安裝。另外，與圖14中所示的設備的主體分開的該記錄介質不僅可以由被分發用於向用戶傳送程序並記錄有程序的可移動介質711構成，而且可以由在被預先安裝到該設備的主體的狀態中被分發給用戶且記錄有程序的ROM 702或在存儲單元708中包含的硬碟等構成，可移動介質711包括磁碟(包括軟盤(註冊商標))、光碟(包括CD-ROM(壓縮盤-只讀存儲器)和DVD (數字多功能盤))、磁光碟(包括MD (迷你盤，Mini-Disc (註冊商標)))、半導體存儲器等。
接下來，參照圖15，圖示了一種控制單元500。該控制單元500包括顯示器501和控制電路503。顯示器501顯示圖形用戶界面的一部分。控制電路503控制所述圖形用戶界面的一部分的深度顯示並且在檢測到物體接近顯示器時改變所述一部分的顯示的深度。另外，控制單元500還可以包括傳感器502。傳感器502檢測物體何時與顯示器相距預定距離。控制電路503還可以包括接近檢測單元、部分指定單元以及圖像數據產生單元。接近檢測單元檢測操作⑶I部分的物體相對於顯示該⑶I部分的顯示單元是否接近。部分指定單元指定在物體接近的情況中操作的GUI部分。圖像數據產生單元產生控制顯示單元的深度顯示的圖像數據使得指定的GUI部分看起來靠近物體。另外，控制電路503還可以包括功能執行單元。功能執行單元在圖像數據產生單元產生圖像數據之後執行分配給指定的⑶I部分的功能。此外，控制電路503可以包括第一改變單元、第二改變單元、第三改變單元、第四改變單元、深度改變單元、功能執行單元、顏色改變單元和圖標淡出單元中的至少一個。第一改變單元通過減少顯示的深度來改變顯示的深度。第二改變單元響應於檢測到物體處於離圖標的預定距離內而改變顯示的深度。當檢測到物體處於顯示器的預定距離內時，第三改變單元將圖標從第一狀態改變為第二狀態，其中第二狀態使得該圖標視覺上被感知在與第一狀態不同的距離處。第四改變單元改變所述一部分的視差，以便在所述一部分的顯示深度上產生視覺上感知的變化。深度改變單元在物體與顯示器相距第一距離時改變所述一部分的顯示的深度。當檢測到物體處於離顯示器的第二距離內時，功能執行單元執行與圖標相關聯的功能，其中第二距離小於第一距離。當物體處於離顯示器的第二距離內時，顏色改變單元改變圖標的顏色。圖標淡出單元響應於檢測到物體處於第二距離內並觸發功能的執行使得圖標逐漸地消失。應該注意，本公開還可以採取下述配置。[I]一種圖像處理設備，包括接近檢測單元，其檢測操作⑶I部分的物體相對於顯示該⑶I部分的顯示單元是否接近；部分指定單元，該部分指定單元指定在物體接近的情況中操作的GUI部分；以及圖像數據產生單元，其產生控制顯示單元的深度顯示的圖像數據，使得指定的⑶I部分看起來靠近物體。
[2]根據[I]所述的圖像處理設備，其中，圖像數據產生單元根據物體相對於顯示單元的接近程度來產生控制顯示單元的深度顯示的圖像數據。[3]根據[2]所述的圖像處理設備，其中，將接近程度與預先設置的閾值進行比較，並且，與比較結果相對應地設置用於控制顯示單元的深度顯示的視差。
[4]根據[I]所述的圖像處理設備，其中，圖像數據產生單元產生圖像數據，使得指定的⑶I部分被放大顯示。[5]根據[I]所述的圖像處理設備，其中，圖像數據產生單元產生圖像數據，使得指定的GUI部分的顏色改變。[6]根據[I]所述的圖像處理設備，還包括功能執行單元，在圖像數據產生單元產生圖像數據之後，該功能執行單元執行分配給指定的GUI部分的功能。[7]根據[I]所述的圖像處理設備，其中，顯示器包括採用視差屏障系統的3D顯示器。[8]根據[I]所述的圖像處理設備，其中，接近檢測單元包括觸控螢幕。[9]根據[I]所述的圖像處理設備，其中，圖像數據產生單元通過基於與⑶I部分的顯示位置相對應的基準點產生具有預定視差的左眼圖像數據和右眼圖像數據來產生圖像數據。[10]一種顯示操作屏幕的方法，包括通過接近檢測單元,允許該接近檢測單元檢測操作GUI部分的物體相對於顯示該GUI部分的顯示單元是否接近；通過部分指定單元，允許該部分指定單元指定在物體接近的情況中操作的GUI部分；以及通過圖像數據產生單元，允許該圖像數據產生單元產生控制顯示單元的深度顯示的圖像數據，使得指定的GUI部分看起來靠近物體。[11]一種允許計算機充當圖像處理設備的程序，其中，圖像處理設備包括
接近檢測單元,其檢測操作⑶I部分的物體相對於顯示該⑶I部分的顯示單元是否接近；部分指定單元，其指定在物體接近的情況中操作的GUI部分；以及圖像數據產生單元，其產生控制顯示單元的深度顯示的圖像數據，使得指定的⑶I部分看起來靠近物體。另外，本說明書中的上述系列處理不僅包括根據描述的順序按時序執行的處理，而且包括並行地或分開地執行的處理，即使這些處理不必按時序執行。另外，本公開的實施例不限於上述實施例，並且，可以在不脫離本公開的範圍的情況下進行各種改變。 附圖標記列表50 :成像設備119:觸控螢幕120 :液晶面板121 :接近面板134 :數位訊號處理單元136 : CPU137 :操作單元138 :EEPROM139 :程序 ROM140 : RAM181 :接近確定單元182 :視差調整單元183 3D圖像產生單元184 :選擇執行單元201 至 208:圖標。
權利要求
1.一種控制單元，包括 控制電路，該控制電路控制在顯示器上顯示的圖形用戶界面的一部分的深度顯示，當檢測到物體接近顯示器時，所述控制電路改變所述一部分的顯示的深度。
2.根據權利要求I所述的控制單元，其中 控制電路通過減少顯示的深度來改變顯示的深度。
3.根據權利要求I所述的控制單元，其中 所述一部分是顯示在顯示器上的圖標。
4.根據權利要求3所述的控制單元，其中 圖標是用戶可選擇的圖標，並且，控制電路響應於檢測到物體處於離圖標的預定距離內而改變顯示的深度。
5.根據權利要求3所述的控制單元，其中 當檢測到物體處於顯示器的預定距離內時，控制電路將圖標從第一狀態改變為第二狀態，所述第二狀態使得該圖標視覺上被感知在與第一狀態不同的距離處。
6.根據權利要求I所述的控制單元，還包括 傳感器，該傳感器檢測物體何時與顯示器相距預定距離。
7.根據權利要求6所述的控制單元，其中 傳感器是作為所述顯示器的組成部分而被包括在內的靜電電容式傳感器。
8.根據權利要求I所述的控制單元，還包括 顯示器，所述顯示器是3維顯示器。
9.根據權利要求8所述的控制單元，其中 所述3維顯示器包含左圖像和右圖像。
10.根據權利要求I所述的控制單元，其中 控制電路改變所述一部分的視差，以便在所述一部分的顯示深度上產生視覺上感知的變化。
11.根據權利要求I所述的控制單元，其中 圖形用戶界面的所述一部分是圖標，以及 在物體與顯示器相距第一距離時，控制電路改變所述一部分的顯示的深度，並且當檢測到物體處於離顯示器的第二距離內時，控制電路執行與圖標相關聯的功能，所述第二距離小於第一距離。
12.根據權利要求11所述的控制單元，其中 當物體處於離顯示器的第二距離內時，控制電路改變圖標的顏色。
13.根據權利要求11所述的控制單元，其中 響應於檢測到物體處於第二距離內並觸發功能的執行，控制電路使得圖標逐漸地消失。
14.一種顯不控制方法,包括 在顯示器上顯示圖形用戶界面的一部分； 檢測物體接近顯示器； 用控制電路控制圖形用戶界面的所述一部分的深度顯示，所述控制包括改變所述一部分的顯示的深度。
15.根據權利要求14所述的顯示控制方法，其中 所述控制包括通過減少顯示的深度來改變顯示的深度。
16.根據權利要求14所述的顯示控制方法，其中 所述一部分是顯示在顯示器上的圖標。
17.根據權利要求16所述的顯示控制方法，其中 圖標是用戶可選擇的圖標，並且 響應於檢測到物體處於離圖標的預定距離內，所述控制改變顯示的深度。
18.根據權利要求16所述的顯示控制方法，其中 所述控制包括當檢測到物體處於顯示器的預定距離內時將圖標從第一狀態改變為第二狀態，所述第二狀態使得該圖標視覺上被感知在與第一狀態不同的距離處。
19.根據權利要求14所述的顯示控制方法，還包括 用傳感器檢測物體何時與顯示器相距預定距離。
20.一種非暫態計算機可讀存儲裝置，具有當由處理電路執行時實現顯示控制方法的計算機可讀指令，所述方法包括 在顯示器上顯示圖形用戶界面的一部分； 檢測物體接近顯示器； 用控制電路控制圖形用戶界面的所述一部分的深度顯示，所述控制包括改變所述一部分的顯示的深度。
全文摘要
本發明涉及圖像處理設備和方法、以及程序。一種控制單元、方法和電腦程式產品協作提供圖形用戶界面的至少一部分的顯示的可控制的深度。而且，控制單元包括控制電路，該控制電路控制作為圖形用戶界面的一部分的圖標的深度顯示，該圖標可以是用戶可選擇的圖標。當檢測到物體接近顯示器時，控制電路改變圖標的顯示的深度。以這樣的方式，當用戶與圖形用戶界面交互時，向用戶提供視覺的反饋。
文檔編號G06F3/041GK102685527SQ20121005259
公開日2012年9月19日 申請日期2012年3月2日 優先權日2011年3月9日
發明者中川舞子 申請人:索尼公司