用於在終端中提供圖像的設備和方法
2023-05-15 22:19:06 1
用於在終端中提供圖像的設備和方法
【專利摘要】本發明提供了一種用於在終端中提供圖像的設備和方法，所述設備和方法允許用戶根據他或她的凝視位置和距離來感受終端上的圖像的透視性。所述設備包括：相機模塊，用於捕獲臉部圖像；控制器，用於通過根據從由相機模塊捕獲的臉部圖像提取的兩個眼睛圖像的位置的改變重新布置構成圖像的多個屏幕層來顯示圖像。
【專利說明】用於在終端中提供圖像的設備和方法
【技術領域】
[0001]本發明涉及一種用於在終端中調整提供的圖像的設備和方法。更具體地講，本發明涉及一種用於允許用戶根據他或她的凝視位置和距離來感受終端上的圖像的透視性的圖像提供設備和方法。
【背景技術】
[0002]近年，三維(3D)圖像處理技術已被用於包括教育、培訓、健康、電影、計算機遊戲等的各種領域中。因為3D圖像相對於二維(2D)圖像可表現更好的存在感、真實感和自然感，所以3D圖像處理技術正被用於這樣的多元化領域中。
[0003]已經進行了用於實現3D圖像顯示裝置的許多研究。對於3D圖像顯示裝置的實現，這樣的裝置需要諸如輸入技術、處理技術、發送技術、顯示技術、軟體技術等的各種技術。具體地講，對顯示技術、數字圖像處理技術、計算機圖形技術和人類視覺系統的研究是必要的。
[0004]根據現有技術的3D圖像顯示裝置可被分類為立體顯示裝置和自動立體顯示裝置。立體顯示裝置可被亞分類為基於色彩分離的顯示裝置、基於偏振眼鏡的顯示裝置以及基於液晶快門的顯示裝置，其中，基於色彩分離的顯示裝置允許用戶使用不同波長的光利用有色眼鏡查看圖像；基於偏振眼鏡的顯示裝置使用不同振動方向的光；基於液晶快門的顯示裝置允許用戶以時分方式分別查看左眼圖像和右眼圖像。
[0005]自動立體3D顯示裝置以分別提供左眼圖像和右眼圖像的方式向用戶提供3D立體圖像，從而用戶可在不佩戴3D眼鏡的情況下查看3D立體圖像。根據現有技術的3D立體圖像提供技術可通過在檢測到用戶的頭部或臉部圖像的位置的改變時識別視點的改變並根據用戶的凝視方向旋轉或重新布置顯示在顯示器上的圖像，來向用戶提供生動的立體圖像。
[0006]然而，由於遠視點和近視點不同地響應於用戶的凝視位置，因此簡單根據用戶的凝視方向的顯示圖像的旋轉可能無法確保用戶可猶如他或她觀看真實世界場景一樣感受圖像的透視性的3D效果。
[0007]因此，存在對用於允許用戶根據他或她的凝視位置和距離來感受終端上的圖像的透視性的圖像提供設備和方法的需要。
[0008]以上信息被呈現作為背景信息，僅幫助理解本公開。關於以上內容中的任意內容是否可用作關於本發明的現有技術，沒做確定，並且沒做斷定。
【發明內容】
[0009]本發明的各方面在於至少解決上面提到的問題和/或缺點並至少提供下面描述的優點。因此，本發明的一方面在於提供一種用於允許用戶根據他或她的凝視位置和距離來感受終端上的圖像的透視性的圖像提供設備和方法。
[0010]根據本發明的一方面，提供一種用於在終端中提供圖像的設備。所述設備包括:相機模塊，用於捕獲臉部圖像；控制器，用於通過根據從由相機模塊捕獲的臉部圖像提取的兩個眼睛圖像的位置的改變重新布置構成圖像的多個屏幕層來顯示圖像。
[0011]根據本發明的另一方面，提供一種用於在終端中提供圖像的方法。所述方法包括:從由相機模塊捕獲的臉部圖像提取兩個眼睛圖像；通過根據提取的兩個眼睛圖像的位置的改變重新布置構成圖像的多個屏幕層來顯示圖像。
[0012]從以下結合附圖進行的公開了本發明的示例性實施例的詳細描述中，本發明的其他方面、優點和顯著特點對本領域的技術人員而言將變得顯然。
【專利附圖】
【附圖說明】
[0013]通過下面結合附圖進行的描述，本發明的特定示例性實施例的以上和其他方面、特點和優點將更加清楚，其中:
[0014]圖1示出根據本發明的示例性實施例的終端的結構；
[0015]圖2A和圖2B示出根據本發明的示例性實施例的在終端中提供圖像的處理；
[0016]圖3A和圖3B示出根據本發明的示例性實施例的用於在處理(諸如例如圖2A和圖2B的處理)中將眼睛圖像映射在三維(3D)空間中的分量；
[0017]圖4示出根據本發明的示例性實施例的在處理(諸如例如圖2A和圖2B的處理)中映射眼睛圖像的3D空間；
[0018]圖5A和圖5B示出根據本發明的示例性實施例的在3D空間(例如，圖4的3D空間)中被左右和上下移動的眼睛圖像的位置；
[0019]圖6示出根據本發明的示例性實施例的在處理(諸如例如圖2A和圖2B的處理)中的多個屏幕層；
[0020]圖7示出根據本發明的示例性實施例的在處理(諸如例如圖2A和圖2B的處理)中構成圖像的多個屏幕層在它們的相關參考位置處被重新布置的操作；
[0021]圖8示出根據本發明的示例性實施例的通過在處理(諸如例如圖2A和圖2B的處理)中根據用戶的兩個眼睛圖像之間的距離的改變而改變多個屏幕層的位置來顯示透視圖像的操作；
[0022]圖9示出根據本發明的示例性實施例的根據構成圖像的多個屏幕層的移動而在終端上顯示的圖像。
[0023]貫穿附圖，應注意的是，相同的標號用於描繪相同或相似的元件、特徵和結構。【具體實施方式】
[0024]提供以下參照附圖的描述來幫助全面理解由權利要求及其等同物限定的本發明的示例性實施例。以下描述包括各種特定細節以幫助理解，但是這些特定細節應被視為僅是示例性的。因此，本領域的普通技術人員將認識到，在不脫離本發明的範圍和精神的情況下，可對在此描述的實施例進行各種改變和修改。另外，為了清楚和簡明，可省略對公知功能和構造的描述。
[0025]在以下描述和權利要求中使用的術語和詞語不限於字面意義，而僅由發明人用來使本發明能夠得到清楚和一致的理解。因此，本領域的技術人員應清楚的是，提供以下對本發明的示例性實施例的描述僅為了說明的目的，而不是為了限制由權利要求及其等同物限定的本發明的目的。
[0026]應理解的是，除非上下文另外明確地指示，否則單數形式包括複數指示物。因此，例如，對「組件表面」的提及包括對一個或多個這種表面的提及。
[0027]現在，將參照附圖詳細描述本發明的示例性實施例。貫穿附圖，相同的附圖標號將被理解為指示相同的元件、特徵和結構。
[0028]對本發明的示例性實施例可用的終端可包括移動終端和固定終端兩者。作為用戶可容易攜帶的移動電子裝置的移動終端可包括視頻電話、行動電話、智慧型電話、國際移動電信2000 (IMT-2000)終端、寬帶碼分多址(WCDMA)終端、通用移動電信服務(UMTS)終端、個人數字助理(PDA)、可攜式多媒體播放器(PMP)、數字多媒體廣播(DMB)終端、電子書、可攜式計算機(例如，筆記本計算機、平板計算機等)、數字相機等。固定終端可包括桌面計算機、個人計算機(PC)等。
[0029]圖1示出根據本發明的示例性實施例的終端的結構。
[0030]參照圖1，所述終端包括控制器110、數據處理器120、射頻(RF)單元123、音頻處理器125、鍵輸入單元127、存儲器130、相機模塊140、圖像處理器150、顯示器160和臉部圖像提取器170。RF單元123負責終端的無線通信。RF單元123包括用於對發送信號的頻率進行上變換並對上變換的發送信號進行放大的RF發送器以及用於對接收信號進行低噪聲放大並對放大的接收信號的頻率進行下變換的RF接收器。數據處理器120包括用於對發送信號進行編碼和調製的發送器以及用於對接收信號進行解調和解碼的接收器。換言之，數據處理器120可包括調製器/解調器(例如，數據機)和編碼器/解碼器(例如，編解碼器)。編解碼器包括用於處理數據信號(諸如包數據)的數據編解碼器以及用於處理音頻信號(諸如語音)的音頻編解碼器。音頻處理器125播放從數據處理器120中的音頻編解碼器輸出的接收音頻信號，並將由麥克風拾取的發送音頻信號發送到數據處理器120中的音頻編解碼器。
[0031]鍵輸入單元127包括用於輸入字母數字信息的字母數字鍵以及用於設置終端的各種功能的功能鍵。作為示例，鍵輸入單元127可以是觸控螢幕。
[0032]存儲器130可包括程序存儲器和數據存儲器。程序存儲器可存儲用於控制終端的整體操作的程序、以及用於根據本發明的示例性實施例的通過根據用戶的眼睛圖像的位置的改變重新布置多個屏幕層來顯示透視圖像的程序。數據存儲器可臨時存儲在程序的執行期間產生的數據。
[0033]根據本發明的示例性實施例，存儲器130存儲多個圖像，並且每個圖像包括多個屏幕層，其中，預先按順序對所述多個屏幕層的深度進行不同的設置。所述多個屏幕層中的所有或一些可被配置為透明，從而當所述多個屏幕層互相重疊時，屏幕層可顯示單個圖像。
[0034]控制器110控制終端的整體操作。
[0035]根據本發明的示例性實施例，控制器110可通過根據眼睛圖像的位置的改變重新布置構成一個圖像的多個屏幕層來顯示透視圖像，其中，所述眼睛圖像是從由相機模塊140捕獲的臉部圖像提取的。
[0036]控制器110可從由相機模塊140捕獲的臉部圖像提取兩個眼睛圖像，計算並測量提取的兩個眼睛圖像之間的距離，並且將測量的兩個眼睛圖像之間的距離設置為兩個眼睛圖像之間的參考距離Em根據本發明的示例性實施例，控制器110可如相應於一個眼睛圖像的中心與另一眼睛圖像的中心之間的距離來計算兩個眼睛圖像之間的距離。
[0037]控制器110從存儲器130提取用戶與顯示器160的屏幕之間的預定距離Dtl，預定距離Dtl與兩個眼睛圖像之間的參考距離Etl相應。
[0038]通常，用戶在與用戶可觀看顯示器160的屏幕的距離相應的適當距離處開始查看圖像。在圖像提供模式下，控制器110可將由相機模塊140捕獲的兩個初始眼睛圖像的位置之間的距離(例如，通過圖像捕獲所提取的兩個眼睛圖像之間的距離)設置為兩個眼睛圖像之間的參考距離Em在通過初始圖像捕獲而設置兩個眼睛圖像之間的參考距離Etl之後，控制器110可從存儲器130提取相關預定距離Dtl，估計用戶位於用戶可觀看顯示器160的屏幕的適當距離處。
[0039]根據本發明的示例性實施例，在圖像提供模式下，控制器110可提供兩個眼睛圖像之間的預定參考距離Etl以及屏幕與用戶之間的相關距離Dtl,並且兩個眼睛圖像之間的參考距離Etl的中心與顯示器160的屏幕的中心相應。
[0040]在設置兩個眼睛圖像之間的參考距離Etl之後，控制器110可從由相機模塊140捕獲的臉部圖像提取兩個眼睛圖像，計算並測量提取的兩個眼睛圖像之間的距離En。控制器110可將測量的兩個眼睛圖像之間的距離En與兩個眼睛圖像之間的參考距離Etl進行比較，並且如果測量的距離EnF同於參考距離Etl,則提取用於將測量了其之間的距離En的兩個眼睛圖像映射在3D空間中的分量。
[0041]作為用於將兩個眼睛圖像映射在3D空間中的分量，控制器110可提取與測量的兩個眼睛圖像之間的距離應的屏幕與用戶之間的距離Dn，並提取從兩個眼睛圖像之間的參考距離Etl的中心％至測量的兩個眼睛圖像之間的距離En的中心\的左/右移動距離Wn和/或上/下移動距離Hn。
[0042]控制器110可計算測量的兩個眼睛圖像之間的距離En與兩個眼睛圖像之間的參考距離Etl之間的差，並通過將所述差應用於屏幕與用戶之間的距離Dtl來提取屏幕與用戶之間的距離Dn。
[0043]另外，控制器110可計算測量的兩個眼睛圖像之間的距離En與兩個眼睛圖像之間的參考距離Etl之間的差，並從存儲器130提取與所述差相應的距離值，作為屏幕與用戶之間的距離Dn。
[0044]在將測量的兩個眼睛圖像之間的距離En與兩個眼睛圖像之間的參考距離Etl進行比較之後，如果測量的距離En等於參考距離Etl，則控制器110可通過在構成圖像的多個屏幕層的預定參考位置處重新布置所述多個屏幕層來在顯示器160的屏幕上顯示圖像。
[0045]基於用於將兩個眼睛圖像映射在3D空間中的分量，控制器110將測量了其之間的距離En的兩個眼睛圖像映射在3D空間中，並將以下線設置為中心線Vm，所述線將在3D空間中在屏幕的背部設置的虛擬消失點V連接至兩個眼睛圖像之間的參考距離Etl的中心a。。
[0046]控制器110可根據以下等式(I)根據眼睛圖像相對於中心線Vm移動的位置來測量所述多個屏幕層中的每個的左右移動距離和/或上下移動距離。
[0047]
【權利要求】
1.一種用於在終端中提供圖像的設備，所述設備包括: 相機模塊，用於捕獲臉部圖像； 控制器，用於通過根據從由相機模塊捕獲的臉部圖像提取的兩個眼睛圖像的位置的改變重新布置構成圖像的多個屏幕層來顯示圖像。
2.根據權利要求1所述的設備，還包括: 臉部圖像提取器，用於從由相機模塊捕獲的對象提取臉部圖像，從臉部圖像提取兩個眼睛圖像，並將提取的圖像提供給控制器； 存儲器，用於存儲包括多個屏幕層的圖像，其中，按順序不同地設置了所述多個屏幕層的深度。
3.根據權利要求1所述的設備，其中，控制器測量從由相機模塊捕獲的臉部圖像提取的兩個眼睛圖像之間的距離，將測量的兩個眼睛圖像之間的距離設置為兩個眼睛圖像之間的參考距離Etl,並提取針對兩個眼睛圖像之間的參考距離Etl預先設置的屏幕與用戶之間的距離D0。
4.根據權利要求3所述的設備，其中，在設置兩個眼睛圖像之間的參考距離Etl之後，控制器測量在由相機模塊捕獲的臉部圖像中的兩個眼睛圖像之間的距離En，將測量的兩個眼睛圖像之間的距離En與兩個眼睛圖像之間的參考距離Etl進行比較，並且如果測量的距離En不同於參考距離Etl，則提取用於將測量了其之間的距離En的兩個眼睛圖像映射在三維(3D)空間中的分量。
5.根據權利要求4所述的設備，其中，用於將兩個眼睛圖像映射在3D空間中的分量包括:與測量的兩個眼睛圖像之間的距離應的屏幕與用戶之間的距離Dn、以及從兩個眼睛圖像之間的參考距離Etl的中心至測量的兩個眼睛圖像之間的距離En的中心an的左右移動距離Wn和上下移動距離Hn。
6.根據權利要求5所述的設備，其中，控制器根據測量的兩個眼睛圖像之間的距離En與兩個眼睛圖像之間的參考距離Etl之間的差，提取與測量的兩個眼睛圖像之間的距離Ejf應的屏幕與用戶之間的距離Dn。
7.根據權利要求4所述的設備，其中，控制器基於用於將兩個眼睛圖像映射在3D空間中的分量，將測量了其之間的距離En的兩個眼睛圖像映射在3D空間中。
8.根據權利要求7所述的設備，其中，當兩個眼睛圖像被映射在3D空間中時，控制器將如下線設置為中心線Vm，所述線將在3D空間中在屏幕的背部設置的虛擬消失點V連接至兩個眼睛圖像之間的參考距離Etl的中心a。。
9.根據權利要求8所述的設備，其中，控制器根據以下等式根據兩個眼睛圖像相對於中心線Vm移動的位置來測量所述多個屏幕層中的每個的左右移動距離和上下移動距離:
10.根據權利要求9所述的設備，其中，控制器通過根據兩個眼睛圖像相對於中心線Vm移動的位置在相關位置處重新布置測量了左右移動距離和上下移動距離的所述多個屏幕層來顯示圖像。
11.一種用於在終端中提供圖像的方法，所述方法包括: 從由相機模塊捕獲的臉部圖像提取兩個眼睛圖像； 通過根據提取的兩個眼睛圖像的位置的改變重新布置構成圖像的多個屏幕層來顯示圖像。
12.根據權利要求11所述的方法，其中，顯示圖像的步驟包括: 提取兩個眼睛圖像之間的參考距離Etl ； 提取針對兩個眼睛圖像之間的參考距離Etl預先設置的屏幕與用戶之間的距離Dtl ；將兩個眼睛圖像之間的參考距離Etl與在由相機模塊捕獲的臉部圖像中測量的兩個眼睛圖像之間的距離En進行比較； 如果測量的距離EnF同於參考距離Etl,則提取用於將測量了其之間的距離En的兩個眼睛圖像映射在三維(3D)空間中的分量； 基於用於將兩個眼睛圖像映射在3D空間中的分量，將測量了其之間的距離En的兩個眼睛圖像映射在3D空間中； 根據在3D空間中映射的兩個眼睛圖像的位置，測量所述多個屏幕層中的每個的移動距離； 通過在相關位置處重新布置測量了移動距離的所述多個屏幕層來顯示圖像。
13.根據權利要求12所述的方法，其中，提取距離Dtl的步驟包括: 測量從由相機模塊捕獲的臉部圖像提取的兩個眼睛圖像之間的距離； 將測量的兩個眼睛圖像之間的距離設置為兩個眼睛圖像之間的參考距離Etl ； 提取針對兩個眼睛圖像之間的參考距離Etl預先設置的屏幕與用戶之間的距離D。。
14.根據權利要求12所述的方法，其中，提取用於映射兩個眼睛圖像的分量的步驟包括: 提取與測量的兩個眼睛圖像之間的距離應的屏幕與用戶之間的距離Dn ； 提取從兩個眼睛圖像之間的參考距離Etl的中心％至測量的兩個眼睛圖像之間的距離En的中心an的左右移動距離Wn和上下移動距離Hn。
15.根據權利要求14所述的方法，其中，提取距離Dn的步驟包括:根據測量的兩個眼睛圖像之間的距離￡?與兩個眼睛圖像之間的參考距離Etl之間的差，提取與測量的兩個眼睛圖像之間的距離應的屏幕與用戶之間的距離Dn。
16.根據權利要求12所述的方法，其中，測量所述多個屏幕層中的每個的移動距離的步驟包括: 當兩個眼睛圖像被映射在3D空間中時，在3D空間中在屏幕的背部設置虛擬消失點V ； 將如下線設置為中心線Vm，所述線將虛擬消失點V連接至兩個眼睛圖像之間的參考距離Etl的中心aQ ； 根據兩個眼睛圖像相對於中心線Vm移動的位置來測量所述多個屏幕層中的每個的左右移動距離和上下移動距離。
17.根據權利要求16所述的方法，其中，根據以下等式實現對所述多個屏幕層中的每個的左右移動距離和上下移動距離的測量:
18.根據權利要求12所述的方法，其中，顯示圖像的步驟包括:通過在相關位置處重新布置測量了左右移動距離和上下移動距離的所述多個屏幕層來顯示圖像。
19.根據權利要求11所述的方法，其中，構成圖像的所述多個屏幕層的深度預先按順序被不同地設置。
【文檔編號】H04N5/232GK103458179SQ201310209861
【公開日】2013年12月18日 申請日期:2013年5月30日 優先權日:2012年5月30日
【發明者】李致勳, 姜志營, 樸美貞, 吳繐琪 申請人:三星電子株式會社