圖像處理裝置及其方法和程序的製作方法
2023-10-06 15:15:44 5
圖像處理裝置及其方法和程序的製作方法
【專利摘要】一種設備可以包括硬體處理器和存儲介質。所述存儲介質可以耦合到所述處理器，並且可以存儲指令。當被所述處理器執行時，所述指令可以使得所述設備確定觀眾的數量。所述指令也可以使得所述設備基於觀眾的所述數量計算視點的數量。另外，所述指令可以使得所述設備產生與所述視點對應的多個圖像。
【專利說明】圖像處理裝置及其方法和程序
【技術領域】
[0001]本技術涉及圖像處理裝置及其方法和程序，並且具體地說涉及下述圖像處理裝置及其方法和程序，其中，當輸入作為輸入圖像的、具有兩個視點的無眼鏡三維立體圖像時，可以以與觀眾的數量對應的適當解析度來觀看多視點圖像。
【背景技術】
[0002]作為其中可以不使用特殊眼鏡來觀看立體圖像的無眼鏡圖像顯示裝置，公知視差屏障系統(例如，參見PTL1)或者柱狀透鏡系統(例如，參見PTL2)。
[0003]引用列表
[0004]專利文獻
[0005]PTL1:PTL1:日本未審查專利申請公報N0.7-5420
[0006]PTL2:日本未審查專利申請公報N0.5-49044
【發明內容】
[0007]技術問題
[0008]同時，在上述雙透鏡視差屏障系統或柱狀透鏡系統的兩種情況下，因為將像素劃分為右眼像素和左眼像素，並且分別顯示右眼圖像和左眼圖像，所以其解析度減半。因為這個原因，當它被配置來從多個視點被觀看以便對應於更多觀眾的觀看方向時，其解析度進一步降低。
[0009]然而，可能有其中例如與僅有一個觀眾無關並且當不必然需要來自多個視點的觀看時，單個觀眾通過使能從多個視點的觀看來以低解析度觀看圖像的情況。
[0010]本技術已經鑑於該情況而被作出，並且具體地說，用於使得能夠當輸入作為輸入圖像的具有兩個視點的無眼鏡三維立體圖像時，以與觀眾的數量對應的適當解析度來從多個視點觀看圖像。
[0011 ] 對於問題的解決方案
[0012]公開了一種設備，其可以包括硬體處理器和存儲介質。所述存儲介質可以耦合到所述處理器，並且可以存儲指令。當被所述處理器執行時，所述指令可以使得所述設備確定觀眾的數量。所述指令也可以使得所述設備基於觀眾的數量來計算視點的數量。另外，所述指令可以使得所述設備產生與所述視點對應的多個圖像。
[0013]也公開了一種方法。所述方法可以包括確定觀眾的數量。所述方法也可以包括基於觀眾的數量來計算視點的數量。另外，所述方法可以包括產生與所述視點對應的多個圖像。
[0014]另外，公開了一種用於存儲指令的永久計算機可讀存儲介質。當被處理器執行時，所述指令可以使得所述設備確定觀眾的數量。所述指令也可以使得所述設備基於觀眾的數量來計算視點的數量。另外，所述指令可以使得所述設備產生與所述視點對應的多個圖像。【專利附圖】
【附圖說明】
[0015]圖1是示出本技術被應用到的圖像處理裝置的第一實施例的配置示例的框圖。
[0016]圖2是描述根據在圖1中的圖像處理裝置的多視點圖像的顯示處理的流程圖。
[0017]圖3是描述多視點圖像的顯示處理的圖。
[0018]圖4是描述計算視差屏障的狹縫的間距的方法的圖。
[0019]圖5是示出圖像處理裝置的第二實施例的配置示例的框圖。
[0020]圖6是描述根據在圖5中的圖像處理裝置的多視點圖像的顯示處理的流程圖。
[0021]圖7是描述與觀眾的位置對應的多視點圖像的顯示處理的圖。
[0022]圖8是描述與觀眾的位置對應的多視點圖像的顯示示例的圖。
[0023]圖9是示出圖像處理裝置的第三實施例的配置示例的框圖。
[0024]圖10是描述根據在圖9中的圖像處理裝置的多視點圖像的顯示處理的流程圖。
[0025]圖11是描述通用個人計算機的配置示例的圖。
【具體實施方式】
[0026]以下，將描述用於體現本技術的實施例(以下稱為「實施例」)。另外，將以下面的順序來進行描述。
[0027]1.第一實施例(其中使用視差屏障的示例)
[0028]2.第二實施例(其中使用觀眾的位置信息的示例)
[0029]3.第三實施例(其中使用柱狀透鏡的示例)
[0030]
[0031]
[0032]圖1示出本技術被應用到的圖像處理裝置的第一實施例的配置示例。在圖1中的圖像處理裝置11顯示可以使用具有預定視差的裸眼被看作三維立體圖像的圖像，該圖像是右眼圖像和左眼圖像的輸入圖像，作為具有基於觀眾的數量的適當解析度的多視點圖像，並且該圖像處理裝置11是TV接收器等。
[0033]在圖1中的圖像處理裝置11包括成像單元(即，軟體模塊、硬體模塊或軟體模塊和硬體模塊的組合)21、面部圖像檢測單元22、觀眾數量檢測單元23、所需視點數量計算單元24、右眼圖像獲得單元25-1、左眼圖像獲得單元25-2、多視點圖像產生單元26和顯示單元27。
[0034]成像單元21在其中觀眾觀看被圖像處理裝置11顯示的圖像(即，觀眾圖像)的方向上捕獲圖像，並且向面部圖像檢測單元22供應該圖像。
[0035]面部圖像檢測單元22從所供應的圖像提取關於人體的面部輪廓或作為器官的眼睛、耳朵、鼻子或嘴部等的信息作為可檢測特徵量，指定為矩形面部圖像，並且將指定的面部圖像與捕獲的圖像一起供應到觀眾數量檢測單元23。
[0036]當獲得從面部圖像檢測單元22供應的面部圖像時，觀眾數量檢測單元23獲得所獲得的面部圖像的數量，將其檢測為觀眾的數量，並且向所需視點數量計算單元24供應作為檢測結果的觀眾的數量的信息。
[0037]所需視點數量計算單元24基於關於從觀眾數量檢測單元23供應的觀眾的數量的信息計算當配置多視點圖像時所需的所需視點的數量，並且向多視點圖像產生單元26和顯示單元27供應所需視點的數量。假定觀眾以固定間隔位於相對於顯示圖像的水平方向上。另外，為了使得觀眾能夠觀看三維立體圖像，對於每個觀眾分別設置左眼圖像和右眼圖像。另外，位於第一觀眾左側的第二觀眾使用第一觀眾的左眼圖像作為他本身的右眼圖像。而且，與此類似，位於第一觀眾右側的第三觀眾使用第一觀眾的右眼圖像作為他自己的左眼圖像。因此，例如，當觀眾是三個時，所需的視點的數量是4。
[0038]右眼圖像獲得單元25-1和左眼圖像獲得單元25-2分別獲得三維和立體的輸入的右眼圖像和左眼圖像，向多視點圖像產生單元26供應該圖像。
[0039]多視點圖像產生單元26基於關於從所需視點數量計算單元24供應的所需視點的數量的信息從自右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應的輸入的右眼圖像和左眼圖像產生多視點圖像，並且向顯示單元27供應該圖像。
[0040]更具體地,通過雙視點確定單元41、雙視點圖像輸出單元42、N視點圖像產生單元43和選擇輸出單元44來構成多視點圖像產生單元26。雙視點確定單元41確定從所需視點數量計算單元24供應的所需視點的數量是否是雙視點，並且向選擇輸出單元44供應確定結果。雙視點圖像輸出單元42向選擇輸出單元44原樣供應從右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應的右眼圖像和左眼圖像。N視點圖像產生單元43通過下述方式來使用內插或外插來產生所需視點的數量的圖像，並且，向選擇輸出單元44供應該圖像:基於關於從所需視點數量計算單元24供應的所需視點的數量的信息來使用從右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應的右眼圖像和左眼圖像(即，其他圖像)來控制內插產生單元43a。當所需視點的數量是2個時,選擇輸出單元44基於從雙視點確定單元41供應的確定結果，原樣向顯示單元27輸出由從雙視點圖像輸出單元42供應的右眼圖像和左眼圖像形成的雙視點圖像。另一方面，當所需視點的數量不是2個時，選擇輸出單元44基於從雙視點確定單元41供應的確定結果來向顯示單元27輸出由N視點圖像產生單元43產生的多視點圖像。
[0041]顯示單元27基於關於從所需視點數量計算單元24供應的所需視點的數量的信息來控制視差屏障63的狹縫的間距(間隙)，顯示從多視點圖像產生單元26供應的雙視點圖像或多視點圖像，並且通過視差屏障63來顯示該多視點圖像。
[0042]更具體地，顯示單元27包括視差屏障間距計算單元61、視差屏障間距控制單元62、視差屏障63、顯示像素陣列設置單元64和顯示器65。視差屏障間距計算單元61根據由所需視點數量計算單元24計算的所需視點的數量來計算具有在其中使用視差屏障63來透射從顯示器65發射的光的垂直方向上的間距的狹縫(狹縫的間隙)，並且向視差屏障間距控制單元62供應間距。視差屏障間距控制單元62基於由視差屏障間距計算單元61計算的視差屏障的間距(狹縫的間隙)控制視差屏障63的操作，以便在對應的垂直方向上配置狹縫。
[0043]視差屏障63由例如液晶板等形成，並且以由視差屏障間距控制單元62控制的間距在垂直方向上配置狹縫。更具體地，視差屏障63例如相對於除了使用液晶配置垂直狹縫的區域之外的區域配置屏蔽區域，通過僅將狹縫區域設置為透光區域來配置視差屏障，並且作為視差屏障工作。顯示像素陣列設置單元64根據從所需視點數量計算單元24供應的所需視點的數量來以像素列為單位將所產生的多視點圖像分離為狹縫形狀，在相對於視線方向的相反方向上布置具有狹縫形狀的多視點圖像，並且在顯示器65上顯示。顯示器65由液晶顯示器(IXD)、等離子體顯示器或有機EL等形成，並且通過使得使用從顯示像素陣列設置單元64供應的像素值來發射顏色而顯示圖像。
[0044]
[0045]隨後，將參考在圖2中的流程圖來描述由在圖1中的圖像處理裝置11進行的多視點圖像的顯示處理。
[0046]在步驟S1中，成像單元21在觀眾所位於的方向上、即在面向由顯示單元27顯示的圖像的方向上捕獲圖像，並且向面部圖像檢測單元22供應所捕獲的圖像。
[0047]在步驟S2中，面部圖像檢測單元22通過提取當從供應的圖像檢測面部圖像時所需的特徵量來檢測矩形面部圖像，並且將矩形面部圖像與所捕獲的圖像一起供應到觀眾數量檢測單元23。
[0048]在步驟S3中，觀眾數量檢測單元23基於所供應的面部圖像的數量來檢測觀眾的數量，並且向所需視點數量計算單元24供應所檢測的關於觀眾的數量的信息。
[0049]在步驟S4中，所需視點數量計算單元24基於關於從觀眾數量檢測單元23供應的觀眾的數量的信息來計算所需視點的數量N。S卩，例如，當觀眾的數量是1時，如圖3中右面所示，所需視點的數量是位於面向顯示器65和視差屏障63的顯示方向的位置處的觀眾H1的左眼視點L1與右眼視點R1的雙視點的總和。在該情況下，對於觀眾Η的視點L1和R1的每一個，需要視點圖像Α作為左眼圖像，並且視點圖像Β作為右眼圖像。另一方面，如圖3的左面所示，當觀眾的數量是3時，所需視點的數量分別變為在面向顯示器65和視差屏障63的位置處的觀眾H11至H13的左眼視點和右眼視點。在此，假定觀眾H11至H13以固定間隔位於面向顯示器65和視差屏障63的面上。S卩，觀眾H11所需的視點是左眼視點L11和右眼視點R11。另外，觀眾H12所需的視點是左眼視點L12和右眼視點R12。而且，觀眾H13所需的視點是左眼視點L13和右眼視點R13。因此，在該情況下，需要視點圖像A作為用於觀眾H11的視點L11的左眼圖像，並且需要視點圖像B作為用於觀眾H11的視點R11的右眼圖像和作為觀眾H12的視點L12的左眼圖像。另外，需要視點圖像C作為用於觀眾H12的視點R12的右眼圖像和作為觀眾H13的視點L13的左眼圖像，並且需要視點圖像D作為觀眾H13的視點R13的右眼圖像。
[0050]S卩，當將觀眾H12作為參考時，作為在觀眾H12的緊左的觀眾H11的右眼圖像的視點R11和作為觀眾H12的左眼圖像的視點L12彼此相同。另外，作為在觀眾H12的緊右的觀眾H13的左眼圖像的視點L12和作為觀眾H12的右眼圖像的視點R12彼此相同。
[0051]結果，當觀眾的數量是3時，所需視點的數量N變為4。另外，即使當觀眾的數量與此不同時，每個觀眾的視點具有下述配置:其中，分別地，與位於緊右的觀眾共享左眼圖像的視點，並且與位於緊左的觀眾共享右眼圖像。另外，在圖3中，在顯示器65上附接的A至D的全部表示像素陣列，其中，將與視點圖像A至D對應的圖像以像素為單位在垂直方向上劃分為狹縫形狀。另外，在視差屏障63中，實線是光屏蔽區域，並且其間隙是狹縫，並且是從顯示器65發射的光的透射區域。而且，在圖3中的視差屏障63的Q2和Q4當所需視點的數量N分別是2和4時表示狹縫的間距(間隙)。在顯示器65中，ρ表示像素的間距(間隙)。
[0052]在步驟S5中，多視點圖像產生單元26的雙視點圖像輸出單元42原樣向選擇輸出單元44輸出作為雙視點圖像的、從右眼圖像獲得單元25-1供應的右眼圖像和從左眼圖像獲得單元25-2供應的左眼圖像。
[0053]在步驟S6中，多視點圖像產生單元26的N視點圖像產生單元43從自右眼圖像獲得單元25-1供應的右眼圖像和自左眼圖像獲得單元25-2供應的左眼圖像根據所需視點的數量來產生N視點圖像。另外，N視點圖像產生單元43向選擇輸出單元44輸出所產生的N視點圖像。
[0054]更具體地，N視點圖像產生單元43分別使用視點圖像B和C的外插來獲得視點圖像A和D，因為例如當如圖3中的左部所示所需視點的數量是4時視點圖像B和C是輸入的雙視點圖像。另外，當所需視點的數量是3時，如圖3的左部所示，N視點圖像產生單元43在產生作為四個視點的視點A至D的圖像後，使用在視點A和Β、B和C與C和D之間的內插來產生新的三種類型的視點的圖像。另外，當輸入圖像的水平解析度是1920個像素時，每一個視點圖像的水平解析度在雙視點圖像的情況下變為960個像素，並且進一步，每一個視點圖像的水平解析度在四視點圖像的情況下變為480個像素。然而，因為不必根據所需視點的數量來形成多視點圖像，所以能夠根據所需視點的數量來產生具有適當的水平解析度的視點圖像。 [0055]在步驟S7中，雙視點確定單元41確定所需視點的數量N是否是2。在步驟S7中，當所需視點的數量N在步驟S8中是2時，雙視點確定單元41向選擇輸出單元44供應所需視點的數量N是2的情況。選擇輸出單元44原樣向顯示單元27供應作為從雙視點圖像輸出單元42供應的輸入圖像的雙視點圖像，因為從雙視點確定單元41供應的確定結果是雙視點圖像。
[0056]另一方面，在步驟S7中，當所需視點的數量N不是2時，選擇輸出單元44在步驟S9中向顯示單元27供應從N視點圖像產生單元43供應的N視點圖像。
[0057]在步驟S10中，顯示單元27的視差屏障間距計算單元61根據所需視點的數量N來計算在視差屏障63中的狹縫的間距(間隙)，並且向視差屏障間距控制單元62供應計算結果。更具體地，視差屏障63中的狹縫的間距被設置使得通過在圖4中所示的顯示器65、視差屏障63和觀眾H11至H13的各自的視點圖像來滿足在下面的表達式(1)和(2)之間的關係。
[0058]e:p=d:g....(1)
[0059]Q:d=Nxp: (d+g)____(2)
[0060]在此，e表示在每一個觀眾的左眼和右眼之間的距離，並且ρ表示在顯示器65的像素之間的間距(間隙)，d表示從視差屏障63到觀眾的測量位置的距離，並且g表示在視差屏障63 (其狹縫:打開部分)和顯示器65之間的距離。另外，Q表示視差屏障63的狹縫的間距(間隙)，並且N表示所需視點的數量。
[0061]結果，通過計算下面的表達式(3)來獲得視差屏障的狹縫的間距Q。
[0062]Q= (dxNxp) / (d+g)....(3)
[0063]在步驟S11中，視差屏障間距控制單元62控制視差屏障63的面板，並且設置使得以從視差屏障間距計算單元61供應的間距提供狹縫。此時，在視差屏障63中，設置狹縫使得在中心部分處提供狹縫，並且以中心狹縫作為參考以視差屏障間距計算單元61供應的間距(間隙)提供隨後的狹縫。
[0064]在步驟S12中，顯示像素陣列設置單元64如圖3中所示以像素列為單位將雙視點圖像或從選擇輸出單元44供應的N視點圖像劃分為狹縫形狀，布置像素列以便在橫向上逆轉布置順序，並且在顯示器65上顯示。
[0065]SM列如，如圖3的左部所示，當在顯示器65上的像素列陣列中在其中觀眾H11至H13觀看的位置處從在圖3的左面起設置視點圖像A至D時，以橫向逆反的順序從圖像D向A重複地布置與以像素列為單位被劃分為狹縫形狀的視點圖像A至D對應的視線方向上的圖像。
[0066]根據上述的處理，觀眾H11至H13能夠在任何位置觀看三維立體圖像，即使當分別在不同的視點觀看在顯示單元27上顯示的圖像時。因為這個原因，當是具有1920像素的水平解析度的圖像時，如果所需視點的數量N是4，則每一個視點圖像變為480個像素，並且如果所需視點的數量N是2，則每一個視點圖像變為960個像素。即，因為每一個觀眾觀看圖像的水平解析度根據觀眾的數量而變化，所以能夠根據觀眾的數量以適當的解析度來觀看多視點的立體圖像。
[0067]
[0068]〈使用觀眾位置的圖像處理裝置〉
[0069]如上所述，下述示例:其中，根據由觀眾的數量設置的所需視點的數量來從作為輸入圖像的雙視點圖像產生和顯示N視點圖像，然而，當產生因為視點位置而不同的多視點圖像時，可以選擇和顯示不僅對應於觀眾的數量而且對應於觀眾的位置的雙視點圖像。
[0070]圖5是圖像處理裝置的第二實施例的配置示例，其中，產生和顯示不僅對應於觀眾的數量而且對應於觀眾的位置的雙視點圖像。另外，在圖5中的圖像處理裝置11中，將使用相同的名稱和附圖標號給出關於具有與在圖1中的圖像處理裝置11相同的功能的配置，並且將省略其說明。
[0071]S卩，在圖5中的圖像處理裝置11中，與圖1中的圖像處理裝置11的差別是在圖5中的圖像處理裝置11新包括觀眾位置檢測單元81。另外，在多視點圖像產生單元26中，取代N視點圖像產生單元43和選擇輸出單元44而提供了 N視點圖像產生單元91和選擇輸出單元92。
[0072]觀眾位置檢測單元81基於捕獲的圖像的內部來檢測由從面部圖像檢測單元22供應的矩形圖像形成的面部圖像和由矩形圖像形成的面部圖像的位置，並且將其檢測為觀眾的位置。觀眾位置檢測單元81向多視點圖像產生單元26供應所檢測的、關於觀眾的位置的信息。
[0073]多視點圖像產生單元26的N視點圖像產生單元91基於從觀眾位置檢測單元81供應的觀眾的位置和關於所需視點的數量N的信息，使用與每一個觀眾的位置對應的雙視點圖像的右眼圖像和左眼圖像來產生多視點圖像。另外，N視點圖像產生單元91向所產生的選擇輸出單元92供應。
[0074]選擇輸出單元92具有與選擇輸出單元44相同的基本功能，然而，僅當雙視點確定單元41確定為雙視點時向顯示單元27輸出從雙視點圖像輸出單元42供應的雙視點圖像，並且進一步地觀眾基於關於觀眾的位置的信息來位於在相對於顯示單元27的前面。
[0075]
[0076]隨後，將參考在圖6中流程圖來描述由在圖5中的圖像處理裝置11進行的多視點圖像的顯示處理。此外，在圖6的流程圖中的步驟S31至S34、S36和S40至S45的處理與參考在圖2中的流程圖描述的步驟S1至S5和S8至S12的處理相同，將省略其說明。
[0077]S卩，當通過步驟S31至S34的處理來獲得所需視點的數量時，在步驟S35中，觀眾位置檢測單元81基於在由從面部圖像檢測單元22供應的矩形圖像形成的圖像中的面部圖像的位置來檢測觀眾的位置，並且向多視點圖像產生單元26供應關於檢測的觀眾位置的信息。
[0078]在步驟S36中，雙視點圖像輸出單元42原樣向選擇輸出單元92供應從右眼圖像獲得單元25-1和左眼圖像獲得單元25-2供應的右眼圖像和左眼圖像。
[0079]在步驟S37中，N視點圖像產生單元91基於關於從觀眾位置檢測單元81供應的觀眾的位置的信息和所需視點的數量N來產生與觀眾的位置對應的雙視點圖像，並且向選擇輸出單元44供應該圖像。
[0080]即，當觀眾是例如1個時，位於圖7中的左部、中心和右部的觀眾H11至H13分別在彼此不同的方向上觀看視差屏障63和顯示器65。S卩，觀眾H11至H13分別在相對於他們本身的位置的右手方向、前方向和左手方向上觀看視差屏障63和顯示器65。假定在顯示器65和視差屏障63所位於的位置處的多視點圖像獲得單元82中獲得多視點圖像，其中，例如，如圖8中的左面所示，顯示圓柱物體B1，其在上基座上具有描述「A」，並且當從上基座觀看時逆時針地在其側面上具有描述「Ko、Sa、S1、Su、Se、So和Ta」。在該情況下，如圖8的左部所示，觀眾H11至H13分別在右手方向、前方向和左手方向上觀看物體Bl。S卩，它匹配在圖7中的、其中觀眾H11至H13在觀看顯示器65和視差屏障63的位置關係。
[0081]因此，N視點圖像產生單元91通過使用外插來從作為輸入圖像的雙視點圖像產生在圖7中所示的視點圖像A和B來當在其中在圖7中的左部中所示的觀眾H11的右手方向上觀看顯示器65和視差屏障63的位置處供應關於觀眾的信息時，產生其中立體地觀看在圖8的右部的物體B1R的雙視點圖像，並且向選擇輸出單元92供應。
[0082]另外，N視點圖像產生單元91通過使用外插來從作為輸入圖像的雙視點圖像產生在圖7中所示的視點圖像B和C來當在其中在圖7中的中心所示的觀眾H12的前向上觀看顯示器65和視差屏障63的位置處供應關於觀眾的信息時，產生其中立體地觀看在圖8的右部的物體B1C的雙視點圖像，並且向選擇輸出單元92供應。
[0083]另外，N視點圖像產生單元91通過使用外插來從作為輸入圖像的雙視點圖像產生在圖7中所示的視點圖像C和D來當在其中在觀眾H13的左手方向上觀看顯示器65和視差屏障63的位置處供應關於觀眾的信息時，產生其中立體地觀看在圖8的右部的物體B1L的雙視點圖像，並且向選擇輸出單元92供應。
[0084]因為這個原因，如圖8中所示，對於在右手方向上在觀看顯示器65和視差屏障63的觀眾H11，就像在其中在右手方向上觀看物體B1的情況下那樣，能夠使得當在右手方向上觀看物體B1時，如在物體B1R中所示觀看物體B1，其中，觀看在前部被觀看的粗字符「Su」，就好像它通過向右旋轉被移位。另外，對於在前向上在觀看顯示器65和視差屏障63的觀眾H12，就像在其中在前向上觀看物體B1的情況下那樣，能夠使得當在前向上觀看物體B1時，如在物體B1C中所示在前面觀看粗字符「Su」。而且，對於在左手方向上在觀看顯示器65和視差屏障63的觀眾H13，就像在其中在左手方向上觀看物體B1的情況下那樣，能夠使得當在左手方向上觀看物體B1時，如在物體B1L中所示觀看物體B1，其中，觀看在前部被觀看的粗字符「Su」，就好像它通過向左旋轉被移位。[0085]另外，在步驟S38中，當所需視點的數量是2時，在步驟S39中，選擇輸出單元92確定從觀眾位置檢測單元81供應的觀眾的位置是否是中心位置。例如，在步驟S39中，當觀眾的位置是中心位置時，選擇輸出單元92在步驟S40中原樣向顯示單元27輸出從雙視點圖像輸出單元42供應的作為輸入圖像的雙視點圖像。另外，在步驟S39中，當從觀眾位置檢測單元81供應的觀眾的位置不是中心位置時，選擇輸出單元92在步驟S41中向顯示單元27輸出從N視點圖像產生單元91供應的N視點圖像。
[0086]作為結果，能夠在顯示器65和視差屏障63中實現與觀眾在觀看的方向對應的三維立體視圖。另外，當多個觀眾位於分離的位置處時，N視點圖像產生單元91能夠通過在每一個觀眾的位置處產生觀眾的數量的所需的雙視點圖像來實現用於多個觀眾的每一個位置的適當的三維立體視圖。在該情況下，因為當多個觀眾可以共享多視點圖像時可以儘可能多地共享多視點圖像，並且能夠減少作為多視點圖像的必要圖像，所以可以抑制解析度的變差。
[0087]如上所述，當產生多視點圖像時，能夠通過下述方式使得圖像看起來好像也改變與被三維立體地觀看的物體的位置關係:選擇和顯示與觀眾相對於顯示器65和視差屏障63的觀看位置對應的雙視點圖像。
[0088]
[0089]〈使用柱狀透鏡的圖像處理裝置〉
[0090]如上所述，使用視差屏障的示例已經被描述為視差屏障的配置，然而，因為可以根據所需視點的數量來設置視差屏障的配置，所以不限於視差屏障，並且可以是柱狀透鏡。
[0091]圖9示出其中使用柱狀透鏡的圖像處理裝置11的第三實施例的配置示例。另外，在圖9中，向具有與在圖1中的圖像處理裝置11相同的功能的構造給出相同的數字和相同的附圖標號，並且將適當地省略其說明。
[0092]S卩，在圖9中的圖像處理裝置11中，與在圖1中的圖像處理裝置11的差別是在圖9中的圖像處理裝置11包括取代視差屏障間距計算單元61、視差屏障間距控制單元62和視差屏障63的柱狀透鏡間距計算單元101、柱狀透鏡間距控制單元102和柱狀透鏡103。
[0093]柱狀透鏡103 —般用於與視差屏障63相同的目的。視差屏障63配置光屏蔽區域，並且通過將光透射區域劃分為狹縫來配置視差屏障，然而，通過其上在垂直方向上設置半圓不均勻的液體透鏡來配置柱狀透鏡103。它通過下述方式具有與改變視差屏障的狹縫的間距相同的功能:使用從柱狀透鏡間距控制單元102供應的電壓來改變不均勻的間距。
[0094]柱狀透鏡間距計算單元101計算與由視差屏障間距計算單元61計算的狹縫的間距對應的柱狀透鏡103的不均勻的間距(間隙)，並且向柱狀透鏡間距控制單元102供應計
晳奸裡
[0095]柱狀透鏡間距控制單元102通過基於計算結果產生對應的電壓來控制柱狀透鏡103的不均勻的間距。
[0096]
[0097]隨後，將參考在圖10中的流程圖來描述使用在圖9中的圖像處理裝置來進行的多視點圖像的顯示處理。另外，在圖10中的流程圖中的步驟S61至S69和S72的處理與在圖2的流程圖中的步驟S1至S9和S12的處理相同，將省略其說明。
[0098]S卩，當通過步驟S61至S69的處理來向顯示單元27供應多視點圖像或雙視點圖像時，在步驟S70中，顯示單元27的柱狀透鏡間距計算單元101根據所需視點的數量N計算在柱狀透鏡103中的不均勻間距(間隙)，並且向柱狀透鏡間距控制單元102供應計算結果。另外，該計算方法對應於上述的表達式(3)，將省略其說明。
[0099]在步驟S71中，柱狀透鏡間距控制單元102被設置使得通過控制柱狀透鏡103的施加電壓來以從柱狀透鏡間距計算單元101供應的間距來提供不均勻部分。
[0100]根據上述處理，能夠發揮與圖1的圖像處理裝置11相同的效果，即使取代視差屏障63使用柱狀透鏡103。另外，柱狀透鏡103具有比視差屏障63高的要透射的光強，觀眾能夠在那個程度上觀看明亮的立體圖像。而且，類似於在圖5中的圖像處理裝置11，能夠通過下述方式來顯示與觀眾的位置對應的雙視點圖像:提供觀眾位置檢測單元81，在圖9中的圖像處理裝置11中提供取代N視點圖像產生單元43和選擇輸出單元44的N視點圖像產生單元91和選擇輸出單元92。
[0101]如上所述，根據本技術，能夠以與觀眾的數量對應的適當的解析度來顯示多視點圖像。
[0102]同時，可以使用硬體來執行上述系列的處理，然而，也可以使用軟體來執行該系列處理。當使用軟體來執行該系列處理時，通過從記錄介質安裝多種程序等來向在內置於專用硬體的計算機或例如可以執行多個功能的通用個人計算機安裝配置該軟體的程序。
[0103]圖11示出通用個人計算機的配置示例。個人計算機包括內置CPU(中央處理單元(即，硬體處理器))1001。CPU1001通過總線1004與輸入/輸出接口 1005連接。總線1004與ROM (只讀存儲器(即，存儲介質))1002和RAM (隨機存取存儲器)1003連接。
[0104]輸入/輸出接口 1005與下述部分連接:用於輸入用戶操作命令的鍵盤；由諸如滑鼠的輸入裝置形成的輸入單元1006 ;輸出單元1007，用於向顯示裝置輸出處理操作屏幕或處理結果的圖像；存儲單元1008，其由用於存儲程序或各種數據的硬碟驅動器等形成；以及通信單元1009，其由LAN (區域網)適配器等形成。並且，輸入/輸出接口 1005通過由網際網路代表的網絡來執行通信處理。另外，磁碟(包括軟盤)、光碟(包括⑶-ROM (緻密盤-只讀存儲器)和DVD (數字通用盤))、磁光碟(包括MD (微型盤))或相對於諸如半導體存儲器的可移除介質1011讀取和寫入數據的驅動器1010連接到輸入/輸出接口。
[0105]CPU 1001根據在R0M1002中存儲的程序(即，指令)來執行各種處理，或者從磁碟、光碟、磁光碟或諸如半導體存儲器的可移除介質1011 (其任何一個構成永久的計算機可讀存儲介質)讀出的多種程序(即，指令)被安裝在存儲單元1008中，並且被從存儲單元1008加載到RAM1003。另外，RAM1003適當地存儲當CPU1001執行各種處理時所需的數據等。
[0106]另外，在本申請中，描述在記錄介質中記錄的程序的步驟包括單獨或也並行執行的處理，即使不必然以時間系列來處理它們，並且不必說，根據所述順序來包括以時間系列執行的處理。
[0107]另外，本技術可以具有下面描述的配置。
[0108](1) 一種設備，包括:
[0109]硬體處理器；以及
[0110]存儲介質，所述存儲介質耦合到所述處理器，並且存儲指令，所述指令當被所述處理器執行時使得所述設備:
[0111]確定觀眾的數量；[0112]基於觀眾的數量來計算視點的數量；以及
[0113]產生與所述視點對應的多個圖像。
[0114](2) ( 1)的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備向顯示器輸出所述多個圖像。
[0115](3) (2)的設備，包括所述顯示器。
[0116](4) (1)至(3)中任一的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備從左眼圖像和右眼圖像產生所述多個圖像。
[0117](5) (1)至(4)中任一的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於觀眾圖像來確定觀眾的數量。
[0118](6) (5)的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備通過檢測在所述觀眾圖像中的面部的數量來確定觀眾的數量。
[0119](7) (5)或(6)的設備，包括成像單元，用於捕獲所述觀眾圖像。
[0120](8) (1)至(7)中任一的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備通過從其他圖像內插或外插所述多個圖像來產生所述多個圖像。
[0121](9) (1)至(4)中任一的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於觀眾位置來產生所述多個圖像。
[0122](10) (9)的設備，包括成像單元，用於捕獲觀眾圖像，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於所述觀眾圖像來確定所述觀眾位置。
[0123](11) (1)至(10)中任一的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於視點的數量來計算用於控制視差屏障的間距。
[0124](12) (11)的設備，包括所述視差屏障。
[0125](13) (1)至(10)中任一的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於視點的數量來計算用於控制柱狀透鏡的間距。
[0126](14) (13)的設備，包括所述柱狀透鏡。
[0127]雖然已經參考附圖詳細描述了一些實施例，但是本公開不限於這樣的實施例。本領域內的技術人員應當明白，可以根據設計要求和其他因素來進行各種修改、組合、子組合和改變，只要它們在所附的權利要求或其等同物的範圍內。而且，應當明白，在此使用的不定冠詞「一個」在包含連接詞「包括」、「包含」和/或「具有」的開放權利要求中表示「一個或多個」。
[0128]附圖標記列表
[0129]11:圖像處理裝置
[0130]21:成像單元
[0131]22:面部圖像檢測單元
[0132]23:觀眾數量檢測單元
[0133]24:所需視點數量檢測單元
[0134]25-1:右眼圖像獲得單元
[0135]25-2:左眼圖像獲得單元
[0136]26:多視點圖像產生單元[0137]27:顯示單元
[0138]41:雙視點確定單元
[0139]42:雙視點圖像輸出單元
[0140]43:N視點圖像產生單元
[0141]44:選擇輸出單元
[0142]61:視差屏障間距計算單元
[0143]62:視差屏障間距控制單元
[0144]63:視差屏障
[0145]64:顯示像素陣列設置單元
[0146]65:顯不器
[0147]81:觀眾位置檢測單元
[0148]82:多視點圖像獲得單元
[0149]91:N視點圖像選擇單元
[0150]101:柱狀透鏡間距計算單元
[0151]102:柱狀透鏡間距控制單元
[0152]103:柱狀透鏡
【權利要求】
1.一種設備，包括: 硬體處理器；以及 存儲介質，所述存儲介質耦合到所述處理器，並且存儲指令，所述指令當被所述處理器執行時使得所述設備: 確定觀眾的數量； 基於觀眾的數量來計算視點的數量；以及 產生與所述視點對應的多個圖像。
2.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備向顯示器輸出所述多個圖像。
3.根據權利要求2所述的設備，包括所述顯示器。
4.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備從左眼圖像和右眼圖像產生所述多個圖像。
5.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於觀眾圖像來確定觀眾的數量。
6.根據權利要求5所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備通過檢測在所述觀眾圖像中的面部的數量來確定觀眾的數量。
7.根據權利要求6所述的設備，包括成像單元，用於捕獲所述觀眾圖像。
8.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備通過從其他圖像內插或外插所述多個圖像來產生所述多個圖像。
9.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於觀眾位置來產生所述多個圖像。
10.根據權利要求9所述的設備，包括成像單元，用於捕獲觀眾圖像，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於所述觀眾圖像來確定所述觀眾位置。
11.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於視點的數量來計算用於控制視差屏障的間距。
12.根據權利要求11所述的設備，包括所述視差屏障。
13.根據權利要求1所述的設備，其中，所述存儲介質存儲指令，所述指令當被所述處理器執行時使得所述設備基於視點的數量來計算用於控制柱狀透鏡的間距。
14.根據權利要求13所述的設備，包括所述柱狀透鏡。
15.一種方法，包括: 確定觀眾的數量； 基於觀眾的數量來計算視點的數量；以及 產生與所述視點對應的多個圖像。
16.一種用於存儲指令的永久計算機可讀存儲介質，所述指令當被所述處理器執行時使得所述設備: 確定觀眾的數量； 基於觀眾的數量來計算視點的數量；以及 產生與所述視點對應的多個圖像。
【文檔編號】G09G5/00GK103597824SQ201280028044
【公開日】2014年2月19日 申請日期:2012年6月8日 優先權日:2011年6月15日
【發明者】上木伸夫, 西堀一彥 申請人:索尼公司