圖像處理設備和方法以及程序的製作方法

2023-05-02 18:38:51 2

專利名稱：圖像處理設備和方法以及程序的製作方法
技術領域：
本發明涉及圖像處理設備和方法以及程序，具體涉及可以更容易地獲得從多個不同的視角位置觀看的對象的立體圖像的圖像處理設備和方法以及程序。
背景技術：
相關技術中，已知利用通過從不同視點(viewpoint)拍攝同一對象而獲得的一對圖像來立體顯示該對象的技術(例如，見PTL1)。例如，在典型相機的情況下，在相機的光軸基本上與地面水平的狀態下拍攝對象， 並且將獲得的圖像投影在與地面垂直的屏幕上。在這種情況下，可認為觀看所顯示的圖像的用戶的視角位置位於與顯示圖像的屏幕基本垂直的直線上。因此，當要利用這種顯示系統立體顯示圖像時，用戶雙眼的不一致/視差表現為圖像的左右偏移。即，利用在這樣的方向上具有視差的一對圖像來立體顯示對象該方向與用戶的視線(sight line)方向垂直，並且用戶的左眼和右眼沿該方向布置。引用的專利文獻PTLl 日本未審專利申請，公開號2010-8575。

發明內容
技術問題另一方面，如圖1所示，在相機11在其光軸處於垂直於地面的方向上的狀態下拍攝對象，並且將所獲取的圖像投影到與地面平行的屏幕上的顯示系統的情況下，關於平行於地面的屏幕的垂直軸方向的旋轉角度保留為一個自由度。應注意，在圖1中，相互正交的右斜線方向、左斜線方向和豎直方向分別表示X方向、y方向和Z方向。在圖1的示例中，以這樣的狀態由相機11拍攝對象Hll 相機11的光軸平行於ζ 方向，即，從該圖的上方。對象Hll的圖像被顯示在平行於xy平面的屏幕上。因此，這種顯示系統允許用戶以ζ軸為旋轉軸從各個方向觀察該屏幕，這使得難以立體顯示對象Hll。在利用以狹縫光柵方案或柱狀透鏡(lenticular)方案為代表的裸眼顯示方案作為顯示立體圖像的方法的情況下，通過對設置在該圖像顯示裝置中的狹縫或柱狀透鏡的布置方向來物理地限制視差的方向。例如，如果狹縫或柱狀透鏡被布置在圖中的X方向上，則利用在X方向上具有視差的一對圖像來立體顯示對象H11。因此，除非用戶以視線方向變為平行於y方向的方式來觀看屏幕，否則不以立體方式觀察到對象Hl 1。應當注意的是，在通過液晶快門方案立體顯示圖像的情況下，與肉眼顯示方案的情況不同的是，沒有對視差方向的物理限制。因而，原理上，無論用戶從哪個方向觀看屏幕， 都可立體顯示對象Hll。然而，在通過液晶快門方案顯示立體圖像的情況下，需要在垂直於用戶視線方向的方向上具有視差的一對圖像。例如，如果用戶的視線方向平行於X方向，為了圖像的立體顯示，需要在y方向上具有視差的一對圖像，而如果用戶的視線方向平行於y方向，則需要在χ方向上具有視差的一對圖像。這樣，在液晶快門方案中，如果利用在垂直於用戶視線方向的方向上具有視差的一對圖像，則無論用戶的視線方向如何，都可以立體顯示對象Hl 1。但是，通常，假設用戶的視線方向對於例如要立體顯示的內容的圖像來說沒有變化。因此，只準備了在某個特定方向上具有視差的一對圖像，因而無法處理用戶視線方向的變化。考慮到上述情況而作出本發明公開的實施例，並且使得可以更容易地獲得從多個不同視角位置觀看的對象的立體圖像。問題解決方案公開了一種用於處理具有已知視點的源圖像的設備。該設備可以包括，視點確定部分，用於相對於該已知視點確定觀察者的左眼視點和右眼視點。另外，該設備可包括視差圖像生成部分。視差生成部分可以基於所確定的左眼視點選擇源圖像中的至少之一的數據作為原始左眼數據。此外，視差生成部分可以基於所確定的右眼視點選擇源圖像中的至少之一的數據作為原始右眼數據。視差生成部分還可以用於基於該原始左眼數據輸出左眼圖像數據。另外，視差生成部分可以用於基於該原始右眼數據輸出右眼圖像數據。還公開了一種處理具有已知視點的源圖像的方法。處理器可以執行程序以使得某個設備執行該方法。該程序可以被存儲在計算機可讀介質中。該方法可以包括相對於該已知視點確定觀察者的左眼視點和右眼視點。該方法還可以包括基於所確定的左眼視點， 選擇源圖像中的至少之一的數據作為原始左眼數據。此外，該方法可以包括基於所確定的右眼視點，選擇源圖像中的至少之一的數據作為原始右眼數據。該方法還可以包括基於該原始左眼數據，輸出左眼圖像數據。另外，該方法可以包括基於該原始右眼數據，輸出右眼圖像數據。發明的有益效果根據公開的實施例的一個方面，可以更容易地獲得從多個不同視點位置觀看的對象的立體圖像。


[圖1]圖1是說明根據相關技術的立體圖像的成像系統和顯示系統之間關係的圖。[圖2]圖2是說明與本發明實施例一致的圖像處理設備的立體圖像顯示的圖。[圖3]圖3是說明源圖像的圖。[圖4]圖4是示出與本發明實施例一致的圖像處理設備的配置示例的圖。[圖5]圖5是說明立體顯示過程的流程圖。[圖6]圖6是說明視差圖像的顯示視點的圖。[圖7]圖7是說明視差圖像的生成的圖。[圖8]圖8是示出圖像處理設備的另一配置示例的圖。[圖9]圖9是說明立體顯示過程的流程圖。[圖10]圖10是說明記錄源圖像的生成的圖。[圖11]圖11是說明視差圖像的生成的圖。
[圖12]圖12是說明立體顯示過程的流程圖。[圖13]圖13是說明視差圖像的生成的圖。[圖14]圖14是示出圖像處理設備的另一配置示例的圖。[圖15]圖15是說明立體顯示過程的流程圖。[圖16]圖16是示出圖像處理設備的另一配置示例的圖。[圖17]圖17是說明立體顯示過程的流程圖。[圖18]圖18是說明立體顯示過程的流程圖。[圖19]圖19是示出計算機的配置示例的框圖。
具體實施例方式下面將參照附圖對本發明的實施例進行說明。〈第一實施例〉本發明的概述例如，如圖2所示，與本發明實施例一致的圖像處理設備在顯示屏幕與地面水平的顯示部分41上以立體的方式顯示對象。應注意，在圖2中，縱向、橫向和深度方向分別表示y方向、χ方向和ζ方向。例如，通過液晶快門方案，圖像處理設備通過在平行於xy平面的屏幕上交替顯示相對於彼此具有視差的視差圖像來顯示立體圖像。即，立體顯示視差圖像上的對象。此時， 圖像處理設備檢測正在觀看所顯示的立體圖像的用戶在xy平面上的位置，並根據該位置確定用戶視線的方向。應當注意，假設用戶觀看立體圖像，從而從顯示部分41的邊緣附近基本上在ζ方向上俯視顯示部分41。此外，假設用戶的視線方向為平行於xy平面的方向。在確定了用戶的視線方向時，基於該視線方向，圖像處理設備控制立體圖像的顯示，從而當從用戶的視點位置觀看該立體圖像時，以立體方式觀察立體圖像上的對象。更具體地，如圖3左上部所示，圖像處理設備記錄多個相互間具有視差的圖像(也就是多個圖像數據)(下文中稱為源圖像)，通過在xy平面上被取作視點的每個點處對特定對象進行拍攝而獲得這些圖像。應注意到，在圖3中，縱向和橫向分別表示y方向和χ方向。此外，圖中，每一個矩形代表一個源圖像，並且在圖中，右下方的每一個圓代表一個源圖像的視點。在圖3的示例中，預先準備有5 (χ方向)*5(y方向)，總共25個源圖像。圖3中， 以陣列布置的源圖像間的位置關係與各源圖像的視點位置之間的位置關係相同。因此，這些源圖像是顯示有從相互不同的視點觀看的同一對象的圖像。接下來，如圖3的右下部所示，通過將每個源圖像的視點位置取作網格點，圖3的左上部所示的以陣列布置的源圖像被認為是xy平面上的網格點的集合。這裡，在圖中右下部的每個視點附近，示出了該視點在xy坐標系中的坐標。例如，在圖中，右下部的網格點集合中，位於左邊緣最上面的視點附近的(1，1)表示該視點在xy坐標系中的坐標(x，y)。艮口， 坐標(1，1)表示χ坐標和y坐標都為1的視點位置。在該圖像處理設備中，在xy平面上的網格點集合被取為位於圖2中顯示部分41 的前景側的情況下，根據單個視點的源圖像產生視差圖像。即，在xyz空間中，假設顯示部分41的顯示屏幕的中心與每個源圖像的視點之間的位置關係與源圖像的對象與每個源圖像視點之間的關係相同。應當注意的是，這些源圖像由光場相機等拍攝，利用這種相機，可在以陣列布置的同時拍攝多視點的圖像。此外，源圖像可以是靜止圖像，也可以是運動圖像。根據用戶的視線方向和要顯示的視差圖像的視差d，圖像處理設備確定xy平面上的一對點(以下指顯示視點)，其被布置在與該視線方向垂直的方向上，並且其間距與視差 d的長度相同。然後，關於每個顯示視點，圖像處理設備選擇視點位置(即已知視點)位於該顯示視點附近的多個源圖像，根據所選擇的源圖像生成相應顯示視點的視差圖像，並基於所獲得的視差圖像對顯示立體圖像。由於以這種方式獲得的視差圖像對在xy平面上與用戶視線方向垂直的方向上具有視差d，從而用戶以立體方式觀察到該視差圖像上的對象。接下來，對上面描述的圖像處理設備的具體實施例進行說明。圖4是示出與本發明實施例一致的圖像處理設備的配置示例的圖。應注意在圖中，用相同符號表示與圖2中相對應的部分，並且適當省略其說明。圖4中的圖像處理設備71包括顯示部分41、獲取部分81、記錄部分82、傳感器 83、圖像處理部分84和顯示控制部分85。顯示部分41被設置為顯示屏幕基本上垂直於豎直方向，S卩，平行於地面。基於由顯示控制部分85提供的視差圖像，顯示部分41利用液晶快門方案顯示立體圖像。獲取部分81從例如可移除介質或安裝在圖像處理設備71上的相機獲得參照圖3 描述的源圖像，並將源圖像提供給記錄部分82以供記錄。記錄部分82記錄由獲取部分81 提供的源圖像，並根據需要將這些源圖像提供給圖像處理部分84。更具體地，記錄部分82 記錄各個源圖像和彼此關聯的源圖像的視點位置。傳感器83由多個人體傳感器、圖像傳感器等組成，其被設置在支持顯示部分41或者容納顯示部分41的檯面上，從而圍繞顯示部分41的顯示屏幕。傳感器83檢測出現在顯示部分41附近的用戶(人)的位置，並將檢測結果提供給圖像處理部分84。根據由傳感器83提供的檢測結果和記錄在記錄部分82中的源圖像，圖像處理部分84生成一對視差圖像。圖像處理部分84包括，視線方向確定部分101、視點位置確定部分(即，視點確定部分)102和視差圖像生成部分103。根據傳感器83提供的對用戶位置的檢測結果，視線方向確定部分101確定用戶的視線方向，並將獲得的視線方向提供給視點位置確定部分102。根據預先指定的視差d和來自視線方向確定部分101的視線方向，視點位置確定部分102確定作為視差圖像的視點位置的顯示視點，並將這些顯示視點提供給視差圖像生成部分103。基於由視點位置確定部分102提供的顯示視點，視差圖像生成部分103從記錄部分82讀取需要的源圖像，並基於所讀取的源圖像生成視差圖像。視差圖像生成部分103將所生成的視差圖像對提供給顯示控制部分85。顯示控制部分85將由視差圖像生成部分103 提供的該對視差圖像提供給顯示部分41，並使得立體顯示該視差圖像。〈立體顯示過程的說明〉附帶地，當用戶操作圖像處理設備71以指示立體圖像的顯示時，圖像處理設備71響應於用戶的指令執行立體顯示過程，並使立體圖像被顯示。下文中，將參照圖5中的流程圖對圖像處理設備71的圖像處理過程進行說明。在步驟Sll中，視線方向確定部分101確定用戶的視線方向。S卩，傳感器83檢測出現在顯示部分41周圍的用戶的位置，並將檢測的結果提供給視線方向確定部分101。然後，根據來自傳感器83的檢測結果，視線方向確定部分101確定用戶的視線方向，並將該視線方向提供給視點位置確定部分102。例如，將起點為用戶在平行於xy平面的平面上的位置，而終點為顯示部分41的顯示屏幕中心位置的矢量的方向定義為視線方向。應當注意，在傳感器83在顯示部分41的周圍檢測到多個用戶的情況下，選擇其中一個用戶，並確定該用戶的視線方向。在圖像處理設備71中，當用戶視線方向改變時視差圖像的視差方向也改變，為了視差圖像的時間穩定性，希望一旦從多個用戶中選擇出一個用戶，則在立體圖像的播放期間持續選擇該用戶。在步驟S12中，根據由視線方向確定部分101提供的用戶視線方向和預先指定的視差d，視點位置確定部分102找出視差圖像的一對顯示視點(即，左眼視點和右眼視點)。 這裡，視差d例如是假設的在觀察立體圖像時用戶雙眼的間距長度，其可由用戶指定或者預先定義。例如，如圖6所示，視點位置確定部分102在xy平面上以源圖像的各視點(網格點)集合的中心位置(下面稱為參考位置)為圓心、d/2為半徑虛擬地畫出圓SC11。應注意在圖6中，縱向和橫向分別表示y方向和χ方向，每個單獨的圓表示單個源圖像的視點。隨著以d/2為半徑畫圓SC11，視點位置確定部分102隨後找出由用戶視線方向 SDll和平行於χ方向的虛擬χ軸AXll構成的角θ，並找出圓SCll的處於角e的切線Lll 和切線L12。這些切線Lll和切線L12都是平行於視線方向SDll的直線。隨著以這種方式找出切線Lll和切線L12，視點位置確定部分102定義所獲得的切線Lll和切線L12與圓SCll間的切點作為一對顯示視點。在圖6的示例中，獲得顯示視點 HSll和顯示視點HS12，顯示視點HSll和顯示視點HS12之間的距離是要顯示的視差圖像之間的視差d，而連接顯示視點HSll和顯示視點HS12的直線與視線方向SDll正交。因此，如果立體地顯示視點位置為這些顯示視點HSll和顯示視點HS12的一對視差圖像，那麼從視線方向SDll觀看視差圖像的用戶應當能夠看到以立體方式顯示的視差圖像上的對象。應當注意到，顯示視點HSll是被用戶左眼觀察的左眼視差圖像的視點，而顯示視點HS12是被用戶右眼觀察的右眼視差圖像的視點。當通過液晶快門方案顯示這些用於右眼和左眼的視差圖像時，顯示立體圖像。回到對圖5中流程圖的描述，在找到該對顯示視點之後，視點位置確定部分102將找到的顯示視點提供給視差圖像生成部分103，處理過程進行到步驟S13。在步驟S13中，基於由視點位置確定部分102提供的顯示視點，視差圖像生成部分 103選擇視點位於xy平面上的每個顯示視點附近的若干源圖像。例如，在圖6的示例中，視差圖像生成部分103選擇位於顯示視點HSll附近且圍繞顯示視點HSll的四個視點SPll到SP14(即，位於矩形頂點處的四個視點)，選擇這些視點的源圖像(即，原始左眼數據)，並從記錄部分82讀取所選擇的源圖像。同樣地，視差圖像生成部分103選擇視點位於顯示視點HS12附近的四個視點(即，位於矩形頂點處的四個視點)，選擇這些視點的源圖像(即，原始右眼數據)，並從記錄部分82讀取所選擇的源圖像。在步驟S14中，對於每個顯示視點，通過利用在步驟S13中選擇的、位於顯示視點附近的視點的源圖像，視差圖像生成部分103生成視差圖像(即，完成包括左眼圖像數據或右眼圖像數據的至少之一的圖像數據)。例如，如圖7所示，通過對視點位於顯示視點HSll附近的源圖像進行合成，視差圖像生成部分103生成視點為顯示視點HSll的視差圖像。應當注意，圖7是放大顯示圖6中的顯示視點HSll附近區域的圖。圖中，用相同的符號表示與圖6中相應的部分，並省略對其的說明。而且，圖7中，縱向和橫向分別表示y方向和χ方向。首先，視差圖像生成部分103通過變形(morphing)方法等對位於坐標(χ'，y') 的視點SPll的源圖像和位於坐標(X'，y' +1)的視點SP12的源圖像進行合成，由此生成位於坐標(χ'，y)處的視點Gll的圖像。例如，在源圖像的合成中，可通過這樣的方式得出視點Gll的圖像中像素的像素值根據從視點Gll到視點SPll和視點SP12的距離，以一定的比例對這兩個源圖像中的像素的像素值進行內插。在以這種方式生成視點Gll的圖像之後，通過變形方法等，視差圖像生成部分103 類似地對位於坐標(x' +l，y')的視點SP13的源圖像和位於坐標(x' +l,y' +1)的視點SP14的源圖像進行合成，由此生成位於坐標(χ' +1，y)的視點G12的圖像。此外，視差圖像生成部分103通過變形方法等將視點Gll的圖像和視點G12的圖像進行合成，由此生成位於坐標(X，y)處的顯示視點HSll的視差圖像。應注意，在圖7的示例中，在對y方向布置的源圖像進行合成之後，對在χ方向布置的圖像進行合成，由此生成視差圖像。然而，也可以對χ方向上布置的源圖像執行合成，然後對y方向上布置的圖像進行合成，由此生成視差圖像。返回到對圖5中流程圖的描述，在生成該對顯示視點的視差圖像之後，視差圖像生成部分103將所生成的視差圖像對提供給顯示控制部分85，並且處理進行到步驟S15。在步驟S15中，顯示控制部分85將由視差圖像生成部分103提供的視差圖像對提供給顯示部分41，並通過液晶快門方案使得該視差圖像對被立體地顯示。這樣，在佩戴液晶快門的專用眼鏡的情況下正在觀看顯示部分41的用戶能夠以立體方式觀看該視差圖像。 艮P，立體圖像被觀察到。在步驟S16中，視線方向確定部分101判斷用戶的視線方向是否發生了改變。例如，當根據由傳感器83提供的對用戶的檢測結果檢測到用戶視線方向發生變化時，判斷該視線方向發生了改變。如果在步驟S16中判斷視線方向發生了改變，則處理返回到步驟S11，並重複上述過程。即，檢測用戶的新視線方向，生成在垂直於該視線方向的方向上具有視差的視差圖像對，並顯示立體圖像。另一方面，如果在步驟S16中判斷視線方向沒有改變，在步驟S17中，圖像處理設備71判斷是否結束顯示立體圖像的過程。例如，當用戶操作該圖像處理設備71時判斷結束該過程，並指示結束立體圖像的顯示。如果在步驟S17中判斷不結束該處理，則該處理返回到步驟S16，並重複上述過程。即，連續顯示同樣的立體圖像，直到用戶的視線方向發生改變為止。
另一方面，如果在步驟S17中判斷結束該處理，則圖像處理設備71使立體圖像的顯示結束，並且立體顯示過程結束。以上述方式，圖像處理設備71檢測出現在顯示部分41周圍的用戶的視線方向，並根據該視線方向找出要顯示的每個視差圖像的顯示視點。然後，圖像處理設備71對多個不同視點的源圖像中視點位於該顯示視點附近的源圖像進行合成，由此生成該顯示視點的視
差圖像。以這種方式，通過檢測用戶的視線方向，根據該視線方向找出視差圖像的顯示視點，並根據視點位於它們的顯示視點附近的源圖像來生成視差圖像，無論用戶的視點位置在哪裡，都可以容易地獲得視差圖像，用戶通過該視差圖像以立體的方式觀察對象。此外，根據該圖像處理設備71，能夠容易地獲得與任意視線方向相應的視差圖像。 由此，即使在觀看立體圖像期間用戶的視線方向發生變化，隨著視線方向的該變化，能夠立體顯示具有不同方向上的視差的視差圖像。即，不管用戶從顯示部分41周圍360度的哪個位置觀看顯示部分41的顯示屏幕，用戶都能以立體方式看到視差圖像上的對象。如上所述，根據該圖像處理設備71，通過利用現有的三維圖像顯示裝置，實現了新的能力，由此，以能夠從360度的自由視點立體地觀看對象的方式顯示立體圖像。應當注意的是，如上所述的圖像處理設備71可應用到嵌入臺面類型的信息顯示器、用於外科手術成像的投影儀等。特別有效的是，例如，將該圖像處理設備71應用於播放系統，該系統從正上方通過光場相機拍攝正在被實施外科手術的操作部位，並以三維方式重建從各個位置觀看的該操作部位以用於立體顯示。在這種情況下，將由光場相機拍攝的源圖像提供給圖像處理設備71。在圖像處理設備71中，根據這些源圖像，作為視差圖像生成外科手術期間的圖像，並進行立體顯示。在根據相關技術的播放系統中，只有在固定基線(baseline)上的視差圖像被立體顯示。然而，根據圖像處理設備71，能從任意方向立體顯示對象，而不受特定基線的限制。 由此，可以在手術期間以更加真實的感覺重現器械的運動，以及被實施外科手術的器官等的形狀。此外，還可以在手術期間以外科手術操作者的視點觀察圖像。應當注意的是，前面的描述針對視差d不大於源圖像的視點集合(網格點)中各視點間的最大間距的情況。在這個情況下，通過將視點位於其顯示視點附近的源圖像內插而進行的合成，生成每個視差圖像。但是，並不限於這種情況，視差d可能大於源圖像的視點集合中視點間的最大間距。在這種情況下，通過將其顯示視點周圍最近的四個視點的源圖像內插和外插而進行的合成，生成每個視差圖像。另外，在源圖像的視點間距足夠窄，並且空間解析度非常好的情況下，不是生成每個顯示視點的視差圖像，而是可以將視點與距顯示視點最近的源圖像按原樣作為視差圖像顯示。同樣在這種情況下，可獲得與根據若干源圖像生成每個視差圖像的情況基本相同的效果，由此，允許以十分立體的方式顯示對象。另外，在上述的情況下，假設作為用戶的雙眼間距的視差d恆定，其遵循無論用戶的視線方向如何，顯示視點都位於半徑為d/2的圓周上。因此，通過利用所獲得的源圖像， 對要預先記錄的源圖像組的信息量進行壓縮，為了記錄的目的，可生成視點位於圓周上的源圖像，並且只有視點位於圓周上的所生成的源圖像(下文也稱為記錄源圖像)才可以預先記錄。在這種情況下，例如，對圖像處理設備71被如圖8所示地配置。在圖8所示的圖像處理設備71中，還在圖4的圖像處理設備71中設置了記錄源圖像生成部分131。除此之外，其配置與圖4中的圖像處理設備71相同。S卩，在圖8的圖像處理設備71中，記錄源圖像生成部分131被設置在獲取部分81 和記錄部分82之間。應注意，在圖8中，用相同的符號表示與圖4中相對應的部分，並適當省略其描述。根據由獲取部分81獲取的源圖像，記錄源圖像生成部分131生成視點位於xy平面上預定位置處的記錄源圖像，並將該記錄源圖像提供給記錄部分82。應當注意的是，所生成的記錄源圖像被記錄在記錄部分82中。〈立體顯示過程的說明〉接下來，參照圖9的流程圖，對圖8中的圖像處理設備71執行的立體顯示過程進行說明。在步驟S41中，基於預先指定的視差d，記錄源圖像生成部分131定義記錄源圖像的視點位置。具體地，獲取部分81獲取多個源圖像，並將這些源圖像提供給記錄源圖像生成部分131。然後，例如，如圖10所示，記錄源圖像生成部分131在xy平面上以該源圖像的視點集合(網格點)的基準位置為中心，d/2為半徑，虛擬地畫圓SC11。應注意，在圖10中，縱向和橫向分別表示y方向和χ方向，位於不同於圓SCll的圓周上的位置的位置處的每一單個圓表示一個源圖像的視點。此外，在圖10中，用相同的符號表示與圖6相對應的部分，並省略其說明。隨著在xy平面上畫圓SC11，記錄源圖像生成部分131然後定義12個點作為記錄源圖像的視點VPl到VP12，這些點等分圓SCll的圓周。應當注意的是，將圓SCll等分的點 (視點)的數目和位置是任意數目和位置。另外，記錄源圖像的視點可以不必是圓SCll的圓周的等分點。在步驟S42中，通過利用從獲取部分81提供的源圖像，記錄源圖像生成部分131 生成各視點的記錄源圖像，並將這些記錄源圖像提供給記錄部分82。例如，記錄源圖像生成部分131生成其相應視點為圖10中的視點VPl到VP12的共計12個記錄源圖像。具體地，對於視點VPlJlg VP4、視點VP7和視點VP10，已經存在其視點位於該相同位置的源圖像，由此，那些源圖像被定義為視點VPlJlg VP4、視點VP7和視點VPlO的相應記錄源圖像。另外，通過對該記錄源圖像的視點周圍的四個最近的視點執行變形方法來進行合成，生成其它視點的記錄源圖像的每個。即，在圖10的示例中，通過對視點位於附近的源圖像的內插而進行的合成，生成視點VP2、視點VP3、視點VP5、視點VP6、視點VP8、視點VP9、視點VPll和視點VP12的記錄源圖像的每個。在以這種方式獲得記錄源圖像之後，記錄源圖像生成部分131將所生成的記錄源
11圖像提供給記錄部分82。然後，在步驟S43，記錄部分82記錄由記錄源圖像生成部分131 提供的記錄源圖像。以這種方式，通過生成視點位於xy平面上的以基準點為圓心、d/2為半徑的圓周上的記錄源圖像，並預先記錄該記錄源圖像，能夠減少要預先記錄的圖像的數量。例如，在圖10的示例中，僅需預先記錄12個記錄源圖像，否則需預先記錄25個源圖像。一旦記錄了記錄源圖像，其後，執行步驟S44和S45的過程，並找到顯示視點。由於這些過程與圖5中的步驟Sll和步驟S12的過程相同，省略其說明。在步驟S46中，對於由視點位置確定部分102提供的每個顯示視點，視差圖像生成部分103選擇視點位於該顯示視點附近的記錄源圖像(即，原始左眼數據或原始右眼數據)。具體地，由於找到圖10中位於圓SCll上的點作為每個顯示視點，選擇視點VPl到 VP12中鄰近圓SCll上的該顯示視點並且在該顯示視點兩側的視點的記錄源圖像。例如，如果一個顯示視點位於圓SCll上的視點VPl和視點VP2之間，則選擇視點VPl的記錄源圖像和視點VP2的記錄源圖像。隨著對視點位於顯示視點附近的記錄源圖像的選擇，視差圖像生成部分103從記錄部分82讀取所選擇的記錄源圖像，而處理過程進行到步驟S47。在步驟S47中，視差圖像生成部分103找出連接該顯示視點與所選擇的記錄源圖像的視點中距離該顯示視點較遠的視點的直線，和連接所選擇的記錄源圖像的視點中距離該顯示視點較近的視點與該基準位置的直線的交點。針對每個顯示視點找出這個交點 (即，中間視點)。在步驟S48中，視差圖像生成部分103生成視點位置是針對每個顯示視點找出的交點的位置的記錄源圖像(即，中間圖像數據)。然後，在步驟S49中，視差圖像生成部分 103根據在步驟S48中找出的記錄源圖像以及距離該顯示視點較遠的視點的記錄源圖像來生成視差圖像。例如，如圖11所示，考慮在以基準位置011為圓心、d/2為半徑的圓SCll上生成顯示視點HS21和顯示視點HS22的視差圖像的情況。應注意，在圖11中，用同樣的符號表示與圖10中相對應的部分，而適當省略對其的說明。此外，在圖11的右側，對圖中左上部的顯示視點HS21附近的部分進行放大顯示。首先，當生成顯示視點HS21的視差圖像時，在步驟S46中，視差圖像生成部分103 選擇與顯示視點HS21鄰近的視點VPll和視點VP12。然後，視差圖像生成部分103在xy平面上找出連接視點VP12和基準位置011的直線L31，其中視點VP12是視點VPll和VP12中距離顯示視點HS21較近的視點。應當注意的是，直線L31也可以說是連接視點VP6和視點 VP12的直線，其中，視點VP6位於圓SCl 1上與視點VP12相對的位置，即，視點VP6位於視點 VP12的相對側。接下來，視差圖像生成部分103找出連接視點VPll (其為鄰近顯示視點HS21的視點VPll和視點VP12中距顯示視點HS21較遠的一個)和顯示視點HS21的直線L32，並找出直線L32和直線L31之間的交點IP11。尋找交點IPll的該過程是步驟S47中的過程。此外，利用變形方法等，視差圖像生成部分103對位於直線L31上的視點VP12的記錄源圖像和視點VP6的記錄源圖像進行合成，由此生成視點位置為交點IPll的記錄源圖像。更具體地，視差圖像生成部分103找出視點VP12到交點IPll的距離RD，並以距離 RD和從視點VP12到視點VP6的距離d的比，即，比例d RD,對視點VP12的記錄源圖像和視點VP6的記錄源圖像進行外插。這個生成視點位置是交點IPll的記錄源圖像的過程是步驟S48中的過程。此外，通過變形方法等，視差圖像生成部分103對視點VPll的記錄源圖像和視點位置在該交點IPll的記錄源圖像進行合成，由此生成顯示視點HS21的視差圖像。更具體地，視差圖像生成部分103確定從視點VPll到顯示視點HS21的距離DX11， 以及從顯示視點HS21到交點IPll的距離DX12。然後，視差圖像生成部分103以比例 DXll DX12對交點IPll的記錄源圖像和視點VPll的記錄源圖像進行內插，由此生成顯示視點HS21的視差圖像。這個生成視差圖像的過程是步驟S49中的過程。應當注意的是，顯示視點HS22的視差圖像也是以與顯示視點HS21的視差圖像相同的方式生成的。當以這種方式根據視點位於它們的顯示視點附近的記錄源圖像生成視差圖像時，可以容易地獲得更接近真實圖像，並且視點為找到的顯示視點的視差圖像。另外，在圖11的示例中，主要針對通過對距離顯示視點HS21較遠的視點VPll的記錄源圖像和在較近的視點VP12附近的交點IPll的記錄源圖像進行合成而生成視差圖像的情況進行說明。但是，這不應作為限制性的解釋。顯示視點HS21的視差圖像可通過對較近視點VP12的記錄源圖像和在較遠視點VPll附近與交點IPll相應點的記錄源圖像進行合成而生成。但是，應當注意到，在這種情況下，在視點VPll附近與交點IPll相應的點的位置比交點IPll距離圓SCll的距離更遠。由此，由於在生成記錄源圖像時進行的外插而導致的圖像質量的降低變得比在生成交點IPll的記錄源圖像時更大。由於這個原因，希望通過利用距顯示視點HS21較遠的視點VPll和交點IPll的記錄源圖像來生成顯示視點HS21的視差圖像。返回到對圖9流程圖的說明，一旦生成了視差圖像，之後，執行步驟S50到S52的過程，並且立體顯示過程結束。由於這些處理與圖15中的步驟S15到S17的過程相同，因此省略其說明。以這種方式，在圖像處理設備71中，根據獲得的源圖像生成記錄源圖像，並且僅預先記錄該記錄源圖像。由此，能減少獲得視差圖像所需要的圖像記錄空間。此外，在圖像處理設備71中，根據用戶的視線方向尋找顯示視點，並通過利用已記錄的記錄源圖像生成該顯示視點的視差圖像。由此，不論用戶的視點位置如何，都可容易地獲得視差圖像，用戶利用該視差圖像以立體的方式觀看對象。應當注意的是，當利用已記錄在記錄部分82中的記錄源圖像生成視差圖像時，不需要生成記錄源圖像。因此，不執行圖9中的步驟S41到步驟S43的過程。另外，前面的說明針對在通過生成視點位於圓SCll的圓周上的記錄源圖像而執行的信息壓縮，假設作為用戶雙眼的間距的視差d具有固定值。但是，視差d可以是可化。在這種情況下，例如，通過使用圖11中的視點VP12和視點VP6的記錄源圖像而進行的外插，視差圖像生成部分103能夠生成視點位於圓SCll之外的記錄源圖像。因此，例如，獲得位於圓SCll之外的視點VP12'和視點VP6'的記錄源圖像。通過利用這些記錄源圖像，可獲得位於圓SCll之外的、視差被增強的顯示視點的視差圖像對。S卩，在這種情況下，視點位置確定部分102畫圓SCll'，其直徑等於已經變化的視差d'，其中心(基準位置011)與視差d變化之前的圓SCll的中心位置相同，視點位置確定部分102確定位於圓SCll'上的每個新顯示視點。通過利用記錄在記錄部分82中的記錄源圖像，視差圖像生成部分103生成視點位於圓SCll'上的視點VP12'等的記錄源圖像， 並通過利用所獲得的記錄源圖像中視點位於新的顯示視點附近的記錄源圖像，在視差改變之後生成每個視差圖像。同樣地，通過利用對圖11中的各視點VPl到VP12的記錄源圖像進行內插，視差圖像生成部分103還能生成視點位於圓SCll的圓周之內的記錄源圖像。當利用通過內插而獲得的記錄源圖像時，可以獲得具視差被壓縮的、顯示視點位於圓SCll之內的視差圖像。在這種方式中，由於通過內插和外插能夠獲得任意視點的記錄源圖像，視差圖像生成部分103能生成關於任意視線方向的具有指定的任意視差d的視差圖像對。應當注意的是，由於內插通常引起比外插更少的圖像劣化，在假設能從視點被以陣列布置的源圖像獲得最大周長的情況下生成記錄源圖像時，能夠關於任意視差d獲得具有更好圖像質量的視差圖像。〈第三實施例〉〈立體顯示過程的說明〉此外，在圖11的示例中，主要針對生成視點位置為交點IPll的記錄源圖像，以及利用該記錄源圖像和視點VPll的記錄源圖像生成視差圖像的情況的說明。在這種情況下， 圖像合成需要執行兩次，以生成一個視差圖像。結果，最終獲得的視差圖像的圖像質量優勢可能有會變壞。因此，可利用視點位於每個顯示視點附近的記錄源圖像，近似地生成該顯示視點的視差圖像。下面，參照圖12的流程圖，對立體顯示的過程進行說明，當圖8中的圖像處理設備71近似地生成每個顯示視點的視差圖像時執行該過程。應當注意的是，由於步驟S81到步驟S86的過程與圖9中的步驟S41到步驟S46 的過程相同，因此省略其說明。在步驟S87中，視差圖像生成部分103通過利用從記錄部分82讀取的記錄源圖像來生成視差圖像。例如，如圖13所示，考慮生成顯示視點HS21和顯示視點HS22的視差圖像的情況。 應注意，在圖13中，由相同的符號表示與圖11中相對應的部分，並且省略其說明。此外，在圖13的右側，對圖中左上部分中顯示視點HS21附近的部分進行放大顯示。例如，假設為了生成顯示視點HS21的視差圖像，選擇圓SCll上鄰近顯示視點HS21 且位於顯示視點HS21兩側的視點VPll和視點VP12的記錄源圖像。即，假設通過利用視點 VPll和視點VP12的記錄源圖像生成視差圖像。在這種情況下，視差圖像生成部分103將連接視點VPll和VP12的直線L51和經過基準位置011的直線L52的交點位置定義為顯示視點HS21'。然後，視差圖像生成部分103近似地將顯示視點HS21'作為顯示視點HS21，根據視點VPll和視點VP12的記錄源圖像生成視點位置為顯示視點HS21'的視差圖像，並將所獲得的視差圖像定義為顯示視點HS21的視差圖像。S卩，將圓SCll的從視點VPll到視點VP12的弧線視為直線，而由顯示視點HS21'代替實際的顯示視點HS21。利用變形方法等對VPll的記錄源圖像和視點HS21'的記錄源圖像進行合成，生成顯示視點HS21'的視差圖像。更具體地，例如，視差圖像生成部分103確定由連接視點VP12與基準位置011的直線和連接VPll與基準位置011的直線形成的角Φ，以及由連接VP12與基準位置011的直線和直線L52形成的角θ。然後，視差圖像生成部分103以角(φ-θ)與角θ的比，即比例(Φ- θ ) θ，對視點VP12的記錄源圖像和視點VPll的記錄源圖像進行內插，由此生成顯示視點HS21'的視差圖像。應當注意的是，顯示視點HS22的視差圖像也以與顯示視點HS21的視差圖像相同的方式生成。當以這種方式通過對視點位於它們的顯示視點附近的記錄源圖像進行合成而生成視差圖像時，可以容易地獲得更接近真實圖像的並且其視點為找到的顯示視點的視差圖像。返回對圖12中流程圖的描述，一旦生成視差圖像，其後，執行步驟S88到步驟S90 的過程，立體顯示過程結束。由於這些過程與圖9中的步驟S50到步驟S52的過程相同，省略其說明。以這種方式，圖像處理設備71根據用戶的視線方向找出顯示視點，並對視點位於該顯示視點附近的記錄源圖像進行合成，由此近似地生成視點為顯示視點的視差圖像。由此，可以容易並快速地獲得視差圖像，利用該視差圖像，不論用戶的觀察位置如何，用戶以立體的方式觀察對象。〈第四實施例〉應注意，在上述的實施例中，通過液晶快門方案立體顯示視差圖像對。因此，如果視線方向基本上平行於xy平面，不管用戶從哪個方向觀看顯示部分41，用戶都能以立體的方式觀察對象。但是，在通過狹縫光柵方案、柱狀透鏡方案、偏振方案等顯示立體圖像的情況下， 對於要以立體方式觀看的對象來說，在觀察立體圖像時，用戶必須要從特定的方向(下文中稱為觀看方向)觀看該立體圖像。因此，在用戶觀看方向受限制的情況下，可允許用戶以任意方式關於該對象指定視線方向，由此用戶能夠從所指定的觀看方向觀察對象的立體圖像。在這種情況下，例如，如圖14所示地配置圖像處理設備71。應注意，在圖14中，以相同的符號表示與圖4中相對應的部分，並適當省略其說明。圖14中的圖像處理設備71包括獲取部分81、記錄部分82、圖像處理部分84、顯示控制部分85、輸入部分171和顯示部分172。例如，輸入部分171由諸如撥號盤(dial)或滑鼠的輸入裝置組成，並且在諸如輸入視線方向時的情況下進行操作。即，輸入部分171接受視線方向等的輸入。圖像處理部分84包括視點位置確定部分102、視差圖像生成部分103和旋轉處理部分181。視點位置確定部分102基於由輸入部分171提供的視線方向，在xy平面上確定視差圖像的顯示視點，並將該顯示視點提供給視差圖像生成部分103。視差圖像生成部分103從記錄部分82讀取源圖像，並利用讀取的源圖像生成由視點位置確定部分102提供的顯示視點的視差圖像。另外，視差圖像生成部分103將所生成的視差圖像提供給旋轉處理部分181。旋轉處理部分181將由視差圖像生成部分103提供的視差圖像以由輸入部分171提供的視線方向定義的角度進行旋轉，並將該視差圖像提供給顯示控制部分85。顯示部分172以這種方式安裝顯示屏幕在垂直於豎直方向的方向上，即，在平行於xy平面的方向上。顯示部分172以諸如狹縫光柵方案、柱狀透鏡方案或偏振方案的預定的顯示方案顯示由顯示控制部分85提供的視差圖像。這裡，如顯示部分41的情況，假設顯示部分172的顯示屏幕的中心與xyz空間上的每個源圖像的視點之間的空間位置關係和該源圖像的對象與每個源圖像在視點之間的位置關係相同。應當注意的是，在用戶從特定方向觀察該立體圖像時，只要該顯示方案允許以立體方式觀看立體圖像上的對象，則用於在顯示部分172中顯示視差圖像的顯示方案可以是任意顯示方案。另外，在下面，假設顯示部分172以這樣的方式顯示立體圖像在用戶的觀看方向基本上與y方向平行時允許用戶以立體方式觀看立體圖像上的對象。此外，雖然下面的說明針對顯示部分172的顯示屏幕在平行於xy平面的方向上的情況，但是，顯示部分172的顯示屏幕的安裝方向可以是任意方向。〈立體顯示過程的說明〉接下來，參考圖15的流程圖，對由圖14中的圖像處理設備71執行的立體顯示過程進行說明。應當注意的是，由於步驟Slll到步驟S113中的過程與圖5中步驟S12到步驟S14的過程相同，因此省略其說明。應注意，在步驟Slll中，視點位置確定部分102基於由輸入部分171提供的視線方向確定一對顯示視點。另外，將所生成的視差圖像從視差圖像生成部分103提供到旋轉處理部分181。在步驟S114中，根據由輸入部分171提供的視線方向，旋轉處理部分181對由視差圖像生成部分103提供的視差圖像進行旋轉，並將該視差圖像提供給顯示控制部分85。例如，假設在圖6所示的示例中，通過輸入部分171的操作來輸入視線方向SD11， 並生成顯示視點HSll和顯示視點HS12的視差圖像。另外，假設用戶的觀看方向是圖中從下面到上面的方向。在這個示例中，由於用戶的觀看方向平行於y方向，為了使用戶能夠以立體方式感覺該對象，該視差圖像對必須在X方向上具有視差。另一方面，由於由視線方向和X方向構成的角度是θ，從而視差圖像對的視差的真實方向關於X方向傾斜角度((π/2)-θ)。因此，圖6中，旋轉處理部分181對該視差圖像順時針旋轉角度((η /2) - θ )，並將經旋轉的視差圖像對作為最終的視差圖像對提供給顯示控制部分85。通過以這種方式將視差圖像旋轉視差方向傾斜的角度量，經旋轉的視差圖像對在χ方向上具有視差。由此，即使在用戶的觀看方向受限制的情況下，也可以以立體的方式顯示從任意方向觀看的對象的圖像。返回到圖15流程圖的說明，一旦將經旋轉的視差圖像提供給顯示控制部分85，處理從步驟Sl 14進行到步驟Sl 15。在步驟S115中，顯示控制部分將由旋轉處理部分181提供的視差圖像對提供給顯
1示部分172，並使得以柱狀透鏡方案等立體顯示該視差圖像對。由此，用肉眼觀看顯示部分 172的用戶以立體方式觀看視差圖像上的對象。即，顯示立體圖像。在步驟S116中，視點位置確定部分102判斷用戶的視線方向是否已改變。例如， 當從輸入部分171提供了新的視線方向時，判斷視線方向發生了改變。如果在步驟S116中判斷視線方向發生了改變，則處理返回到步驟S111，並重複上述過程。即，基於新輸入的視線方向，生成在χ方向上具有視差的視差圖像，並進行立體顯
7J\ ο另一方面，如果在步驟S116中判斷視線方向沒有發生改變，在步驟S117中，圖像處理設備71判斷是否結束立體圖像的顯示過程。如果在步驟S117中判斷不結束該處理， 則處理返回到步驟S116，並重複上述過程。另一方面，如果在步驟S117中判斷結束該處理，則圖像處理設備71使立體圖像的顯示結束，並且立體顯示過程結束。以上述方式，基於輸入的視線方向，圖像處理設備71在進行旋轉的情況下使得顯示視差圖像，從而該視差方向和觀看方向互相正交。通過以這種方式根據輸入的視線方向旋轉視差圖像，即使在立體圖像的觀看方向被限定的情況下，用戶仍能夠在自由改變視線方向的情況下從任意方向以立體方式觀察對象。〈第五實施例〉另外，在通過柱狀透鏡方案等立體顯示視差圖像的情況下，如圖8所示的圖像處理設備71的情況，可通過根據源圖像生成記錄源圖像來減少要預先記錄的圖像數據量。在這種情況下，例如，如圖16所示地配置圖像處理設備71。應當注意的是，在圖 16中，用相同的符號表示與圖8或圖14中相對應的部分，並省略其說明。圖16中的圖像處理設備71被配置為使得圖8中所示的記錄源圖像生成部分131 也被設置在圖14中的圖像處理設備中。即，在記錄源圖像生成部分131中，根據由獲取部分81獲取的源圖像生成記錄源圖像，並將所生成的記錄源圖像記錄在記錄部分82中。〈立體顯示過程的說明〉接下來，參照圖17的流程圖，對由圖16中的圖像處理設備71執行的立體顯示過程進行說明。應當注意的是，在步驟S141到步驟S143中，執行與圖9的步驟S41到步驟S43相同的過程。即，將xy平面上以預定參考位置為中心的圓周上的點定義為記錄源圖像的視點位置，並根據視點位於每個視點附近的一個或者多個源圖像，生成記錄源圖像，並記錄在記錄部分82中。然後，在此之後執行步驟S144到步驟S148的過程。應當注意的是，由於這些過程與圖9中步驟S45到步驟S49的過程相同，省略其詳細說明。但是，應當注意的是，在步驟S144中，根據由輸入部分171提供的視線方向和所指定的視差d，視點位置確定部分102確定視差圖像的顯示視點。另外，通過參照圖11描述的過程生成該顯示視點的視差圖像。將以這種方式生成的視差圖像從視差圖像生成部分103 提供到旋轉處理部分181。在步驟S149中，基於由輸入部分171提供的視線方向，旋轉處理部分181對由視
17差圖像生成部分103提供的視差圖像進行旋轉，並將該視差圖像提供給顯示控制部分85。 艮口，在步驟S149中，執行與圖15中的步驟S114相同的過程。一旦生成了經旋轉的視差圖像，此後，執行步驟S150到步驟S152中的過程，並且立體顯示過程結束。由於這些處理與圖15中步驟S115到步驟S117的過程相同，省略其說明。以這種方式，在用柱狀透鏡方案等顯示視差圖像的情況下，當根據源圖像生成記錄源圖像並預先記錄時，能夠減少生成視差圖像所需要的圖像記錄容量。〈第六實施例〉〈立體顯示過程的說明〉此外，通過執行與參照圖13描述的過程相同的過程，圖16中的圖像處理設備71 可以生成視差圖像。下面，將參照圖18中的流程圖，對立體顯示過程進行說明，在圖16中的圖像處理設備71近似地生成顯示視點的視差圖像的情況下執行該過程。應當注意的是，由於步驟S181到步驟S184中的過程與圖17中步驟S141到步驟 S144中的過程相同，省略其說明。在步驟S185中，對於由視點位置確定部分102提供的每個顯示視點，視差圖像生成部分103選擇視點位於顯示視點附近的記錄源圖像，並從記錄部分82讀取所選擇的記錄源圖像。例如，如圖13所示，選擇並讀取鄰近顯示視點HS21且位於顯示視點HS21兩側的視點VPll和視點VP12的記錄源圖像，以及鄰近顯示視點HS22且位於顯示視點HS22兩側的視點VP5和視點VP6的記錄源圖像。在步驟S186中，視差圖像生成部分103利用所讀取的記錄源圖像生成視差圖像， 並將該視差圖像提供給旋轉處理部分181。例如，在圖13中的示例中，通過變形方法等將視點VPll和視點VP12的記錄源圖像合成為視差圖像，並且同樣地，通過變形方法等將視點 VP5和視點VP6的記錄源圖像合成為視差圖像。然後，在此之後執行步驟S187到步驟S190中的過程，並且立體顯示過程結束。由於這些過程與圖17中的步驟S149到步驟S152的過程相同，省略其說明。即，根據該視線方向旋轉所獲得的視差圖像並立體顯示。以上述的方式，通過根據所輸入的視線方向來尋找顯示視點，以及對視點位於顯示視點附近的記錄源圖像進行合成，由此近似地生成視點為該顯示視點的視差圖像，可以容易並快速地獲得視差圖像，用戶利用該視差圖像以立體的方式觀察對象。上述一系列過程能夠由硬體或者軟體來執行。如果通過軟體運行該一系列處理， 將構成該軟體的程序從程序記錄介質(即，非暫時計算機可讀存儲介質)安裝到嵌入專用硬體的計算機中，或者例如安裝到當裝入各種程序時能夠運行各種功能的通用個人計算機
絕由寸T。圖19是示出執行上述一系列過程的計算機的硬體配置示例的框圖。在該計算機中，CPU (中央處理單元)301、ROM (只讀存儲器)302和RAM(隨機存取存儲器)303經由總線304相互連接。總線304還連接到輸入/輸出接口 305。該輸入/輸出接口 305連接到由鍵盤、 滑鼠、麥克風等組成的輸入部分306，由顯示器、揚聲器等組成的輸出部分307，由硬碟、非易失存儲器等組成的記錄部分308，由網絡接口等組成的通信部分309，以及用於驅動諸如磁碟、光碟、磁光碟或半導體存儲器的可移除介質311的驅動器310。在如上所述地配置的計算機中，例如，當CPU 301經由輸入/輸出接口 305和總線 304將記錄在記錄部分308中的程序加載到RAM 303中並執行該程序時，執行上述一系列過程。通過記錄在可移除介質311中而提供由計算機(CPU 301)執行的程序，可移除介質311是由例如磁碟(包括軟盤)、光碟(例如CD-ROM(壓縮盤只讀存儲器))或者DVD (數字通用盤)、磁光碟、半導體存儲器等組成的封裝介質，或者經由諸如區域網、網際網路或數字衛星廣播有線或無線傳輸介質提供該程序。 然後，通過將可移除介質311裝配在驅動器310中，可經由輸入/輸出接口 305將程序安裝在記錄部分308中。另外，該程序可由通信部分309經由有線或無線傳輸介質接收，並安裝在記錄部分308中。可選地，程序可預裝在ROM 302或者記錄部分308中。應當注意的是，由計算機執行的程序可以是其處理以本說明書描述的順序、按時間序列執行的程序，或者可以是其處理在需要時，諸如被調用時執行的程序。應當注意的是，本發明實施例並不限於上述實施例，可進行各種修改而不脫離本發明的範圍。附圖標記列表41顯示部分71圖像處理設備83傳感器84圖像處理部分101視線方向確定部分102視點位置確定部分103視差圖像生成部分131記錄源圖像生成部分181旋轉處理部分
權利要求
1.一種處理具有已知視點的源圖像的方法，包括相對於所述已知視點確定觀看者的左眼視點和右眼視點；基於所確定的左眼視點，選擇所述源圖像的至少之一的數據作為原始左眼數據；基於所確定的右眼視點，選擇所述源圖像的至少之一的數據作為原始右眼數據；基於所述原始左眼數據，輸出左眼圖像數據；以及基於所述原始右眼數據，輸出右眼圖像數據。
2.如權利要求1所述的方法，其中，將所述左眼圖像數據和所述右眼圖像數據輸出到顯示屏幕。
3.如權利要求2所述的方法，包括沿平行於所述顯示屏幕的平面的平面，確定所述觀看者的視線方向；以及基於所確定的視線方向，確定所述觀看者的所述左眼視點和所述右眼視點。
4.如權利要求3所述的方法，包括檢測所述觀看者在平行於所述顯示屏幕的平面的所述平面中的位置；以及基於檢測到的所述觀看者的位置確定所述視線方向。
5.如權利要求4所述的方法，包括基於所述顯示屏幕的中心位置確定所述視線方向。
6.如權利要求3所述的方法，包括基於代表所述觀看者的眼睛之間的距離的視差，確定所述觀看者的所述左眼視點和所述右眼視點。
7.如權利要求1所述的方法，其中，所述原始左眼數據和所述原始右眼數據中的每個代表所述源圖像中的四個源圖像。
8.如權利要求7所述的方法，其中，所述四個源圖像具有位於矩形的頂點處的已知視點ο
9.如權利要求8所述的方法，包括基於位於所述矩形的頂點處的所述已知視點，對所完成的包括所述左眼圖像數據或所述右眼圖像數據的至少之一的圖像數據進行內插。
10.如權利要求1所述的方法，其中，所述原始左眼數據不同於所述原始右眼數據。
11.如權利要求1所述的方法，其中，所述原始左眼數據和所述原始右眼數據中的每個代表所述源圖像中的兩個源圖像。
12.如權利要求11所述的方法，其中，所述兩個源圖像具有位於圓上的已知視點，所述圓的直徑等於所確定的左眼視點和右眼視點之間的距離。
13.如權利要求12所述的方法，包括基於位於所述圓上的所述已知視點，對所完成的包括所述左眼圖像數據或所述右眼圖像數據的至少之一的圖像數據進行內插。
14.如權利要求12所述的方法，其中，第三源圖像具有已知視點，該已知視點位於所述圓上並且從所述兩個源圖像的已知視點之一垂直穿過所述圓。
15.如權利要求14所述的方法，包括基於⑴所述兩個源圖像的所述已知視點之一， 和(ii)所述第三源圖像的所述已知視點，對代表具有中間視點的圖像的中間圖像數據進行外插。
16.如權利要求15所述的方法，包括基於(i)所述兩個源圖像的所述已知視點中的另一個，和(ii)所述中間視點，對所完成的包括所述左眼圖像數據或所述右眼圖像數據中的至少之一的圖像數據進行內插。
17.一種用於處理具有已知視點的源圖像的設備，包括視點確定部分，用於相對於所述已知視點確定觀看者的左眼視點和右眼視點； 視差圖像生成部分，用於基於所確定的左眼視點，選擇所述源圖像的至少之一的數據作為原始左眼數據；和基於所確定的右眼視點，選擇所述源圖像的至少之一的數據作為原始右眼數據； 基於所述原始左眼數據，輸出左眼圖像數據；和基於所述原始右眼數據，輸出右眼圖像數據。
18. 一種存儲程序的非暫態、計算機可讀存儲介質，當通過處理器執行所述程序時，使設備執行處理具有已知視點的源圖像的方法，所述方法包括 相對於所述已知視點確定觀看者的左眼視點和右眼視點； 基於所確定的左眼視點，選擇所述源圖像的至少之一的數據作為原始左眼數據； 基於所確定的右眼視點，選擇所述源圖像的至少之一的數據作為原始右眼數據； 基於所述原始左眼數據，輸出左眼圖像數據；以及基於所述原始右眼數據，輸出右眼圖像數據。
全文摘要
公開了一種用於處理具有已知視點的源圖像的設備。該設備可包括視點確定部分，用於相對於該已知視點確定觀看者的左眼視點和右眼視點。此外，該設備可包括視差圖像生成部分。該視差生成部分可用於基於所確定的左眼視點選擇源圖像的至少之一作為原始左眼數據。另外，該視差生成部分可基於所確定的右眼視點選擇源圖像的至少之一作為原始右眼數據。該視差生成部分還可用於基於該原始左眼數據輸出左眼圖像數據。另外，該視差生成部分可用於基於該右眼原始數據輸出右眼圖像數據。
文檔編號H04N13/04GK102473321SQ20118000299
公開日2012年5月23日 申請日期2011年5月20日 優先權日2010年5月28日
發明者坂口龍己 申請人:索尼公司