圖像處理裝置、攝像裝置及圖像處理程序的製作方法

2023-12-07 21:50:36

圖像處理裝置、攝像裝置及圖像處理程序的製作方法
【專利摘要】在構成被拍攝體像的顏色的特定顏色中，從與第一視點對應的第一視點彩色圖像數據提取對象像素位置處的特定顏色的像素值，從與第二視點及第三視點對應的第二視點彩色圖像數據及第三視點彩色圖像數據提取各自的彩色圖像數據的第一顏色成分和第二顏色成分的像素值，以下述方式算出第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得第二視點的新求出的特定顏色的像素值和第一視點彩色圖像數據的特定顏色的像素值之間的差，相對於第二視點彩色圖像數據的第一顏色成分的像素值和第三視點彩色圖像數據的第一顏色成分的像素值之間的差、以及第二視點彩色圖像數據的第二顏色成分的像素值和第三視點彩色圖像數據的第二顏色成分的像素值之間的差的和保持相關關係。
【專利說明】圖像處理裝置、攝像裝置及圖像處理程序

【技術領域】
[0001 ] 本發明涉及圖像處理裝置、攝像裝置及圖像處理程序。

【背景技術】
[0002]公知使用2個攝影光學系統取得由右眼用的圖像和左眼用的圖像構成的立體圖像的立體攝像裝置。這樣的立體攝像裝置是通過以一定間隔配置2個攝像光學系統，使拍攝同一被拍攝體而得到的2個圖像產生視差。
[0003][現有技術文獻]
[0004][專利文獻]
[0005][專利文獻I]日本特開平8-47001號公報
[0006]為將右眼用的圖像及左眼用的圖像分別作為彩色圖像取得，需要將與立體攝像裝置的各攝影光學系統對應的輸出圖像作為彩色圖像取得。


【發明內容】

[0007]本發明的第一方式的圖像處理裝置具有:像素值提取部，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的IX像素值，在多個顏色成分之一的A成分色中，從與不同於第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取對象像素位置處的2A像素值及3A像素值，在多個顏色成分之一的與A成分色不同的B成分色中，從與第二視點及第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取對象像素位置處的2B像素值及3B像素值；和算出部，以下述方式算出第二視點的2X像素值及第三點的3X像素值的至少任意一方，即，使得針對X成分色的第二視點的2X像素值或第三視點的3X像素值與IX像素值之差，相對於2A像素值與3A像素值之差加上2B像素值與3B像素值之差所得到的值保持相關關係。
[0008]本發明的第二方式的攝像裝置是具有拍攝被拍攝體像的攝像元件和上述圖像處理裝置的攝像裝置，其中，像素值提取部從攝像元件輸出的與第一視點對應的具有IX像素值的彩色圖像數據中提取第一像素值，從攝像元件輸出的與第二視點及第三視點對應的具有2A像素值及3A像素值的彩色圖像數據中提取2A像素值及3A像素值。
[0009]本發明的第三方式的圖像處理程序使計算機執行如下步驟:第一提取步驟，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的IX像素值；第二提取步驟，在多個顏色成分之一的A成分色中，從與不同於第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取對象像素位置處的2A像素值及3A像素值，在多個顏色成分之一的與A成分色不同的B成分色中，從與第二視點及第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取對象像素位置處的2B像素值及3B像素值；算出步驟，以下述方式算出第二視點的2X像素值及第三視點的3X像素值的至少任意一方，即，使得針對X成分色的第二視點的2X像素值或第三視點的3X像素值與IX像素值之差，相對於2A像素值與3A像素值之差加上2B像素值與3B像素值之差所得到的值保持相關關係。
[0010]此外，上述發明的概要並沒有列舉出本發明所需要的所有特徵。另外，這些特徵組的子組合也包含於發明。

【專利附圖】

【附圖說明】
[0011]圖1是用於說明本發明的實施方式的數位相機的結構的圖。
[0012]圖2是用於說明本發明的實施方式的攝像元件的剖面結構的圖。
[0013]圖3是表示攝像元件的一部分經放大的情況的概要圖。
[0014]圖4是用於說明視差像素和被拍攝體的關係的概念圖。
[0015]圖5是用於說明生成視差圖像的處理的概念圖。
[0016]圖6是用於說明拜耳陣列的圖。
[0017]圖7是用於說明第一實施例的重複圖案110的排列的圖。
[0018]圖8是用於說明第一實施例的視差像素的像素間隔的關係的圖。
[0019]圖9是用於說明作為2D圖像數據的Gn層數據、RN層數據、BN層數據的生成處理的例子的圖。
[0020]圖10是用於說明作為左視差圖像數據的Gu層數據、層數據、RU層數據的生成處理的例子的圖。
[0021]圖11是用於說明作為右視差圖像數據的GKt層數據、BKt層數據、RKt層數據的生成處理的例子的圖。
[0022]圖12是用於說明散焦的概念的圖。
[0023]圖13是用於說明視差像素散焦的概念的圖。
[0024]圖14是表示視差及像素和視差像素的光強度分布的圖。
[0025]圖15是用於說明從高清的2D圖像數據生成高清的顏色視差層數據的生成處理的概念圖。
[0026]圖16是直到生成視差彩色圖像數據的處理流程。
[0027]圖17是用於說明開口形狀的圖。
[0028]圖18是表示重複圖案110的變化的一例的圖。
[0029]圖19是用於說明插值處理的圖。
[0030]圖20是用於說明散焦的概念的圖。
[0031]圖21是用於說明視差像素散焦的概念的圖。
[0032]圖22是表示作為一例的實空間的排列和k空間的圖。

【具體實施方式】
[0033]以下，通過發明的實施方式說明本發明，但以下的實施方式並非限定權利要求書所述的發明。另外，實施方式中說明的特徵的組合併非全部都是發明的解決手段所必須的。
[0034]作為圖像處理裝置及攝像裝置的一個方式的本實施方式的數位相機能夠對於I個場景通過一次拍攝而生成多個視點數的圖像。將視點相互不同的各個圖像稱為視差圖像。
[0035]
[0036]圖1是用於說明本發明的實施方式的數位相機10的結構的圖。數位相機10包括作為攝影光學系統的攝影鏡頭20，將沿光軸21入射的被拍攝體光束引導至攝像元件100。攝影鏡頭20也可以是相對於數位相機10能夠裝卸的更換式鏡頭。數位相機10包括:攝像元件100、控制部201、A/D轉換電路202、存儲器203、驅動部204、圖像處理部205、存儲卡IF207、操作部208、顯示部209、LCD驅動電路210及AF傳感器211。
[0037]此外，如圖所示，將朝向攝像元件100的與光軸21平行的方向定為Z軸正方向，將在與Z軸垂直的平面中朝向紙面近前一側的方向定為X軸正方向，將紙面的上方向定為Y軸正方向。在之後的幾個圖中，以圖1的座標軸為基準顯示座標軸，以便於理解各個圖的朝向。
[0038]攝影鏡頭20由多個光學透鏡組構成，使來自於場景的被拍攝體光束在其焦點面附近成像。另外，在圖1中，為了便於說明攝影鏡頭20，以設置在光瞳附近的一個假想透鏡代表性地進行表示。攝像元件100設置於攝影鏡頭20的焦點面附近。攝像元件100為二維地排列有多個光電轉換元件的例如CCD (電荷藕合器件，Charge Coupled Device)、CM0S (互補金屬氧化物半導體，Complementary Metal Oxide Semiconductor)傳感器等圖形傳感器。攝像元件100由驅動部204進行定時控制，將受光面上成像的被拍攝體像轉換成圖像信號並輸出給A/D轉換電路202。
[0039]A/D轉換電路202將由攝像元件100輸出的圖像信號轉換成數字圖像信號並輸出到存儲器203。圖像處理部205將存儲器203作為工作空間實施各種圖像處理，並生成圖像數據。尤其，圖像處理部205具有從2D彩色圖像數據及低解析度的視差彩色圖像數據的對象像素位置提取像素值的像素值提取部231、和使用所提取出的像素值算出對象像素位置處的作為高清的視差彩色圖像數據的像素值的算出部233。其各自處理的詳細情況在後面說明。
[0040]圖像處理部205除此以外還負擔根據所選擇的圖像格式調整圖像數據等的圖像處理的一般功能。所生成的圖像數據通過IXD驅動電路210被轉換成顯示信號，並顯示在顯示部209。而且還存儲到安裝於存儲卡IF207的存儲卡220中。
[0041]AF傳感器211是對被拍攝體空間設定有多個測距點的相位差傳感器，在各個測距點處檢測出被拍攝體像的散焦量。一系列的拍攝過程是從操作部208接收到用戶的操作並向控制部201輸出操作信號開始的。拍攝過程中附帶的AF(Autc) Focus，自動對焦)，AE (Automatic Exposure,自動曝光)等各種動作由控制部201控制執行。例如,控制部201解析AF傳感器211的檢測信號，執行使構成攝影鏡頭20 —部分的聚焦透鏡移動的對焦控制。
[0042]以下，關於攝像元件100的結構進行詳細說明。圖2是表示本發明的實施方式的攝像元件100的剖面的概要圖。
[0043]攝像元件100被構成為從被拍攝體側開始依次排列有微型透鏡101、彩色濾光片102、開口掩模103、布線層105及光電轉換元件108。光電轉換元件108由用於將入射光轉換為電信號的光電二極體構成。光電轉換兀件108在基板109的表面以二維方式排列有多個。
[0044]由光電轉換元件108轉換的圖像信號以及控制光電轉換元件108的控制信號等通過布線層105上設置的布線106進行收發。而且,具有與各個光電轉換兀件108 對應設置的開口部104的開口掩模103與布線層相接觸地設置。如後所述，使開口部104相對於各個相應的光電轉換元件108偏移，並嚴格地確定了相對位置。通過具有該開口部104的開口掩模103的作用，在光電轉換元件108所接收的被拍攝體光束上產生視差。
[0045]另一方面，在不產生視差的光電轉換元件108上不存在開口掩模103。換言之，設置的開口掩模103所具有的開口部104並不限制於向相應的光電轉換元件108入射的被拍攝體光束，而是使全部有效光束均穿過。雖然沒有產生視差，但由於通過布線106所形成的開口 107實質上規定了入射的被拍攝體光束，因此可以將布線106看做是使不產生視差的全部入射光束穿過的開口掩模。開口掩模103可以分別對應於各個光電轉換元件108獨立排列，也可以與彩色濾光片102的製造過程相同,對應於多個光電轉換兀件108統一形成。
[0046]彩色濾光片102設置於開口掩模103上。彩色濾光片102是分別與各個光電轉換元件108 —一對應設置、通過對各個光電轉換元件108進行著色而使特定波段透過的濾波器。為了輸出彩色圖像，只要排列至少兩種彼此不同的彩色濾光片即可，但為了獲得更高畫質的彩色圖像，最好排列三種以上的彩色濾光片。例如，可以網格狀地排列有使紅色波段透過的紅色濾光片(R濾波器)、使綠色波段透過的綠色濾光片(G濾波器)、以及使藍色波段透過的藍色濾光片(B濾波器)。有關具體的排列將在以後進行說明。
[0047]微型透鏡101設置於彩色濾光片102上。微型透鏡101是用於將入射的被拍攝體光束更多地引導至光電轉換元件108的聚光透鏡。微型透鏡101分別與光電轉換元件108
對應設置。微型透鏡101優選考慮攝影鏡頭20的光瞳中心與光電轉換兀件108的相對位置關係來移動其光軸，以使更多的被拍攝體光束被引導至光電轉換元件108。進一步地，可以與開口掩模103的開口部104的位置共同調整設置位置，以使後述特定的被拍攝體光束更多地入射。
[0048]像這樣，將與各個光電轉換元件108 —一對應設置的開口掩模103、彩色濾光片102及微型透鏡101的一個單位稱為像素。具體地，將設置有產生視差的開口掩模103的像素稱為視差像素，將沒有設置產生視差的開口掩模103的像素稱為無視差像素。例如，當攝像元件100的有效像素區域為24_X 16mm左右時，像素數達到1200萬個左右。
[0049]此外，當採用集光效率、光電轉換效率較好的圖形傳感器時，也可以不設置微型透鏡101。另外，當採用背面照射型圖形傳感器時，布線層105設置於光電轉換元件108的相對側。另外，如果使開口掩模103的開口部104具有顏色成分，則可以將彩色濾光片102與開口掩模103 —體成形。
[0050]另外，在本實施方式中，開口掩模103和布線106分體地設置，但也可以由布線106承擔視差像素中開口掩模103的功能。S卩，由布線106形成所規定的開口形狀，通過該開口形狀限制入射光束並僅將特定的部分光束導入光電轉換元件108。該情況下，形成開口形狀的布線106優選位於布線層105中最靠近光電轉換元件108的一側。
[0051]另外，開口掩模103也可以由與光電轉換元件108重合設置的透射阻止膜形成。該情況下，開口掩模103例如依次層疊有SiN膜和S12膜而成為透射阻止膜，並通過蝕刻除去與開口部104相當的區域而形成。
[0052]以下說明開口掩模103的開口部104與所產生的視差的關係。圖3為攝像元件100的一部分經放大後的狀態的示意圖。此處，為了簡化說明，暫不考慮有關彩色濾光片102的配色，後續內容再進行說明。在未提及彩色濾光片102的配色的以下說明中，可以認為是僅匯集了具有同色的彩色濾光片102的視差像素的圖形傳感器。因此，以下所說明的重複圖案也可以被認為是同色的彩色濾光片102中的相鄰像素。
[0053]如圖3所示，開口掩模103的開口部104針對各個像素相對偏移設置。而且，在相鄰像素的彼此之間，各個開口部104設置於彼此錯位的位置。
[0054]在圖中的例子中，根據開口部104相對於各個像素的位置的不同，預先準備有沿左右方向彼此偏移的六種開口掩模10。而且，在整個攝像元件100中二維地且周期性地排列有光電轉換元件組，該光電轉換元件組以分別具有從紙面左側往右側逐漸偏移的開口掩模103的六個視差像素為一組。
[0055]圖4為說明視差像素與被拍攝體的關係的概念圖。具體地，圖4(a)表示在攝像元件100中在與攝影光軸21相垂直的中心處排列的重複圖案IlOt的光電轉換元件組，圖4(b)示意性地表示在周圍部分排列的重複圖案IlOu的光電轉換元件組。圖4(a)、圖4(b)中的被拍攝體30相對於攝影鏡頭20位於聚焦位置。圖4(c)與圖4(a)相對應地示意性地表示出當捕捉相對於攝影鏡頭20位於非聚焦位置的被拍攝體31時的關係。
[0056]首先說明由攝影鏡頭20捕捉處於聚焦狀態下的被拍攝體30時，視差像素與被拍攝體的關係。被拍攝體光束穿過攝影鏡頭20的光瞳被引導至攝像元件100，但對被拍攝體光束透過的整個截面區域規定了六個部分區域Pa?Pf。而且，從放大圖中也可以看出，例如構成重複圖案IlOtUlOu的光電轉換元件組的紙面左端的像素中，對開口掩模103的開口部104f的位置進行了設定，以使只有從部分區域Pf射出的被拍攝體光束才能到達光電轉換元件108。同樣地，對於從此往右端的像素，也分別設定了開口部104e與部分區域Pe對應的位置、開口部104d與部分區域Pd對應的位置、開口部104c與部分區域Pc對應的位置、開口部104b與部分區域Pb對應的位置、開口部104a與部分區域Pa對應的位置。
[0057]換言之，例如根據由部分區域Pf與左端像素的相對位置關係定義的、從部分區域Pf射出的被拍攝體光束的主光線Rf的傾斜來設定開口部104f的位置。然後，當光電轉換元件108經開口部104f接收到來自於位於聚焦位置的被拍攝體30的被拍攝體光束時，如虛線所示，該被拍攝體光束在光電轉換元件108上成像。同樣地，也可以說是對於往右端的像素，分別根據主光線Re的傾斜設定開口部104e的位置、根據主光線Rd的傾斜設定開口部104d的位置、根據主光線Re的傾斜設定開口部104c的位置、根據主光線Rb的傾斜設定開口部104b的位置、根據主光線Ra的傾斜設定開口部104a的位置。
[0058]如圖4(a)所示，在位於聚焦位置的被拍攝體30中，從與光軸21相交叉的被拍攝體30上的微小區域Ot放射的光束穿過攝影鏡頭20的光瞳到達構成重複圖案IlOt的光電轉換元件組的各個像素。即，構成重複圖案IlOt的光電轉換元件組的各個像素分別透過六個部分區域Pa?Pf接收到從一個微小區域Ot放射的光束。微小區域Ot具有與構成重複圖案IlOt的光電轉換元件組的各個像素的錯位相對應程度的大小，但實質上能夠近似於大致同一物點。同樣地，如圖4(b)所示，在位於聚焦位置的被拍攝體30中，從離開光軸21的被拍攝體30上的微小區域Ou放射的光束穿過攝影鏡頭20的光瞳到達構成重複圖案IlOu的光電轉換元件組的各個像素。即，構成重複圖案IlOu的光電轉換元件組的各個像素分別透過六個部分區域Pa?Pf接收到從一個微小區域Ou放射的光束。微小區域Ou也與微小區域Ot相同，具有與構成重複圖案IlOu的光電轉換元件組的各個像素的錯位相對應程度的大小，但實質上能夠近似於大致同一物點。
[0059]也就是說，只要被拍攝體30位於聚焦位置，對應於攝像元件100上的重複圖案110的位置，光電轉換元件組所捕捉到的微小區域各不相同，且構成光電轉換元件組的各像素透過彼此不同的部分區域捕捉同一微小區域。而且，在各個重複圖案110中，對應像素彼此之間接收來自於同一部分區域的被拍攝體光束。也就是說，在圖中，例如重複圖案l1t、IlOu的各個左端像素均接收來自於同一部分區域Pf的被拍攝體光束。
[0060]在與攝影光軸21相垂直的中心處排列的重複圖案IlOt中的、供左端像素接收來自於部分區域Pf的被拍攝體光束的開口部104f的位置與在周圍部分排列的重複圖案IlOu中的、供左端像素接收到來自於部分區域Pf的被拍攝體光束的開口部104f的位置嚴格來講是不同的。然而，從功能的角度來看，在用於接收來自於部分區域Pf的被拍攝體光束的開口掩模這一點上，可以將他們作為同一種類開口掩模處理。因此，在圖4的例子中，可以說在攝像元件100上排列的各個視差像素分別具有六種開口掩模之一。
[0061]以下說明由攝影鏡頭20捕捉處於非聚焦狀態的被拍攝體31時，視差像素與被拍攝體的關係。在該情況下，來自於位於非聚焦位置的被拍攝體31的被拍攝體光束也透過攝影鏡頭20的光瞳的六個部分區域Pa?Pf到達攝像元件100。然而，來自於處於非聚焦位置的被拍攝體31的被拍攝體光束並不在光電轉換元件108上成像，而是在其他位置成像。例如，如圖4(c)所示，當被拍攝體31位於比被拍攝體30更加遠離攝像元件100的位置時，被拍攝體光束在與光電轉換元件108相比更靠近被拍攝體31側成像。相反，當被拍攝體31位於比被拍攝體30更接近攝像元件100的位置時，被拍攝體光束在與光電轉換元件108相比的被拍攝體31的相反側成像。
[0062]因此，在位於非聚焦位置的被拍攝體31中，從微小區域0t』放射的被拍攝體光束透過六個部分區域Pa?Pf中的任意一個，從而到達不同組的重複圖案110中的對應像素。例如，如圖4(c)的放大圖所示，透過部分區域Pd的被拍攝體光束作為主光線Rd』入射到重複圖案110t』中包含的具有開口部104d的光電轉換元件108。而且，即使是從微小區域0t』放射的被拍攝體光束，透過其他部分區域的被拍攝體光束也不會入射到重複圖案110t』中包含的光電轉換元件108，而是入射到其他重複圖案中具有對應開口部的光電轉換元件108。換言之，到達構成重複圖案110t』的各光電轉換元件108的被拍攝體光束是從被拍攝體31中互不相同的微小區域放射的被拍攝體光束。也就是說，以Rd』為主光線的被拍攝體光束入射到與開口部104d對應的108，以Ra+、Rb+、Re+、Re+、Rf+為主光線的被拍攝體光束入射到與其他開口部對應的光電轉換元件108，這些被拍攝體光束都是從被拍攝體31中互不相同的微小區域放射的被拍攝體光束。這種關係在圖4(b)中排列在周圍部分的重複圖案IlOu中也是一樣的。
[0063]這樣，當把攝像元件100作為一個整體來看時，例如，由與開口部104a對應的光電轉換元件108捕捉到的被拍攝體像A和由與開口部104d對應的光電轉換元件108捕捉到的被拍攝體像D，如果是針對位於聚焦位置的被拍攝體的像，就不會彼此錯位，而如果是針對位於非聚焦位置的被拍攝體的像，則會產生錯位。而且，該錯位根據位於非聚焦位置的被拍攝體相對於聚焦位置朝哪一側以何種程度錯位、或者根據部分區域Pa與部分區域Pd的距離來確定方向和量。也就是說，被拍攝體像A與被拍攝體像D彼此成為視差像。該關係對於其他開口部也是相同的，因此對應於開口部104a?104f形成六個視差像。
[0064]因此，在如此構成的各個重複圖案110中，匯集彼此對應的像素的輸出便得到視差圖像。也就是說，接收到從六個部分區域Pa?Pf中的特定部分區域射出的被拍攝體光束的像素所進行的輸出形成了視差圖像。
[0065]圖5為說明生成視差圖像的處理的概念圖。圖中從左列開始依次表示:對開口部104f對應的視差像素的輸出進行收集而生成的視差圖像數據Im_f的生成樣子、由開口部104e的輸出形成的視差圖像數據Im_e的生成樣子、由開口部104d的輸出形成的視差圖像數據Im_d的生成樣子、由開口部104c的輸出形成的視差圖像數據Im_c的生成樣子、由開口部104b的輸出形成的視差圖像數據Im_b的生成樣子、由開口部104a的輸出形成的視差圖像數據Im_a的生成樣子。首先，對開口部104f的輸出形成的視差圖像數據Im_f的生成樣子進行說明。
[0066]由以六個視差像素為一組的光電轉換元件組構成的重複圖案110排列在橫一列上。因此，具有開口部104f的視差像素在除去了無視差像素的假想的攝像元件100上沿左右方向相隔6個像素，且沿上下方向連續存在。這些像素如上所述分別接收來自於各個不同微小區域的被拍攝體光束。因此，對這些視差像素的輸出進行匯集排列後便得到視差圖像。
[0067]然而，由於本實施方式中的攝像元件100的各像素為正方像素，僅進行單純的匯集會造成橫方向的像素數縮減到1/6，從而生成縱長形的圖像數據。因此，通過實施插值處理在橫方向變為六倍的像素數，從而生成視差圖像數據Im_f作為原始長寬比的圖像。然而，由於當初在插值處理前的視差圖像數據是在橫方向上縮減到1/6的圖像，因此，橫方向上的解析度比縱方向上的解析度低。也就是說，所生成的視差圖像數據的數量與解析度的提高呈相反關係。另外，關於在本實施方式中採用的具體的插值處理將在後說明。
[0068]同樣地得到視差圖像數據Im_e?視差圖像數據Im_a。S卩，數位相機10能夠生成在橫方向上具有視差的六個視點的視差圖像。
[0069]如上所述地說明了在具有6種從開口部的像素中心的錯位時，各自的視差像素作為光瞳分割光學系統發揮作用而生成6個視點的視差像素的例子。這裡主要說明的，是各個視差像素成像出視點各不不同的被拍攝體像，在不同種類的視差像素之間，在視點不同的像之間產生視差。
[0070]不僅存在視差像素的光瞳分割光學系統只是生成視差這樣的事實，還存在生成視差是僅針對從聚焦位置偏移了的非聚焦位置處的模糊的被拍攝體像根據其非聚焦程度來生成視差這樣的重要事實。
[0071]將該情況分成通常的無視差像素和2視差(左視差、右視差)的說明圖如圖20、圖21 (與圖12、13、14對應)所示。通過了 I個光學系統的光對於右視差像素來說成像出在光學系統的左側具有假想光瞳這樣的光學像，對於左視差像素來說成像出在光學系統的右側具有假想光瞳這樣的光學像。因此，聚焦位置的被拍攝體像的點像分布函數尖銳地成像，成像出不論通過哪個假想光瞳都具有同樣尖銳的點像分布的、沒有視差的被拍攝體像。另一方面，在聚焦位置前後模糊的被拍攝體位置的點像分布函數示出模糊幅度隨著遠離聚焦位置而擴大，並且成像的中心位置向左右分離開去，產生視差。對這兩個分離的點像分布函數進行疊加合成的I個點像分布函數與成像出無視差像素的點像分布函數一致，其峰值位置位於通過假想光瞳分離成兩個的光學像的點像分布函數的正中。
[0072]僅在該模糊中存在視差，模糊程度越大，視差量越大，在著眼於這樣的重要事實的本實施方式中，關於輸入了用於同時取得高解析度的2D圖像和3D圖像的顏色、視差排列的情況的例子進行說明。
[0073]1.顏色、視差多重馬賽克圖像數據的輸入
[0074]以下，關於彩色濾光片102和視差圖像進行說明。圖6是用於說明拜耳陣列的圖。如圖所示，拜耳陣列是將G濾波器分配到左上(Gb)和右下(Gr)的2像素、將R濾波器分配到左下的I像素、將B濾波器分配到右上的I像素的排列。
[0075]對於這樣的彩色濾光片102的排列，根據將視差像素和無視差像素以怎樣的周期分配給哪種顏色的像素，可設定龐大數量的重複圖案110。只要匯集無視差像素的輸出，就能夠與通常的攝影圖像同樣地生成沒有視差的攝影圖像數據。因此，若相對地增加無視差像素的比例，則能夠輸出解析度高的2D圖像。該情況下，由於視差像素成為相對少的比例，所以，作為由多個視差圖像構成的3D圖像，畫質降低。相反地，若增加視差像素的比例，則3D圖像的畫質提高，但由於無視差像素相對減少，所以會輸出解析度低的2D圖像。若對RGB的像素都分配視差像素，則能夠成為是3D圖像且顏色再現性好的高品質的彩色圖像數據。
[0076]理想的是，不論2D圖像還是3D圖像，都希望輸出高解析度、高品質的彩色圖像數據。然而，在3D圖像中，觀察者感受到視差的圖像區域是能夠從使用圖4、圖12、圖13、圖14說明的視差產生原理理解出那樣的、同一被拍攝體像相互錯位的非聚焦區域。因此，可以說觀察者感受到視差的圖像區域對於已聚焦的主要被拍攝體來說高頻成分少。於是，當生成3D圖像時，在發生視差的區域中，只要存在高解析度不那麼高的圖像數據就足夠了。
[0077]關於已聚焦的圖像區域，從2D圖像數據切出，關於不聚焦的圖像區域，切出3D圖像數據，通過合成能夠生成各自的視差圖像數據。或者，以是高解析度數據的2D圖像數據為基礎，加上3D圖像數據的各像素中的相對的差，能夠生成高解析度的各自的視差圖像數據，詳細情況在後面說明。若以採用這樣的圖像處理為前提，則在攝像元件100中，視差像素的數量可以比無視差像素的數量少。換言之，即使視差像素相對少，也能夠生成解析度高的3D圖像。
[0078]該情況下，為將3D圖像生成為彩色圖像，只要排列相互不同的至少2種彩色濾光片即可，但在本實施方式中，如使用圖6說明的拜耳陣列那樣，為得到更高畫質，採用RGB三種彩色濾光片。尤其，在視差像素的數量相對少的本實施方式中，在視差像素中，對於各個種類的開口部104，包含設置有RGB這三種彩色濾光片的任意一種的全部組合。例如，若假定為開口部104比中心向左側偏心的視差Lt像素和同樣地向右側偏心的視差Rt像素，則視差Lt像素包括具有R濾波器的像素、具有G濾波器的像素、具有B濾波器的像素,視差Rt像素包括具有R濾波器的像素、具有G濾波器的像素、具有B濾波器的像素。即，攝像元件100具有6種視差像素。從這樣的攝像元件100輸出的圖像數據成為實現所謂的立體感的鮮豔的顏色視差圖像數據的基礎。此外，對於2種開口部組合2種彩色濾光片的情況下，攝像兀件100具有4種視差像素。
[0079]圖7是用於說明第一實施例中的重複圖案110的排列的圖。數位相機10的坐標系由X軸、Y軸、Z軸定義，在重複圖案110內，以左端且上端的像素為基準向右方向定義為X軸，向下方向定義為y軸。第一實施例中的重複圖案110由y軸方向具有4個、X軸方向具有4個的以4像素為基本單位的拜耳陣列的64像素構成。該重複圖案110將由64像素構成的像素組作為一組，在上下左右周期性地排列攝像元件100的有效像素區域。即，攝像元件100將圖中的粗線所示的重複圖案110作為基本網格。此外，重複圖案110內的像素用Pxy表不。例如，左上像素是P11，右上像素是P81。
[0080]第一實施例中的視差像素具有開口部104比中心向左側偏心的視差Lt像素和同樣地向右側偏心的視差Rt像素這2種開口掩模103的任意一方。如圖所示，視差像素如下所述地排列。
[0081]P11…視差Lt像素+G濾波器(=GLt)
[0082]P51…視差Rt像素+G濾波器(=GEt)
[0083]P32…視差Lt像素+B濾波器(=BLt)
[0084]P63…視差Rt像素+R濾波器(=REt)
[0085]P15…視差Rt像素+G濾波器(=GEt)
[0086]P55…視差Lt像素+G濾波器(=GLt)
[0087]P76…視差Rt像素+B濾波器(=BEt)
[0088]P27…視差Lt像素+R濾波器(=RLt)
[0089]其他的像素是無視差像素、無視差像素+R濾波器(=Rn)、無視差像素+G濾波器(=Gn)、無視差像素+B濾波器(=Bn)中的任意一方。
[0090]像這樣，在基本網格中，優選包括由開口部和彩色濾光片的全部組合產生的視差像素，並且在比視差像素多的無視差像素中具有隨機性地配置的排列。尤其，按各彩色濾光片分別計數的情況下，也優選無視差像素比視差像素多。第一實施例的情況下，對於Gn =28個來說，Gu+GKt = 2+2 = 4個，對於Rn = 14個來說，Ru+RKt = 2個，對於Bn = 14個來說，BLt+BEt = 2個。另外，如上所述，考慮到人類的視覺特性，具有G濾波器的視差像素及無視差像素比具有其他彩色濾光片的各像素多地排列。
[0091]換言之，對於視差像素來說，也具有R、G、B全部的顏色信息，由此，能夠更高度地捕獲準確的立體用的顏色分布構造。
[0092]該RGB比率無論對於右視差像素還是對於左視差像素還是對於無視差像素都採用與拜耳陣列相同的R:G:B = 1:2:1的結構。而且，使視差像素以疏密度儘可能相互分離地分布，以便無視差像素儘可能確保通常的拜耳陣列的空間解析度。即，某顏色成分的相同的右視差像素彼此之間以及相同的左視差像素彼此之間，以等間隔保持各向同性地並列，並且某顏色成分的右視差像素和左視差像素之間的距離最遠離地等間隔地並列。而且，忽略顏色成分的情況下的右視差像素彼此之間的距離以及忽略顏色成分的情況下的左視差像素彼此之間的距離儘可能分離地配置，能夠均勻地取得視差信息。
[0093]此外，在實施例1中，無視差像素、左視差像素和右視差像素的像素數之比為N:Lt =Rt = 14:1:1，無視差像素的空間解析度保持極其接近拜耳陣列的狀態。而且，通過相互最遠離地配置視差像素，無視差像素相鄰從而沒有同時丟失信息的擔心，保持對包含奈奎斯特頻率的高頻成分的分辨性能。
[0094]圖8是用於說明第一實施例中的視差像素的像素間隔的關係的圖。在圖中，排列9個( = 3X3)圖7所示的重複圖案110來表示。
[0095]如圖所示，無論Gu像素的X軸方向上的間隔還是y軸方向上的間隔都是由Gup表示的等間隔。另外，關於成對的GKt像素，無論X軸方向上的間隔還是I軸方向上的間隔都是由GKtp表示的等間隔，並且GKtp與Gup相等。而且，在從Gu像素的位置朝向X、Y的一方向前進了 Gup的距離的位置，存在GKt像素。
[0096]同樣地，無論Ru像素的X軸方向上的間隔還是y軸方向上的間隔都是由Rup表示的等間隔。另外，關於成對的RKt像素，無論X軸方向上的間隔還是I軸方向上的間隔都是由RKtp表示的等間隔，並且RKtp與Rup相等。而且，在從Ru像素的位置朝向X、Y兩方向前進了 Rup的一半的距離的位置，存在Rm像素。
[0097]而且，無論Bu像素的X軸方向上的間隔還是y軸方向上的間隔都是由Bup表示的等間隔。另外，關於成對的BKt像素，無論X軸方向上的間隔還是y軸方向上的間隔都是由BEtp表示的等間隔，並且BKtp與Bup相等。而且，在從Bu像素的位置朝向X、Y兩方向前進了BLtp的一半的距離的位置，存在BKt像素。
[0098]即，按彩色濾光片的種類來看，按開口掩模的各種類，被夾在與其他的開口掩模相對應的視差像素及無視差像素之間，對於二維方向的任意一方都等間隔地配置。換言之，在二維方向上各向同性且均等地配置。通過這樣配置視差像素，在視差圖像的輸出時，在縱方向和橫方向上清晰感不會不同，並且還能夠減輕對2D圖像的清晰感的不良影響。
[0099]將這樣得到的顏色、視差像素排列的情況集中在圖22，並且與該實空間排列對應的頻率空間中的解析度範圍即解析度也作為k空間圖表示。波數k與頻率f以k = 2 π f的關係關聯。設實空間的網格間隔為a時,表不其倒易空間的是k空間，解析度範圍由倒易空間的第一布裡淵區域表示。(例如，參照與本 申請人:同一發明人的US2010/021853和日本專利第4239483號。)
[0100]觀察圖22時，攝像階段中的疏的左視差像素和疏的右視差像素的解析度比密的無視差像素低。相應地，密的無視差像素具有與拜耳陣列相當的解析度。
[0101]因此，如下所述暫且對無視差像素進行插值，生成2D彩色圖像Rn、Gn、Bn，而且，預先生成疏的左視差圖像RU、GU、BU和疏的右視差圖像RKt、GKt、BKt。這樣，能夠從其中中間性地利用無視差像素，最終如下所述地在疏的視差圖像中施加視差調製而得到密的左視差圖像 R』 Lt、G』 Lt、B』 Lt 和密的右視差圖像 R』 Et > G』 Kt、B』 Kt。
[0102]



, gjjfe.Jr.gafe>') ,
2.2 2
[0103]今++
did
[0104]4<v)= 座逾越+ 疊
￡￡M
[0105]g_i讀職+ cyMtSiM) —.ΜΞ^ΙμΜ?
2 2
[0106]2 + 2 + 2
[0107]遇*+
[0108]像這樣，無視差像素的高頻成分與新生成的具有視差的圖像重疊，具有視差的圖像即3D圖像也能夠得到與2D圖像相同的高解析度的圖像。換言之，在聚焦區域附近的聚焦稍有偏移而發生微小視差這樣的圖像區域中，參照著使無視差圖像的高解析度圖像緩慢地變化的視差圖像的狀態，來通過視差調製實施向左方向或右方向稍微偏移的移位處理。
[0109]另外，非聚焦域大的模糊區域的被拍攝體像一邊最大限度地保持無視差圖像的分辨力，一邊最大限度利用具有緩慢地變化的視差的圖像的橫方向上的空間解析度從而大規模地進行橫移。
[0110]換言之，為最大限度地發揮視差調製效果，作為像素排列的條件列舉出:具有視差的圖像所具有的空間解析度在水平方向上高。
[0111]如最初的6視差的例子所示，從這樣的觀點出發，使左右的視差像素沿水平方向並列並降低水平解析度這樣的構域是不優選的，要謀求沿水平方向具有高解析度的視差像素排列。為滿足這樣的條件而配置的是各向同性的視差像素排列，在圖22的k空間圖中示出了各向同性的解析度。
[0112]以上，構成攝像元件100的各像素是將著眼於開口部104的情況下的視差像素和無視差像素、以及著眼於彩色濾光片102的情況下的R像素、G像素、B像素組合併賦予特徵。因此，即使使攝像元件100的輸出與其像素排列一致地進行羅列，也不會成為表示特定的像的圖像數據。即，使攝像元件100的像素輸出按被賦予同一特徵的像素組分離並匯集之後，形成了表示屬於該特徵的一個像的圖像數據。例如，如已經使用圖5說明的那樣，使視差像素的輸出按其開口部的種類匯集時，能夠得到相互具有視差的多個視差圖像數據。像這樣，將按被賦予同一特徵的像素組分離並聚集而成的各個圖像數據稱為層數據(planedata)。
[0113]圖像處理部205按攝像元件100的像素排列順序接受羅列了其輸出值的RAW源圖像數據，並分離成多個層數據。該時刻的各層數據僅在RAW源圖像數據中有輸出值存在的像素位置存在輸出值。因此，圖像處理部205以各層數據為基礎進行插值處理，生成填補了空網格的層數據。以下，關於通過插值處理實施的空網格被填補了的層數據的生成處理，以使用從圖7說明的第一實施例的攝像元件100的輸出為例進行說明。
[0114]2.無視差圖像的生成
[0115]圖9是用於說明作為2D圖像數據的Gn層數據、RN層數據、BN層數據的生成處理的例子的圖。上層的圖分別表示使攝像元件100中的一個重複圖案110及其周圍的輸出的一部分與該像素排列一致並羅列的情況。具體來說，上圖從左側依次是表示僅提取G像素的G0層數據的圖、表示僅提取R像素的Rtl層數據的圖、表示僅提取B像素的Btl層數據的圖。在圖中，為配合圖7的例子以能夠理解像素的種類的方式進行了記載，但實際上，與各像素對應的輸出值是並列的。
[0116]當生成Gn層數據時，圖像處理部205首先從攝像元件100的所有輸出值中將無視差像素Gn的像素值以外的像素值除去後形成空網格，由此生成Gtl層數據。而且，圖像處理部205使用周邊的無視差像素Gn的像素值通過插值處理算出成為空網格的像素值。例如，空網格P11的像素值是對於沿傾斜方向相鄰的無視差像素Gn的像素值即P+p P_12、P22的像素值進行平均化運算而算出的。在此，處於64X64像素的基本網格的外側的像素位置使用了負的指數。同樣地，空網格P55的像素值是對於沿傾斜方向相鄰的無視差像素Gn的像素值即P44、P64、P46、P66的像素值進行平均化運算而算出的。另一方面，例如空網格P27的像素值是對於沿上下左右相鄰的無視差像素Gn的像素值即P17、P26、P37、P28的像素值進行平均化運算而算出的。另外，空網格P52的像素值是對於沿左右及下方向相鄰的無視差像素Gn的像素值即P42、P62、P53的像素值進行平均化運算而算出的。
[0117]圖像處理部205對於全部的空網格，對相鄰的無視差像素Gn的像素值進行平均化運算並進行插值處理，由此如圖9的下左圖所示地生成Gn層數據。此外，圖像處理部205也可以使用通過插值處理算出的像素值進一步進行插值處理，也可以僅使用在RAW源圖像數據的階段中存在的輸出值進行插值處理。
[0118]當生成Rn層數據時，圖像處理部205首先從攝像元件100的所有輸出值將無視差像素Rn的像素值以外的像素值除去而形成空網格，由此生成Rtl層數據。而且，圖像處理部205使用周邊的無視差像素Rn的像素值通過插值處理算出成為空網格的像素值。例如空網格P63的像素值是對於沿上下左右跳過I像素而相鄰的無視差像素Rn的像素值即P43、P61 >P83、P65的像素值進行平均化運算而算出的。同樣地，空網格P27的像素值是對於沿上下左右跳過I像素而相鄰的無視差像素Rn的像素值即P_17、P25、P47、P29的像素值進行平均化運算而算出的。另一方面，例如，空網格P12的像素值是對於沿傾斜方向相鄰的無視差像素Rn的像素值即P-n、P21 > P_13、P23的像素值進行平均化運算而算出的。圖像處理部205對於全部的空網格，對相鄰的無視差像素Rn的像素值進行平均化運算並進行插值處理，由此如圖9的下中圖所示生成Rn層數據。
[0119]當生成Bn層數據時，圖像處理部205首先從攝像元件100的所有輸出值將無視差像素Bn的像素值以外得像素值除去而形成空網格，由此生成Btl層數據。而且，圖像處理部205使用周邊的無視差像素Bn的像素值通過插值處理算出成為空網格的像素值。例如空網格P32的像素值是對於沿上下左右跳過I像素而相鄰的無視差像素Bn的像素值即P12、P3_pP52、P34的像素值進行平均化運算而算出的。同樣地，空網格P76的像素值是對於沿上下左右跳過I像素而相鄰的無視差像素Bn的像素值即P56、P74、P96、P78的像素值進行平均化運算而算出的。另一方面，例如，空網格P27的像素值是對於沿傾斜方向相鄰的無視差像素Bn的像素值即P16、P36、P18、P38的像素值進行平均化運算而算出的。圖像處理部205對於全部的空網格，對相鄰的無視差像素Bn的像素值進行平均化運算並進行插值處理，由此如圖9的下右圖所示生成Bn層數據。
[0120]3.臨時的視差圖像的生成
[0121]圖10是用於說明作為左視差圖像數據的Gu層數據、RU層數據、BU層數據的生成處理的例子的圖。
[0122]當生成Gu層數據時，圖像處理部205從攝像元件100的所有輸出值將Gu像素的像素值以外的像素值除去而形成空網格，由此生成Gutl層數據。於是，在重複圖案110中，剩餘P11和P55這2個像素值。因此，將重複圖案110縱橫4等分，左上的16像素量由P11的輸出值Gui代表,右下的16像素量由P55的輸出值Gu2代表。而且,關於右上的16像素量的像素值Gu3及左下的16像素量的像素值Gu4,對於沿上下左右相鄰的周邊的代表值進行平均化運算並插值。即，Gutl層數據以16像素單位具有一個值。這是組合了一般被稱為鄰近的插值和被稱為雙線性的插值的方法。更優選的是，單獨地使用根據附近存在的像素值的距離而得到的平均值對空網格的像素值進行插值的雙線性插值即可。以上，圖像處理部205生成Gu層數據。
[0123]當生成Ru層數據時，圖像處理部205從攝像元件100的所有輸出值將Ru像素的像素值以外的像素值除去而形成空網格，由此生成Ruo層數據。於是，在重複圖案110中，剩餘P27的像素值RU1。圖像處理部205將該像素值Rui作為重複圖案110的64像素量的代表值，由此生成Ru層數據。這是鄰近插值，但更優選地進行雙線性插值。
[0124]同樣地，當生成Bu層數據時，圖像處理部205從攝像元件100的所有輸出值將Bu像素的像素值以外的像素值除去而形成空網格，由此生成Butl層數據。於是，在重複圖案110中，剩餘P32的像素值Bui。圖像處理部205將該像素值Bui作為重複圖案110的64像素量的代表值，由此生成Bu層數據。這是鄰近插值，但更優選進行雙線性插值。
[0125]像這樣，圖像處理部205能夠生成解析度比作為2D圖像數據的Gn層數據、Rn層數據、Bn層數據低的Gu層數據、Ru層數據、Bu層數據。
[0126]圖11是用於說明作為右視差圖像數據的GKt層數據、RKt層數據、BKt層數據的生成處理的例子的圖。
[0127]當生成GKt層數據時，圖像處理部205從攝像元件100的所有輸出值中將GKt像素的像素值以外的像素值除去而形成空網格，由此生成GKt(l層數據。於是，在重複圖案110上，剩餘P51和P15這2個像素值。因此，將重複圖案110縱橫4等分，右上的16像素分由P51的輸出值GKt3代表,左下的16像素分由P15的輸出值Gm4代表。而且,關於左上的16像素分的像素值GKtl及右下的16像素量的像素值GKt2，對沿上下左右相鄰的周邊的代表值進行平均化運算並插值。即，GKt層數據以16像素單位具有一個值。這是組合了一般被稱為鄰近的插值和被稱為雙線性的插值的方法。更優選的是，單獨地使用根據附近存在的像素值的距離而得到的平均值插值對空網格的像素值進行雙線性插值。以上，圖像處理部205生成GKt層數據。
[0128]當生成RKt層數據時，圖像處理部205從攝像元件100的所有輸出值中將RKt像素的像素值以外的像素值除去而形成空網格，由此生成Rmci層數據。於是，在重複圖案110上，剩餘P63的像素值RKtl。圖像處理部205將該像素值RKtl作為重複圖案110的64像素量的代表值，由此生成RKt層數據。這是鄰近插值，但更優選進行雙線性插值。
[0129]同樣地，當生成BKt層數據時，圖像處理部205從攝像元件100的所有輸出值中將BKt像素的像素值以外的像素值除去而形成空網格，由此生成Bmci層數據。於是，在重複圖案110上，剩餘P76的像素值BKtl。圖像處理部205將該像素值BKtl作為重複圖案110的64像素量的代表值，由此生成BKt層數據。這是鄰近插值，但更優選進行雙線性插值。
[0130]像這樣，圖像處理部205能夠生成解析度比作為2D圖像數據的Gn層數據、Rn層數據、Bn層數據低的GKt層數據、REt層數據、BKt層數據。此外，不僅可以使用至此說明的鄰近插值或雙線性插值，還可以使用雙三次插值。
[0131 ] 在本實施方式中，圖像處理部205使用圖9?11的各自的下圖所示的9個層數據，生成左側視點的彩色圖像數據及右側視點的彩色圖像數據。在具體的處理之前，首先，關於生成原理進行說明。
[0132]圖12是用於說明散焦的概念的圖。如圖12(a)所示，被拍攝體即物點存在於焦點位置的情況下，通過透鏡光瞳到達攝像元件受光面的被拍攝體光束以對應的像點的像素為中心表現出陡急的光強度分布。即，若接受通過透鏡光瞳的所有有效光束的無視差像素排列在像點附近，則與像點對應的像素的輸出值最大，排列在周邊的像素的輸出值急劇降低。
[0133]另一方面，如圖12(b)所示，物點從焦點位置偏移時，與物點存在於焦點位置的情況相比，被拍攝體光束在攝像元件受光面上表現出了緩和的光強度分布。即，示出了在對應的像點的像素中的輸出值降低的基礎上，直到周邊像素都具有輸出值的分布。
[0134]另外，如圖12(c)所示，物點進一步從焦點位置偏移時，被拍攝體光束在攝像元件受光面上示出了更緩和的光強度分布。即，示出了在對應的像點的像素中的輸出值進一步降低的基礎上，直到周邊像素都具有輸出值的分布。
[0135]以下，對於視差Lt像素及視差Rt像素接受光的情況下的散焦概念進行說明。圖13是用於說明視差像素散焦的概念的圖。視差Lt像素及視差Rt像素從作為透鏡光瞳的部分區域的、分別設定於光軸對象上的2個視差假想光瞳中的任意一方接受到達的被拍攝體光束。
[0136]如圖13(a)所示，被拍攝體即物點存在於焦點位置的情況下，通過哪一個視差假想光瞳的被拍攝體光束都表現出了以對應的像點的像素為中心陡急的光強度分布。若視差Lt像素排列在像點附近，則與像點對應的像素的輸出值最大，排列在周邊的像素的輸出值急劇降低。另外，視差Rt像素排列在像點附近，與像點對應的像素的輸出值最大，排列在周邊的像素的輸出值急劇降低。即，示出了被拍攝體光束不論通過哪一個視差假想光瞳，都是與像點對應的像素的輸出值最大而排列在周邊的像素的輸出值急劇降低的分布，各自的分布相互一致。
[0137]另一方面，如圖13(b)所示，物點從焦點位置偏移時，與物點存在於焦點位置的情況相比，視差Lt像素所表現出的光強度分布的峰值出現於從與像點對應的像素向一方向遠離的位置，並且其輸出值低。另外，具有輸出值的像素的幅度也寬。視差Rt像素所表現出的光強度分布的峰值出現於從與像點對應的像素向與視差Lt像素中的一方向相反方向且等距離地遠離的位置，同樣地，其輸出值低。另外，同樣地，具有輸出值的像素的幅度也寬。即，與物點存在於焦點位置的情況相比變得緩和的相同的光強度分布相互等距離地分離地呈現。另外，如圖13(c)所示，物點進一步從焦點位置偏移時，與圖13(b)的狀態相比，變得更緩和的相同的光強度分布更分離地呈現。也就是說，可以說物點越從焦點位置大幅度偏移，模糊量和視差量越增加。
[0138]將圖12中說明的光強度分布的變化和圖13中說明的光強度分布的變化分別如圖14所示圖形化。在圖中，橫軸表示像素位置，中心位置是與像點對應的像素位置。縱軸表示各像素的輸出值，該輸出值實質上與光強度成正比，從而在圖中作為光強度表示。
[0139]圖14(a)是表示圖12中說明的光強度分布的變化的圖線。分布曲線1801表示與圖12(a)對應的光強度分布，示出了最陡急的情況。分布曲線1802表示與圖12(b)對應的光強度分布，另外，分布曲線1803表不與圖12 (c)對應的光強度分布。與分布曲線1801相比可知，具有峰值逐漸降低而擴展的樣子。
[0140]圖14(b)是表示圖13中說明的光強度分布的變化的圖線。分布曲線1804和分布曲線1805分別表示圖13(b)的視差Lt像素的光強度分布和視差Rt像素的光強度分布。從圖中可知，這些分布相對於中心位置呈線對稱的形狀。另外，疊加它們而得到的合成分布曲線1806示出了與相對於圖13(b)來說同等的散焦狀態即圖12(b)的分布曲線1802相似形狀。
[0141]分布曲線1807和分布曲線1808分別表示圖13(c)的視差Lt像素的光強度分布和視差Rt像素的光強度分布。從圖中可知，這些分布也相對於中心位置呈線對稱的形狀。另外，疊加它們而得到的合成分布曲線1809示出了與相對於圖13(c)來說同等的散焦狀態即圖12(c)的分布曲線1803相似形狀。
[0142]4.實際的視差圖像的生成
[0143]在本實施方式中，利用這樣的光強度分布的性質，從圖9?圖11所示的9個層數據生成高清的左側視點的彩色圖像數據及右側視點的彩色圖像數據。具體來說，圖像處理部205將圖10、圖11所示的視差圖像所具有的視差成分重疊於圖9所示的無視差圖像，由此生成高清的左右的彩色圖像數據。將該生成處理稱為視差調製處理。
[0144]通過進行視差調製處理，能夠從圖10、圖11所示的左側視點的彩色圖像數據(Gu層數據、Ru層數據、BU層數據)及右側視點的彩色圖像數據(^層數據、RKt層數據、BKt層數據)，生成高清的左側視點的彩色圖像數據(R』 Lt層數據、G』 Lt層數據、B』 Lt層數據)及右側視點的彩色圖像數據(R』 Et層數據、G』 Et層數據、B』 Et層數據)。
[0145]圖15是用於說明從高清的2D圖像數據生成高清的彩色視差層數據的生成處理的概念圖。尤其，示出了彩色視差層中的綠色視差層即G』u層數據的生成處理。
[0146]6\,層數據是除了使用作為2D圖像數據的Gn層數據，還使用作為左視差像素數據的Ru層數據、GU層數據、BU層數據和作為右視差像素數據的RKt層數據、GKt層數據、BKt層數據而生成的。例如，在要算出G\t層數據的對象像素位置(xm，yn)的像素值G』u(xm，yn)的情況下，首先，圖像處理部205的像素值提取部231從Gn層數據的同一像素位置(xm，yn)提取像素值Gn (xm，yn)。
[0147]這裡，在1^層數據中，像素值提取部231同樣提取1^層數據的同一像素位置(xm，yn)的像素值Ru(xm，yn)。同樣地，像素值提取部231提取RKt層數據的同一像素位置(xm，yn)的像素值RKt (xffl, yn)。而且，圖像處理部205的算出部233算出像素值Ru (xffl, yn)和像M0.REt (xm? yn)的差。
[0148]另外，在Gu層數據中，像素值提取部231同樣提取Gu層數據的與同一像素位置(xm，Yn)對應的像素值Gu(xm，yn)。同樣地，像素值提取部231提取GKt層數據的與同一像素位置(xm，yn)對應的像素值GKt (xffl, yn)。而且，圖像處理部205的算出部233算出像素值GLt(xm，yn)和像素值 GKt (xm, yn)的差。
[0149]另外，在Bu層數據中，也與Ru層數據同樣地，像素值提取部231提取Bu層數據的同一像素位置(Xm，yn)的像素值1(1，yn)。同樣地，像素值提取部231提取8,,層數據的同一像素位置(xm，yn)的像素值仏,(1，50。而且，圖像處理部205的算出部233算出像素值BLt (xm, yn)和像素值BEt (xm, yn)的差。
[0150]圖像處理部205的算出部233使用像素值Ru(xm，yn)和像素值RKt(xm，yn)的差、像素值Gu (Xni, yn)和像素值Gjx^，yn)的差、像素值Bu (Xni, yn)和像素值^ (Xni, yn)的差，從Gu (xm，yn)算出G』 Lt (xm，yn)。具體來說，圖像處理部205的算出部233在分別向像素值Ru(Xm，yn)和像素值RRt(xm，yn)的差、像素值GuU111, yn)和像素值GJxm yn)的差、像素值Bu (Xm，yn)和像素值仏「乂…yn)的差乘以比例係數的基礎上，對它們進行相加。而且，將得到的值加在Gu(xm，yn)上，也就是說，通過進行視差調製，算出像素值G』u(xm，yn)。換言之，圖像處理部205的算出部233以下述方式算出像素值G』 Lt(xffl,yn)，即，使得要算出的像素值G』 Lt (xm，yn)和所提取的像素值GN(xm，yn)之差相對於分別向左右的視差圖像間的R、G、B的每個顏色成分的像素值之差乘以比例係數並對它們進行相加而得到的值保持相關。具體來說，算出部233通過以下的式I算出。即，著眼於G面和R面之間的關係時，
[0151]G' Lt (x, y)-RLt (x, y) = Gn (x, y)-[RLt(x, y)+REt(x, y)]/2 ^ Gn (x, y)-RN(x, y)
[0152]的關係成立，並以無視差圖像之間存在的G面和R面的變動的情況的不同也直接存在於左視差圖像之間嗎的方式映射到要求出的G』u(x，y)中。同樣的情況關於G成分、B成分也成立，它們的變動信息或者高頻成分映射到G』 Lt (X，y)中。
[0153][式I]
[0154]咖秦■■■■■g迦,AfeiiAiM
[0155]由此，對於像素值Gn，能夠利用左右間視差圖像的差異施加視差調製。圖像處理部205能夠依次從左端且上端的像素即(1，1)到右端且下端的坐標即(?, y0)執行這樣的處理。由此,能夠生成G\t層數據。
[0156]此外，圖7所示的重複圖案的情況下，相對於無視差像素，視差Lt像素的開口部104向左側偏心，視差Rt像素以與視差Lt像素相對於無視差像素的偏心量相同的偏心量向右側偏心。因此，要算出的像素值G』u(xm，yn)和所提取的像素值GN(xm，yn)之差如上述式I所示，相對於視差圖像間的R、G、B的每個顏色成分的像素值之差的和以比例係數1/2來確保相關關係。即，對視差圖像間的R、G、B的每個顏色成分的像素值的差進行相加而得到的值相對於要算出的像素值G\t(xm，yn)和所提取的像素值GN(xm，yn)之差的相關關係主要根據視差Lt像素和視差Rt像素的各自的開口部的偏心量而規定。另外，也可以考慮開口部的大小和無視差像素的開口部之間的相對關係等的參數。無論如何，以確保被規定的相關關係的方式被定式化來算出像素值G\t(xm，yn)。在上述式I的例子中，作為相關關係規定了比例係數1/2，但除了變更比例係數以外，也可以例如作為修正項加算常量等來適當地調整相關關係。此外，要算出的像素值是像素值R』 Lt (xn，yn)、B』 Lt (xm, yn)、R』 Et (xm, yn)、G』 Et (xm,yn)、B』 Et (xm, yn),上述關係也同樣。
[0157]圖像處理部205關於B』 Lt層數據、R』 Lt層數據，也與G』 Lt層數據同樣地，能夠通過像素值提取部231及算出部233生成。具體來說，在上述說明中，代替從6,層數據的同一像素位置(xm，yn)提取像素值GN(xm，yn)，而從Bn層數據的同一像素位置(xm，yn)提取像素值^(& yn)，同樣地處理。而且，在上述說明中，代替從Gn層數據的同一像素位置(xm，yn)提取像素值GN(xm，yn)，而從Rn層數據的同一像素位置(xm，yn)提取像素值RN(xm，yn)，同樣地處理。
[0158]具體來說，圖像處理部205通過以下的式2、式3算出。
[0159][式2]
[0160]鐘鳥?*.,}?..—bLj21
4,iJL
[0161][式3]
[0162]BijM，Ru(^y) +.?麵f+
—… -1 —222
[0163]圖像處理部205關於右側視點的彩色圖像數據即G』 Et層數據、B』 Et層數據、R』 Et層數據，也能夠與左側視點的彩色圖像數據同樣地生成。具體來說，通過以下的式4、式5、式6算出。

【權利要求】
1.一種圖像處理裝置，其特徵在於，具有: 第一視點像素值提取部，在作為構成被拍攝體像的顏色的η個顏色成分之一的特定顏色中，從與作為捕捉所述被拍攝體像的多個視點之一的第一視點相對應的第一視點彩色圖像數據，提取對象像素位置處的所述第一視點彩色圖像數據的所述特定顏色的像素值，其中η蘭2 ; 第二視點像素值提取部和第三視點像素值提取部，從與不同於所述第一視點的第二視點及第三視點相對應的第二視點彩色圖像數據及第三視點彩色圖像數據，提取所述對象像素位置處的所述第二視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值、以及所述第三視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值；和 第二視點像素值算出部，以如下方式算出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得該第二視點的新求出的特定顏色的像素值與所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的差至少相對於 1)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值與所述第三視點彩色圖像數據的第一顏色成分的像素值之間的差，及 2)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值與所述第三視點彩色圖像數據的第二顏色成分的像素值之間的差的和保持相關關係。
2.如權利要求1所述的圖像處理裝置，其特徵在於， 所述第二視點像素值算出部以如下方式算出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得 該第二視點的新求出的特定顏色的像素值與所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的差至少與 1)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值與所述第三視點彩色圖像數據的第一顏色成分的像素值之間的差，及 2)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值與所述第三視點彩色圖像數據的第二顏色成分的像素值之間的差的和成正比。
3.一種圖像處理裝置，其特徵在於，具有: 第一視點像素值提取部，在作為構成被拍攝體像的顏色的η個顏色成分之一的特定顏色中，從與作為捕捉所述被拍攝體像的多個視點之一的第一視點相對應的第一視點彩色圖像數據，提取對象像素位置處的所述第一視點彩色圖像數據的所述特定顏色的像素值，其中η蘭2 ; 第二視點像素值提取部和第三視點像素值提取部，從與不同於所述第一視點的第二視點及第三視點相對應的第二視點彩色圖像數據及第三視點彩色圖像數據，提取所述對象像素位置處的所述第二視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值、以及所述第三視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值；和 第二視點像素值算出部，以如下方式算出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得 該第二視點的新求出的特定顏色的像素值和所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的比至少相對於2個比 1)根據所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值、和所述第三視點彩色圖像數據的第一顏色成分的像素值而定義的比，及 2)根據所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值、和所述第三視點彩色圖像數據的第二顏色成分的像素值而定義的比 的積保持相關關係。
4.如權利要求3所述的圖像處理裝置，其特徵在於， 所述第二視點像素值算出部以如下方式算出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得 該第二視點的新求出的特定顏色的像素值和所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的比至少與 1)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值與所述第三視點彩色圖像數據的第一顏色成分的像素值之間的比的平方根，及 2)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值和所述第三視點彩色圖像數據的第二顏色成分的像素值之間的比的平方根 的積成正比。
5.如權利要求3所述的圖像處理裝置，其特徵在於， 所述第二視點像素值算出部以如下方式求出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得 該第二視點的新求出的特定顏色的像素值與所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的比至少與 1)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值與所述第三視點彩色圖像數據的第一顏色成分的像素值和所述第二視點彩色圖像數據的第一顏色成分的像素值之和之間的比，及 2)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值與所述第三視點彩色圖像數據的第二顏色成分的像素值和所述第二視點彩色圖像數據的第二顏色成分的像素值之和之間的比 的積成正比。
6.如權利要求1或3所述的圖像處理裝置，其特徵在於， 所述第一視點是所述第二視點和所述第三視點之間的視點。
7.如權利要求1所述的圖像處理裝置，其特徵在於， 所述彩色圖像數據的像素值分別是伽瑪變換後的值。
8.如權利要求3所述的圖像處理裝置，其特徵在於， 所述彩色圖像數據的像素值分別是與受光量成正比的線性灰度的值。
9.如權利要求1或3所述的圖像處理裝置，其特徵在於， 所述第二視點像素值算出部為了收齊與所述η個顏色成分的全部相對應的所述第二視點的新的彩色圖像數據，而依次變更所述特定顏色來生成所述新的彩色圖像數據。
10.一種攝像裝置，具有:拍攝所述被拍攝體像的攝像元件；和權利要求1至9中任一項所述的圖像處理裝置，其特徵在於， 所述第一視點像素值提取部從所述攝像元件輸出的與所述第一視點相對應的具有特定顏色的像素值的彩色圖像數據中提取所述特定顏色的像素值， 第二視點像素值提取部和第三視點像素值提取部從所述攝像元件輸出的與第二視點及第三視點相對應的具有第一顏色成分的像素值及第二顏色成分的像素值的彩色圖像數據中提取所述第一顏色成分的像素值及所述第二顏色成分的像素值。
11.一種圖像處理程序，其特徵在於，使計算機執行如下步驟: 第一視點像素值提取步驟，在作為構成被拍攝體像的顏色的η個顏色成分之一的特定顏色中，從與作為捕捉所述被拍攝體像的多個視點之一的第一視點相對應的第一視點彩色圖像數據，提取對象像素位置處的所述第一視點彩色圖像數據的所述特定顏色的像素值，其中η蘭2 ; 第二視點像素值和第三視點像素值提取步驟，從與不同於所述第一視點的第二視點及第三視點相對應的第二視點彩色圖像數據及第三視點彩色圖像數據，提取所述對象像素位置處的所述第二視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值、以及所述第三視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值；和 第二視點像素值算出步驟，以如下方式算出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得 該第二視點的新求出的特定顏色的像素值與所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的差至少相對於 1)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值與所述第三視點彩色圖像數據的第一顏色成分的像素值之間的差，及 2)所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值與所述第三視點彩色圖像數據的第二顏色成分的像素值之間的差 的和保持相關關係。
12.—種圖像處理程序，其特徵在於，使計算機執行如下步驟: 第一視點像素值提取步驟，在作為構成被拍攝體像的顏色的η個顏色成分之一的特定顏色中，從與作為捕捉所述被拍攝體像的多個視點之一的第一視點相對應的第一視點彩色圖像數據，提取對象像素位置處的所述第一視點彩色圖像數據的所述特定顏色的像素值，其中η蘭2 ; 第二視點像素值和第三視點像素值提取步驟，從與不同於所述第一視點的第二視點及第三視點相對應的第二視點彩色圖像數據及第三視點彩色圖像數據，提取所述對象像素位置處的所述第二視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值、以及所述第三視點彩色圖像數據的至少第一顏色成分和第二顏色成分的像素值；和 第二視點像素值算出步驟，以如下方式算出所述第二視點彩色圖像數據的新求出的特定顏色的像素值，即，使得 該第二視點的新求出的特定顏色的像素值和所述第一視點像素值提取部所提取出的所述第一視點彩色圖像數據的特定顏色的像素值之間的比至少相對於2個比 1)根據所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第一顏色成分的像素值、和所述第三視點彩色圖像數據的第一顏色成分的像素值而定義的比，及 2)根據所述第二像素值提取部和第三像素值提取部所提取出的所述第二視點彩色圖像數據的第二顏色成分的像素值、和所述第三視點彩色圖像數據的第二顏色成分的像素值而定義的比的積保持相關關係。
13.一種圖像處理裝置，其特徵在於， 像素值提取部，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉所述被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的所述IX像素值， 在所述多個顏色成分之一的A成分色中，從與不同於所述第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取所述對象像素位置處的所述2A像素值及所述3A像素值， 在所述多個顏色成分之一的與所述A成分色不同的B成分色中，從與所述第二視點及所述第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取所述對象像素位置處的所述2B像素值及所述3B像素值；和 算出部，以下述方式算出所述第二視點的2X像素值及所述第三視點的3X像素值的至少任意一方，即，使得針對所述X成分色的所述第二視點的2X像素值或所述第三視點的3X像素值與所述IX像素值之差，相對於所述2A像素值與所述3A像素值之差加上所述2B像素值與所述3B像素值之差所得到的值保持相關關係。
14.如權利要求13所述的圖像處理裝置，其特徵在於， 所述算出部以下述方式算出所述2X像素值及所述3X像素值的至少任意一方，S卩，使得所述2X像素值或所述3X像素值與所述IX像素值之差，相對於所述2A像素值與所述3A像素值之差加上所述2B像素值與所述3B像素值之差所得到的值成正比。
15.一種圖像處理裝置，其特徵在於， 像素值提取部，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉所述被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的所述IX像素值， 在所述多個顏色成分之一的A成分色中，從與不同於所述第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取所述對象像素位置處的所述2A像素值及所述3A像素值， 在所述多個顏色成分之一的與所述A成分色不同的B成分色中，從與所述第二視點及所述第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取所述對象像素位置處的所述2B像素值及所述3B像素值；和 算出部，以下述方式算出所述第二視點的2X像素值及所述第三視點的3X像素值的至少任意一方，即，使得針對所述X成分色的所述第二視點的2X像素值或所述第三視點的3X像素值與所述IX像素值之比，相對於通過所述2A像素值和所述3A像素值而定義的比乘以通過所述2B像素值和所述3B像素值而定義的比所得到的值保持相關關係。
16.如權利要求15所述的圖像處理裝置，其特徵在於，所述算出部以下述方式算出所述2X像素值及所述3X像素值的至少任意一方，即，使得所述2X像素值或所述3X像素值與所述IX像素值之比相對於在所述2A像素值和所述3A像素值的幾何平均值上乘以所述2B像素值和所述3B像素值的幾何平均值所得到的值成正比。
17.如權利要求15所述的圖像處理裝置，其特徵在於， 所述算出部以下述方式算出所述2X像素值及所述3X像素值的至少任意一方，S卩，使得所述2X像素值或所述3X像素值與所述IX像素值之比相對於在所述2A像素值和所述3A像素值的算術平均值上乘以所述2B像素值和所述3B像素值的算術平均值所得到的值成正比。
18.如權利要求13?17中任一項所述的圖像處理裝置，其特徵在於，所述第一視點是所述第二視點和所述第三視點之間的視點。
19.如權利要求13或14所述的圖像處理裝置，其特徵在於，所述彩色圖像數據的像素值分別是伽瑪變換後的值。
20.如權利要求13?19中任一項所述的圖像處理裝置，其特徵在於，具有圖像數據生成部，該圖像數據生成部使所述對象像素位置相對於所述彩色圖像數據中的圖像區域依次移動，並使用所述像素值提取部及所述算出部算出的多個像素值，生成與所述第二視點及所述第三視點的至少任意一方對應的所述X成分色的所述彩色圖像數據。
21.如權利要求20所述的圖像處理裝置，其特徵在於， 所述圖像數據生成部為了收齊與所述多個顏色成分的全部相對應的所述第二視點及所述第三視點的所述彩色圖像數據，而依次變更所述多個顏色成分中的所述X成分色來生成所述彩色圖像數據。
22.如權利要求13?21中任一項所述的圖像處理裝置，其特徵在於，所述X成分色與所述A成分色相同。
23.一種攝像裝置，具有:拍攝所述被拍攝體像的攝像元件；和權利要求13至22中任一項所述的圖像處理裝置，其特徵在於， 所述像素值提取部從所述攝像元件輸出的與所述第一視點對應的具有IX像素值的彩色圖像數據中提取所述IX像素值，從所述攝像元件輸出的與第二視點及第三視點對應的具有2A像素值及3A像素值的彩色圖像數據中提取所述2A像素值及所述3A像素值。
24.一種圖像處理程序，其特徵在於，使計算機執行如下步驟: 第一提取步驟，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉所述被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的所述IX像素值； 第二提取步驟，在所述多個顏色成分之一的A成分色中，從與不同於所述第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取所述對象像素位置處的所述2A像素值及所述3A像素值，在所述多個顏色成分之一的與所述A成分色不同的B成分色中，從與所述第二視點及所述第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取所述對象像素位置處的所述2B像素值及所述3B像素值；和算出步驟，以下述方式算出所述第二視點的2X像素值及所述第三視點的3X像素值的至少任意一方，即，使得針對所述X成分色的所述第二視點的2X像素值或所述第三視點的3X像素值與所述IX像素值之差，相對於所述2A像素值與所述3A像素值之差加上所述2B像素值與所述3B像素值之差所得到的值保持相關關係。
25.一種圖像處理程序，其特徵在於，使計算機執行如下步驟: 第一提取步驟，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉所述被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的所述IX像素值； 第二提取步驟，在所述多個顏色成分之一的A成分色中，從與不同於所述第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取所述對象像素位置處的所述2A像素值及所述3A像素值，在所述多個顏色成分之一的與所述A成分色不同的B成分色中，從與所述第二視點及所述第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取所述對象像素位置處的所述2B像素值及所述3B像素值； 算出步驟，以下述方式算出所述第二視點的2X像素值及所述第三視點的3X像素值的至少任意一方，即，使得針對所述X成分色的所述第二視點的2X像素值或所述第三視點的3X像素值與所述IX像素值之比，相對於通過所述2A像素值和所述3A像素值而定義的比乘以通過所述2B像素值和所述3B像素值而定義的比所得到的值保持相關關係。
26.一種圖像處理裝置，其特徵在於，具有: 像素值提取部，在構成被拍攝體像的顏色的多個顏色成分之一的X成分色中，從與捕捉所述被拍攝體像的多個視點之一的第一視點相對應的具有IX像素值的彩色圖像數據，提取對象像素位置處的所述IX像素值， 在所述多個顏色成分之一的A成分色中，從與不同於所述第一視點的第二視點及第三視點相對應的具有2A像素值及3A像素值的彩色圖像數據，提取所述對象像素位置處的所述2A像素值及所述3A像素值， 在所述多個顏色成分之一的與所述A成分色不同的B成分色中，從與所述第二視點及所述第三視點相對應的具有2B像素值及3B像素值的彩色圖像數據，提取所述對象像素位置處的所述2B像素值及所述3B像素值； 轉換部，從由所述X成分色、所述A成分色及所述B成分色的組合表現的色空間轉換成YCbCr空間；和 算出部，以下述方式算出所述第二視點的亮度值Y或所述第三視點的亮度值Y的至少任意一方，即，使得所述第二視點的亮度值Y或所述第三視點的亮度值Y與所述第一視點的亮度值Y之差，相對於在所述第二視點的色差Cb與所述第三視點的色差Cb之差上相加所述第二視點的色差Cr與所述第三視點的色差Cr之差所得到的值保持相關關係。
【文檔編號】H04N9/07GK104185984SQ201380014451
【公開日】2014年12月3日 申請日期:2013年3月14日 優先權日:2012年3月16日
【發明者】石賀健一, 芝崎清茂, 浜島宗樹, 森晉 申請人:株式會社尼康