彩色攝像元件及攝像裝置製造方法

2023-08-03 07:11:41

彩色攝像元件及攝像裝置製造方法
【專利摘要】在彩色攝像元件(41)的攝像面上，將第一組像素(46A)以預定間距p沿著水平及垂直方向排列成矩陣狀。將第二組像素(46B)排列於相對於第一組像素(46A)沿水平及垂直方向分別錯開1/2p的位置。將RGB濾光片(34R、34G、34B)以同一濾色器排列排列於第一組及第二組像素上。濾色器排列通過將濾光片(34R、34G、34B)排列而成的基本排列圖案(P1)沿著水平方向及垂直方向重複配置而構成。將G濾光片(34G)配置於濾色器排列的水平、垂直及傾斜方向的各行內。將R、B濾光片(34R、34B)在基本排列圖案(P1)內，在濾色器排列的水平、垂直方向的各行內分別配置1個以上。
【專利說明】彩色攝像元件及攝像裝置
【技術領域】
[0001]本發明涉及彩色攝像元件及攝像裝置，尤其涉及能夠降低彩色莫爾條紋的發生及實現高解析度化的彩色攝像元件及攝像裝置。
【背景技術】
[0002]具備CCD彩色攝像元件或CMOS彩色攝像元件等彩色攝像元件並取得數字圖像的數位相機(攝像裝置)正在普及。近年來，數位相機根據彩色攝像元件的種類而能夠生成各種圖像數據。
[0003]例如，在專利文獻I至3記載的數位相機中，包括:將彩色攝像元件的全部像素以預定圖案排列的第一組RGB像素；及具有與第一組RGB像素相同的排列圖案且以與第一組RGB像素分別相鄰的方式配置的第二組像素。具體而言，第二組RGB像素相對於第一組RGB像素分別沿水平、垂直方向錯開1/2像素間隔地配置。由此，能得到由第一組或第二組中的一方的RGB像素構成的普通攝影圖像、由第一組及第二組雙方的RGB像素構成的高解析度圖像。而且，通過使第一組及第二組RGB像素的信號電荷蓄積時間(電氣性的曝光時間)不同而能得到靈敏度不同的圖像，因此基於這些靈敏度不同的兩個種類的圖像能得到動態範圍(DR)擴展(擴大)後的寬DR圖像。
[0004]另外，在專利文獻4至8記載的數位相機中，通過使第一組RGB像素與第二組RGB像素的面積不同而能得到靈敏度不同的圖像，因此能得到寬DR圖像。
[0005]此外，將第一組像素和第二組像素分別作為對來自不同方向的入射光靈敏度變高的相位差像素，由此能得到由具有視差的兩個視點的視點圖像構成的能夠體視的視差圖像。
[0006]在這樣的各種數位相機中多設有單板式的彩色攝像元件。在單板式的彩色攝像元件中，由於在各像素上分別設有單色的濾色器，因此各像素僅具有單色的顏色信息。因此，單板彩色攝像元件的輸出圖像為RAW圖像(馬賽克圖像)，因此通過從周圍的像素對缺失的顏色的像素進行插值的處理(去馬賽克算法處理)而得到多通道圖像。在這種情況下成為問題的是高頻的圖像信號的再現特性，彩色攝像元件與黑白的攝像元件相比，拍攝到的圖像容易產生混淆現象，因此抑制彩色莫爾條紋(偽色)的發生並且擴寬再現帶域而實現高解析度化這樣的情況是重要的課題。
[0007]去馬賽克算法處理是根據單板式的彩色攝像元件的濾色器排列所對應的馬賽克圖像而對應各像素來算出全部的顏色信息的處理，也稱為去馬賽克算法處理。例如，在由RGB三種顏色的濾色器構成的攝像元件的情況下，是根據由RGB構成的馬賽克圖像而對應各像素來算出RGB全部的顏色信息的處理。
[0008]在單板彩色攝像元件中應用最廣泛的濾色器的顏色排列即原色系拜耳排列中，將綠(G)像素配置成棋盤式格紋狀，並將紅(R)、藍(B)配置成線型順序，因此生成G信號為傾斜方向且R、B信號為水平、垂直方向的高頻信號時的再現精度成為問題。
[0009]在圖35的A部分所示的黑白的縱條紋花樣(高頻圖像)入射到圖35的B部分所示的具有拜耳排列的濾色器的彩色攝像元件的情況下，當將其向拜耳的顏色排列分配而對應各顏色進行比較時，如圖35的C部分至E部分所示，R成為淺且平坦的馬賽克狀的顏色圖像，B成為深且平坦的馬賽克狀的顏色圖像，G成為深淺的馬賽克狀的顏色圖像，本來為黑白圖像，相對於此，在RGB間未產生深度差(等級差)，但是通過顏色排列和輸入頻率而成為著色的狀態。
[0010]同樣地，在圖36的A部分所示的傾斜的黑白的高頻圖像入射到圖36B部分所示的具有拜耳排列的濾色器的攝像元件的情況下，當將其向拜耳的顏色排列分配而對應各顏色進行比較時，如圖36的C部分至E部分所示，R和B成為淺且平坦的顏色圖像，G成為深且平坦的顏色圖像，假設黑色的值為O且白色的值為255時，傾斜的黑白的高頻圖像中，僅G為255，因此成為綠色。這樣一來，在拜耳排列中，無法使傾斜的高頻圖像準確地再現。
[0011]通常在使用單板式的彩色攝像元件的攝像裝置中，將由水晶等雙折射物質構成的光學低通濾波器配置於彩色攝像元件的前表面，通過光學性地使高頻減低而迴避。然而，在該方法中，雖然由高頻信號的折返引起的著色能夠減輕，但是其弊端中存在解析度下降這樣的問題。
[0012]為了解決這樣的問題，提出了將彩色攝像元件的濾色器排列形成為三種顏色隨機排列的彩色攝像元件，該三種顏色隨機排列滿足以下的排列限制條件:任意的關注像素與包含關注像素的顏色在內的三種顏色在關注像素的四邊中的任一邊相鄰(專利文獻9)。
[0013]另外，提出了一種濾色器排列的圖像傳感器，具有分光靈敏度不同的多個濾光片，其中的第一濾光片和第二濾光片沿著圖像傳感器的像素格子的一對角方向以第一預定的周期交替配置，並且 沿著另一對角方向以第二預定的周期交替配置(專利文獻10)。
[0014]而且，在RGB三原色的彩色固體攝像元件中，提出了如下的顏色排列:將R、G、B水平配置的三個像素沿著垂直方向呈鋸齒狀地錯開配置，由此使RGB各自的出現概率均等，且攝像面上的任意的直線(水平、垂直、傾斜的直線)通過全部的顏色(專利文獻11)。
[0015]此外，提出了將RGB三原色中的R、B沿著水平方向及垂直方向分別隔開三個像素配置且在上述的R、B之間配置有G的彩色攝像元件(專利文獻12)。
[0016]專利文獻1:日本特開2004-55786號公報
[0017]專利文獻2:日本特開2004-336468號公報
[0018]專利文獻3:日本特開2008-160674號公報
[0019]專利文獻4:日本特開2004-336468號公報
[0020]專利文獻5:日本特開2005-286104號公報
[0021]專利文獻6:日本特開2007-306064號公報
[0022]專利文獻7:日本特開2007-325145號公報
[0023]專利文獻8:日本特開2008-193714號公報
[0024]專利文獻9:日本特開2000-308080號公報
[0025]專利文獻10:日本特開2005-136766號公報
[0026]專利文獻11:日本特開平11-285012號公報
[0027]專利文獻12:日本特開平8-23543號公報

【發明內容】
[0028]發明要解決的課題
[0029]專利文獻9記載的彩色攝像元件由於濾光片排列隨機，因此在進行後段的去馬賽克算法處理時，需要對應各隨機圖案進行最優化，存在去馬賽克算法處理變得煩雜這樣的問題。而且，在隨機排列中，對於低頻的彩色莫爾條紋有效，但是對於高頻部的偽色無效。
[0030]另外，專利文獻10記載的圖像傳感器將G像素(亮度像素)配置成棋盤式格紋狀，因此存在極限解析度區域(尤其是傾斜方向)中的像素再現精度不良這樣的問題。
[0031]專利文獻11記載的彩色固體攝像元件由於在任意的直線上存在全部顏色的濾光片，因此存在能夠抑制偽色的發生的優點，但是RGB的像素數的比率相等，因此存在高頻再現性比拜耳排列低這樣的問題。另外，在拜耳排列的情況下，最有助於獲得亮度信號的G的像素數的比率成為R、B各自的像素數的2倍。
[0032]另一方面，專利文獻12記載的彩色攝像元件的G的像素數相對於R、B各自的像素數的比率高於拜耳排列，但是水平或垂直方向上僅存在G像素的行，因此在水平或垂直方向上對於聞頻部的偽色無效。
[0033]本發明鑑於這樣的情況而作出，目的在於提供能夠抑制偽色的發生及實現高解析度化並且與以往的隨機排列相比能夠簡化後段的處理的彩色攝像元件及攝像裝置。
[0034]用於解決課題的方案
[0035]為了實現上述目的，本發明的一方案的發明涉及一種彩色攝像元件，具備:第一組像素，由沿水平方向及垂 直方向分別以預定像素間隔排列成矩陣狀的光電轉換元件構成；第二組像素，由相對於第一組像素的各光電轉換元件沿水平方向及垂直方向分別錯開預定像素間隔的一半的位置所排列的光電轉換元件構成；及在第一及第二像素組上分別以同一特定的濾色器排列進行排列而成的濾色器，濾色器排列包含基本排列圖案，該基本排列圖案排列有與一種顏色以上的第一色對應的第一濾光片和與用於獲得亮度信號的貢獻率比第一色低的兩種顏色以上的第二色對應的第二濾光片，該基本排列圖案沿水平方向及垂直方向重複配置，第一濾光片在濾色器排列的水平、垂直、斜右上及斜右下方向的各行內配置I個以上，與第二色的各色對應的第二濾光片在基本排列圖案內在濾色器排列的水平及垂直方向的各行內配置I個以上，第一濾光片所對應的第一色的像素數的比率大於第二濾光片所對應的第二色的各色的像素數的比率。
[0036]根據本發明的一方案的發明，與用於獲得亮度信號的貢獻率高的第一色對應的第一濾光片配置於濾色器排列的水平、垂直、斜右上及斜右下方向的各濾光片行內，因此能夠提高高頻區域的去馬賽克算法處理的再現精度。而且，關於第一色以外的兩種顏色以上的第二色的各色所對應的第二濾光片，也在濾色器排列的水平及垂直方向的各濾光片行內配置I個以上，因此能夠抑制彩色莫爾條紋(偽色)的發生而實現高解析度化。
[0037]另外，濾色器排列中，基本排列圖案沿水平方向及垂直方向重複配置，因此在進行後段的去馬賽克算法處理時，能夠按照重複圖案進行處理，與以往的隨機排列相比，能夠簡化後段的處理。
[0038]另外，使第一濾光片所對應的第一色的像素數與第二濾光片所對應的兩種顏色以上的第二色的各色的像素數的比率不同，尤其是用於獲得亮度信號的貢獻率高的第一色的像素數的比率大於第二濾光片所對應的第二色的各色的像素數的比率，因此能夠抑制混淆且使高頻再現性良好。[0039]在本發明的另一方案的彩色攝像元件中，第一組像素選擇性地接收透過了攝影光學系統的互不相同的兩個區域中的一方的被攝體光，第二組像素選擇性地接收透過了兩個區域中的另一方的被攝體光。由此，得到能夠體視的視差圖像。
[0040]在本發明的又一方案的彩色攝像元件中，優選的是，兩個區域是相對於攝影光學系統的光軸而對稱的區域。由此，得到能夠體視的視差圖像。
[0041]在本發明的又一方案的彩色攝像元件中，第二組像素的靈敏度低於第一組像素的靈敏度。由此，基於由來自第一組像素的輸出信號構成的圖像和由來自第二組像素的輸出信號構成的圖像，能得到動態範圍擴展的圖像。
[0042]在本發明的又一方案的彩色攝像元件中，第二組像素的面積小於第一組像素的面積。由此，基於由來自第一組像素的輸出信號構成的圖像和由來自第二組像素的輸出信號構成的圖像，能得到動態範圍擴展的圖像。
[0043]在本發明的又一方案的彩色攝像元件中，第二組像素上的濾色器的透光率低於第一組像素上的濾色器的透光率。由此，基於由來自第一組像素的輸出信號構成的圖像和由來自第二組像素的輸出信號構成的圖像，能得到動態範圍擴展的圖像。
[0044]在第一濾光片及第二濾光片的上方分別設有微透鏡，位於第二組像素上的微透鏡比位於第一組像素上的微透鏡小。由此，基於由來自第一組像素的輸出信號構成的圖像和由來自第二組像素的輸出信號構成的圖像，能得到動態範圍擴展的圖像。
[0045]在本發明 的一方案的攝像裝置中，具備:本發明的一方案的彩色攝像元件；及攝影光學系統，使被攝體光成像於彩色攝像元件的攝像面。由此，能夠抑制偽色的發生及實現高解析度化，並且與以往的隨機排列相比，能夠簡化後段的處理。
[0046]在本發明的另一方案的攝像裝置中，具備第一圖像生成單元，該第一圖像生成單元對從在斜右上方向或斜右下方向上相互相鄰且配置於同色的濾色器的下方的第一組像素和第二組像素分別輸出的輸出信號進行加算而生成圖像。由此，能得到低噪聲的高靈敏度圖像。
[0047]在本發明的又一方案的攝像裝置中，具備第二圖像生成單元，該第二圖像生成單元基於來自第一組像素的輸出信號和來自第二組像素的輸出信號，生成具有比第一組像素及第二組像素各自的像素數大的像素數的圖像。由此，能得到高解析度圖像。
[0048]在本發明的又一方案的攝像裝置中，具備:電荷蓄積時間調整單元，使第二組像素的電荷蓄積時間短於第一組像素的電荷蓄積時間；及第三圖像生成單元，基於由來自第一組像素的輸出信號構成的圖像和由來自第二組像素的輸出信號構成的圖像，生成動態範圍擴展的圖像。由此，能得到動態範圍擴展的圖像而無需使第一組像素與第二組像素的面積不同。
[0049]在本發明的又一方案的攝像裝置中，其特徵在於，具備:本發明的另一方案的彩色攝像元件，具有選擇性地接收分別透過了攝影光學系統的兩個區域的被攝體光的第一組像素及第二組像素；攝影光學系統，使被攝體光成像於彩色攝像元件的攝像面；及第四圖像生成單元，生成包含由來自第一組像素的輸出信號構成的第一圖像和由來自第二組像素的輸出信號構成的第二圖像的視差圖像。由此，得到能夠體視的視差圖像。
[0050]在本發明的又一方案的攝像裝置中，具備:本發明的又一方案的彩色攝像元件，具有高靈敏度像素及低靈敏度像素；攝影光學系統，使被攝體光成像於彩色攝像元件的攝像面；及第三圖像生成單元，基於由來自第一組像素的輸出信號構成的圖像和由來自第二組像素的輸出信號構成的圖像，生成動態範圍擴展的圖像。
[0051]發明效果
[0052]根據本發明，將用於獲得亮度信號的貢獻率高的第一色所對應的第一濾光片在濾色器的排列的水平、垂直、斜右上及斜右下方向的各濾光片行內配置I個以上，並且第一濾光片所對應的第一色的像素數的比率大於第一色以外的兩種顏色以上的第二濾光片所對應的第二色的像素數的比率，因此能夠提高高頻區域的去馬賽克算法處理的再現精度，且能夠抑制混淆。
[0053]另外，將第一色以外的兩種顏色以上的第二色的各色所對應的第二濾光片在基本排列圖案內在濾色器排列的水平及垂直方向的各濾光片行內配置I個以上，因此能夠抑制彩色莫爾條紋(偽色)的發生而實現高解析度化。
[0054]此外，本發明的濾色器的排列中基本排列圖案沿水平方向及垂直方向重複，因此在進行後段的去馬賽克算法處理時，能夠按照重複圖案進行處理，與以往的隨機排列相比，能夠簡化後段的處理。
【專利附圖】

【附圖說明】
[0055]圖1是表示具備本發明的單板式的彩色攝像元件的數位相機的第I實施方式的圖。
[0056]圖2是表示第I實施方式的數位相機的彩色攝像元件的像素排列的圖。 [0057]圖3是表示第I實施方式的彩色攝像元件的濾色器排列的圖。
[0058]圖4是表示第I實施方式的彩色攝像元件的濾色器排列中包含的基本排列圖案的圖。
[0059]圖5是表示將第I實施方式的彩色攝像元件的濾色器排列中包含的6X6像素的基本排列圖案分割成3X3像素的A排列和B排列並對它們進行配置的情況的圖。
[0060]圖6是為了說明根據第I實施方式的彩色攝像元件的濾色器排列中包含的2X2像素的G像素的像素值而判別相關方向的方法而使用的圖。
[0061]圖7是為了說明彩色攝像元件的濾色器排列中含有的基本排列圖案的概念而使用的圖。
[0062]圖8是表示具備本發明的單板式的彩色攝像元件的數位相機的第2實施方式的圖。
[0063]圖9是表示第2實施方式的數位相機的彩色攝像元件的像素排列的圖。
[0064]圖10是表示第2實施方式的彩色攝像元件的濾色器排列的圖。
[0065]圖11是表示第2實施方式的彩色攝像元件的A面濾色器排列的圖。
[0066]圖12是表示第2實施方式的彩色攝像元件的B面濾色器排列的圖。
[0067]圖13是表示第2實施方式的彩色攝像元件的濾色器排列中包含的基本排列圖案的圖。
[0068]圖14是表示需要配置光學低通濾波器的以往的濾色器排列的圖。
[0069]圖15是用於說明寬DR圖像攝影模式時的第2實施方式的彩色攝像元件的控制的說明圖。[0070]圖16是用於說明高靈敏度圖像生成部進行的高靈敏度圖像數據生成處理的圖。
[0071]圖17是用於說明高靈敏度圖像數據生成處理(像素混合)的說明圖。
[0072]圖18是用於說明高解析度圖像生成部進行的高解析度圖像數據生成處理的圖。
[0073]圖19是用於說明寬DR圖像生成部進行的寬DR圖像數據生成處理的圖。
[0074]圖20是用於說明第2實施方式的數位相機的作用的圖。
[0075]圖21是表示具備本發明的單板式的彩色攝像元件的數位相機的第3實施方式的圖。
[0076]圖22是表示第3實施方式的彩色攝像元件的濾色器排列的圖。
[0077]圖23是表示沿著圖22中的AA線的截面的圖。
[0078]圖24是表示沿著圖22中的BB線的截面的圖。
[0079]圖25是用於說明視差圖像生成部進行的視差圖像數據(R、L視點圖像數據)生成處理的圖。
[0080]圖26是用於說明第3實施方式的數位相機的作用的圖。
[0081]圖27是表示具備本發明的單板式的彩色攝像元件的數位相機的第4實施方式的圖。
[0082]圖28是表示第4實施方式的彩色攝像元件的濾色器排列的圖。
[0083]圖29是表示第4-1實施方式的彩色攝像元件的濾色器排列的圖。
[0084]圖30是表示沿著圖29中的CC線的截面的圖。
[0085]圖31是表示第4-2實施方式的彩色攝像元件的截面的圖。
[0086]圖32是表示配置有R濾光片(紅色濾光片)、Gl濾光片(第一綠色濾光片)、G2濾光片(第二綠色濾光片)及B濾光片(藍色濾光片)的受光元件的分光靈敏度特性的坐標圖。
[0087]圖33是表示配置有R濾光片、G濾光片、B濾光片及W濾光片(透明濾光片)的受光元件的分光靈敏度特性的坐標圖。
[0088]圖34是表示配置有R濾光片、G濾光片、B濾光片及翠綠色濾光片E (E濾光片)的受光元件的分光靈敏度特性的坐標圖。
[0089]圖35是為了說明以往的具有拜耳排列的濾色器的彩色攝像元件的課題而使用的圖。
[0090]圖36是為了說明以往的具有拜耳排列的濾色器的彩色攝像元件的課題而使用的
另一圖。
【具體實施方式】
[0091]以下，按照附圖，詳細說明本發明的優選的實施方式。
[0092][第I實施方式的數位相機的整體結構]
[0093]圖1是具備本發明的彩色攝像元件的第I實施方式的數位相機(攝像裝置)10的框圖。數位相機10的CPUll基於來自包括快門按鈕、各種操作按鈕的操作部12的控制信號，依次執行從未圖示的存儲器讀出的各種程序、數據，統一控制數位相機10的各部。
[0094]向透鏡單元(攝影光學系統)13裝入變焦透鏡14、聚焦透鏡15、機械快門16等。變焦透鏡14及聚焦透鏡15分別由變焦機構17、聚焦機構18驅動，沿光軸01前後移動。[0095]機械快門16具有可動部(圖示省略)，該可動部在阻止被攝體光向彩色攝像元件20的入射的關閉位置與容許被攝體光的入射的打開位置之間移動。機械快門16通過使可動部向各位置移動，而打開/截斷從各透鏡14、15至彩色攝像元件20的光路。另外，機械快門16包含對向彩色攝像元件20入射的被攝體光的光量進行控制的光圈。機械快門16、變焦機構17及聚焦機構18經由透鏡驅動器21而由CPUll進行動作控制。
[0096]在透鏡單元13的背後配置有彩色攝像元件20。彩色攝像元件20將來自各透鏡
14、15的被攝體光轉換成電輸出信號而輸出。攝像元件驅動器23在CPUl I的控制下對彩色攝像元件20的驅動進行控制。
[0097]圖像處理電路22對從彩色攝像元件20輸入的輸出信號實施灰度變換、白平衡校正、Y校正處理等各種處理而生成圖像數據。以下，將在普通的攝影模式時(以下，稱為普通攝影模式)圖像處理電路22生成的圖像數據稱為普通攝影圖像數據。 [0098]壓縮擴展處理電路29對由圖像處理電路22處理過的各圖像數據實施壓縮處理。而且，壓縮擴展處理電路29對經由媒介I/F30從存儲卡31獲得的壓縮圖像數據實施擴展處理。媒介I/F30進行對於存儲卡31的各圖像數據的記錄及讀出等。顯示部32使用液晶顯示器等，顯示實時取景圖像、再生圖像等。
[0099]另外，雖然圖示省略，但是在數位相機10設有自動聚焦用的AF檢測電路、AE檢測電路等。CPUll基於AF檢測電路的檢測結果，經由透鏡驅動器21來驅動聚焦機構18，由此執行AF處理。而且，CPUll基於AE檢測電路的檢測結果，經由透鏡驅動器21來驅動機械快門16，由此執行AE處理。
[0100][彩色攝像元件的第I實施方式]
[0101]圖2及圖3是表示本發明的單板式的彩色攝像元件的第I實施方式的圖，圖2示出了設於彩色攝像元件20的像素的像素排列，圖3示出了濾色器的濾色器排列。另外，彩色攝像元件 20 可以是 CO) (Charge Coupled Device)彩色攝像元件、CMOS (ComplementaryMetal Oxide Semiconductor)彩色攝像元件等各種類的攝像元件。
[0102]如圖2所示，彩色攝像元件20包括:具有排列(二維排列)於水平方向及垂直方向的光電轉換元件ro的多個像素33 ;及在各像素的受光面的上方配置的圖3所示的濾色器排列的濾色器。在各像素的上方配置有RGB三原色的濾色器(以下，稱為R濾光片、G濾光片、B濾光片)34R、34G、34B中的任一個。以下，將配置有R濾光片34R的像素稱為「R像素」，將配置有G濾光片34G的像素稱為「G像素」，將配置有B濾光片34B的像素稱為「B像素」。在此，「上方」是指被攝體光相對於彩色攝像元件20的攝像面入射的一側的方向。
[0103]〈濾色器排列的特徵〉
[0104]第I實施方式的彩色攝像元件20的濾色器排列具有下述的特徵(I)、(2)、(3)、
(4)、(5)及(6)。
[0105]〔特徵(I)〕
[0106]圖3所示的濾色器排列包含由對應於6X6像素的正方排列圖案構成的基本排列圖案P(圖中的由粗框表示的圖案)，該基本排列圖案P沿水平方向及垂直方向重複配置。SP，該濾色器排列中，R、G、B各色的R濾光片34R、G濾光片34G、B濾光片34B具有周期性而排列。
[0107]這樣一來，R濾光片34R、G濾光片34G、B濾光片34B具有周期性而排列，因此在進行從彩色攝像元件20讀出的R、G、B信號的去馬賽克算法處理等時，能夠按照重複圖案進行處理。
[0108]另外，在以基本排列圖案P為單位進行間拔處理而縮小圖像時，間拔處理後的濾色器排列能夠與間拔處理前的濾色器排列相同，能夠使用通用的處理電路。
[0109]〔特徵⑵〕
[0110]圖3所示的濾色器排列中，最有助於獲得亮度信號的顏色(在本實施方式中為G色)所對應的G濾光片34G配置於濾色器排列的水平、垂直及傾斜(NE、NW)方向的各濾光片行內。在此，NE表示斜右上方向，NW表示斜右下方向。例如，在正方形的像素的排列的情況下，斜右上及斜右下方向成為相對於水平方向分別呈45°的方向，但若是長方形的像素的排列，則是長方形的對角線的方向，其角度根據長邊/短邊的長度而改變。
[0111]與亮度系像素對應的G濾光片34G配置於濾色器排列的水平、垂直及傾斜(NE、NW)方向的各濾光片行內，因此無論成為高頻的方向如何，都能夠提高高頻區域的去馬賽克算法處理的再現精度。
[0112]〔特徵⑶〕
[0113]圖3所示的濾色器排列的基本排列圖案P中，該基本排列圖案P內的與RGB濾光片34R、34G、34B對應的R像素、G像素、B像素的像素數分別為8像素、20像素、8像素。SP，RGB像素的各像素數的比率為2:5:2，最有助於獲得亮度信號的G像素的像素數的比率大於其他顏色的R像素、B像 素各自的像素數的比率。
[0114]如上述那樣，G像素的像素數與R、B像素的像素數的比率不同，尤其是最有助於獲得亮度信號的G像素的像素數的比率大於R、B像素的像素數的比率，因此能夠抑制去馬賽克算法處理時的混淆現象,並且也能夠使高頻再現性良好。
[0115]〔特徵⑷〕
[0116]圖3所示的濾色器排列中，上述G色以外的兩種顏色以上的其他顏色(在本實施方式中，為R、B色)所對應的R濾光片34R、B濾光片34B分別在基本排列圖案P內，在濾色器排列的水平及垂直方向的各濾光片行內配置一個以上。
[0117]R濾光片34R及B濾光片34B分別配置於濾色器排列的水平及垂直方向的各濾光片行內，因此能夠抑制彩色莫爾條紋(偽色)的發生。由此，能夠不將用於抑制偽色的發生的光學低通濾波器配置於從光學系統的入射面到攝像面的光路上，或者即使在應用光學低通濾波器的情況下，也能夠應用用於防止偽色的發生的、切斷高頻成分的作用較弱的光學低通濾波器，從而能夠不損害解析度。
[0118]圖4示出了將圖3所示的基本排列圖案P分割成四個3X3像素的狀態。
[0119]如圖4所示，基本排列圖案P也可以被當作由圖中的實線框圍成的3X3像素的A排列35a和圖中的虛線框圍成的3X3像素的B排列35b沿著水平、垂直方向交替排列而成的排列。
[0120]A排列35a及B排列35b中，作為亮度系像素的G濾光片34G分別配置於四角和中央，配置於兩對角線上。而且，A排列35a中，隔著中央的G濾光片34G沿水平方向排列有R濾光片34R，沿垂直方向排列有B濾光片34B。另一方面，B排列35b中，隔著中央的G濾光片34G沿水平方向排列有B濾光片34B，沿垂直方向排列有R濾光片34R。即，A排列35a和B排列35b中，R濾光片34R和B濾光片34B的位置關係顛倒，但是其他配置相同。[0121]另外，A排列35a和B排列35b的四角的G濾光片34G如圖5所示，A排列和B排列沿水平、垂直方向交替配置，由此成為與2X2像素對應的正方排列的G濾光片34G。
[0122]這是因為，作為亮度系像素的G濾光片34G在A排列35a或B排列35b的3X 3像素中配置於四角和中央，該3X3像素在水平方向、垂直方向上交替配置，由此形成與2X2像素對應的正方排列的G濾光片34G。另外，通過形成為這樣的排列，滿足前述的特徵(I)、
(2)、(3)及後述的特徵(5)。
[0123]〔特徵(5)〕
[0124]圖3所示的濾色器排列包含設有G濾光片34G的對應於2X2像素的正方排列36 (以下,簡稱為G正方排列36,參照圖6)。
[0125]如圖6所示，將設有G濾光片34G的2X 2像素取出，求出水平方向的G像素的像素值的差的絕對值、垂直方向的G像素的像素值的差的絕對值、傾斜方向(右上斜、左上斜)的G像素的像素值的差的絕對值，由此能夠判斷為在水平方向、垂直方向及傾斜方向中的、差的絕對值小的方向上存在相關性。
[0126]即，根據該濾色器排列，使用最小像素間隔的G像素的信息，能夠進行水平方向、垂直方向及傾斜方向中的相關性高的方向判別。該方向判別結果能夠使用於從周圍的像素進行插值的處理(去馬賽克算法處理)。由此，能夠執行基於圖像處理部22的去馬賽克算法處理。
[0127]另外，如圖5所示，將3X3像素的A排列35a或B排列35b的像素作為去馬賽克算法處理的對象像素，在以A排列35a或B排列35b為中心而提取5X5像素(馬賽克圖像的局部區域)時，在5X5像素的四角存在2X2像素的G像素。通過使用上述的2X2像素的G像素的像素值，能夠使用最小像素間隔的G像素的信息來高精度地進行四個方向的相關方向的判別。
[0128]〔特徵(6)〕
[0129]圖3所示的濾色器排列的基本排列圖案P相對於其中心(四個G濾光片34G的中心)形成點對稱。而且，如圖4所示，基本排列圖案P內的A排列35a及B排列35b也分別相對於中心的G濾光片34G形成點對稱。
[0130]通過這樣的對稱性，能夠減小或簡化後段的處理電路的電路規模。
[0131]如圖7所示，在由粗框表示的基本排列圖案P中，水平方向的第一至第六行中的第一及第三行的濾色器排列是GBGGRG，第二行的濾色器排列是RGRBGB，第四及第六行的濾色器排列是GRGGBG，第五行的濾色器排列為BGBRGR。
[0132]目前，在圖7中，當將基本排列圖案P沿水平方向及垂直方向分別各移動一個像素而得到的基本排列圖案設為Pa且將分別各移動兩個像素而得到的基本排列圖案設為Ρβ時，即使將這些基本排列圖案Pa、Ρβ沿水平方向及垂直方向重複配置，也成為相同的濾色器排列。
[0133]即，通過將基本排列圖案沿水平方向及垂直方向重複配置，能夠構成圖7所示的濾色器排列的基本排列圖案存在多個。在第一實施方式中，為了簡便起見，將基本排列圖案形成點對稱的基本排列圖案P稱為基本排列圖案。
[0134]另外，在後 述的其他實施方式的濾色器排列中，也相對於各濾色器排列而存在多個基本排列圖案，但是將其代表性的基本排列圖案稱為該濾色器排列的基本排列圖案。[0135][第2實施方式的數位相機的整體結構]
[0136]圖8是具備本發明的彩色攝像元件的第2實施方式的數位相機(攝像裝置)39的框圖。在上述第I實施方式中，說明了具有一個種類的攝影模式(普通攝影模式)的數位相機10，但是數位相機39具有多個種類的攝影模式。
[0137]數位相機39除了具有前述的普通攝影模式之外，還具有生成噪聲少且進行高靈敏度攝影的圖像(以下，稱為高靈敏度圖像)的高靈敏度圖像攝影模式、生成比普通攝影圖像的解析度高(像素數大)的圖像(以下，稱為高解析度圖像)的高解析度圖像攝影模式、生成比普通攝影圖像的動態範圍擴展(擴大)的圖像(以下，稱為寬DR圖像)的寬DR圖像攝影模式。各攝影模式的切換由操作部12進行。
[0138]另外，數位相機39具有與第I實施方式的數位相機10不同的彩色攝像元件41及圖像處理電路43，且CPUll作為電荷蓄積時間調整部(電荷蓄積時間調整單元)44發揮功能，除此之外基本上與第I實施方式相同。因此，對於與第I實施方式在功能/結構上相同的部件，標註同一附圖標記而省略其說明。
[0139][彩色攝像元件的第2實施方式]
[0140]如圖9所示，在彩色攝像元件41的攝像面上設有第一組像素46A和第二組像素46B。第一組像素46A由沿水平及垂直方向分別以預定像素間隔P排列成矩陣狀的光電轉換元件PDa構成。而且，第二組像素46B由以與第一組像素46A相同的像素間隔P排列成矩陣狀的光電轉換元件PDb構成。
[0141]第一組像素46A(光電轉換元件PDa)排列於彩色攝像元件41的奇數像素行上。另一方面，第二組像素46B(光電轉換元件PDb)排列於彩色攝像元件41的偶數像素行上。而且，各光電轉換元件PDb相對於各光電轉換元件PDa，排列於沿水平及垂直方向分別錯開l/2p (預定像素間隔的一半)的位置。另外，光電轉換元件PDA、PDJ*了排列位置之外基本上相同。以下，將彩色攝像元件41的攝像面中的第一組像素46A排列的區域稱為「A面」，將第二組像素46B排列的區域稱為「B面」。
[0142]從第一組像素46A及第二組像素46B分別輸出的輸出信號向圖像處理電路43輸入。
[0143]如圖10所示，R、G、B濾光片34R、34G、34B分別以同一濾色器排列排列於第一組像素46A及第二組像素46B的上方。因此，彩色攝像元件41的濾色器排列具有將同一濾色器排列沿水平、垂直方向分別錯開l/2p配置而成的排列圖案(以下，稱為特殊排列圖案)。
[0144]以下，將A面上的R、G、B濾光片34R、34G、34B稱為「RA、Ga、Ba濾光片34R、34G、34B」，將 B 面上的 R、G、B 濾光片 34R、34G、34B 稱為「Rb、Gb、Bb 濾光片 34R、34G、34B」。而且，將A面上的Ra、Ga、Ba濾光片34R、34G、34B的濾色器排列稱為「A面濾色器排列」，將B面上的Rb、Gb、Bb濾光片34R、34G、34B的濾色器排列稱為「B面濾色器排列」。
[0145]如圖11及圖12所示，A面濾色器排列和B面濾色器排列分別是與第I實施方式的濾色器排列基本上相同的排列。因此，A面濾色器排列包含與6X6像素對應的正方排列圖案即基本排列圖案PA，B面濾色器排列也包含相同的正方排列圖案即基本排列圖案Pb。並且，A面、B面濾色器排列各自的基本排列圖案Pa、基本排列圖案Pb沿水平方向及垂直方向重複配置。
[0146]基本排列圖案PA、PB是與第I實施方式的基本排列圖案P基本上相同的排列圖案。因此，如第I實施方式中敘述那樣，A面及B面濾色器排列分別具有前述的特徵(I)、(2)、
(3)、(4)、(5)及(6)。
[0147]返回到圖10，彩色攝像元件41的濾色器排列由A面濾色器排列和B面濾色器排列構成。A面及B面濾色器排列具有前述的特徵(2)及(3)，因此彩色攝像元件41的濾色器排列也同樣地具有前述的特徵(2)及(3)。
[0148]此外，A面及B面濾色器排列中，基本排列圖案PA、PB分別沿水平方向及垂直方向重複配置。因此，彩色攝像元件41的濾色器排列包含基本排列圖案P1，該基本排列圖案Pl沿水平方向及垂直方向重複配置。因此，彩色攝像元件41的濾色器排列也具有前述的特徵⑴。
[0149]如圖13所不,基本排列圖案Pl由基本排列圖案Pa和處於相對於該基本排列圖案Pa沿水平及垂直方向錯開l/2p的位置處的基本排列圖案Pb構成。A面及B面濾色器排列具有前述的特徵(4)，因此彩色攝像元件41的濾色器排列也同樣地具有前述的特徵(4)。
[0150]另外,在第2實施方式中,基本排列圖案Pl相對於其中心未形成點對稱。
[0151]如上述那樣，彩色攝像元件41的濾色器排列具有與第I實施方式的濾色器排列的特徵(I)、(2)、(3)、(4)相同的特徵。
[0152]〔特徵(7)〕
[0153]另外，在彩色攝像元件41的濾色器排列中，在傾斜(NE、NW)方向的各濾光片行(除一部分行之外)分別配置I個以上的Ra、b濾光片34R、Ga、b濾光片34G、Ba、b濾光片34B。因此，傾斜(NE、NW)方向的解析度變高。
[0154]另一方面，如表示比較例的圖14那樣，濾色器排列具有與第2實施方式同樣的「特殊排列圖案」，但是當A面及B面排列圖案分別為拜耳排列時，傾斜(NE)方向的解析度下降。具體而言，濾色器排列成為僅G濾光片34G的傾斜(NW)方向的行Le與僅R、B濾光片34R、34B的傾斜(NW)方向的行Lkb沿傾斜(NE)方向交替配置的圖案，因此例如G濾光片34G的傾斜(NE)方向的像素間隔比水平、垂直方向的像素間隔大。另外，關於R、B濾光片34R、34B也同樣。因此，濾色器排列的傾斜(NE)方向的解析度下降，因此優選另行設置沿傾斜(NE)方向具有各向異性的光學低通濾波器。
[0155]相對於此，在彩色攝像元件41的濾色器排列中，傾斜(NE、NW)方向的解析度變高，因此即使未配置沿傾斜(NE)方向具有各向異性的光學低通濾波器，也能夠抑制因沿傾斜方向具有高頻成分的輸入圖像而產生的彩色莫爾條紋(偽色)。
[0156]〔特徵(5，)〕
[0157]此外，彩色攝像元件41的濾色器排列取代第I實施方式的G正方排列36，而具有將Ga，Gb濾光片34G沿水平、垂直及傾斜方向以最小間隔配置4個而成的G排列48 (參照圖
10、圖13)。因此，將設有G排列48的4個像素取出，求出水平方向的G像素的像素值的差的絕對值、垂直方向的G像素的像素值的差的絕對值、傾斜方向(NE、NW)的G像素的像素值的差的絕對值，由此能夠判斷為差的絕對值小的方向存在相關性。由此，彩色攝像元件41的濾色器排列具有與前述的特徵(5)大致相同的特徵。
[0158][第2實施方式的數位相機的各結構]
[0159]電荷蓄積時間調整部44 (參照圖8)獨立地控制第一組像素46A(A面)和第二組像素46B(B面)的電荷蓄積時間(曝光時間)。電荷蓄積時間調整部44在寬DR圖像攝影模式以外的攝影模式時，將第一組像素46A與第二組像素46B的電荷蓄積時間設定為相同。
[0160]另外，如圖15所示，電荷蓄積時間調整部44在寬DR圖像攝影模式時，將第二組像素46B的電荷蓄積時間設定為比第一組像素46A的電荷蓄積時間短(相反也可)。由此，第一組像素46A相對地成為「高靈敏度像素」，第二組像素46B相對地成為「低靈敏度像素」。其結果是，從第一組像素46A得到靈敏度高的圖像(以下，稱為高靈敏度圖像)，從第二組像素46B得到靈敏度低的圖像(以下，稱為低靈敏度圖像)。
[0161]返回到圖8，圖像處理電路43基本上與第I實施方式的圖像處理電路22相同，但是在普通攝影模式時，生成普通攝影圖像數據，在高靈敏度圖像攝影模式時，生成高靈敏度圖像數據，在高解析度圖像攝影模式時，生成高解析度圖像數據，在寬DR圖像攝影模式時，生成寬DR圖像數據。該圖像處理電路43具備普通圖像生成部50、高靈敏度圖像生成部(第一圖像生成單元)51、高解析度圖像生成部(第二圖像生成單元)52、寬DR圖像生成部(第三圖像生成單元)53。
[0162]普通圖像生成部50在普通攝影模式時，基於例如從第一組像素46A(第二組像素46B也可)輸出的輸出信號，生成普通攝影圖像數據。
[0163]如圖16所示，高靈敏度圖像生成部51在高靈敏度圖像攝影模式時，進行將來自第一組像素46A的輸出信號與來自第二組像素46B的輸出信號進行混合(加算)的所謂像素混合，該第一組像素46A與第二組像素46B為同色且在傾斜方向(在本實施方式中為NW方向)上相互相鄰。由此，如圖17所示，能夠將傾斜方向(NW)上相鄰的同色的第一組像素及第二組像素46A、46B視為I個像素而進行信號處理。通過這樣的像素混合，靈敏度相當於2倍，因此能得到高靈敏度圖像數據。不進行增益放大而能得到該高靈敏度圖像數據，因此噪聲也減少。另外，雖然圖示省略，但是即使同色的第一組像素46A與第二組像素46B在傾斜方向(NE)上相鄰的情況下， 也能同樣地得到高靈敏度圖像數據。
[0164]如圖18所示，高解析度圖像生成部52在高解析度圖像攝影模式時，基於從第一組像素46A和第二組像素46B雙方分別輸出的輸出信號，生成高解析度圖像數據。高解析度圖像數據使用普通攝影圖像數據生成時的2倍的像素而生成，因此與普通攝影圖像數據相比成為高解析度的圖像數據。
[0165]如圖19所示，寬DR圖像生成部53在寬DR圖像攝影模式時，基於信號電荷蓄積時間不同的第一組像素及第二組像素46A、46B各自的輸出信號，生成高靈敏度圖像數據、低靈敏度圖像數據。接下來，寬DR圖像生成部53基於高靈敏度圖像數據和低靈敏度圖像數據而生成寬DR圖像數據。另外，使用靈敏度不同的圖像數據而生成寬DR圖像數據的方法為周知技術，因此這裡省略具體的說明。
[0166][第2實施方式的數位相機的作用]
[0167]接下來，使用圖20說明上述結構的數位相機39的作用。當利用操作部12將攝影模式設定為普通攝影模式、高靈敏度圖像攝影模式、高解析度圖像攝影模式、寬DR圖像攝影模式中的任一個時，CPUll經由透鏡驅動器21來控制機械快門16的動作，並經由攝像元件驅動器23來驅動彩色攝像元件41。
[0168]以預定的快門速度將機械快門16開閉，向彩色攝像元件41的各像素46A、46B蓄積信號電荷。此時，電荷蓄積時間調整部44在寬DR圖像攝影模式以外的攝影模式時，將第一組像素46A和第二組像素46B的電荷蓄積時間調整為相同，在寬DR圖像攝影模式時使兩者的電荷蓄積時間不同。並且，在攝像元件驅動器23的控制下，將各像素46A、46B的輸出信號向圖像處理電路43輸出。
[0169][普通攝影模式]
[0170]在設定普通攝影模式作為攝影模式時，普通圖像生成部50工作。普通圖像生成部50基於來自第一組像素46A的輸出信號，生成普通攝影圖像數據，並將其在一定的時機向顯示部32輸出。由此，在顯示部32顯示實時取景圖像。而且，也可以同時進行AF處理、AE處理等攝影準備處理。
[0171]當通過操作部12作出攝影指示時，利用普通圖像生成部50生成I幀量的普通攝影圖像數據。該普通攝影圖像數據在由壓縮擴展處理電路29進行了壓縮之後，經由媒介I/F30記錄於存儲卡31中。
[0172][高靈敏度圖像、高解析度圖像、寬DR圖像攝影模式]
[0173]在設定高靈敏度圖像攝影模式作為攝影模式時，高靈敏度圖像生成部51工作，如圖16所示，通過進行所謂像素混合而生成高靈敏度圖像數據。而且，在設定高解析度圖像攝影模式作為攝影模式時，高解析度圖像生成部52工作，如圖18所示，基於來自全部像素46A、46B的輸出信號，生成高解析度圖像數據。
[0174]此外，在設定寬DR圖像攝影模式作為攝影模式時，寬DR圖像生成部53工作，如圖19所示，基於由來自全部像素46A、46B各自的輸出信號所構成的高靈敏度、低靈敏度圖像數據，生成寬DR圖像數據。以下，與普通攝影模式時同樣地，在通過操作部12作出了攝影指示時，將高靈敏度 圖像數據、高解析度圖像數據及寬DR圖像數據分別進行了壓縮處理之後記錄於存儲卡31中。
[0175]彩色攝像元件41具有圖10等所示的濾色器排列，因此在普通攝影圖像數據、高靈敏度圖像數據、高解析度圖像數據及寬DR圖像數據中的任一者都能抑制彩色莫爾條紋(偽色)的產生，能得到高畫質的圖像數據。而且，能夠應用未配置光學低通濾波器或切斷高頻成分的作用較弱的結構，因此不會損害各圖像數據的解析度。由此，能得到高解析度的圖像數據。此外，濾色器排列中，基本排列圖案Pl沿水平方向及垂直方向重複配置，因此在進行圖像處理電路等的後段的去馬賽克算法處理時，能夠按照重複圖案進行處理，與以往的隨機排列相比，能夠簡化後段的處理。
[0176][第3實施方式的數位相機的整體結構]
[0177]圖21是具備本發明的彩色攝像元件的第3實施方式的數位相機(攝像裝置)55的框圖。在上述第2實施方式中，說明了能夠生成高靈敏度圖像、高解析度圖像及寬DR圖像的數位相機39，但是在數位相機55中生成能夠體視的視差圖像。
[0178]數位相機55取代前述的高靈敏度圖像攝影模式、高解析度圖像攝影模式及寬DR圖像攝影模式而具有生成視差圖像的3D攝影模式。而且，數位相機55是除了具有與第2實施方式的數位相機39不同的彩色攝像元件58、圖像處理電路59及顯示部60這一點之外基本上與第2實施方式相同的結構,關於與第2實施方式在功能/結構上相同的部件，標註同一附圖標記而省略其說明。
[0179][彩色攝像元件的第3實施方式]
[0180]如圖22所示，彩色攝像元件58的像素排列及濾色器排列與第2實施方式的彩色攝像元件41的像素排列、濾色器排列相同。但是，在彩色攝像元件58中，第一組像素46A、第二組像素46B以相對於分別從不同的方向入射的被攝體光而靈敏度變高的方式構成。
[0181 ] 在表示沿著圖22中的AA線的截面的圖23及表示沿著BB線的截面的圖24中，在半導體基板(sub) 62的表層分別形成有分別構成各像素46A、46B的光電轉換元件PDA、PDB。另外，雖然圖不省略，但是在半導體基板62設有在各像素46A、46B的驅動、信號輸出中使用的各種電路。
[0182]在半導體基板62上設有例如由氧化矽形成的透光性的絕緣膜63。在絕緣膜63上設有例如由鎢形成的遮光膜64。遮光膜64具有在光電轉換元件PDa上形成的第一偏心開口 64a和在光電轉換元件PDbI形成的第二偏心開口 64b。
[0183]第一偏心開口 64a形成於相對於光電轉換元件PDa的中心而偏向圖中左方的位置。由此，光電轉換元件PDa的大致右半部分的區域(以下，簡稱為右區域)由遮光膜64覆蓋，反之大致左半部分的區域(以下，簡稱為左區域)露出。另一方面，第二偏心開口 64b形成於相對於光電轉換元件PDb的中心而偏向圖中右方的位置。由此，光電轉換元件PDb的左區域由遮光膜64覆蓋，反之右區域露出。
[0184]在遮光膜64上設有表面平坦的透光性的平坦化層65。在平坦化層65上以圖22所示的濾色器排列分別設有各濾光片34R、34G、34B。
[0185]在各濾光片34R、34G、34B上，在各光電轉換元件PDa、PDb的正上方位置分別設有微透鏡66。另外，圖中的附圖標記02是微透鏡66的光軸。微透鏡66的光軸02位於各光電轉換元件PDa、PDb的中心上。
[0186]從圖中右斜方向 入射到微透鏡66的被攝體光67R通過微透鏡66經由第一偏心開口 64a向光電轉換元件PDa的左區域聚光，但是在由遮光膜64覆蓋的光電轉換元件PDb的左區域未聚光。反之，從圖中右斜方向入射到微透鏡66的被攝體光67L通過微透鏡66經由第二偏心開口 64b而向光電轉換兀件PDb的右區域聚光,但是在由遮光膜64覆蓋的光電轉換元件PDa的右區域未聚光。
[0187]這樣一來，光電轉換元件PDa (第一組像素46A)相對於被攝體光67R而靈敏度變高，光電轉換元件PDb (第二組像素46B)相對於被攝體光67L而靈敏度變高。另外，被攝體光67R、67L分別通過相對於透鏡單元13 (變焦透鏡14及聚焦透鏡15)的光軸01而對稱的區域及相對於微透鏡66的光軸02而對稱的區域。另外，相對於透鏡單元13的光軸01而對稱的區域是利用與光軸01正交且與像素排列的垂直方向(參照圖9)平行的線段對透鏡單元13進行分割而成的區域(透鏡單元13的左右區域)。
[0188][第3實施方式的數位相機的各結構]
[0189]返回到圖21，圖像處理電路59在普通攝影模式時生成普通攝影圖像數據，在3D攝影模式時生成由2視點(R視點、L視點)的視點圖像構成的視差圖像數據。該圖像處理電路59取代高靈敏度圖像生成部51、高解析度圖像生成部52及寬DR圖像生成部53而設有視差圖像生成部(第四圖像生成單元)69，除此之外與第2實施方式的圖像處理電路43基本上相同。
[0190]如圖25所示，視差圖像生成部69在3D攝影模式時基於來自第一組像素46A的輸出信號，生成從R視點側觀察被攝體時的R視點圖像數據(第一圖像)，並基於來自第二組像素46B的輸出信號，生成從L視點側觀察被攝體時的L視點圖像數據(第二圖像)。在R視點圖像數據與L視點圖像數據產生視差，因此能夠進行體視。[0191]顯示部60(參照圖21)基於R視點圖像數據及L視點圖像數據，使用能夠進行立體圖像的觀察的各種監視器。另外，立體圖像的顯示方式可以使用柱面透鏡方式、視差屏障方式、視差屏障(parallax barrier)方式、立體照片方式、幀順序方式、光照方向方式等周知的各種方式。
[0192][第3實施方式的數位相機的作用]
[0193]接下來，使用圖26，說明上述結構的數位相機55的作用。另外，攝影模式被設定為普通攝影模式時的處理的流程與第2實施方式相同，因此這裡省略具體的說明。
[0194][3D攝影模式]
[0195]在設定3D攝影模式作為攝影模式時，視差圖像生成部69工作，如圖25所示，基於分別來自第一組像素46A及第二組像素46B的輸出信號，生成R視點圖像數據、L視點圖像數據。視差圖像生成部69將R視 點圖像數據及L視點圖像數據中的至少一方在一定的時機向顯示部60輸出。由此，在顯示部60顯示實時取景圖像。
[0196]當通過操作部12作出攝影指示時，利用視差圖像生成部69生成I幀量的R視點圖像數據、L視點圖像數據。上述R視點圖像數據及L視點圖像數據在由壓縮擴展處理電路29壓縮作為視差圖像數據之後，經由媒介I/F30而記錄於存儲卡31中。另外，記錄於存儲卡31中的視差圖像數據通過將數位相機55的動作模式切換成再生模式，而能夠體視地顯示於顯示部60。
[0197]通過前述的結構的濾色器排列，與第2實施方式同樣地能得到高畫質且高解析度的圖像數據。而且，與以往的隨機排列相比，能夠簡化後段的去馬賽克算法處理等。
[0198]另外，通過對設於機械快門16的光圈進行光圈縮小，而R視點圖像數據與L視點圖像數據的視差量減小，因此與第2實施方式同樣地，可以生成高靈敏度圖像數據、高解析度圖像數據、寬DR圖像數據。
[0199]另外，在上述第3實施方式中，通過形成於遮光膜64的第一及第二偏心開口 64a、64b，第一組像素及第二組像素46A、46B相對於分別從不同方向入射的被攝體光而靈敏度變高，但也可以使用其它方法。例如可以取代在遮光膜形成偏心開口，而使第一組像素及第二組像素46A、46B上的微透鏡的位置分別向不同方向偏心。
[0200][第4實施方式的數位相機的整體結構]
[0201]圖27是具備本發明的彩色攝像元件的第4實施方式的數位相機(攝像裝置)71的框圖。在上述第2實施方式中，在寬DR攝影模式時，獨立地控制第一組像素46A(A面)和第二組像素46B(B面)的電荷蓄積時間，由此生成寬DR圖像數據(高靈敏度圖像數據、低靈敏度圖像數據)。相對於此，在數位相機71中，不改變A面和B面的電荷蓄積時間而生成寬DR圖像數據。
[0202]數位相機71具有與第2實施方式的數位相機39不同的彩色攝像元件72及圖像處理電路73，除此之外基本上是與第2實施方式相同的結構，對於與第2實施方式在功能/結構上相同的部件，標註同一附圖標記而省略其說明。
[0203][彩色攝像元件的第4實施方式]
[0204]如圖28所示，彩色攝像元件72的像素排列與第2實施方式的彩色攝像元件41的像素排列相同。但是，在彩色攝像元件72中，第二組像素46B (光電轉換元件PDb)的面積小於第一組像素46A(光電轉換元件PDa)的面積。因此，第二組像素46B的信號電荷的蓄積量小於第一組像素46A的信號電荷的蓄積量。由此，第一組像素46A相對地成為「高靈敏度像素」，第二組像素46B相對地成為「低靈敏度像素」。
[0205]另外，Rb,Gb, Bb 濾光片 34Rs、34Gs、34Bs 的面積小於 RA、GA、BA 濾光片 34R、34G、34B的面積。因此，彩色攝像元件72的濾色器排列除了 Rb、Gb、Bb濾光片34Rs、34Gs、34Bs的面積形成得較小這一點之外，與第2實施方式的濾色器排列基本上相同。因此，彩色攝像元件72的濾色器排列在具有與第I實施方式的濾色器排列的特徵(I)、(2)、(3)、(4)相同的特徵的基礎上，還具有第2實施方式的濾色器排列的特徵(7)。
[0206]這樣一來，在彩色攝像元件72中，不改變A面和B面的電荷蓄積時間，而基於來自第一組像素46A的輸出信號能得到高靈敏度圖像，並基於來自第二組像素46B的輸出信號能得到低靈敏度圖像。
[0207]返回到圖27，圖像處理電路73的寬DR圖像生成部53在寬DR圖像生成模式時工作，基於第一組像素及第二組像素46A、46B各自的輸出信號，生成高靈敏度圖像數據和低靈敏度圖像數據，基於這兩個圖像數據而生成寬DR圖像數據。通過上述結構的濾色器排列，與第2實施方式同樣地能得到高畫質且高解析度的圖像數據。而且，與以往的隨機排列相比，能夠簡化後段的去馬賽克算法處理等。
[0208]另外，關於數位相機71的作用，與第2實施方式的數位相機39基本上相同，因此這裡省略說明。
[0209][彩色攝像元件的第4-1實施方式]
[0210]在上述第4實施方式的數位相機71中，通過使第一組像素及第二組像素46A、46B的面積不同而生成寬DR 圖像數據，但是也可以利用使面積不同的以外的方法來使向第一組像素及第二組像素46A、46B入射的被攝體光的光量不同。
[0211]例如，在圖29及表示沿著圖29中的CC線的截面的圖30中，彩色攝像元件75是與第2實施方式的彩色攝像元件41基本相同的結構。但是，在彩色攝像元件75中，位於第二組像素46B(光電轉換元件PDb)的上方的微透鏡76的大小比位於第一組像素46A(光電轉換元件PDa)的上方的微透鏡66的大小形成得小。
[0212]通過較小地形成微透鏡76，聚光於第二組像素46B的被攝體光的光量比聚光於第一組像素46A的被攝體光的光量少。因此，第二組像素46B的信號電荷的蓄積量小於第一組像素46A的信號電荷的蓄積量。由此,與第4實施方式同樣地,第一組像素46A相對地成為「高靈敏度像素」，第二組像素46B相對地成為「低靈敏度像素」。
[0213]這樣一來，即使在將第4實施方式的彩色攝像元件72置換成彩色攝像元件75的情況下，也與第4實施方式同樣地能得到寬DR圖像數據。而且，由於濾色器排列是與第2及第3實施方式相同的排列，因此能得到高畫質且高解析度的寬DR圖像數據，而且能夠簡化後段的去馬賽克算法處理等。
[0214][彩色攝像元件的第4_2實施方式]
[0215]另外，在上述第4-1實施方式的彩色攝像元件75中，通過使微透鏡66、76的大小不同而能得到寬DR圖像數據，但也可以例如如圖31所示的彩色攝像元件77那樣，使Ra、Ga、Ba濾光片34R、34G、34B與Rb、Gb、Bb濾光片34R、34G、34B的透光率不同。
[0216]具體而言，Rb、Gb、Bb濾光片34R、34G、34B的透光率比RA、GA、BA濾光片34R、34G、34B的透光率低。另外，在圖31中，以G濾光片34G為代表例進行了圖示，但是關於其他R濾光片34R、B濾光片34B也同樣。
[0217]通過降低Rb、Gb、Bb濾光片34R、34G、34B的透光率，能夠使聚光於第二組像素46B的被攝體光的光量比聚光於第一組像素46A的被攝體光的光量少。因此,與第4-1實施方式同樣地，第一組像素46A相對地成為「高靈敏度像素」，第二組像素46B相對地成為「低靈敏度像素」。
[0218]這樣一來，即使在將第4實施方式的彩色攝像元件72置換成彩色攝像元件77的情況下，也與第四及第4-1實施方式同樣地，能得到高畫質且高解析度的寬DR圖像數據，而且能夠簡化後段的去馬賽克算法處理等。
[0219][其他]
[0220]在上述第2實施方式至上述第4-2實施方式中，基本排列圖案Pl具有與12 X 12像素(基本排列圖案？八、？￡1分別為6X6像素)對應的排列圖案，但是濾色器排列在至少滿足前述的特徵⑴至⑷的範圍內也可以使基本排列圖案Pl具有與任意的MXN(M = N，M#N均可)像素對應的排列圖案。在這種情況下，基本排列圖案？八、？￡1成為對應於(M/2) X (N/2)像素的排列圖案。
[0221]另外，M和N優選為20以下。這是因為，在M和N超過20時，去馬賽克等信號處理變得複雜化，相對於此無法得到增大基本排列圖案的大小所產生的額外的效果。 [0222]上述各實施方式的R濾光片34R及B濾光片34B的配置並未限定為前述的各圖所示的配置，至少在滿足前述的特徵(4)的範圍內可以適當變更。而且，在上述各實施方式中，同色的第一組像素和第二組像素(同色的濾色器)沿傾斜方向(NW)相鄰配置，但也可以沿傾斜方向(NE)相鄰配置。
[0223][變形例]
[0224]另外，在上述的各實施方式中，說明了採用綠(G)作為第一色並採用紅(R)及藍(B)作為第二色的例子，但是在濾色器中可使用的顏色並未限定為這些顏色，也可以使用與滿足以下條件的顏色對應的濾色器。
[0225]
[0226]在上述各實施方式中，作為本發明的具有第一色的第一濾光片，列舉G色的G濾光片為例進行了說明，但是也可以取代G濾光片，或者取代G濾光片的一部分，使用滿足下述條件(I)至條件(4)中的任一個的濾光片。
[0227]〔條件⑴〕
[0228]條件(I)是用於獲得亮度信號的貢獻率為50%以上。該貢獻率50%是為了對本發明的第一色(G色等)與第二色(R、B色等)進行區別而確定出的值，是以用於獲得亮度數據的貢獻率相對地比R色、B色等高的顏色包含於「第一色」的方式確定出的值。
[0229]另外，貢獻率小於50%的顏色成為本發明的第二色(R色、B色等)，具有該顏色的濾光片成為本發明的第二濾光片。
[0230]〔條件⑵〕
[0231]條件⑵是濾光片的透過率的峰值處于波長480nm以上且570nm以下的範圍內。濾光片的透過率使用例如由分光光度計測定出的值。該波長範圍是為了將本發明的第一色(G色等)與第二色(R、B色等)進行區別而確定出的範圍，是以不包含前述的貢獻率相對降低的R色、B色等的峰值且包含貢獻率相對升高的G色等的峰值的方式確定出的範圍。因此，可以使用透過率的峰值處于波長480nm以上且570nm以下的範圍內的濾光片作為第一濾光片。另外，透過率的峰值為波長480nm以上且570nm以下的範圍外的濾光片成為本發明的第二濾光片(R濾光片、B濾光片)。
[0232]〔條件⑶〕
[0233]條件(3)是波長500nm以上且560nm以下的範圍內的透過率比第二濾光片(R濾光片或B濾光片)的透過率高。在該條件(3)下，濾光片的透過率也使用例如由分光光度計測定出的值。該條件(3)的波長範圍也是為了對本發明的第一色(G色等)與第二色(R、B色等)進行區別而確定出的範圍，是具有前述的貢獻率相對地比R色或B色等高的顏色的濾光片的透過率高於RB濾光片等的透過率的範圍。因此，可以使用在透過率為波長500nm以上且560nm以下的範圍內相對高的濾光片作為第一濾光片，並使用透過率相對低的濾光片作為第二濾光片。
[0234]〔條件⑷〕
[0235]條件(4)是使用包含三原色中的最有助於亮度信號的顏色(例如RGB中的G色)和與這三原色不同的顏色的兩種顏色以上的濾光片作為第一濾光片。在這種情況下，第一濾光片的各色以外的顏色所對應的濾光片成為第二濾光片。
[0236]
[0237]因此，作為第 一濾光片的G色的G濾光片並未限定為一個種類，也可以使用例如多個種類的G濾光片(Gl濾光片、G2濾光片)作為第一濾光片。即上述的各實施方式的濾色器(基本排列圖案)的G濾光片可以適當置換成Gl濾光片或G2濾光片。Gl濾光片使第一波長帶域的G光透過，G2濾光片使與Gl濾光片相關性高的第二波長帶域的G光透過(參照圖32)。
[0238]作為Gl濾光片，可以使用現存的G濾光片(例如第一實施方式的G濾光片)。而且，作為G2濾光片，可以使用與Gl濾光片相關性高的濾光片。在這種情況下，配置G2濾光片的受光元件的分光靈敏度曲線的峰值優選處於例如波長500nm至535nm的範圍(配置現存的G濾光片的受光元件的分光靈敏度曲線的峰值的附近)。另外，決定四種顏色(R、G1、G2、B)的濾色器的方法使用例如日本特開2003-284084號記載的方法。
[0239]將如此通過彩色攝像元件而取得的圖像的顏色分為四個種類，並使取得的顏色信息增加，由此與僅取得三個種類的顏色(RGB)的情況相比，能夠更準確地表現出顏色。即，能夠將眼睛看起來不同的顏色再現為不同的顏色，並將眼睛看起來相同的顏色再現為相同的顏色(提高「顏色的判別性」)。
[0240]另外，G1、G2濾光片的透過率與第一實施方式的G濾光片的透過率基本相同，因此用於獲得亮度信號的貢獻率高於50%。因此，G1、G2濾光片滿足前述的條件(I)。
[0241]另外，在表示濾色器排列(受光元件)的分光靈敏度特性的圖32中，各Gl、G2濾光片的透過率的峰值(各G像素的靈敏度的峰值)處于波長480nm以上且570nm以下的範圍內。各G1、G2濾光片的透過率在波長500nm以上且560nm以下的範圍內，高於RB濾光片的透過率。因此，各Gl、G2濾光片也滿足前述的條件(2)、(3)。
[0242]另外，各Gl、G2濾光片的配置、個數可以適當變更。而且，也可以將G濾光片的種類增加為三個種類以上。
[0243]〈透明濾光片(W濾光片)>[0244]在上述的實施方式中，主要示出了由與RGB色對應的彩色濾光片構成的濾色器，但是也可以將這些彩色濾光片的一部分設為透明濾光片W(白色像素)。尤其是優選取代第一濾光片(G濾光片)的一部分而配置透明濾光片W。通過如此將G像素的一部分置換成白色像素，即使像素大小微小化也能抑制顏色再現性的劣化。
[0245]透明濾光片W是透明色(第一色)的濾光片。透明濾光片W能夠使與可見光的波長域對應的光透過，例如是RGB的各色的光的透過率為50%以上的濾光片。透明濾光片W的透過率比G濾光片高，因此用於獲得亮度信號的貢獻率也比G色(60% )高，滿足前述的條件⑴。
[0246]在表示濾色器排列(受光元件)的分光靈敏度特性的圖33中，透明濾光片W的透過率的峰值(白色像素的靈敏度的峰值)處于波長480nm以上且570nm以下的範圍內。而且，透明濾光片W的透過率處于波長500nm以上且560nm以下的範圍內，比RB濾光片的透過率高。因此，透明濾光片W也滿足前述的條件(2)、(3)。另外，關於G濾光片也與透明濾光片W同樣地滿足前述的條件(I)~(3)。
[0247]這樣一來，透明濾光片W滿足前述的條件⑴~(3)，因此可以作為本發明的第一濾光片使用。另外，在濾色器排列中，將RGB三原色中的最有助於亮度信號的G色所對應的G濾光片的一部分置換成透明濾光片W，因此也滿足前述的條件(4)。
[0248]
[0249]在上述的實施方式中，主要示出了由與RGB色對應的彩色濾光片構成的濾色器，但也可以將這些彩色濾光片的一部分設為其他彩色濾光片，例如與翠綠(E)色對應的濾光片E (翠綠色像素)。尤其是可以取代第一濾光片(G濾光片)的一部分而配置翠綠色濾光片(E濾光片)。通過如此使用將G濾光片的一部分由E濾光片置換後的四種顏色的濾色器排列，能夠提聞売度聞的區域成分的再現，減少銀齒，並提聞解析度感。
[0250]在表示濾色器排列(受光元件)的分光靈敏度特性的圖34中，翠綠色濾光片E的透過率的峰值(E像素的靈敏度的峰值)處于波長480nm以上且570nm以下的範圍內。而且，翠綠色濾光片E的透過率在波長500nm以上且560nm以下的範圍內，高於RB濾光片的透過率。因此，翠綠色濾光片E滿足前述的條件(2)、(3)。而且，在濾色器排列中，將RGB三原色中的最有助於亮度信號的G色所對應的G濾光片的一部分置換成翠綠色濾光片E，因此也滿足前述的條件(4)。
[0251]另外，在圖26所示的分光特性中，翠綠色濾光片E在比G濾光片靠短波長的一側具有峰值，但有時也在比G濾光片靠長波長的一側具有峰值(看起來稍接近黃色的顏色)。這樣一來，作為翠綠色濾光片E，能夠選擇滿足本發明的各條件的翠綠色濾光片，例如，也可以選擇滿足條件(I)那樣的翠綠色濾光片E。
[0252]
[0253]在上述的各實施方式中，說明了由原色RGB的濾色器構成的濾色器排列，但是本發明也可以應用於例如向原色RGB的互補色即C(青色)、M(品紅色)、Y(黃色)添加了 G的四種顏色的互補色系的濾色器的濾色器排列。在這種情況下，也將滿足上述條件(I)~
(4)中的任一個的濾色器作為本發明的第一濾光片，並將其他濾色器作為第二濾光片。
[0254]
[0255] 上述各實施方式的各濾色器排列包含各色的濾色器沿水平方向(H)及垂直方向(V) 二維排列而成的基本排列圖案，且該基本排列圖案沿水平方向(H)及垂直方向(V)重複配置，但是本發明沒有限定於此。
[0256]例如，也可以使用將上述的各實施方式的基本排列圖案繞光軸旋轉了 45°而得到的所謂蜂窩排列狀的基本排列圖案，並由將基本排列圖案沿傾斜方向(NE、NW)重複配置而成的排列圖案構成濾色器。
[0257]在上述的各實施方式中，作為具備本發明的彩色攝像元件的攝像裝置而舉例說明了數位相機，但是本發明也可以應用於例如內窺鏡等各種攝像裝置。
[0258]此外，本發明沒有限定為上述的實施方式，在不脫離本發明的宗旨的範圍內能夠進行各種變形，這是不言而喻的。
[0259]附圖標記說明
[0260]10、55、71…數位相機，20、41、58、72、75、77…彩色攝像元件，22、43、59、73…圖像處理電路，33...像素，34R、34G、34B…R、G、B濾光片，44…電荷蓄積時間調整部，46A…第一組像素，46B…第二組像素，51…高靈敏度圖像生成部，52…高解析度圖像生成部，53…寬DR圖像生成部，66、7 6...微透鏡，69...視差圖像生成部，P、P1...基本排列圖案
【權利要求】
1.一種彩色攝像元件，具備:第一組像素，由沿水平方向及垂直方向分別以預定像素間隔排列成矩陣狀的光電轉換元件構成；第二組像素，由相對於上述第一組像素的各光電轉換元件沿上述水平方向及垂直方向分別錯開上述預定像素間隔的一半的位置所排列的光電轉換元件構成；及在上述第一及第二像素組上分別以同一特定的濾色器排列進行排列而成的濾色器， 上述濾色器排列包含基本排列圖案，該基本排列圖案排列有與一種顏色以上的第一色對應的第一濾光片和與用於獲得亮度信號的貢獻率比上述第一色低的兩種顏色以上的第二色對應的第二濾光片，該基本排列圖案在水平方向及垂直方向上重複配置， 上述第一濾光片在上述濾色器排列的水平、垂直、斜右上及斜右下方向的各行內配置I個以上， 與上述第二色的各色對應的上述第二濾光片在上述基本排列圖案內在上述濾色器排列的水平及垂直方向的各行內配置I個以上， 上述第一濾光片所對應的第一色的像素數的比率大於上述第二濾光片所對應的第二色的各色的像素數的比率。
2.根據權利要求1所述的彩色攝像元件，其中， 上述第一組像素選擇性地接收透過了攝影光學系統的互不相同的兩個區域中的一方的被攝體光，上述第二組像素選擇性地接收透過了上述兩個區域中的另一方的被攝體光。
3.根據權利要求2所述 的彩色攝像元件，其中， 上述兩個區域是相對於上述攝影光學系統的光軸而對稱的區域。
4.根據權利要求1所述的彩色攝像元件，其中， 上述第二組像素的靈敏度低於上述第一組像素的靈敏度。
5.根據權利要求4所述的彩色攝像元件，其中， 上述第二組像素的面積小於上述第一組像素的面積。
6.根據權利要求4所述的彩色攝像元件，其中， 上述第二組像素上的上述濾色器的透光率低於上述第一組像素上的上述濾色器的透光率。
7.根據權利要求4所述的彩色攝像元件，其中， 在上述第一濾光片及第二濾光片的上方分別設有微透鏡， 位於上述第二組像素上的上述微透鏡比位於上述第一組像素上的上述微透鏡小。
8.一種攝像裝置，具備: 權利要求1所述的彩色攝像元件；及 攝影光學系統，使被攝體光成像於上述彩色攝像元件的攝像面。
9.根據權利要求8所述的攝像裝置，其中， 具備第一圖像生成單元，該第一圖像生成單元對從在上述斜右上方向或斜右下方向上相互相鄰且配置於同色的上述濾色器的下方的上述第一組像素和第二組像素分別輸出的輸出信號進行加算而生成圖像。
10.根據權利要求8或9所述的攝像裝置，其中， 具備第二圖像生成單元，該第二圖像生成單元基於來自上述第一組像素的輸出信號和來自上述第二組像素的輸出信號，生成具有比上述第一組像素和第二組像素各自的像素數大的像素數的圖像。
11.根據權利要求8~10中任一項所述的攝像裝置，其中， 具備: 電荷蓄積時間調整單元，使上述第二組像素的電荷蓄積時間短於上述第一組像素的電荷蓄積時間；及 第三圖像生成單元，基於由來自上述第一組像素的輸出信號構成的圖像和由來自上述第二組像素的輸出信號構成的圖像，生成動態範圍擴展的圖像。
12.—種攝像裝置，具備: 權利要求2或3所述的彩色攝像元件； 攝影光學系統，使被攝體光成像於上述彩色攝像元件的攝像面；及第四圖像生成單元，生成包含由來自上述第一組像素的輸出信號構成的第一圖像和由來自上述第二組像素的輸出信號構成的第二圖像的視差圖像。
13.一種攝 像裝置，具備: 權利要求4~7中任一項所述的彩色攝像元件； 攝影光學系統，使被攝體光成像於上述彩色攝像元件的攝像面；及第三圖像生成單元，基於由來自上述第一組像素的輸出信號構成的圖像和由來自上述第二組像素的輸出信號構成的圖像，生成動態範圍擴展的圖像。
【文檔編號】H04N9/07GK104025580SQ201280065014
【公開日】2014年9月3日 申請日期:2012年12月27日 優先權日:2011年12月27日
【發明者】田中誠二, 河合智行, 林健吉 申請人:富士膠片株式會社