單眼立體攝像裝置、單眼立體攝像裝置用陰影校正方法及單眼立體攝像裝置用程序的製作方法

2023-05-29 22:41:46

專利名稱：單眼立體攝像裝置、單眼立體攝像裝置用陰影校正方法及單眼立體攝像裝置用程序的製作方法
技術領域：
本發明涉及單眼立體攝像裝置、單眼立體攝像裝置用陰影校正方法及單眼立體攝像裝置用程序，特別地，涉及使穿過拍攝透鏡左右方向的不同區域的被攝體像分別在攝像元件上成像，獲取左眼用圖像及右眼用圖像的技術。
背景技術：
在專利文獻I中公示了在從各攝像元件獲取右眼用圖像和左眼用圖像而生成立體圖像的情況下，對右眼用圖像和左眼用圖像中的至少一個進行陰影校正的技術。在專利文獻2中公示了一種立體攝像元件，其通過在構成I個攝像元件的各光電二極體上設置微透鏡，並使微透鏡的位置與對應光電二極體的位置相互錯開，而分成A組像素和B組像素。專利文獻1:日本特開2008 - 270937號公報專利文獻2:日本特開2007 - 279512號公報

發明內容
但是，專利文獻I中記載的發明是以具有多個拍攝光學系統的多眼照相機為前提，不能應用於下述單眼3D照相機(單眼立體攝像裝置)，該單眼3D照相機通過使用單一的拍攝透鏡(拍攝光學系統)，將穿過單一拍攝透鏡的光束分離為多條光束，使各條光束在單一攝像元件上成像(光瞳分割)，而拍攝立體觀看圖像(以下稱為光瞳分割方式)。另外，在專利文獻I中並未記載關於陰影校正的詳細內容。在專利文獻2記載的發明中，記載了在由A組像素得到的拍攝圖像和由B組像素得到的拍攝圖像中具有不同的陰影特性的情況。圖31是具有A組像素和B組像素的攝像元件的示意圖，圖3IA是攝像元件整體圖，圖31B是A組像素，圖31C是B組像素。在單眼3D照相機中，在光電二極體的前表面配置有微透鏡，從而設計為能夠根據微透鏡的位置、形狀等得到A組像素、B組像素(即視差)。在單眼3D照相機中，與通常的2D照相機同樣地，使得攝像元件的中心與光學透鏡的中心大致一致。因此，首先需要對陰影特性進行校正(以下稱為通常的陰影校正)，該陰影特性是指隨著遠離拍攝透鏡中心部(即，攝像元件中心部M)，相對於中心部附近的攝像信號電平，攝像元件周邊部(U、D、R、L)的信號電平降低。該通常的陰影校正還包含例如對攝像元件各像素的波動的校正。此外，在圖31B所示的主像素組、圖31C所示的副像素組中，與中心部Ml、M2相比較，各像素在周緣部(Ul、Dl、R1、L1、U2、D2、R2、L2)處的受光量均減小。特別地，在圖3IB所示的主像素組中，在光瞳分割方向(左右方向)上，與圖中的左端側相比，右端側的受光量減小。另外，在圖31C所示的副像素組中，在光瞳分割方向(左右方向)上，與圖中的右端側相比，左端側的受光量減小。例如，如果將Ml、M2的受光量設為100，則上下方向上的U1、D1、U2、D2的受光量約為30，與此相對，在主像素組中，LI的受光量約為40、Rl的受光量約為20。與其相對，在副像素組中，R2的受光量約為40，L2的受光量約為20。S卩，發生由光瞳分割方向引起的陰影特性。使用圖32對其理由進行說明。如圖32所示，在單眼3D照相機中，穿過攝像透鏡L的光束通過出射到對應於各微透鏡(Lm、Lc等)而分割配置的光電二極體(PDma.PDmb,PDca.PDcb等)上，從而得到多個視點圖像。利用該結構，在以攝像透鏡L的光軸IO為中心的攝像元件的受光面的中心部Rl處，由於光束以微透鏡的光軸中心為基準在X方向(左右方向)上均勻地入射，因此，在光電二極體(PDca,PDcb )之間，輸出均勻的明亮度信號。但是，在攝像元件的受光面的周緣部R2、R3處，光束在X方向(左右方向)上不均勻地入射，因此，會在光電二極體(PDma、PDmb)之間輸出不均勻的明亮度信號。即，在攝像元件的受光面的光瞳分割方向X上的周緣部處，多個視點圖像之間的明亮度不均勻。這種受光量沿著光瞳分割方向變化的單眼3D照相機所特有的陰影特性，使用通常的陰影校正方法無法校正。此外，專利文獻2記載的發明是通過使微透鏡的位置錯開而抑制陰影的技術，並沒有記載與用於消除陰影的圖像處理相關的技術。本發明就是鑑於上述情況而提出的，其目的在於提供一種能夠通過簡單的方法對單眼立體攝像裝置所特有的陰影特性進行校正的單眼立體攝像裝置、單眼立體攝像裝置用陰影校正方法及單眼立體攝像裝置用程序。為了實現上述目的，本發明的單眼立體攝像裝置的特徵在於，具有:單一的拍攝光學系統；光瞳分割單元，其將穿過拍攝光學系統的光束分割為多條光束；單一的攝像元件，其由分別對多條光束受光的多個像素組構成 』第I陰影校正單元，其使用2維校正表格，對從單一攝像元件輸出的攝像信號整體進行陰影校正，該2維校正表格是在左右上下方向上，將對至少由拍攝光學系統引起的陰影`進行校正用的校正值排列而成；以及第2陰影校正單元，其使用I維校正表格，分別對通過多個像素組輸出的攝像信號進行陰影校正，該I維校正表格是在由光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上，將陰影校正用的校正值排列而成。根據該單眼立體攝像裝置，使用2維校正表格，對從單一攝像元件輸出的攝像信號整體進行陰影校正，並且使用I維校正表格，分別對通過多個像素組輸出的攝像信號進行陰影校正，該2維校正表格是在左右上下方向上，將對至少由拍攝光學系統引起的陰影進行校正用的校正值排列而成，該I維校正表格是在由光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上將陰影校正用的校正值排列而成。由此，能夠對隨著從中心部遠離而信號電平降低的陰影特性進行校正，並且能夠對受光量沿著光瞳分割方向變化的這種單眼立體攝像裝置特有的陰影特性進行校正。另外，在本發明的單眼立體攝像裝置中，優選第2陰影校正單元使用同一個I維校正表格對多個像素組進行陰影校正。根據該單眼立體攝像裝置，使用同一個I維校正表格對多個像素組進行陰影校正。由此，能夠防止存儲器容量、計算量及電路規模增大，從而節約電路規模和存儲器等。另外，在本發明的單眼立體攝像裝置中，優選攝像元件具有分別對多條光束受光的第I像素組和第2像素組，第2陰影校正單元具有以下單元:將第I像素組的規定列的任意位置的像素選擇作為第I像素，並將第2像素組的規定列的位於與第I像素相對應位置的像素選擇作為第2像素的單元；從I維校正表格中讀取與第I像素位置相對應位置的校正值，作為針對第I像素的校正值的單元；讀取I維校正表格中位於與針對第I像素的校正值左右對稱位置的校正值，作為針對第2像素的校正值的單元；以及基於第I像素的像素值和針對第I像素的校正值，對第I像素進行陰影校正，並基於第2像素的像素值和針對第2像素的校正值，對第2像素進行陰影校正的單元。根據該單眼立體攝像裝置，將第I像素組的規定列的任意位置的像素選擇作為第I像素，從I維校正表格中讀取與第I像素位置相對應位置的校正值，作為針對第I像素的校正值，基於第I像素的像素值和針對第I像素的校正值而對第I像素進行陰影校正。另夕卜，選擇第2像素組的規定列的位於與第I像素相對應位置的像素作為第2像素，讀取I維校正表格中位於與針對第I像素的校正值左右對稱位置的校正值，作為對第2像素的校正值，基於第2像素的像素值和針對第2像素的校正值，對第2像素進行陰影校正。由此，能夠使用I個I維校正表格，對具有左右對稱的陰影特性的主像素、副像素分別進行陰影校正。另外，在本發明的單眼立體攝像裝置中，優選攝像元件具有分別對多條光束受光的第I像素組和第2像素組，第2陰影校正單元具有以下單元:將第I像素組的規定列的任意位置的像素選擇作為第I像素，並從第2像素組的規定列選擇位於與第I像素左右對稱位置的像素作為第2像素的單元；從I維校正表格中讀取位於與第I像素的位置相對應位置的校正值的單元；以及基於第I像素的像素值和位於與第I像素的位置相對應位置的校正值，對第I像素進行陰影校正，並基於第2像素的像素值和位於與第I像素的位置相對應位置的校正值而對第2像素進行陰影校正的單元。根據該單眼立體攝像裝置，將第I像素組的規定列的任意位置的像素選擇作為第I像素，從I維校正表格中讀取位於與第I像素的位置相對應位置的校正值，基於第I像素的像素值和位於與第I像素的位置相對應位置的校正值而對第I像素進行陰影校正。另外，從第2像素組的規定列選擇位於與第I像素左右對稱位置的像素作為第2像素，從I維校正表格中讀取位於與第I像素的位置相對應位置的校正值，基於第I像素的像素值和位於與第I像素的位置相對應位置的校正值而對第I像素進行陰影校正。由此，能夠使用I個I維校正表格，對具有左右對稱的陰影特性的主像素、副像素分別進行陰影校正。另外，在本發明的單眼立體攝像裝置中，優選拍攝光學系統具有變焦透鏡，並具有根據變焦透鏡的位置獲取焦距的焦距獲取單元，第2陰影校正單元對應於焦距而存儲多個I維校正表格，使用與由焦距獲取單元獲取的焦距相對應的I維校正表格進行陰影校正。根據該單眼立體攝像裝置，基於焦距，從多個I維校正表格中選用適當的I維校正表格進行陰影校正。由此，能夠進行與焦距相對應的適當的陰影校正。另外，在本發明的單眼立體攝像裝置中，優選拍攝光學系統具有使光圈值變化的光圈，第2陰影校正單元對應於光圈的光圈值而存儲多個I維校正表格，使用與光圈的當前光圈值相對應的I維校正表格進行陰影校正。根據該單眼立體攝像裝置，基於光圈的光圈值，從多個I維校正表格中選用適當的I維校正表格進行陰影校正。由此，能夠進行與光圈值相對應的適當的陰影校正。另外，在本發明的單眼立體攝像裝置中，優選第2陰影校正單元存儲有R、G、B各顏色的I維校正表格，在從多個像素組中選擇的像素(以下稱為所選像素)的像素色為R的情況下，使用R色用的I維校正表格，在所選像素的像素色為G的情況下，使用G色用的I維校正表格，在所選像素的像素色為B的情況下，使用B色用的I維校正表格，而進行陰影校正。根據該單眼立體攝像裝置，在從多個像素組中選擇的像素的像素色為R的情況下，使用R色用的I維校正表格，在所選像素的像素色為G的情況下，使用G色用的I維校正表格，在所選像素的像素色為B的情況下，使用B色用的I維校正表格，而進行陰影校正。由此，即使在RGB而陰影特性不同的情況下，特別是對於G像素，也能夠進行適當的陰影校正。另外，在本發明的單眼立體攝像裝置中，優選作為G色用的I維校正表格，第2陰影校正單元存儲RGRG…排列的水平線(以下稱為GR線)的G像素即Gr色用的I維校正表格、和GBGB排列的水平線(以下稱為GB線)的G像素即Gb色用的I維校正表格，在所選像素的像素色是從GR線讀取的G像素的情況下，使用Gr色用的I維校正表格，在所選像素的像素色是從GB線讀取的G像素的情況下，使用Gb色用的I維校正表格，而進行陰影校正。根據該單眼立體攝像裝置，在從多個像素組選擇的像素是從GR線讀取的G像素的情況下，使用Gr色用的I維校正表格，在所選像素是從GB線讀取的G像素的情況下，使用Gb色用的I維校正表格，而進行陰影校正。由此，即使在由於RGB而陰影特性不同的情況下，特別是對於G像素，也能夠進行更加適當的陰影校正。另外，在本發明的單眼立體攝像裝置中，優選具有對攝像元件的方向進行檢測的方向檢測單元，第2陰影校正單元存儲攝像元件為橫向的情況下的I維校正表格、和攝像元件為縱向的情況下的I維校正表格，基於通過方向檢測單元檢測到的攝像元件的方向，使用I維校正表格進行陰影校正。根據該單眼立體攝像裝置，檢測攝像元件的方向，使用基於攝像元件的方向的I維校正表格進行陰影校正。由此，不僅是水平方向存在視差的立體觀看圖像的情況，即使在垂直方向存在視差的立體觀看圖像的`情況下，也能夠進行適當的陰影校正。此外，為了實現上述目的，本發明的單眼立體攝像裝置用陰影校正方法的特徵在於，具有以下步驟:獲取來自分別對多條光束受光的多個像素組的輸出信號，該多條光束通過光瞳分割單元對穿過單一拍攝光學系統的光束進行光瞳分割而得到；以及對來自多個像素組的輸出信號進行陰影校正，即，使用I維校正表格，對分別從多個像素組輸出的輸出信號分別進行陰影校正，使用2維校正表格，對從多個像素組輸出的輸出信號整體進行陰影校正，該I維校正表格是在由光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上，將陰影校正用的校正值排列而成，該2維校正表格是在左右上下方向上，將對至少由拍攝光學系統引起的陰影進行校正用的校正值排列而成。此外，為了實現上述目的，本發明的單眼立體攝像裝置用程序的特徵在於，使運算裝置執行以下步驟:獲取來自分別對多條光束受光的多個像素組的輸出信號，該多條光束通過光瞳分割單元對穿過單一拍攝光學系統的光束進行光瞳分割而得到；以及對來自多個像素組的輸出信號進行陰影校正，即，使用I維校正表格，對分別從多個像素組輸出的輸出信號分別進行陰影校正，使用2維校正表格，對從多個像素組輸出的輸出信號整體進行陰影校正，該I維校正表格是在由光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上，將陰影校正用的校正值排列而成，該2維校正表格是在左右上下方向上，將對至少由拍攝光學系統引起的陰影進行校正用的校正值排列而成。發明的效果根據本發明，能夠通過簡單的方法對單眼立體攝像裝置特有的陰影特性進行校正。


圖1是本發明的第I實施方式涉及的單眼立體攝像裝置I的正面斜視圖。圖2是單眼立體攝像裝置I的後視圖。圖3是表示單眼立體攝像裝置I的相位差CXD的結構例的圖。圖4是表示拍攝透鏡、光圈及相位差CXD的主、副像素各自的I個像素的圖。圖5是圖4的局部放大圖，圖5A是無光瞳分割的情況，圖5B、圖5C分別是有光瞳分割的情況。圖6A至圖6C分別是表示由焦點靠前、合焦(最佳焦距)、及焦點靠後的差異引起的在攝像元件上所成的像的分離狀態的圖。圖7是單眼立體攝像裝置I內部的框圖。圖8是單眼立體攝像裝置I的SD校正部的框圖。圖9是用於通常的陰影校正的2維校正表格的例子。圖10是用於單眼立體攝像裝置I特有的陰影校正的I維校正表格的例子。圖11是單眼立體攝像裝置I的陰影校正處理的流程圖。圖12是單眼立體攝像裝置2的SD校正部的框圖。圖13是單眼立體攝像裝置2的陰影校正處理的流程圖。圖14是對單眼立體攝像裝置2的陰影校正進行說明的圖，圖14A表示從主像素選擇的任意像素，圖14B表示從I維校正表格中讀取主像素用的校正值，圖14C表示從I維校正表格中讀取副像素用的校正值。圖15是單眼立體攝像裝置3的SD校正部的框圖。圖16是對單眼立體攝像裝置3的陰影校正進行說明的圖，圖16A表示主像素的任意像素的選擇方法，圖16B表示副像素的任意像素的選擇方法。圖17是單眼立體攝像裝置3的陰影校正處理的流程圖。圖18是單眼立體攝像裝置4的SD校正部的框圖。圖19是單眼立體攝像裝置4的陰影校正處理的流程圖。圖20是單眼立體攝像裝置5的SD校正部的框圖。圖21是單眼立體攝像裝置5的陰影校正處理的流程圖。圖22是單眼立體攝像裝置6的SD校正部的框圖。圖23是單眼立體攝像裝置6的陰影校正處理的流程圖。圖24是表示單眼立體攝像裝置7的相位差CXD的結構例的圖。圖25是對單眼立體攝像裝置7的相位差CXD的主像素、副像素進行說明的圖。圖26是單眼立體攝像裝置7的SD校正部的框圖。圖27是單眼立體攝像裝置7的陰影校正處理的流程圖。圖28是表示具有4個像素I個微透鏡的CXD的各個面的陰影特性的圖。
圖29是表示9個像素I個微透鏡的結構例的圖。圖30是表示具有9個像素I個微透鏡的CXD的各個面的陰影特性的圖。圖31是對單眼立體攝像裝置特有的陰影特性進行說明的圖。圖32是對單眼立體攝像裝置特有的陰影特性進行說明的圖。
具體實施例方式下面，按照附圖對本發明涉及的單眼立體攝像裝置的實施方式進行說明。[攝像裝置的整體結構]圖1是表示本發明涉及的第I實施方式的攝像裝置的單眼立體攝像裝置I的一個實施方式的斜視圖。圖2是表示上述單眼立體攝像裝置I的一個實施方式的後視圖。該單眼立體攝像裝置I是數位相機，其由攝像元件對穿過透鏡的光受光，變換為數位訊號並記錄在記錄介質中。單眼立體攝像裝置I的相機機體10形成為橫向較長的四邊箱狀，如圖1所示，在其正面配置透鏡單元12、閃光燈21等。另外，在相機機體10的上表面配置快門按鈕22、電源/模式開關24、模式旋鈕26等。另一方面，如圖2所示，在相機機體10的背面配置液晶監視器28、變焦按鈕30、十字鍵32、MENU/ΟΚ按鈕34、再生按鈕36、BACK按鈕38等。此外，在未圖示的相機機體10的下表面設有三腳架螺紋孔、具有可自由開閉的蓋部的電池插入部和存儲卡插槽。在該電池插入部和存儲卡插槽中裝入電池和存儲卡。透鏡單元12由伸縮式變焦透鏡構成，通過利用電源/模式開關24將照相機模式設定為拍攝模式，透鏡單元12從相機機體10伸出。此外，關於透鏡單元12的變焦機構或伸縮機構，由於是公知的技術，因此此處省略關於其具體結構的說明。閃光燈21向主要被攝體照射閃光。快門按鈕22由所謂的「半按」和「全按」組成的2段式開關構成。單眼立體攝像裝置I在拍攝模式下驅動時，通過「半按」該快門按鈕22而進行AE/AF動作，通過「全按」而執行拍攝。另外，單眼立體攝像裝置I在投影模式下驅動時，通過「全按」該快門按鈕22而執行投影。電源/模式開關24具有將單眼立體攝像裝置I的電源接通/斷開的作為電源開關的功能和設定單眼立體攝像裝置I的模式的作為模式開關的功能，配置為在「OFF位置」、「再生位置」和「拍攝位置」之間自由滑動。單眼立體攝像裝置I通過使電源/模式開關24滑動至「再生位置」或「拍攝位置」而將電源接通，通過滑動至「OFF位置」而將電源斷開。並且，通過使電源/模式開關24滑動至「再生位置」而設定為「再生模式」，通過滑動至「拍攝模式」而設定為「拍攝模式」。模式旋鈕26作為設定單眼立體攝像裝置I的拍攝模式的拍攝模式設定單元起作用，可以根據該模式旋鈕的設定位置，將單眼立體攝像裝置I的拍攝模式設定為多種模式。例如，進行平面圖像拍攝的「平面圖像拍攝模式」、進行立體觀看圖像(3D圖像)拍攝的「立體觀看圖像拍攝模式」、進行動畫拍攝的「動畫拍攝模式」、進行全景立體拍攝的「全景立體拍攝模式」等。液晶監視器28是立體顯示單元，其可以通過視差屏障將左眼用圖像及右眼用圖像分別顯示為具有規定指向性的立體觀看圖像。在立體觀看圖像被輸入至液晶監視器28的情況下，在液晶監視器28的視差屏障顯示層產生由透光部與遮光部以規定間距交互排列而成的圖案組成的視差屏障，並且，表示左右圖像的短柵狀的圖像片段交互排列而顯示在其下層的圖像顯示面上。在作為平面圖像或使用者界面顯示面板使用的情況下，視差屏障顯示層無任何顯示，而在其下層的圖像顯示面上直接顯示I張圖像。此外，液晶監視器28的方式並不限定於此，只要是可識別地將立體觀看圖像顯示為立體圖像的結構即可，可以使用雙凸透鏡的單元，或通過配戴偏光眼鏡、液晶快門眼鏡等專用眼鏡而單獨觀看左眼用圖像和右眼用圖像的單元。此外，也可以取代液晶監視器而使用有機EL監視器等。變焦按鈕30作為指示變焦的變焦指示單元起作用，由指示向望遠側變焦的遠攝變焦按鈕30T和指示向廣角側變焦的廣角變焦按鈕30W構成。單眼立體攝像裝置I在拍攝模式時，通過對該遠攝變焦按鈕30T和廣角變焦按鈕30W進行操作，使透鏡單元12的焦距變化。另外，在再生模式時，通過對該遠攝變焦按鈕30T和廣角變焦按鈕30W進行操作，將再生中的圖像放大、縮小。十字鍵32是輸入上下左右4個方向的指示的操作部，作為從菜單畫面選擇項目或從各菜單指示各種設定項目選擇的按鈕(光標移動操作單元)起作用。左/右鍵作為再生模式時的場景進給(正/反方向進給)按鈕起作用。MENU/ΟΚ按鈕34是操作鍵，兼有用於指示在液晶監視器28的畫面上顯示菜單的作為菜單按鈕的功能、和指示選擇內容確定及執行等的作為OK按鈕的功能。再生按鈕36是用於切換為將拍攝記錄的立體觀看圖像(3D圖像)、平面圖像(2D圖像)的靜止圖像或動畫顯示在液晶監視器28上的再生模式的按鈕。BACK按鈕38作為指示取消輸入操作或返回前一個操作狀態的按鈕起作用。[拍攝光 學系統、攝像元件的結構例]透鏡單元12主要由拍攝透鏡14、光圈16、作為相位差圖像傳感器的固體攝像元件(以下稱為「相位差CXD」)17構成。拍攝透鏡14是由包含聚焦透鏡、變焦透鏡的多個透鏡構成的攝像光學系統。光圈16例如由5片光圈葉片構成，例如，從光圈值F2.8至F11，對於IAV刻度，以5級進行光圈控制。在拍攝模式時，表示被攝體的圖像光線經由拍攝透鏡14、光圈16而在相位差(XD17的受光面上成像。圖3是表示相位差(XD17的結構例的圖。相位差(XD17具有分別以矩陣狀排列的奇數線的像素(主像素，也稱為A面像素)和偶數線的像素(副像素，也稱為B面像素)，由這些主、副像素分別進行光電轉換而得到的2個面的圖像信號可以獨立讀取。如圖3所示，在相位差(XD17的奇數線(1、3、5、…)中，交互設置具有R (紅)、G(綠)、B (青)的彩色濾光片的像素中的GRGR...像素排列的線和BGBG...像素排列的線，另一方面，偶數線(2、4、6、...)的像素與奇數線同樣地，交互設置GRGR...像素排列的線和BGBG...像素排列的線，並且，奇數線與偶數線的像素在線方向上偏離2分之I間距而配置。圖4是表示拍攝透鏡14及相位差(XD17的主、副像素的各I個像素的圖，圖5是圖4的要部放大圖。在相位差(XD17的主像素的前面側(微透鏡ML側)配置遮光部件17A，在副像素的前面側配置遮光部件17B。遮光部件17A、17B具有作為光瞳分割部件的功能。如圖5A所示，穿過射出瞳的光束，經由微透鏡ML無限制地入射到通常的C⑶像素(光電二極體PD)上。如圖5B所示，遮光部件17A遮擋主像素(光電二極體H))的受光面的右半部分。因此，在主像素上，僅對穿過射出瞳的光束的光軸左側受光。另外，如圖5C所示，遮光部件17B遮擋副像素(光電二極體ro)的受光面的左半部分。因此，在副像素上，僅對穿過射出瞳的光束的光軸右側受光。由此，通過作為光瞳分割單元的遮光部件17A、17B，將穿過射出瞳的光束左右分割。對於通過按照上述方式在相位差(XD17的主像素上僅對穿過射出瞳的光束的光軸左側受光，而在副像素上僅對穿過射出瞳的光束的光軸右側受光，從而利用相位差CCD17拍攝立體觀看圖像的原理進行說明。圖6A至6C是表示由於聚焦透鏡分別為焦點靠前、合焦(最佳焦距)及焦點靠後的差異，所引起的攝像元件上所成的像的分離狀態的圖。另外，在圖6A至圖6C中，為了對由焦距引起的分離的差異進行比較而省略光圈16。如圖6B所示，光瞳分割的像中合焦的像，成像在攝像元件上的同一個位置(一致)，但如圖6A及6C所示，焦點靠前及焦點靠後的像成像在攝像元件上不同的位置(分離)。因此，通過經由相位差(XD17獲取在左右方向上進行光瞳分割的被攝體像，從而可以對應於焦點位置獲取視差不同的左眼用圖像及右眼用圖像(立體觀看圖像)。即，合焦位置的視差為0，3D再生像的位置(虛像的位置)與顯示面一致。隨著使合焦位置向裡側移動，視差為O的位置向裡側偏移，從而顯示面上的被攝體看上去像是從顯示面凸出。反之，隨著使合焦位置向前側移動，視差為O的位置向前偏移，從而顯示面上的被攝體看上去像是從顯示面向裡側移動。另外，上述結構的相位差(XD17構成為，對於主像素和副像素，由遮光部件17A、17B限制光束的區域(右半部分、左半部分)不同，但並不限定於此，也可以不設置遮光部件17A、17B，使微透鏡ML和光電二極體H)相對地在左右方向上偏離，根據其偏離方向限制入射到光電二極體H)上的光束，另外，也可以通過相對於2個像素(主像素和副像素)設置I個微透鏡而限制入射到各像素的光束。[攝像裝置的內部結構]圖7是本發明的第I實施方式涉及的單眼立體攝像裝置I的框圖。該單眼立體攝像裝置I將攝像得到的圖像記錄在記錄介質54中，裝置整體的動作由中央處理裝置(CPU)40集中控制。單眼立體攝像裝置I設有快門按鈕、模式旋鈕、再生按鈕、MENU/ΟΚ鍵、十字鍵、BACK鍵等操作部48。來自該操作部48的信號被輸入CPU40，CPU40基於輸入信號對單眼立體攝像裝置I的各個電路進行控制，例如，進行透鏡驅動控制、光圈驅動控制、拍攝動作控制、圖像處理控制、圖像數據的記錄/再生控制、立體顯示用的液晶監視器28的顯示控制
坐寸ο如果通過電源/模式開關24將單眼立體攝像裝置I的電源接通，則從電源部58向各個模塊供電，開始單眼立體攝像裝置I的驅動。穿過拍攝透鏡14、光圈16等的光束在相位差(XD17上成像，在相位差(XD17中蓄積信號電荷。蓄積在相位差CCD17中的信號電荷基於從時序產生器45施加的讀取信號，作為對應於信號電荷的電壓信號被讀取。從相位差CCD17讀取的電壓信號被輸入至模擬信號處理部60。模擬信號處理部60對於從相位差(XD17輸出的電壓信號，通過相關雙米樣處理(以減少攝像元件的輸出信號中包含的噪聲(特別是熱噪聲)等為目的，通過求出攝像元件的每I個像素的輸出信號中包含的饋通成分電平與像素信號成分電平之差而得到正確的像素數據的處理)，對各像素的R、G、B信號進行採樣保持，在放大後輸出至A/D變換器61。A/D變換器61將依次輸入的R、G、B信號變換為數字R、G、B信號，輸出至圖像輸入控制器62。數位訊號處理部63對於經由圖像輸入控制器62輸入的數字圖像信號，進行補償處理、包含白平衡校正及感光度校正在內的增益控制處理、Y校正處理、YC處理等規定的信號處理。在這裡，從相位差(XD17的奇數線的主像素讀取的主像素數據，作為左眼用圖像數據處理，從偶數線的副像素讀取的副像素數據，作為右眼用圖像數據處理。由數位訊號處理部63處理後的左眼用圖像數據及右眼用圖像數據(3D圖像數據)被輸入VRAM50。在VRAM50中包含分別對表示I個場景的3D圖像的3D圖像數據進行記錄的A區域和B區域。在VRAM50中，在A區域和B區域交互地刷新用於表示I個場景的3D圖像的3D圖像數據。從VRAM50的A區域及B區域中的除了進行3D圖像數據刷新的一個區域之外的區域，讀取所寫入的3D圖像數據。從VRAM50讀取的3D圖像數據，由3D圖像信號處理部64加工成短柵狀的圖像片段，在視頻編碼器66中進行編碼，輸出至設置於照相機背面的立體顯示用的液晶監視器28，由此，將3D被攝體像連續地顯示在液晶監視器28的顯示畫面上。如果對操作部48的快門按鈕22進行第I階段的按下(半按)，則(XD40進行控制，開始AF動作及AE動作,經由透鏡驅動部47,使聚焦透鏡在光軸方向上移動,從而使得聚焦透鏡到達合焦位置。AF處理部42是進行對比度AF處理或相位差AF處理的部分。在進行對比度AF處理的情況下，提取左眼用圖像數據及右眼用圖像數據的至少一個圖像數據中的規定聚焦區域內的圖像數據的高頻成分，通過對該高頻成分進行積分，計算表示合焦狀態的AF評價值。通過對拍攝透鏡14內的聚焦透鏡進行控制而進行AF控制，以使得該AF評價值成為極大。另外，在進行相位差AF處理的情況下，檢測左眼用圖像數據及右眼用圖像數據中的規定聚焦區域內的主像素、副像素所對應的圖像數據的相位差，基於表示該相位差的信息，求出散焦量。通過對拍攝透鏡14內的聚焦透鏡進行控制而進行AF控制，使得該散焦量變為O0CPU40對應於需要而經由透鏡驅動部47使變焦透鏡在光軸方向進行進退動作，從而使焦距變更。另外，在半按快門按鈕22時，從A/D變換器61輸出的圖像數據被輸入AE/AWB檢測部44。在AE/AWB檢測部44中，對圖像整體的G信號進行積分，或對在畫面中央和周邊部進行不同加權的G信號進行積分，將該積分值輸出至CPU40。CPU40根據從AE/AWB檢測部44輸入的積分值計算被攝體的亮度(拍攝Ev值)，基於該拍攝Ev值，按照規定的程序框圖確定光圈16的光圈值及相位差CCD17的電子快門(快門速度)，基於該確定的光圈值經由光圈驅動部46對光圈16進行控制，並且，基於所確定的快門速度經由時序產生器45對相位差CCD17中的電荷蓄積時間進行控制。如果AE動作及AF動作結束，並且進行快門按鈕22的第2階段按下(全按)，則響應該按下，從A/D變換器61輸出的與主像素及副像素相對應的左眼用圖像(主圖像)及右眼用圖像(副圖像)這2張圖像的圖像數據，從圖像輸入控制器62輸入至VRAM50並暫時存儲。暫時存儲在VRAM50中的2張圖像的圖像數據通過數位訊號處理部63適當地讀取，在這裡，進行包含圖像數據的亮度數據及色差數據的生成處理(YC處理)在內的規定的信號處理。YC處理後的圖像數據(YC數據)重新記錄在VRAM50中。然後，2張圖像的YC數據分別被輸出至壓縮展開處理部65,執行JPEG (joint photographic experts group)等規定的壓縮處理，然後，重新記錄在VRAM50中。根據記錄在VRAM50中的2張圖像的YC數據(壓縮數據)，在3D圖像信號處理部64中生成多圖像文件(MP文件:多個圖像相連的形式的文件)，該MP文件通過介質控制器52讀取，記錄在記錄介質54中。此外，不僅是在快門按鈕22第I段按下(半按)的情況下，在連續地拍攝右眼用圖像數據、左眼用圖像數據的情況下，也進行AF動作。所謂連續拍攝右眼用圖像數據、左眼用圖像數據的情況，例如，可以列舉拍攝實時取景圖像(鏡頭取景)的情況或拍攝動畫的情況。在這種情況下，AF處理部42在連續地拍攝右眼用圖像數據、左眼用圖像數據的期間內，始終重複進行AF評價值運算，並連續進行對聚焦透鏡位置進行控制的連續AF。在這種情況下，對應於聚焦透鏡位置的移動，連續地顯示在液晶監視器28的顯示畫面上的右眼用圖像、左眼用圖像的視差量發生變化。在本實施方式中，作為陰影校正單元，具有陰影(SD)校正部67，其對通過全按快門按鈕22而從主像素、副像素輸出的信號進行陰影校正。SD校正部67進行2種陰影校正，即，通常的陰影校正和單眼立體攝像裝置I特有的陰影校正。2維陰影(SD)校正部67B (第I陰影校正單元)是對在拍攝透鏡的中心和端部光量不同這一由拍攝光學系統引起的陰影、及由相位差CCD17的像素的波動引起的陰影等進行校正的部分，即，進行通常的陰影校正，該2維陰影校正部67B存儲有一個2維校正表格(參照圖9)，該2維校正表格是在左右上下方向上2維地排列校正值。該2維校正表格例如是將基於中心部的受光量較大而周邊部的受光量較小的陰影曲線的曲率倒數而求出的增益(即，從中心向外側變大的增益)即校正值2維排列而成的表格。2維SD校正部67B使用該2維校正表格，對相位差(XD17整體進行陰影校正。此外，2維SD校正部67B進行的處理是公知的，因此省略說明。I維陰影(SD)校正部67A (第2陰影校正單元)是對由光瞳分割方向(在本實施方式中是左右方向)引起而在主像素和副像素中為相反的陰影特性進行校正的部分，如圖8所示，主要由坐標運算部67 - 1、焦距獲取部67 - 2 (焦距獲取單元)、表格選擇控制部67 —
3、表格選擇部67 - 4、I維校正表格存儲部67 - 5、陰影(SD)係數運算部67 — 6、陰影(SD)校正部67 — 7構成。在I維校正表格存儲部67 - 5中，存儲有主像素用的I維校正表格和副像素用的I維校正表格。在單眼立體攝像裝置I中，由於因微透鏡ML的形狀或位置而在左右方向上產生單眼立體攝像裝置特有的陰影，因此能夠僅使用I維校正表格(參照圖10)進行校正。另外，在I維校正表格存儲部67 - 5中，對應於焦距分別存儲有多個主像素用的I維校正表格及副像素用的I維校正表格。在單眼立體攝像裝置I中，如果使焦距變化，則光束入射到相位差CCD17的各光電二極體上的入射角不同，因此，左右方向的陰影形狀變化很大。因此，通過對應於焦距而從存儲在I維校正表格存儲部67 — 5中的I維校正表格中選擇適當的校正表格，從而能夠應對因焦距而不同的陰影特性。焦距獲取部67 - 2根據變焦透鏡的位置求出焦距，表格選擇控制部67 — 3向表格選擇部67 — 4發出指令，以從存儲在I維校正表格存儲部67 — 5中的I維校正表格中選擇與焦距相對應的表格，表格選擇部67 — 4對應於表格選擇控制部67 — 3的指令,從I維校正表格存儲部67 - 5中選擇適當的I維校正表格。坐標運算部67 -1從主像素或副像素中選擇任意像素，將其信息向表格選擇部67 — 4輸出。表格選擇部67 — 4從對應於焦距選擇的I維校正表格中，讀取與由坐標運算部67 — I選擇的像素位置相對應位置的校正值。存儲在I維校正表格存儲部67 — 5中的校正值並不是與全部像素位置相對應的校正值，而是離散地具有校正值。因此，在本實施方式中，表格選擇部67 — 4讀取2個校正值。SD係數運算部67 - 6通過對表格選擇部67 — 4獲取的校正值進行線性插補等，從而計算坐標運算部67 -1所選擇的任意像素的陰影校正係數。SD校正部67 - 7通過將SD係數運算部67 — 6計算出的陰影校正係數與坐標運算部67 — I選擇的任意像素的像素值相乘，從而進行陰影校正。單眼立體攝像裝置I不僅可以得到立體觀看圖像，還可以得到2維圖像。另外，單眼立體攝像裝置I不僅可以記錄/再生動畫、靜態圖像，還可以記錄/再生聲音。麥克風57輸入送話聲音，揚聲器55輸出受話聲音，聲音輸入/輸出電路55對從麥克風輸入的聲音進行編碼及對接收到的聲音進行解碼等。[攝像裝置的動作的說明]下面，對於單眼立體攝像裝置I的動作進行說明。該攝像處理由CPU40控制。用於使CPU40執行該攝像處理的程序記錄在CPU40內的程序存儲部中。如果開始拍攝，則CPU40將拍攝透鏡14、光圈16向初始位置驅動。穿過拍攝透鏡14的被攝體光線經過光圈16而在相位差(XD17的受光面上成像。利用時序產生器45，蓄積在相位差CCD17的主像素及副像素中的信號電荷，作為與信號電荷相對應的電壓信號(圖像信號)而以規定的幀率被依次讀取，並經由模擬信號處理部60、A/D變換器61、圖像輸入控制器62依次輸入數位訊號處理部63，依次生成左眼用圖像數據及右眼用圖像數據。所生成的左眼用圖像數據及右眼用圖像數據依次被輸入VRAM50。 CPU40基於左眼用圖像數據及右眼用圖像數據，經由光圈驅動部46變更光圈16的開口量(F值)。另外，CPU40對應於來自操作部48的輸入，經由透鏡驅動部47進行變焦。拍攝者可以通過觀看實時顯示在該液晶監視器28上的圖像(鏡頭取景圖像)，確認拍攝視場角。如果半按快門按鈕，則SlON信號被輸入至CPU40，CPU40經由AF處理部42及AE/AffB檢測部44實施AE/AF動作。在立體觀看圖像的拍攝處理中，AF處理部42通過相位差AF處理進行AF動作。
如果全按快門按鈕，則S20N信號被輸入至CPU40，CPU40開始拍攝、記錄處理。即，以基於測光結果確定的快門速度、光圈值使相位差CCD17曝光。圖11是表示對分別從相位差(XD17的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。首先，CPU40判斷由單眼立體攝像裝置I拍攝的圖像是否是立體觀看圖像，即，是否從相位差(XD17的主像素、副像素得到2張圖像數據(步驟S10)。在沒有得到立體觀看圖像(例如，主像素和副像素疊加而得到I張2維圖像)的情況下(在步驟SlO中為「否」)，由於由光瞳分割引起的主像素的畫面和副像素的畫面的濃度不均勻(陰影)抵消，因此不進行由I維SD校正部67A進行的陰影校正，而由2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟S16)。在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，焦距獲取部67 - 2獲取焦距(步驟S11)，表格選擇控制部67 - 3向表格選擇部67-4發出指令，以從存儲在I維校正表格存儲部67 — 5中的I維校正表格中選擇與焦距相對應的表格，表格選擇部67 — 4對應於表格選擇控制部67 — 3的指令,從1維校正表格存儲部67 - 5選擇適當的1維校正表格(步驟S12、S13、S14…)。例如，在焦距為A的情況下，獲取焦距為A的情況下的1維校正表格即1維SD校正表格IA (主像素用)及1維SD校正表格2A (副像素用)(步驟S12)，在焦距為B的情況下，獲取焦距為B的情況下的1維校正表格即1維SD校正表格1B (主像素用)及I維SD校正表格2B (副像素用)(步驟S13)，在焦距為C的情況下，獲取焦距為C的情況下的1維校正表格即I維SD校正表格1C(主像素用)及1維SD校正表格2C (副像素用)(步驟S14)。由此，獲取用於陰影校正的I維校正表格。此外，1維SD校正表格1A (主像素用)和I維SD校正表格2A (副像素用)具有左右對稱的校正值，I維SD校正表格IB (主像素用)和I維SD校正表格2B (副像素用)具有左右對稱的校正值，I維SD校正表格IC (主像素用)和1維SD校正表格2C (副像素用)具有左右對稱的校正值。I維SD校正部67A使用獲取的I維校正表格進行陰影校正(步驟S15)。以下對步驟S15具體地進行說明。坐標運算部67 -1從主像素中選擇任意像素，接收到該信息的表格選擇部67 —4從在步驟S12至S14中獲取的1維校正表格中的主像素用表格(1維SD校正表格1A、1維SD校正表格1B、1維SD校正表格1C)中，讀取與由坐標運算部67 — I選擇的像素位置相對應的校正值(步驟S15 — 1)。SD係數運算部67 — 6通過對表格選擇部67 — 4獲取的校正值進行線性插補等，計算坐標運算部67 — I選擇的任意像素的陰影校正係數(步驟S15 -2)。此外，坐標運算部67 -1由以下單元構成:將主像素組的規定列的任意位置的像素選擇作為第I像素，並將副像素組的規定列的位於與第I像素相對應位置的像素選擇作為第2像素的單元；以及從I維校正表格讀取針對第I像素的校正值，即，位於與第I像素的位置相對應位置的校正值的單元。SD校正部67 - 7通過將SD係數運算部67 — 6計算出的陰影校正係數與坐標運算部67 — I選擇的任意像素的像素值相乘，從而進行陰影校正(步驟S15 - 3)。I維SD校正部67A針對主像素的全部像素，重複進行步驟S15 -1至步驟S15 — 3的處理。在對主像素的全部像素進行了陰影校正之後，I維SD校正部67A對副像素進行陰影校正。即，坐標運算部67 -1從副像素中選擇任意像素，接收到該信息的表格選擇部67 一 4從在步驟S12至S14中獲取的I維校正表格中的副像素用表格(I維SD校正表格2A、1維SD校正表格2B、1維SD校正表格2C)中，讀取與由坐標運算部67 — I選擇的像素位置相對應的校正值(步驟S15 - 4)。SD係數運算部67 — 6通過對表格選擇部67 — 4獲取的校正值進行線性插補等，從而計算坐標運算部67 — I選擇的任意像素的陰影校正係數(步驟 S15 - 5)。SD校正部67 - 7通過將SD係數運算部67 — 6計算出的陰影校正係數與坐標運算部67 — I選擇的任意像素的像素值相乘，從而進行陰影校正(步驟S15 - 6)。I維SD校正部67A針對主像素的全部像素，重複進行步驟S15 - 4至步驟S15 — 6的處理。由此，結束單眼立體攝像裝置I特有的陰影校正(步驟S15)。然後，2維SD校正部67B使用2維校正表格，對進行了陰影校正(步驟S15)的數據進行通常的陰影校正(步驟S16)。由此，結束陰影校正。按照上述方式進行了陰影校正的2張圖像數據，經由A/D變換器61、圖像輸入控制器62讀入VRAM50，在3D圖像信號處理部64中變換為亮度/色差信號後，存儲在VRAM50中。存儲在VRAM50中的左眼用圖像數據被輸入壓縮展開處理部65，在以規定的壓縮格式(例如JPEG格式)壓縮後，存儲在VRAM50中。由記錄在VRAM50中的2張壓縮數據生成MP文件，該MP文件經由介質控制器52記錄在記錄介質54中。由此,拍攝並記錄立體觀看圖像。此外，在本實施方式中，以拍攝立體觀看圖像的情況為例進行了說明。單眼立體攝像裝置I可以拍攝平面圖像、立體觀看圖像這兩種。在拍攝平面圖像的情況下，只要僅使用CCD17的主像素進行拍攝即可。關於拍攝處理的詳細過程與拍攝立體觀看圖像的情況相同，因此省略說明。通過使用再生按鈕將單眼立體攝像裝置I的模式設定為再生模式，可以通過液晶監視器28對以上述方式記錄在記錄介質54中的圖像進行再生顯示。如果設定為再生模式，則CPU40將命令輸出至介質控制器52，並讀取最後存儲在記錄介質54中的圖像文件。所讀取的圖像文件的壓縮圖像數據被輸入至壓縮展開處理部65，在展開為非壓縮的亮度/色差信號之後，經由視頻編碼器66輸出至液晶監視器28。圖像的場景進給通過十字鍵的左右鍵操作而進行，如果按下十字鍵的右鍵，則從記錄介質54中讀取下一個圖像文件，並再生顯示在液晶監視器28上。另外，如果按下十字鍵的左鍵，則從記錄介質54中讀取前一個圖像文件，並再生顯示在液晶監視器28上。根據本實施方式，能夠在通常的陰影校正的基礎上，通過簡單的方法對陰影特性沿著光瞳分割方向(左右方向)而不同的單眼立體攝像裝置特有的陰影特性進行校正，所述陰影特性沿著光瞳分割方向而不同是指，在主像素組(第I像素組或第2像素組)中，與左端側相比，右端側的受光量減小，在副像素組(第I像素組或第2像素組)中，與右端側相比，左端側的受光量減小。此外，在本實施方式中，2維SD校正部67B僅存儲有I個2維校正表格，即，沒有存儲與焦距相對應的多個2維校正表格。這是因為，與通常的陰影特性相關的由焦距引起的陰影變化，比與單眼立體攝像裝置特有的陰影特性相關的由焦距引起的陰影的變化小。但是，由於陰影特性也隨著焦距變化，因此，也可以在2維SD校正部67B中存儲與焦距相對應的多個2維校正表格,對應於焦距而改變所使用的2維校正表格。〈第2實施方式〉本發明的第I實施方式存儲有主像素用的I維校正表格和副像素用的I維校正表格，但I維校正表格也可以是主像素和副像素共用的。本發明的第2實施方式是主像素和副像素使用同一個I維校正表格的方式。以下對第2實施方式涉及的單眼立體攝像裝置2進行說明。此外，對於攝像裝置的結構，僅內部結構中的SD校正部不同，其他與第I實施方式相同，因此，對於相同的部分省略說明，而僅對SD校正部進行說明。另外，關於攝像裝置的動作的說明，由於僅陰影校正方法與第I實施方式不同，因此，僅對陰影校正的方法進行說明。[攝像裝置的內部結構]圖12是表示第2實施方式的SD校正部67 — A的圖。SD校正部67 — A主要由進行通常的陰影校正的2維SD校正部67B和進行單眼立體攝像裝置2特有的陰影校正的I維SD校正部67A -1構成。I維SD校正部67A — I是對主像素和副像素中相反的陰影特性進行校正的部分，如圖12所示，主要由坐標運算部67 - 1、焦距獲取部67 - 2、表格選擇控制部67 — 3、表格選擇部67 - 4a、I維校正表格存儲部67 — 5a、陰影(SD)係數運算部67 — 6、陰影(SD)校正部67 — 7構成。在I維校正表格存儲部67 - 5a中，存儲有與焦距相對應的多個I維校正表格。在本實施方式中，對於主像素和副像素使用同一個I維校正表格。

坐標運算部67 -1從主像素中選擇任意像素，將其信息向表格選擇部67 — 4輸出。表格選擇部67 - 4a從對應於焦距而選擇的I維校正表格中，讀取與由坐標運算部67 —I選擇的像素位置相對應位置的校正值。坐標運算部67 -1從副像素中選擇任意像素，將其信息向表格選擇部67 — 4輸出。表格選擇部67 - 4a與選擇主像素的任意像素的情況同樣地，從對應於焦距而選擇的I維校正表格中，確定與由坐標運算部67 -1選擇的像素位置相對應的位置，讀取I維校正表格中與所確定的位置左右對稱位置的校正值。[攝像裝置的動作的說明]圖13是表示對分別從相位差(XD17的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。首先，CPU40判斷由單眼立體攝像裝置I拍攝的圖像是否是立體觀看圖像(步驟S10)。在沒有得到立體觀看圖像的情況下(在步驟SlO中為「否」)，2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟S16)。在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，焦距獲取部67 - 2獲取焦距(步驟S11)，表格選擇控制部67 - 3向表格選擇部67 - 4a發出指令，以從存儲在I維校正表格存儲部67 — 5中的I維校正表格中選擇與焦距相對應的表格，表格選擇部67 — 4a對應於表格選擇控制部67 — 3的指令,從I維校正表格存儲部67 - 5a獲取適當的I維校正表格(步驟S21、S22、S23…)。例如，在焦距為A的情況下，獲取焦距為A的情況下的I維校正表格即I維SD校正表格IA (步驟S21)，在焦距為B的情況下，獲取焦距為B的情況下的I維校正表格即I維SD校正表格IB (步驟S22)，在焦距為C的情況下，獲取焦距為C的情況下的I維校正表格即I維SD校正表格IC(步驟S23)。由此，獲取用於陰影校正的I維校正表格。I維SD校正部67A — I使用獲取的I維校正表格進行陰影校正(步驟S24)。以下對步驟S24具體地進行說明。如圖14A所示，坐標運算部67 — I從主像素(A組像素)及副像素(B組像素)中選擇位於相同位置的任意像素(步驟S24 -1)。任意像素的信息被輸出至表格選擇部67 -4a，表格選擇部67 — 4a如圖14B所示，從在步驟S21至S23中獲取的I維校正表格中，讀取與由坐標運算部67 -1選擇的主像素的像素位置相對應的校正值(步驟S24 - 2)。另外，表格選擇部67 — 4a如圖14C所示，讀取在步驟S21至S23中獲取的I維校正表格中的校正值中的、位於與在步驟S24 - 2中讀取的校正值左右對稱位置的校正值(步驟S24 - 3)。SD係數運算部67 — 6通過對表格選擇部67 — 4a分別在步驟S24 — 2、步驟S24 —3中獲取的校正值進行線性插補等，計算陰影校正係數(步驟S24 - 4)。SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 — 4a在步驟S24 - 2中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的主像素的任意像素的像素值相乘，從而進行陰影校正(步驟S24 - 5)。另外，SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 - 4a在步驟S24 — 3中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的副像素的任意像素的像素值相乘，從而進行陰影校正(步驟S24 — 5)。通過對主像素、副像素的全部像素進行上述陰影校正，從而結束單眼立體攝像裝置I特有的陰影校正(步驟S24)。然後，2維SD校正部67B使用2維校正表格，對進行了陰影校正(步驟S24)的數據進行通常的陰影校正(步驟S16)。根據本實施方式，能夠使用I個I維校正表格，分別對具有左右對稱的陰影特性的主像素、副像素進行陰影校正。因此，能夠防止存儲器容量、計算量及電路規模增大，從而節約電路規模和存儲器等。〈第3實施方式〉本發明的第3實施方式與第2實施方式同樣地，是對於主像素和副像素使用同一個I維校正表格的方式。以下對第3實施方式涉及的單眼立體攝像裝置3進行說明。此外，對於攝像裝置的結構來說，只有內部結構中的SD校正部不同，其他與第I實施方式相同，因此，對於相同部分省略說明，而僅對SD校正部進行說明。另外，關於攝像裝置的動作的說明，由於只有陰影校正方法與第I實施方式不同，因此，僅對陰影校正方法進行說明。此外，對於與第I實施方式及第2實施方式相同的部分標記相同的標號,省略說明。[攝像裝置的內部結構]圖15是表示第3實施方式的SD校正部67 — B的圖。SD校正部67 — B主要由進行通常的陰影校正的2維SD校正部67B和進行單眼立體攝像裝置3特有的陰影校正的I維SD校正部67A — 2構成。I維SD校正部67A — 2是對主像素和副像素中相反的陰影特性進行校正的部分，如圖15所示，主要由坐標運算部67 - 1、焦距獲取部67 - 2、表格選擇控制部67 — 3、表格選擇部67 - 4a、I維校正表格存儲部67 — 5a、陰影(SD)係數運算部67 — 6、陰影(SD)校正部67 - 7、讀取方向控制部67 — 8構成。讀取方向控制部67 - 8對坐標運算部67 — I選擇任意像素時的讀取方向進行控制。對於主像素，讀取方向控制部67 — 8控制使得坐標運算部67 -1從左方進行讀取，對於副像素，讀取方向控制部67 - 8控制使得坐標運算部67 -1從右方進行讀取。例如，在坐標運算部67 -1選擇從端部開始的第5個像素作為任意像素的情況下，讀取方向控制部67 - 8進行控制，以在主像素的情況下，如圖16A所示，使坐標運算部67 — I讀取從左端開始的第5個像素，在副像素的情況下，如圖16B所示，使坐標運算部67 -1讀取從左端開始的第5個像素。坐標運算部67 -1從主像素及副像素中選擇任意像素，將其信息向表格選擇部67 — 4輸出。表格選擇部67 — 4a從對應於焦距而選擇的I維校正表格中，讀取與由坐標運算部67 -1選擇的像素位置相對應位置的校正值。[攝像裝置的動作的說明]圖17是表示對分別從相位差(XD17的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。首先，CPU40判斷由單眼立體攝像裝置I拍攝的圖像是否是立體觀看圖像(步驟S10)。在沒有得到立體觀看圖像的情況下(在步驟SlO中為「否」)，2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟S16)。在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，焦距獲取部67 - 2獲取焦距(步驟S11)，表格選擇控制部67 - 3向表格選擇部67 - 4a發出指令，以從存儲在I維校正表格存儲部67 — 5a中的I維校正表格中選擇與焦距相對應的表格，表格選擇部67 — 4a對應於表格選擇控制部67 — 3的指令,從I維校正表格存儲部67 - 5a獲取適當的I維校正表格(步驟S21、S22、S23...)。I維SD校正部67A — 2使用獲取的I維校正表格進行陰影校正(步驟S31)。以下對步驟S31具體地進行說明。坐標運算部67 -1從主像素(A組像素)選擇任意像素，表格選擇部67 — 4a從在步驟S21至S23中獲取的I維校正表格中，讀取與由坐標運算部67 — I選擇的主像素的像素位置相對應的校正值(步驟S31 -1)。SD係數運算部67 — 6通過對表格選擇部67 — 4a在步驟S31 — I中獲取的校正值進行線性插補等，計算陰影校正係數(步驟S31 - 2)。在步驟S31 -1中，如圖16A所示，在從主像素的左端開始選擇第5個像素作為任意像素的情況下，在步驟S31 — 2中，計算針對從主像素左端開始的第5個像素的陰影校正係數。SD校正部67 - 7通過將SD係數運算部67 — 6計算出的陰影校正係數，與坐標運算部67 — I選擇的主像素的任意像素的像素值相乘，從而進行陰影校正(步驟S31 - 3)。另外，SD校正部67 - 7在讀取方向控制部67 — 8的控制下，從副像素中讀取位於與從主像素(A組像素)中選擇的任意像素的位置左右對稱位置的像素作為任意像素。並且，SD校正部67 - 7通過將SD係數運算部67 — 6計算出的陰影校正係數，與坐標運算部67 -1選擇的副像素的任意像素的像素值相乘，從而進行陰影校正(步驟S31 - 3)。在步驟S31 -1中，在如圖16A所示選擇從主像素左端開始的第5個像素作為任意像素的情況下，在步驟S31 - 3中，通過如圖16B所示選擇從副像素左端開始的第5個像素作為任意像素，將在步驟S31 - 2中計算出的針對從主像素左端開始的第5個像素的陰影校正係數與從副像素的左端開始的第5個像素的像素值相乘，而進行陰影校正。通過對主像素、副像素的全部像素進行上述陰影校正，從而結束單眼立體攝像裝置I特有的陰影校正(步驟S31)。然後，2維SD校正部67B使用2維校正表格，對進行了陰影校正(步驟S31)的數據進行通常的陰影校正(步驟S16 )。根據本實施方式，能夠使用I個I維校正表格，對具有左右對稱的陰影特性的主像素、副像素分別進行陰影校正。因此，能夠防止存儲器容量、計算量及電路規模增大，從而節約電路規模和存儲器等。〈第4實施方式〉本發明的第4實施方式與第I實施方式的不同點在於，對應於光圈16的光圈值而從I維校正表格存儲部67 - 5b中選擇與該光圈值相對應的I維校正表格。如果光圈16的光圈值(開口直徑)不同，則光束入射到相位差(XD17的各光電二極體上的入射角不同，因此，左右方向的陰影形狀變化很大。因此，在第4實施方式中，通過對應於光圈值從存儲在I維校正表格存儲部67 — 5b中的I維校正表格中選擇適當的校正表格，從而能夠應對因光圈值而不同的陰影特性。以下對第4實施方式涉及的單眼立體攝像裝置4進行說明。此外，對於攝像裝置的結構來說，只有內部結構中的SD校正部不同，其他與第I實施方式相同，因此，對於相同部分省略說明，而僅對SD校正部進行說明。另外，關於攝像裝置的動作的說明，由於只有陰影校正方法與第I實施方式不同，因此，僅對陰影校正方法進行說明。此外，對於與第I實施方式相同的部分標記相同的標號，省略說明。[攝像裝置的內部結構]圖18是表示第4實施方式的S`D校正部67 — C的圖。SD校正部67 — C主要由進行通常的陰影校正的2維SD校正部67B和進行單眼立體攝像裝置4特有的陰影校正的I維SD校正部67A — 3構成。如圖18所示，I維SD校正部67A — 3主要由坐標運算部67 — 1、光圈值獲取部67 - 3、表格選擇控制部67 - 4、表格選擇部67 — 4b、I維校正表格存儲部67 — 5b、陰影(SD)係數運算部67 - 6、陰影(SD)校正部67 — 7。坐標運算部67 -1從主像素及副像素中選擇任意像素，將其信息向表格選擇部67 — 4b輸出。表格選擇部67 — 4b從對應於光圈值而選擇的I維校正表格中，讀取與由坐標運算部67 -1選擇的像素位置相對應位置的校正值。[攝像裝置的動作的說明]圖19是表示對分別從相位差(XD17的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。另外，圖19所示的流程圖與圖11所示的第I實施方式，僅由虛線包圍的步驟(步驟Sir、及步驟S12』、S13』、S14』…)的處理不同，因此，僅對這些步驟S11』、及步驟S12』、S13』、S14』進行說明。在圖19中，在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，光圈值獲取部67 — 3獲取光圈16當前的光圈值，判斷當前的光圈值是否是光圈值I F2, F3,…中的某一個光圈值(步驟SlT )，將該判斷結果輸出至表格選擇控制部67 - 4。表格選擇控制部67 — 4向表格選擇部67 — 4b發出指令，以從對應於光圈值F1'F2> F3、…而存儲在I維校正表格存儲部67 — 5b中的I維校正表格中選擇與當前光圈16的光圈值相對應的表格，表格選擇部67 — 4b對應於來自表格選擇控制部67 — 4的指令，從I維校正表格存儲部67 - 5b獲取適當的I維校正表格(步驟312』、512』、512』…)。根據本實施方式，由於對應於光圈16的光圈值選擇適當的校正表格，因此能夠應對由於光圈值而不同的陰影特性。〈第5實施方式>本發明的第5實施方式與第2實施方式同樣地，是主像素和副像素使用同一個I維校正表格，對應於像素的顏色(RGB)而切換所使用的I維校正表格的方式。以下對第5實施方式涉及的單眼立體攝像裝置5進行說明。此外，對於攝像裝置的結構來說，只有內部結構中的SD校正部不同，其他與第I實施方式相同，因此，對於相同部分省略說明，而僅對SD校正部進行說明。另外，關於攝像裝置的動作的說明，由於只有陰影校正方法與第I實施方式不同，因此，僅對陰影校正方法進行說明。此外，對於與第I實施方式至第3實施方式相同的部分標記相同的標號，省略說明。[攝像裝置的內部結構]圖20是表示第5實施方式的SD校正部67 — D的圖。SD校正部67 — D主要由進行通常的陰影校正的2維SD校正部67B和進行單眼立體攝像裝置5特有的陰影校正的I維SD校正部67A — 4構成。I維SD校正部67A — 4是對主像素和副像素中相反的陰影特性進行校正的部分，如圖20所示，主要由坐標運算部67 - 1、焦距獲取部67 - 2、表格選擇控制部67 — 3b、表格選擇部67 — 4c、I維校正表格存儲部67 — 5c、陰影(SD)係數運算部67 — 6、陰影(SD)校正部67 - 7、像素色(RGB)獲取部67 — 9構成。在I維校正表格存儲部67 - 5c中存儲有與像素色(RGB)相對應的多個I維校正表格。對於針對各顏色的各I維校正表格，存儲有與焦距相對應的多個I維校正表格。在本實施方式中，主像素和副像素使用同一個I維校正表格。坐標運算部67 -1從主像素中選擇任意像素，將其信息向表格選擇部67 — 4及像素色(RGB)獲取部67 — 9輸出。像素色(RGB)獲取部67 — 9判斷坐標運算部67 — I選擇的任意像素的像素色是哪一種，並向表格選擇控制部67 — 3b輸出。表格選擇控制部67 - 3b向表格選擇部67 - 4c發出指令，以從存儲在I維校正表格存儲部67 — 5中的I維校正表格中選擇與像素色及焦距相對應的表格，表格選擇67 - 4c從對應於焦距而選擇的I維校正表格中，讀取與由坐標運算部67 -1選擇的像素位置相對應位置的校正值。坐標運算部67 -1從副像素中選擇任意像素，將其信息向表格選擇部67 — 4c輸出。表格選擇部67 - 4c與選擇主像素的任意像素的情況同樣地，從對應於像素色及焦距而選擇的I維校正表格中，確定與由坐標運算部67 -1選擇的像素位置相對應的位置，讀取I維校正表格中與所確定的位置左右對稱位置的校正值。 [攝像裝置的動作的說明]圖21是表示對分別從相位差(XD17的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。
首先，CPU40判斷由單眼立體攝像裝置I拍攝的圖像是否是立體觀看圖像(步驟S10)。在沒有得到立體觀看圖像的情況下(在步驟SlO中為「否」)，2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟S16)。在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，焦距獲取部67 — 2獲取焦距(步驟S11)，表格選擇控制部67 - 3b向表格選擇部67 - 4c發出指令，以從存儲在I維校正表格存儲部67 — 5c中的I維校正表格中選擇與焦距相對應的表格。以下對於焦距為A的情況進行說明。對於焦距為B、0..的情況，由於與焦距為A的情況下的處理相同，因此省略說明。坐標運算部67 -1從主像素(A組像素)及副像素(B組像素)中選擇位於相同位置的任意像素(步驟S41)。像素色(RGB)獲取部67 — 9分別針對主像素(A組像素)、副像素(B組像素)，判斷在步驟S41中選擇的任意像素的像素色(步驟SS42)對應於像素色，表格選擇部67 - 4a按照表格選擇控制部67 — 3的指令，從I維校正表格存儲部67 - 5a中獲取適當的I維校正表格(步驟S43、S44、S45)。例如，在像素色為R的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為R的情況下的I維SD校正表格IR (步驟S43)，在像素色為G的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為G的情況下的I維SD校正表格IG (步驟S44)，在像素色為B的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為B的情況下的I維SD校正表格IB (步驟S45)。由此，獲取用於陰影校正的I維校正表格。I維SD校正部67A — 4使用所獲取的I維校正表格進行陰影校正(步驟S46)。以下對步驟S46具體地進行說明。在步驟S41中選擇的任意像素的信息被輸出至表格選擇部67 — 4c，表格選擇部67 - 4c從在步驟S43至S45中獲取的I維校正表格中，讀取與由坐標運算部67 — I選擇的主像素的像素位置相對應的校正值(步驟S46 -1)。另外，表格選擇部67 - 4c讀取在步驟S43至S45中獲取的I維校正表格中的校正值中、位於與在步驟S46 -1中讀取的校正值左右對稱位置的校正值(步驟S46 - 2)。讀取位於左右對稱位置的校正值的方法與步驟S24 — 3相同。 SD係數運算部67 — 6通過對表格選擇部67 — 4c分別在步驟S46 — 1、步驟S46 —2中獲取的校正值進行線性插補等，計算陰影校正係數(步驟S46 - 3)。SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 — 4c在步驟S46 -1中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇出的主像素的任意像素的像素值相乘，從而進行陰影校正(步驟S46 - 4)。另外，SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 - 4a在步驟S46 — 2中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的副像素的任意像素的像素值相乘，從而進行陰影校正(步驟S46 — 4)。通過對主像素、副像素的全部像素進行步驟S41至S46，從而結束單眼立體攝像裝置5特有的陰影校正。然後，2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟 S16)。根據本實施方式，能夠使用I個I維校正表格，對具有左右對稱的陰影特性的主像素、副像素分別進行陰影校正。因此，能夠防止存儲器容量、計算量及電路規模增大，從而節約電路規模和存儲器等。另外，根據本實施方式，即使在由於RGB而陰影特性不同的情況下，也能夠進行適當的陰影校正。〈第6實施方式>本發明的第6實施方式與第5實施方式同樣地，是對應於像素色(RGB)而切換所使用的I維校正表格的方式，但第6實施方式是進一步切換針對Gr、Gb所使用的I維校正表格的方式。以下對第6實施方式涉及的單眼立體攝像裝置6進行說明。此外，對於攝像裝置的結構來說，只有內部結構中的SD校正部不同，其他與第I實施方式相同，因此，對於相同部分省略說明，而僅對SD校正部進行說明。另外，關於攝像裝置的動作的說明，由於只有陰影校正方法與第I實施方式不同，因此，僅對陰影校正方法進行說明。此外，對於與第I實施方式至第5實施方式相同的部分標記相同的標號,省略說明。[攝像裝置的內部結構]圖22是表示第6實施方式的SD校正部67 — E的圖。SD校正部67 — E主要由進行通常的陰影校正的2維SD校正部67B和進行單眼立體攝像裝置6特有的陰影校正的I維SD校正部67A - 5構成。I維SD校正部67A — 5是對主像素和副像素中相反的陰影特性進行校正的部分，如圖22所示，主要由坐標運算部67 - 1、焦距獲取部67 - 2、表格選擇控制部67 — 3c、表格選擇部67 - 4d、l維校正表格存儲部67 - 5d、陰影(SD)係數運算部67 — 6、陰影(SD)校正部67 - 7、像素色(R、Gr、B、Gb)獲取部67 — 9a構成。在I維校正表格存儲部67 - 5d中存儲有與像素色(R、Gr、B、Gb)相對應的多個I維校正表格。像素色中的Gr是配置在GRGR...像素排列線中的G像素，Gb是配置在BGBG...像素排列線中的G像素。對於針對各顏色的各I維校正表格，存儲有與焦距相對應的多個I維校正表格。在本實施方式中，主像素和副像素使用同一個I維校正表格。即使是同樣的G像素，陰影特性也會由於相鄰的像素的顏色而變化。在本實施方式中，通過具有針對Gr、Gb而不同的I維校正表格而能夠實現準確的陰影校正。坐標運算部67 -1從主像素中選擇任意像素，將其信息向表格選擇部67 — 4及像素色(RGB)獲取部67 — 9a輸出。像素色(R、Gr、B、Gb)獲取部67 — 9a判斷坐標運算部67 — 1選擇的任意像素的像素色是哪一種,並向表格選擇控制部67 — 3c輸出。表格選擇控制部67 - 3c向表格選擇部67 - 4d發出指令，以從存儲在I維校正表格存儲部67 — 5d中的I維校正表格中選擇與像素色及焦距相對應的表格，表格選擇部67 — 4d從對應於焦距而選擇的I維校正表格中，讀取與由坐標運算部67 -1選擇的像素位置相對應位置的校正值。坐標運算部67 -1從副像素中選擇任意像素，將其信息向表格選擇部67 — 4d輸出。表格選擇部67 - 4d與選擇主像素的任意像素的情況同樣地，從對應於像素色及焦距而選擇的I維校正表格中，確定與由坐標運算部67 -1選擇的像素位置相對應位置，讀取I維校正表格中與所確定的位置左右對稱位置的校正值。[攝像裝置的動作的說明]圖23是表示對分別從相位差(XD17的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。
首先，CPU40判斷由單眼立體攝像裝置6拍攝的圖像是否是立體觀看圖像(步驟S10)。在沒有得到立體觀看圖像的情況下(在步驟SlO中為「否」)，2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟S16)。在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，焦距獲取部67 — 2獲取焦距(步驟S11)，表格選擇控制部67 - 3c向表格選擇部67 - 4d發出指令，以從存儲在I維校正表格存儲部67 — 5d中的I維校正表格中選擇與焦距相對應的表格。以下對於焦距為A的情況進行說明。對於焦距為B、0..的情況，由於與焦距為A的情況下的處理相同，因此省略說明。坐標運算部67 -1從主像素(A組像素)及副像素(B組像素)中選擇位於相同位置的任意像素(步驟S41)。像素色(R、Gr、B、Gb)獲取部67 — 9a分別針對主像素(A組像素)、副像素(B組像素)，判斷所選擇的任意像素的像素色(步驟SS51)對應於像素色，表格選擇部67 - 4d按照表格選擇控制部67 — 3的指令，從I維校正表格存儲部67 - 5d中獲取適當的I維校正表格(步驟S21、S22、S23…)。例如，在像素色為R的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為R的情況下的I維SD校正表格IR (步驟S52)，在像素色為Gr的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為Gr的情況下的I維SD校正表格IGr (步驟S53)，在像素色為B的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為B的情況下的I維SD校正表格IB (步驟S54)，在像素色為Gb的情況下，從焦距為A的情況下的I維校正表格中獲取像素色為Gb的情況下的I維SD校正表格IGb (步驟S55)。由此，獲取用於陰影校正的I維校正表格。I維SD校正部67A — 5使用所獲取的I維校正表格進行陰影校正(步驟S56)。以下對步驟S56具體地進行說明。
`
在步驟S41中選擇的任意像素的信息被輸出至表格選擇部67 — 4d，表格選擇部67 - 4d從在步驟S52至S55中獲取的I維校正表格中，讀取與由坐標運算部67 — I選擇的主像素的像素位置相對應的校正值(步驟S56 -1)。另外，表格選擇部67 - 4d讀取在步驟S52至S55中獲取的I維校正表格中的校正值中的、位於與在步驟S56 -1中讀取的校正值左右對稱位置的校正值(步驟S56 - 2)。讀取位於左右對稱位置的校正值的方法與步驟S24 — 3相同。SD係數運算部67 — 6通過對表格選擇部67 — 4d分別在步驟S56 — 1、步驟S56 —2中獲取的校正值進行線性插補等，計算陰影校正係數(步驟S56 - 3)。SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 — 4d在步驟S46 -1中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的主像素的任意像素的像素值相乘，從而進行陰影校正(步驟S56 - 4)。另外，SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 - 4d在步驟S56 — 2中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的副像素的任意像素的像素值相乘，從而進行陰影校正(步驟S56 — 4)。通過對主像素、副像素的全部像素進行步驟S41至S56，從而結束單眼立體攝像裝置6特有的陰影校正。然後，2維SD校正部67B使用2維校正表格，對進行了陰影校正(步驟S56)的數據進行通常的陰影校正(步驟S16)。
根據本實施方式，能夠使用I個I維校正表格，對具有左右對稱的陰影特性的主像素、副像素分別進行陰影校正。因此，能夠防止存儲器容量、計算量及電路規模增大，從而節約電路規模和存儲器等。另外，根據本實施方式，即使在由於RGB而使陰影特性不同的情況下，特別是對於G像素，也能夠進行適當的陰影校正。此外，在本實施方式中，針對R、Gr、B、Gb使用了各自的I維校正表格，但也可以事先存儲GR線用的I維校正表格和GB線用的I維校正表格，從而對應於陰影校正對象是GR線或GB線而使用適當的校正表格。〈第7實施方式>在本發明的第I實施方式中，通過使相位差(XD17的主像素僅對穿過射出瞳的光束的光軸左側進行受光，使副像素僅對穿過射出瞳的光束的光軸右側進行受光，從而拍攝立體觀看圖像，但立體觀看圖像的拍攝方法並不限定於此。本發明的第7實施方式是按照左右方向、上下方向這2種方法使用立體觀看圖像的方式。以下對第7實施方式涉及的單眼立體攝像裝置7進行說明。此外，對於攝像裝置的結構來說，只有固體攝像元件的構造及內部結構中的SD校正部不同，其他與第I實施方式相同，因此，對於相同部分省略說明，而僅對SD校正部進行說明。另外，關於攝像裝置的動作的說明，由於只有陰影校正方法與第I實施方式不同，因此，僅對陰影校正方法進行說明。此外，對於與第I實施方式至第6實施方式相同的部分標記相同的標號,省略說明。[攝像光學系統、攝像元件的結構例]透鏡單元12主要由拍攝透鏡14、光圈16、作為相位差圖像傳感器的固體攝像元件(以下稱為「相位差CXD」)17』構成。

圖24是表示相位差CXD17』的結構例的圖。作為相位差CXD17』，通過將使4個光電二極體A、B、C、D2維排列，按照覆蓋這4個光電二極體的方式配置I個微透鏡ML』的結構設為I個單元(4個像素I個微透鏡)，並將該單元2維配置而成。單元內的各光電二極體能夠分別獨立地進行讀取。如圖24所示，在相位差CXD17』的奇數線(1、3、5…)上，設有具有R (紅)、G (綠)、B (藍)彩色濾光片的像素中的GRGR...像素排列的線，另一方面，偶數線(2、4、6、…)的像素設有BGBG...像素排列的線。圖25是對利用相位差CXD17』拍攝立體觀看圖像的方法進行說明的圖。在相位差CCD17』在水平方向上進行拍攝的情況下(通常的橫拍)，將各單元的光電二極體A及C合成，作為僅對穿過射出瞳的光束的光軸左側進行受光的主像素，光電二極體A及C的合成圖像成為左眼用圖像。另外，將各單元的光電二極體B及D合成，作為僅對穿過射出瞳的光束的光軸右側進行受光的副像素，光電二極體B及D的合成圖像成為左眼用圖像。在相位差CXD17』在垂直方向上進行拍攝的情況下(使單眼立體攝像裝置7旋轉90度進行拍攝的所謂的豎拍)，將各單元的光電二極體A及B合成，作為僅對穿過射出瞳的光束的光軸左側進行受光的主像素，光電二極體A及B的合成圖像成為左眼用圖像。另外，將各單元的光電二極體C及D合成，作為僅對穿過射出瞳的光束的光軸右側進行受光的副像素，光電二極體C及D的合成圖像成為左眼用圖像。
[攝像裝置的內部結構]圖26是表示第7實施方式的SD校正部67 — F的圖。SD校正部67 — F主要由進行通常的陰影校正的2維SD校正部67B和進行單眼立體攝像裝置7特有的陰影校正的I維SD校正部67A — 5構成。I維SD校正部67A — 5是對主像素和副像素中相反的陰影特性進行校正的部分，如圖26所示，主要由坐標運算部67 - 1、焦距獲取部67 - 2、表格選擇控制部67 — 3d、表格選擇部67 — 4e、l維校正表格存儲部67 — 5e、陰影(SD)係數運算部67 — 6、陰影(SD)校正部67 - 7、水平/垂直校正控制部67 - 10構成。在I維校正表格存儲部67 - 5e中存儲有相位差CXD17』在水平方向進行拍攝的情況下的多個I維校正表格、和相位差CXD17』在垂直方向進行拍攝的情況下的多個I維校正表格。對應於相位差(XD17』在水平方向進行拍攝的情況下的多個I維校正表格和相位差CCD17』在垂直方向進行拍攝的情況下的多個I維校正表格，分別存儲有與焦距相對應的多個I維校正表格。在本實施方式中，主像素和副像素使用同一個I維校正表格。水平/垂直校正控制部67 - 10為陀螺儀等，判斷相位差CXD17』是在水平方向拍攝還是在垂直方向拍攝(以下稱為拍攝方向)。水平/垂直校正控制部67 — 10的判斷結果向表格選擇控制部67 — 3d輸出。坐標運算部67 -1從主像素中選擇任意像素，將其信息向表格選擇部67 — 4e輸出。表格選擇控制部67 - 3d向表格選擇部67 - 4e發出指令，以從存儲在I維校正表格存儲部67 — 5e中的I維校正表格中選擇與拍攝方向及焦距相對應的表格，表格選擇部67 —4e從所選擇的I維校正表格中，讀取與由坐標運算部67 -1選擇的像素位置相對應位置的校正值。坐標運算部67 -1從副像素中選擇任意像素，將其信息向表格選擇部67 — 4e輸出。表格選擇控制部67 - 3d向表格選擇部67 - 4e發出指令，以從存儲在I維校正表格存儲部67 — 5e中的I維校正表格中選擇與拍攝方向及焦距相對應的表格，表格選擇部67 —4e從所選擇的I維校正表格中，讀取與由坐標運算部67 — I選擇的像素位置相對應位置的校正值。[攝像裝置的動作的說明]圖27是表示對分別從相位差CXD17』的主像素、副像素輸出而由模擬信號處理部60處理的2張圖像數據進行陰影校正的處理流程的流程圖。以下處理主要由CPU40控制。首先，CPU40判斷由單眼立體攝像裝置I拍攝的圖像是否是立體觀看圖像(步驟S10)。在沒有得到立體觀看圖像的情況下(在步驟SlO中為「否」)，2維SD校正部67B使用2維校正表格進行通常的陰影校正(步驟S16)。在從相位差(XD17的主像素、副像素獲取了 2張圖像數據的情況下(在步驟SlO中為「是」)，焦距獲取部67 — 2獲取焦距(步驟S11)，表格選擇控制部67 - 3d向表格選擇部67 - 4e發出指令，以從存儲在I維校正表格存儲部67 — 5e中的I維校正表格中選擇與焦距相對應的表格。以下對於焦距為A的情況進行說明。對於焦距為B、0..的情況，由於與焦距為A的情況下的處理相同，因此省略說明。水平/垂直校正控制部67 - 10判斷拍攝方向，並向表格選擇控制部67 — 3d輸出(步驟S61)。表格選擇控制部67 - 3d向表格選擇部67 — 4e發出指令，以從存儲在I維校正表格存儲部67 — Ef中的I維校正表格中選擇與拍攝方向及焦距相對應的表格，表格選擇部67 - 4e對應於表格選擇控制部67 — 3d的指令，從I維校正表格存儲部67 — 5e獲取適當的I維校正表格(步驟S62、S63)。即，在焦距為A的情況下，在相位差CXD17』在水平方向進行拍攝的情況下，獲取焦距為A且拍攝方向為水平方向的I維校正表格即I維SD校正表格X (步驟S62)，在焦距為A的情況下，在相位差CCD17』在垂直方向進行拍攝的情況下，獲取焦距為A且拍攝方向為垂直方向的I維校正表格即I維SD校正表格Y (步驟S63)。由此，獲取用於陰影校正的I維校正表格。I維SD校正部67A — 5使用獲取的I維校正表格進行陰影校正(步驟S64)。以下對步驟S64具體地進行說明。坐標運算部67 -1從主像素及副像素中選擇位於相同位置的任意像素(步驟S64 — I)。任意像素的信息被輸出至表格選擇部67 - 4e，表格選擇部67 — 4e從在步驟S62至S63中獲取的I維校正表格中，讀取與由坐標運算部67 — I選擇的主像素的像素位置相對應的校正值(步驟S64 - 2)。另外，表格選擇部67 - 4e讀取在步驟S62至S63中獲取的I維校正表格中的校正值中的、位於與在步驟S64 - 2中讀取的校正值左右對稱位置的校正值(步驟S64 — 3)。SD係數運算部67 — 6通過對表格選擇部67 — 4e分別在步驟S64 — 2、步驟S64 —3中獲取的校正值進行線性插補等，計算陰影校正係數(步驟S64 - 4)。SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 — 4e在步驟S64 - 2中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的主像素的任意像素的像素值相乘，從而進行陰影校正(步驟S64 - 5)。另外，SD校正部67 — 7通過將SD係數運算部67 — 6基於表格選擇部67 - 4e在步驟S64 — 3中獲取的校正值而計算出的陰影校正係數，與坐標運算部67 -1選擇的副像素的任意像素的像素值相乘，從而進行陰影校正(步驟S64 — 5)。通過對主像素、副像素的全部像素進行上述陰影校正，從而結束單眼立體攝像裝置7特有的陰影校正(步驟S64)。然後，2維SD校正部67B使用2維校正表格，對進行了陰影校正(步驟S64 )的數據進行通常的陰影校正(步驟S16 )。根據本實施方式，能夠使用I個I維校正表格，分別對具有左右對稱的陰影特性的主像素、副像素進行陰影校正。因此，能夠防止存儲器容量、計算量及電路規模增大，從而節約電路規模和存儲器等。另外，在本實施方式中，不僅是水平方向存在視差的立體觀看圖像的情況，在垂直方向存在視差的立體觀看圖像的情況下，也能夠實現適當的陰影校正。另外，在本實施方式中，在將主像素和副像素疊加而得到I張2維圖像的情況下，或者通過將圖24所示的4個像素I個微透鏡的4個像素疊加而得到I張2維圖像的情況下，由於由單眼3D (光瞳分割)引起的各個面的濃度不均勻抵消，因此不進行I維陰影校正，但在不對各個面進行疊加而獲取高解析度的2維圖像的情況下，需要分別對由光瞳分割引起的各個面的濃度不均勻進行陰影校正。[對由光瞳分割引起的濃度不均勻進行陰影校正的其他實施方式]下面，對於針對各個面，對4個像素I個微透鏡的相位差CXD17』得到的4個面(A、B、C、D面)的由光瞳分割引起的濃度不均勻進行校正的情況進行說明。
圖28是表示從4個像素I個微透鏡的相位差CXD17』得到的4個面(A、B、C、D面)的由光瞳分割引起的濃度不均勻的示意圖。另外，在圖28上，濃度較濃的部分與較亮的部分相對應。這時，在僅由4個像素I個微透鏡的相位差CXD17』(圖24)的光電二極體A形成的I個畫面(A面)的情況下，由光瞳分割引起的濃度不均勻具有下述濃度梯度，即，A面最右下角的位置Oa最亮，隨著從該位置Oa遠離而變暗。因此，準備在圖28的A面上示出的箭頭的方向的I維校正表格(連結位置Oa與其對角位置的對角線上的、與從位置仏^^的距離相對應的I維校正表格)，在對要進行校正的A面的像素進行陰影校正的情況下，通過基於該A面的像素與位置Oa之間的距離，從所述I維校正表格讀取對應的校正值並使用，從而對由光瞳分割引起的A面的濃度不均勻進行陰影校正。另外，由於A面內的各像素與位置Oa之間的距離能夠預先求出，因此，能夠得到表示各像素與位置Oa之間的距離的信息。另外，在對B面、C面及D面的由光瞳分割引起的濃度不均勻進行校正的情況下，也能夠使用與上述A面相同的I維校正表格。在這種情況下，用於從I維校正表格讀取校正值的B面的各像素的距離為從B面左下角的位置Ob開始的距離，同樣地，C面、D面各像素的距離分別為從C面右上角的位置O。開始的距離、從D面左上角的位置Od開始的距離。S卩，對於A面到D面的各個面的像素，通過分別預先保持從作為基準的位置(Oa Ob)開始的距離信息，從I維校正表格讀取與各像素的距離相對應的校正值而使用，從而能夠對由光瞳分割弓I起的濃度不均勻進行校正。下面，對9個像素I個微透鏡的相位差(XD17得到的9個面(A至I面)的由光瞳分割引起的濃度不均勻，針對各個面而進行校正的情況進行說明。
`
圖29是表示9個像素I個微透鏡的相位差CXD的要部的圖。如該圖所示，9個像素I個微透鏡的相位差(XD為,將使9個光電二極體A至12維排列，以覆蓋這9個光電二極體的方式配置I個微透鏡ML」的結構，作為I個單元(9個像素I個微透鏡)，並將該單元2維配置。另外，9個像素I個微透鏡的I個單元，與圖24所示的4像素微透鏡同樣地，對於每個單元配置相同的彩色濾光片。圖30是表示從9個像素I個微透鏡的相位差CXD得到的9個面(A至I面)的由光瞳分割引起的濃度不均勻的示意圖。另外，在圖30上，濃度較濃的部分與較亮的部分相對應。這時，如圖30所示，如果9個面(A至I面)以矩陣狀排列，則具有中央的E面較亮、隨著遠離E面的中心而逐漸變暗的濃度梯度。因此，準備圖30中示出的箭頭的方向的I維校正表格(與從E面的中央開始的距離相對應的I維校正表格)，在對要進行校正的面的像素進行陰影校正的情況下，通過基於該面的像素與E面中央之間的距離，從所述I維校正表格讀取對應的校正值而使用，從而對由光瞳分割引起的各面的濃度不均勻進行陰影校正。另外，由於各面的像素與E面中央之間的距離，如圖30所示在幾何上是確定的，因此能夠得到各像素的距離信息。另外，作為I維校正表格，也可以具有部隊E面像素進行陰影校正的校正值。
此外，在上述實施方式中，存儲在I維校正表格存儲部中的校正值並不是與全部的像素位置相對應的校正值，而是離散地具有校正值，表格選擇部讀取2個校正值，SD係數運算部通過線性插補等計算出陰影校正係數，但也可以使I維校正表格具有與全部的像素位置相對應的校正值，通過將讀取的校正值與像素值相乘而進行陰影校正。另外，以通過設置在相位差(XD17的微透鏡ML側的遮光部件17A、17B對光束進行分割的單眼立體攝像裝置為例進行了說明，但也可以應用於使用包含用於對光束進行分割的中繼透鏡在內的投影透鏡12』的單眼立體攝像裝置。另外，也可以通過對2個像素(主像素、副像素)設置I個微透鏡，而限制向各像素入射的光束。另外，在上述實施方式中，以攝像元件使用CCD的例子進行了說明，但並不限定於(XD。本發明也可以應用於CMOS等其他圖像傳感器。另外，對於(XD，光電二極體的排列也不限定於上述方式，對於光電二極體以不同的排列方式排列而成的CCD也適用。此外，在上述第I至第7實施方式中，在針對從主像素、副像素輸出的信號，使用I維校正表格對由單眼3D引起的陰影進行校正後，針對該校正後的信號，使用2維校正表格對由光學系統引起的陰影進行校正，但由於陰影校正是針對信號的陰影校正係數的乘法運算，因此，也可以與上述相反地，在針對從主像素、副像素輸出的信號，使用2維校正表格對由光學系統引起的陰影進行校正之後，針對該校正後的信號，使用I維校正表格對由單眼3D引起的陰影進行校正，或者，將I維校正表格的陰影校正係數與2維校正表格的陰影校正係數相乘，生成I個陰影校正係數，通過將所述生成的陰影校正係數與從主像素、副像素輸出的信號相乘，從而I次性地對由單眼3D引起的陰影及由光學系統引起的陰影進行校正。此外，並不限定於各實施方式單獨實施的情況，也可以將多個實施方式組合而實施。另外，在第3至第7實施方式中，主像素、副像素可以使用形同的用於陰影校正的I維表格，也可以使用不同的I維表格。標號的說明1、2、3、4、5、6:單眼立體攝像裝置、14:拍攝透鏡、16:光圈、17A、17B:遮光部件、17、17』:相位差(XD、40:CPU,45:時序產生器、46:光圈驅動部、47:透鏡驅動部、54:記錄介質、67、67 - A、67 — B,67 — C、67 — D、67 — E、67 — F:SD 校正部
權利要求
1.一種單眼立體攝像裝置，其特徵在於，具有: 單一的拍攝光學系統； 光瞳分割單元，其將穿過所述拍攝光學系統的光束分割為多條光束； 單一的攝像元件，其由分別對所述多條光束受光的多個像素組構成； 第I陰影校正單元，其使用2維校正表格，對從所述單一攝像元件輸出的攝像信號整體進行陰影校正，該2維校正表格是在左右上下方向上，將對至少由拍攝光學系統引起的陰影進行校正用的校正值排列而成；以及 第2陰影校正單元，其使用I維校正表格，分別對從所述多個像素組輸出的攝像信號進行陰影校正，該I維校正表格是在由所述光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上，將陰影校正用的校正值排列而成。
2.根據權利要求1所述的單眼立體攝像裝置，其特徵在於， 所述第2陰影校正單元，使用同一個I維校正表格對所述多個像素組進行陰影校正。
3.根據權利要求2所述的單眼立體攝像裝置，其特徵在於， 所述攝像元件具有分別對所述多條光束受光的第I像素組和第2像素組， 所述第2陰影校正單元具有以下單元: 將所述第I像素組的規定列的任意位置的像素選擇作為第I像素，並將所述第2像素組的規定列的位於與所述第I像素相對應位置的像素選擇作為第2像素的單元； 從所述I維校正表格中讀取與所述第I像素的位置相對應位置的校正值，作為針對所述第I像素的校正值的單元； 讀取所述I維校正表格中位於與針對所述第I像素的校正值左右對稱位置的校正值，作為針對所述第2像素的校正值的單元；以及 基於所述第I像素的像素值和針對所述第I像素的校正值，對所述第I像素進行陰影校正，並基於所述第2像素的像素值和針對所述第2像素的校正值，對所述第2像素進行陰影校正的單元。
4.根據權利要求2所述的單眼立體攝像裝置，其特徵在於， 所述攝像元件具有分別對所述多條光束受光的第I像素組和第2像素組， 所述第2陰影校正單元具有以下單元: 將所述第I像素組的規定列的任意位置的像素選擇作為第I像素，並從所述第2像素組的規定列選擇位於與所述第I像素左右對稱位置的像素作為第2像素的單元； 從所述I維校正表格中讀取位於與所述第I像素的位置相對應位置的校正值的單元；以及 基於所述第I像素的像素值和位於與所述第I像素的位置相對應位置的校正值，對所述第I像素進行陰影校正，並基於所述第2像素的像素值和位於與所述第I像素的位置相對應位置的校正值，對第2像素進行陰影校正的單元。
5.根據權利要求1至4中任一項所述的單眼立體攝像裝置，其特徵在於， 所述拍攝光學系統具有變焦透鏡， 並具有根據所述變焦透鏡的位置獲取焦距的焦距獲取單元， 所述第2陰影校正單元對應於焦距而存儲多個I維校正表格，使用與由所述焦距獲取單元獲取的焦距相對應的I維校正表格進行陰影校正。
6.根據權利要求1至5中任一項所述的單眼立體攝像裝置，其特徵在於， 所述拍攝光學系統具有使光圈值變化的光圈， 所述第2陰影校正單元對應於所述光圈的光圈值而存儲多個1維校正表格，使用與所述光圈的當前光圈值相對應的1維校正表格進行陰影校正。
7.根據權利要求1至6中任一項所述的單眼立體攝像裝置，其特徵在於， 所述第2陰影校正單元存儲有R、G、B各顏色的1維校正表格，在從所述多個像素組中選擇的像素即所選像素的像素色為R的情況下，使用R色用的1維校正表格，在所選像素的像素色為G的情況下，使用G色用的1維校正表格，在所選像素的像素色為B的情況下，使用B色用的1維校正表格，而進行陰影校正。
8.根據權利要求7所述的單眼立體攝像裝置，其特徵在於， 作為G色用的1維校正表格，所述第2陰影校正單元存儲Gr色用的1維校正表格、和Gb色用的1維校正表格，該Gr色用的1維校正表格是RGRG...排列的水平線即GR線的G像素，該Gb色用的1維校正表格是GBGB…排列的水平線即GB線的G像素，在所選像素的像素色是從所述GR線讀取的G像素的情況下，使用所述Gr色用的1維校正表格，在所選像素的像素色是從所述GB線讀取的G像素的情況下，使用Gb色用的1維校正表格，而進行陰影校正。
9.根據權利要求1至8中任一項所述的單眼立體攝像裝置，其特徵在於， 具有方向檢測單元，其對所述攝像元件的方向進行檢測， 所述第2陰影校正單元存儲所述攝像元件為橫向的情況下的1維校正表格、和所述攝像元件為縱向的情況下的1維校正表格，基於通過所述方向檢測單元檢測到的攝像元件的方向，使用1維校正表格進行陰影校正。
10.一種單眼立體攝像裝置用陰影校正方法，其特徵在於，具有以下步驟: 獲取來自分別對多條光束受光的多個像素組的輸出信號，該多條光束通過光瞳分割單元對穿過單一拍攝光學系統的光束進行光瞳分割而得到；以及 對來自所述多個像素組的輸出信號進行陰影校正，即，使用1維校正表格，對分別從所述多個像素組輸出的輸出信號分別進行陰影校正，使用2維校正表格，對從所述多個像素組輸出的輸出信號整體進行陰影校正，該1維校正表格是在由所述光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上，將陰影校正用的校正值排列而成，該2維校正表格是在左右上下方向上，將對至少由所述拍攝光學系統引起的陰影進行校正用的校正值排列而成。
11.一種單眼立體攝像裝置用程序，其特徵在於，使運算裝置執行以下步驟: 獲取來自分別對多條光束受光的多個像素組的輸出信號，該多條光束通過光瞳分割單元對穿過單一拍攝光學系統的光束進行光瞳分割而得到；以及 對來自所述多個像素組的輸出信號進行陰影校正，即，使用1維校正表格，對分別從所述多個像素組輸出的輸出信號分別進行陰影校正，使用2維校正表格，對從所述多個像素組輸出的輸出信號整體進行陰影校正，該1維校正表格是在由所述光瞳分割單元的光瞳分割引起的濃度不均勻的梯度方向上，將陰影校正用的校正值排列而成，該2維校正表格是在左右上下方向上，將對至少由所述拍攝光學系統引起的陰影進行校正用的校正值排列而成。
全文摘要
能夠對單眼立體攝像裝置所特有的陰影特性進行校正。獲取焦距(步驟S11)，從多個所存儲的1維校正表格中獲取與焦距相對應的表格(步驟S12、S13、S14…)。使用所獲取的1維校正表格進行陰影校正(步驟S15)。即，從主像素選擇任意像素，從所獲取的主像素用1維校正表格中讀取與所選擇的像素位置相對應的校正值，利用該校正值和任意像素的像素值進行陰影校正。對主像素、副像素的全部像素進行該處理。2維SD校正部(67B)使用2維校正表格，對進行了上述陰影校正(步驟S15)的數據進行通常的陰影校正(步驟S16)。
文檔編號H04N13/02GK103109536SQ20118004293
公開日2013年5月15日 申請日期2011年9月6日 優先權日2010年9月13日
發明者長谷川亮, 林健吉, 田中誠二 申請人:富士膠片株式會社