控制設備、攝像設備和控制方法與流程
2023-06-12 11:51:56
本發明涉及利用相位差檢測方法來進行焦點檢測的攝像設備。
背景技術：
已知通過使用來自攝像元件的焦點檢測信號來進行相位差檢測方法(攝像面相位差方法)的焦點檢測的傳統攝像設備。
美國專利4410804公開了如下的攝像設備，該攝像設備使用針對各像素形成有一個微透鏡和多個分割出的光電轉換部的二維攝像元件。分割出的光電轉換部經由一個微透鏡接收穿過攝像鏡頭的出射光瞳的不同部分光瞳區域的光束，以進行光瞳分割。基於分割出的光電轉換部(焦點檢測像素)所接收到的各個焦點檢測信號，可以計算圖像偏移量，以進行利用相位檢測方法的焦點檢測。日本特開2001-083407公開了用於對分割出的光電轉換部所接收到的各焦點檢測信號進行合成的攝像設備。
日本特開2000-156823公開了如下的攝像設備，該攝像設備包括在多個攝像像素的陣列的一部分中部分地配置的一對焦點檢測像素。該對焦點檢測像素接收穿過攝像鏡頭的出射光瞳中的彼此不同的區域的光束，以進行光瞳分割。基於該對焦點檢測像素的焦點檢測信號，可以計算圖像偏移量，以進行利用相位差檢測方法的焦點檢測。根據利用相位差檢測方法(攝像面相位差方法)的焦點檢測，可以通過攝像元件的焦點檢測像素來同時檢測散焦方向和散焦量，因此可以進行高速度的調焦控制。
然而，在攝像面相位差方法中，用於進行焦點檢測的焦點檢測信號的空間頻帶可能與用於生成所拍攝的圖像的攝像信號的空間頻帶不同。在這種情況下，基於焦點檢測信號的檢測聚焦位置和基於攝像信號的最佳聚焦位置之間產生差異，因此難以高精度地進行焦點檢測。
技術實現要素：
本發明提供能夠減小基於焦點檢測信號的檢測聚焦位置與基於攝像信號的最佳聚焦位置之間的差異從而高精度地進行焦點檢測的控制設備、攝像設備和控制方法。
作為本發明的一個方面的一種控制設備，包括：生成單元，用於基於來自第一像素組和第二像素組的多個類型的顏色信號來生成第一焦點檢測信號和第二焦點檢測信號，其中所述第一像素組和所述第二像素組用於接收穿過成像光學系統中的彼此不同的部分光瞳區域的光束；以及計算單元，用於通過使用所述第一焦點檢測信號和所述第二焦點檢測信號，利用相位差檢測方法來計算散焦量，其特徵在於，所述生成單元被配置為：對於所述第一像素組，將所述多個類型的顏色信號進行合成，以使得該多個類型的顏色信號在光瞳分割方向上的重心彼此一致，從而生成所述第一焦點檢測信號，以及對於所述第二像素組，將所述多個類型的顏色信號進行合成，以使得該多個類型的顏色信號在所述光瞳分割方向上的重心彼此一致，從而生成所述第二焦點檢測信號。
作為本發明的另一方面的一種攝像設備，包括：攝像元件，其包括第一像素組和第二像素組，所述第一像素組和所述第二像素組用於接收穿過成像光學系統中的彼此不同的部分光瞳區域的光束；生成單元，用於基於來自所述第一像素組和所述第二像素組的多個類型的顏色信號來生成第一焦點檢測信號和第二焦點檢測信號；以及計算單元，用於通過使用所述第一焦點檢測信號和所述第二焦點檢測信號，利用相位差檢測方法來計算散焦量，其特徵在於，所述生成單元被配置為：對於所述第一像素組，將所述多個類型的顏色信號進行合成，以使得該多個類型的顏色信號在光瞳分割方向上的重心彼此一致，從而生成所述第一焦點檢測信號，以及對於所述第二像素組，將所述多個類型的顏色信號進行合成，以使得該多個類型的顏色信號在所述光瞳分割方向上的重心彼此一致，從而生成所述第二焦點檢測信號。
作為本發明的另一方面的一種控制方法，包括以下步驟：基於來自第一像素組和第二像素組的多個類型的顏色信號來生成第一焦點檢測信號和第二焦點檢測信號，其中所述第一像素組和所述第二像素組用於接收穿過成像光學系統中的彼此不同的部分光瞳區域的光束；以及通過使用所述第一焦點檢測信號和所述第二焦點檢測信號，利用相位差檢測方法來計算散焦量，其特徵在於，用於生成所述第一焦點檢測信號和所述第二焦點檢測信號的步驟包括：對於所述第一像素組，將所述多個類型的顏色信號進行合成，以使得該多個類型的顏色信號在光瞳分割方向上的重心彼此一致，從而生成所述第一焦點檢測信號，以及對於所述第二像素組，將所述多個類型的顏色信號進行合成，以使得該多個類型的顏色信號在所述光瞳分割方向上的重心彼此一致，從而生成所述第二焦點檢測信號。
作為本發明的另一方面的一種控制方法，用於獲取相位差檢測方法中要使用的多個檢測信號以計算距離信息，其中所述控制方法包括以下步驟：對包括多個類型的顏色信號的視點圖像進行第一處理，以獲取所述顏色信號的合成信號；以及對所述合成信號進行第二處理，以生成所述檢測信號，其特徵在於，所述第一處理將所述顏色信號進行合成，以使得所述視點圖像在視點方向上的重心彼此一致。
通過以下參考附圖對典型實施例的說明，本發明的其它特徵將變得明顯。
附圖說明
圖1是各實施例中的攝像設備的框圖。
圖2是示出實施例1和2各自中的像素陣列的圖。
圖3A和3B是示出實施例1和2各自中的像素結構的圖。
圖4是各實施例中的攝像元件和光瞳分割功能的說明圖。
圖5是各實施例中的攝像元件和光瞳分割功能的說明圖。
圖6是各實施例中的散焦量和圖像偏移量之間的關係的圖。
圖7是示出各實施例中的第一焦點檢測處理的流程圖。
圖8是各實施例中的第一像素相加處理的說明圖。
圖9A～9C是各實施例中的第一焦點檢測信號和第二焦點檢測信號的光瞳偏移所產生的陰影的說明圖。
圖10是各實施例中的濾波器頻帶的說明圖。
圖11是示出各實施例中的第二焦點檢測處理的流程圖。
圖12是實施例1中的第二像素相加處理的說明圖。
圖13是示出各實施例中的調焦控制的流程圖。
圖14是實施例2中的第二像素相加處理的說明圖。
圖15是示出實施例3中的像素陣列的圖。
圖16A和16B是示出實施例3中的像素結構的圖。
圖17是示出各實施例中的調焦控制的流程圖。
具體實施方式
以下將參考附圖來說明本發明的典型實施例。以下說明的本發明的各實施例可以根據需要而單獨實現或者作為多個實施例或其特徵的組合來實現，其中將來自各實施方式的元件或特徵的組合在一個實施例中是有益的。
實施例1
首先，將參考圖1來說明本發明的實施例1中的攝像設備的示意性結構。圖1是本實施例中的攝像設備100(照相機)的框圖。攝像設備100是包括照相機本體和可移除地安裝至照相機本體的可更換鏡頭(成像光學系統或攝像光學系統)的數位照相機系統。然而，本實施例不限於此，並且還可以應用於包括照相機本體和鏡頭一體構成的攝像設備。
第一透鏡單元101配置在構成攝像鏡頭(成像光學系統)的多個透鏡單元的前側(被攝體側)，並且被鏡筒保持以在光軸OA的方向(光軸方向)上能夠往復移動。光圈/快門102(開口光圈)調節其開口直徑以控制拍攝圖像時的光量，並且光圈/快門102還用作快門以控制拍攝靜止圖像時的曝光時間。第二透鏡單元103在光軸方向上與光圈/快門102一體地往復移動，並且第二透鏡單元103具有用於與第一透鏡單元101的往復運動連動地進行變倍操作的變焦功能。第三透鏡單元105是在光軸方向上往復移動以進行調焦(調焦操作)的調焦透鏡單元。光學低通濾波器106是用於減少所拍攝圖像(拍攝圖像)的偽色或摩爾紋的光學元件。
攝像元件107(圖像傳感器)對經由成像光學系統所形成的被攝體圖像(光學圖像)進行光電轉換，並且攝像元件107例如包括CMOS傳感器或CCD傳感器及其外圍電路。作為攝像元件107，例如使用包括原色馬賽克濾波器的二維單板顏色傳感器，其中該原色馬賽克濾波器包括在片上結構中的水平方向上具有m個像素並且垂直方向上具有n個像素的光接收像素上所形成的拜爾陣列。
變焦致動器111轉動移動(驅動)凸輪筒(未示出)，以沿著光軸方向移動第一透鏡單元101和第二透鏡單元103，從而進行變倍操作。光圈/快門致動器112控制光圈/快門102的開口直徑以調節光量(攝像光量)，並且還控制拍攝靜止圖像時的曝光時間。調焦致動器114在光軸方向上移動第三透鏡單元105，以進行調焦。
電子閃光燈115是要用來對被攝體進行照明的照明裝置。作為電子閃光燈115，使用包括氙燈的閃光燈照明裝置或者包括用於連續發射光的LED(發光二極體)的照明裝置。AF輔助光單元116經由投影透鏡將具有預定的開口圖案的掩模的圖像投影到被攝體上。在該結構中，對於暗被攝體或者具有低對比度的被攝體，可以提高焦點檢測能力。
CPU 121是用於管理攝像設備100的各種控制的控制設備(控制單元或控制器)。CPU 121包括處理器、ROM、RAM、A/D轉換器、D/A轉換器和通信接口電路等。CPU 121讀出並執行在ROM中所存儲的預定程序，以驅動攝像設備100的各種電路並且進行諸如焦點檢測(AF)、圖像拍攝(攝像)、圖像處理或記錄等的一系列操作。通信接口電路可以使用諸如無線LAN等的無線技術來進行通信，並且使用諸如USB和有線LAN等的線纜來進行通信。
CPU 121包括生成單元121a(生成部件、生成電路或生成器)、計算單元121b(計算部件、計算電路或計算器)以及調焦控制單元121c(調焦控制部件、調焦控制電路或調焦控制器)。生成單元121a基於來自多個光電轉換部(第一像素組和第二像素組)的多個類型的顏色信號，來生成第一焦點檢測信號和第二焦點檢測信號，其中該多個光電轉換部用於接收穿過成像光學系統中的彼此不同的部分光瞳區域的光束。計算單元121b通過使用第一焦點檢測信號和第二焦點檢測信號利用相位差檢測方法來計算散焦量。調焦控制單元121c基於該散焦量來進行調焦控制。生成單元121a可以基於多個類型的顏色信號來生成視點圖像(視差圖像)。
電子閃光燈控制電路122與攝像操作同步地進行電子閃光燈115的發光控制。輔助光碟機動電路123與焦點檢測操作同步地進行AF輔助光單元116的發光控制。攝像元件驅動電路124對攝像元件107的諸如垂直掃描和水平掃描等的攝像操作進行控制，並且還對所獲取到的圖像信號進行A/D轉換，以將信號發送至CPU 121。A/D轉換電路(A/D轉換器)可以設置在攝像元件107中。圖像處理電路125對從攝像元件107輸出的圖像數據進行諸如γ(伽馬)變換、顏色插值或者JPEG(聯合圖像專家小組)壓縮等的處理。
調焦驅動電路126基於焦點檢測結果來驅動調焦致動器114，以使第三透鏡單元105沿著光軸方向移動，從而進行調焦。光圈/快門驅動電路128驅動光圈/快門致動器112，以控制光圈/快門102的開口直徑。變焦驅動電路129響應於用戶的變焦操作來驅動變焦致動器111。
顯示裝置131例如包括LCD(液晶顯示器)。顯示裝置131顯示與攝像設備100的攝像模式有關的信息、拍攝圖像之前的預覽圖像、拍攝圖像之後的確認圖像、或者進行焦點檢測時的聚焦狀態顯示圖像等。操作構件132(操作切換單元)包括電源開關、釋放(攝像觸發)開關、變焦操作開關和攝像模式選擇開關等。釋放開關是具有半按下狀態(SW1接通的狀態)和完全按下狀態(SW2接通的狀態)的二級開關。記錄介質133例如是可以從攝像設備100移除的閃速存儲器，並且記錄介質133記錄所拍攝的圖像(圖像數據)。操作構件132可以包括觸摸面板，以使得可以通過使用該觸摸面板來進行操作。
接著，將參考圖2、3A和3B來說明本實施例中的攝像元件107的像素陣列和像素結構。圖2是示出攝像元件107的像素陣列的圖。圖3A和3B是示出攝像元件107的像素結構的圖，並且圖3A和3B分別示出攝像元件107的像素200G的平面圖(從+z方向觀看)和沿著圖3A的線a-a的截面圖(從-y方向觀看)。
圖2以4列×4行的範圍示出攝像元件107(二維CMOS傳感器)的像素陣列(攝像像素的陣列)。在本實施例中，攝像像素(像素200R、200G和200B)各自包括兩個子像素201和202(兩個焦點檢測像素)。因此，圖2以8列×4行的範圍示出子像素的陣列。
如圖2所示，在拜爾陣列中，2列×2行的像素組200包括像素200R、200G和200B。換句話說，在像素組200中，具有針對R(紅色)的光譜靈敏度的像素200R配置在左上方，具有針對G(綠色)的光譜靈敏度的像素200G配置在右上方和左下方，並且具有針對B(藍色)的光譜靈敏度的像素200B配置在右下方。像素200R、200G和200B各自(各攝像像素)包括以2列×1行配置的子像素201(第一焦點檢測像素)和子像素202(第二焦點檢測像素)。子像素201是用於接收穿過成像光學系統的第一光瞳區域的光束的像素。子像素202是用於接收穿過成像光學系統的第二光瞳區域的光束的像素。多個子像素201構成第一像素組，並且多個子像素202構成第二像素組。
如圖2所示，攝像元件107包括配置在表面上的4列×4行的多個攝像像素(8列×4行的子像素)，並且攝像元件107輸出攝像信號(子像素信號)。在本實施例的攝像元件107中，像素(攝像像素)的周期P是4μm，並且像素(攝像像素)的數量N是橫向5575列×縱向3725行＝大約20.75百萬個像素。在攝像元件107中，列方向上的子像素的周期PSUB是2μm，子像素的數量NSUB是橫向11150列×縱向3725行＝大約41.50百萬個像素。
如圖3B所示，本實施例的像素200G在像素的光接收面側設置有用以會聚入射光的微透鏡305。多個微透鏡305以二維方式排列，並且微透鏡305各自配置在z軸方向(光軸OA的方向)上與光接收面相距預定距離的位置處。在像素200G中，通過在x方向上將像素分割成NH個(二分割)並且在y方向上將像素分割成NV個(一分割)，來形成光電轉換部301和光電轉換部302(光電轉換器)。光電轉換部301和光電轉換部302分別與子像素201和子像素202相對應。如上所述，針對一個微透鏡，攝像元件107包括多個光電轉換部，並且以二維方式排列微透鏡。光電轉換部301和光電轉換部302各自被配置成具有p-i-n結構的光電二極體，其中該p-i-n結構包括p型層、n型層以及在p型層和n型層之間的本徵層。根據需要，可以除去本徵層，並且可以應用具有p-n結的光電二極體。
像素200G(各像素)在微透鏡305和各個光電轉換部301和302之間設置有G(綠色)顏色濾波器306。同樣地，像素200R和200B(各像素)分別在微透鏡305和各個光電轉換部301和302之間設置有R(紅色)和B(藍色)顏色濾波器306。根據需要，可以針對各子像素改變顏色濾波器306的光譜透過率，或者可選地可以除去顏色濾波器。
如圖3A和3B所示，進入像素200G(200R或200B)的光被微透鏡305會聚，並且被G顏色濾波器306(R顏色濾波器306或B顏色濾波器306)分光，然後由光電轉換部301和302接收所分光後的光。在各個光電轉換部301和302中，根據受光量來生成電子-空穴對，並且電子-空穴對在耗盡層中分離，然後在n型層中累積具有負電荷的電子。另一方面，通過連接至恆定電壓源(未示出)的p型層，來將空穴排出至攝像元件107的外部。基於來自攝像元件驅動電路124的掃描控制，將光電轉換部301和302的n型層中所累積的電子通過傳輸門傳輸至靜電電容(FD)以轉換成電壓信號。
隨後，將參考圖4來說明攝像元件107的光瞳分割功能。圖4是攝像元件107的光瞳分割功能的說明圖，並且示出一個像素部中的光瞳分割的情形。圖4示出當從+y方向觀看時圖3A所示的像素結構的截面A-A的截面圖以及成像光學系統的出射光瞳面。在圖4中，為了與出射光瞳面的坐標軸相對應，使截面圖中的x軸和y軸相對於圖3A和3B的x軸和y軸反轉。
在圖4中，針對子像素201(第一焦點檢測像素)的部分光瞳區域501(第一部分光瞳區域)經由微透鏡305與重心在-x方向上偏離(偏心)的光電轉換部301的光接收面具有大致共軛關係。因而，部分光瞳區域501表示能夠通過子像素201接收光的光瞳區域。針對子像素201的部分光瞳區域501的重心在光瞳面上在+x方向上偏離(偏心)。針對子像素202(第二焦點檢測像素)的部分光瞳區域502(第二部分光瞳區域)經由微透鏡305與重心在+x方向上偏離(偏心)的光電轉換部302的光接收面具有大致共軛關係。因而，部分光瞳區域502表示能夠通過子像素202接收光的光瞳區域。針對像素202的部分光瞳區域502的重心在光瞳面上在-x方向上偏離(偏心)。光瞳區域500是在光電轉換部301和302(子像素201和202)整體結合的情況下能夠在像素200G的整個區域上接收光的光瞳區域。
圖5是用於說明攝像元件107和光瞳分割功能的圖。穿過成像光學系統的光瞳區域中彼此不同的部分光瞳區域501和502的光束進入攝像元件107的各像素，即以彼此不同的角度進入攝像元件107的攝像面800，並且由被分割成2×1的子像素201和202接收。本實施例說明了光瞳區域在水平方向上被分割成兩個的示例，但本發明不限於此，並且根據需要可以在垂直方向上進行光瞳分割。
在本實施例中，攝像元件107包括用於接收穿過成像光學系統(攝像鏡頭)的第一部分光瞳區域的光束的第一顏色的第一焦點檢測像素以及用於接收穿過第一部分光瞳區域的光束的第二顏色的第一焦點檢測像素。此外，攝像元件107包括用於接收穿過與成像光學系統的第一部分光瞳區域不同的第二部分光瞳區域的光束的第一顏色的第二焦點檢測像素以及用於接收穿過第二部分光瞳區域的光束的第二顏色的第二焦點檢測像素。攝像元件107包括用於接收穿過通過結合成像光學系統的第一部分光瞳區域和第二部分光瞳區域所形成的光瞳區域的光束的多個陣列攝像像素。在本實施例中，各攝像像素(像素200)包括第一焦點檢測像素(子像素201)和第二焦點檢測像素(子像素202)。根據需要，攝像像素、第一焦點檢測像素和第二焦點檢測像素可以由彼此不同的像素構成。在這種情況下，在攝像像素陣列的一部分中，部分地(離散地)配置第一焦點檢測像素和第二焦點檢測像素。
在本實施例中，攝像設備100收集攝像元件107的各像素的第一焦點檢測像素(子像素201)的光接收信號以生成第一焦點檢測信號，並且收集各像素的第二焦點檢測像素(子像素202)的光接收信號以生成第二焦點檢測信號，從而進行焦點檢測。此外，攝像設備100對針對攝像元件107的各像素的第一焦點檢測像素和第二焦點檢測像素的信號進行相加(合成)，以生成具有與有效像素的數量N相對應的解析度的攝像信號(所拍攝的圖像)。如上所述，攝像設備100包括圖像生成單元(CPU 121或圖像生成部件)，其中該圖像生成單元用於基於通過針對各微透鏡對第一像素組和第二像素組各自中所包括的像素進行相加(合成)所獲得的信號來生成所拍攝的圖像。
接著，將參考圖6來說明從攝像元件107的子像素201所獲取到的第一焦點檢測信號和從子像素202所獲取到的第二焦點檢測信號的散焦量與圖像偏移量之間的關係。圖6是示出散焦量和圖像偏移量之間的關係的圖。在圖6中，攝像元件107配置在攝像面800上，並且與圖4和5同樣地，示出了成像光學系統的出射光瞳被分割成兩個部分光瞳區域501和502的情形。
散焦量d被定義為使得從被攝體的成像位置到攝像面800的距離是|d|、成像位置相對於攝像面800位於被攝體側的前焦點狀態為負符號(d0)。在被攝體的成像位置位於攝像面800(聚焦位置)上的聚焦狀態下，散焦量d＝0成立。在圖6中，示出了處於聚焦狀態(d＝0)的被攝體801和處於前焦點狀態(d<0)的被攝體802。將前焦點狀態(d0)統稱為失焦狀態(|d|>0)。
在前焦點狀態(d0)，但第一焦點檢測信號和第二焦點檢測信號之間的被攝體圖像的圖像偏移方向與前焦點狀態下的圖像偏移方向相反。
如上所述，在本實施例中，隨著第一焦點檢測信號和第二焦點檢測信號之間的散焦量的絕對值的增大、或者通過將第一焦點檢測信號和第二焦點檢測信號相加所獲得的攝像信號的增大，第一焦點檢測信號和第二焦點檢測信號之間的圖像偏移量的絕對值增大。
接著，將說明本實施例中的焦點檢測。本實施例的攝像設備100進行作為焦點檢測的第一焦點檢測和第二焦點檢測。第一焦點檢測是光瞳分割方向上焦點檢測信號的信號周期大並且空間頻帶低的利用相位差檢測方法的焦點檢測。第二焦點檢測是光瞳分割方向上焦點檢測信號的信號周期小並且空間頻帶高的利用相位差檢測方法的焦點檢測。在本實施例中，攝像元件107的列方向是光瞳分割方向，並且攝像元件107的行方向是與光瞳分割方向垂直的方向。針對從大的散焦狀態到小的散焦狀態的調焦進行第一焦點檢測，並且針對從小的散焦狀態到鄰近的最佳聚焦位置的調焦進行第二焦點檢測。
接著，將說明本實施例中的利用相位差檢測方法的第一焦點檢測。在要進行第一焦點檢測的情況下，攝像設備100的CPU 121(計算單元121b)使第一焦點檢測信號和第二焦點檢測信號相對偏移，以計算用於表示信號的一致度的第一相關量(第一評價值)。然後，CPU 121基於相關性(一致度)良好的偏移量來計算圖像偏移量。由於存在第一焦點檢測信號和第二焦點檢測信號之間的圖像偏移量的絕對值隨著攝像信號的散焦量的絕對值的增大而增大的關係，因此CPU 121將圖像偏移量轉換成第一散焦量以進行焦點檢測。
將參考圖7來說明利用相位差檢測方法的第一焦點檢測處理的流程。圖7是示出第一焦點檢測處理的流程圖，並且圖7與以下說明的圖13中的步驟S100相對應。圖7的各步驟主要由CPU 121(生成單元121a和計算單元121b)和圖像處理電路125來執行。
首先，在步驟S110中，CPU 121針對攝像元件107的有效像素區域中的調焦來設置焦點檢測區域。然後，CPU 121(生成單元121a)基於針對焦點檢測區域中所包括R、G和B(第一顏色、第二顏色和第三顏色)中的各顏色的第一焦點檢測像素的光接收信號(輸出信號)，生成(獲取)針對R、G和B中的各顏色的第一焦點檢測信號(A圖像信號)。同樣地，CPU 121基於針對焦點檢測區域中所包括R、G和B中的各顏色的第二焦點檢測像素的光接收信號(輸出信號)，生成(獲取)針對R、G和B中的各顏色的第二焦點檢測信號(B圖像信號)。
隨後，在步驟S120中，CPU 121(生成單元121a)針對R、G和B的第一焦點檢測信號和第二焦點檢測信號中的各個焦點檢測信號，進行第一像素相加處理，以將顏色信號(RGB信號)各自轉換成亮度信號(Y信號)。結果，生成處理後的第一焦點檢測信號和第二焦點檢測信號。
將參考圖8來說明本實施例中的第一像素相加處理。圖8是第一像素相加處理的說明圖。在圖8中，通過A(i,j)來表示拜爾陣列中列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行處的第一焦點檢測信號。針對R、G和B中的各顏色來表示第一焦點檢測信號。通過RA(i,j)＝A(i,j)來表示R(第一顏色)的第一焦點檢測信號。通過GA(i,j+1)＝A(i,j+1)和GA(i+1,j)＝A(i+1,j)來表示G(第二顏色)的第一焦點檢測信號。通過BA(i+1,j+1)＝A(i+1,j+1)來表示B(第三顏色)的第一焦點檢測信號。同樣地，通過B(i,j)來表示拜爾陣列中列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行處的第二焦點檢測信號。同樣，針對R、G和B中的各顏色來表示第二焦點檢測信號。通過RB(i,j)＝B(i,j)來表示R(第一顏色)的第二焦點檢測信號。通過GB(i,j+1)＝B(i,j+1)和GB(i+1,j)＝A(i+1,j)來表示G(第二顏色)的第二焦點檢測信號。通過BB(i+1,j+1)＝B(i+1,j+1)來表示B(第三顏色)的第二焦點檢測信號。
根據圖7的步驟S120中的第一像素相加處理，如以下表達式(1A)所示，可以基於拜爾陣列的第一焦點檢測信號A(i,j)來計算第一焦點檢測信號Y1A(i,j)作為Y信號。同樣地，根據第一像素相加處理，如以下表達式(1B)所示，可以基於拜爾陣列的第二焦點檢測信號B(i,j)來計算第二焦點檢測信號Y1B(i,j)作為Y信號。
在表達式(1A)和(1B)中，i＝2m並且j＝2n(m和n是整數)成立。由於本實施例的像素以拜爾陣列進行配置，因此將i和j的值乘以2。因此，如果將像素配置在與拜爾陣列不同的陣列中，則優選與陣列的周期性相對應地調整i或j。例如，如果在水平方向上利用四像素的周期來配置顏色濾波器，則優選將i或j設置成乘以4。
在本實施例的第一焦點檢測處理中，作為Y信號的焦點檢測信號在列方向(光瞳分割方向)上的信號周期比拜爾陣列的焦點檢測信號在列方向(光瞳分割方向)上的信號周期大。此外，在本實施例的第一焦點檢測處理中，為了穩定地進行從大的散焦狀態到小的散焦狀態的焦點檢測，進行第一像素相加處理，以使得焦點檢測信號在光瞳分割方向上的信號周期增大，並且焦點檢測信號的空間頻帶降低。
隨後，在步驟S130中，CPU 121和圖像處理電路125針對第一焦點檢測信號和第二焦點檢測信號中的各檢測信號進行陰影校正處理(光學校正處理)。將參考圖9A～9C來說明由第一焦點檢測信號和第二焦點檢測信號光瞳偏移所產生的陰影。圖9A～9C是由第一焦點檢測信號和第二焦點檢測信號的光瞳偏移所產生的陰影的說明圖。具體地，圖9A～9C示出攝像元件107的外圍圖像高度處的子像素201(第一焦點檢測像素)的部分光瞳區域501、子像素202(第二焦點檢測像素)的部分光瞳區域502、以及成像光學系統的出射光瞳400之間的關係。
圖9A示出成像光學系統的出射光瞳距離Dl(出射光瞳400與攝像元件107的攝像面之間的距離)等於攝像元件107的設置光瞳距離Ds的情況。在這種情況下，成像光學系統的出射光瞳400被部分光瞳區域501和502大約均等地分割。
另一方面，如圖9B所示，在成像光學系統的出射光瞳距離Dl比攝像元件107的設置光瞳距離Ds短的情況下，在攝像元件107的外圍圖像高度處，在成像光學系統的出射光瞳400和攝像元件107的入射光瞳之間產生光瞳偏移。因此，成像光學系統的出射光瞳400不是被均勻地分割。同樣地，如圖9C所示，在成像光學系統的出射光瞳距離Dl比攝像元件107的設置光瞳距離Ds長的情況下，在攝像元件107的外圍圖像高度處，在成像光學系統的出射光瞳400和攝像元件107的入射光瞳之間產生光瞳偏移。因此，成像光學系統的出射光瞳400不是被均勻地分割。由於在外圍圖像高度處光瞳分割不均等，因此第一焦點檢測信號和第二焦點檢測信號的強度彼此不相等。因此，第一焦點檢測信號和第二焦點檢測信號其中一個的強度增大且另一個的強度減小而產生陰影。
在圖7的步驟S130中，CPU 121根據焦點檢測區域的圖像高度、攝像鏡頭(成像光學系統)的F值以及出射光瞳距離，來生成第一焦點檢測信號的第一陰影校正係數和第二焦點檢測信號的第二陰影校正係數。然後，CPU 121(圖像處理電路125)將第一焦點檢測信號乘以第一陰影校正係數，並且將第二焦點檢測信號乘以第二陰影校正係數，以對第一焦點檢測信號和第二焦點檢測信號進行陰影校正處理(光學校正處理)。
在進行利用相位差檢測方法的第一焦點檢測的情況下，CPU 121基於第一焦點檢測信號和第二焦點檢測信號之間的相關性(一致度)來檢測(計算)散焦量(第一散焦量)。在由於光瞳偏移而產生陰影的情況下，第一焦點檢測信號和第二焦點檢測信號之間的相關性(一致度)可能降低。因此，在本實施例中，在進行利用相位差檢測方法的第一焦點檢測的情況下，CPU 121優選進行陰影校正處理(光學校正處理)，以提高第一焦點檢測信號和第二焦點檢測信號之間的相關性(一致度)，從而提高焦點檢測性能。
隨後，在步驟S140中，CPU 121和圖像處理電路125對第一焦點檢測信號和第二焦點檢測信號進行第一濾波處理。圖10是第一濾波處理的說明圖，並且圖10利用虛線示出了本實施例的第一濾波處理中的通帶的示例。在本實施例中，通過相位差檢測方法的第一焦點檢測來進行大的散焦狀態下的焦點檢測。因此，第一濾波處理中的通帶包括低頻帶。根據需要，在進行從大的散焦狀態到小的散焦狀態的調焦時，可以根據散焦狀態來調節第一焦點檢測處理期間的第一濾波處理的通帶。
隨後，在步驟S150中，CPU 121(計算單元121b)進行使進行了第一濾波處理的第一焦點檢測信號和第二焦點檢測信號在光瞳分割方向上相對偏移的第一偏移處理。然後，CPU 121計算表示信號的一致度的第一相關量(第一評價值)。
在本實施例中，對於列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行，分別由dY1A(i,j)和dY1B(i,j)來表示進行了第一濾波處理的第一焦點檢測信號和第二焦點檢測信號。由W來表示與焦點檢測區域相對應的編號j的範圍，並且由L來表示編號i的範圍。由s1來表示利用第一偏移處理的偏移量，並且由Γ1來表示偏移量s1的偏移範圍。在這種情況下，由以下表達式(2)來表示相關量COR1even(第一評價值)。
在計算第一相關量COR1even時，針對i行各自的偏移量s1，CPU 121使列方向上的第(j+s1)列的第一焦點檢測信號dY1A(i,j+s1)與列方向上的第(j-s1)列的第二焦點檢測信號dY1B(i,j-s1)相關聯，以進行這兩個焦點檢測信號的相減，從而生成偏移相減信號。然後，CPU 121計算所生成的偏移相減信號的絕對值，並且獲得與焦點檢測區域相對應的範圍W內的編號j的總和，以計算針對i行的第一相關量COR1even(i,s1)。此外，針對各偏移量的第一相關量COR1even(i,s1)，CPU 121獲得與焦點檢測區域相對應的範圍L內的編號i的總和，以計算第一相關量COR1even(s1)。
隨後，在步驟S160中，CPU 121(計算單元121b)進行針對第一相關量(第一評價值)的子像素計算，以計算表示最小第一相關量的實值偏移量，從而獲得圖像偏移量p1。然後，CPU 121將圖像偏移量p1乘以與焦點檢測區域的圖像高度、攝像鏡頭(成像光學系統)的F值以及出射光瞳距離相對應的第一轉換係數K1，以檢測(計算)第一散焦量Def1。
接著，將參考圖11來說明利用相位差檢測方法的第二焦點檢測處理。圖11是示出第二焦點檢測處理的流程圖，並且圖12與以下說明的圖13中的步驟S200相對應。圖11的各步驟主要由CPU 121(生成單元121a和計算單元121b)和圖像處理電路125來執行。
首先，在步驟S210中，CPU 121針對攝像元件107的有效像素區域中的調焦來設置焦點檢測區域。然後，CPU 121(生成單元121a)基於針對焦點檢測區域中所包括R、G和B(第一顏色、第二顏色和第三顏色)中的各顏色的第一焦點檢測像素的光接收信號(輸出信號)，生成(獲取)針對R、G和B中的各顏色的第一焦點檢測信號(A圖像信號)。同樣地，CPU 121基於針對焦點檢測區域中所包括R、G和B中的各顏色的第二焦點檢測像素的光接收信號(輸出信號)，生成(獲取)針對R、G和B中的各顏色的第二焦點檢測信號(B圖像信號)。
隨後，在步驟S220中，CPU 121(生成單元121a)針對R、G和B的第一焦點檢測信號和第二焦點檢測信號中的各個焦點檢測信號，進行第二像素相加處理，以將顏色信號(RGB信號)各自轉換亮度信號(Y信號)。結果，生成處理後的第一焦點檢測信號和第二焦點檢測信號。
將參考圖12來說明本實施例中的第二像素相加處理。圖12是第二像素相加處理的說明圖。在圖12中，通過A(i,j)來表示拜爾陣列中列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行處的第一焦點檢測信號。針對R、G和B中的各顏色來表示第一焦點檢測信號。通過RA(i,j)＝A(i,j)來表示R(第一顏色)的第一焦點檢測信號。通過GA(i,j+1)＝A(i,j+1)和GA(i+1,j)＝A(i+1,j)來表示G(第二顏色)的第一焦點檢測信號。通過BA(i+1,j+1)＝A(i+1,j+1)來表示B(第三顏色)的第一焦點檢測信號。同樣地，通過B(i,j)來表示拜爾陣列中列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行處的第二焦點檢測信號。同樣，針對R、G和B中的各顏色來表示第二焦點檢測信號。通過RB(i,j)＝B(i,j)來表示R(第一顏色)的第二焦點檢測信號。通過GB(i,j+1)＝B(i,j+1)和GB(i+1,j)＝A(i+1,j)來表示G(第二顏色)的第二焦點檢測信號。通過BB(i+1,j+1)＝B(i+1,j+1)來表示B(第三顏色)的第二焦點檢測信號。
根據圖11的步驟S220中的第二像素相加處理，如以下表達式(3A)所示，可以基於拜爾陣列的第一焦點檢測信號A(i,j)來計算第一焦點檢測信號Y2A(i,j)作為Y信號、即第一亮度信號。同樣地，根據第二像素相加處理，如以下表達式(3B)所示，可以基於拜爾陣列的第二焦點檢測信號B(i,j)來計算第二焦點檢測信號Y2B(i,j)作為Y信號、即第二亮度信號。
在表達式(3A)和(3B)中，i＝2m並且j＝2n或j＝2n+1(m和n是整數)成立。
對於表達式(3A)中的j＝2n，對R(第一顏色)的2RA(i,j)的顏色重心(i,j)和G(第二顏色)的GA(i,j-1)+GA(i,j+1)的顏色重心(i,j)進行合成，以使得各顏色的顏色重心在光瞳分割方向(列方向)上彼此一致。此外，還對G(第二顏色)的2GA(i+1,j)的顏色重心(i+1,j)和B(第三顏色)的BA(i+1,j-1)+BA(i+1,j+1)的顏色重心(i+1,j)進行合成，以使得各顏色的顏色重心在光瞳分割方向(列方向)上彼此一致。同時，對這些重心進行合成，以使得顏色比R(第一顏色)：G(第二顏色)：B(第三顏色)是1：2：1。
對於表達式(3A)中的j＝2n+1，對R(第一顏色)的RA(i,j)+RA(i,j+2)的顏色重心(i,j+1)和G(第二顏色)的2GA(i,j+1)的顏色重心(i,j+1)進行合成，以使得各顏色的顏色重心在光瞳分割方向(列方向)上彼此一致。此外，還對G(第二顏色)的GA(i+1,j)+GA(i+1,j+2)的顏色重心(i+1,j+1)和B(第三顏色)的2BA(i+1,j+1)的顏色重心(i+1,j+1)進行合成，以使得各顏色的顏色重心在光瞳分割方向(列方向)上彼此一致。此時，對這些重心進行合成，以使得顏色比R(第一顏色)：G(第二顏色)：B(第三顏色)是1：2：1。如上所述，利用預定的顏色比來對這些顏色重心進行合成，以使得各顏色的顏色重心彼此一致，這同樣適用於表達式(3B)。
如上所述，在第二像素相加處理中，根據拜爾陣列的焦點檢測信號來生成作為Y信號的焦點檢測信號，以使得全部像素中的顏色比R(第一顏色)：G(第二顏色)：B(第三顏色)是1：2：1，並且各顏色的重心在光瞳分割方向上彼此一致。因此，在第二焦點檢測處理中，作為Y信號的焦點檢測信號在列方向(光瞳分割方向)上的信號周期等於拜爾陣列的焦點檢測信號在列方向(光瞳分割方向)上的信號周期，並且信號周期是等間隔的。結果，可以檢測到高空間頻帶。
另一方面，如果各顏色的重心在光瞳分割方向上不是彼此一致，則各顏色的周期的間隔不等，因此需要使用低通濾波器來進行穩定化，並且難以穩定地檢測高空間頻帶。
在本實施例的第二焦點檢測處理中，作為Y信號的焦點檢測信號在光瞳分割方向上的信號周期等於拜爾陣列的焦點檢測信號在光瞳分割方向上的信號周期，並且比針對第一焦點檢測的作為Y信號的焦點檢測信號在光瞳分割方向上的信號周期短。生成單元121a對第一顏色的第一焦點檢測像素的信號與第二顏色的第一焦點檢測像素的信號進行綜合(合成)，以使得針對各像素的顏色重心在光瞳分割方向上彼此一致，從而生成第一焦點檢測信號。此外，生成單元121a對第一顏色的第二焦點檢測像素的信號與第二顏色的第二焦點檢測像素的信號進行綜合(合成)，以使得針對各像素的顏色重心在光瞳分割方向上彼此一致，從而生成第二焦點檢測信號。在本實施例的第二焦點檢測處理中，為了穩定地進行從小的散焦狀態到鄰近的最佳聚焦位置的焦點檢測，進行第二像素相加處理，以使得焦點檢測信號在光瞳分割方向上的信號周期減小，並且焦點檢測信號的空間頻帶升高。
隨後，在步驟S230中，CPU 121和圖像處理電路125針對第一焦點檢測信號和第二焦點檢測信號中的各檢測信號進行陰影校正處理(光學校正處理)。在這種情況下，CPU 121根據焦點檢測區域的圖像高度、攝像鏡頭(成像光學系統)的F值以及出射光瞳距離，來生成第一焦點檢測信號的第一陰影校正係數和第二焦點檢測信號的第二陰影校正係數。然後，CPU 121(圖像處理電路125)將第一焦點檢測信號乘以第一陰影校正係數，並且將第二焦點檢測信號乘以第二陰影校正係數，以對第一焦點檢測信號和第二焦點檢測信號進行陰影校正處理(光學校正處理)。
在進行利用相位差檢測方法的第二焦點檢測的情況下，CPU 121基於第一焦點檢測信號和第二焦點檢測信號之間的相關性(一致度)來檢測(計算)散焦量(第二散焦量)。在由於光瞳偏移而產生陰影的情況下，第一焦點檢測信號和第二焦點檢測信號之間的相關性(一致度)可能降低。因此，在本實施例中，在進行利用相位差檢測方法的第二焦點檢測的情況下，CPU 121優選進行陰影校正處理(光學校正處理)，以提高第一焦點檢測信號和第二焦點檢測信號之間的相關性(一致度)，從而提高焦點檢測性能。
隨後，在步驟S240中，CPU 121和圖像處理電路125對第一焦點檢測信號和第二焦點檢測信號進行第二濾波處理。圖10是第二濾波處理的說明圖，並且圖10利用實線示出了本實施例的第二濾波處理中的通帶的示例。在本實施例中，通過相位差檢測方法的第二焦點檢測來進行從小的散焦狀態到鄰近的最佳聚焦位置的焦點檢測。因此，第二濾波處理中的通帶包括高頻帶。根據需要，在進行從小的散焦狀態到鄰近的最佳聚焦位置的調焦時，可以根據散焦狀態來調節第二焦點檢測處理期間的第二濾波處理的通帶。作為用於調節通帶的示例，存在信號的水平相加或間隔剔除(稀疏)等。
隨後，在步驟S250中，CPU 121(計算單元121b)進行使作為第二濾波處理的結果而獲得的第一焦點檢測信號和第二焦點檢測信號在光瞳分割方向上相對偏移的第二偏移處理。然後，CPU 121計算表示信號的一致度的第二相關量(第二評價值)。
在本實施例中，對於列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行，分別由dY2A(i,j)和dY2B(i,j)來表示進行了第二濾波處理的第一焦點檢測信號和第二焦點檢測信號。由W來表示與焦點檢測區域相對應的編號j的範圍，並且由L來表示編號i的範圍。由s2來表示利用第二偏移處理的偏移量，並且由Γ2來表示偏移量s2的偏移範圍。在這種情況下，由以下表達式(4A)和(4B)來表示相關量COR2even和COR2odd(第二評價值)。
在計算第二相關量COR2even時，針對i行各自的偏移量s2，CPU 121使列方向上的第(j+s2)列的第一焦點檢測信號dY2A(i,j+s2)與列方向上的第(j-s2)列的第二焦點檢測信號dY2B(i,j-s2)相關聯，以進行這兩個焦點檢測信號的相減，從而生成偏移相減信號。然後，CPU 121計算所生成的偏移相減信號的絕對值，並且獲得與焦點檢測區域相對應的範圍W內的編號j的總和，以計算針對i行的第二相關量COR2even(i,s2)。此外，針對各偏移量的第二校正量COR2even(i,s2)，CPU 121獲得與焦點檢測區域相對應的範圍L內的編號i的總和，以計算第二相關量COR2even(s2)。
在計算第二相關量COR2odd的情況下，針對i行各自的偏移量s2，CPU 121使列方向上的第(j+s2)列的第一焦點檢測信號dY2A(i,j+s2)與列方向上的第(j-s2)列的第二焦點檢測信號dY2B(i,j-1-s2)相關聯，以進行這兩個焦點檢測信號的相減，從而生成偏移相減信號。然後，CPU 121計算所生成的偏移相減信號的絕對值，並且獲得與焦點檢測區域相對應的範圍W內的編號j的總和，以計算針對i行的第二相關量COR2odd(i,s2)。此外，針對各偏移量的第二相關量COR2odd(i,s2)，CPU 121獲得與焦點檢測區域相對應的範圍L內的編號i的總和，以計算第二相關量COR2odd(s2)。在本實施例中，第二相關量COR2odd(s2)是使第一焦點檢測信號和第二焦點檢測信號之間的偏移量相對於第二相關量COR2even(s2)偏移了半個相位的相關量。
隨後，在步驟S260中，CPU 121(計算單元121b)進行針對第二相關量COR2even和COR2odd(第二評價值)各自的子像素計算，以計算表示最小第二相關量的實值偏移量，並且將兩個實值偏移量進行平均來獲得圖像偏移量p2。然後，CPU 121通過基於相位彼此偏移了半個相位的兩個第二相關量COR2even和COR2odd計算圖像偏移量p2，來高精度地計算子像素。CPU 121將圖像偏移量p2乘以與焦點檢測區域的圖像高度、攝像鏡頭(成像光學系統)的F值以及出射光瞳距離相對應的第二轉換係數K2，以檢測(計算)第二散焦量Def2。
如上所述，在第二焦點檢測處理中，根據拜爾陣列的焦點檢測信號來生成作為Y信號的焦點檢測信號，以使得全部像素中的顏色比R(第一顏色)：G(第二顏色)：B(第三顏色)是1：2：1，並且各顏色的重心在光瞳分割方向上彼此一致。因此，在第二焦點檢測處理中，作為Y信號的焦點檢測信號在列方向(光瞳分割方向)上的信號周期等於拜爾陣列的焦點檢測信號在列方向(光瞳分割方向)上的信號周期，並且信號周期是等間隔的。結果，可以檢測到高空間頻帶。
根據本實施例的第二焦點檢測處理，可以減小焦點檢測信號的空間頻帶和用於生成所拍攝的圖像的攝像信號的空間頻帶之間的差，結果可以減小基於焦點檢測信號所計算出的檢測聚焦位置和攝像信號的最佳聚焦位置之間的差異。因而，根據本實施例的第二焦點檢測處理，可以高精度地進行從小散焦狀態到鄰近的最佳聚焦位置的焦點檢測。
接著，將參考圖13來說明本實施例中的調焦控制。圖13是示出調焦控制的流程圖。圖13中的各步驟主要由CPU 121(生成單元121a、計算單元121b和調焦控制單元121c)來執行。直到成像光學系統的散焦量的絕對值不大於第一預定值為止，CPU 121進行第一焦點檢測以驅動第三透鏡單元105(調焦透鏡單元)(進行透鏡驅動)，從而進行從成像光學系統的大的散焦狀態到小的散焦狀態的調焦。然後，直到成像光學系統的散焦量的絕對值不大於第二預定值(第一預定值>第二預定值)為止，CPU 121進行第二焦點檢測以進行透鏡驅動，從而進行從成像光學系統的小的散焦狀態到鄰近的最佳聚焦位置的調焦。
首先，在步驟S100中，CPU 121檢測(計算)利用第一焦點檢測的第一散焦量Def1。隨後，在步驟S301，CPU 121判斷步驟S100中所計算出的第一散焦量Def1的絕對值|Def1|是否小於第一預定值。在第一散焦量Def1的絕對值|Def1|大於第一預定值的情況下，CPU 121根據第一散焦量Def1來進行透鏡驅動，並且重複步驟S100。另一方面，在步驟S100中所計算出的第一散焦量Def1的絕對值|Def1|小於或等於第一預定值的情況下，流程進入步驟S200。
隨後，在步驟S200中，CPU 121檢測(計算)利用第二焦點檢測的第二散焦量Def2。隨後，在步驟S303，在步驟S200中所計算出的第二散焦量Def2的絕對值|Def2|大於第二預定值(第一預定值>第二預定值)的情況下，CPU121根據第二散焦量Def2來進行透鏡驅動(步驟S304)，並且重複步驟S200。另一方面，在步驟S200中所計算出的第二散焦量Def2的絕對值|Def2|小於或等於第二預定值的情況下，結束調焦(即，本流程中的調焦控制)。
在圖13的流程圖中，在第一焦點檢測之後進行第二焦點檢測，但本實施例不限於此，並且可以並行地進行第一焦點檢測和第二焦點檢測這兩者。圖17是示出在並行地進行第一焦點檢測和第二焦點檢測的情況下的調焦控制的流程圖。在圖17中，針對與圖13中的操作共同的操作，應用相同的附圖標記。圖17中的各步驟主要由CPU 121(生成單元121a、計算單元121b和調焦控制單元121c)來執行。
CPU 121進行第一焦點檢測和第二焦點檢測。然後，CPU 121判斷作為第二焦點檢測的結果的成像光學系統的第二散焦量Def2的絕對值|Def2|是否小於或等於第一預定值。在第二散焦量Def2的絕對值|Def2|小於或等於第一預定值的情況下，CPU 121判斷作為第一焦點檢測的結果的成像光學系統的第一散焦量Def1的絕對值|Def1|是否小於或等於第二預定值。另一方面，在第二散焦量Def2大於第一預定值的情況下，CPU 121判斷作為第二焦點檢測的結果的成像光學系統的第二散焦量Def2的絕對值|Def2|是否小於或等於第二預定值。
首先，在步驟S100中，CPU 121檢測(計算)利用第一焦點檢測的第一散焦量Def1。並行地，在步驟S200中，CPU 121檢測(計算)利用第二焦點檢測的第二散焦量Def2。
隨後，在步驟S401中，CPU 121判斷步驟S200中所計算出的第二散焦量Def2的絕對值|Def2|是否小於或等於第一預定值。在第二散焦量Def2的絕對值|Def2|大於第一預定值的情況下，流程進入步驟S402，並且CPU 121採用第一散焦量Def1作為散焦量Def。另一方面，在步驟S200中所計算出的第二散焦量Def2的絕對值|Def2|小於或等於第一預定值的情況下，流程進入步驟S403，並且CPU 121採用第二散焦量Def2作為散焦量Def。在步驟S402或S403之後，流程進入步驟S404。
隨後，在步驟S404中，CPU 121判斷步驟S402或S403中所計算出的散焦量Def的絕對值|Def|是否大於第二預定值(第一預定值>第二預定值)。在散焦量Def的絕對值|Def|大於第二預定值的情況下，流程進入步驟S405，並且CPU121根據散焦量Def來進行透鏡驅動。另一方面，在散焦量Def的絕對值|Def|小於或等於第二預定值的情況下，結束調焦(即，本流程中的調焦控制)。
根據本實施例的第二焦點檢測，在小光圈側的光圈值F(F值)中，可以與散焦狀態無關地高精度地進行利用相位差檢測方法的焦點檢測。隨著光圈值F增大為小光圈，作為部分光瞳區域501的重心和部分光瞳區域502的重心之間的重心間隔的基線長度減小，並且圖像偏移量p相對於散焦量d的改變量減小。因此，在小光圈側的光圈值F中，與散焦狀態無關地，可能降低焦點檢測精度。
在本實施例的第二焦點檢測中，第二焦點檢測期間的焦點檢測信號在列方向(光瞳分割方向)上的周期相對於第一焦點檢測期間的焦點檢測信號在列方向(光瞳分割方向)上的周期減小了一半。因此，可以使基於相關量所計算出的圖像偏移量的檢測精度提高為2倍(即，可以加倍)。根據本實施例的第二焦點檢測，在小光圈側的光圈值F(F值)中，可以與散焦狀態無關地高精度地進行焦點檢測。
根據本實施例中的攝像設備，可以減小基於焦點檢測信號的檢測聚焦位置和基於攝像信號的最佳聚焦位置之間的差異，以高精度地進行焦點檢測。
實施例2
接著，將參考圖14來說明本發明的實施例2中的第二像素相加處理。圖14是第二像素相加處理的說明圖。本實施例與實施例1僅第二像素相加處理不同，因此省略了其它描述。
在圖14中，通過A(i,j)來表示拜爾陣列中列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行處的第一焦點檢測信號。針對R、G和B中的各顏色來表示第一焦點檢測信號。通過RA(i,j)＝A(i,j)來表示R(第一顏色)的第一焦點檢測信號。通過GA(i,j+1)＝A(i,j+1)和GA(i+1,j)＝A(i+1,j)來表示G(第二顏色)的第一焦點檢測信號。通過BA(i+1,j+1)＝A(i+1,j+1)來表示B(第三顏色)的第一焦點檢測信號。同樣地，通過B(i,j)來表示拜爾陣列中列方向(光瞳分割方向)上的第j列並且行方向(與光瞳分割方向垂直的方向)上的第i行處的第二焦點檢測信號。同樣，針對R、G和B中的各顏色來表示第二焦點檢測信號。通過RB(i,j)＝B(i,j)來表示R(第一顏色)的第二焦點檢測信號。通過GB(i,j+1)＝B(i,j+1)和GB(i+1,j)＝A(i+1,j)來表示G(第二顏色)的第二焦點檢測信號。通過BB(i+1,j+1)＝B(i+1,j+1)來表示B(第三顏色)的第二焦點檢測信號。
根據圖11的步驟S220中的第二像素相加處理，如以下表達式(5A)所示，可以基於拜爾陣列的第一焦點檢測信號A(i,j)來計算第一焦點檢測信號Y2A(i,j)作為Y信號、即第一亮度信號。同樣地，根據第二像素相加處理，如以下表達式(5B)所示，可以基於拜爾陣列的第二焦點檢測信號B(i,j)來計算第二焦點檢測信號Y2B(i,j)作為Y信號、即第二亮度信號。
在表達式(5A)和(5B)中，i＝m並且j＝n(m和n是整數)成立。
在第二像素相加處理中，根據拜爾陣列的焦點檢測信號來生成作為Y信號的焦點檢測信號，以使得全部像素中的顏色比R(第一顏色)：G(第二顏色)：B(第三顏色)是1：2：1，並且各顏色的重心在光瞳分割方向上彼此一致。因此，在第二焦點檢測處理中，作為Y信號的焦點檢測信號在列方向(光瞳分割方向)上的信號周期等於拜爾陣列的焦點檢測信號在列方向(光瞳分割方向)上的信號周期，並且信號周期是等間隔的。結果，可以檢測到高空間頻帶。
根據本實施例的攝像設備，可以減小基於焦點檢測信號的檢測聚焦位置和基於攝像信號的最佳聚焦位置之間的差異，以高精度地進行焦點檢測。
實施例3
接著，將參考圖15、16A和16B來說明本發明的實施例3的攝像設備。本實施例與實施例1的不同之處在於攝像元件107的像素陣列。本實施例中的其它結構與實施例1中的結構相同，因此省略其說明。
圖15是示出本實施例中的攝像元件107的像素陣列的圖。圖16A和16B是示出攝像元件107的像素結構的圖，並且圖16A和16B分別示出攝像元件107的像素200G的平面圖(從+z方向觀看)和沿著圖16A的線a-a的截面圖(從-y方向觀看)。
圖15以4列×4行的範圍示出攝像元件107(二維CMOS傳感器)的像素陣列(攝像像素的陣列)。在本實施例中，攝像像素(像素200R、200G和200B)各自包括四個子像素201、202、203和204。因此，圖15以8列×8行的範圍示出子像素的陣列。
如圖15所示，在拜爾陣列中，2列×2行的像素組200包括像素200R、200G和200B。換句話說，在像素組200中，具有針對R(紅色)的光譜靈敏度的像素200R配置在左上方，具有針對G(綠色)的光譜靈敏度的像素200G配置在右上方和左下方，並且具有針對B(藍色)的光譜靈敏度的像素200B配置在右下方。像素200R、200G和200B各自(各攝像像素)包括2列×2行的陣列的201、202、203和204。儘管在本實施例中描述了各像素包括2列×2行的陣列的子像素的示例，但各像素可以包括更多的子像素或者可以包括數量在列方向上和在行方向上不同的子像素。子像素201是用於接收穿過成像光學系統的第一部分光瞳區域的光束的像素。子像素202是用於接收穿過成像光學系統的第二部分光瞳區域的光束的像素。子像素203是用於接收穿過成像光學系統的第三部分光瞳區域的光束的像素。子像素204是用於接收穿過成像光學系統的第四部分光瞳區域的光束的像素。
如圖15所示，攝像元件107包括配置在表面上的4列×4行的多個攝像像素(8列×8行的子像素)，並且攝像元件107輸出攝像信號(子像素信號)。在本實施例的攝像元件107中，像素(攝像像素)的周期P是4μm，並且像素(攝像像素)的數量N是橫向5575列×縱向3725行＝大約20.75百萬個像素。在攝像元件107中，列方向上的子像素的周期PSUB是2μm，並且子像素的數量NSUB是橫向11150列×縱向7450行＝大約83百萬個像素。
如圖16B所示，本實施例的像素200G在像素的光接收面側設置有用以會聚入射光的微透鏡305。微透鏡305各自配置在z軸方向(光軸OA的方向)上與光接收面預定相距距離的位置處。在像素200G中，通過在x方向上將像素分割成NH個(二分割)並且在y方向上將像素分割成NV個(二分割)，來形成光電轉換部301、302、303和304(光電轉換器)。光電轉換部301～304分別與子像素201～204相對應。
在本實施例中，攝像元件107包括共用一個微透鏡並且用於接收穿過成像光學系統(攝像鏡頭)的光瞳中彼此不同的區域(第一部分光瞳區域～第四部分光瞳區域)的多個光束的多個子像素。攝像元件107包括第一子像素(多個子像素201)、第二子像素(多個子像素202)、第三子像素(多個子像素203)和第四子像素(多個子像素204)作為多個子像素。
在本實施例中，針對攝像元件107的各像素，將子像素201、202、203和204的信號進行相加(合成)並讀出，以使得可以生成具有有效像素的數量N的解析度的所拍攝圖像。如上所述，通過對針對各像素的多個子像素(本實施例中的子像素201～204)的光接收信號進行綜合(合成)來生成所拍攝的圖像。
在本實施例中，通過將針對攝像元件107的各像素的子像素201和203的信號相加來生成第一焦點檢測信號，並且通過將針對攝像元件107的各像素的子像素202和204的信號相加來生成第二焦點檢測信號。在這種情況下，多個子像素201和203構成第一像素組，並且多個子像素202和204構成第二像素組。根據該相加處理，可以獲取到與水平方向上的光瞳分割相對應的第一焦點檢測信號和第二焦點檢測信號，並且可以進行利用相位差檢測方法的第一焦點檢測和第二焦點檢測。
在本實施例中，通過將針對攝像元件107的各像素的子像素201和202的信號相加(合成)來生成第一焦點檢測信號，並且通過將針對攝像元件107的各像素的子像素203和204的信號相加(合成)來生成第二焦點檢測信號。在這種情況下，多個子像素201和202構成第一像素組，並且多個子像素203和204構成第二像素組。根據該相加處理，可以獲取到與垂直方向上的光瞳分割相對應的第一焦點檢測信號和第二焦點檢測信號，並且可以進行利用相位差檢測方法的第一焦點檢測和第二焦點檢測。
根據本實施例的攝像設備，可以減小基於焦點檢測信號的檢測聚焦位置和基於攝像信號的最佳聚焦位置之間的差異，以高精度地進行焦點檢測。
如上所述，在各實施例中，控制設備(CPU 121)包括生成單元121a和計算單元121b。生成單元121a基於來自第一像素組和第二像素組的多個類型的顏色信號，來生成第一焦點檢測信號和第二焦點檢測信號，其中該第一像素組和第二像素組用於接收穿過成像光學系統中彼此不同的部分光瞳區域的光束。計算單元121b通過使用第一焦點檢測信號和第二焦點檢測信號利用相位差檢測方法來計算散焦量。生成單元121a對針對第一像素組的多個類型的顏色信號進行合成(即，進行像素相加處理)，以使得各顏色信號在光瞳分割方向上的重心彼此一致，從而生成第一焦點檢測信號。此外，生成單元121a對針對第二像素組的多個類型的顏色信號進行合成，以使得各顏色信號在光瞳分割方向上的重心彼此一致，從而生成第二焦點檢測信號。
優選地，在光瞳分割方向上，第一焦點檢測信號和第二焦點檢測信號的信號周期分別等於第一像素組和第二像素組的陣列周期。優選地，多個類型的顏色信號包括第一顏色信號、第二顏色信號和第三顏色信號。生成單元121a對針對第一像素組的第一顏色信號、第二顏色信號和第三顏色信號進行合成，以使得第一顏色信號、第二顏色信號和第三顏色信號在光瞳分割方向上的重心彼此一致，從而生成作為第一亮度信號(Y2A)的第一焦點檢測信號。此外，生成單元121a對針對第二像素組的第一顏色信號、第二顏色信號和第三顏色信號進行合成，以使得第一顏色信號、第二顏色信號和第三顏色信號在光瞳分割方向上的重心彼此一致，從而生成作為第二亮度信號(Y2B)的第二焦點檢測信號。
優選地，第一顏色信號是從第一像素組中的第一像素(例如，圖12所示的RA(i,j))獲得的信號。第二顏色信號是從第一像素組中的與第一像素鄰接的第二像素(GA(i,j-1))、第三像素(GA(i,j+1))和第四像素(GA(i+1,j))獲得的信號。在這種情況下，第一顏色信號和第二顏色信號各自在光瞳分割方向上的重心與第一像素的位置相對應。這同樣適用於第二像素組。更優選地，第三顏色信號是從第一像素組中的第五像素(例如，圖12所示的BA(i+1,j-1))和第六像素(BA(i+1,j+1))獲得的信號。在這種情況下，第三顏色信號在光瞳分割方向上的重心與第一像素的位置相對應。這同樣適用於第二像素組。
優選地，第一顏色信號是從第一像素組中的第一像素(例如，圖14所示的RA(i,j))獲得的信號。第二顏色信號是從第一像素組中的與第一像素鄰接的第二像素(GA(i,j-1))、第三像素(GA(i,j+1))、第四像素(GA(i+1,j))以及第五像素(GA(i-1,j)獲得的信號。在這種情況下，第一顏色信號和第二顏色信號各自在光瞳分割方向上的重心與第一像素的位置相對應。這同樣適用於第二像素組。更優選地，第三顏色信號是從第一像素組中的第六像素(例如，圖14所示的BA(i-1,j-1))、第七像素(BA(i+1,j-1))、第八像素(BA(i-1,j+1))以及第九像素(BA(i+1,j+1))獲得的信號。在這種情況下，第三顏色信號在光瞳分割方向上的重心與第一像素的位置相對應。這同樣適用於第二像素組。
優選地，第一顏色信號、第二顏色信號和第三顏色信號分別是紅色信號、綠色信號和藍色信號，並且第一像素組和第二像素組各自具有拜爾陣列。對於第一焦點檢測信號和第二焦點檢測信號中的各個焦點檢測信號，第一顏色信號、第二顏色信號和第三顏色信號的合成比是1：2：1。
優選地，控制設備包括用於基於散焦量來進行調焦控制的調焦控制單元121c。在第一焦點檢測處理中由計算單元121b所計算出的第一散焦量大於第一閾值(第一預定值)的情況下，調焦控制單元121c基於第一散焦量來進行調焦控制。另一方面，在第一散焦量小於第一閾值的情況下，調焦控制單元121c基於第二焦點檢測處理中由計算單元121b所計算出的第二散焦量來進行調焦控制。然後，在第二焦點檢測處理中，生成單元121a對多個類型的顏色信號進行合成，以使得各顏色信號在光瞳分割方向上的重心彼此一致，從而生成第一焦點檢測信號和第二焦點檢測信號。更優選地，在第一焦點檢測處理中，生成單元121a所生成的第一焦點檢測信號和第二焦點檢測信號在光瞳分割方向上的信號周期比第一像素組和第二像素組的陣列周期更大。更優選地，對於第一焦點檢測信號和第二焦點檢測信號各自的空間頻帶，在第二焦點檢測處理中比在第一焦點檢測處理中更高。
其它實施例
本發明的實施例還可以通過如下的方法來實現，即，通過網絡或者各種存儲介質將執行上述實施例的功能的軟體(程序)提供給系統或裝置，該系統或裝置的計算機或是中央處理單元(CPU)、微處理單元(MPU)讀出並執行程序的方法。
根據各實施例，可以提供能夠減小基於焦點檢測信號的檢測聚焦位置和基於攝像信號的最佳聚焦位置之間的差異從而高精度地進行焦點檢測的控制設備、攝像設備和控制方法。
儘管參考典型實施例說明了本發明，但是應該理解，本發明不局限於所公開的典型實施例。所附權利要求書的範圍符合最寬的解釋，以包含所有這類修改、等同結構和功能。
例如，控制設備可以執行用於獲取要用在相位差檢測方法中的多個檢測信號以計算距離信息的控制方法(圖像處理方法)。該方法包括如下步驟：對包括多個類型的顏色信號的視點圖像(視差圖像)進行第一處理，以獲取顏色信號的合成信號，以及對合成信號進行第二處理，以生成檢測信號的步驟。第一處理合成顏色信號，以使得視點圖像在視點方向上的重心彼此一致。第一處理包括用於利用不同比率來對多個類型的顏色信號進行合成的處理，並且第二處理包括用以改變合成信號中所包括的信號的頻帶的間隔剔除的處理。該控制方法還可以包括用於使用檢測信號來檢測相位差的步驟。在這種情況下，第二處理包括基於所檢測到的相位差對合成信號進行的處理。第一處理可以包括用於對顏色信號進行合成以使得視點圖像在與視點方向垂直的方向上的重心彼此一致的處理。