攝像機模組以及具有其的電子設備的製作方法

2023-10-17 10:04:34

專利名稱：攝像機模組以及具有其的電子設備的製作方法
技術領域：
本發明涉及小型且薄型、具有自動焦點控制功能的攝像機模組以及具有該攝像機模組的電子設備。
背景技術：
作為以往的攝像機模組，有日本特開2001-78213號公報中記載的攝像機模組。圖47是表示在日本特開2001-78213號公報中記載的攝像機模組的結構的剖視圖。
在圖47中，攝像系統9010是將來自物體的光經由光圈9110及攝像透鏡9100成像在攝像元件9120的攝像面上的光學處理系統。光圈9110具有3個圓形開口9110a、9110b、9110c。從開口9110a、9110b、9110c分別入射到導攝像透鏡9100的光入射面9100e上的物體光從攝像透鏡9100的3個透鏡部9100a、9100b、9100c射出，在攝像元件9120的攝影面上形成3個物體像。
在攝像透鏡9100的光射出面的平面部9100d上形成有遮光膜。在攝像透鏡9100的光入射面9100c上形成有使相互不同的波長範圍的光透射的3個光學濾光器9052a、9052b、9052c。此外，在攝像元件9120上，在分別對應於攝像透鏡9100的3個透鏡部9100a、9100b、9100c的3個攝像區域9120a、9120b、9120c上也形成有使相互不同的波長範圍的光透射的3個光學濾光器9053a、9053b、9053c。
光學濾光器9052a和光學濾光器9053a具有主要透射綠色(用G表示)的光譜透射率特性，光學濾光器9052b和光學濾光器9053b具有主要透射紅色(用R表示)的光譜透射率特性，進而，光學濾光器9052c和光學濾光器9053c具有主要透射藍色(用B表示)的光譜透射率特性。因此，攝像區域9120a對綠色光(G)具有感光度，攝像區域9120b對紅色光(R)具有感光度，攝像區域9120c對藍色光(B)具有感光度。
在具有這樣的多個攝像透鏡的攝像機模組中，如果從攝像機模組到物體(被攝體)的距離變化，則多個攝像透鏡分別形成在攝像元件9120的攝像面上的多個物體像的相互間隔變化。
在日本特開2001-78213號公報中記載的攝像機模組中，在將虛擬被攝體距離D[m]作為多個成像系統的攝影視角θ[°]的函數而定義為D＝1.4/(tan(θ/2))時，設定多個成像系統的光軸間隔，以使物體處於虛擬被攝體距離D[m]時的多個物體像的相互間隔與處於無限遠時的多個物體像的相互間隔之間的變化、比基準圖像信號的像素間距的2倍小。即，日本特開2001-78213號公報中記載的攝像機模組由於設定了光軸間隔、以便即使對處於無限遠的物體攝影進行與最適合於處於虛擬被攝體距離D[m]的物體的攝影的圖像處理相同的圖像處理，攝影面上的兩物體像的相互間隔的差也比基準信號的像素間距的2倍小，所以能夠將處於無限遠的物體像的彩色邊紋抑制在可允許的水平。
近年來，裝載有攝像機的便攜電話等便攜設備逐漸普及。隨著這些便攜設備的小型化、薄型化以及高性能化，要求小型化、薄型化及高性能化的攝像機模組。例如，要求具有自動焦點控制功能，不僅能夠進行風景攝影(大致無限遠的物體的攝影)及人物攝影(通常幾米距離的物體的攝影)，還能夠進行微距攝影(幾釐米到幾十釐米的距離的物體的攝影)。
但是，在日本特開2001-78213號公報中記載的攝像機模組中，通過具有多個透鏡部9100a、9100b、9100c而實現了薄型化。但是，該以往的攝像機模組不具有自動焦點控制功能。此外，虛擬被攝體距離D[m]是在考慮人物攝影的基礎上設定的。因此，在該以往的攝像機組件中，雖然能夠應對風景攝影及人物攝影，但不能應對微距攝影。
作為解決日本特開2001-78213號公報中記載的攝像機模組的未解決的課題的以往的攝像機模組，有日本特開2002-330332號公報中記載的攝像機模組。圖48表示由日本特開2002-330332號公報中記載的攝像機模組攝影的圖像的一例、和分割的小區域。對於攝影畫面，設置其中央部k0和其周邊的檢測區域k1、k2、k3、k4。並且求出各個檢測區域的視差p0、p1、p2、p3、p4。並且，從這些視差中提取規定範圍的視差，在所提取的視差有多個的情況，選擇距離中央較近的區域中的視差。再用所選擇的視差進行攝影畫面整體的修正。
在日本特開2002-330332號公報中記載的以往的攝像機模組中，將攝影的圖像的一部分設為多個小區域，求出這些區域的視差，從這些視差中選擇1個，基於該選擇的視差修正整個攝影圖像。例如，如圖48所示，在攝影畫面的中央從攝像機離開2m左右的人物M、和在攝影畫面的端部離開10m左右的人物N一起存在的情況下，將位於攝影畫面中央的人物M看作被攝體，基於該區域k0中的視差p0來修正整個攝影圖像。此時，由於人物M的視差與所選擇的視差p0相同，所以能夠修正視差的影響，在人物M的區域中得到清晰的圖像。但是，由於人物N的視差與所選擇的視差p0不同、不能修正視差的影響，所以在人物N的區域中產生色相不均性，不會成為清晰的圖像。

發明內容
本發明是鑑於上述問題而做出的，目的是提供一種能夠小型化、薄型化、不論被攝體距離如何都能夠在整體圖像區域中得到清晰的圖像的攝像機模組。
本發明的攝像機模組，具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；塊分割部，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算部，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正部，根據上述視差修正上述多個攝像信號，併合成圖像。
有關本發明的程序，是在下述攝像機模組中控制上述圖像處理部的動作的程序，該攝像機模組具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，並分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；以及圖像處理部，進行所輸入的攝像信號的圖像處理，上述程序的特徵在於，使上述圖像處理部執行塊分割處理，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算處理，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正處理，根據上述視差修正上述多個攝像信號，併合成圖像。
有關本發明的程序記錄介質，是記錄有上述程序的、可由計算機讀取的記錄介質。
發明效果本發明是鑑於上述問題而做出的，能夠提供能夠小型化、薄型化、並且不論被攝體距離如何都能夠得到在整體圖像區域中清晰的圖像的攝像機模組。


圖1是表示有關本發明的實施方式1的攝像機模組的結構的剖視圖。
圖2是有關本發明的實施方式1的攝像機模組的透鏡的俯視圖。
圖3是有關本發明的實施方式1的攝像機模組的電路部的俯視圖。
圖4是有關本發明的實施方式1的攝像機模組的濾色器的俯視圖。
圖5是有關本發明的實施方式1的攝像機模組的IR濾光器的俯視圖。
圖6是用來說明在有關本發明的實施方式1的攝像機模組中處於無限遠的物體像的位置的圖。
圖7是用來說明在有關本發明的實施方式1的攝像機模組中處於有限距離的位置的物體像的位置的圖。
圖8(A)是說明在有關本發明的實施方式1的攝像機模組中、對焦時的圖像與對比度評價值的關係的圖，圖8(B)是說明在有關本發明的實施方式1的攝像機模組中、非對焦時的圖像與對比度評價值的關係的圖。
圖9是說明有關本發明的實施方式1的攝像機模組的透鏡位置與對比度評價值的關係的圖。
圖10是有關本發明的實施方式1的攝像機模組的框圖。
圖11是表示有關本發明的實施方式1的攝像機模組的動作的流程圖。
圖12是說明有關本發明的實施方式1的攝像機模組的攝像信號的坐標的圖。
圖13(A)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的原圖像，圖13(B)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的邊緣檢測用對比度評價值的圖像，圖13(C)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的邊緣的圖像。
圖14是說明在有關本發明的實施方式1的攝像機模組中、視差評價值的運算區域的圖。
圖15是說明有關本發明的實施方式1的攝像機模組的視差與視差評價值的關係的圖。
圖16(A)是說明在有關本發明的實施方式1的攝像機模組中、在沒有修正時對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖，圖16(B)是說明正側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖，圖16(C)是說明負側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。
圖17(A)是說明在有關本發明的實施方式1的攝像機模組中、在進行了進一步的正側修正時、該正側修正前的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖，圖17(B)是在進行了進一步的正側修正時、該正側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。
圖18(A)是說明在有關本發明的實施方式1的攝像機模組中、在進行了進一步的負側修正時、該負側修正前的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖，圖18(B)是在進行了進一步的負側修正時、該負側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。
圖19是表示有關本發明的實施方式2的攝像機模組的結構的剖視圖。
圖20是有關本發明的實施方式2的攝像機模組的框圖。
圖21是表示有關本發明的實施方式2的攝像機模組的動作的流程圖。
圖22是說明有關本發明的實施方式2的攝像機模組的攝像信號的坐標的圖。
圖23是表示有關本發明的實施方式3的攝像機模組的結構的剖視圖。
圖24是有關本發明的實施方式3的攝像機模組的框圖。
圖25是表示有關本發明的實施方式3的攝像機模組的動作的流程圖。
圖26是表示有關本發明的實施方式3的自動焦點控制的動作的流程圖。
圖27是表示有關本發明的實施方式3的視差修正的動作的流程圖。
圖28是說明在有關本發明的實施方式3的攝像機模組中塊分割的圖。
圖29是說明在有關本發明的實施方式3的攝像機模組中視差評價值的運算區域的圖。
圖30是說明在有關本發明的實施方式3的攝像機模組中視差精度評價用相關值的運算區域的圖。
圖31(A)是說明在有關本發明的實施方式3的攝像機模組中塊的再分割之前的狀態的圖，圖31(B)是說明在有關本發明的實施方式3的攝像機模組中塊的再分割之後的狀態的圖。
圖32是說明在有關本發明的實施方式3的攝像機模組中視差精度評價用相關值與視差修正方式標誌的關係的圖。
圖33是說明在有關本發明的實施方式3的攝像機模組中視差精度評價用對比度評價值與視差修正方式標誌的關係的圖。
圖34是表示有關本發明的實施方式3的低相關用視差修正部的動作的流程圖。
圖35(A)是說明有關本發明的實施方式3的攝像機模組的低相關用視差修正部的邊緣檢測的原圖像，圖35(B)是說明有關本發明的實施方式3的攝像機模組的低相關用視差修正部的邊緣檢測的邊緣檢測用對比度評價值的圖像，圖35(C)是說明有關本發明的實施方式3的攝像機模組的低相關用視差修正部的邊緣檢測的邊緣的圖像。
圖36是表示有關本發明的實施方式4的攝像機模組的結構的剖視圖。
圖37是有關本發明的實施方式4的攝像機模組的框圖。
圖38(A)～(D)是說明有關本發明的實施方式4的攝像機模組的場圖像的圖。
圖39是表示有關本發明的實施方式4的攝像機模組的動作的流程圖。
圖40是表示有關本發明的實施方式4的攝像機模組的動作的時序圖。
圖41(A)～(C)是示意地表示有關本發明的實施方式4的攝像機模組的濾色器的優選配置例的俯視圖。
圖42是表示有關本發明的實施方式5的攝像機模組的結構的剖視圖。
圖43是有關本發明的實施方式5的攝像機模組的框圖。
圖44是表示有關本發明的實施方式5的攝像機模組的動作的流程圖。
圖45(A)～(C)是說明有關本發明的實施方式5的攝像機模組的背景置換的圖。
圖46(A)及圖46(B)是表示有關本發明的實施方式6的電子設備的一例的圖。
圖47是表示以往(日本特開2001-78213號公報中記載)的攝像機模組的結構的剖視圖。
圖48是表示由以往(日本特開2002-330332號公報中記載)的攝像機模組攝像的圖像的一例的圖。
具體實施例方式
本發明的攝像機模組具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；塊分割部，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算部，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正部，根據上述視差修正上述多個攝像信號，併合成圖像。
物體像的位置根據被攝體距離而相對地變化。即，如果被攝體距離變小，則視差變大。因此，如果對距離不同的多個被攝體同時攝影，則視差對每個被攝體都不同。根據本發明的攝像機模組，運算每個塊的視差，根據該每個塊的視差修正攝像信號以使視差的影響降低之後，進行圖像合成。由此，即使對距離不同的多個被攝體同時攝像，也能夠適當地修正各個被攝體的視差、得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，還具有致動器，使上述多個透鏡部與上述多個攝像區域的相對距離變化；以及焦點控制部，根據上述視差控制致動器。
根據該優選的結構，由於根據視差使致動器動作，利用自動焦點控制能夠通過1次的致動器動作進行對焦，所以能夠高速地進行自動焦點控制。
在上述本發明的攝像機模組中，優選的是，還具有對比度運算部，該對比度運算部根據上述多個攝像信號中的至少1個攝像信號運算對比度；上述焦點控制部根據上述視差和上述對比度控制上述致動器。
根據該優選的結構，由於兼用高速的基於視差的自動焦點控制和高精度的基於對比度的自動焦點控制，所以能夠高速地且高精度地進行自動焦點控制。
在上述本發明的攝像機模組中，優選的是，上述焦點控制部多次控制上述致動器，第1次根據上述視差控制上述致動器，第2次以後根據上述對比度控制上述致動器。
根據該優選的結構，最初根據視差使致動器動作，進行自動焦點控制。接著，根據對比度使致動器動作，進行自動焦點控制。基於視差的自動焦點控制由於通過1次的致動器動作對焦，所以高速。另一方面，基於對比度的自動焦點控制由於根據圖像直接判斷對焦，所以不受致動器的偏差等影響而精度較好。因而，最初利用基於視差的自動焦點控制高速地進行粗調節、接著利用基於對比度的自動焦點控制進行高精度的微調節，所以能夠高速地且高精度地進行自動焦點控制。
在上述本發明的攝像機模組中，優選的是，上述焦點控制部學習根據上述對比度控制上述致動器時的對上述致動器的操作量。
根據該優選的結構，根據在基於對比度的自動焦點控制中執行的致動器操作量，進行修正操作量函數那樣的學習。由此，即使有致動器的偏差等也能夠更正確地修正操作量函數，所以初次的基於視差的自動焦點控制變得更正確，下次以後的基於對比度的自動焦點控制的微調節次數減少，所以能夠實現更高速的自動焦點控制。
在上述本發明的攝像機模組中，優選的是，上述塊分割部根據上述至少1個攝像信號檢測多個圖像區域的輪廓，將上述至少1個攝像信號分割為多個塊，以便利用上述輪廓分割為上述多個圖像區域。
根據該優選的結構，檢測輪廓，分割為塊，基於每個塊的視差修正攝像信號以使視差的影響降低之後，進行圖像合成。由此，能夠適當地進行分塊化，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，附加輪廓視差運算部，該輪廓視差運算部根據上述攝像信號求出作為上述輪廓的視差的輪廓視差；上述視差運算部根據上述輪廓視差，對每個上述塊運算上述多個透鏡部分別形成的像間的視差。
根據該優選的結構，檢測輪廓的視差，根據該視差對每個塊運算視差的視差，根據該視差修正攝像信號以降低視差的影響之後，進行圖像合成。因而，能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述塊分割部將上述至少1個攝像信號分割為矩形狀的多個塊。
根據該優選的結構，對每個塊運算視差的視差，根據該視差修正攝像信號以降低視差的影響之後，進行圖像合成。因而，能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，還具有視差評價值運算部，該視差評價值運算部根據上述攝像信號對上述多個塊的每一個運算表示上述視差的精度的至少1個視差精度評價值；上述視差修正部根據上述視差和上述視差精度評價值，對上述多個塊的每一個修正上述多個攝像信號，併合成圖像。
有時在分割的塊內包含有被攝體距離不同的多個物體，在此情況下，視差對每個物體像都不同。在該優選的結構中，判斷對每個塊運算的視差具有多少精度，根據該精度變更攝像信號的修正方法。由此，能夠以最適合的修正方法對每個塊修正圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述視差修正部根據上述視差精度評價值，對上述多個塊的每一個決定是否將該塊分割為至少2個，在判斷為應分割的塊中，根據分割後的塊的視差合成圖像。
根據該優選的結構，判斷對每個塊運算出的視差具有多少精度，沒有精度的塊設作混合了多個視差，分割為至少兩個塊。由此，能夠總是以最適合的塊尺寸修正圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述視差評價值運算部根據上述多個攝像信號中的至少1個攝像信號，對上述多個塊的每一個運算表示對比度的大小的第1視差精度評價值。
根據該優選的結構，根據對比度運算評價對每個塊運算出的視差具有多少精度，根據對比度來變更攝像信號的修正方法。由此，能夠以最適合的修正方法對每個塊修正圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述視差評價值運算部利用分割為上述多個塊的上述攝像信號，對上述多個塊的每一個運算第2視差精度評價值，該第2視差精度評價值表示將至少兩個的上述透鏡部分別形成的像移動了上述視差後的像相關多少。
根據該優選的結構，運算評價對每個塊運算出的視差具有多少精度、移動了視差的像相關多少，根據相關來變更攝像信號的修正方法。由此，能夠以最適合的修正方法對每個塊修正圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述視差修正部對於上述多個塊的每一個，在上述第2視差精度評價值小時將該塊分割為至少兩個，在分割後的塊中根據分割後的塊的視差合成圖像。
根據該優選的結構，利用表示移動了視差的像相關多少的第2視差精度評價值，評價對每個塊運算出的視差具有多少精度。並且，將第2視差精度評價值小、即判斷為相關較小的塊分割為至少兩個塊。由此，能夠總是以最適合的塊尺寸修正圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述視差評價值運算部，根據上述多個攝像信號中的至少1個攝像信號，對上述多個塊的每一個運算表示對比度的大小的第1視差精度評價值，並且利用分割為上述多個塊的上述攝像信號，對上述多個塊的每一個，運算表示將至少兩個的上述透鏡部分別形成的像移動了上述視差後的像相關多少的第2視差精度評價值；上述視差修正部對於上述多個塊的每一個，在上述第1視差精度評價值大且上述第2視差精度評價值小時，將該塊至少分割為兩個，在分割後的塊中根據分割後的塊的視差合成圖像。
根據該優選的結構，利用表示對比度的大小的第1視差精度評價值、和表示移動了視差的像相關多少的第2視差精度評價值，對每個塊評價運算出的視差有多少精度。並且，將判斷為第1視差精度評價值大即對比度大、且第2視差精度評價值小即相關小的塊分割為至少兩個塊。由此，能夠總是以最適合的塊尺寸修正圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，優選的是，上述攝像信號輸入部按多個場的每一個輸入上述多個攝像信號；上述視差運算部分別對上述多個場運算每個上述塊的視差。
根據該優選的結構，通過對每個場進行視差運算，即使在攝影運動的被攝體時因各場的攝影時間不同而各場的圖像不同的情況下，由於正確地求出每個場的視差，能夠利用該視差合成圖像，所以能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在上述本發明的攝像機模組中，更優選的是，還具有濾色器，該濾色器與上述多個透鏡部一一對應、配置有多個顏色的濾光器；對應於上述多個透鏡部中的、與上述場的掃描方向平行配置的至少兩個的透鏡部，配置同色的濾光器。
根據該更優選的結構，即使在攝影運動的被攝體時因各場的攝影時間不同而各場的圖像不同的情況下，也能夠更正確地求出每個場的視差。
在上述本發明的攝像機模組中，優選的是，還具有保存與攝影圖像不同的其他圖像的其他圖像保存部；上述視差修正部將根據上述視差修正了上述攝像信號後的圖像與上述其他圖像組合。
根據該優選的結構，通過將根據視差所修正後的圖像與其他圖像組合，能夠從修正後的圖像中正確地提取圖像，所以能夠將這些圖像清晰地組合。
在上述本發明的攝像機模組中，優選的是，上述視差修正部按照上述視差越大、修正了上述攝像信號後的圖像的比例越大、而上述其他圖像的比例越小的方式進行組合。
根據該優選的結構，通過將根據視差所修正後的圖像與其他圖像組合，能夠從修正後的圖像中正確地提取視差較大的部分的圖像，所以能夠將這些圖像清晰地組合。
此外，有關本發明的電子設備的特徵在於，具有上述本發明的攝像機模組。
有關本發明的程序，是在下述攝像機模組中控制上述圖像處理部的動作的程序，該攝像機模組具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，並分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；以及圖像處理部，進行所輸入的攝像信號的圖像處理，上述程序的特徵在於，使上述圖像處理部執行塊分割處理，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算處理，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正處理，根據上述視差修正上述多個攝像信號，併合成圖像。
此外，有關本發明的程序記錄介質，是記錄有上述程序的、能夠進行計算機的讀取的程序記錄介質。
根據本發明的程序或程序記錄介質，運算每個塊的視差，根據該每個塊的視差修正攝像信號以使視差的影響降低之後，進行圖像合成。由此，即使在對距離不同的多個被攝體同時攝像時，也能夠適當地修正各個被攝體的視差，能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
以下，利用附圖對本發明的具體的實施方式進行說明。
(實施方式1)有關本發明的實施方式1的攝像機模組通過檢測邊緣(edge)並分割為塊、基於每個塊的視差進行視差修正，能夠在整體圖像區域中得到清晰的圖像。此外，通過利用基於視差的自動焦點控制進行粗調節、利用基於高精度對比度的自動焦點控制進行微調節，能夠以高速高精度地進行自動焦點控制。此外，對微調節量進行學習，提高下次的粗調節的精度。
參照

有關本發明的實施方式1的攝像機模組。
圖1是表示有關本發明的實施方式1的攝像機模組的結構的剖視圖。在圖1中，攝像機模組101具有透鏡模組部110及電路部120。
透鏡模組部110具有鏡筒111、上部蓋玻璃112、透鏡113、致動器固定部114、以及致動器可動部115。電路部120具有基板121、封裝122、攝像元件123、封裝蓋玻璃124、以及系統LSI(以下記為SLSI)125。
鏡筒111是圓筒狀，其內壁面為了防止光的漫反射而為磨砂的黑色，對樹脂注射成形來形成鏡筒111。上部蓋玻璃112是圓盤狀，由透明樹脂形成，通過粘接劑等固定在鏡筒111的上表面，其表面設有防止摩擦等帶來的損傷的保護膜、和防止入射光的反射的防反射膜。
圖2是有關本發明的實施方式1的攝像機模組的透鏡113的俯視圖。透鏡113是大致圓盤狀，由玻璃或透明樹脂形成，以棋盤點狀配置有第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、以及第4透鏡部113d。沿著第1～第4透鏡部113a～113d的配置方向，如圖2所示那樣設定X軸及Y軸。在第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、以及第4透鏡部113d中，從被攝體側入射的光向攝像元件123側射出，在攝像元件123上成像4個像。
致動器固定部114通過粘接劑等固定在鏡筒111的內壁面上。致動器可動部115通過粘接劑等固定在透鏡113的外周緣上。致動器固定部114及致動器可動部115構成音圈電動機。致動器固定部114具有永久磁鐵(未圖示)和強磁性體磁軛(未圖示)，致動器可動部115具有線圈(未圖示)。致動器可動部115通過彈性體(未圖示)相對致動器固定部114彈性支撐。通過對致動器可動部115的線圈通電，致動器可動部115對於致動器固定部114相對地移動，透鏡113與攝像元件123沿著光軸的相對距離變化。
基板121由樹脂基板構成，上表面與鏡筒111的底面相接觸地由粘接劑等固定。這樣，透鏡模組110和電路部120被固定，構成攝像機模組101。
封裝122由具有金屬端子的樹脂構成，在鏡筒111的內側，將其金屬端子部通過焊接等固定在基板121的上表面上。攝像元件123包括第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件124d。第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件124d分別是CCD傳感器或CMOS傳感器那樣的固體攝像元件，分別配置為，使它們的受光面的中心分別與第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、以及第4透鏡部113d的光軸中心大致一致，並且使各攝像元件的受光面與對應的透鏡部的光軸大致垂直。
第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d的各端子通過引線接合、由金屬線127連接在封裝122的內側的底部的金屬端子上，經由基板121與SLSI125電氣地連接。從第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、以及第4透鏡部113d射出的光分別成像在第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d的各受光面上，由光電二極體從光的信息變換後的電信息被輸出給SLSI125。
圖3是有關本發明的實施方式1的攝像機模組的電路部120的俯視圖。封裝蓋玻璃124是平板狀，由透明樹脂形成，通過粘接等固定在封裝122的上表面。在封裝蓋玻璃124的上表面上，通過蒸鍍等配置有第1濾色器124a、第2濾色器124b、第3濾色器124c、第4濾色器124d、及遮光部124e。此外，在封裝蓋玻璃124的下表面上，通過蒸鍍等配置有紅外阻斷濾光器(未圖示。以下記為IR濾光器)。
圖4是有關本發明的實施方式1的攝像機模組的濾色器的特性圖，圖5是有關本發明的實施方式1的攝像機模組的IR濾光器的特性圖。第1濾色器124a具有圖4的G表示的主要使綠色透射的分光透射特性，第2濾色器124b具有圖4的B表示的主要使藍色透射的分光透射特性，第3濾色器124c具有圖4的R表示的主要使紅色透射的分光透射特性，第4濾色器具有圖4的G表示的主要使綠色透射的分光透射特性。此外，IR濾光器具有圖5的IR表示的將紅外光隔斷的分光透射特性。
因而，從第1透鏡部113a的上部入射的物體光從第1透鏡部113a的下部射出，通過第1濾色器124a及IR濾光器主要使綠色透射，成像在第1攝像元件123a的受光部上，所以第1攝像元件123a對物體光中的綠色成分進行受光。此外，從第2透鏡部113b的上部入射的物體光從第2透鏡部113b的下部射出，通過第2濾色器124b及IR濾光器主要使藍色透射，成像在第2攝像元件123b的受光部上，所以第2攝像元件123b對物體光中的藍色成分進行受光。此外，從第3透鏡部113c的上部入射的物體光從第3透鏡部113c的下部射出，通過第3濾色器124c及IR濾光器主要使紅色透射，成像在第3攝像元件123c的受光部上，所以第3攝像元件123c對物體光中的紅色成分進行受光。進而，從第4透鏡部113d的上部入射的物體光從第4透鏡部113d的下部射出，通過第4濾色器124d及IR濾光器主要使綠色透射，成像在第4攝像元件123d的受光部上，所以第4攝像元件123d對物體光中的綠色成分進行受光。
SLSI125通過後述的方法控制致動器可動部115的線圈的通電，驅動攝像元件123，輸入來自攝像元件123的電信息，進行各種圖像處理，與上位CPU進行通信，對外部輸出圖像。
接著，說明被攝體距離與視差的關係。有關本發明的實施方式1的攝像機模組由於具有4個透鏡部(第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、以及第4透鏡部113d)，所以4個透鏡部分別形成的4個物體像的相對位置根據被攝體距離而變化。
圖6是用來說明在有關本發明的實施方式1的攝像機模組中處於無限遠的物體像的位置的圖。在圖6中，為了簡化，僅表示第1透鏡部113a、第1攝像元件123a、第2透鏡部113b、第2攝像元件123b。來自無限遠的物體10的光的、向第1透鏡部113a的入射光L1與向第2透鏡部113b的入射光L2平行。因此，第1透鏡部113a與第2透鏡部113b之間的距離、和第1攝像元件123a上的物體像11a與第2攝像元件123b上的物體像11b之間的距離相等。
這裡，將第1透鏡部113a的光軸、第2透鏡部113b的光軸、第3透鏡部113c的光軸、以及第4透鏡部113d的光軸配置為，分別與第1攝像元件123a的受光面的中心、第2攝像元件123b的受光面的中心、第3攝像元件123c的受光面的中心、及第4攝像元件123d的受光面的中心大致一致。因而，第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d的各受光面的中心與分別成像在各受光面上的無限遠的物體像之間的相對位置關係，對於所有的攝像元件是相同的。即沒有視差。
圖7是用來說明在有關本發明的實施方式1的攝像機模組中處於有限距離的位置的物體像的位置的圖。在圖7中，為了簡化，僅表示第1透鏡部113a、第1攝像元件123a、第2透鏡部113b、第2攝像元件123b。來自有限距離的物體12的光的、向第1透鏡部113a的入射光L1與向第2透鏡部113b的入射光L2不平行。因而，和第1透鏡部113a與第2透鏡部113b之間的距離相比，第1攝像元件123a上的物體像11a與第2攝像元件123b上的物體像11b之間的距離較長。因此，第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d的各受光面的中心與分別成像在各受光面上的有限距離的物體像之間的相對位置關係對於每個攝像元件都不同。即有視差。
如果設到物體像12的距離(被攝體距離)為A、設第1透鏡部113a與第2透鏡部113b的距離為D、設透鏡部113a、113b的焦點距離為f，則通過圖7的夾著直角的兩邊的長度為A、D的直角三角形與夾著直角的兩邊的長度為f、Δ的直角三角形相似，由此，視差Δ如下式(1)那樣表示。對於其他透鏡部之間，同樣的關係也成立。這樣，對應於被攝體距離，4個透鏡部113a、113b、113c、113d分別形成的4個物體像的相對位置變化。例如，如果被攝體距離A變小，則視差Δ變大。
Δ＝f·D/A ……(1)接著，說明對比度與焦點距離的關係。
圖8(A)是說明在有關本發明的實施方式1的攝像機模組中、對焦時(焦點調節一致時)的圖像與對比度評價值的關係的圖，圖8(B)是說明在有關本發明的實施方式1的攝像機模組中、非對焦時(焦點調節不一致時)的圖像與對比度評價值的關係的圖。
圖8(A)及圖8(B)的各自的左圖是對左半為白色、右半為黑色的矩形攝影時的圖像。如圖8(A)的左圖所示，在對焦時，攝影圖像的輪廓清楚，對比度較大。另一方面，如圖8(B)的左圖所示，在非對焦時，攝影圖像的輪廓模糊，對比度較小。
圖8(A)及圖8(B)的各自的右圖表示對左圖的信息信號作用帶通濾光器(BPF)時的結果。橫軸是X軸方向位置，縱軸是BPF之後的輸出值。如圖8(A)的右圖所示，在對焦時，BPF後的信號振幅較大，如圖8(B)的右圖所示，在非對焦時BPF後的信號振幅較小。這裡，將該BPF後的信號振幅定義為表示對比度大多少的對比度評價值。於是，如圖8(A)的右圖所示，在對焦時對比度評價值較大，在非對焦時對比度評價值較小。
圖9是說明有關本發明的實施方式1的攝像機模組的透鏡位置與對比度評價值的關係的圖。在對某個物體攝影時，在透鏡113與攝像元件123的距離較小時(z1時)，由於是非對焦，所以對比度評價值較小。如果逐漸增大透鏡113與攝像元件123的距離，則對比度評價值逐漸變大，在對焦時(z2時)對比度評價值變為極大。進而，如果逐漸增大透鏡113與攝像元件123的距離(z3時)，變為非對焦，對比度評價值變小。這樣，在對焦時，對比度評價值變為極大。
接著，說明有關本發明的實施方式1的攝像機模組的動作。圖10是有關本發明的實施方式1的攝像機模組的框圖。SLSI125具有系統控制部131、攝像元件驅動部132、攝像信號輸入部133、致動器操作量輸出部134、圖像處理部135、以及輸入輸出部136。此外，電路部120除了上述的結構以外具有放大器126。
放大器126將與來自致動器操作量輸出部134的輸出相對應的電壓施加給致動器可動部115的線圈。
系統控制部131由CPU(中央運算處理裝置Central ProcessingUnit)、存儲器等構成，控制整個SLSI125。攝像元件驅動部132由邏輯電路等構成，產生驅動攝像元件123的信號，將對應於該信號的電壓施加給攝像元件123。
攝像信號輸入部133包括第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d構成。第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d分別是串聯連接CDS電路(相關雙重取樣電路Correlated Double SamplingCircuit)、AGC(自動增益控制器Automatic Gain Controller)、ADC(模擬/數字變換器Analog Digital Converter)而構成的，分別與第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d連接，被輸入來自它們的電信號，由CDS電路將固定噪音除去，由AGC調節增益，由ADC從模擬信號變換為數字值，寫入到系統控制部131的存儲器中。
致動器操作量輸出部134由DAC(數字/模擬變換器DigitalAnalog Converter)構成，輸出與要對致動器可動部115的線圈施加的電壓相對應的電壓信號。
圖像處理部135由邏輯電路或DSP、或包括它們兩者而構成，利用系統控制部131的存儲器信息，按照規定的程序控制進行各種圖像處理。圖像處理部135具有邊緣檢測部141、塊分割部142、視差運算部143、視差修正部144、視差式自動焦點控制部145、致動器控制部146、對比度式自動焦點控制部147、自動焦點控制用對比度評價值運算部148、以及致動器操作量函數修正部149。
輸入輸出部136進行與上位CPU(未圖示)之間的通信、以及向上位CPU、外部存儲器(未圖示)、以及液晶等外部顯示裝置(未圖示)輸出圖像信號。
圖11是表示有關本發明的實施方式1的攝像機模組的動作的流程圖。通過SLSI125的系統控制部131使攝像機模組101按照該流程圖那樣動作。
在步驟S100中，開始動作。例如，上位CPU(未圖示)檢測快門按鈕等被按下的情況，經由輸入輸出部136對攝像機模組命令動作的開始，由此，攝像機模組101開始動作。接著執行步驟S110。
在步驟S110中，執行攝影。通過系統控制部131的命令，攝像元件驅動部132隨時輸出用來進行電子快門及傳送的信號。第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d與攝像元件驅動部132產生的信號同步地輸入作為第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d輸出的各圖像的模擬信號的攝像信號，由CDS將固定噪音除去，由AGC自動地調節輸入增益，由ADC將模擬信號變換為數字值，成為第1攝像信號I1(x，y)、第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、及第4攝像信號I4(x，y)，將數字值寫入到系統控制部131的規定地址的存儲器中。圖12是說明有關本發明的實施方式1的攝像機模組的攝像信號的坐標的圖。I1(x，y)表示水平方向上第x、垂直方向上第y的第1攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，總像素數是H×L，x從0到L-1變化，y從0到H-1變化。第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、第4攝像信號I4(x，y)也同樣。即，I2(x，y)、I3(x，y)及I4(x，y)分別表示是水平方向上第x、垂直方向上第y的第2攝像信號、第3攝像信號、及第4攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，各自的總像素數是H×L，x從0到L-1變化，y從0到H-1變化。接著，執行步驟S121。
在步驟S121及步驟S122中，邊緣檢測部141利用系統控制部131的存儲器上數據，檢測邊緣。並且，將該結果寫入到系統控制部131的存儲器中。詳細情況如下。
在步驟S121中，運算邊緣檢測用對比度評價值。該運算僅對第1攝像信號進行。如下述式(2)那樣運算拉普拉斯算符，再將如下述式(3)那樣立體地作用LPF(低通濾光器)後的值設為邊緣檢測用對比度評價值C2(x，y)。圖13(A)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的原圖像，圖13(B)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的邊緣檢測用對比度評價值的圖像，圖13(C)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的邊緣的圖像。如果通過式(2)及式(3)計算圖13(A)的原圖像的邊緣檢測用對比度評價值C2(x，y)，則成為圖13(B)那樣。另外，圖13(B)用黑色表示式(3)的絕對值較大的部位。接著執行步驟S122。
C1(x，y)＝I1(x-1，y)+I1(x+1，y)+I1(x，y-1)+I1(x，y+1)-4I1(x，y)……(2)C2(x，y)＝C1(x-1，y-1)+C1(x，y-1)+C1(x+1，y-1)+C1(x-1，y)+C1(x，y)+C1(x+1，y)+C1(x-1，y+1)+C1(x，y+1)+C1(x+1，y+1) ……(3)在步驟S122中檢測邊緣。圖13(C)是說明有關本發明的實施方式1的攝像機模組的邊緣檢測的邊緣的圖像。通過檢測圖13(B)的邊緣檢測用對比度檢測值C2(x，y)的0交點(值從正變化為負的點、以及值從負變化為正的點)，能夠檢測出圖13(C)那樣的邊緣。接著，執行步驟S130。
在步驟S130中，塊分割部142利用系統控制部131的存儲器上的數據來分割為塊。接著，將其結果寫入到系統控制部131的存儲器中。如圖13(C)那樣，對被邊緣包圍的區域如B0、B1、…、Bi、…、Bn那樣賦予號碼。另外，為了防止噪音等引起的邊緣的誤檢測及消失，也可以利用膨脹算法及收縮算法來修正邊緣。接著執行步驟S140。
在步驟S140中，視差運算部143利用系統控制部131的存儲器上的數據，運算各塊的視差值。接著，寫入到系統控制部131的存儲器中。首先，對各塊(B0、B1、…、Bi、…、Bn)運算視差評價值(R0(k)、R1(k)、…、Ri(k)…、Rn(k)，k＝0、1、…、m)。圖14是說明在有關本發明的實施方式1的攝像機模組中、視差評價值的運算區域的圖。由Bi表示的(也作為I1表示的)區域是根據第1攝像信號I1在步驟S130中求出的第i個塊。由I4表示的區域是將Bi沿x方向移動k、沿y方向移動k後的區域。並且，對於各個區域的整體攝像信號I1(x，y)、I4(x，y)，運算下述式(4)所示的絕對值差分總和作為視差評價值Ri(k)。
Ri(k)＝∑∑|I1(x，y)-I4(x-k，y-k)|……(4)該視差評價值Ri(k)表示第i個塊Bi的第1圖像信號I1與沿x、y方向分別離開(k，k)的區域中的第4圖像信號I4有怎樣的相關，表示值越小相關越大(很近似)。圖15是說明有關本發明的實施方式1的攝像機模組的視差與視差評價值的關係的圖。如圖15所示，視差評價值Ri(k)根據k的值而變化，在k＝Δi時具有極小值。這表示使第4圖像信號I4的第i個塊Bi沿x、y方向分別移動(-Δi，-Δi)而得到的塊的圖像信號與第1圖像信號I1有最大的相關(最相似)。因而，可知對於第i個塊的第1攝像信號I1與第4攝像信號I4之間的x、y方向的視差為(Δi，Δi)。以下，將該Δi稱作第i個塊Bi的視差值Δi。這樣，求出從i＝0到i＝n的所有的Bi的視差值Δi。接著，執行步驟S151。
在步驟S151與步驟S152中，輸出預覽用的圖像。
在步驟S151中，視差修正部144利用系統控制部131的存儲器上的數據，利用與該塊對應的視差值對每個塊進行視差修正之後，進行圖像合成。接著，將其結果寫入到系統控制部131的存儲器中。由於第1攝像元件123a及第4攝像元件123d主要對物體光的綠色成分受光，所以第1攝像信號I1及第4攝像信號I4是物體光的綠色成分的信息信號。此外，由於第2攝像信號123b主要對物體光的藍色成分受光，所以第2攝像信號I2是物體光的藍色成分的信息信號。進而，由於第3攝像元件123c主要對物體光的紅色成分受光，所以第3攝像信號I3是物體光的紅色成分的信息信號。由於預測第1攝像元件123a與第4攝像元件123d的視差為(Δi，Δi)，所以如下述式(5)那樣，將表示像素坐標(x，y)中的綠色的強度的G(x，y)設為第1攝像信號I1(x，y)與第4攝像信號I4(x-Δi，y-Δi)的平均。此外，由於預測第1攝像元件123a與第2攝像元件123b的視差為(Δi，0)，所以如下述式(6)那樣，將表示像素坐標(x，y)中的藍色的強度的B(x，y)設為第2攝像信號I2(x-Δi，y)。進而，由於預測第1攝像元件123a與第3攝像元件123c的視差為(0，Δi)，所以如下述式(7)那樣，將表示(x，y)中的紅色的強度的R(x，y)設為第3攝像信號I3(x，y-Δi)。另外，作為視差值Δi，使用包括像素坐標(x，y)的塊Bi的視差值Δi。接著，執行步驟S152。
G(x，y)＝[I1(x，y)+I4(x-Δi，y-Δi)]/2……(5)B(x，y)＝I2(x-Δi，y) ……(6)R(x，y)＝I3(x，y-Δi) ……(7)在步驟S152中，輸出圖像。輸入輸出部136將系統控制部131的存儲器上的數據即G(x，y)、B(x，y)、R(x，y)輸出給上位CPU(未圖示)及外部顯示裝置(未圖示)。另外，也可以輸出例如亮度、色差信號等輸出，來代替G(x，y)、B(x，y)、R(x，y)。此外，也可以輸出白平衡或γ修正等圖像處理後的值。接著，執行S161。
在步驟S161、步驟S162和S163中，進行使用視差值的自動焦點控制。
在步驟S161中，視差式自動焦點控制部145根據系統控制部131的存儲器上的數據，選擇自動焦點控制用塊。並且，將其結果寫入到系統控制部131的存儲器中。選擇例如圖像區域的中心附近的至少1個塊(例如3個塊Bj1、Bj2、及Bj3)。另外，這些塊並不一定需要是中央附近，也可以反映操作攝像機的用戶的意思等(例如通過傳感器檢測視點方向)來選擇塊。接著，執行步驟S162。
在步驟S162中，運算致動器的位置指令。如果是上述的例子，則如下述式(8)那樣，將塊Bj1、Bj2、及Bj3的視差值Δj1、Δj2、及Δj3的平均設為自動焦點控制用視差值Δaf。另外，也可以根據塊的面積或是否更接近於中心等的信息來適當加權。進而，如下述式(9)那樣運算致動器的位置指令Xact。另外，位置指令Xact表示以無限遠像的對焦位置為基準、朝向被攝體之間的位置的指令。接著，執行步驟S163。
Δaf＝(Δj1+Δj2+Δj3)/3 ……(8)Xact＝kx·Δaf ……(9)在步驟S163中，致動器控制部146利用下述式(10)所示的操作量函數運算致動器操作量(向致動器可動部115的線圈施加的施加電壓)Vact。此外，為了學習後述的操作量函數，將致動器操作量作為Vact0保存。接著，執行步驟S164。
Vact＝ka·Xact+kb ……(10)Vact0＝Vact……(10』)在步驟S164中使致動器動作。致動器操作量輸出部134變更所輸出的電壓信號，以便在經由放大器126後施加給致動器可動部115的線圈(未圖示)的電壓成為Vact。接著，執行步驟S171。
在步驟S171、步驟S172、步驟S173、步驟S174、步驟S175、和步驟S176中，對比度式自動焦點控制部147進行利用對比度的自動焦點控制。如上述的圖9所示，在對焦位置處對比度評價值變為極大。利用該原理，搜索對比度評價值為極大的致動器操作量。
在步驟S171中，製作沒有致動器操作量修正的自動焦點控制用對比度評價值。步驟S171由步驟S171c和步驟S171d構成。首先執行步驟S171c。
在步驟S171c中執行攝像。該動作與步驟S110同樣，但也可以僅傳送來自第1攝像元件123a的攝像信號I1中的由S161選擇的自動焦點控制用塊的攝像信號I1。在此情況下，與傳送全部的攝像信號相比，能夠縮短傳送時間。接著執行步驟S171d。
在步驟S171d中，自動焦點控制用對比度評價值運算部148利用系統控制部131的存儲器上的數據，製作自動焦點控制用對比度評價值。僅對有關自動焦點控制用塊的第1攝像信號I1進行該運算。如下述式(11)那樣運算拉普拉斯算符的絕對值，如下述式(12)那樣立體地作用LPF(低通濾光器)，將其如下述式(13)那樣在自動焦點控制用塊內平均而得到自動焦點用對比度評價值C5。這裡，N是自動焦點控制用塊內的C4(x，y)的數。接著，如下述式(14)那樣將此時的對比度評價值C5設為C50，寫入到系統控制部131的存儲器中。接著，執行步驟S172。
C3(x，y)＝|I1(x-1，y)+I1(x+1，y)+I1(x，y-1)+I1(x，y+1)-4I1(x，y)|……(11)C4(x，y)＝C3(x-1，y-1)+C3(x，y-1)+C3(x+1，y-1)+C3(x-1，y)+C3(x，y)+C3(x+1，y)+C3(x-1，y+1)+C3(x，y+1)+C3(x+1，y+1)……(12)C5＝∑C4(x，y)/N ……(13)C50＝C5……(14)在步驟S172中，製作致動器操作量的正側修正時的自動焦點控制用對比度評價值。步驟S172由步驟S172a、步驟S172b、步驟S172c、及步驟S172d構成。首先執行步驟S172a。
在步驟S172a中，如下述式(15)那樣對沒有修正時的致動器操作量(向致動器固定部114的線圈施加的施加電壓)Vact0加上dVact後的值作為正側修正時的致動器操作量Vact，如下述式(16)那樣，作為Vactp保存在存儲器中。接著，執行步驟S172b、步驟S172c、及步驟S172d。
Vact＝Vact0+dVact ……(15)Vactp＝Vact ……(16)在步驟S172b中，使致動器動作，在步驟S172c中，執行攝影，在步驟S172d中製作自動焦點控制用對比度評價值。步驟S172b進行與步驟S164同樣的動作。此外，步驟S172c、步驟S172d進行與步驟S171c、步驟S171d同樣的動作，如下述式(17)那樣，將對比度評價值C5作為正側修正後的自動焦點用對比度評價值C5p，寫入到系統控制部131的存儲器中。接著，執行步驟S173。
C5p＝C5 ……(17)在步驟S173中，製作致動器操作量的負側修正時的自動焦點控制用對比度評價值。步驟S173由步驟S173a、步驟S173b、步驟S173c、及步驟S173d構成。首先執行步驟S173a。
在步驟S173a中，如下述式(18)那樣從沒有修正時的致動器操作量(向致動器固定部114的線圈施加的施加電壓)Vact0減去dVact後的值作為負側修正時的致動器操作量Vact，如下述式(19)那樣，作為Vactn保存在存儲器中。接著，執行步驟S173b、步驟S173c、及步驟S173d。
Vact＝Vact0-dVact ……(18)Vactn＝Vact ……(19)在步驟S173b中，使致動器動作，在步驟S173c中，執行攝影，在步驟S173d中製作自動焦點控制用對比度評價值。進行與步驟S172b、步驟S172c、步驟S172d同樣的動作，如下述式(20)那樣，將對比度評價值C5作為負側修正後的自動焦點用對比度評價值C5n，寫入到系統控制部131的存儲器中。接著，執行步驟S174。
C5n＝C5 ……(20)
在步驟S174中，評價焦點控制用對比度評價值。比較C50、C5p、C5n，根據哪個是最大值來進行分支。
在C50為最大值時，進行以下的動作，接著執行步驟S181。圖16(A)是說明在有關本發明的實施方式1的攝像機模組中、無修正時的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖16(A)所示，由於無修正的致動器操作量Vact0給出自動焦點控制用對比度值C5的大致極大值，所以如下述式(21)那樣，使最終的致動器操作量Vactf為Vact0。
Vactf＝Vact0(C50為最大時) ……(21)在C5p為最大值時，進行以下的動作，接著執行步驟S175。圖16(B)是說明在有關本發明的實施方式1的攝像機模組中、正側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖16(B)所示，由於正側修正後的致動器操作量Vactp、或者進一步向正側修正後的致動器操作量Vact給出自動焦點控制用對比度評價值C5的大致極大值，所以進一步將致動器操作量向正側修正，搜索極大值。另外，如下述式(22)那樣，將C5p作為前次值，作為C5pp保存。
C5pp＝C5p ……(22)在C5n為最大值時，進行以下的動作，接著執行步驟S176。圖16(C)是說明在有關本發明的實施方式1的攝像機模組中、負側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖16(C)所示，負側修正後的致動器操作量Vactn、或者進一步向負側修正後的致動器操作量Vact給出自動焦點控制用對比度評價值C5的大致極大值，所以進一步將致動器操作量向負側修正，搜索極大值。另外，如下述式(23)那樣，將C5n作為前次值，作為C5np保存。
C5np＝C5p ……(23)
在步驟S175中，製作並評價進一步的正側修正時的自動焦點用對比度評價值。步驟S175由步驟S175a、步驟S175b、步驟S175c、步驟S175d、及步驟S175e構成。首先執行步驟S175a。
在步驟S175a中，如下述式(24)那樣對前次的正側修正後的致動器操作量(向致動器固定部114的線圈施加的施加電壓)Vactp加上dVact後的值作為正側修正時的致動器操作量Vact，如下述式(25)那樣，作為Vactp保存在存儲器中。接著，執行步驟S175b、步驟S175c、及步驟S175d。
Vact＝Vactp+dVact……(24)Vactp＝Vact ……(25)在步驟S175b中，使致動器動作，在步驟S175c中，執行攝影，在步驟S175d中製作自動焦點控制用對比度評價值。進行與步驟S172b、步驟S172c、步驟S172d同樣的動作，如下述式(26)那樣，將對比度評價值C5作為正側修正後的自動焦點用對比度評價值C5p，寫入到系統控制部131的存儲器中。接著，執行步驟S175e。
C5p＝C5 ……(26)在步驟S175e中，評價焦點控制用對比度評價值。比較C5pp、C5p，根據哪個是最大值來進行分支。
在C5pp為最大值時，進行以下的動作，接著執行步驟S181。圖17(A)是說明在有關本發明的實施方式1的攝像機模組中、在進行了進一步的正側修正時、該正側修正前的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖17(A)所示，由於前次的正側修正後的致動器操作量Vactp-dVact給出自動焦點控制用對比度評價值C5的大致極大值，所以如下述式(27)那樣，將最終的致動器操作量Vactf設為Vactp-dVact。
Vactf＝Vactp-dVact(C5pp為最大時) ……(27)在C5p為最大值時，進行以下的動作，接著執行步驟S175a。圖17(B)是說明在有關本發明的實施方式1的攝像機模組中、在進行了進一步的正側修正時、該正側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖17(B)所示，由於當次的正側修正後的致動器操作量Vactp、或者進一步向正側修正後的致動器操作量Vact給出自動焦點控制用對比度評價值C5的大致極大值，所以進一步將致動器操作量向正側修正，搜索極大值。另外，如下述式(28)那樣，將C5p作為前次值，作為C5pp保存。
C5pp＝C5p ……(28)在步驟S176中，製作並評價進一步的負側修正時的自動焦點用對比度評價值。步驟S176由步驟S176a、步驟S176b、步驟S176c、步驟S176d、及步驟S176e構成。首先執行步驟S176a。
在步驟S176a中，如下述式(29)那樣從前次的負側修正後的致動器操作量(向致動器固定部114的線圈施加的施加電壓)Vactp減去dVact後的值作為負側修正時的致動器操作量Vact，如下述式(30)那樣，作為Vactn保存在存儲器中。接著，執行步驟S176b、步驟S176c、及步驟S176d。
Vact＝Vactn-dVact ……(29)Vactn＝Vact ……(30)在步驟S176b中，使致動器動作，在步驟S176c中，執行攝影，在步驟S176d中製作自動焦點控制用對比度評價值。進行與步驟S172b、步驟S172c、步驟S172d同樣的動作，如下述式(31)那樣，將對比度評價值C5作為負側修正後的自動焦點用對比度評價值C5n，寫入到系統控制部131的存儲器中。接著，執行步驟S176e。
C5n＝C5 ……(30)在步驟S176e中，評價焦點控制用對比度評價值。比較C5np、C5n，根據哪個是最大值來進行分支。
在C5np為最大值時，進行以下的動作，接著執行步驟S181。圖18(A)是說明在有關本發明的實施方式1的攝像機模組中、在進行了進一步的負側修正時、該負側修正前的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖18(A)所示，由於前次的負側修正後的致動器操作量Vactp+dVact給出自動焦點控制用對比度評價值C5的大致極大值，所以如下述式(32)那樣，將最終的致動器操作量Vactf設為Vactp+dVact。
Vactf＝Vactp+dVact(C5np為最大時) ……(32)在C5n為最大值時，進行以下的動作，接著執行步驟S176a。圖18(B)是說明在有關本發明的實施方式1的攝像機模組中、在進行了進一步的負側修正時、該負側修正後的對比度評價值為最大時的致動器操作量與對比度評價值的關係的圖。如圖18(B)所示，由於當次的負側修正後的致動器操作量Vactn、或者進一步向負側修正後的致動器操作量Vact給出自動焦點控制用對比度評價值C5的大致極大值，所以進一步將致動器操作量向負側修正，搜索極大值。另外，如下述式(33)那樣，將C5n作為前次值，作為C5np保存。
C5np＝C5n ……(33)在步驟S181、步驟S182、步驟S183、步驟S184、和步驟S185中，進行最終的攝影和圖像輸出。
在步驟S181中，如下述式(34)那樣，設定由上述得到的最終的致動器操作量Vactf作為致動器操作量Vact。接著，執行步驟S182。
Vact＝Vactf ……(34)在S182中，使致動器動作。該步驟與步驟S164同樣地動作。接著執行步驟S183。
在步驟S183中，進行攝影。該步驟與步驟S110同樣地動作。接著執行步驟S184。
在步驟S184中，在利用與該塊對應的視差值對各塊進行視差修正之後，進行圖像合成。該步驟與步驟S151同樣地動作。接著執行步驟S185。
在步驟S185中，進行圖像輸出。該步驟與步驟S152同樣地動作。接著執行步驟S190。
在步驟S190中，致動器操作量函數修正部149基於對比度式自動焦點控制的修正值修正操作量函數。即，如下述式(35)那樣，修正操作量函數的係數kb，變更在系統控制部131的存儲器中寫入的值。在下次的攝影時利用該值。接著，執行步驟S199。
kb＝kb+kc·(Vactf-Vact0) ……(35)在步驟S199中結束處理。
通過以上那樣構成、動作，具有以下的效果。
在第1實施方式的攝像機模組中，如步驟S161、步驟S162、步驟S163、步驟S164那樣根據自動焦點控制用視差值Δaf製作致動器位置指令Xact，運算致動器操作量Vact，對致動器固定部114的線圈施加電壓，使致動器動作，進行自動焦點控制。由此，由於通過1次的致動器動作進行對焦，所以能夠高速地進行自動焦點控制。
此外，在第1實施方式的攝像機模組中，首先，在步驟S161、步驟S162、步驟S163、步驟S164中，根據視差使致動器動作，進行自動焦點控制。接著，在步驟S171、步驟S172、步驟S173、步驟S174、步驟S175、步驟S176中，根據對比度使致動器動作，進行自動焦點控制。由於通過1次的致動器動作進行對焦，所以基於視差的自動焦點控制是高速的。另一方面，由於根據圖像直接判斷對焦，所以基於對比度的自動焦點控制不受致動器的偏差等影響，精度較好。因而，由於基於高速的視差的自動焦點控制進行粗調節，通過基於高精度的對比度的自動焦點控制進行微調節，所以能夠以高速且高精度地進行自動焦點控制。
此外，在第1實施方式的攝像機模組中，在步驟S190中，根據在基於對比度的自動焦點控制中修正的致動器操作量(Vactf-Vact0)，進行修正操作量函數的係數kb那樣的學習。由此，即使存在致動器的偏差等也能夠更正確地修正操作量函數，基於視差的自動焦點控制變得更正確，能夠減少下次的基於對比度的自動焦點控制的微調節的次數，所以實現了更高速的自動焦點控制。
如式(1)那樣，對應於被攝體距離A，第1～第4透鏡部113a～113d分別形成的4個物體像的相對位置變化。即，如果被攝體距離A變小，則視差Δ變大。因此，在對距離不同的多個被攝體同時攝影時，視差Δ對每個被攝體都不同。在第1實施方式的攝像機模組中，在步驟S130中將整體圖像區域分割為塊，在步驟S140中運算每個塊的視差，在步驟S184中，通過根據每個塊的視差進行圖像合成來進行視差修正，以便降低視差的影響。由此，即使在對距離不同的多個被攝體同時攝影時，也能夠適當地修正各個被攝體的視差，能夠得到在整體圖像區域中降低了視差影響的清晰的圖像。
此外，在第1實施方式的攝像機模組中，在步驟S121、步驟S122中，檢測邊緣，在步驟S130中分割為塊。由此，能夠適當地進行分塊化，所以能夠得到在整體圖像區域中降低了視差影響的清晰的圖像。
另外，在第1實施方式的攝像機模組中，原樣利用運算後的視差，但也可以適當地進行限定。根據透鏡特性，在被攝體距離A比某個值小時，圖像變得不鮮明。因此，只要將該值設定為被攝體距離A的最小值，就決定了視差Δ的最大值。比該值大的視差也可以作為誤差而忽視。此外，在這樣的情況下，也可以採用視差評價值第2小的值作為視差。
此外，在第1實施方式的攝像機模組中，根據第1攝像信號I1(主要表示綠色)和第4攝像信號I4(主要表示綠色)運算視差，但本發明並不限於此。例如，在由於紫色的被攝體綠色成分較少而含有較多藍色成分、紅色成分、所以不能根據第1攝像信號I1(主要表示綠色)和第4攝像信號I4(主要表示綠色)運算的情況下，也可以根據第2攝像信號I2(主要表示藍色)和第3攝像信號I3(主要表示紅色)運算視差。此外，如果不能根據第1視差信號I1(主要表示綠色)第4攝像信號I4(主要表示綠色)運算視差、並且不能根據第2攝像信號I2(主要表示藍色)和第3攝像信號I3(主要表示紅色)運算視差，則看作沒有視差的影響，可以認為無視差。
此外，在將第1實施方式的攝像機模組裝載到攝像機中時，通過將第1～第4攝像元件123a～123d配置為使第2攝像元件123a配置在上側、第3攝像元件123c配置在下側，由此上側變為對藍色敏感、下側變為對紅色敏感，所以能夠使風景照片的顏色再現更加自然。
此外，在視差評價值中有兩個突出的極值時，也可以採用較大一方的視差。由於在這樣的塊中含有被攝體與背景，被攝體距離與背景距離不同，所以極值出現兩個。由於與背景距離相比被攝體距離較小，所以與背景的視差相比，被攝體的視差較大。這裡，如果採用較大一方的視差，雖然不能降低背景的視差的影響，但能夠降低直接影響畫質的被攝體的視差。
此外，圖像輸出的定時並不限於上述情況，也可以適當地進行預覽輸出。例如，也可以在步驟S110的攝影后輸出沒有視差修正的圖像。此外，在步驟S130的塊分割中，也可以在分割1個塊時反映其結果、來更新預覽畫面。
此外，實施方式1的攝像機模組在S164中根據視差使致動器動作，然後在S171、S172、S173、S175、S182中根據對比度使致動器動作，但也可以僅根據視差使致動器動作。這是因為，在使用焦點深度較深的透鏡的情況下，由於在透鏡與攝像元件的距離中允許一些誤差，所以不需要根據對比度使致動器動作來提高精度。
此外，實施方式1的攝像機模組在S190中修正修正量函數。即根據基於對比度使致動器動作時的操作量進行學習，但也可以省略該步驟。由於實施方式1的攝像機模組的致動器是音圈型，透鏡的移動量根據溫度變化及姿勢變化而變化，所以通過學習，精度會顯著地提高，但在使用步進電動機的情況下，由於溫度變化及姿勢變化所引起的透鏡移動量的變化較小，所以也可以省略學習。
此外，也可以是雖然進行視差的焦點控制但不使致動器動作的情況。例如，也可以將透鏡與攝像元件的相對距離預先作為攝影無限遠時對焦的距離，在視差較小時看作不需要使致動器動作，而不使致動器動作。
此外，也可以適當地反覆進行塊分割，並附加更新塊的動作。例如，在實施方式1中，也可以在S183中進行了攝影后，進行S121、S122、及S130，來更新塊，在其後的步驟S184中進行視差修正。
(實施方式2)有關本發明的實施方式2的攝像機模組利用多個圖像的對比度檢測邊緣的視差，根據該視差運算整體圖像區域的視差，根據該視差進行圖像合成並進行視差修正，以便降低視差的影響，由此得到在整體圖像區域中降低了視差的影響的清晰的圖像。
參照附圖對有關本發明的實施方式2的攝像機模組進行說明。
圖19是表示有關本發明的實施方式2的攝像機模組的結構的剖視圖。除了攝像機模組201的電路部220的SLSI225以外與實施方式1同樣，對於與實施方式1同樣的部件賦予相同的標號而省略對它們的說明。
圖20是有關本發明的實施方式2的攝像機模組的框圖。SLSI225具有系統控制部231、攝像元件驅動部132、攝像信號輸入部133、致動器操作量輸出部134、圖像處理部235、以及輸入輸出部136。此外，電路部220除了上述的結構以外還具有放大器126。
系統控制部231由CPU、存儲器等構成，控制整個SLSI225。
圖像處理部235由邏輯電路或DSP、或者包括兩者而構成，利用系統控制部231的存儲器信息進行各種圖像處理。圖像處理部235具有對比度運算部241、自動焦點控制部242、邊緣視差運算部243、整體圖像區域視差運算部244、視差修正部245。
攝像元件驅動部132、攝像信號輸入部133、致動器操作量輸出部134、輸入輸出部136、及放大器126與實施方式1同樣，省略說明。
圖21是表示有關本發明的實施方式2的攝像機模組的動作的流程圖。通過SLSI225的系統控制部231，使攝像機模組201如該流程圖那樣動作。
在步驟S200中開始動作。例如，通過上位CPU(未圖示)檢測到快門按鈕等被按下的情況，經由輸入輸出部136對攝像機模組命令動作的開始，由此攝像機模組201開始動作。接著，執行步驟S211。
在步驟S211、步驟S212、步驟S213、步驟S214、步驟S215、步驟S216、及步驟S217中，進行多次的攝影，運算對比度評價值，保存攝影信號與對比度評價值。
在步驟S211中，如下述式(36)那樣，將計數器i初始化。接著，執行步驟S212。
i＝0 ……(36)在步驟S212中，製作致動器位置指令Xact。另外，位置指令Xact表示以無限遠像的對焦位置為基準、朝向被攝體方向的位置的指令。接著，執行步驟S213。
Xact＝kx2·i ……(37)在步驟S213中，如下述式(38)那樣，根據致動器位置指令Xact，利用控制量函數運算致動器控制量Vact。接著，執行步驟S214。
Vact＝ka·Xact+kb ……(38)在步驟S214中，使致動器動作。該動作與實施方式1的步驟S162的動作同樣，省略說明。接著，執行步驟S215。
在步驟S215中，進行攝影，保存攝像信號。通過系統控制部231的命令，攝像元件驅動部132隨時輸出用來進行電子快門及傳送的信號。第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d與攝像元件驅動部132所產生的信號同步地輸入作為第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d所輸出的各圖像的模擬信號的攝像信號，由CDS將固定噪音除去，由AGC自動地調節輸入增益，由ADC將模擬信號變換為數字值，成為第1攝像信號I1(i，x，y)、第2攝像信號I2(i，x，y)、第3攝像信號I3(i，x，y)、及第4攝像信號I4(i，x，y)，將數字值寫入到系統控制部231的規定地址的存儲器中。圖22是說明有關本發明的實施方式2的攝像機模組的攝像信號的坐標的圖。I1(i，x，y)表示第i次攝影的水平方向上第x、垂直方向上第y的第1攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，總像素數是H×L，x從0到L-1變化，y從0到H-1變化。此外，i是計數器，表示是第i+1次的攝影的圖像。第2攝像信號I2(i，x，y)、第3攝像信號I3(i，x，y)、第4攝像信號I4(i，x，y)也同樣。即，I2(i，x，y)、I3(i，x，y)及I4(i，x，y)分別表示是第i+1次攝影的水平方向上第x、垂直方向上第y的第2攝像信號、第3攝像信號、及第4攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，各個總像素數是H×L，x從0到L-1變化，y從0到H-1變化。此外，i是計數器，表示是第i+1次的攝影的圖像。接著，執行步驟S216。
在步驟S216中，對比度運算部241利用系統控制部231的存儲器上的數據，進行對比度評價值的運算與保存。該運算僅對第1攝像信號I1進行。如下述式(39)那樣運算拉普拉斯算符，再將如下述式(40)那樣立體地作用LPF(低通濾光器)後的值設為對比度評價值C2(i，x，y)。並且，將其寫入到系統控制部231的存儲器中。接著執行步驟S217。
C1(i，x，y)＝I1(i，x-1，y)+I1(i，x+1，y)+I1(i，x，y-1)+I1(i，x，y+1)-4I1(i，x，y)……(39)C2(i，x，y)＝C1(i，x-1，y-1)+C1(i，x，y-1)+C1(i，x+1，y-1)+C1(i，x-1，y)+C1(i，x，y)+C1(i，x+1，y)+C1(i，x-1，y+1)+C1(i，x，y+1)+C1(i，x+1，y+1)……(40)在步驟S217中檢查攝影張數，進行分支。首先，如下述式(41)那樣使計數器i增加1。如果計數器i比攝影張數Np小，則接著執行步驟S212。如果計數器i等於攝影張數Np，則接著執行步驟S221。
i＝i+1……(41)在步驟S221及步驟S222中，自動焦點控制部242利用系統控制部231的存儲器上的數據，選擇在對焦位置被攝影的圖像。
在步驟S221中，製作自動焦點用塊。將圖像區域的中央附近的長方形狀的塊作為自動焦點用塊。另外，該塊並不一定必須是中央附近，也可以反映操作攝像機的用戶的意思等(例如由傳感器檢測視點方向)，來製作塊。接著，執行步驟S222。
在步驟S222中，選擇在對焦位置被攝影的圖像。如圖9中說明那樣，在對焦位置被攝影的圖像的對比度為極大。根據該原理，選擇在對焦位置被攝影的圖像。首先，如下述式(42)那樣，將各攝影中的對比度評價值C2(i，x，y)的自動焦點用塊中的平均作為自動焦點控制用對比度評價值C3。另外，∑表示自動焦點用塊中的總和。接著，將給出C3(i)中的最大值的i作為對焦計數器值ip，表示對焦位置處的圖像。接著，執行步驟S230。
C3(i)＝|∑C2(i，x，y)|/N ……(42)ip在C3(i)中給出最大值的i ……(43)
在步驟S230中，邊緣視差運算部243利用系統控制部231的存儲器上的數據，檢測邊緣，檢測其視差。與實施方式1的步驟S122同樣，利用對焦位置處的圖像，檢測對比度評價值C2(ip，x，y)的0交叉點(值從正變化為負的點，以及值從負變化為正的點)。
接著，對邊緣上的點(xe，ye)，設定以(xe，ye)為中心的長方形的塊，對攝影后的整體圖像如下述式(44)那樣，將對比度評價值C2(i，x，y)的絕對值的總和作為C4(i，xe，ye)。這裡，∑表示設定的長方形塊中的總和。並且，根據圖9中說明的原理，如下述式(45)那樣，將表示邊緣上的點(xe，ye)處的對焦位置的ipe(xe，ye)設為給出C4(i，xe，ye)的最大值的i。這裡，利用式(9)、式(37)，將邊緣上的點(xe，ye)處的視差Δ(xe，ye)表示為下述式(46)。接著，執行步驟S240。
C4(i，xe，ye)＝∑|C2(i，x，y)| ……(44)ipe(xe，ye)C4(i，xe，ye)中給出最大值的i ……(45)Δ(xe，ye)＝(kx2/kx)ipe(xe，ye)……(46)在步驟S240中，整體圖像區域視差運算部244利用系統控制部231的存儲器上的數據，根據邊緣上的點(xe，ye)處的視差Δ(xe，ye)運算整體圖像區域中的視差Δ(x，y)。作為由大致相同的邊緣上的視差Δ(xe，ye)包圍的區域的視差Δ(x，y)，採用該邊緣上的視差Δ(xe，ye)。接著，執行步驟S250。
在步驟S250中，視差修正部245利用系統控制部231的存儲器上的數據，在利用整個區域中的視差Δ(x，y)進行視差修正之後，進行圖像合成。並且將其結果寫入到系統控制部231的存儲器中。由於第1攝像元件123a及第4攝像元件123d主要對物體光的綠色成分受光，所以第1攝像信號I1及第4攝像信號I4是物體光的綠色成分的信息信號。此外，由於第2攝像元件123b主要對物體光的藍色成分受光，所以第2攝像信號I2是物體光的藍色成分的信息信號。進而，由於第3攝像元件123c主要對物體光的紅色成分受光，所以第3攝像信號I3是物體光的紅色成分的信息信號。由於預測到(x，y)中的第1攝像元件123a與第4攝像元件123d的視差為(Δ(x，y)，Δ(x，y))，所以如下述式(47)所示，將表示(x，y)中的綠色的強度的G(x，y)設為第1攝像信號I1(ip，x，y)及第4攝像信號I4(ip，x-Δ(x，y)，y-Δ(x，y))的平均。此外，由於預測到(x，y)中的第1攝像元件123a與第2攝像元件123b的視差為(Δ(x，y)，0)，所以如下述式(48)那樣，將表示(x，y)中的藍色的強度的B(x，y)設為第2攝像信號I2(ip，x-Δ(x，y)，y)。進而，由於預測到(x，y)中的第1攝像元件123a與第3攝像元件123c的視差為(0，Δ(x，y))，所以如下述式(49)那樣，將表示(x，y)中的紅色的強度的R(x，y)設為第3攝像信號I3(ip，x，y-Δ(x，y))。接著，執行步驟S260。
G(x，y)＝[I1(ip，x，y)+I4(ip，x-Δ(x，y)，y-Δ(x，y))]/2……(47)B(x，y)＝I2(ip，x-Δ(x，y)，y) ……(48)R(x，y)＝I3(ip，x，y-Δ(x，y)) ……(49)在步驟S260中，輸出圖像。該步驟與實施方式1的S152同樣地動作。接著，執行S299。
在步驟S299中，結束處理。
通過以上那樣構成、動作，具有以下的效果。
利用多個圖像的對比度檢測邊緣的視差，根據該視差運算整體圖像區域的視差，根據該視差進行圖像合成來進行視差修正，以便降低視差的影響。由此，能夠得到在整體圖像區域中降低了視差的影響的清晰的圖像。
另外，在實施方式2的攝像機模組中，利用多次的攝影的對比度評價值求出邊緣的視差，但本發明並不限於此。例如，也可以設定以求出的邊緣上的點為中心的塊、通過在實施方式1中使用的方法求出該塊的視差而採用該視差。此外，也可以將邊緣上的幾個點合併，不是作為點、而是作為線來運算視差。此外，也可以將線狀的邊緣在端點及分支點分割而做成多個線段、運算其視差。此外，也可以製作包括該線段的周圍的塊、通過在實施方式1中使用的方法求出該塊的視差。此外，也可以將根據對比度評價值求出的視差與通過在實施方式1中使用的方法求出的視差組合。例如，也可以使用平均的視差或學習致動器操作量函數的係數。
此外，在實施方式1及實施方式2中，通過邊緣信息分割為塊，但本發明並不限於此。例如也可以分割為多個矩形塊。
(實施方式3)有關本發明的實施方式3的攝像機模組將攝像區域分割為塊，運算每個塊的視差，根據對每個塊運算的對比度值和移動了視差後的像的相關，來評價視差。在相關較大且對比度較大時，判斷所求出的視差正確，根據視差進行通常的視差修正。並且，在相關較小且對比度較小時，判斷所求出的視差為低精度，進行低對比度用的視差修正。進而，在相關較小且對比度較大時，判斷為由於含有多個距離的被攝體、所以求出的視差不正確，並將塊再分割。這樣，在整體圖像區域中得到清晰的圖像。
以下，參照附圖對有關本發明的實施方式3的攝像機模組進行說明。
圖23是表示有關本發明的實施方式3的攝像機模組的結構的剖視圖。除了攝像機模組301的電路部320的SLSI325以外，與實施方式1同樣，對於與實施方式1同樣的部件賦予相同的標號而省略對它們的說明。
圖24是有關本發明的實施方式3的攝像機模組的框圖。SLSI325具有系統控制部331、攝像元件驅動部132、攝像信號輸入部133、致動器操作量輸出部134、圖像處理部335、及輸入輸出部136。此外，電路部320除了上述的結構以外還具有放大器126。
圖像處理部335由邏輯電路或DSP(數位訊號處理器DigitalSignal Processor)、或者包括兩者而構成，利用系統控制部331的存儲器信息進行各種圖像處理。圖像處理部335具有自動焦點控制部341、塊分割部342、視差運算部343、相關運算部344、對比度運算部345、塊再分割部346、通常視差修正部347、低對比度用視差修正部348、以及低相關用視差修正部349。
圖25是表示有關本發明的實施方式3的攝像機模組的動作的流程圖。通過SLSI325的系統控制部331，使攝像機模組301如該流程圖那樣動作。
在步驟S3000中開始動作。例如，通過上位CPU(未圖示)檢測到快門按鈕(未圖示)等被按下的情況，經由輸入輸出部136對攝像機模組301命令動作的開始，攝像機模組301開始動作。接著，執行步驟S3100。
在步驟S3100中，自動焦點控制部341執行自動焦點控制。圖26是表示有關本發明的實施方式3的自動焦點控制的動作的流程圖。圖26的流程圖表示步驟S3100的動作的詳細情況。
在步驟S3100的自然焦點控制中，首先執行步驟S3121。
在步驟S3121中，將計數器i初始化為0。接著，執行步驟S3122。
在步驟S3122中，運算致動器的位置指令。如下述式(50)那樣利用計數器i運算致動器位置指令Xact。另外，位置指令Xact表示以無限遠像的對焦位置為基準、朝向被攝體方向為正的位置的指令。這裡，kx是設定的值。接著，執行步驟S3123。
Xact＝kx·i ……(50)在步驟S3123中，利用下述式(51)所示的操作量函數運算致動器操作量(向致動器可動部115的線圈施加的施加電壓)Vact。這裡，ka、kb分別是設定的值。接著，執行步驟S3124。
Vact＝ka·Xact+kb ……(51)
在步驟S3124中，使致動器動作。致動器操作量輸出部134變更所輸出的電壓信號，以使經由放大器126後施加給致動器可動部115的線圈(未圖示)的電壓成為Vact。接著，執行步驟S3125。
在步驟S3125中，執行攝影。通過系統控制部331的命令，攝像元件驅動部132隨時輸出用來進行電子快門及傳送的信號。第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d與攝像元件驅動部132產生的信號同步地輸入作為第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d所輸出的各圖像的模擬信號的攝像信號，由CDS將固定噪音除去，由AGC自動地調節輸入增益，由ADC將模擬信號變換為數字值，成為第1攝像信號I1(x，y)、第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、及第4攝像信號I4(x，y)，將數字值寫入到系統控制部331的規定地址的存儲器中。圖12是說明有關本發明的實施方式1的攝像機模組的攝像信號的坐標的圖。I1(x，y)表示水平方向上第x、垂直方向上第y的第1攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，總像素數是H×L，x從0到L-1變化，y從0到H-1變化。第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、第4攝像信號I4(x，y)也同樣。即，I2(x，y)、I3(x，y)及I4(x，y)分別表示是水平方向上第x、垂直方向上第y的第2攝像信號、第3攝像信號、及第4攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，總像素數是H×L，x從0到L-1變化，y從0到H-1變化。接著，執行步驟S3216。
在步驟S3126中，設定自動焦點控制用塊。將圖像區域的中心附近的矩形狀的區域作為自動焦點控制用的塊。另外，該塊並不一定必須是中央附近，也可以反映操作攝像機的用戶的意思等(例如由傳感器檢測視點方向)來設定塊。另外，也可以不是單一的塊而是選擇多個塊，在多個塊中使用後述的自動焦點控制用對比度評價值的平均。此外，也可以在多個塊中運算後述的自動焦點控制用對比度評價值，然後選擇至少1個塊作為自動焦點控制用塊。接著，執行步驟S3127。
在步驟S3127中，利用系統控制部331的存儲器上的數據，製作自動焦點控制用對比度評價值。該運算是對第1攝像信號I1的自動焦點控制用塊的像素進行的。如下述的式(52)那樣，運算作為x方向與y方向的2階微分的和的拉普拉斯算符的絕對值，如下述式(53)那樣立體地作用LPF(低通濾光器，Low Pass Filter)，將其如下述式(54)那樣在自動焦點控制用塊內平均而得到自動焦點用對比度評價值C3。這裡，Naf是自動焦點控制用塊的像素數。接著，執行步驟S3128。
C1(x，y)＝|I1(x-1，y)+I1(x+1，y)+I1(x，y-1)+I1(x，y+1)-4I1(x，y)|……(52)C2(x，y)＝C1(x-1，y-1)+C1(x，y-1)+C1(x+1，y-1)+C1(x-1，y)+C1(x，y)+C1(x+1，y)+C1(x-1，y+1)+C1(x，y+1)+C1(x+1，y+1) ……(53)C3＝∑C2(x，y)/Naf……(54)在步驟S3128中，如下述式(55)那樣，將對比度評價值C3作為C3(i)，寫入到系統控制部331的存儲器中。接著，執行S3129。
C3(i)＝C3 ……(55)在步驟S3129中，如下述式(56)那樣對計數器i加1。接著，執行步驟S3130。
i＝i+1……(56)在步驟S3130中，將計數器i與閾值Saf比較，根據其結果而進行分支。在計數器i比閾值Saf小時(步驟S3130的比較結果為「是」)，接著執行步驟S3122。另一方面，在計數器i為閾值Saf以上時(步驟S3130的比較結果為「否」)，接著執行步驟S3140。這樣，在步驟S3121中將計數器i初始化為0，在步驟S3129中對計數器i加1，在步驟S3130中通過計數器i進行分支，由此將從S3122到S3128的處理重複Saf次。
在步驟S3140中，進行對比度評價值C3的評價。如圖9那樣，在對焦位置處，對比度評價值C3成為最大。如下述式(57)那樣，將給出該最大值的計數器值i設為給出對比度最大值的計數器值iaf。接著，執行步驟S3151。
iaf＝給出C3的最大值的i ……(57)在步驟S3151中，運算致動器的位置指令。如下述式(58)那樣，利用給出對比度最大值的計數器值iaf運算致動器的位置指令Xact。另外，位置指令Xact表示以無限遠像的對焦位置為基準、朝向被攝體方向為正的位置的指令。接著，執行步驟S3152。
Xact＝kx·iaf ……(58)在步驟S3152中，利用操作量函數運算致動器操作量(向致動器可動部115的線圈施加的施加電壓)Vact。該動作與步驟S3123同樣，省略說明。接著，執行步驟S3153。
在步驟S3153中，使致動器動作。該動作與步驟S3124同樣，省略說明。接著，執行步驟S3160。
在步驟S3160中，結束自動焦點控制，回到主程序。因而，接著執行圖25的步驟S3200。
在步驟S3200中，執行視差修正。圖27是表示有關本發明的實施方式1的視差修正的動作的流程圖。圖27的流程圖表示步驟S3200的動作的詳細情況。
在步驟S3200的誤差修正中，首先執行步驟S3220。
在步驟S3220中，執行攝影。利用系統控制部131的命令，攝像元件驅動部132隨時輸出用來進行電子快門及傳送的信號。第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d與攝像元件驅動部132產生的信號同步地輸入作為第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d所輸出的各圖像的模擬信號的攝像信號，由CDS將固定噪音除去，由AGC自動地調節輸入增益，由ADC將模擬信號變換為數字值，成為第1攝像信號I1(x，y)、第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、及第4攝像信號I4(x，y)，將數字值寫入到系統控制部331的規定地址的存儲器中。圖12是說明有關本發明的實施方式1的攝像機模組的攝像信號的坐標的圖。I1(x，y)表示水平方向上第x、垂直方向上第y的第1攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，總像素數是H×L，x從0到L-1變化，y從0到H-1變化。第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、第4攝像信號I4(x，y)也同樣。即，I2(x，y)、I3(x，y)及I4(x，y)分別表示是水平方向上第x、垂直方向上第y的第2攝像信號、第3攝像信號、及第4攝像信號。所輸入的圖像的縱向的像素數是H，橫向的像素數是L，各個總像素數是H×L，x從0到L-1變化，y從0到H-1變化。接著，執行步驟S3230。
在步驟S3230中，塊分割部342利用系統控制部331的存儲器上的數據，進行塊分割。接著，將其結果寫入到系統控制部331的存儲器中。圖28是說明在有關本發明的實施方式3的攝像機模組中塊分割的圖。如圖28所示，將第1攝像信號I1沿橫向分割為M個塊、沿縱向分割為N個塊、總計分割為M×N個，將各個塊用Bi表示。這裡，i從0到M×N-1變化。接著，執行步驟S3240。
在步驟S3240中，視差運算部343利用系統控制部331的存儲器上的數據，運算每個塊的視差值。接著，寫入到系統控制部331的存儲器中。首先，對各塊(B0、B1、…、Bi、…、BMN-1)運算視差評價值(R0(k)、R1(k)、…、Ri(k)…、R MN-1(k)，k＝0、1、…、kmax)。圖29是說明在有關本發明的實施方式3的攝像機模組中、視差評價值的運算區域的圖。由Bi表示的(也作為I1表示的)區域是在步驟S3230根據第1攝像信號I1求出的第i個塊。由I4表示的區域是將Bi沿x方向移動k、沿y方向移動k後的區域。並且，對於各個區域的整體圖像信號I1(x，y)、I4(x-k，y-k)，運算下述式(59)所示的絕對值差分總和，來作為視差評價值Ri(k)。
Ri(k)＝∑∑|I1(x，y)-I4(x-k，y-k)|……(59)該視差評價值Ri(k)表示第i個塊Bi的第1圖像信號I1與沿x、y方向分別離開(k，k)的區域中的第4圖像信號I4有怎樣的相關，表示出值越小相關越大(很近似)。如圖15所示，視差評價值Ri(k)根據k的值而變化，在k＝Δi時具有極小值。這表示使第4圖像信號I4的第i個塊Bi沿x、y方向分別移動(-Δi，-Δi)而得到的圖像信號與第1圖像信號I1有最大的相關(最相似)。因而，可知對於第i個塊Bi的第1攝像信號I1與第4攝像信號I4的x、y方向的視差為(Δi，Δi)。以下，將該Δ(i，j)稱作第i個塊B(i，j)的視差值Δ(i，j)。這樣，從i＝0到i＝M×N-1，求出Bi的視差值Δi。接著，執行步驟S3251。
在步驟S3251中，相關運算部344利用系統控制部331的存儲器上的數據，運算每個塊的視差精度評價用相關值。並且將結果寫入到系統控制部331的存儲器中。圖30是說明在有關本發明的實施方式3的攝像機模組中視差精度評價用相關值的運算區域的圖。由Bi表示的(也作為I1表示的)區域是在步驟S3230根據第1攝像信號I1求出的第i個塊。由I4表示的區域是將Bi沿x方向移動Δi、沿y方向移動Δi後的區域。並且，對於各個區域的整體圖像信號I1(x，y)、I4(x-Δi，y-Δi)，如下述式(60)那樣，設為視差精度評價用相關值R2i。這裡，∑∑表示塊Bi內的總和，avg表示塊Bi內的加法平均。接著，執行步驟S3252。
R2i＝∑∑{I1(x，y)-avg(I1(x，y))}×{I4(x-Δi，y-Δi)-avg(I4(x-Δi，y-Δi))}/√∑∑{I1(x，y)-avg(I1(x，y))}2/√∑∑{I4(x-Δi，y-Δi)-avg(I4(x-Δi，y-Δi))}2……(60)在步驟S3252中，根據視差精度評價用相關值R2i選擇每個塊Bi的視差修正方式。如下述式(61)那樣，在視差精度評價用相關值R2i比閾值R20大時，將表示通常視差修正的1代入到視差修正方式標誌Fi中，保存到系統控制部331的存儲器中。接著，執行步驟S3261。
Fi＝1 (R2i＞R20) ……(61)在步驟S3261中，對比度運算部345利用系統控制部331的存儲器上的數據，運算每個塊的視差精度評價用對比度值。並且寫入到系統控制部331的存儲器中。如下述式(62)那樣，運算作為x方向與y方向的2階微分的和的拉普拉斯算符的絕對值，如下述式(63)那樣立體地作用LPF(低通濾光器，Low Pass Filter)，將其如下述式(64)那樣在各塊Bi內平均而得到視差精度評價用對比度評價值C6i，寫入到系統控制部331的存儲器中。這裡，NBi是塊Bi的像素數。另外，對比度評價值並不限於從式(62)到式(64)，只要能夠表現對比度就可以，例如也可以在式(62)中代替拉普拉斯算符而使用1次微分，或不是拉普拉斯算符的絕對值而使用x、y各自的2階微分的絕對值的和。此外，也可以使用式(63)以外的形式的LPF。進而，也可以對式(64)的結果進行用I1的大小的平均除等的標準化。接著，執行步驟S3262。
C4(x，y)＝|I1(x-1，y)+I1(x+1，y)+I1(x，y-1)+I1(x，y+1)-4I1(x，y)|……(62)C5(x，y)＝C1(x-1，y-1)+C1(x，y-1)+C1(x+1，y-1)
+C1(x-1，y)+C1(x，y)+C1(x+1，y)+C1(x-1，y+1)+C1(x，y+1)+C1(x+1，y+1)……(63)C6i＝∑C5(x，y)/NBi ……(64)在步驟S3262中，根據視差精度評價用對比度評價值C6i選擇每個塊Bi的視差修正方式。這裡，在步驟S3262中，僅對在步驟S3252中沒有將1代入到視差修正方式標誌Fi中的塊進行評價。因此，在步驟S3261中，在視差修正方式標誌Fi＝1的塊Bi中，也可以省略視差精度評價用對比度評價值C6i的運算。如下述式(65)那樣，在視差精度評價用對比度評價值C6i比閾值C60小時，將表示低對比度用視差修正的2代入到視差修正方式標誌Fi中，保存到系統控制部331的存儲器中。此外，如下述式(66)那樣，在視差精度評價用對比度評價值C6i為閾值C60以上時，將表示低相關用視差修正的3代入到視差修正方式標誌Fi中，保存到系統控制部331的存儲器中。接著，執行步驟S3271。
Fi＝2(C6i＜C60且不是Fi＝1)……(65)Fi＝3(C6i≥C60且不是Fi＝1)……(66)在步驟S3271中，根據視差修正方式標誌與塊的尺寸的大小，判斷是否需要進行塊的再分割，根據其判斷結果進行分支。在至少1個塊的視差修正方式標誌Fi是3、且在所有的塊Bi中最小的塊的像素數比S0大時，判斷為需要進行塊的再分割(步驟S3271的判斷結果為」是」)，接著執行步驟S3272。在所有的視差修正方式標誌Fi為1或2時、或者在所有的塊Bi之中最小的塊的像素數為S0以下時，判斷為不需要進行塊的再分割(步驟S3271的判斷結果為「否」)，接著，執行步驟S3280)。
在步驟S3272中，塊再分割部346利用系統控制部331的存儲器上的數據，將塊再分割。圖31(A)是說明在有關本發明的實施方式3的攝像機模組中塊的再分割之前的狀態的圖，圖31(B)是說明在有關本發明的實施方式3的攝像機模組中塊的再分割之後的狀態的圖。在圖31中，為了簡單，表示塊為4個、將在視差修正方式標誌Fi中代入了表示低相關用視差修正的3的塊B2(圖31(A))分割為4個塊B2、B4、B5、B6的例子(圖31(B))。表示將塊B2再分割之後的塊的號碼可取分割後的塊的號碼(2)、和未使用的號碼(4、5、6)。接著，執行S3240。
這樣，將低相關(Fi＝3)的塊再分割(步驟S3272)，運算相對於再分割之後的塊的視差(步驟S3240)，運算並評價相關(步驟S3251、步驟S3252)，運算並評價對比度(步驟S3261、步驟S3262)，判斷是否將塊再分割(步驟S3271)，再反覆進行將低相關(Fi＝3)的塊再分割(步驟S3272)的動作，直到在所有的塊中最小的塊的尺寸成為S0、或者所有的塊的視差修正方式標誌Fi成為1或2。另外，在從步驟S3240到步驟S3272中，由於通過塊的再分割而變更了塊的尺寸及塊的號碼，所以可以適當變更這些步驟的動作。
通過以上的處理，在上述的步驟S3271的判斷結果變為N的時刻(即開始執行步驟S3280的時刻)，將表示通常視差修正的1、表示低對比度用視差修正的2、或者表示低相關用視差修正的3代入到針對包括在步驟S3272中分割的塊的所有的塊Bi的視差修正方式標誌Fi中。在步驟S3280中，通常視差修正部347、低對比度用視差修正部348、低相關用視差修正部349利用系統控制部331的存儲器上的數據，對每個塊進行與視差修正方式標誌Fi的值對應的視差修正，合成圖像，將其結果寫入到系統控制部331的存儲器中。
在步驟S3280中，在視差修正方式標誌Fi＝1的塊中，視差精度評價用相關值R2i較大。圖32是說明在有關本發明的實施方式3的攝像機模組中視差精度評價用相關值R2i與視差修正方式標誌Fi的關係的圖。在第i個塊Bi內的第1攝像信號I1(x，y)與沿x方向、y方向移動了視差Δi的第4攝像信號I4(x-Δi，y-Δi)一致的情況下，在步驟S3251中求出的視差精度評價用相關值R2i為1，在兩者為隨機噪音時那樣隨機地不同的情況下，在步驟S3251中求出的視差精度評價用相關值R2i為0，在兩者處於如黑白反轉那樣的關係的情況下，在步驟S3251中求出的視差精度評價用相關值R2i為-1。這樣，在兩者近似時視差精度評價用相關值R2i較大而接近於1，在兩者不近似時，視差精度評價用相關值R2i較小而偏離1。這裡，如圖32所示，將閾值R20設定為接近於1的值(例如0.9)，由此，在視差精度評價用相關值R2i較大時，能夠判斷第i個塊Bi內的第1攝像信號I1(x，y)與移動了視差Δi的第4攝像信號I4(x-Δi，y-Δi)近似。這表示在第i個塊Bi中視差Δi的精度較高，並且在第1攝像信號I1(x，y)與移動了視差Δi的第4攝像信號I4(x-Δi，y-Δi)之間僅存在相同距離的被攝體。因此，通過將第4攝像信號I4沿x方向移動Δi、沿y方向移動Δi，能夠再現第i個塊Bi中的攝像信號。由於第2攝像信號I2僅在x方向上有視差的影響，第3攝像信號I3僅在y方向上有視差的影響，所以，通過將第2攝像信號I2沿x方向移動Δi而能夠再現塊Bi中的藍色的攝像信號，通過將第3攝像信號I3沿y方向移動Δi而能夠再現塊Bi中的紅色的攝像信號。
所以，在視差修正方式標誌Fi＝1的塊中，通常視差修正部347利用系統控制部331的存儲器上的數據，利用與該塊對應的視差值對每個塊進行視差修正之後，進行圖像合成。並且將其結果寫入到系統控制部331的存儲器中。由於第1攝像元件123a及第4攝像元件123d主要對物體光的綠色成分受光，所以第1攝像信號I1及第4攝像信號I4是物體光的綠色成分的信息信號。此外，由於第2攝像元件123b主要對物體光的藍色成分受光，所以第2攝像信號I2是物體光的藍色成分的信息信號。進而，由於第3攝像元件123c主要對物體光的紅色成分受光，所以第3攝像信號I3是物體光的紅色成分的信息信號。在第i個塊Bi中，由於預測到第1攝像元件123a與第4攝像元件123d的視差為(Δi，Δi)，所以如下述式(67)那樣，將表示像素坐標(x，y)中的綠色的強度的G(x，y)設為第1攝像信號I1(x，y)及第4攝像信號I4(x-Δi，y-Δi)的平均。通過這樣取平均，能夠降低隨機噪音的影響。此外，由於預測到第1攝像元件123a與第2攝像元件123b的視差為(Δi，0)，所以如下述式(68)那樣，將表示像素坐標(x，y)中的藍色的強度的B(x，y)設為第2攝像信號I2(x-Δi，y)。進而，由於預測到第1攝像元件123a與第3攝像元件123c的視差為(0，Δi)，所以如下述式(69)那樣，將表示(x，y)中的紅色的強度的R(x，y)設為第3攝像信號I3(x，y-Δi)。
G(x，y)＝[I1(x，y)+I4(x-Δi，y-Δi)]/2……(67)B(x，y)＝I2(x-Δi，y) ……(68)R(x，y)＝I3(x，y-Δi) ……(69)在步驟S3280中視差修正方式標誌Fi＝2的塊中，視差精度評價用相關值R2i較小，視差精度評價用對比度評價值C6i較小。圖33是說明在有關本發明的實施方式3的攝像機模組中視差精度評價用對比度評價值與視差修正方式標誌的關係的圖。在第i個塊Bi內的第1攝像信號I1(x，y)表示清楚的、即濃淡變化較大的圖像時，在步驟S3261中求出的視差精度評價用對比度評價值C6變大，在第i個塊Bi內的第1攝像信號I1(x，y)表示模糊的、即濃淡的變化較小的圖像時，在步驟S3261中求出的視差精度評價用對比度評價值C6接近於0。這裡，如圖33所示，設定閾值C60，由此，在視差精度評價用對比度評價值較小時，第i個塊Bi內的第1攝像信號I1(x，y)表示的圖像是濃淡較小、缺乏變化的圖像。因此，相對於信號成分的噪音成分變大，可以判斷出視差Δi的精度較差。此外，由於是濃淡較小的圖像，所以即使在再現的圖像中含有一些誤差，也沒有實用上的問題。所以，主要基於第1攝像信號I1(x，y)的信息再現顏色。另外，也可以基於第2攝像信號I2(x，y)、第3攝像信號I3(x，y)、或者第4攝像信號I4(x，y)的信息再現顏色。但是，與紅色、藍色相比，視覺靈敏度對綠色最高，所以優選基於具有物體光的綠色成分的信息的第1攝像信號I1(x，y)或者第4攝像信號I4(x，y)。此外，由於視差Δi的精度較差，所以優選單獨使用第1攝像信號I1(x，y)或者第4攝像信號I4(x，y)。
所以，在視差修正方式標誌Fi＝2的塊中，低對比度用視差修正部348利用系統控制部331的存儲器上的數據，利用與該塊對應的視差值對每個塊進行視差修正後，進行圖像合成。並且將其結果寫入到系統控制部331的存儲器中。由於第1攝像元件123a及第4攝像元件123d主要對物體光的綠色成分受光，所以第1攝像信號I1及第4攝像信號I4是物體光的綠色成分的信息信號。此外，由於第2攝像元件123b主要對物體光的藍色成分受光，所以第2攝像信號I2是物體光的藍色成分的信息信號。進而，由於第3攝像元件123c主要對物體光的紅色成分受光，所以第3攝像信號I3是物體光的紅色成分的信息信號。在第i個塊Bi中，預測到第1攝像元件123a與第4攝像元件123d的視差為(Δi，Δi)，但預想到誤差較大，所以如下述式(70)那樣，將表示像素坐標(x，y)中的綠色的強度的G(x，y)設為第1攝像信號I1(x，y)。此外，如下述式(71)那樣，將表示藍色的強度的B(x，y)設為對第1攝像信號I1(x，y)乘以比例係數kB後的值。這裡，比例係數kB是常數。另外，比例係數kB也可以相對每個塊Bi而變更，也可以是第2攝像信號I2(x，y)的塊Bi的中央的值相對於第1攝像信號I1(x，y)的塊Bi的中央的值的比、或者沿x方向移動了視差Δi的第2攝像信號I2(x-Δi，y)的塊Bi的中央的值相對於第1攝像信號I1(x，y)的塊Bi的中央的值的比、或者塊Bi的第2攝像信號I2(x，y)的平均相對於第1攝像信號I1(x，y)的平均的比、或者塊Bi的沿x方向移動了視差Δi的第2攝像信號I2(x-Δi，y)的平均相對於第1攝像信號I1(x，y)的平均的比。進而，如下述式(72)那樣，將表示紅色的強度的R(x，y)設為對第1攝像信號I1(x，y)乘以比例係數kR後的值。這裡，比例係數kR是常數。另外，比例係數kR也可以相對每個塊Bi而變更，也可以是第3攝像信號I3(x，y)的塊Bi的中央的值相對於第1攝像信號I1(x，y)的塊Bi的中央的值的比、或者沿y方向移動了視差Δi的第3攝像信號I3(x，y-Δi)的塊Bi的中央的值相對於第1攝像信號I1(x，y)的塊Bi的中央的值的比、或者塊Bi的第3攝像信號I3(x，y)的平均相對於第1攝像信號I1(x，y)的平均的比、或者塊Bi的沿y方向移動了視差Δi的第3攝像信號I3(x，y-Δi)的平均相對於第1攝像信號I1(x，y)的平均的比。另外，由於濃淡較小，所以如果考慮到即使含有一些誤差也察覺不到的情況，則也可以與視差修正方式標誌Fi＝1時同樣，由於預測到第1攝像元件123a與第2攝像元件123b的視差為(Δi，0)，所以如式(68)那樣，將表示像素坐標(x，y)中的藍色的強度的B(x，y)設為第2攝像信號I2(x-Δi，y)，進而，由於預測到第1攝像元件123a與第3攝像元件123c的視差為(0，Δi)，所以如式(69)那樣，將表示(x，y)中的紅色的強度的R(x，y)設為第3攝像信號I3(x，y-Δi)。
G(x，y)＝I1(x，y) ……(70)B(x，y)＝I1(x，y)*kB……(71)R(x，y)＝I1(x，y)*kR……(72)在步驟S3280中視差修正方式標誌Fi＝3的塊中，視差精度評價用相關值R2i較小，視差精度評價用對比度評價值C6i較大。如圖32所示，將閾值R20設定為接近於1的值(例如0.9)，由此，在視差精度評價用相關值R2i較小時，能夠判斷第i個塊Bi內的第1攝像信號I1(x，y)與移動了視差Δi的第4攝像信號I4(x-Δi，y-Δi)不近似。這表示在第i個塊Bi中含有多個不同被攝體距離的被攝體，視差Δi不能對應所有的被攝體。
所以，在視差修正方式標誌Fi＝3的塊中，低相關用視差修正部349利用系統控制部331的存儲器上的數據，進一步利用邊緣將塊再分割為多個塊，進行視差修正，並進行圖像合成。並且將其結果寫入到系統控制部331的存儲器中。圖34是表示有關本發明的實施方式3的低相關用視差修正部349的動作的流程圖。
在步驟S3310中，開始低相關用視差修正部349的動作。接著，執行步驟S3320。
在步驟S3320中，運算邊緣檢測用對比度評價值。該運算僅對第1攝像信號I1進行。如下述式(73)那樣，運算拉普拉斯算符，再將如下述式(74)那樣將立體地作用LPF(低通濾光器)後的值作為邊緣檢測用對比度評價值C8(x，y)。圖35(A)是說明有關本發明的實施方式3的攝像機模組的低相關用視差修正部349的邊緣檢測的原圖像，圖35(B)是說明有關本發明的實施方式3的攝像機模組的低相關用視差修正部349的邊緣檢測的邊緣檢測用對比度評價值的圖像。如果通過式(73)、(74)計算圖35(A)的原圖像的邊緣檢測用對比度評價值C8(x，y)，則成為圖35(B)那樣。另外，圖35(B)中用黑色表示式(74)的絕對值較大的部位。接著，執行步驟S3330。
C7(x，y)＝I1(x-1，y)+I1(x+1，y)+I1(x，y-1)+I1(x，y+1)-4I1(x，y)……(73)C8(x，y)＝C7(x-1，y-1)+C7(x，y-1)+C7(x+1，y-1)+C7(x-1，y)+C7(x，y)+C7(x+1，y)+C7(x-1，y+1)+C7(x，y+1)+C7(x+1，y+1) ……(74)在步驟S3330中，檢測邊緣。圖35(C)是說明有關本發明的實施方式3的攝像機模組的低相關用視差修正部349的邊緣檢測的邊緣的圖像。通過檢測圖35(B)的邊緣檢測用對比度評價值C8(x，y)的0交叉點(值從正變化為負的點、以及值從負變化為正的點)，能夠檢測圖35(C)那樣的邊緣。接著，執行步驟S3340。
在步驟S3340中，將塊再分割。如圖35(C)所示，對於被邊緣包圍的區域如Bi、Bj、Bj+1、…Bj+n那樣賦予標號。另外，j、j+1、…、j+n是未作為表示塊的號碼使用的號碼。這裡，在圖35中，為了簡單而表示將塊Bi再分割為5個塊的例子，n＝3。另外，為了防止噪音等帶來的邊緣的誤檢測或消失，也可以利用膨脹算法或收縮算法來修正邊緣。接著，執行步驟S3350。
在步驟S3350中，運算各塊的視差值。該動作與步驟S3240同樣，省略說明。接著，執行步驟S3360。
在步驟S3360中，修正視差，合成圖像。該動作與通常視差修正部347的動作同樣，省略說明。接著，執行步驟S3370。
在步驟S3370中，結束低相關用視差修正的動作。
以上，使步驟S3280動作，接著執行步驟S3290。
在步驟S3290中，結束視差修正，向主程序返回。即，接著執行圖25所示的步驟S3800。
在步驟S3800中，輸出圖像。輸入輸出部136將作為系統控制部331的存儲器上的數據的G(x，y)、B(x，y)、R(x，y)輸出給上位CPU(未圖示)及外部顯示裝置(未圖示)。另外，也可以輸出例如亮度、色度信號等的輸出，來代替G(x，y)、B(x，y)、R(x，y)。此外，也可以輸出白平衡或γ修正等圖像處理後的值。進而，也可以輸出進行了可逆壓縮或JPEG等那樣的非可逆壓縮的數據。此外，也可以輸出它們的多個。接著，執行S3900。
在步驟S3900中，結束動作。
通過如以上那樣構成、動作，具有以下的效果。
如式(1)那樣，根據被攝體距離A，第1～第4透鏡部113a～113d分別形成的4個物體像的相對位置變化。即，如果被攝體距離A變小，則視差Δ變大。因此，在同時攝影距離不同的多個被攝體時，對於每個被攝體，視差Δ不同。在實施方式3的攝像機模組中，在步驟S3230中，將整體圖像區域分割為塊，在步驟S3240中運算每個塊的視差，在步驟S3280中根據每個塊的視差進行圖像合成來進行視差修正，以便降低視差的影響。由此，即使在對距離不同的多個被攝體同時攝影時，也能夠適當地修正各個被攝體的視差、得到在整體圖像區域中降低了視差的影響的清晰的圖像。
在實施方式3的攝像機模組中，在步驟S3230中，將整體圖像區域分割為矩形狀的塊，在步驟S3240中運算每個塊的視差，在步驟S3280中根據每個塊的視差進行圖像合成來進行視差修正，以便降低視差的影響。由此，即使在對距離不同的多個被攝體同時攝影時，也能夠適當地修正各個被攝體的視差、得到在整體圖像區域中降低了視差的影響的清晰的圖像。
此外，有時在步驟S3230中分割後的塊內含有被攝體距離不同的多個物體的情況，在此情況下，對於每個物體像，視差不同。在實施方式3的攝像機模組中，在步驟S3251中運算視差精度評價用相關值R2i，在步驟S3252中通過評價視差精度評價用相關值R2i來評價視差Δi的精度，在步驟S3261中運算視差精度評價用對比度評價值C6i，在步驟S3262中通過評價視差精度評價用對比度評價值C6i來評價視差Δi的精度，設定視差修正方式標誌Fi，決定視差修正的方式。由此，能夠通過最適合的方法對每個塊修正圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
此外，在實施方式3的攝像機模組中，在步驟S3261中運算視差精度評價用對比度評價值C6i，在步驟S3262中根據每個塊的視差精度評價用對比度評價值C6i的對比度的大小，來判斷對每個塊運算的視差Δi有多少精度，在對比度較大時，使視差修正方式標誌Fi＝1，在步驟S3280中進行通常視差修正，在對比度較小時，使視差修正方式標誌Fi＝2，在步驟S3280中進行低對比度用的視差修正。由此，能夠通過最適合的方法對每個塊修正圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
此外，在實施方式3的攝像機模組中，在步驟S3251中運算視差精度評價用相關值R2i。視差精度評價用相關值R2i是表示對每個塊運算的視差有多少精度的視差精度評價值之一，是表示移動了視差的像有多少相關的值。在步驟S3252中視差精度評價用相關值R2i較大時，在步驟S3280中進行通常視差修正，在視差精度評價用相關值R2i較小時，在步驟S3280中進行低相關用視差修正。由此，能夠通過最適合的方法對每個塊修正圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
此外，在實施方式3的攝像機模組中，在步驟S3251中運算視差精度評價用相關值R2i。視差精度評價用相關值R2i是表示對每個塊運算的視差有多少精度的視差精度評價值之一，是表示移動了視差的像有多少相關的值。在視差精度評價用相關值R2i較大時，在步驟S3280中進行通常視差修正，在視差精度評價用相關值R2i較小時，在步驟S3272、以及步驟S3340的低相關用視差修正部349中將塊再分割，對再分割之後的每個塊進行視差修正。即，將判斷為低相關的塊再分割。由此，能夠通過最適合的方法對每個塊修正圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
此外，在實施方式3的攝像機模組中，在步驟S3251中運算視差精度評價用相關值R2i。視差精度評價用相關值R2i是表示對每個塊運算的視差有多少精度的視差精度評價值之一，是表示移動了視差的像有多少相關的值。在步驟S3261中運算視差精度評價用對比度評價值C6i，視差精度評價用對比度評價值C6i是表示對每個塊運算的視差有多少精度的視差精度評價值之一，是表示對比度高多少的值。在視差精度評價用相關值R2i較大且視差精度評價用對比度評價值C6i較大時，在步驟S3280中進行通常視差修正，在視差精度評價用相關值R2i較小時且視差精度評價用對比度評價值C6i較小時，在步驟S3280中進行低對比度用視差修正，在視差精度評價用相關值R2i較小且視差精度評價用對比度評價值C6i較大時，在步驟S3272、以及步驟S3340的低相關用視差修正部349中將塊再分割，對再分割之後的每個塊進行視差修正。即，如果判斷為低相關且高對比度，則將塊再分割。由此，能夠通過最適合的方法對每個塊修正圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
另外，在實施方式3中，圖像輸出的定時並不限於上述，也可以適當地預覽輸出。例如，在實施方式3中，也可以在步驟S3100中進行自動焦點控制的中途輸出沒有視差修正的圖像。此外，也可以在步驟S3271之後僅對能夠進行視差修正的塊進行視差修正、對其他塊不進行視差修正，而更新預覽畫面。
此外，在實施方式3中，在步驟S3320中如式(74)那樣運算邊緣檢測用對比度評價值C8(x，y)，在步驟S3330中根據0交叉點來檢測邊緣，但並不限於此。例如，也可以製作塊內的直方圖，將極小值設為閾值，通過二值化來進行塊分割。這裡，也可以具有多個閾值。此外，也可以利用1次微分的絕對值進行邊緣檢測。
(實施方式4)本發明的實施方式4在進行交錯讀入的情況下，對各個場求出視差來進行圖像合成，將各個場的合成圖像合成而成為最終圖像。這樣，通過對各場進行視差運算，即使在攝影運動的被攝體時因各場的攝影時間不同而各場的圖像不同的情況下，也能夠正確地求出每個場的視差，利用該視差合成圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
以下，參照附圖對有關本發明的實施方式4的攝像機模組進行說明。
圖36是表示有關本發明的實施方式4的攝像機模組的結構的剖視圖。除了攝像機模組401的電路部420的SLSI425以外，與實施方式1同樣，對於與實施方式1同樣的部件賦予相同的標號而省略對它們的說明。
圖37是有關本發明的實施方式4的攝像機模組的框圖。SLSI425具有系統控制部431、攝像元件驅動部132、攝像信號輸入部133、致動器操作量輸出部134、圖像處理部435、及輸入輸出部136。此外，電路部420除了上述的結構以外還具有放大器126。
圖像處理部435由邏輯電路或DSP(數位訊號處理器DigitalSignal Processor)、或者包括兩者而構成，利用系統控制部431的存儲器信息進行各種圖像處理。圖像處理部435具有自動焦點控制部341、塊分割部342、視差運算部343、相關運算部344、對比度運算部345、塊再分割部346、通常視差修正部347、低對比度用視差修正部348、低相關用視差修正部349、以及幀圖像製作部451。
圖38(A)～圖38(D)是說明有關本發明的實施方式4的攝像機模組的場圖像的圖。圖像整體如圖38(A)所示，交替地配置有第1場圖像和第2場圖像。首先傳送構成第1場圖像的攝像信號，接著傳送構成第2場圖像的攝像信號。在通常的黑白圖像中，通過將它們每隔1行交替配置來再現圖像整體。如圖38(B)所示，在圖像整體(幀圖像)的寬度為L、高度為H時，如圖38(C)及圖38(D)所示，第1場圖像、及第2場圖像的寬度分別為L，高度為H/2。
圖39是表示有關本發明的實施方式4的攝像機模組的動作的流程圖。圖40是表示有關本發明的實施方式4的攝像機模組的動作的時序圖。通過SLSI425的系統控制部431，攝像機模組401按照該流程圖和時序圖所示那樣動作。
在步驟S4000中，開始動作。例如，通過上位CPU(未圖示)檢測到快門按鈕(未圖示)等被按下的情況，經由輸入輸出部136對攝像機模組401命令動作的開始，攝像機模組401開始動作。接著，執行步驟S4100。
在步驟S4100中，自動焦點控制部341執行自動焦點控制。該動作與實施方式3的步驟S3100同樣，省略說明。但是，如圖40所示，由於僅傳送第1場、僅使用第1場圖像，所以可適當施加變更。因此，與傳送圖像整體(第1場及第2場)的情況相比，傳送所需要的時間成為大致一半，所以能夠相應地縮短自動焦點控制的時間。接著，執行步驟S4200。
在步驟S4200中，執行第1場的視差修正。該動作與實施方式3的步驟S3200同樣，省略說明。但是，如圖40所示，僅傳送第1場、僅使用第1場圖像，而適當地施加了變更，以便製作表示第1場的紅色的強度的Rf1(x，y)、表示綠色的強度的Gf1(x，y)、以及表示藍色的強度的Bf1(x，y)。接著，執行步驟S4300。
在步驟S4300中，執行第2場的視差修正。該動作與實施方式3的步驟S3200同樣，省略說明。但是，如圖40所示，僅傳送第2場、僅使用第2場圖像，而適當地施加了變更，以便製作表示第2場的紅色的強度的Rf2(x，y)、表示綠色的強度的Gf2(x，y)、以及表示藍色的強度的Bf2(x，y)。接著，執行步驟S4400。
在步驟S4400中，製作幀圖像(圖像整體)。如下述式(75)那樣，將表示第1幀的紅色的強度的Rf1(x，y)作為表示幀圖像的偶數行的紅色的強度的R (x，2*y)，如下述式(76)那樣，將表示第2幀的紅色的強度的Rf2(x，y)作為表示幀圖像的奇數行的紅色的強度的R(x，2*y+1)。此外，如下述式(77)那樣，將表示第1幀的綠色的強度的Gf1(x，y)作為表示幀圖像的偶數行的綠色的強度的G(x，2*y)，如下述式(78)那樣，將表示第2幀的綠色的強度的Gf2(x，y)作為表示幀圖像的奇數行的綠色的強度的G(x，2*y+1)。此外，如下述式(79)那樣，將表示第1幀的藍色的強度的Bf1(x，y)作為表示幀圖像的偶數行的藍色的強度的B(x，2*y)，如下述式(80)那樣，將表示第2幀的藍色的強度的Bf2(x，y)作為表示幀圖像的奇數行的藍色的強度的B(x，2*y+1)。這裡，x從0到L-1變化，y從0到H/2-1變化。接著，執行步驟S4800。
R(x，2*y)＝Rf1(x，y)……(75)R(x，2*y+1)＝Rf2(x，y) ……(76)G(x，2*y)＝Gf1(x，y)……(77)G(x，2*y+1)＝Gf2(x，y) ……(78)B(x，2*y)＝Bf1(x，y)……(79)B(x，2*y+1)＝Bf2(x，y) ……(80)在步驟S4800中，輸出圖像。該動作與實施方式3同樣，省略說明。接著，執行S4900。
在步驟S4900中，結束動作。
通過如上述那樣構成並動作，實施方式4的攝像機模組具有與實施方式3同樣的效果。
此外，實施方式4的攝像機模組在進行交錯讀入的情況，在步驟S4200中求出第1場的視差，根據所求出的視差進行視差修正，並製作圖像(Rf1，Gf1，Bf1)。此外，在步驟S4300中，求出第2場的視差，根據所求出的視差進行視差修正，來製作圖像(Rf2，Gf2，Bf2)。進而，在步驟S4400中，合成各個場的合成圖像，成為最終圖像。這樣，通過對每個場進行視差運算，即使在攝影運動的被攝體時因各場的攝影時間不同而各場的圖像不同的情況下，也能夠正確地求出每個場的視差。由此，能夠利用該視差合成圖像，所以能夠得到在整體圖像區域中進一步降低了視差的影響的清晰的圖像。
另外，實施方式4的攝像機模組的場的數量為2，但並不限於此。也可以是更多的場(例如3場、4場)。
另外，實施方式4的攝像機模組製作各個場的圖像，但也可以預先準備幀圖像的區域而直接代入。此外，也可以保持各個場的視差信息等，不製作場圖像，而直接製作幀圖像。
此外，實施方式4的攝像機模組也可以如圖41(A)及圖41(B)中分別所示，第1濾色器124a、第2濾色器124b、第3濾色器124c、及第4濾色器124d中的、沿X方向相鄰的兩個濾色器具有主要使綠色透射的分光透射特性。另外，在圖41(A)～圖41(C)中，在圖中將各個濾色器透射的顏色用R、G、B的標記表示。根據圖41(A)或圖41(B)的結構，在攝像元件123中，沿X方向相鄰的兩個攝像元件(即第1攝像元件123a和第2攝像元件123b、或者第3攝像元件123c和第4攝像元件123d)對物體光中的綠色的成分受光。
或者，如圖41(C)所示，也可以配置第1濾色器124a、第2濾色器124b、第3濾色器124c、及第4濾色器124d，使沿X方向相鄰的兩個濾色器(在該例中為第2濾色器124b和第3濾色器124c)具有主要使綠色透射的分光透射特性。另外，在如圖41(C)所示那樣配置有4個濾色器的情況下，將透鏡113中的第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、及第4透鏡部113d配置為，使光軸與這些濾色器的中心一致。同樣，將攝像元件123中的第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d也與透鏡部113中的各透鏡部的配置相配合地配置。這裡，適當地施加變更，以便根據第1攝像信號I1和第2攝像信號I2求出視差。
本實施方式的攝像機模組401中，通過採用圖41(A)～41(C)所示那樣的濾色器配置，有如下的優點。由於通過第1攝像信號I1和第2攝像信號I2的比較來求出視差，所以視差發生的方向只是x方向，不會跨越各場間。因此，能夠求出更正確的視差。
另外，圖41(A)～41(C)只不過是優選的濾色器配置的例子，並不將本發明的實施方式限定於此。例如，B與R的濾色器的位置也可以相反。
(實施方式5)本發明的實施方式5將視差較小、即被攝體距離較大的塊識別為背景，與預先保存的背景圖像等其他圖像置換。這樣，通過將根據視差所修正的圖像與其他圖像組合，能夠從修正後的圖像中正確地提取視差較大的部分的圖像，所以能夠將這些圖像清晰地組合。
以下，參照附圖對有關本發明的實施方式5的攝像機模組進行說明。
圖42是表示有關本發明的實施方式5的攝像機模組的結構的剖視圖。除了攝像機模組501的電路部520的SLSI525以外，與實施方式1同樣，對於與實施方式1同樣的部件賦予相同的標號而省略對它們的說明。
圖43是有關本發明的實施方式5的攝像機模組的框圖。SLSI525具有系統控制部531、攝像元件驅動部132、攝像信號輸入部133、致動器操作量輸出部134、圖像處理部435、輸入輸出部136、及背景圖像保存部551。此外，電路部520除了上述的結構以外還具有放大器126。
圖像處理部535由邏輯電路或DSP(數位訊號處理器DigitalSignal Processor)、或者包括兩者而構成，利用系統控制部531的存儲器信息進行各種圖像處理。圖像處理部535具有自動焦點控制部341、塊分割部342、視差運算部343、相關運算部344、對比度運算部345、塊再分割部346、通常視差修正部347、低對比度用視差修正部348、低相關用視差修正部349、以及背景圖像置換部552。
背景圖像保存部551由RAM或快閃記憶體存儲器那樣的可改寫的存儲器構成，存儲有圖像信息，可適當地從外部經由輸入輸出部136及系統控制部531改寫。
圖44是表示有關本發明的實施方式5的攝像機模組的動作的流程圖。通過SLSI525的系統控制部531，攝像機模組501按照該流程圖所示那樣動作。
在步驟S5000中，開始動作。例如，通過上位CPU(未圖示)檢測到快門按鈕(未圖示)等被按下的情況，經由輸入輸出部136對攝像機模組501命令動作的開始，攝像機模組501開始動作。接著，執行步驟S5100。
在步驟S5100中，自動焦點控制部341執行自動焦點控制。該動作與實施方式3的步驟S3100同樣，省略說明。接著，執行步驟S5200。
在步驟S5200中，執行視差修正。該動作與實施方式3的步驟S3200同樣，省略說明。接著，執行步驟S5300。
在步驟S5300中，置換背景。如下述式(81)、(82)、(83)那樣，視差Δi比閾值Δsh大的像素不進行圖像的變更。另一方面，如下述式(84)、(85)、(86)那樣，視差Δi為閾值Δsh以下的像素被置換為保存於背景圖像保存部551中的圖像(Rback，Gback，Bback)。另外，Δi表示在步驟S5200中求出的塊Bi的視差。接著，執行步驟S5800。
R(x，y)＝R(x，y)(Δi＞Δsh)……(81)G(x，y)＝G(x，y)(Δi＞Δsh)……(82)B(x，y)＝B(x，y)(Δi＞Δsh)……(83)R(x，y)＝Rback(x，y)(Δi≤Δsh)……(84)G(x，y)＝Gback(x，y)(Δi≤Δsh)……(85)B(x，y)＝Bback(x，y)(Δi≤Δsh)……(86)在步驟S5800中，輸出圖像。該動作與實施方式3同樣，省略說明。接著，執行S5900。
在步驟S5900中，結束動作。
通過如上述那樣構成並動作，實施方式5的攝像機模組具有與實施方式3同樣的效果。
此外，本發明的實施方式5在步驟S5300中將視差較小、即被攝體距離較大的塊Bi識別為背景，與預先保存的背景圖像(Rback，Gback，Bback)置換。這樣，通過將根據視差所修正的圖像與其他圖像組合，能夠從修正後的圖像中正確地提取視差較大的部分的圖像，所以能夠將這些圖像清晰地組合。圖45(A)～圖45(C)是說明有關本發明的實施方式5的攝像機模組的背景置換的圖。根據實施方式5，例如在對圖45(A)那樣的背景為山的人物像進行攝影的情況下，人物像的視差Δi較大而背景的山的視差Δi較小。這裡，如果將視差的閾值Δsh設定在人物像的視差與山的視差之間，則通過將背景的山的圖像與保存在背景圖像保存部中的海的背景圖像(圖45(B)，Rback，Gback，Bback)置換，如圖45(C)所示，能夠製作背景為海的人物像的圖像。
(實施方式6)圖46(A)及圖46(B)表示有關本發明的電子設備的一實施方式。如圖46(A)及圖46(B)所示，作為有關本發明的電子設備的一實施方式的帶攝像機的便攜電話600具有揚聲器601、天線602、液晶顯示器603、鍵部605、麥克風606，利用鉸鏈部604而能夠摺疊。此外，便攜電話600如圖46(B)所示，在液晶顯示器603的背面側內置有透鏡模組110，能夠進行靜止圖像及動態圖像的攝影。
另外，有關本發明的電子設備並不限於便攜電話，也可以作為車載用攝像機、數字攝像機及帶攝像機的PDA等來實施。
以上，說明了本發明的幾個實施方式，但它們只不過是例示，在本發明的實施時，能夠如以下這樣進行各種變更。
例如，在從實施方式1到實施方式5的攝像機模組中，原樣利用運算出的視差，但也可以適當進行限定。根據透鏡特性，在被攝體距離A比某個值小時，圖像變得不鮮明。因此，如果將該值設定為被攝體距離A的最小值，則設定了視差Δ的最大值。比該值大的視差可以作為誤差而忽略。此外，在這樣的情況下，也可以採用視差評價值第2小的值作為視差。
此外，在從實施方式1到實施方式5的攝像機模組中，根據第1攝像信號I1(主要表示綠色)和第4攝像信號I4(主要表示綠色)運算視差，但本發明並不限於此。例如由於紫色的被攝體綠色成分較少而含有較多藍色成分、紅色成分，所以有時不能根據第1攝像信號I1(主要表示綠色)和第4攝像信號I4(主要表示綠色)運算。在此情況下，也可以根據第2攝像信號I2(主要表示藍色)和第3攝像信號I3(主要表示紅色)運算視差。此外，如果不能根據第1視差信號I1(主要表示綠色)和第4攝像信號I4(主要表示綠色)運算視差、並且不能根據第2攝像信號I2(主要表示藍色)和第3攝像信號I3(主要表示紅色)運算視差，則看作沒有視差的影響，可以認為無視差。
此外，在將從實施方式1到實施方式5的攝像機模組裝載到攝像機中時，通過將第1～第4攝像元件123a～123d配置為，使第2攝像元件123a配置攝影時成為上側的一側、使第3攝像元件123c配置在攝影時成為下側的一側，從而上側變為對藍色敏感、下側變為對紅色敏感，所以能夠使風景照片的顏色再現更加自然。
此外，在視差評價值中有兩個突出的極值時，也可以採用較大一方的視差。由於在這樣的塊中含有被攝體與背景，被攝體距離與背景距離不同，所以極值出現兩個。由於與背景距離相比被攝體距離較小，所以與背景的視差相比，被攝體的視差較大。這裡，如果採用較大一方的視差，雖然不能降低背景的視差的影響，但能夠降低直接影響畫質的被攝體的視差。
此外，在從實施方式1到實施方式5中，攝像元件123包括第1攝像元件123a、第2攝像元件123b、第3攝像元件123c、及第4攝像元件123d，攝像信號輸入部133包括第1攝像信號輸入部133a、第2攝像信號輸入部133b、第3攝像信號輸入部133c、及第4攝像信號輸入部133d。但是，也可以用1個攝像元件構成攝像元件123，在其受光面上的不同的位置上形成第1～第4透鏡部113a～113d所形成的4個像。此外，攝像信號輸入部133也可以由被輸入了來自一個攝像元件123的信號的1個攝像信號輸入部構成。在此情況下，只要從放置於系統控制部131、231、331、431、531的存儲器上的數據中選擇適當區域，來作為第1攝像信號I1、第2攝像信號I2、第3攝像信號I3、第4攝像信號I4即可。
此外，在從實施方式1到實施方式5中，作為視差評價值Ri(k)而使用式(4)、(59)那樣的差分絕對值總和，但並不限於此。例如也可以使用差分的平方值的總和、或者根據第1攝像信號I1對塊內的平均進行差分後的值與根據第4攝像信號I4對塊內的平均進行差分後的值之間的差分的平方值的總和、或者根據第1攝像信號I1對塊內的平均進行差分後的值與根據第4攝像信號I4對塊內的平均進行差分後的值之間的差分的平方值的總和、或者將根據第1攝像信號I1對塊內的平均進行差分後的值與根據第4攝像信號I4對塊內的平均進行差分後的值之間的差分的平方值的總和、用根據第1攝像信號I1對塊內的平均進行差分後的值的平方值的總和的平方根除、並用根據第4攝像信號I4對塊內的平均進行差分後的值的平方值的總和的平方根除之後的值。
此外，作為視差評價值Ri(k)，也可以使用式(60)、或根據第1攝像信號I1對塊內的平均進行差分後的值與根據第4攝像信號I4對塊內的平均進行差分後的值之間的相乘結果的總和。但是，從第1到第5實施方式的視差評價值Ri(k)在相關越大時(越近似)越小，所以如圖15所示，給出極小值的k給出視差Δi，但在使用式(60)等時，相關越大(越近似)值越大，所以需要進行將給出極大值的k作為視差Δi等的適當變更。
此外，在從實施方式1到實施方式5中，配置為，使得將第1透鏡部113a、第2透鏡部113b、第3透鏡部113c、以及第4透鏡部113d的光軸的中心相互連結而得到的矩形為正方形，但並不限於此。該矩形的x方向的長度與y方向的長度也可以不同。在此情況下，例如在步驟S140、以及步驟S3240中求出視差時、在步驟S151、步驟S184、步驟S250及步驟S3280中進行視差修正時等，需要適當地變更。即，不是使用在x方向和y方向上相同的k，而是保持上述矩形的x方向長度與y方向的長度之比地變更k。
此外，在從實施方式1到實施方式5中，視差作為整數求出，但並不限於此。也可以通過直線內插等，在步驟S140、步驟S240及步驟S3240中將視差求出到小數，在步驟S184、步驟S250及步驟S3280中分別利用直線內插進行視差修正。
此外，在從實施方式1到實施方式5中，也可以省略焦點控制，在結構中不包含致動器地進行塊分割和視差修正。由於在利用焦點深度很深的透鏡的情況下，在透鏡與攝像元件的距離中允許較大的誤差，所以不需要使致動器動作。
此外，在從實施方式1到實施方式5中，第1攝像信號I1主要表示綠色成分、第2攝像信號I2主要表示藍色成分、第3攝像信號I3主要表示紅色成分、第4攝像信號I4主要表示綠色成分，比較第1攝像信號I1與第4攝像信號I4來檢測視差並進行視差修正，但並不限於此。例如，也可以變更透鏡與濾色器的設計，進行變更，以使第1攝像信號I1主要表示綠色成分、第2攝像信號I2主要表示綠色成分、第3攝像信號I3主要表示藍色成分、第4攝像信號I4主要表示紅色成分。在此情況下，需要如下變更如下述式(87)那樣變更視差評價係數，如下述式(88)、(89)、(90)那樣進行視差修正等。
Ri(k)＝∑∑|I1(x，y)-I2(x-k，y)| ……(87)G(x，y)＝[I1(x，y)+I2(x-Δi，y)]/2……(88)B(x，y)＝I3(x，y-Δi) ……(89)
R(x，y)＝I4(x-Δi，y-Δi)……(90)此外，也可以變更為，使第1攝像信號I1主要表示綠色成分、第2攝像信號I2主要表示藍色成分、第3攝像信號I3主要表示綠色成分、第4攝像信號I4主要表示紅色成分。在此情況下，需要如下變更如下述式(91)那樣變更視差評價係數，如下述式(92)、(93)、(94)那樣進行視差修正等。
Ri(k)＝∑∑|I1(x，y)-I3(x，y-k)| ……(91)G(x，y)＝[I1(x，y)+I3(x，y-Δi)]/2……(92)B(x，y)＝I2(x-Δi，y) ……(93)R(x，y)＝I4(x-Δi，y-Δi) ……(94)此外，在從實施方式1到實施方式5中，以柵格狀設置4個攝像區域，但並不限於此。例如，也可以配置為使第1攝像元件、第2攝像元件、第3攝像元件、第4攝像元件成為1條直線上，進行變更以使第1攝像信號I1主要表示藍色成分、第2攝像信號I2主要表示綠色成分、第3攝像信號I3主要表示綠色成分、第4攝像信號I4主要表示紅色成分。在此情況下，需要如下變更如下述式(95)那樣變更視差評價係數，如下述式(96)、(97)、(98)那樣進行視差修正等。
Ri(k)＝∑∑|I2(x，y)-I3(x-k，y)|……(95)G(x，y)＝[I2(x，y)+I3(x-Δi，y)]/2 ……(96)B(x，y)＝I1(x+Δi，y) ……(97)R(x，y)＝I4(x-2*Δi，y) ……(98)此外，在從實施方式1到實施方式5中，設置了4個攝像區域，但並不限於此。例如，也可以具有3個攝像區域，配置為使第1攝像元件、第2攝像元件、第3攝像元件成為1條直線上，進行變更以使第1攝像信號I1主要表示藍色、第2攝像信號I2主要表示綠色、第3攝像信號I3主要表示紅色。在此情況下，需要如下變更如下述式(99)、(100)那樣變更視差評價係數，如下述式(101)那樣製作綠色成分G，利用由式(99)求出的視差Δi，如下述式(102)那樣製作藍色成分B，利用由式(100)求出的視差Δi，如下述式(103)那樣製作紅色成分R，進行視差修正等。此外，也可以使用式(60)那樣的形式來代替式(99)、(100)。
Ri(k)＝∑∑|I2(x，y)-I1(x+k，y)|……(99)Ri(k)＝∑∑|I2(x，y)-I3(x-k，y)|……(100)G(x，y)＝I2(x，y) ……(101)B(x，y)＝I1(x+Δi，y) ……(102)R(x，y)＝I3(x-*Δi，y) ……(103)此外，也可以具有3個攝像區域，將第2攝像元件配置在第1攝像元件的右側(x軸的正的位置)上，將第3攝像元件配置在第1攝像元件的下側(y軸的正的位置)上，進行變更以使第1攝像信號I1主要表示綠色、第2攝像信號I2主要表示藍色、第3攝像信號I3主要表示紅色。在此情況下，需要如下變更，如下述式(104)、(105)那樣變更視差評價係數，如下述式(106)那樣製作綠色成分G，利用由式(104)求出的視差Δi，如下述式(107)那樣製作藍色成分B，利用由式(105)求出的視差Δi，如下述式(108)那樣製作紅色成分R，進行視差修正等。此外，也可以使用式(60)那樣的形式來代替式(104)、(105)。
Ri(k)＝∑∑|I1(x，y)-I1(x-k，y)|……(104)Ri(k)＝∑∑|I1(x，y)-I3(x，y-k)|……(105)G(x，y)＝I1(x，y) ……(106)B(x，y)＝I2(x-Δi，y) ……(107)R(x，y)＝I3(x，y-Δi) ……(108)在實施方式1、從實施方式3到實施方式5的攝像機模組中，利用塊中的視差Δi進行視差修正，但也可以利用每個塊的視差Δi決定各像素的視差Δ(x，y)，利用該各像素的視差Δ(x，y)進行視差修正。
工業實用性本發明的攝像機模組由於是能夠小型化、薄型化的具有自動焦點功能的攝像機模組，所以對於具有攝像機功能的便攜電話、數字靜像攝像機、車載用攝像機、以及監視用攝像機等是具有實用性的。
權利要求
1.一種攝像機模組，具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；塊分割部，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算部，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正部，根據上述視差修正上述多個攝像信號，併合成圖像。
2.如權利要求1所述的攝像機模組，還具有致動器，使上述多個透鏡部與上述多個攝像區域的相對距離變化；以及焦點控制部，根據上述視差控制致動器。
3.如權利要求2所述的攝像機模組，還具有對比度運算部，該對比度運算部根據上述多個攝像信號中的至少1個攝像信號運算對比度；上述焦點控制部根據上述視差和上述對比度控制上述致動器。
4.如權利要求3所述的攝像機模組，上述焦點控制部多次控制上述致動器，第1次根據上述視差控制上述致動器，第2次以後根據上述對比度控制上述致動器。
5.如權利要求3所述的攝像機模組，上述焦點控制部學習根據上述對比度控制上述致動器時的對上述致動器的操作量。
6.如權利要求5所述的攝像機模組，上述塊分割部根據上述至少1個攝像信號檢測多個圖像區域的輪廓，將上述至少1個攝像信號分割為多個塊，以便利用上述輪廓分割為上述多個圖像區域。
7.如權利要求6所述的攝像機模組，附加輪廓視差運算部，該輪廓視差運算部根據上述攝像信號求出作為上述輪廓的視差的輪廓視差；上述視差運算部根據上述輪廓視差，對每個上述塊運算上述多個透鏡部分別形成的像間的視差。
8.如權利要求1所述的攝像機模組，上述塊分割部將上述至少1個攝像信號分割為矩形狀的多個塊。
9.如權利要求1所述的攝像機模組，還具有視差評價值運算部，該視差評價值運算部根據上述攝像信號對上述多個塊的每一個運算表示上述視差的精度的至少1個視差精度評價值；上述視差修正部根據上述視差和上述視差精度評價值，對上述多個塊的每一個修正上述多個攝像信號，併合成圖像。
10.如權利要求9所述的攝像機模組，上述視差修正部根據上述視差精度評價值，對上述多個塊的每一個決定是否將該塊分割為至少2個，在判斷為應分割的塊中，根據分割後的塊的視差合成圖像。
11.如權利要求9所述的攝像機模組，上述視差評價值運算部根據上述多個攝像信號中的至少1個攝像信號，對上述多個塊的每一個運算表示對比度的大小的第1視差精度評價值。
12.如權利要求9所述的攝像機模組，上述視差評價值運算部利用分割為上述多個塊的上述攝像信號，對上述多個塊的每一個運算第2視差精度評價值，該第2視差精度評價值表示將至少兩個的上述透鏡部分別形成的像移動了上述視差後的像相關多少。
13.如權利要求11所述的攝像機模組，上述視差修正部對於上述多個塊的每一個，在上述第2視差精度評價值小時將該塊分割為至少兩個，在分割後的塊中根據分割後的塊的視差合成圖像。
14.如權利要求10所述的攝像機模組，上述視差評價值運算部，根據上述多個攝像信號中的至少1個攝像信號，對上述多個塊的每一個運算表示對比度的大小的第1視差精度評價值，並且利用分割為上述多個塊的上述攝像信號，對上述多個塊的每一個，運算表示將至少兩個的上述透鏡部分別形成的像移動了上述視差後的像相關多少的第2視差精度評價值；上述視差修正部對於上述多個塊的每一個，在上述第1視差精度評價值大且上述第2視差精度評價值小時，將該塊至少分割為兩個，在分割後的塊中根據分割後的塊的視差合成圖像。
15.如權利要求1所述的攝像機模組，上述攝像信號輸入部按多個場的每一個輸入上述多個攝像信號；上述視差運算部分別對上述多個場運算每個上述塊的視差。
16.如權利要求15所述的攝像機模組，還具有濾色器，該濾色器與上述多個透鏡部一一對應，配置有多個顏色的濾光器；對應於上述多個透鏡部中的、與上述場的掃描方向平行配置的至少兩個的透鏡部，配置同色的濾光器。
17.如權利要求1所述的攝像機模組，還具有保存與攝影圖像不同的其他圖像的其他圖像保存部；上述視差修正部將根據上述視差修正了上述攝像信號後的圖像與上述其他圖像組合。
18.如權利要求17所述的攝像機模組，上述視差修正部按照上述視差越大、修正了上述攝像信號後的圖像的比例越大、而上述其他圖像的比例越小的方式進行組合。
19.一種電子設備，具有權利要求1～18中任一項所述的攝像機模組。
20.一種程序，在下述攝像機模組中控制上述圖像處理部的動作，該攝像機模組具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，並分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；以及圖像處理部，進行所輸入的攝像信號的圖像處理，上述程序的特徵在於，使上述圖像處理部執行塊分割處理，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算處理，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正處理，根據上述視差修正上述多個攝像信號，併合成圖像。
21.一種程序記錄介質，記錄有在下述攝像機模組中控制上述圖像處理部的動作的程序，該攝像機模組具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，並分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；以及圖像處理部，進行所輸入的攝像信號的圖像處理，上述程序記錄介質的特徵在於，上述程序使上述圖像處理部執行塊分割處理，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算處理，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正處理，根據上述視差修正上述多個攝像信號，併合成圖像。
全文摘要
提供一種能夠薄型化、並且不論被攝體距離如何都能夠得到在整體圖像區域中清晰的圖像的攝像機模組。具有多個透鏡部，分別至少包括1片透鏡；多個攝像區域，與上述多個透鏡部一一對應，分別具有相對於所對應的上述透鏡部的光軸方向大致垂直的受光面；攝像信號輸入部，輸入從上述多個攝像區域分別輸出的多個攝像信號；塊分割部，將上述多個攝像信號中的至少1個攝像信號分割為多個塊；視差運算部，利用上述攝像信號，對每個上述塊運算上述多個透鏡部分別形成的像間的視差；以及視差修正部，根據上述視差修正上述多個攝像信號，併合成圖像。
文檔編號H04N9/09GK101032161SQ200580032738
公開日2007年9月5日 申請日期2005年9月27日 優先權日2004年9月27日
發明者飯島友邦, 石川隆, 沼井鬱夫, 早川正人, 高井亞季 申請人:松下電器產業株式會社