圖像處理裝置及方法、以及攝像裝置製造方法

2023-05-12 15:48:36 2

圖像處理裝置及方法、以及攝像裝置製造方法
【專利摘要】本發明所涉及的圖像處理方法取得經由單一的攝影光學系統進行攝像並被光瞳分割後的相互具有視差的第一圖像和第二圖像，在用於轉換為將第一和第二圖像所具有視差量和模糊量變更後的第三和第四圖像而在第一和第二圖像分別適用的第一和第二轉換濾波組中，針對第一和第二圖像的每個像素使用與該像素的視差對應的第一和第二轉換濾波來進行濾波處理。
【專利說明】圖像處理裝置及方法、以及攝像裝置

【技術領域】
[0001]本發明涉及圖像處理裝置及方法、以及攝像裝置，特別涉及對經由單一的攝影透鏡拍攝的具有視差的立體視用的圖像的視差進行調整的技術。

【背景技術】
[0002]以往，已知有如下那樣的單眼3D攝像裝置:即利用對通過單一的攝影透鏡的左右方向的不同區域後的被攝體像進行光瞳分割而分別成像的相位差(XD(Charge CoupledDevice)，對通過各區域後的被攝體像分別進行光電轉換，取得對應於焦點偏移量而相互具有相位差的左眼圖像和右眼圖像(單眼3D圖像)(專利文獻I)。專利文獻I記載的立體攝像裝置利用光圈的F值進行單眼3D的左眼圖像和右眼圖像的視差的調整。
[0003]專利文獻2記載的圖像處理裝置算出左右的視點圖像間相互對應的像素間的視差量，生成表示視差量的分布的初始的視差映射，從預先規定的表示外形形狀和視差量分布的多個視差模板中，通過比較視差映射內的部分區域和視差模板而選擇與所述部分區域對應的視差模板，基於由所選擇的視差模板所置換的視差映射，生成視點數比左右的視點圖像多的多視點圖像。另外，在專利文獻2的第0048段，記載了也能夠將專利文獻2所記載的技術適用於單眼3D圖像。
[0004]專利文獻3中，記載了通過使由複眼攝像裝置所拍攝的具有視差的左眼圖像和右眼圖像相互移位而對左眼圖像和右眼圖像的視差進行調整的技術。
[0005]現有技術文獻
[0006]專利文獻
[0007]專利文獻1:特開2011-199502號公報
[0008]專利文獻2:特開2011-211551號公報
[0009]專利文獻3:特開2011-29700號公報


【發明內容】

[0010]發明所要解決的課題
[0011]專利文獻I記載的單眼3D攝像裝置通過對光圈的F值進行調整而進行單眼3D圖像的視差的調整，但是該視差的調整僅能夠在單眼3D攝像裝置的攝像時進行。S卩，通過對單眼3D圖像進行圖像處理，不能夠生成視差(F值)不同的單眼3D圖像。
[0012]專利文獻2所記載的發明通過對單眼3D圖像進行圖像處理，能夠生成視差不同的左眼圖像和右眼圖像。然而，生成後的左眼圖像和右眼圖像，不能成為單眼3D圖像。
[0013]在此，單眼3D圖像是若視差變大則模糊也變大的圖像。作為單眼3D圖像的優點之一，可以列舉出利用3D電視即使摘下3D專用眼鏡進行欣賞也幾乎不會發生重影的優點(能夠作為2D圖像欣賞的優點)。
[0014]專利文獻3記載的左眼圖像和右眼圖像是利用複眼攝像裝置而拍攝的圖像，並非單眼3D圖像。另外，通過使左眼圖像和右眼圖像相互移位而對視差進行調整後的圖像也並非單眼3D圖像。
[0015]本發明鑑於這種情形而提出，其目的在於提供一種能夠由利用單眼3D圖像裝置拍攝的單眼3D圖像生成將視差量和模糊量聯動調整後的期望的立體視用的圖像的圖像處理裝置及方法、以及攝像裝置。
[0016]用於解決課題的手段
[0017]為了達成所述目的，本發明的一方式所涉及的圖像處理裝置具備:圖像取得單元，取得經由單一的攝影光學系統進行攝像且通過光瞳分割單元進行光瞳分割後的相互具有視差的第一圖像和第二圖像；視差取得單元，取得所取得的第一圖像和第二圖像的對應的像素間的視差；以及濾波處理單元，在用於轉換為將取得的第一圖像和第二圖像所具有的視差量和模糊量變更後的第三圖像和第四圖像的、適用於第一圖像的第一轉換濾波組和適用於第二圖像的第二轉換濾波組中，針對取得的第一圖像和第二圖像的每個像素，使用與由視差取得單元取得的該像素的視差對應的第一轉換濾波和第二轉換濾波來進行濾波處理。
[0018]根據本發明的一方式，通過針對第一圖像和第二圖像的像素的每個進行基於與該像素的視差對應的第一轉換濾波和第二轉換濾波的濾波處理，能夠對視差量和模糊量這兩者進行聯動調整。
[0019]本發明的其他方式所涉及的圖像處理裝置中，優選的是，第三圖像和第四圖像的對應的像素間的視差量越大，濾波處理單元越增大模糊量。由此，第三、第四圖像能夠通過3D顯示器而實現立體視，另外，即使摘下3D專用眼鏡進行欣賞也幾乎不產生重影。
[0020]本發明的另一其他方式所涉及的圖像處理裝置中，具備:數字濾波存儲單元，存儲與從入射到單一的攝影光學系統的光到轉換為第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組；以及轉換濾波計算單元，基於存儲的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統光到轉換為第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組，算出第一轉換濾波組和第二轉換濾波組，濾波處理單元針對取得的第一圖像和第二圖像的每個像素，基於由視差取得單元取得的該像素的視差，從算出的第一轉換濾波組和第二轉換濾波組選擇與視差對應的第一轉換濾波和第二轉換濾波，使用所選擇的第一轉換濾波和第二轉換濾波來進行濾波處理。
[0021]在數字濾波存儲單元存儲與從入射到單一的攝影光學系統光到轉換為第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組。可以根據攝影光學系統、光瞳分割單元和攝像元件等的特性，通過預先模擬或點像的實測而取得所述的第一數字濾波組和第二數字濾波組。
[0022]轉換濾波計算單元基於第一、第二數字濾波組以及第三、第四數字濾波組而算出用於將第一、第二圖像轉換為第三、第四圖像的第一、第二轉換濾波。
[0023]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，轉換濾波計算單元將存儲於數字濾波存儲單元中的第一數字濾波組和第二數字濾波組中的任一數字濾波設為T(x，y)，將對該數字濾波T(x，y)進行傅立葉變換後的結果設STf(?x，coy)，將第三數字濾波組和第四數字濾波組中的與數字濾波T (X，y)對應的數字濾波設為Tw(X，y)，將對該數字濾波Tw(x，y)進行傅立葉變換後的結果設為Twf(?x，coy)，利用下式算出在實空間卷積的轉換濾波:
[0024]ΓΗ?^ωχ，Qy)-1.Twf (ωχ, coy))的振幅成分(其中，Γ1:傅立葉逆變換)。
[0025]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，具備:指定單元，對向應該轉換的第三圖像和第四圖像的轉換特性進行指定；以及數字濾波計算單元，算出與指定的轉換特性對應的第三數字濾波組和第四數字濾波組，轉換濾波計算單元使用存儲於數字濾波存儲單元的第一數字濾波組和第二數字濾波組、以及由數字濾波計算單元算出的第三數字濾波組和第四數字濾波組，來算出第一轉換濾波組和第二轉換濾波組。
[0026]本發明的又一其他方式所涉及的圖像處理裝置中，具備轉換濾波存儲單元，該轉換濾波存儲單元存儲每個視差的第一轉換濾波組和第二轉換濾波組，其中每個視差的第一轉換濾波組和第二轉換濾波組基於與從入射到單一的攝影光學系統的光到轉換為第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統的光到轉換為第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組而算出，濾波處理單元針對取得的第一圖像和第二圖像的每個像素，基於由視差取得單元取得的該像素的視差，從存儲的第一轉換濾波組和第二轉換濾波組讀出與視差對應的第一轉換濾波和第二轉換濾波，使用所讀出的第一轉換濾波和第二轉換濾波來進行濾波處理。
[0027]據此，由於不需要算出第一、第二轉換濾波組，因此能夠實現用於從第一、第二圖像生成第三、第四圖像的濾波處理的高速化，但是由於需要預先針對第三、第四圖像存儲第一、第二轉換濾波組，因此在期望的第三、第四圖像的數目較多的情況下，存在轉換濾波存儲單元的存儲容量變大的缺點。
[0028]本發明的又一其他方式所涉及的圖像處理裝置中，轉換濾波存儲單元存儲在實空間卷積的轉換濾波，其中將第一數字濾波組和第二數字濾波組中的任一數字濾波設為1'0^，7)，將對該數字濾波1'(1，7)進行傅立葉變換後的結果設STf(?x，coy)，將第三數字濾波組和第四數字濾波組中的與數字濾波T (X，y)對應的數字濾波設為Tw(X，y)，將對該數字濾波Tw(x，y)進行傅立葉變換後的結果設為Twf(?x，oy)，利用下式算出在實空間卷積的轉換濾波:
[0029]Γ1 (Tf ( ω χ，ω y) -1.Irf ( ω χ，ω y))的振幅成分(其中，Γ1:傅立葉逆變換)。
[0030]本發明的又一其他方式所涉及的圖像處理裝置中，具備指定單元，該指定單元對向應該轉換的第三圖像和第四圖像的轉換特性進行指定，轉換濾波存儲單元存儲每個轉換特性的第一轉換濾波組和第二轉換濾波組，其中每個轉換特性的第一轉換濾波組和第二轉換濾波組基於與從入射到單一的攝影光學系統的光到轉換為第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統的光到轉換為第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組中與能夠由指定單元指定的多個轉換特性對應的第三數字濾波組和第四數字濾波組而算出，濾波處理單元從轉換濾波存儲單元讀出與由指定單元指定的轉換特性對應的第一轉換濾波組和第二轉換濾波組來使用。
[0031]本發明的又一其他方式所涉及的圖像處理裝置中，具備逆濾波存儲單元，該逆濾波存儲單元存儲與從入射到單一的攝影光學系統的光到轉換為第一圖像或第二圖像為止的轉換特性對應的每個視差的第一數字濾波組或第二數字濾波組的逆濾波組，濾波處理單元使用存儲的逆濾波組、以及與從入射到單一的攝影光學系統的光到轉換為第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組作為第一轉換濾波組和第二轉換濾波組。
[0032]通過在第一圖像或第二圖像的每個像素上乘以該像素的每個視差的逆濾波，生成將視差量和模糊量消除後的圖像，通過對於該圖像乘以每個視差的第三數字濾波和第四數字濾波，能夠得到第三圖像和第四圖像。
[0033]本發明的又一其他方式所涉及的圖像處理裝置中，具備:指定單元，對向應該轉換的第三圖像和第四圖像的轉換特性進行指定；以及數字濾波計算單元，算出與指定的轉換特性對應的第三數字濾波組和第四數字濾波組，濾波處理單元使用由數字濾波計算單元算出的第三數字濾波組和第四數字濾波組。
[0034]本發明的又一其他方式所涉及的圖像處理裝置中，由指定單元所指定的向第三圖像和第四圖像的轉換特性是與第一圖像和第二圖像不同的攝影光學系統的焦距、光圈值、攝像元件的尺寸和靈敏度特性中的至少一個。
[0035]由此，雖然實際上沒有拍攝第三、第四圖像，但是能夠生成將對第一、第二圖像進行攝像時的焦距、光圈值、攝像元件的尺寸、和靈敏度特性中的至少一個變更後的情況下得到的第三、第四圖像。
[0036]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，第三數字濾波組和第四數字濾波組是以相似形的方式將第一數字濾波組和第二數字濾波組放大縮小後的數字濾波組。基於這些第三數字濾波組和第四數字濾波組轉換後的第三、第四圖像能夠利用3D顯示器而實現立體視，另外，即使摘下3D專用眼鏡進行欣賞也幾乎不產生重影(成為由單眼3D圖像裝置所拍攝的單眼3D圖像)。
[0037]本發明的又一其他方式所涉及的圖像處理裝置中，第三數字濾波組和第四數字濾波組分別是圓形且具有點對稱的濾波係數的數字濾波組。該情況下，若摘下3D專用眼鏡進行欣賞，則成為重影，但是在模糊較大的情況下等，人眼即使在難以取得像素彼此的對應的情況下(難以進行立體視的情況下)也能夠生成立體視容易的第三、第四圖像。
[0038]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，濾波處理單元在取得多個轉換特性的第三圖像和第四圖像時，進行在取得的第一圖像或第二圖像的每個像素上乘以與該每個像素的視差對應的第一數字濾波或第二數字濾波的逆濾波的第一運算，並在該第一運算結果上乘以分別與多個轉換特性的第三圖像和第四圖像對應的第三數字濾波和第四數字濾波。
[0039]利用第一運算生成將視差和模糊消除後的圖像，對於該圖像的各像素乘以分別與多個轉換特性的第三圖像和第四圖像對應的第三數字濾波和第四數字濾波而生成第三圖像和第四圖像，從而使得第一運算I次即可，能夠實現計算時間的短縮。
[0040]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，第一數字濾波組和第二數字濾波組使用在圖像的中心成為相互左右對稱且左右對稱性對應於光瞳分割方向的像高而變化的數字濾波組。
[0041]在此，第一、第二數字濾波組是與從入射到單一的攝影光學系統的光到轉換為第一、第二圖像為止的轉換特性對應的每個視差的濾波，為了得到適當的第一、第二轉換濾波(期望的第三、第四圖像)，正確把握在第一、第二圖像上施加何種濾波是重要的。並且，被光瞳分割而取得的第一、第二圖像中的靈敏度因入射角而不同，因此第一、第二數字濾波在圖像的中心中相互具有左右對稱，但是左右對稱性對應於光瞳分割方向的像聞而變化。因此，優選的是，第一、第二數字濾波使用對應於像高而不同的數字濾波。
[0042]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，第一數字濾波組和第二數字濾波組使用具有將第一圖像和第二圖像的取得時的攝影光學系統所包含的光圈的開口形狀分割後的形狀的數字濾波組。
[0043]第一、第二數字濾波組相當於分別對點像的模糊像(對應於視差而不同的模糊像)進行光瞳分割後的結果，具有將透鏡的光圈的開口形狀分割後的形狀。例如，在光圈開口是圓形的情況下，具有將其2分割後的形狀，在光圈開口是多邊形的情況下，具有將其2分割後的形狀。因此，優選的是，第一、第二數字濾波組與單眼3D圖像的攝像時的光圈的開口形狀一致。
[0044]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像，第一數字濾波組和第二數字濾波組使用對應於彩色攝像元件的每種顏色的靈敏度特性而按照每種顏色不同的數字濾波組。
[0045]入射到彩色攝像元件的光的相對於入射角的第一、第二靈敏度按照三原色的每種顏色而不同。因此，優選的是，基於這些靈敏度而設計的第一、第二數字濾波針對每種顏色進行設計。
[0046]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，第三數字濾波組和第四數字濾波組使用與三原色的彩色圖像中的特定的顏色對應的數字濾波組。由此，能夠消除每種顏色的像的形狀差異的影響，並能夠實現畫質的改善。
[0047]本發明的又一其他方式所涉及的圖像處理裝置中，優選的是，第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像，視差取得單元針對每種顏色算出取得的第一圖像和第二圖像的對應的像素間的視差，濾波處理單元針對每種顏色進行對取得的第一圖像和第二圖像的濾波處理。
[0048]由於透鏡具有色像差，因此對於每種顏色模糊(視差)是不同的。因此，優選的是，針對每種顏色而取得第一、第二圖像的對應的像素間的視差，並基於按照每種顏色而不同的視差來進行從第一、第二圖像向第三、第四的圖像的轉換。由此，能夠消除三原色的色像差的影響，實現畫質的改善。
[0049]本發明的又一其他方式所涉及的攝像裝置具備:單一的攝影光學系統；攝像元件，是對通過攝影光學系統的不同的第一、第二區域後的被攝體像進行光瞳分割而分別成像的攝像元件，對通過第一、第二區域後的被攝體像分別進行光電轉換而輸出第一圖像和第二圖像；圖像取得單元，取得從攝像元件輸出的第一圖像和第二圖像；以及上述的任一圖像處理裝置。
[0050]本發明的又一其他方式所涉及的圖像處理方法包括:圖像取得工序，取得經由單一的攝影光學系統進行攝像且通過光瞳分割單元進行光瞳分割後的相互具有視差的第一圖像和第二圖像；視差取得工序，取得所取得的第一圖像和第二圖像的對應的像素間的視差；以及濾波處理工序，在用於轉換為將取得的第一圖像和第二圖像所具有的視差量和模糊量變更後的第三圖像和第四圖像的、適用於第一圖像的第一轉換濾波組和適用於第二圖像的第二轉換濾波組中，針對取得的第一圖像和第二圖像的每個像素，使用與通過視差取得工序取得的該像素的視差對應的第一轉換濾波和第二轉換濾波來進行濾波處理。
[0051]本發明的又一其他方式所涉及的圖像處理方法中，還包括:準備數字濾波存儲單元的工序，該數字濾波存儲單元存儲與從入射到單一的攝影光學系統的光到轉換為第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組；以及轉換濾波計算工序，基於存儲的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統光到轉換為第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組，算出第一轉換濾波組和第二轉換濾波組，濾波處理工序針對取得的第一圖像和第二圖像的每個像素，基於通過視差取得工序取得的該像素的視差，從算出的第一轉換濾波組和第二轉換濾波組選擇與視差對應的第一轉換濾波和第二轉換濾波，使用所選擇的第一轉換濾波和第二轉換濾波來進行濾波處理。
[0052]本發明的又一其他方式所涉及的圖像處理方法中，還包括準備轉換濾波存儲單元的工序，該轉換濾波存儲單元存儲每個視差的所述第一轉換濾波組和第二轉換濾波組，其中每個視差的所述第一轉換濾波組和第二轉換濾波組基於與從入射到所述單一的攝影光學系統光到轉換為所述第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統的光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組而算出；所述濾波處理工序針對所述取得的第一圖像和第二圖像的每個像素，基於通過所述視差取得工序取得的該像素的視差，從所述存儲的第一轉換濾波組和第二轉換濾波組讀出與視差對應的第一轉換濾波和第二轉換濾波，使用所讀出的第一轉換濾波和第二轉換濾波來進行濾波處理。
[0053]本發明的又一其他方式所涉及的圖像處理方法中，還包括準備逆濾波存儲單元的工序，該逆濾波存儲單元存儲與從入射到單一的攝影光學系統光到轉換為第一圖像或第二圖像為止的轉換特性對應的每個視差的第一數字濾波組或第二數字濾波組的逆濾波組，濾波處理工序使用存儲的逆濾波組、以及與從入射到單一的攝影光學系統的光到轉換為第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組作為第一轉換濾波組和第二轉換濾波組。
[0054]發明效果
[0055]根據本發明，能夠從經由單一的攝影光學系統進行攝像並利用光瞳分割單元進行光瞳分割後的相互具有視差的第一圖像和第二圖像(單眼3D圖像)，生成對視差量和模糊量進行聯動調整後的期望的立體視用的第三、第四圖像。另外，作為期望的第三、第四圖像，能夠通過對與第一、第二圖像不同的攝影光學系統的焦距、光圈值、攝像元件的尺寸、或靈敏度特性中的至少一個進行指定，從而使得雖然實際上沒有拍攝第三、第四圖像，但是能夠生成將對第一、第二圖像進行攝像時的焦距、光圈值、攝像元件的尺寸、和靈敏度特性中的至少一個變更後的情況下得得到的第三、第四圖像。

【專利附圖】

【附圖說明】
[0056]圖1是對本發明所涉及的攝像裝置的實施方式進行表示的立體圖。
[0057]圖2是圖1所示的攝像裝置的後視圖。
[0058]圖3是對圖1所示的攝像裝置的內部結構的實施方式進行表示的框圖。
[0059]圖4是為了對利用通常的攝像元件所拍攝的圖像、和利用單眼3D用的攝像元件所拍攝的左眼圖像和右眼圖像進行說明而使用的圖。
[0060]圖5A是對左眼圖像和右眼圖像相對於入射到單眼3D用的攝像元件的光的X方向的角度[° ]的靈敏度的一例進行表示的圖。
[0061]圖5B是對左眼圖像和右眼圖像相對於入射到單眼3D用的攝像元件的光的y方向的角度[° ]的靈敏度的一例進行表示的圖。
[0062]圖5C是對與攝像元件16的左眼圖像對應的靈敏度特性進行表示的圖。
[0063]圖是對與單眼3D用的攝像元件的靈敏度特性對應而創建的半月濾波進行表示的圖。
[0064]圖6是為了對半月濾波的創建方法進行說明而使用的圖。
[0065]圖7是對圖6的主要部分放大圖和半月濾波進行表示的圖。
[0066]圖8是圖6的主要部分放大圖，是對攝像元件上的坐標和入射角的關係進行表示的圖。
[0067]圖9A是對在原始的單眼3D圖像的左眼圖像施加的第一半月濾波的一例進行表示的圖。
[0068]圖9B是對在原始的單眼3D圖像的右眼圖像施加的第二半月濾波的一例進行表示的圖。
[0069]圖10是為了對生成期望的單眼3D圖像時應該在實空間卷積的濾波進行說明而使用的圖。
[0070]圖1lA是為了對在期望的單眼3D圖像所應該施加的半月濾波的一例進行說明而使用的圖。
[0071]圖1lB是為了對在期望的單眼3D圖像所應該施加的半月濾波的一例進行說明而使用的圖。
[0072]圖12A是為了對在期望的單眼3D圖像所應該施加的半月濾波的其他例進行說明而使用的圖。
[0073]圖12B是為了對在期望的單眼3D圖像所應該施加的半月濾波的其他例進行說明而使用的圖。
[0074]圖13A是為了對在期望的單眼3D圖像所應該施加的半月濾波的又一其他例進行說明而使用的圖。
[0075]圖13B是為了對在期望的單眼3D圖像所應該施加的半月濾波的又一其他例進行說明而使用的圖。
[0076]圖14是為了對用於指定期望的單眼3D圖像的用戶界面進行說明而使用的圖。
[0077]圖15是對本發明所涉及的圖像處理裝置的第一實施方式進行表示的主要部分框圖。
[0078]圖16是對本發明所涉及的圖像處理裝置的第二實施方式進行表示的主要部分框圖。
[0079]圖17是對本發明所涉及的圖像處理裝置的第三實施方式進行表示的主要部分框圖。
[0080]圖18A是為了對在期望的單眼3D圖像所應該施加的半月濾波的又一其他例進行說明而使用的圖。
[0081]圖18B是為了對在期望的單眼3D圖像所應該施加的半月濾波的又一其他例進行說明而使用的圖。
[0082]圖19是為了對在期望的3D圖像所應該施加的濾波的又一其他例進行說明而使用的圖。
[0083]圖20A是對從第一單眼3D圖像生成多個第二單眼3D圖像的情況下的通常過程和計算時間短縮版過程進行表示的概念圖。
[0084]圖20B是對從第一單眼3D圖像生成多個第二單眼3D圖像的情況下的通常過程和計算時間短縮版過程進行表示的概念圖。
[0085]圖21是為了對與像高對應的第一、第二半月濾波進行說明而使用的圖。
[0086]圖22A是為了對與畫面內的位置對應的入射角特性的差異進行說明而使用的圖。
[0087]圖22B是為了對與畫面內的位置對應的入射角特性的差異進行說明而使用的圖。
[0088]圖23是對由圖22k和圖22B所示的入射角特性的差異引起的半月濾波的差異進行表示的圖。
[0089]圖24A是對透鏡的光圈的開口形狀的一例進行表示的圖。
[0090]圖24B是對透鏡的光圈的開口形狀的一例進行表示的圖。
[0091]圖24C是對透鏡的光圈的開口形狀的一例進行表示的圖。
[0092]圖24D是對透鏡的光圈的開口形狀的一例進行表示的圖。
[0093]圖25A是對左眼圖像和右眼圖像相對於入射到單眼3D用的攝像元件的光的x方向的角度[° ]的靈敏度的一例進行表示的坐標圖。
[0094]圖25B是對左眼圖像和右眼圖像相對於入射到單眼3D用的攝像元件的光的y方向的角度[° ]的靈敏度的一例進行表示的坐標圖。
[0095]圖26是對RGB的每種的色像差的一例進行表示的圖。
[0096]圖27是作為攝像裝置的其他實施方式的智慧型電話的外觀圖。
[0097]圖28是對智慧型電話的主要部分構成進行表示的框圖。

【具體實施方式】
[0098]以下，利用附圖，對本發明所涉及的圖像處理裝置及方法、以及攝像裝置的實施方式進行說明。
[0099][攝像裝置]
[0100]圖1和圖2是分別對本發明所涉及的攝像裝置的實施方式進行表示的立體圖和後視圖。該攝像裝置10是由攝像元件接受通過透鏡後的光並轉換為數位訊號而記錄於記錄介質的數位相機，是能夠拍攝單眼3D圖像和2D圖像的單眼3D攝像裝置。
[0101]如圖1所示的那樣，攝像裝置10在其正面配置有攝影透鏡(攝影光學系統)12、閃光燈I等，在上表面配置有快門按鈕2、電源/模式開關3、模式撥盤4等。另一方面，如圖2所示的那樣，在照相機背面，配置3D顯示用的3D液晶監視器30、變焦按鈕5、十字按鈕6、菜單/OK按鈕7、再生按鈕8、和返回按鈕9等。
[0102]攝影透鏡12由伸縮式的變焦透鏡構成，利用電源/模式開關3將照相機的模式設定為攝影模式，從而從照相機主體伸出。閃光燈I主要面向被攝體照射閃光燈光。
[0103]快門按鈕2由所謂『半按壓』和『全按壓』構成的2段行程式的開關構成。攝像裝置10以攝影模式進行驅動時，通過對該快門按鈕2進行『半按壓』，而使AE/AF(自動露出調整/自動合焦)動作，通過進行『全按壓』而執行攝影。另外，攝像裝置10在由攝影模式進行驅動時，通過『全按壓』該快門按鈕2，而執行攝影。
[0104]電源/模式開關3兼具作為將攝像裝置10的電源置於接通/斷開的電源開關的功能、和作為對攝像裝置10的模式進行設定的模式開關的功能。電源/模式開關3配置成在『斷開位置』、『再生位置』、和『攝影位置』之間滑動自如。攝像裝置10使電源/模式開關3滑動而與『再生位置』或『攝影位置』 一致，從而使得電源成為接通，通過與『斷開位置』 一致，而使電源成為斷開。並且，通過使電源/模式開關3滑動而與『再生位置』 一致，而設定為『再生模式』，通過與『攝影位置』 一致而設定為『攝影模式』。
[0105]模式撥盤4作為對攝像裝置10的攝影模式進行設定的攝影模式設定單元而發揮功能。利用該模式撥盤4的設定位置，將攝像裝置10的攝影模式設定為各種各樣的模式。例如，進行平面圖像(2D圖像)的攝影的『平面圖像攝影模式』，進行立體圖像(3D圖像)的攝影的『立體圖像攝影模式』，進行動態畫面攝影的『動態畫面攝影模式』等。
[0106]3D液晶監視器30是能夠將立體視圖像(左眼圖像和右眼圖像)作為因為視差柵欄而分別具有預定的指向性的指向性圖像而顯示的立體顯示單元。在將立體視圖像輸入到3D液晶監視器30的情況下，使3D液晶監視器30的視差柵欄顯示層產生由光透過部和光遮蔽部交替地以預定的間距並排的圖案構成的視差柵欄，並且在其下層的圖像顯示面交替地排列而顯示對左右的像進行表示的長條狀的圖像斷片。在作為平面圖像、用戶界面顯示面板而利用的情況下，在視差柵欄顯示層什麼也不顯示，在其下層的圖像顯示面原樣顯示I張的圖像。另外，3D液晶監視器30的形態不限於此，如果將左眼圖像和右眼圖像作為立體圖像而能夠識別地進行顯示，則也可以通過使用雙凸透鏡、偏光眼鏡、液晶快門眼鏡等專用眼鏡而對左眼圖像和右眼圖像個別地進行觀察。
[0107]變焦按鈕5作為對變焦進行指示的變焦指示單元而發揮功能，由對向望遠側的變焦進行指示的望遠按鈕5T、和對向廣角側的變焦進行指示的廣角按鈕5W構成。攝像裝置10在攝影模式時，通過對該望遠按鈕5T和廣角按鈕5W進行操作，而使得攝影透鏡12的焦距變化。另外，在再生模式時，通過對該望遠按鈕5T和廣角按鈕5W進行操作，而使得再生中的圖像放大、縮小。
[0108]十字按鈕6是輸入上下左右這4方向的指示的操作部，作為從菜單畫面選擇項目或根據各菜單指示各種設定項目的選擇的按鈕(光標移動操作單元)而發揮功能。左/右鍵作為再生模式時的彗差饋送(順方向/逆方向饋送)按鈕而發揮功能。
[0109]菜單/OK按鈕7是兼具如下功能的操作鍵:即作為用於進行在3D液晶監視器30的畫面上顯示菜單的指令的菜單按鈕的功能、和作為對選擇內容的確定和執行等進行指令的OK按鈕的功能。
[0110]再生按鈕8是用於將所攝影記錄的立體圖像(3D圖像)、平面圖像(2D圖像)的靜止畫面或動態畫面在3D液晶監視器30上顯示的再生模式的按鈕。
[0111]返回按鈕9作為對輸入操作的消除、返回一個前的操作狀態進行指示的按鈕而發揮功能。
[0112][攝像裝置的內部結構]
[0113]圖3是對上述攝像裝置10的內部結構的實施方式進行表示的框圖。該攝像裝置10將所拍攝的圖像記錄於存儲器卡54，因此裝置整體的動作由中央處理裝置(CPU) 40統一控制。
[0114]在攝像裝置10設置包含快門按鈕2、模式撥盤4、再生按鈕8、菜單/OK按鈕7、十字按鈕6、變焦按鈕5、返回按鈕9的操作部38。來自該操作部38的信號被輸入到CPU40，CPU40基於輸入信號對攝像裝置10的各電路進行控制，例如，進行透鏡驅動控制、光圈驅動控制(光圈驅動部34的控制)、攝影動作控制(CCD控制部32等的控制)、圖像處理控制、圖像數據的記錄/再生控制、3D液晶監視器(IXD) 30的顯示控制等。
[0115]若利用電源/模式開關3將攝像裝置10的電源接通，則從未圖示的電源部向各模塊送電，開始攝像裝置10的驅動。
[0116]通過攝影透鏡12、光圈14等後的光束在作為相位差圖像傳感器的攝像元件16(攝像單元、圖像取得單元)上成像，在攝像元件16蓄積信號電荷。
[0117]在此，攝像元件16能夠對應於離焦量而取得視差不同的左眼圖像和右眼圖像(單眼3D圖像)，並能夠通過對左眼圖像和右眼圖像進行加算，而也能夠取得2D圖像。另外，針對攝像元件16的詳細留作後述。另外，該實施方式的攝像元件16是CCD圖像傳感器，但是不限於此，也可以是CMOS (Complementary Metal Oxide Semiconductor)型的圖像傳感器。
[0118]蓄積於攝像元件16的左眼圖像和右眼圖像的信號電荷基於從定時發生器(未圖示)施加的讀出信號而作為與信號電荷對應的電壓信號而讀出。從攝像元件16讀出的電壓信號被施加於模擬信號處理部18。
[0119]模擬信號處理部18以針對從攝像元件16輸出的電壓信號減輕相關二重採樣處理(以減輕攝像元件的輸出信號中所包含的噪聲(特別是熱噪聲)等為目的，採取攝像元件的每I像素的輸出信號中所包含的穿通(feedthrough)成分電平和像素信號成分電平的差而得到正確的像素數據的處理)，對各像素每個的R(赤)、G(綠)、B (藍)信號進行採樣保持，施加在放大後的A/D轉換器20上。A/D轉換器20將順次輸入的R、G、B信號轉換為數字的R、G、B信號而輸出到圖像輸入控制器22上。
[0120]數位訊號處理部24針對經由圖像輸入控制器22而輸入的數字的圖像信號，進行偏置處理、包含白平衡校正、靈敏度校正的增益/控制處理、伽瑪校正處理、去馬賽克算法處理、YC處理、邊緣強調處理等預定的信號處理。
[0121]另外，數位訊號處理部24具備:取得左眼圖像和右眼圖像的對應的像素間的視差的視差取得單元；從取得的視差創建視差映射的視差映射取得單元；以及根據所取得的左眼圖像、右眼圖像(第一單眼3D圖像)和差映射，使單眼3D圖像的視差量和模糊量這兩方聯動而變更從而生成期望的左眼圖像和右眼圖像(第二單眼3D圖像)的濾波處理單元等。另外，針對在攝像時從取得的第一單眼3D圖像生成期望的第二單眼3D圖像的圖像處理方法的詳細留作後述。
[0122]由數位訊號處理部24處理後的2D或3D的圖像數據輸入到VRAM (Video RandomAccess Memory:視頻隨機訪問存儲器)50。在VRAM50，包含分別對表示I畫面量的2D或3D的圖像的圖像數據進行記錄的A區域和B區域。VRAM50中，將表示I彗差量的2D或3D的圖像的圖像數據以A區域和B區域交替地進行擦寫。VRAM50的A區域和B區域中，從對圖像數據進行擦寫的一方的區域以外的區域，讀出所寫入的圖像數據。
[0123]從VRAM50讀出的2D或3D的圖像數據在視頻編碼器28中進行編碼，被輸出到設置於照相機背面的3D液晶監視器30。由此，2D或3D的被攝體像連續地在3D液晶監視器30的顯示畫面上顯示。
[0124]若存在操作部38的快門按鈕2的第一階段的按下(半按壓)，則攝像元件16開始AF動作和AE動作，經由透鏡驅動部36使攝影透鏡12的聚焦透鏡沿光軸方向移動，以聚焦透鏡到達合焦位置的方式進行控制。
[0125]AF處理部42是進行對比度AF處理或相位差AF處理的部分。在進行對比度AF處理的情況下，對左眼圖像和右眼圖像的至少一方的圖像的中的預定的聚焦區域內的圖像的高頻成分進行提取，通過對該高頻成分進行積分而算出表示合焦狀態的AF評價值。在該AF評價值極大的透鏡位置使攝影透鏡12內的聚焦透鏡移動而進行AF控制(對比度AF)。
[0126]CPU40根據來自變焦按鈕5的變焦指令而經由透鏡驅動部36使攝影透鏡12的變焦透鏡沿光軸方向進退動作，使焦距變更。
[0127]另外，在快門按鈕2的半按壓時從A/D轉換器20輸出的圖像數據被取入到AE檢測部44。
[0128]AE檢測部44中，對畫面整體的G信號進行積算，或對在畫面中央部和周邊部附加了不同的權重後的G信號進行積算，並將其積算值輸出到CPU40。CPU40利用從AE檢測部44輸入的積算值，算出被攝體的明亮度(攝影Ev值)，並基於該攝影EV值，利用預定的程序線圖確定光圈14的F值和攝像元件16的電子快門(快門速度)。
[0129]另外，圖3中，46是用於對攝影視場角內的人物的臉進行檢測並將包含該臉的區域作為AF區域、AE區域而設定的公知的臉檢測電路(例如，日本特開平9-101579號公報)。
[0130]另外，47是除了存儲照相機控制程序、攝像元件16的缺陷信息、使用於圖像處理等的各種的參數和/或表外，還存儲用於生成本發明所涉及的第二單眼3D圖像的圖像處理程序、為了生成第二單眼3D圖像而使用的第一和第二半月濾波組(第一、第二數字濾波組)、用於將第一單眼3D圖像轉換為第二單眼3D圖像的第一、第二轉換濾波組、作為第一和第二半月濾波組的逆濾波的第一、第二逆濾波組等的R0M(Read Only Memory:只讀存儲器)或EEPROM(ElectronicalIy Erasable and Programmable Read Only Memory:帶電可擦寫可編程只讀存儲器)(數字濾波存儲單元、轉換濾波存儲單元、逆濾波存儲單元)。另外，針對本發明所涉及的圖像處理程序、濾波組等的詳細留作後述。
[0131]若通過快門按鈕2的半按壓而使得AE動作和AF動作結束，且存在快門按鈕的第二階段的按下(全按壓)，則將對該按下進行應答而從A/D轉換器20輸出的圖像數據從圖像輸入控制器 22 輸入到存儲器(SDRAM:Synchronous Dynamic Random Access Memory:同步動態隨機訪問存儲器)48，並暫時性地進行存儲。
[0132]在存儲器48暫時性地存儲的圖像數據由數位訊號處理部24適當讀出，在此，進行包含去馬賽克處理(同時化處理；對與原色濾波的排列相伴的色信號的空間性的偏差進行插補而將色信號轉換為同時式的處理)、邊緣強調的圖像處理、以及YC處理(圖像數據的亮度數據和色差數據的生成處理)的預定的信號處理。YC處理後的圖像數據(YC數據)再次被存儲到存儲器48。
[0133]存儲於存儲器48的YC數據被輸出到壓縮擴展處理部26，執行JPEG(JointPhotographic Experts Group:聯合圖像專家小組)等的預定的壓縮處理後，再次存儲於存儲器48。從存儲於存儲器48的YC數據(壓縮數據)生成圖像文件，該圖像文件由介質/控制器52讀出，並記錄於可在攝像裝置10上裝拆的記錄介質(例如，存儲器卡)54。
[0134]上述結構的攝像裝置10具備在3D圖像的攝像或再生時從所拍攝的3D圖像(第一單眼3D圖像)生成期望的3D圖像(第二單眼3D圖像)的圖像處理功能，但是除此以外的部分與以往的攝像裝置相同。
[0135][第一、第二數字濾波組(第一、第二半月濾波組)]
[0136]接下來，針對適用了本發明所涉及的圖像處理方法的單眼3D圖像、和第一、第二數字濾波組(第一、第二半月濾波組)，參照圖4和圖5進行說明。
[0137]圖4是表示在透鏡被焦點調整到物體a的前面的狀態下對比焦點位置更靠近前的物體(點光源)如何進行攝影的圖，表示利用通常的攝像元件200而拍攝的圖像、和利用特殊的攝像元件(單眼3D用的攝像元件)16而拍攝的左眼圖像和右眼圖像。另外，圖4中的攝像元件200和16分別表示從被攝體側觀察的受光面。
[0138]攝像元件200中，分別以矩陣狀排列的奇數列的像素(稱作主像素、A面像素)和偶數列的像素(稱作副像素、B面像素)分別沿水平垂直方向以每半間距偏移而配置。由A面像素構成的圖像(A面圖像)和由B面像素構成的圖像(B面圖像)分別具有拜爾排列的濾色器。能夠從這些A面圖像和B面圖像生成I張的高解析度的圖像。另外，與攝像元件200的A面像素、B面像素對應而設置的光所入射的開口形成於各像素的中央。另外，在各像素中設置未圖示的微透鏡。
[0139]從攝像元件200得到的比焦點位置更靠近前的點光源的圖像成為後焦點，成為與其模糊量相當的直徑的圓。
[0140]另一方面，攝像元件16中，在A面像素形成的開口和在B面像素形成的開口分別沿左右方向偏倚。在A面像素入射通過透鏡的左側的區域的光，在B面像素入射通過透鏡的右側的區域的光。
[0141]由上述結構的單眼3D用的攝像元件16的A面像素構成的圖像(A面圖像)成為左眼圖像，由B面像素構成的圖像(B面圖像)成為右眼圖像。
[0142]比從攝像元件16得到的焦點位置更靠近前的點光源的圖像成為後焦點，左眼圖像和右眼圖像分別成為具有與其模糊量相當的直徑的半月狀。並且，半月狀的左眼圖像的重心和右眼圖像的重心的偏移量成為點光源的圖像的視差量。即，如果攝像元件16的特性(每角度的靈敏度)等已知，則可知比焦點位置更靠近前的點光源的圖像是相對於點光源卷積了何種左眼用和右眼用的濾波(前述的第一數字濾波和第二數字濾波)。另外，上述第一數字濾波和第二數字濾波成為半月狀，以後稱作『第一半月濾波和第二半月濾波』。
[0143]另外，圖5A示出了左眼圖像和右眼圖像相對於經由圖4所示的透鏡而入射到單眼3D用的攝像元件16的光的X方向的角度[° ]的靈敏度的一例，圖5B示出了左眼圖像和右眼圖像相對於y方向的角度[° ]的靈敏度的一例。
[0144]如圖5A所示的那樣，左眼圖像和右眼圖像相對於X方向的角度[° ]的靈敏度以角度零為中心而成為大致對稱，並且靈敏度的峰值位置偏移。另外，如圖5B所示的那樣，左眼圖像和右眼圖像相對於y方向的角度[° ]的靈敏度一致，靈敏度的峰值位置到達角度零。
[0145]若將圖5A和圖5B所示的X方向和y方向的靈敏度特性相乘，則如圖5C所示的那樣，得到入射到攝像元件16的光的X方向和y方向的每個角度的靈敏度特性。另外，圖5C表示與攝像元件16的左眼圖像對應的靈敏度特性。
[0146]接下來，如圖所示的那樣，假定僅與點像的模糊量對應的某直徑R的範圍的光射到攝像元件16，若將角度換算為攝像元件16的X軸(橫方向)、y軸(縱方向)的坐標，則左右的半月濾波的重心間距離(即視差AD)和半月濾波的直徑R分別能夠由下式所表達。
[0147][數學式I]

【權利要求】
1.一種圖像處理裝置，其具備: 圖像取得單元，取得經由單一的攝影光學系統進行攝像且通過光瞳分割單元進行光瞳分割後的相互具有視差的第一圖像和第二圖像； 視差取得單元，取得所述取得的第一圖像和第二圖像的對應的像素間的視差；以及 濾波處理單元，在用於轉換為將所述取得的第一圖像和第二圖像所具有的視差量和模糊量變更後的第三圖像和第四圖像的、適用於第一圖像的第一轉換濾波組和適用於第二圖像的第二轉換濾波組中，針對所述取得的第一圖像和第二圖像的每個像素，使用與由所述視差取得單元取得的該像素的視差對應的第一轉換濾波和第二轉換濾波來進行濾波處理。
2.根據權利要求1所述的圖像處理裝置，其特徵在於， 第三圖像和第四圖像的對應的像素間的視差量越大，所述濾波處理單元越增大模糊量。
3.根據權利要求1或2所述的圖像處理裝置，其中， 所述圖像處理裝置具備: 數字濾波存儲單元，存儲與從入射到所述單一的攝影光學系統的光到轉換為所述第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組；以及 轉換濾波計算單元，基於所述存儲的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組，算出所述第一轉換濾波組和第二轉換濾波組， 所述濾波處理單元針對所述取得的第一圖像和第二圖像的每個像素，基於由所述視差取得單元取得的該像素的視差，從所述算出的第一轉換濾波組和第二轉換濾波組選擇與視差對應的第一轉換濾波和第二轉換濾波，使用所選擇的第一轉換濾波和第二轉換濾波來進行濾波處理。
4.根據權利要求3所述的圖像處理裝置，其中， 所述轉換濾波計算單元將存儲於所述數字濾波存儲單元中的第一數字濾波組和第二數字濾波組中的任一數字濾波設為T(x，y)，將對該數字濾波T (X，y)進行傅立葉變換後的結果設為Tf(?x，coy)，將所述第三數字濾波組和第四數字濾波組中的與所述數字濾波T(x, y)對應的數字濾波設為Tw(X，y)，將對該數字濾波Tw(X，y)進行傅立葉變換後的結果設為Twf(?x，coy)，利用下式算出在實空間卷積的轉換濾波: Γ^ωχ，?y)coy))的振幅成分(其中，Γ1:傅立葉逆變換)。
5.根據權利要求1?4中任一項所述的圖像處理裝置，其中， 所述圖像處理裝置具備: 指定單元，對向所述應該轉換的第三圖像和第四圖像的轉換特性進行指定；以及 數字濾波計算單元，算出與所述指定的轉換特性對應的第三數字濾波組和第四數字濾波組， 所述轉換濾波計算單元使用存儲於所述數字濾波存儲單元的第一數字濾波組和第二數字濾波組、以及由所述數字濾波計算單元算出的第三數字濾波組和第四數字濾波組，來算出所述第一轉換濾波組和第二轉換濾波組。
6.根據權利要求1或2所述的圖像處理裝置，其中， 所述圖像處理裝置具備轉換濾波存儲單元，該轉換濾波存儲單元存儲每個視差的所述第一轉換濾波組和第二轉換濾波組，其中每個視差的所述第一轉換濾波組和第二轉換濾波組基於與從入射到所述單一的攝影光學系統的光到轉換為所述第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統的光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組而算出， 所述濾波處理單元針對所述取得的第一圖像和第二圖像的每個像素，基於由所述視差取得單元取得的該像素的視差，從所述存儲的第一轉換濾波組和第二轉換濾波組讀出與視差對應的第一轉換濾波和第二轉換濾波，使用所讀出的第一轉換濾波和第二轉換濾波來進行濾波處理。
7.根據權利要求5所述的圖像處理裝置，其中， 所述轉換濾波存儲單元存儲在實空間卷積的轉換濾波，其中將所述第一數字濾波組和第二數字濾波組中的任一數字濾波設為T(x，y)，將對該數字濾波T(x，y)進行傅立葉變換後的結果設為Tf (ω χ，ω y)，將所述第三數字濾波組和第四數字濾波組中的與所述數字濾波T(x, y)對應的數字濾波設為Tw(X，y)，將對該數字濾波Tw(X，y)進行傅立葉變換後的結果設為Twf(?x，coy)，利用下式算出所述在實空間卷積的轉換濾波: Γ^ωχ，?y)coy))的振幅成分(其中，Γ1:傅立葉逆變換)。
8.根據權利要求1、2、6、或7所述的圖像處理裝置，其中， 所述圖像處理裝置具備指定單元，該指定單元對向所述應該轉換的第三圖像和第四圖像的轉換特性進行指定， 所述轉換濾波存儲單元存儲每個轉換特性的第一轉換濾波組和第二轉換濾波組，其中每個轉換特性的第一轉換濾波組和第二轉換濾波組基於與從入射到所述單一的攝影光學系統的光到轉換為所述第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統的光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組中與能夠由所述指定單元指定的多個轉換特性對應的第三數字濾波組和第四數字濾波組而算出， 所述濾波處理單元從所述轉換濾波存儲單元讀出與由所述指定單元指定的轉換特性對應的第一轉換濾波組和第二轉換濾波組來使用。
9.根據權利要求1或2所述的圖像處理裝置，其中， 所述圖像處理裝置具備逆濾波存儲單元，該逆濾波存儲單元存儲與從入射到所述單一的攝影光學系統的光到轉換為所述第一圖像或第二圖像為止的轉換特性對應的每個視差的第一數字濾波組或第二數字濾波組的逆濾波組， 所述濾波處理單元使用所述存儲的逆濾波組、以及與從入射到單一的攝影光學系統的光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組作為所述第一轉換濾波組和第二轉換濾波組。
10.根據權利要求9所述的圖像處理裝置，其中， 所述圖像處理裝置具備: 指定單元，對向所述應該轉換的第三圖像和第四圖像的轉換特性進行指定；以及 數字濾波計算單元，算出與所述指定的轉換特性對應的第三數字濾波組和第四數字濾波組， 所述濾波處理單元使用由所述數字濾波計算單元算出的第三數字濾波組和第四數字濾波組。
11.根據權利要求5、8或10所述的圖像處理裝置，其中， 由所述指定單元所指定的向第三圖像和第四圖像的轉換特性是與所述第一圖像和第二圖像不同的攝影光學系統的焦距、光圈值、攝像元件的尺寸和靈敏度特性中的至少一個。
12.根據權利要求5、8、10、或11所述的圖像處理裝置，其中， 所述第三數字濾波組和第四數字濾波組是以相似形的方式將所述第一數字濾波組和第二數字濾波組放大縮小後的數字濾波組。
13.根據權利要求3?12中任一項所述的圖像處理裝置，其中， 所述第三數字濾波組和第四數字濾波組分別是圓形且具有點對稱的濾波係數的數字濾波組。
14.根據權利要求9所述的圖像處理裝置，其中， 所述濾波處理單元在取得多個轉換特性的第三圖像和第四圖像時，進行在所述取得的第一圖像或第二圖像的每個像素上乘以與該每個像素的視差對應的第一數字濾波或第二數字濾波的逆濾波的第一運算，並在該第一運算結果上乘以分別與多個轉換特性的第三圖像和第四圖像對應的第三數字濾波和第四數字濾波。
15.根據權利要求3?14中任一項所述的圖像處理裝置，其中， 所述第一數字濾波組和第二數字濾波組使用在圖像的中心成為相互左右對稱且左右對稱性對應於光瞳分割方向的像高而變化的數字濾波組。
16.根據權利要求3?15中任一項所述的圖像處理裝置，其中， 所述第一數字濾波組和第二數字濾波組使用具有將所述第一圖像和第二圖像的取得時的所述攝影光學系統所包含的光圈的開口形狀分割後的形狀的數字濾波組。
17.根據權利要求3?16中任一項所述的圖像處理裝置，其中， 所述第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像， 所述第一數字濾波組和第二數字濾波組使用對應於所述彩色攝像元件的每種顏色的靈敏度特性而按照每種顏色不同的數字濾波組。
18.根據權利要求17所述的圖像處理裝置，其中， 所述第三數字濾波組和第四數字濾波組使用與三原色的彩色圖像中的特定的顏色對應的數字濾波組。
19.根據權利要求1?18中任一項所述的圖像處理裝置，其中， 所述第一圖像和第二圖像是從彩色攝像元件輸出的三原色的彩色圖像， 所述視差取得單元針對每種顏色算出所述取得的第一圖像和第二圖像的對應的像素間的視差， 所述濾波處理單元針對每種顏色進行對所述取得的第一圖像和第二圖像的濾波處理。
20.一種攝像裝置，其具備: 單一的攝影光學系統； 攝像元件，是對通過所述攝影光學系統的不同的第一、第二區域後的被攝體像進行光瞳分割而分別成像的攝像元件，對通過所述第一、第二區域後的被攝體像分別進行光電轉換而輸出第一圖像和第二圖像； 所述圖像取得單元，取得從所述攝像元件輸出的第一圖像和第二圖像；以及 權利要求1?19中任一項記載的圖像處理裝置。
21.—種圖像處理方法，其包括: 圖像取得工序，取得經由單一的攝影光學系統進行攝像且通過光瞳分割單元進行光瞳分割後的相互具有視差的第一圖像和第二圖像； 視差取得工序，取得所述取得的第一圖像和第二圖像的對應的像素間的視差；以及 濾波處理工序，在用於轉換為將所述取得的第一圖像和第二圖像所具有的視差量和模糊量變更後的第三圖像和第四圖像的、適用於第一圖像的第一轉換濾波組和適用於第二圖像的第二轉換濾波組中，針對所述取得的第一圖像和第二圖像的每個像素，使用與通過所述視差取得工序取得的該像素的視差對應的第一轉換濾波和第二轉換濾波來進行濾波處理。
22.根據權利要求21所述的圖像處理方法，還包括: 準備數字濾波存儲單元的工序，該數字濾波存儲單元存儲與從入射到所述單一的攝影光學系統的光到轉換為所述第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組；以及 轉換濾波計算工序，基於所述存儲的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組，算出所述第一轉換濾波組和第二轉換濾波組， 所述濾波處理工序針對所述取得的第一圖像和第二圖像的每個像素，基於通過所述視差取得工序取得的該像素的視差，從所述算出的第一轉換濾波組和第二轉換濾波組選擇與視差對應的第一轉換濾波和第二轉換濾波，使用所選擇的第一轉換濾波和第二轉換濾波來進行濾波處理。
23.根據權利要求21所述的圖像處理方法，其中， 所述圖像處理方法還包括準備轉換濾波存儲單元的工序，該轉換濾波存儲單元存儲每個視差的所述第一轉換濾波組和第二轉換濾波組，其中每個視差的所述第一轉換濾波組和第二轉換濾波組基於與從入射到所述單一的攝影光學系統光到轉換為所述第一圖像和第二圖像為止的轉換特性對應的每個視差的第一數字濾波組和第二數字濾波組、以及與從入射到單一的攝影光學系統的光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組而算出； 所述濾波處理工序針對所述取得的第一圖像和第二圖像的每個像素，基於通過所述視差取得工序取得的該像素的視差，從所述存儲的第一轉換濾波組和第二轉換濾波組讀出與視差對應的第一轉換濾波和第二轉換濾波，使用所讀出的第一轉換濾波和第二轉換濾波來進行濾波處理。
24.根據權利要求21所述的圖像處理方法，其中， 所述圖像處理方法還包括準備逆濾波存儲單元的工序，該逆濾波存儲單元存儲與從入射到所述單一的攝影光學系統光到轉換為所述第一圖像或第二圖像為止的轉換特性對應的每個視差的第一數字濾波組或第二數字濾波組的逆濾波組， 所述濾波處理工序使用所述存儲的逆濾波組、以及與從入射到單一的攝影光學系統的光到轉換為所述第三圖像和第四圖像為止的轉換特性對應的每個視差的第三數字濾波組和第四數字濾波組作為所述第一轉換濾波組和第二轉換濾波組。
【文檔編號】H04N9/07GK104205827SQ201380018610
【公開日】2014年12月10日 申請日期:2013年2月28日 優先權日:2012年3月30日
【發明者】井澤克俊, 小野修司, 林淳司, 河合智行, 青木貴嗣 申請人:富士膠片株式會社