圖像處理裝置、拍攝裝置及圖像處理方法

2023-05-30 00:09:41

專利名稱：圖像處理裝置、拍攝裝置及圖像處理方法
技術領域：
本發明涉及進行由多個視點圖像組成的立體圖像的變倍的圖像處理裝置、拍攝裝置及圖像處理方法。
背景技術：
目前，進行著由多個視點圖像組成的立體圖像的變倍(縮放)。專利文獻1中記載了根據立體圖像的電子變焦控制各視點圖像(左眼圖像及右眼圖像)的截取位置和圖像水平相位(偏移量)，使得最大視差量及最小視差量在設定範圍內，(以主要固定的方式)調整立體圖像的深度方向的構成。專利文獻2記載了根據變焦來對準左眼圖像及右眼圖像的中心的內容、及根據變焦來控制左眼圖像及右眼圖像的偏移量，使立體圖像的深度方向可變的內容。專利文獻1 日本特開平8-3174 號公報專利文獻2 日本特開2003-52058號公報但是，專利文獻1、2中，關於縮放中的圖像處理，沒有任何記載。縮放中，人的立體視覺跟蹤易變得困難。其結果存在視覺上有極不協調的感覺，疲勞增加的問題。

發明內容
本發明是鑑於這樣的情況而作出的，其目的在於，提供能夠使縮放期間中的立體視覺跟蹤容易，從而緩解眼疲勞的圖像處理裝置、拍攝裝置及圖像處理方法。為了實現所述目的，本發明提供一種圖像處理裝置，其特徵在於，具備圖像獲取單元，其獲取由多個視點圖像組成的立體圖像；變焦值獲取單元，其獲取變焦值；電子變焦單元，其基於通過變焦值獲取單元獲取的變焦值，對通過圖像獲取單元獲取的立體圖像通過圖像處理進行變倍；輸出單元，其能夠輸出通過電子變焦單元變倍後的立體圖像；控制單元，其在通過變焦值獲取單元獲取的變焦值變化的期間，將變焦值的變化緊前或緊後的立體圖像以通過電子變焦單元變倍後的立體靜止圖像向輸出單元輸出，在變焦值不變化的期間，將通過圖像獲取單元獲取的立體圖像以立體運動圖像向輸出單元輸出。S卩，在變焦值持續變化的縮放期間中，電子變焦變化緊前或緊後的立體圖像，並將其以立體靜止圖像輸出，在縮放期間以外，以立體運動圖像輸出，因此能夠使縮放期間中的立體視覺跟蹤容易，從而緩解眼疲勞。在本發明的一實施方式中，優選控制單元使變倍後的靜止圖像的顯示時間比變焦值的變動期間長。在本發明的一實施方式中，優選控制單元將通過使變焦值逐步變化而逐步變倍後的立體靜止圖像通過輸出單元輸出。在本發明的一實施方式中，優選控制單元通過圖像的淡入及淡出進行立體靜止圖像的切換。
在本發明的一實施方式中，優選具備視差量計算單元，其在多個視點圖像間計算各像素的視差量；視差量修正單元，其根據通過視差量計算單元計算的視差量和通過變焦值獲取單元獲取的變焦值，修正通過圖像獲取單元獲取的立體圖像中至少局部的像素的視差量，將通過視差量修正單元修正視差量後的立體靜止圖像通過輸出單元輸出。在本發明的一實施方式中，優選視差量修正單元對多個視點圖像進行改變與變焦值的每單位的變化量相對的視差量的變化量的修正。在本發明的一實施方式中，優選視差量修正單元以如下方式修正視差量，S卩，在修正前的立體圖像中若變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量減少的情況下，在修正後的立體靜止圖像中若變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量增加或一定。在本發明的一實施方式中，優選視差量修正單元通過修正前的視差量乘以係數， 且偏移相乘後的視差量，來修正視差量。在本發明的一實施方式中，優選視差量修正單元以使視差量的偏移量從攝遠端向廣角端變大的方式修正視差量。在本發明的一實施方式中，優選視差量修正單元以若變焦值從廣角端向攝遠端變化，則同一被攝體距離的被攝體的視差量非線性地增加的方式修正視差量。在本發明的一實施方式中，優選視差量修正單元以使視差量在特定的上限值至特定的下限值的範圍內的方式進行修正。在本發明的一實施方式中，優選具備設定信息輸入單元，其接收用於決定用於修正視差量的視差量修正值的設定信息的輸入；視差量修正值計算單元，其基於通過設定信息輸入單元輸入的設定信息計算視差量修正值。在本發明的一實施方式中，優選設定信息是立體圖像的顯示尺寸。在本發明的一實施方式中，優選具備視差量修正值計算單元，其將變焦值設定在攝遠端或廣角端，基於正在對焦的像素的視差量，計算視差量的修正值。在本發明的一實施方式中，優選設定信息包括最近被攝體的被攝體距離信息、及最遠被攝體的被攝體距離信息中至少一個。在本發明的一實施方式中，優選具備變焦效果設定信息輸入單元，其接收用於決定與變焦值的每單位的變化量相對的視差量的變化量的變焦效果設定信息的輸入；視差修正值計算單元，其基於通過設定信息輸入單元輸入的變焦效果設定信息計算視差量修正值。另外，本發明提供一種拍攝裝置，具備圖像處理裝置，其特徵在於，圖像獲取單元包括含有變焦透鏡的拍攝透鏡、及拍攝通過拍攝透鏡成像的被攝體像的拍攝元件而構成。另外，本發明提供一種圖像處理方法，該方法使用圖像獲取單元，其獲取由多個視點圖像組成的立體圖像；變焦值獲取單元，其獲取變焦值；電子變焦單元，其基於通過變焦值獲取單元獲取的變焦值，對通過圖像獲取單元獲取的立體圖像通過圖像處理進行變倍；輸出單元，其輸出立體圖像；其特徵在於，在通過變焦值獲取單元獲取的變焦值變化的期間，將變焦值的變化緊前或緊後的立體圖像以通過電子變焦單元變倍後的立體靜止圖像向輸出單元輸出，在變焦值不變化的期間，將通過圖像獲取單元獲取的立體圖像以立體運動圖像向輸出單元輸出。
根據本發明，能夠使縮放期間中的立體視覺跟蹤容易，從而緩解眼疲勞。


圖1是表示本發明涉及的拍攝裝置的構成例子的方框圖；圖2是表示在運動圖像拍攝時實時進行的情況下的圖像處理的一例的流程的流程圖；圖3是表示在運動圖像拍攝後進行的圖像處理的一例的流程的流程圖；圖4是用於說明靜止圖像的電子變焦的說明圖；圖5是用於說明靜止圖像的淡入淡出顯示的說明圖；圖6是表示視差修正前的變焦值和視差量的對應關係的圖；圖7是表示視差修正後的變焦值和視差量的對應關係的圖；圖8是表示視差修正前、視差壓縮後、偏移後、及視差修正後的左眼圖像及右眼圖像的圖；圖9是表示規定變焦值、修正前視差量及修正後視差量的對應關係的表數據的一例的圖；圖10是表示由表示視差修正後的圖像進行的立體圖像顯示的形態的示意圖；圖11是表示非線性地視差修正時的圖像的變焦值和視差量的對應關係的圖；圖12是表示監視器的顯示尺寸和像素的對應關係的圖；圖13是表示第二實施方式中的視差修正後的視點圖像的變焦值和視差量的對應關係的圖；圖14是表示第二實施方式中的圖像處理的一例的流程的主要部分流程圖；圖15是表示第二實施方式中的圖像處理的其它例的流程的主要部分流程圖；圖16是示意性表示縮放中的被攝體的立體圖像的狀態的示意圖；圖17是表示第三實施方式中的視差修正後的視點圖像的變焦值和視差量的對應關係的圖；圖18是表示用戶設定處理的一例的流程的流程圖；圖19是表示適用於本發明的計算機裝置的硬體結構的方框圖。符號說明IlLUlR…拍攝透鏡；12L、12R…拍攝傳感器；13…信號處理部；15…圖像存儲器； 16…操作部；17···電子變焦處理部；18…視差量計算部；19…視差量修正值計算部；20…視差量修正部；21···監視器(顯示單元)；22…記錄媒體接口 ；23···記錄媒體；25···控制部。
具體實施例方式下面，根據附圖詳細說明本發明的實施方式。圖1是表示本發明的拍攝裝置的結構例的方框圖。拍攝裝置10包括拍攝透鏡11L、11R、拍攝傳感器12L、12R、信號處理部13、圖像存儲器15、操作部16、電子變焦處理部17、視差量計算部18、視差量修正值計算部19、視差量修正部20、監視器21、記錄媒體接口 22、記錄媒體23、外部輸出器件對、控制部25、電源部26、及蓄電池27而構成。拍攝透鏡IlLUlR由使被攝體像在拍攝傳感器12L、12R的受光面上成像的光學系統組成。本例的拍攝透鏡IlLUlR包括聚焦透鏡、變焦透鏡及光圈裝置而構成。拍攝傳感器12L、12R分別對通過拍攝透鏡11L、IlR成像的被攝體像進行拍攝。拍攝傳感器12L、12R由例如CCD拍攝傳感器、CMOS拍攝傳感器等構成。信號處理部13對從拍攝傳感器12L、12R輸出的立體圖像(左眼圖像及右眼圖像) 實施AE處理、AF處理等各種信號處理。在本例的拍攝裝置10中，由拍攝透鏡11L、11R、拍攝傳感器12L、12R及信號處理部 13構成獲取由多個視點圖像組成的立體圖像的拍攝單元14(圖像獲取單元)。圖像存儲器15是一幀一幀地暫時存儲從信號處理部13輸出的立體圖像的存儲器 (例如RAM)。操作部16是接收用戶的輸入操作的輸入器件(例如按鍵開關)。在本例的拍攝裝置10中，由操作部16構成獲取任意變化的變焦值的變焦值獲取單元。電子變焦處理部17基於通過操作部16獲取的變焦值，對立體圖像(左眼圖像及右眼圖像)通過圖像處理進行變倍。視差量計算部18在多個視點圖像(左眼圖像及右眼圖像)間計算各像素的視差
So視差量修正值計算部19根據通過視差量計算部18計算的視差量和通過操作部16 獲取的變焦值，計算用於修正立體圖像(左眼圖像及右眼圖像)的各像素的視差量的視差量修正值。視差量修正部20基於通過視差量修正值計算部19計算的視差量修正值，修正立體圖像(左眼圖像及右眼圖像)的各像素的視差量。即，根據通過視差量計算部18計算的視差量和通過操作部16獲取的變焦值，修正立體圖像的各像素的視差量。通過該視差量的修正，改變與變焦值的每單位的變化量相對的視差量的變化量。具體而言，視差量修正部20 修正視差量，使得在修正前的立體圖像中若變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量減少的情況下，在修正後的立體圖像中若變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量增加或一定。另外，視差量修正不特別限於在立體圖像的整個區域內進行，也可以修正立體圖像中的至少一部分。監視器21、記錄媒體接口 22及外部輸出器件M輸出立體圖像。監視器21是能夠以立體視覺顯示立體圖像的顯示器件。記錄媒體接口 22是外部輸出器件M的一例，在存儲器卡等記錄媒體23中記錄立體圖像。外部輸出器件M例如由將立體圖像通過通信輸出(發送)的通信接口等構成。控制部25控制拍攝裝置10的各部。本例的控制部25在通過操作部16獲取的變焦值變化的期間，將變焦值的變化緊前或緊後的立體圖像的一幀通過電子變焦處理部17 進行變倍，將變倍後的一幀靜止圖像(立體靜止圖像)通過外部輸出器件M進行靜止圖像輸出，在變焦值未變化的期間，將立體圖像通過外部輸出器件M進行運動圖像輸出。另外，控制部25使變倍後的靜止圖像的顯示時間比變焦值的變動期間長。
另外，控制部25將通過使變焦值逐步增加而逐步變倍後的立體靜止圖像通過監視器21等輸出單元輸出。另外，控制部25通過淡入及淡出進行變倍後的多個靜止圖像的切換。電源部沈從蓄電池27對拍攝裝置10的各部進行電源供給。圖2是表示在運動圖像拍攝時實時進行的情況下的圖像處理之一例的流程的流程圖。本處理由控制部25按照程序執行。判斷有無操作部16進行的變焦操作(步驟S2)，在沒有變焦操作的情況下，由拍攝單元14以一幀周期獲取立體圖像(左眼圖像及右眼圖像)並保存在圖像存儲器15中(步驟S4)，從操作部16獲取變焦值(步驟S6)。變焦值在從廣角端至攝遠端之間任意地變化。 在以後的處理中，也是一幀一幀地進行處理。在有變焦操作的情況下，將變焦操作時(變焦值變化前)的立體圖像(左眼圖像及右眼圖像)的一幀保存在電子變焦用存儲器(步驟S8)，從操作部16獲取變焦值(步驟 S10)，根據獲取的變焦值，對保存在圖像存儲器15中的立體圖像通過電子變焦處理部17進行變倍(放大或縮小)(步驟SU)。電子變焦用存儲器可以內置於電子變焦處理部17中， 也可以將圖像存儲器15與實時立體圖像存儲器和電子變焦用存儲器分開使用。然後，通過視差量計算部18，在左眼圖像和右眼圖像之間進行通過立體匹配進行的對應點檢測，計算像素單位的視差量Px (步驟S14)。另外，通過視差量修正值計算部19，根據通過視差量計算部18計算的立體圖像的各像素的視差量和通過操作部16獲取的變焦值，計算修正立體圖像的各像素的視差量的修正值(步驟S16)。然後，通過視差量修正部20，基於修正值進行左眼圖像及右眼圖像的再構成(步驟S18)。在此，根據通過視差量計算部18計算的各像素的視差量和通過操作部16獲取的變焦值，修正各像素的視差量。通過該視差量的修正，改變與變焦值的每單位的變化量對應的立體圖像的視差量的變化量。即，改變變焦值的變化量和視差量的變化量的對應關係。具體而言，按如下方式修正視差量，即，在修正前的立體圖像中若變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量減少的情況下，在修正後的立體圖像中若變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量增加(或不變)。然後，通過記錄媒體接口 22，將再構成的立體圖像記錄在記錄媒體23中。也可以通過監視器21及外部輸出器件M輸出立體圖像。然後，判斷變焦操作是否繼續(步驟S22)，在變焦操作繼續的情況下，回到步驟 S10。另外，判斷拍攝結束還是拍攝繼續(步驟S24)，在拍攝繼續的情況下，回到步驟 S2。在本處理中，在獲取的變焦值變化的期間，對變焦值的變化緊前或緊後的一幀立體圖像(立體靜止圖像)通過電子變焦處理部17進行變倍，並向監視器21輸出，在獲取的變焦值不變化期間，將多幀立體圖像(立體運動圖像)向監視器21輸出。圖3是表示在運動圖像拍攝後進行圖像處理時的圖像處理之一例的流程的流程圖。步驟S32、S34分別與圖2的步驟S4、S6相同。
在步驟S36中，通過記錄媒體接口 22，將由左眼圖像及右眼圖像組成的立體圖像一幀一幀地記錄在記錄媒體23中。在此，記錄媒體接口 22 —幀一幀地在立體圖像上附加變焦值信息，記錄在記錄媒體23中。在步驟S38中，判斷拍攝結束還是拍攝繼續，在拍攝繼續的情況下，回到步驟S32 及 S34。運動圖像拍攝結束後，在步驟S40中，通過記錄媒體接口 22，從記錄媒體一幀一幀地讀取立體圖像(左眼圖像及右眼圖像)及變焦值信息。在步驟S40中，通過記錄媒體接口 22，從記錄媒體23讀取一幀立體圖像和變焦值 fn息ο在步驟S42中，判斷變焦值有無變化。在變焦值有變化的情況下，在步驟S44中，對圖像存儲器15內的立體圖像通過電子變焦處理部17進行變倍(放大或縮小)。在變焦值沒有變化的情況下，在步驟S46中，從記錄媒體23讀取下一幀立體圖像 (左眼圖像及右眼圖像)保存在圖像存儲器15中。步驟S48、S50、S52、S54 分別與圖 2 的 S14、S16、S18 相同。在步驟S56中，判斷是否結束了所有的幀處理，沒有結束全部幀時，關注下一幀， 從圖像存儲器15讀取變焦值(S58)，回到步驟S40。結束了全部幀時，結束本處理。如圖4所示，控制部25通過將變焦值變化中的期間分割成多個期間，同時不以連續變化而以逐步變化切換變焦值的變化量，來進行依次顯示及記錄在變焦值變化中的期間逐步變倍的多個靜止圖像的控制。另外，控制部25使變倍後的多個靜止圖像的總計顯示時間比變焦值的變動期間長。另外，如圖5所示，控制部25通過淡入及淡出，進行監視器21中的多個靜止圖像間的顯示的切換。即，進行一邊淡出顯示一個靜止圖像，一邊淡入顯示另一個靜止圖像的控制。圖6表示視差修正前的視點圖像(左眼圖像，右眼圖像)中的變焦值和視差量的對應關係(所說的「視差分布」)。橫軸為變焦值，縱軸為視差量。即，表示與變焦值的變化相對的視差量的變化(視差分布)。在圖6中，縱軸的中心為收斂點的視差(=0)，在本拍攝裝置中，將收斂點的距離設定為2. 0m。在該視差分布中，比縱軸的中心更靠上的上側表示位於比收斂點近的距離上的被攝體的視差，比縱軸的中心更靠下的下側表示位於比收斂點遠的距離上的被攝體的視差。視差分布的上邊表示被攝體距離為0.5m(MOD)時的視差變化，下邊表示無限遠距離時的視差變化。在圖6中，視差變成最大的條件是被攝體距離0. 5m的變焦T端，將該條件的視差量設為Pmax。在該條件下，立體圖像成為從監視器最突出的狀態，成為立體視覺融合困難的過大視差的可能性大。另一方面，視差變成最小的條件是無限遠距離的變焦W端，將該條件的視差量設為Riiin。在該條件下，立體圖像成為從監視器最縮進的狀態，監視器上的立體圖像的錯位量超過人的兩眼寬度的(發散)可能性大。因此，需要通過視差修正設定視差量的上限及下限。
在圖6中，被攝體距離為ail的被攝體與變焦值的變化無關，視差為零，沒有視差量的變化。被攝體距離大於an(遠)的被攝體若使變焦值從W側向τ側變化，則視差量變小。 即，被攝體像變大的同時，從監視器面逐漸縮進，成為極不自然的視覺，因此增加了進行立體觀察的觀察者的眼疲勞。圖7表示通過視差量修正部20進行視差修正後的視點圖像中的變焦值和視差量的對應關係(視差分布)。通過視差量修正部20，將最大視差量從修正前的Pmax修正為 Ptn,將最小視差量從Riiin修正為Pwf，將與各變焦值對應的視差量以進入Ptn和Pwf之間的方式進行修正。另外，也可以是Ptf = Pwf。為將圖6所示的視差分布更改(修正)為圖7所示的視差分布，視差量修正值計算部19計算與視差量相乘的係數k和視差量的偏移量S。視差量修正部20通過各像素的視差量乘以係數k，將各變焦值中的視差分布寬度壓縮k倍。具體而言，在修正前視差量最大值Pmax > Ptn的情況下，以使修正後Pmax彡Ptn的方式決定k，設為0 < k Pwn。即，將最小視差量設為Pwf。圖8 (A)表示視差修正前的T端的左眼圖像90L及右眼圖像90R，圖8 (B)表示視差壓縮(係數乘法)後的T端的左眼圖像中的被攝體像90L及右眼圖像中的被攝體像90R。 圖8(C)表示偏移後的T端的左眼圖像中的被攝體像90L及右眼圖像中的被攝體像90R。圖 8(D)表示視差修正後的W端的左眼圖像中的被攝體像90L及右眼圖像中的被攝體像90R。 另外，在圖8(A) (D)中，圖示了四邊形的被攝體像，但是實際上，不限定被攝體像的形狀。在圖8(A)中，成為過大視差及發散視差，因此進行圖8(B)所示的通過對視差量乘以係數kl進行的視差壓縮及圖8(C)所示的視差量偏移Si，從而變焦後的立體圖像的視差量在視差界限內。另外，乘法和減法的處理順序可以先進行任一個。另外，若預先決定如圖7那樣進行修正，則如圖9所示，通過預先將變焦值、修正前視差量及修正後視差量的對應關係作為表數據存儲，視差修正時使用該表數據進行視差修正，能夠縮短處理時間。即，也可以將圖 1的視差量修正值計算部19替換為圖8的表數據。圖10是表示將視差修正後的立體圖像通過監視器21顯示時的立體圖像的示意圖。在使變焦值從廣角W側向攝遠T側變化的情況下，視差量以視點位置接近被攝體的方式(或被攝體接近視點位置的方式)變化，因此改善了變焦引起的不自然。圖11是將Ptf-Pwf、Ptn-PWn的線設為非線性的情況，越是T(攝遠)端，越是使與變焦值的變化量相對的視差量的變化量增大。即，越是T端，被攝體的深度方向上的移動量越大。由此，被攝體的移動情況更接近現實。也可以基於用戶設定值決定用於視差量修正的修正值。例如，輸出立體圖像的監視器21 (立體視覺顯示器件)的尺寸(顯示畫面尺寸)的輸入或選擇通過操作部16接收。 這是因為由顯示畫面尺寸決定視差發散的界限值。
圖12表示解析度為1920X1080點的監視器的情況的顯示尺寸和像素的對應關係。另外，也可以設置通過操作部16接收每個用戶的兩眼間隔的輸入或選擇的單元。 作為立體圖像的觀察者，若將孩子作為對象，則兩眼間隔約5cm，將監視器尺寸的5cm程度的像素數作為視差量下限值Pwf。視差量上限值Ptn例如在將監視器的畫面高度的3倍距離下的視聽作為前提的情況下，設定為約57像素。該Ptn由立體視覺融合的容許範圍決定，因此存在個人差異。因此，優選能夠通過用戶設定更改。根據本實施方式，能夠改善變焦可變時的觀察者的不協調的感覺，抑制立體視覺的疲勞。優選通過針對從廣角端至攝遠端的變焦值的變化進行視差量修正，降低過大視差及發散狀態。〈第二實施方式〉接著說明第二實施方式。在第二實施方式中，通過增大與變焦值的變化量相對的視差量的變化量，增強縮放效果，同時防止視差過大、視差發散。圖13表示第二實施方式的視差量修正部20進行視差修正後的視點圖像中的變焦值和視差量的對應關係(視差分布)。為了增強縮放，優選通過進一步增大Ptf-Pwf、Ptn-Pwn各線的傾斜，來增大與變焦值的變化量相對的視差量的變化量。即，相對於變焦值的變化量，增大被攝體的立體圖像的深度方向上的移動量，能夠夠增強縮放效果。該情況下，在攝遠(T)側、廣角(W)側，如圖13中的虛線21、22所示，修正後的視差量超過視差量上限值Ptn，或不足視差量下限值Pwf的可能性變大。因此，視差量修正部20以修正後的視差量在視差量上限值Ptn至視差量下限值 Pwf的範圍內的方式對修正量進行修正。例如，在通過操作部16獲取的變焦值小於Z1，且修正前的視差量超過Ptn的情況下，將修正後的視差量固定為Ptn。另外，例如，在通過操作部16獲取的變焦值大於特定的變焦值Z8，且修正前的視差量不足Pwf的情況下，將修正後的視差量固定為Pwf。圖14是表示本實施方式中的圖像處理的流程的主要部分的流程圖。另外，如圖2所示，與第一實施方式相同，進行步驟S2 S18。在步驟S18中，通過視差量修正部20基於修正值進行視差量的計算(一次修正)，是與圖2的步驟S18相同的處理。在步驟S19a中，判斷變焦值是否不足Zl，在不足Zl的情況下，在步驟S19b中，檢索超過視差量上限值Ptn的視差量的像素，將該像素的視差量均設定為Ptn。另外，在步驟 S19c中，判斷變焦值是否超過Z8，在超過Z8的情況下，在步驟S19d中，檢索不足視差量下限值Pwf的視差量的像素，將該像素的視差量均設定為Pwf。即，在步驟S19a S19d中， 將步驟S18的修正緊後的視差地圖內的視差量中不在Ptn至Pwf的範圍內的視差量設定為 Ptn 或 Pwf0在步驟S19e中，通過視差量修正部20基於二次修正值進行左眼圖像及右眼圖像的再構成(二次修正)。步驟S20以後與圖2所示的步驟S20以後相同。
這樣的處理如圖15的流程圖所示，與變焦值無關，可以在所有的變焦域中進行。 即，步驟S18以後，按照圖14所示的步驟S19b、S19d、S19e的順序執行。圖16(A)、(B)、(C)示意性表示在使變焦值在攝遠方向上變化時，視差量超過Ptn 時的被攝體的立體圖像的狀態。在圖16(C)中，表示視差量超過Ptn時被攝體像呈平面狀。 另外，圖16(B)是使圖21的Ptn-Pwn間的折線變得平滑的情況，隨著變焦值變大，被攝體像漸漸變成平面狀(即被攝體像的前端和後端的距離差漸漸壓縮)。在表示圖13所示的變焦值和視差量的對應關係的圖表中，Ptn-PwruPtf-Pwf等同一被攝體距離的線的傾斜可以作為變焦感的增強等級，接收用戶的設定輸入操作，且可變。該情況下，根據用戶設定的增強等級，增強等級越大，越增大同一被攝體距離的線 (Ptn-PwruPtf-Pwf等)的傾斜。該傾斜越大，帶符號的Ptf值越大，帶符號的Pwn值越小。 另夕卜，Ptf 彡 Pwf、Ptn > Pwn0根據本實施方式，能夠增強縮放效果，同時能夠防止視差過大、視差發散。〈第三實施方式〉在實際的拍攝中，存在被攝體距離的範圍狹窄的情況。例如，在室內拍攝中，沒有無限遠的被攝體，另外，在跨越柵欄或網等的拍攝中，是最近距離也比MOD(最短對焦距離) 遠的範圍。該情況下，修正後的視差量的分布收斂於例如圖17的虛線31和虛線32之間的範圍。該情況下，從實際的視差分布中的最大值1 及最小值1 至界限值(Ptn及Pwf)有富餘，因此能夠將該富餘部分分配給縮放效果的增強。具體而言，以最大值1 成為上限值Ptn，最小值1 成為下限值Pwf的方式，調整視差修正的偏移量Si、S2即可。其結果是，在進行了視差修正後，視差分布從虛線31和虛線 32之間的範圍變為實線33和實線34之間的範圍，表示同一被攝體距離中的變焦值和視差量的對應關係的線的傾斜變大。在本實施方式中，通過操作部16接收用於決定用於修正視差量的視差修正值的設定信息的輸入。視差量修正值計算部19基於輸入的設定信息，計算視差量修正值。設定信息是例如監視器21的顯示尺寸(監視器尺寸)。設定信息可以是例如最近被攝體的被攝體距離信息、及最遠被攝體的被攝體距離信息中至少一個。另外，也可以通過控制部25的控制，將變焦值設定在攝遠端或廣角端，通過視差量修正值計算部19，基於正在對焦的像素的視差量計算視差量修正值。另外，也可以通過操作部16接收用於決定與變焦值的變化量相應的視差量的變化量的變焦效果設定信息的輸入，通過視差量修正值計算部19，基於輸入的變焦效果設定信息計算視差量修正值。圖18是表示用戶設定處理的一例的流程的流程圖。圖18中，若為用戶設定模式，則首先將拍攝透鏡IlLUlR的變焦值(變焦位置) 移動(設定)至T端(步驟S71)，以將相對於用戶拍攝對象的被攝體中最近的被攝體距離的物體置入AF區域內的方式通過監視器21進行引導，通過操作部16接收圖像攝取指示操作(步驟S72)。若接收到圖像攝取指示，則以近距離範圍優先的方式從最近距離側尋找對焦位置(步驟S7!3)。即，對拍攝對象的被攝體中最近的被攝體進行對焦。然後，攝取左眼圖像及右眼圖像(步驟S74)，在AF區域內，檢測清晰度比預設閾值高的像素(步驟S75)，計算這些像素的視差量，決定視差量最大值Pa，計算從該視差量最大值1 至Ptn的偏移量 (Ptn-Pa)(步驟 S76)。然後，將拍攝透鏡11L、1 IR的變焦值(變焦位置)移動(設定)至W端(步驟S81)， 以將相對於用戶拍攝對象的被攝體中最遠的被攝體距離的物體放入AF區域內的方式通過監視器21進行引導，通過操作部16接收圖像攝取指示操作(步驟S8》。若接收到圖像攝取指示，以遠距離範圍優先的方式從最遠距離找出對焦位置(步驟S8!3)。即，對拍攝對象的被攝體中最遠的被攝體進行對焦。然後，攝取左眼圖像及右眼圖像(步驟S84)，在AF區域內檢測清晰度比預設閾值高的像素(步驟S80，計算這些像素的視差量，決定視差量最小值此，計算從該視差量最小值1 至Pwf的偏移量(Pb-Pwf)(步驟S86)。另外，在求解視差量時，進行立體匹配，因此清晰度高的圖像的匹配精度提高，視差量的精度也提高。在上述設定方法中，在攝遠端及廣角端兩方計算視差量的偏移量，但是，本發明不限於這樣的情況，也可以在攝遠端及廣角端中的一個中，計算視差量的偏移量。另外，也可以通過操作部16接收距用戶的最近被攝體的被攝體距離信息(最小被攝體距離)、及最遠被攝體的被攝體距離信息(最大被攝體距離)的直接輸入操作(或選擇輸入操作)。通過操作部16，接收用於決定與變焦值的變化量相應的視差量的變化量的變焦效果設定信息的輸入，通過視差量修正值計算部19，基於輸入的變焦效果設定信息計算視差量修正值。另外，以將本發明應用於拍攝裝置的情況為例進行了說明，但是，本發明不特別限於這樣的情況。例如，也可以是將本發明應用於圖19所示的計算機裝置100。在圖19中， 對圖1所示的構成要素附加相同符號。圖19所示的個人計算機裝置100包括操作部16、立體顯示部21 (監視器)、記錄媒體接口 22、存儲器102及微處理器103而構成。微處理器103具有圖1的電子變焦處理部17、視差量計算部18、視差量修正值計算部19、視差量修正部20及控制部25的功能。存儲器102具有圖1的圖像存儲器15的功能。本發明不限於在本說明書中說明的例子及附圖所示的例子，當然可以在不脫離本發明的主旨的範圍內，進行各種設計變更或改良。
權利要求
1.一種圖像處理裝置，其特徵在於，具備圖像獲取單元，其獲取由多個視點圖像組成的立體圖像；變焦值獲取單元，其獲取變焦值；電子變焦單元，其基於通過所述變焦值獲取單元獲取的所述變焦值，對通過所述圖像獲取單元獲取的所述立體圖像通過圖像處理進行變倍；輸出單元，其能夠輸出通過所述電子變焦單元變倍後的所述立體圖像；控制單元，其在通過所述變焦值獲取單元獲取的所述變焦值變化的期間，將所述變焦值的變化緊前或緊後的所述立體圖像以通過所述電子變焦單元變倍後的立體靜止圖像向所述輸出單元輸出，在所述變焦值不變化的期間，將通過所述圖像獲取單元獲取的所述立體圖像以立體運動圖像向所述輸出單元輸出。
2.如權利要求1所述的圖像處理裝置，其特徵在於，所述控制單元使變倍後的所述靜止圖像的顯示時間比所述變焦值的變動期間長。
3.如權利要求1或2所述的圖像處理裝置，其特徵在於，所述控制單元將通過使所述變焦值逐步變化而逐步變倍後的立體靜止圖像通過所述輸出單元輸出。
4.如權利要求3所述的圖像處理裝置，其特徵在於，所述控制單元通過圖像的淡入及淡出進行所述立體靜止圖像的切換。
5.如權利要求1 4中任一項所述的圖像處理裝置，其特徵在於，具備視差量計算單元，其在所述多個視點圖像間計算各像素的視差量；視差量修正單元，其根據通過所述視差量計算單元計算的所述視差量和通過所述變焦值獲取單元獲取的所述變焦值，修正通過所述圖像獲取單元獲取的所述立體圖像中至少局部的像素的視差量，將通過所述視差量修正單元修正視差量後的所述立體靜止圖像通過所述輸出單元輸出。
6.如權利要求1 5中任一項所述的圖像處理裝置，其特徵在於，所述視差量修正單元對所述多個視點圖像進行改變與所述變焦值的每單位的變化量相對的所述視差量的變化量的修正。
7.如權利要求6所述的圖像處理裝置，其特徵在於，所述視差量修正單元如下修正所述視差量，即，在修正前的所述立體圖像中若所述變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量減少的情況下，在修正後的所述立體靜止圖像中若所述變焦值從廣角側向攝遠側變化，則同一被攝體距離的被攝體的視差量增加或一定。
8.如權利要求5 7中任一項所述的圖像處理裝置，其特徵在於，所述視差量修正單元通過修正前的所述視差量乘以係數，且偏移相乘後的所述視差量，來修正所述視差量。
9.如權利要求8所述的圖像處理裝置，其特徵在於，所述視差量修正單元以使所述視差量的偏移量從攝遠端向廣角端變大的方式修正所述視差量。
10.如權利要求5 9中任一項所述的圖像處理裝置，其特徵在於，所述視差量修正單元以若所述變焦值從廣角端向攝遠端變化，則同一被攝體距離的被攝體的視差量非線性地增加的方式修正所述視差量。
11.如權利要求5 10中任一項所述的圖像處理裝置，其特徵在於，所述視差量修正單元以使所述視差量在特定的上限值至特定的下限值的範圍內的方式進行修正。
12.如權利要求5 11中任一項所述的圖像處理裝置，其特徵在於，具備設定信息輸入單元，其接收用於決定用於修正所述視差量的視差量修正值的設定信息的輸入；視差量修正值計算單元，其基於通過所述設定信息輸入單元輸入的所述設定信息計算所述視差量修正值。
13.如權利要求12所述的圖像處理裝置，其特徵在於，所述設定信息是所述立體圖像的顯示尺寸。
14.如權利要求5 11中任一項所述的圖像處理裝置，其特徵在於，具備視差量修正值計算單元，其將所述變焦值設定在攝遠端或廣角端，基於正在對焦的像素的視差量，計算所述視差量的修正值。
15.如權利要求12所述的圖像處理裝置，其特徵在於，所述設定信息包括最近被攝體的被攝體距離信息、及最遠被攝體的被攝體距離信息中至少一個。
16.如權利要求5 11中任一項所述的圖像處理裝置，其特徵在於，具備變焦效果設定信息輸入單元，其接收用於決定與所述變焦值的每單位的變化量相對的所述視差量的變化量的變焦效果設定信息的輸入；視差量修正值計算單元，其基於通過所述設定信息輸入單元輸入的所述變焦效果設定信息計算所述視差量修正值。
17.一種拍攝裝置，具備如權利要求1 16中任一項所述的圖像處理裝置，其特徵在於，所述圖像獲取單元包括含有變焦透鏡的拍攝透鏡、及拍攝通過所述拍攝透鏡成像的被攝體像的拍攝元件而構成。
18.一種圖像處理方法，該方法使用圖像獲取單元，其獲取由多個視點圖像組成的立體圖像；變焦值獲取單元，其獲取變焦值；電子變焦單元，其基於通過所述變焦值獲取單元獲取的所述變焦值，對通過所述圖像獲取單元獲取的所述立體圖像通過圖像處理進行變倍；輸出單元，其輸出所述立體圖像；其特徵在於，在通過所述變焦值獲取單元獲取的所述變焦值變化的期間，將所述變焦值的變化緊前或緊後的所述立體圖像以通過所述電子變焦單元變倍後的立體靜止圖像向所述輸出單元輸出，在所述變焦值不變化的期間，將通過所述圖像獲取單元獲取的所述立體圖像以立體運動圖像向所述輸出單元輸出。
全文摘要
本發明提供一種使縮放期間中的立體視覺跟蹤容易，從而緩解眼疲勞的裝置。具備拍攝單元(14)，其獲取由多個視點圖像組成的立體圖像；操作部(16)，其獲取變焦值；電子變焦處理部(17)，其基於獲取的變焦值對立體視覺圖像通過圖像處理進行變倍；監視器(21)，其輸出變倍後的立體圖像；控制部(25)，其在獲取的所述變焦值變化期間，將變焦值的變化緊前或緊後的立體圖像以通過電子變焦處理部(17)變倍後的立體靜止圖像向監視器(21)輸出，在變焦值不變化期間，將通過拍攝單元(14)獲取的所述立體圖像以立體運動圖像向監視器(21)輸出。
文檔編號H04N5/225GK102577407SQ201180004318
公開日2012年7月11日 申請日期2011年6月28日 優先權日2010年6月30日
發明者澤地洋一 申請人:富士膠片株式會社