攝像裝置、攝像裝置控制方法以及程序的製作方法

2023-05-01 16:15:21 1

專利名稱：攝像裝置、攝像裝置控制方法以及程序的製作方法
技術領域：
本公開涉及攝像裝置、攝像裝置控制方法以及程序，更具體來說，涉及這樣的攝像裝置、攝像裝置控制方法以及程序其中，執行在例如拍攝例如三維圖像(3D圖像)的攝像裝置(照相機)中檢測並且校正左眼圖像與右眼圖像之間的偏差(特別地，上下圖像偏差)的處理。
背景技術：
最近，已經開發並使用能夠顯示三維圖像(3D圖像)的顯示裝置(如電視和PC以及能夠記錄三維圖像(3D圖像)的攝像機和靜止圖像照相機。為了顯示3D圖像，有必要從不同視角拍攝兩個圖像。即，這兩個圖像是從左功能點拍攝的左眼圖像和從右能點拍攝的右眼圖像。當顯示從不同視角拍攝的兩個圖像吋，執行控制，使得左眼圖像只被觀賞者的左眼看到，右眼圖像只被觀賞者的右眼看到，並且觀賞者能夠獲得三維效果。作為3D圖像的顯示處理方法，有各種方法。例如，ー種方法是在顯示裝置上交替顯示左眼圖像和右眼圖像，觀賞者戴上快門型眼鏡，針對左眼圖像的顯示時段和右眼圖像的顯示時段中的每ー個執行快門轉換，並且每個圖像只被一隻眼睛觀看到。例如，有各種方法，例如如下方法在具有其中雙凸透鏡經過特殊加工的顯示面的顯示裝置上的縫隙形狀中交替顯示左眼圖像和右眼圖像，左眼圖像透過顯示面的透鏡只被觀賞者的左眼看到，右眼圖像透過顯示面的透鏡只被觀賞者的右眼看到，通過裸眼的視カ可以獲得三維效果。為了拍攝3D圖像，拍攝左眼圖像和右眼圖像的兩個攝像裝置以合適的間距分開並且水平布置(左和右)。在左右圖像之間產生的水平方向上的圖像偏差被稱為視差。視差被識別為深度信息，由此觀賞者能夠三維地觀賞圖像。根據拍攝左眼圖像和右眼圖像的兩個拍攝單元的位置，圖像偏差可以在除水平方向的視差方向以外的其他方向上出現。例如，由於各種照相機配置(如兩個攝像單元的軸向布置在上下方向上的偏差、兩個攝像単元的光軸在上下方向上的角度偏差或攝像單元從光軸的位置偏差)產生的幾何偏差在上下方向上產生的圖像偏差。3D圖像的左眼圖像和右眼圖像之間的上下方向上的圖像偏差不僅是造成三維觀看時的幹擾的原因，而且是造成觀賞者的眼睛疲勞的原因，因此有必要去除偏差。為了校正圖像之間的上下方向上的偏差，有ー種如下方法通過對由兩個攝像單元拍攝的兩個圖像進行塊匹配等來 執行圖像比較，計算用於校正圖像偏差的轉換參數(例如，仿射參數)，並對拍攝的圖像執行轉換。由仿射轉換電路輸入合適的轉換參數，對拍攝的圖像執行轉換(仿射轉換)，從而可以校正兩個圖片(picture)之間的幾何偏差。例如，日本未審專利申請公開No. 2009-258868 (sony公司)公開了一種通過塊匹配計算仿射參數的方法。在日本未審專利申請公開No. 2009-258868中，通過ー個照相機比較具有時間差的圖片，但是這可以應用於兩個照相機的同時圖片的比較。
日本未審專利申請公開No. 2010-128820 (Fujifilm公司)公開了ー種在使用多個照相機時估計幾何轉換參數的方法。然而，例如，執行日本未審專利申請公開No. 2010-128820中描述的基於塊匹配的圖像比較是為了檢測圖像偏差，必須檢測作為比較目標的圖像中的足夠數量的特徵點(對應點)。例如，當大多數拍攝的圖像是「空的」時，由兩個攝像単元拍攝的左眼圖像和右眼圖像的大多數圖像區域變成亮度均勻的圖像，沒有亮度變化。當對這種亮度均勻的圖像進行相互比較時，難以唯一確定比較對象的塊。因此，難以檢測有效的特徵點(對應點)。結果，幾何偏差檢測精度劣化。當以低檢測精度執行校正時，難以充分去除幾何偏差，並且存在偏差增大的風險。

發明內容
期望提供一種攝像裝置、攝像裝置控制方法以及程序，其中，可靠地檢測在從多個不同視點拍攝的圖像中出現的在上下方向等上的圖像偏差，並計算用於執行圖像轉換以校正上下方向的偏差之用的高精度轉換參數，以執行校正。根據本公開的第一實施例，提供了一種攝像裝置，包括多個攝像単元，從不同視點拍攝圖像；圖像分析単元，通過對由所述多個攝像單元拍攝的圖像進行圖像分析來檢測特徵點；控制單元，利用輸入的由所述圖像分析単元生成的特徵點信息，計算用於校正由所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數；以及圖像轉換單元，通過應用由所述控制單元計算出的圖像轉換參數，對所述多個攝像単元所拍攝的圖像執行轉換處理，其中所述控制單元執行如下處理輸入由所述圖像分析単元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示単元上作為指標顯示所述可靠度，其中，所述攝像単元的變焦透鏡被設定到望遠端的位置是初始位置。在根據本公開的實施例的攝像裝置中，當確認在所述變焦透鏡被設定到望遠端的初始位置處計算出的可靠度等於或大於預定閾值時，所述控制単元可以將所述變焦透鏡從望遠側順序地移動到廣角側，並執行在多個變焦位置處利用從所述圖像分析單元輸入的特徵點信息計算圖像轉換參數和可靠度的校準處理。在根據本公開的實施例的攝像裝置中，當確定在所述變焦透鏡被設定到望遠端的初始位置處計算出的可靠度小於預定閾值時，所述控制單元輸出請求改變所拍攝的圖像的消息。在根據本公開的實施例的攝像裝置中，所述多個攝像單元拍攝應用於三維圖像顯示的左眼圖像和右眼圖像，並且所述控制単元計算校正應用於三維圖像顯示的左眼圖像和右眼圖像在上下方向上的偏差的校正用的圖像轉換參數。在根據本公開的實施例的攝像裝置中，所述圖像分析單元對所述多個攝像單元所拍攝的圖像執行塊匹配處理，以基於塊匹配處理檢測特徵點。在根據本公開的實施例的攝像裝置中，所述圖像分析単元在特徵點檢測處理中基於對所述多個攝像單元拍攝的圖像的圖像分析，生成包括滿足預定條件的特徵點的數量和特徵點的分布的特徵點信息，並將所述特徵點信息輸出到所述控制単元，並且所述控制單元通過應用包括滿足預定條件的特徵點的數量和特徵點的分布的特徵點信息來計算可靠度。在根據本公開的實施例的攝像裝置中，所述圖像轉換單元是執行仿射轉換的圖像轉換單元，並且所述控制単元計算應用於仿射轉換的圖像轉換參數。在根據本公開的實施例的攝像裝置中，所述控制單元將變焦透鏡從望遠側順序地移動到廣角側，並在多個變焦位置處利用從所述圖像分析單元輸入的特徵點信息來計算圖像轉換參數和可靠度，並且在存儲器中存儲其中變焦透鏡的位置、圖像轉換參數以及可靠度被關聯在一起的數據。在根據本公開的實施例的攝像裝置中，所述控制單元將變焦透鏡從望遠側順序地移動到廣角側，並在多個變焦位置處利用從所述圖像分析單元輸入的特徵點信息來計算圖像轉換參數和可靠度，基於在所述多個變焦位置處計算出的多個可靠度的值，確定是否滿足預定處理成功條件，當確定為成功時，將計算出的圖像轉換參數作為有效參數存儲在存儲器中，並且當確定為失敗時，輸出表示處理失敗的消息。根據本公開的第二實施例，提供了一種對攝像裝置執行的攝像裝置控制方法，該方法包括由圖像分析単元通過對從不同視點拍攝圖像的多個攝像単元所拍攝的圖像進行的圖像分析，檢測特徵點；以及由控制單元輸入在對圖像的分析過程中生成的特徵點信息，計算用於校正由所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數，其中所述控制單元執行如下處理輸入由所述圖像分析単元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示単元上作為指標顯示所述可靠度，其中，在計算參數的過程中所述攝像単元的變焦透鏡被設定到望遠端的位置是初始位置。根據本公開的第三實施例，提供了一種使攝像裝置執行攝像裝置處理的程序，該處理包括由圖像分析単元通過對從不同視點拍攝圖像的多個攝像単元所拍攝的圖像進行的圖像分析，檢測特徵點；以及由控制單元輸入在對圖像的分析過程中生成的特徵點信息，計算用於校正由所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數，其中所述控制單元執行如下處理輸入由所述圖像分析単元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示単元上作為指標顯示所述可靠度，其中，在計算參數的過程中所述攝像単元的變焦透鏡被設定到望遠端的位置是初始位置。根據本公開的實施例的程序是例如通過存儲介質提供給能夠執行各種程序代碼的信息處理裝置或計算機系統的程序。信息處理裝置或計算機系統上的程序執行單元執行這種程序，從而實現與程序對應的處理。基於本公開的示例和附圖
，在詳細說明中將澄清本公開的其他目的、特徵以及優點。在本說明書中，系統是多個裝置的邏輯組結構，並且不限於以相同情況設置的配置的裝
置。 根據本公開的實施例，例如，由多個攝像單元拍攝作為三維圖像的從不同視點看到的圖像，如左眼圖像和右眼圖像，並且在圖像分析単元中對拍攝的圖像執行諸如塊匹配的圖像分析，以檢測特徵點，控制單元輸入由圖像分析単元生成的特徵點信息，計算校正所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數。在計算轉換參數的處理時，控制單元執行如下處理輸入由所述圖像分析単元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示単元上作為指標顯示所述可靠度，其中，所述攝像単元的變焦透鏡被設定到望遠端的位置是初始位置。當望遠端處的可靠度等於或大於預定閾值時，控制単元開始在將變焦透鏡順序地移動到廣角側的同時在多個點處計算轉換參數的校準。圖I是圖解說明攝像裝置的配置示例的圖。圖2是圖解說明顯示畫面的與轉換參數的計算序列相對應的轉變的圖。圖3A到圖3C是圖解說明檢測從望遠端(tele端)到廣角端(wide端)的拍攝圖像的特徵點的過程的圖。圖4是圖解說明作為與特徵點對應的指標值的SAD(絕對差和(Sum of AbsoluteDifference))的圖。圖5是圖解說明變焦(zoom)位置與可靠度之間的對應關係的圖。圖6是圖解說明與存儲器中存儲的變焦位置和可靠對對應的轉換參數的數據示例的圖。圖7是圖解說明由攝像裝置執行的校準的開始確定處理的流程圖的圖。圖8是圖解說明由攝像裝置執行的校準處理的流程圖的圖。
具體實施例方式以下，將參照附圖詳細描述根據本公開的實施例的攝像裝置、攝像控制方法以及程序。按照以下詳細進行說明。I.攝像裝置的配置和處理示例2.校準處理序列3.檢測特徵點的處理和基於特徵點信息計算可靠度的處理4.攝像裝置中的處理序列4. I.確定校準開始條件的處理4.2.計算與變焦位置相對應的轉換參數的處理I.攝像裝置的配置和處理示例首先，參照圖說明攝像裝置的配置和處理示例。攝像裝置是從不同視點拍攝圖像(S卩，左眼圖像(L圖像)和右眼圖像(R圖像))的照相機。以下將描述拍攝作為運動圖像的圖片的照相機的示例。圖I所示的攝像裝置100具有從不同視點拍攝圖像的兩種類型的攝像配置。通過作為位於分開位置的多個攝像単元的第一透鏡111和第二透鏡121組獲取來自兩個不同視點的應用於三維(3D)圖像顯示的圖像，即，左眼圖像(L圖像)和右眼圖像(R圖像)。
透過第一透鏡111輸入的被攝對象光被輸入到第一攝像元件112。同時，透過第二透鏡121輸入的被攝對象光被輸入到第二攝像元件122。第一攝像元件112和第二攝像元件122例如是諸如CMOS和CCD的光電轉換元件，並且針對每個像素產生與入射光相對應的電信號，並輸出作為圖像信號的信號。由第一攝像元件112輸出的圖像信號被輸入到第一圖像轉換單元113。由第二攝像元件122輸出的圖像信號被輸入到第二圖像轉換單元123。第一圖像轉換單元113和第二圖像轉換單元123例如基於仿射轉換執行圖像轉換處理。仿射轉換是ー種對圖像執行各種圖像變形處理(如平行移動、旋轉、放大和縮小)的圖像轉換處理。設定預定轉換參數，執行仿射轉換，由此可以執行各種圖像轉換。第一圖像轉換單元113和第二圖像轉換單元123執行的圖像轉換是校正通過第一透鏡111和第二透鏡121從兩個不同視角拍攝的圖像在上下方向上的偏差的圖像轉換處理。如以上在現有技術中描述的，在左右圖像之間出現的水平方向上的圖像偏差是視差，並且左右偏差是識別深度(即，識別ニ維效果)所需的偏差。然而，上下方向上的偏差不僅幹擾三維觀賞，而且是觀賞者眼睛疲勞的原因，因此必須去除該偏差。偏差是由於各種原因而產生的，如兩個攝像単元的光軸布置在上下方向上的偏差、兩個攝像単元的光軸在上下方向上的角度偏差或攝像元件相對於光軸的位置偏差。第一圖像轉換單元113和第二圖像轉換單元123執行校正上下方向上的圖像偏差的圖像轉換處理。如圖所示，從控制単元132提供應用於作為圖像轉換處理而執行的仿射轉換處理的轉換參數12和22。在拍攝用戶想要拍攝的圖像之前通過之前的調節處理預先計算轉換參數，S卩，以供照相機校準之用，並且該轉換參數被存儲在存儲器135中。校正兩個圖像(L圖像和R圖像)的上下方向的偏差的轉換參數的值是隨變焦透鏡的位置(變焦位置)而不同的值。因此，當執行校準處理時，計算與多個變焦位置相對應的轉換參數，並將對應於變焦位置的轉換參數存儲在存儲器135中。在包括計算與多個變焦位置相對應的轉換參數的處理的校準處理之後，用戶實際拍攝圖像。在圖像拍攝時，控制單元132從存儲器135獲取與圖像拍攝時的變焦位置相對應的轉換參數，將轉換參數提供給第一圖像轉換單元113和第二圖像轉換單元123，並執行圖像轉換。以高質量輸出LR圖像作為3D圖像，其中通過圖像轉換校正了上下方向的偏差。應用於控制單元132中的轉換參數12和23的計算處理的信息是從圖像分析単元131輸入的特徵點信息31。圖像分析單元131例如通過塊匹配處理來檢測通過第一透鏡111和第二透鏡121拍攝的兩個圖像(L圖像和R圖像)的特徵點(對應點)。圖像分析単元131對兩個圖像(L圖像和R圖像)中的每個預定塊執行相關性確定，並執行確定相關性高的塊是對應特徵點(即，同一被攝對象區域)的塊匹配處理。 控制單元132根據特徵點(對應點)確定兩個圖像(L圖像和R圖像)之間的偏差，並計算用於校正兩個圖像(L圖像和R圖像)之間的偏差的、應用於仿射轉換的參數(轉換參數)。然而，為了計算用於校正兩個圖像(L圖像和R圖像)在上下方向的偏差的精確的圖像轉換參數，有必要以高精度從兩個圖像(L圖像和R圖像)檢測足夠數量的特徵點(對應點)。當從兩個圖像(L圖像和R圖像)檢測到的特徵點(對應點)的數量太少或者當檢測到的特徵點的分布有偏離時，難以精確計算用於校正上下方向的偏差的參數。在這種情況下計算出的轉換參數是可靠度低的轉換參數。當通過應用可靠度低的這種轉換參數進行圖像轉換時，就校正偏差的方面來說，可能會執行錯誤的圖像變形處理。控制單元132基於從圖像分析単元131獲取的特徵點信息(數量分布)來計算可計算的轉換參數的可靠度。僅當可靠度等於或高於預定閾值時，將轉換參數作為有效參數存儲在存儲器135中，並執行在實際圖像轉換中使用的處理。控制單元132在顯示單元133上顯示作為指標的計算出的可靠度信息。通過指標顯示處理，可以告知圖像拍攝者是否拍攝了其中可以計算出高可靠度的精確轉換參數的、具有滿足預定條件的多個特徵點及其分布的圖像。例如，當顯示在顯示單元133上的指標的可靠度值低吋，拍攝者可以確定當前圖像不適合於參數計算，並且可以改變照相機設置以通過改變照相機角度等來拍攝適合於參數計算的被攝對象。如上所述，圖像分析単元131通過對兩個圖像(L圖像和R圖像)進行塊匹配處理生成包括滿足預定條件的多個特徵點(對應點)的特徵點信息31和分布信息，並將特徵點信息31輸出到控制單元132。稍後描述包括滿足預定條件的多個特徵點的特徵點信息31和分布信息的具體示例。在本實施例的攝像裝置100中，在執行與變焦位置對應的轉換參數的計算處理的預先調節處理(照相機校準處理)中，首先，將第一透鏡111和第二透鏡121設定的變焦透鏡設定為望遠端(tele端)。S卩，將望遠端(tele端)設定為初始位置。初始位置是校準開始位置，將通過其中初始位置是校準開始位置的第一透鏡111和第二透鏡121拍攝的圖像作為圖I所示的第一圖片輸出11和第二圖片輸出21輸入到圖像分析単元131。首先，圖像分析單元131基於在作為初始位置的望遠端(tele端)拍攝的兩個圖像(L圖像和R圖像)，通過塊匹配處理生成特徵點信息。將由圖像分析単元131基於在望遠端(tele端)的圖像檢測到的特徵點信息31提供給控制単元132。
控制單元132基於特徵點信息計算轉換參數的可靠度。當作為望遠端(tele端)的初始位置處的可靠度吋，開始預先調節處理(照相機校準處理)。在預先調節處理(照相機校準處理)中，在將變焦透鏡從望遠端(tele端)向廣角端(wide端)一點一點地移動的同時，計算與變焦位置(變焦透鏡的設定位置)對應的轉換參數。控制單元132輸出圖I所示的變焦位置指示值13和23，由第一透鏡111和第二透鏡121設定的變焦透鏡從望遠端(tele端)向廣角端(wide端)一點一點地移動。圖像分析單元131對通過第一透鏡111和第二透鏡121的透鏡拍攝的圖像執行塊匹配處理，並生成特徵點信息，將特徵點信息輸入到控制單元132。控制單元132計算變焦位置處的轉換參數，並計算可靠度信息。控制單元132將由預先調節處理(照相機校準處理)計算出的與變焦位置對應的轉換參數存儲在存儲器135中。然而，當可靠度低時，重新嘗試校準。當成功計算了在變焦位置處的高可靠度的轉換參數時，將其值存儲在存儲器135中。然後，當用戶拍攝了實際圖像吋，控制單元132從存儲器135獲取與變焦位置相對應的轉換參數，並將轉換參數提供給第一圖像轉換單元113和第二圖像轉換單元123。通過這種處理，執行應用與變焦位置對應的高可靠度的參數的圖像轉換處理，從而生成校正了兩個圖像(L圖像和R圖像)之間在上下方向的偏差的圖像。將通過第一圖像轉換單元113和第二圖像轉換單元123生成的轉換後的圖像輸出到顯示單元132並且作為第一圖片輸出11和第二圖片輸出21顯示在顯示單元132上，如圖I所示。如上所述，在執行校準時，還將輸出圖像(第一圖片輸出11和第二圖片輸出21)輸入到圖像分析単元131，並通過塊匹配處理生成特徵點信息。2.校準處理序列接著，將參照圖2描述校準處理序列。如上所述，在本實施例的攝像裝置中，基於通過兩個攝像系統拍攝的兩個圖像(L圖像和R圖像)計算用於校正上下方向上的圖像偏差的圖像轉換參數。在處理吋，在將變焦透鏡從望遠端(tele端)向廣角端(wide端)一點一點地移動的同時，計算與多個變焦位置(變焦透鏡的設定位置)對應的多個轉換參數。執行基於特徵點信息計算轉換參數的可靠度並將可靠度作為指標顯示在顯示單元133上的處理。圖2是圖解說明根據顯示単元133的顯示示例的校準處理序列的圖。
左上步驟(SOl)的顯示圖像是例如在打開照相機的開關時的自動操作畫面的示例。此時，在通過透鏡捕獲的圖像(通過圖像)上顯示與自動調節有關的說明畫面。自動調節是指與變焦位置相對應的轉換參數的計算和存儲處理(更新處理)。根據例如使用環境(溫度、溼度、振動、衝擊、姿勢差別、老化變化等)精密地改變照相機的固定位置、透鏡角度等。因此，在通過攝像系統拍攝的兩個圖像(L圖像和R圖像)之間出現的上下方向的偏差量會變化。例如，它會隨季節的變化而變化。將在之前執行的校準中計算出的參數存儲在存儲器135中，但是優選的是，計算在攝像環境中的最優參數，以更新存儲器中存儲的參數，並在新的拍攝的開始時間點，使用更新的參數作為新拍攝的圖像的轉換參數。因此，在操作照相機時，如圖2的步驟(SOl)所示，向用戶提供推薦執行作為新轉換參數的計算處理的自動調節(=校準)的引導畫面。在該畫面上，當選擇了自動調節的[否]吋，處理進行到普通拍攝模式。當選擇了自動調節的[是]吋，處理進行到「(I)用戶被攝對象選擇畫面」的步驟(Sll)的畫面。圖2所示的畫面是圖I所示的顯示單元133上顯示的畫面的示例。顯示單元133還充當觸摸板型輸入單元(用戶IF)，並且用戶選擇畫面觸摸的
或[取消]。該輸入可以通過設置在照相機上的其他輸入單元來進行。圖2所示的步驟(Sll)的畫面是「⑴用戶被攝對象選擇畫面」。當前由照相機拍攝的畫面被顯示在顯示單元上。當控制單元132檢測到用戶選擇了自動調節的「
」時，控制単元132將第一透鏡111和第二透鏡121的變焦透鏡的位置移動到望遠端(tele端)。以望遠端(tele端)作為初始位置，開始校準。首先，將在望遠端(tele端)拍攝的兩個圖像(L和R圖像)輸入到圖像分析単元131。圖像分析単元131基於輸入圖像執行塊匹配處理，生成包括滿足預定條件的特徵點數 量和特徵點分布的特徵點信息31，將特徵點信息輸出到控制單元132。控制單元132基於特徵點信息31 (即，特徵點)計算可計算的轉換參數的可靠度。將計算出的可靠度信息32輸出到顯示單元133，並作為指標211而顯示。這是圖2所示的步驟(Sll)的圖像中所示的指標211。在指標211中顯示有由控制單元132計算出的可靠度211和預設閾值。當可靠度小於閾值吋，控制單元132不開始校準處理。當控制單元132確定在變焦透鏡被設定到望遠端時的初始位置處計算出的可靠度低於預定閾值時，控制単元132將請求改變所拍攝的圖像的消息輸出到顯示單元133。在圖2所示的步驟(Sll)的畫面上，當指標的可靠度被設定為高於閾值時，用戶操作
，處理進行到「(2)校準執行畫面」。當選擇[取消]吋，處理進行到普通拍攝模式。在圖2所示的步驟(Sll)的畫面上，當指標的可靠度被設定為等於或高於閾值吋，並且當用戶操作
吋，處理進行到「(2)校準執行畫面」，執行校準處理。如上所述，在將變焦透鏡從望遠端(tele端)一點一點地移動到廣角端(wide端)的同吋，控制單元132計算與變焦位置(變焦透鏡的設定位置)相對應的轉換參數。在計算轉換參數的過程中的畫面的示例是圖2所示的步驟(S21)的畫面。步驟(S21)中所示的畫面中的水平方向的指標表示校準處理執行狀態(x%已完成)。在計算與變焦位置相對應的轉換參數時,控制單元132還計算所計算出的轉換參數的可靠度。即，執行獲取作為對應數據的諸如(a)變焦位置、(b)轉換參數以及(C)可靠度的數據的處理。在將變焦透鏡從望遠端(tele端)一點一點地移動到廣角端(wide端)的同吋，計算預定變焦位置(變焦透鏡的設定位置)的轉換參數和可靠度。在顯示單元133上順序顯示應用於參數計算的圖像。即，顯示與從望遠端(tele端)到廣角端(wide端)的移動相應的圖像。當對於從望遠端(tele端)到廣角端(wide端)的測量點中的例如70%或更多的測量點來說可靠度等於或高於閾值時，確定校準成功，並完成處理。此時的畫面示例是圖2所示的步驟(S22)的畫面。在處理完成時的畫面上顯示的畫面是廣角端(wide端)的畫面。同吋，當對於從望遠端(tele端)到廣角端(wide端)的測量點中的例如70%或更多的測量點來說可靠度不等於或高於閾值吋，確定校準失敗，並且執行圖2所示的步驟(S23)所示的通知用戶「校準失敗」的處理。
在本示例中，70%的值代表確定成功的閾值，但是本示例是ー個示例，並且可以使用其他閾值或確定標準。即使在校準處理成功的情況下，計算出的轉換參數也可能包括可靠度低的參數。
在包括可靠度低的參數的情況下，優選的是，在校準處理完成之後不將可靠度低的參數應用於實際圖像拍攝處理。在這種情況下，控制單元132使用在它之前和之後的變焦位置處的可靠度高的參數來計算處理目標的轉換參數。使用通過插值處理計算出的參數來執行轉換處理。3.檢測特徵點的處理和基於特徵點信息計算可靠度的處理接著，描述檢測特徵點的處理和基於特徵點信息計算可靠度的處理。在本公開的攝像裝置中，如上所述，當執行根據變焦位置計算用於校正上下方向的偏差的轉換參數的處理吋，首先，將透鏡設定到望遠端(tele端)，然後順序移動到廣角端(wide端)，並且在多個變焦位置計算轉換參數。如上所述，將描述之後順序移動變焦位置並計算望遠端(tele端)作為初始位置的轉換參數的原因。如上所述，在計算轉換參數時，有必要檢測作為兩個圖像之間的對應塊的特徵點。通常，與在望遠端(tele端)拍攝的圖像相比，在廣角端(wide端)處拍攝的圖像中能夠檢測到大量的特徵點(對應點)。以下將參照圖3A到圖3C描述具體示例。圖3A到圖3C示出了三個圖像示例(I)在望遠端(tele端)處拍攝的圖像；(2)在從望遠端到廣角端的中間位置處拍攝的圖像；(3)在廣角端(wide端)處拍攝的圖像。在⑴在望遠端(tele端)處拍攝的圖像中，圖像中包括的對象數量小於在(3)在廣角端(wide端)處拍攝的圖像的情況下的對象數量。塊匹配處理是如下的處理設定由多個像素構成的矩形塊、例如針對從畫面上的左上端到右下端的每個塊比較兩個圖像(L圖像和R圖像)、檢測相關度高的塊的組合(composition)、並且確定塊組是同一被攝對象中的拍攝塊(即，特徵點(對應點))。作為標準圖像考慮ー個圖像(例如，L圖像)，在被設定為標準圖像的塊中，針對其他參考圖像(R圖像)設定預定參考區域(捜索範圍)，並在參考區域(捜索範圍)中檢測類似的塊。基於透鏡布置、拍攝時的要求等將參考區域(捜索範圍)設定成包括預期會重新拍攝到同一拍攝區域的範圍。當執行這種特徵點檢測時，確定塊中的像素分布(例如，亮度分布)的相關性。因此，可以容易地檢測到與包括具有特定圖案的許多圖像區域的圖像(度)相同數量的特徵點。例如，諸如圖3A所示的塊221的具有特定像素圖案的塊是容易被檢測為特徵點的塊。如從圖3A到圖3C所示的三個圖像可以理解的，與在(I)望遠端(tele端)處拍攝的圖像相比，在(3)廣角端(wide端)處拍攝的圖像中包括較大數量的具有特定像素圖案的塊。通常，這是因為在廣角端(wide端)處拍攝的圖像中包括的被攝對象的數量比在望遠端(tele端)處拍攝的圖像中的數量多，並且一般來說，可用作特徵點(對應點)的塊趨於增加由於這個原因，在本實施例的攝像裝置中，在執行轉換參數的計算的校準處理中，將初始位置設定到望遠端(tele端)，並針對望遠端(tele端)計算基於特徵點信息的可靠度。在確認望遠端處的可靠度等於或高於預設閾值時，開始校準處理，然後將變焦透鏡順序移動到廣角端(wide端)，並在多個變焦位置處計算轉換參數。接著，將描述由控制單元132執行的計算可靠度信息的處理。控制單元132輸入由圖像分析単元131基於兩個圖像(L和R圖像)產生的特徵點信息31，並基於特徵點計算可計算的轉換參數的可靠度。特徵點信息31包括滿足預定條件的特徵點的數量和分布信息。如上所述，在可靠度的計算中，使用由圖像分析単元131基於兩個圖像(L和R圖像)產生的特徵點信息。控制單元132利用從圖像分析単元131輸入的基於兩個圖像(L和R圖像)產生的特徵點信息，按照例如以下公式I計算可靠度(Vr :有效比例)。可靠度(Vr) = [ ((Init_num) - (a_num) - (b_num) - (c_num)) / (Init_num)]X 255 X k . .. (I)然而，在以上公式I中，所述參數代表以下值。Init_num :塊匹配的執行塊的數量(對標準圖像設定的執行塊匹配的塊的數量)a_num :在塊匹配的執行塊中包括的亮度變化的塊的數量(其中在塊中的最大亮度像素與最小亮度像素之間的像素值差小於預定閾值的塊的數量(亮度均勻的塊的數量))b_num :其中在標準圖像的在塊匹配中被選為對應塊的標準塊與參考圖像的參考塊之間的SAD等於或大於預定閾值的塊的數量(相關度小的對應塊的數量)c_num :在參考區域(搜索範圍)中檢測到的參考塊中的具有最小SAD值的參考塊與具有第二小的SAD值的參考塊之間的SAD值的差小於預定閾值的塊(參考區域中的相似塊)的數量k:與對應塊(特徵點)的分布對應的係數(設定為I到0，在整個畫面中廣度(expansion)很大(即，分布很廣泛)的情況的是1，廣度很小的情況是O)作為乘數的255是為了將可靠度(Vr)的值設定到O到255的範圍中的規則化處理而乘以的規則化係數。SAD是表示在標準圖像中設定的標準塊的塊與在參考圖像中設定的參考塊之間的相關度的指標值，並且是作為塊之間的對應像素的亮度差的總和的絕對差和。如果SAD較小，那麼它是相關度高的塊，即，相似塊。如果SAD較大，那麼它是相關度低的塊，即，非相似塊。圖4是圖解說明表示在與標準圖像中設定的一個標準塊對應的參考圖像中設定的多個參考塊的SAD的值的圖形示例的圖。在塊匹配中，對於在標準圖像中設定的ー個標準塊，執行如下處理設定參考圖像中的參考區域的預定範圍，並從參考區域中包括的多個參考塊中檢測相關度高的塊。相關度高的塊是SAD值小的塊。
在圖4所示的示例中，相關度高的塊是參考塊a。即，參考塊a是SAD值最小的塊。在圖4所示的示例中，在塊a附近存在具有第二最小值的塊b。在以上公式I中描述的[c_num]，即c_num :在參考區域(搜索範圍)中檢測到的參考塊中的具有最小SAD值的參考塊與具有第二小的SAD值的參考塊之間的SAD值的[差]小於預定閾值的塊(參考區域中的相似塊)的數量。上述[差]對應於圖4所示的差。S卩，差=I最小值(第一最小值)_第二最小值。控制單元132利用從圖像分析単元131輸入的基於兩個圖像(L和R圖像)產生的特徵點信息(特徵點的數量和分布)，根據例如公式I計算可靠度(Vr :有效比例)。可靠度(Vr)是指基於從圖像檢測到的特徵點可計算的轉換參數的可靠度。通常，包括具有各種變化的被攝對象區域的廣角端(wide端)的拍攝圖像的可靠度往往較高，不包括很多被攝對象區域的望遠端(tele端)的拍攝圖像的可靠度往往較低。圖5是圖解說明在任意樣本圖像處根據上述公式I計算出的可靠度(Vr)與變焦位置之間的對應關係的圖形。不能說針對所有圖像生成了這種數據。但是，一般來說，如圖5所示，廣角端(wide端)的圖像的可靠度往往較高，望遠端(tele端)的圖像的可靠度往往較低。由於這個原因，在根據本公開的實施例的攝像裝置中，首先，針對望遠端(tele端)計算可靠度。當確認可靠度等於或高於預定閾值時，開始作為計算轉換參數的處理的預先調節處理(校準處理)。然後，在將變焦位置從望遠端(tele端)移動到廣角端(wide端)的同時，執行特徵檢測和參數計算，從而在變焦位置計算出可靠度低的轉換參數的可能性降低了。作為如下處理來執行作為計算轉換參數的處理的預先調節處理(校準處理)針對從望遠端(tele端)到廣角端(wide端)的變焦範圍中設定的多個變焦位置，計算轉換參數。此外，通過轉換參數的計算，還執行可靠度的計算。當從望遠端(tele端)到廣角端(wide端)的校準處理成功吋，控制單元132將與變焦位置對應的轉換參數和可靠度存儲在存儲器135中。圖6示出了存儲器135中存儲的數據的示例。如圖6所示，控制單元132在存儲器135中存儲變焦位置、轉換參數以及可靠度的對應數據。圖6所示的值是如下數據。Zp :變焦位置(O :廣角端，8 :望遠端)Pv:轉換參數(用於校正上下方向的偏差的轉換參數(在表中，全部是正值，但是可以是負值))Vr :可靠度(通過255規則化的指標值)在圖6中，轉換參數隻表示應用於上下方向的偏差校正的參數。
可以執行應用於仿射轉換的其他參數(例如，與旋轉、擴大、縮小以及沿其他方向的移動處理有關的參數)的計算，以及在存儲器13中的存儲處理。在圖6中，只示出了與根據本公開的實施例的上下方向的圖像偏差的校正有關的參數。
圖6所示的轉換參數和可靠度是由控制單元132基於根據與從圖像分析單元131輸入的每個變焦位置相對應地對圖像生成的特徵點信息而計算出的轉換參數和可靠度。圖6所示的示例示出了在O到8的總共9個點的變焦位置處計算轉換參數和可靠度的示例，其中，廣角端(wide端)是O並且望遠端(tele端)是8。如上所述，廣角端(tele端)的可靠度往往較高，望遠端(wide端)的可靠度往往較低。在實際圖像拍攝時，將存儲器中存儲的轉換參數的值提供給圖像轉換單元113和123，並執行圖像轉換處理。控制單元132獲取圖像拍攝時的變焦透鏡的位置信息，從存儲器135獲取與獲取的變焦透鏡位置對應的轉換參數，並將轉換參數提供給圖像轉換單元113 和 123。如上所述，例如，當存在與變焦位置對應的可靠度值等於或小於預定閾值的轉換參數時，不使用該轉換參數，基於在它之前和之後的變焦位置的轉換參數來計算在它之前和之後的變焦位置的轉換參數或插值，並且可以使用計算出的參數。4.攝像裝置中的處理序列接著，將參照圖7和圖8所示的流程圖描述攝像裝置中執行的處理序列。圖7和8所示的流程是在控制單元132根據例如存儲器135中存儲的程序的控制下執行的流程。圖7所示的流程圖是作為計算轉換參數的處理而執行的預先調節處理(校準處理)的初始設定處理。如上所述，在攝像裝置中執行的預先調節處理(校準處理)中，首先，將變焦透鏡設定到望遠端(tele端)，執行基於在望遠端(tele端)處拍攝的圖像的圖像分析，即，特徵點(對應點)檢測，並基於檢測信息計算可靠度。可靠度是基於檢測到的特徵點計算出的轉換參數的可靠度。僅當基於在望遠端(tele端)處的拍攝圖像的可靠度等於或高於預定閾值時，才開始作為計算與變焦位置對應的轉換參數的處理的校準。當基於在望遠端(tele端)處的拍攝圖像的可靠度不等於或高於預定閾值吋，不開始校準。圖7所示的流程是表示確定是開始校準還是停止校準的處理序列的流程。當確定基於在作為初始位置的望遠端(tele端)處的拍攝圖像的可靠度等於或大於預定閾值並且滿足校準開始條件時，執行作為計算與變焦位置相對應的轉換參數的處理的校準。圖8是圖解說明該處理的詳細序列的流程圖。以下，順序描述這些處理。4. I.確定校準開始條件的處理首先，將參照圖7描述確定校準開始條件的處理的詳細序列。首先，在步驟SlOl中，將變焦透鏡移動到望遠端(tele端)。圖I所示的控制單元132將變焦位置指示值13和23輸出到第一透鏡111和第二透鏡121兩者，並將變焦透鏡移動到望遠端(tele端)。然後，對圖像轉換參數進行初始化。這是對用作初始值的圖像轉換參數的設定，可 以使用預定預設值，或者可以從存儲器135獲取最新更新數據等並使用它。控制單元132將轉換參數的初始值提供給第一圖像轉換單元113和第二圖像轉換單元123。然後，在步驟S103中，在移動到望遠端(tele端)的狀態下，針對第一透鏡111和第二透鏡121兩者，拍攝圖像。通過對第一圖像轉換單元113和第二圖像轉換單元123應用最初設定的轉換參數，對拍攝的圖像執行轉換處理，並將所拍攝的圖像輸入到圖像分析単元131。在圖像分析単元131中，開始基於輸入圖像的塊匹配處理。步驟S104和步驟S105是圖像分析單元131基於圖像分析單元131中的塊匹配處理來執行特徵點信息的生成的處理。
步驟S104是獲取滿足預定條件的特徵點的數量的處理。步驟S105是獲取特徵點的分布信息的處理。在步驟S104中執行的獲取特徵點的處理是預先計算公式I並且獲取滿足各種條件的特徵點的數量的處理。即，執行獲取以下的特徵點的數量(塊的數量)的處理。Init_num :塊匹配的執行塊的數量(對標準圖像設定的執行塊匹配的塊的數量)a_num :在塊匹配的執行塊中包括的亮度變化的塊的數量(其中在塊中的最大亮度像素與最小亮度像素之間的像素值差小於預定閾值的塊的數量(亮度均勻的塊的數量))b_num :其中在標準圖像的在塊匹配中被選為對應塊的標準塊與參考圖像的參考塊之間的SAD等於或大於預定閾值的塊的數量(相關度小的對應塊的數量)c_num:在參考區域(捜索範圍)中檢測到的參考塊中的具有最小SAD值的參考塊與具有第二小的SAD值的參考塊之間的SAD值的差小於預定閾值的塊(參考區域中的相似塊)的數量在步驟S104 中，獲取與(Init_num)、(a_num)、(b_num)以及(c_num)的條件相對應的特徵點數量(塊的數量)的。在步驟S105中執行的獲取特徵點的分布信息的處理中，執行獲取上述公式I的係數k(S卩，以下k的值)的處理。k :與對應塊(特徵點)的分布對應的係數(設定為I到0，在整個畫面中廣度(expansion)很大的情況的是1，廣度很小的情況是O)圖像分析単元131根據預定算法確定特徵點在畫面上的廣度，並計算特徵點分布信息k。步驟S106中的可靠度計算和顯示的處理是在控制單元132中執行的輸入由通過圖像分析単元131生成的特徵點的上述數量和特徵點分布信息構成的特徵點信息的處理。控制單元132輸入由來自圖像分析単元131的上述特徵點的數量和特徵點分布信息構成的特徵點信息，按照上述公式I計算可靠度，並在顯示単元133上顯示計算出的可靠度作為指標。S卩，按以下公式I計算可靠度。可靠度(Vr) = [ ((Init_num) - (a_num) - (b_num) - (c_num)) / (Init_num)] X255Xk . . . (I)在此計算出的可靠度是基於在第一透鏡111和第二透鏡121的變焦透鏡兩者被移動到望遠端(tele端)的狀態下拍攝的圖像而計算出的可靠度。在顯示單元133上顯示計算出的可靠度。顯示與圖2所示的步驟Sll的畫面對應的顯示圖像。如作為圖2所示的步驟Sll的處理所描述的，在顯示單元133上通過與在望遠端(tele端)處的拍攝圖像交疊來顯示表示可靠度的指標。在該指標上，顯示預定閾值和計算出的可靠度，並且用戶可以確認可靠度是否等於或高於閾值。在步驟S107中，控制單元132確定基於在望遠端(tele端)處拍攝的圖像所計算出的可靠度是否等於或高於預定閾值。當可靠度等於或高於閾值(步驟S107的確定是)吋，處理進行到自動調節開始狀態，即，在移動變焦透鏡的同時執行計算轉換參數的處理的校準處理。同時，在步驟S107中，當基於在望遠端(tele端)處拍攝的圖像而計算出的可靠度低於預定閾值時(步驟S107的確定否)，在顯示單元133的顯示畫面上顯示請求改變照相機的角度的消息(圖2所示的步驟Sll的顯示畫面)。即，當控制單元132確定在變焦透鏡被設定到望遠端時的初始位置處計算出的可靠度低於預定閾值時，控制単元132向顯示単元133輸出例如請求改變拍攝的圖像的消息。在該處理之後，再次執行基於其他被攝對象的圖像分析處理，即，步驟S103的塊匹配處理。4.2.計算與變焦位置對應的轉換參數的處理接下來，參照圖8所示的流程圖描述作為計算與變焦位置對應的轉換參數的處理的校準處理序列。圖8所示的流程是表示當在圖7所示的流程的步驟S107中確定基於在望遠端(tele端)處拍攝的圖像而計算出的可靠度等於或高於閾值(步驟S107的確定是)時執行的校準處理的詳細序列的流程。在校準處理中，變焦透鏡從望遠端(tele端)順序地移動到廣角端(wide端)，並且計算與多個預定變焦透鏡位置對應的轉換參數。首先，在步驟S201中，基於被設定到作為校準開始位置的望遠端(tele端)的特徵點信息來計算用於校正圖像之間的上下偏差的轉換參數。轉換參數不僅包括圖像的上下方向的偏差，而且包括諸如旋轉、擴大以及縮小之類的其他參數。但是，在此，將描述計算用於校正兩個圖像(L圖像和R圖像)的上下方向上的偏差的參數的處理。如上所述，當可以通過分析在望遠端(tele端)處拍攝的圖像的特徵點來計算出可靠度高的轉換參數吋，開始校準。首先，控制單元132基於從在作為初始設定位置的望遠端(tele端)處拍攝的圖像檢測到的特徵點信息，計算轉換參數。將計算出的參數例如存儲在存儲器135的臨時存儲區中。此時，未執行在存儲器135中改寫(更新)在執行先前的校準時的轉換參數的處理。在確定成功計算了從望遠端(tele端)到廣角端(wide端)的轉換參數之後，在步驟S218中執行改寫(更新)。然後，在步驟S202中，移動變焦透鏡。執行從望遠端(tele端)到廣角端(wide端)的預設距離的移動。例如，類似於參照圖6描述的存儲器輸入數據，為了執行計算從望遠端(tele端)到廣角端(wide端)的多個點的轉換參數的處理，將變焦透鏡移動到下一計算點。然後，在步驟S211中，將通過在新設定的變焦透鏡位置處的第一透鏡111和第二透鏡121獲取的兩個圖像(L圖像和R圖像)輸入到圖像分析単元131，以執行圖像分析。具體來說，執行兩個圖像(L圖像和R圖像)的塊匹配處理。首先，在步驟S201中，將通過第一透鏡111和第二透鏡121獲取的兩個圖像(L圖像和R圖像)輸入到圖像分析単元131，以執行圖像分析。具體來說，執行兩個圖像(L圖像、和R圖像)的塊匹配處理。
在此，輸入圖像分析單元131的圖像是在第一圖像轉換單元113和第二圖像轉換単元123中通過應用最新的轉換參數而轉換後的圖像。例如，在最初設定的望遠端(tele端)的下ー變焦透鏡設定位置處的圖像分析處理時，應用基於在望遠端(tele端)處的圖像計算出的轉換參數，在第一圖像轉換單元113和第二圖像轉換單元123中執行圖像轉換，並且圖像分析単元131基於轉換後的圖像執行塊匹配。在步驟S212中，圖像分析単元131基於塊匹配處理獲取滿足預定條件的特徵點的數量。該處理是與以上在圖7所示的流程中描述的步驟S104的處理相同的處理，並且作為如下處理來執行獲取在上述公式I中包括的特徵點的如下數量(塊的數量)。(Init_num)(a_num),(b_num),(c_num)然後，在步驟S213中，圖像分析単元131獲取基於塊匹配處理檢測到的特徵點的分布信息。該處理與以上在圖7所示的流程中描述的步驟S105的處理相同的處理，並且計算上述公式I的係數k，即，k的以下值。k :與對應塊(特徵點)的分布對應的係數(設定為I到0，在整個畫面中廣度(expansion)很大的情況的是1，廣度很小的情況是O)圖像分析単元131按照預定算法確定特徵點在畫面上的廣度，並計算特徵點分布信息k。步驟S214的可靠度計算和顯示的處理是在控制單元132中執行的輸入由通過圖像分析単元131生成的特徵點的上述數量和特徵點分布信息構成的特徵點信息的處理。控制單元132輸入由來自圖像分析単元131的上述特徵點的數量(塊的數量)和特徵點分布信息構成的特徵點信息，並按照上述公式I計算可靠度，並在顯示単元133上作為指標顯示計算出的可靠度。S卩，可靠度是按照以下公式I計算出的可靠度。可靠度(Vr) = [ ((Init_num) - (a_num) - (b_num) - (c_num)) / (Init_num)] X255Xk . . . (I)在此計算出的可靠度是基於在一透鏡111和第二透鏡121的變焦透鏡兩者被移動到預定變焦位置的狀態下拍攝的圖像而計算出的可靠度。在顯示單元133上顯示計算出的可靠度。顯示與圖2所示的步驟S21的畫面對應的顯示圖像。如作為圖2所示的步驟S21的處理描述的那樣，在顯示單元133上通過與在設定的變焦透鏡位置處拍攝的圖像交疊來顯示表示可靠度的指標。在該指標上，顯示預定閾值和計算出的可靠度，並且用戶可以確認可靠度是否等於或高於閾值。然後，在步驟S215中，控制單元132基於在設定的變焦位置處拍攝的圖像來計算轉換參數。然後，在步驟S216中，控制單元132確定當前變焦透鏡位置是否是廣角端(wide端)O
噹噹前變焦位置是廣角端(wide端)時，確定完成了在所有變焦透鏡位置處的轉換參數的計算，並且處理進行到步驟S217。噹噹前變焦位置不是廣角端(wide端)時，確定未完成在所有變焦透鏡位置處的轉換參數的計算，並且處理返回到步驟S202，變焦透鏡向廣角端(wide端)側移動，並重複步驟S211和隨後的步驟。在步驟S216中，當確定當前變焦位置是廣角端(wide端)並且處理進行到步驟 S217時，執行對自動調節處理是否成功的確定。基於通過計算出的轉換參數而計算出的可靠度來執行該確定處理。例如，當存在從望遠端(tele端)到廣角端(wide端)設定的η個轉換參數計算位置點時，在對於這η個點中的等於或多於預設數量的點(例如，等於或多於70%)來說能夠獲得等於或高於預定閾值的可靠度時，確定為「成功」。在計算了轉換參數的這η個點中能夠獲得等於或高於閾值的可靠度的點小於預設數量的點時，確定為「失敗」。在此情況下，步驟S217的確定是「否」，輸出表示處理失敗的消息(見圖2的(S23))，並再次執行自動調節處理，S卩，校準處理。在此情況下，處理返回到圖7所示的步驟S101，變焦透鏡返回到望遠端(tele端)，並再次執行處理。該處理對應於從圖2所示的步驟(S23)到步驟(Sll)的處理的轉變。同時,在步驟S217中，當由於對於從望遠端(tele端)到廣角端(wide端)設定的η個點中的等於或多於預設數量的點來說可以獲得等於或高於預定閾值的可靠度，確定為「成功」吋，處理進行到步驟S218。在步驟S218中，執行如下處理在存儲器135中記錄在校準處理中獲得的在從望遠端(tele端)到廣角端(wide端)的變焦透鏡設定位置處計算出的轉換參數，作為最新轉換參數。當存在先前的記錄信息時，對信息執行改寫以執行數據更新。在記錄處理中存儲在存儲器中的數據是參照圖6描述的數據。與對應於變焦位置對應的數據一起記錄轉換參數和可靠度。通過這種處理完成校準處理。結果，在對用戶拍攝的圖像進行轉換處理時使用存儲器135中存儲的與變焦位置對應的轉換參數。實現了由校正了上下方向的偏差的高質量的L和R圖像構成的3D圖像的記錄和輸出。參照具體實施例詳細描述了本公開。然而，顯然，本領域技術人員可以在不脫離本公開的構思的範圍內修改和替換實施例。即，作為示例描述了本公開，因此本公開不應被具體分析。為了確定本公開的構思，優選的是考慮權利要求。可以由硬體、軟體或兩者的組合配置執行本說明書中描述的系列處理。當由軟體執行處理時，可以將記錄處理序列的程序安裝在由專用硬體構成的計算機的存儲器中，並可以執行它，或者可以在能夠執行各種處理的通用計算機中安裝該程序並執行它。例如，可以預先將程序記錄在記錄介質中。除了從記錄介質安裝到計算機以外，還可以通過諸如LAN(區域網)和網際網路的網絡接收程序，並且可以將程序安裝在諸如嵌入硬碟的記錄介質中。本說明書中描述的各種處理是根據說明按時間序列執行的，並且可以根據執行處理的裝置的處理能力或者根據需要並行或分別執行。本說明書中的系統是多個裝置的邏輯組配置，並且不限於以相同情況配置的結構的裝置。本公開包含與在2011年2月9日向日本專利局提交的日本優先權專利申請JP2011-026242中公開的主題相關的主題，該專利申請的整個內容在此引為參考。
本領域的技術人員應明白，根據設計要求和其他因素，可以作出各種修改、組合、子組合和變更，只要它們在所附權利要求或其等同物的範圍之內即可。
權利要求
1.一種攝像裝置，包括 多個攝像單元，從不同視點拍攝圖像； 圖像分析單元，通過對由所述多個攝像單元拍攝的圖像進行圖像分析來檢測特徵點； 控制單元，通過輸入由所述圖像分析單元生成的特徵點信息，計算用於校正由所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數；以及 圖像轉換單元，通過應用由所述控制單元計算出的圖像轉換參數，對所述多個攝像單元所拍攝的圖像執行轉換處理， 其中所述控制單元執行如下處理輸入由所述圖像分析單元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示單元上作為指標顯示所述可靠度，其中，所述攝像單元的變焦透鏡被設定到望遠端的位置是初始位置。
2.根據權利要求I所述的攝像裝置，其中當確認在所述變焦透鏡被設定到望遠端的初始位置處計算出的可靠度等於或大於預定閾值時，所述控制單元將所述變焦透鏡從望遠側順序地移動到廣角側，並執行在多個變焦位置處利用從所述圖像分析單元輸入的特徵點信息計算圖像轉換參數和可靠度的校準處理。
3.根據權利要求I所述的攝像裝置，其中當確定在所述變焦透鏡被設定到望遠端的初始位置處計算出的可靠度小於預定閾值時，所述控制單元輸出請求改變所拍攝的圖像的消息。
4.根據權利要求I所述的攝像裝置，其中所述多個攝像單元拍攝應用於三維圖像顯示的左眼圖像和右眼圖像，並且 其中所述控制單元計算校正應用於三維圖像顯示的左眼圖像和右眼圖像在上下方向上的偏差的校正用的圖像轉換參數。
5.根據權利要求I所述的攝像裝置，其中所述圖像分析單元對所述多個攝像單元所拍攝的圖像執行塊匹配處理，以基於塊匹配處理檢測特徵點。
6.根據權利要求I所述的攝像裝置，其中，所述圖像分析單元在基於對所述多個攝像單元拍攝的圖像的圖像分析的特徵點檢測處理中，生成包括滿足預定條件的特徵點的數量和特徵點的分布的特徵點信息，並將所述特徵點信息輸出到所述控制單元，並且 其中所述控制單元通過應用包括滿足預定條件的特徵點的數量和特徵點的分布的特徵點信息來計算可靠度。
7.根據權利要求I所述的攝像裝置，其中所述圖像轉換單元是執行仿射轉換的圖像轉換單元，並且 其中所述控制單元計算應用於仿射轉換的圖像轉換參數。
8.根據權利要求I所述的攝像裝置，其中所述控制單元將變焦透鏡從望遠側順序地移動到廣角側，並在多個變焦位置處利用從所述圖像分析單元輸入的特徵點信息來計算圖像轉換參數和可靠度，並且 其中在存儲器中存儲其中變焦透鏡的位置、圖像轉換參數以及可靠度被關聯在一起的數據。
9.根據權利要求I所述的攝像裝置，其中所述控制單元將變焦透鏡從望遠側順序地移動到廣角側，並在多個變焦位置處利用從所述圖像分析單元輸入的特徵點信息來計算圖像轉換參數和可靠度，其中基於在所述多個變焦位置處計算出的多個可靠度的值，確定是否滿足預定處理成功條件， 其中當確定為成功時，將計算出的圖像轉換參數作為有效參數存儲在存儲器中，並且 其中當確定為失敗時，輸出表示處理失敗的消息。
10.根據權利要求9所述的攝像裝置，其中， 當對於從望遠端到廣角端的測量點中的70%或更多的測量點來說可靠度等於或高於預定閾值時，確定滿足預定處理成功條件。
11.根據權利要求6所述的攝像裝置，其中， 所述圖像分析單元確定特徵點在圖像上的廣度，並基於所述廣度計算與特徵點的分布有關的彳目息。
12.一種對攝像裝置執行的攝像裝置控制方法，該方法包括 由圖像分析單元通過對從不同視點拍攝圖像的多個攝像單元所拍攝的圖像進行的圖像分析，檢測特徵點；以及 由控制單元輸入在對圖像的分析過程中生成的特徵點信息，以計算用於校正由所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數， 其中所述控制單元執行如下處理輸入由所述圖像分析單元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示單元上作為指標顯示所述可靠度，其中，在計算參數的過程中所述攝像單元的變焦透鏡被設定到望遠端的位置是初始位置。
13.一種使攝像裝置執行攝像裝置處理的程序，該處理包括 由圖像分析單元通過對從不同視點拍攝圖像的多個攝像單元所拍攝的圖像進行的圖像分析，檢測特徵點；以及 由控制單元輸入在對圖像的分析過程中生成的特徵點信息，計算用於校正由所述多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數， 其中所述控制單元執行如下處理輸入由所述圖像分析單元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示單元上作為指標顯示所述可靠度，其中，在計算參數的過程中所述攝像單元的變焦透鏡被設定到望遠端的位置是初始位置。
全文摘要
本發明涉及攝像裝置、攝像裝置控制方法。該攝像裝置包括多個攝像單元，從不同視點拍攝圖像；圖像分析單元，通過對由多個攝像單元拍攝的圖像進行圖像分析來檢測特徵點；控制單元，利用輸入的由圖像分析單元生成的特徵點信息，計算用於校正由多個攝像單元拍攝的多個圖像在上下方向上的偏差的校正用的圖像轉換參數；以及圖像轉換單元，通過應用由控制單元計算出的圖像轉換參數，對多個攝像單元所拍攝的圖像執行轉換處理，其中控制單元執行如下處理輸入由圖像分析單元基於在初始位置處拍攝的圖像而生成的特徵點信息，計算圖像轉換參數的可靠度，並在顯示單元上作為指標顯示可靠度，其中，攝像單元的變焦透鏡被設定到望遠端的位置是初始位置。
文檔編號G03B35/00GK102638693SQ201210022640
公開日2012年8月15日 申請日期2012年2月2日 優先權日2011年2月9日
發明者瀧口雅史 申請人:索尼公司