多視點拍攝控制裝置、控制方法以及控制程序的製作方法

2023-11-03 07:07:32 2

專利名稱：多視點拍攝控制裝置、控制方法以及控制程序的製作方法
技術領域：
本發明涉及一種多視點拍攝控制裝置、多視點拍攝控制方法以及多視點拍攝控制程序，其用於通過使用單透鏡以多個視點對特定的被拍攝體進行拍攝，從而取得表現該特定的被拍攝體的三維形狀的要素數據。
背景技術：
當前，已知一種通過使用雲臺和導軌而生成3D圖像的立體圖像拍攝輔助裝置(參照日本特開2004-236156號公報)。在該立體圖像拍攝輔助裝置中，通過使雲臺從導軌的中心左右對稱地移動，從而可以進行穩定的拍攝。為了得到上述3D圖像或用於立體視覺顯示的圖像，基本上要求以多視點對圖像進行拍攝，在日本特開2004-236156號公報所記載的技術中，需要用於拍攝的特殊裝置。另一方面，作為拍攝者手持拍攝裝置進行移動的同時進行拍攝的技術，提出了一種進行全景拍攝時的拍攝方法(參照日本特開平11-164325號公報)。在該日本特開平11-164325號公報中記載了下述內容，S卩，其將在進行全景拍攝時如果不使拍攝設備以一定的角速度旋轉則無法正確地進行拍攝這一點作為課題，基於圖像中心線上的像素的光流(optical flow)的大小，對擺動速度進行計算，進行全景合成。另外，在該日本特開平11-164325號公報中，記載了下述內容，S卩在靜止畫面的全景圖像生成時，相鄰的2個圖像不是嚴密地一致，需要用戶自身通過手動操作發現並指定特徵點的處理。

發明內容
但是，在上述日本特開平11-164325號公報的技術中，由於針對中央部(被拍攝體部)測量中心線處的光流大小，所以在以被拍攝體為中心進行拍攝的情況下，存在無法進行拍攝的問題。如上述所示，在以多視點進行拍攝的情況下，難以確定拍攝地點，另外，即使確定了拍攝地點，也難以在準確的視點處進行拍攝作業。本發明考慮上述事實，其目的在於得到一種多視點拍攝控制裝置、多視點拍攝控制方法以及多視點拍攝控制程序，其在需要以多視點拍攝的圖像的情況下，可以容易地進行該多視點的各個拍攝地點的確定，且可以簡單地執行拍攝作業本身。本發明的第1形態所涉及的發明具有拍攝部，其對圖像進行拍攝；動畫圖像顯示部，其在顯示畫面上顯示用於確定拍攝視角的動畫；測距部，其對由所述動畫圖像顯示部顯示的動畫中包含的特定的被拍攝體進行模擬拍攝，至少對至所述特定的被拍攝體為止的距離進行測定；取得部，其取得從多個拍攝視點進行拍攝時的拍攝視點間的收斂角；視點數量設定部，其設定至少包含最初進行拍攝的拍攝開始點及最後進行拍攝的拍攝結束點在內的視點數量；位置信息運算部，其基於所述收斂角數據、及由所述測距部測定的從測距點至所述特定的被拍攝體為止的距離數據，且以使所述模擬拍攝位置的視點成為中心的方式，對包含從所述最初進行拍攝的拍攝開始點至最後進行拍攝的拍攝結束點為止的移動量在內的位置信息進行運算；以及通知部，其基於由所述位置信息運算部運算出的位置信息，執行要求從所述測距點至拍攝開始點為止進行移動的通知，以及要求從所述拍攝開始點至所述拍攝結束點為止進行移動的通知。本發明的第2形態所涉及的發明，在第1形態所涉及的發明的基礎上，還具有判定部，其與所述移動相對應，將拍攝開始點作為基準圖像，基於該基準圖像和移動後的拍攝圖像之間的比較，判定是否為應進行拍攝的視點；自動拍攝執行控制部，其在所述判定部判定為拍攝點的情況下，在該拍攝點自動地對所述被拍攝體進行拍攝；以及存儲部，其將由自動拍攝執行控制部拍攝到的圖像數據作為所述要素數據而存儲。本發明的第3形態所涉及的發明，在第2形態所涉及的發明的基礎上將由所述自動拍攝執行控制部自動拍攝到的拍攝開始點之後的拍攝點的視點圖像作為新的基準圖像而進行更新。本發明的第4形態所涉及的發明，在第2或第3形態所涉及的發明的基礎上，技術方案4所記載的發明在上述技術方案2或技術方案3所記載的發明中，所述判定部基於所述基準圖像、和在對移動後的拍攝圖像上的所述特定的被拍攝體的位置偏移進行校正的情況下預先設定的背景圖像的偏移量，判定針對所述移動後的拍攝圖像的拍攝視點是否為應進行拍攝的視點。本發明的第5形態所涉及的發明，在第1 第4形態中的任一種形態所涉及的發明的基礎上，在所述顯示畫面上，以規定的透明度顯示在所述拍攝結束點之前的拍攝點處拍攝到的圖像。本發明的第6形態所涉及的發明，在第1 第5形態中的任一種形態所涉及的發明的基礎上，從所述拍攝開始點至所述拍攝結束點的移動軌跡是以所述被拍攝體為中心的圓弧軌跡，所述測距點位於移動範圍的中央。本發明的第7形態所涉及的發明，在第1 第6形態中的任一種形態所涉及的發明的基礎上，至少包含所述拍攝開始點以及所述拍攝結束點這2個點，並且是自動或者手動設定的。本發明的第8形態所涉及的發明，在第1 第7形態中的任一種形態所涉及的發明的基礎上，還具有測量部，其對從所述拍攝開始點至所述拍攝結束點為止的移動速度進行測量；以及中止部，其在由所述測量部測量出的移動速度大於或等於規定值的情況下，判定為不能繼續進行自動拍攝，將由所述自動拍攝執行控制部進行的拍攝中止。本發明的第9形態所涉及的發明的特徵在於，在顯示畫面上顯示用於確定拍攝視角的動畫，對所顯示的動畫中包含的特定的被拍攝體進行模擬拍攝，至少對至所述特定的被拍攝體為止的距離進行測定，取得從多個拍攝視點拍攝時的拍攝視點與拍攝視點間的收斂角，設定至少包含最初進行拍攝的拍攝開始點、以及最後進行拍攝的拍攝結束點在內的視點數量，基於所述收斂角數據、以及由所述測距部測定的從測距點至所述特定的被拍攝體的距離數據，且以使所述模擬拍攝位置的視點成為中心的方式，對包含從所述最初進行拍攝的拍攝開始點至最後進行拍攝的拍攝結束點為止的移動量在內的位置信息進行運算， 基於運算出的位置信息，執行要求從所述測距點至拍攝開始點為止進行移動的通知，以及要求從所述拍攝開始點至所述拍攝結束點為止進行移動的通知。
5
本發明的第10形態所涉及的發明使計算機執行下述內容，即在顯示畫面上顯示用於確定拍攝視角的動畫，對所顯示的動畫中包含的特定的被拍攝體進行模擬拍攝，至少對至所述特定的被拍攝體為止的距離進行測定，取得從多個拍攝視點拍攝時的拍攝視點與拍攝視點間的收斂角，設定至少包含最初進行拍攝的拍攝開始點、以及最後進行拍攝的拍攝結束點在內的視點數量，基於所述收斂角數據、以及由所述測距部測定的從測距點至所述特定的被拍攝體的距離數據，且以使所述模擬拍攝位置的視點成為中心的方式，對包含從所述最初進行拍攝的拍攝開始點至最後進行拍攝的拍攝結束點為止的移動量在內的位置信息進行運算，基於運算出的位置信息，執行要求從所述測距點至拍攝開始點為止進行移動的通知，以及要求從所述拍攝開始點至所述拍攝結束點為止進行移動的通知。根據本發明，在由動畫圖像顯示部向顯示畫面上顯示動畫的狀態下，S卩，在拍攝模式中，將特定的被拍攝體收容在視角內，利用模擬拍攝對至該特定的被拍攝體為止的距離進行測定。在這裡，基於表現三維形狀所必需的收斂角數據和上述測定的距離數據，運算最初進行拍攝的拍攝開始點以及最後進行拍攝的拍攝結束點的位置數據。在此情況下，使上述模擬拍攝位置的視點成為中心。然後，首先進行要求從測距點至拍攝開始點為止進行移動的通知，然後進行要求從拍攝開始點至拍攝結束點為止進行移動的通知。該通知例如可以是在顯示畫面上進行信息顯示，也可以是通過聲音等進行通知。或者也可以另外設置顯示部。作為是否為拍攝位置的判定，例如基於基準圖像和在對移動後的拍攝圖像上的特定的被拍攝體的位置偏移進行校正的情況下預先設定的背景圖像的偏移量，判定針對移動後的拍攝圖像的拍攝視點是否為應進行拍攝的視點。如上述所示，在本發明中，由於僅要求用戶移動，然後如果該移動到達拍攝點，則自動執行拍攝，所以可以容易地取得用於表現三維形狀的要素數據(圖像數據)。另外，在該拍攝中不需要特殊工具等，對被拍攝體的位置沒有限制。另外，在本發明中，用戶根據上述通知內容，從測距點向拍攝開始點移動，然後向拍攝結束點移動，與該移動對應地，將拍攝開始點作為基準圖像，基於該基準圖像和移動後的拍攝圖像之間的比較，判定是否為應進行拍攝的視點，在應進行拍攝的視點處，自動地對上述被拍攝體進行拍攝。拍攝出的圖像數據作為用於表現三維形狀的要素數據而存儲。如果從上述拍攝開始點至上述拍攝結束點的移動軌跡是以上述被拍攝體為中心的圓弧軌跡，則可以使至被拍攝體為止的焦點距離以及視角上的位置始終相同。另外，通過使模擬拍攝位置位於移動範圍的中央，從而可以取得相對於被拍攝體左右對稱地表現三維形狀的動態影像。另一方面，存在拍攝裝置不與特定的被拍攝體正對的情況，例如，特定的被拍攝體位於與模擬拍攝時的視角位置不同的位置的情況。在這種情況下，只要基於基準圖像、和移動後的拍攝圖像之間的預先設定的背景圖像的移動量進行校正即可。通過以所謂半透明的方式在顯示畫面上顯示拍攝結束後的圖像，從而易於根據動畫設定下一個拍攝點處的拍攝視角。作為拍攝點，只要至少包含上述拍攝開始點以及上述拍攝結束點這2個點即可。 另外，也可以與至被拍攝體為止的距離相對應而自動設定拍攝點的數量。此外，也可以由用戶手動設定拍攝點的數量。對從拍攝開始點至上述拍攝結束點為止的移動速度進行測量，在該移動速度大於或等於規定值的情況下，判定為不能繼續進行自動拍攝，將利用上述自動拍攝執行控制部進行的拍攝中止。即，其原因是，如果移動過快，則會產生拍攝點偏移、使收斂角不正確。此外，在中止自動拍攝後，可以指示從最初開始重新進行處理，也可以指示從結束了正常拍攝的拍攝點的下一個拍攝點開始重新進行拍攝。發明的效果根據如以上說明所示的本發明，可以得到下述效果，S卩，在需要以多視點拍攝的圖像的情況下，可以容易地確定該多視點的各個拍攝地點，並且可以簡單地執行拍攝作業本身。


圖1是第1實施方式的複眼數位照相機的正面側斜視圖。圖2是第1實施方式的複眼數位照相機的背面側斜視圖。圖3是表示第1實施方式的複眼數位照相機的內部結構的概略框圖。圖4A是涉及第1實施方式的概念圖，表示在對拍攝視點、用於使用戶移動的移動軌跡、移動量進行設定的情況下，數位照相機朝向特定的被拍攝體的理想的狀態。圖4B是涉及第1實施方式的概念圖，表示在對拍攝視點、用於使用戶移動的移動軌跡、移動量進行設定的情況下，數位照相機沒有朝向特定的被拍攝體的狀態。圖5是涉及第1實施方式的設置有信息顯示區域的液晶顯示器的正視圖。圖6是涉及第1實施方式的表示三維形狀拍攝模式執行控制步驟的流程圖。圖7A是涉及第2實施方式的設置有表示在標識為拍攝開始點S時的移動速度指示部的液晶顯示器的正視圖。圖7B是涉及第2實施方式的設置有表示在標識為特定的被拍攝體的正面時的移動速度指示部的液晶顯示器的正視圖。圖8是涉及第2實施方式的表示三維形狀拍攝模式執行控制步驟的流程圖。標號的說明1數位照相機2快門按鈕7液晶顯示器7A信息顯示區域2IA拍攝部22拍攝控制部沘顯示控制部30三維處理部31距離測定部32收斂角調整部33移動量計算部34半透明處理部
35整合性判定部50特定的被拍攝體50H半透明圖像52假想線54 直線56特徵點58箭頭圖像60箭頭圖像62移動速度指示部62A顯示區域62B標識部
具體實施例方式(第1實施方式)如圖1及圖2所示，在數位照相機1的上部具有快門按鈕2、電源按鈕3、以及變焦杆4。另外，在複眼數位照相機1的正面配置有閃光燈5以及2個拍攝部21A、21B的透鏡。另外，在複眼數位照相機1的背面配置有進行各種顯示的液晶顯示器7以及各種操作按鈕8。圖3是表示數位照相機1的內部結構的概略框圖。如圖3所示，數位照相機1具有2個拍攝部21A、拍攝控制部22、圖像處理部23、壓縮/展開處理部M、幀存儲器25、媒體控制部26、內部存儲器27、顯示控制部觀、輸入部36、以及CPU 37。拍攝控制部22由未圖示的AF處理部以及AE處理部構成。AF處理部基於通過對快門按鈕2的半按操作而由拍攝部21A取得的預攝圖像，確定合焦區域，並且確定透鏡的焦點位置，並向拍攝部21A輸出。AF處理部將被拍攝體區域作為合焦區域，不僅確定透鏡的焦點位置，而且為了後述的處理，將與該被拍攝體區域不同的背景區域作為合焦區域，確定透鏡的焦點位置。此外，被拍攝體區域以及背景區域是通過當前已知的圖像識別處理而確定的。AE處理部基於預攝圖像，確定光圈值和快門速度，並向拍攝部21A輸出。另外，拍攝控制部22通過快門按鈕2的半按操作而對至被拍攝體為止的距離進行測定(測距)，通過全按操作而指示正式拍攝。此外，在對快門按鈕2進行操作前，拍攝控制部22對拍攝部21A進行指示，使其依次取得用於確定拍攝模式中的拍攝視角的動畫(像素數量比正式圖像少，且具有規定時間間隔(例如1/30秒間隔)的拍攝圖像)。此外，下面有時將上述動畫稱為「動態影像」。圖像處理部23對由拍攝部21A取得的圖像的數字圖像數據，實施調整白平衡的處理、灰度校正、銳度校正、以及顏色校正等圖像處理。壓縮/展開處理部M對表示由圖像處理部23實施處理後的圖像的圖像數據，以例如JPEG等壓縮形式進行壓縮處理，從而生成圖像文件。該圖像文件包含圖像數據，基於 Exif格式等存儲拍攝日期等附加信息、以及表示後述的三維形狀拍攝模式中的視點位置的視點信息。幀存儲器25是在對表示由拍攝部21A取得的圖像的圖像數據執行包含上述圖像處理部23進行的處理在內的各種處理時使用的作業用存儲器。媒體控制部沈對訪問記錄媒體四而對圖像文件等的寫入及讀入進行控制。內部存儲器27存儲在數位照相機1中設定的各種常數以及由CPU 37執行的程序寸。在拍攝時，顯示控制部觀將存儲在幀存儲器25中的圖像顯示在液晶顯示器7上， 或將記錄在記錄媒體四中的圖像顯示在液晶顯示器7上。另外，顯示控制部觀使液晶顯示器7顯示動態影像。另外，數位照相機1具有三維處理部30、距離測定部31、收斂角調整部32、移動量計算部33、半透明處理部34、以及整合性判定部35。三維處理部30對以多個視點拍攝到的多個圖像進行三維處理，生成立體視覺用圖像。距離測定部31基於通過拍攝控制部22的AF處理部而得到的被拍攝體區域的透鏡焦點位置，對至被拍攝體為止的距離進行測定，並且基於背景區域的透鏡焦點位置，對至背景為止的距離進行測定。收斂角調整部32對在三維形狀拍攝模式中拍攝的多個圖像之間的角度進行計算。此外，在利用三維處理部31生成立體視覺用圖像的情況下，基於該計算出的收斂角進行收斂角調整處理，以位置對應的方式將多個圖像重合。移動量計算部33基於由距離測定部31測定的至被拍攝體為止的距離，計算在三維形狀拍攝模式下進行拍攝時的多個視點之間的最佳移動距離(移動範圍)。半透明處理部34對拍攝到的圖像(在這裡為以多個視點進行拍攝時的最初的拍攝點(拍攝開始點)處拍攝到的圖像)進行半透明處理。整合性判定部35對在各視點處拍攝到的圖像和動態影像進行微分處理(例如，拉普拉斯處理)，對微分處理後的圖像的被拍攝體區域和動態影像的被拍攝體區域的相關係數進行計算，並且對圖像的特徵點和動態影像的特徵點的相關係數進行計算。另外，整合性判定部35在計算出的被拍攝體區域的相關係數大於或等於第1閾值的情況下，向拍攝控制部22指示圖像拍攝。由此，拍攝控制部22自動利用拍攝部21A執行拍攝。在這裡，在第1實施方式中，具有下述模式(三維形狀拍攝模式)，在該模式中，使用作為單透鏡的數位照相機1，以特定的被拍攝體50為對象，取得可以成為三維形狀的要素的、以多個視點拍攝到的圖像數據。對於視點的位置，可以在使數位照相機1與特定的被拍攝體50的正面相對的狀態下，基於至被拍攝體為止的距離而確定(利用距離測定部31進行的測距)。此外，對於該測距，可以提取實際拍攝時的測距數據(模擬拍攝)，也可以使用通過半按快門按鈕2而得到的測距數據。在CPU 37中，對收斂角調整部32、移動量計算部33進行控制，基於測定出的測距數據，得到特定的被拍攝體50的拍攝範圍。拍攝範圍是將特定的被拍攝體50的正面(當前的數位照相機1的位置)作為中央而以扇形展開的拍攝範圍(圖4A、B所示的角度θ )。 由此，形成以特定的被拍攝體50為中心的圓弧軌跡。在三維形狀拍攝模式中，需要在將以特定的被拍攝體50為中心的圓弧軌跡(圖4A、B的假想線52)的兩端連結而成的直線(弦) 上，至少以隔著特定的被拍攝體50的正面圖像的方式確定左右各1個視點(最少2個點)。此外，假定圓弧軌跡的假想線52是與直線M近似的，原本優選在圓弧軌跡的假想線52上設定視點，但由用戶移動的角度出發，設定為直線M。在第1實施方式中，將上述直線M的兩端確定為視點，將其一端作為拍攝開始點 S，將另一端作為拍攝結束點E。此外，也可以在直線M上增加拍攝點(視點)。在這裡，上述角度θ不一定與收斂角一致，在視點為拍攝開始點S和拍攝結束點E這2個點的情況下， 角度θ成為收斂角。另外，在第1實施方式中，如圖5所示，如果確定上述視點，則首先，在液晶顯示器 7的信息顯示區域7Α中顯示要求在特定的被拍攝體50的正面進行測距的信息。另外，在液晶顯示器7的信息顯示區域7Α中，顯示要求用戶以該特定的被拍攝體 50的正面為基準(即，利用模擬拍攝等進行測距的位置)向拍攝開始點S移動的信息。另外，在液晶顯示器7中，通過顯示對移動方向進行引導的箭頭圖像58(在這裡為向左)，從而對用戶的移動方向進行引導。對於用戶是否按照該信息顯示區域7Α中顯示的信息及箭頭圖像58的引導而到達拍攝開始點S，可以如上述所示通過對動態影像的特徵點56的位置變化解析而自動判別。 其結果，如果到達拍攝開始點S，則自動開始拍攝。另外，在拍攝開始點S處的拍攝結束後，在液晶顯示器7的信息顯示區域7Α中顯示要求用戶向拍攝結束點E移動的信息，並且顯示對移動方向進行引導的箭頭圖像60 (在這裡為向右)。其結果，用戶一邊手持數位照相機1 一邊沿圖4Α、Β的直線M移動。此外，圖4Α示出數位照相機1以與特定的被拍攝體50面對(正對)的理想的朝向進行拍攝的狀態，另一方面，圖4Β示出數位照相機1沒有朝向特定的被拍攝體50(光軸偏移)的狀態。在這裡，在第1實施方式中，將在上述拍攝開始點S拍攝到的圖像以半透明圖像 50Η顯示在液晶顯示器7上。該半透明圖像50Η可以成為用戶沿直線M移動的參考。在存在設定於直線M上的視點的情況下，在該時刻自動執行拍攝，在到達拍攝結束點E後，執行最後的自動拍攝。拍攝到的多個視點(至少為拍攝開始點S和拍攝結束點Ε)的圖像數據，作為用於生成特定的被拍攝體50的三維形狀的要素而相關聯，並存儲在幀存儲器25等中。此外，也可以存儲在記錄媒體四中。下面，說明第1實施方式的作用。圖6是表示第1實施方式中的三維形狀拍攝模式執行控制步驟的流程圖。在步驟100中，確定拍攝點數量(視點的數量)。該視點的數量可以是預先確定的數量，也可以由用戶任意設定。此外，作為視點，必須有拍攝開始點S和拍攝結束點Ε。在下一個步驟102中，確定所設定的視點間的收斂角，然後跳轉至步驟104，在液晶顯示器7的信息顯示區域7Α(參照圖5)中，顯示信息(「請站在被拍攝體的正面，測定距離」)。此外，該信息也可以是「請進行模擬拍攝」或「請半按快門，測定距離」。在下一個步驟106中，對拍攝(模擬拍攝)或者測距是否完畢(是否取得了測距數據)進行判斷，如果是肯定判定，則跳轉至步驟108，基於確定的收斂角和測距數據，對數位照相機移動量(從拍攝開始點S至拍攝結束點E為止)進行運算，跳轉至步驟110。在步驟110中，在液晶顯示器7上進行移動方向的引導顯示(箭頭圖像58)，然後跳轉至步驟112，在液晶顯示器7的信息顯示區域7A中，顯示信息(「請向拍攝開始點移動」)，並跳轉至步驟114。在步驟114中，對根據動態影像是否確認到移動進行判斷，在為否定判定的情況下，判斷為沒有移動。另外，在步驟114中為肯定判定的情況下，判斷為已移動，並跳轉至步驟116。在步驟116中，對在該移動中是否到達了拍攝開始點S進行判斷，在為否定判定的情況下，返回至步驟114，重複步驟114、116的判斷。另外，如果在步驟118中為肯定判定，則判斷為用戶(即，數位照相機1)已經到達拍攝開始點S，跳轉至步驟118而執行自動拍攝處理。在該自動拍攝處理中，自動處理曝光、 焦點距離、快門速度、拍攝、數據存儲等。在下一個步驟120中，基於在上述拍攝開始點S處拍攝到的圖像數據，在液晶顯示器7上顯示半透明圖像50H，並跳轉至步驟122。該半透明圖像50H的顯示可以作為用戶移動時的參考。此外，半透明圖像50H在作為目視的參考的同時，也可以成為用於對特定的被拍攝體50在視角上的位置偏移進行校正的基準圖像。該基準圖像可以固定地使用模擬拍攝或在拍攝開始點S拍攝到的圖像，也可以在各視點處每次進行拍攝時更新。在步驟122中，在液晶顯示器7上進行移動方向的引導顯示(箭頭圖像60)，然後跳轉至步驟124，在液晶顯示器7的信息顯示區域7A中，顯示信息(「請向拍攝結束點移動」)，跳轉至步驟126。在步驟126中，對根據動態影像是否確認到移動進行判斷，在為否定判定的情況下，判斷為沒有移動。另外，在步驟126中為肯定判定的情況下，判斷為已經移動，並跳轉至步驟128。在步驟128中，對在該移動中是否到達下一個拍攝點進行判斷，在為否定判定的情況下，返回至步驟126，重複步驟126、128的判斷。另外，如果在步驟128中為肯定判定，則判斷為用戶(即數位照相機1)已經到達下一個拍攝點，並跳轉至步驟130，執行自動拍攝處理。在該自動拍攝處理中，對曝光、焦點距離、快門速度、拍攝、數據存儲、特定的被拍攝體50的位置校正等全部進行自動處理。此外，在這裡，將基於圖4A的數位照相機1的朝向為理想狀態這一理想情況作為前提，對於特定的被拍攝體50的位置校正，基於圖4B在後面記述。在下一個步驟132中，對該拍攝點是否為拍攝結束點E進行判斷，在為否定判定的情況下，應繼續拍攝，返回步驟126。另外，在步驟132中為肯定判定的情況下，判斷為拍攝結束點E處的拍攝結束，至少圖4A、B所示的直線M (移動範圍)的兩端即拍攝開始點S和拍攝結束點E處的拍攝已經完畢，從而結束該步驟。如上述說明所示，在第1實施方式中，在對特定的被拍攝體50的用於生成三維形狀的要素、即來自多個視點的圖像數據進行拍攝的情況下，通過對用戶適當地進行引導，在液晶顯示器7的信息顯示區域7A等中，顯示要求在特定的被拍攝體50的正面進行測距、從測距位置至拍攝開始點S為止進行移動、以及從拍攝開始點S至拍攝結束點E為止進行移動的信息。另外，通過對動態影像進行解析，從而基於特徵點56的變化，自動識別數位照相機1的位置，並且進行自動拍攝，因此，即使用戶對繁雜的流程沒有經驗，也可以適當地拍攝多個視點的圖像。另外，不需要為了三維拍攝而對移動進行引導的儀器等。
11
此外，在第1實施方式中，以圖4A的狀態、即數位照相機1 (的光軸)朝向特定的被拍攝體50(正對)這一點作為前提，但在實際狀況中，數位照相機1的朝向與用戶相關， 因此，存在如圖4B所示數位照相機1的朝向沒有朝著特定的被拍攝體50的情況(參照圖 4B的角度α )。在此情況下，在模擬拍攝或者在拍攝開始點S處進行拍攝時，存在於視角中央的特定的被拍攝體50從圖像的中央偏移。該偏移與圖4Β的角度α相關。因此，基於該特定的被拍攝體50和預先設定的特徵點56之間的相對位置關係，對該特定的被拍攝體50的變化量(偏移量)進行運算，並以使特定的被拍攝體50成為視角的中央的方式進行校正。更具體地說，例如在圖4Β的拍攝開始點S處，在數位照相機1的光軸朝向紙面正上方，與特定的被拍攝體50之間的角度為α的情況下，特定的被拍攝體50向視角中央的右側偏移。該向右側偏移的情況，僅根據特定的被拍攝體50是難以判別的。因此，在特定的被拍攝體50的背面設定特徵點56，基於特定的被拍攝體50和特徵點56之間的相對位置關係，對偏移量進行運算，並對圖像進行校正，以使特定的被拍攝體50的位置到達視角中央。由此，即使與用戶相關的數位照相機1的朝向沒有成為理想(參照圖4Α)的朝向， 也可以得到用於生成三維形狀的、多個視點處的圖像數據。此外，在特定的被拍攝體50從視角中央大幅度偏移的情況下，也可以將在其前後拍攝到的圖像數據進行合成。(第2實施方式)下面，說明本發明的第2實施方式。此外，在第2實施方式中，對於與上述第1實施方式相同的結構部分，標註相同的標號(包括在附圖中沿用)，省略該結構的說明。第2實施方式的特徵在於，對用戶沿圖4Α、Β的直線M移動的移動速度進行監視。 即，在拍攝開始點S處自動拍攝之後，如果基本上以比預先確定的移動速度更快的速度移動，則有時由於此時的曝光及快門速度等導致無法進行適當的拍攝。因此，在第2實施方式中，在確定了進行拍攝的視點的時刻對移動速度進行運算，並且在液晶顯示器7上設置移動速度指示部62。移動速度指示部62由橫長狀的顯示區域62Α和在該顯示區域62Α中移動的標識部62Β構成。在這裡，如果在確定了進行拍攝的視點的時刻對移動速度進行運算，則在拍攝開始點S即顯示區域62Α的圖7Α中的左端，顯示標識部62Β。如果在拍攝開始點S處執行自動拍攝，則標識部62Β基於運算出的移動速度，從上述左端至右端的拍攝結束點E為止進行移動。即，標識部62Β的移動成為用於使用戶移動的參考，例如圖7Β所示，在標識部62Β到達顯示區域62Α的中央的情況下，當前位於特定的被拍攝體50的正面這一狀態是適當的。如果用戶被要求移動，則通過一邊觀察該標識部62Β 一邊移動，從而可以在維持適當的移動速度的同時進行移動。下面，根據圖8的流程圖，說明第2實施方式的作用。此外，圖8的流程圖是在上述第1實施方式的圖6的流程圖中添加與移動速度相關的處理而得到的，對於進行與該圖 6相同的處理的步驟，在相同標號的末尾標註「Α」而進行說明。在步驟100Α中，確定拍攝點數量(視點的數量)。該視點的數量可以是預先確定的數量，也可以由用戶任意設定。此外，作為視點，必須有拍攝開始點S和拍攝結束點E。在下一個步驟102A中，確定所設定的視點間的收斂角，然後跳轉至步驟104A，在液晶顯示器7的信息顯示區域7A(參照圖5)中，顯示信息(「請站在被拍攝體的正面，測定距離」)。此外，該信息也可以是「請進行模擬拍攝」或「請半按快門，測定距離」。在下一個步驟106A中，對拍攝(模擬拍攝)或者測距是否完畢(是否取得了測距數據)進行判斷，如果是肯定判定，則跳轉至步驟108A，基於確定的收斂角和測距數據，對數位照相機移動量(從拍攝開始點S至拍攝結束點E為止)進行運算，跳轉至步驟109。在步驟109中，對要求用戶進行移動的移動範圍(圖4A、B的直線內的移動速度進行運算。該移動速度的運算例如與拍攝時的曝光及快門速度、特定的被拍攝體50的位移等相關。在該步驟109中運算出的移動速度，被反映至後述的移動速度指示部62的顯示中。在步驟109中對移動速度進行運算後，跳轉至步驟110A。在步驟1IOA中，在液晶顯示器7上進行移動方向的引導顯示(箭頭圖像58)，然後跳轉至步驟112A，在液晶顯示器7的信息顯示區域7A中，顯示信息(「請向拍攝開始點移動」)，並跳轉至步驟114A。在步驟114A中，對根據動態影像是否確認到移動進行判斷，在為否定判定的情況下，判斷為沒有移動。另外，在步驟114A中為肯定判定的情況下，判斷為已移動，並跳轉至步驟116A。在步驟116A中，對在該移動中是否到達了拍攝開始點S進行判斷，在為否定判定的情況下，返回至步驟114A，重複步驟114A、116A的判斷。另外，如果在步驟118A中為肯定判定，則判斷為用戶(即，數位照相機1)已經到達拍攝開始點S，跳轉至步驟118A而執行自動拍攝處理。在該自動拍攝處理中，自動處理曝光、焦點距離、快門速度、拍攝、數據存儲等。在下一個步驟120A中，基於在上述拍攝開始點S處拍攝到的圖像數據，在液晶顯示器7上顯示半透明圖像50H，並跳轉至步驟123。該半透明圖像50H的顯示可以作為用戶移動時的參考。在步驟123中，在液晶顯示器7上進行移動方向的引導顯示(箭頭圖像60)，並且， 與上述步驟109中運算出的移動速度相對應，使用移動速度指示部62，在顯示區域62A的左端顯示作為移動速度參考的標識部62B(參照圖7A)。然後跳轉至步驟124A，在液晶顯示器 7的信息顯示區域7A中，顯示信息(「請向拍攝結束點移動」)，並跳轉至步驟126A。在用戶從拍攝開始點S向拍攝結束點E沿直線M移動時，上述移動速度指示部62 的標識部62B沿顯示區域62A向右端移動。因此，如圖7B所示，在標識部62B位於顯示區域62A的中央時，用戶位於特定的被拍攝體50的正面這一位置是適當的。用戶通過一邊觀察該標識部62B的移動狀態一邊沿直線M移動，從而可以以適當的移動軌跡和適當的移動速度進行移動。在下一個步驟126A中，對根據動態影像是否確認到移動進行判斷，在為否定判定的情況下，判斷為沒有移動。另外，在步驟126A中為肯定判定的情況下，判斷為已經移動， 並跳轉至步驟127。在該步驟127中，沿上述標識部62B移動是適當的，但在通過對動態影像解析而判定用戶到達與標識部62B相比距離大於或等於規定值的位置的情況下，在步驟 127中進行否定判定，跳轉至步驟129。在步驟129中，強制執行使三維形狀拍攝模式下的拍攝中止的處理，並結束該步驟。此外，在將該拍攝中止的處理中，例如也可以在液晶顯示器7中顯示「由於移動速度不適當，中止拍攝」或「再次從距離測定開始，重新拍攝」等信息。另一方面，在上述步驟129中為肯定判定、即移動速度適當的情況下，跳轉至步驟 128A。在步驟128A中，對在該移動中是否到達下一個拍攝點進行判斷，在為否定判定的情況下，返回步驟U6A，重複步驟126A、127、U8A的判斷。另外，如果在步驟128A中為肯定判定，則判斷為用戶(即數位照相機1)已經到達下一個拍攝點，並跳轉至步驟130A，執行自動拍攝處理。在該自動拍攝處理中，對曝光、焦點距離、快門速度、拍攝、數據存儲、特定的被拍攝體50的位置校正(參照圖4B)等進行自動處理。在下一個步驟132A中，對該拍攝點是否為拍攝結束點E進行判斷，在為否定判定的情況下，應繼續拍攝，返回步驟126A。另外，在步驟132A中為肯定判定的情況下，判斷為拍攝結束點E處的拍攝結束，至少圖4A、B所示的直線M (移動範圍)的兩端即拍攝開始點 S和拍攝結束點E處的拍攝已經完畢，從而結束該步驟。此外，也可以將上述第1實施方式以及第2實施方式的三維形狀拍攝模式的執行處理步驟程序化。將日本申請特願2010-149681號公報的公開內容整體通過參照而編入本說明書。本說明書中記載的所有文獻、專利申請、以及技術標準，以與具體且單獨地通過參照編入各個文獻、專利申請、以及技術標準進行記述的情況相同程度地，通過參照編入本說明書。
權利要求
1.一種多視點拍攝控制裝置，其具有 拍攝部，其對圖像進行拍攝；動畫圖像顯示部，其在顯示畫面上顯示用於確定拍攝視角的動畫； 測距部，其對由所述動畫圖像顯示部顯示的動畫中包含的特定的被拍攝體進行模擬拍攝，至少對至所述特定的被拍攝體為止的距離進行測定；取得部，其取得從多個拍攝視點進行拍攝時的拍攝視點間的收斂角； 視點數量設定部，其設定至少包含最初進行拍攝的拍攝開始點及最後進行拍攝的拍攝結束點在內的視點數量；位置信息運算部，其基於所述收斂角數據、及由所述測距部測定的從測距點至所述特定的被拍攝體為止的距離數據，且以使所述模擬拍攝位置的視點成為中心的方式，對包含從所述最初進行拍攝的拍攝開始點至最後進行拍攝的拍攝結束點為止的移動量在內的位置信息進行運算；以及通知部，其基於由所述位置信息運算部運算出的位置信息，執行要求從所述測距點至拍攝開始點為止進行移動的通知，以及要求從所述拍攝開始點至所述拍攝結束點為止進行移動的通知。
2.根據權利要求1所述的多視點拍攝控制裝置，其中， 還具有判定部，其與所述移動相對應，將拍攝開始點作為基準圖像，基於該基準圖像和移動後的拍攝圖像之間的比較，判定是否為應進行拍攝的視點；自動拍攝執行控制部，其在所述判定部判定為拍攝點的情況下，在該拍攝點自動地對所述被拍攝體進行拍攝；以及存儲部，其將由自動拍攝執行控制部拍攝到的圖像數據作為所述要素數據而存儲。
3.根據權利要求2所述的多視點拍攝控制裝置，其中，將由所述自動拍攝執行控制部自動拍攝到的拍攝開始點之後的拍攝點的視點圖像作為新的基準圖像而進行更新。
4.根據權利要求2或3所述的多視點拍攝控制裝置，其中，所述判定部基於所述基準圖像、和在對移動後的拍攝圖像上的所述特定的被拍攝體的位置偏移進行校正的情況下預先設定的背景圖像的偏移量，判定針對所述移動後的拍攝圖像的拍攝視點是否為應進行拍攝的視點。
5.根據權利要求1至4中任一項所述的多視點拍攝控制裝置，其中，在所述顯示畫面上，以規定的透明度顯示在所述拍攝結束點之前的拍攝點處拍攝到的圖像。
6.根據權利要求1至5中任一項所述的多視點拍攝控制裝置，其中，從所述拍攝開始點至所述拍攝結束點的移動軌跡是以所述被拍攝體為中心的圓弧軌跡，所述測距點位於移動範圍的中央。
7.根據權利要求1至6中任一項所述的多視點拍攝控制裝置，其中，至少包含所述拍攝開始點以及所述拍攝結束點這2個點，並且是自動或者手動設定的。
8.根據權利要求1至7中任一項所述的多視點拍攝控制裝置，其中，還具有測量部，其對從所述拍攝開始點至所述拍攝結束點為止的移動速度進行測量；以及中止部，其在由所述測量部測量出的移動速度大於或等於規定值的情況下，判定為不能繼續進行自動拍攝，將由所述自動拍攝執行控制部進行的拍攝中止。
9.一種多視點拍攝控制方法，在該方法中，在顯示畫面上顯示用於確定拍攝視角的動畫，對所顯示的動畫中包含的特定的被拍攝體進行模擬拍攝，至少對至所述特定的被拍攝體為止的距離進行測定，取得從多個拍攝視點拍攝時的拍攝視點與拍攝視點間的收斂角，設定至少包含最初進行拍攝的拍攝開始點、以及最後進行拍攝的拍攝結束點在內的視點數量，基於所述收斂角數據、以及由所述測距部測定的從測距點至所述特定的被拍攝體的距離數據，且以使所述模擬拍攝位置的視點成為中心的方式，對包含從所述最初進行拍攝的拍攝開始點至最後進行拍攝的拍攝結束點為止的移動量在內的位置信息進行運算，基於運算出的位置信息，執行要求從所述測距點至拍攝開始點為止進行移動的通知， 以及要求從所述拍攝開始點至所述拍攝結束點為止進行移動的通知。
10.一種多視點拍攝控制程序，其使計算機執行下述內容，即在顯示畫面上顯示用於確定拍攝視角的動畫，對所顯示的動畫中包含的特定的被拍攝體進行模擬拍攝，至少對至所述特定的被拍攝體為止的距離進行測定，取得從多個拍攝視點拍攝時的拍攝視點與拍攝視點間的收斂角，設定至少包含最初進行拍攝的拍攝開始點、以及最後進行拍攝的拍攝結束點在內的視點數量，基於所述收斂角數據、以及由所述測距部測定的從測距點至所述特定的被拍攝體的距離數據，且以使所述模擬拍攝位置的視點成為中心的方式，對包含從所述最初進行拍攝的拍攝開始點至最後進行拍攝的拍攝結束點為止的移動量在內的位置信息進行運算，基於運算出的位置信息，執行要求從所述測距點至拍攝開始點為止進行移動的通知， 以及要求從所述拍攝開始點至所述拍攝結束點為止進行移動的通知。
全文摘要
本發明提供一種多視點拍攝控制裝置、多視點拍攝控制方法以及多視點拍攝控制程序，其在需要以多視點拍攝的圖像的情況下，確定該多視點的各個拍攝地點，且可以簡單地執行拍攝作業本身。在對用於生成特定的被拍攝體的三維形狀的要素、即來自多個視點的圖像數據進行拍攝的情況下，通過對用戶適當地進行引導，從而在液晶顯示器的信息顯示區域等中，顯示要求在特定的被拍攝體的正面處進行測距、從測距位置向至攝開始點為止進行移動、以及從拍攝開始點至拍攝結束點為止進行移動的信息。另外，通過對動態影像進行解析，從而基於特徵點的變化，自動識別數位照相機的位置，並且進行自動拍攝。
文檔編號H04N5/225GK102550015SQ201180001676
公開日2012年7月4日 申請日期2011年4月13日 優先權日2010年6月30日
發明者橋本貴志 申請人:富士膠片株式會社