成像設備、拍攝圖像記錄方法和程序的製作方法

2023-05-09 07:13:26

專利名稱：成像設備、拍攝圖像記錄方法和程序的製作方法
技術領域：
本發明涉及成像設備，更具體而言涉及能夠執行用於測量到被攝 物的距離的測距處理的成像設備，並且還涉及拍攝圖像記錄方法和使 計算機能夠執行這種拍攝圖像記錄方法的程序。
背景技術：
近年來，成像設備已得到廣泛的使用，例如用於對諸如市區等的 被攝物成像以生成拍攝圖像並記錄拍攝圖像的數位照相機。已經提出 了一種全景圖像生成方法，用於將由這種成像設備記錄的多個拍攝圖
像接合為在相對寬的範圍內存在的被攝物的全景圖像(panoramic image )。
為了根據所提出的全景圖像生成方法生成全景圖像，需要從多個 拍攝圖像中提取特徵點，並且疊加所提取的特徵點以將拍攝圖像接合 為全景圖像。由於需要從拍攝圖像中提取出特徵點，因此所提出的全 景圖像生成方法產生了為提取這些特徵點所需的相對大量的圖像處 理負擔。
還提出了另 一種全景圖像生成方法，用於從攝像機拍攝的圖像數 據中採樣多個切片並將這些切片接合成全景圖像，其中每個切片具有 恆定的垂直長度和可變的小寬度，該可變的小寬度取決於成像器運動 的速度(例如見日本專利未審查7>開No. 2000-156818，圖1)。

發明內容
根據所提出的另一種全景圖像生成方法，由於不需要為了接合拍 攝的圖像而從拍攝圖像中提取特徵點，因此減輕了圖像處理負擔。
然而，因為必須從拍攝的圖像數據中進行切片採樣，因此從拍攝
5的圖像數據中丟棄的數據量很大。因此，拍攝的圖像數據不能有效地 被利用，並且拍攝的圖像數據被記錄時的處理速率容易偏低。
本發明的實施例是為了減輕生成全景圖像時的圖像處理負擔。
根據本發明的第一實施例，提供了一種成像設備，包括被配置為 對被攝物成像以生成該被攝物的拍攝圖像的成像器、被配置為計算距 被攝物的被攝物距離的被攝物距離計算部、被配置為基於當前位置和 被攝物距離給出記錄拍攝圖像的記錄命令的拍攝圖像記錄命令部、以 及被配置為基於記錄命令來記錄拍攝圖像的記錄控制器。還提供了 一 種記錄拍攝圖像的方法和用於使計算機能夠執行該方法的程序。該成 像設備、方法和程序可以計算被攝物距離並且基於當前位置和被攝物 距離來給出記錄拍攝圖像的記錄命令。
在本發明的第一實施例中，成像設備還可包括拍攝圖像記錄位置 計算部，被配置為基於被攝物距離計算拍攝圖像記錄位置，該位置是 在記錄拍攝圖像之後記錄由成像器生成的第二拍攝圖像的位置，其中 當成像設備到達拍攝圖像記錄位置時，拍攝圖像記錄命令部可以給出 記錄第二拍攝圖像的記錄命令。因此，可以基於被攝物距離計算拍攝 圖像記錄位置，並且當成像設備到達拍攝圖像記錄位置時，可以給出 記錄第二拍攝圖像的記錄命令。
在本發明的第 一 實施例中，成像設備還可包括行進距離獲取部， 被配置為獲取成像設備在特定方向上的行進距離，其中被攝物距離計 算部可以計算距拍攝圖像中包括的被攝物在特定方向上的端部的距 離，作為被攝物距離，拍攝圖像記錄位置計算部可以基於被攝物距離 計算特定方向上的拍攝圖像記錄位置，並且拍攝圖像記錄命令部可以 基於所獲取的行進距離來確定成像設備是否已到達該拍攝圖像記錄 位置，並且在成像設備到達該拍攝圖像記錄位置的情況下給出記錄第 二拍攝圖像的記錄命令。因此，可以獲取成像設備在特定方向上的行 進距離，可以基於所獲取的行進距離來確定成像設備是否到達了拍攝 圖像記錄位置，並且如果成像設備到達拍攝圖像記錄位置，則可以發 出記錄第二拍攝圖像的記錄命令。在本發明的第一實施例中，成像設備還可包括當前位置獲取部， 被配置為獲取成像設備在特定方向上的當前位置，其中被攝物距離計 算部可以計算距拍攝圖像中包括的被攝物在特定方向上的端部的距 離，來作為被攝物距離，拍攝圖像記錄位置計算部可以基於被攝物距 離計算特定方向上的拍攝圖像記錄位置，並且如果所獲取的當前位置 到達該拍攝圖像記錄位置，則拍攝圖像記錄命令部可以給出記錄第二 拍攝圖像的記錄命令。可以獲取成像設備在特定方向上的當前位置， 並且如果所獲取的當前位置到達拍攝圖像記錄位置，則可以給出記錄 第二拍攝圖像的記錄命令。
在本發明的第 一 實施例中，成像設備還可包括被配置為獲取當前 位置的當前位置獲取部以及被配置為檢測成像設備圍繞其垂直軸的 角位移的角位移檢測器，其中被攝物距離計算部可以計算距拍攝圖像 中包括的被攝物在特定方向上的端部的距離，來作為被攝物距離，拍 攝圖像記錄命令部可以基於所獲取的當前位置、被攝物距離和檢測到 的角位移，給出在記錄拍攝圖像之後記錄由成像器生成的第二拍攝圖 像的記錄命令。因此，可以獲取成像設備的當前位置，可以檢測成像 設備的角位移，並且可以基於所獲取的當前位置和檢測到的角位移來 給出記錄第二拍攝圖像的記錄命令。
在本發明的第 一 實施例中，拍攝圖像記錄命令部可以使成像角恆 定，該成像角是指定拍攝圖像的記錄範圍的角度，並且如果所獲取的 當前位置到達基於被攝物距離和檢測到的角位移而確定的記錄第二 拍攝圖像的位置，則拍攝圖像記錄命令部給出記錄第二拍攝圖像的記 錄命令。因此，可以使成像角恆定，並且如果當前位置到達基於檢測 到的角位移和被攝物距離確定的拍攝圖像記錄位置，則可以給出記錄 第二拍攝圖像的記錄命令。
在本發明的第 一 實施例中，拍攝圖像記錄命令部可以使記錄第二 拍攝圖像的拍攝圖像記錄位置恆定，並且如果所獲取的當前位置到達 該拍攝圖像記錄位置，角指定的記錄範圍內的第二拍攝圖像的記錄命令。因此，可以使拍攝 圖像記錄位置恆定，可以基於檢測到的角位移和被攝物距離確定成像 角，並且可以給出在由成像角指定的記錄範圍中記錄第二拍攝圖像的 記錄命令。
在本發明的第 一實施例中，成像設備還可包括被配置為檢測成像 設備的振動的振動檢測器以及被配置為基於檢測到的振動來校正拍 攝圖像的垂直記錄範圍的校正器。因此，可以檢測成像設備的振動， 並且可以基於檢測到的振動來校正對拍攝圖像的垂直記錄範圍。
在本發明的第一實施例中，成像設備還可包括顯示控制器，被配 置為按記錄的順序將拍攝圖像顯示為全景圖像。因此，可以按記錄順 序將拍攝圖像顯示為全景圖像。
根據本發明，減輕了用於生成全景圖像的處理負擔。


圖1是根據本發明一個實施例的成像設備的功能配置的框圖2A和2B是示出在根據本實施例的成像設備的液晶面板上設 置為全景成像模式時的顯示畫面的示意圖3A和3B是示出在根據本實施例的成像設備的液晶面板上設 置為全景成像模式時的顯示畫面的示意圖4是示出利用根據本實施例的成像設備拍攝並記錄圖像以生 成全景圖像的方式的示意圖5A和5B是示出利用根據本實施例的成像設備來記錄圖像以 生成全景圖像的拍攝圖像記錄方法的示意圖，該示意圖還示出了利用 該拍攝圖像記錄方法記錄的拍攝圖像；
圖6是示出存儲在根據本實施例的成像設備的圖像存儲裝置中 的內容的示意圖7A和7B是示出根據本實施例的成像設備的液晶面板上的顯 示畫面的示意圖8是由根據本實施例的成像設備執行的全景圖像記錄處理的處理序列的流程圖9是修改後的根據本實施例的成像設備的功能配置的框圖io是沿曲折道路運動的車輛的示意圖，該車輛上運載了根據 本實施例的成像設備；
圖11是根據本發明另 一 實施例的成像設備的功能配置的框圖12A和12B是示出根據另一實施例的成像設備的液晶面板上 的顯示畫面的示意圖13是示出利用根據另一實施例的成像設備來記錄圖像以生成 全景圖像的拍攝圖像記錄方法的示意圖14是示出利用根據另 一 實施例的成像設備來記錄圖像以生成 全景圖像的拍攝圖像記錄方法的示意圖15是由根據另一實施例的成像設備執行的全景圖像記錄處理 的處理序列的流程圖16是由根據另一實施例的成像設備執行的修改後的全景圖像 記錄處理的處理序列的流程圖17是根據本發明又一 實施例的成像設備的功能配置的框圖18是示出在根據又一實施例的成像設備圍繞與其光軸交叉的 水平軸振動時要執行的拍攝圖像校正處理的示意圖19是示出在根據又一實施例的成像設備垂直振動時要執行的 拍攝圖像校正處理的示意圖20是示出在根據又一實施例的成像設備沿其光軸振動時要執 行的拍攝圖像校正處理的示意圖21是示出由根據又一實施例的成像設備的記錄控制器校正的 拍攝圖像的示意圖；以及
圖22是由根據又一實施例的成像設備執行的修改後的全景圖像 記錄處理的處理序列的流程圖。
具體實施例方式
圖1以框圖形式示出了根據本發明一個實施例的成像設備100的功能配置。
如圖l所示，成像設備100包括光學系統111、成像器112、記 錄控制器113、透鏡121、 122、被攝物距離計算部130、拍攝圖像記 錄位置計算部140、計時器150、行進距離計算部160、拍攝圖像記錄 命令部170、用戶動作接收器180、顯示控制器190、圖像存儲裝置 200和顯示器300。成像設備100可以是能夠執行例如測距處理的數 碼照相機的形式，測距處理用於測量在要拍攝的圖像中距一給定區域 的距離。
光學系統111包括用於會聚來自被攝物的光的多個透鏡，包括變 焦透鏡、聚焦透鏡等。來自被攝物的光通過透鏡和光圏(未示出)施 加於成像器112。
成像器112用來根據給定的成像參數轉換從被攝物施加的光以 生成拍攝圖像，並將拍攝圖像輸出到記錄控制器113和顯示控制器 190。具體而言，成像器112包括未示出的光電換能器和信號處理器。 光電換能器將通過光學系統111從被攝物施加的光信號轉換為模擬圖 像信號。模擬圖像信號隨後被信號處理器處理以進行去噪、A/D(模 數)轉換，等等。處理後的數字圖像信號隨後被輸送到記錄控制器113 和顯示控制器190。成像器112還執行測距處理以聚焦在要拍攝的圖 像中的給定位置上。
當記錄控制器113被拍攝圖像記錄命令部170指示記錄拍攝圖像 時，記錄控制器113將拍攝圖像記錄在圖像存儲裝置200中，該拍攝 圖像是在記錄控制器113被指示記錄時從成像器112輸出的。
當被攝物距離計算部130計算距被攝物的距離時，要使用透鏡 121、 122。透鏡121、 122會聚來自被攝物的光並將會聚後的光送到 被攝物距離計算部130。
基於來自被攝物的會聚光，被攝物距離計算部130計算距被攝物 的距離。被攝物距離計算部130將計算出的距被攝物的距離(被攝物 距離)提供給拍攝圖像記錄位置計算部140。具體而言，被攝物距離 計算部130包括分別與透鏡121、 122相關聯的第一傳感器陣列和第二傳感器陣列(未示出)。第一傳感器陣列將通過透鏡121從被攝物 施加的光信號轉換為模擬圖像信號，第二傳感器陣列將通過透鏡122 從被攝物施加的光信號轉換為模擬圖像信號。基於由第 一和第二傳感 器陣列生成的模擬圖像信號，被攝物距離計算部130根據三角測量測 距處理的原理計算距坤皮攝物的距離和成像設備100相對於被攝物的角 度。在本實施例中，假定被攝物距離計算部130計算在拍攝圖像的右 側距與中央區域相對應的被攝物的距離，作為被攝物距離。
基於從被攝物距離計算部130輸出的被攝物距離，拍攝圖像記錄 位置計算部140計算拍攝圖像記錄位置，該位置是在記錄了前一拍攝 圖像之後要記錄的下一拍攝圖像的位置。拍攝圖像記錄位置計算部 140隨後將計算出的拍攝圖像記錄位置輸出到拍攝圖像記錄命令部 170。計算拍攝圖像記錄位置的處理將在後面參考圖5A-B詳細描述。
計時器150向行進距離計算部160提供連續的計時器值，以供行 進距離計算部160計算距離。計時器150例如每0.1秒將其計時器值 加1。
行進距離計算部160計算成像設備100已行進的距離，並將計算 出的距離輸出到拍攝圖像記錄命令部170。具體而言，行進距離計算 部160保存由用戶動作接收器180接收的速度值，並將所保存的速度 值乘以從計時器150提供的計時器值，從而計算成像設備IOO已行進 的距離。行進距離計算部160用作權利要求中的行進距離獲取部的例 子。
拍攝圖像記錄命令部170基於從拍攝圖像記錄位置計算部140 輸出的拍4聶圖像記錄位置和從行進距離計算部160輸出的行進距離來 確定記錄拍攝圖像的定時。然後，拍攝圖像記錄命令部170根據所確 定的定時向記錄控制器113輸出記錄拍攝圖像的命令。確定記錄拍攝 圖像的定時的處理將在後面參考5詳細描述。
用戶動作接收器180接收由成像設備100的用戶做出的用戶動 作，並將根據所接收的用戶動作而形成的信號輸出到行進距離計算部 160、拍攝圖像記錄命令部170或者顯示控制器190。例如，用戶動作
ii接收器180包括可手工操作的構件，例如成像設備100上的快門按鈕 181(如圖2A、 2B和3A、 3B所示)，該快門按鈕181用於開始在全 景成像模式中記錄拍攝的圖像，其中全景成像模式用於記錄供生成全 景圖像使用的拍攝圖像。在本實施例中，用戶動作接收器180的一部 分和顯示器300被整體組合為液晶面板310(見圖2A、 2B和3A、 3B )。 液晶面板310包括用於顯示選擇器按鈕的液晶觸摸面板，選擇器按鈕 用於選擇手指等觸摸的區域。
顯示控制器190基於用戶動作接收器180接收到的關於顯示命令 的用戶動作，在顯示器300上顯示存儲在圖像存儲裝置200中的拍攝 圖像和由成像器112生成的拍攝圖像。顯示控制器190還在顯示器300 上顯示圖2A、 2B和3A、 3B中所示的各種畫面。
圖像存儲裝置200存儲從記錄控制器113輸送來的拍攝圖像。圖 像存儲裝置200還將存儲的拍攝圖像提供給顯示控制器190。存儲在 圖像存儲裝置200中的拍攝圖像是與JPEG (聯合圖像專家組)格式 相符的圖像數據形式。圖像存儲裝置200可包括記錄介質，諸如存儲 卡、光碟、磁碟、磁帶等，這些記錄介質可以固定或者可移動地安裝 在成傳_設備100中。
顯示器300顯示從顯示控制器190輸送來的各種拍攝圖像。
圖2A、 2B和3A、 3B示出了顯示器300 (即，液晶面板310) 上的顯示畫面的例子。圖2A示出了液晶面板310上用於設置成像模 式和顯示模式的顯示模式設置畫面。模式設置畫面包括"全景成像模 式"設置按鈕311、"全景顯示模式"設置按鈕312、"肖像成像模式"設 置按鈕313、"風景成像模式"設置按鈕314以及返回按鈕315。
"全景成像模式"設置按鈕311是用戶觸摸來設置全景成像模式 的按鈕。圖2B示出了當用戶觸摸"全景成像^t式"設置按鈕311時出 現在液晶面板310上的顯示畫面的例子。
"全景顯示模式，，設置按鈕312是用戶觸摸來設置全景顯示模式 的按鈕，全景顯示模式用於將記錄在全景成像模式中的拍攝圖像顯示 為全景圖像。圖7A和7B示出了當用戶觸摸"全景顯示模式"設置按鈕312時出現在液晶面板310上的顯示畫面的例子。
"肖像成像模式"設置按鈕313是用戶觸摸來設置肖像成像模式 的按鈕，肖像成像模式是用於對肖像成像的成像模式。"風景成像模 式，，設置按鈕314是用戶觸摸來設置風景成像模式的按鈕，風景成像 模式是用於對風景成像的成像模式。顯示模式設置畫面可包括用於設 置其他成像模式和顯示模式的設置按鈕。這些設置按鈕將不在下面詳 細描述。
圖2B示出了當用戶在圖2A所示的模式設置菜單畫面中觸摸"全 景成像模式"設置按鈕311時顯示在液晶面板310上的速度設置畫面。 圖2B中所示的速度設置畫面(被用戶用來設置全景成像模式中的速 度)包括"速度"選擇區域321、下拉按鈕322、"確認"按鈕323和返 回按鈕324。
"速度"選擇區域321是用於選擇全景成像模式中的速度的區域。 當用戶想要在"速度，，選擇區域321中選擇速度時，用戶觸摸下拉按鈕 322以顯示包括速度列表的下拉菜單，並且隨後從所顯示的速度列表 中選捧一個期望速度。在圖2B中，用戶已選擇"50 ( km/h)"。下拉 菜單可包括以5km/h間隔的速度，例如"25"、"30"、"35"、"40"、"45"、 "50，，等等。代替從下拉菜單中選擇期望速度，用戶可以直接向"速度" 選擇區域321中輸入期望速度。
"確認"按鈕323是在用戶已在"速度"選擇區域321中選擇了一個 速度之後用戶觸摸來進入圖3A中所示的全景成像模式開始畫面的按 鈕。返回按鈕324是用戶觸摸來從圖2B中所示的速度設置畫面改變 到圖2A中所示的模式設置畫面的按鈕。
圖3A示出了當用戶在圖2B所示的速度設置畫面中觸摸"確認" 按鈕323時所顯示的全景成像模式開始畫面。全景成像模式開始畫面 是在全景成像模式開始之前顯示的畫面，其包括當前設置模式顯示區 域331、全景成像才莫式描述顯示區域332和"返回"按鈕333。這些顯 示區域和按鈕的顯示覆蓋在由成像器112生成的拍攝圖像上。
當前設置模式顯示區域331是一個其中顯示有"全景成像模式當前被設置"的字符的區域，向用戶表明全景成像^^莫式當前被設置。
全景成像模式描述顯示區域332是一個其中顯示有對全景成像 模式的描述的區域。對全景成像模式的描述將在後面參考圖5A-B詳 細描述。
"返回"按鈕333是用戶觸摸來從圖3A中所示的全景成像模式開 始畫面改變到圖2B中所示的速度設置畫面的按鈕。
圖3B示出了在根據圖3A所示的全景成像模式開始畫面的全景 成像模式描述顯示區域332中顯示的描述記錄了拍攝圖像之後所顯示 的全景成像模式結束畫面。
圖3B中所示的全景成像模式結束畫面(它是在全景成像模式結 束時的畫面)包括當前設置模式顯示區域331、下一全景成像模式引 導顯示區域334、"下一全景成像模式"按鈕335和"取消"按鈕336。 當前設置模式顯示區域331與圖3A中所示的當前設置模式顯示區域 331相同，並且在下面將不進4亍描述。
下一全景成像模式引導顯示區域334是一個在當前全景成像模 式結束時顯示有關於如何執行下一全景成像模式和如何取消全景成 像模式的描述的區域。
"下一全景成像模式"按鈕335是用戶觸摸來執行下一全景成像 模式的按鈕。當用戶觸摸"下一全景成像模式"按鈕335時，顯示了圖 3A中所示的全景成像模式開始畫面。
"取消"按鈕336是用戶觸摸來取消全景成^f象模式並且返回到圖 2A中所示的模式設置畫面的按鈕。
圖4是示出利用根據本實施例的成像設備100來拍攝並記錄圖像 以生成全景圖像的方式的示意圖。在圖4中，在車輛400的前乘客座 中的人420手持成像設備100來通過窗戶401拍4聶圖像並記錄拍攝圖 像。車輛400能夠以恆定速度運動，並且人420以垂直於車輛400所 沿的方向410的方向指引成像設備IOO的透鏡IOI(表示光學系統111 和透鏡121、 122)。
圖5A和5B是示出利用根據本實施例的成像設備100來記錄拍攝圖像以生成全景圖像的拍攝圖像記錄方法的示意圖，該示意圖還示
出了由拍攝圖像記錄方法記錄的拍攝圖像。圖5A以示意方式示出了 車輛400上的人420使用成^f象設備100來拍攝械j聶物表面430的圖像 並將拍攝圖像記錄為全景圖像的方式。與成像設備100面對的被攝物 表面430包含表面不規則性。
在圖5A中假定用於指定用來記錄每個拍攝圖像(這些圖像用來 生成全景圖像)的記錄範圍的角度被稱為成像角，該成像角是恆定值 e,並且載有正握持成像設備100的人420的車輛400正以恆定速度 (即，在圖2B所示的速度設置畫面中設置的速度)運動。當在液晶 面板310上顯示了圖3A中所示的全景成像模式開始畫面的同時快門 按鈕181被按下時，成像i殳備100記錄通過按下快門按鈕181而拍攝 的圖像。在圖5A中，假定快門按鈕181在拍攝圖像記錄位置Pj被按 下。當按鈕181被按下時拍攝圖像的成像範圍具有其中心與被攝物表 面430在點Xw相交的左端或左邊界和其中心與祐j聶物表面430在點 Xi相交的右端或右邊界，並且其水平寬度被定義在點Xw、 Xj之間的 成像範圍由A表示。
當快門按鈕181在拍攝圖像記錄位置Pi被按下時，被攝物距離 計算部130計算從拍攝圖像記錄位置Pi到點Xj的距離Fj。基於計算 出的距離Fi和成像角e，拍攝圖像記錄位置計算部140根據下式(1) 計算距下一拍攝圖像記錄位置的距離Lj:
Lj = 2 x Fi x sin (9 + 2)... ( 1)
拍攝圖像記錄命令部170監視由行進距離計算部160相繼計算出 的距離是否已達到由拍攝圖像記錄位置計算部140計算出的距離Lj。 如果由行進距離計算部160相繼計算出的距離已達到由拍攝圖像記錄 位置計算部140計算出的距離Li,即，成像設備IOO已到達拍攝圖像 記錄位置Pi+1，則拍攝圖像記錄命令部170向記錄控制器113輸出記 錄拍攝圖像的命令。記錄控制器113現在記錄拍攝圖像記錄位置Pi+1 中的拍攝圖像。拍攝圖像記錄位置P^處的成像範圍具有其中心與被 才聶物表面430在點Xi相交的左端或左邊界和其中心與被:攝物表面430在點Xw相交的右端或右邊界，並且其水平寬度被定義在點Xj、 xi+1 之間的成像範圍由B表示。當成像設備100已到達拍攝圖像記錄位置 Pi+1時，被攝物距離計算部130計算從拍攝圖像記錄位置Pi+1到點Xi+1 的距離Fi+1。基於計算出的距離Fw和成像角e，拍攝圖像記錄位置計 算部140根據上式(1)計算距下一拍攝圖像記錄位置的距離Li+1。隨 後，以上記錄拍攝圖像的處理被重複，直到用戶按下快門按鈕181。 例如，如圖5A所示，如果用戶在拍攝圖像記錄位置&+2中記錄了拍 攝圖像之後按下快門按鈕181，則全景成像模式結束，並且圖3B中 所示的全景成像模式結束畫面被顯示在液晶面板310上。
圖5B示出了在圖5A所示的拍攝圖像記錄位置Pi、 Pi+1、 Pi+2中 相繼記錄的拍攝圖像。拍攝圖像431是在拍攝圖像記錄位置&記錄的， 其中示出了成像範圍"A"。拍攝圖像432是在拍攝圖像記錄位置Pi+1 記錄的，其中示出了成像範圍"B"。拍攝圖像433是在拍攝圖像記錄 位置Pi+2記錄的，其中示出了成像範圍"C"。記錄拍攝圖像431、 432、 433的處理將在後面參考圖6詳細描述。
圖6是示出存儲在根據本實施例的成像設備100的圖像存儲裝置 200中的內容的示意圖。如圖6所示，圖像存儲裝置200存儲了全景 圖像ID201、成像序號202和拍攝圖像203。
每個全景圖像ID 201表示用於標識在全景成像模式中記錄的一 系列拍攝圖像的標識信息。例如，表示一組拍攝圖像的"#1"、 "#2"或 "弁3"被存儲作為每個全景圖像ID 201。具體而言， 一個ID被指派給 在顯示圖3A中所示的全景成像模式開始畫面的同時快門按鈕181被 按下之後、直到快門按鈕181被再次按下為止所記錄的一組拍攝圖像， 在圖6中，ID"W被指派給根據圖5A中所示的序列記錄的拍攝圖像 431、 432、 433的群組。
成像序號202表示屬於在全景成像模式中記錄的一個群組的拍 攝圖像的序列。例如，"1"至"3"被指派為給根據圖5A中所示的序列 記錄的各個拍攝圖像431、 432、 433的成像序號202。
拍攝圖像203表示在全景成像模式中記錄的一連串拍攝圖像。在圖6中，根據圖5A中所示的序列記錄的拍攝圖像431、 432、 433分 別由"A"、 "B"和"C"指示。
圖7A和7B是示出根據本實施例的成像設備100的液晶面板310 上的顯示畫面的示意圖。圖7A示出了顯示在液晶面板310上的全景 圖像顯示選擇畫面，用於將存儲在圖像存儲裝置200中的拍攝圖像顯 示為全景圖像。全景圖像顯示選擇畫面是在圖2A所示的模式設置畫 面中的"全景顯示模式"設置按鈕312被觸摸之後顯示的。全景圖像顯 示選擇畫面包括全景圖像選擇按鈕451、 452、 453和"返回"按鈕454。
全景圖像選擇按鈕451、 452、 453是用戶觸摸來將存儲在圖像存 儲裝置200中的拍攝圖像顯示為全景圖像的按鈕。在圖7A中，在存 儲在圖像存儲裝置200中的拍攝圖像中，對應於成像序號202"1"的拍 攝圖像被顯示。表示成像位置、成像時間等的按鈕可以被顯示為全景 圖像選擇按鈕。
"返回，，按鈕454是用戶觸摸來從圖7A中所示的全景圖像顯示選 擇畫面改變到圖2A中所示的模式設置畫面的按鈕。
圖7B示出了在圖7A所示的全景圖像顯示選擇畫面中的全景圖 像選擇按鈕451被按下之後顯示的全景圖像顯示畫面。如圖7B所示， 全景圖像顯示畫面包括存儲在圖像存儲裝置200中並且對應於全景圖 像選擇按鈕451的拍攝圖像431、 432、 433，拍攝圖像431、 432、 433 是根據成像序號202排列的。如果要包括在全景圖像顯示畫面中的拍 攝圖像的數目太大而不能顯示在液晶面板310上，則拍攝圖像可以按 減小後的尺寸顯示在液晶面板310上。或者，可以在液晶面板310上 顯示左右滾動按鈕，並且顯示的拍攝圖像可以利用左或右滾動按鈕向 左或向右>袞動。
全景圖像顯示畫面還包括"返回"按鈕455。"返回"按鈕455是用 戶觸摸來從圖7B中所示的全景圖像顯示畫面改變到圖7A中所示的全 景圖像顯示選擇畫面的按鈕。
如上所述，為了將在全景成像模式中記錄的拍攝圖像顯示為全景 圖像，存儲在圖像存儲裝置200中的拍攝圖像不必被特殊處理，而是
17可以簡單地在液晶面板310上顯示為全景圖像。具體而言，當存儲在 圖像存儲裝置200中的拍攝圖像根據它們被記錄的順序以陣列形式顯 示時，它們被顯示為全景圖像。
下面將描述根據本實施例的成像設備100的操作。
圖8是由根據本實施例的成像設備IOO執行的全景圖像記錄處理 的處理序列的流程圖。
首先，確定全景成像模式是否被設置(步驟S901)。如果全景 成像模式已被設置，則圖3A中所示的全景成像模式開始畫面被顯示 在液晶面板310上。如果全景成像模式未被設置(步驟S901中的否)， 則全景圖像記錄處理結束。
如果全景成像模式已被設置(步驟S901中的是)，則拍攝圖像 記錄命令部170確定成像開始按鈕是否被按下(步驟S902 )。在本實 施例中，如果在圖3A中所示的全景成像模式開始畫面被顯示在液晶 面板310上的同時快門按鈕181被按下，則判斷成像開始按鈕被按下。
然後，成像器112生成拍攝圖像(步驟S903 )。然後，拍攝圖 像記錄命令部170確定當前時刻是否緊接著成像開始按鈕被按下的時 刻(步驟S904 )。如果當前時刻緊接著成像開始按鈕被按下的時刻(步 驟S904中的是)，則拍攝圖像記錄命令部170向記錄控制器113輸 出記錄拍攝圖像的命令，記錄控制器113在圖^f象存儲裝置200中記錄 由成像器112生成的拍攝圖像(步驟S905)。然後，被攝物距離計算 部130計算到在與成像範圍的右端的中心相對應的區域中所包括的被 攝物的距離(被攝物距離)(步驟S906 )。
然後，拍攝圖像記錄位置計算部140基於由被攝物距離計算部 130計算出的被攝物距離來計算下一拍攝圖像記錄位置(步驟S907)。 然後，拍攝圖像記錄命令部170確定成像結束按鈕是否被按下(步驟 S908 )。在本實施例中，如果在全景圖像被記錄的同時快門按鈕181 被按下，則判斷成像結束按鈕被按下。如果成像結束按鈕被按下(步 驟S卯8中的是)，則全景圖像記錄處理結束。
如果成像結束按鈕未被按下(步驟S908中的否)，則控制返回到步驟S卯3，重複全景圖像記錄處理(步驟S卯3至S910)。
如果當前時刻並不緊接著成像開始按鈕被按下的時刻(步驟 S904中的否)，則行進距離計算部160計算從前一拍攝圖像記錄位置 到當前位置的距離(步驟S909 )。然後，拍攝圖像記錄命令部170 確定由行進距離計算部160計算出的當前行進距離是否已到達由拍攝 圖像記錄位置計算部140計算出的下一拍攝圖像記錄位置(步驟 S910)。如果當前行進距離已到達下一拍攝圖像記錄位置(步驟S910 中的是)，則拍攝圖像記錄命令部170向記錄控制器113輸出記錄拍 攝圖像的命令，記錄控制器113在圖像存儲裝置200中記錄由成像器 112生成的拍攝圖像(步驟S905 )。如果當前行進距離還未到達下一 拍攝圖像記錄位置(步驟S910中的否)，則控制進行到步驟S908。
根據以上處理序列，用戶手工輸入速度值，並且行進距離計算部 160基於所輸入的速度值來計算當前行進距離。然而，行進距離計算 部160可以基於來自加速度傳感器的加速度值來計算當前行進距離。 如果速度值可以從諸如車輛等的運動裝置(該裝置使成像設備100運 動)獲取，則行進距離計算部160可以利用從運動裝置獲取的速度值 來計算當前行進距離。此外，如果行進距離可以從諸如車輛等的運動
裝置(該裝置使成像設備100運動)獲取，則從運動裝置獲取的行進 距離可以直接使用。例如，用於使成像設備100運動的車輛可以具有 用於輸出速度或行進距離的輸出端，並且成像設備IOO可以從輸出端 獲取速度或行進距離。
根據以上處理序列，記錄拍攝圖像的定時是基於當前行進距離確 定的。然而，記錄拍攝圖像的定時可以基於成像設備IOO的當前位置 確定。例如，如圖9所示，成像設備IOO的當前位置可以從GPS (全 球定位系統)獲取。
圖9是根據本實施例的修改後的成像設備102的功能配置的框 圖。成像設備102是對圖1中所示的成像設備100的修改。成像設備 102包括GPS信號處理器460和拍攝圖像記錄命令部470，來替代圖 1中所示的計時器150、行進距離計算部160和拍攝圖像記錄命令部170。成像設備102中與圖1中所示的成像設備100相同的那些部分 將不在下面詳細描述。下面將主要描述成像設備102中與成像設備100 不同的那些部分的細節。
如圖9所示，GPS信號處理器460基於從GPS接收天線(未示 出)接收的GPS信號來計算位置信息，並將計算出的位置信息輸出 到拍攝圖像記錄命令部470。計算出的位置信息包括關於成像設備102 的當前位置的數據，例如緯度、經度、高度等。GPS信號處理器460 用作權利要求中的當前位置獲取部的例子。
拍攝圖像記錄命令部470基於從拍攝圖像記錄位置計算部140 輸出的拍攝圖像記錄位置和從GPS信號處理器460輸出的當前位置 信息來確定記錄拍攝圖像的定時。具體而言，當由從GPS信號處理 器460輸出的位置信息表示的成像設備102的當前位置已到達從拍攝 圖像記錄位置計算部140輸出的拍攝圖像記錄位置時，拍攝圖像記錄 命令部470確定這是記錄拍攝圖像的定時。
在圖9中，GPS信號處理器460用作當前位置獲取部。然而， 用於從無線LAN(區域網)獲取位置信息的位置獲取部可以用作當前 位置獲取部。如果用戶不手工輸入速度值，則圖2B中所示的速度設 置畫面可以省略。
圖10示出了沿曲折道路480運動的車輛490，車輛490上載有 根據本實施例的成像設備100。成像設備100拍攝與圖5A中所示的 被攝物表面430相同的被攝物表面430的圖像。
在圖1至9中，在成像設備100直線運動時，成像設備100相繼 記錄包括被攝物的拍攝圖像，拍攝方向面向與成像設備100運動所沿 的直線方向垂直的方向。在圖10中，由於成像設備100被放置在沿 曲折道路480運動的車輛490上，因此成像設備100的光軸根據曲折 道路480的曲率而變。因此，由成像設備IOO產生的相繼拍攝的圖像 可能具有易於彼此重疊的左端和右端，並且/或者被攝物表面430可能 有一部分落在相繼拍攝的圖像外，從而所生成的全景圖像可能失真。
20覆蓋被攝物的拍攝圖像的處理。
圖11是根據本發明另 一個實施例的成像設備500的功能配置的 框圖。成像設備500與圖1中所示的成像設備IOO的不同之處在於其 包括記錄控制器540、 GPS信號處理器510、陀螺傳感器520和拍攝 圖像記錄命令部530,來代替記錄控制器113、計時器150、行進距離 計算部160和拍攝圖像記錄命令部170。成像設備500沒有圖1中所 示的拍攝圖像記錄位置計算部140。成像設備500中與圖1中所示的 成像設備IOO相同的那些部分將不在下面詳細描述。下面將主要描述 成像設備500中與成像設備100不同的那些部分的細節。
被攝物距離計算部130將計算出的被攝物距離提供給拍攝圖像 記錄命令部530。
GPS信號處理器510基於從GPS接收天線(未示出)接收的 GPS信號來計算位置信息，並將計算出的位置信息輸出到拍攝圖像記 錄命令部530。計算出的位置信息包括關於成像設備500的當前位置 的數據，例如綿度、經度、高度等。GPS信號處理器510用作權利要 求中的當前位置獲取部的例子。
陀螺傳感器520包括用於檢測相對於彼此垂直的三個軸的角速 度的角速度傳感器。陀螺傳感器520將檢測到的角速度輸出到拍攝圖 像記錄命令部530。
拍攝圖像記錄命令部530基於從被攝物距離計算部130輸出的被 攝物距離、從GPS信號處理器510輸出的位置信息和從陀螺傳感器 520輸出的角速度來確定記錄拍攝圖像的定時。拍攝圖像記錄命令部 530根據所確定的定時向記錄控制器540輸出記錄拍攝圖像的命令。 確定記錄拍攝圖像的定時的處理將在後面參考圖14詳細描述。
當記錄控制器540被拍攝圖像記錄命令部530命令記錄拍攝圖像 時，記錄控制器540在圖像存儲裝置200中記錄在記錄控制器540被 命令記錄時從成像器112輸出的拍攝圖像。記錄拍攝圖像的處理將在 後面參考圖14詳細描述。
圖12A和12B是示出根據另一個實施例的成像設備510的液晶面板310上的顯示畫面的圖形。圖12A示出了當用戶在圖2A所示的 速度設置畫面中觸摸"全景成像模式"設置按鈕311時所顯示的全景成 像模式開始畫面。在本實施例中，圖2B中所示的速度設置畫面不被 顯示。
圖12A中所示的全景成像模式開始畫面(它是在全景成像模式 開始之前顯示的畫面)包括當前設置模式顯示區域331、全景成像模 式描述顯示區域552和"返回"按鈕333。這些顯示區域和按鈕被顯示 覆蓋在由成像器112生成的拍攝圖像上。當前設置模式顯示區域331 和"返回"按鈕333與圖3A中所示的相同，下面將不會詳細描述。圖 12B示出了全景成像模式結束畫面。圖12B中所示的全景成像模式結 束畫面與圖3B中所示的全景成像模式結束畫面相同，下面將不會詳 細描述。
全景成像模式描述顯示區域552是一個顯示有對全景成像模式 的描述的區域。在本實施例中，用戶不需要手工輸入速度值，並且成 像設備500並不直線運動。全景成像模式描述顯示區域552與圖3A 中所示的全景成像模式描述顯示區域332的不同之處在於它沒有關於 設定速度和車輛直線運動的語句。
圖13和14示出了利用成像設備500記錄拍攝圖像以生成全景圖 像的拍攝圖像記錄方法。圖13以平面示意圖示出了沿曲折道路600 運動的車輛610上的人使用成像設備500來拍攝被攝物表面620的圖 像並將拍攝圖像記錄為全景圖像的方式。面向成像設備500的被攝物 表面620包含表面不規則性。在圖14中，道路600和車輛610未被 圖示。
在圖14中假定在記錄拍攝圖像記錄位置Pi處用於指定拍攝圖像 的記錄範圍的角度被稱為成像角0i-"並且運載成像設備500的車輛 610正沿曲折道路運動。當在圖12A中所示的全景成像模式開始畫面 被顯示的同時快門按鈕181被按下時，成像設備500記錄通過按下快 門按鈕181而拍攝的圖像。在圖14中，假定快門按鈕181在拍攝圖 像記錄位置Pi被按下。當按鈕181被按下時拍攝圖像的成像範圍具有其中心與被攝物表面620在點X"相交的左端或左邊界和其中心與被 攝物表面620在點Xi相交的右端或右邊界，並且水平寬度被定義在點 Xw 、 Xi之間的成像範圍用作第 一拍攝圖像的成像範圍。
假定下一拍攝圖像記錄位置由Pw表示，從拍攝圖像記錄位置 Pi到拍攝圖像記錄位置Pw的距離由Li表示，並且在拍攝圖像記錄位 置Pw處的成像角由6i表示。在拍攝圖像記錄位置Pw處的成像範圍 具有其中心與被攝物表面620在點Xj相交的左端或左邊界和其中心與 #1才聶物表面620在點Xw相交的右端或右邊界，並且水平寬度糹皮定義 在點Xi、 Xw之間的成像範圍用作第二拍攝圖像的成像範圍。
從拍攝圖像記錄位置Pj開始並在拍攝圖像記錄位置P^結束的 線段被稱為具有長度Li的向量Li。從拍攝圖像記錄位置Pi開始並在 點Xi結束的線段被稱為具有長度Fi的向量Fi。從拍攝圖像記錄位置 P^開始並在點Xi結束的線段被稱為具有長度Ri的向量Rj。這些向 量根據下式(2)彼此相關
向量Fj-向量L「向量Ri …(2)
下面將針對xy平面坐標系描述這些向量，該xy平面坐標系具有 在拍攝圖像記錄位置Pi處的原點(O，O)、在與向量Fj對齊的方向上 延伸的y軸、以及在垂直於向量Fi的方向上延伸的x軸。在xy平面
坐標繫上，假定在向量Lj和向量Fi之間形成的角度由cpi表示，並且 在拍攝圖像記錄位置Pi+1處的成像設備500的光軸和向量Fj之間形成 的角度由M/i表示。在拍攝圖像記錄位置Pi+1處的向量Ri和y軸之間形 成的角度由— (e"2)表示。
將這樣在xy平面坐標系上定義的值代入式(2)中，下面的式(3) 得到滿足
(0， Fj) — (LiSincpi， Ljcoscpi)=(國RiSin((9i/2)國vj/j)， RiCos((9i/2) - \^)) ...(3) 長度Lj可以基於從GPS信號處理器510輸出的當前位置信息來 計算。角度cpi、 Vi可以由從陀螺傳感器520輸出的角速度來計算。長 度Fj可以由從被攝物距離計算部130輸出的被攝物距離指定。在式(3 ) 中，長度Ri是未知的。通過利用關於x坐標的式子和關於y坐標的式子來從式(3)中消除長度Ri，下面的式(4)得到滿足
LjSin(pi x cos(V|/i - (9乂2)) + (Fj國LjCos(pi) x sin(\|/i — (9"2)) = 0 …(4) 拍攝圖像記錄命令部530利用滿足式(4)的距離Li和成像角0i 來確定記錄拍攝圖像的定時。由於式U)包括兩個變量Li、 0i，因此 這些變量中的一個需要在確定記錄拍攝圖像的定時時是恆定的。如果 從前一拍攝圖像記錄位置Pj到下一拍攝圖像記錄位置Pw的距離Lj 是恆定的(Lw = Li)，則噹噹前位置已到達由恆定距離Lj表示的位 置時，拍攝圖像記錄命令部530將成像角6i設置為滿足式(4)的值。 拍攝圖像記錄命令部530向記錄控制器540輸出記錄拍攝圖像的命 令，並且還輸出所設置的成像角0i。如果成像角0i是恆定的(= 0i)， 則噹噹前位置已到達由滿足式(4)的距離Lj表示的位置時，拍攝圖 像記錄命令部530向記錄控制器540輸出記錄拍攝圖像的命令，並且
還輸出恆定的成像角6i。在後續的拍攝圖像記錄位置Pi+2、 Pw...處記
錄拍攝圖像的定時可以類似地確定。
如果成像設備500直線運動，則6i = e，化=n/2 - e/2，並且vi/i =
-6/2。通過將這些值代入式(4)中，式(4)變得等於式(1)。因此， 圖14中所示的例子可適用於成像設備500直線運動的情形。
下面將參考圖15描述根據本實施例的成像設備500的操作。 圖15是由根據本實施例的成像設備500執行的全景圖像記錄處 理的處理序列的流程圖。作為對圖8中所示的處理序列的修改，圖15 中所示的處理序列包括與圖8中所示相同的步驟S901至S906、S908， 並且還包括根據本實施例的S921、 S922、 S923。那些相同步驟將不在 下面詳細描述。根據圖15中所示的處理序列，假定成像角是恆定的。 如果當前時刻不緊接在成像開始按鈕被按下的時刻之後(步驟 S904中的否)，則拍攝圖像記錄命令部530基於從被攝物距離計算部 130輸出的被攝物距離、從GPS信號處理器510輸出的位置信息以及 從陀螺傳感器520輸出的角速度，來確定當前位置是否已到達滿足式 (4)的位置。如果當前位置已到達滿足式(4)的位置(步驟S921 中的是)，則控制進行到步驟S905。如果當前位置還未到達滿足式(4 )的位置(步驟S921中的否)， 則GPS信號處理器510獲取位置信息(步驟S922 )，並且陀螺傳感 器520獲取角速度(步驟S923 )。
圖16是由根據本實施例的成像設備500執行的另一種全景圖像 記錄處理的處理序列的流程圖。作為對圖15中所示的處理序列的修 改，圖16中所示的處理序列包括與圖15中所示相同的步驟S901至 S904、 S卯6、 S908、 S922、 S923，並且還包括4艮據本實施例的S931、 S932、 S933。那些相同步驟將不在下面詳細描述。根據圖16中所示 的處理序列，假定從前一拍攝圖像記錄位置到下一拍攝圖像記錄位置 的距離是恆定的。
如果當前時刻不緊接在成像開始按鈕被按下的時刻之後(步驟 S904中的否)，則拍攝圖像記錄命令部530基於從GPS信號處理器 510輸出的位置信息來確定當前位置是否已到達由恆定距離表示的位 置。如果當前位置已到達由恆定距離表示的位置(步驟S931中的是)， 則拍攝圖像記錄命令部530基於從被攝物距離計算部130輸出的被攝 物距離和從陀螺傳感器520輸出的角速度來設置滿足式(4)的成像 角(步驟S932)。然後，記錄控制器540基於所設置的成像角來確定 對拍攝圖像的記錄範圍，並且將所確定的記錄範圍中的拍攝圖像記錄 在圖像存儲裝置200中(步驟S933 )。如果當前時刻緊接在成像開始 按鈕被按下的時刻之後(步驟S904中的是)，則記錄控制器540基 於所設置的成像角來確定對拍攝圖像的記錄範圍，並且將所確定的記 錄範圍中的拍攝圖像記錄在圖像存儲裝置200中(步驟S933)。如果 當前位置還未到達由恆定距離表示的位置(步驟S931中的否)，則
控制進行到步驟S922。
如果車輛被用作使成像設備(該成像設備記錄拍攝圖像以生成全
景圖像)運動的運動裝置，則由於車輛運動的道路上的表面不規則性， 車輛易於垂直振動。另外，成像設備在被用戶手持時可能沿其光軸振 動。下面將描述針對成像設備的振動或微小運動校正拍攝圖像以生成 適當的全景圖像的處理。
25圖17是根據本發明另一個實施例的成像設備700的功能配置的 框圖。作為對圖11中所示的成像設備500的修改，成像設備700與 成像設備500的不同之處在於它包括記錄控制器730來取代記錄控制 器540，並且還具有加速度傳感器710。成像設備700中與圖11所示 的成像設備500相同的那些部分將不在下面詳細描述。下面將主要描 述成像設備700中與成像設備500不同的那些部分的細節。
陀螺傳感器520將檢測到的角速度輸出到拍攝圖像記錄命令部 530和記錄控制器730。陀螺傳感器520用作權利要求中的振動檢測 器的例子。
加速度傳感器710包括用於檢測沿彼此正交的三個軸的加速度 (每單位時間的速度改變)的加速度傳感器。加速度傳感器710將檢 測到的加速度輸出到記錄控制器730。加速度傳感器710用作權利要 求中的振動檢測器的例子。
當記錄控制器730被拍攝圖像記錄命令部530命令記錄拍攝圖像 時，記錄控制器730將在記錄控制器730被命令記錄時從成像器112 輸出的拍攝圖像記錄在圖像存儲裝置200中。當要記錄拍攝圖像時， 記錄控制器730基於從陀螺傳感器520輸出的角速度和從加速度傳感 器710輸出的加速度來校正拍攝圖像，並且將校正後的拍攝圖像記錄 在圖像存儲裝置200中。下面將參考圖18至21描述校正拍攝圖像的 處理的細節。記錄控制器730用作權利要求中的校正器的例子。
首先，下面將參考圖18詳細描述成像設備700圍繞與其光軸交 叉的水平軸轉動或振蕩的拍攝圖像校正處理。在圖18至20中，成像 設備700使其右側面對觀看者，並且被攝物表面800是諸如山腰之類 的傾斜表面。
圖18是示出在成像設備700圍繞與其光軸交叉的水平軸轉動或 振蕩時要執行的拍攝圖像校正處理的示意圖。在圖18中，假定拍攝 圖像被以成像角co記錄，成像角co小於表示可成像範圍的視角Q。轉動 之前的成像設備700由虛線表示，並且轉動之後的成像設備700由實 線表示。被攝物表面800上的某一點(從成像設備700直到該點的距離被測量)被稱為測距點。在成像設備700轉動之後不執行拍攝圖像 校正處理的情況下所預測的測距點由Si指示。
當成像設備700在由箭頭810指示的方向上轉動經過角度"時， 記錄控制器730在抵消角度ti的方向上校正拍攝圖像。角度ri可以被陀 螺傳感器520檢測。換句話說，即使當成像設備700在由箭頭810指 示的方向上轉動經過角度Ti時，通過利用校正角Ti校正拍攝圖像，也可 以在與成像設備700轉動之前一樣的垂直記錄範圍中記錄拍攝圖像。
下面將參考圖19詳細描述成像設備700垂直運動時的拍攝圖像 校正處理。
圖19是示出在成像設備700垂直運動或振蕩時要執行的拍攝圖 像校正處理的示意圖。在圖19中，假定拍攝圖像被以成像角(D記錄。 運動之前的成〗象設備700由虛線表示，並且運動之後的成係^殳備700 由實線表示。成像設備700運動之前的測距點由S"指示。在成像設 備700運動之後但不執行拍攝圖像校正處理的情況下所預測的測距點 由Sj指示。
如圖19所示，成像設備700向下運動距離h，從位置Pw運動到 位置Pi。為了校正垂直偏移，通過基於測距點Sw校正垂直偏移，可 以確定校正角。
假定在成像設備700運動之前的位置Pw處相對於測距點Sw的 垂直角y"是預設的。在成像設備700運動之前的位置Pw處的被攝物 距離d由成像器112確定。距離h可以由加速度傳感器710檢測。 從測距點Sw平行於光軸延伸的直線與穿過位置Pw的垂直直線相交 的點由Qw表示。直線SwQ"和直線Q"Pi由下面的式(5) 、 (6) 確定
Si'iQi-i = fi-i x sinyw …(5 )
QwP廣h + Q"P" = h-fw x cos^... ( 6 ) 由於對於三角形SwQwPi滿足tan(n-Yi)-SwQw/QwPi，因此角 度yi由下式確定
yi = II - tan"(S"Qi—i/Q"Pi)=IT畫taiT {(fw x siir/i—J/(h - ^ x cosyw)} 利用這樣確定的角度yi，校正角T!根據下式(7)來確定
=IT - tan,(fi" x sinyw)/(h - x cosy")} -... ( 7 )
通過利用這樣確定的校正角"校正拍攝圖像，可以在與成像設備
700運動之前一樣的垂直記錄範圍中記錄拍攝圖像。
下面將描述成像設備700沿其光軸輕微運動時的拍攝圖像校正處理。
圖20是示出在成像設備700沿其光軸運動或振蕩時要執行的拍 攝圖像校正處理的示意圖。在圖20中，假定成像設備700以成像角 cow記錄拍攝圖像。運動之前的成像設備700由虛線表示，並且運動 之後的成像設備700由實線表示。成像設備700的測距點由Sw表示。 在該拍攝圖像校正處理中，校正角是利用近似公式計算的。
如圖20所示，成像設備700沿光軸從位置Pw到位置Pi運動距 離L。為了校正沿光軸的偏移，通過基於測距點Sw校正沿光軸的偏 移，可以確定校正角。
假定成像設備700運動之前的位置Pw與測距點S"之間的連線 相對於光軸的角度Sw是預設的。在成像設備700運動之前的位置 處的被攝物距離d由成像器112確定。從測距點Sm向下延伸的直幾 與沿光軸延伸並且穿過位置P"、 Pi的直線相交的點由T"表示。三角 形SmTw Pj相對於5i滿足下面的式(8):
tan5j = fw x sin5w + (f^ x cos5i—i - …(8 )
如果被攝物表面800的梯度接近垂直並且(Oi的改變(Aro = i -①w)和Si的改變是足夠小的值，則下面的近似公式得 到滿足
①i = coj—i x (5i/5j.i)
利用以上近似公式，在成1象設備700移動之後成像設備700的成 像角Q)i根據下式(9)來計算
C0i = cow x [tan-1{fi—i x sin5"i + (fui x cos5j—丄畫... ( 9 )通過利用這樣確定的成像角COi校正拍攝圖像，可以在與成像設備
700移動之前一樣的垂直記錄範圍中記錄拍攝圖像。
上面已參考圖18至20描述了三種拍攝圖像校正處理。這些拍攝 圖像校正處理可以同時執行，並且可以與其他拍攝圖像校正處理相組 合，或者其他拍攝圖像校正處理可以被執行來針對成像設備700的振 動或微小運動校正拍攝圖像。
圖21是示出要由成像設備700的記錄控制器730校正的拍攝圖 像的示意圖。在圖21中，全景圖像是利用相繼記錄的三幅拍攝圖像 生成的。記錄控制器730在小於可成像範圍831的記錄範圍841中記 錄第一拍攝圖像。在下一拍攝圖像記錄位置中，成像設備700向下運 動，如圖19所示。記錄控制器730隨後使由通常成像角指定的記錄 範圍852在可成像範圍832中移動一校正距離H12，並且在記錄範圍 842中記錄拍攝圖像。在下一拍攝圖像記錄位置中，成像設備700向 上運動。記錄控制器730隨後使由通常成像角指定的記錄範圍853在 可成^f象範圍833中移動一校正距離H13，並且在記錄範圍843中記錄 拍攝圖像。
即使當向成像設備700施加振動時，成像設備700也可以根據以 上校正處理校正拍攝圖像，以在拍攝圖像的上端和下端處對準區域的 接合點。
下面將參考圖22描述根據本實施例的成像設備700的操作。 圖22是由成像設備700執行的全景圖像記錄處理的處理序列的 流程圖。作為對圖15中所示的處理序列的修改，圖22中所示的處理 序列包括與圖15中所示相同的步驟S901至S906、S908、S921至S923， 並且還包括根據本實施例的步驟S941。那些相同步驟將不在下面詳細 描述。
如果當前時刻緊接在成像開始按鈕被按下的時刻之後(步驟 S904中的是)，或者當前位置已到達滿足式(4)的位置(步驟S921 中的是)，則拍攝圖像記錄命令部530向記錄控制器730輸出記錄拍 攝圖像的命令。記錄控制器730基於從陀螺傳感器520輸出的角速度
29和從加速度傳感器710輸出的加速度來校正由成像器112生成的拍攝 圖像(步驟S941)。然後，記錄控制器730在圖像存儲裝置200中記 錄校正後的拍攝圖像(步驟S905)。
如上所述，根據本發明的實施例，為了生成全景圖像，相繼記錄 沒有重疊區域的拍攝圖像，而無需諸如修剪之類的圖像處理。因此， 可以快速地記錄全景圖像，而無需任何特殊的圖像處理。由於全景圖 像是利用所有記錄的拍攝圖像顯示的，因此防止了圖像數據的浪費。 此外，如果一系列拍攝圖像要顯示為全景圖像，則它們可以簡單地通 過按記錄順序來顯示而被顯示為全景圖像。因此，可以簡單地顯示全 景圖像，而無需任何特殊的圖像處理。因而減輕了記錄和顯示全景圖 像的處理負擔。小尺寸數位照相機、蜂窩電話等可以生成全景圖像， 而無需任何裝置來執行特殊的圖像處理。如果在圖像存儲裝置200中 被記錄為全景圖像的拍攝圖像例如要由個人計算機來顯示，則個人計 算機可以簡單地顯示全景圖像，而無需任何裝置來執行特殊的圖像處 理。
在本發明的實施例中，車輛被描述為用於使成像設備運動的運動 裝置。然而，成像設備可以通過諸如火車等的運動裝置來運動。或者， 成像設備可以通過諸如在無線控制下的無線電操控車等的運動裝置 來運動。
在本發明的某些實施例中，成像設備利用GPS信號處理器作為 當前位置獲取部。相反，GPS信息可以從運載成像設備的車輛所帶的 車載導航系統等獲取。陀螺傳感器被用作用於檢測成像設備的角位移 的設備。然而，諸如地磁傳感器之類的傳感器也可用作這種設備。
在本發明的實施例中，被攝物距離由被攝物距離計算部130根據 三角測量測距處理的原理來計算。如果成像設備運動的速度足夠低， 則被攝物距離可以根據AF (自動聚焦)測距處理來測量。具體而言， 為了記錄拍攝圖像，成像設備根據AF處理被聚焦在拍攝圖像的中心 位置，並且緊挨著拍攝圖像被記錄之前或之後，根據AF處理來計算 用於計算拍攝圖像記錄位置的被攝物距離。本發明的原理可適用於諸如可攜式攝像機(相機和記錄器)、具 有成像器的蜂窩電話等的成像設備。
儘管已示出並詳細描述了本發明的某些優選實施例，但是應當理 解，可以進行各種改變和修改，而不脫離權利要求的範圍。
根據本發明實施例的每種處理序列可以實現為用於執行該處理 序列的方法、用於使計算機能夠執行該處理序列的程序、或者存儲這
種程序的記錄介質。記錄介質可包括CD (緻密盤)、MD (迷你盤)、 DVD (數字多功能盤)、存儲卡、藍光光碟(Blu-ray Disc，註冊商
標)，等等。
本申請包含與在2008年4月10日向日本專利局提交的日本在先 專利申請JP 2008-102942中公開的內容有關的主題，該申請的全部內 容通過引用結合於此。
權利要求
1.一種成像設備，包括成像器，被配置為對被攝物成像以生成該被攝物的拍攝圖像；被攝物距離計算部，被配置為計算距所述被攝物的被攝物距離；拍攝圖像記錄命令部，被配置為基於當前位置和所述被攝物距離給出記錄所述拍攝圖像的記錄命令；以及記錄控制器，被配置為基於所述記錄命令來記錄所述拍攝圖像。
2. 如權利要求1所述的成像設備，還包括拍攝圖像記錄位置計算部，被配置為基於所述被攝物距離計算拍 攝圖像記錄位置，該位置是在記錄所述拍攝圖像之後記錄由所述成像 器生成的第二拍攝圖像的位置；其中當所述成像設備到達所述拍攝圖像記錄位置時，所述拍攝圖 像記錄命令部給出記錄第二拍攝圖像的記錄命令。
3. 如權利要求2所述的成像設備，還包括行進距離獲取部，被配置為獲取所述成像設備在特定方向上的行 進距離，其中所述被攝物距離計算部計算距所述拍攝圖像中包括的被攝物在 所述特定方向上的端部的距離，作為所述被攝物距離，所述拍攝圖像記錄位置計算部基於所述被攝物距離計算所述特 定方向上的所述拍攝圖像記錄位置，並且所述拍攝圖像記錄命令部基於所獲取的行進距離來確定所述成 像設備是否到達所述拍攝圖像記錄位置，並且在所述成像設備到達所 述拍攝圖像記錄位置的情況下給出記錄第二拍攝圖像的記錄命令。
4. 如權利要求2所述的成像設備，還包括 當前位置獲取部，被配置為獲取所述成像設備在特定方向上的當前位置，其中所述被攝物距離計算部計算距所述拍攝圖像中包括的被攝物在 所述特定方向上的端部的距離，作為所述被攝物距離，所述拍攝圖像記錄位置計算部基於所述被攝物距離計算所述特 定方向上的所述拍攝圖像記錄位置，並且如果所獲取的當前位置到達所述拍攝圖像記錄位置，則所述拍攝 圖像記錄命令部給出記錄第二拍攝圖像的記錄命令。
5. 如權利要求l所述的成像設備，還包括 當前位置獲取部，被配置為獲取所述當前位置；以及角位移檢測器，被配置為檢測所述成像設備圍繞其垂直軸的角位 移，其中所述被攝物距離計算部計算距所述拍攝圖像中包括的被攝物在 特定方向上的端部的距離，作為所述被攝物距離，所述拍攝圖像記錄命令部基於所獲取的當前位置和檢測到的角 位移，給出在記錄所述拍攝圖像之後記錄由所述成像器生成的第二拍 攝圖像的記錄命令。
6. 如權利要求5所述的成像設備，其中所述拍攝圖像記錄命令 部使成像角恆定，該成像角是指定拍攝圖像的記錄範圍的角度，並且 如果所獲取的當前位置到達基於所述被攝物距離和檢測到的角位移 確定的記錄所述第二拍攝圖像的位置，則所述拍攝圖像記錄命令部給 出記錄第二拍攝圖像的記錄命令。
7. 如權利要求5所述的成像設備，其中所述拍攝圖像記錄命令 部使記錄所述第二拍攝圖像的拍攝圖像記錄位置恆定，並且如果所獲 取的當前位置到達所述拍攝圖像記錄位置，則基於所述被攝物距離和 檢測到的角位移確定用於指定拍攝圖像的記錄角度的成像角，並且給 出在由所確定的成像角指定的記錄範圍中記錄第二拍攝圖像的記錄命令。
8. 如權利要求1所述的成像設備，還包括 振動檢測器，被配置為檢測所述成像設備的振動；以及 校正器，被配置為基於檢測到的振動來校正拍攝圖像的垂直記錄範圍。
9. 如權利要求1所述的成像設備，還包括顯示控制器，被配置為按記錄的順序將拍攝圖像顯示為全景圖像。
10. —種記錄拍攝圖像的方法，包括以下步驟 對被攝物成像以生成該被攝物的拍攝圖像；計算距所述被攝物的被攝物距離；基於所述被攝物距離給出記錄所述拍攝圖像的記錄命令；以及 基於所述記錄命令來記錄所述拍攝圖像。
11. 一種用於使計算機能夠執行包括以下步驟的處理序列的程序對被攝物成像以生成該被攝物的拍攝圖像； 計算距所述被攝物的被攝物距離；基於所述被攝物距離給出記錄所述拍攝圖像的記錄命令；以及 基於所述記錄命令來記錄所述拍攝圖像。
全文摘要
本發明公開了一種成像設備、拍攝圖像記錄方法和程序。該成像設備包括被配置為對被攝物成像以生成其拍攝圖像的成像器、被配置為計算距被攝物的被攝物距離的被攝物距離計算部、被配置為基於當前位置和被攝物距離給出記錄拍攝圖像的記錄命令的拍攝圖像記錄命令部、以及被配置為基於記錄命令來記錄拍攝圖像的記錄控制器。
文檔編號G01C3/32GK101557471SQ200910133050
公開日2009年10月14日 申請日期2009年4月2日 優先權日2008年4月10日
發明者小林大善 申請人:索尼株式會社