成像設備和成像結果處理方法
2023-06-04 08:30:26
專利名稱：成像設備和成像結果處理方法
技術領域：
本發明涉及成像設備(例如數碼攝像機)以及成像結果處理方法。更具體地，發明涉及一種成像設備和一種成像結果處理方法，其中，能夠基於由運動檢測器(例如角速度檢測器或加速度檢測器)獲得的關於成像設備的運動的信息，對成像結果進行處理，使得即使背景由於移動鏡頭或俯仰拍攝而移動，也能夠容易和可靠地檢測對象，從而能夠執行各種處理操作。
背景技術：
在一些已知的記錄/再生裝置中，例如光碟驅動器，通過檢測場景的變化形成代表圖像，使找出場景開頭的操作可基於代表圖像而得到簡化。舉例來說，日本未審查專利申請公開第9-182019號中披露了一種典型的場景變化檢測方法。在該方法中，通過使用運動向量檢測技術來檢測各幀中的運動，並基於運動檢測結果生成代表圖像。從而，即使圖像漸顯或漸隱，也能可靠地檢測出場景的改變。
有些記錄/再生裝置能處理由成像設備拍攝的運動圖像文件，並具有基於從例如加速度檢測器或角速度檢測器的運動檢測器獲得的檢測結果來校正運動模糊的功能。並且，已經提出了通過使用各種運動向量對從例如監控攝像機的成像設備獲得的成像結果進行處理的方法。具體來說，通過使用運動向量來從成像結果檢測例如人等的對象，並跟蹤檢測到的對象。
發明內容
在通過使用運動向量來檢測對象的已知方法中，如果背景由於移動鏡頭和俯仰拍攝而移動，將很難容易和可靠地檢測出對象。
因此，希望提供一種成像設備和成像結果處理方法，這樣，即使背景由於移動鏡頭和俯仰拍攝而移動，也能夠通過容易和可靠地檢測對象來執行各種處理操作。
根據本發明的實施例，提供了一種用於將成像結果記錄在記錄介質上的成像設備，包括成像裝置，用於獲得成像結果；光學系統，用於在成像裝置的成像平面上形成光學圖像；第一運動檢測裝置，用於檢測成像設備的運動，以輸出檢測結果；以及記錄裝置，用於將成像結果與檢測結果一起記錄在記錄介質上。
通過這種結構，當對記錄在記錄介質上的成像結果進行再生時，能夠根據記錄在記錄介質中的檢測結果檢測出成像設備的運動，從而檢測背景的運動。因此，成像結果中各個部分的運動可通過使用背景的運動來進行校正，從而能夠檢測出各個部分相對於背景的相對運動。因此，即使背景由於移動鏡頭和俯仰拍攝而移動，也能夠在假設背景處於靜止的情況下檢測出對象的移動。這樣，能夠簡單和可靠地檢測對象，並能執行各種操作。
根據本發明的另一實施例，提供了一種用於獲得成像結果的成像設備，包括成像裝置，用於獲得成像結果；光學系統，用於在成像裝置的成像平面上形成光學圖像；第一運動檢測裝置，用於檢測成像設備的運動，以輸出檢測結果；第二運動檢測裝置，用於檢測成像結果中各個部分的運動；以及運動校正裝置，用於通過使用檢測結果校正由第二運動檢測裝置所檢測的成像結果中各個部分的運動，以檢測成像結果中各個部分相對於背景的相對運動。
根據本發明的另一個實施例，提供了一種對從成像設備獲得的成像結果進行處理的方法，該成像設備用於將成像結果記錄在記錄介質上，該方法包括以下步驟檢測成像設備的運動，以輸出檢測結果；以及將檢測結果與成像結果一起記錄在記錄介質上。
根據本發明的另一個實施例，提供了一種對從成像設備獲得的成像結果進行處理的方法，包括以下步驟檢測成像設備的運動，以輸出檢測結果；檢測成像結果中各個部分的運動；以及通過使用檢測結果校正成像結果中各個部分的運動，以檢測成像結果中各個部分相對於背景的相對運動。
根據本發明的實施例，即使背景由於移動鏡頭和俯仰拍攝而移動，也能夠簡單和可靠地檢測到對象，並執行各種操作。
圖1示出了由根據本發明第一實施例的成像設備的中央處理微機執行的處理的流程圖；圖2示出了本發明第一實施例的成像設備的框圖；圖3示出了作為圖1所示處理的結果所獲得的相對運動的例子的平面圖；圖4示出了作為圖1所示處理的結果所獲得的相對運動的另一個例子的平面圖；
圖5示出了由中央處理微機執行的電子變焦處理的例子的流程圖；圖6示出了由中央處理微機執行的電子變焦處理的另一個例子的流程圖；圖7示出了圖6所示處理中設置區域的平面圖；圖8示出了圖6所示處理中的相對運動的平面圖；圖9示出了圖6所示處理中檢測對象的平面圖；圖10示出了圖6所示處理中移動框的平面圖；以及圖11示出了由根據本發明第三實施例的成像設備的中央處理微機執行的處理的流程圖。
具體實施例方式
下面，參考附圖詳細描述本發明的實施例。
第一實施例圖2示出了根據本發明第一實施例的成像設備1的框圖。成像設備1是數碼攝像機，它響應於用戶的操作，將運動圖像和靜止圖像等成像結果記錄在記錄介質上，或再生記錄於記錄介質上的成像結果。
在成像設備1中，通過在像機控制微機3的控制下改變放大率或變焦，鏡頭2匯聚光線，從而在成像裝置4的成像平面上形成光學圖像。
成像裝置4包括電荷耦合器件(CCD)固態成像元件、互補金屬氧化物半導體(CMOS)固態成像元件等，對形成於成像平面上的光學圖像進行光電轉換，以輸出運動或靜止圖像等成像結果。在第一實施例中，鏡頭2構成用於在成像裝置4的成像平面上形成光學圖像的光學系統。
模數(A/D)轉換器5對從成像裝置4輸出的成像結果進行A/D轉換，以輸出數字圖像數據。在該處理中，當將作為成像結果的運動圖像轉換為圖像數據時，A/D轉換器5分割對應於成像結果的圖像的部分區域，並將經過分割的區域轉換為圖像數據，同時在像機控制微機3的控制下改變要進行分割的部分區域。
角速度傳感器6，例如陀螺傳感器，檢測成像設備1各個方向的角速度，從而提供關於檢測到的角速度的信息。
像機控制微機3響應於來自中央處理微機7的指令改變鏡頭2的放大率，並基於由圖像處理數位訊號處理器(圖像處理DSP)8所檢測的關於聚焦控制和光圈控制的信息來改變鏡頭2的焦距和光圈。響應於中央處理微機7發出的校正成像結果的運動模糊(motionblurring)的指令，像機控制微機3基於由角速度傳感器6檢測出的角速度和鏡頭2的放大率，計算由運動模糊引起的成像結果的偏移，並控制A/D轉換器5的定時，使成像結果的偏移能夠得到校正。通過這種結構，成像設備1可以輸出運動模糊經過校正的動畫圖像數據。代替角速度傳感器6，也可以使用三維加速度傳感器來校正成像結果的運動模糊。同樣，代替分割對應於成像結果的圖像的部分區域，也可以使用光學系統來執行控制，以校正成像結果的運動模糊。
在第一實施例中，像機控制微機3和A/D轉換器5構成運動模糊校正裝置，用於基於從角速度傳感器6獲得的檢測結果來校正成像結果的運動模糊。角速度傳感器6構成運動檢測裝置，用於檢測成像設備1的運動。
像機控制微機3通過從成像結果的幀改變量(基於鏡頭2的放大率和從角速度傳感器6獲得的角速度檢出)中減去由運動模糊引起的成像結果的偏移來檢測成像設備1的運動，並將檢測結果提供給中央處理微機7。對於運動圖像的記錄，如果沒有來自中央處理微機7的校正成像結果的運動模糊的指令，像機控制微機3將基於角速度和鏡頭2的放大率而檢測出的幀改變量，直接提供為成像設備1的運動檢測結果。在這種情況下，幀改變量可以對應於A/D轉換器5中與由運動模糊引起的成像結果的偏移相關聯的採樣數量對應的像素數量的形式通知給中央處理微機7。可選地，幀改變量可以由角速度傳感器6檢測的角速度或鏡頭2的放大率的形式通知。通過這種結構，由於移動鏡頭或俯仰拍攝而引起的背景位移可以被中央處理微機7檢測到。
圖像處理DSP 8在中央處理微機7的控制下切換操作。具體來說，當記錄成像結果時，圖像處理DSP 8從A/D轉換器5接收圖像數據，並對圖像數據執行白平衡調節、γ調節、拐點處理等等，還獲得聚焦調節和光圈調節必要的信息，並將這些信息提供給像機控制微機3。圖像處理DSP 8還將關於運動圖像的圖像數據輸出到運動圖像處理DSP 9，將關於靜止圖像的圖像數據輸出到靜止圖像處理DSP 10，並將動畫圖像數據和靜止圖像數據輸出到數模(D/A)轉換器11。
當再生成像結果時，圖像處理DSP 8將分別從運動圖像處理DSP 9和靜止圖像處理DSP 10中輸出的動畫圖像數據和靜止圖像數據提供給D/A轉換器11。在再生操作過程中，當將動畫圖像數據從運動圖像處理DSP 9輸出到D/A轉換器11時，圖像處理DSP 8響應於來自中央處理微機7的指令，通過使用內部存儲器12對成像結果執行處理，這將在下面論述。
D/A轉換器11對圖像處理DSP 8輸出的動畫圖像數據和靜止圖像數據進行D/A轉換，以輸出視頻信號。顯示裝置13是例如液晶顯示裝置的平板顯示裝置，它顯示對應於從D/A轉換器11輸出的視頻信號的圖像。
在如上所述配置的成像設備1中，通過成像裝置4獲得的成像結果能在顯示裝置13上進行監控，同樣，反映成像結果的動畫圖像數據和靜止圖像數據分別在運動圖像處理DSP 9和靜止圖像處理DSP 10中處理，然後記錄。此外，從運動圖像處理DSP 9和靜止圖像處理DSP 10中輸出的圖像數據能在顯示裝置13上監控，換句話說，作為運動圖像和靜止圖像記錄的成像結果能被監控。
靜止圖像處理DSP 10在靜止圖像記錄/再生控制微機14的控制下切換操作。具體來說，當記錄靜止圖像成像結果時，靜止圖像處理DSP 10根據運動圖像專家組(MPEG)方法，通過使用內部存儲器12對從圖像處理DSP 8輸出的圖像數據進行壓縮來生成編碼數據，並將編碼數據輸出到靜止圖像記錄/再生控制微機14。此外，當再生靜止圖像時，靜止圖像處理DSP 10對從靜止圖像記錄/再生控制微機14輸出的編碼數據進行解壓縮，從而將解壓縮數據輸出到圖像處理DSP 8。
靜止圖像記錄/再生控制微機14在中央處理微機7的控制下切換操作，以控制靜止圖像處理DSP 10和靜止圖像記錄接口15的操作。具體來說，當記錄靜止圖像時，靜止圖像記錄/再生控制微機14將從靜止圖像處理DSP 10輸出的編碼數據提供給靜止圖像記錄接口15，然後將編碼數據記錄在靜止圖像記錄介質16上。靜止圖像記錄/再生控制微機14還通過靜止圖像記錄接口15再生記錄在靜止圖像記錄介質16上的各種數據，並將再生出的靜止圖像提供給中央處理微機7。當再生靜止圖像時，靜止圖像記錄/再生控制微機14通過靜止圖像記錄接口15再生來自靜止圖像記錄介質16的目標文件的圖像數據。
靜止圖像記錄接口15是用於靜止圖像記錄介質16的輸入/輸出接口。靜止圖像記錄介質16是記錄介質，例如存儲卡或磁碟，能夠安裝在成像設備1中並能從中取出。靜止圖像記錄介質16記錄從靜止圖像記錄接口15輸出的各種數據或再生記錄在靜止圖像記錄介質16上的各種數據。因此，在如上所述配置的成像設備1中，通過使用靜止圖像記錄介質16來記錄或再生靜止圖像成像結果。
運動圖像處理DSP 9在運動圖像記錄/再生控制微機19的控制下切換操作。具體而言，當記錄運動圖像時，運動圖像處理DSP 9通過MPEG方法對從圖像處理DSP 8輸出的圖像數據進行壓縮來生成編碼數據，並在運動圖像記錄/再生控制微機19的控制下將編碼數據輸出到運動圖像記錄接口20。運動圖像處理DSP 9還將與編碼數據相關的各種數據輸出到運動圖像記錄/再生控制微機19。此外，當再生運動圖像時，運動圖像處理DSP 9基於從運動圖像記錄/再生控制微機19輸出的與編碼數據相關聯的各種數據，對從運動圖像記錄接口20輸出的編碼數據進行解壓縮，並將解壓縮數據輸出到圖像處理DSP 8。
運動圖像記錄接口20是用於運動圖像記錄介質21的輸入/輸出接口。運動圖像記錄介質21是例如存儲卡、磁碟或光碟的記錄介質，能夠安裝在成像設備1中並從中移出。運動圖像記錄介質21記錄從運動圖像記錄接口20輸出的各種數據或再生記錄在運動圖像記錄介質21上的各種數據。
運動圖像記錄/再生控制微機19在中央處理微機7的控制下切換操作，以控制運動圖像處理DSP 9和運動圖像記錄接口20的操作。因此，在如上所述配置的成像設備1中，可以通過使用運動圖像記錄介質21來記錄或再生運動圖像成像結果。
操作單元23將與在設置於成像設備1上的觸摸面板或各種操作器上執行的操作相關的信息提供給中央處理微機7。中央處理微機7是控制成像設備1的所有操作的計算機，它基於從操作單元23提供的與在觸摸面板和各種操作器上執行的操作相關的信息，執行記錄在存儲器(未示出)上的處理程序，從而控制成像設備1的各個部件的操作。雖然在這個實施例中，處理程序已經安裝在成像設備1中，但它也可以通過網絡(如網際網路)下載，或者可以記錄在記錄介質上，如光碟或磁碟。
中央處理微機7響應於用戶對電源執行的操作為成像設備1加電。中央處理微機7也響應於用戶的操作控制全部的操作，使動畫圖像數據和靜止圖像數據能分別獲得並記錄在運動圖像記錄介質21和靜止圖像記錄介質16上。當將動畫圖像數據記錄在運動圖像記錄介質21上時，中央處理微機7將包含在成像結果中並從像機控制微機3中獲得的成像設備1的運動檢測結果輸出到運動圖像記錄/再生控制微機19，同時將運動檢測結果與動畫圖像數據一起記錄在運動圖像記錄介質21上。在如上所述配置的成像設備1中，可以記錄下由於移動鏡頭和俯仰拍攝產生的背景的運動量，並在再生圖像數據時用於各種目的。如果運動圖像記錄介質21是光碟，例如數字通用光碟(DVD)，運動量可能被記錄在如視頻對象單元(VOB)的預定區域。具體地說，運動量可以記錄在附加記錄信息包(ARI PCK)中。附加記錄信息包是一種構成視頻對象單元的包，能夠存儲附加信息。視頻對象單元除了附加記錄信息包以外，包括用於存儲視頻數據的視頻包、用於存儲聲音數據的聲音包等等。因此，在第一實施例中，運動圖像記錄接口20構成將由像機控制微機3所檢測的運動檢測結果與成像結果一起記錄在運動圖像記錄介質21上的記錄裝置，也構成了用於再生記錄在運動圖像記錄介質21上的運動檢測結果和成像結果的再生裝置。
響應於用戶發出的再生成像結果的指令，中央處理微機7控制成像設備1的各個部件的操作，使得記錄在靜止圖像記錄介質16上的靜止圖像和記錄在運動圖像記錄介質21上的運動圖像能夠在顯示裝置13上再生和顯示。
響應於在再生操作期間用戶發出的用於生成確定場景開頭的索引圖像的指令，根據圖1流程圖所示的處理，通過檢測場景的變化來順序生成索引圖像。
具體來說，中央處理微機7從圖1中的步驟SP1進行到SP2。在步驟SP2中，中央處理微機7控制整體操作，使記錄在運動圖像記錄介質21上的成像結果依次再生。具體而言，中央處理微機7控制運動圖像處理DSP 9對成像結果進行解壓縮，並指示圖像處理DSP 8處理由運動圖像處理DSP 9解壓縮的成像結果。然後圖像處理DSP 8以宏塊(macroblock)為單位，從運動圖像記錄介質21上再生的成像結果中順序檢測運動向量，並將關於所檢測的運動向量的信息提供給中央處理微機7。因此，在第一實施例中，圖像處理DSP 8形成運動檢測裝置，用於檢測從記錄介質中再生的成像結果中各個部分的運動。如果通過減少成像結果的採樣數量來檢測運動向量，必要的話可使處理簡化，例如，針對每預定數量的宏塊離散地檢測運動向量。
以這種方式，中央處理微機7順序地檢測記錄在運動圖像記錄介質21上的成像結果中各個部分的運動。然後，在步驟SP3中，中央處理微機7將圖像處理DSP 8所檢測的運動向量中減去從運動圖像記錄介質21中再生的運動檢測結果。記錄在運動圖像記錄介質21上的運動檢測結果表示成像設備1的運動。因此，如圖3所示，在減去運動檢測結果之後，所得到的運動表示靜止背景中的運動Vh。從而，中央處理微機7通過使用從記錄介質中再生的運動檢測結果，校正由圖像處理DSP 8所檢測的成像結果中各個部分的運動，然後檢測出成像結果中各個部分相對於靜止背景的相對運動。通過這種配置，例如，如圖3所示，當成像設備1正移動鏡頭來跟蹤車輛的運動時，背景的運動幾乎為0，並可檢測出車輛的運動VO。從而，能夠檢測出好像在靜止背景中移動的對象的運動。
中央處理微機7以幀為單位累加各個部分相對於靜止背景的相對運動，並計算幀之間的差(幀間差)，從而檢測幀之間運動量的改變。中央處理微機7確定幀間差是否大於預定的閾值，以檢測運動不連續的幀，從而確定場景的開頭。當以幀為單位累加運動時，成像結果中各個部分的相對運動在累加之前可轉換為絕對值。可選地，僅累加特定的採樣點(例如，具有最大運動的部分)。此外，基於先前的幀間差，或基於連續幀間差是否能夠由線性曲線或二次方程曲線來近似，可以檢測到運動的劇烈改變。
然後，在步驟SP4中，中央處理微機7確定是否檢測到運動的不連續。如果在步驟SP4中沒有發現不連續，處理返回到步驟SP2。如果在步驟SP4中發現不連續，那麼處理前進到步驟SP5。在步驟SP5中，中央處理微機7控制整體操作，使檢測出的場景改變開頭幀能夠以與原始運動圖像文件的時間信息相關聯的縮略圖像的形式，記錄在運動圖像記錄介質21上，從而生成索引圖像。然後，中央處理微機7返回到步驟SP2並開始處理後續的幀。
在成像設備1中，顯示裝置13上顯示一列生成的索引圖像，並響應於用戶對索引圖像的選擇，能夠從所選擇索引圖像的記錄位置的開頭再生記錄在運動圖像記錄介質21上的運動圖像文件。因此，在成像設備1中，能夠簡化用戶再生操作的一系列處理。
在第一實施例中，中央處理微機7形成圖像處理裝置，用來基於成像結果中各個部分相對於背景的相對運動的改變生成索引縮略圖像。
響應於用戶對圖像文件執行變焦處理的指令，中央處理微機7控制整體操作，使用戶指定的運動圖像文件從運動圖像記錄介質21中順序地再生，並在顯示裝置13上顯示。在此處理中，以類似於生成索引圖像的方式，檢測出成像結果中各個部分相對於背景的相對運動，從而從各幀的運動分布中檢測出成像結果中的對象。然後，中央處理微機7給出執行電子變焦操作的指令，使所檢測的對象能夠以矩形形狀分割，並顯示在顯示裝置13的整個屏幕上。
例如，在圖3中，當拍攝移動的車輛時，車體持續相同的運動。與此對照，輪胎的運動則通過將輪胎的旋轉疊加在車輛的運動上檢測。背景的運動幾乎為0。在圖4中，當正面拍攝打高爾夫球的人時，發現高爾夫球桿的大的運動，並根據高爾夫球桿的運動發現打高爾夫球的人的運動。背景的運動也幾乎為0。
如果用戶發出對對象執行電子變焦操作的指令，中央處理微機7確定各宏塊中的相對運動是否大於預定的閾值，以檢測具有運動的宏塊。
圖5示出了由中央處理微機7執行的電子變焦處理。中央處理微機7從步驟SP11前進到步驟SP12，在該步驟中，圖像處理DSP8檢測各宏塊的運動向量。然後，在步驟SP13中，通過使用從運動圖像記錄介質21再生的運動檢測結果校正所檢測的運動向量，然後，檢測成像結果中各個部分相對於背景的相對運動。然後，在步驟SP14中，中央處理微機7確定各個部分的相對運動是否大於預定的閾值，以檢測具有運動的宏塊。
在步驟SP15中，中央處理微機7指示圖像處理DSP 8通過顯示裝置13的顯示屏的高寬比執行電子變焦操作，使得具有運動的宏塊的左邊緣和右邊緣與顯示裝置13顯示屏的左邊緣和右邊緣匹配，如圖3中F所示，或者具有運動的宏塊的上邊緣和下邊緣與顯示裝置13顯示屏的上邊緣和下邊緣匹配，如圖4中F所示。然後，中央處理微機7返回到步驟SP12，並開始處理後續的幀。並不是總需要通過顯示裝置13顯示屏的高寬比執行電子變焦操作，也不總是具有運動的宏塊的垂直和水平尺寸必須與顯示裝置13顯示屏的垂直和水平尺寸匹配。
響應於在用戶指定的區域上執行電子變焦操作的指令，中央處理微機7執行圖6中流程圖所示的處理。中央處理微機7從步驟SP21前進到SP22。中央處理微機7首先在顯示裝置13上顯示由用戶指定的運動圖像文件的開頭場景。如果用戶給出確定特定場景的開頭的指令，則顯示出該場景的開頭，而不是運動圖像文件的開頭場景。然後中央處理微機7收到關於目標對象進行電子變焦操作的指令。例如，通過操作設置在顯示裝置13上的觸摸面板，在對象周圍輸入一個矩形區域(如圖7中F所示)，中央處理微機7收到指令。在這種情況下，可以通過手指指定對象的一個點來給出指令，然後，中央處理微機7在手指指定的點周圍生成矩形區域，然後執行後續的處理。
然後，在步驟SP23中，中央處理微機7指示圖像處理DSP 8將顯示幀設置為參考幀，然後檢測後續幀的運動向量。然後，在步驟SP24中，中央處理微機7通過使用從運動圖像記錄介質21中再生的運動檢測結果來校正所檢測的運動向量，從而檢測出相對運動量。相應地，中央處理微機7可以將在後續幀中顯示在顯示裝置13上的幀的各個部分向哪個方向移位確定為相對於背景的相對運動。
然後，在步驟SP25中，中央處理微機7根據所檢測的相對運動來檢測用戶指定的矩形區域的運動，然後通過統計處理矩形區域的運動來檢測對象的運動。更具體地，如圖7所示，當用戶從由成像設備1所拍攝的呈現各種運動的人物中指定特定人物的對象時，人物的運動反映包括該人物的宏塊的運動，在這種情況下，如圖7中箭頭A所示，可以確定人物基本上從右上部移動到左下部。相反，包含在上述目標人物周圍的框(frame，或稱「畫面」)F中的另一對象呈現出不同於目標人物運動的運動，也就是，如箭頭B所示的從左到右的運動。因此，在步驟SP25中，如圖8所示，中央處理微機7將在那個區域所檢測的相對運動中最大的運動確定為用戶指定的運動，並將最大的運動設置為運動標準。可選地，還有其他設置運動標準的方法。例如，根據運動的方向收集在由用戶指定的區域內所檢測的運動，然後，確定最頻繁檢測到的運動方向。然後，計算該檢測方向上的運動的平均值，並用作運動標準。
隨後，在步驟SP26中，中央處理微機7確定在由用戶指定的區域中所檢測的各個部分的運動向量是否與運動標準相似，以檢測出包含目標對象的區域。在這種情況下，檢測出具有與運動標準相似的運動的宏塊。
在步驟SP27中，中央處理微機7指示圖像處理DSP 8對步驟SP26中所檢測的區域執行類似於參考圖5描述的電子變焦操作。然後，在步驟SP28中，如圖9和圖10所示，中央處理微機7以運動標準所表示的運動量來移動框F。與檢測相對運動不同，框F以下面的方式移動使用背景的運動來校正運動標準，然後，計算成像結果的實際運動，然後基於算出的實際運動來移動框F。結果，如圖10所示，中央處理微機7能夠將框F移到對象預計在後續幀中的位置。然後中央處理微機7返回到步驟SP23，開始處理後續的幀。
中央處理微機7形成對象檢測裝置，用來基於成像結果中各個部分相對於背景的相對運動，從記錄在記錄介質上的成像結果中檢測包含拍攝對象的區域。中央處理微機7還與圖像處理DSP 8一起形成圖像處理裝置，用來基於從對象檢測裝置獲得的檢測結果，通過對包含拍攝對象的區域執行電子變焦操作生成圖像。
如上所述配置的成像設備1的操作如下。
通過鏡頭2在成像裝置4的成像平面上形成的光學圖像被光電轉換為成像結果。然後成像結果通過A/D轉換器5轉換為數字圖像數據，經過轉換的圖像數據由圖像處理DSP 8處理。經過處理的圖像數據通過D/A轉換器11轉換為模擬信號，然後顯示在顯示裝置13上。結果，期望的成像結果可在顯示裝置13上監控。
當監控成像結果時，如果通過用戶對操作單元23進行操作而發出獲得靜止圖像成像結果的指令，則成像裝置4的操作被切換，使從成像裝置4中輸出靜止圖像成像結果。在對應於靜止圖像成像結果的圖像數據被圖像處理DSP 8處理之後，圖像數據由靜止圖像處理DSP 10壓縮，並通過靜止圖像記錄/再生控制微機14和靜止圖像記錄接口15記錄在靜止圖像記錄介質16上。
與此對照，當用戶發出記錄運動圖像成像結果的指令時，從圖像處理DSP 8中輸出的動畫圖像數據由運動圖像處理DSP 9順序地壓縮，並且通過運動圖像記錄接口20將所得到的編碼數據記錄在運動圖像記錄介質21上。
結果，成像設備1能夠將作為靜止圖像或運動圖像的、期望的對象成像結果分別記錄在靜止圖像記錄介質16或運動圖像記錄介質21上。
在獲得運動圖像成像結果時，如果從用戶發出校正運動模糊的指令，根據從角速度傳感器6獲得的檢測結果，基於像機控制微機3對A/D轉換器5的定時控制來校正運動模糊。響應於用戶發出的記錄運動圖像成像結果的指令，將在校正運動模糊後從角速度傳感器6獲得的檢測結果轉換為運動模糊校正量，並記錄在運動圖像記錄介質21上。如果用戶沒有發出校正運動模糊的指令，則將從角速度傳感器6獲得的檢測結果直接轉換為運動模糊校正量，並記錄在運動圖像記錄介質21上。因此，由於移動鏡頭和俯仰拍攝而產生的背景的運動量與成像結果一起記錄在記錄介質上。
因此，在成像設備1中，成像結果中各個部分的運動可使用背景的運動得到校正，從而能夠檢測出各個部分相對於背景的相對運動。因此，即使背景由於移動鏡頭和俯仰拍攝而移動，也能夠通過假設背景是靜止的來檢測到對象的運動。結果，能夠簡單和可靠地檢測對象，並也能夠執行各種處理操作。
在成像設備1中，響應於來自用戶的再生靜止圖像的指令，再生記錄在靜止圖像記錄介質16上的靜止圖像成像結果，並通過靜止圖像處理DSP 10解壓縮，然後通過圖像處理DSP 8和D/A轉換器11顯示在顯示裝置13上。此外，響應於來自用戶的再生運動圖像的指令，再生記錄在運動圖像記錄介質21上的運動圖像成像結果，並通過運動圖像處理DSP 9解壓縮，然後通過圖像處理DSP 8和D/A轉換器11顯示在顯示裝置13上。
如果用戶發出生成索引圖像的指令，則再生記錄在運動圖像記錄介質21上的運動圖像成像結果，並通過運動圖像處理DSP 9解壓縮。然後運動圖像成像結果被輸入到圖像處理DSP 8，並以宏塊為單位檢測成像結果中各個部分的運動向量。然後，再生記錄在運動圖像記錄介質21上的成像設備1的運動，並通過利用成像設備1的運動，校正由圖像處理DSP 8所檢測的各個部分的運動向量，從而檢測各個部分相對於靜止的背景的相對運動。
同樣，響應於執行電子變焦操作的指令，通過利用成像設備1的運動，校正由圖像處理DSP 8所檢測的成像結果的宏塊的各個部分的運動，從而檢測各個部分相對於靜止背景的相對運動。
結果，在成像設備1中，通過簡單的處理就可以得到好像在靜止背景中拍攝的移動對象的成像結果，從而提高對象的檢測精度。結果，能夠可靠地執行期望的操作。
更具體地，當生成索引圖像時，基於成像結果的各個部分的相對運動檢測對象運動的劇烈變化，從而能夠檢測出場景的變化。與所檢測的場景變化相關聯的幀被記錄為索引圖像。結果，生成索引圖像。根據第一實施例，可以準確地檢測對象，從而正確地檢測出場景的變化，而這通過簡單使用幀間差檢測場景變化是很難實現的，更具體地，當背景發生劇烈的變化時，將錯誤地檢測到場景的變化，結果，提高了生成索引圖像的精度，從而增強了操作的簡易性。
當執行電子變焦操作時，基於成像結果中各個部分的相對運動，從記錄在運動圖像記錄介質21上的成像結果中檢測出包含拍攝對象的區域，然後，通過在那個區域上執行電子變焦操作生成圖像，並顯示在顯示裝置13上。因此，在第一實施例中，通過執行電子變焦操作可以可靠地顯示期望的對象。
根據前述第一實施例的構造，成像設備1的運動可以由諸如角速度傳感器6的運動檢測器檢測，然後記錄。成像結果能夠基於關於成像設備1的運動的信息進行處理。因此，即使背景由於移動鏡頭和俯仰拍攝而移動，也能夠簡單和可靠地檢測對象，結果，可以執行各種處理。
角速度傳感器6被作為運動檢測器使用，從而可以可靠地檢測成像設備1的運動。角速度傳感器6具有運動模糊校正機構。因此，運動模糊校正機構的構造能被有效地利用，從而簡化全部的構造。
再生關於成像設備1的運動的信息，並通過利用成像設備1的運動來校正成像結果中各個部分的運動。因此，可以檢測各個部分相對於背景的相對運動，並且通過簡單的處理就可以獲得好像在靜止的背景中拍攝的移動對象的成像結果。因此，能提高檢測對象的精度，並且可以可靠地執行處理操作。
具體地說，基於成像結果中各個部分的相對運動可以可靠地檢測到場景的變化。結果，可以生成作為索引圖像的縮略圖像。
此外，基於成像結果中各個部分的相對運動來檢測包含拍攝對象的區域，然後，基於所檢測的區域，通過電子變焦操作處理成像結果。因此，通過執行電子變焦操作可以可靠地顯示期望的對象。
第二實施例在第二實施例中，成像設備1中索引圖像的生成在記錄成像結果時執行。此外，響應於來自用戶的指令，當記錄運動圖像成像結果的同時執行電子變焦操作。第二實施例中的成像設備1與第一實施例中的相同，除了索引圖像生成處理和電子變焦處理是針對從A/D轉換器5中輸出的成像結果和從像機控制微機3中輸出的運動信息執行，而不是針對從運動圖像記錄介質21中再生的成像結果和運動信息。
根據第二實施例，能夠獲得與第一實施例中獲得的那些優勢相似的優勢。
第三實施例在第三實施例中，通過使用在第一和第二實施例中所檢測的成像結果中各個部分相對於背景的相對運動來控制光學系統。第三實施例中的成像設備1與第一實施例中的相同，除了涉及到光學系統的控制的部件與第一實施例中的那些不同，因此，通過使用圖2所示的成像設備1來進行說明。
在第三實施例中，響應於用戶的拍攝運動圖像的指令，中央處理微機7開始如圖11的流程圖所示的處理。中央處理微機7從步驟SP31前進到SP32。在步驟SP32中，中央處理微機7通過利用從A/D轉換器5中輸出的成像結果和從像機控制微機3中輸出的運動信息，代替從運動圖像記錄介質21中再生的成像結果和運動信息，同在第一實施例中一樣，對包含拍攝對象的區域進行檢測。
然後，在步驟SP33中，中央處理微機7將關於所檢測的區域的信息提供給圖像處理DSP 8，然後返回到步驟SP32處理後續的幀。
圖像處理DSP 8從所檢測的區域中獲得關於聚焦控制和光圈控制必要的信息，並將信息提供給像機控制微機3。聚焦控制所必要的信息是，例如所檢測的區域中高頻成分的信號電平，光圈控制所必要的信息是，例如在該區域中檢測到的成像結果的亮度級。
因此，在第三實施例中，基於成像結果中各個部分相對於背景的相對運動(通過使用來自運動模糊傳感器的輸出而檢測)從成像結果中檢測包含拍攝對象的區域，並基於檢測區域控制光學系統。通過這種結構，可以設定用於拍攝期望對象的最佳條件，從而增強操作的簡易性。
更具體地，當執行聚焦控制作為光學系統的控制時，即使背景由於移動鏡頭和俯仰拍攝而移動，也能夠精確地聚焦期望的對象。
當執行光圈控制作為光學系統的控制時，即使背景由於移動鏡頭和俯仰拍攝而移動，在充分地確保期望對象的灰度級的同時，能夠拍攝到期望的對象。
變型例在第二實施例中，在記錄操作期間執行電子變焦操作。作為選擇，可以在記錄操作期間執行光學變焦操作。
代替角速度傳感器6，可使用加速度傳感器作為運動檢測器來檢測成像設備1的運動。
用於校正運動模糊的角速度傳感器6也被用作檢測成像設備1的運動的傳感器。不過，也可以提供專用的傳感器。
在前述實施例中，通過使用傳感器的輸出來檢測成像設備1的運動。作為選擇，還有其他檢測成像設備1的運動的方法。例如，可以使用成像結果的各個宏塊內所檢測的運動向量，或使用用來執行如移動鏡頭或俯仰拍攝的可移動機構，來檢測成像設備1的運動。
在上述實施例中，本發明被用於具有運動模糊校正機構的成像設備1。然而，本發明也可應用於沒有運動模糊校正機構的成像設備。
此外，儘管在上述的實施例中，執行了索引圖像的生成、電子變焦操作以及光學系統的控制，但本發明也適用於，例如，用於跟蹤移動物體的監視攝像機、或與記錄系統分開設置的成像設備。
對於本領域的技術人員來說，本發明可以有各種更改和變化。凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種用於將成像結果記錄在記錄介質上的成像設備，包括成像裝置，用於獲得成像結果；光學系統，用於在所述成像裝置的成像平面上形成光學圖像；第一運動檢測裝置，用於檢測所述成像設備的運動，以輸出檢測結果；以及記錄裝置，用於將所述成像結果與所述檢測結果一起記錄在所述記錄介質上。
2.根據權利要求1所述的成像設備，其中，所述第一運動檢測裝置包括用於檢測加速度或角速度的傳感器。
3.根據權利要求2所述的成像設備，還包括運動模糊校正裝置，用於基於所述檢測結果校正所述成像結果的運動模糊。
4.根據權利要求1所述的成像設備，還包括再生裝置，用於再生記錄在所述記錄介質上的所述成像結果和所述檢測結果；第二運動檢測裝置，用於從所述記錄介質再生的所述成像結果中檢測所述成像結果中各個部分的運動；以及運動校正裝置，用於對由所述第二運動檢測裝置檢測出的所述成像結果中各個部分的所述運動進行校正，以檢測所述成像結果中各個部分相對於背景的相對運動。
5.根據權利要求4所述的成像設備，還包括圖像處理裝置，用於基於所述成像結果中各個部分的所述相對運動的改變，生成索引縮略圖像。
6.根據權利要求4所述的成像設備，還包括對象檢測裝置，用於基於所述成像結果中各個部分的相對運動，從記錄在所述記錄介質上的所述成像結果中檢測包括拍攝對象的區域；以及圖像處理裝置，用於基於所述對象檢測裝置獲得的檢測結果，通過對所檢測出的區域執行電子變焦操作來生成圖像。
7.一種用於獲得成像結果的成像設備，包括成像裝置，用於獲得成像結果；光學系統，用於在所述成像裝置的成像平面上形成光學圖像；第一運動檢測裝置，用於檢測所述成像設備的運動，以輸出檢測結果；第二運動檢測裝置，用於檢測所述成像結果中各個部分的運動；以及運動校正裝置，用於通過使用所述檢測結果對由所述第二運動檢測裝置檢測出的所述成像結果中各個部分的所述運動進行校正，以檢測所述成像結果中各個部分相對於背景的相對運動。
8.根據權利要求7所述的成像設備，其中，所述第一運動檢測裝置包括用於檢測加速度或角速度的傳感器。
9.根據權利要求8所述的成像設備，還包括運動模糊校正裝置，用於基於所述檢測結果校正所述成像結果的運動模糊。
10.根據權利要求7所述的成像設備，還包括對象檢測裝置，用於基於所述成像結果中各個部分的所述相對運動，從所述成像結果中檢測包括拍攝對象的區域；以及控制裝置，用於基於由所述對象檢測裝置獲得的檢測結果控制所述光學系統。
11.根據權利要求10所述的成像設備，其中，所述控制裝置對所述光學系統執行聚焦控制。
12.根據權利要求10所述的成像設備，其中，所述控制裝置對所述光學系統執行光圈控制。
13.根據權利要求7所述的成像設備，還包括圖像處理裝置，用於基於所述成像結果中各個部分的所述相對運動的改變，生成索引縮略圖像。
14.根據權利要求7所述的成像設備，還包括對象檢測裝置，用於基於所述成像結果中各個部分的所述相對運動，從所述成像結果中檢測包括拍攝對象的區域；以及圖像處理裝置，用於基於由所述對象檢測裝置獲得的檢測結果，通過對所檢測到的區域執行電子變焦操作來生成圖像。
15.一種用於對從成像設備獲得的成像結果進行處理的方法，所述成像設備將所述成像結果記錄在記錄介質上，所述方法包括以下步驟檢測所述成像設備的運動，以輸出檢測結果；以及將所述檢測結果與所述成像結果一起記錄在所述記錄介質上。
16.根據權利要求15所述的方法，還包括從記錄在所述記錄介質上的所述成像結果中檢測所述成像結果中各個部分的運動；以及通過使用記錄在所述記錄介質上的所述檢測結果對所述成像結果中各個部分的所述運動進行校正，以檢測所述成像結果中各個部分相對於背景的相對運動。
17.一種用於對從成像設備獲得的成像結果進行處理的方法，包括以下步驟檢測所述成像設備的運動，以輸出檢測結果；檢測所述成像結果中各個部分的運動；以及通過使用所述檢測結果對所述成像結果中各個部分的所述運動進行校正，以檢測所述成像結果中各個部分相對於背景的相對運動。
18.一種用於將成像結果記錄在記錄介質上的成像設備，包括成像裝置，用於獲得成像結果；光學系統，用於在所述成像裝置的成像平面上形成光學圖像；第一運動檢測器，用於檢測所述成像設備的運動，以輸出檢測結果；以及記錄器，用於將所述成像結果與所述檢測結果一起記錄在所述記錄介質上。
19.一種用於獲得成像結果的成像設備，包括成像裝置，用於獲得成像結果；光學系統，用於在所述成像裝置的成像平面上形成光學圖像；第一運動檢測器，用於檢測所述成像設備的運動，以輸出檢測結果；第二運動檢測器，用於檢測所述成像結果中各個部分的運動；以及運動校正單元，用於通過使用所述檢測結果對由所述第二運動檢測器所檢測的所述成像結果中各個部分的所述運動進行校正，以檢測所述成像結果中各個部分相對於背景的相對運動。
全文摘要
本發明提供了一種成像設備，用於將成像結果記錄在記錄介質上，包括成像裝置，用於獲得成像結果；光學系統，用於在成像裝置的成像平面上形成光學圖像；第一運動檢測器，用於檢測成像設備的運動，以輸出檢測結果；以及記錄器，用於將成像結果與檢測結果一起記錄在記錄介質上。
文檔編號H04N5/91GK1845593SQ20061007312
公開日2006年10月11日 申請日期2006年4月6日 優先權日2005年4月7日
發明者田渕達人, 原田武志, 齋藤優司, 對尾健二, 奧村敦史, 緒方哲治 申請人:索尼公司