圖像處理方法、圖像處理裝置和記錄介質與流程

2023-05-04 05:32:17

本發明涉及生成合成的圖像的圖像處理方法和圖像處理裝置。

背景技術：

過去已知如下技術(例如參考專利文獻1)：在攝影時，為了能在1個監視器畫面同時確認被攝體的整體和細節這兩方，將使被攝體的整體縮小的圖像和使被攝體的一部分放大的圖像合成來顯示。

(專利文獻1：特開2002-162681號公報)

但在上述專利文獻1的情況下，是將攝影時的引導作為目的，在記錄攝影的圖像的情況下，或在將記錄的圖像在另外的監視器等重放顯示的情況下等，難以說是更有效地活用了合成的圖像。

技術實現要素：

本發明鑑於這樣的問題而提出，本發明的課題在於，能更有效活用合成的圖像的圖像處理裝置、圖像處理方法。

本發明的1個方式是圖像處理裝置所進行的圖像處理方法，特徵在於，取得以第1解析度表徵被攝體的第1範圍的第1圖像，取得以高於所述第1解析度的第2解析度表徵所述被攝體的小於所述第1範圍的第2範圍的第2圖像，將所述第1圖像和所述第2圖像以保持各自解析度的狀態合成，來生成第3圖像。

另外，本發明的其他方式在圖像處理裝置，包含執行以下的控制部：取得以第1解析度表徵被攝體的第1範圍的第1圖像，取得以高於所述第1解析度的第2解析度表徵所述被攝體的小於所述第1範圍的第2範圍的第2圖像，將所述第1圖像和所述第2圖像以保持各自解析度的狀態合成來生成第3圖像。

附圖說明

圖1是表示運用本發明的實施方式1的攝像裝置的概略構成的框圖。

圖2是表示圖1的攝像裝置所進行的動態圖像攝影處理所涉及的動作的一例的流程圖。

圖3a～d是用於說明圖2的動態圖像攝影處理的圖。

圖4是表示圖1的攝像裝置所進行的重放處理所涉及的動作的一例的流程圖。

圖5a～c是用於說明圖4的重放處理的圖。

圖6是表示運用本發明的實施方式2的攝像裝置的概略構成的框圖。

圖7是表示圖6的攝像裝置所進行的動態圖像攝影處理所涉及的動作的一例的流程圖。

圖8是表示圖6的攝像裝置所進行的重放處理所涉及的動作的一例的流程圖。

圖9a～d是用於說明圖8的重放處理的圖。

具體實施方式

以下使用附圖對本發明說明具體方式。但發明的範圍並不限定於圖示例。

[實施方式1]

圖1是表示運用本發明的實施方式1的攝像裝置100的概略構成的框圖。

如圖1所示那樣，實施方式1的攝像裝置100具體具備：控制部1、存儲器2、攝像部3、信號處理部4、第1圖像處理部5、記錄控制部6、第1記錄部7、顯示部8和操作輸入部9。

另外，控制部1、存儲器2、攝像部3、信號處理部4、第1圖像處理部5、記錄控制部6以及顯示部8經由總線10而連接。

控制部1對攝像裝置100的各部進行控制。具體地，雖圖示省略，但控制部1具備cpu(centralprocessingunit，中央處理器)等，按照攝像裝置100用的各種處理程序(圖示略)來進行各種控制動作。

存儲器2例如由dram(dynamicrandomaccessmemory，動態隨機存取存儲器)等構成，暫時存放由控制部1、第1圖像處理部5等處理的數據等。

攝像部3以任意的攝像幀頻對被攝體攝像並生成幀圖像。具體地，攝像部3具備鏡頭部3a、電子攝像部3b和攝像控制部3c。

鏡頭部3a例如由變焦透鏡和聚焦透鏡等多個透鏡、調整通過透鏡的光的量的光圈等構成。

電子攝像部3b例如由ccd(chargecoupleddevice，電荷耦合期間)或cmos(complementarymetal-oxidesemiconductor，互補金屬氧化物半導體)等圖像傳感器(攝像元件)構成。並且電子攝像部3b將通過鏡頭部3a的各種透鏡的光學像變換成二維的圖像信號。

攝像控制部3c例如通過定時發生器或驅動器對電子攝像部3b進行掃描驅動，用電子攝像部3b將通過鏡頭部3a的光學像每隔給定周期變換成二維的圖像信號，從該電子攝像部3b的攝像區域一畫面份一畫面份地讀出幀圖像，並輸出給信號處理部4。

另外，攝像控制部3c也可以進行af(自動對焦處理)、ae(自動曝光處理)、awb(自動白平衡)等對被攝體攝像時的條件的調整控制。

信號處理部4對從電子攝像部3b轉發的幀圖像的模擬值的信號實施各種圖像信號處理。具體地，信號處理部4例如對幀圖像的模擬值的信號按rgb每個色分量適宜調整增益，用採樣保持電路(圖示略)採樣保持並用a/d變換器(圖示略)變換成數字數據，用彩色形成電路(圖示略)進行包括像素內插處理以及γ補正處理的彩色形成處理，從而生成數字值的亮度信號y以及色差信號cb、cr(yuv數據)。另外，信號處理部4將生成的亮度信號y以及色差信號cb、cr輸出給作為緩衝存儲器而使用的存儲器2。

第1圖像處理部5具備：第1生成部5a、第2生成部5b、第1取得部5c、第2取得部5d和第1合成部5e。

另外，第1圖像處理部5的各部例如由給定的邏輯電路構成，但該構成是一例，並不限於此。

第1生成部5a生成以第1解析度表徵被攝體的第1範圍a1的第1圖像i1(參考圖3(b))。

即，第1生成部(第1生成單元)5a，將由攝像部3攝像的原始圖像i0(參考圖3(a))整體縮小為第1範圍a1來生成第1圖像i1。

具體地，攝像部(攝像單元)3，以給定的解析度對被攝體的能攝影的範圍整體進行攝像，信號處理部4對從電子攝像部3b轉發的模擬值的信號實施各種圖像信號處理，來生成原始圖像i0的yuv數據，其中該給定的解析度利用了在電子攝像部3b的攝像區域的攝像中有效的全部像素(例如橫×縱：2560×1440等)。然後，第1生成部5a取得生成的原始圖像i0的yuv數據的複製，使原始圖像i0整體(第1範圍a1)通過間除處理等縮小，從而生成以第1解析度表徵的給定的像素數(例如橫×縱：1920×1080等)的第1圖像i1的yuv數據。

在此，第1解析度以及後述的第2解析度，相對地表徵圖像中的物體(例如特定的被攝體s；後述)的精細程度，例如以像素數為基準，但這是一例，並不限於此，也可以以鏡頭部3a的成像性能或圖像的壓縮率為基準。作為鏡頭部3a的成像性能，例如能使用表徵鏡頭的空間頻率特性的mtf(modulationtransferfunction，調製傳遞函數)曲線等，若鏡頭部3a的成像性能相對變高，則對應於此解析度變高。另外，在例如以jpeg格式進行壓縮的情況下，由於根據壓縮率而畫質發生變化，因此若壓縮率相對變低，則對應於此解析度變高。

另外，在由攝像部3對被攝體的動態圖像攝像的情況下，第1生成部5a將構成動態圖像的多個幀圖像的各自作為原始圖像i0，進行與上述同樣的處理來分別生成第1圖像i1的yuv數據。

第2生成部5b，生成以第2解析度表徵被攝體的第2範圍a2的第2圖像i2(參考圖3(c))。

即，第2生成部(第2生成單元)5b將由攝像部3攝像的原始圖像i0(參考圖3(a))的一部分的區域剪取為第2範圍a2，來生成第2圖像i2。這時，第2生成部5b從與第1生成部5a進行的第1圖像i1的生成中所用的圖像(原始圖像i0)相同的原始圖像i0生成第2圖像i2。

具體地，第2生成部5b，取得由信號處理部4生成的原始圖像i0的yuv數據的複製，將例如進行給定的被攝體檢測處理(例如臉檢測處理等)而檢測到的原始圖像i0內的特定的被攝體s所存在的區域(關注部分)剪取為第2範圍a2，由此生成以第2解析度表徵特定的被攝體s的第2圖像i2的yuv數據。

即，關於第2圖像i2的大小即第2範圍a2，由於是原始圖像i0的一部分的區域，因此比第1範圍a1要小。另外，關於第2圖像i2的第2解析度，由於若比較構成第2圖像i2內的特定的被攝體s的像素數和構成第1圖像i1內的特定的被攝體s的像素數，則是第2圖像i2一方構成特定的被攝體s的像素數更多，因此高於第1解析度。

另外，在由攝像部3對被攝體的動態圖像攝像的情況下，第2生成部5b將構成動態圖像的多個幀圖像的各自作為原始圖像i0，進行與上述同樣的處理來分別生成第2圖像i2的yuv數據。這時，第2生成部5b也可以對構成動態圖像的多個幀圖像的每一者，讓剪取的第2範圍a2的大小不同來分別生成第2圖像i2。例如第2生成部5b也可以對多個幀圖像伴隨時間經過而逐漸放大第2範圍a2的大小，來生成多個第2圖像i2。

如此，第1生成部5a以及第2生成部5b，從由攝像部3以給定的解析度攝像的相同的原始圖像i0分別生成第1圖像i1以及第2圖像i2。

另外，臉檢測處理由於是公知的技術，因此在此省略詳細的說明。另外，作為被攝體檢測處理而例示了臉檢測處理，但這是一例，並不限於此，只要是利用例如邊緣檢測處理、特徵提取處理等給定的圖像認識技術的處理即可，能適宜任意變更。

第1取得部5c取得第1圖像i1。

即，第1取得部(第1取得單元)5c取得以第1解析度表徵被攝體的第1範圍a1的第1圖像i1(參考圖3(b))。具體地，第1取得部5c分別取得以構成動態圖像的多個幀圖像的各自為原始圖像i0由第1生成部5a生成的第1圖像i1的yuv數據。

第2取得部5d取得第2圖像i2。

即，第2取得部(第2取得單元)5d取得以高於第1解析度的第2解析度表徵小於被攝體的第1範圍a1的第2範圍a2的第2圖像i2(參考圖3(c))。具體地，第2取得部5d分別取得以構成動態圖像的多個幀圖像的各自為原始圖像i0由第2生成部5b生成的第2圖像i2的yuv數據。

第1合成部5e生成第3圖像i3(參考圖3(d))。

即，第1合成部(合成單元)5e將由第1取得部5c取得的第1圖像i1和由第2取得部5d取得的第2圖像i2在保持各自的解析度的狀態下合成，來生成第3圖像i3。具體地，在被攝體的攝影時，第1合成部5e不使第1圖像i1以及第2圖像i2的解析度變化，在合成狀態下成為裡側的圖像(例如第1圖像i1等)內、在不存在特定的被攝體s的位置或基於用戶的給定操作設定為任意的位置的合成位置，重疊合成狀態下成為近前側的圖像(例如第2圖像i2等)來進行合成，由此生成保持第1圖像i1以及第2圖像i2各自的解析度的第3圖像i3的yuv數據。

另外，在由攝像部3對被攝體的動態圖像攝像的情況下，第1合成部5e對構成動態圖像的多個幀圖像的每一者合成對應的第1圖像i1和第2圖像i2，來分別生成第3圖像i3。這時，第1合成部5e電可以使第1圖像i1和第2圖像i2的大小變化來進行合成。

例如，第1合成部5e以第1圖像i1為裡側且以第2圖像北為近前側，將由第2生成部5b伴隨時間經過而使第2範圍a2的大小逐漸放大那樣生成的第2圖像i2與第1圖像i1進行合成(參考圖5(a)～圖5(c))。

另外，由於第1圖像i1與第2圖像i2的合成是公知的技術，因此在此省略詳細的說明。

記錄控制部6控制從第1記錄部7的數據的讀出、對第1記錄部7的數據的寫入。

即，記錄控制部6例如使由非易失性存儲器(閃速存儲器)或記錄介質等構成的第1記錄部7記錄動態圖像或靜止圖像的記錄用的圖像數據。具體地，記錄控制部6將被攝體的攝影時由第1合成部5e將第1圖像i1和第2圖像i2合成而生成的第3圖像i3以給定的壓縮格式(例如mpeg格式、m-jpeg格式、jpeg格式等)壓縮(編碼)，並記錄到第1記錄部(第1記錄單元)7。

例如，在由攝像部3對被攝體的動態圖像攝像的情況下，記錄控制部6將由第1合成部5e逐次生成的第3圖像i3壓縮，作為構成該動態圖像的幀圖像而暫時逐次記錄在存儲器2。然後，若動態圖像的攝像結束，則記錄控制部6從存儲器2取得全部幀圖像，使它們建立對應作為動態圖像記錄(保存)在第1記錄部7。

顯示部8具備顯示控制部8a和顯示面板8b。

顯示控制部8a基於從存儲器2或第1記錄部7讀出並由記錄控制部6解碼的給定的大小的圖像數據來進行使給定的圖像顯示於顯示面板8b的顯示區域的控制。具體地，顯示控制部8a具備vram(videorandomaccessmemory，視頻隨機存取存儲器)、vram控制器、數字視頻編碼器等。然後，數字視頻編碼器將由記錄控制部6解碼並存儲於vram(圖示略)的亮度信號y以及色差信號cb、cr，經由vram控制器從vram以給定的重放幀頻讀出，以這些數據為基礎產生視頻信號並輸出給顯示面板8b。

顯示面板8b基於來自顯示控制部8a的視頻信號將由攝像部3攝像的圖像等顯示在顯示區域內。具體地，顯示面板(重放單元)8b，將作為構成動態圖像的幀圖像記錄在1記錄部7的第3圖像i3以給定的重放幀頻切換來進行重放。這時，在將以多個第3圖像i3為多個幀圖像的動態圖像作為重放對象的情況下，顯示面板8b將合成了使第2範圍a2的大小逐漸放大的第2圖像i2的第3圖像i3作為幀圖像來進行重放(參考圖5(a)～圖5(c))，其中該多個第3圖像i3使用使第2範圍a2的大小逐漸放大而生成的多個第2圖像i2由第1合成部5e生成。

另外，作為顯示面板8b，例如能舉出液晶顯示面板或有機el(electro-luminescence，電致發光)顯示面板等，但這些是一例，並不限於此。

操作輸入部9用於進行該攝像裝置100的給定操作。具體地，操作輸入部9具備：被攝體的攝影指示所涉及的快門按鈕、攝影模式或功能等選擇指示所涉及的選擇決定按鈕、變焦量的調整指示所涉及的變焦按鈕(均省略圖示)等操作部。

然後，若由用戶操作了各種按鈕，則操作輸入部9將與操作的按鈕相應的操作信號輸出給控制部1。控制部1按照從操作輸入部9輸出並被輸入的操作指示來使各部執行給定的動作(例如動態圖像的攝影等)。

接下來參考圖2～圖3(d)來說明攝像裝置100所進行的動態圖像攝影處理。

圖2是表示動態圖像攝影處理所涉及的動作的一例的流程圖。另外，圖3(a)～圖3(d)是用於說明動態圖像攝影處理的圖，示意表徵構成動態圖像的一幀圖像。

如圖2所示那樣，首先控制部1的cpu例如基於用戶對操作輸入部9的給定操作來判定是否設定了第1合成模式，在該第1合成模式下，將合成第1圖像i1和第2圖像i2而得到的第3圖像i3作為構成動態圖像的幀圖像(步驟s1)。

在此，若判定為設定了第1合成模式(步驟s1；「是」)，基於用戶對操作輸入部9(例如快門按鈕)的給定操作，攝像部3開始被攝體的動態圖像的攝像(步驟s2)。

另一方面，若判定為未設定第1合成模式(步驟s1；「否」)，則進行通常的動態圖像攝影處理，將由攝像部3對被攝體攝像而生成的圖像作為構成動態圖像的幀圖像(步驟s3)。

若開始被攝體的動態圖像的攝像(步驟s2)，則攝像部3的攝像控制部3c在與動態圖像的攝像幀頻相應的給定的攝像定時，使用在電子攝像部3b的攝像區域的攝像中有效的全部像素(例如橫×縱：2560×1440等)來對被攝體的能攝影的範圍整體進行攝像，將該光學像變換成二維的圖像信號並輸出給信號處理部4，信號處理部4對從電子攝像部3b轉發的模擬值的信號實施各種圖像信號處理，生成原始圖像i0的yuv數據(步驟s4；參考圖3(a))。

然後，第1生成部5a，取得由信號處理部4生成的原始圖像i0的yuv數據的複製，使原始圖像i0整體通過間除處理等縮小，來生成以第1解析度表徵的給定的像素數(例如橫×縱：1920×1080等)的第1圖像i1的yuv數據(步驟s5；參考圖3(b))。

接下來，第2生成部5b取得由信號處理部4生成的原始圖像i0的yuv數據的複製，例如進行給定的被攝體檢測處理(例如臉檢測處理等)，來從原始圖像i0內檢測特定的被攝體s(步驟s6)。接下來，第2生成部5b將檢測到的特定的被攝體s所存在的區域作為第2範圍a2剪取，由此生成以第2解析度表徵特定的被攝體s的第2圖像i2的yuv數據(步驟s7；參考圖3(c))。

另外，作為第2範圍a2剪取的特定的被攝體s所存在的區域，例如也可以基於用戶對操作輸入部9的給定操作來指定。

另外，上述的步驟s5～s7的各處理的順序是一例，並不限於此，例如也可以在第2圖像i2的生成後生成第1圖像i1。

然後，第1取得部5c取得由第1生成部5a生成的第1圖像i1的yuv數據，並且第2取得部5d取得由第2生成部5a生成的第2圖像i2的yuv數據(步驟s8)。

接下來，第1合成部5e，在合成狀態下成為裡側的第1圖像i1內確定成為近前側的第2圖像i2的合成位置(步驟s9)。具體地，第1合成部5e例如在第1圖像i1內將不存在特定的被攝體s的位置、基於用戶對操作輸入部9的給定操作而設定的任意的位置、作為默認而指定的位置等確定為合成位置。

接下來，第1合成部5e在第1圖像i1內的所確定的合成位置重疊第2圖像i2那樣進行合成，來生成第3圖像i3的yuv數據(步驟s10；參考圖3(d))。另外，在圖3(d)中示意地表徵生成的第3圖像i3作為實時取景圖像顯示在顯示面板8b的狀態。

之後，記錄控制部6取得由第1合成部5e生成的第3圖像i3的yuv數據，將該第3圖像i3的yuv數據以給定的壓縮格式(例如mpeg格式等)壓縮，作為構成該動態圖像的幀圖像使存儲器2暫時記錄(步驟s11)。

接下來，控制部1的cpu判定是否輸入了被攝體的動態圖像的攝像的結束指示(步驟s12)。在此，被攝體的動態圖像的攝像的結束，例如基於用戶對操作輸入部9的給定操作來指示，或基於預先指定的錄影時間的經過來指示。

若在步驟s12判定為未輸入被攝體的動態圖像的攝像的結束指示(步驟s12；「否」)，則控制部1的cpu使處理返回步驟s4，逐次執行這以後的各處理。即，執行步驟s4～s11的各處理來生成成為構成動態圖像的下一幀圖像的第3圖像i3，並記錄在存儲器2。

上述的各處理直到在步驟s12判定為輸入了被攝體的動態圖像的攝像的結束指示為止(步驟s12；「是」)反覆進行。

另一方面，若在步驟s12判定為輸入了被攝體的動態圖像的攝像的結束指示(步驟s12；「是」)，則記錄控制部6取得暫時記錄在存儲器2的全部幀圖像，使它們建立對應作為動態圖像保存在第1記錄部7(步驟s13)。

由此結束動態圖像攝影處理。

接下來參考圖4～圖5(c)來說明攝像裝置100所進行的重放處理。

圖4是表示重放處理所涉及的動作的一例的流程圖。另外，圖5(a)～圖5(c)是用於說明重放處理的圖。

如圖4所示那樣，例如若基於用戶對操作輸入部9的給定操作指定了成為重放對象的動態圖像(步驟s21)，則顯示部8開始所指定的動態圖像的重放(步驟s22)。

即，記錄控制部6從第1記錄部7讀出重放對象的動態圖像的數據，將構成該動態圖像的多個幀圖像當中與當前的重放幀編號對應的幀圖像即第3圖像i3以與壓縮格式(例如mpeg格式等)相應的解碼化方式進行解碼，並輸出給顯示控制部8a(步驟s23)。然後顯示控制部8a使輸入的第3圖像i3作為幀圖像以給定的重放幀頻顯示在顯示面板8b的顯示區域(步驟s24；參考圖5(a))。

接下來，控制部1的cpu判定是否輸入了動態圖像的重放結束指示(步驟s25)。在此，動態圖像的重放的結束例如基於重放對象的動態圖像的重放時間的經過來指示，或者在重放中途也基於用戶對操作輸入部9的給定操作來指示。

若在步驟s25判定為未輸入動態圖像的重放結束指示(步驟s25；「否」)，則控制部1的cpu使處理返回步驟s23，逐次執行這以後的各處理。即，執行步驟s23、s24的各處理，顯示構成動態圖像的多個幀圖像當中當前的重放幀編號(若以前次為基準則為下一幀編號)的幀圖像(參考圖5(b)、圖5(c)等)。

在此，在圖5(a)～圖5(c)中，以第1圖像i1為裡側且以第2圖像i2為近前側，表徵以第3圖像i3為幀圖像的動態圖像的一例，將伴隨動態圖像的攝像時間的經過使第2範圍a2的大小逐漸放大而生成的第2圖像i2和第1圖像i1合成，從而得到該第3圖像i3。如圖5(c)所示那樣，若第2圖像i2的大小與第1圖像i1的大小大致相等，則成為第2圖像i2顯示在顯示面板8b的整面的狀態。

上述的各處理，直到在步驟s25判定為輸入了動態圖像的重放結束指示(步驟s25；「是」)為止都反覆執行。

若在步驟s25判斷為輸入了動態圖像的重放結束指示(步驟s25；「是」)，則結束重放處理。

如以上那樣，根據實施方式1的攝像裝置100，由於取得以第1解析度表徵被攝體的第1範圍a1的第1圖像i1，取得以高於第1解析度的第2解析度表徵小於被攝體的第1範圍a1的第2範圍a2的第2圖像i2，將取得的第1圖像i1和第2圖像i2以保持各自解析度的狀態合成來生成第3圖像i3，因此不同於僅將第1圖像i1的一部分的區域放大進行合成或顯示，例如關於對應於特定的被攝體s確定的第2範圍a2，能作為解析度更高的第2圖像i2與第1圖像i1合成來生成第3圖像i3，能在該第3圖像i3的記錄、重放中更有效地活用。

另外，由於對被攝體的能攝影的範圍整體以給定的解析度攝像，將攝像的原始圖像i0整體縮小為第1範圍a1來生成第1圖像i1，將原始圖像i0的一部分的區域(關注部分)剪取為第2範圍a2來生成第2圖像i2，能簡便地進行解析度相互不同的第1圖像i1以及第2圖像i2的生成，作為結果，能取得它們來簡便地進行第3圖像i3的生成。特別是，能從以給定的解析度攝像的相同原始圖像i0分別生成解析度互不相同的第1圖像i1以及第2圖像i2。

另外，由於將攝像的原始圖像i0整體縮小，不縮小原始圖像i0內的關注部分來進行記錄，因此，即使是少的記錄容量，也能以能實現整體的大致的確認和關注部分的詳細的確認的形式記錄攝影圖像。

另外，由於能以在將原始圖像i0整體縮小的第1圖像i1的一部分合成與剪取關注部分對應的第2圖像i2的狀態下進行記錄，因此不再需要個別記錄、重放2個幀圖像(圖像文件)的管理，只是對僅1個幀圖像(圖像文件)進行記錄、重放，就能實現整體的大致的確認和關注部分的詳細的確認。

進而，由於從構成由攝像部3攝像的被攝體的動態圖像的多個幀圖像的各自生成第1圖像i1，從多個幀圖像的各自生成第2圖像i2，對多個幀圖像的每一者將對應的第1圖像i1和第2圖像i2合成來生成第3圖像i3，因此能生成以解析度互不相同第1圖像i1和第2圖像i2合成而得到的第3圖像i3為幀圖像的動態圖像。這時，通過對構成動態圖像的多個幀圖像每一者使第2範圍a2的大小不同來生成第2圖像i2，能對以使用生成的多個第2圖像i2生成的多個第3圖像i3為多個幀圖像的動態圖像進行重放，使第2範圍a2的大小逐漸放大，能更有效進行活用。

另外，由於在被攝體的攝影時，將第1圖像i1和第2圖像i2合成來生成第3圖像i3，將該第3圖像i3記錄在第1記錄部7，因此僅從第1記錄部7讀出第3圖像i3，就能重放第1圖像i1以及第2圖像i2合成而得到的第3圖像i3，例如，能效率良好地進行第2圖像i2內的以更高解析度表徵的特定的被攝體s的確認。

進而，即使將第3圖像i3壓縮記錄，也能設為保持第1圖像i1和第2圖像i2各自的解析度的狀態。

[實施方式2]

以下參考圖6～圖9(d)來說明實施方式2的攝像裝置200。

實施方式2的攝像裝置200，在以下詳細說明以外的點上與上述實施方式1的攝像裝置100是大致同樣的構成，省略詳細的說明。

圖6是表示運用本發明的實施方式2的攝像裝置200的概略構成的框圖。

本實施方式的攝像裝置200在被攝體的攝影時，將由第1生成部5a生成的第1圖像i1和由第2生成部5b生成的第2圖像i2建立關聯記錄在第2記錄部207，在圖像的重放時，用第2圖像處理部205的第2合成部205e將第1圖像i1和第2圖像i2合成來生成第3圖像i3，顯示該第3圖像i3。

首先說明第2記錄部207。

第2記錄部207記錄第1圖像群g1、第2圖像群g2和合成位置列表l。

第1圖像群g1由第1生成部5a所生成的多個第1圖像i1構成。具體地，第1圖像群g1在在被攝體的動態圖像的攝影時將第1圖像i1和幀編號建立對應而構成，該第1圖像i1由第1生成部5a生成，由記錄控制部6以給定的壓縮格式(例如mpeg格式)壓縮。

第2圖像群g2由第2生成部5b所生成的多個第2圖像i2構成。具體地，第2圖像群g2在被攝體的動態圖像的攝影時，將第2圖像i2和幀編號建立對應來構成，該第2圖像i2由第2生成部5b生成，由記錄控制部6以給定的壓縮格式(例如mpeg格式)壓縮。

合成位置列表l，將合成狀態下成為裡側的圖像(例如第1圖像i1等)內的成為近前側的圖像(例如第2圖像i2等)的合成位置和幀編號建立對應而構成。

另外，幀編號在被攝體的動態圖像的攝影時表徵攝像幀的順序，在動態圖像的重放時表徵重放幀的順序(重放幀編號)。

第2合成部205e在圖像的重放時將第1圖像i1和第2圖像i2合成來生成第3圖像i3。

即，第2合成部205e，將多個第3圖像i3生成為構成重放的動態圖像的多個幀圖像。例如第1取得部5c在圖像的重放時從記錄於第2記錄部207的第1圖像群g1取得用於形成成為與重放幀編號對應的幀圖像的第3圖像i3的第1圖像i1的yuv數據。另外，第2取得部5d，在圖像的重放時，從記錄於第2記錄部207的第2圖像群g2取得用於形成成為與重放幀編號對應的幀圖像的第3圖像i3的第2圖像i2的yuv數據。然後，第2合成部205e，將由第1取得部5c取得的第1圖像i1和由第2取得部5d取得的第2圖像i2以保持解析度的狀態合成來生成第3圖像i3。具體地，第2合成部205e從記錄於第2記錄部207的合成位置列表l取得與重放幀編號對應的幀圖像中的合成位置，在合成狀態下成為裡側的圖像(例如第1圖像i1等)的合成位置，重疊合成狀態下成為近前側的圖像(例如第2圖像i2等)，如此進行合成，來生成第3圖像i3的yuv數據。

另外，第2合成部205e與上述實施方式1同樣，例如可以以第1圖像i1為裡側且以第2圖像i2為近前側，將由第2生成部5b伴隨時間經過使第2範圍a2的大小逐漸放大而生成的第2圖像i2與第1圖像i1進行合成。在該情況下，第2合成部205e也可以使裡側的第1圖像i1的大小(像素數)逐漸縮小，若相比於不斷逐漸縮小的第1圖像i1的大小而使第2範圍a2的大小不斷逐漸放大的第2圖像i2變得更大，則也可以以第2圖像i2為裡側、以第1圖像i1為近前側來進行合成，生成多個第3圖像i3(參考圖9(a)～圖9(d))。

在此，第2合成部205e例如通過使從被攝體的攝影的範圍最大的第1圖像i1(例如與最初的幀編號對應的第1圖像i1等)剪取的一部分的區域的大小逐漸變小，來使第1圖像i1的大小變化。

另外，第1生成部5a和第2生成部5b，與上述實施方式1的攝像裝置100中所具備的生成部具有大致同樣的構成以及功能，在此省略詳細的說明。

接下來，參考圖7來說明攝像裝置200所進行的動態圖像攝影處理。

圖7是表示動態圖像攝影處理所涉及的動作的一例的流程圖。

如圖7所示那樣，首先控制部1的cpu，基於例如用戶對操作輸入部9的給定操作，在圖像的重放時，將第1圖像i1和第2圖像i2合成來生成第3圖像i3，並判定是否設定了設為構成動態圖像的幀圖像的第2合成模式(步驟s31)。

在此，若判定為設定了第2合成模式(步驟s31；「是」)，則與上述實施方式1的動態圖像攝影處理的步驟s2大致同樣，攝像部3開始被攝體的動態圖像的攝像(步驟s32)。

另一方面，若判定為未設定第2合成模式(步驟s31；「否」)，則與上述實施方式1的動態圖像攝影處理的步驟s3大致同樣地進行通常的動態圖像攝影處理(步驟s33)。

若開始被攝體的動態圖像的攝像(步驟s32)，則與上述實施方式1的動態圖像攝影處理的步驟s4大致同樣，攝像部3的攝像控制部3c在與動態圖像的攝像幀頻相應的給定的攝像定時，使用在電子攝像部3b的攝像區域的攝像中有效的全部像素(例如橫×縱：2560×1440等)來對被攝體的能攝影的範圍整體攝像，信號處理部4生成原始圖像i0的yuv數據(步驟s34)。

然後，第1生成部5a與上述實施方式1的動態圖像攝影處理的步驟s5大致同樣，將複製的原始圖像i0整體縮小來生成以第1解析度表徵的給定的像素數(例如橫×縱：1920×1080等)的第1圖像i1的yuv數據(步驟s35)。

接下來，第2生成部5b，與上述實施方式1的動態圖像攝影處理的步驟s6大致同樣，從複製的原始圖像i0內檢測特定的被攝體s(步驟s36)，接著與上述實施方式1的動態圖像攝影處理的步驟s7大致同樣，將特定的被攝體s所存在的區域作為第2範圍a2剪取，生成以第2解析度表徵特定的被攝體s的第2圖像i2的yuv數據(步驟s37)。

然後，第2合成部205e與上述實施方式1的動態圖像攝影處理的步驟s9大致同樣地，在合成狀態下成為裡側的第1圖像i1內確定成為近前側的第2圖像i2的合成位置(步驟s38)。接著第2合成部205e將所確定的合成位置和幀編號建立對應追加到合成位置列表l，使存儲器2暫時記錄(步驟s39)。

接下來，記錄控制部6取得由第1生成部5a生成的第1圖像i1的yuv數據，並將該第1圖像i1的yuv數據以給定的壓縮格式(例如mpeg格式等)壓縮，與幀編號建立對應追加到第1圖像群g1，使存儲器2暫時記錄(步驟s40)。接著，記錄控制部6取得由第2生成部5b生成的第2圖像i2的yuv數據，將該第2圖像i2的yuv數據以給定的壓縮格式(例如mpeg格式等)壓縮，與幀編號建立對應並追加到第2圖像群g2，使存儲器2暫時記錄(步驟s41)。

另外，上述的步驟s40、s41的各處理的順序是一例，並不限於此，例如可以在第2圖像i2的記錄後記錄第1圖像i1。

接下來，控制部1的cpu與上述實施方式1的動態圖像攝影處理的步驟s12大致同樣，判定是否輸入了被攝體的動態圖像的攝像的結束指示(步驟s42)。

在此，若判定為未輸入被攝體的動態圖像的攝像的結束指示(步驟s42；「否」)，則控制部1的cpu使處理返回步驟s34，逐次執行這以後的各處理。即，執行步驟s34～s41的各處理來生成用於構成第3圖像i3的第1圖像i1以及第2圖像i2生成，並記錄在存儲器2，該第3圖像i3成為構成動態圖像的下一幀圖像。

上述的各處理直到在步驟s42判定為輸入了被攝體的動態圖像的攝像的結束指示(步驟s42；「是」)為止重複執行。

另一方面，若在步驟s42判定為輸入了被攝體的動態圖像的攝像的結束指示(步驟s42；「是」)，記錄控制部6取得暫時記錄在存儲器2的第1圖像群g1、第2圖像群g2和合成位置列表l，使它們建立對應保存在第2記錄部207(步驟s43)。

由此結束動態圖像攝影處理。

接下來參考圖8～圖9(d)來說明攝像裝置200所進行的重放處理。

圖8是表示重放處理所涉及的動作的一例的流程圖。另外，圖9(a)～圖9(d)是用於說明重放處理的圖。

如圖8所示那樣，若基於例如用戶對操作輸入部9的給定操作將與最初的幀編號對應的第1圖像i1或第2圖像i2指定為重放對象(步驟s51)，則控制部1的cpu判定重放對象是否是以第2合成模式(參考圖7)記錄的圖像(步驟s52)。

在此，若判定為重放對象不是以第2合成模式記錄的圖像(步驟s52；「否」)，則控制部1的cpu進行上述的實施方式1的重放處理(參考圖5)等通常的重放處理(步驟s53)。

另一方面，若在步驟s52判定為重放對象是以第2合成模式記錄的圖像(步驟s52；「是」)，則顯示部8開始所指定的動態圖像的重放(步驟s54)。

即，記錄控制部6對記錄於第2記錄部207的第1圖像群g1當中與當前的重放幀編號對應的第1圖像i1以與壓縮格式(例如mpeg格式等)相應的解碼化方式解碼並輸出給存儲器2，第1取得部5c從存儲器2取得第1圖像i1的yuv數據(步驟s55)。接下來，記錄控制部6對記錄於第2記錄部207的第2圖像群g2當中與當前的重放幀編號對應的第2圖像i2以與壓縮格式(例如mpeg格式等)相應的解碼化方式進行解碼並輸出給存儲器2，第2取得部5d從存儲器2取得第2圖像i2的yuv數據(步驟s56)。之後，第2合成部205e從記錄於第2記錄部207的合成位置列表l取得與當前的重放幀編號對應的合成位置(步驟s57)。

另外，上述的步驟s55～s57的各處理的順序是一例，並不限於此，例如可以在第2圖像i2的取得後取得第1圖像i1，另外，取得合成位置的定時可以是第1圖像i1、第2圖像i2的取得前。

接下來，第2合成部205e在第1圖像i1內的合成位置重疊第2圖像i2，如此合成來生成第3圖像i3的yuv數據，並輸出給顯示控制部8a(步驟s58)。然後，顯示控制部8a將輸入的第3圖像i3作為幀圖像以給定的重放幀頻顯示在顯示面板8b的顯示區域(步驟s59；參考圖9(a))。

接下來，控制部1的cpu與上述實施方式1的重放處理的步驟s25大致同樣，判定是否輸入了動態圖像的重放結束指示(步驟s60)。

在此，若判定為未輸入動態圖像的重放結束指示(步驟s60；「否」)，控制部1的cpu使處理返回步驟s55，逐次執行這以後的各處理。即，執行步驟s55～s59的各處理，按照重放幀編號順序將第1圖像i1和第2圖像i2合成，由此生成第3圖像i3作為幀圖像，並顯示生成的幀圖像(參考圖9(c)～圖9(d)等)。

在此，在圖9(a)～圖9(d)中表徵以第3圖像i3為幀圖像的動態圖像的一例，將第2圖像i2和第1圖像i1合成而得到第3圖像i3，該第2圖像i2伴隨動態圖像的攝像時間的經過使第2範圍a2的大小逐漸放大那樣生成。

在該動態圖像的一例中，伴隨近前側的第2圖像i2的大小的放大，而使裡側的第1圖像i1的大小逐漸縮小，在該過程，若相比於不斷逐漸縮小的第1圖像i1的大小而使第2範圍a2的大小不斷逐漸放大的第2圖像i2變得更大，則第2合成部205e，以第2圖像i2為裡側，以第1圖像i1為近前側來進行合成，生成第3圖像i3(參考圖9(c)等)。然後如圖9(d)所示那樣，最終成為在顯示於顯示面板8b的整面的第2圖像i2的近前側顯示與最初的幀編號對應的第1圖像i1的一部分的區域的狀態。

上述的各處理直到在步驟s60判定為輸入了動態圖像的重放結束指示(步驟s60；「是」)為止重複執行。

若在步驟s60判定為輸入了動態圖像的重放結束指示(步驟s60；「是」)，則結束重放處理。

如以上那樣，根據實施方式2的攝像裝置200，與上述實施方式1大致同樣，不同於僅將第1圖像i1的一部分的區域放大來合成或顯示，例如關於對應於特定的被攝體s(關注部分)而確定的第2範圍a2，能作為解析度更高的第2圖像i2與第1圖像i1合成來生成第3圖像i3，在該第3圖像i3的記錄或重放中，能更有效地活用。

特別通過在被攝體的攝影時將生成的第1圖像i1和第2圖像i2建立關聯記錄在第2記錄部207，由此能在圖像的重放時，將記錄於第2記錄部207的第1圖像i1合成第2圖像i2合成來生成第3圖像i3，顯示該第3圖像i3。即，在被攝體的攝影時，不再需要將第1圖像i1和第2圖像i2合成來生成第3圖像i3，即使是處理能力相對低的裝置，也能個別效率良好地進行被攝體的攝影和第3圖像i3的生成。進而，若第1圖像i1成為第2圖像i2的裡側那樣生成多個第3圖像i3，並且相比於不斷逐漸縮小的第1圖像i1的大小而使第2範圍a2的大小不斷逐漸放大的第2圖像i2變得更大，則還能使第2圖像i2成為比第1圖像i1更靠裡側那樣生成多個第3圖像i3，通過個別進行被攝體的攝影和第3圖像i3的生成，能以相對自由度高的方式生成將第1圖像i1和第2圖像i2合成而得到的第3圖像i3。

即，在實施方式2中，即使是少的記錄容量也能以能實現整體的大致的確認和關注部分的詳細的確認的形式記錄攝影圖像，這與實施方式1同樣，但與實施方式1比較，通過取代需要個別記錄、重放第1圖像i1和第2圖像i2的管理，利用縮小原始圖像i0整體的第1圖像i1和與剪取的關注部分對應的第2圖像i2的重放顯示，能提高進行整體的大致的確認和關注部分的詳細的確認時的自由度。

另外，本發明並不限定於上述實施方式1、2，可以在不脫離本發明的主旨的範圍內進行種種改良和設計的變更。

例如，也可以通過在動態圖像的攝像時使由第2生成部5b從原始圖像i0剪取的一部分的區域的位置變化，來生成使第2範圍a2的位置不同的第2圖像i2。即，在特定的被攝體s為2個以上的情況下等，在動態圖像的攝像的中途，第2生成部5b生成使第2範圍a2的位置不同的第2圖像i2，由此能切換2個以上的特定的被攝體s來進行合成。

進而，也可以通過對應於特定的被攝體s的數量使第2範圍a2的數量變化，來生成與特定的被攝體s的各自對應的多個第2圖像i2，與第1圖像i1合成。

另外，在上述實施方式1、2中，作為構成動態圖像的多個幀圖像而生成多個第3圖像i3，但這是一例，並不限於此，例如也可以設為一幅靜止圖像。

另外，攝像裝置100、200的構成在上述實施方式1、2的例示是一例，並不限於此。進而，作為圖像處理裝置而例示了攝像裝置100、200，但並不限於此，是否具備攝像功能可以適宜任意變更。

此外在上述實施方式中，構成為在控制部1的控制下由第1取得部5c、第2取得部5d、第1合成部5e進行驅動來實現為第1取得單元、第2取得單元、合成單元的功能，但並不限於此，也可以構成為通過由控制部1的cpu執行給定的程序等來實現。

即，在程序存儲器(圖示略)記錄包含第1取得處理例程、第2取得處理例程、合成處理例程的程序。然後，通過第1取得處理例程使控制部1的cpu實現如下功能：取得以第1解析度表徵被攝體的第1範圍a1的第1圖像i1。另外，可以通過第2取得處理例程使控制部1的cpu實現如下功能：取得以高於第1解析度的第2解析度表徵小於被攝體的第1範圍a1的第2範圍a2的第2圖像i2。另外，可以通過合成處理例程使控制部1的cpu實現如下功能：將取得的第1圖像i1和取得的第2圖像i2以保持各自解析度的狀態進行合成，來生成第3圖像i3。

同樣地，關於攝像單元、第1生成單元、第2生成單元、第1記錄單元、第2記錄單元、重放單元、記錄控制單元，也可以構成為通過由控制部1的cpu執行給定的程序等來實現。

進而，作為存放用於執行上述的各處理的程序的計算機可讀的介質，除了能運用rom、硬碟等以外，還能運用閃速存儲器等非易失性存儲器、cd-rom等可移動記錄介質。另外，作為將程序的數據經由給定的通信線路來進行提供的介質，還運用載波(carrierwave)。

對本發明的幾個實施方式進行了說明，但本發明的範圍並不限定於上述的實施方式，還包含與記載於權利要求書的發明的範圍等同的範圍。

以下附記一開始添附在本申請的申請書的權利要求書所記載的發明。附記記載的權利要求的編號，如一開始在本申請的申請書添附的權利要求書。

另外，在上述的實施方式中，通過控制部基於存儲於存儲部的程序動作，來實現(執行、構成)為了得到上述那樣各種效果所需的各種功能(處理、手段)的一部分或全部。但這是一例，為了實現這些功能還能使用其他各種方法。

例如能將各種功能的一部分或全部用ic、lsi等的電子電路實現。在該情況下，關於電子電路的具體的構成，由於能基於說明書記載的流程圖、功能框圖等由本領域技術人員容易地實現，因此省略詳細(例如關於伴隨以流程圖示出的處理的分支的判斷處理，能構成為用比較器對輸入數據進行比較，根據該比較結果來切換選擇器)。

另外，怎樣分割為了得到各種效果而需要的多個功能(處理、手段)等也是自由的，以下記述其一例。

(構成1)

在圖像處理裝置所進行的圖像處理方法中，構成為：取得以第1解析度表徵被攝體的第1範圍的第1圖像，取得以高於所述第1解析度的第2解析度表徵所述被攝體的小於所述第1範圍的第2範圍的第2圖像，將所述第1圖像和所述第2圖像以保持各自的解析度的狀態合成來生成第3圖像。

(構成2)

上述構成的基礎上進一步構成為：由攝像部對被攝體的能攝影的範圍整體以給定的解析度攝像，將由所述攝像部攝像的圖像整體設為所述第1範圍，縮小該第1範圍的圖像來生成所述第1圖像，將由所述攝像部攝像的圖像的一部分的區域設為所述第2範圍，剪取該第2範圍的圖像來生成所述第2圖像。

(構成3)

上述構成的基礎上進一步構成為：從由所述攝像部以給定的解析度攝像的同一圖像分別生成所述第1圖像以及所述第2圖像。

(構成4)

上述構成的基礎上進一步構成為：在被攝體的攝影時，將所述第1圖像和所述第2圖像合成來生成所述第3圖像，將該第3圖像記錄在記錄部。

(構成5)

上述構成的基礎上進一步構成為：在被攝體的攝影時，將所述第1圖像和所述第2圖像建立關聯記錄在記錄部，在圖像的重放時，將記錄於所述記錄部的所述第1圖像和所述第2圖像合成來生成所述第3圖像，顯示該第3圖像。

(構成6)

上述構成的基礎上進一步構成為：由所述攝像部對被攝體的動態圖像攝像，從構成所述動態圖像的多個幀圖像的各自生成所述第1圖像，從構成所述動態圖像的多個幀圖像的各自生成所述第2圖像，對構成所述動態圖像的多個幀圖像的每一者，將對應的所述第1圖像和所述第2圖像合成來生成所述第3圖像。

(構成7)

上述構成的基礎上進一步構成為：對構成所述動態圖像的多個幀圖像的每一者，使所述第2範圍的大小不同來生成所述第2圖像。

(構成8)

上述構成的基礎上進一步構成為：使用使所述第2範圍的大小逐漸放大那樣生成的多個第2圖像來生成所述多個第3圖像，使所述第2範圍的大小逐漸放大那樣來重放以該生成的多個第3圖像為多個幀圖像的動態圖像。

(構成9)

上述構成的基礎上進一步構成為：讓所述第1圖像成為所述第2圖像的裡側那樣生成所述多個第3圖像，並且若相比於斷逐漸縮小的所述第1圖像的大小而使所述第2範圍的大小不斷逐漸放大的所述第2圖像變得更大，則讓所述第2圖像成為所述第1圖像的裡側那樣來生成所述多個第3圖像。

(構成10)

上述構成的基礎上進一步構成為：作為所述動態圖像的中途的幀圖像，生成使所述第2範圍的位置不同的所述第2圖像。

(構成11)

上述構成的基礎上進一步構成為：將合成所述第1圖像和所述第2圖像而生成的所述第3圖像壓縮，並記錄在記錄部。