圖像合成裝置及圖像合成方法
2023-11-02 07:21:07
專利名稱：圖像合成裝置及圖像合成方法
技術領域：
本發明涉及一種可將各圖像進行合成的圖像合成裝置及圖像合成方法。
背景技術：
近年來，具備將攝像並記錄圖像數據彼此進行合成後、生成合成圖像數據並進行記錄的功能的數位照相機廣泛普及。在這種數位照相機(カメラ包含攝像機)中，對從作為固體攝像元件的一種CCD輸出的CCD數據實施所謂的象素內插處理、γ補償處理、白平衡處理、邊緣強化處理、YC數據變換處理(將CCD數據變換為由輝度信號Y及色差信號C構成的YC數據的處理)等顏色處理(三原色法)後，以JPEG(Joint Photographic Expert Group)等規定格式記錄在快閃記憶體等記錄媒體中。另外，在合成圖像數據時，從快閃記憶體中讀取構成合成對象的第1圖像數據和第2圖像數據，並進行擴展，將圖像數據彼此進行合成，生成合成圖像數據。
但是，這樣若以被實施各種顏色處理後的圖像數據彼此，進行合成而生成合成圖像數據，則產生由於圖像亮的部位太白、或相反暗的部位變得更暗等顏色差引起的畫質惡化，並且產生圖像合成處理必需很多存儲器容量等問題。
本發明是鑑於該現有課題，其目的在於提供一種可大幅度提高進行圖像合成時的便利性的圖像合成裝置及圖像合成方法。
發明內容
在一個形態中，構成為在圖像合成裝置中具備第1取得單元，取得未實施預定的顏色處理(三原色法)的彩色圖像數據；第2取得單元，取得實施上述預定的顏色處理的彩色圖像數據；變換單元，將由第2取得單元取得的彩色圖像數據變換為實施上述預定的顏色處理前的狀態的彩色圖像數據；和合成單元，合成由變換單元變換的彩色圖像數據和由上述第1取得單元取得的彩色圖像數據。
在另一形態中，作為圖像合成方法，提供如下圖像合成方法，即，取得未實施預定的顏色處理的彩色圖像數據和實施上述預定的顏色處理的彩色圖像數據；將取得的實施上述預定的顏色處理的彩色圖像數據變換為實施上述預定的顏色處理前的狀態的彩色圖像數據；合成變換後的彩色圖像數據和取得的未實施上述預定的顏色處理的彩色圖像數據。
附圖的簡要說明
圖1是本發明各實施形態中共同的數位照相機的框圖。
圖2是實施形態1的概括流程圖。
圖3是詳細表示圖2所示流程圖中步驟SA3的流程圖。
圖4是詳細表示圖2所示流程圖中步驟SA4的流程圖。
圖5是詳細表示圖4所示流程圖中步驟SC4的流程圖。
圖6是表示實施形態1中的存儲器使用狀況的說明圖。
圖7是實施形態2的概括流程圖。
圖8是詳細表示圖7所示流程圖中步驟SA13的流程圖。
圖9是詳細表示圖8所示流程圖中步驟SC14的流程圖。
圖10是實施形態3的概括流程圖。
圖11是詳細表示圖10所示流程圖中步驟SE3的流程圖。
圖12是詳細表示圖11所示流程圖中步驟SF4的流程圖。
圖13是表示實施形態3中的存儲器使用狀況的說明圖。
圖14是實施形態3的概括流程圖。
圖15是詳細表示圖14所示流程圖中步驟SH3的流程圖。
圖16是詳細表示圖15所示流程圖中步驟SI4的流程圖。
圖17是表示實施形態4中對原圖像YC數據的LPF處理的說明圖。
實施例(實施形態1)下面，根據附圖來說明本發明的實施形態1。圖1是表示各實施形態中共同的數位照相機的電路構成的框圖。該數位照相機具有光學透鏡1；由光學透鏡1成像的CCD等攝像元件2；驅動攝像元件2及後述的單元電路4的TG3；和由保持從攝像元件2中輸出的攝像信號的CDS(Correlated Double Sampling)、放大該攝像信號的AGC(AutoGain Control)放大器、將放大後的攝像信號變換為數位訊號的A/D變換器(AD)構成的單元電路4。上述攝像元件2在其前面配置原色拜耳(ベイヤBayer)排列的濾色(RGB)鏡。
被攝物的像經光學透鏡1成像在攝像元件2上，攝像元件2輸出信號。從攝像元件2輸出的信號由單元電路4採樣、放大、數位化後，將拜耳數據(RGB數據)原樣發送到圖像處理電路/CPU6，由圖像處理電路/CPU6的處理來實施各種信號處理(包含顏色處理)及圖像處理。
上述光學透鏡1保持在具備AF電機等的透鏡驅動電路5上，上述光學透鏡1通過由圖像處理電路/CPU6的控制驅動透鏡驅動電路5來沿光軸方向移動，並調整成像在攝像元件2上的被攝物像的焦距。另外，在AE控制時，根據從圖像處理電路/CPU6發送的快門脈衝，由TG3來驅動攝像元件2，控制電荷貯存時間。由此實現電子快門。
圖像處理電路/CPU6具備各種信號處理及圖像處理功能，在攝像待機時，根據經單元電路4變換為數位訊號的攝像信號來生成視頻信號，並將由攝像元件2攝像的被攝物像作為直達(through)圖像顯示在由TFT液晶監視器等構成的顯示裝置7中。另外，在攝像時，壓縮攝像信號，生成由JPEG格式的YC數據構成的圖像文件，並將該文件存儲在由快閃記憶體等構成的自由裝卸的外部存儲器8中，再現時，從外部存儲器8中讀取壓縮後的圖像文件，進行擴展後，顯示在顯示裝置7中。
並且，在圖像處理電路/CPU6上連接包含電源開關、快門鍵、上卷鍵、設置鍵等各種開關的操作鍵部9、存儲器10、程序ROM11。存儲器10是用作後述圖像合成處理等中的作業區域的工作(work)RAM。程序ROM11存儲圖像處理電路/CPU6的各部控制及各種數據處理必需的動作程序、即執行後述流程圖中所示處理的程序等。
下面，根據圖2-圖5所示流程圖來說明由以上構成所構成的數位照相機的動作。這些流程圖表示在已攝像後、以YC數據狀態保存在外部存儲器8中的原圖像的圖像數據(下面稱為原圖像YC數據)中、合成通過快門鍵的操作由攝像元件2取得、存儲在外部存儲器8中之前的攝像圖像的圖像數據(下面稱為攝像圖像YC數據)的情況。
上述圖像處理電路/CPU6根據上述程序，按照圖2所示整體示意流程來執行處理，從外部存儲器8中讀取構成合成對象的原圖像YC數據，並擴展後，展開於存儲器10上(步驟SA1)。另外，攝像元件2伴隨快門鍵的操作進行攝像，取得從單元電路4輸出的拜耳數據(下面稱為攝影圖像拜耳數據)(步驟SA2)，如後所述，根據攝影圖像拜耳數據(Bayer data)，進行攝影圖像YC數據的生成處理(顏色處理)等(步驟SA3)。並且，在進行後述的複合(合成)圖像YC數據生成處理後(步驟SA4)，將由該複合圖像YC數據生成處理得到的圖像數據(下面稱為複合圖像YC數據。)顯示在顯示裝置7中，同時，保存在存儲器10或外部存儲器8中(步驟SA5)。
圖3是詳細表示上述步驟SA3的攝影圖像YC數據生成處理(顏色處理)的流程圖。首先，設定初始值，作為表示伴隨快門鍵的操作、由攝像元件2攝像、從單元電路4輸出、暫時存儲在存儲器10中的攝影圖像拜耳數據的處理對象點坐標的值(步驟SB1)。接著，從攝影圖像拜耳數據中讀取該初始值表示的處理對象點數據及其周圍點數據(步驟SB2)。之後，根據該讀取處理對象點數據及其周圍點數據，進行象素內插處理(步驟SB3)，接著，對象素內插後的數據依次進行γ變換(γ補償)處理(步驟SB4)、邊緣強化處理(步驟SB5)後，進行從拜耳數據到YC數據的變換處理(步驟SB6)，將該處理對象點中的(每1pix的)攝影圖像YC數據寫入存儲器10中(步驟SB7)。
另外，判斷是否對攝影圖像拜耳數據的所有點(pix)結束以上步驟SB2-步驟SB7的處理(步驟SB8)。若對所有點的處理未結束(步驟SB8；否)，則在更新表示處理對象點坐標的值後(步驟SB9)，對更新值表示的處理對象點執行步驟SB2-步驟SB7的處理。另外，若對攝影圖像拜耳數據的所有點結束了以上步驟SB2-步驟SB7的處理，則根據圖3所示流程的處理結束。
圖4是詳細表示上述步驟SA4的複合圖像YC數據生成處理的流程圖。首先，設定初始值，作為表示處理對象點坐標的值(步驟SC1)，從原圖像YC數據中讀取該初始值表示的處理對象點數據(步驟SC2)。另外，還從攝影圖像YC數據中讀取該初始值表示的處理對象點數據(步驟SC3)，根據後述圖5所示流程圖來執行複合運算處理(步驟SC4)，將該處理對象點中複合後的YC數據寫入存儲器10中(步驟SC5)。
之後，判斷是否對原圖像YC數據及攝影圖像YC數據的所有點結束以上步驟SC2-步驟SC5的處理(步驟SC6)。若對所有點的處理未結束(步驟SC6；否)，則在更新表示處理對象點坐標的值後(步驟SC7)，對更新值表示的處理對象點執行步驟SC2-步驟SC5的處理。另外，若對原圖像YC數據及攝影圖像YC數據的所有點結束了以上步驟SC2-步驟SC5的處理，則根據圖4所示流程的處理結束。
圖5是詳細表示圖4所示步驟SC4的複合運算處理的流程圖。首先，將上述處理對象點中的原圖像YC數據變換為拜耳數據(步驟SD1)，逆γ變換該變換後的處理對象點的拜耳數據(步驟SD2)。即，通過對已實施γ補償、具有非線性的數據執行使之具有線性的處理，返回γ補償前的狀態。另外，將上述處理對象點中的攝影圖像YC數據也變換為拜耳數據(步驟SD3)，逆γ變換該變換後的處理對象點的拜耳數據(步驟SD4)。接著，將逆γ變換後的處理對象點中的原圖像的拜耳數據與攝影圖像的拜耳數據相加(步驟SD5)，限幅相加後的拜耳數據的上限值(步驟SD6)。並且，在對限幅上限值的拜耳數據執行象素內插處理後(步驟SD7)，進行γ變換(步驟SD8)，將γ變換後的拜耳數據變換為YC數據(步驟SD9)。
因此，通過在圖4的步驟SC4中執行圖5流程圖中示出的處理，將原圖像YC數據與攝影圖像YC數據的所有點拜耳數據變換及逆γ變換後相加，之後，進行象素內插、γ變換，生成由YC數據構成的複合圖像YC數據(合成圖像數據)。
因此，若執行以上圖2-圖5所示流程圖中示出的處理，則例如若設圖像尺寸為2048×1568pix、各YC數據的格式在YcbCr每個比特中為4∶2∶2、拜耳數據為1Byte/pix，則如圖6所示，在存儲器10中，分別當展開原圖像YC數據時，需要6MB(10a)、當存儲攝影圖像拜耳數據時需要3MB(10b)、將攝影圖像拜耳數據變換為攝影圖像YC數據時，需要6MB(10c)，在變換為複合圖像YC數據時，需要6MB(10d)。由此，若存儲器10中有21MB的容量，則可根據原圖像YC數據和攝影圖像YC數據，生成複合圖像YC數據。另外，在將複合圖像YC數據寫到攝影圖像YC數據上時(10e)，若存儲器10中有15MB的容量，則可根據原圖像YC數據和攝影圖像YC數據，生成複合圖像YC數據。由此，可用比以往少的存儲器容量來進行圖像合成。
並且，如圖2-圖5的流程圖所示，合成圖像時，對已實施γ補償的原圖像YC數據及攝影圖像YC數據實施逆γ補償，以合成兩個YC數據，所以不必以前為了避免畫質惡化而必需的很多的存儲器容量，同時，不必進行補償運算處理中花費時間的圖像補償處理，可單純通過短時間處理來合成無畫質惡化的圖像。
另外，在本實施例中，合成事先保存的原圖像與保存前的攝影圖像，但也可對各原圖像、即已保存記錄在外部存儲器8中的各圖像進行合成。
(實施形態2)圖7表示本發明實施形態2中，合成已攝像並以YC數據狀態保存在外部存儲器8中的第1原圖像YC數據與第2原圖像YC數據的情況。
上述圖像處理電路/CPU6根據上述程序，按照圖7所示整體示意流程來執行處理。
首先，從外部存儲器8中選擇讀取構成合成對象的第1原圖像YC數據，擴展後，展開於存儲器10上(步驟SA11)。例如，對應於上卷鍵操作，將記錄在外部存儲器8中的多個YC數據依次切換顯示在顯示裝置7上，在顯示希望合成的YC數據的時刻，通過操作設置鍵來選擇第1原圖像YC數據。接著，從外部存儲器8中選擇讀取構成合成對象的第2原圖像YC數據，擴展後，展開於存儲器10上(步驟SA12)，進行複合(合成)圖像YC數據生成處理之後(步驟SA13)，將通過該複合圖像YC處理所得到的複合圖像YC數據保存在存儲器10或外部存儲器8中(步驟SA14)。
圖8是詳細表示上述步驟SA13的複合圖像YC數據生成處理的流程圖。首先，設定初始值，作為表示處理對象點坐標的值(步驟SC11)，從第1原圖像YC數據中讀取該初始值表示的處理對象點數據(步驟SC12)。另外，還從第2原圖像YC數據中讀取該初始值表示的處理對象點數據(步驟SC13)，按照後述圖9所示流程圖來執行複合運算處理(步驟SC14)，將該處理對象點中的複合化YC數據寫入存儲器10中(步驟SC5)。
下面，判斷是否對第1原圖像YC數據及第2原圖像YC數據的所有點結束了以上步驟SC12-步驟SC15的處理(步驟SC16)。若對所有點的處理未結束(步驟SC16；否)，則在更新表示處理對象點坐標的值後(步驟SC17)，對更新值表示的處理對象點執行步驟SC12-步驟SC15的處理。另外，若對第1原圖像YC數據及第2原圖像YC數據的所有點結束了以上步驟SC12-步驟SC15的處理，則根據圖8所示流程的處理結束。
圖9是詳細表示圖8所示步驟SC14的複合運算處理的流程圖。首先，將上述處理對象點中的第1原圖像YC數據變換為拜耳數據(步驟SD11)，逆γ變換該變換後的處理對象點的拜耳數據(步驟SD12)。即，通過對已實施γ補償、具有非線性的數據執行使之具有線性的處理，返回γ補償前的狀態。另外，將上述處理對象點中的第2原圖像YC數據也變換為拜耳數據(步驟SD13)，逆γ變換該變換後的處理對象點的拜耳數據(步驟SD14)。接著，將逆γ變換後的處理對象點中的第1原圖像的拜耳數據與第2原圖像的拜耳數據相加(步驟SD15)，限幅相加後的拜耳數據的上限值(步驟SD16)。並且，在對限幅上限值的拜耳數據執行象素內插處理後(步驟SD17)，進行γ變換(步驟SD18)，將γ變換後的拜耳數據變換為YC數據(步驟SD19)。
因此，通過在圖8的步驟SC14執行圖9流程圖中示出的處理，將第1原圖像YC數據與第2原圖像YC數據的所有點拜耳數據變換及逆γ變換後相加，之後，進行象素內插、γ變換，生成由YC數據構成的複合圖像YC數據(合成圖像數據)。
因此，若執行以上圖7-圖9所示流程圖中示出的處理，則例如若設圖像尺寸為2048×1568pix、各YC數據的格式在YcbCr每個比特中為4∶2∶2、拜耳數據為1Byte/pix，則在存儲器10中，分別當展開第1原圖像YC數據時，需要6MB，當展開第2原圖像YC數據時，需要6MB，當變換為複合圖像YC數據時，需要6MB。由此，若存儲器10中有18MB的容量，則可根據第1原圖像YC數據和第2原圖像YC數據，生成複合圖像YC數據。另外，在將複合圖像YC數據寫到第1或第2原圖像YC數據上時，若存儲器10中有12MB的容量，則可根據第1原圖像YC數據和第2原圖像YC數據，生成複合圖像YC數據。由此，可用比以往少的存儲器容量來進行圖像合成。
並且，如圖7-圖9的流程圖所示，合成圖像時，對已實施γ補償的第1原圖像YC數據和第2原圖像YC數據施逆γ補償，以合成兩個YC數據，所以不必以前為了避免畫質惡化而必需的很多的存儲器容量，同時，不必進行補償運算處理中花費時間的圖像補償處理，可單純通過短時間處理來合成無畫質惡化的圖像。
(實施形態3)圖10-圖13表示本發明實施形態3中，在已攝像並以YC數據狀態保存在外部存儲器8中的原圖像YC數據中合成通過快門鍵操作、由攝像元件2取得、實施各種顏色處理之前的攝影圖像拜耳數據的情況。
上述圖像處理電路/CPU6根據上述程序，按照圖10所示整體示意流程來執行處理，從外部存儲器8中讀取構成合成對象的原圖像YC數據，擴展後，展開於存儲器10上(步驟SE1)。另外，攝像元件2伴隨快門鍵的操作進行攝像，取得從單元電路4輸出的攝影圖像拜耳數據(步驟SE2)，如後所述，進行複合拜耳數據生成處理(步驟SE3)。並且，在進行複合圖像YC數據生成(顏色處理)處理後(步驟SE4)，將由該複合圖像YC數據生成(顏色處理)處理得到的圖像數據顯示在顯示裝置7中，同時，保存記錄在外部存儲器8中(步驟SE5)。
圖11是詳細表示上述步驟SE3的複合圖像拜耳數據生成的流程圖。首先，設定初始值，作為表示處理對象點坐標的值(步驟SF1)。接著，從存儲器10中展開的原圖像YC數據中讀取該初始值表示的處理對象點數據(步驟SF2)。之後，從伴隨快門鍵操作、由攝像元件2攝像、從單元電路4中輸出、暫時存儲在存儲器10中的攝影圖像拜耳數據中讀取上述初始值表示的處理對象點數據(步驟SF3)。另外，使用讀取的原圖像YC數據的處理對象點數據和攝影圖像拜耳數據的處理對象點數據，進行後述複合運算處理(步驟SF4)。並且，將通過該複合運算處理生成的該處理對象點中複合後的拜耳數據寫入存儲器10中(步驟SF5)。
之後，判斷是否對原圖像YC數據及攝影圖像拜耳數據的所有點結束以上步驟SF2-步驟SF5的處理(步驟SF6)。若對所有點的處理未結束(步驟SF6；否)，則在更新表示處理對象點坐標的值後(步驟SF7)，對更新值表示的處理對象點執行步驟SF2-步驟SF5的處理。另外，若對原圖像YC數據及攝影圖像拜耳數據的所有點結束了以上步驟SF2-步驟SF5的處理，則根據圖11所示流程的處理結束。
圖12是詳細表示圖10所示步驟SF4的複合運算處理的流程圖。首先，通過[原圖像YC/拜耳數據變換]處理，將上述處理對象點中的原圖像YC數據變換為拜耳數據(步驟SG1)。並且，通過[原圖像拜耳數據逆γ變換]處理，進行逆γ變換，將處理對象點的拜耳數據處理為與攝影圖像的拜耳數據相等(步驟SG2)。在該狀態下，進行[原圖像拜耳數據/攝影圖像拜耳數據相加]處理，將上述對象處理點中的原圖像拜耳數據與攝影圖像拜耳數據相加(步驟SG3)。限幅相加後的拜耳數據的上限值(步驟SG4)，完成每1pix的複合運算處理。
因此，通過在圖10的步驟SF4中執行圖12流程圖中示出的處理，生成以拜耳數據狀態相加原圖像YC數據與攝影圖像拜耳數據的所有點(pix)後的複合圖像拜耳數據(合成圖像數據)。
另外，在上述圖10所示流程圖中，就步驟SE3之後的步驟SE4的複合圖像YC數據生成(顏色處理)而言，執行與圖3所示流程圖的處理一樣的處理。
即，首先，設定初始值，作為表示處理對象點坐標的值(步驟SB1)，從複合圖像拜耳數據中讀取該初始值表示的處理對象點數據及其周圍點數據(步驟SB2)。之後，根據該讀取處理對象點數據及其周圍點數據，依次進行象素內插處理(步驟SB3)、γ變換處理(步驟SB4)、邊緣強化處理(步驟SB5)，之後，進行從拜耳數據到YC數據的變換處理(步驟SB6)，將該處理對象點中的(每1pix的)複合圖像YC數據寫入存儲器10中(步驟SB7)。
另外，判斷是否對複合圖像拜耳數據的所有點(pix)結束以上步驟SB2-步驟SB7的處理(步驟SB8)。若對所有點的處理未結束(步驟SB8；否)，則在更新表示處理對象點坐標的值後(步驟SB9)，對更新值表示的處理對象點執行步驟SB2-步驟SB7的處理。另外，若對複合圖像拜耳數據的所有點結束了以上步驟SB2-步驟SB7的處理，則根據圖3所示流程的處理結束。
若執行以上圖10-圖12及圖3流程圖中示出的處理，則例如在圖像尺寸為2048×1568pix的情況下，如圖13所示，當在存儲器10中排列所有數據時，原圖像YC數據變為6MB(10a)、攝影圖像拜耳數據變為3MB(10b)、複合圖像拜耳數據變為3MB(10e)，複合圖像YC數據變為6MB(10d)。由此，若存儲器10中有18MB的容量，則可根據原圖像YC數據和實施顏色處理前的攝影圖像拜耳數據，生成複合圖像YC數據。另外，可分別寫複合圖像YC數據與原圖像YC數據、攝影圖像拜耳數據與複合圖像拜耳數據，所以若考慮該情況，則如果存儲器10中有9MB的容量，則可生成複合圖像YC數據。由此，可以少的存儲器容量來進行合成。
並且，在本實施形態的情況下，僅在圖12的步驟SG1中的[原圖像YC/拜耳數據變換]中發生複合處理的乘法。這裡的運算基本上是3×3的矩陣運算，但因為也可根據拜耳排列的顏色來算出RGB之一，所以每1pix的乘法次數變為3次。不必複雜運算處理所需時間，可單純通過短時間處理來合成無畫質惡化的圖像。
(實施形態4)圖14-圖17表示本發明實施形態4中，在已攝像並以YC數據狀態保存在外部存儲器8中的原圖像YC數據中合成通過快門鍵操作、由攝像元件2取得、實施顏色處理之前的攝影圖像拜耳數據的情況。
上述圖像處理電路/CPU6根據上述程序，按照圖14所示整體示意流程來執行處理。該整體示意流程中的步驟SH1-SH5的處理與上述圖10的步驟SE1-SE5的處理相同。另外，圖15是詳細表示步驟SH3的複合圖像拜耳數據生成的流程圖，但該流程圖中的步驟SI1-SI7的處理也與上述圖11的步驟SF1-SF7的處理相同。
圖16是詳細表示圖15所示步驟SI4的複合運算處理的流程圖。首先，執行[原圖像YC數據/LPF處理](步驟SJ1)。在該步驟SJ1的處理中，在複合運算時，對原圖像YC數據進行LPF(低通濾波器)處理。該運算的內容以Y為例示於圖14中。
即，在算出某個對象點(在圖的實例中為坐標(1，1))中的Y的低頻分量時，對以對象點為中心的周圍9個點(水平3×垂直3)的數據，進行濾波器係數的卷積運算。這裡，在Y(i-1，j-1)-Y(i-1+1，j-1+1)中卷積LPF的矩陣LFP(0，0)-LFP(2，2)，算出YL(i，j)，此時下式成立。
式1YL(i,j)=116m=02n=02Y(i-1+m,j-1+n)LPF(m,n)]]>若如此執行步驟SJ1的處理，則對於通過步驟SJ1的處理得到的原圖像YC數據的低頻分量，可在以下的步驟SJ2-SJ5中執行與上述圖12的步驟SG1-SG4相同的處理。
即，與顏色處理前的攝影圖像拜耳數據相比，原圖像YC數據通常是進行作為顏色處理之一的邊緣強化後的數據，所以包含較多的高頻分量。因此，若原樣使用原圖像YC數據來進行複合處理/顏色處理，則還對原圖像的高頻分量進行邊緣強化(參照圖3的流程)，變為無用的高頻分量多的圖像。但是，在實施形態4中，因為事先對原圖像YC數據進行LPF，抑制了高頻分量，並進行複合處理/顏色處理，所以抑制了複合處理後的圖像的無用高頻分量，結果，可合成無圖像惡化的圖像。
另外，在本實施形態中，雖設濾波器的構成為3×3，但也可以是5×5等其它構成。另外，雖在複合運算處理時進行濾波處理，但也可在原圖像YC數據讀取之後就進行濾波處理。
另外，在上述實施形態1-4中，雖設CCD的拜耳數據為原色拜耳排列(RGB)，但也可是補色的排列(YMC)。並且，雖設各YC數據的格式在YcbCr各1比特中為4∶2∶2，但也可以是4∶2∶0。
另外，在上述實施形態1-4中，說明了合成各靜止圖像的情況，但也可在合成活動圖像的情況、或合成活動圖像和靜止圖像的情況下，適用本發明。
另外，在上述實施形態1-4中，說明在將各圖像進行複合合成(相加)中適用本發明的情況，但在將各圖像相減的情況下也可適用本發明。例如，還考慮在通過從打開快門狀態下的攝影得到的圖像數據中減去關閉快門狀態下的攝影得到的圖像數據來去除噪聲的情況下，適用本發明。
另外，在上述實施形態1-4中，說明將任一本發明適用於數位照相機的情況，但若是帶攝像機的便攜電話終端、帶攝像機的便攜信息終端、帶攝像機的個人計算機等具有攝像功能的設備，則本發明也可適用於任一設備中。
另外，在上述實施形態1-4中，說明將本發明適用於具有攝像功能的設備的情況，但本發明也可適用於不帶攝像機功能的便攜電話終端、便攜信息終端、個人計算機等中，主要是具備圖像合成功能的設備，則本發明也可適用於任一設備中。
權利要求
1.一種圖像合成裝置，其特徵在於具備第1取得單元，取得未實施預定的顏色處理的彩色圖像數據；第2取得單元，取得實施上述預定的顏色處理的彩色圖像數據；變換單元，將由第2取得單元取得的彩色圖像數據變換為實施上述預定的顏色處理前的狀態的彩色圖像數據；和合成單元，合成由變換單元變換的彩色圖像數據和由上述第1取得單元取得的彩色圖像數據。
2.根據權利要求1所述的圖像合成裝置，其特徵在於具備存儲單元，存儲實施上述預定的顏色處理的彩色圖像數據，上述第2取得單元取得存儲在該存儲單元中的彩色圖像數據。
3.根據權利要求2所述的圖像合成裝置，其特徵在於上述存儲單元存儲多個實施上述預定的顏色處理的彩色圖像數據，具備選擇單元，從存儲在上述存儲單元中的多個彩色圖像數據中選擇任意彩色圖像數據，上述第2取得單元取得由選擇單元選擇的彩色圖像數據。
4.根據權利要求2所述的圖像合成裝置，其特徵在於具備攝像單元，對被攝物進行攝像，並輸出彩色圖像數據，和顏色處理單元，對從攝像單元輸出的彩色圖像數據執行上述預定的顏色處理，上述存儲單元存儲通過顏色處理單元實施上述預定的顏色處理的彩色圖像數據。
5.根據權利要求1所述的圖像合成裝置，其特徵在於具備攝像單元，對被攝物進行攝像，並輸出彩色圖像數據，和顏色處理單元，對從攝像單元輸出的彩色圖像數據執行上述預定的顏色處理，上述第2取得單元取得通過顏色處理單元實施上述預定的顏色處理的彩色圖像數據。
6.根據權利要求1所述的圖像合成裝置，其特徵在於具備攝像單元，對被攝物進行攝像，並輸出彩色圖像數據，和顏色處理單元，對從攝像單元輸出的彩色圖像數據執行上述預定的顏色處理，上述第1取得單元取得通過顏色處理單元實施上述預定的顏色處理之前的彩色圖像數據。
7.根據權利要求1所述的圖像合成裝置，其特徵在於具備存儲單元，存儲實施上述預定的顏色處理的彩色圖像數據，上述變換單元包含將存儲單元中存儲的彩色圖像數據變換為實施上述預定的顏色處理之前狀態的彩色圖像數據，上述第1取得單元取得由上述變換單元變換為實施上述預定的顏色處理之前狀態的彩色圖像數據。
8.根據權利要求7所述的圖像合成裝置，其特徵在於上述存儲單元存儲多個實施上述預定的顏色處理的彩色圖像數據，具備選擇單元，從存儲在上述存儲單元中的多個彩色圖像數據中選擇任意彩色圖像數據，上述變換單元包含將由選擇單元選擇的彩色圖像數據變換為實施上述預定的顏色處理之前狀態的彩色圖像數據的單元。
9.根據權利要求7所述的圖像合成裝置，其特徵在於具備攝像單元，對被攝物進行攝像，並輸出彩色圖像數據，和顏色處理單元，對從攝像單元輸出的彩色圖像數據執行上述預定的顏色處理，上述存儲單元存儲通過顏色處理單元實施上述預定的顏色處理的彩色圖像數據。
10.根據權利要求1所述的圖像合成裝置，其特徵在於具備存儲單元，存儲上述合成單元合成的合成彩色圖像數據。
11.根據權利要求1所述的圖像合成裝置，其特徵在於具備顯示單元，顯示上述合成單元合成的合成彩色圖像數據。
12.根據權利要求1所述的圖像合成裝置，其特徵在於具備顏色處理單元，對上述合成單元合成的合成彩色圖像數據執行上述預定的顏色處理。
13.根據權利要求1所述的圖像合成裝置，其特徵在於上述預定的顏色處理包含γ補償處理。
14.根據權利要求1所述的圖像合成裝置，其特徵在於上述預定的顏色處理包含將拜耳數據變換為輝度、色差數據的處理。
15.根據權利要求1所述的圖像合成裝置，其特徵在於上述預定的顏色處理包含象素內插處理。
16.根據權利要求1所述的圖像合成裝置，其特徵在於上述第2取得單元取得實施上述預定的顏色處理和邊緣強化處理後的彩色圖像數據，具備濾波處理單元，對上述第2取得單元取得的彩色圖像數據實施抑制高頻分量的濾波處理，上述合成單元合成實施了上述濾波處理單元的濾波處理和上述變換單元的變換處理的彩色圖像數據與上述第1取得單元取得的彩色圖像數據。
17.根據權利要求16所述的圖像合成裝置，其特徵在於上述第1取得單元取得未實施上述預定的顏色處理和邊緣強化處理的彩色圖像數據。
18.根據權利要求17所述的圖像合成裝置，其特徵在於具備攝像單元，對被攝物攝像，並輸出彩色圖像數據，和處理單元，對從攝像單元輸出的彩色圖像數據執行上述預定的顏色處理及邊緣強化處理，上述第1取得單元取得該處理單元實施上述顏色處理單元和邊緣強化處理之前的彩色圖像數據。
19.根據權利要求16所述的圖像合成裝置，其特徵在於具備邊緣強化單元，對上述合成單元合成的合成圖像數據實施邊緣強化處理。
20.一種圖像合成方法，其特徵在於取得未實施預定的顏色處理的彩色圖像數據和實施上述預定的顏色處理的彩色圖像數據；將取得的實施上述預定的顏色處理的彩色圖像數據變換為實施上述預定的顏色處理前的狀態的彩色圖像數據；合成該變換後的彩色圖像數據和取得的未實施上述預定的顏色處理的彩色圖像數據。
全文摘要
本發明提供的圖像合成裝置及圖像合成方法，將原圖像YC數據變換為拜耳數據，逆γ變換該變換後的拜耳數據。另外，在將作為合成對象的攝影圖像YC數據也變換為拜耳數據，並逆γ變換該變換後的拜耳數據。接著，將這些逆γ變換後的原圖像拜耳數據與攝影圖像拜耳數據相加，限貼相加後的拜耳數據的上限值。並且，對限幅上限值的相加後的拜耳數據實施象素內插和γ變換，將γ變換後的拜耳數據變換為YC數據。
文檔編號H04N9/07GK1472702SQ0312371
公開日2004年2月4日 申請日期2003年5月20日 優先權日2002年5月21日
發明者村木淳 申請人:卡西歐計算機株式會社