圖像處理裝置，方法以及程序的製作方法
2023-07-04 19:17:26
專利名稱：圖像處理裝置，方法以及程序的製作方法
技術領域：
本發明涉及圖像處理裝置及方法，特別涉及數字輸入裝置中與圖像的保存、再現相關的裝置、方法以及實現該方法的電腦程式。
背景技術：
日本專利特開平8-256303號公報(專利文獻1)中所揭示的圖像處理裝置的特徵在於用以不同的曝光量對同一被拍攝體進行多次拍攝所獲得的多個圖像數據製作標準圖像及非標準圖像，從非標準圖像辨別動態範圍擴大所必需的區域，將該部分壓縮保存。
在美國專利第6282311號(專利文獻2)、美國專利第6282312號(專利文獻2)、美國專利第6282313號(專利文獻4)中，為了在色再現域比sRGB所表示的標準色空間更寬的色空間中實現圖像的再現，提出了保存擴展色再現域的信息的方法。即，將具有色空間(其具有被限制的色域)的色值的限制色域數字圖像數據與具備該限制色域外側的色值的擴展色域數字圖像之間的差值信息同限制色域數字圖像數據形成對應關係並保存。
一般的靜態數位照相機是以CCIR Rec709所定的光電變換特性為基礎進行灰度等級設計的。因此，圖像設計是以當在個人電腦(PC)用顯示器的實際上的標準色空間sRGB色空間進行圖像再現時，以可提供良好的圖像為目標進行設計的。
另一方面，在實際場景中，例如晴天、陰天、夜晚等，輝度域有1∶100的，也有超過1∶10000的。以往使用的通常的CCD攝影元件從如此廣的輝度範圍不可能一次獲得信息，因此，通過自動曝光(AE)控制，確定最合適輝度的切出範圍，變換為與預定的光電變換特性相應的電信號，以便在如CRT這樣的顯示器中進行圖像再現。或者如專利文獻1所披露的那樣，通過改變曝光量進行多次拍攝以確保較寬的輝度範圍。但是，這種多次曝光技術只適用於靜態物體的拍攝。
但是，在新娘禮服(白婚紗)的拍攝、汽車等具有金屬光澤的被拍攝物體的拍攝、使用近距閃光燈拍攝以及逆光拍攝等特殊的被拍攝體或拍攝的情況下，難以使曝光量適當地配合主要被拍攝體，從而不能獲得可覆蓋寬輝度範圍的優質圖像。對這樣的場景，通常要使用在後期(在列印工序)對拍攝的圖像進行補正的系統，以更寬動態範圍保存圖像，並根據所述該信息在列印時製作出最合適的圖像。
但是，仍存在這樣的問題，即，既使這樣，也無法從目前有限的動態範圍的圖像信息獲得理想的圖像。
發明內容
鑑於以上問題，本發明的目的在於提供在通常的PC輸出等情況下以規定的動態範圍的圖像進行顯示，對於桌面出版的列印用途等特殊用途，根據需要、由以更寬動態範圍拍攝獲得的信息通過圖像處理製作最精美圖像的圖像處理裝置、方法及程序。
為了實現上述目的，本發明所述的圖像處理裝置的特徵在於設有攝影裝置，其能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；分別保存從所述主感光像素獲得的第1圖像信息及從所述副感光像素獲得的第2圖像信息的信息存儲器；選擇是否保存所述第2圖像信息的選擇裝置；根據所述選擇裝置的選擇對所述第1圖像信息和所述第2圖像信息的存儲處理進行控制的存儲控制器。
本發明中使用的攝影裝置具有組合主感光像素與副感光像素而成的複合像素的結構。主感光像素與副感光像素能夠獲取光學上同相位的信息，通過一次拍攝可以獲得動態範圍不同的二個圖像信息。用戶判斷具有寬動態範圍的第2圖像信息有無必要保存，通過規定的用戶界面選擇是否保存。例如，在用戶選擇不保存的情況下，形成僅保存第1圖像信息的保存方式，不進行第2圖像信息的保存處理。另一方面，在用戶選擇了保存第2圖像信息的情況下，形成記錄第1圖像信息及第2圖像信息的模式，並分別保存第1及第2圖像信息。因此，能夠根據拍攝場景或拍攝目的獲得良好的圖像。
本發明的一種實施方式的特徵在於將所述第1圖像信息及第2圖像信息作為相關的二個文件分別保存。
再現時，通過根據需要可利用相關文件的第2圖像信息，可以通過擴展的再現域進行圖像再現。
本發明另一種實施方式的特徵在於將所述第2圖像信息與所述第1圖像信息的差值數據保存在與所述第1圖像信息文件不同的文件中。通過保存差值信息可以減小文件容量。
另外，也可以通過以與所述第1圖像信息不同的壓縮方式壓縮所述第2圖像信息，以此減小文件容量。
本發明的其它實施方式的特徵在於在上述構造的基礎上，配備了D範圍信息存儲器，其用於同時保存所述第2圖像信息的動態範圍信息與所述第1圖像信息及所述第2圖像信息中的至少一個圖像信息。
最好採用的實施方式為在第1圖像信息文件內或第2圖像信息文件內或這二個文件內，將第2圖像信息的動態範圍信息(例如，所謂記錄為第1圖像信息動態範圍幾倍的動態範圍的信息)作為附加信息保存。由此，能夠順利地減小圖像再現時的信息合成。
此外，另一種實施方式的特徵在於在圖像處理裝置中，具有指定所述第2圖像信息的動態範圍的D範圍設定操作器，根據所述D範圍設定操作器的設定改變所述第2圖像信息的再現域的D範圍可變控制器。
較理想的實施方式為採用用戶自身根據拍攝場景或拍攝意圖，決定保存時的動態範圍的結構。
本發明的另一種實施方式的圖像處理裝置的特徵在於設有攝影裝置，其能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；第1圖像信號處理器，其用於根據從所述主感光像素獲得的信號，以由第1輸出裝置產生的圖像輸出作為目標，生成第1圖像信息；第2圖像信號處理器，其用於根據從所述副感光像素獲得的信號，以與所述第1輸出裝置不同的第2輸出裝置產生的圖像輸出為目標，生成第2圖像信息。
例如，可採用這樣的實施方式，即，以將所述第1圖像信息輸出到sRGB規格的顯示器為目標，設定伽瑪特性及編碼特性，並設定伽瑪特性及編碼特性，以便使所述第2圖像信息具有適於比sRGB更寬的再現域的列印輸出的特性。
在保存以標準圖像輸出為目標的所述第1圖像信息以及以被擴展的再現域的圖像輸出為目標的所述第2圖像信息的情況下，為了使第2圖像信息比第1圖像信息在微妙上更豐富，最好以比第1圖像信息更高的比特值保存第2圖像信息。
本發明的另一種實施方式的特徵在於，在上述結構的基礎上，設有指定所述第2圖像信息再現域的再現域設定操作器；根據所述再現域設定操作器的設定改變所述第2圖像信息再現域的再現域可變控制器。由此，用戶自身能夠自由決定存儲圖像的再現域(輝度再現域或色再現域等)。
本發明中其它實施方式的圖像處理裝置的特徵在於，設有攝影裝置，其能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；保存控制器，其控制從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息的保存處理；指定所述第2圖像信息的動態範圍的D範圍設定操作器；根據所述D範圍設定操作器的設定改變所述第2圖像信息的再現輝度域的D範圍可變控制器。
此外，本發明所述的圖像處理裝置的特徵在於，設有顯示輸出通過攝影裝置獲得的圖像的圖像顯示裝置，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制器，其用於轉換並由所述圖像顯示器顯示從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息。
通過根據需要轉換由第1圖像信息製作的第1圖像(例如標準再現域圖像)和利用第2圖像信息製成的第2圖像(例如擴展再現域圖像)並將它們輸出至顯示器上，以此能夠在顯示畫面上確認第1圖像和第2圖像的差異。
這時，最好以使主要被攝物的亮度基本相同的方式改變伽瑪值來製作顯示圖像。
本發明另一實施方式的圖像處理裝置的特徵在於設有用於顯示輸出通過攝影裝置獲得的圖像的圖像顯示裝置，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制器，其用於在所述圖像顯示裝置上顯示由所述主感光像素獲得的第1圖像信息，同時，相對於所述第1圖像信息，通過所述第2圖像信息在該第1圖像信息顯示畫面上強調顯示使再現域擴展的圖像部分。
在圖像顯示器上顯示第1圖像信息，判斷第2圖像信息與第1圖像信息是否存在差值，在存在差異的情況下，則顯示時，對於該部分，在進行由閃爍、框線包圍的顯示，以及亮度(濃淡)變化、色調變化等的強調顯示。
最好，在本發明所述的圖像處理裝置中，所述攝影裝置具有將各接收光元件分割為至少含有所述主感光像素及所述副感光像素的多個接收光區域的結構，在各接收光元件的上方，配備與同一接收光元件中的所述主感光像素及所述副感光像素顏色成分相同的濾色器，同時，每個接收光元件均分別設有一個顯微鏡頭。
具有這種構造的攝影裝置，可以將同一接收光元件(像素元件)內的主感光像素及副感光像素的像素位置當作基本相同的位置來處理。因此，通過一次拍攝就可獲得在時間上是同相位、在空間上處於基本相同位置的兩個圖像信息。
本發明所述的圖像處理裝置，可以安裝在數字相機或攝像機等電子攝影機上，也可以通過電腦來實現。將通過計算機實現構成上述圖像處理裝置的各種裝置的程序存儲在CD-ROM或磁碟等存儲媒體中，該程序可以通過存儲媒體提供給第三者，也可以通過網際網路等通信線路提供該程序的下載服務。
採用以上技術方案的本發明，由於可以分別保存由具有相對狹小的動態範圍的主感光像素獲得的第1圖像信息，由具有相對較寬的動態範圍的副感光像素獲得的第2圖像信息，使用者自己能夠選擇是否記錄第2圖像信息，因此，對應於拍攝場景或拍攝目的，能夠獲得良好的圖像。
另外，採用本發明，由於設有用於指定所述第2圖像信息的動態範圍的D範圍設定操作裝置，採用根據所述D範圍設定操作裝置的設定改變獲得所述第2圖像信息的再現域的結構，因此，對應於拍攝場景或拍攝目的，使用者自己能夠確定保存時的動態範圍。
另外，通過將第2圖像信息的動態範圍信息保存在第1圖像信息的文件內和/或第2圖像信息的文件內，由此能夠順利地進行圖像再現時的信息合成。
圖1為平面圖，其顯示了在採用了本發明的電子照相機中使用的CCD攝影元件的受光面結構的例子；圖2為沿圖1中2-2線所示的剖面圖；圖3為沿圖1中3-3線所示的剖面圖；圖4為顯示圖1中所示的CCD整體結構的平面模式圖；
圖5為顯示CCD其它結構例子的平面圖；圖6為沿圖5中6-6線的剖面圖；圖7為顯示CCD其它結構例子的平面圖；圖8為顯示主感光像素與副感光像素的光電變換特性的示意圖；圖9是顯示本發明實施例的電子照相機結構的框圖；圖10為顯示圖9所示的信號處理部的詳細結構的框圖；圖11為顯示以sRGB顏色空間為對象的光電轉換特性的示意圖；圖12為顯示sRGB顏色空間與擴展色空間的例子的視圖；圖13為顯示關於sRGB顏色再現域的編碼形式及關於擴展再現域的編碼形式的圖表；圖14為顯示存儲媒體的目錄(文檔)結構的一個例子的視圖；圖15為流程圖，其顯示了將低感光度圖像數據作為差值圖像存儲的實施例；圖16為顯示再生繫結構的流程圖；圖17為示意圖，其顯示了合成高感光度圖像數據與低感光度圖像數據所獲得的最終圖像(合成圖像數據)的水平與相對被拍攝體輝度之間的關係；圖18為顯示動態範圍選擇操作時用戶界面的例子的視圖；圖19為顯示動態範圍選擇操作時用戶界面的例子的視圖；圖20為顯示本實施例的照相機的控制順序的流程圖；圖21為顯示本實施例的照相機的控制順序的流程圖；圖22為顯示本實施例的照相機的控制順序的流程圖；圖23為顯示由寬動態範圍拍攝獲得的圖像的顯示例的視圖。
具體實施例方式
下面根據附圖對本發明的最佳實施例進行詳細說明。
首先，對適用本發明的電子照相器材中使用的寬動態範圍拍攝用的攝影元件的結構進行說明。圖1為平面圖，其顯示了CCD20的接收光表面的結構例子。在圖1中顯然顯示了2個接收光元件(像素PIX)橫向排列的情況，但實際上，多個像素PIX在水平方向(行方向)及垂直方向(列方向)是按一定排列周期排列的。
各像素PIX含有感光度不同的2個光電二極體區域21、22。第1光電二極體區域21具有相對較寬的面積，並構成主要的感光部(下面稱為主感光像素)，第2光電二極體區域22具有相對較狹小的面積，構成副感光部(下面稱為副感光像素)。在像素PIX的右側形成垂直輸送路徑(VCCD)23。
圖1所示的結構是蜂窩結構的像素排列，在圖示的2個像素PIX上側及下側，將圖中未示出的像素沿橫向設置在偏移半個節距的位置處。在圖1所示的各像素PIX左側所示的垂直輸送路徑23用於從配置於這些像素PIX上側及下側的未示出的像素讀取並傳輸電荷。
如圖1中虛線所示，將四相驅動(φ1，φ2，φ3，φ4)所必需的輸送電極24、25、26、27(用EL概括表示)設置在垂直輸送路徑23的上方。例如，在以2層多晶矽形成輸送電極的情況下，施加了φ1脈衝電壓的第1輸送電極24與施加了φ3脈衝電壓的第3輸送電極26形成於第1層多晶矽層，施加了φ2脈衝電壓的第2輸送電極25與施加了φ4脈衝電壓的第4輸送電極27形成於第2層多晶矽層。此外，輸送電極24還控制從副感光像素22向垂直輸送路徑23的電荷讀取，輸送電極25還控制從主感光像素21向垂直輸送路徑23的電荷讀取。
圖2為沿圖1中2-2線所示的剖面圖，圖3為沿圖1中3-3線的剖面圖。如圖2所示，在n型半導體基板30的一個表面形成p型凹部31，在p型凹部31的表面區域形成2個n型區域33、34，構成光電二極體。由符號33所示的n型區域的光電二極體相當於主感光像素21，由符號34所示的n型區域的光電二極體相當於副感光像素22。P+型區域36是進行像素PIX、垂直輸送路徑23等電分離的信道中止區域。
如圖3所示，在構成光電二極體的n型區域33附近，設有構成垂直輸送路徑23的n型區域37。n型區域33、37之間的p型凹部31構成了讀取電晶體。
在半導體基板表面上形成氧化矽膜等絕緣層，在其上形成由多晶矽形成的輸送電極EL。輸送電極EL覆蓋垂直輸送路徑23的上方。在輸送電極EL上，還形成有氧化矽等絕緣層，其上通過鎢形成遮光膜38，所述遮光膜覆蓋了垂直輸送路徑23的組成元素且在光電二極體上方具有開孔。
形成由磷矽酸鹽玻璃等形成的層間絕緣膜39以覆蓋遮光膜38，其表面是平坦的。在層間絕緣膜39上形成濾色層(單片濾色層)40。濾色器層40包括例如紅色區域、綠色區域及藍色區域等3色以上的顏色區域，對於各像素PIX而言，分配有一種顏色的顏色區域。
在濾色器層40上通過抗腐蝕材料形成與各像素PIX對應的顯微鏡頭(單片顯微鏡頭)41。在每個像素PIX上形成1個顯微鏡頭41，並具有使從上方射入的光集中在遮光膜38劃定的孔內的作用。
通過顯微鏡頭41入射的光由濾色器層40進行色分解，並分別入射至主感光像素21及副感光像素22的各個光電二極體區域。入射到各個光電二極體區域的光根據其光量變換為電荷信號，分別被讀取至垂直輸送路徑23中。
這樣，可以從1個像素PIX分別取出感光度不同的2種圖像信號(高感光度圖像信號與低感光度圖像信號)，從而獲得光學上同相位的圖像信號。
圖4顯示了CCD20中接收光區域PS內的像素PIX以及垂直輸送路徑23的配置。像素PIX採用了蜂窩結構，該結構為使元件的幾何形狀中心點沿行方向及列方向每隔1個偏移像素節距的一半(1/2節距)排列。即，在相鄰的像素PIX的各行(或各列)中採用的結構為一行(或列)的元件排列相對於另一行(或列)的元件排列，僅相對偏離行方向(或列方向)的排列間隔的大約1/2。
在圖4中，在排列有像素PIX的接收光區域PS的右側，設有向輸送電極EL施加脈衝電壓的VCCD驅動電路44。各像素PIX如上所述，包括主感光像素21及副感光像素22。垂直輸送路徑23與各列鄰接，且呈蛇形排列。
另外，在接收光區域PS的下側(垂直輸送路徑23的下端側)設有沿水平方向輸送從垂直輸送路徑23傳送的信號電荷的水平輸送路徑(HCCD)45。
水平輸送路徑45由2相驅動的輸送CCD構成，水平輸送路徑45的最末段(圖4上的最左段)與輸出部46相連。輸出部46包括輸出放大器，對輸入的信號電荷進行電荷檢測，作為電壓信號輸出到輸出端。這樣，在各像素PIX進行了光電變換的信號作為點順信號列輸出。
圖5顯示了CCD20的另一種結構。圖5為平面圖，圖6為沿圖5中6-6的剖面圖。在這些附圖中，與圖1及圖2所示的例子相同或相似的部件使用了相同的符號，故省略了對它們的說明。
如圖5及圖6所示，在主感光像素21及副感光像素22之間形成p+型分離區域48。該分離區域48能夠起到作為信道中止區域(信道中止器)的功能，進行光電二極體區域的電分離。此外，在分離區域48的上方，在與分離區域48對應的位置形成遮光膜49。
通過使用遮光膜49和分離區域48，可以有效地分離入射光，同時，可防止之後在主感光像素21及副感光像素22中存儲的電荷混合。其它結構與圖1及圖2中所示的例子相同。
像素PIX的元件形狀或開孔形狀並不限於圖1或圖5所示的例子，可以採取多邊形、圓形等多種形式。而且，各接收光元件的分離形狀(分割形式)也不局限於圖1或圖5所示的形狀。
圖7顯示了CCD20的其它結構。圖7中與圖1及圖5所示的例子相同或相似的部件使用了相同的符號，故省略了對它們的說明。圖7顯示了使兩個感光部(21、22)斜向分離的結構。
這樣，可以將各個分割感光區域中存儲的電荷分別讀到垂直輸送路徑，並對分割形狀或分割數量、面積的大小關係等進行適當設計。但是，副感光像素的面積值小於主感光像素的面積值。此外，最好能夠抑制主感光部面積的減小，將感光度下降控制在最小限度。
圖8為顯示主感光像素21與副感光像素22的光電變換特性的示意圖。橫坐標為入射光量，縱坐標為A/D變換後的圖像數據值(QL值)。在本例中，雖然顯示了12比特(二進位數位數)的數據，但比特數不應局限於此。
如該圖所示，主感光像素21與副感光像素22的感光度比為1∶1/a(但是，a＞1、本例中a＝16)。主感光像素2 1的輸出與入射光量成比例順序增加，當入射光量為「c」時，輸出達到飽和值(QL值＝4095)。之後，入射光量既使再增加，主感光像素21的輸出也保持一定。將所述「c」稱為主感光像素21的飽和光量。
另一方面，副感光像素22的感光度為主感光像素21的感光度的1/a，當入射光量為α×c時，QL值＝4095/b達到飽和(但是，b＞1，α＝a/b，在本例中b＝4，α＝4)。將此時的「α×c」稱為副感光像素22的飽和光量。
這樣，通過組合具有不同感光度及飽和值的主感光像素21與副感光像素22，與僅有主感光像素的結構相比，能夠使CCD20的動態範圍擴大α倍。在本例中，感光度比為1/16，飽和比為1/4，動態範圍擴大大約4倍。假設僅使用主感光像素時的最大動態範圍為100％，那麼在本例中，通過發揮副感光像素的作用，可以使動態範圍最大擴大到400％。
如上所述，在CCD等攝影元件中，通過RGB或C(氰)、M(品紅)、Y(黃)等濾色器將由光電二極體接收的光變換為上述信號。其中，能夠將多少光的信息轉變為信號，依賴於含有鏡頭的光學系統、CCD感光度及飽和值。感光度相對較高但存儲電荷量較少的元件與感光度相對較低但積蓄電荷量較多的元件相比，後者既使在入射光的強度較強的情況下，也可提供適當的信號，因此動態範圍更寬。
作為對光強弱不同設定如何應答的設定手段，有口調整射入光電二極體中的光量、口接收光改變變換為電壓的信號源輸出器的放大增益等形式。在口的情況下，可以通過在上層部的顯微鏡頭的透光特性或相對位置關係對光電二極體進行調整。另一方面，作為可存儲的電荷量由光電二極體的大小等決定。如圖1至圖7所說明的那樣，通過並聯大小不同的二根光電二極體(21、22)，能夠獲得可對不同光的對比度進行應答的信號，再通過調整這二根光電二極體(21、22)的感光度，最終能夠實現具有寬動態範圍的攝影裝置(CCD20)。
下面，對帶有上述寬動態範圍拍攝用的CCD的電子照相機進行說明。
圖9是顯示本發明實施例的電子照相機結構的框圖。該照相機50是將通過CCD20拍攝的被拍攝體的光學圖像變換為數字圖像數據並保存在存儲媒體52中的數位照相機。照相機50設有顯示部54，並能夠在顯示部54上顯示拍攝中的影像或存儲的圖像數據的再現圖像。
照相機50整體的動作由照相機內置的中央處理裝置(CPU)56進行統一控制。CPU56具有起到作為根據規定程序控制本拍攝系統的控制器的功能，同時具有作為實施自動曝光量(AE)計算、自動焦距調節(AF)計算及自動白平衡(AWB)控制等各種計算的計算裝置的功能。
通過未圖示的總線，使CPU56與ROM60及存儲器(RAM)62相連。ROM60中存儲了CPU56執行的程序及進行控制所必需的各種數據等。在將存儲器62用作程序的展開區域及CPU56的計算操作用區域的同時，可用作圖像數據的暫存區域。
作為圖像數據的暫存區域，存儲器62設有主要保存從主感光像素21獲得的圖像數據的第1區域(以下，稱為第1圖像存儲器)62A和主要保存從副感光像素22獲得的圖像數據的第2區域(以下，稱為第2圖像存儲器)62B。
此外，CPU56中還連接有EEPROM64。EEPROM64為用於存儲CCD20的缺陷像素信息，AE、AF及AWB等控制時所必需的數據或用戶設定的用戶信息等的非易失性存儲器，且可根據需要進行數據的重寫，同時即使在電源關閉時也能保存信息內容。CPU56可根據需要參照EEPROM64的數據進行計算等。
在照相機50中設有用戶用來輸入各種指令的操作部66。操作部66包括快門按鈕、變焦開關、模式轉換開關等各種操作部件。快門按鈕是輸入攝影開始指示的操作器，其由具有半按壓時打開的S1開關和全按壓時打開的S2開關的二段行程式開關構成。通過S1打開，進行AE及AF處理；通過S2打開，進行用於存儲的曝光。變焦開關為用於改變攝影倍率或再現倍率的操作器。模式轉換開關為用於轉換攝影模式與再現模式的操作裝置。
另外，在操作部66中，除上述裝置以外，還具有根據攝影目的設定最適宜操作模式(連拍模式、自動攝影模式、手動攝影模式、人物模式、風景模式、夜景模式等)的攝影方式設定器；在顯示器54上顯示菜單畫面的菜單按鈕；由菜單畫面選擇所需項目的十字按鈕(光標移動操作裝置)；用於指示選擇項目的確定或處理的執行的OK按鈕；用於輸入選擇項目等所希望對象的消除或指示內容的取消或返回上一操作狀態的指令的清除按鈕；用於進行顯示部54的ON/OFF或顯示方法的轉換或屏幕顯示(OSD)的顯示/不顯示轉換等的顯示按鈕；選擇是否實施動態範圍擴大處理(圖像合成)的D範圍擴大模式開關等操作裝置。
此外，在操作部66中，不應局限於按壓式開關部件、旋鈕部件、槓桿開關等結構，還包括由從用戶畫面選擇所需項目的用戶界面實現的結構。
將操作部66的信號輸入CPU56。CPU56根據操作部66的輸入信號控制照相機50的各個電路，例如，進行鏡頭驅動控制、攝影操作控制、由CCD20的電荷讀取控制、圖像處理控制、圖像數據的保存/再現控制、存儲媒體52中的文件管理、顯示部54的顯示控制等。
顯示部54例如可以使用彩色液晶顯示器。代替液晶顯示器，也可以使用有機EL等其它形式的顯示裝置(顯示手段)。顯示部54在攝影時可以用作用於取景角確定的電子取景器，同時也可以用作再現顯示已存儲的圖像的裝置。此外，顯示部54也可以用作用於用戶界面的顯示畫面，也可根據需要顯示用戶信息或選擇項目、設定內容等信息。
下面對照相機50的攝影功能進行說明。
照相機50設有光學系統單元68和CCD20。代替CCD20，也可以使用MOS型固體攝影元件等其它形式的攝影元件。光學系統單元68具有未示出的攝影鏡頭、兼作光圈的機械快門裝置。攝影鏡頭由電動式變焦鏡頭構成，雖然詳細的光學結構未在圖中示出，但是主要包含起倍率改變(可變焦距)作用的變倍鏡頭組以及補償鏡頭組，和有利於聚焦調整的聚焦鏡頭。
若通過拍攝者操縱操作部66的變焦開關，則根據所述開關操作，由CPU56向馬達驅動電路70輸出光學系統控制信號。馬達驅動電路70根據由CPU56發出的控制信號生成鏡頭驅動信號，提供給鏡頭馬達(未示出)。這樣，通過由馬達驅動電路70輸出的馬達驅動電壓使變焦馬達工作，攝影鏡頭中的變倍鏡頭組及補償鏡頭組沿光軸前後移動，以此改變攝影鏡頭的焦距(光學鏡頭倍率)。
通過光學系統單元68的光入射至CCD20的接收光面。在CCD20的接收光面上以平面狀排列了多個光傳感器(接收光元件)，對應各個光傳感器，以規定的排列結構設置紅(R)、綠(G)、藍(B)的原色濾色鏡。另外，代替RGB濾色鏡，也可以使用CMY等濾色鏡。
通過各個光傳感器，將在CCD20的接收光面上成像的被拍攝體圖像變換為量值對應入射光量的電荷信號。CCD20具有通過快門選通脈衝的計時控制各個光傳感器的電荷積蓄時間(快門速度)的電子快門功能。
在CCD20的各個光傳感器中存儲的信號電荷，根據來自CCD驅動器72的脈衝(水平驅動脈衝φh，垂直驅動脈衝φV，溢出消耗脈衝)作為與信號電荷對應的電壓信號(圖像信號)被順次讀出。從CCD20輸出的圖像信號輸送至模擬處理部74。模擬處理部74為包括CDS(相關二重取樣)電路及GCA(增益控制放大器)電路的處理部，在該模擬處理部74中，進行取樣處理以及分為R、G、B各種顏色信號的色分離處理，並進行各種顏色信號的信號能級的調整。
從模擬處理部74輸出的圖像信號通過A/D變換器76轉變為數位訊號後，通過處理部80保存到存儲器62中。計時器(TG)82根據CPU56的指令向CCD驅動器72、模擬處理部74及A/D變換器76發送計時信號，通過該計時信號可實現各電路的同步工作。
信號處理部80是兼作控制存儲器62讀寫的存儲控制器的數位訊號處理部件。信號處理部80為圖像處理器，其包括進行AE/AF/AWB處理的自動計算部、白平衡電路、伽瑪變換電路、同時化電路(對伴隨單板CCD濾色鏡排列的色信號的空間偏移進行補插以對各點的顏色進行計算的處理電路)、輝度·色差信號輝度·色差信號生成電路、輪廓補正電路、對比度補正電路、壓縮解壓縮電路、顯示用信號生成電路等，並且根據CPU56的指令一邊利用存儲器62一邊進行圖像信號處理。
存儲在存儲器60中的數據(CCDRAW數據)通過總線輸送到信號處理部80。後面將對信號處理部80作詳細說明，對送入信號處理部80的圖像數據實施白平衡調整處理、伽瑪變換處理、變為輝度信號(Y信號)及色差信號(Cr.Cb信號)的變換處理(YC處理)等規定信號處理後，將其保存在存儲器62中。
在將攝影圖像監控輸出至顯示部54時，由存儲器62讀出圖像數據，並傳送到信號處理部80的顯示變換電路。在將傳送到顯示變換電路的圖像數據變換為用於顯示的規定方式的信號(例如，NTSC方式的彩色複合影像信號)之後，輸出至顯示部54。通過從CCD20輸出的圖像信號，定期更新存儲器62內的圖像數據，通過將所述圖像數據生成的影像信號提供給顯示部54，從而在顯示部54實時顯示拍攝中的影像(過程畫面)。拍攝者可通過由顯示部54映出的過程畫面的影像確認視場角(構圖)。
若拍攝者確定了視場角並按下快門按鈕，則CPU56對其進行檢測，響應快門按鈕的半按下(S1＝ON)進行AE處理及AF處理等拍攝準備工作，響應快門按鈕的全按下(S2＝ON)開始進行用於獲取記錄用的圖像的CCD曝光及讀取控制。
即，CPU56根據響應S1＝ON獲取的圖像數據進行焦點評定計算或AE計算等各種計算，根據其計算結果將控制信號發送至馬達驅動電路70控制未示出的AF馬達，使光學系統單元68中的聚焦鏡頭移動到聚焦位置。
此外，自動計算部的AE計算部將攝影圖像的1個畫面分割成多個區域(例如8×8)，每個分割區域都包含累計RGB信號的電路，並將所述累計值提供給CPU56。可以求出RGB的各種顏色信號的累計值，也可以僅求出其中一種顏色(例如G信號)的累計值。
CPU56根據由AE計算部獲得的累計值進行重複相加，檢測被拍攝體的亮度(被拍攝體輝度)，算出合適拍攝的曝光值(攝影EV值)。
為了以良好的精度對寬輝度範圍進行測光，照相機50的AE進行多次測光，以便正確測定被拍攝體的輝度。例如，為了對5～17EV的範圍進行測光，若以1次測光可測定3EV的範圍，則可以通過一邊改變曝光條件一邊進行最多4次測光。
以某一曝光條件進行測光，對各分割區域的累計值進行監視。如果圖像中存在飽和的區域，則改變曝光條件進行測光。另一方面，如果圖像中不存在飽和的區域，則可以通過所述曝光條件進行正確測光，不必再改變曝光條件。
這樣，通過多次分割實施測光來對寬輝度範圍(5～17EV)進行測光，從而確定最合適的曝光條件。此外，對於以1次測光可測定的範圍或必須進行測光的範圍，每種照相機都可進行適當設計。
CPU56根據上述AE計算結果控制光圈和快門速度，並響應S2＝ON獲取記錄用的圖像。在本例中的照相機50中，過程畫面僅從主感光像素21讀取數據，由主感光像素21的圖像信號製作過程畫面的圖像。此外，伴隨快門按鈕的S1＝ON的AE處理及AF處理根據從主感光像素21獲得的圖像信號進行。因此，在選擇進行寬動態範圍拍攝的攝影模式的情況下，或者在根據AE結果(ISO感光度或測光值)或白平衡值等自動選擇了寬動態範圍攝影模式的情況下，響應快門按鈕的S2＝ON進行CCD20曝光，在曝光後關閉機械快門以遮斷光線進入的狀態下，與垂直驅動信號(VD)同步，首先讀取主感光像素21的電荷，之後讀取副感光像素22的電荷。
此外，該照相機50帶有閃光裝置84。閃光裝置84為包括作為發光部的放電管(例如氙管)、觸發電路、存儲放電用能量的主電容器及充電電路等的部件。CPU56根據需要向閃光裝置84發送指令，並控制閃光裝置84的發光。
這樣，響應快門按鈕的全按(S2＝ON)獲得的圖像數據，在信號處理部80中經過YC處理等其它規定的信號處理之後，按規定的壓縮格式(例如JPEG方式)被壓縮，通過媒體接口部(圖9中未示出)保存到存儲媒體52中。壓縮形式不限於JPEG，也可採用MPEG等其它方式。
保存圖像數據的手段可以使用以SmartMedia(商標名)、CompactFlash(商標名)等為代表的半導體存儲卡、磁碟、光碟、光磁碟等各種媒體。此外，不應局限於可移動媒體，也可以採用內置於照相機50的存儲媒體(內部存儲器)。
若通過操作部66的模式選擇開關選擇了再現模式，則讀出存儲在存儲媒體52中的最終的圖像文件(最後存儲的文件)。通過信號處理部80的壓縮解壓縮電路對由存儲媒體52讀出的圖像文件的數據進行解壓縮處理後，變換為顯示用的信號並輸出到顯示部54。
在再現模式的畫面再現時，可以通過操作十字按鈕正向或逆向輸送畫面，從存儲媒體52讀出被輸送的下一文件，從而更新顯示圖像。
圖10為顯示圖9所示的信號處理部80中信號處理流程的框圖。
如圖10所示，在補償電路91中對通過A/D變換器76變換為數位訊號的主感光像素數據(稱為高感光度圖像數據)進行補償處理。補償處理電路91是對CCD輸出的暗電流成分進行補正的處理部，由像素值減去從CCD20上的遮光像素獲得的光黑(OB)信號的值。由補償處理電路91輸出的數據(高感光度RAW數據)傳送到線性矩陣變換電路92。
線性矩陣變換電路92是對CCD20的分光特性進行補正的色調補正處理部。將在線性矩陣變換電路92中補正的數據傳送到白平衡(WB)增益調整電路93。WB增益調整電路93具有用於增減R、G、B色信號能級的可變增益放大器，根據CPU56的指令進行各色信號的增益調整。將在WB增益調整電路93中經過白平衡調整處理的信號發送到伽瑪補償電路94。
伽瑪補償電路94根據CPU56的指令改變輸入輸出特性以便形成所需的伽瑪特性。將在伽瑪補償電路94中被補正的伽瑪補償的圖像數據發送到同時化處理電路95。
同時化處理電路95包括處理部，其用於對伴隨單板CCD20的濾色鏡排列結構的色信號的空間偏移進行補插以計算各點的顏色(RGB)；由RGB信號生成輝度(Y)信號及色差信號(Cr.Cb信號)的YC變換處理部。將由同時化處理電路95生成的輝度·色差信號(Y Cr.Cb信號)傳送到各種補償電路96。
在各種補償電路96中，具有例如，輪廓強調(光圈補正)電路或由色差矩陣形成的顏色補正電路等。將在各種補償電路96中被實施所需補正處理的圖像數據發送至JPEG壓縮電路97。在JPEG壓縮電路97中被壓縮的圖像數據作為圖像文件被保存至存儲媒體52。
同樣，在補償處理電路101中對通過A/D變換器76轉變為數位訊號的副感光像素數據(稱為低感光度圖像數據)進行補正處理。將從補償處理電路101輸出的數據(低感光度RAW數據)傳送到線性矩陣變換電路102。
將從線性矩陣變換電路102輸出的數據傳送到白平衡(WB)增益調整電路103，進行白平衡調整。將經過白平衡調整處理的信號發送到伽瑪補償電路104。
此外，還將從低感光度圖像數據用的線性矩陣變換電路102輸出的低感光度圖像數據提供給累計電路105。累計電路105將攝影畫面分割成多個區域(例如16×16)，按顏色分別對每個區域的R、G、B像素值進行累計處理，並計算出顏色差別的平均值。
在累計電路105算出的平均值中，檢測出G成分的最大值(Gmax)，將表示所檢測出的Gmax的數據傳送至D範圍計算電路106。D範圍計算電路106根據圖中說明的副感光像素的光電變換特性，從最大值Gmax的信息計算出被拍攝體的最大輝度水平，並計算出該被拍攝體存儲所必需的最大動態範圍。
此外，在本例中，可以通過規定的用戶界面(後面所述)輸入設定再現動態範圍達到百分之幾的設定信息。用戶指定的D範圍選擇信息107從CPU56送到D範圍計算電路106。D範圍計算電路106根據分析攝影數據求出的動態範圍和用戶指定的D範圍選擇信息，確定存儲時的動態範圍。
在從攝影數據求得的最大動態範圍在D範圍選擇信息107的D範圍以下的情況下，採用從攝影數據得出的動態範圍。在從攝影數據求得的最大動態範圍超過D範圍選擇信息的D範圍的情況下，採用D範圍選擇信息所示的D範圍。
根據由D範圍計算電路106確定的D範圍，控制低感光度圖像數據用的伽瑪補償電路104的伽瑪補償係數。
從伽瑪補償電路104輸出的圖像數據在同時化處理電路108中進行同時化處理及YC變換處理。由同時化處理電路108生成的輝度·色差信號(YCr.Cb)傳送到各種補償電路109，進行輪廓強調、色差矩陣變換處理等補正處理。在各種補償電路109中實施了所需的補正處理的低感光度圖像數據在JPEG壓縮電路110中被壓縮處理，作為與高感光度圖像數據不同的圖像文件保存到存儲媒體52中。
對於高感光度圖像數據是針對作為民用顯示器的代表特性的sRGB顏色規格進行圖像設計的。以該sRGB顏色空間為對象的光電變換特性如圖11所示。由於攝影系統具有圖11所示的變換特性，因此在使用通常的顯示器進行圖像再現時，可以再現出輝度理想的圖像。
另一方面，最近，在印刷等用途中，進行了以具有比sRGB寬的顏色空間的擴展顏色空間為對象的顏色再現設計。
在圖12中顯示了sRGB顏色空間與擴展色空間的例子。在該圖中，符號120所示的馬蹄形的內側表示人能夠察覺的顏色區域。符號121所示的三角形的內側表示能夠在sRGB顏色空間再現的顏色再現域，符號122所示的三角形的內側表示能夠在擴展色空間再現的顏色再現域。通過改變線性矩陣變換的值(圖10中說明的線性矩陣變換電路92、102中的矩陣變換的值)可以改變能夠再現的顏色的區域。
在本實施例中，在以sRGB以外的色空間為對象的用途，例如列印用途中，不僅可以通過圖像加工利用高感光度圖像數據，而且還可以通過圖像加工利用同時曝光所獲得的低感光度圖像數據，以此擴展色再現域或輝度再現域，製作更精美的圖像。通過具有與再現域相應的不同的伽瑪，可以製作與不同動態範圍對應的各種圖像。
圖13顯示了關於sRGB顏色再現域的編碼形式及關於擴展再現域的編碼形式。例如，如該圖的下段(Case2)所示，通過使編碼條件對應於負值或1以上的值，可以製作對應於能再現的輝度域的文件。對於低感光度圖像數據，根據與擴展的再現域對應的編碼條件進行信號處理，生成文件。
此外，由於高光信息帶有更微妙的信息，以此，所用的比特深度較為重要。因此，對應於sRGB的數據例如以8比特存儲，與擴展的再現域對應的數據最好用比其大的比特數(例如16比特)來存儲。
圖14為顯示存儲媒體52的目錄(文檔)結構的一個例子的視圖。照相機50具有按照DCF(Design rule for Camera File system社團法人日本電子工業振興協會[JEIDA]規定的數字相機統一存儲格式)規格存儲圖像文件的功能。
如圖14所示，在根目錄之下形成具有目錄名[DCIM]的DCF圖像根目錄，在DCF圖像根目錄之下至少存在1個DCF目錄。DCF目錄是用於存儲作為DCF目標的圖像文件的目錄。根據DCF規格、通過3個字符的目錄編號與其後續的5個字符的自由文字(合計8個字符)定義DCF目錄名。DCF目錄名可以由照相機50自動生成，也可以採用用戶能指定或改變的結構。
由照相機50生成的圖像文件被賦與根據DCF命名規則等自動生成的文件名，存入指定的或自動選擇的DCF目錄中。通過4個字符的自由文字及其後續的4個字符的文件編號對取決於DCF命名規則的DCF文件名進行定義。
使由通過寬動態範圍存儲模式獲得的高感光度圖像數據與低感光度圖像數據分別製成的二個圖像文件相互之間關聯並對它們進行存儲。例如，根據DCF命名規則，將由高感光度圖像數據製成的一個文件(與通常標準的再現域對應的文件，以下稱為標準圖像文件)命名為[ABCD****.JPG]([****]為文件編號)，對由與其同時拍攝獲得的低感光度圖像數據製成的另一個文件(與擴展再現域對應的文件，以下稱為擴展圖像文件)，在標準圖像文件文件名(除去[.JPG]的8個字符串)的末尾附加上[b]以命名為[ABCD****b.JPG]。這樣，通過使其名字聯繫起來保存，就可以選擇適合輸出時特性的文件來使用。
此外，作為與文件名相關的另一個例子，也可以在標準圖像文件文件名的末尾附加上[a]等字符。通過改變文件編號之後附加的字符串可以區分標準圖像文件與擴展圖像文件。此外，還存在改變文件編號之前的自由文字部分的形式。其它，還有通過標準圖像文件與擴展圖像文件改變擴展符的形式。至少要保持部分文件編號一致，以確保二個文件的關聯性。
擴展圖像文件的存儲形式不應局限於JPEG形式。如圖12所示，在sRGB顏色空間與擴展色空間中大部分的顏色是相同的。因此，對拍攝的圖像分別以sRGB顏色空間用與擴展色空間用進行編碼，如果取其差，則圖像的大部分像素均為0值。因此，對該差值進行例如霍夫曼(ハフマン，Huffman)壓縮，一方為標準裝置的sRGB圖像文件，另一方的文件作為差值圖像，以此即能夠對應擴展色空間，同時又可節省存儲空間。
圖15為顯示如上所述、將低感光度圖像數據作為差值圖像存儲的流程圖。圖15中與圖10相同或類似的結構使用了相同的符號，故省略了對它們的說明。
將由高感光度圖像數據生成的圖像和由低感光度圖像數據生成的圖像發送到差值處理電路132，生成它們的差值圖像。將由差值處理電路132生成的差值圖像發送到壓縮電路133，此處，通過與JPEG不同的壓縮方法進行壓縮處理。將由壓縮電路133生成的壓縮圖像數據的文件保存到存儲媒體52中。
圖6是顯示再現系統的結構的流程圖。通過媒體接口部140讀取存儲在存儲媒體52中的信息。媒體接口部140通過總線與CPU56相連，並進行所需的信號變換以便進行根據CPU的指令進行存儲媒體52讀寫時必要的信號交換。
從存儲媒體52讀出的標準圖像文件的壓縮數據在解壓縮處理部142中進行解壓縮處理，在存儲器62上的高感光度圖像數據恢復區域62C中被展開。將解壓縮後的高感光度圖像數據發送到顯示變換電路146。顯示變換電路146包括配合顯示部54的解析度變換圖像大小的縮小處理部，和將由縮小處理部生成的顯示圖像變換為顯示用的規定信號形式的顯示信號生成部。
將在顯示變換電路146中變換為顯示用規定信號形式的信號輸出到顯示部54中。這樣，在顯示部中顯示再現圖像。通常，僅再現標準圖像文件並使其顯示在顯示部。
在使用與標準圖像文件相關的擴展圖像文件製作再現域較寬的圖像時，從對標準圖像文件解壓縮所獲得的數據恢復RGBG高感光度圖像數據，並將其存儲到存儲器62上的高感光度圖像數據恢復區域62D中。
此外，從存儲媒體52中讀出擴展圖像文件，在解壓縮處理部148中進行解壓縮處理後，復原為RGB的低感光度圖像數據，保存在存儲器62上的低感光度圖像數據恢復區域62E中。這樣，由存儲器62保存的高感光度圖像數據與低感光度圖像數據被讀出，並發送到合成處理部(圖像相加部)150。
合成處理部150為這樣的處理部，其含有將高感光度圖像數據與係數相乘的相乘部，將低感光度圖像數據與係數相乘的相乘部以及將乘以係數後的高感光度圖像數據與低感光度圖像數據相加(合成)的相加部。通過CPU56可變化地設定高感光度圖像數據與低感光度圖像數據相乘的各係數(表示相加比率的係數)。
將由合成處理部150生成的信號發送到伽瑪變換部152。伽瑪變換部152根據CPU56的控制參照ROM60中的數據變換輸入輸出特性以產生所希望的伽瑪特性。CPU60根據圖像輸出時的再現域進行轉換伽瑪特性的控制。將伽瑪補正處理後的圖像信號發送到YC變換部153，由RGB信號變換為輝度(Y)信號及色差信號(Cr，Cb)。
將由YC變換部153生成的輝度·色差信號(Y Cr.Cb)傳送到各種補正電路154。在各種補正電路154中，進行輪廓強化(光圈補正)、通過色差矩陣變換進行的顏色補正等所需的補正處理，並生成最終圖像。這樣，將所生成的最終圖像數據傳送到顯示變換電路146，變換為顯示用的信號後，輸出到顯示部54中。
雖然圖16中舉出了在裝配在照相機50中的顯示部54再現顯示圖像的例子，但是可以在外部的圖像顯示設備中再現顯示圖像。此外，還可以使用裝載了圖像瀏覽應用程式的個人電腦或專用的圖像再現裝置或者印表機等，實現與圖16同樣的處理流程，以此可以實現標準圖像的再現及對應於被擴展的再現域的圖像的再現。
圖17為示意圖，其顯示了合成高感光度圖像數據與低感光度圖像數據所獲得的最終圖像(合成圖像數據)的水平與相對被拍攝體輝度之間的關係。
相對的被拍攝體輝度是將賦予高感光度圖像數據飽和時的水平的被拍攝體輝度作為100％，以此為基準表示被拍攝體輝度。在圖17中，雖然以8比特(0～225)表現圖像數據，但比特數不限於此。
合成圖像的動態範圍通過用戶界面設定。在本例中，動態範圍可以設定為從D0至D5的6個階段。由於人的感覺大體在log等級是有效的，因此，將再現動態範圍設計成例如相對被拍攝體輝度可以在100％-130％-170％-220％-300％-400％的狀況下進行階段轉換，以便在形成log(對數)關係時大約呈線性關係。
當然，動態範圍的設定段數不應局限於本例中，可以以任意的階段數量來設定，也可以設定為連續的(無中間階段)。
對應於動態範圍的設定，應控制伽瑪電路的伽瑪係數或相加時的合成參數、色差信號矩陣變換電路的增益係數等。在照相機50中的非易失性存儲器(ROM60或EEPROM64)中，保存有確定與設定的動態範圍對應的各種參數、係數等的數據表。
在圖18及圖19中，顯示了動態範圍選擇操作時用戶界面的例子。在圖18的例子中，在從菜單畫面進入的動態範圍設定畫面中顯示了指定動態範圍的輸入框160。若通過使用十字按鈕等規定的操作手段選擇輸入框160旁邊的下拉菜單按鈕162，將顯示出如圖所示的可選擇的動態範圍值(相對被拍攝體輝度)的下拉菜單164。
通過十字按鈕從該下拉菜單164中選擇所希望的動態範圍，按下OK按鈕以設定動態範圍。
在圖19所示的例子中，動態範圍設定畫面上顯示了輸入框170和D範圍參數軸172。通過使用十字按鈕等操作設定，沿D範圍參數軸172移動遊標174，可以在從100％到最大400％範圍內任意指定動態範圍。對應於遊標174位置，改變在輸入框170中顯示的動態範圍的設定值。當得到所希望的設定值時，根據照畫面下部的操作導引按下OK按鈕，確定設定處理。此外，如果按下清除按鈕，則取消設定處理，返回到原來的設定狀態。
雖然在圖18及圖19中描述了在顯示部54畫面上進行動態範圍選擇操作的例子，但是也可以採用通過旋鈕式開關、滑動式開關或者按壓式開關等操作部件來選擇動態範圍的形式。
此外，由於拍攝場景所需的動態範圍不同，因此也可以採用通過對拍攝的圖像進行分析以自動設定動態範圍的形式。而且，也可以採用根據肖像模式、夜景模式等攝影模式自動轉換動態範圍的設定的形式。
將存儲了達到幾％的信息的動態範圍信息與圖像數據一起保存在文件的頭文件中。動態範圍信息可以保存在標準圖像文件及擴展圖像文件兩者之中，也可以只保存在任一文件中。
通過在圖像文件內附加動態範圍信息，可以將該信息讀入印表機等圖像輸出設備中，並可以改變合成處理、伽瑪變換、色補正等處理內容來製作最適宜的圖像。
即使在列印用途中，由於用於肖像時再現色調柔和，理想膚色的畫像是理想的，因此應根據照片的用途，例如，商業廣告用的照片與人物肖像或室內攝影用與室外攝影用來製作擴展圖像是有用的。為了實現這一點，正如圖18及圖19中的說明，在照相機50中設置可指定獲得擴展圖像的輝度再現域的用戶界面，根據使用用途或拍攝狀況讓用戶進行選擇。
下面，對具有上述結構的照相機50的操作進行說明。
圖20至圖22為顯示照相機50控制順序的流程圖。在選擇了攝影模式的狀態下使照相機電源0N時，或者從再現方式轉換至攝影模式時，開始圖20的控制流程。
若開始攝影模式的處理(步驟S200)，則CPU56首先判斷是否選擇了在顯示部54顯示過程畫面的模式(步驟S202)。如果在建立畫面等中選擇了攝影模式啟動時顯示部54為ON的模式(過程畫面ON模式)，則進入步驟S204，向具有CCD20的攝影系統提供電源，形成可拍攝的狀態。這時，為了進行用於過程畫面顯示的連續拍攝，按一定的拍攝周期驅動CCD20。
在本例的照相機50顯示部54中使用了NTSC方式的視頻信號，以30幀/秒設定幀頻(因為以2個半幀構成一幀，1個半幀＝1/60秒)。由於該照相機50採用了同樣的圖像通過2個半幀顯示的方式，因此，每1/30秒進行圖像內容的更新。為了在該周期更新一個畫面的圖像數據，因此，將過程畫面中CCD20的垂直驅動(VD)脈衝的周期設定為1/30秒。CPU56向計時器82發出CCD驅動模式的控制信號，通過計時器82生成CCD驅動用的信號。這樣，開始由CCD20進行進行的連續攝影，在顯示部54中顯示出過程畫面(步驟S206)。
在過程畫面的顯示中，CPU56監視來自快門按鈕的信號輸入，判斷S1開關是否為ON(步驟S208)。如果S1的開關為OFF的狀態，則循環進行步驟S208的處理，並維持過程畫面顯示狀態。
在步驟S202中將過程畫面設定為OFF(不顯示)的情況下，省略步驟S204～步驟S206以進入步驟S208。
之後，若拍攝者按下快門按鈕，輸入攝影準備指示(若CPU56檢測出S1＝ON)，則進入步驟S201，進行AE及AF處理。這時，CPU56每1/60秒變化CCD驅動模式。從CCD20的圖像獲取的周期變短，從而能高速進行AE·AF處理。此處設定的CCD驅動周期不限於1/60，也可以設定為1/120秒等適當值。通過AE處理決定拍攝條件，通過AF處理進行調焦。
之後，CPU56判斷來自快門按鈕的S2開關的信號輸入(步驟S212)。在步驟S212中，在S2開關不為ON的情況下，判斷S1是否解除(步驟S214)。在步驟S214中如果S1解除，則返回步驟S208，形成攝影指示的輸入等待狀態。
另一方面，如果在步驟S214中未解除S1，則返回步驟S212，等待S2＝ON輸入。如果在步驟S212中檢測出S2＝ON的輸入，則進入到圖21所示的步驟S216，進行獲取存儲用圖像的拍攝操作(CCD曝光)。
接下來，判斷是不是進行寬動態範圍存儲的模式，根據設定模式進行控制處理。在通過D範圍擴大模式開關等規定操作手段選擇了寬動態範圍存儲模式的情況下，首先從主感光像素21進行信號讀出(步驟S220)，將該圖像數據(主感光部數據)寫入第1圖像存儲器62A中(步驟S222)。
然後，從副感光像素22進行信號讀出(步驟S224)，將該圖像數據(副感光部數據)寫入第2圖像存儲器62B(步驟S226)。
之後，正如在圖10、圖15中分別對主感光部數據與副感光部數據所作的說明那樣，實施所需的信號處理(步驟S228、S230)。從主感光部數據生成的標準再現用的圖像文件與從副感光部數據生成的擴展再現用的圖像文件互相關聯並保存到存儲媒體52中(步驟S232、S234)。
另一方面，在步驟S218中，在不進行寬動態範圍存儲的通常存儲模式的情況下，僅從主感光像素21讀取信號(步驟S240)。將主感光部數據寫入第1圖像存儲器62A(步驟S242)，之後，進行主感光部數據的處理(步驟S248)。此處，經過圖10中所說明的所需信號處理，進行僅從主感光部數據製作圖像的通常處理。根據規定的文件格式將在步驟S248生成的圖像數據保存至存儲媒體52中(步驟S252)。
在步驟S234或步驟S252中結束圖像的存儲處理之後，進入步驟S256，判斷是否進行攝影模式的解除操作。在進行了攝影模式的解除操作的情況下，結束攝影模式(步驟S260)。另外，如果未進行攝影模式的解除操作，則維持攝影模式的狀態，返回圖20的步驟S202。
圖22是圖21中步驟S230所示的副感光像素數據處理順序的相關子程序的流程圖。如圖22所示，若開始副感光像素數據的處理(步驟S300)，則首先，進行將畫面分割成多個累計區域的設定處理(步驟S302)，對各區域計算出G(綠)成分的平均值，求出G成分的最大值(Gmax)(步驟S304)。
從獲得的區域累加信息檢測出被拍攝體的輝度範圍(步驟S306)。另一方面，讀取由規定的用戶界面設定的動態範圍設定信息(動態範圍擴展到幾％的設定信息)(步驟S308)。根據步驟S306中檢測出的被拍攝體的輝度範圍和在步驟S308中讀取的動態範圍設定信息，確定最終的動態範圍(步驟S310)。例如，將表示動態範圍設定信息的D範圍作為上限，根據被拍攝體的輝度範圍自動確定動態範圍。
之後，通過白平衡處理對各個色道的信號水平進行調整(步驟S312)。此外，與確定了的動態範圍相對應，根據表數據確定伽瑪補償係數、色補償係數等各種參數(步驟S314)。
根據被確定的參數進行伽瑪變換及其它處理(步驟S316)，生成擴展再現用的圖像數據(步驟S318)。步驟S318之後返回圖21的流程圖。
這樣，當再現保存在存儲媒體52中的圖像時，可以轉換再現範圍，根據需要交替輸出標準再現用圖像與擴展圖像。這時，在擴展圖像的再現時，調整伽瑪以使主要被拍攝體的亮度與標準再現用的圖像的亮度大體相同，從而使高輝度部具有層次。這樣，不必改變主要被拍攝體部分的影像，就可對高輝度部分確認標準再現用圖像與擴展圖像之間的差異。
此外，在顯示部54顯示標準再現用圖像時，判斷是否存儲了擴展再現用的信息。在存儲了擴展信息(存在關聯的文件)的情況下，如圖23所示，對與兩者差值相當的部分進行強調顯示180。
例如，取高感光度圖像數據與低感光度圖像數據之間的差值，對差值的正值部分(包括擴展再現域的擴展信息的部分)而言，僅對這部分進行特殊顯示(強調顯示)。強調顯示的形式可以是將該部分的閃爍、包圍顯示，亮度改變、色調改變或它們的組合等對象區域與其它區域區分開來，具體的顯示形式不受限制。
這樣，通過使用相關的擴展信息，使可以看到實現更詳細再現的區域部分，從而使用戶能夠掌握圖像再現的擴展性。
在上述實施例中，雖然以數位照相機為例進行了說明，但是本發明的適用範圍不限於此，在攝像機、DVD攝像機、帶照相機的手機、帶照相機的PDA、帶照相機的電腦等設有電子攝影功能的其它攝影裝置中也可以使用本發明。
此外，圖16中說明的圖像再現的方法，可以應用於印表機或圖像瀏覽裝置等輸出裝置。即，代替圖16中的顯示變換電路146及顯示部54，可以通設置列印用圖像生成部及列印部等生成輸出用圖像的圖像生成部及將由此生成的圖像最終輸出的輸出部，與此能夠獲得充分利用了擴展信息的優質圖像。
權利要求
1.一種圖像處理裝置，其特徵在於，該裝置設有攝影裝置，其能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；分別存儲從所述主感光像素獲得的第1圖像信息及從所述副感光像素獲得的第2圖像信息的信息存儲器；選擇是否保存所述第2圖像信息的選擇裝置；根據所述選擇裝置的選擇對所述第1圖像信息和所述第2圖像信息的存儲處理進行控制的存儲控制器。
2.如權利要求1所述的圖像處理裝置，其特徵在於將所述第1圖像信息以及第2圖像信息作為相互關聯的兩個文件分別存儲。
3.如權利要求1或2所述的圖像處理裝置，其特徵在於將所述第2圖像信息與所述第1圖像信息的差值數據保存在與所述第1圖像信息文件不同的文件中。
4.如權利要求1，2或3所述的圖像處理裝置，其特徵在於通過以與所述第1圖像信息不同的壓縮方式壓縮並保存所述第2圖像信息。
5.如權利要求1～4中任意一項所述的圖像處理裝置，其特徵在於設有D範圍信息存儲器，其用於同時保存所述第2圖像信息的動態範圍信息與所述第1圖像信息及所述第2圖像信息中的至少一個圖像信息。
6.如權利要求1～5中任意一項所述的圖像處理裝置，其特徵在於設有指定所述第2圖像信息的動態範圍的D範圍設定操作器；根據所述D範圍設定操作器的設定改變所述第2圖像信息的再現域的D範圍可變控制器。
7.一種圖像處理裝置，其特徵在於，該裝置設有攝影裝置，其能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；第1圖像信號處理器，其用於根據從所述主感光像素獲得的信號，以由第1輸出裝置產生的圖像輸出作為目標，生成第1圖像信息；第2圖像信號處理器，其用於根據從所述副感光像素獲得的信號，以與所述第1輸出裝置不同的第2輸出裝置產生的圖像輸出為目標，生成第2圖像信息。
8.如權利要求7所述的圖像處理裝置，其特徵在於以將所述第1圖像信息輸出到sRGB規格的顯示器為目標，設計圖像。
9.如權利要求7或8所述的圖像處理裝置，其特徵在於進行圖像設計，以使所述第2圖像信息具有適於列印輸出的特性。
10.如權利要求7，8或9所述的圖像處理裝置，其特徵在於以分別不同的比特深度保存所述第1圖像信息以及所述第2圖像信息。
11.如權利要求7～10中任意一項所述的圖像處理裝置，其特徵在於設有指定所述第2圖像信息再現域的再現域設定操作器；根據所述再現域設定操作器的設定改變所述第2圖像信息再現域的再現域可變控制器。
12.一種圖像處理裝置，其特徵在於，該裝置設有攝影裝置，其能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；保存控制器，其控制從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息的保存處理；指定所述第2圖像信息的動態範圍的D範圍設定操作器；根據所述D範圍設定操作器的設定改變所述第2圖像信息的再現輝度域的D範圍可變控制器。
13.一種圖像處理裝置，其特徵在於，該裝置設有顯示輸出通過攝影裝置獲得的圖像的圖像顯示裝置，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制器，其用於轉換並由所述圖像顯示器顯示從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息。
14.一種圖像處理裝置，其特徵在於，該裝置設有用於顯示輸出通過攝影裝置獲得的圖像的圖像顯示裝置，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制器，其用於在所述圖像顯示裝置上顯示由所述主感光像素獲得的第1圖像信息，同時，相對於所述第1圖像信息，通過所述第2圖像信息在該第1圖像信息顯示畫面上強調顯示使再現域擴展的圖像部分。
15.如權利要求1～14中任意一項所述的圖像處理裝置，其特徵在於所述攝影裝置具有將各接收光元件分割為至少含有所述主感光像素及所述副感光像素的多個接收光區域的結構，在各接收光元件的上方，配備與同一接收光元件中的所述主感光像素及所述副感光像素顏色成分相同的濾色器，同時，每個接收光元件均分別設有一個顯微鏡頭。
16.一種圖像處理方法，其特徵在於，該方法包括通過攝影裝置拍攝被拍攝體的攝影工序，所述攝影裝置能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；分別存儲從所述主感光像素獲得的第1圖像信息及從所述副感光像素獲得的第2圖像信息的信息存儲工序；選擇是否存儲所述第2圖像信息的選擇工序；根據所述的選擇對所述第1圖像信息和所述第2圖像信息的存儲處理進行控制的存儲控制工序。
17.一種圖像處理方法，其特徵在於，該方法包括通過攝影裝置拍攝被拍攝體的攝影工序，所述攝影裝置能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；第1圖像信號處理工序，其用於根據從所述主感光像素獲得的信號，以由第1輸出裝置產生的圖像輸出作為目標，生成第1圖像信息；第2圖像信號處理工序，其用於根據從所述副感光像素獲得的信號，以與所述第1輸出裝置不同的第2輸出裝置產生的圖像輸出為目標，生成第2圖像信息。
18.一種圖像處理方法，其特徵在於，該方法包括通過攝影裝置拍攝被拍攝體的攝影工序，所述攝影裝置能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；保存控制工序，其用於控制從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息的保存處理；指定所述第2圖像信息的動態範圍的D範圍設定操作工序；根據所述D範圍設定操作器的設定改變所述第2圖像信息的再現輝度域的D範圍可變控制工序。
19.一種圖像處理方法，其特徵在於，該方法包括輸出通過攝影裝置獲得的圖像的圖像顯示工序，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制工序，其用於轉換並由所述圖像顯示器顯示從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息。
20.一種圖像處理方法，其特徵在於，該方法包括用於輸出通過攝影裝置獲得的圖像的圖像顯示工序，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制工序，其用於在所述圖像顯示裝置上顯示由所述主感光像素獲得的第1圖像信息，同時，相對於所述第1圖像信息，通過所述第2圖像信息在該第1圖像信息顯示畫面上強調顯示使再現域擴展的圖像部分。
21.一種圖像處理程序，其特徵在於，它用於通過計算機實現以下功能利用攝影裝置進行攝影的攝影控制功能，所述攝影裝置能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；分別存儲從所述主感光像素獲得的第1圖像信息及從所述副感光像素獲得的第2圖像信息的信息存儲功能；選擇是否存儲所述第2圖像信息的選擇功能；根據所述的選擇對所述第1圖像信息和所述第2圖像信息的存儲處理進行控制的存儲控制功能。
22.一種圖像處理程序，其特徵在於，它用於通過計算機實現以下功能利用攝影裝置進行攝影的攝影控制功能，所述攝影裝置能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；第1圖像信號處理功能，其用於根據從所述主感光像素獲得的信號，以由第1輸出裝置產生的圖像輸出作為目標，生成第1圖像信息；第2圖像信號處理功能，其用於根據從所述副感光像素獲得的信號，以與所述第1輸出裝置不同的第2輸出裝置產生的圖像輸出為目標，生成第2圖像信息。
23.一種圖像處理程序，其特徵在於，它用於通過計算機實現以下功能利用攝影裝置進行攝影的攝影控制功能，所述攝影裝置能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；保存控制功能，其用於控制從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息的保存處理；指定所述第2圖像信息的動態範圍的D範圍設定操作功能；根據所述D範圍設定操作器的設定改變所述第2圖像信息的再現輝度域的D範圍可變控制功能。
24.一種圖像處理程序，其特徵在於，它用於通過計算機實現以下功能輸出通過攝影裝置獲得的圖像的圖像顯示功能，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制功能，其用於轉換並由所述圖像顯示器顯示從所述主感光像素獲得的第1圖像信息和從所述副感光像素獲得的第2圖像信息。
25.一種圖像處理程序，其特徵在於，它用於通過計算機實現以下功能用於輸出通過攝影裝置獲得的圖像的圖像顯示功能，其中所述攝影裝置的結構為能夠根據規定的排列形式配置了多個動態範圍相對狹窄的高感光度主感光像素和動態範圍相對較寬的低感光度副感光像素，經過一次曝光從所述主感光像素及所述副感光像素獲得圖像信號；顯示控制功能，其用於在所述圖像顯示裝置上顯示由所述主感光像素獲得的第1圖像信息，同時，相對於所述第1圖像信息，通過所述第2圖像信息在該第1圖像信息顯示畫面上強調顯示使再現域擴展的圖像部分。
全文摘要
本發明提供既可進行sRGB等標準的圖像輸出，又可根據列印用途等，通過圖像處理從更寬動態範圍的圖像信息製作最適合圖像的圖像處理裝置、方法及程序。其中，使用了設有主感光像素和副感光像素的CCD，所述主感光像素動態範圍具有相對狹窄的動態範圍，所述副感光像素具有相對較寬闊的動態範圍，經過一次曝光獲得由主感光像素獲得的第1圖像信息以及從副感光像素獲得的第2圖像信息，並將它們作為文件名相關的二個文件保存。通過規定的用戶界面可以選擇是否保存第2圖像信息以及選擇第2圖像信息的動態範圍。將第2圖像信息的動態範圍信息保存在第1圖像信息文件及/或第2圖像信息文件的標題等中。
文檔編號H04N5/369GK1522054SQ20041003947
公開日2004年8月18日 申請日期2004年2月13日 優先權日2003年2月14日
發明者竹村和彥, 石原淳彥, 彥 申請人:富士膠片株式會社