具有多個解析度的方法和照相機的製作方法
2023-11-11 17:42:47 1
專利名稱：具有多個解析度的方法和照相機的製作方法
技術領域：
本發明涉及能夠捕獲具有局部改善的解析度的圖像的方法和照相機。本發明尤其是可以應用到數位照相機，例如攝影機、拍照手機(phonecam)，或者在一般情況下應用到設有圖像傳感器的任何設備。
背景技術：
對於遠距離通信設備(如行動電話或者拍照手機)內裝的數位照相機裝置通常不能實現極高質量的圖像捕獲。質量下降主要來源於幾種因素。由於行動裝置的重量和尺寸必須減小，所以它沒有複雜的透鏡。類似地，與移動裝置組合在一起的數字圖像傳感器的解析度通常低於攝影機的解析度。
拍攝裝置的適度潛在能力，尤其是拍照手機的適度潛在能力，至少部分地要由圖像文件的遠距離傳輸約束條件調整。的確，這些文件必須具有與通信帶寬相容的數字權重。在用於顯示所說圖像的控制屏尺寸的減小當中可以發現這是另一種調整，這一般給出質量是令人滿意的印象。
為了改進圖像質量，已經提出了變焦透鏡。這些透鏡是具有液體透鏡的透鏡系統，其中在電場的作用下可以改變兩種不相溶的液體之間的接觸彎月面的曲線。作為信息，可以參照在本說明書末尾給出的文獻(1)和(2)。變焦透鏡系統使照相機配有聚焦功能和/或變焦功能。
儘管具有上述的改進，但使用拍照手機捕獲的數字圖像在一般情況下對於用於放大或照片硬拷貝的質量來說總是不夠好的。因此，在大屏幕上顯示圖像時，或者在列印圖像時，解析度限制的出現是比較嚴重的，有時是致命的。
遠距離發送圖像的可能性、目標在普通公眾的適度成本、行動裝置的能量和存儲器資源、還有獲得的圖像的質量和解析度，這些目標似乎是相互衝突的。
發明內容
本發明的目的是提出使所捕獲的圖像能夠放大的同時還可保持高質量清晰度的方法和照相機。
本發明還有一個目的是實現(如果需要)可能具有適度的拍攝裝置的設備捕獲這樣的圖像。
本發明下一個目的是提出一種方法和照相機，它的成本相對於圖像質量的可能增益來說特別地低。
為了實現這些目標，本發明的目的更加準確地說就是一種拍照方法，所說拍攝方法包括響應釋放拍攝-按照第一拍攝場，使用具有變焦透鏡並且調節到第一焦距的照相機捕獲第一圖像，所說第一焦距最好小於透鏡的最大焦距，-在第一圖像中自動尋找感興趣區域，並且，當找到至少一個感興趣區域時，-自動改變焦距，以便固定(tighten)圍繞這個感興趣區域的拍攝場，-在固定這個拍攝場以後自動捕獲第二圖像，-通過組合第一和第二圖像自動產生組合圖像。
這樣最終獲得的組合圖像具有圖像解析度較高的區域，這些區域就是感興趣區域。的確，每個感興趣區域都是用照相機圖像傳感器的高解析度捕獲的，或者至少是使用傳感器的一個大的面積捕獲的，但它只佔據最終圖像的面積的一個部分。感興趣區域例如對應於這個圖像的一些面或者構造成的部分，它的細節通常會吸引觀察人員的注意力。而另外一些區域的解析度仍舊是受到較大的限制的。例如有天空區或者背景區。這些區域的數據實際上來自於第一捕獲的圖像，即，傳感器所覆蓋的一個較寬的場的圖像。
與感興趣區域對應的第二圖像的捕獲最好在捕獲第一圖像後極快地發生，並且這是自動發生的，用戶不必再次地按壓釋放。通過增加透鏡的焦距來固定拍攝場。具體來說，固定拍攝場以達到所選的感興趣區域的邊緣。
按照一種改進方案，還可能自動改變透鏡光軸的傾斜角，以便在捕獲第二對應圖像的時候向每個感興趣區域自動引導光軸。
通過向感興趣區域引導所說光軸，有可能進一步固定拍攝場，具體來說對於位於起始的拍攝場的邊緣的感興趣區域，進一步固定拍攝場。
的確，第二圖像是自動捕獲的，即，用戶不必有意地改變取景(framing)。這樣，在不改變光軸的情況下完成的拍攝場的強烈減小可能會從場的某些外圍帶中排除，並且只對中心區才能有效地實現這個方法。然而，光軸從第一圖像的中心向感興趣區域的中心的傾斜角使拍攝場位於這個感興趣區域的中心以便捕獲第二圖像。例如，通過使用一個執行機構，例如壓電執行機構，使透鏡或光學系統略微樞軸轉動一點，就可產生透鏡光軸的改變。另一個解決方案是使用一個光楔，所說光楔可以通過轉動引導，如在本說明書末尾給出的文獻(3)中所描述的。
拍攝場的改變最好與在每次捕獲第二圖像時在感興趣區域上的自動聚焦同時發生。這樣做能改善所捕獲的第二圖像(一個或多個)的清晰度。
在一個圖像內對於感興趣區域的搜尋可能要滿足各種不同的標準。最簡單的情況是，可以選擇具有光強度的最高空間梯度的圖像區域作為感興趣區域。這就意味著，可以排除均勻展開的天空、水、草木、地表等。在比較複雜的情況下，可以選擇主要色彩確定為皮膚顏色的圖像區域為感興趣區域。這意味著可以選擇人的面部作為感興趣區域。另一種技術是識別預先設定的圖像中的幾何圖形，這些幾何圖形例如可以對應於口和眼睛。可以認為圍繞這些幾何圖形的區域對應於人的面部，並且將其選為感興趣區域。
作為感興趣區域的搜尋技術的說明，可以參照在本說明書末尾給出的文獻(6)和(7)。
如以上所述，在感興趣區域中心的圖像，即第二圖像，最好在第一圖像之後極快地捕獲到。如果是這種情況，就可以假定，它包含的整個場景和感興趣區域至少作為第一近似或多或少是固定的。
儘管如此，實現用於捕獲對象一直快速運動的場景的圖像的方法也是可行的。例如拍攝運動的對象就是這種情況。
在這種情況下，所說方法可以補充一個步驟估算每個感興趣區域的圖標內容的移動。當產生組合圖像以分別校正在第一圖像的捕獲和每一第二圖像的捕獲之間每個感興趣區域的圖標內容的任何位移或畸變時，可以使用這一估算。從對應於在感興趣區域上聚焦的那些參數，可以估算出這一移動。這些參數例如是在第一和第二圖像之間的聚焦差或光軸差、在第一和第二圖像的捕獲之間的放大比和/或等待時間。於是，場景中或者手持相機的用戶的任何移動都不會妨礙最終的合成圖像的正確構成。
通過組合第一和第二圖像來構成最終的圖像。為此，最好使用JPEG 2000型格式，這種格式能夠組合具有不同解析度的各種不同的圖像部分。構成最終圖像的本質上在於用對應的第二圖像代替第一圖像的感興趣區域。對於第二圖像指定能以第一圖像的比例刻度插入第二圖像的一個放大比例，由此實現圖像各個部分的替換。這一比例取決於捕獲每個第二圖像所產生的焦距的改變。構造合成圖像(也稱之為解析度可變的圖像)使用的是公知的替換和重構技術。作為信息，可以參照在本說明書末尾給出的文獻(4)。
本發明還涉及用於實施上述方法的一種照相機。雖然這種照相機還可以用於捕獲圖像序列，如運動圖像照相機，但是這種照相機主要功能是捕獲這裡處理的靜止圖像。
這個設備準確地說可以是數位照相機，或者像在本文開始段提到的，是一個組合照相機功能和遠距離通信功能的設備，如拍照手機。
所說照相機包括變焦透鏡和用於檢測圖像中的感興趣區域的圖像分析裝置。透鏡由分析裝置控制，以便固定地圍繞所捕獲的圖像的至少一個感興趣區域實現取景，用於捕獲與感興趣區域對應的至少一個附加圖像。
除了按照本發明調節焦距以外，存在具有可變焦距的攝影透鏡還能為用戶提供常規的變焦功能。還可以提供一種機構，用於防止用戶在捕獲第一圖像時將變焦調到最大焦距，從而為自動捕獲第二圖像(如果必須這樣做的話)留有固定拍攝場的邊緣。
雖然具有可變焦距的透鏡可以是配備一個電機以便移動固體透鏡系統的透鏡，但最好是具有液體透鏡的靜電控制的透鏡系統。具體來說，這些透鏡是上述的文獻(1)和(2)描述的那種類型的透鏡。液體透鏡的優點是機械慣性低。因此，它們容易適應焦距的快速改變。這一性質能使第一和第二拍攝連續快速地實現，因此用戶不必進行特殊的努力就可以在連續拍攝期間保持取景。如果拍攝的連接足夠地快，用戶可能感覺不到這種方法的實現過程。
建立合成圖像可以在照相機內發生，也可以不在照相機內發生。照相機可以簡單地只提供第一和第二圖像的數字數據。照相機還可以配備合成圖像建立裝置，響應用戶的釋放操作可以使用捕獲的所有圖像的數字數據，因此可以為合成圖像直接提供數據。
合成圖像建立裝置和先前提到過的圖像分析裝置可以包括為進行適當的數字數據處理編程的一個專用的中央處理單元或微控制器。
本發明的其它特徵和優點在下面參照附圖的描述中將成為顯而易見的。這一描述的給出純粹是為了說明，而不是進行限制。唯一的附圖是一個流程圖，概括了按照本發明的方法的特定實施步驟。
具體實施例方式
為簡單起見，術語「圖像」用於代表通過照相機捕獲的攝影圖像，還用於代表對應於圖像的數字數據或數字文件。
該方法的第一個步驟10包括第一圖像12的捕獲。響應一次拍攝的釋放，捕獲所說的圖像，所說的圖像對應於用戶限定的一個取景的和拍攝場。或多或少幸運的是，使用照相機的取景器或小型控制屏幕就可以控制取景。拍攝場也是由用戶確定的，用戶可以移近或者遠離要拍攝的場景，或者可以使用照相機的變焦進行調節。變焦按照透鏡的視場對焦距產生作用。
由照相機的圖像傳感器13提供的圖像發送到中央處理單元14，在中央處理單元14對於圖像進行分析，以便提取感興趣區域16a、16b。如先前提到過的，這就意味著確定了圖像中具有光強度的強烈空間梯度的區域，從而可以檢測面部或預先確定的形狀等。然而，還可能尋找顏色均勻或對比度低的區域19，並且使這些區域成為感興趣區域的補充。
在附圖中標號20表示自動尋找感興趣區域的步驟。在所示的實例中，步驟20確定兩個感興趣區域，它們與面部和一棵樹對應。在附圖中用點劃線表示這些區域。對於每個檢測到的感興趣區域，分別自動進行附加的拍攝22a、22b。所捕獲的第二圖像的標號為24a、24b。
雖然第二圖像的邊框不一定非要對應於傳感器提供的圖像的整個場，但是第二圖像的邊框要包圍感興趣區域，感興趣區域因此得益於較大的光學放大，這是因為焦距增加並且透鏡的視場減小的緣故。
的確，照相機13配備有透鏡26，透鏡26具有可變的焦距並且可能還具有可變的光軸。這種透鏡是響應感興趣區域的檢測由中央處理單元14控制的，從而圍繞每個所檢測到的感興趣區域固定取景，並因此固定拍攝場。捕獲第二圖像24a和24b。改變透鏡軸或者光楔取向的執行機構也可由中央處理單元14控制。其目的在於把光軸指向感興趣區域，從而在捕獲第二圖像期間使取景在這些區域的中心。就可利用的最大焦距所允許的而論，所捕獲的感興趣區域是「全幀」，因此在圖像傳感器上佔據最大可能的表面面積。這一舉措使最大有用的數字數據可對應於將要獲得的感興趣區域。
第一圖像12和第二圖像24a、24b的數據都由中央處理單元14控制，從而在最後一個步驟30建立一個組合圖像32，其中第一圖像的感興趣區域16a、16b的數字數據由第二圖像24a、24b的數字數據代替。這種代替在圖像24a、24b的尺寸調節之後完成。這樣最終獲得的組合圖像32具有解析度較低的區域和解析度較高的區域。解析度較高的區域對應於感興趣區域。當將最後獲得的組合圖像放大時，它仍然保持在感興趣區域非常詳細。因此，不管在感興趣區域周圍的解析度是否受到較大的限制，圖像32的放大都不會損害它的整體的表觀質量。因而，可以在一個很大的屏幕上顯示這個圖像，或者使這個圖像成為照片硬拷貝的對象。
對於在圖像16a和24a以及在圖像16b和24b之間的幾何學方面的差異和/或色度學方面的差異進行適當的分析，從而可以修改(如果必要的話)圖像24a、24b，以產生質量最佳的組合圖像32。
的確，在建立最終的組合圖像之前的附加步驟28可包括所捕獲的第二圖像數據的各種不同的格式化操作。這些操作之一例如是重新計算第二圖像的圖標內容的先前位置，以便校正由於圖標內容的位移引起的任何移動或者照相機用戶的任何移動。這種操作例如包括建立從兩個圖像獲得的位移矢量、將它們調節到相同的基線和解析度、表示相同的感興趣區域和分別對應於第二圖像和第一圖像的相關區域之一。然後，逐點地校正第二圖像的相位，或者可能還要校正第一圖像的相位。校正的程度直接地依賴於先前估算的位移矢量的幅度和方向。所說操作還可以包括移動第二圖像的圖標元，以便在第一圖像的感興趣區域的對應的圖標元上最好重疊第二圖像的圖標元。為此，要將第一和第二圖像的感興趣區域之間的校正函數調至最小。
附加步驟28還可以用於第二圖像的可能的刪除，這些第二圖像原來會是偶然發生散焦或者它們的圖標內容與第一圖像相比偶然會相差太多以致於不能插入。在這種情況下，在最終的圖像中保存第一圖像的對應的感興趣區域的數據。
在附圖中，照相機13表示為一個攝影機。然而，照相機13可由任何數位照相機設備代替，特別是由包括上述功能的拍照手機代替。
引用的文獻(1)WO 03/069380(2)EP 1019758(3)US 6686956(4)「超解析度圖像的重構」IEEE信號處理雜誌1053/5888/03，2003年5月，21-36頁(5)US2004/0041919(6)Ming-Hsuan Yang，David Kriegman，Narendra Ahuja，「在圖像中檢測面部一次調查」，IEEE學報關於圖形分析和機器智能(PAMI)，第24卷，第1期，34-58頁，2002年。
(7)Jiebo Luo，Amit Singhal，Stephen R Etz，Robert T Gray，「在照片中確定主要對象區域的計算方法」，圖像和視覺的計算，2001年。
權利要求
1.一種拍照方法，包括響應拍攝釋放-按照第一拍攝場，使用配有變焦透鏡並且調節到第一焦距的照相機(13)捕獲(10)第一圖像(12)，-在第一圖像中自動尋找(20)至少一個感興趣區域(16a、16b)，-自動改變焦距，以便固定圍繞這個感興趣區域的拍攝場，-按照固定的拍攝場自動捕獲至少一個第二圖像(24a、24b)，-通過組合第一和第二圖像(24a、24b)自動建立組合圖像(32)。
2.根據權利要求1所述的方法，所說方法還包括如下步驟在捕獲每個第二圖像(24a、24b)時，分別自動聚焦在每個感興趣區域(16a、16b)上。
3.根據權利要求1所述的方法，所說方法還包括如下步驟在捕獲每個第二圖像時，改變變焦透鏡的光軸以便分別向每個感興趣區域自動引導所說光軸。
4.根據權利要求1所述的方法，所說方法還包括如下步驟估算每個感興趣區域的圖標內容的移動，並且校正(28)第一圖像和第二圖像中的至少一個以補償在捕獲第一圖像和捕獲對應的每個第二圖像之間圖標內容的移動。
5.一種照相機(13)，所說照相機包括具有可變焦距的透鏡(26)和第一捕獲的圖像(12)的分析裝置，所說分析裝置用於檢測第一圖像內的感興趣區域，其中，所說透鏡是由分析裝置控制的從而可以實現固定地圍繞第一圖像的至少一個感興趣區域取景，用於自動捕獲與感興趣區域對應的至少一個第二圖像(24a、24b)，所說照相機還包括使用固定場的第一捕獲的圖像和第二捕獲的圖像建立組合圖像(32)的裝置。
6.根據權利要求5所述的照相機，所說照相機還包括一個中央處理單元(14)，用於形成圖像分析裝置和建立組合圖像的裝置。
7.根據權利要求5所述的照相機，其中變焦透鏡(26)是一個電可尋址的液體透鏡系統。
全文摘要
一種拍照方法，包括響應拍攝釋放按照第一拍攝場，使用配有變焦透鏡並且調節到第一焦距的照相機(13)捕獲(10)第一圖像(12)；在第一圖像中自動尋找(20)感興趣區域(16a、16b)；當找到至少一個感興趣區域的時候，自動改變焦距，以便固定圍繞感興趣區域的拍攝場；按照固定的拍攝場自動捕獲至少一個第二圖像(24a、24b)；通過組合第一圖像和第二圖像自動建立組合圖像(32)。
文檔編號H04N5/232GK1981516SQ200580022706
公開日2007年6月13日 申請日期2005年6月13日 優先權日2004年7月5日
發明者J·-M·福, N·P·B·圖沙德, C·E·M·帕平 申請人:伊斯曼柯達公司