增強圖像的方法
2023-08-11 13:54:41 1
專利名稱：增強圖像的方法
技術領域：
本發明涉及攝影圖像，具體地，涉及在傳感器和電子快門的幫助下拍照。本發明可以用於在低光照條件下和當沒有大光圈光學器件時拍照。
背景技術：
現今存在廣泛多樣的小型移動照相設備，其是可拆卸的或內置在其他的器具中， 例如內置在允許對各種對象拍照的蜂窩電話中。由於嚴格的尺寸和重量限制，用於低光照條件的大光圈光學器件不能用在這些設備中。存在兩種公知的在低光照條件下不應用大光圈光學器件時獲得圖像的方法。這兩種方法可以分開使用或結合使用1.有時，必要時，較長的曝光時間結合光學圖像穩定器或數字圖像穩定器(克裡斯韋斯頓的「在數碼攝影中的曝光」，ISBN 978-5-9794-0235-2,978-2-940378-29-6)。這種方法具有缺點如果長時間曝光和使用在曝光期間並非穩固固定的手持相機拍照時，所產生的圖像是模糊的、失真的和不清晰的。而使用附加的機械設備(例如三腳架)不能滿足移動性要求。這個缺點部分地用數字圖像穩定器或光學圖像穩定器補償。然而，這種設備使相機更大。另外，不能通過使用圖像穩定器消除的第一種方法的缺點是場景中的移動對象看起來是模糊的事實。2.來自傳感器的數據讀取路徑中的密集擴增(相當於增加靈敏度值)(克裡斯韋斯頓的「在數碼攝影中的曝光」，ISBN 978-5-9794-0235-2,978-2-940378-29-6)。第二種方法的缺點是不僅擴大了圖像的亮度，而且擴大了來自傳感器和圖像讀取 /數位化路徑的噪聲。存在之後對噪聲進行抑制的方法，然而，這些方法也不可避免地使圖像中的某些細節消失。存在用於接收來自傳感器的多個(一系列)曝光的程序描述，包括下列階段(http //www. aptina. com/products/image_sensors/_ 用於現代傳感器的數據表； http//www. aptina. com/assets /downloadDocument. do ？ id = 373-具有電子快門 mt9p013的傳感器的詳細描述)-確定最佳曝光時間；-在時間Tl期間曝光，然後讀出數據；-在曝光之間間隔；-在時間T2期間曝光，然後讀出數據；-在曝光之間間隔；-在時間T3期間曝光，然後讀出數據；-等等。上述拍照方法的缺點在於曝光隨時間分散，這使得在曝光被融合之後，移動對象的顯示質量變得更壞。在第450346號美國專利中描述的圖像增強方法與提出的發明最接近。該方法建議，兩個幀被用來作為輸入圖像，以及這些圖像中的一個具有改善的信號/噪聲比，然而，伴隨有某些失真。該方法使用來自第一圖像的低頻數據和來自第二圖像的高頻數據。附加邏輯被用來為這兩個圖像確定臨界頻率。此頻率可以根據圖像特徵在圖像區域上適應地改變。該方法以下列方式被用來減少圖像中的雜散信號-獲得對象的多次曝光；-取第一曝光(具有低信號/噪聲比)；-具有高信號/噪聲比的多個圖像被融合到單一的圖像中，生成第二圖像；-在第一圖像上使用低頻濾波以減少噪聲；-對第二圖像進行高頻濾波；-將低頻濾波和高頻濾波的頻率調整到本地失真的程度(偽影)；-通過簡單的累加組合濾波後的圖像。這種方法的缺點是不能消除圖像中的模糊。如果在場景中存在移動對象，通過這種方法拍攝出的具有時間上分開的曝光的圖像將不可避免地包含偽影。發明概述本發明的目的是在沒有使用大光圈光學器件或任何其他附加設備下採用移動照相設備獲得高質量的圖像。實現本發明任務的方案如下-獲得具有低信號/噪聲比的多個曝光。-從這些曝光中，從連續的曝光的組中識別具有最佳清晰度的初始圖像，連續的曝光的組在時間上部分地重疊或具有不超出總曝光時間的1/20的曝光之間的間隔。-使用具有較長的曝光時間的圖像對具有較短的曝光時間的圖像進行濾波。-通過融合來自相同的組的具有不同的曝光時間的初始圖像獲得最終圖像。附圖的簡要描述
圖1示出了在無損獲取傳感器像素時可能的數據讀取模式。圖2示出了在過程中對傳感器復位的模式。圖3示出了標準的數據讀取模式。圖4示出了在圖像濾波處理期間圖像是如何被分割成相同尺寸的小的重疊區域 (圖像塊)。圖5示出了將二維頻域變換的係數劃分成非重疊區域的第一種方法。圖6示出了將二維頻域變換的係數劃分成非重疊區域的第二種方法。圖7是用圖表形式示出與已知的方法相比由所提出的方法獲得的高質量圖像的百分比的圖。發明的詳細描述所提出的增強照片圖像的方法包括兩個階段1.根據傳感器的特殊的圖像數據採集模式(讀出模式)生成圖像的多個幀。2.將獲得的圖像融合成一個最終圖像。階段一方法1
在圖1中示出的讀取模式包括-初始逐行復位所有的傳感器像素到其初始狀態；
-在時間Tl期間曝光；-逐行讀出在曝光Tl期間獲得的圖像；-在時間T2-T1期間進行額外的曝光；-逐行讀出在曝光T2期間獲得的圖像。因此，生成了兩個圖像具有曝光時間Tl的第一圖像(讓我們稱它為A)，具有曝光時間T2的第二圖像(讓我們稱它為B)。這種數據讀出模式是更可取的；然而，它只在無損讀出獲取傳感器像素時是可能的。方法2在圖2中示出的數據讀取模式包括-初始逐行復位所有的傳感器像素到其初始狀態；-在時間Tl期間曝光；-逐行有損讀出在曝光Tl期間獲得的圖像；-在讀出之後立即將所有的傳感器像素復位到其初始狀態；-在時間T2期間進行額外的曝光；-逐行讀出在曝光T2期間獲得的圖像。這種讀出方法通過將在時間Tl和時間T2期間獲得的圖像綜合成單一的圖像B生成類似於那些通過在圖1中示出的模式獲得的圖像的圖像。和方法1不同，圖像B在像素的第二次復位期間不曝光。然而，這個復位所需要的時間相比時間Tl和T2短得可忽略不計。在復位時間不超出總曝光時間的1/20時，獲得最佳的結果。圖像A和B被轉移到第二階段以進行進一步處理。當總曝光時間加上在曝光之前復位傳感器所需要的時間與動態的現場拍攝相比小得可忽略時，為了獲得最佳結果，在第一階段期間建立多對圖像(A1B1 ；A2B2 ；...)，接著在第二階段期間選擇最佳圖像對。在第一階段期間獲得的圖像的性質在第一階段之後獲得的圖像具有不同的曝光時間。Tl <T2，所以圖像A的曝光比圖像B的曝光短。確定的最佳比率是Tl = Τ2/5。換句話說，圖像A的曝光應該是圖像B的曝光的五倍短。在這種曝光時間比下-在圖像B中的信號/噪聲比是在圖像A中的信號/噪聲比的五倍高；-在圖像A中的圖像不清晰度(模糊度)大大低於在圖像B中的圖像不清晰度(例如，當在曝光期間照相機抖動時)。階段二選擇最佳圖像對—旦在第一階段中獲得多對圖像，一定要選擇最佳圖像對以進行進一步處理。在圖像B中的模糊度水平對進一步處理具有最大的影響。以下列方式選擇更加清晰的圖像 (Bi 或 Β2 或 B...)1.提取亮度分量。讓我們假設，在圖像中的每一像素都以三種顏色分量R、G、B的形式存儲。因此， 亮度分量(Y)由下列公式確定Y = R*0. 2989+G*0. 587+Β*0· 114
用於亮度分量的信號和計算方法的這種解釋在圖像處理中是典型的並且是公知的。2.計算在兩個圖像中的亮度梯度的平方和Gxx, y — Yx-I, y-i_Yx+i, y-i+Yx-I, y+i_Yx+i, y+i+2Yx_lj y_2Yx+lj yGyx, y — Yx-I, y-i+Yx+i, y-i~Yx-i, y+i_Yx+i, y+i+2YXj y_1_2YXj y+1其中 Gx——沿χ方向的梯度分量；Gy——沿y方向的梯度分量；G——梯度值的平方和；X，y——像素的坐標。3.圖像應該具有最高G值。一旦確定最佳圖像對，有兩個可用的圖像A——較清晰的圖像，但是具有較高的噪聲水平；B——可能較模糊的圖像，但是具有較低的噪聲水平。減少圖像A中的噪聲(濾波)除了有用的數據(暴露的場景)之外，圖像A還包含雜散噪聲。在圖像B中的低噪聲數據能夠幫助從圖像A中的噪聲中濾出有用的信號。這種方法不同於已知的通過使用單一的圖像濾除噪聲的方法，因為第二圖像(B)被用來從有用的信號中分離噪聲。這樣有助於最佳程度地將噪聲和有用的信號分離開來以留下完整的有用信號。濾波程序可單獨地被應用於亮度分量或亮度和色度分量或每一顏色通道(R，G， B)。在圖像B中的數據的幫助下，以下描述的程序減少了圖像A中的噪聲-用於圖像A和圖像B的濾波所選定的通道(例如，亮度通道)被分解為相同尺寸的較小的重疊區域(圖像塊)。參照圖4。-每一圖像塊進行相同的處理算法·將一窗口應用於每一圖像塊的數據並進行二維頻域變換(例如，二維傅立葉變換)。所述窗口被用來降低在頻率轉換期間的吉布斯效應。在與相鄰圖像塊的重疊窗口合併時，方窗函數必須滿足統一信號放大條件；·由此產生的二維頻域變換係數被分成非重疊區域(參照圖5 ；圖6)；·在圖像B的係數的幫助下，在每一區域中過濾圖像A的係數；·進行逆頻域變換且所述窗口被第二次應用。-通過合併所生成的重疊圖像塊建立經校正的圖像A。除具有最低頻率的區域(其不進行濾波)之外，每一區域的係數濾波算法如下-圖像A和圖像B的係數的平均能量、其互相關性以及圖像B的係數的能量的平均調整被計算為￠-=比柏
ANZ=T = ^iiELL
°N
yN rArBXcorr = 2^i=1 『『
N
權利要求
1.一種圖像增強方法，包括(a)獲得具有低信號/噪聲比的多個曝光；(b)從這些曝光中識別具有最佳清晰度的初始圖像；(c)通過使用來自具有較長的曝光時間的圖像的數據來對具有較短的曝光時間的圖像進行濾波，獲得具有高信號/噪聲比和高清晰度的最終圖像。
2.如權利要求1所述的圖像增強方法，其中所述初始圖像取自於接連地曝光的組， 其中來自相同的組的曝光在時間上部分地重疊或在曝光之間的間隔不超出總曝光時間的 1/20。
3.如權利要求1所述的圖像增強方法，其中通過融合來自相同的組的具有不同的曝光時間的所述初始圖像建立所述最終圖像。
全文摘要
依據本發明的方法可以用於在攝影學中在低光照條件下和缺少大光圈光學器件的情況下生成高質量的圖像。所述方法包括，攝影時，首先獲得圖像的多個幀，所述幀具有在時間上部分地重疊的曝光或具有在曝光之間的可忽略的間隔。在曝光之間的間隔表示少於總曝光時間的1/20的情況下，可以獲得最佳的結果。所述方法還包括從一組曝光中分離出初始圖像和使用具有最大曝光間隔的圖像來對具有最小曝光間隔的圖像進行濾波。通過組合來自相同的組的具有不同的曝光間隔的初始圖像獲得最終圖像。
文檔編號G03B7/093GK102472946SQ201080032182
公開日2012年5月23日 申請日期2010年3月19日 優先權日2009年7月20日
發明者尤金·亞歷山德羅維奇·帕尼奇, 德米特裡·瓦萊裡維奇·施穆克 申請人:尤金·亞歷山德羅維奇·帕尼奇, 德米特裡·瓦萊裡維奇·施穆克