具有合成全色圖像的彩色濾光器陣列(cfa)圖像的製作方法

2023-09-11 08:09:00

專利名稱：具有合成全色圖像的彩色濾光器陣列(cfa)圖像的製作方法
技術領域：
本發明涉及具有彩色通道及全色通道的彩色濾光器陣列(CFA)圖像，且尤其涉及提供具有減少的運動模糊的改善全解析度彩色圖像。
背景技術：
電子成像系統依靠透鏡系統在電子圖像傳感器上形成圖像來創建視覺圖像的電子表示。此類電子圖像傳感器的示例包括電荷耦合器件(CCD)圖像傳感器及有源像素傳感器(APQ器件(APS器件常被稱為CMOS傳感器，因為APS器件可在互補金屬氧化物半導體工藝中製作)。傳感器包括個體像元傳感器或即像素的二維陣列。每個像素典型情況下設有紅、綠或藍濾光器，如Bayer在1976年7月20日授權公告的共同受讓的美國專利第3，971，065號中所描述的，從而可產生彩色圖像。不管採用何種電子技術(例如，C⑶或 CMOS)，像素均像在其中累積與在由該電子成像系統捕捉圖像期間撞擊該像素的光量成正比的光電子的桶那樣起作用。並非所有進入電子成像系統的前端光學元件的光都會撞擊像素。其中許多光在穿過該電子成像系統的光學路徑時丟失。典型情況下，大約5%的光因透鏡反射及霾而丟失， 並且大約60%的光因彩色濾光器陣列而丟失。此外，一些光撞擊像素的非光敏區域。為聚集進行正確曝光所需的光量，電子成像傳感器聚集光達一時間區間，該時間區間稱為曝光時間。基於對待成像的場景的亮度測量，典型情況下使用自動曝光控制來確定將可產出具有有效亮度的圖像的合適曝光時間。場景越昏暗，該電子成像系統聚集光來進行正確曝光所需的時間量就越大。然而，眾所周知，較長的曝光可能導致模糊的圖像。此模糊可能為對象在場景中移動的結果。此模糊還可能在該圖像捕捉器件在捕捉期間正相對於該場景移動時而產生。減少模糊的一種方法是縮短曝光時間。然而，此方法使電子圖像傳感器在圖像捕捉期間曝光不足，從而產生暗圖像。可對該圖像信號施加模擬或數字增益以使那些暗圖像變亮，但本領域技術人員將認識到這樣做將會導致有噪圖像。減少模糊的另一種方法是縮短曝光時間且保留更多穿過光學路徑的光並將其導向至電子圖像傳感器的像素。此方法可產生具有減少的模糊及可接受的噪聲電平的圖像。 然而，電子成像系統中目前的產業趨勢是要使成像系統更小且更便宜。因此具有大光圈能聚集更多光且保留更多穿過的光的高級光學元件並不實際。減少模糊的另一種方法是縮短曝光時間且用攝影閃光燈來補充可用光。攝影閃光燈產生持續一瞬間的強光通量且曝光時間被設定為涵蓋該閃光時間。可將曝光時間設定為顯著短於無閃光的區間，這是因為攝影閃光燈很強。因此，曝光期間的模糊得以減少。然而， 閃光攝影術僅在該閃光燈與對象之間的距離相對較小的情況下才實際。此外，閃光燈給圖像捕捉設備增加額外成本及重量。於2002年8月27日授權公告的授予Tull的美國專利第6，441，848號描述具有電子圖像傳感器的數位相機，該數位相機藉由監視每個像素收集電子的速率來去除對象運動模糊。若光撞擊像素的速率變動，則假定該像素正在觀看的圖像的亮度正在改變。當內建於該傳感器陣列中的電路檢測到圖像亮度正在改變時，保留所收集到的電荷量且記錄檢測到亮度改變的時間。停止曝光所處的每個像素值藉由線性外插該像素值以使該像素值對應於整個圖像的動態範圍來被調整至適當值。此辦法的一缺點在於當曝光開始時已在運動中的對象的外插出的像素值極不確定。如傳感器所見的圖像亮度從不具有恆定值，且因此在外插出的像素值中的不確定性導致具有運動偽影的圖像。另一缺點在於該方法使用專門化的硬體，從而其無法與目前的商業相機中所使用的常規電子圖像傳感器一起使用。減少模糊的另一方法是捕捉兩個圖像，一者具有短曝光時間，而一者具有長曝光時間。該短曝光時間被選擇成產生有噪但相對無運動模糊的圖像。該長曝光時間被選擇成產生具有很少噪聲但可能具有顯著運動模糊的圖像。使用圖像處理算法來將那些兩次捕捉組合為一個最終輸出圖像。此類辦法在美國專利第7，239，342號、美國專利申請公開第2006/0017837號、美國專利申請公開第2006/0187308號及美國專利申請公開第 2007/0223831號中描述。這些辦法的缺點包括要求附加緩衝存儲器來存儲多個圖像；處理多個圖像的額外複雜性；及解析對象運動模糊的困難性。減少模糊的另一方法是縮短曝光時間且保留更多穿過彩色濾光器陣列的光。對於基於矽的圖像傳感器而言，像素組件本身對於可見光廣泛敏感，從而允許未經濾光的像素適合用於捕捉單色圖像。為捕捉彩色圖像，典型情況下在像素模式上製作二維的濾光器模式，其使用不同濾光器材料以使個體像素僅對可見光譜的一部分敏感。此類的濾光器模式的示例為公知的Bayer彩色濾光器陣列模式，如在美國專利第3，971，065號中所描述的。 Bayer彩色濾光器陣列具有在典型條件下獲得全彩色圖像的優點；然而，已發現此解決方案具有其缺點。雖然需要濾光器來提供窄帶光譜響應，但對入射光的任何濾光皆趨向於減少到達每個像素的光量，從而減少每個像素的有效光敏感度且減少像素響應速度。作為用於改善變動的光條件下的圖像捕捉及改善成像傳感器的整體敏感度的解決方案，已公開了對熟知的Bayer模式的各種修改。例如，共同受讓的由Hamilton等人申請的題為 「Capturing Images Under Varying Lighting Conditions (在變動光照條件下捕捉圖像)」的美國專利申請公開第2007/0046807號及由Compton等人申請的題為「Image Sensor with Improved Light knsitivity (具有改善的光敏感度的圖像傳感器)」的美國專利申請公開第2007/0024931號兩者均描述替換的傳感器布置，其將彩色濾光器與全色濾光元件進行組合，以某種方式在空間上交錯。用此類解決方案，圖像傳感器的某個部分檢測色彩；其它全色部分被最優化成檢測橫越可見頻帶的光以實現改善的動態範圍及敏感度。因此這些解決方案提供像素模式，其中一些像素具有彩色濾光器(提供窄帶光譜響應)，而一些像素則不具有彩色濾光器(未經濾光的「全色」像素或經濾光以提供寬帶光譜響應的像素)。然而，此解決方案不足以允許在低光條件下捕捉不具有運動模糊的高質量圖像，因為彩色像素仍易受運動模糊影響。在天體攝影術及遙感領域中已知的在低光情景中減少模糊並捕捉圖像的另一方法是捕捉兩個圖像即具有高空間解析度的全色圖像及具有低空間解析度的多光譜圖像。這些圖像被融合以生成具有高空間解析度的多光譜圖像。此類辦法在美國專利第 7，340，099號、美國專利案第6，011，875號及美國專利案第6，097，835號中描述。這些辦法的缺點包括要求附加的緩衝存儲器來存儲多個圖像；及解析對象運動模糊的困難。可用於減少運動模糊的另一方法是使用具有可移動透鏡系統或特殊成像器定位硬體的圖像穩定化系統。此類系統被設計成將圖像保持在傳感器上的穩定位置上。然而， 這些系統具有複雜且昂貴的缺點。此外，這些系統未解決場景中的對象以不同速度移動的情形。因此，需要藉由使用常規的電子圖像傳感器來產生具有彩色像素及全色像素、具有減少的運動模糊的改善的彩色濾光器陣列圖像或彩色圖像，而不使用攝影閃光燈，不增加圖像噪聲，且無顯著的額外成本或複雜性或存儲器需要。發明概述根據本發明，提供一種用於形成具有減少的運動模糊的最終數字彩色圖像的方法，包括由一個或多個處理器提供以下步驟(a)提供具有全色像素及對應於至少兩種彩色光響應的的彩色像素的圖像；(b)在全色像素與彩色像素之間進行內插以產生全解析度全色圖像和全解析度彩色圖像；(c)自該全解析度彩色圖像產生全解析度合成全色圖像；(d)響應於該全解析度合成全色圖像及該全解析度全色圖像而形成色彩校正權重；(e)使用色彩校正權重來修正該全解析度彩色圖像，以提供最終彩色數字圖像。本發明的一優點在於可對圖像處理軟體做基本的改變來產生具有減少的模糊的改善的全解析度彩色圖像，而不必使用攝影閃光燈或長曝光時間來適當地曝光單個圖像。本發明的一進一步的優點在於可產生具有減少的由圖像捕捉器件引入的模糊的全解析度彩色圖像，而不需要具有可移動透鏡系統或特殊成像器定位硬體的昂貴的圖像穩定化系統。本發明的一進一步的優點在於可產生具有減少的模糊的全解析度彩色圖像，而沒有增加用於存儲多個圖像的緩衝存儲器的需要。檢閱以下對優選實施例的詳細描述及所附的權利要求、並藉由參考附圖，將可更清楚地理解並領會本發明的這些及其它方面、目的、特徵及優點。附圖簡要說明

圖1是用於實現本發明的數位相機的框圖；圖2是本發明的優選實施例的框圖；圖3是本發明的彩色濾光器陣列模式的視圖；圖4是示出毗鄰行中的像素如何能夠被並倉在一起以共享相同的浮動擴散組件的示意圖；圖5是來自一種可能的並倉(binning)策略的從圖像傳感器的一部分進行像素讀出的視圖；圖6提供紅、綠及藍像素的代表性光譜量子效率曲線，及較寬光譜的全色量子效率，其全部與紅外線截止濾光器的透射特性相乘；及圖7是更詳細地示出圖2的步驟214的框圖。發明的詳細描述在以下描述中，將以平常將被實現為軟體程序的形式來描述本發明的優選實施例。本領域技術人員將現成地認識到，此類軟體的等效方案亦可在硬體中建構。由於圖像
5操縱算法及系統是公知的，因此本描述將特別針對形成根據本發明的系統及方法的一部分的、或與根據本發明的系統及方法更直接地協作的算法及系統。本文中未具體示出或描述的、此類算法及系統的其它方面以及用於產生和以其他方式處理與之有關的圖像信號的硬體或軟體可從本領域中所知的此類系統、算法、組件及元件中選擇。在給定了以下素材中根據本發明所描述的系統的前提下，在本文中未具體示出、建議或描述的、對本發明的實現有用的軟體是常規的且在此類領域的普通技術人員的範圍之內。更進一步而言，如本文中所使用的，用於執行本發明的方法的電腦程式可存儲於計算機可讀存儲介質中，該計算機可讀存儲介質可包括例如磁存儲介質，諸如磁碟(諸如硬碟驅動器或軟盤)或磁帶；光學存儲介質，諸如光碟、光帶或機器可讀條形碼；固態電子存儲器件，諸如隨機存取存儲器(RAM)，或只讀存儲器(ROM)；或者用於存儲電腦程式的任何其它物理器件或介質。由於採用成像器件的數位相機及用於信號捕捉及校正並用於曝光控制的相關電路系統是公知的，因此本描述將特別針對構成根據本發明的方法及裝置的一部分的、或更直接地與根據本發明的方法及裝置協作的元件。本文中未明確示出或描述的元件是從本領域所知的元素中選擇的。將要描述的實施例的某些方面是以軟體來提供。在給定了以下素材中根據本發明所示出及描述的系統的前提下，在本文中未具體示出、描述或建議的、對本發明的實現有用的軟體是常規的且在此類領域的普通技術人員的範圍之內。現轉至圖1，示出了圖像捕捉器件的框圖，該圖像捕捉器件被示為實施本發明的數位相機。雖然現將解釋數位相機，但顯然本發明可應用於其它類型的圖像捕捉器件。在所揭示的相機中，來自主題場景10的光被輸入至成像級11，在此處該光由透鏡12聚焦以在固態圖像傳感器20上形成圖像。圖像傳感器20為每個圖像元素(像素)將入射光轉換成電信號。優選實施例的圖像傳感器20為電荷耦合器件(CCD)類型或有源像素傳感器(APS) 類型(APS器件常被稱為CMOS傳感器，因為APS器件可在互補金屬氧化物半導體工藝中製作)。亦可使用具有二維像素陣列的其它類型的圖像傳感器，只要它們採用本發明的模式即可)。本發明還利用具有二維彩色及全色像素陣列的圖像傳感器20，正如在在本說明書中稍後部分中在描述了圖1後將會變得清楚的那樣。到達傳感器20的光量由改變光圈的光闌塊14及中性密度(ND)濾光器塊13來調節，該ND濾光器塊13包括介於光學路徑中的一個或多個ND濾光器。快門18打開的時間也調節整體光級。曝光控制器40響應於由亮度傳感器塊16所計量的該場景中可用的光量並控制所有這三個調節功能。對特定相機配置的此描述對於本領域技術人員將是熟悉的，且顯然存在許多變體及附加特徵。例如，可添加自動聚焦系統，或者透鏡可為可卸的和可互換的。將理解，本發明可應用於任何類型的數位相機，其中類似的功能性由替換組件提供。例如，數位相機可為相對簡單的傻瓜(point and shoot)相機，其中快門18為相對簡單的可移動葉片快門、或類似物，而不是較複雜的焦平面布置。本發明亦可在非相機器件(諸如行動電話及汽車) 中所包括的成像組件上實踐。來自圖像傳感器20的模擬信號由模擬信號處理器22處理並被應用於模數(A/D) 轉換器24。定時發生器沈產生各種時鐘計時信號以選擇行及像素，且使模擬信號處理器22 與A/D轉換器M的操作同步。圖像傳感器級觀包括圖像傳感器20、模擬信號處理器22、A/D轉換器M及定時發生器沈。圖像傳感器級觀的組件可為分開製作的集成電路，或者它們可如對CMOS圖像傳感器通常所做的那樣被製作為單個集成電路。來自A/D轉換器M 的結果所得的數字像素值流被存儲於與數位訊號處理器(DSP) 36關聯的數位訊號處理器 (DSP)存儲器32中。在本實施例中，DSP 36是三個處理器或控制器中除系統控制器50及曝光控制器 40外的一者。雖然將相機功能控制劃分在多個控制器與處理器之間是典型的，但可以各種方式組合這些控制器或處理器，而不影響相機的功能操作及本發明的應用。這些控制器或處理器可包括一個或多個數位訊號處理器器件、微控制器、可編程邏輯器件、或其它數字邏輯電路。雖然已描述此類控制器或處理器的組合，但應明了，可指定一個控制器或處理器來執行所有所需功能。所有這些變體可執行相同的功能並落在本發明的範圍內，且將視需要使用術語「處理級」以將所有這些功能性涵蓋在一個短語內，例如，正如在圖1的處理級38 中那樣。在所解說的實施例中，DSP 36根據軟體程序來操縱DSP存儲器32中的數字圖像數據，該軟體程序永久地存儲在程序存儲器M中且在圖像捕捉期間被複製至DSP存儲器32 以供執行。DSP 36執行實踐圖18中示出的圖像處理所需的軟體。DSP存儲器32可為任何類型的隨機存取存儲器(諸如SDRAM)。包括用於地址及數據信號的通路的總線30將DSP 36連接至其相關的DSP存儲器32、A/D轉換器M及其它相關器件。系統控制器50基於存儲在程序存儲器M中的軟體程序來控制相機的整體操作， 該程序存儲器討可包括快閃EEPROM或其它非易失性存儲器。此存儲器還可用於存儲圖像傳感器校準數據、用戶設置選擇及在相機關機時必須留存的其它數據。系統控制器50藉由以下來控制圖像捕捉序列如前所描述地指導曝光控制器40操作透鏡12、ND濾光器塊13、 光闌塊14及快門18 ；指導定時發生器沈操作圖像傳感器20及相關聯的元件；以及指導 DSP 36處理所捕捉到的圖像數據。在捕捉並處理圖像之後，存儲在DSP存儲器32中的最終圖像文件經由主機接口 57傳遞至主機計算機，存儲在可移動存儲器卡64或其它存儲器件上，且在圖像顯示器88上為用戶顯示。系統控制器總線52包括用於地址、數據及控制信號的通路，且將系統控制器50連接至DSP 36、程序存儲器M、系統存儲器56、主機接口 57、存儲器卡接口 60及其它相關器件。主機接口 57向個人計算機(PC)或其它主機計算機提供高速連接以用於傳遞供顯示、 存儲、操縱或列印的圖像數據。此接口可為IEEE1394或USB2.0串行接口或任何其它合適的數字接口。存儲器卡64典型情況下為插入於存儲器卡座62中且經由存儲器卡接口 60 連接至系統控制器50的緊密快閃記憶體(CF)卡。可利用的其它類型的存儲包含但不限於PC卡、 多媒體卡(MMC)或安全數字(SD)卡。經處理的圖像被複製至系統存儲器56中的顯示緩衝器並經由視頻編碼器80被連續讀出以產生視頻信號。此信號直接從相機輸出以供在外部監視器上顯示，或由顯示器控制器82處理並呈現在圖像顯示器88上。此顯示器典型情況下為有源矩陣彩色液晶顯示器 (LCD)，但亦可使用其它類型的顯示器。用戶接口 68由在曝光控制器40及系統控制器50上執行的軟體程序的組合來控制，該用戶接口 68包含以下的全部或其任何組合取景器顯示器70、曝光顯示器72、狀態顯示器76、圖像顯示器88、及用戶輸入74。用戶輸入74典型情況下包括以下的某種組合按
7鈕、搖臂開關、操縱杆、旋轉式撥盤或觸控螢幕。曝光控制器40操作光計量、曝光模式、自動對焦及其它曝光功能。系統控制器50管理呈現在這些顯示器中的一者或多者上(例如，圖像顯示器88上)的圖形用戶界面(GUI)。GUI典型情況下包括用於作出各種選項選擇的菜單及用於檢查所捕捉到的圖像的回顧模式。曝光控制器40接受用戶選擇曝光模式、透鏡光圈、曝光時間(快門速度)及曝光指數或ISO速度定額(speed rating)的輸入，且相應地指導透鏡12及快門18進行後續的捕捉。採用亮度傳感器塊16來測量場景的亮度，且提供曝光計量功能以供用戶在手動設置 ISO速度定額、光圈及快門速度時參考。在此情形中，隨著用戶改變一個或多個設置，呈現在取景器顯示器70上的光計量指示符告知用戶該圖像將曝光過度或是曝光不足至何種程度。在自動曝光模式中，用戶改變一個設置並且曝光控制器40自動變更另一設置以維持正確曝光，例如，對於給定的ISO速度定額，當用戶減小透鏡光圈時，曝光控制器40自動增加曝光時間以維持相同的整體曝光。ISO速度定額是數碼靜態相機的重要屬性。曝光時間、透鏡光圈、透鏡透射率、場景照明度及光譜分布、以及場景反射決定數碼靜態相機的曝光程度。當使用不足的曝光獲得來自數碼靜態相機的圖像時，一般可藉由增加電子或數字增益來維持適當的色調再現，但結果所得的圖像往往將包含無法接受的噪聲量。隨著曝光增加，該增益減小，且因此圖像噪聲正常情況下可減少至可接受的程度。若曝光過度增加，則在圖像的明亮區域中的結果所得信號可能超過圖像傳感器或相機信號處理的最大信號電平容量。這可引起圖像高光被限幅而形成一致的明亮區域，或「浮散」至該圖像的周圍區域中。因此，引導用戶設置適當曝光是很重要的。ISO速度定額旨在用作此類引導。為使攝影者易於理解，用於數碼靜態相機的ISO速度定額應與用於照相膠捲相機的ISO速度定額直接相關。例如，若數碼靜態相機具有ISO 200的ISO速度定額，則相同的曝光時間及光圈對於定額為ISO 200的膠捲/處理系統應當是恰適的。ISO速度定額旨在與膠捲ISO速度定額協調一致。然而，在電子與基於膠捲的成像系統之間存在差異，這些差異使得精確的等效不可能。數碼靜態相機可包括可變增益，且可在已捕獲圖像數據之後提供數字處理，這使得能在相機曝光範圍上實現色調再現。因此， 對於數碼靜態相機而言具有速度定額範圍是可能的。此範圍被定義為ISO速度寬容度。為防止混淆，單個值被指定為固有的ISO速度定額，而ISO速度寬容度上限及下限指示速度範圍，即，包括不同於固有的ISO速度定額的有效速度定額的範圍。謹記此點，固有ISO速度是從數碼靜態相機的焦平面處提供的曝光所演算得到的、用於產生指定的相機輸出信號特性的數值。該固有速度通常是對於給定相機系統針對普通場景產生顛峰圖像質量的曝光指數值，其中該曝光指數是與提供給圖像傳感器的曝光成反比的數值。對於數位相機的以上描述對本領域技術人員而言將是熟悉的。顯然存在此實施例的許多可能的變體，且這些變體被選擇以減少成本、添加特徵或改善相機的性能。以下描述將詳細揭示根據本發明的用於捕捉圖像的此相機的操作。雖然此描述是參考數位相機，但將理解，本發明適用於供與具有帶彩色及全色像素的圖像傳感器的任何類型的圖像捕捉器件一起使用。圖1中所示出的圖像傳感器20典型情況下包括製作於矽基板上的二維光敏像素陣列，其提供將每個像素處的傳入光轉換成被測量的電信號的途徑。隨著圖像傳感器20曝露於光，自由電子產生並在每個像素處的電子結構內被捕捉到。捕捉這些自由電子達一段時間且然後測量所捕捉到的電子的數量，或者測量自由電子產生的速率就能測量在每個像素處的光級。在前一種情形中，所累積的電荷從該像素陣列中被移出到電荷-電壓測量電路，正如在電荷耦合器件(CCD)中那樣，或者靠近每個像素的區域可包含電荷-電壓測量電路的元件，正如在有源像素傳感器(APS或CMOS傳感器)中那樣。在以下描述中每當一般性地引述圖像傳感器時，皆應將其理解為代表來自圖1的圖像傳感器20。應進一步理解，本說明書中所揭示的本發明的圖像傳感器架構及像素模式的所有示例及其等效物均用於圖像傳感器20。在圖像傳感器的上下文中，像素(「圖像元素」的縮約形式)是指離散光感測區域及與該光感測區域關聯的電荷移位或電荷測量電路系統。在數字彩色圖像的上下文中，術語「像素」通常是指圖像中具有關聯彩色值的特定位置。圖2是本發明的優選實施例的高層圖，其代表用於實施本發明的步驟的處理器。 圖像傳感器20(圖1)捕捉包含全色通道202及對應於至少兩個彩色光響應的若干彩色通道204的彩色濾光器陣列圖像。該彩色濾光器陣列可包含紅、綠、藍及全色像素，但其它通道組合亦是可能的，諸如青、品紅、黃色及全色。包括全色通道特別重要。以將全色通道曝露於光達不同於那些彩色通道中的至少一者的時間長度的方式來捕捉彩色濾光器陣列圖像。 全色通道一般將具有不同於那些彩色通道中的每一者的曝光時間，且這些曝光區間被布置成使其並發地結束。CFA內插塊206從由數位相機(圖1)所捕捉到的彩色濾光器陣列圖像產生全解析度全色圖像208及全解析度彩色圖像210。該全解析度彩色圖像210用於計算全解析度合成全色圖像212。在優選實施例中，全解析度合成全色圖像212是作為全解析度彩色圖像210的紅、綠及藍彩色通道的加權線性組合來演算的。對由塊210產生的全解析度彩色圖像的紅、綠、和藍彩色通道的加權被選取為使所計算出的全解析度合成全色圖像212與全解析度全色圖像208相當。在最終步驟中，將全解析度全色圖像208、全解析度彩色圖像210及全解析度合成全色圖像212用於生成具有減少的運動模糊的改善全解析度彩色圖像214。現將更詳細地描述圖2中概述的個體步驟。最初，數位相機(圖1)捕捉彩色濾光器陣列圖像。圖3解說該優選實施例的示例彩色濾光器陣列模式301。在此實例中，大約一半像素為全色像素302，而另一半分在紅像素304、綠像素306及藍像素308之間。全色像素的曝光期短於彩色像素的曝光期。這允許以短曝光時間捕捉全色數據， 藉此防止過度的運動模糊，而又允許以充分的曝光時間捕捉彩色數據來減少彩色噪聲偽影。如圖4中注意到的，在圖像傳感器的讀出期間，有各種像素並倉方案是可能的。在圖4中，顯示圖像傳感器的兩個局部行即圖像傳感器401的第一局部行及圖像傳感器402 的第二局部行。在此實施例中，用於傳感器陣列的潛隱的讀出電路系統使用浮動擴散404， 該浮動擴散404 —次可切換地連接至一個或多個周圍像素。浮動擴散404的實現及使用為數字圖像捕獲領域中的技術人員所公知。圖4示出其中每個浮動擴散404用於四個周圍像素的常規布置，該布置在一個示例中示為像素四元組406。像素信號可以數種組合中的任一種切換至浮動擴散404。在第一讀出組合408中，四元組406中的每個像素使自己的電荷分開地轉移至浮動擴散404且因此被個體地讀取。 在第二讀出組合410中，全色像素P被並倉，即，那些全色像素P藉由同時將自己所存儲的電荷清空至浮動擴散404來共享浮動擴散404 ；類似地，四元組中的這兩個彩色(G)像素被並倉，從而同時將其信號切換至浮動擴散404。在第三讀出組合412中，全色像素P不被並倉，而是被分開讀取；而彩色像素(G)被並倉。在本發明的優選實施例中，用於全色通道202 (圖2)的全色像素不被並倉，而用於彩色通道204(圖2)的彩色像素被並倉412，結果導致圖5中所解說的讀出。在圖5中，全色像素502佔據棋盤模式，而彩色像素504合而形成低解析度Bayer模式。CFA內插塊206 (圖幻使用包含全色通道202 (圖幻及若干彩色通道204 (圖2) 的彩色濾光器陣列圖像產生全解析度全色圖像208(圖幻及全解析度彩色圖像210(圖 2)。用於執行CFA內插的方法為本領域所公知。例如，可使用在美國專利申請公開第 2007/0024934[E1]號中所描述的CFA內插方法，該申請藉由引用納入本文中。在CFA內插塊206已產生全解析度彩色圖像210之後，使用全解析度彩色圖像210 來計算全解析度合成全色圖像212。用於計算全解析度合成全色圖像212的計算上簡單的演算由L = R+2G+B給出，其中L為全解析度合成全色圖像210(圖2)的像素值，且R、G、B 分別是全解析度彩色圖像210(圖幻的紅、綠、藍彩色通道的像素值。在優選實施例中，如圖 6所解說地測量紅、綠、藍及全色像素的光譜響應，且以紅、綠及藍的加權線性組合的形式演算給出與該全色曲線的最佳擬合的全解析度合成全色圖像212。參考圖6的圖表，其示出在典型相機應用中具有紅、綠及藍彩色濾光器的像素的相對光譜敏感度。圖6中的X軸代表以納米計的光波長，其橫越大致從近紫外線到近紅外線的波長，且Y軸代表效率(經歸一化)。在圖6中，帶寬濾光器曲線610代表用於阻斷紅外線光及紫外線光到達圖像傳感器的典型帶寬濾光器的光譜傳輸特性。需要此類濾光器是由於用於圖像傳感器的彩色濾光器典型情況下並不阻斷紅外線光，因此像素無法在紅外線光與落在其相關聯的彩色濾光器的通帶內的光之間進行區別。因此帶寬濾光器曲線610所示出的紅外線阻斷特性防止紅外線光破壞可見光信號。把應用紅、綠及藍濾光器的典型矽傳感器的光譜量子效率，即被捕獲並轉換為可測量的電信號的入射光子的比例，乘以由帶寬濾光器曲線610代表的紅外線阻斷濾光器的光譜傳輸特性以產生組合系統量子效率，其中紅彩色通道的由紅光響應曲線614代表，綠彩色通道的由綠光響應曲線616代表，並且藍彩色通道由藍光響應曲線618代表。從這些曲線可理解每個彩色光響應僅對可見光譜的一部分敏感。作為對比，未應用彩色濾光器(但包括紅外線阻斷濾光器特性)的相同矽傳感器的光響應由全色光響應曲線612為全色通道示出。藉由將彩色光響應曲線614、616及618 與全色光響應曲線612比較，將清楚地看到全色光響應可比那些彩色光響應中的任何一者對寬光譜更敏感2到4倍。在步驟214(圖2)中，使用全解析度全色圖像208(圖2)、全解析度彩色圖像 210(圖i)及全解析度合成全色圖像212(圖i)來生成具有減少的運動模糊的改善全解析度彩色圖像。圖7為優選實施例的步驟214(圖2)的更詳細的視圖。色彩校正權重生成步驟 702使用全解析度全色圖像208(圖2~)與全解析度合成全色圖像212(圖2~)的比率並產生色彩校正權重。色彩校正權重調整步驟704對由色彩校正權重生成步驟702生成的色彩校正權重使用非線性運算來避免像素溢出以形成經校正的色彩校正權重。色彩改善步驟706 使用經校正的色彩校正權重及全解析度彩色圖像210 (圖幻來產生具有減少的運動模糊的改善全解析度彩色圖像708。 在圖7中，色彩校正權重生成步驟702可以本領域技術人員所知的任何恰適方式執行。可使用下式(1)來描述一種估計色彩校正權重的方式synthetic pan⑴其中CCW為由色彩校正權重生成步驟702所產生的色彩校正權重，pan為全解析度全色圖像208 (圖2)，並且synthetic pan為全解析度合成全色圖像212 (圖2)。在圖7中，可以本領域技術人員所知的任何恰適方式執行色彩校正權重調整步驟 704。一種執行色彩校正權重調整步驟704的方式可使用下式( 來描述，其中由色彩校正權重生成步驟702所生成的色彩校正權重被限於小於1的值
AdJCCW = (ι 其他(2)在圖7中，可以本領域技術人員所知的任何恰適方式執行色彩改善步驟706。一種執行色彩改善步驟706以產生新的全解析度彩色圖像的方式可用下式(3)、(4)及( 來描述RNew = R*(Adj CCW) (3)GNew = G*(Adj CCW) (4)BNew = B* (Adj CCW) (5)其中R、G及B分別為全解析度彩色圖像210的全解析度紅、綠及藍彩色通道值。 RNew> GNew及Bnct分別為改善全解析度彩色圖像708的全解析度紅、綠及藍彩色通道值。在本發明的優選實施例中所揭示的色彩比例縮放算法可在各種用戶上下文及環境中採用。示例性上下文及環境包含但不限於批發數碼相片洗印(其涉及示例性處理步驟或階段，諸如提交數字圖像用於批發履行、數字處理、列印輸出)、零售數碼相片洗印(提交數字圖像用於零售履行、數字處理、列印輸出)、家庭列印(家庭數字圖像輸入、數字處理、列印輸出)、桌面軟體(對數字圖像應用算法以使其更佳——或甚至只是改變它們—— 的軟體)、數字履行(從介質或通過web進行數字圖像輸入、數字處理、在介質上、在網際網路上以數字形式進行數字圖像輸出)、信息亭(kiosk)(數字圖像輸入、數字處理、列印或數字媒體輸出)、行動裝置(例如，可用作處理單元、顯示單元、或給出處理指令的單元的PDA或蜂窩電話)、及作為經由全球資訊網(WWW)提供的服務。在每個情形中，色彩比例縮放算法可自立或可為更大系統解決方案的組件。此外， 與該算法的接口(例如輸入、數字處理、對用戶的顯示(若需要)、用戶請求或處理指令的輸入(若需要)、輸出)可各自處在相同的或不同的設備及實體位置，並且可經由公共或專用網絡連接、或者基於介質的通信在那些設備與位置之間進行通信。在與本發明之前的揭示一致的場合，那些算法本身可完全自動、可有用戶輸入(完全或部分手動)、可由用戶或操作者回顧以接受/拒絕其結果、或可由元數據(可為用戶供應的、由測量器件[例如，在相機中]供應的、或由算法決定的元數據)來輔助。此外，這些算法可與各種工作流程用戶接口方案來接口。
本文中揭示的根據本發明的色彩比例縮放算法可具有利用各種數據檢測及精簡技術(例如，面部檢測、眼睛檢測、皮膚檢測、閃光檢測)的內部組件。本發明已特別參考其某些優選實施例進行詳細描述，但應理解，可實現各種變體和修改，其仍在本發明的精神及範圍內。
0082]部件列表0083]10來自主題場景的光0084]11成像級0085]12透鏡0086]13中性密度濾光器塊0087]14光闌塊0088]16亮度傳感器塊0089]18快門0090]20圖像傳感器0091]22模擬信號處理器0092]24模數(A/D)轉換器0093]26定時發生器0094]28圖像傳感器級0095]30總線0096]32數位訊號處理器(DSP)存儲器0097]36數位訊號處理器(DSP)0098]38處理級0099]40曝光控制器0100]50系統控制器0101]52系統控制器總線0102]54程序存儲器0103]56系統存儲器0104]57主機接口0105]60存儲器卡接口0106]62存儲器卡座0107]64存儲器卡0108]68用戶接口0109]70取景器顯示器0110]72曝光顯示器0111]74用戶輸入0112]76狀態顯示器0113]80視頻編碼器0114]82顯示器控制器0115]88圖像顯示器0116]202全色通道
12
204
206
208
210
212
214
301
302
304
306
308
401
402
404
406
408
410
412
502
504
610
612
614
616
618
702
704
706
708
_說明書_
彩色通道
彩色濾光器陣列(CFA)內插塊全解析度全色圖像全解析度彩色圖像全解析度合成全色圖像
具有減少的運動模糊的改良全解析度彩色圖像
彩色濾光器陣列模式
全色像素
紅像素
綠像素
藍像素
圖像傳感器的第一局部行圖像傳感器的第二局部行浮動擴散像素四元組第一讀出組合第二讀出組合第三讀出組合全色像素彩色像素帶寬濾光器曲線全色光響應曲線紅光響應曲線綠光響應曲線藍光響應曲線色彩校正權重步驟色彩校正權重調整步驟色彩改善
改善全解析度彩色圖像
11/11 頁
1權利要求
1.一種用於形成具有減少的運動模糊的最終數字彩色圖像的方法，包括由一個或多個處理器提供以下步驟(a)提供具有全色像素及對應於具有關聯的彩色光響應的至少兩個彩色通道的彩色像素的圖像；(b)在所述全色像素之間內插以產生全解析度全色圖像，並且在所述彩色像素之間內插以產生全解析度彩色圖像；(c)從所述全解析度彩色圖像產生全解析度合成全色圖像；(d)響應於所述全解析度合成全色圖像及所述全解析度全色圖像而形成色彩校正權重；以及(e)使用所述色彩校正權重來修正所述全解析度彩色圖像以提供具有減少的運動模糊的最終彩色數字圖像。
2.如權利要求1所述的方法，其特徵在於，在步驟(a)中所提供的所述全色像素及所述彩色像素是以不同的曝光時間來捕捉的。
3.如權利要求1所述的方法，其特徵在於，在步驟(a)中所提供的所述全色像素及所述彩色像素是使用既具有全色像素又具有彩色像素的單個圖像傳感器來捕捉的。
4.如權利要求1所述的方法，其特徵在於，步驟(c)包括藉由演算在所述全解析度彩色圖像中的所述彩色通道的加權和來計算所述全解析度合成全色圖像。
5.如權利要求1所述的方法，其特徵在於，步驟(d)包括計算在所述全解析度全色圖像中的像素與在所述全解析度合成全色圖像中的對應像素的比率。
6.如權利要求1所述的方法，其特徵在於，步驟(d)包括對所述色彩校正權重應用非線性運算。
7.如權利要求6所述的方法，其特徵在於，所述色彩校正權重被限於小於或等於1的值。
8.如權利要求1所述的方法，其特徵在於，步驟(e)包括將所述全解析度彩色圖像乘以所述色彩校正權重以提供所述最終彩色數字圖像。
全文摘要
一種用於形成具有減少的運動模糊的最終數字彩色圖像的方法，包括由處理器提供具有全色像素及對應於至少兩種彩色光響應的彩色像素的圖像；在全色像素與彩色像素之間進行內插來產生全色圖像及全解析度彩色圖像，以自該全解析度彩色圖像產生全解析度合成全色圖像；及響應於該合成全色圖像及該全色圖像而形成色彩校正權重；及使用這些色彩校正權重來修正該全解析度彩色圖像以提供最終彩色數字圖像。
文檔編號H04N5/232GK102369721SQ201080011842
公開日2012年3月7日 申請日期2010年2月23日 優先權日2009年3月10日
發明者B·H·費爾曼, J·E·小亞當斯, M·庫瑪 申請人:美商豪威科技股份有限公司