用於數字成像的濾色器和逆馬賽克變換技術的製作方法

2023-04-24 02:45:56

專利名稱：用於數字成像的濾色器和逆馬賽克變換技術的製作方法
技術領域：
本申請大體上涉及彩色成像技術。具體地,本申請涉及圖像的光譜內容。背景顏色是基於光的光譜(光能相對于波長的分布)與眼睛中的受光體的相互作用的 心理現象，眼睛中的受光體具有對於光的特定的光譜波長譜帶或區域(下文稱為「光譜分量」)的特定的敏感性。顏色種類和顏色的物理規格還與物體、材料、光源等等相關聯，這取決於它們的物理性質，例如光吸收、反射或發射光譜。在物理學意義上，顏色是在電磁波譜的不同的光譜分量中測量的強度的比率。在生理學意義上，在人體中，不同的光譜分量被眼睛中的三個不同類型的接收體的光譜敏感曲線(即所謂的紅色、藍色和綠色錐體)定義。人腦處理和組合來自紅色、藍色和綠色錐體的信號以創造景象的複合的印象或圖像。景象中的所有的顏色被作為紅色、藍色和綠色錐體信號的組合感知。被人感知的顏色的範圍或色域被例如CEE 1931色度圖代表。
人造彩色圖像傳感器(例如彩色膠片或使用CCD或CMOS傳感器的數位照相機)還傳感在有限數量的不同的光譜分量中的光強度。各種類型的彩色圖像傳感器在它們如何分離和測量不同的光譜分量方面不同。例如，彩色膠片可以具有分別被光的紅色分量、綠色分量和藍色分量曝光的三個不同的乳液層的堆疊。數位照相機可以使用分層傳感器的陣列，使得每個像素，與彩色膠片相似地，含有對分別的顏色敏感的傳感器的堆疊(例如，以Foveon商標可得到的傳感器)。更普遍地，數位照相機或其他的人造彩色圖像傳感器裝置使用被定位在CMOS或CCD傳感器的頂部的空間濾色器陣列(例如Bayer濾色器陣列)，將光的不同的光譜分量捕獲在相應的標稱像素類型中。人造彩色圖像傳感器裝置傳感和收集對於每個被從景象接收的不同的光譜分量的強度數據。對於每個光譜分量的數據是單色的，即其僅包括強度信息，而不包括顏色信息。為了創造近似的彩色圖像或景象的再現，對於不同的光譜分量的不同的強度數據被處理，對某些顏色和強度編碼，並且組合。三色的Bayer濾色器陣列被在大多數單晶片數字圖像傳感器(在數位照相機、攝錄像機和掃描儀中)中使用以創造彩色圖像。Bayer濾色器馬賽克是用於將紅色(R)、綠色(G)、藍色(B)濾色器排列在光電傳感器的正方形網格上的濾色器陣列。濾色器型式典型地是50%綠色、25%紅色和25%藍色。從Bayer的美國專利第3，971，065號改編的圖I示出了另一個示例性的Bayer濾色器馬賽克型式,其中紅色顏色、藍色顏色和綠色顏色透射性濾色器被以重複的型式排列。在該型式中，亮度元件(綠色，由「G」表示)採取每隔一個的陣列位置。色度元件(紅色，由「R」表示)在交替的行中與G亮度元件交替。R元件還與其他的色度元件(藍色，由「B」表示)交替，填充其餘的陣列位置。Bayer濾色器馬賽克型式被設計為模擬人眼的對綠光的較大的分辨能力。例如，在圖I中示出的Bayer濾色器陣列中，B元件佔據元件總數的僅八分之一，這是考慮到人類視覺系統的對辨別藍色細節的相對有限的能力。人類視覺系統對紅色細節更加敏感，且藉助於R元件的相對較大的數量以比藍色細節更高的速率對紅色細節採樣。人眼對其最敏感的亮度細節通過陣列中的G元件的大的數量被以最高的速率採樣。Bayer濾色器圖像傳感器的原始輸出可以被稱為Bayer型式圖像。由於圖像傳感器的每個像素都被過濾以記錄三個顏色中的僅一個，所以來自每個像素的數據不完全自身地確定顏色。為了獲得全色圖像，各種逆馬賽克變換算法可以被用於插值對於圖像傳感器的每個像素的完全的紅色值、綠色值和藍色值的集合。所建議的與人造彩色圖像傳感器共同使用的其他的類型的三色濾色器陣列和四色濾色器陣列也基於對模擬人眼的顏色感知的亮度-色度考慮。(見例如Roddy等人美國專利第7，057，654號、Bawolek等人美國專利第6，771，314B1號和第5，914，748號、Vook等人美國專利第6，771，314B1號、Silverstein等人美國專利第4，800，375號、Merril等人美國專利第5，965，875號和Chang美國專利申請公布第US2007/0145273A1號)。在任何成像系統中，衍射設置基本的圖像解析度限制，其僅取決於圖像傳感器光學器件的光圈的f制光圈(或焦距比數)設置以及取決於正在被成像的光的波長。上文的基於亮度-色度的所考慮的濾色器陣列未解決會在圖像傳感器光學器件處發生的依賴于波長的衍射效應。 現在考慮當被圖像傳感器光學器件導致的衍射效應可以是顯著的時的用於彩色成像的濾色器陣列。概述提供用於修改彩色圖像的信息含量的系統、裝置和方法。示例性的彩色成像裝置包括顏色響應性元件或顏色敏感元件的陣列，其具有數量為Nb的對藍色(B)光譜區敏感的第一類型的顏色響應性元件、數量為Ne的對綠色(G)光譜區敏感的第二類型的顏色響應性元件以及數量為Nk的對紅色(R)光譜區敏感的第三類型的顏色響應性元件。每個顏色響應性元件可以包括光傳感器元件和透射性濾色器元件。第一類型的顏色響應性元件、第二類型的顏色響應性元件和第三類型的顏色響應性元件的數量可以被排序為Nb > Ng並且Nb > Νκ另一個示例性的彩色成像裝置包括聚焦元件，其具有焦距(F)並且被耦合於具有有效直徑(effective diameter) (D)的光圈。彩色成像裝置還包括被布置在焦距處或接近焦距處的顏色響應性或選擇性元件。顏色響應性或選擇性元件相應於分離的顏色通道(i)的集合，其中i = 1、2、3、η。每個顏色通道i與分別的顏色波長λ i相關聯。此外，在陣列中的相應於具有最低的波長Y1的顏色通道的顏色響應性元件的數量(N1)大於在陣列中的相應於具有更高的波長Y2的顏色通道的顏色響應性元件的近似數量(N2)。例如，相應於顏色通道i的顏色響應性元件的數量(Ni)可以被排序為使得N1 > N2彡...彡Nn。此外，例如，相應於顏色通道i的顏色響應性元件的數量(Ni)可以按與在約焦距處的、光圈衍射的光的艾裡斑直徑I. 22*F/DX i的平方近似相同的比例排序。示例性的用於逆馬賽克變換或重建原始圖像傳感器數據的方法包括提供由具有f制光圈(f)的成像裝置採樣的景象的光強度像素值構成的二維陣列，其中像素值的第一子陣列相應於與第一顏色波長Y I相關聯的被米樣的光強度值1 # ] ( Y ι) 並且像素值的不重疊的第二子陣列相應於與第二顏色波長Y 2相關聯的被米樣的光強度值( Y2)。方法可以還包括，對於在具有被採樣的光強度值Ittaww (Y1)的第一子陣列中的一個或多個像素，估計相應於第二顏色波長λ 2的未採樣的光強度值(λ2)，以及對於在具有被採樣的光強度值Ittaww (Y2)的第二子陣列中的一個或多個像素，估計相應於第一顏色波長Y1的未採樣的光強度值。方法還包括根據與成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值，以及輸出被採樣的和/或被估計的光強度值的像素的被修改的陣列作為景象的部分的或全部的彩色圖像代表或再現。示例性的用於逆馬賽克變換或重建原始圖像傳感器數據的系統包括被配置為接收具有由具有f制光圈(f)的成像裝置採樣的景象的光強度值的像素的二維陣列的電路，其中像素值的第一子陣列相應於與第一顏色波長Y !相關聯的被採樣的光強度值IS ( Y J，並且像素值的不重疊的第二子陣列相應於與第二顏色波長λ 2相關聯的被採樣的光強度值Is(A2)。系統還包括被配置為，對於分別具有被採樣的光強度值Is(Y1)和Is(Y2)的第一子陣列和第二子陣列中的一個或多個像素，估計分別相應於第二顏色波長入2和第一顏色波長Y1的未採樣的光強度值IeU2)和Ie U1)的電路。電路還被配置為根據與成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值，以及被配置為將被採樣的和/或被估計的光強度值的像素的被修改的陣列作為景象的全部的或部分的彩色圖像代表或再現輸出。
附圖簡述在附圖中圖I是Bayer濾色器馬賽克的示意性的圖示；圖2是根據本文描述的解決方案的原理的用於濾色器陣列或馬賽克的紅色、綠色和藍色濾色器元件的示例性的型式的示意性的圖示；圖3A-3E是根據本文描述的解決方案的原理的用於濾色器陣列或馬賽克的示例性的3顏色和4顏色重複型式單元的示意性的圖示；圖4和5是根據本文描述的解決方案的原理的示例性的成像裝置的示意性的圖示； 圖6和7是圖示了根據本文描述的解決方案的原理的示例性的彩色成像方法的流程圖；圖8和9是圖示了根據本文描述的解決方案的原理的示例性的用於處理原始光強度數據以進行景象的彩色成像的方法800和900的流程圖；以及

圖10是根據本文描述的解決方案的原理的示例性的用於對來自原始圖像傳感器/濾色器陣列數據的經衍射校正或補償的圖像進行逆馬賽克變換或重建的系統的示意性的圖示。在所有圖中，除非另有定義，否則相同的參考數字和字母被用於表示被圖示的實施方案的相似的特徵、元件、部件或部分。詳細描述在以下的詳細描述中，參照了附圖，附圖形成詳細描述的一部分。在附圖中，相似的符號通常標識相似的部件，除非內容指示不是這樣。在詳細描述、附圖和權利要求中描述的例證性的實施方案不意圖作為限制。可以利用其他的實施方案，並且可以作出其他的改變，而不偏離本文提出的主題內容的精神或範圍。如本文所使用的術語「圖像」和「景象的再現」將被理解為包括但不限於對圖像和景象再現數據和/或信號的分別的指代。在上下文中，該術語還可以是指這樣的數據和/或信號的顯示或輸出。此外，如本文所使用的術語「外推」數據或值將被理解為包括但不限於對數據或值的「插值」。更一般地，任何在本文中被用於指代物理的、數學的、概念的、感知的、抽象的對象或方面的名詞性術語(例如光譜功率分布、光的光譜分量、光譜響應函數等等)將被理解為包括但不限於對數據和/或信號或所提到的目的或方面的其他的有形的代表的指代。常規的(例如在數位照相機、攝錄像機和掃描儀中的)數字顏色傳感器使用單一的檢測器陣列捕獲景象的圖像。濾色器(例如Bayer CFA)在檢測器陣列上部分地交錯。陣列中的檢測器元件中的每個相應於一個圖像像素，其測量在例如紅色、綠色或藍色等特定的波長範圍內的輸入光的強度。濾色器的各種馬賽克或型式可以在傳感器陣列上重疊。檢測器元件和/或被耦合於它們的濾色器元件可以被稱為傳感器元件、像素傳感器或，簡單地，像素。由它們傳感的強度採樣值經插值之後可以被稱為圖像像素。本文公開了用於數字成像的顏色馬賽克或濾色器陣列(CFA)和逆馬賽克變換技術。所公開的CFA和逆馬賽克變換技術可以被在數字成像中使用以最小化、減小或補償由圖像傳感器光學器件導致的衍射效應。將理解，雖然顏色馬賽克變換和逆馬賽克變換技術可以是在本文中參照顏色傳感器的具體的實例描述的(例如參照單晶片、彩色CCD攝像機)，但是本文描述的CFA和逆馬賽克變換技術不限於任何具體的顏色傳感器。本文描述的CFA和逆馬賽克變換技術解決了圖像傳感器光學器件中的衍射效應的問題。在圖像傳感器中，像素大小與圖像解析度相關。隨著數位技術和製造技術的進步，用於增加圖像解析度的越來越小的像素大小現在是符合實際的。然而，當像素大小減小時(或相反地，當像素計數增加時)，衍射效應可以影響圖像解析度。衍射的程度的一種計量是艾裡斑。艾裡斑代表對於理想的圓形光圈的二維衍射圖樣。艾裡斑的寬度或直徑可以被用於限定光學系統的理論最大解析度。當圖像傳感器像素大小接近圖像傳感器光學器件的艾裡斑尺寸時，由衍射導致的解析度的損失可以被預期。(見例如網頁Cambridgeincolour, com/tutorials/diffraction-photography)。
當艾裡斑的中央峰的直徑相對於圖像傳感器中的像素大小成為大的時，衍射可以具有對圖像的視覺影響。可選擇地，如果兩個艾裡斑成為比它們的寬度的一半更接近，那麼它們也再不可分辨(瑞利判據)。因此，衍射設置了獨立於兆象素的數量或圖像傳感器的電影格式的尺寸的基本的解析度極限。解析度極限僅取決於光圈的f制光圈(或焦距比數)以及正在被成像的光的波長。本文的CFA(以及相關聯的逆馬賽克變換技術)通過將濾色器元件在CFA中的分布朝向相應於較小的艾裡斑尺寸的波長加權或偏置以減小或補償衍射效應，以實現給定的成像傳感器空間解析度。例如，對於藍色波長的艾裡斑實質上小於對於紅色或綠色波長的艾裡斑。據此，CFA可以例如被優先於綠色或紅色波長地朝向藍色波長偏置或加權。示例性的紅色-綠色-藍色CFA可以具有比紅色像素或綠色像素(例如每個25 % )多的藍色像素(例如50%)。使用這樣的示例性的CFA可實現的空間解析度可以被以藍色波長的較小的艾裡斑尺寸的艾裡斑來設置或確定，而非以對於綠色和紅色波長的較大的艾裡斑來設置或確定。被引導至像素的圖像光強度因衍射而可能溢出或模糊化，導致空間解析度信息的損失。由衍射導致的空間解析度信息的損失可以通過將濾色器元件在CFA中的分布朝向較小的波長加權或偏置被減小，較小的波長衍射得小於較大的波長。示例性的具有佔優勢的藍色波長像素的CFA也可以被用於在黑色-白色或單色的圖像(例如與單色的成像傳感器共同地)中增加或改進空間解析度。在這樣的排列中，藍色過濾的像素可以設置成像傳感器的可實現的空間解析度。非藍色顏色像素可以提供另外的景象/圖像信息，用於構建合適的或適宜的黑色-白色或單色。本文描述的CFA可以被設計為將成像傳感器中的衍射考慮在內。CFA可以被設計為在給予最高的空間解析度的光帶中更多地採樣，並且然後向後作用以估計或改進發光度解析度。相似地，用於將圖像傳感器像素數據作為景象的圖像重建的逆馬賽克變換算法可以將成像傳感器中的衍射以及顏色在CFA中的「顏色加權」或顏色的分布考慮在內。逆馬賽克變換算法可以，例如，基於對以下的考慮，即，超過藍色像素數據的模糊化或過濾，綠色和紅色像素數據可以通過衍射過程被另外地模糊化或過濾。圖2示出了示例性的用於濾色器陣列的RGB型式200，其通過將濾色器元件的數量朝向較低的波長(例如藍色)加權而將衍射程度(例如艾裡斑尺寸)的隨增加的波長的增加考慮在內。以最低的波長(例如藍色)的濾色器元件的數量可以大於以較高的波長(例如紅色或綠色)的濾色器元件的數量。例如，在RGB型式CFA 200中的各種濾色器元件的比率可以是50%藍色、25%綠色和25%紅色。相似的為了減小或補償衍射效應的設計考慮可以被用於基於其他的顏色組合(例如RGBE、CYYM、CYGM、RGBff等等)的CFA。例如，在RGBW組合的情況下，CFA可以具有R、G、B、W像素的合適的顏色加權的空間型式或分布。W像素可以包括或允許白光和/或不可見紅外光。用於型式或分布中的特定的顏色的像素的相對數量可以與以該顏色的艾裡斑的尺寸成比例。示例性的RGBW可以具有被排序為藍色>綠色>紅色> 白色的像素數量。示例性的CFA可以，在一維上，具有與波長的比率成比例的B、G和R的像素計數。示例性的CFA可以，在二維上，具有與波長的平方的比率成比例的B、G和R的像素計數。例如，如果CFA中的B、G和R像素分別相應於400、550、和700nm波長，那麼像素的比率可以是約53. 9%藍色、28. 5%綠色、17. 6%紅色。對於顏色的不同的中心頻率，像素的比率可以相應地調整。B、G和R像素可以被隨機地或以重複型式分布。示例性的CFA型式可以包括NXN重複單元。圖3A-3H示出了分別相應於以下的示例性的重複單元300A-300H :具有2個B像素、I個R像素、I個G像素的2X2陣列；具有5個B像素、2個R和2個G的3X 3陣列，具有5個B像素、I個R像素和3個G像素的3X3陣列；具有8個B像素、3個R像素和5個G像素的4X4陣列；具有13個B像素、5個R像素和7個G像素的5X5陣列；具有4個B像素、I個R像素、2個G像素和I個W像素的3X3陣列；具有8個B像素、2個R像素、4個G像素和2個W像素的4X4陣列；以及具有13個B像素、4個R像素、6個G像素和2個W像素的5X5陣列。用於從在衍射存在時的像素數據重建圖像的逆馬賽克變換算法可以是基於認識至IJ，對於足夠小的像素，衍射給予根據顏色分離的結果。每個顏色被模糊化為與艾裡斑成比例的不同的空間尺寸。逆馬賽克變換算法可以利用以下事實，即每個顏色通道具有不同的程度的衍射。圖4示出了示例性的彩色成像裝置400。裝置400可以包括光傳感器(例如單晶片成像傳感器410)、透射性濾色器陣列420以及合適的成像光學器件(例如光圈430)。成像傳感器410包括傳感和/或記錄入射光強度的多個傳感器單元或像素410a。成像傳感器410被耦合於透射性濾色器陣列420。成像傳感器410中的每個傳感器單元或像素410a被耦合於濾色器陣列420的分別的顏色元件420a。濾色器元件420a過濾入射在所耦合的傳感器單元或像素410a上的光。每個濾色器陣列元件420a可以允許僅在分別的光譜區(例如相應於紅色、藍色或綠色光譜區)內的光經過到達相關聯的傳感器單元或像素410a。因此，每個傳感器單元或像素410a可以僅傳感或響應於在分別的顏色光譜區內的光強度。為了描述的便利，傳感器單元或像素410a和/或它們的分別的濾色器陣列元件420a可以在本文中被分別地或以成對的組合地稱為顏色選擇性或響應性元件。因此，示例性的彩色成像裝置400包括顏色響應性元件410a/420a的陣列。顏色響應性元件的陣列可以，例如，包括數量為Nb的對藍色(B)光譜區敏感的第一類型的顏色響應性元件、數量為Ne的對綠色(G)光譜區敏感的第二類型的顏色響應性元件以及數量為Nk的對紅色(R)光譜區敏感的第三類型的顏色響應性元件。
彩色成像裝置400的實施方案解決了例如在其中成像傳感器光學器件被衍射限制的情況下的衍射效應。在這樣的裝置400中，第一類型的顏色響應性元件、第二類型的顏色響應性元件和第三類型的顏色響應性元件的數量被排序為Nb > Ng並且Nb > Νκ。顏色響應性元件的數量被加權為偏向較低的波長(例如藍色)，以允許成像傳感器410在較不易經受衍射模糊化的波長處傳感和/或記錄景象的更多的解析度信息。在裝置400的一個形式中，Nb/(Nb+Ng+Ne)大於約1/2。在裝置400的其中顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的二維陣列的另一個形式中，藍色⑶、綠色(G)、紅色(R)像素的數量以約50%藍色25%綠色和25%紅色的比率。顏色響應性元件(410a/420a)的陣列可以包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的具有MXM重複單元的二維陣列。MXM重複單元可以例如包括具有2個B像素、I個R像素和I個G像素的2X2陣列；具有5個B像素、2個R像素和2個G像素的3X3陣列；具有5個B像素、I個R像素和3個G像素的3X3陣列；具有8個B像素、3個R像素和5個G像素的4X4陣列；和/或具有13個B像素、5個R像素和7個G像素的5X5陣列。在裝置400的又另一個形式中，顏色響應性元件(410a/420a)的陣列可以包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列。藍色(B)像素、綠色(G)像素、紅色(R)像素的數量可以以約50%藍色25%綠色和25%紅色的比率。此外，藍色(B)像素、綠色(G)像素、紅色(R)像素和(W)像素的數量可以被排序為藍色>綠色、藍色 > 紅色並且藍色 > 白色。透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列可以包括MXM重複單元。MXM重複單元可以例如包括具有4個B像素、I個R像素、2個G像素和I個W像素的3X3陣列；具有8個B像素、2個R像素、4個G像素和2個W像素的4X4陣列；和/或具有13個B像素、4個R像素、6個G像素和2個W像素的5X5陣列。在波長的方面，裝置400中的顏色響應性元件(410a/420a)的陣列可以是對分別以波長λΒ、和λ κ為特徵的藍色光譜區、綠色光譜區和紅色光譜區響應性的或選擇性的。顏色響應性元件的陣列可以包括分別與λΒ、Xe和Xr的平方成比例的透射性藍色(B)、綠色(G)和紅色(R)濾色器像素420a的二維陣列。顏色響應性元件的陣列可以還包括數量為N4的對以波長λ 4為特徵的第四光譜區敏感的第四類型的顏色響應性元件。在這樣的情況下，顏色響應性元件的陣列可以包括以分別與λΒ、Υ(；、λκ和入4的近似平方成比例的數量的透射性藍色(B)、綠色(G)、紅色(R)和第四濾色器像素的二維陣列。雖然第一光譜區、第二光譜區、第三光譜區和第四光譜區在本文被標記或稱呼作為藍色區域、綠色區域、紅色區域和白色區域，但是將理解，每個區域可以被識別為或相應於一個或多個其他顏色。例如，藍色光譜區、綠色光譜區和紅色光譜區相應於青色(cyan)顏色光譜區、黃色(yellow)顏色光譜區和洋紅色(magenta)顏色光譜區。綠色光譜區可以例如相應於綠色光譜區和翡翠(emerald)光譜區，或相應於綠色光譜區和洋紅色(magenta)光譜區。另外地或可選擇地，藍色光譜區可以，例如，相應於紫色(violet)光譜區。圖5示出了示例性的彩色成像裝置500。成像裝置500可以包括聚焦元件，其具有焦距(F)並且被耦合於具有有效直徑(D)的光圈。顏色響應性或敏感性元件(光傳感器元件410a/透射性濾色器元件420a)的陣列可以在約焦距處被布置在成像平面中。顏色響應、性或敏感性元件可以相應於與一個或多個分別的顏色波長Xi，其中i = l、2、3、...n，相關聯的一個或多個分離的顏色通道(i)。在陣列中的相應於具有最低的波長Y1的顏色通道的顏色響應性元件的數量可以大於在陣列中的相應於具有更高的波長λ 2的顏色通道的顏色響應性元件的近似數量(N2)。在裝置500的實施方案中，顏色響應性元件的數量(Ni)可以被排序為使得N1 >N2' N1 > N3等等。例如，顏色響應性元件的數量Ni可以被排序為使得N1 > N2 ^ . . . ^ Nn0此外，例如，相應於顏色通道i的顏色響應性元件的數量Ni可以被排序為以與由具有直徑D的圓形的光圈衍射的光的、近似在焦距F處的艾裡斑直徑I. 22*F/D Y ,的平方近似相同的比例。在裝置500中，具有最低的波長Y1的顏色通道可以相應於藍色光譜區、紫色光譜區或青色光譜區。具有高於Y1的波長的顏色通道可以相應於黃色光譜區、綠色光譜區、 翡翠光譜區、洋紅色光譜區、紅色光譜區和白色光譜區中的一個或多個。在示例性的裝置500中，顏色通道i，i = 1、2和3，可以分別相應於藍色⑶光譜區、綠色(G)光譜區和紅色(R)光譜區。此外，在顏色通道i，i = 1、2和3，中的顏色響應性元件的相應的數量K、N2和N3可以被排序為N1 > N2並且N1 > N3。在示例性的裝置500*,&/(&+%+%)可以大於約1/2。在示例性的裝置500中的顏色響應性或選擇性元件的陣列可以例如包括透射性藍色⑶、綠色(G)和紅色(R)濾色器像素的二維陣列，其中藍色⑶、綠色(G)、紅色(R)像素的數量以約50%藍色25%綠色和25%紅色的比率。顏色響應性或選擇性元件的陣列可以包括透射性濾色器像素的具有MXM重複單元的二維陣列。MXM重複單元可以例如是具有2個B像素、I個R像素和I個G像素的2X2陣列；具有5個B像素、2個R像素和2個G像素的3 X 3陣列；具有5個B像素、I個R像素和3個G像素的3 X 3陣列；具有8個B像素、3個R像素和5個G像素的4X4陣列；和/或具有13個B像素、5個R像素和7個G像素的5X5陣列。可選擇地或另外地，在示例性的裝置500中的顏色響應性或選擇性元件的陣列可以例如包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列，其中藍色⑶、綠色(G)、紅色(R)像素的數量以約2個藍色2個綠色和I個紅色的比率。藍色(B)像素、綠色(G)像素、紅色(R)像素和(W)像素的數量可以被排序為藍色>綠色、藍色>紅色、藍色> 白色。例如,藍色⑶像素、綠色(G)像素、紅色(R)像素和(W)像素的數量可以被排序為藍色>綠色>紅色> 白色。此外，顏色響應性元件的陣列可以包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的具有MXM重複單元的二維陣列。MXM重複單元可以例如是具有4個B像素、I個R像素、2個G像素和I個W像素的3X3陣列；具有8個B像素、2個R像素、4個G像素和2個W像素的4X4陣列；和/或具有12個B像素、4個R像素、6個G像素和2個W像素的5X5陣列。另外地參照圖5，成像裝置400和500可以還包括或以其他方式被耦合於數據或信號處理器500，數據或信號處理器500包括合適的用於從被裝置400和/或500傳感或記錄的像素強度數據逆馬賽克變換或重建景象的彩色圖像的數據處理例程。圖6和7分別示出了示例性的彩色成像方法600和700。方法600包括提供顏色響應性元件的陣列(610)，以及將來自景象的光引導至顏色響應性元件的陣列上(620)。提供顏色響應性元件的陣列可以包括提供具有數量為Nb的對藍色(B)光譜區敏感的第一類型的顏色響應性元件、數量為Ne的對綠色(G)光譜區敏感的第二類型的顏色響應性元件以及數量為Nk的對紅色(R)光譜區敏感的第三類型的顏色響應性元件的顏色響應性元件的陣列(例如被耦合於透射性濾色器元件420a的陣列的光傳感器410a)。第一類型的顏色響應性元件、第二類型的顏色響應性元件和第三類型的顏色響應性元件的數量可以被排序為Nb > Ng並且Nb > Nro第一類型的顏色響應性元件、第二類型的顏色響應性元件和第三類型的顏色響應性元件的數量可以，例如，被排序為Nb > Ne > Νκ。用於對景象成像的方法700可以包括提供具有焦距(F)的聚焦元件(710)，以及提供被耦合於聚焦元件的光圈，光圈具有有效直徑(D) (720)。方法700可以還包括提供被布置在焦距處或接近焦距處的顏色響應性或敏感性元件的陣列(730)。顏色響應性或敏感性元件可以相應於分離的顏色通道⑴的集合，其中i = l、2、3...n。具有焦距F的聚焦元件可以被配置為將來自景象的光通過光圈引導在顏色響應性元件的陣列上(740)。在方法700中，每個顏色通道i可以與分別的顏色波長λ i相關聯。在陣列中的相應於具有最低的波長Y1的顏色通道的顏色響應性元件的數量(N1)可以大於在陣列中的相應於具有更高的波長Y2的顏色通道的顏色響應性元件的近似數量(N2),並且相應於顏色通道i的顏色響應性元件的數量Ni可以被排序為使得N1 > N2^N1 > N3. . . N1 > Nn。相應於顏色通道i的顏色響應性元件的數量Ni可以，例如，被排序為使得N1 > N2彡...^ Nn0此夕卜，例如，相應於顏色通道i的顏色響應性元件的數量Ni可以按與由光圈衍射的波長Ai的光的、近似焦距處的艾裡斑直徑I. 22*F/DAi的平方近似相同的比例來排序。圖8和9示出了另外的示例性的用於處理光強度數據以對景象成像的方法800和900。方法800和900可以例如使用數據或信號處理器500 (圖5)或其他的被耦合於照相機或數字圖像傳感器(例如裝置400或500)的處理裝置來實施。將理解，照相機或數字圖像傳感器可以是具有常規的濾色器陣列(例如Bayer濾色器陣列)或任何其他的濾色器陣列(例如本文描述的CFA 100,200和300a-300h)的裝置。方法800依賴於校正或去模糊化(de-smearing)被衍射模糊化的數據像素。參照圖8，方法800包括提供具有由具有f制光圈(f)的成像裝置採樣的景象的光強度值的N個像素構成的陣列(810)。在N個像素構成的陣列中的NI個像素構成的第一子陣列可以具有相應於第一光譜波長Y1的光強度採樣值。方法800還包括通過根據與成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改第一子陣列中的NI個像素中的一個或多個中的光強度採樣值來修改N個像素構成的陣列(820)，以及輸出被修改的N個像素構成的陣列作為景象的圖像代表(830)。修改光強度採樣值820可以例如包括將光強度採樣值與艾裡斑直徑I. 22*f* Y (例如艾裡斑直徑I. 22*f* Y J成比例地縮放。提供具有被成像裝置採樣的景象的光強度值的N個像素構成的陣列810可以，除提供NI個像素構成的第一子陣列之外，還包括提供具有相應於第二光譜波長Y2的光強度採樣值的由N2個像素構成的第二子陣列。此外，修改在第一子陣列中的NI個像素中的一 個或多個中的光強度採樣值可以，例如，包括與成像裝置對第二光譜波長Y2的光衍射相關聯的艾裡斑直徑I. 22*f* Y2成比例地修改光強度採樣值和/或根據像素尺寸和艾裡斑直徑I. 22*f* Y 2來修改強度採樣值。
方法800還可以包括估計在第一子陣列中的NI個像素中的一個或多個中的相應於第二光譜波長λ 2的光強度值，和/或進一步將在第一子陣列中的NI個像素中的一個或多個中的相應於第二光譜波長Y2的所估計的光強度值根據與成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y的和/或根據像素尺寸和艾裡斑直徑I. 22*f* Y來修改。這樣的修改可以，例如，校正可能已經因為衍射擴散或溢出像素邊界的光強度。在被隔離的像素(例如被隔離的紅色像素)的情況下，這樣的修改可以例如增加被採樣的強度值，以根據像素大小和對於紅色波長的艾裡斑直徑來補償可能已經因為衍射擴散或溢出像素邊界的光強度。估計在第一子陣列中的NI個像素中的一個或多個中的相應於第二光譜波長Y2的光強度值可以包括採用多變量插值、最鄰近插值、雙線性插值、雙三次插值、樣條插值、Lanczos重採樣和/或像素值的空間相關和/或光譜相關中的一個或多個。另外地或可選擇地，估計在第一子陣列中的NI個像素中的一個或多個中的相應於第二光譜波長Y2的光強度值可以包括例如在頻域中將像素值外推(或插值)。在方法800中，外推(或插值)相應於第二光譜波長Y2的光強度採樣值可以是基於相應於第一光譜波長Y1的光強度採樣值。相反地，方法800可以另外地或可選擇地涉及基於相應於第二光譜波長Y2的光強度採樣值外推(或插值)相應於第一光譜波長Y1的光強度米樣值。方法800可以包括估計在第一子陣列中的NI個像素中的一個或多個中的相應於另外的波長(例如第三光譜波長λ3)的光強度值。參照圖9，方法900包括提供由具有f制光圈(f)的成像裝置採樣的景象的光強度像素值的二維陣列(910)。二維陣列可以包括相應於與第一顏色波長Y1相關聯的被採樣的光強度值I : ! ( Y J的像素值的第一子陣列，和相應於與第二顏色波長λ2相關聯的被採樣的光強度值I被採m勺(λ 2)的像素值的不重疊的第二子陣列。方法900還包括對於在分別具有被米樣的光強度值I被採樣的(Y J和1( λ 2)的第一子陣列和第二子陣列中的一個或多個像素，估計分別相應於第二顏色波長λ 2和第一顏色波長Y1的未被採樣的光強度值I ( Y 2)和I ( Y !) (920)。方法900還包括通過根據與成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值來修改N個像素構成的陣列(930)。根據艾裡斑直徑1.22*f*Y和像素尺寸修改像素中的一個或多個中的被採樣的和/或被估計的光強度值可以，例如，校正可能已經因為在成像傳感器光學器件中的衍射溢出或擴散超過像素邊界的光強度。當Yl小於入2時，方法900可以涉及根據像素尺寸與相應於成像裝置對較大的波長λ 2的光衍射的艾裡斑直徑I. 22*f* λ 2修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值。與在方法800中相似地，在方法900中，修改和/或估計對於一個或多個像素的未採樣的光強度值可以涉及採用多變量插值、最鄰近插值、雙線性插值、雙三次插值、樣條插值、Lanczos重採樣和/或像素值的空間相關和/或光譜相關中的一個或多個。另外地或可選擇地，修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值可以包括在例如頻域中將像素值外推(或插值)。外推(或插值)可以是基於相應於第一光譜波長^和/或第二光譜波長λ 2的光強度採樣值。另外地或可選擇地，修改和、/或估計光強度值可以包括在例如頻域中將像素值外推(或插值)。此外，估計對於一個或多個像素的相應於第二光譜波長λ2的光強度值可以是基於相應於第一光譜波長Y1的光強度採樣值，並且反之亦然。方法900可以還包括，對於分別具有被採樣的光強度值IsU1)和IsU2)的第一子陣列和第二子陣列中的一個或多個像素，估計相應於第三光譜波長λ 3的未採樣的光強度值。方法900還包括輸出被採樣的和/或被估計的光強度值的像素的被修改的陣列，作為景象的被逆馬賽克變換的或被重建的圖像代表或再現(940)。在方法800和900的上文的描述中指代的各種波長(例如Y工、λ 2和γ 3)可以相 應於具體的光譜區(例如與成像裝置中的濾色器陣列相關聯的光譜區)。例如，第一光譜波長Y !可以相應於在藍色顏色、綠色顏色或紅色顏色光譜帶中的波長。用於通過對衍射效應進行補償或校正而從圖像傳感器像素數據逆馬賽克變換或重建彩色圖像的方法(例如方法800和900)可以使用任何合適的數據和/或信號處理裝置來實施。圖10示出了示例性的用於從圖像傳感器/濾色器陣列數據來逆馬賽克變換或重建圖像的系統1000的部件，系統1000包括電路1010、電路1020、電路1030和電路1040，它們可以被合適地配置為相繼地、迭代地或並行地處理圖像傳感器像素數據。電路1010可以被配置為接收原始圖像數據，例如具有由具有f制光圈(f)的成像裝置採樣的景象的光強度值的像素的二維陣列。像素的陣列可以包括相應於與第一顏色波長Y工相關聯的被米樣的光強度值Is ( Y D的像素值的第一子陣列，和相應於與第二顏色波長Y2相關聯的被採樣的光強度值Is (Y2)的像素值的不重疊的第二子陣列。第一光譜波長Y1可以，例如，相應於在藍色顏色、綠色顏色或紅色顏色光譜帶中的波長。第二光譜波長Y1可以相應於另一個顏色光譜帶。電路1020可以被配置為，對於在分別具有被米樣的光強度值Is ( Y D和Is(Y2)的第一子陣列和第二子陣列中的一個或多個像素，估計相應於第二顏色波長λ 2的未採樣的光強度值IeO2)和相應於第一顏色波長Y I的未米樣的光強度值Ie ( Y J。電路1020可以包括被配置為應用多變量插值、最鄰近插值、雙線性插值、雙三次插值、樣條插值和/或Lanczos重採樣中的一個或多個的電路和/或被配置為對像素值應用空間相關和/或光譜相關的電路。另外地或可選擇地，電路1020可以包括在例如頻域中將像素值外推(或插值)的電路。被配置為外推(或插值)像素值的電路可以被配置為基於相應於第一光譜波長Y !的光強度採樣值外推(或插值)相應於第二光譜波長Y 2的光強度採樣值，和/或反之亦然。可選擇地或另外地，被配置為估計對於一個或多個像素的未採樣的光強度值的電路可以包括被配置為，對於分別具有被採樣的光強度值Is(Y1)和Is(Y2)的第一子陣列和第二子陣列中的一個或多個像素，估計相應於第三光譜波長Y3的未採樣的光強度值的電路。電路1030可以被配置為通過根據與在成像裝置中對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值(例如Is( Y D、Is( Y2)、Ie( Y D和/或Ie ( Y2))來修改N個像素構成的陣列。被配置為通過修改被採樣的和/或被估計的光強度值修改N個像素構成的陣列的電路1030可以包括被配置為根據像素尺寸與相應於成像裝置對波長Y的光衍射的艾裡斑直徑I. 22*f* Y的比率修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值的電路。對於其中Y1小於λ 2的情況，電路可以被配置為根據像素尺寸與相應於成像裝置對波長Y 2的光衍射的艾裡斑直徑I. 22*f* λ 2的比率修改在像素中的一個或多個中的被採樣的和/或被估計的光強度值。
最後，電路1040可以被配置為將被採樣的和/或被估計的光強度值的像素的被修改的陣列作為景象的部分的或全部的彩色圖像代表或再現輸出至顯示器或另外的處理器。在系統1000的上文的描述中指代的各種波長(例如L、入2和γ3)可以相應於具體的光譜區(例如與成像裝置中的濾色器陣列相關聯的光譜區)。例如，第一光譜波長Y !可以相應於在藍色顏色、綠色顏色或紅色顏色光譜帶中的波長。將理解，本文公開的主題內容的各種方面和實施方案的描述僅是為了例證的目的，並且不意圖限制本公開內容的真正的範圍和精神。還將理解，本文公開的主題內容可以使用硬體和軟體的任何合適的組合實施。用於實施和操作上文提到的成像系統和相關聯的逆馬賽克變換技術的軟體(即指令)可以在計算機可讀的介質上提供，計算機可讀的介質可以包括但不限於固件、存儲器、存儲設備、微控制器、微處理器、集成電路、ASICS、可在線下載的介質、和其他的可用的介質。
權利要求
1.一種彩色成像裝置，包括 顏色響應性元件的陣列，其中所述顏色響應性元件的陣列包括數量為Nb的對藍色(B)光譜區敏感的第一類型的顏色響應性元件、數量為^的對綠色(G)光譜區敏感的第二類型的顏色響應性元件以及數量為Nk的對紅色(R)光譜區敏感的第三類型的顏色響應性元件，並且其中所述第一類型的顏色響應性元件、所述第二類型的顏色響應性元件和所述第三類型的顏色響應性元件的所述數量被排序為Nb > Ng並且Nb > Nk。
2.根據權利要求I所述的裝置，其中乂/㈨+凡+乂)大於約1/2。
3.根據權利要求I所述的裝置，其中所述顏色響應性元件的陣列中的顏色響應性元件包括光傳感器和透射性濾色器。
4.根據權利要求I所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)濾色器像素、綠色(G)濾色器像素和紅色(R)濾色器像素的二維陣列，並且其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
5.根據權利要求I所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的具有MXM重複單元的二維陣列。
6.根據權利要求5所述的裝置，其中所述MXM重複單元包括具有2個B像素、I個R像素和I個G像素的2X2陣列。
7.根據權利要求5所述的裝置，其中所述MXM重複單元包括具有5個B像素、2個R像素和2個G像素的3X3陣列。
8.根據權利要求5所述的裝置，其中所述MXM重複單元包括具有5個B像素、I個R像素和3個G像素的3X3陣列。
9.根據權利要求5所述的裝置，其中所述MXM重複單元包括具有8個B像素、3個R像素和5個G像素的4X4陣列。
10.根據權利要求5所述的裝置，其中所述MXM重複單元包括具有13個B像素、5個R像素和7個G像素的5 X 5陣列。
11.根據權利要求I所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列。
12.根據權利要求11所述的裝置，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
13.根據權利要求11所述的裝置，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素和所述(W)像素的數量被排序為藍色>綠色、藍色>紅色和藍色> 白色。
14.根據權利要求I所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的具有MXM重複單元的二維陣列。
15.根據權利要求14所述的裝置，其中所述MXM重複單元包括具有4個B像素、I個R、2個G、1個W的3X3陣列。
16.根據權利要求14所述的裝置，其中所述MXM重複單元包括具有8個B像素、2個R像素、4個G像素、2個W像素的4X4陣列。
17.根據權利要求14所述的裝置，其中所述MXM重複單元包括具有13個B像素、4個R像素、6個G像素、2個W像素的5X5陣列。
18.根據權利要求I所述的裝置，其中所述藍色光譜區、所述綠色光譜區和所述紅色光譜區分別以波長Xb、Y(^P Xk為特徵，並且其中所述顏色響應性元件的陣列包括數量分別與入B、^和Ak的平方成比例的透射性藍色⑶、綠色(G)和紅色(R)濾色器像素的二維陣列。
19.根據權利要求I所述的裝置，其中所述藍色光譜區、所述綠色光譜區和所述紅色光譜區分別以波長XB、Y(；和Xk為特徵，其中所述顏色響應性元件的陣列還包括數量為N4的對以波長入4為特徵的第四光譜區敏感的第四類型的顏色響應性元件，並且其中所述顏色響應性元件的陣列包括數量分別與X B、Y p X4的近似平方成比例的透射性藍色(B)、綠色(G)、紅色(R)和第四濾色器像素的二維陣列。
20.根據權利要求I所述的裝置，其中所述藍色光譜區、所述綠色光譜區和所述紅色光譜區相應於青色顏色光譜區、黃色顏色光譜區和洋紅色顏色光譜區。
21.根據權利要求I所述的裝置，其中所述綠色光譜區相應於綠色顏色光譜區和翡翠顏色光譜區。
22.根據權利要求I所述的裝置，其中所述綠色光譜區相應於綠色顏色光譜區和洋紅色顏色光譜區。
23.根據權利要求I所述的裝置，其中所述藍色光譜區相應於紫色顏色光譜區。
24.一種成像裝置，包括 聚焦元件，其具有焦距(F)； 光圈，其耦合於所述聚焦元件，所述光圈具有有效直徑(D);以及 顏色響應性元件的陣列，其被布置在所述焦距處或接近所述焦距處，其中所述顏色敏感元件相應於分離的顏色通道Q)的集合，其中i = l、2、3、...n, 其中每個顏色通道i與分別的顏色波長、i相關聯，並且 其中在所述陣列中的相應於具有最低的波長Y1的顏色通道的顏色響應性元件的數量(N1)大於在所述陣列中的相應於具有更高的波長X2的顏色通道的顏色響應性元件的近似數量(N2)。
25.根據權利要求24所述的裝置，其中相應於顏色通道i的顏色響應性元件的數量Ni被排序為使得 N1 > N2、N1 > N3.、N1 > Nn。
26.根據權利要求24所述的裝置，其中相應於顏色通道i的顏色響應性元件的數量Ni被排序為使得NI > N2彡…彡Nn。
27.根據權利要求24所述的裝置，其中相應於顏色通道i的顏色響應性元件的數量Ni按與在由具有有效直徑(D)的所述光圈在波長Yi衍射的光的、近似在所述焦距F處的艾裡斑直徑I. 22*F/D A j的平方近似相同的比例排序。
28.根據權利要求24所述的裝置，其中具有所述最低的波長Y1的所述顏色通道相應於藍色顏色光譜區。
29.根據權利要求24所述的裝置，其中具有所述最低的波長Y1的所述顏色通道相應於紫色顏色光譜區。
30.根據權利要求24所述的裝置，其中具有所述最低的波長Y1的所述顏色通道相應於青色顏色光譜區。
31.根據權利要求24所述的裝置，其中具有高於Y1的波長的顏色通道相應於黃色顏色光譜區、綠色顏色光譜區、翡翠顏色光譜區、洋紅色顏色光譜區、紅色顏色光譜區和白色顏色光譜區中的一個或多個。
32.根據權利要求24所述的裝置，其中所述顏色通道i，i= 1、2和3，分別相應於藍色(B)光譜區、綠色(G)光譜區和紅色(R)光譜區，並且其中在所述顏色通道i中的顏色響應性元件的相應的數量N:、N2和N3被排序為N1 > N2並且N1 > N3。
33.根據權利要求32所述的裝置，其中N1ANJNfN3)大於約1/3。
34.根據權利要求24所述的裝置，其中所述顏色響應性元件包括光傳感器和透射性濾色器。
35.根據權利要求24所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的二維陣列，並且其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
36.根據權利要求24所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的具有MXM重複單元的二維陣列。
37.根據權利要求36所述的裝置，其中所述MXM重複單元包括具有2個B像素、I個R像素和I個G像素的2X2陣列。
38.根據權利要求36所述的裝置，其中所述MXM重複單元包括具有5個B像素、2個R像素和2個G像素的3X3陣列。
39.根據權利要求36所述的裝置，其中所述MXM重複單元包括具有5個B像素、I個R像素和3個G像素的3X3陣列。
40.根據權利要求36所述的裝置，其中所述MXM重複單元包括具有8個B像素、3個R像素和5個G像素的4X 4陣列。
41.根據權利要求36所述的裝置，其中所述MXM重複單元包括具有13個B像素、5個R像素和7個G像素的5 X 5陣列。
42.根據權利要求24所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列。
43.根據權利要求42所述的裝置，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
44.根據權利要求42所述的裝置，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素和所述(W)像素的數量被排序為藍色>綠色>紅色> 白色。
45.根據權利要求24所述的裝置，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的具有MXM重複單元的二維陣列。
46.根據權利要求45所述的裝置，其中所述MXM重複單元包括具有4個B像素、I個R、2個G像素和I個W像素的3X3陣列。
47.根據權利要求45所述的裝置，其中所述MXM重複單元包括具有8個B像素、2個R像素、4個G像素和2個W像素的4X4陣列。
48.根據權利要求45所述的裝置，其中所述MXM重複單元包括具有13個B像素、4個R像素、6個G像素和2個W像素的5X5陣列。
49.一種方法,包括 提供顏色響應性元件的陣列；以及將光從景象引導至所述顏色響應性元件的陣列上， 其中所述顏色響應性元件的陣列包括數量為Nb的對藍色(B)光譜區敏感的第一類型的顏色響應性元件、數量為^的對綠色(G)光譜區敏感的第二類型的顏色響應性元件以及數量為Nk的對紅色(R)光譜區敏感的第三類型的顏色響應性元件，並且 其中所述第一類型的顏色響應性元件、所述第二類型的顏色響應性元件和所述第三類型的顏色響應性元件的數量被排序為Nb >凡> Nk。
50.根據權利要求49所述的方法，其中提供顏色響應性元件的陣列包括提供被耦合於透射性濾色器的陣列的光傳感器的陣列。
51.根據權利要求49所述的方法，還包括傳感和記錄被引導至對藍色(B)光譜區敏感的顏色響應性元件、對綠色(G)光譜區敏感的顏色響應性元件以及對紅色(R)光譜區敏感 的顏色響應性元件的陣列的、來自所述景象的光強度。
52.根據權利要求49所述的方法，其中Nb/(乂+凡+乂)大於或等於約1/2。
53.根據權利要求49所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的二維陣列，並且其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
54.根據權利要求49所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的具有MXM重複單元的二維陣列。
55.根據權利要求54所述的方法，其中所述MXM重複單元包括具有2個B像素、I個R像素和I個G像素的2X2陣列。
56.根據權利要求54所述的方法，其中所述MXM重複單元包括具有5個B像素、2個R像素和2個G像素的3X3陣列。
57.根據權利要求54所述的方法，其中所述MXM重複單元包括具有5個B像素、I個R像素和3個G像素的3X3陣列。
58.根據權利要求54所述的方法，其中所述MXM重複單元包括具有8個B像素、3個R像素和5個G像素的4 X 4陣列。
59.根據權利要求54所述的方法，其中所述MXM重複單元包括具有13個B像素、5個R像素和7個G像素的5 X 5陣列。
60.根據權利要求49所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列。
61.根據權利要求60所述的方法，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
62.根據權利要求60所述的方法，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素和所述(W)像素的數量被排序為藍色>綠色>紅色> 白色。
63.根據權利要求49所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的具有MXM重複單元的二維陣列。
64.根據權利要求63所述的方法，其中所述MXM重複單元包括具有4個B像素、I個R像素、2個G像素和I個W像素的3X3陣列。
65.根據權利要求63所述的方法，其中所述MXM重複單元包括具有8個B像素、2個R像素、4個G像素和2個W像素的4X4陣列。
66.根據權利要求63所述的方法，其中所述MXM重複單元包括具有123個B像素、4個R像素、6個G像素和2個W像素的5X5陣列。
67.根據權利要求49所述的方法，其中所述藍色光譜區、所述綠色光譜區和所述紅色光譜區分別以波長XB、Xk為特徵，並且其中所述顏色響應性元件的陣列包括數量分別與XB、^和Xk的近似平方成比例的透射性藍色⑶、綠色(G)和紅色(R)濾色器像素的二維陣列。
68.根據權利要求49所述的方法，其中所述藍色光譜區、所述綠色光譜區和所述紅色光譜區分別以波長Xb、Y(^P Xk為特徵，其中所述顏色響應性元件的陣列還包括數量為N4的對以波長入4為特徵的第四光譜區敏感的第四類型的顏色響應性元件，並且其中所述顏色響應性元件的陣列包括數量分別與X B、Y p X4的近似平方成比例的透射性藍色(B)、綠色(G)、紅色(R)和第四濾色器像素的二維陣列。
69.根據權利要求49所述的方法，其中所述藍色光譜區、所述綠色光譜區和所述紅色光譜區分別相應於青色顏色、黃色顏色和洋紅色顏色。
70.根據權利要求49所述的方法，其中所述綠色光譜區相應於綠色顏色和翡翠顏色。
71.根據權利要求49所述的方法，其中所述綠色光譜區相應於綠色顏色和洋紅色顏色。
72.根據權利要求49所述的方法，其中所述藍色光譜區相應於紫色顏色。
73.一種用於景象成像的方法，包括 提供具有焦距(F)的聚焦元件； 提供被耦合於所述聚焦元件的光圈，所述光圈具有有效直徑(D);以及 提供被布置在所述焦距處或接近所述焦距處的圖像平面中的顏色響應性元件的陣列， 其中所述顏色響應性元件相應於分離的顏色通道(i)的集合，其中i = l、2、3、...n， 其中每個顏色通道i與分別的顏色波長Y i相關聯， 其中在所述陣列中的相應於具有最低的波長Y1的顏色通道的顏色響應性元件的數量(N1)大於在所述陣列中的相應於具有更高的波長X2的顏色通道的顏色響應性元件的近似數量(N2)，並且 其中所述聚焦元件被配置為將來自所述景象的光通過所述光圈引導在所述顏色響應性元件的陣列上。
74.根據權利要求73所述的方法，其中相應於顏色通道i的顏色響應性元件的所述數量Ni被排序為使得N1 > N2彡…彡Nn。
75.根據權利要求73所述的方法，其中相應於顏色通道i的顏色響應性元件的所述數量隊按與在由所述光圈衍射的波長\ i的光的近似焦距處的艾裡斑直徑I. 22*F/DX i的平方近似相同的比例排序。
76.根據權利要求73所述的方法，其中具有所述最低的波長Y1的所述顏色通道相應於藍色顏色。
77.根據權利要求73所述的方法，其中具有所述最低的波長Y1的所述顏色通道相應於紫色顏色。
78.根據權利要求73所述的方法，其中具有所述最低的波長Y1的所述顏色通道相應於青色顏色。
79.根據權利要求73所述的方法，其中具有所述最低的波長Y1的所述顏色通道相應於紫色顏色。
80.根據權利要求73所述的方法，其中具有高於Y1的波長的所述顏色通道相應於黃色顏色、綠色顏色、翡翠顏色、洋紅色顏色、紅色顏色和白色顏色中的一個或多個。
81.根據權利要求73所述的方法，其中所述顏色通道i，i= 1、2和3，分別相應於藍色(B)光譜區、綠色(G)光譜區和紅色(R)光譜區，並且其中在所述顏色通道中的顏色響應性元件的相應的數量K、N2和N3被排序為N1 > N2 > N3。
82.根據權利要求73所述的方法，其中N^(NJNfN3)大於約1/3。
83.根據權利要求73所述的方法，其中所述顏色響應性元件的陣列中的顏色響應性元件包括光傳感器和透射性濾色器。
84.根據權利要求73所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的二維陣列，並且其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
85.根據權利要求73所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)和紅色(R)濾色器像素的具有MXM重複單元的二維陣列。
86.根據權利要求85所述的方法，其中所述MXM重複單元包括具有2個B像素、I個R像素和I個G像素的2X2陣列。
87.根據權利要求85所述的方法，其中所述MXM重複單元包括具有5個B像素、2個R像素和2個G像素的3X3陣列。
88.根據權利要求85所述的方法，其中所述MXM重複單元包括具有5個B像素、I個R像素和3個G像素的3X3陣列。
89.根據權利要求85所述的方法，其中所述MXM重複單元包括具有8個B像素、3個R像素和5個G像素的4 X 4陣列。
90.根據權利要求85所述的方法，其中所述MXM重複單元包括具有13個B像素、5個R像素和7個G像素的5 X 5陣列。
91.根據權利要求73所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的二維陣列。
92.根據權利要求91所述的方法，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素的數量的比率為約50%藍色25%綠色25%紅色。
93.根據權利要求91所述的方法，其中所述藍色(B)像素、所述綠色(G)像素、所述紅色(R)像素和所述(W)像素的數量被排序為藍色>綠色>紅色> 白色。
94.根據權利要求91所述的方法，其中所述顏色響應性元件的陣列包括透射性藍色(B)、綠色(G)、紅色(R)和白色(W)濾色器像素的具有MXM重複單元的二維陣列。
95.根據權利要求94所述的方法，其中所述MXM重複單元包括具有4個B像素、I個R像素、2個G像素和I個W像素的3X3陣列。
96.根據權利要求94所述的方法，其中所述MXM重複單元包括具有8個B像素、2個R像素、4個G像素和2個W像素的4X4陣列。
97.根據權利要求94所述的方法，其中所述MXM重複單元包括具有13個B像素、4個R像素、6個G像素和2個W像素的5X5陣列。
98.—種方法,包括 提供N個像素構成的陣列，該N個像素構成的陣列具有由具有f制光圈(f)的成像裝置採樣的景象的光強度值，其中在所述N個像素構成的陣列中的NI個像素構成的第一子陣列具有相應於第一光譜波長Y1的光強度採樣值； 通過根據與所述成像裝置對波長λ的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改所述第一子陣列中的所述NI個像素中的一個或多個中的所述光強度採樣值來修改所述N個像素構成的陣列；以及 輸出所述被修改的N個像素構成的陣列作為所述景象的圖像代表。
99.根據權利要求98所述的方法，其中修改所述N個像素構成的陣列包括根據與所述成像裝置對波長Y !的光衍射相關聯的艾裡斑直徑I. 22*f* Y !修改在所述第一子陣列中的所述NI個像素中的一個或多個中的所述光強度採樣值。
100.根據權利要求98所述的方法，其中根據像素尺寸與艾裡斑直徑I.22*f* Y i的比率修改在所述第一子陣列中的所述NI個像素中的一個或多個中的所述光強度採樣值。
101.根據權利要求98所述的方法，其中提供N個像素構成的陣列還包括提供具有N2個像素構成的第二子陣列的N個像素構成的陣列，所述N2個像素構成的第二子陣列具有相應於第二光譜波長、2的光強度米樣值。
102.根據權利要求101所述的方法，其中修改所述N個像素構成的陣列包括根據與所述成像裝置對波長Y 2的光衍射相關聯的艾裡斑直徑I. 22*f* λ 2修改在所述第一子陣列中的所述NI個像素中的一個或多個中的所述光強度採樣值。
103.根據權利要求101所述的方法，還包括估計在所述第一子陣列中的所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的光強度值。
104.根據權利要求103所述的方法，還包括根據與所述成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改在所述第一子陣列中的所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的所估計的光強度值。
105.根據權利要求104所述的方法，其中修改在所述第一子陣列中的所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的所估計的光強度值包括根據像素尺寸與相應於所述成像裝置對波長Y的光衍射的艾裡斑直徑I. 22*f* Y修改所估計的光強度值。
106.根據權利要求103所述的方法，其中估計在所述第一子陣列中的所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的光強度值包括採用多變量插值、最鄰近插值、雙線性插值、雙三次插值、樣條插值和/或Lanczos重採樣中的一個或多個。
107.根據權利要求103所述的方法，其中估計在所述第一子陣列中的所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的光強度值包括像素值的空間相關和/或光譜相關。
108.根據權利要求103所述的方法，其中估計在所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的光強度值包括在頻域中對像素值進行外推。
109.根據權利要求103所述的方法，其中估計在所述NI個像素中的一個或多個中的相應於所述第二光譜波長Y2的光強度值包括基於相應於所述第一光譜波長Y1的光強度採樣值外推相應於所述第二光譜波長Y2的光強度採樣值。
110.根據權利要求103所述的方法，還包括估計在所述第一子陣列中的所述NI個像素中的一個或多個中的相應於第三光譜波長λ 3的光強度值。
111.根據權利要求98所述的方法，其中所述第一光譜波長Y1相應於在藍色顏色、綠色顏色或紅色顏色光譜帶中的波長。
112.—種方法,包括 提供具有由具有f制光圈(f)的成像裝置採樣的景象的光強度值的像素的二維陣列，其中像素的第一子陣列相應於與第一顏色波長Y I相關聯的被米樣的光強度值I(Y1),並且像素的不重疊的第二子陣列相應於與第二顏色波長Y 2相關聯的被採樣的光強度值 I ( Y 2); 對於在分別具有被採樣的光強度值Ittaww (Y1)和I _ U2)的所述第一子陣列和所述第二子陣列中的一個或多個像素，估計分別相應於所述第二顏色波長Y2的未採樣的光強度值I MiifM ( Y 2)和相應於所述第一顏色波長Y i的I MiifM ( Y ι); 通過根據與所述成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I. 22*f* Y修改所述被米樣的和/或被估計的光強度值(I被採樣M ( Y l) > I ( Y 2)、I ( Y I)、I被採樣的(Y2))中的一個或多個來修改像素的所述陣列；以及 輸出被採樣的和/或被估計的光強度值的像素的經修改的陣列作為所述景象的全部的或部分的彩色圖像代表。
113.根據權利要求112所述的方法，還包括根據像素尺寸與相應於所述成像裝置對波長λ的光衍射的艾裡斑直徑I. 22*f* Y的比率修改在所述像素中的一個或多個中的所述被採樣的和/或被估計的光強度值。
114.根據權利要求112所述的方法，其中Yl小於Y2，所述方法還包括根據像素尺寸與相應於所述成像裝置對波長Y 2的光衍射的艾裡斑直徑I. 22*f* Y 2的比率修改在所述像素中的一個或多個中的所述被採樣的和/或被估計的光強度值。
115.根據權利要求112所述的方法，其中估計對於一個或多個像素的未採樣的光強度值包括採用多變量插值、最鄰近插值、雙線性插值、雙三次插值、樣條插值和/或Lanczos重米樣中的一個或多個。
116.根據權利要求112所述的方法，其中估計對於一個或多個像素的未採樣的光強度值包括像素值的空間相關和/或光譜相關。
117.根據權利要求112所述的方法，其中估計對於一個或多個像素的未採樣的光強度值包括在頻域中對像素值進行外推。
118.根據權利要求112所述的方法，其中估計對於一個或多個像素的相應於所述第二光譜波長Y2的光強度值包括基於相應於所述第一光譜波長Y i的光強度採樣值外推相應於所述第二光譜波長Y2的光強度米樣值。
119.根據權利要求112所述的方法，還包括，對於分別具有被採樣的光強度值Is(Y1)與Is(Y2)的所述第一子陣列和所述第二子陣列中的一個或多個像素，估計相應於第三光譜波長Y3的未採樣的光強度值。
120.根據權利要求112所述的方法，其中所述第一光譜波長Y1相應於在藍色顏色、綠色顏色或紅色顏色光譜帶中的波長。
121.—種系統,包括 被配置為接收具有由具有f制光圈(f)的成像裝置採樣的景象的光強度值的像素構成的二維陣列的電路，其中像素的第一子陣列相應於與第一顏色波長Y1相關聯的被採樣的光強度值Is ( Y J，並且像素的不重疊的第二子陣列相應於與第二顏色波長Y 2相關聯的被米樣的光強度值Is ( Y 2)； 被配置為對於分別具有被採樣的光強度值Is (Y1)和Is(Y2)的所述第一子陣列和所述第二子陣列中的一個或多個像素，估計相應於所述第二顏色波長Y2的未採樣的光強度值Ie ( Y 2)和/或相應於所述第一顏色波長Y I的未米樣的光強度值Ie ( Y J的電路； 被配置為通過根據與所述成像裝置對波長Y的光衍射相關聯的艾裡斑直徑I.22*f* Y修改在所述像素中的一個或多個中的所述被採樣的和/或被估計的光強度值來修改所述N個像素構成的陣列的電路；以及 被配置為將被採樣的和/或被估計的光強度值的像素的經修改的陣列作為所述景象的部分的或全部的彩色圖像代表輸出至顯示器或另外的處理器的電路。
122.根據權利要求121所述的系統，其中所述被配置為修改所述N個像素構成的陣列的電路包括被配置為根據像素尺寸與相應於所述成像裝置對波長λ的光衍射的艾裡斑直徑I. 22*f* Y的比率修改在所述像素中的一個或多個中的所述被採樣的和/或被估計的光強度值的電路。
123.根據權利要求121所述的系統，其中Yl小於Y2，並且其中所述被配置為修改所述N個像素構成的陣列的電路包括被配置為根據像素尺寸與相應於所述成像裝置對波長Y2的光衍射的艾裡斑直徑I. 22*f* Y2的比率修改在所述像素中的一個或多個中的所述被採樣的和/或被估計的光強度值的電路。
124.根據權利要求121所述的系統，其中所述被配置為估計對於一個或多個像素的未採樣的光強度值的電路包括被配置為應用多變量插值、最鄰近插值、雙線性插值、雙三次插值、樣條插值和/或Lanczos重採樣中的一個或多個的電路。
125.根據權利要求121所述的系統，其中所述被配置為估計對於一個或多個像素的未採樣的光強度值的電路包括被配置為應用像素值的空間相關和/或光譜相關的電路。
126.根據權利要求121所述的系統，其中所述被配置為估計對於一個或多個像素的未採樣的光強度值的電路包括被配置為在頻域中對像素值進行外推的電路。
127.根據權利要求121所述的系統，其中所述被配置為估計對於一個或多個像素的未採樣的光強度值的電路包括被配置為基於相應於所述第一光譜波長Y1的光強度採樣值外推相應於所述第二光譜波長Y2的光強度採樣值的電路。
128.根據權利要求121所述的系統，還包括被配置為，對於分別具有被採樣的光強度值Is(Y1)和Is(Y2)的所述第一子陣列和所述第二子陣列中的一個或多個像素，估計相應於第三光譜波長Y3的未採樣的光強度值的電路。
129.根據權利要求121所述的系統，其中所述第一光譜波長Y1相應於在藍色顏色、綠色顏色或紅色顏色光譜帶中的波長。
全文摘要
提供用於使用衍射受限光學器件對景象成像的濾色器陣列或馬賽克。顏色類型在濾色器陣列中的分布被朝向較小的波長偏置，以避免或減小由在較高的波長的更大程度的衍射導致的在較高的波長的空間解析度信息的損失。用於從原始圖像數據重建部分的或全部的彩色圖像的逆馬賽克變換方法涉及應用校正因子以將衍射考慮在內。校正因子是基於像素大小和/或對衍射的程度的測量(例如對於濾色器陣列中的每個波長的艾裡斑直徑)。
文檔編號H04N9/083GK102640501SQ201080041144
公開日2012年8月15日 申請日期2010年7月15日 優先權日2009年7月17日
發明者內森·P·米佛德 申請人:希爾萊特有限責任公司