具有改進的光靈敏度的圖像傳感器的製作方法

2023-06-25 16:08:56 1

專利名稱：具有改進的光靈敏度的圖像傳感器的製作方法
技術領域：
本發明涉及具有改進的光靈敏度(light sensitivity)的二維圖像傳感器。

背景技術：
電子成像系統依賴於電子圖像傳感器來產生視覺圖像的電子表示。這種電子圖像傳感器的示例包括電荷耦合器件(CCD)圖像傳感器和有源像素傳感器(APS)器件(APS器件通常被稱為CMOS傳感器，因為能夠在互補金屬氧化物半導體工藝中製造它們)。典型地，這些圖像傳感器包括通常以行和列的規則圖案排列的許多光敏感像素。為了捕獲彩色圖像，通常在像素的圖案上製作濾色器的圖案，不同的濾色器材料被用於使得個體像素僅對可見光譜的一部分敏感。濾色器必要地減少到達每個像素的光量，從而減少了每個像素的光靈敏度。持續存在改進電子彩色圖像傳感器的光敏感度，或者照相感速率的需求，以便允許以較低的光等級(light level)捕獲圖像，或者允許以更短的曝光時間來捕獲較高光等級的圖像。
圖像傳感器或者是線性的，或者是二維的。一般，這些傳感器具有兩種不同類型的應用。二維傳感器通常適合於諸如數字相機，蜂窩電話和其它應用的圖像捕獲裝置。線性傳感器通常用於掃描文件。在任一種情況中，當採用濾色器時，圖像傳感器的敏感度被降低。
一種線性圖像傳感器，Eastman Kodak公司製造的KLI-4104，包括四條直線的(linear)、單像素寬的像素陣列，濾色器被施加到這些陣列中的三條，使得每條陣列以其整體對紅色，綠色，或者藍色敏感，並且沒有濾色器陣列被施加到第四陣列；此外，三條彩色陣列具有較大的像素來補償由於濾色器引起的光敏感度降低，第四陣列具有較小的像素來捕獲高解析度單色圖像。當使用該圖像傳感器捕獲圖像時，圖像被表示為高解析度，高照相敏感度單色圖像，隨同具有大致相同的照相敏感度的三個較低解析度圖像，這三個圖像中的每一個對應於來自圖像的紅色，綠色或者藍色光；因此，電子圖像中的每個點包括單色值，紅色值，綠色值，和藍色值。然而，由於這是線性圖像傳感器，它需要圖像傳感器和圖像之間的相對機械運動，以便跨過四條直線的像素陣列掃描圖像。這限制了掃描圖像的速度，並排除了將該傳感器用於手持相機或者捕獲包括移動目標的場景。
Akira Muramatsu的美國專利4823186中描述的包括兩個傳感器的電子成像系統也是本領域中已知的，其中每個傳感器包括像素的二維陣列，但是一個傳感器沒有濾色器而另一個傳感器包括像素內包含的濾色器的圖案，並且具有光束分光器來為每個圖像傳感器提供圖像。由於彩色傳感器應用了濾色器的圖案，彩色傳感器中的每個像素僅提供單個色彩。當用該系統捕獲圖像時，電子圖像中的每個點包括單色值和一個彩色值，並且彩色圖像必須從附近的色彩內插每個像素位置處缺失的色彩。儘管該系統相比於單個傳統圖像傳感器改進了光敏感度，該系統的總體複雜性，尺寸和成本較大，因為需要兩個傳感器和光束分光器。此外，光束分光器僅將光的一半從圖像導向至每個傳感器，限制了照相感速率的提高。
除了上述的線性圖像傳感器之外，具有像素的二維陣列的圖像傳感器在本領域中也是已知的，其中這些像素包括不具有施加到其上的濾色器的像素。例如，參見Sato等人的美國專利4390895，Yamagami等人的美國專利5323233，以及Gindele等人的美國專利6476865。在每個所引用的專利中，沒有濾色的或者單色的像素的敏感度明顯高於彩色像素，需要將增益應用到彩色像素，以便匹配來自像素陣列的彩色和單色信號。提高增益增加了噪聲以及信號，導致得到的圖像總體信噪比的降低。Frame在美國專利申請2003/0210332中揭示了一種像素陣列，其中大部分的像素沒有濾色，但是彩色像素受到與如上所述相同的敏感度不足。
因此，持續存在對於改進採用具有像素的二維陣列的單個傳感器的電子捕獲裝置的光敏感度的需求。


發明內容
本發明旨在提供一種具有彩色和全色像素的二維陣列的圖像傳感器，其提供高敏感度並且在產生全色圖像方面是有效的。
簡要地總結，根據本發明的一個方面，本發明提供一種用於捕獲彩色圖像的圖像傳感器，包括 a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的像素； b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少六個像素，使得最小重複單位的至少一些行或者列僅由來自第二組的像素構成，以及 c)用於組合來自至少兩個相鄰的最小重複單位的相似定位的像素的裝置，用於組合來自至少三個相鄰的最小重複單位的相同色彩(oflike color)的像素的裝置，或者用於將第一組像素與第二組像素組合的裝置。
在本發明的另一方面，提供一種用於捕獲彩色圖像的圖像傳感器，包括 a)二維陣列，其具有第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的個體像素； b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少十二個像素，最小重複單位具有多個單元，其中每個單元具有從第一組像素中選擇的表示特定色彩的至少兩個像素，以及從第二組像素中選擇的多個像素，布置為允許再現在不同光照條件下捕獲的彩色圖像；以及 c)用於組合該至少兩個像素中的至少兩個的裝置，用於組合來自最小重複單位內該多個單元中的至少兩個的相同色彩的像素的裝置，或者用於將第一組像素與第二組像素組合的裝置。
根據本發明的圖像傳感器特別適合於低等級光照條件，其中這種低等級光照條件是低場景光照，短曝光時間，小光圈，或者其它對到達傳感器的光的限制的結果。它們具有廣泛的應用，並且很多類型的圖像捕獲裝置可以有效地使用這些傳感器。
通過閱讀優選實施例的下列詳細描述以及所附權利要求書，並且參考附圖，將更清楚地理解和認識本發明的這些和其它方面，目標，特徵和優點。



圖1是傳統數字靜態相機系統的框圖，其可以採用傳統傳感器和處理方法，或者本發明的傳感器和處理方法； 圖2(現有技術)是傳統Bayer濾色器陣列圖案，示出最小重複單位和非最小重複單位； 圖3提供紅色，綠色和藍色像素的代表性光譜量子效率曲線，以及更寬的光譜全色量子效率，所有這些都乘以了紅外截止(cut)濾色器的透射特性； 圖4A-D提供使得具有同色光響應的彩色像素布置在行或列中的，本發明的濾色器陣列圖案的幾種變化的最小重複單位； 圖5示出來自圖4A的最小重複單位的單元結構； 圖6A是對於圖4A內插的全色圖像； 圖6B是對應於圖4A和圖5中的單元的低解析度彩色圖像； 圖7A-C示出組合圖4A的像素的幾種方式； 圖8A-E提供用於本發明濾色器陣列圖案的六像素的最小重複單位，包括幾種鋪設(tiling)布置以及最小重複單位的可選取向； 圖9A-C提供本發明的濾色器陣列圖案的幾種最小重複單位，它們是圖8的最小重複單位的變體； 圖10A-F提供本發明濾色器陣列圖案的八像素的最小重複單位，並且包括鋪設布置，以及利用具有可選彩色光響應特性的彩色像素的變體，包括基色，補色，三色，以及四色替代； 圖11A-B提供本發明的濾色器陣列的最小重複單位，其中超過一半的像素具有全色光響應； 圖12A-B提供本發明的濾色器陣列的最小重複單位並且包括鋪設布置，其中像素位於被旋轉了45度的矩形網格上； 圖13A-B提供本發明的濾色器陣列的最小重複單位並且包括鋪設布置，其中像素布置在六角形圖案中； 圖14提供了本發明的濾色器陣列的最小重複單位，其是圖13的可選方案； 圖15提供了本發明的濾色器陣列的最小重複單位，其是圖13的可選方案； 圖16是圖4A的最小重複單位，最小重複單位中的個體像素具有下標； 圖17A-E示出圖16的一個單元的全色像素和彩色像素，以及組合彩色像素的不同方式； 圖18是本發明的過程圖，示出處理來自本發明的傳感器的彩色和全色像素數據的方法； 圖19A-D示出本發明的內插圖18的低解析度部分彩色圖像中缺失色彩的方法； 圖20提供圖8A中所示類型的兩個最小重複單位，示出在相鄰的最小重複單位之間以及在最小重複單位內組合像素； 圖21A-D每個提供了是圖10A的變體的兩個最小重複單位，示出了在水平相鄰的最小重複單位之間和在最小重複單位內組合像素的幾種方式； 圖22提供了是圖10A的變體的兩個最小重複單位，示出了在垂直相鄰的最小重複單位之間組合像素； 圖23提供了是圖10A的變體的三個最小重複單位，示出了組合來自三個水平相鄰的最小重複單位的像素； 圖24提供了是圖10A的變體的五個最小重複單位，示出了組合來自五個水平相鄰的最小重複單位的像素； 圖25A-B提供了是圖10A的變體的幾個最小重複單位，示出了最小重複單位的多個重疊的組用於組合來自相鄰的最小重複單位的像素的目的； 圖26A-B提供了圖8A所示類型的幾個最小重複單位，示出了組合來自多個相互相鄰的最小重複單位的像素； 圖27提供了是圖10A的變體的最小重複單位，示出了將彩色像素與全色像素組合； 圖28提供了是本發明變體的包括多個單元的兩個最小重複單位，示出在最小重複單位之間，在單元之間，以及在單元內組合像素，以及組合彩色和全色像素；以及 圖29A-C提供了是本發明變體的包括多個單元的最小重複單位，示出在最小重複單位之間，在單元之間，以及在單元內組合像素的特定示例。

具體實施例方式 因為採用成像裝置以及用於信號捕獲和校正以及用於曝光控制的相關電路的數字相機是熟知的，本描述將特別針對形成根據本發明的方法和設備的一部分，或者更直接地與根據本發明的方法和設備協作的特徵。這裡沒有具體說明或者描述的特徵是從本領域中已知的那些中選擇的。要描述的實施例的特定方面以軟體來提供。給定在下面的材料中根據本發明說明和描述的系統，對於實施本發明有用的、這裡沒有特別說明、描述或者暗示的軟體是傳統的並且在這種領域的普通技術之內。
現在轉到圖1，示出了顯示為體現本發明的數字相機的圖像捕獲裝置的框圖。儘管現在將說明數字相機，很清楚本發明可適用於其它類型的圖像捕獲裝置。在所揭示的相機中，來自目標場景的光10輸入到成像級11中，在成像級11中光由鏡頭12聚焦，從而在固態圖像傳感器20上形成圖像。圖像傳感器20將入射光轉換成電信號用於每個相片元素(像素)。該優選實施例的圖像傳感器20是電荷耦合器件(CCD)型或者有源像素傳感器(APS)型(APS器件通常被稱為CMOS傳感器，因為能夠在互補金屬氧化物半導體工藝中製造它們)。其它類型的具有二維像素陣列的圖像傳感器也可以被使用，只要它們採用本發明。本發明還利用具有彩色和全色像素的二維陣列的圖像傳感器20，如在描述圖1之後本說明書中後面將變得清楚的。與圖像傳感器20一起使用的本發明的彩色和全色像素的圖案的示例在圖4A-D，圖8A，圖8E，圖9A-C，圖10A，圖10C-F，圖11A-B，圖12，圖13，圖14和圖15中可見，不過在本發明的精神內也使用其它圖案。
到達傳感器20的光的量由改變光圈的光闌(iris)模塊14，以及包括插在光路中的一個或者多個中性密度(ND)濾光器的ND濾光器模塊13調節。還調節總體光等級的是快門模塊18打開的時間。曝光控制器模塊40響應於如亮度傳感器模塊16所測量的場景中可用的光量，並控制所有這三個調節功能。
特定相機結構的該描述對於本領域技術人員是熟悉的，並且很明顯存在很多變型和額外的特徵。例如，添加自動對焦系統，或者鏡頭是可拆離的並且可互換的。將理解本發明適用於任何類型的數字相機，其中類似的功能由可選部件提供。例如，數字相機是相對簡單的對準就拍(point and shoot)數字相機，其中快門18是相對簡單的可移動葉片(movable blade)快門之類，而不是更複雜的焦平面配置。本發明也可以在諸如行動電話和機動車輛之類的非相機設備中包括的成像部件上實施。
來自圖像傳感器20的模擬信號由模擬信號處理器22處理，並施加到模數(A/D)轉換器24。定時發生器(timing generator)26產生各種時鐘信號來選擇行和像素，並同步模擬信號處理器22和A/D轉換器24的操作。圖像傳感器級28包括圖像傳感器20，模擬信號處理器22，A/D轉換器24，以及定時發生器26。圖像傳感器級28的這些組件是分開製造的集成電路，或者它們被製造為單個集成電路，如CMOS圖像傳感器通常所做的那樣。從A/D轉換器24得到的數字像素值的流被存儲在與數位訊號處理器(DSP)36關聯的存儲器32中。
除了系統控制器50和曝光控制器40之外，數位訊號處理器36是該實施例中的三個處理器或控制器中的一個。儘管這種在多個控制器和處理器之間劃分相機功能控制是典型的，在不影響相機的功能操作以及本發明應用的前提下可以各種方式組合這些控制器或處理器。這些控制器或處理器可以包括一個或者多個數位訊號處理器裝置，微控制器，可編程邏輯器件，或者其他數字邏輯電路。儘管已經描述了這種控制器或處理器的組合，應該顯而易見的是可選實施例指定一個控制器或者處理器執行所有需要的功能。所有這些變型可以執行相同的功能並落入本發明的範圍內，術語「處理級」將按照需要被用來包含一個階段內的所有這種功能性，例如在圖1中的處理級38中。
在所示出的實施例中，DSP 36根據永久地存儲在程序存儲器54中並在圖像捕獲期間複製到存儲器32供執行的軟體程序，操縱其存儲器32中的數字圖像數據。DSP 36執行實施圖18中所示的圖像處理所必須的軟體。存儲器32包括任何類型的存儲器，諸如SDRAM。包括地址和數據信號的路徑的總線30將DSP 36連接到其相關的存儲器32，A/D轉換器24和其它相關的設備。
系統控制器50基於程序存儲器54中存儲的軟體程序，控制相機的總體操作，程序存儲器54可以包括快閃記憶體EEPROM或者其他非易失性存儲器。該存儲器還用於存儲圖像傳感器校準數據，用戶設置選擇和其他在相機關閉時必須保存的數據。系統控制器50通過指揮曝光控制器40操作如前所述的鏡頭12，ND濾光器13，光闌14以及快門18，指揮定時發生器26操作圖像傳感器20和關聯的元件，以及指揮DSP 36處理捕獲的圖像數據，控制圖像捕獲的序列。在圖像被捕獲和處理之後，存儲在存儲器32中的最終圖像文件經由接口57被發送到主計算機，存儲在可移動存儲卡64或者其它存儲裝置上，並在圖像顯示器88上為用戶顯示。
總線52包括地址，數據和控制信號的路徑，並將系統控制器50連接到DSP 36，程序存儲器54，系統存儲器56，主機接口57，存儲卡接口60以及其它相關裝置。主機接口57提供到個人計算機(PC)或者其它主計算機的高速連接，以便傳輸圖像數據供顯示，存儲，操縱或列印。該接口為IEEE1394或者USB2.0接口或者任何其它適合的數字接口。存儲卡64典型地為緊湊式快閃記憶體(CF)卡，其插入插槽62中並經由存儲卡接口60連接到系統控制器50。利用的其它類型的存儲器包括但不限於PC卡，多媒體卡(MMC)，或者安全數字(SD)卡。
經過處理的圖像被複製到系統存儲器56中的顯示緩存器，並經由視頻編碼器80持續地讀出以產生視頻信號。該信號直接從相機輸出以顯示在外部監視器上，或者由顯示控制器82處理並呈現在圖像顯示器88上。該顯示器通常為有源矩陣彩色液晶顯示器(LCD)，然而同樣可以使用其它類型的顯示器。
用戶控制和界面狀態68包括取景器顯示器70，曝光顯示器72，狀態顯示器76，圖像顯示器88，以及用戶輸入74的全部或者任意組合，用戶控制和界面狀態68由在曝光控制器40和系統控制器50上執行的軟體程序的組合控制。用戶輸入74典型地包括按鈕，翹板開關，操縱杆，旋轉撥盤或觸控螢幕的某種組合。曝光控制器40操作光測量，曝光模式，自動對焦，以及其它曝光功能。系統控制器50管理在一個或多個顯示器(例如圖像顯示器88)上呈現的圖形用戶界面(GUI)。GUI典型地包括用於進行各種選項選擇的菜單以及用於檢查所捕獲的圖像的查看模式。
曝光控制器40接受選擇曝光模式，鏡頭光圈，曝光時間(快門速度)，以及曝光指數或者ISO速度(ISO speed rating)的用戶輸入，並且相應地指揮(direct)鏡頭和快門來進行之後的捕獲。採用亮度傳感器16來測量場景的亮度，並提供曝光計功能，供用戶參考何時手動設置ISO速度、光圈和快門速度。在此情況下，當用戶改變一個或者多個設置時，取景器顯示器70上呈現的測光表(light meter)指示器告訴用戶圖像將會過度曝光或者曝光不足的程度。在自動曝光模式下，用戶改變一個設置，曝光控制器40自動改變另一個設置來保持正確的曝光，例如，對於給定的ISO速度，當用戶減小鏡頭光圈時，曝光控制器40自動增加曝光時間來保持相同的總體曝光。
ISO速度是數字靜態相機的重要屬性。曝光時間，鏡頭光圈，鏡頭透射率，場景照度的等級和光譜分布，以及場景反射率確定數字靜態相機的曝光等級。當使用不足的曝光從數字靜態相機獲得圖像時，可以通過增加電子或數字增益來大致維持正確的色調再現，但是圖像將包含不可接受的噪聲量。隨著曝光增加，該增益降低，因此一般可以將圖像噪聲減少到可接受的程度。如果過度地增加曝光，圖像的明亮區域中得到的信號會超過圖像傳感器或者相機信號處理的最大信號等級容量。這會導致圖像加亮區域(highlight)被修剪而形成均勻明亮的區域，或者浮散到(bloom into)圖像中的周邊區域。指導用戶設定正確的曝光是重要的。ISO速度意圖是作為這樣的指導。為了拍攝者容易理解，數字靜態相機的ISO速度應當直接與照相膠捲相機的ISO速度相關。例如，如果數字靜態相機的ISO速度為ISO200，那麼相同的曝光時間和光圈對於標定ISO200的膠片/處理系統應當是合適的。
ISO速度打算與膠捲ISO速度一致。然而，電子成像系統和基於膠捲的成像系統之間存在妨礙精確等同的差異。數字靜態相機可以包括可變的增益，並且可以在捕獲了圖像數據之後提供數字處理，使得能夠在相機曝光的一個範圍上實現色調再現。因此，數字靜態相機能夠具有一個速度範圍。該範圍被定義為ISO速度範圍。為了防止混淆，將單個值指定為固有ISO速度，而ISO速度範圍上下限指示速度範圍，即包括不同於固有ISO速度的有效速度的範圍。謹記此概念，固有ISO速度是根據在數字靜態相機的焦平面處提供的曝光計算的、產生特定的相機輸出信號特性的數值。該固有速度通常是給定的相機系統對常規場景(normal scene)產生峰值圖像質量的曝光指數值，其中曝光指數是反比於提供給圖像傳感器的曝光的數值。
前面對數字相機的描述對於本領域技術人員是熟悉的。很明顯該實施例的很多變型是可能的，並且被選擇用來減少成本，增加特徵，或改進相機的性能。下面的描述將詳細揭示根據本發明的用於捕獲圖像的該相機的操作。儘管本描述參照數字相機，將理解本發明適合與任何類型的包含具有彩色和全色像素的圖像傳感器的圖像捕獲裝置一起使用。
圖1中所示的圖像傳感器20典型地包括在矽襯底上製造的光敏感像素的二維陣列，所述光敏感像素提供了將每個像素處的入射光轉換成被測量的電信號的方式。當傳感器暴露於光，自由電子在每個像素處的電子結構中產生並被捕獲。在某段時間內捕獲這些自由電子並接著測量捕獲的電子數量，或者測量產生自由電子的速率，允許測量每個像素處的光等級。在前一種情況下，將累積的電荷移出像素陣列到電荷到電壓測量電路，如在電荷耦合器件(CCD)中，或者接近每個像素的區域包含電荷到電壓測量電路的元件，如在有源像素傳感器中(APS或者CMOS傳感器)。
在下面的描述中，無論何時提到圖像傳感器，將理解它表示圖1的圖像傳感器20。還將理解本說明書中揭示的本發明的圖像傳感器架構和像素圖案的所有示例和它們的等價物用於圖像傳感器20。
在圖像傳感器的背景下，像素(「照片元素」的縮寫)指的是離散的光感測區域以及與該光感測區域關聯的電荷轉移或者電荷測量電路。在數字彩色圖像的背景下，術語像素通常指圖像中具有關聯的色彩值的特定位置。
為了產生彩色圖像，圖像傳感器中的像素陣列通常具有放置在其上的濾色器的圖案。圖2示出通常使用的紅色，綠色和藍色濾色器的圖案。該特定的圖案通常以US3971065中揭示的其發明人Bryce Bayer的名字命名為Bayer濾色器陣列(CFA)而為人所知。該圖案在具有彩色像素的二維陣列的圖像傳感器中有效地使用。結果，每個像素具有特定的彩色光響應，在該情況下，該特定的光響應是對於紅色，綠色或者藍色光的主要敏感度。彩色光響應的另一種有用的變種是對於品紅，黃色或者青色光的主要敏感度。在每種情況下，該特定的彩色光響應對於可見光譜的某些部分具有高敏感度，而同時對於可見光譜的其它部分具有低敏感度。術語彩色像素指的是具有彩色光響應的像素。
選擇用於傳感器中的彩色光響應的集合通常具有三種色彩，如Bayer CFA中所示的，但是它也可以包括四種或者更多。如這裡所使用的，全色光響應指的是具有比所選擇的彩色光響應的集合中表現的那些光譜敏感度更寬的光譜敏感度的光響應。全色光敏感度可以具有跨整個可見光譜的高敏感度。術語全色像素指的是具有全色光響應的像素。儘管全色像素一般具有比彩色光響應的集合更寬的光譜敏感度，每個全色像素可以具有關聯的濾色器。這種濾色器或者是中性密度濾光器或者是彩色濾光器。
當彩色和全色像素的圖案是在圖像傳感器的表面上時，每個這種圖案具有是像素的連續子陣列的、作為基本構成塊的重複單位。通過並置重複單位的多個複製體，產生整個傳感器圖案。重複單位的多個複製體的並置是在對角線方向以及水平和垂直方向進行的。
最小重複單位是沒有其它重複單位具有更少的像素的重複單位。例如，圖2中的CFA包括的最小重複單位是兩個像素長，兩個像素寬，如圖2中的像素塊100所示。該最小重複單位的多個複製體被鋪設，以覆蓋圖像傳感器中的整個像素陣列。最小重複單位用處於右上角的綠色像素示出，但是通過將粗輪廓線的區域向右移動一個像素，向下移動一個像素，或者對角線地向右和向下移動一個像素，可以容易地看出三種可選的最小重複單位。儘管像素塊102是重複單位，它不是最小重複單位，因為像素塊100是重複單位並且像素塊100比塊102的像素少。
使用具有帶有圖2的CFA的二維陣列的圖像傳感器捕獲的圖像在每個像素處只有一個色彩值。為了產生全色圖像，存在多種技術來推斷或者內插每個像素處缺失的色彩。這些CFA內插技術在本領域中是熟知的，並對以下的專利進行參考US5506619，US5629734和US5652621。
圖3示出在典型的相機應用中具有紅色，綠色和藍色濾色器的像素的相對光譜敏感度。圖3中的X軸表示以納米為單位的光波長，Y軸表示效率。在圖3中，曲線110表示用於阻止紅外和紫外光到達圖像傳感器的典型濾色器的光譜透射特性。需要這種濾色器，因為用於圖像傳感器的濾色器通常不阻斷紅外光，因此像素不能區別紅外光和在它們關聯的濾色器的通帶內的光。曲線110所示的紅外阻斷特性防止紅外光惡化可見光信號。對於施加了紅色，綠色和藍色濾光器的典型的矽傳感器的光譜量子效率(即入射光子被捕獲並轉換成可測量的電信號的比例)被乘以曲線110表示的紅外阻斷濾色器的光譜透射特性，以產生組合的系統量子效率，該系統量子效率由用於紅色的曲線114，用於綠色的曲線116和用於藍色的曲線118表示。從這些曲線將理解每種彩色光響應僅對於一部分可見光譜敏感。相反，沒有施加濾色器(但是包括紅外阻斷濾色器特性)的同一矽傳感器的光響應由曲線112所示；其是全色光響應的示例。通過將彩色光響應曲線114，116和118與全色光響應曲線112比較，很顯然全色光響應對於寬光譜光的敏感度是任意的彩色光響應的三到四倍。
圖3中所示的較大的全色敏感度允許通過混合包括濾色器的像素和不包括濾色器的像素而改進圖像傳感器的總體敏感度。然而，濾色器像素相比於全色像素不敏感得多。在這種情況下，如果全色像素合適地暴露於光，使得來自場景的光強度的範圍覆蓋全色像素的整個測量範圍，那麼彩色像素將明顯欠曝光。因此，有利的是調節濾色器像素的敏感度，使得它們具有與全色像素大致相同的敏感度。例如，通過增加彩色像素相對於全色像素的尺寸，伴隨關聯的空間像素的減少，增加彩色像素的敏感度。
圖4A表示具有兩個組的像素的二維陣列。來自第一組像素的像素相比於來自第二組像素的像素具有更窄的光譜光響應。第一組像素包括與對應於至少兩種濾色器的至少兩種不同的光譜光響應相關的個體像素。這兩組像素被混合來改進傳感器的總體敏感度。如在本說明書中將變得更清楚的，第一和第二組像素的放置定義了具有包括至少12個像素的最小重複單位的圖案。該最小重複單位包括布置為允許在不同的光照條件下再現捕獲的彩色圖像的第一和第二組像素。
圖4A中所示的完整圖案表示被鋪設以覆蓋整個像素陣列的最小重複單位。如同與圖2一樣，存在用於描述該彩色和全色像素總體布置的幾種其它最小重複單位，但是它們在其特性上都基本等價並且每個都是像素的子陣列，該子陣列在範圍上是8像素寬，8像素長。這種圖案的一個重要特徵是交替的全色和彩色像素的行，其中彩色行使得具有相同彩色光響應的像素成組在一起。具有相同光響應的像素的組與它們的相鄰全色像素中的一些，被認為形成構成最小重複單位的四個單元，單元是具有比最小重複單位少的像素的連續的像素子陣列。
這四個單元在圖4A中由粗線畫出，並示出為圖5中的單元120，122，124和126，它們圍住每個都4×4像素的四個組，其中120表示左上單元，122表示右上單元，124表示左下單元，126表示右下單元。這四個單元中的每個包括八個全色像素和八個具有相同彩色光響應的彩色像素。單元中的彩色像素被組合來表示該整個單元的色彩。因此，圖5中的單元120被認為是綠色單元，單元122被認為是紅色單元，以此類推。每個單元包括至少兩個相同色彩的像素，從而允許相同色彩的像素被組合，以克服彩色像素和全色像素之間光敏感度的差異。
在具有四個不重疊的單元且其中每個單元具有相同色彩的兩個像素和兩個全色像素的最小重複單位的情況下，很清楚最小重複單位包括16個像素。在具有三個不重疊的單元且其中每個單元具有相同色彩的兩個像素和兩個全色像素的最小重複單位的情況下，很清楚最小重複單位包括12個像素。
根據本發明，當按照圖5中指出的單元結構考慮時，圖4A的最小重複單位可以表示布置為允許再現在不同光照條件下捕獲的彩色圖像的高解析度全色圖像和低解析度Bayer圖案彩色圖像的組合。Bayer圖案圖像的個體元素表示對應的單元中的彩色像素的組合。第一組像素定義低解析度濾色器陣列圖像，並且第二組像素定義高解析度全色圖像。參見圖6A和圖6B。圖6A表示對應於圖4A的高解析度全色圖像，包括來自圖4A的全色像素P以及內插的全色像素P』；圖6B表示低解析度Bayer圖案彩色圖像，其中R』，G』和B』表示對於圖5中加輪廓線的每個單元，與該單元中組合的彩色像素關聯的單元色彩。
在下面的討論中，圖4B-D中的所有單元由粗線繪出，如同它們在圖4A中那樣。
除了圖4A的可選最小重複單位，該圖案的每個單元被旋轉90度來產生圖4B中所示的圖案。這是基本相同的圖案，但是它將最高的全色採樣頻率放置在垂直方向而不是水平方向。使用圖4A或圖4B的選擇依賴於是否期望分別在水平或者垂直方向上具有更高的全色空間採樣。然而，很清楚得到的構成兩種圖案中最小重複單位的單元對於這兩種圖案都產生相同的低解析度彩色圖像。因此，從彩色的觀點看圖4A和圖4B是等價的。一般而言，圖4A和圖4B是全色像素直線地布置在行或者列中而實施本發明的示例。此外，圖4A具有全色像素的單行，其中每行由一行彩色像素與相鄰的全色像素的行隔開；圖4B在列方向上具有相同的特性。
圖4C表示具有基本上相同的單元色彩特性的圖4A的又一個可選最小重複單位。然而，圖4C示出在逐單元的基礎上交錯的全色和彩色行。這可以改進垂直全色解析度。圖4A的再一個可選最小重複單位表示在圖4D中，其中全色和彩色行逐列對地交錯(staggered by columnpairs)。這也具有改進垂直全色解析度的潛力。圖4A-D中所有這些最小重複單位的特性是兩個或者更多個相同色彩像素的組並排地布置在行或者列中。
圖4A-D都具有相同的彩色結構，其中構成最小重複單位的單元表示低解析度Bayer圖案。因此可看到在本發明的精神內構造了全色像素和成組的彩色像素的各種布置。
為了增加彩色光敏感度來克服全色光敏感度和彩色光敏感度之間的不一致，以各種方式組合每個單元內的彩色像素。例如，在CCD圖像傳感器或者允許裝倉(binning)的有源像素傳感器的類型(見圖1，圖像傳感器20)中，來自相同色彩的像素的電荷被組合或者裝倉。可選地，對應於在相同色彩的像素中測量的電荷量的電壓被平均，例如通過並聯連接被充電到這些電壓的電容器(見圖1，圖像傳感器20)。在通過並聯連接電容器來平均電壓的情況下，電容器可以是相等大小以進行簡單的平均，或者它們可以是不同大小以便進行加權平均。在又一種方案中，相同色彩的像素處的光等級的數字表示被求和，平均，或者數字濾波，來提供組合的結果，例如在圖1中的數位訊號處理器36。組合或者裝倉來自兩個像素的電荷使得信號電平加倍，同時與採樣和讀出組合信號關聯的噪聲保持不變，從而以因子2增加了信噪比，表示組合像素的光敏感度上兩倍的增加。在對來自兩個像素的光等級的數字表示求和的情況下，得到的信號按照因子2增加，但是來自讀取這兩個像素的對應的噪聲等級正交(in quadrature)組合，從而以2的平方根增加了噪聲；因此得到的組合像素的信噪比相對於未組合的信號以2的均方根增加。類似的分析適用於電壓或者數字平均。
之前提到的組合來自單元內相同色彩的像素的信號的方案被單獨地或者組合地使用。例如，以兩個的組垂直組合來自圖4A中相同色彩的像素的電荷，產生具有圖7A中所示的組合信號R』，G』和B』的組合像素。在此情況下，每個R』，G』和B』具有未組合像素的兩倍的敏感度。可選地，通過以四個的組對從圖4A中相同色彩的像素測量的值(電壓或者數字)進行求和的水平組合，產生具有7B中所示的組合信號R』，G』和B』的組合像素。在此情況下，由於信號按照因子4增加而噪聲增加2倍，每個R』，G』和B』具有未組合像素的兩倍的敏感度。在另一種可選組合方案中，如在圖7A中那樣以兩個的組垂直組合來自相同色彩的像素的電荷，並且以四個的組水平地求和或者平均圖7A的組合像素的測量值，產生圖7C的最終組合的彩色像素，其中R」，G」和B」表示最終的相同色彩的像素的組合。在這種組合布置中，圖7C的最終組合的彩色像素每個具有未組合像素的四倍的敏感度。一些傳感器架構，尤其是特定的CCD結構，可以允許來自每個單元內的所有八個相同色彩的像素的電荷以圖7C的方式被組合，得到對於組合的彩色像素敏感度上八倍的增加。
根據前述，現在將理解在為了調節彩色像素的光響應的目的而組合彩色像素中，存在幾種自由度。熟知的組合方案對於本領域技術人員將是容易想到的，它們基於場景內容，場景光源，總體光等級，或者其它標準。此外，選擇組合方案來有意地允許組合像素具有或者高於或者低於全色像素的敏感度。上面討論的組合像素的各種方式與採用本揭示和相關揭示中描述的任何圖案的圖像傳感器一起使用。
到目前為止，圖像傳感器已經被描述為採用紅色，綠色，和藍色濾色器，使得對於每個紅色和藍色像素有兩個綠色像素。本發明還可被實施為具有相等比例的紅色，綠色和藍色濾色器，如圖8A所示。圖8A的最小重複單位用於以幾種不同的方式鋪設傳感器陣列，其中的一些方式示於圖8B-D中。將理解可以使用這些圖案的幾何上相似的變型，諸如圖8A的最小重複單位。圖8E示出圖8A的最小重複單位的旋轉形式。
本發明還可以與具有超過三種彩色光響應的像素一起使用。圖9A示出除了全色像素之外使用四種色彩的圖8A的最小重複的變型。圖9B-C示出這兩種圖案的額外的變型，其中全色像素的單行由全色像素的雙行替代。所有這些圖案不具有相同色彩的多個像素。這個事實以及使用這種圖案的優選方法將在稍後討論。
另一種最小重複單位示於圖10A中，其包含一個紅色，兩個綠色，和一個藍色像素。使用該圖案的鋪設示例示於圖10B中。
採用青色，品紅色，和黃色傳感器的圖像傳感器在本領域中是熟知的，且本發明利用青色，品紅色，和黃色濾色器實施。圖10C示出圖10A的青色，品紅色，和黃色等價體，其中C代表青色像素，M代表品紅色像素，Y代表黃色像素。
圖10D示出包括青色像素(由C表示)，品紅色像素(由M表示)，黃色像素(由Y表示)，和綠色像素(由G表示)的本發明的最小重複單位。圖10E示出又一種可選的四色布置，包括紅色像素(由R表示)，藍色像素(由B表示)，具有一種彩色光響應的綠色像素(由G表示)，以及具有不同的彩色光響應的可選的綠色像素(由E表示)。圖10F示出再一種可選的四色布置，其中圖10A的其中一個綠色單元由黃色單元替代，其中黃色像素由Y表示。
圖11A示出圖10A的圖案的變型，其中每行全色像素由全色像素的雙行替代。示於圖11B中的額外的示例是對圖10E的圖案應用的相同的變型。
本發明用除了矩形陣列之外的像素陣列實施。圖12A示出圖8A的圖案的變型，其中像素是八角形的並且布置在對角線行上。因為像素幾何形狀是八角形，存在位於水平和垂直相鄰者之間的小方塊空隙，該空隙可以用於需要的傳感器功能，諸如數據傳輸電路。圖12B示出使用圖12A的最小重複單位的鋪設圖案的示例。在圖12B中，全色像素出現在本質上是對角線的行中。類似地，彩色像素也出現在對角線取向的行中。
圖13A示出圖8A的圖案的另一種變型，其中像素是六角形的並且垂直地布置。圖13B示出使用圖13A的最小重複單位的鋪設圖案的示例。在圖13B中，全色像素在列中出現。類似地，彩色像素也在列中出現。
圖14示出使用比彩色像素少的全色像素的另一種最小重複單位，其中像素是六角形地包裝的，並且其中全色像素出現在本質上是對角線的行中。另外，在圖14中，彩色像素在對角地取向的行中出現。圖15示出圖13A的圖案的另一種變型。在本發明的範圍內，應當注意像素的行和列不一定相互垂直，如圖12A-15中所示的那樣。
現在轉到圖16，圖5的最小重複單位被示出為細分成四個單元，單元是具有比最小重複單位少的像素的連續子陣列。提供下面的處理所需要的軟體被包括在圖1的DSP 36中。單元220，224，226和228是單元的示例，其中這些單元包含分別具有綠色，紅色，藍色和綠色光響應的像素。在該示例中，單元220包含全色像素和綠色像素兩者，綠色像素被標識為像素組222。最終目的是通過組合來自像素組222中的綠色像素的八個綠色信號，產生單元220的單個綠色信號。取決於圖像傳感器的操作模式，通過在模擬域組合所有八個綠色信號(例如通過電荷裝倉)，產生單個綠色信號，或者通過組合從像素組222中取的較小的像素組，產生多個綠色信號。單元220的全色像素示於圖17中。在下面的示例中，來自這些全色像素的所有八個信號被單獨地數位化。單元220的綠色像素示於圖17B-17E中，其中根據它們的信號如何被組合而將它們分組在一起。圖17B描繪了其中所有八個綠色像素被組合以產生單元220(圖16)的單個綠色信號的情況。傳感器可以產生兩個綠色信號，例如通過首先組合來自像素G21，G22，G23和G24的信號，並接著組合來自像素G41，G42，G43和G44的信號，如圖17C中所示。也可以其他方式產生兩個信號。傳感器可以首先組合來自像素G21、G22、G41和G42的信號，然後組合來自像素G23、G24、G43和G44的信號，如圖17D所示。傳感器還可以通過組合四對信號，例如，將像素G21與G22組合，接著將G23與G24組合，接著將G41與G42組合，最後將G43與G44組合，產生單元220的四個綠色信號，如圖17E中所示。很清楚有很多其它的方式來組合單元220(圖16)中的多對綠色信號。如果傳感器不進行任何組合，那麼為單元220單獨地報告所有八個綠色像素。從而，在單元220的情況下，傳感器可根據其操作模式，為單元220產生一個，兩個，四個，或者八個綠色值，並且以不同的方式產生它們。
對於單元224，226和228(圖16)，傳感器根據其操作模式產生類似的色彩信號。單元224，226和228的色彩信號分別是紅色，藍色和綠色。
回到單元220的情況，不管對於該單元有多少信號被數位化，本發明的圖像處理算法還組合數位化的綠色值來產生該單元的單個綠色值。獲得單個綠色值的一種方式是通過平均為單元220生成的所有數位化的綠色值。在單元包含具有不同光響應的彩色像素的情況下，該單元中所有彩色數據被類似地組合，從而對於該單元內表現的每種彩色光響應有單個值。
區分屬於捕獲原始圖像數據的原始傳感器中的像素的色彩值，和屬於原始傳感器中的單元的色彩值是重要的。兩種類型的色彩值都被用於產生彩色圖像，但是得到的彩色圖像具有不同的解析度。具有與原始傳感器中像素關聯的像素值的圖像被稱為高解析度圖像，具有與原始傳感器中的單元關聯的像素值的圖像被稱為低解析度圖像。
現在轉到圖18，數位訊號處理器模塊36(圖1)被示出為從數據總線30(圖1)接收捕獲的原始圖像數據。該原始圖像數據被傳送到低解析度部分彩色模塊202和高解析度全色模塊204。圖像傳感器的最小重複單位的示例已經示於圖5和圖16中。在單元220(圖16)的情況下，捕獲的原始圖像數據包括由如圖17A所示的個體全色像素產生的全色數據。另外，對於單元220(圖16)，一個或多個綠色(彩色)值也被包括，例如，從圖17B-E中所示的組合。
在低解析度部分彩色模塊202(圖18)中，根據捕獲的原始圖像數據產生部分彩色圖像，部分彩色圖像是其中每個像素具有至少一個彩色值並且每個像素還缺失至少一個彩色值的彩色圖像。取決於傳感器的操作模式，捕獲的原始數據包含每個單元內的彩色像素產生的某個數量的彩色值。在低解析度部分彩色模塊202中，這些彩色值被縮減到用於在該單元中表現的每種色彩的單個值。作為示例，對於單元220(圖16)，產生單個綠色值。類似地，對於單元224，226和228，分別產生單個紅色，藍色和綠色彩色值。
低解析度部分彩色模塊202以類似的方式處理每個單元，得到彩色值的陣列，每個單元一個彩色值。因為得到的圖像陣列基於單元而不是原始傳感器中的像素，它在每個尺度上比初始捕獲的原始圖像數據陣列小四倍。因為得到的陣列是基於單元的並且因為每個像素具有一些但不是全部彩色值，得到的圖像是低解析度部分彩色圖像。在這一點上，低解析度部分彩色圖像是色彩平衡的。
現在來看高解析度全色模塊204，使用相同的原始圖像數據，如圖16所示，不過僅使用全色值(圖17A)。這次任務是通過估計在還沒有全色值的那些像素處的全色值，來內插完整的高解析度全色圖像。在單元220的情況下(圖16)，必須為像素組222(圖16)中的綠色像素估計全色值。估計缺失的全色值的一種簡單方式是進行垂直平均。從而，例如，可以如下所示估計像素22處的全色值 P22＝(P12+P32)/2 還可以使用適應性方法。例如，一種適應性方法是使用如圖17A所示的全色值計算三個梯度值並取它們的絕對值 SCLAS＝ABS(P31-P13) VCLAS＝ABS(P32-P12) BCLAS＝ABS(P33-P11) 類似地，計算三個預測器值 SPRED＝(P31+P13)/2 VPRED＝(P32+P12)/2 BPRED＝(P33+P11)/2 接著，將P22設置為等於對應於最小分類器值的預測值。在分不出大小的情況下，將P22設置為等於所指示的預測器值的平均。在整個圖像上繼續全色內插，而不考慮單元邊界。當高解析度全色模塊204的處理完成時，得到的數字全色圖像與初始捕獲的原始圖像大小相同，這使得它成為高解析度全色圖像。
低解析度全色模塊206接收模塊204產生的高解析度全色圖像陣列，並產生與模塊202產生的低解析度部分彩色圖像大小相同的低解析度全色圖像陣列。每個低解析度全色值是通過對具有濾色器的那些像素，平均給定單元內的估計的全色值而獲得的。在單元220(圖16)的情況下，之前為像素組222(圖16)中的綠色像素估計的高解析度全色值，現在被平均在一起以產生該單元的單個低解析度全色值。類似地，使用在具有紅色濾色器的像素處估計的高解析度全色值，為單元224計算單個低解析度全色值。通過這種方式，每個單元最終具有單個低解析度全色值。
低解析度色彩差別模塊208從模塊202接收低解析度部分彩色圖像，從模塊206接收低解析度全色陣列。接著在低解析度全色圖像的指導下，通過色彩內插該低解析度部分彩色圖像，形成低解析度中間彩色圖像。稍後詳細討論的色彩內插算法的確切本質取決於使用哪個像素光響應圖案來捕獲初始的原始圖像數據。
在形成低解析度中間彩色圖像之後，它被色彩校正。一旦低解析度中間彩色圖像被色彩校正，通過將低解析度全色圖像單獨地從每個低解析度色彩平面減去，計算低解析度色彩差別的圖像。高解析度色彩差別模塊210從模塊208接收該低解析度色彩差別圖像，並且使用雙線性內插，上採樣(upsample)低解析度色彩差別圖像來匹配初始的原始圖像數據的大小。結果是與模塊204產生的高解析度全色圖像相同大小的高解析度色彩差別圖像。
高解析度最終圖像模塊212從模塊210接收高解析度色彩差別圖像，並從模塊204接收高解析度全色圖像。接著通過將高解析度全色圖像增加到每個高解析度色彩差別平面上來形成高解析度最終彩色圖像。得到的高解析度最終彩色圖像接著可以被進一步處理。例如，它被存儲在DSP存儲器模塊32(圖1)中，並接著被銳化和壓縮以便存儲在存儲卡模塊64(圖1)上。
圖4A-D中所示的傳感器濾色器圖案具有最小重複單位使得在模塊202中產生的得到的低解析度部分彩色圖像對於濾色器呈現出重複的Bayer圖案 G R B G 除了由低解析度部分彩色圖像給出的單個彩色值，每個單元還具有低解析度全色圖像給出的全色值。
考慮其中Bayer圖案存在於低解析度部分彩色圖像中的情況，現在可以更詳細地描述在低解析度色彩差別模塊208(圖18)內的色彩內插的任務。色彩內插開始於在圖19A中示為像素234的還沒有綠色值的像素處內插綠色值。示出為像素230，232，236和238的四個相鄰像素全部具有綠色值並且它們還全部具有全色值。中心像素234具有全色值，但是不具有全色值，如問號所指示的。
第一步驟是計算兩個分類器值，第一個涉及水平方向，第二個涉及垂直方向 HCLAS＝ABS(P4-P2)+ABS(2*P3-P2-P4) VCLAS＝ABS(P5-P1)+ABS(2*P3-P1-P5) 接著，計算兩個預測器值，第一個涉及水平方向，第二個涉及垂直方向 HPRED＝(G4+G2)/2+(2*P3-P2-P4)/2 VPRED＝(G5+G1)/2+(2*P3-P1-P5)/2 最後，令THRESH為根據經驗確定的閾值，我們可以根據如下算法適應地計算缺失的值G3 IF MAX(HCLAS，VCLAS)<THRESH G3＝(HPRED+VPRED)/2 ELSEIF VCLAS<HCLAS G3＝VPRED ELSE G3＝HPRED END 因此，如果兩個分類器都小於閾值，為G3計算兩個預測器值的平均值。如果不是，那麼根據哪個分類器HCLAS或者VCLAS更小來使用HPRED或者VPRED。
一旦已經估計出所有缺失的綠色值，內插缺失的紅色和藍色值。如圖19B中所示，像素242缺失紅色值，但是其兩個水平相鄰者，像素240和244，分別具有紅色值R2和R4。所有三個像素都具有綠色值。在這些條件下，對於像素242的紅色值(R3)的估計如下計算 R3＝(R4+R2)/2+(2*G3-G2-G4)/2 在類似的情況下以相似的方式計算缺失的藍色值。在此點，僅有的仍然具有缺失的紅色和藍色值的像素是那些需要垂直內插的。如圖19B中所示，像素252缺失紅色值，但是其兩個垂直相鄰者，像素250和254，分別具有紅色值R1和R5。在這些條件下，對於像素252的紅色值(R3)的估計如下計算 R3＝(R5+R1)/2+(2*G3-G1-G5)/2 在類似的情況下以相似的方式計算缺失的藍色值。這完成低解析度部分彩色圖像的內插，結果是低解析度中間彩色圖像。在剛剛討論的示例中，如較早所描述的，現在可以通過將低解析度全色值從每個彩色平面紅色，綠色和藍色中減去來計算低解析度色彩差別。
現在轉到圖20，示出使用圖8A的最小重複單位的四個複製體的傳感器的部分鋪設。這四個最小重複單位310，311，312和313每個包含紅色，綠色和藍色像素。儘管較早的組合像素的討論限於同一最小重複單位中相同色彩的像素，例如如圖16中所示，本發明也可以通過組合來自附近的最小重複單位的像素來實施。如圖20中所示，紅色像素R21和R41構成在垂直方向上組合的像素對314。類似地，綠色像素G42和G45構成在水平方向上組合的像素對315。當最小重複單位相對小時，諸如如圖20中使用的圖8A的圖案，組合來自相鄰的最小重複單位的相同色彩的像素是有用的。
參考圖20考慮如上所述的作為在相鄰的最小重複單位之間發生的組合是有用的，其中相鄰被定義為在兩個最小重複單位之間共享正長度的邊界。給定這個定義，圖20中的最小重複單位311和312相鄰於最小重複單位310，但是最小重複單位311和312彼此不相鄰。在如上所述的組合中，來自相鄰的最小重複單位的相同色彩的像素被組合，其中相同色彩(like color)被定義為具有相似的光譜光響應。給定這個定義，圖20中的所有紅色像素R21，R24，R41和R44是相同色彩的像素，並且所有全色像素P11到P16和P31到P36是相同色彩的像素。在如上所述的組合中，來自相鄰的最小重複單位的相似定位的像素被組合，其中相似定位被定義為在每個最小重複單位內具有相同的相對位置。例如，圖20中的像素G42和G45是相似定位的，並且被組合為對315。注意相似定位的像素必須是相同色彩的像素。
儘管在彩色像素的背景中大致描述了組合，有時候組合全色像素是有用的。在低光等級或者短曝光時間的情況下，組合全色像素來折衷全色解析度以增加組合的全色像素的信號強度是有用的。注意到相鄰的最小重複單位、相同色彩的像素、以及相似定位的像素的定義適用於全色像素以及彩色像素是重要的。例如，圖20中的全色像素P12和P15是相似定位的並且被組合為對316。此外，全色像素P13和P14是相同色彩的像素(但不是相似定位的)並且被組合為對317。注意如果在最小重複單位中有多個單色彩的像素，那麼組合最小重複單位中相同色彩的像素有時候是有用的。例如，全色像素P35和P36是最小重複單位中相同色彩的像素，它們被組合為對318。
到此點為止描述的組合包括組合來自相鄰的最小重複單位的相同色彩或者相似定位的像素。在一些情況下，將全色像素與彩色像素組合是有用的。在圖20中，組合的對319包括全色像素P16和藍色像素B26。例如，在光等級低或者曝光時間非常短時將全色與彩色像素組合，以便增加來自組合像素的總體信號強度。儘管319示出來自一個最小重複單位內的全色像素和彩色像素的組合，將全色像素與附近的最小重複單位的彩色像素組合也是有用的。
在給定的最小重複單位的陣列中同時組合來自相鄰的最小重複單位的相似定位的像素，來自相鄰的最小重複單位的相同色彩的像素，以及最小重複單位內相同色彩的像素以及全色和彩色像素，是在本發明的範圍內的。還將理解根據圖像捕獲條件，組合方法的特定配置在一個時刻是有用的，而在不同的時刻不同的配置對於不同的圖像捕獲條件是有用的，從而可以在圖像捕獲時刻動態地調節組合配置。例如，當總體的場景光等級高時，不組合全色像素，但是當總體的場景光等級低時，將全色像素相互組合或者與彩色像素組合以便提高信號電平。
上述各種組合方法的示例示於圖21到圖27中。在圖21A-21D中，示出了是圖10A中所示的類型的變型的兩個相鄰的最小重複單位330和331。在圖21A中，來自這兩個最小重複單位的所有相似定位的彩色像素被組合，如像素對332，333，334和335所示。在圖21B中，所有相似定位的全色像素被組合，如像素對336，337，338和339所示。
圖21C示出在最小重複單位內組合相同色彩的像素，同時在最小重複單位之間組合相似定位的像素。圖21C包括是圖10A中所示的類型的變型的兩個相鄰的最小重複單位330和331。相似定位的像素R21和R23被組合為對340，相似定位的像素B42和B44被組合為對341。G22和G41是位於最小重複單位330中的相同色彩的像素，並且它們被示出為組合成對342；類似地，來自最小重複單位331的像素G24和G43被示出為組合成對343。
圖21D示出在最小重複單位內組合全色像素，同時在最小重複單位之間組合全色像素。圖21D包括是圖10A中所示的類型的變型的兩個相鄰的最小重複單位330和331。P11和P12是位於最小重複單位330中的全色像素，並且它們被示出為組合成對344；類似地，來自最小重複單位331的像素P13和P14被示出為組合成對345。全色像素P32和P33在不同的最小重複單位中，並且它們被示出為組合成對346。未組合的全色像素P31和P34被留下不組合，或者與來自相鄰的最小重複單位的像素組合，如箭頭347和348所示。
儘管圖21A-21D的最小重複單位水平布置，圖22示出垂直布置的兩個相鄰的最小重複單位360和361，其中相似定位的彩色像素被組合，如像素對362，363，364和365所示。
除了按對來組合來自兩個相鄰最小重複單位的像素之外，有用的是組合來自三個或者更多個最小重複單位的像素。例如，圖23示出是圖10A中所示的類型的變型的三個相鄰的最小重複單位370，371和372。相同色彩的(同時也是相似定位的)像素被示出為以三個來組合，如像素三元組373，374，375和376。
圖24示出是圖10A中所示類型的變型的五個相鄰的最小重複單位380，381，382，383和384，其中相同色彩的像素被示出為組合成紅色三元組390，綠色對391，綠色三元組392，紅色對393，綠色三元組394，藍色對395，藍色三元組396以及綠色對397。該特定的布置產生均勻間隔的組合像素對。組合390產生位於R23的位置的組合的紅色結果(假定像素R21，R23和R25在組合過程中是相等加權的)，組合391產生也位於R23的位置的組合的綠色結果。類似地，在G28的位置處有紅色-綠色組合的對，在G43的位置處有綠色-藍色組合的對，以及在B48的位置處有綠色-藍色組合的對。像素位置R23，G28，G43和B48在五個最小重複單位的組內是均勻間隔的，並且如果組合像素以及五個最小重複單位的該組被重複以產生最小重複單位的更大的陣列，得到的組合像素在整個得到的陣列上是均勻間隔的。用圖23中所示的組合布置與此對照如果該三個最小重複單位以及組合像素的組被重複來產生較大的陣列，得到的組合像素集中在三個最小重複單位的每個組的中央，從而在整個陣列上不是均勻間隔的。
圖25A示出是圖10A中所示的類型的變型的四個相鄰的最小重複單位400，401，402和403。在圖25A中，一些相同色彩的像素在四個最小重複單位的組內被組合，而其他像素與來自相鄰於該四個的組的最小重複單位的像素組合。具體來說，像素R21，R23和R25被組合為三元組410，像素G24，G26和G28被組合為三元組411，像素G41，G43和G45被組合為三元組412，像素B44，B46和B48被組合為三元組413。這留下沒有被組合的或者與來自相鄰的最小重複單位的像素組合的幾個彩色像素例如，像素G22與來自該四個的組左側的最小重複單位的像素組合，如箭頭414所示。類似地，像素B42與來自左側的相鄰最小重複單位的像素組合，如箭頭416所示，像素R27和G47與來自右側的相鄰最小重複單位的像素組合，如分別由箭頭415和417所示。在圖25A中，來自中間的兩個最小重複單位401和402的所有相似定位的彩色像素被組合，這些組合像素中的一些還與來自左側的最小重複單位400的相似定位的彩色像素組合，其他的組合像素還與來自右側的最小重複單位403的相似定位的彩色像素組合。
如果圖25A中的由400到403所示例的類型的最小重複單位被鋪設來產生較大的陣列，圖25A中所示的組合布置被延伸來覆蓋最小重複單位的陣列，如圖25B中所示。在圖25B中示出各具有四個最小重複單位的三個重疊組405L，405C和405R。組405L由為了組合目的分別對應於圖25A的最小重複單位400，401，402和403的最小重複單位400L，401L，402L和403L構成。類似地，組405C由同樣對應於圖25A的最小重複單位400，401，402和403的最小重複單位400C，401C，402C和403C構成，組405R由同樣對應於圖25A的最小重複單位400，401，402和403的最小重複單位400R，401R，402R和403R構成。注意組405L的最小重複單位403L也是組405C的最小重複單位400C，組405C的最小重複單位403C也是組405R的最小重複單位400R。因此，最小重複單位403L/400C是組405L和405C重疊的地方，最小重複單位403C/400R是組405C和405R重疊的地方。四個最小重複單位的每個組405L，405C和405R中包含的曲線連接如圖25A中的410，411，412和413所示的被組合的像素。延伸到組外的曲線連接到相鄰的且重疊的組，並對應於圖25A中的414，415，416和417。很清楚圖25A和25B中所示的組合布置提供了均勻間隔的彩色像素的組合結果。此外，這些組合的彩色像素代表色彩的Bayer布置。
注意最小重複單位是用於產生更大的像素陣列的鋪設單位。圖24，25A，和25B中所示的最小重複單位的組僅是為了組合目的，而不是為了鋪設目的。在一些情況中，組合完全包含在最小重複單位的組中，如圖24中所示，並且在一些情況中，組合擴展到組之外，如圖25A中所示。在組合擴展到最小重複單位的組之外的一些情況中，代表性的最小重複單位的組為了組合的目的而重疊，如圖25B中所示。注意最小重複單位以一種布置來分組以便組合某些像素，而以另一種布置來分組以便組合其它像素。例如，最小重複單位以一種布置來分組以便組合彩色像素，而以一種不同的布置來分組以便組合全色像素。
儘管前面的段落中的示例使用了是圖10A中所示類型的變型的最小重複單位，顯然應理解這些組合布置可以與其他類型的最小重複單位一起使用。例如，用是圖11中所示類型的變型的最小重複單位替代圖21到25中的最小重複單位，產生類似的組合結果並且完全在本發明的範圍內。
前面的示例都示出了按行或者按列直線布置的最小重複單位。為了組合像素的目的，以其他方式布置相鄰的最小重複單位也是有用的。圖20提供一個這樣的示例，其中四個最小重複單位布置在兩行和兩列中。另一個示例示於圖26A中，其具有圖8A所示類型的三個最小重複單位420，421，和422。該三個最小重複單位被布置為使得每個最小重複單位相鄰於另兩個。該三個的組中相同色彩的像素被組合例如，像素R21，R41和R44被組合。該三個相互相鄰的最小重複單位的布置被重複來產生更大的像素陣列。作為在一組最小重複單位內相互相鄰的另一個示例，圖26B具有四個圖8A所示類型的最小重複單位425，426，427和428，這四個最小重複單位中的每個與這四個的組中的至少其他兩個相鄰。該四個的組內相同色彩的像素被組合例如，像素R21，R41，R44和R61被組合。
圖27示出將全色像素與彩色像素組合。最小重複單位430是圖10A中所示類型的變型。像素P11和R21形成組合的對431，像素P12和G22形成組合的對432，像素P31和G41形成組合的對433，像素P32和B42形成組合的對434。
現在轉到圖28，具有16個像素的最小重複單位被示出為具有兩個複製體，最小重複單位440和441。上部最小重複單位440被細分成兩個單元442和443。單元442包含四個全色像素P11，P12，P13和P14，兩個藍色像素B21和B23，以及兩個綠色像素G22和G24的水平行。單元443包含四個全色像素P15，P16，P17和P18，兩個紅色像素R25和R27，以及兩個綠色像素G26和G28的水平行。下部最小重複單位441被細分成兩個單元444和445，它們分別包含與單元442和443類似的像素圖案。給定包括如圖28中所示的單元的最小重複單位，有幾種方式來組合像素。在圖28中，來自相鄰的最小重複單位440和441的像素B21和B41提供組合的像素對450。來自單元444的像素G42和G44提供組合的像素對451。像素P14和P15分別是來自單元442和443的全色像素，它們提供像素對452。全色像素P13與彩色像素B23組合來提供組合的像素對453。
如之前已經示出過的，本發明包括在單個最小重複單位內和在多個相鄰的最小重複單位之間兩種情況下組合任意數量的像素。如圖28中所示，綠色像素G26，G28，G46和G48構成組合像素的四元組455，所有這些綠色像素被組合來產生單個色彩值。該四倍組合同時包括水平地和垂直地組合像素，以及組合來自單個最小重複單位內的多個像素，和取自多個相鄰的最小重複單位的多個像素。
圖29A-C中的每一個示出圖28所示類型的最小重複單位460。最小重複單位460由兩個單元462和464構成。在圖29A中，來自單元462內的像素B21和B23提供組合的像素對465。類似地，來自單元464內的像素R25和R27提供組合的像素對466。來自單元462內的像素G22和G24與來自單元464的像素G26組合，來提供組合的像素三元組467。紅色和藍色組合像素完全包含在它們各自的單元中，而綠色組合像素來自兩個不同的單元。這種特定的組合布置具有關於組合結果的放置的優點組合的藍色像素對465的形心(centroid)是在像素G22的位置處，組合的綠色像素三元組467的形心是在像素G24的位置處，組合的紅色像素對466的形心是在像素G26的位置處，而未組合的綠色像素G28留在其當前位置。因此，組合的彩色像素的形心連同未組合的綠色像素一起是均勻間隔的，從而使採樣過程中的失真(aliasing)最小化。
圖29B示出組合來自最小重複單位460的單元內的全色像素。全色像素P11，P12和P13提供組合的像素三元組468，全色像素P15，P16和P17提供組合的像素三元組469。如同與圖29A中組合彩色像素的布置一樣，圖29B的組合布置具有關於組合結果的放置的優點組合的像素三元組468的形心是在像素P12的位置處，組合的像素三元組469的形心是在像素P16的位置處，而未組合的全色像素P14和P18留在它們的當前位置。因此，組合的全色像素的形心連同未組合的全色像素一起是均勻間隔的。此外，這些均勻間隔的組合的和未組合的全色像素在垂直方向上布置在圖29A中所示的對應的組合的和未組合的彩色像素之上，潛在地簡化了內插過程。
圖29C示出全色像素的其他組合來自單元462的像素P13和P14與來自單元464的像素P15組合，來提供組合的全色三元組470；來自單元464的像素P17和P18與來自最小重複單位460右側的最小重複單位的最左邊的像素組合，來形成組合的全色像素三元組471；來自單元462的像素P11與來自最小重複單位460左側的最小重複單位的最右邊的兩個全色像素組合，來形成組合的全色像素三元組472。如同與圖29B中的組合的和未組合的全色像素一樣，圖29C中四個組合的全色像素三元組的形心是均勻間隔的。圖29顯示個體像素被用於多個組合中以及僅被使用一次像素P11被使用兩次，一次在組合472中，一次在組合468中；像素P13被用於組合468和470中；像素P15被用於組合470和469中，像素P17被用於組合469和471中。
不是所有的傳感器都產生表現出彩色值的重複Bayer圖案的低解析度部分彩色圖像。例如，圖28和圖29A-C中所示的傳感器圖案確定兩個相鄰的最小重複單位生成兩對彩色值。在每種情況下，來自相鄰的最小重複單位的一對單元產生用於圖像的低解析度彩色表示的色彩值。單元442和444的對通過為藍色值組合像素B21，B23，B41和B43，以及通過為綠色值組合像素G22，G24，G42和G44，來提供藍色和綠色色彩值。類似地，單元443和445的對通過為紅色值組合像素R25，R27，R45和R47，以及通過為綠色值組合像素G26，G28，G46和G48，來提供紅色和綠色色彩值。這種在來自相鄰的最小重複單位的單元之間組合像素的圖案在整個傳感器上重複。結果是圖像的低解析度表示，其中每個低解析度像素具有綠色值和或者紅色或者藍色值。在此點，低解析度色彩差別模塊208(圖18)中的色彩內插任務為每個像素估計缺失的紅色值或者缺失的藍色值。參考圖19D，像素264被示出為具有綠色值(G3)但沒有紅色值(R3)。相鄰像素中的四個260，262，266和268具有綠色值和紅色值。為像素264(圖19D)內插紅色值的方法類似於用於為像素234(圖19A)內插綠色值的方法。
第一步驟是計算兩個分類器值，第一個值涉及水平方向，第二個值涉及垂直方向 HCLAS＝ABS(G4-G2)+ABS(2*G3-G2-G4) VCLAS＝ABS(G5-G1)+ABS(2*G3-G1-G5) 接著，計算兩個預測器值，第一個值涉及水平方向，第二個值涉及垂直方向 HPRED＝(R4+R2)/2+(2*G3-G2-G4)/2 VPRED＝(R5+R1)/2+(2*G3-G1-G5)/2 最後，令THRESH為根據經驗確定的閾值，適應地根據如下算法計算缺失的值G3 IF MAX(HCLAS，VCLAS)<THRESH R3＝(HPRED+VPRED)/2 ELSEIF VCLAS<HCLAS R3＝VPRED ELSE R3＝HPRED END 從而，如果兩個分類器都小於閾值，為R3計算兩個預測器值的平均值。如果不是，那麼根據哪個分類器HCLAS或者VCLAS更小來使用HPRED或者VPRED。
缺失的藍色值以完全一樣的方式，用藍色值代替紅色值來內插。一旦完成，產生了低解析度中間彩色圖像。從那裡，如前所述地計算低解析度色彩差別。
部件列表 10來自目標場景的光 11成像級 12鏡頭 13中性密度濾色器 14光闌 16亮度傳感器 18快門 20圖像傳感器 22模擬信號處理器 24模數(A/D)轉換器 26定時發生器 28圖像傳感器級 30數位訊號處理器(DSP)總線 32數位訊號處理器(DSP)存儲器 36數位訊號處理器(DSP) 38處理級 40曝光控制器 50系統控制器 52系統控制器總線 54程序存儲器 56系統存儲器 57主機接口 60存儲卡接口 62存儲卡槽 64存儲卡 68用戶控制和狀態界面 70取景器顯示器 72曝光顯示器 74用戶輸入 76狀態顯示器 80視頻編碼器 82 顯示控制器 88 圖像顯示器 100 Bayer圖案的最小重複單位 102 非最小的Bayer圖案的重複單位 110 紅外阻斷濾色器的光譜透射曲線 112 傳感器沒有濾色的光譜光響應曲線 114 傳感器的紅色光響應曲線 115 傳感器的綠色光響應曲線 118 傳感器的藍色光響應曲線 120 第一綠色單元 122 紅色單元 124 藍色單元 126 第二綠色單元 202 低解析度部分彩色模塊 204 高解析度全色模塊 206 低解析度全色模塊 208 低解析度色彩差別模塊 210 高解析度色彩差別模塊 212 高解析度最終圖像模塊 220 第一綠色單元 222 第一綠色單元中的綠色像素 224 紅色單元 226 藍色單元 228 第二綠色單元 230 內插缺失的綠色值的上方像素值 232 內插缺失的綠色值的左側像素值 234 具有缺失的綠色值的像素 236 內插缺失的綠色值的右側像素值 238 內插缺失的綠色值的下方像素值 240 內插缺失的紅色值的左側像素值 242 具有缺失的紅色值的像素 244 內插缺失的紅色值的右側像素值 250 內插缺失的紅色值的上方像素值 252 具有缺失的紅色值的像素 254 內插缺失的紅色值的下方像素值 260 內插缺失的紅色值的上方像素值 262 內插缺失的紅色值的左側像素值 264 具有缺失的紅色值的像素 266 內插缺失的紅色值的右側像素值 268 內插缺失的紅色值的下方像素值 310 左上最小重複單位 311 右上最小重複單位 312 左下最小重複單位 313 右下最小重複單位 314 組合來自垂直相鄰的最小重複單位的紅色像素的示例 315 組合來自水平相鄰的最小重複單位的綠色像素的示例 316 組合來自水平相鄰的最小重複單位的相似定位的全色像素的示例 317 組合來自水平相鄰的最小重複單位的相鄰的全色像素的示例 318 組合來自最小重複單位內的相鄰的全色像素的示例 319 將全色像素與彩色像素組合的示例 330 左側最小重複單位 331 右側最小重複單位 332 組合相似定位的紅色像素 333 組合相似定位的綠色像素 334 組合相似定位的綠色像素 335 組合相似定位的藍色像素 336 組合相似定位的全色像素 337 組合相似定位的全色像素 338 組合相似定位的全色像素 339 組合相似定位的全色像素 340 組合相似定位的紅色像素 341 組合相似定位的藍色像素 342 組合來自最小重複單位內的綠色像素 343 組合來自最小重複單位內的綠色像素 344 組合來自最小重複單位內的全色像素 345 組合來自最小重複單位內的全色像素 346 組合來自兩個最小重複單位之間的全色像素 347 與來自相鄰的最小重複單位的像素組合的全色像素 348 與來自相鄰的最小重複單位的像素組合的全色像素 360 上方最小重複單位 361 下方最小重複單位 362 組合的相似定位的紅色像素 362 組合的相似定位的綠色像素 364 組合的相似定位的綠色像素 365 組合的相似定位的藍色像素 370 左側最小重複單位 371 中央最小重複單位 372 右側最小重複單位 373 組合的相似定位的紅色像素 374 組合的相似定位的綠色像素 375 組合的相似定位的綠色像素 376 組合的相似定位的藍色像素 380 左側最小重複單位 381 中左最小重複單位 382 中央最小重複單位 383 中右最小重複單位 384 右側最小重複單位 390 組合的相似定位的紅色像素 391 組合的相似定位的綠色像素 392 組合的相似定位的綠色像素 393 組合的相似定位的紅色像素 394 組合的相似定位的綠色像素 395 組合的相似定位的藍色像素 396 組合的相似定位的藍色像素 397 組合的相似定位的綠色像素 400 左側最小重複單位 401 中左最小重複單位 402 中右最小重複單位 403 右側最小重複單位 410 組合的相似定位的紅色像素 411 組合的相似定位的綠色像素 412 組合的相似定位的綠色像素 413 組合的相似定位的藍色像素 414 與來自相鄰的最小重複單位的像素組合的綠色像素 415 與來自相鄰的最小重複單位的像素組合的紅色像素 416 與來自相鄰的最小重複單位的像素組合的藍色像素 417 與來自相鄰的最小重複單位的像素組合的綠色像素 400L 來自左側組的左側最小重複單位 401L 來自左側組的中左最小重複單位 402L 來自左側組的中右最小重複單位 403L 來自左側組的右側最小重複單位 400C 來自中央組的左側最小重複單位 401C 來自中央組的中左最小重複單位 402C 來自中央組的中右最小重複單位 403C 來自中央組的右側最小重複單位 400R 來自右側組的左側最小重複單位 401R 來自右側組的中左最小重複單位 402R 來自右側組的中右最小重複單位 403R 來自右側組的右側最小重複單位 405L 左側四個最小重複單位的組 405C 中央四個最小重複單位的組 405R 右側四個最小重複單位的組 420 上方最小重複單位 421 左下方最小重複單位 422 右下方最小重複單位 425 上方最小重複單位 426 中左最小重複單位 427 中右最小重複單位 428 下方最小重複單位 430 最小重複單位 431 組合的全色和紅色像素 432 組合的全色和綠色像素 433 組合的全色和綠色像素 434 組合的全色和藍色像素 440 上方最小重複單位 441 下方最小重複單位 442 上方最小重複單位中的左側單元 443 上方最小重複單位中的右側單元 444 下方最小重複單位中的左側單元 445 下方最小重複單位中的右側單元 450 組合的相似定位的藍色像素 451 來自一個單元內的組合的綠色像素 452 來自最小重複單位中的兩個單元之間的組合的全色像素 453 來自一個單元內的組合的全色和藍色像素 455 來自單元內的以及不同最小重複單位中的單元之間的組合的綠色像素 460 最小重複單位 462 最小重複單位中的左側單元 464 最小重複單位中的右側單元 465 來自一個單元內的組合的藍色像素 466 來自一個單元內的組合的紅色像素 467 來自一個單元內的和兩個單元之間的組合的綠色像素 468 來自一個單元內的組合的全色像素 469 來自一個單元內的組合的全色像素 470 來自一個單元內的和兩個單元之間的組合的全色像素 471 與來自相鄰的最小重複單位的一個或多個像素組合的來自一個單元內的組合的全色像素 472 與來自相鄰的最小重複單位的一個或多個像素組合的全色像素
權利要求
1.一種用於捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的像素；
b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少六個像素，使得最小重複單位的至少一些行或者列僅由來自第二組的像素構成，以及
c)用於組合來自至少兩個相鄰的最小重複單位的相似定位的像素的裝置。
2.如權利要求1所述的圖像傳感器，其中該圖像傳感器的最小重複單位是
P P P
A B C
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
3.如權利要求2所述的圖像傳感器，其中兩個相鄰的最小重複單位如下布置
PPPPPP
ABCAB C
並且組合裝置包括組合至少一對相似定位的A像素，B像素，C像素，或者P像素。
4.如權利要求2所述的圖像傳感器，其中兩個相鄰的最小重複單位如下布置
PP P P P P
AB C A B C
並且組合裝置包括分開地組合這兩個A像素，這兩個B像素，和這兩個C像素。
5.如權利要求2所述的圖像傳感器，其中兩個相鄰的最小重複單位如下布置
P P P P P P
A B C A B C
並且組合裝置包括從左邊分開地組合第一個和第四個P像素，第二個和第五個P像素，以及第三個和第六個P像素。
6.如權利要求2所述的圖像傳感器，其中兩個相鄰的最小重複單位如下布置
PPP
ABC
PPP
ABC
並且組合裝置包括分開地組合這兩個A像素，這兩個B像素，和這兩個C像素。
7.如權利要求1所述的圖像傳感器，其中圖像傳感器的最小重複單位是
PP
AB
PP
BC
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
8.如權利要求1所述的圖像傳感器，其中圖像傳感器的最小重複單位是
PP
AB
PP
PP
BC
PP
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
9.如權利要求1所述的圖像傳感器，其中組合像素是通過將來自該像素的電荷裝倉，通過平均由該像素產生的電壓，或者通過首先將像素值轉換成數字值並接著組合該數字值，或者這些的組合來進行的。
10.如權利要求9所述的圖像傳感器，其中通過首先將各電容器充電到像素產生的電壓，並接著將這些電容器連接在一起以平均該電壓來進行電壓的平均，其中這些電容器大小相同來執行簡單的平均，或者大小不同來執行加權平均。
11.一種用於捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的像素；
b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少六個像素，使得最小重複單位的至少一些行或者列僅由來自第二組的像素構成，以及
c)用於組合來自至少三個相鄰的最小重複單位的相同色彩的像素的裝置。
12.如權利要求11所述的圖像傳感器，其中圖像傳感器的最小重複單位是
P P
A B
P P
B C
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
13.如權利要求12所述的圖像傳感器，其中三個相鄰的最小重複單位如下布置
P P P P P P
A B A B A B
P P P P P P
B C B C B C
並且組合裝置包括分開地組合這三個A像素，第二行中的三個B像素，第四行中的三個B像素，和這三個C像素。
14.如權利要求12所述的圖像傳感器，其中五個相鄰的最小重複單位如下布置
PP P P P P P PPP
AB A B A B A BAB
PP P P P P P PPP
BC B C B C B CBC
並且組合裝置包括分開地組合最左邊的三個A像素，第二行中最左邊的兩個B像素，第四行中最左邊的三個B像素，最左邊的兩個C像素，最右邊的兩個A像素，第二行中最右邊的三個B像素，最右邊的三個C像素，以及第四行中最右邊的兩個B像素。
15.如權利要求11所述的圖像傳感器，其中圖像傳感器的最小重複單位是
P P
A B
P P
P P
B C
P P
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
16.如權利要求15所述的圖像傳感器，其中三個相鄰的最小重複單位如下布置
P P P P P P
A B A B A B
P P P P P P
P P P P P P
B C B C B C
P P P P P P
並且組合裝置包括分開地組合這三個A像素，第二行中的三個B像素，第五行中的三個B像素，和這三個C像素。
17.如權利要求11所述的圖像傳感器，其中所述至少三個最小重複單位中的每一個相鄰於剩餘的最小重複單位中的至少兩個。
18.如權利要求17所述的圖像傳感器，其中該圖像傳感器的最小重複單位是
P P P
A B C
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
19.如權利要求18所述的圖像傳感器，其中三個相鄰的最小重複單位如下布置
P P P
A B C
P P P P P P
A B C A B C
並且組合裝置包括分開地組合這三個A像素，這三個B像素，和這三個C像素。
20.如權利要求18所述的圖像傳感器，其中四個相鄰的最小重複單位如下布置
P P P P P P
A B C A B C
P P P P P P
A B C A B C
並且組合裝置包括分開地組合這四個A像素，這四個B像素，和這四個C像素。
21.如權利要求18所述的圖像傳感器，其中四個相鄰的最小重複單位如下布置
P P P
A B C
P P P P P P
A B C A B C
P P P
A B C
並且組合裝置包括分開地組合這四個A像素，這四個B像素，和這四個C像素。
22.如權利要求11所述的圖像傳感器，其中組合裝置包括組合來自直線地布置的四個相鄰最小重複單位的相同色彩的像素。
23.如權利要求22所述的圖像傳感器，其中組合裝置包括將來自中間兩個最小重複單位的第一組中的所有相似定位的像素，與來自剩餘兩個最小重複單位的第一組中的一些相似定位的像素組合在一起。
24.如權利要求23所述的圖像傳感器，其中該圖像傳感器的最小重複單位以四個的重疊組直線地布置，使得一個四個的組中最左邊的最小重複單位作為另一個四個的組中最右邊的最小重複單位，並且一個四個的組中最右邊的最小重複單位作為又一個四個的組中最左邊的最小重複單位。
25.如權利要求22所述的圖像傳感器，其中該圖像傳感器的最小重複單位如下布置
PP
AB
PP
BC
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
26.如權利要求25所述的圖像傳感器，其中四個相鄰的最小重複單位如下布置
PP P P P P P P
AB A B A B A B
PP P P P P P P
BC B C B C B C
並且組合裝置包括分開地組合最左邊的三個A像素，第二行中最右邊的三個B像素，第四行中最左邊的三個B像素，和最右邊的三個C像素。
27.如權利要求22所述的圖像傳感器，其中該圖像傳感器的最小重複單位是
P P
A B
P P
P P
B C
P P
其中P表示第二組中的像素，
A表示第一組像素中的第一色彩的像素，
B表示第一組像素中的第二色彩的像素，以及
C表示第一組像素中的第三色彩的像素。
28.如權利要求27所述的圖像傳感器，其中四個相鄰的最小重複單位如下布置
PPPPPPPP
ABABABAB
PPPPPPPP
PPPPPPPP
BCBCBCBC
PPPPPPPP
並且組合裝置包括分開地組合最左邊的三個A像素，第二行中最右邊的三個B像素，第四行中最左邊的三個B像素，和最右邊的三個C像素。
29.如權利要求11所述的圖像傳感器，其中組合像素是通過將來自該像素的電荷裝倉，通過平均由該像素產生的電壓，或者通過首先將像素值轉換成數字值並接著組合該數字值，或者這些的組合而進行的。
30.如權利要求29所述的圖像傳感器，其中通過首先將各電容器充電到像素產生的電壓，並接著將這些電容器連接在一起以平均該電壓來進行電壓的平均，其中這些電容器大小相同來執行簡單的平均，或者大小不同來執行加權平均。
31.一種用於捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有按行和列布置的第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的像素；
b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少六個像素，使得最小重複單位的至少一些行或者列僅由來自第二組的像素構成，以及
c)用於將第一組像素與第二組像素組合的裝置。
32.如權利要求31所述的圖像傳感器，其中組合像素是通過將來自該像素的電荷裝倉，通過平均由該像素產生的電壓，或者通過首先將像素值轉換成數字值並接著組合該數字值，或者這些的組合而進行的。
33.如權利要求32所述的圖像傳感器，其中通過首先將各電容器充電到像素產生的電壓，並接著將這些電容器連接在一起以平均電壓來進行電壓的平均，其中這些電容器大小相同來執行簡單的平均，或者大小不同來執行加權平均。
34.一種用於捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的個體像素；
b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少十二個像素，該最小重複單位具有多個單元，其中每個單元具有從第一組像素中選擇的表示特定色彩的至少兩個像素以及從第二組像素中選擇的多個像素，所述像素布置為允許再現在不同光照條件下捕獲的彩色圖像；以及
c)用於組合該至少兩個像素中的至少兩個的裝置。
35.如權利要求34所述的圖像傳感器，其中最小重複單位是
P P P P P P P P
A B A B C B C B
其中P表示第二組中的像素，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
36.如權利要求35所述的圖像傳感器，其中組合裝置包括分開地組合這兩個A像素，最左邊的兩個B像素，最右邊的兩個B像素，和這兩個C像素。
37.如權利要求34所述的圖像傳感器，還包括用於組合第二組像素中的至少兩個的裝置。
38.如權利要求37所述的圖像傳感器，其中最小重複單位是
PP P P P P P P
AB A B C B C B
其中P表示第二組中的像素，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
39.如權利要求38所述的圖像傳感器，其中組合裝置包括以三個的組從左邊開始分開地組合第一，第二，和第三個P像素，以及第五，第六和第七個P像素。
40.如權利要求34所述的圖像傳感器，其中最小重複單位是
PAPAPBPB
APAPBPBP
PAPAPBPB
APAPBPBP
PBPBPCPC
BPBPCPCP
PBPBPCPC
BPBPCPCP
其中P表示第二組中的像素，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
41.如權利要求40所述的圖像傳感器，其中組合裝置包括在垂直方向上按對組合最小重複單位內每一列中相同的第一組色彩。
42.如權利要求34所述的圖像傳感器，其中組合像素是通過將來自該像素的電荷裝倉，通過平均由該像素產生的電壓，或者通過首先將像素值轉換成數字值並接著組合該數字值，或者這些的組合而進行的。
43.如權利要求42所述的圖像傳感器，其中通過首先將各電容器充電到像素產生的電壓，並接著將這些電容器連接在一起以平均電壓來進行電壓的平均，其中這些電容器大小相同來執行簡單的平均，或者大小不同來執行加權的平均。
44.一種用於捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的個體像素；
b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少十二個像素，該最小重複單位具有多個單元，其中每個單元具有從第一組像素中選擇的表示特定色彩的至少兩個像素以及從第二組像素中選擇的多個像素，所述像素布置為允許再現在不同光照條件下捕獲的彩色圖像；以及
c)用於組合來自最小重複單位內該多個單元中至少兩個的相同色彩的像素的裝置。
45.如權利要求44所述的圖像傳感器，其中最小重複單位是
P P P P P P P P
A B A B C B C B
其中P表示第二組中的像素 ，
A表示第一組中的像素的第一色彩，
B表示第一組中的像素的第二色彩，以及
C表示第一組中的像素的第三色彩。
46.如權利要求45所述的圖像傳感器，其中組合裝置包括分開地組合這兩個A像素，最左邊的三個B像素，和這兩個C像素。
47.如權利要求45所述的圖像傳感器，其中組合裝置包括以三個的組從左邊開始分開地組合第一，第二，和第三個P像素；第三，第四，和第五個P像素；以及第五，第六和第七個P像素。
48.如權利要求47所述的圖像傳感器，其中組合裝置還包括分開地將最左邊的P像素與來自左側的相鄰最小重複單位的至少一個像素組合；以及將最右邊的兩個P像素與來自右側的相鄰最小重複單位的至少一個像素組合
49.如權利要求44所述的圖像傳感器，其中組合像素是通過將來自該像素的電荷裝倉，通過平均由該像素產生的電壓，或者通過首先將像素值轉換成數字值並接著組合該數字值，或者這些的組合而進行的。
50.如權利要求49所述的圖像傳感器，其中通過首先將各電容器充電到像素產生的電壓，並接著將這些電容器連接在一起以平均電壓來進行電壓的平均，其中這些電容器大小相同來執行簡單的平均，或者大小不同來執行加權的平均。
51.一種用於捕獲彩色圖像的圖像傳感器，包括
a)二維陣列，其具有第一和第二組像素，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的個體像素；
b)第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少十二個像素，該最小重複單位具有多個單元，其中每個單元具有從第一組像素中選擇的表示特定色彩的至少兩個像素以及從第二組像素中選擇的多個像素，所述像素布置為允許再現在不同光照條件下捕獲的彩色圖像；以及
c)用於將第一組像素與第二組像素組合的裝置。
52.如權利要求50所述的圖像傳感器，其中組合像素是通過將來自該像素的電荷裝倉，通過平均由該像素產生的電壓，或者通過首先將像素值轉換成數字值並接著組合該數字值，或者這些的組合而進行的。
53.如權利要求51所述的圖像傳感器，其中通過首先將各電容器充電到像素產生的電壓，並接著將這些電容器連接在一起以平均電壓來進行電壓的平均，其中這些電容器大小相同來執行簡單的平均，或者大小不同來執行加權的平均。
全文摘要
揭示一種用於捕獲彩色圖像的圖像傳感器，包括具有第一和第二組像素的二維陣列，其中來自第一組像素的像素具有比來自第二組像素的像素更窄的光譜光響應，並且其中第一組像素包括具有對應於至少兩種色彩的集合的光譜光響應的個體像素，第一和第二組像素的放置定義具有最小重複單位的圖案，所述最小重複單位包括至少六個像素，最小重複單位的至少一些行或者列僅由來自第二組的像素構成，以及包括用於組合來自至少兩個相鄰的最小重複單位的相似定位的像素的裝置。
文檔編號H04N9/07GK101449575SQ200780018755
公開日2009年6月3日 申請日期2007年5月10日 優先權日2006年5月22日
發明者T·基吉馬, H·納卡穆拉, J·T·坎普頓, J·F·小哈米爾頓, T·E·德維斯 申請人:伊斯曼柯達公司