具有四個通道的濾色器陣列圖案的製作方法

2023-05-14 17:21:41

專利名稱：具有四個通道的濾色器陣列圖案的製作方法
技術領域：
本發明涉及從具有色彩通道和全色通道的濾色器陣列圖像以改善的空間解析度產生全彩色圖像。
背景技術：
單傳感器數位相機採用濾色器陣列(CFA)以便從光敏像素的單個二維陣列俘獲全色彩信息。CFA由濾色器陣列組成，所述濾色器過濾由每一像素檢測到的光。因此，每一像素接收來自僅一種色彩的光，或在全色或「透明」過濾器的情況下接收來自所有色彩的光。為了從CFA圖像再現全彩色圖像，必須在每一像素位置產生三種色彩值。這是通過從相鄰像素值內插丟失的色彩值來實現的。最佳已知的CFA圖案使用如拜耳(Bayer)(第3，971，065號美國專利)描述且在圖2中展示的三個色彩通道。拜耳CFA具有三個色彩通道，其實現了全色彩再現能力。然而，所述三個通道的確切譜響應性(「色彩」)表現出折中。為了改善色彩保真度且加寬CFA 可俘獲的色彩範圍(即，色域)，需要使譜響應性更具選擇性(「變窄」)。這具有減少到達像素的總光量且因此降低其對光的敏感性的副作用。因此，像素值變得更容易受到來自非成像源的噪聲(例如，熱噪聲)的影響。對噪聲問題的一個解決方案是使CFA譜響應性的選擇性降低(「加寬」)以增加到達像素的總光量。然而，這帶來的副作用是降低色彩保真度。對此三通道CFA限制的解決方案是採用四通道CFA，其由三個具有「窄」譜敏感性的色彩和一個具有「寬」譜敏感性的色彩構成。「最寬」的此通道將是全色或「透明」的，其將對全光譜敏感。三個「窄帶」色彩通道將產生具有較高色彩保真度和較低空間解析度的圖像，而第四「寬帶」全色通道將產生具有較低噪聲和較高空間解析度的圖像。這些高色彩保真度、低空間解析度和低噪聲、高空間解析度圖像將隨後合併為最終的高色彩保真度、低噪聲、高空間解析度圖像。為了產生高空間解析度全色圖像，同時維持來自彩色像素的高色彩保真度，CFA內的全色像素的數目和布置以及對應的內插算法必須經適當選擇。現有技術中存在著在此方面具有一種或一種以上責任的多種實例。弗萊姆(Frame)(第7012643號美國專利)教示圖19中所示的CFA，其在全色⑵像素的9x9正方形內具有僅單個紅(R)、綠(G)和藍(B) 像素。弗萊姆的問題在於所得的色彩空間解析度太低而無法產生圖像中的所有細節，而只產生最低頻色彩細節。山上(Yamagami)等人(第5，323，233號美國專利)描述如圖20A和圖20B中所示的兩種CFA圖案，其具有相等量的全色和彩色像素，從而避免了弗萊姆的責任。山上等人繼續教示使用簡單的雙線性內插作為用於內插丟失的全色值的手段。僅線性內插方法的使用(例如雙線性內插)極大地限制了經內插圖像的空間解析度。例如亞當斯(Adams)等人 (第5，506，619號美國專利)中描述的非線性方法產生較高空間解析度經內插圖像，只要 CFA圖案準許其使用既可。圖21A說明亞當斯等人使用的圖案。在圖2中所示的三通道系統中提供高空間頻率解析度的綠(G)像素圍繞中心彩色像素在水平與垂直方向上與色彩(C) 像素交替。重要的是應注意，這些彩色像素全都是同一色彩，例如紅像素。圖21B展示類似圖案，其在綠像素的位置中使用全色(P)像素。此時應注意，對於四通道系統，不可能以圖 21B中所示的圖案在傳感器上的所有色彩(R，G，B)像素位置處發生的方式來布置全部四個通道(R，G，B和P)。因此，任一可能的布置將以此方式存在某種折中。關於山上等人，圖20A 具有如圖21B中布置的綠像素和全色像素，但紅像素和藍像素未如此布置。在圖21B之後， 例如圖21C中的布置是優選的，但圖20A相對於紅像素或藍像素不具有此布置。圖20B針對任何彩色像素均不具有圖21B或圖21C的圖案。田中(Tanaka)等人(第4，437，112號美國專利)描述若干CFA圖案，其中與本論述最相關的一者是圖22。在圖22中，青(C)、黃 (Y)、綠(G)和全色(P)像素經布置以使得綠像素由圖21C中所示的相鄰者圍繞。然而，黃和青像素不符合圖21B或圖21C的圖案。田中等人教示的其它圖案存在相同的難題。哈密爾頓(Hamilton)等人(第2007/0024879號美國專利申請案)教示大量CFA 圖案，其中兩者在圖23A和圖23B中展示。這些圖案的責任以及哈密爾頓等人揭示的所有其它圖案均不具有圖21B和圖21C的像素布置。貴嶼(Kijima)等人(第2007/0177236號美國專利申請案)描述大量CFA圖案， 其中最相關的CFA圖案在圖M中展示。雖然雙行全色像素在垂直方向上提供圖21C布置， 但圖M中不存在並排全色值的此水平布置。因此，需要一種具有三個窄帶色彩通道和一個寬帶全色通道的四通道CFA圖案， 其具有足夠的彩色像素來提供充足的色彩空間解析度且經布置以便準許對丟失的全色值的有效非線性內插。

發明內容
根據本發明，提供一種用於俘獲彩色圖像的圖像傳感器，其包括二維光敏像素陣列，所述光敏像素包含全色像素和具有至少三種不同色彩響應的彩色像素，所述像素以具有至少八個像素且具有至少兩行和兩列的矩形最小重複單元來布置，其中對於第一色彩響應，具有所述第一色彩響應的所述彩色像素在至少兩個方向上與全色像素交替，且對於其它色彩響應中的每一者，存在所述重複圖案的僅具有給定色彩響應的彩色像素和全色像素的至少一行、列或對角線。本發明的優點在於改善了圖像的色彩空間解析度而無需相對於傳感器內的全色像素增加彩色像素的百分比。本發明的又一優點在於實現了圖像中的色彩噪聲的減少而無需增加彩色像素的譜帶寬且對應地降低圖像的色彩保真度。從以下對優選實施例和所附權利要求書的詳細描述的審閱且通過參考附圖，將更清楚地理解和了解本發明的這些和其它方面、目標、特徵和優點。


圖1是用於實施本發明的數位相機的框圖；圖2是現有技術的最小重複單元；圖3是本發明優選實施例的最小重複單元；
圖4A和圖4B是本發明替代實施例的最小重複單元；圖5A和圖5B是本發明替代實施例的最小重複單元；圖6是本發明優選實施例的圖像處理鏈的概述；圖7是在內插全色圖像值中使用的像素相鄰者；圖8是在內插全色圖像值中使用的像素相鄰者；圖9A和圖9B是在內插全色圖像值中使用的像素相鄰者；圖10是在內插全色圖像值中使用的像素相鄰者；圖IlA和圖IlB是在內插全色圖像值中使用的像素相鄰者；圖12A和圖12B是在內插全色圖像值中使用的像素相鄰者；圖13是在內插色差值中使用的像素相鄰者；圖14是在內插色差值中使用的像素相鄰者；圖15A和圖15B是在內插色差值中使用的像素相鄰者；圖16A和圖16B是在內插色差值中使用的像素相鄰者；圖17是展示本發明優選實施例的融合圖像塊的詳圖的框圖；圖18是展示本發明替代實施例的融合圖像塊的詳圖的框圖；圖19是現有技術的最小重複單元；圖20A和圖20B是現有技術的最小重複單元；圖21A、圖21B和圖21C是現有技術的用於內插綠圖像值和全色圖像值的像素相鄰者；圖22是現有技術的最小重複單元；圖23A和圖2 是現有技術的最小重複單元；圖M是現有技術的最小重複單元；且圖25是本發明替代實施例的最小重複單元。
具體實施例方式在以下描述中，將在將普通地實施為軟體程序的方面描述本發明的優選實施例。 所屬領域的技術人員將容易認識到此軟體的均等物也可以硬體來構造。因為圖像操縱算法和系統是眾所周知的，所以本描述將尤其針對形成根據本發明的系統和方法的部分或與所述系統和方法較直接地協作的算法和系統。此些算法和系統以及用於產生和另外處理其所涉及的圖像信號的硬體或軟體的其它方面可從此項技術中已知的此些系統、算法、組件和元件中選擇。給定如根據本發明在以下材料中描述的系統，未具體展示、本文建議或描述的有用於實施本發明的軟體是常規的且在此項技術中的普通技藝的範圍內。此外，如本文使用，用於執行本發明方法的電腦程式可存儲在計算機可讀存儲媒體中，計算機可讀存儲媒體可包含例如磁性存儲媒體，例如磁碟(例如硬驅動器或軟磁碟)或磁帶；光學存儲媒體，例如光碟、光帶或機器可讀條形碼；固態電子存儲裝置，例如隨機存取存儲器(RAM)或只讀存儲器(ROM)；或用以存儲電腦程式的任一其它物理裝置或媒體。因為採用成像裝置和用於信號俘獲和校正以及用於曝光控制的相關電路的數位相機是眾所周知的，所以本描述將尤其針對形成根據本發明的系統和方法的部分或與所述系統和方法較直接地協作的元件。本文未具體展示或描述的元件是選自此項技術中已知的那些元件。將描述的實施例的某些方面是以軟體提供。給定根據本發明在以下材料中展示和描述的系統，未具體展示、本文建議或描述的有用於實施本發明的軟體是常規的且在此項技術中的普通技藝的範圍內。現在轉到圖1，展示體現本發明的圖像俘獲裝置的框圖。在此實例中，將圖像俘獲裝置展示為數位相機。然而，雖然現在將闡釋數位相機，但本發明顯然也適用於其它類型的圖像俘獲裝置。在所揭示的相機中，來自主題場景10的光輸入到成像級11中，在成像級11 處光由透鏡12聚焦以在固態濾色器陣列圖像傳感器20上形成圖像。濾色器陣列圖像傳感器20將入射光轉換為用於每一圖元(像素)的電信號。優選實施例的濾色器陣列圖像傳感器20是電荷耦合裝置(CXD)型或有源像素傳感器(APQ型。(APS裝置常常稱為CMOS傳感器，因為能夠在互補金屬氧化物半導體工藝中製造APS裝置。)也可使用具有二維像素陣列的其它類型的圖像傳感器，只要其採用本發明的圖案即可。用於本發明中的濾色器陣列圖像傳感器20包括彩色像素和全色像素的二維陣列，在描述圖1之後在本說明書中這將變得清楚。到達濾色器陣列圖像傳感器20的光量由改變光圈的可變光闌塊14和包含插入在光徑中的一個或一個以上中性密度(ND)濾光器的ND濾光器塊13來調節。快門18打開的時間也調節總光級。曝光控制器40響應由亮度傳感器塊16計量的在場景中可用的光量， 且控制這些調節功能的全部三者。特定相機配置的此描述將是所屬領域的技術人員熟悉的，且顯然存在許多變化和額外特徵。舉例來說，可添加自動聚焦系統，或者透鏡可為可拆卸和可互換的。將了解，本發明可應用於任一類型的數位相機，其中類似地功能性由替代組件提供。舉例來說，數位相機可為相對簡單的傻瓜(point-and-shoot)數位相機，其中快門18是相對簡單的可移動葉片快門或類似物而不是更複雜的焦平面布置。本發明也可使用包含於例如行動電話和汽車車輛等非相機裝置中的成像組件來實踐。來自濾色器陣列圖像傳感器20的模擬信號由模擬信號處理器22處理且施加到模 /數(A/D)轉換器M。時序產生器沈產生各種計時信號以選擇行和像素，且同步模擬信號處理器22與A/D轉換器M的操作。圖像傳感器級觀包含濾色器陣列圖像傳感器20、模擬信號處理器22、A/D轉換器M和時序產生器26。圖像傳感器級28的組件可為單獨製造的集成電路，或其可如CMOS圖像傳感器的通常做法那樣製造為單個集成電路。來自A/D轉換器24的數字像素值的所得流存儲在與數位訊號處理器(DSP) 36相關聯的數位訊號處理器 (DSP)存儲器32中。DSP 36是此實施例中的三個處理器或控制器中的一者，其它的是系統控制器50 和曝光控制器40。雖然相機功能控制在多個控制器和處理器之間的此分割是典型的，但這些控制器或處理器可以各種方式組合而不會影響相機的功能操作和本發明的應用。這些控制器或處理器可包含一個或一個以上數位訊號處理器裝置、微控制器、可編程邏輯裝置或其它數字邏輯電路。雖然已描述此些控制器或處理器的組合，但應了解，可指定一個控制器或處理器執行所有的所需功能。所有這些變型均可執行相同功能且屬於本發明的範圍內， 且將在需要時使用術語「處理級」來在一個短語內涵蓋所有此功能性，如圖1中的處理級38 中。
在說明的實施例中，DSP 36根據軟體程序來操縱DSP存儲器32中的數字圖像數據，所述軟體程序永久存儲在程序存儲器M中且複製到DSP存儲器32以用於在圖像俘獲期間執行。DSP 36執行實踐圖18所示的圖像處理所必要的軟體。DSP存儲器32可為任一類型的隨機存取存儲器，例如SDRAM。包含用於地址和數據信號的路徑的總線30將DSP 36 連接到其相關的DSP存儲器32、A/D轉換器M和其它相關裝置。系統控制器50基於存儲在程序存儲器M中的軟體程序來控制相機的總體操作， 程序存儲器M可包含快閃EEPROM或其它非易失性存儲器。此存儲器也可用以存儲圖像傳感器校準數據、用戶設定選擇和在相機斷電時必須保存的其它數據。系統控制器50通過如下方式控制圖像俘獲序列引導曝光控制器40如先前所述操作透鏡12、ND濾光器塊13、可變光闌塊14和快門18，引導時序產生器沈操作濾色器陣列圖像傳感器20和相關聯元件， 且引導DSP 36處理俘獲的圖像數據。在俘獲且處理圖像之後，存儲在DSP存儲器32中的最終圖像文件經由主機接口 57傳送到主機計算機，存儲在可裝卸存儲器卡64或其它存儲裝置上，且在圖像顯示器88上為用戶顯示。系統控制器總線52包含用於地址、數據和控制信號的路徑，且將系統控制器50連接到DSP 36、程序存儲器M、系統存儲器56、主機接口 57、存儲器卡接口 60和其它相關裝置。主機接口 57提供與個人計算機(PC)或其它主機計算機的高速連接以用於傳送圖像數據供顯示、存儲、操縱或列印。此接口可為IEEE1394或USB2.0串行接口或任一其它合適的數字接口。存儲器卡64通常是緊密快閃(CF)卡，其插入到存儲器卡插座62中且經由存儲器卡接口 60連接到系統控制器50。可利用的其它類型的存儲裝置包含(不限於)PC卡、多媒體卡(MMC)或安全數字(SD)卡。將經處理圖像複製到系統存儲器56中的顯示緩衝器且經由視頻編碼器80連續讀出以產生視頻信號。此信號從相機直接輸出以供在外部監視器上顯示，或由顯示器控制器 82處理且在圖像顯示器88上呈現。此顯示器通常是有源矩陣彩色液晶顯示器(IXD)，但也使用其它類型的顯示器。通過在曝光控制器40和系統控制器50上執行的軟體程序的組合來控制用戶接口 68，用戶接口 68包含取景器顯示器70、曝光顯示器72、狀態顯示器76、圖像顯示器88和用戶輸入74的任一組合。用戶輸入74通常包含按鈕、搖臂開關、操縱杆、旋轉式撥號盤或觸控螢幕的某種組合。曝光控制器40操作光計量、曝光模式、自動聚焦和其它曝光功能。系統控制器50管理在顯示器中的一者或一者以上上，例如在圖像顯示器88上呈現的圖形用戶接口(GUI)。GUI通常包含用於做出各種選項選擇和用於檢查所俘獲圖像的審閱模式的菜單。曝光控制器40接受選擇曝光模式、透鏡光圈、曝光時間(快門速度)和曝光指數或ISO感光速率的用戶輸入，且相應地引導透鏡12和快門18以用於後續俘獲。採用亮度傳感器塊16來測量場景的亮度，且提供曝光計功能以供用戶在手動設定ISO感光速率、光圈和快門速度時參考。在此情況下，在用戶改變一個或一個以上設定時，在取景器顯示器 70上呈現的曝光計指示器告知用戶圖像將過曝或欠曝的程度。在自動曝光模式中，用戶改變一個設定且曝光控制器40自動更改另一設定來維持正確曝光，例如對於給定ISO感光速率，當用戶減小透鏡光圈時，曝光控制器40自動增加曝光時間以維持相同的總體曝光。ISO感光速率是數字靜態相機的重要屬性。曝光時間、透鏡光圈、透鏡透射率、場景照明水平和譜分布以及場景反射率決定了數字靜態相機的曝光級。當使用不足的曝光獲得來自數字靜態相機的圖像時，通過增加電子或數字增益可大體上維持適當的色調再現， 但所得圖像將常常含有不可接受的噪聲量。在增加曝光時，增益減小，且因此圖像噪聲可通常減少到可接受的水平。如果曝光過量增加，那麼圖像的亮區域中的所得信號可超過圖像傳感器或相機信號處理的最大信號電平容量。這可造成圖像高光部分被剪輯而形成均勻亮區域，或「暈散(bloom)」到圖像的周圍區域中。因此，重要的是指導用戶設定適當的曝光。 ISO感光速率既定充當此指導。為了拍攝者容易理解，數字靜態相機的ISO感光速率應與攝影膠片相機的ISO感光速率直接相關。舉例來說，如果數字靜態相機具有ISO 200的ISO 感光速率，那麼相同的曝光時間和光圈對於ISO 200級膠片/處理系統應是適當的。ISO感光速率既定與膠片ISO感光速率協調。然而，在並不確切等效的電子系統與基於膠片的成像系統之間存在差異。數字靜態相機可包含可變增益，且可在已俘獲圖像數據之後提供數字處理，從而使得能夠在某一範圍的相機曝光中實現色調再現。因此數字靜態相機可能具有某一範圍的感光速率。將此範圍界定為ISO速度緯度。為了防止混淆，將單個值指定為固有ISO感光速率，其中ISO速度緯度上限和下限指示速度範圍，也就是說， 包含不同於固有ISO感光速率的有效感光速率的範圍。在此情況下，固有ISO速度是根據在數字靜態相機的焦平面處提供以產生指定相機輸出信號特性的曝光計算的數字值。固有速度通常是針對給定相機系統對於正常場景產生最高圖像質量的曝光指數值，其中曝光指數是與提供到圖像傳感器的曝光成反比的數字值。數位相機的上述描述將是所屬領域的技術人員熟悉的。顯然此實施例存在可能的且經選擇以降低成本、增加特徵或改善相機性能的許多變型。以下描述將詳細揭示根據本發明的用於俘獲圖像的此相機的操作。雖然此描述是參考數位相機，但將了解，本發明適用於具有具彩色像素和全色像素的圖像傳感器的任一類型的圖像俘獲裝置。圖1所示的濾色器陣列圖像傳感器20通常包含在矽襯底上製造的光敏像素的二維陣列，其提供了將每一像素處的傳入光轉換為測量的電信號的方式。在濾色器陣列圖像傳感器20暴露於光時，在每一像素處的電子結構內產生且俘獲自由電子。在某個時間周期中俘獲這些自由電子且隨後測量俘獲的電子的數目或測量自由電子產生的速率可測量每一像素處的光級。在前一種情況下，累積的電荷移出像素陣列到達例如電荷耦合裝置(CCD) 中的電荷/電壓測量電路，或者靠近每一像素的區域可含有例如有源像素傳感器(APS或 CMOS傳感器)中的電荷/電壓測量電路。在以下描述中每當做出對圖像傳感器的一般參考時，將其理解為代表來自圖1的濾色器陣列圖像傳感器20。進一步了解，本說明書中揭示的本發明的圖像傳感器架構和像素圖案的所有實例及其均等物均用於濾色器陣列圖像傳感器20。在圖像傳感器的上下文中，像素(「圖元」的簡稱)指代離散光感測區域和與所述光感測區域相關聯的電荷移位或電荷測量電路。在數字彩色圖像的上下文中，術語像素通常指代圖像中具有相關聯的色彩值的特定位置。圖2是拜耳在第3，971，065號美國專利中描述的眾所周知的濾色器陣列圖案的最小重複單元。最小重複單元在濾色器陣列傳感器20 (圖1)的表面上重複，進而在每一像素位置產生紅像素、綠像素或藍像素。濾色器陣列傳感器20(圖1)以圖2的濾色器陣列圖案產生的數據可用以用所屬領域的技術人員已知的許多方式產生全彩色圖像。亞當斯等人在第5，506，619號美國專利中描述一個實例。圖3是本發明的優選實施例的最小重複單元。其為4x4正方形像素陣列，其中綠像素與全色像素以及各自在四個方向中的每一方向上(左、右、上和下)具有三個鄰近的全色像素的紅像素和藍像素水平且垂直交替。圖3的最小重複單元在濾色器陣列傳感器20 (圖 1)的表面上重複，進而在每一像素位置處產生紅像素、綠像素、藍像素或全色像素。因此， 全色像素在傳感器的表面上以棋盤圖案布置。彩色像素也在傳感器的表面上以棋盤圖案布置。圖4A展示用於本發明的替代實施例的最小重複單元。其為2x4矩形像素陣列，其中綠像素與全色像素以及與全色像素垂直交替的紅像素和藍像素水平且垂直交替。此布置可經轉置而獲得圖4B的圖案，其展示4x2矩陣像素陣列，其中綠像素與全色像素以及與全色像素水平交替的紅像素和藍像素水平且垂直交替。圖4A或圖4B的最小重複單元在濾色器陣列傳感器20(圖1)的表面上傾斜，進而在每一像素位置處產生紅像素、綠像素、藍像素或全色像素。因此，全色像素在傳感器的表面上以棋盤圖案布置。彩色像素也在傳感器的表面上以棋盤圖案布置。圖5A展示本發明的另一替代實施例的4x4最小重複單元。此布置類似於圖3所示的布置，不同的是彩色像素在對角線方向上而不是水平且垂直地與全色像素交替。特定來說，可見，紅、綠和藍像素在兩個對角線方向上與全色像素對角地交替。(應注意，可通過傾斜最小重複單元以查看像素線如何從最小重複單元的一側迴繞到另一側，來最佳地視覺化沿著對角線的完整圖案。)在此布置中，可見，彩色像素的列與全色像素的列交替。此布置可經轉置以獲得圖5B的圖案，其為4x4正方形像素陣列，其中紅、綠和藍像素在兩個對角線方向上與全色像素對角地交替。在此情況下，彩色像素的行與全色像素的行交替。圖5A或圖5B的最小重複單元在濾色器陣列傳感器20 (圖1)的表面上傾斜，進而在每一像素位置處產生紅像素、綠像素、藍像素或全色像素。因此，全色像素在傳感器的表面上以交替的行或列布置。彩色像素也在傳感器的表面上以交替的行或列布置。這對於傳感器的偶數與奇數行(或列)的增益可能存在小差異的傳感器設計可為有利的。在偶數或奇數行上具有給定類型的所有像素可減少在CFA內插過程期間由於交替的增益值而有時產生的假象。除了圖3、圖4A、圖4B、圖5A和圖5B所示的CFA圖案，本發明可針對其它大小和布置的CFA圖案進行一般化。在每一情況下，像素將以具有至少八個像素且具有至少兩行和兩列的矩形最小重複單元來布置，其中對於第一色彩響應，具有第一色彩響應的彩色像素在至少兩個方向上與全色像素交替，且對於其它色彩響應中的每一者，存在重複圖案的僅具有給定色彩響應的彩色像素和全色像素的至少一行、列或對角線。描述根據本發明的CFA圖案的另一方式是像素以具有矩形最小重複單元的重複圖案來布置，所述矩形最小重複單元具有至少八個像素且具有至少兩行和兩列，其中針對至少一個色彩響應的彩色像素在至少兩個方向上與全色像素交替，且其中針對其它色彩響應的彩色像素在至少一個方向上與全色像素交替，或在至少兩個方向上在彩色像素的兩側具有至少兩個鄰近的全色像素。圖25展示滿足這些準則的具有2x8矩形像素陣列的最小重複單元的另一實例。在此情況下，綠像素與全色像素水平且垂直交替，且紅像素和藍像素與全色像素垂直交替，且與左邊和右邊的三個全色像素水平側接。滿足以上準則的CFA圖案的所需特性是每個彩色像素由四個全色像素圍繞(水平 /垂直或對角地)的事實。因此，通過周圍的全色像素之間的內插，可在彩色像素的位置處容易確定高度準確的經內插全色值。此外，針對至少一個色彩響應的彩色像素在至少兩個方向上與全色像素交替。因此，針對至少一個色彩響應(例如，綠)的彩色像素將在規則柵格上布置，從而使得能夠容易內插對應的色差。針對其它色彩響應(例如，紅和藍)的彩色像素也將在規則柵格上發生，但重複周期可大於在一個或兩個方向上所述一個色彩響應的情況。較大周期將與經內插色差的對應較大的內插誤差相關聯。然而，這些色彩響應在視覺上不太重要，使得任何假象的可見性將較為無害。圖3、圖4A、圖4B、圖5A、圖5B和圖25中所示的實例CFA圖案是紅、綠和藍。所屬領域的技術人員將了解，根據本發明也可使用其它類型的彩色像素。舉例來說，在本發明的替代實施例中，彩色像素可為青、洋紅和黃。在本發明的另一實施例中，彩色像素可為青、黃和綠。在本發明的又一實施例中，彩色像素可為青、洋紅、黃和綠。也可使用許多其它類型和組合的彩色像素。圖6是根據本發明優選實施例的用於根據從例如圖3、圖4A、圖4B、圖5A、圖5B或圖25中所示最小重複單元的最小重複單元產生的數據產生全色彩輸出圖像的算法的高級圖。圖像傳感器20(圖1)產生濾色器陣列圖像100。在濾色器陣列圖像100中，每一像素位置是紅、綠、藍或全色像素，如例如圖3、圖4A、圖4B、圖5A、圖5B或圖25中所示最小重複單元的最小重複單元所確定。內插全色圖像塊102根據濾色器陣列圖像100產生經內插全色圖像104。產生色差塊108根據濾色器陣列圖像100和經內插全色圖像104產生色差值 110。內插色差圖像塊112根據色差值110產生經內插色差圖像114。產生經內插彩色圖像塊106根據經內插全色圖像104和經內插色差圖像114產生經內插彩色圖像120。最終，融合圖像塊118根據經內插全色圖像104和經內插彩色圖像120產生全色彩輸出圖像116。現在將更詳細描述圖6中所示的方法的每一步驟。圖7是在內插全色圖像塊 102(圖6)中用來確定在圖3所示的CFA圖案中的綠像素位置處的經內插全色像素值的像素相鄰者的詳圖。在圖7中，(2丄5、(7、(9和(^指代來自濾色器陣列圖像100(圖6)的綠像素值且PpPyPpPpPpPAJjPPD指代來自濾色器陣列圖像100(圖6)的全色像素值。為了產生經內插全色值P' 7，執行以下計算。 h = 2 IP6-P81 + α | C5_2C7+C9ν = 2 I P3-Pb I + α | C2_2C7+Cc
Γ π 」 P6 +P8 - C5 + 2C7 - C9H = -^——s- + a~5-1——-
2 8
r π 」 P,+Pr -C2 +2C7 -CcV = ^——+ α~ -1——￡
2 8P'7 = -^-V + -^-H
h + ν h + v其中α是常數，且h、v、H和V是中間變量。本發明的優選實施例中α的值是零。 在本發明的替代實施例中，α的值是一。所屬領域的技術人員將了解，也可使用α的其它值。改變α的值具有的作用是控制在確定經內插全色值P' 7的過程中對彩色像素值加權的程度。內插全色圖像塊102(圖6)在濾色器陣列圖像100(圖6)中的每一綠像素位置處
10重複這些計算以產生對應的經內插全色值P' 7。圖8是在內插全色圖像塊102 (圖6)中用來確定在圖3所示的CFA圖案中的紅像素和藍像素位置處的經內插全色像素值的像素相鄰者的詳圖。在圖8中，CPCpCPCd和Ch 指代來自濾色器陣列圖像100(圖6)的同一色彩(紅或藍)的彩色像素且P2、P3、P4、P6、P8、 PA、PB、Pc、PE、PjnPe指代來自濾色器陣列圖像100(圖6)的全色像素。在圖8中，在C9W 上方、下方、左邊和右邊存在三個鄰近的全色像素值。為了產生經內插全色值P' 9，執行以下計算。
權利要求
1.一種用於俘獲彩色圖像的圖像傳感器，其包括二維光敏像素陣列，所述光敏像素包含全色像素和具有至少三種不同色彩響應的彩色像素，所述像素以具有至少八個像素且具有至少兩行和兩列的矩形最小重複單元來布置，其中對於第一色彩響應，具有第一色彩響應的所述彩色像素在至少兩個方向上與全色像素交替，且對於其它色彩響應中的每一者， 存在所述重複圖案的僅具有給定色彩響應的彩色像素和全色像素的至少一行、列或對角線。
2.根據權利要求1所述的圖像傳感器，其中所述彩色像素是紅、綠和藍像素。
3.根據權利要求2所述的圖像傳感器，其中所述最小重複單元具有四行和四列，且其中所述最小重複單元的第一行和第三行具有綠、全色、綠、全色的像素序列，所述最小重複單元的第二行具有全色、紅、全色、全色的像素序列，且所述最小重複單元的第四行具有全色、全色、全色、藍的像素序列。
4.根據權利要求1所述的圖像傳感器，其中所述彩色像素是青、洋紅和黃像素。
5.根據權利要求1所述的圖像傳感器，其中所述最小重複單元具有四行和四列，且其中對於所述重複圖案的至少一行、列或對角線，針對每一色彩響應的所述彩色像素與所述全色像素交替。
6.根據權利要求1所述的圖像傳感器，其中所述最小重複單元的具有第一色彩響應的像素的數目是具有第二色彩響應的像素的數目的至少兩倍。
7.根據權利要求6所述的圖像傳感器，其中所述第一色彩響應是綠，且所述第二色彩響應是紅或藍。
8.根據權利要求1所述的圖像傳感器，其中所述全色像素以棋盤圖案布置。
9.根據權利要求1所述的圖像傳感器，其中所述全色像素以交替的行或列布置。
10.一種用於俘獲彩色圖像的圖像傳感器，其包括二維光敏像素陣列，所述光敏像素包含全色像素和具有至少兩種不同色彩響應的彩色像素，所述像素以具有至少八個像素且具有至少兩行和兩列的矩形最小重複單元來布置，其中至少一個色彩響應的所述彩色像素在至少兩個方向上與全色像素交替，且其中對於其它色彩響應中的每一者，針對給定色彩響應的所述彩色像素在至少一個方向上與全色像素交替或在至少兩個方向上在所述彩色像素的兩側具有至少兩個鄰近的全色像素。
全文摘要
本發明揭示一種用於俘獲彩色圖像的圖像傳感器，其包括二維光敏像素陣列，所述光敏像素包含全色像素和具有至少三種不同色彩響應的彩色像素，所述像素以具有至少八個像素且具有至少兩行和兩列的矩形最小重複單元來布置，其中對於第一色彩響應，具有第一色彩響應的所述彩色像素在至少兩個方向上與全色像素交替，且對於其它色彩響應中的每一者，存在所述重複圖案的僅具有給定色彩響應的彩色像素和全色像素的至少一行、列或對角線。
文檔編號H01L27/146GK102461174SQ201080024921
公開日2012年5月16日 申請日期2010年5月21日 優先權日2009年6月5日
發明者姆裡秋傑伊·庫馬爾, 布魯斯·哈羅德·皮爾曼, 詹姆斯·A·漢密爾頓, 詹姆斯·E·小亞當斯 申請人:全視科技有限公司