一種多光譜感光器件及其採樣方法

2023-12-11 18:02:52

專利名稱：一種多光譜感光器件及其採樣方法
技術領域：
本發明涉及對感光晶片的感光象素的讀取，尤其是大陣列感光晶片的感光象素的 子採樣數據讀取。具體的說，本發明涉及到一種多光譜感光器件及其採樣方法。
背景技術：
本發明是本發明人稍早一點的《多光譜感光器件及其製作方法》(PCT/ CN2007/071262)和《多光譜感光器件及其製作方法》(中國申請號200810217270. 2)的延 續，旨在提供更為具體而且優選的半導體電路和晶片級別的實現。之前的感光器件，要麼專注於彩色可見光，要麼專注於紅外光，很少有將二者 合在一起的。雖然也有其它的發明或申請，例如採用銦化鎘的半導體技術(「Silicon infrared focalplane arrays」，Μ· Kimata，in Handbook of Infrared Detection Technologies，editedby M. Henini and M. Razeghi, pp.352-392，Elsevier Science Ltd.，2002)，來同時實現可見和紅外光的感應，但它們沒有得到彩色。之前的同時得到 彩色和紅外感光的方法是將一個彩色感光器件與一個紅外感光器件，物理迭加在一起 (如「Backside-hybridPhotodetector for trans-chip detection of NIR light], by T. Tokuda et al.，in IEEEfforkshop on Charge-coupled Devices&Advanced Image Sensors,Elmau,Germany,May2003. and "A CMOS image sensor with eye-safe detection function using backsidecarrier injection", T. Tokuda et al.，J. Inst Image Information&TeIevision Eng. ,60(3) :366-372, March 2006)。本發明人稍早一點的《多光譜感光器件及其製作方法》(PCT/CN2007/071262)和 《多光譜感光器件及其製作方法》(中國申請號=200810217270. 2)，提出了一種能同時得到 彩色和紅外圖像的新的多光譜感光器件的製作方法.這種新型的感光器件，極大地擴展感 光器件動態範圍，從而滿足汽車，安防等領域裡的高性能要求.不僅如此，將它用於小尺寸 的彩色感光器件，如手機用的攝像頭，也能大幅地提高圖像品質.不僅如此，他們可以採用 現有的CMOS，CCD，或其它半導體感光器件製作技術來製作，而且每一種技術都可以有非常 多而且有效的製作方法和結構設計.本發明主要提供少數幾種採用CMOS/CCD半導體技術 的製作方法。但是，這種新的雙層或多層感光器件帶來一個新的問題，就是數據量是傳統的單 層感光器件的兩倍甚至更多。雖然兩層感光器件只需一半的象素就能獲得與單層感光器件 同等的解析度，但是高速處理大陣列的感光器件的數據，仍然是一個需要改進的問題。最近幾年，已經發明了一些優秀的方法來對大陣列圖像進行高性能的子採樣，例 如讀取電路共享，並行(Row Binning)及並列(Column Binning)採樣技術(如美國專利 US6, 801, 258BLUS6, 693，670B1,US7, 091, 466B2, US7, 319，218B2 等等)。值得一提的是美 國專利US6, 693，670BLUS7, 091，466B2和US7, 319，218B2。這些專利提供了效果不錯而且 方便易行的手段，實現了 N行或N列或M行與N列的並用。但是這些子採樣技術沒有達到最優。例如，採用並行和並列的子採樣技術將N個點並為一個點，圖像信噪比的改進最高只能是# (見美國專利US7，091，466B2， US7, 319，218B2)。這是因為並行和並列只是對信號做了平均，因而只是將隨機噪聲的方差 降低了 #倍，而有用信號本身的強度沒有得到增強，而僅僅是用幾個點的平均值取代。圖 像信號中通常還有緩變低頻的固定噪聲，這一部分噪聲也沒有減少。此外，現有的子採樣技術僅僅是單獨地考慮Bayer排列或CYMG四色圖案排列的 感光晶片的子採樣的需求，也沒有為後續計算做簡化。例如一個Bayer圖案的彩色圖像， 經過美國Micron Technologies Inc.的並行和並列採樣技術(美國專利US7, 091，466B2， US7，319，218B2)後，仍然是一個Bayer圖案，仍然需要經過複雜的處理才能得到預覽和存 儲階段所偏愛的YUV圖像。而其它一些能夠改進信噪比的子採樣電路，需要用到複雜的積 分電路和比較器，從而帶來輔助電路的增加和頻率的增加。另外一個現有子採樣技術的巨大的限制，就是，並行和並列只在相同的，而且空間 上並不緊鄰(中間隔著別的象素)的色彩象素間進行。對於Bayer圖案或CYMG四色圖案， 相同的色彩象素，在空間上並不緊鄰，經過並行和並列後的圖像，已經破壞了原始圖像的空 間上的均勻分布的特點，因此，後端處理如果不專門適應這種情況，在直線邊緣，就容易產 生鋸齒效果。尤其，對於本發明所要關注的雙層或多層感光器件而言，現有技術就顯得侷促和 平庸，因為雙層或多層感光器件提供了非常多的優秀的色彩圖案排列，因而，無論是信號讀 取和子採樣，都應當針對雙層或多層感光器件的特點，做出改進。

發明內容
本發明的目的旨在提出更優越的子採樣原理和先進的子採樣電路，並將子採樣和 後續圖像處理結合起來一起優化。本發明提供一種多光譜感光器件及其採樣方法，以便能 克服雙層或多層多光譜感光晶片的數據量比較大的這個微弱的不足。這裡，採樣方法主要 包括子採樣，但也涵蓋了全圖採樣。需要了解，本發明並不局限在雙層或多層多光譜感光器 件，對於單層的感光器件，同樣是適用的。為便於描述本發明並解釋其與現有技術的差別，我們現給出如下名詞的定義 雙層感光器件，雙面感光器件，和雙向感光器件。其中，雙層感光器件是指感光象素被物 理上分成兩層(如本發明人在稍早的發明申請《多光譜感光器件及其製作方法》(PCT/ CN2007/071262)所描述的兩層感光器件)，每一層都含有感應特定光譜的感光象素。雙面 感光器件是指感光器件具有兩個感光表面，每一個面都能至少從一個方向上感光。雙向感 光器件是指感光器件能從兩個(通常互成180度)的方向上感光，亦即從感光器件的正面 和背面都能感光。一個感光器件可以同時具有雙層，雙面，和雙向這三個特點中的一個，兩個，和所 有三個特點。為了解決上述技術問題，本發明採用了如下技術方案一種多光譜感光器件，包括以行和列排列的象素陣列，以及第一合併單元，用於對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列 的象素間進行兩兩合併採樣，獲得第一合併象素的採樣數據；第二合併單元，用於對第一合併單元得到的第一合併象素的採樣數據進行合併採樣，獲得第二合併象素的採樣數據。所述的多光譜感光器件，還包括第三合併單元，用於對第二合併單元得到的第二 合併象素的採樣數據進行合併採樣，獲得第三合併象素的採樣數據。所述的多光譜感光器件，所述第一合併單元或第二合併單元的象素合併方式為相同或不同色彩象素間的電荷累加方式或兩個不同色彩象素間的信號平均方式，其中不同色 彩象素間的象素合併方式(包括電荷累加方式或信號平均方式)遵照色彩空間變換的方 式，以滿足色彩重建的要求。所述的多光譜感光器件，所述電荷累加方式是在讀取電容(FD)中完成的。所述的多光譜感光器件，所述第一合併單元或第二合併單元的基於色彩的合併採 樣方式包括同色合併方式、異色合併方式、混雜合併方式、或選擇性拋棄多餘色彩合併方 式，且第一合併單元和第二合併單元採用的合併採樣方式不同時為同色合併方式，也即兩 個合併單元中至少有一個合併單元不採用同色合併方式。所述的多光譜感光器件，所述第一合併單元或第二合併單元的基於位置的合併採 樣方式包括以下幾種方式中的至少一種直接輸出到總線的信號自動平均方式、跳行或跳 列方式、和逐個採樣方式。亦即這幾種基於位置的合併採樣方式可以單獨使用，也可以組合 使用。所述的多光譜感光器件，所述第三合併採樣單元的合併採樣方式包括色彩空間 變換方式和後端數字圖像縮放方式中的至少一種。所述的多光譜感光器件，所述色彩空間變換包括RGB到CyYeMgX空間的變換、RGB 到YUV空間的變換，或CyYeMgX到YUV空間的變換、其中X為R(紅)、G (綠)、B (蘭)中的 任一種。所述的多光譜感光器件，所述象素陣列由複數個包含至少一個基本象素的宏象素 組成，其中基本象素可以為被動象素或主動象素。所述的多光譜感光器件，所述宏象素中的基本象素按方陣或蜂窩排列。所述的多光譜感光器件，所述宏象素的組成方式可以包括以下組成方式至少一 種不帶讀取電容(FD)的3T主動象素組成方式、帶一個讀取電容(FD)的4T主動象素組成 方式。所述的多光譜感光器件，每個宏象素帶一個讀取電容(FD)的4T主動象素，採用4 點共享方式、6點共享方式、或8點共享方式。所述的多光譜感光器件，所述宏象素也可以包括如下的組成方式由四個方陣排 列的象素和兩個位於兩行中間的不透光的讀取電容(FD)組成，上一行的象素與下一行的 象素共用一個讀取電容(FD)，兩個讀取電容(FD)之間可以實現電荷轉移，並且至少一個讀 取電容上連接有讀取電路。所述宏象素可由帶兩點共享、三點共享、或四點共享讀取電容(FD)的3T或4T主 動象素的基本象素組成，採用4點橋式共享方式、6點橋式共享方式、或8點橋式共享方式。所述的多光譜感光器件，每個宏象素由帶兩點共享、三點共享、或四點共享讀取電 容(FD)的4T主動象素的基本象素組成，採用4點橋式共享方式、6點橋式共享方式、或8點 橋式共享方式。所述的多光譜感光器件，所述多光譜感光器件的全圖採樣方式包括逐行掃描、逐行讀取方式或逐行掃描、隔行或跨行讀取方式。本發明還公開了一種多光譜感光器件的採樣方法，包括第一合併過程，用於對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列 的象素間進行兩兩合併採樣，獲得第一合併象素的採樣數據；第二合併過程，用於對第一合併過程得到的第一合併象素的採樣數據進行合併採 樣，獲得第二合併象素的採樣數據。所述的採樣方法，還包括第三合併過程，用於對第二合併過程得到的第二合併象 素的採樣數據進行合併採樣，獲得第三合併象素的採樣數據。所述的採樣方法，所述第一合併過程或第二合併過程的象素合併採樣方式為相同 或不同色彩象素間的電荷相加方式或不同色彩象素間的信號平均方式，其中不同色彩象素 間的象素合併方式(包括電荷相加方式或信號平均方式)遵照色彩空間變換的方式，以滿 足色彩重建的要求。所述的採樣方法，所述第一過程或第二合併過程的基於色彩的合併採樣方式包括 同色合併方式、異色合併方式、混雜合併方式、或選擇性拋棄多餘色彩方式，且第一合併過 程和第二合併過程中至少一個合併過程不是同色合併方式。所述的採樣方法，所述第一合併過程或第二合併採樣過程的基於位置的合併採樣 方式包括以下幾種方式中的至少一種直接輸出到總線的信號自動平均方式、跳行或跳列 方式、和逐個採樣方式。所述的採樣方法，所述第三合併採樣過程進行的合併採樣方式包括色彩空間變 換方式、後端數字圖像縮放方式。 所述的採樣方法，所述色彩空間變換包括RGB到CyYeMgX空間的變換、RGB到YUV 空間的變換、或CyYeMgX到YUV空間的變換、其中X為R (紅)、G (綠)、B (蘭)中的任一種。所述的採樣方法，其全圖採樣的方式包括逐行掃描、逐行讀取方式或逐行掃描、隔 行或跨行讀取方式。本發明有益的技術效果在於將子採樣至少分為兩個過程，即前述的第一合併採樣過程和第二合併採樣過程。 第一合併採樣過程和第二合併採樣過程，通常發生在象素的行(合併)採樣和列(合併) 採樣之間，主要對模擬信號進行，除電荷相加部分通常只在第一合併採樣過程中做以外，其 次序和內容通常是可以交換的。此外，也可以包括第三合併採樣過程，第三合併採樣過程發 生在模數轉換之後，主要對數位訊號進行。對於第一合併採樣過程，是取象素陣列中兩個緊鄰的象素來進行合併。一方面，完 成了緊鄰象素的合併，在本文中，我們將合併後的象素稱為第一合併象素，需要理解的是， 第一合併象素只是為本發明描述之便，利用該概念來指代進行第一合併過程後的象素，而 不代表物理上，在象素陣列中存在一個「第一合併象素」；將兩個緊鄰象素合併採樣後的數 據稱為第一合併象素的採樣數據。緊鄰，係指兩個象素之間從水平，垂直，或對角方向上來 看緊挨著，中間沒有其它象素。緊鄰的情況包含同行異列，異行同列，或異行異列。一般而 言，在這種合併中，信號將至少是兩個象素的信號平均，而噪聲則會降低#，因此，合併後， 至少可以將信噪比提高#倍，且這種合併可以在相同或不同色彩的象素之間進行。另一 方面，由於兩個合併的色彩可以不同，即色彩相加或平均，從色彩的三原色原理可知，兩種原色的相加是另一種原色的補色，就是說，兩個不同原色的象素合併，產生另一種原色的補 色，從原色空間，變換到了補色空間，僅僅是發生了色彩空間變換，我們仍然可以通過不同 的補色而完成彩色重建。也即通過本發明，既能實現不同色彩的象素合併以提高信噪比，同 時又能夠進行彩色重建。整個子採樣過程也因此得到優化，更加適應大數據量的象素陣列 的高速需求。色彩空間變換的一個基本要求是，變換後的色彩的組合，能夠(通過插值等手 段)重建所需要的RGB (或YUV，或CYMK)色彩。需要了解，由於通常象素陣列包含多個象素，第一合併採樣只是將兩個象素進行 合併，顯然，合併形成的第一合併象素也具有多個。對於不同的第一合併象素，其採用的色 彩合併方式可以相同，也可以不同。當第一合併全部在相同的色彩間進行時，我們將之稱為 同色合併方式；當第一合併全部在不同的色彩間進行時，我們將之稱為異色合併方式；當 第一合併部分在相同色彩間進行、部分在不同色彩間進行，我們將之稱為混雜合併方式；當 對象素陣列中的一些多餘的色彩進行拋棄(當然，拋棄是選擇性的，例如，不能因此而影響 到彩色重建)，這樣的色彩合併方式稱為選擇性拋棄多餘彩色方式。顯然的，第二合併過程是對多個第一合併象素的操作，同樣的，可以將色彩相同的 第一合併象素進行合併；也可以將色彩不同的第一合併象素進行合併(當然，這種情況下 可能導致三原色的全部相加而無法重建出彩色)。上述的同色合併、異色合併、混雜合併等方式，是將合併採樣做基於色彩的分類， 另外，從合併採樣的位置選取的角度，第一合併過程和第二合併過程的合併採樣方式包括 直接輸出到總線的信號自動平均方式、跳行或跳列方式，逐個採樣方式，以及這些方式的兩 種或三種的同時使用。除電荷相加部分通常只能在第一合併採樣過程中做以外，第一合併 過程和第二合併過程，除了次序的不同外，其方式都是相同和可以交換的。所謂直接輸出到總線的信號自動平均方式，就是，將需要合併的信號(色彩相同 或是不同)，同時輸出到數據採集總線上去，通過(電壓)信號的自動平衡，來獲得需要合併 信號的平均值。所謂跳行或跳列方式就是跳過一些行或列，從而通過減少數據量的方式來 實現(合併)採樣。所謂逐個採樣方式，實際上就是不做任何合併，依此讀取原來的象素或 第一合併象素。這三個方式有一些是可以同時使用的，例如，跳行或跳列方式可與直接輸出 到總線的信號自動平均方式或逐個採樣方式同時使用。第三合併採樣過程的子採樣方式包括色彩空間變換方式、後端數字圖像縮放方 式、以及這兩個方式的串行使用。第一和第二合併過程主要是在模擬信號上進行，而第三 子採樣過程主要是在數位訊號上進行，即模數轉換之後進行。通過將處於不同空間位置的 三個或四個色彩象素，當作同一個點上的值而轉換到另一個色彩空間，就又可實現水平和 (或)垂直方向上的數據減少，從而達到子採樣的效果。而數字圖像縮放方式，是最為直觀 常用的子採樣方式。本發明還首次在合併採樣時實現了電荷相加。目前的合併採樣幾乎都是只做到了電壓或電流信號的平均，這種方式在合併N點時，最多只能將信噪比提高#倍。這是因為 現有的合併採樣都是N個相同色彩的象素共用一根輸出線的方式進行合併採樣，在這根輸 出線上，各個象素的電壓或電流信號必然要進行(自動的)平均，因此，其信噪比的提高只 是在於噪聲合併後降低了 #，從而使信噪比提高最多·^倍。而採用本發明的電荷相加方 式，例如通過讀取電容存儲電荷，實現電荷的累加，從而信號可以進行疊加而使得信噪比可以提高至少N倍，比信號平均的方法高至少#倍。也就是說，將N個信號以電荷相加的方 法合併，理論上最高可以達到N2個信號相平均的效果或更好(如下面所述)，這是效果非常 顯著的提高信噪比的手段。緊鄰象素相加，還帶來另外一個顯著的效果，就是，象素之間的相互幹擾 (cross-talking)效果被減弱。這是由於本來相互幹擾的色彩，現在是合法的一體，也就是 說，原來屬於噪聲的一部分信號，現在成了有效的信號部分，因此，N個信號電荷相加帶來信 噪比的改進，可以接近理論上的上限，即N^倍，從而，相當於N3個信號相平均的效果。電荷相加是一個效果卓著的合併採樣手段，但它要求合併的象素在空間上相鄰。 之前的子採樣不能做的原因是，之前的子採樣只在相同色彩的象素之間進行，但由於被合 並的象素之間隔著其它象素，因而無法實現電荷相加。對於多層感光器件而言，實現電荷相 加相對比較容易，因為色彩圖案非常豐富。而採用本發明，我們也能很容易地在單層感光器 件上實現電荷相加，只要採用了本發明的色彩空間變換的方法。
本發明在全圖採樣(即對一個圖像的按最高解析度進行採樣)時，採用逐行掃描、 隔行或跨行讀取的方式，不需要提高時鐘速度和採用幀緩存器，將大陣列圖像的全圖讀取 幀率在拍單張照時翻倍。如果增加AD轉換器和行緩存，那麼，全圖讀取幀率還可以提高更 多。這個方法對於省去機械快門有非常重要的價值。請注意本發明的逐行掃描、隔行或跨行讀取的方式，與傳統電視系統裡的場掃描 方式(interleaved scanning)是不同的。傳統的場掃描方式，是隔行掃描，隔行讀取，因此， 奇數場和偶數場(無論是感光還是讀取)在時間上差了一場，即半幀。而本發明的逐行掃 描、隔行或跨行讀取的方式，象素在感光時間順序上卻是與逐行掃描、逐行讀取方式是完全 一樣的，只是行的讀取次序做了變化。本發明將通過實施例描述新的威力更強，適應面更廣的感光器件及其子採樣方 法。這些優選實現方法，僅僅是作為舉例來說明本發明和本發明者的先前相關發明的優點 和實現方法而已，而不是為了限制這些發明的保護範圍。對於相關業界的有識之士而言，本發明的上述及其它目的和優點，在閱讀過下面 的優選的帶有多個插圖解釋的實現案例的細節描述之後，將是十分明顯的。


圖1是CMOS被動象素的讀取(採樣)電路。圖2是CM0S3T主動象素的讀取(採樣)電路。圖3是CM0S4T主動象素的讀取(採樣)電路。圖4(a)和(b)分別是CMOS主動象素和被動的讀取(採樣)電路與行地址選擇電 路的關係。圖5是CMOS象素的讀取(採樣)電路與行地址選擇電路和列地址選擇電路的結 構示意圖。圖6是一個典型的帶有列緩存的實用CMOS象素的讀取(採樣)電路示意圖。圖7是CCD象素的讀取方式(a)與CMOS象素的讀取方式(b)的比較。注意到在 圖7(a)中CCD象素之間在垂直方向上的挨個傳遞的功能。圖8是描述美國專利US7，091，466B2的基本原理的示意圖。通過同時打開需要合併的相同象素的開關，將相關信號同時輸出到採樣總線上後自己達成平衡，從而得到合併 象素的平均值。
圖9是描述美國專利US7，319，218B2的基本原理的示意圖。通過異時高速採樣需 要合併的相同象素，將相關信號記錄完全後再同時輸出到採樣總線上後自己達成平衡，從 而得到合併象素的平均值。其基本思想與美國專利US7，091，466B2是相同的，只是採用了 不同的電路實現。圖10摘要了現有象素同色合併技術的基本思想將相鄰宏象素的色彩相同的象 素(以信號平均的方式)合併。圖10(a)是列合併的示意圖，圖10(b)是行列同時合併的 示意圖。圖11顯示的是當前比較好的4-點共享4T主動感光象素的讀取電路，平均每個象 素採用了 1.75個門。圖12顯示的是一個6-點共享4T主動感光象素的讀取電路，平均每個象素只採用 了 1.5個門。這個6-點共享主動感光象素的讀取電路，適用於採用蜂窩排列的雙面雙層感 光器件(參見《多光譜感光器件及其製作方法》，中國申請號200810217270. 2)，亦即讓一個 宏象素裡的所有三個複合象素的上下兩層感光二極體共享同一個讀取電容(FD)和3T讀取 電路。圖13顯示的是一個8-點共享4T主動感光象素的讀取電路，平均每個象素只採用 了 1.375個門。這個8-點共享主動感光象素的讀取電路，適用於以四點宏象素為基礎的方 陣排列的雙面雙層感光器件，亦即讓一個宏象素裡的所有四個複合象素的上下兩層感光二 極管共享同一個讀取電容(FD)和3T讀取電路。圖14顯示的是本發明的異色和混雜合併的技術的基本思想先將同一宏象素的 內的兩個不同或相同色彩的象素(以信號平均或相加的方式)合併，然後再做合併後相鄰 且色彩相同的象素間的合併。圖14(a)顯示的是Bayer圖案感光器件一種兩列合併的示意 圖，圖14(b)顯示的是Baver圖案感光器件一種兩列和兩行同時合併的示意圖。其中，單獨 看G與B，或G與R的合併時，就構成了異色合併；而將G與B的合併，G與R的合併，B與R 的合併，以及G與G的合併合起來看時，就構成了混雜合併，因為其中有的合併是在同色之 間(G與G)，而其它則是在異色之間。Bayer圖案的RGB原色圖像，在經過雜色合併後，被轉 換成了 CyYeMgG補色圖像。在這個圖中，將G與B的合併，G與R的合併，B與R的合併，以 及G與G的合併構成了第一個合併過程。第二個合併過程，是將合併後得到不同位置上的 Cy, Ye, Mg，和G值，按照同色合併的方式，同時輸出到總線上，或採用跳行或跳列的方式，跳 過某些象素，和逐個讀出。圖15顯示的是本發明的雜色合併技術用於更一般的M行與N列合併情況(圖中 為5x3，即5行與3列的合併)。將跳行或跨行與跳列與跨列的方法結合，可以得到很多種 不同的類似圖15的情況。3行3列的合併可以通過2行與2列的合併方式加上跳行和跳列 來完成。注意到第三行和第四行在進行交叉合併時，將產生一對位於同一中點位置的(Mg， G)信號。為了後面的列合併的方便性，可以人為認為Mg或G在前面，以保持一致性。注意到行和列的對稱性，從這個圖我們可以很容易地延伸出3x5，2x3，3x2，2x4， 4x2,5x2,2x5,2x6,6x2,3x4,4x3,3x6,6x3,4x4,4x5,5x4,4x6,6x4,5x6,6x5,6x6,7x6,6x7, 7x7x, 8x8，等等各種合併情況。比較有用的是 2x2，2x4，4x2，4x4，3x6，6x3，6，6，4x8，8x4，和8x8的能夠很容易的保持圖像長寬比的合併因子。同樣，在這個圖中，G與B的合併，G與R 的合併，B與R的合併，以及G與G的合併，構成了第一個合併過程。第二個合併過程，是將 合併後得到不同位置上的Cy，Ye, Mg，和G值，按照同色合併的方式，同時輸出到總線上，並 跳過中間一些沒有用到的象素(例如圖中的第5行和第10行)。被跳過的色彩，將不再參 加後面的第三合併採樣過程，如果感光器件包含有第三合併採樣過程的話。圖16顯示的是色彩空間矩陣變換帶來的額外的2x2圖像縮小。無論CyYeMgG的 圖像是原始圖像，還是通過本發明的雜色合併方法從Bayer RGB圖像獲得，當我們將它轉換 成YUV圖像時，可以獲得額外的2x2縮小。縮小的方法就是將一個CyYeMgG宏象素，當成是 共點的四個象素而轉換成一個(Y，U，V)象素，然後再將(水平方向)相鄰的兩個點的U和 V值平均，就得到預覽和JPEG/MPEG壓縮所希望的YUV422圖像。圖17顯示的是本發明的一種優秀的讀取電路。在這個讀取電路中，奇數行與偶數 行的感光象素，將共用一個不透光的讀取電容FD(如圖中的FDl和FD2).開關TGl用來選 擇將Gr感光二極體中的電容轉換到FDl中去。同樣，開關TG2，TG3，TG4被用來分別讀取 R，B，Gb等電容值到FD2，FD1，或FD2中去。另外一個開關TG5，則用來將讀取電容FDl中的 值，以相加的方式，轉移到FD2中去(或從FD2轉移到FD1)。這種布局的感光象素，可以採 用如圖18所示的四點橋式共享讀取電路。在這個電路中，讀取電容FD不透光的要求，是實 現如圖21所示的逐行掃描，隔行或跨行讀取所必須的。圖18顯示的是本發明的用於四點宏象素方陣排列圖案的四點橋式共享讀取電 路。這種讀取電路平均每個象素用到2個三極體。雖然不是門數最少的共享讀取電路，但 在其它方面有無與倫比的優點。第一個優點是，在子採樣時，通過 同時打開TG1/TG3或同時 打開TG2/TG4，奇數行的象素值Gr能夠與偶數行的象素值B以相加的方式在FDl內累加，從 而達到信號相加，噪聲相減的雙重效果。平均而言，採用FD將兩個信號融合後再讀取的方 式，可以將信噪比提高至多2 ^倍，其中2倍來自於信號的增強，^倍來自於噪聲的減弱。 對比之下，之前的將兩個信號取平均的方法，只能通過減弱噪聲的方式，將信噪比提高至多
倍。同樣，通過，控制時序同時打開TG1/TG4/TG5或TG2/TG3/TG5，我們也能夠將對角線 上的象素以信號相加的方式讀出。第二個優點是，在全圖採樣時，可以通過將下一行象素值 存到FD裡面的辦法，從而實現隔行或跨行讀取，如圖21所示。圖19顯示的是一種本發明的用於三點宏象素蜂窩排列圖案雙層感光器件的六點 共享讀取電路。在這種讀取電路中，頂層三個象素共用一個讀取電容FD1，底層三個象素共 用一個讀取電容FD2，頂層三點與底層三點共用一個放大和讀取電路。這種頂層和底層共用 讀取電路的方法，能夠簡化設計，並在子採樣時讓控制邏輯變得簡單。與圖12不同之處在 於，頂層和底層的讀取電容沒有分享，從而便於雙面感光器件的製作。圖20顯示的是一種本發明的用於四點宏象素方陣排列圖案雙層感光器件的八點 共享讀取電路。在這種讀取電路中，頂層四個象素共用一個讀取電容FD1，底層四個象素共 用一個讀取電容FD2，頂層四點與底層四點共用一個放大和讀取電路。與圖13不同之處在 於，頂層和底層的讀取電容沒有分享，從而便於雙面感光器件的製作。顯然，對於雙面雙層感光器件，頂層和底層的四個宏象素點也可以分別採用如圖 18所示意的雙FD橋式共享讀取電路，從而讓頂層和底層的讀取電路相對獨立並且各自可 以採取隔行或跨行讀取的方式，加快全圖拍照時的快門速度。
圖21顯示的是圖17所示的採樣讀取電路，用於在全圖採樣時的隔行讀取(圖 21(a))或跨行讀取(圖21(b))方式的示意圖。在圖21(a)的隔行讀取中，讀第一行(GrRgGrR···)時，第二行(BGBG···)的值，在第 一行相應位置的值讀取之後，緊接著移到已經空餘的FD區間。也就是說，當第一行的第N 列象素在被讀取的時候，第二行的第N-I (或N-2，等等)個象素正在被移到垂直對應的FD 區域裡。當第一行讀完後，我們並不緊接著去讀存在FD裡的第二行裡的值，而是接著讀第 三行的象素值。同樣，在讀第三行的象素值時，第四行的象素值也被同時被轉移到FD區域 裡。也就是說，所有偶數行的象素值，都被逐一地移入FD緩存區，直到奇數行的象素值全被 讀完。最後我們再按次序一行一行地讀FD緩存區裡的偶數行裡的象素值。在圖21 (b)的跨行讀取中，讀第一行(GrRgGrR···)時，第二行(BGBG···)的值，在第 一行相應位置的值讀取之後，緊接著移到已經空餘的FD區間。也就是說，當第一行的第N 列象素在被讀取的時候，第二行的第N-I (或N-2，等等)個象素正在被移到垂直對應的FD 區域裡。當第一行讀完後，我們並不緊接著讀第三行的象素值時，而是接著讀第四行的象素 值，並同時將第三行的象素值轉移到FD區域裡。也就是說，行的讀取順序依照1，4，5，8，…， 2，3，6，7，這樣的次序。圖21(b)的好處是，前面半幀的圖像，依然是Bayer圖案排列，因而 可以用來快速得到拍照瞬間的小圖預覽。
圖21所示的隔行讀取方式或跨行讀取方式，與之前電視制式裡的場掃描方式是 不同的。不同的地方主要在於，存於緩存(FD)區域裡的後半幀圖像的感光時間與前半幀是 幾乎一樣的，因而在效果上將快門速度比逐行讀取提高了一倍，但卻避免了電視制式的場 掃描方式帶來的奇數場和偶數場時間上晚一場(半幀)的情況。這種情況當然只適合於抓 拍一張的情況，不適合於連續的視頻錄像。採用隔行讀取方式或跨行讀取方式來將拍照時的電子快門速度在一瞬間提高一 倍是非常有價值的手段。例如，假定象素讀取時鐘為96MHz，而感光晶片有8M象素，那麼， 在拍全圖時的電子快門速度為(96/8) = 12fps,or 1/12秒。而採用圖19所示的隔行讀取 方式或跨行讀取方式，我們就能將感興趣的那個單幀，瞬間提升到24fps，or 1/24秒，速度 快了一倍。達到1/24秒的拍照快門速度，意味著可以省去手機照相模組上的機械快門，而 1/12秒的拍照速度需要機械快門才能不因手抖產生圖像扭曲。圖22顯示的是一個雙層感光器件在子採樣時的一種簡化處理情況第一合併過 程首先從上下兩層的冗餘的色彩象素裡，採用合併或捨棄的方法，只保留色彩重建所必需 的色彩分量，例如，Cy，Mg (為B和R合併所得)，G，和Ye.第三合併過程然後再利用圖16所 示的色彩空間轉換的手段，將相鄰的CyYeMgG四個象素，轉換為一個YUV色彩，再將相鄰的 UV分量做水平方向上的2分子採樣，就得到YUYV422圖像。這個過程完成了一個2x2的子 採樣。如果圖像還是太大的話，那麼，在進行色彩空間CyYeMgG到YUV轉換之前，還可以第 二合併過程中先做CyYeMgG相同色彩的平均而不是採用圖中的全採樣方式。這種雙層感光器件在全圖採樣時，可以捨棄掉一些象素，也可以全部讀出後由後 端處理器來決定怎麼處理。全部讀出時，數據量多了一倍。那麼，如果採用圖18和圖20所 示的隔行或條行讀取方式，那麼就能將拍照瞬間的幀率提高一倍，與現有的單層感光器件 速度一樣。圖22也足以表明，兩層或多層感光器件在子採樣時的複雜性和豐富多彩性。由於兩層或多層感光器件在宏象素的色彩分布上有幾千種以上的可能性，那麼，子採樣也就相 應地有更多種可能。我們在此只能列舉少數幾種方法來闡述本發明的精髓。圖23顯示的是另一種雙層感光器件在子採樣時的一種簡化處理情況第一合併 過程通過象素相加(或平均)，它首先得到CyYeMgB的宏象素，然後，第三合併過程將此四 點通過色彩變換的關係得到YUV色彩，從而實現2x2的子採樣。當然在色彩轉換之前，也可 以在第二合併過程先對CyYeMgB的宏象素做相同色彩的(以信號平均的方式)合併而不是 採用全採樣方式，從而得到更高倍數的子採樣。顯而易見，圖中CyYeMgB的宏象素也可以用 BRGB的類似Bayer圖案的宏象素取代。這裡，我們用CyYeMgB說明，用CyYeMgB，CyYeMgG, CyYeMgR,都可以得到YUV或重建RGB。也就是說，CyYeMgG只是CyYeMgX的一個特例，其中 X可以是R，G，或B。圖24顯示的是另一種雙層感光器件在子採樣時的一種簡化處理情況第一合併 過程先將相鄰象素沿水平方向(以信號平均或相加的方式)做合併，然後第二合併過程再 將合併後的象素，(以信號平均或相加，或棄行的方式)沿垂直方向合併。通過合適的時序 控制，水平方向和垂直方向的合併，可以同時完成。這種子採樣方式，不僅比現有的子採樣 方式更加豐富多彩，也提供 好得多的信噪比。圖25顯示的是實現本發明的象素讀取和子採樣電路的一種感光器件的原理性系 統方塊示意圖，用來闡述本發明的各種功能模塊在感光器件中的實現方法。此原理性系統 包含象素陣列，行地址解碼控制器，列地址解碼控制器，採樣控制電路，放大和模數轉換模 塊，色彩變換和子採樣及圖像處理模塊，輸出控制模塊，晶片總控制模塊(圖25中的CC模 塊)，和其它可能的模塊。象素讀取和子採樣的功能，將主要通過行地址解碼控制器和列地 址解碼控制器產生相應的控制信號(行選信號Row[i]，行控制矢量信號RS[i]，列選信號 Col [j]，列控制矢量信號T[j]，其中i和j分別對應的行標號和列標號)來完成。系統其它 模塊的協調，將主要由晶片總控制模塊來完成。第三合併採樣過程，如果有的話，將在色彩 變換和子採樣及圖像處理模塊中完成。圖26是以一個具體的實例(圖17所示的感光象素)來說明圖25中的各個控制信 號(行選，行控制矢量，列選，列控制矢量)與對應的感光象素上的控制信號的關係。圖26 描述的是圖17中的Gr象素和B象素的信號共享情況(TG5被省略了)。行選信號Row[i] 和Col[j]已經清楚標出。在這個電路圖中，復位信號RSl和轉移門控制信號RS2(TG1或 TG3)屬於行控制信號。注意到，RSl是兩行共享的，而RS2則每行有一個(例如，TGl屬於 1 山，而163屬於1 [丨+1]).圖17中的TG5(圖26中省略)，則屬於列控制信號T[j].也 就是說，儘可能地對象素只做行操作(同一行的象素完全相同)和列操作(同一列的象素 完全相同)，而不去做每個象素不同的操作，以減少複雜度。在後面的具體實施方式
裡，我們將結合圖25和圖26來說明，本發明的採樣和子採 樣方法是怎樣實現的。
具體實施例方式本發明具體實施方式
的多光譜感光器件，不同的讀取和子採樣的電路可由類似於 圖25所示的電路來實現，包括包含有複數個宏象素的象素陣列，行地址解碼控制器，列地 址解碼控制器，採樣控制電路，放大和模數轉換模塊，色彩變換和子採樣及圖像處理模塊，輸出控制模塊，晶片總控制模塊(圖25中的CC模塊)，和其它可能的模塊。先根據需要，按照方陣或蜂窩形狀排列以四個點或三點象素為基礎的宏象素。這 些象素，可以是被動象素，也可以是主動象素，可以帶讀取電容FD，也可以不帶讀取電容 FD0在前文中，我們已經將子採樣過程區分為第一合併採樣過程、第二合併採樣過程、 以及可選的第三合併採樣過程。對應於這幾個過程，我們分別採用第一合併單元、第二合併 單元和第三合併單元來實現上述幾個合併採樣過程。當然，這幾個單元只是從其實現功能 的角度對器件的一種模塊劃分，從物理器件的角度，這些功能單元可以是由一個物理上的 模實現其功能，也可以是多個物理上的模塊組合實現其功能，又或者這些功能單元集成在 一個物理的模塊中。總之，本文中的第一合併單元、第二合併單元和第三合併單元的描述， 只是從其功能上一種描述，而不具體的限定其物理上的實現方式。具體的，在本示例中，實現所需子採樣功能的是行地址解碼控制器和列地址解碼 控制器。行地址解碼控制器將輸出兩類信號，行選信號Row[i](每行一條線)和行控制矢 量信號RS [i](每行一條或多條線)，其中i為行的標號。類似地，列地址解碼控制器將輸出 兩類信號，列選信號Col [i](每列一條線)和列控制矢量信號T[j](每列一條或多條線)， 其中j為列的標號。行選信號Row[i]是用來做行的選擇，而列選信號Col [j]是用來做列的選擇。這是 兩組相對標準的信號。行控制矢量信號RS[i]是對現有CMOS行控制信號的擴展(每行一 條線擴展到每行多條線)，而列控制矢量信號T [j]，有的CMOS感光器件根本沒有，即使有， 也是一列只有一個。圖26以圖17的感光象素為例，給出T Row[i]，RS [i]，Col [j]，和T [j] 的一個具體的實現，其中Row[i]是兩行共享的，而RS包含兩個行控制信號RSl [i](復位信 號，同樣兩行共享)和RS2[2](電荷轉移控制信號)。在本發明中，可能同時好幾行被同時選中，也可能同時好幾列被同時選中，甚 至幾行和幾列被同時選中。雖然在之前的某些技術中(如美國專利US6，801，258B1， US6, 693，670B1, US7, 091，466B2, US7, 319，218B2等等)，同樣會有好幾行或好幾列被同時 選中，但由於合併採樣的方式不同，因而，行選信號和列選信號的時序和波型是完全不同 的。例如，在進行圖14(a)中的合併採樣時，第一行第一列和第二行第二列被同時選中，而 這種情況在之前的子採樣方法中是不可能出現的。RS[i]和T[j]是用來控制感光象素的復位，清零，感光時間控制，電荷轉移，象素 合併，和象素讀取。由於行列的對稱性，RS[i]和T[j]有很多種具體的實現方式。如圖17 所示的TG1-TG5，Vbl-Vb4等信號，還有圖18中所示的RS，S，和SF信號，都是RS[i]和T[j] 所要包含的。本發明並不受到這些信號的具體實現方式的限制。更具體地，在做任一 MxN因子的子採樣時(M彡2，N彡2)，首先做兩行或兩列，或 兩行和兩列的合併採樣的第一合併採樣過程，然後再在第一合併採樣的基礎上完成MRx N列的子採樣。在第一合併採樣之後的子採樣(總的MxN子採樣)，即第二合併採樣過程，可通過以下各種方式單獨或聯合來完成直接輸出到總線的信號自動平均方式、跳行或跳列方式、 和逐個採樣方式。而第三合併採樣過程，如果有的話，可通過如下兩種方式單獨或聯合來完 成色彩空間變換方式和後端數字圖像縮放方式。
我們知道，在一個象素陣列中，是含有相當多的感光象素的，尤其對於雙層或多層 感光器件，色彩的種類和幾何分布情況就非常豐富。顯然，第一合併採樣過程也相應的針對 多個第一合併象素，因而，在進行第一合併採樣過程時，這些第一合併象素從象素的色彩合 並的角度上說，其用作合併的色彩選擇是多樣的，可以採用同色合併的方式，異色合併的方 式，混雜合併方式(部分象素色彩相同，部分不同)，也並可以選擇性地丟掉多餘的色彩。色彩空間的變換包括RGB到CyYeMgG空間的變換，CyYeMgG到YUV空間的變換，和 RGB到YUV空間的變換。注意到RGB到CyYeMgG空間的變換，可以在模擬信號空間完成，也可以在數字空間 完成，因此，它可以在第一合併過程，第二合併過程，或第三合併採樣過程中的任何一個過 程中來做。但CyYeMgG到YUV空間的變換和RGB到YUV空間的變換，則只能在數位訊號空 間來做，也就是說只能在第三合併採樣過程中來做。更具體地，象素陣列部分，由複數的按方陣排列的三個或四個基本象素一組的宏 象素組成。其中宏象素中的基本象素可由被動象素組成，也可由不帶FD的3T主動象素組 成，也可由帶一個FD的4T主動象素組成。如果宏象素中基本象素採用帶FD的4T主動象素，其讀取電路可以採用4-點共享 方式(圖11)，6-點共享方式(圖12)，和8-點共享方式(圖13)。更為優選地，每個宏象素可由帶兩個不透光的FD的4T主動象素組成，此時，其讀 取電路可以採用4-點橋式共享方式(圖18)。相應地，此種感光器件在進行第一次兩行或 兩列，或兩行和兩列的合併採樣子採樣時的色彩合併時，採用的是電荷相加的方式。這種宏 象素為後面的逐行掃描，隔行或跨行讀取全圖採樣方式提供了可能。對於雙層或多層感光器件，除了第一合併採樣過程的色彩選擇更加豐富多彩外， 當每個宏象素由帶兩個FD的4T主動象素組成時，其讀取電路還可以採用4-點橋式共享方 式(圖18)，6-點橋式共享方式(圖19)，或八點橋式共享方式(圖20)。相應地，此種感光 器件在進行第一次兩行或兩列，或兩行和兩列的合併採樣子採樣時的色彩合併時，採用的 是電荷相加的方式。注意到，N個信號在採用電荷相加的方式合併時，信噪比的改進上限為Νλ/ 倍，而 N個信號在採用信號平均的方式合併時，信噪比的改進上限為#倍。其次，這種四點共用 兩個FD(或兩行象素共用一行FD)的感光器件在進行全圖採樣時除了正常的逐行掃描，逐 行讀取外，還可採取逐行掃描，隔行讀取的方式。舉例來說，在全圖採樣時，行地址解碼控制器和列地址解碼控制器，將根據索取的 圖像區域要求，依次先按行將Row[i]和RS[i]值按照器件約定置成高或低，並接著依次按 列輸出Col[j]和T[j]的值置成高或低，使得所需要的象素(電荷/電壓)值，能夠(經過 讀寫電路)依讀取順序輸出到輸出總線上。在子採樣時，對於每一個所支持的MxN採樣因子(行縮小M倍，列縮小N倍)，行地 址解碼控制器和列地址解碼控制器，根據MxN採樣因子和圖像區域要求，對應每一個輸出 行，同時將需要合併的行所對應的所有Row[i]和RS[i]值置成高或低，並同時對應每一個 輸出列，接著將需要合併的列的所有Col[j]和T[j]的值置成高或低，使得所有需要合併的 象素(電荷/電壓)值，能夠同時依讀取順序(經過讀寫電路)輸出到輸出總線上。同時， 必要的時候，行地址解碼控制器和列地址解碼控制器還將根據MxN採樣因子和圖像區域要求，進行必要的跳行和跳列的操作。不同的MxN採樣因子，輸出總線上在不同的時間可能得到不同的色彩。相應地，其 它系統功能模塊，如放大和模數轉換模塊，色彩變換和子採樣及圖像處理模塊，還有輸出控 制模塊，都需要做相應的協調工作。這個系統的總的控制，可以通過晶片總控制模塊(圖25 中的CC模塊)來完成。注意到，除了放大和模數轉換模塊和象素陣列外，其它模塊，主要都 是數字處理電路，因而可以比較容易地在器件外圍實現，從而使得感光器件的布線相對簡 單。下面我們將結合圖17所示的感光象素的如圖26的讀取電路實現，以及圖25所示 的感光器件的其它模塊來給出一個更為具體的信號控制流程。首先，進行清零和感光控制一種簡單的清零控制是將Vbl和Vb2全部置零，這個 要求Vbl和Vb2成為行控制矢量的一個信號。另一種方法是，先將FDl和FD2復位(圖26 中的RSl置零)，並同時TGl和TG2打開(圖26中的RS2置高)，將感光象素裡Gr和R裡 的電荷清掉。此後，將RSl置高，RS2置零。此後，在光的照射下，Gr和R的感光二極體開始 積累電荷。當需要讀取Gr中的電荷時，有三種做法。第一種是直接將TG1/ RS2和Row[i]打 開，將Gr中的電荷轉移到FDl中，並從中(通過電荷到電壓的轉換)讀出Gr中的電荷值。 第二種做法是，接著第一種做法的最後一步的讀出Gr中的電荷值後，再對FDl復位，並讀出 FDl在復位狀態下的電荷(電壓)，以便用來對剛讀出的Gr的電荷值進行相關採樣。第三 種是在讀取Gr中的電荷值之前，先對FDl進行復位採樣，這種方法會干擾Gr中的值，因而 比不上第二種。此時，列地址解碼控制器必須將Gr對應的列選信號Col [j]打開，以便對Gr 的測量(可能是兩次，其中一次是復位狀態下的測量)輸出到放大和模數轉換模塊中去。根據Row[i]，Col[j]，和RS2[i]的值，晶片總控制模塊CC可以算出正在讀取的象 素的色彩，並對它進行相應的處理。不同的色彩，可能會進入不同的放大電路，並進行不同 的模數轉換處理而得到數位訊號。感光象素的數位訊號將放進緩存裡，由色彩變換和子採樣及圖象處理模塊，做進 一步的處理。在全圖採樣的情況下，不做子採樣，對於大陣列圖像感光器件，通常也不做任 何色彩變換。因而在此模式下，晶片總控制模塊CC會做出相應的控制，讓感光象素的數字 信號跳過色彩變換和子採樣模塊，直接進入到圖像處理模塊。經過感光器件內含的圖像處 理之後，再由輸出模塊輸出到感光器件的對外接口。在全圖採樣時，需要注意的是逐行掃描，隔行或跨行讀取方式。在此情況下，奇數 行和偶數行的復位清零和感光時間控制是同時進行的。在隔行讀取的時候，當偶數行(第 一行)的象素被全部讀取之後，行地址解碼控制器並不是立即去選擇讀下一行，而是，先將 後面的奇數行(第二行)轉移到FD與偶數行共用的FD中去，然後再開始第三行的讀取。在 跨行讀取的時候，如果第一行的標號從O開始，那麼，前半幀的行的讀取順序為0，3，4，7，8， 11，12，15…，而後半幀的讀取順序為，1,2,5,6,9,10，13，14…。當然還可以有更加複雜的次 序。中間讀前半幀時中間被跨過去的行，先被放在已經使用過一次的FD中暫存起來，等到 讀下半幀讀出。逐行掃描，隔行或跨行方式與傳統電視裡的場掃描方式的不同之處是，在本發明 的逐行掃描，隔行或跨行方式裡，象素的感光時序完全是逐行進行的，而場掃描方式不是。
在子採樣時，情況會複雜很多。但是對於一個具體的感光器件，子採樣因子MxN可 以只支持少數幾種。相應地，晶片總控制模塊CC，行地址解碼控制器，以及列地址解碼控制 器可以只考慮所支持的MxN子採樣因子。例如，一個5百萬象素的感光器件，可以只考慮支 持2x2，2xl，4x4，8x8的四種情況。第二合併採樣過程通常不涉及電荷相加，因而通常採用的是如下三個方式直接 輸出到總線的信號自動平均方式、跳行或跳列方式，逐個採樣方式。這三個方式都非常傳統 和簡單，為本領域技術人員所熟知，不在此贅述。第三合併採樣過程是在數字圖像空間完 成，採用的也是相對標準的數字圖像縮放技術。下面我們僅對第一合併採樣過程做信號控 制流程的仔細說明，以使本發明的使用方法更加容易了解。對於如圖17所示的宏象素，在第一合併過程中，可能有兩種合併方式第一種方 式是Gr與B合併，R與Gb合併；第二種方式是Gr與Gb合併，R與B合併。對於第一種合併方式，按時間順序1. t0時刻行地址解碼控制器會將如圖26所示的對應於FDl的RSl置零(復位)。2. tl時刻打開TGl和TG3(RS2[i]和RS2 [i+1])，同時將Gr和B感光二極體(PD) 的電荷，轉移到FDl中。此時，RSl可以置高。3. t2時刻然後再打開行選Row[i]和列選Col [j](假定Gr處在第i行第j列)， 將FDl中的電荷(電壓值)輸出到輸出總線上。4. t3時刻接下來還可讀取FDl中的零值以做相關採樣用。前兩步的操作，可以同時對第i和第i+Ι行的所有象素進行，第三和第四步則對合 並後的象素依次進行讀取。因此，如果不做相關採樣，平均一個時鐘脈衝可以讀取一個象 素，如果做相關採樣，則平均兩個時鐘脈衝可以讀取一個象素。這是按照象素位置優先次序 進行的。這種合併方式，也可以按照下面的色彩優先次序進行。對於第二種合併方式，時序情況複雜很多。這時候有兩種處理方式。第一種處理 方式是按色彩優先次序進行先將整行的Gr與Gb合併採樣完，再進行B和R的合併採樣， 或者按相反次序。這種方式比較簡單，控制信號的時間順序如下5. t0時刻行地址解碼控制器會將如圖17和圖26所示的對應於FDl和FD2的RSl
置零(復位)。6. tl 時刻打開 TGl 和 TG4 (RS2 [i]和 RS2 [i+Ι])，同時將Gr 和 Gb 感光二極體(PD) 的電荷，分別轉移到FDl和FD2中。此時，RSl可以置高。7. t2時刻打開TG5，將FD2中的電荷轉移到FDl中去8. t3時刻然後再打開行選Row[i]和列選Col [j](假定Gr處在第i行第j列)， 將FDl中的電荷(電壓值)輸出到輸出總線上。9. t4時刻接下來還可讀取FDl中的零值以做相關採樣用。前三步的操作，可以同時對第i和第i+Ι行的所有Gr和Gb象素進行，第三和第四 步則對合併後的象素依次進行讀取。因此，如果不做相關採樣，平均一個時鐘脈衝可以讀取 一個象素，如果做相關採樣，則平均兩個時鐘脈衝可以讀取一個象素。這種讀取方式破壞了 象素按位置的自然排序，需要後端處理校正。為了保持一致性，第一種合併方式，也可以按 色彩優先方式進行。第二種處理方式是按位置優先次序進行先將第一個Gr與Gb合併採樣完，再進行第一個B和R的合併採樣，如此反覆。這種方式的控制信號的時間順序與上面第一種處 理方式類似，但象素之間只能串行處理，不能並行處理。就是說，在處理第一個合併象素的 t0-t5時刻，不能處理第二個合併象素。這要求比較高的系統時鐘。幸運的是，在進行了子 採樣後，象素的數量大大減少，因此，系統時鐘頻率還不至於高得太離譜。對於本發明中的優選電路實現而言，在子採樣時，相關採樣作用不大，因而可以省 去。從而，上面的時序就簡單很多。對於選定的象素採樣次序，晶片總控制模塊CC將相應地控制放大和模數轉換模 塊，色彩變換和子採樣及圖像處理模塊，還有輸出控制模塊，以便對不同的色彩做不同的處 理。更詳盡的介紹已經超出了本發明的範疇。現有的子採樣方式主要是在相同色彩的象素間進行，而且主要採用的象素平均和 跳行或跳列的方式。這些方法，對於豐富多彩的雙層或多層感光器件而言，就顯得過於局限 和蒼白無力。本發明提出的子採樣方法，通過色彩空間變換的方式，即可以在相同色彩間進 行，也可在不同色彩間進行，也可混合進行(即部分在相同色彩間進行，部分在不同色彩間 進行)。此外，本發明提出的電荷相加的信號合併方式，只需將η個信號合併，就能達到接近 於η3個信號相加的效果。因而，本發明的子採樣方法相比現有的子採樣方法，將可具有更 好的圖像質量，特別的，將本發明用於雙層或多層感光器件的時候，就能產生不可勝數的簡 單而又優秀的子採樣方式。以上我們只是以單層和雙層感光器件和少數3Τ/4Τ主動象素為例子，來說明本發 明的精髓和內容。這些具體的條件，並不是本發明的限制。相反，將本發明用於更為複雜的 設計，如5Τ/6Τ主動象素，或多層感光器件，其效果可能更為明顯。
權利要求
一種多光譜感光器件，其特徵在於，包括以行和列排列的象素陣列，以及第一合併單元，用於對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列的象素間進行兩兩合併採樣，獲得第一合併象素的採樣數據；第二合併單元，用於對第一合併單元得到的第一合併象素的採樣數據進行合併採樣，獲得第二合併象素的採樣數據。
2.如權利要求1所述的多光譜感光器件，其特徵在於，還包括第三合併單元，，用於對 第二合併單元得到的第二合併象素的採樣數據進行合併採樣，獲得第三合併象素的採樣數 據。
3.如權利要求2所述的多光譜感光器件，其特徵在於，所述第一合併單元或第二合併 單元的象素合併方式為相同或不同色彩象素間的電荷累加方式或兩個不同色彩象素間的 信號平均方式，其中不同色彩象素間的象素合併方式遵照色彩空間變換的方式，以滿足色 彩重建的要求。
4.如權利要求3所述的多光譜感光器件，其特徵在於，所述電荷累加方式是在讀取電 容(FD)中完成的。
5.如權利要求1至4任意一項所述的多光譜感光器件，其特徵在於，所述第一合併單元 或第二合併單元的基於色彩的合併採樣方式包括同色合併方式、異色合併方式、混雜合併 方式、或選擇性拋棄多餘色彩合併方式，且第一合併單元和第二合併單元採用的合併採樣 方式不同時為同色合併方式。
6.如權利要求1至5任意一項所述的多光譜感光器件，其特徵在於，所述第一合併單元 或第二合併單元的基於位置的合併採樣方式包括以下幾種方式中的至少一種直接輸出到 總線的信號自動平均方式、跳行或跳列方式、和逐個採樣方式。
7.如權利要求1至6任意一項所述的多光譜感光器件，其特徵在於，所述第三合併採樣 單元的合併採樣方式包括色彩空間變換方式和後端數字圖像縮放方式中的至少一種。
8.如權利要求1或7任意一項所述的多光譜感光器件，其特徵在於，所述色彩空間變換 包括RGB到CyYeMgX空間的變換、RGB到YUV空間的變換，或CyYeMgX到YUV空間的變換、 其中X為R(紅)、G(綠)、B(蘭)中的任一種。
9.如權利要求1至8任意一項所述的多光譜感光器件，其特徵在於，所述象素陣列由復 數個包含至少一個基本象素的宏象素組成，其中基本象素可以為被動象素或主動象素。
10.如權利要求9所述的多光譜感光器件，其特徵在於，所述宏象素中的基本象素按方 陣或蜂窩排列。
11.如權利要求9或10所述的多光譜感光器件，其特徵在於，所述宏象素的組成方式 包括以下組成方式至少一種不帶讀取電容(FD)的3T主動象素組成方式、帶一個讀取電容 (FD)的4T主動象素組成方式。
12.如權利要求11所述的多光譜感光器件，其特徵在於，所述帶一個讀取電容(FD)的 4T主動象素，採用4點共享方式、6點共享方式、或8點共享方式。
13.如權利要求9所述的多光譜感光器件，其特徵在於，所述宏象素包括如下的組成方 式由四個按方陣排列的基本象素和兩個位於兩行中間的不透光的讀取電容(FD)組成，上 一行的象素與下一行的象素共用一個讀取電容(FD)，兩個讀取電容(FD)之間可以實現電 荷轉移，並且在至少一個讀取電容上連接有讀取電路。
14.根據權利要求9所述的多光譜感光器件，其特徵在於，所述宏象素為帶兩點共享、 三點共享、或四點共享讀取電容(FD)的3T或4T主動象素的基本象素組成，採用4點橋式 共享方式、6點橋式共享方式、或8點橋式共享方式。
15.根據權利要求1至14任意一項所述的多光譜感光器件，其特徵在於，所述多光譜感 光器件的全圖採樣方式包括逐行掃描、逐行讀取方式或逐行掃描、隔行或跨行讀取方式。
16.一種多光譜感光器件的採樣方法，其特徵在於，包括第一合併過程，用於對所述象素陣列中的緊鄰的同行異列、異行同列、或異行異列的象 素間進行兩兩合併採樣，獲得第一合併象素的採樣數據；第二合併過程，用於對第一合併過程得到的第一合併象素的採樣數據進行合併採樣， 獲得第二合併象素的採樣數據。
17.如權利要求16所述的採樣方法，其特徵在於，還包括第三合併過程，用於對第二 合併過程得到的第二合併象素的採樣數據進行合併採樣，獲得第三合併象素的採樣數據。
18.如權利要求16或17所述的採樣方法，其特徵在於，所述第一合併過程或第二合併 過程的象素合併採樣方式為相同或不同色彩象素間的電荷相加方式或不同色彩象素間的 信號平均方式，其中不同色彩象素間的象素合併方式遵照色彩空間變換的方式，以滿足色 彩重建的要求。
19.如權利要求16至18任意一項所述的採樣方法，其特徵在於，所述第一過程或第二 合併過程的基於色彩的合併採樣方式包括同色合併方式、異色合併方式、混雜合併方式、或 選擇性拋棄多餘色彩方式，且第一合併過程和第二合併過程中至少一個合併過程不是同色 合併方式。
20.如權利要求16至19任意一項所述的採樣方法，其特徵在於，所述第一合併過程或 第二合併採樣過程的基於位置的合併採樣方式包括以下幾種方式中的至少一種直接輸出 到總線的信號自動平均方式、跳行或跳列方式、和逐個採樣方式。
21.如權利要求16至21任意一項所述的採樣方法，其特徵在於，所述第三合併採樣過 程進行的合併採樣方式包括色彩空間變換方式、後端數字圖像縮放方式。
22.如權利要求18或21所述的採樣方法，其特徵在於，所述色彩空間變換包括RGB 到CyYeMgX空間的變換、RGB到YUV空間的變換、或CyYeMgX到YUV空間的變換、其中X為 R(紅)、G(綠)、B(蘭)中的任一種。
23.如權利要求18至22任意一項所述的採樣方法，其特徵在於，其全圖採樣的方式包 括逐行掃描、逐行讀取方式或逐行掃描、隔行或跨行讀取方式。
全文摘要
本發明涉及一種多光譜感光器件及其採樣方法，所述方法包括第一合併過程，用於對所述像素陣列中的緊鄰的同行異列、異行同列、或異行異列的像素間進行兩兩合併採樣，獲得第一合併像素的採樣數據；第二合併過程，用於對第一合併過程得到的第一合併像素的採樣數據進行合併採樣，獲得第二合併像素的採樣數據；和第三合併過程，在數字空間用色彩變換和圖像縮放的方法，獲得第三合併像素的採樣數據。本發明適用於單層彩色感光晶片，單面雙層多光譜感光晶片，以及雙面雙層多光譜感光晶片的多像素共享讀取和放大電路。本發明在吸收了現有像素讀取電路的精髓的基礎上，在原理，基礎電路，和性能上，都有數量級的突破，並在實現高性能子採樣的同時，簡單直接地在感光器件上實現子採樣圖像的YUV格式輸出。
文檔編號H01L27/14GK101834974SQ200910105948
公開日2010年9月15日 申請日期2009年3月9日 優先權日2009年3月9日
發明者胡笑平 申請人:博立碼傑通訊(深圳)有限公司