實現二維離散餘弦變換的cmos圖像傳感器的製作方法
2023-04-30 01:08:21 1
專利名稱：實現二維離散餘弦變換的cmos圖像傳感器的製作方法
技術領域：
本發明涉及微電子學的集成電路設計領域和數字圖像編碼壓縮領域，尤其是開關電容放大電路、模擬累加器及二維離散餘弦變換(Two-Dimensional Discrete Cosine Transform, 2D-DCT)，具體講，涉及實現二維離散餘弦變換的CMOS圖像傳感器。
背景技術：
基於標準CMOS工藝的CMOS圖像傳感器(CMOS Image Sensor, CIS)以其可單片集成、低功耗、低成本、體積小、圖像信息可隨機讀取等特點，逐漸成為圖像和視頻採集的主流器件。傳統的基於CIS的視頻信號採集處理過程主要包括圖像採集、數據壓縮、數據傳輸和解壓縮四個部分，如圖I所示。但是，該過程自身存在著採集處理效率較低的問題前端CIS採集和處理了完整的圖像信息而消耗了大量的功耗和處理能力，其輸出數據包含的大量冗餘信息又在數據壓縮過程中被捨棄，最終只有部分信息進行存儲和傳輸，圖像採集和數據壓縮對冗餘信息的操作實際上都在做無用功。
因此，由於圖像信號本身是可以壓縮的，CIS可以直接獲取其壓縮表示(即壓縮數據)，如圖2所示。將圖像數據壓縮過程集成到CIS中，使圖像壓縮和傳感過程在保持低功耗設計的前提下互相融合，在圖像傳感器像素陣列及其處理電路中實現頻域冗餘圖像數據的消除，通過直接輸出壓縮後的信號從源頭上降低冗餘信息處理帶來的低效率。在圖像數據壓縮技術中，正交變換編碼(簡稱變換編碼)是最基本的編碼方式。變換編碼的基本思想是將在空間域描述的圖像信號，變換到另外的正交向量空間進行描述， 如果所選的正交向量空間的基向量與圖像本身的特徵向量很接近，那麼同一信號在變換空間中的描述就會簡單很多。空間域內的一個nXn個像素組成的像塊經過正交變換後，在變換域變成了同樣大小的變換係數塊。變換前後的明顯差別是，空間域像塊中像素之間存在很強的相關性，能量分布比較均勻；經過正交變換後，變換係數間相關性基本解除，近似是統計獨立的，並且能量主要集中在直流和少數低空間頻率的變換係數上。這樣一個解除相關的過程也就是冗餘壓縮的過程。在多種正交變換方式中，K-L變換採用圖像本身的特徵向量作為變換的基向量，因此與圖像的統計特性完全匹配，但K-L變換沒有快速算法，因此不宜用來進行實時編碼。在其他正交變換方式中，當以自然圖像位編碼對象時，與K-L變換性能最接近的是離散餘弦變換(Discrete Cosine Transform,DCT)。DCT作為一種正交變換方式，由於具有很強的能量集中特性以及去相關性，廣泛地應用到變換編碼壓縮中，已被目前的多種靜態和活動圖像編碼的國際標準所採用。2D-DCT能夠對二維圖像信號進行無損數據壓縮，去除圖像中的冗餘數據，2D-DCT 實例如圖3所示。因此，實現2D-DCT的CMOS圖像傳感器研究為基於壓縮感知的高效CMOS 圖像傳感器奠定了基礎。現如今，越來越多的圖像傳感器選擇以2D-DCT為基礎的變換編碼壓縮方式對圖像進行壓縮處理，這就需要增加單獨的數位訊號處理器(Digital Signal Processor, DSP)。DSP能夠增加信號處理的速度和精度，但是卻增加了圖像傳感器的功耗和晶片面積，嚴重製約了圖像傳感器在無線傳感、生物醫療等領域的應用，這些領域需要獲取大量的圖像信息並及時對其進行壓縮等處理，且不增加功耗和面積。因此，研究新型的可實現2D-DCT的CMOS圖像傳感器，使其做到不增加額外的功耗和面積，成為未來的研究熱點
發明內容
本發明旨在克服現有技術的不足，提供一種新型的可實現2D-DCT的CMOS圖像傳感器結構，使2D-DCT在獲取圖像的同時完成，與傳統處理流程相比，在不降低圖像傳感質量的基礎上，減少由於額外使用的2D-DCT模塊(如DSP或用於DCT變換的ASIC電路)引入的面積和功耗。為達到上述目的，本發明採取的技術方案是，一種實現二維離散餘弦變換的CMOS圖像傳感器，由像素陣列、讀出電路、多路選擇器MUX、可編程增益放大器DPGA、模數轉換器ADC以及控制時序電路組成，還包括在讀出電路後增加與像素陣列同尺寸的開關電容陣列，用來存放經過讀出電路相關雙採樣消除固定模式噪聲、復位噪聲後的圖像數據，供後續電路多次採樣使用；還設置有開關控制模塊3、寄存器I、開關控制模塊I、電容陣列，開關控制模塊I通過積分器輸出到開關控制模塊3，開關控制模塊3、寄存器I、開關控制模塊I、電容陣列與可編程增益放大器DPGA構成模擬累加器；模數轉換器ADC內增設有開關控制模塊2、寄存器2、電容通路、數字加法器；像素陣列第I行即m = O行像素通過讀出電路存放在開關電容陣列中，在控制時序電路的elk的控制下，通過多路選擇器MUX把存放在開關電容陣列中的圖像數據傳給模擬累加器，此時開關控制模塊3打開來自多路選擇器MUX輸入信號與電容陣列的通路，關斷積分器與電容陣列的通路，同時，通過寄存器I控制開關控制模塊I中的開關選擇對應的電
容陣列中電容值，通過積分器完成m = O行的N個像素與V = 0，η = 0，1，2，......，N-I的
對應列係數的相乘並累加，得出的行累加結果同時傳遞給M個模數轉換器ADC ；在每一個模數轉換器ADC進行模數轉換之前完成行累加結果與各自行係數u = 0， I, 2-,M-l,m = O的相乘，具體是在控制時序電路的clkplus高電平的時候把m = O行的行累加結果通過開關控制模塊3再次傳遞給電容陣列，進行電容復用，此時，開關控制模塊 3打開行累加結果與電容陣列的通路，關閉來自多路選擇器MUX輸入信號與電容陣列的通路，通過寄存器2控制開關控制模塊2，使得信號在進入每一個模數轉換器ADC之前選擇各自行係數，u = 0，1，2···，Μ-1，πι = O對應的電容通路，同時完成m = O行累加結果與M個行係數的乘法，得到m = O的M個行係數分量，這M個行係數分量同時進行9bit模數轉換，第一位是符號位，把轉換完的M個行係數分量的數字碼在控制時序電路clkreg高電平時存入模數轉換器的ADC寄存器中，在控制時序電路clkadd高電平時傳遞給數字加法器，等待與後續結果相加；當m = O的行累加結果傳遞給電容陣列進行復用後，多路選擇器MUX繼續從讀出電路的開關電容陣列逐個採樣m= I行的各個像素並傳遞給模擬累加器進行像素與列係數的相乘與累加，當控制時序電路clkplus高電平的時候得到m = I的行累加結果，重複m=O行係數分量的求得過程求得m = I的行係數分量,當clkadd為高電平時與m = O的行係數分量相加，重複上述過程，依次在控制時序電路clkadd為高電平時，在數字加法器中累加m= 2，3，…，M-I的行係數分量，當累加完M個行係數分量時，列級ADC進行數字輸出，同時得到u = 0,1,…，M-I, V = O的2D-DCT係數；當多路選擇器MUX遍歷一次MXN的像素陣列後,得到u = 0,1, *··,Μ-1, V = O的 2D-DCT係數，MUX再次依次遍歷N-I次MXN的像素陣列，得出全部2D-DCT係數。像素陣列採用4Τ-ΡΗ)像素結構，以及滾筒曝光方式；讀出電路採用開關電容放大電路，並且採用單端的結構，進行相關雙採樣。像素陣列分成8X8的矩陣塊，即M = N = 8。本發明的技術特點及效果本次發明通過增添開關電容陣列存儲經過相關雙採樣的信號，有效的提高了信噪 t匕，並且像素陣列中取消存儲單元，減少了噪聲對其的幹擾，利用了 2D-DCT可分離的原理， 應用混合信號處理模式在模擬域用累加器完成列變換，再通過電容復用、列級單斜ADC完成行變換，通過電容復用減少了晶片面積，提高了信噪比，利用行並行方式同時得到8個 DCT係數，縮短了計算時間，減少了數字電路部分，降低了功耗。輸出數據可以滿足任何量化編碼需要，提高了圖像傳感器效率，適用於無線傳感、視頻監控、生物醫療等領域。
圖I圖像信號採集處理流程圖。圖2基於壓縮感知的圖像信號採集處理流程圖。(a)空間域8X8像塊，(b)經過 2D-DCT變換後的8X8矩陣。
圖3 2D-DCT 舉例。圖4傳統CIS架構。圖5 4T-PH)像素結構示意6新型結構框圖。圖具體實施方式
示意圖。圖中C8與C4為等值電容。圖8列級單斜ADC結構框圖。圖9結構時序分析圖。
具體實施例方式傳統的CMOS圖像傳感器陣列架構包括用於接受光信號並使之轉化成電壓信號的像素陣列、用於放大電壓信號並且進行相關雙採樣(CDS)消除固定模式噪聲(FPN)以及復位噪聲的讀出電路、用於選擇具體像素值進行後續放大的多路選擇器(MUX)、用於放大像素值對應的電壓信號進行模數轉換的可編程增益放大器(DPGA)、用於將電壓值轉成數位訊號進行後續數字圖像處理的模數轉換器(ADC)以及外圍的控制時序電路。本次發明將在傳統CMOS圖像傳感器架構中進行改進用混合信號處理的方法實現2D-DCT。設{X(m，n)|m = 0,1, ... ,M-I ；n = 0,1, , N_l}為二維圖像信號數據矩陣，其
二維離散餘弦變換正變換定義為
權利要求
1.一種實現二維離散餘弦變換的CMOS圖像傳感器，由像素陣列、讀出電路、多路選擇器MUX、可編程增益放大器DPGA、模數轉換器ADC以及控制時序電路組成，其特徵是 在讀出電路後增加與像素陣列同尺寸的開關電容陣列，用來存放經過讀出電路相關雙採樣消除固定模式噪聲、復位噪聲後的圖像數據，供後續電路多次採樣使用； 還設置有開關控制模塊3、寄存器I、開關控制模塊I、電容陣列，開關控制模塊I通過積分器輸出到開關控制模塊3，開關控制模塊3、寄存器I、開關控制模塊I、電容陣列與可編程增益放大器DPGA構成模擬累加器； 模數轉換器ADC內增設有開關控制模塊2、寄存器2、電容通路、數字加法器； 像素陣列第I行即m = 0行像素通過讀出電路存放在開關電容陣列中，在控制時序電路的elk的控制下，通過多路選擇器MUX把存放在開關電容陣列中的圖像數據傳給模擬累加器，此時開關控制模塊3打開來自多路選擇器MUX輸入信號與電容陣列的通路，關斷積分器與電容陣列的通路，同時，通過寄存器I控制開關控制模塊I中的開關選擇對應的電容陣列中電容值，通過積分器完成m = 0行的N個像素與V = 0，n = 0，1，2，……，N-I的對應列係數的相乘並累加，得出的行累加結果同時傳遞給M個模數轉換器ADC ; 在每一個模數轉換器ADC進行模數轉換之前完成行累加結果與各自行係數u = 0,1,2…，M-I, m = 0的相乘，具體是在控制時序電路的clkplus高電平的時候把m = 0行的行累加結果通過開關控制模塊3再次傳遞給電容陣列，進行電容復用，此時，開關控制模塊3打開行累加結果與電容陣列的通路，關閉來自多路選擇器MUX輸入信號與電容陣列的通路，通過寄存器2控制開關控制模塊2，使得信號在進入每一個模數轉換器ADC之前選擇各自行係數，u = 0，1，2-^_1，111 = 0對應的電容通路，同時完成111 = 0行累加結果與1個行係數的乘法，得到m = 0的M個行係數分量，這M個行係數分量同時進行9bit模數轉換，第一位是符號位，把轉換完的M個行係數分量的數字碼在控制時序電路clkreg高電平時存入模數轉換器的ADC寄存器中，在控制時序電路clkadd高電平時傳遞給數字加法器，等待與後續結果相加； 當m = 0的行累加結果傳遞給電容陣列進行復用後，多路選擇器MUX繼續從讀出電路的開關電容陣列逐個採樣m = I行的各個像素並傳遞給模擬累加器進行像素與列係數的相乘與累加，當控制時序電路clkplus高電平的時候得到m = I的行累加結果，重複m = 0行係數分量的求得過程求得m = I的行係數分量，當clkadd為高電平時與m = 0的行係數分量相加，重複上述過程，依次在控制時序電路clkadd為高電平時，在數字加法器中累加m =2,3,…，M-I的行係數分量，當累加完M個行係數分量時，列級ADC進行數字輸出，同時得到 u = 0,1,…，M-I, V = 0 的 2D-DCT 係數； 當多路選擇器MUX遍歷一次MXN的像素陣列後，得到u = 0，1，…，M-l，V = 0的2D-DCT係數，MUX再次依次遍歷N-I次MXN的像素陣列，得出全部2D-DCT係數。
2.如權利要求I所述的實現二維離散餘弦變換的CMOS圖像傳感器，其特徵是，像素陣列採用4T-PH)像素結構，以及滾筒曝光方式；讀出電路採用開關電容放大電路，並且採用單端的結構，進行相關雙採樣。
3.如權利要求I所述的實現二維離散餘弦變換的CMOS圖像傳感器，其特徵是，像素陣列分成8X8的矩陣塊，即M = N = 8。
全文摘要
本發明涉及微電子學的集成電路設計領域和數字圖像編碼壓縮領域。為提供一種新型的可實現2D-DCT的CMOS圖像傳感器結構，使2D-DCT在獲取圖像的同時完成，與傳統處理流程相比，在不降低圖像傳感質量的基礎上，減少由於額外使用的2D-DCT模塊引入的面積和功耗，本發明採取的技術方案是，一種實現二維離散餘弦變換的CMOS圖像傳感器，由像素陣列、讀出電路、開關電容陣列、多路選擇器MUX、可編程增益放大器DPGA、模數轉換器ADC以及控制時序電路組成，還包括開關電容陣列，模擬累加器；模數轉換器ADC內增設有開關控制模塊2、寄存器2、電容通路、數字加法器。本發明主要應用於圖像傳感器編碼壓縮。
文檔編號H04N5/341GK102710906SQ20121010988
公開日2012年10月3日 申請日期2012年4月16日 優先權日2012年4月16日
發明者史再峰, 姚素英, 徐江濤, 李毅強, 李淵清, 王龍菲, 高靜 申請人:天津大學