用於快速獲取單幅低階累加圖像的cmos圖像傳感器的製作方法

2023-06-06 17:19:31 2

專利名稱：用於快速獲取單幅低階累加圖像的cmos圖像傳感器的製作方法
技術領域：
本發明涉及集成電路領域，尤其涉及一種用於快速獲取單幅低階累加圖像的TDI型CMOS圖像傳感器。
背景技術：
圖像傳感器可將包含圖像信息的光信號轉換成易於處理的電信號。圖像傳感器按照工作方式可以分為線陣型和面陣型。線陣型圖像傳感器以一維線陣排布的像素陣列通過對物體推掃拍攝獲取二維圖像信息。面陣型圖像傳感器以呈二維面陣排布的像素陣列對物體拍攝獲取二維圖像信息。面陣型和線陣型圖像傳感器都在生產生活中獲得了極大的應用，其中線陣型因其特殊工作方式被廣泛應用在空間成像和機器視覺等領域。但由於在線陣型圖像傳感器的像素曝光期間物體始終在作相對移動，因此成像質量有限，尤其在高速相對運動和低光照應用環境中線陣型圖像傳感器的SNR (Signal toNoise Ratio,信 噪比)會很低。為此，有人在結合面陣型圖像傳感器和線陣推掃工作方式的基礎上提出了TDI (Time Delay Integration,時間延時積分)技術,它能很好的提升圖像傳感器的靈敏度和SNR。TDI基本原理是使用面陣排布的像素陣列以線陣推掃的方式工作，通過相對移動實現不同行的像素陣列對同一目標進行多次曝光，並將每次曝光結果進行累加，等效延長曝光積分時間來實現很高的靈敏度和SNR。TDI技術最早是通過CO) (Charge Coupled Device,電荷稱合器件)圖像傳感器實現的，CCD圖像傳感器是實現TDI技術的理想器件，它能夠在電荷域實現無噪聲的信號累力口。目前TDI多應用在CXD圖像傳感器中，CXD-TDI圖像傳感器的工作原理是使用面陣CXD圖像傳感器以線推掃的方式工作，如圖1所示。M級CXD-TDI圖像傳感器一共有M行像素，在沿CCD列方向的推掃成像過程中，某列上的第一個像素在第一個積分周期內得到的光生電荷並不直接輸出，而是下移一個像素與同列第二個像素在第二個積分周期內得到的光生電荷相加，以此類推在第M個積分周期結束時，第M個像元的光生電荷與前M-1次得到的光生電荷累加後再按普通線陣CCD器件一樣進行讀出。這樣讀出電荷是單個像素的M倍，而噪聲的幅度只擴大了 V M倍，因此信噪比提高V M倍。但CCD圖像傳感器存在功耗大集成度低等缺點，而隨著CMOS (Complementary Metal Oxide Semiconductor,互補金屬氧化物半導體)技術的提高，CMOS圖像傳感器正逐步取代CXD圖像傳感器。和TD1-CXD相比，CMOS技術下實現TDI功能只能在模擬域或者數字域實現。在模擬域TDI方案中，CMOS圖像傳感器像素輸出的模擬信號先進入模擬信號累加器中完成對相同積分信號的累加，然後將完成累加的模擬信號送入ADC進行量化輸出。但累加模擬信號方式會消耗較大功耗和晶片面積，且模擬信號累加過程中會引入較大噪聲，不易實現高TDI級數。在數字域TDI方案中，先將像素輸出的信號送入ADC經行量化然後將量化後的數位訊號送入數字域累加器中完成相同積分信號的累加，最後將完成累加的信號直接輸出。數字域TDI可較為節省晶片面積和功耗開銷，且容易實現較高的TDI級數。但以上方案均是設計特有TDI架構的圖像傳感器晶片。因而有人提出基於普通面陣CMOS圖像傳感器在FPGA或DSP晶片中將CMOS圖像傳感器的輸出數位訊號進行TDI算法處理實現TDI功能。普通的面陣CMOS圖像傳感器主要包括N行XC列的像素陣列、列並行信號預處理電路(信號放大和處理)、列並行ADC、移位寄存器和時序控制電路，其結構如圖2所示。假設CMOS面陣圖像傳感器具有(N行XC列)像素陣列，CMOS面陣圖像傳感一般採用滾筒式曝光，像素陣列控制電路按行依次選擇N行像素陣列進行復位和曝光，當一行像素曝光完成，像素陣列控制電路選擇下一行像素曝光，同時讀出時序控制電路選通已曝光完成的行像素，該行像素經過光電轉換的模擬電信號通過各自的列總線進入列信號放大和處理電路，經過處理和放大的模擬信號再進入列級ADC電路進行模數轉換為數字圖像信號，時序控制電路控制移位寄存器按列依次讀出該行數字圖像信號，當該行像素的數字圖像信號讀出完成，讀出時序控制電路繼續對下一行像素信號進行處理和讀出操作。基於普通CMOS圖像傳感器實現TDI功能的原理如圖3所示，由於CMOS圖像傳感器具有窗口選擇功能，若選取N行XC列像素陣列中4行像素作為TDI區域，每幀圖像只輸出4XC個像素，選擇的4行CMOS像素陣列從第一行到第4行像素先後完成捲簾式曝光、讀出與復位的過程為一幀。通過對多幀圖像的存儲、移位和累加等操作就可以實現基於CMOS面陣圖像傳感器的TDI功能。在第一個行周期內，CMOS圖像傳感器曝光讀出得到4XC個像素圖像，其中第4行圖像P4(I)是第4行像素對第I行景物第I次曝光得到的圖像。在第二個行周期內，第3行圖像P3(2)是第3行像素對第I行景物第2次曝光得 到的圖像。以此類推，在第4個行周期內，第I行圖像P1 (4)是第I行像素對第I行景物第4次曝光得到的圖像。將這4次輸出的數位訊號進行累加，就得到了最終的第一行景物的4階 TDI 結果 Output (4):Output (4) =P4 (I) +P3 (2) +P2 (3) +P1 (4) (I)以此類推，在第5個行周期，可得到第2行景物的TDI結果。使用這種方案可不依賴於器件本身，並且TDI級數和解析度都可調，後續的TDI算法也容易實現。但在實際的工業等應用中，由於環境複雜，常既需要普通面陣圖像傳感器的功能，又需要在暗光下進行快速TDI成像的功能，這樣使用特定的TDI圖像傳感器晶片就很難滿足要求。這時選擇基於普通面陣CMOS圖像傳感器實現TDI算法的方案在一定程度上就能較好的滿足需求。但目前的CMOS圖像傳感器普遍為大面陣的晶片，在進行低階TDI單幅圖像拍攝時，如使用128X1024的圖像傳感器進行4階TDI完成單幅(128 X 1024)圖像成像時，若使用其中4行進行成像，需要在131個行時間採集131幀(每幀大小為4行X 1024列)圖像完成此TDI成像，其中每個行時間完成4行像素的曝光、讀出和復位，這樣會造成CMOS圖像傳感器晶片像素陣列的浪費且成像速度低下；若直接使用128行進行成像，在4個行時間採集4幀(每幀大小為128行X 1024列)圖像完成TDI單幅(125行X 1024列)成像，其中每個行時間需要完成128行像素的曝光、讀出和復位，這會造成成像器和景物相對運動速度的限制和成像速度低下。

發明內容
本發明旨在克服現有技術的不足，實現單幅累加圖像快速拍攝，為達到上述目的，本發明採取的技術方案是，用於快速獲取單幅低階累加圖像的CMOS圖像傳感器，在面陣CMOS圖像傳感器的基礎上再增加一倍的列信號放大處理電路、列級ADC和移位寄存器電路，數字圖像數據輸出通路由一路增加為兩路並且和原來的電路並行排布；像素陣列被分成兩部分，第一行到第N/2行為第一部分，第(N/2) +1行到第N行為第二部分，其中連接每列像素的列總線由一條增加為並列的兩條列總線，通過改變圖像傳感器的配置寄存器來實現正常的面陣CMOS圖像傳感器模式和可選階數的TDI傳感器兩種模式；在正常模式下，兩條信號讀出通路選擇其中一條信號通路正常工作；在TDI傳感器模式下，通過配置寄存器來設置TDI成像窗口尺寸即TDI的階數和解析度，被分成兩部分的像素陣列各自選擇同樣尺寸的TDI窗口，並分別配合一條信號通路進行各自像素陣列的復位、曝光和讀出操作；兩部分像素陣列的數字圖像信號輸出口分別輸出各自的圖像信號，但二者可共用同一條時鐘信號線；TDI階數M從2階到N/2階可選，在第一個行周期，輸出第一幀圖像，一幀圖像包含兩部分，第一部分為第I行到第M行像素信號，第二部分為第(N/2)+l行到第(N/2)+M行信號；隨著圖像傳感器和被拍攝物體的相對移動，在第二個行周期，輸出第二幀圖像，在FPGA或DSP中將第二幀圖像向前移位一行並和第一幀圖像累加得到2階TDI輸出結果，依次類推。在FPGA或DSP中依次類推，具體為在FPGA或DSP中開闢一塊大小為(N+M-1)行XC列的存儲區域，在第一個行周期將第一幀圖像按行依次存於第I行到第M行存儲區域和第(N/2)+l行到第(N/2)+M行存儲區域；在第二個行周期，將第二幀圖像依次存於第2 行到第M+1行的存儲區域和(N/2)+2行到第(N/2)+M+l行存儲區域，其中第2行到第M行存儲區域中數據和第(N/2)+2行到第(N/2)+M行存儲區中數據為第一個行周期中已存儲的第一幀圖像數據和第二幀相應位置圖像數據的累加結果；依次類推，將下一幀圖像移位一行和存儲區域中的現存數據進行累加後再存儲，經過N/2個行周期後，從第I行到第(N+M-1)行存儲區域都存儲了圖像數據，其中第M行到第N行的數據為M階的TDI累加圖像數據，圖像尺寸為(N+1-M)彳了 XC列。8行XC列的CMOS圖像傳感器工作在2階TDI模式，圖像傳感器像素陣列中第一部分為第1、2兩行，第二部分為第5、6兩行，在第一個行周期，圖像傳感器兩路信號輸出第一幀結果為拍攝到景物的第1、2、5、6四行景物。在第二個行周期，圖像傳感器和景物相對移動，圖像傳感器兩路信號輸出第二幀結果為景物的第2、3、6、7四行景物，移位疊加第一幀的拍攝結果，輸出的結果是第1、3、5、7景物是拍攝一次成像，第2、6行為2階TDI累加成像；在第三個行周期，圖像傳感器繼續相對移動，圖像傳感器兩路信號輸出第三幀結果為景物的第3、4、7、8四行景物，移位疊加前兩幀圖像後輸出的結果為第1、4、5、8行景物是拍攝一次成像，第2、3、6、7行為2階TDI累加成像；在第四個行周期，圖像傳感器繼續相對移動，圖像的第四幀結果為景物的第4、5、8、9四行景物，移位疊加前3幀圖像後輸出最終的TDI成像結果第1、9行景物為拍攝一次成像，第2行到第8行為TDI累加成像，如此在4個行周期完成2階TDI成像，成像大小為7行XC列。本發明的技術特點及效果在原來經典CMOS圖像傳感器架構的基礎上再額外增加一倍的列信號處理和放大電路、列級ADC電路、移位寄存器電路和信號輸出埠。可使得該圖像傳感器晶片具有普通面陣成像和TDI成像兩種模式，能更好的適應於複雜的工業和空間成像領域。同時，在TDI成像模式中，在同一個時鐘下同時輸出兩路信號，結合後續的FPGA和DSP實現TDI算法完成TDI功能。當選擇TDI階數為M(傳感器大小為NXC，M彡N/2)時，可在同樣尺寸的TDI成像情況下，節省50%的TDI工作時間，實現快速成像，同時，也大大減小了晶片在低階TDI模式下的像素資源浪費。


圖1是M階CXD-TDI圖像傳感器工作原理示意圖。圖2是普通面陣CMOS圖像傳感器結構示意圖。圖3是普通面陣CMOS圖像傳感器4階TDI算法實現示意圖。圖4是改進的面陣CMOS圖像傳感器結構示意圖。圖5是8行XC列改進CMOS圖像傳感器在2階TDI模式下工作示意圖。
具體實施例方式本發明提出在普通CMOS圖像傳感器架構的基礎上通過增加讀出通路，在TDI成像模式時實現2路輸出，2路輸出信號在後端信號處理時同時進行TDI算法，進而實現單幅累加圖像快速拍攝。在面陣CMOS圖像傳感器的基礎上再增加一倍的列信號放大處理電路、列級ADC和移位寄存器電路，數字圖像數據輸出通路由一路增加為兩路。改進的圖像傳感器如圖4所示，圖像傳感器的像素陣列被分成兩部分，第一行到第N/2行為第一部分，第(N/2) +1行到第N行為第二部分，信號讀出通路(包含列信號放大和處理電路、列級ADC電路和移位寄存器電路)由一路變為2路，其中連接每列像素的列總線由一條增加為並列的兩條列總線，列信號放大和處理電路、列級ADC電路和移位寄存器電路均增加I倍，並且和原來的電路並行排布。改進的CMOS圖像傳感器具有正常的面陣CMOS圖像傳感器模式和可選階數的TDI傳感器兩種模式，這可以通過改變圖像傳感器的配置寄存器來實現。在正常模式下，改進CMOS圖像傳感器和普通面陣CMOS圖像傳感器工作原理一致，兩條信號讀出通路選擇其中一條信號通路正常工作。在TDI傳感器模式下，可以通過配置寄存器來設置TDI成像窗口尺寸(TDI的階數和解析度)，被分成兩部分的像素陣列各自選擇同樣尺寸的TDI窗口，並分別配合一條信號通路進行各自像素陣列的復位、曝光和讀出操作。兩部分像素陣列的數字圖像信號輸出口分別輸出各自的圖像信號，但二者可共用同一條時鐘信號線。當圖像傳感器(尺寸為N行XC列)在TDI模式工作時，可配置寄存器設置TDI成像窗口尺寸，TDI階數M從2階到N/2階可選，在第一個行周期，輸出第一幀圖像，一幀圖像包含兩部分，第一部分為第I行到第M行像素信號，第二部分為第(N/2)+l行到第(N/2)+M行信號。隨著圖像傳感器和被拍攝物體的相對移動，在第二個行周期，輸出第二幀圖像，在FPGA或DSP中將第二幀圖像向前移位一行並和第一幀圖像累加得到2階TDI輸出結果。具體操作即是在FPGA或DSP中開闢一塊大小為(N+M-1)行XC列的存儲區域，在第一個行周期將第一幀圖像按行依次存於第I行到第M行存儲區域和第(N/2)+l行到第(N/2)+M行存儲區域；在第二個行周期，將第二幀圖像依次存於第2行到第M+1行的存儲區域和(N/2)+2行到第(N/2)+M+l行存儲區域，其中第2行到第M行存儲區域中數據和第(N/2) +2行到第(N/2) +M行存儲區中數據為第一個行周期中已存儲的第一幀圖像數據和第二幀相應位置圖像數據的累加結果。依次類推，將下一幀圖像移位一行和存儲區域中的現存數據進行累加後再存儲，經過N/2個行周期後，從第I行到第(N+M-1)行存儲區域都存儲了圖像數據，其中第M行到第N行的數據為M階的TDI累加圖像數據，圖像尺寸為(N+1-M)行XC列。這種方式和現有的CMOS圖像傳感器實現TDI算法相比較，在生成同樣大小的TDI圖像的情況下，可使得TDI成像時間減小50%，同時也大大的提高了圖像傳感器在TDI功能下的使用效率。為了更加詳細明了的描述改進的CMOS圖像傳感器在TDI模式下的工作原理，假設以8行XC列的CMOS圖像傳感器工作在2階TDI模式為例，如圖5所示。圖中虛線框表示CMOS圖像傳感器像素陣列。在2階TDI模式下，圖像傳感器像素陣列中第一部分為第1、2兩行，第二部分為第5、6兩行，分別用矩形框表示。在第一個行周期，圖像傳感器兩路信號輸出第一幀結果為拍攝到景物的第1、2、5、6四行景物。在第二個行周期，圖像傳感器和景物相對移動，圖像傳感器兩路信號輸出第二幀結果為景物的第2、3、6、7四行景物，移位疊加第一幀的拍攝結果，輸出的結果是第1、3、5、7景物是拍攝一次成像，第2、6行為2階TDI累加成像。在第三個行周期，圖像傳感器繼續相對移動，圖像傳感器兩路信號輸出第三幀結果為景物的第3、4、7、8四行景物,移位疊加前兩巾貞圖像後輸出的結果為第1、4、5、8行景物是拍攝一次成像，第2、3、6、7行為2階TDI累 加成像。在第四個行周期，圖像傳感器繼續相對移動，圖像的第四幀結果為景物的第4、5、8、9四行景物，移位疊加前3幀圖像後輸出最終的TDI成像結果第1、9行景物為拍攝一次成像，第2行到第8行為TDI累加成像，如此在4個行周期就可完成2階TDI成像，成像大小為7行XC列。如果在同樣條件下完成同樣的成像效果，使用現有的CMOS圖像傳感器設置2階窗口成像，需要8個行周期。N行X C列改進CMOS面陣圖像傳感器，在TDI模式下，選擇TDI階數越小，輸出的最終TDI圖像的尺寸越大，即當配置寄存器設置2階TDI成像，經過N/2個行周期後，TDI成像大小為(N-1)行XC列，同時比普通CMOS圖像傳感器在同樣情況下TDI成像時間減小50%。如現在普遍使用的768行X 1024列CMOS面陣圖像傳感器，經過改進後，當選取2階TDI成像模式，經過512個行周期，將得到一幅767行X 1024列的2階TDI圖像。
權利要求
1.一種用於快速獲取單幅低階累加圖像的CMOS圖像傳感器，其特徵是，在面陣CMOS圖像傳感器的基礎上再增加一倍的列信號放大處理電路、列級ADC和移位寄存器電路，數字圖像數據輸出通路由一路增加為兩路並且和原來的電路並行排布；像素陣列被分成兩部分，第一行到第N/2行為第一部分，第(N/2) +1行到第N行為第二部分，其中連接每列像素的列總線由一條增加為並列的兩條列總線，通過改變圖像傳感器的配置寄存器來實現正常的面陣CMOS圖像傳感器模式和可選階數的TDI傳感器兩種模式；在正常模式下，兩條信號讀出通路選擇其中一條信號通路正常工作；在TDI傳感器模式下，通過配置寄存器來設置TDI成像窗口尺寸即TDI的階數和解析度，被分成兩部分的像素陣列各自選擇同樣尺寸的TDI窗口，並分別配合一條信號通路進行各自像素陣列的復位、曝光和讀出操作；兩部分像素陣列的數字圖像信號輸出口分別輸出各自的圖像信號，但二者可共用同一條時鐘信號線；TDI階數M從2階到N/2階可選，在第一個行周期，輸出第一幀圖像，一幀圖像包含兩部分，第一部分為第I行到第M行像素信號，第二部分為第(N/2)+l行到第(N/2)+M行信號；隨著圖像傳感器和被拍攝物體的相對移動，在第二個行周期，輸出第二幀圖像，在FPGA或DSP中將第二幀圖像向前移位一行並和第一幀圖像累加得到2階TDI輸出結果，依次類推。
2.如權利要求1所述的用於快速獲取單幅低階累加圖像的CMOS圖像傳感器，其特徵是，在FPGA或DSP中依次類推，具體為在FPGA或DSP中開闢一塊大小為(N+M-1)行XC列的存儲區域，在第一個行周期將第一幀圖像按行依次存於第I行到第M行存儲區域和第(N/2)+l行到第(N/2)+M行存儲區域；在第二個行周期，將第二幀圖像依次存於第2行到第M+1行的存儲區域和(N/2) +2行到第(N/2) +M+1行存儲區域，其中第2行到第M行存儲區域中數據和第(N/2)+2行到第(N/2)+M行存儲區中數據為第一個行周期中已存儲的第一幀圖像數據和第二幀相應位置圖像數據的累加結果；依次類推，將下一幀圖像移位一行和存儲區域中的現存數據進行累加後再存儲，經過N/2個行周期後，從第I行到第(N+M-1)行存儲區域都存儲了圖像數據，其中第M行到第N行的數據為M階的TDI累加圖像數據，圖像尺寸為(N+1M)行XC列。
3.如權利要求1所述的用於快速獲取單幅低階累加圖像的CMOS圖像傳感器，其特徵是，8行XC列的CMOS圖像傳感器工作在2階TDI模式；圖像傳感器像素陣列中第一部分為第1、2兩行，第二部分為第5、6兩行，在第一個行周期，圖像傳感器兩路信號輸出第一幀結果為拍攝到景物的第1、2、5、6四行景物；在第二個行周期，圖像傳感器和景物相對移動，圖像傳感器兩路信號輸出第二幀結果為景物的第2、3、6、7四行景物，移位疊加第一幀的拍攝結果，輸出的結果是第1、3、5、7景物是拍攝一次成像，第2、6行為2階TDI累加成像；在第三個行周期，圖像傳感器繼續相對移動，圖像傳感器兩路信號輸出第三幀結果為景物的第3、4、7、8四行景物，移位疊加前兩幀圖像後輸出的結果為第1、4、5、8行景物是拍攝一次成像，第2、3、6、7行為2階TDI累加成像；在第四個行周期，圖像傳感器繼續相對移動，圖像的第四幀結果為景物的第4、5、8、9四行景物，移位疊加前3幀圖像後輸出最終的TDI成像結果 第1、9行景物為拍攝一次成像，第2行到第8行為TDI累加成像，如此在4個行周期完成2階TDI成像，成像大小為7行XC列。
全文摘要
本發明涉及集成電路領域。為實現單幅累加圖像快速拍攝，本發明採取的技術方案是，用於快速獲取單幅低階累加圖像的CMOS圖像傳感器，在面陣CMOS圖像傳感器的基礎上再增加一倍的列信號放大處理電路、列級ADC和移位寄存器電路，數字圖像數據輸出通路由一路增加為兩路並且和原來的電路並行排布；像素陣列被分成兩部分，第一行到第N/2行為第一部分，第(N/2)+1行到第N行為第二部分，其中連接每列像素的列總線由一條增加為並列的兩條列總線，通過改變圖像傳感器的配置寄存器來實現正常的面陣CMOS圖像傳感器模式和可選階數的TDI傳感器兩種模式。本發明主要應用於CMOS圖像傳感器設計製造。
文檔編號H04N5/374GK103024309SQ20121059263
公開日2013年4月3日 申請日期2012年12月29日 優先權日2012年12月29日
發明者姚素英, 李林, 史再峰, 徐江濤, 高靜, 高志遠 申請人:天津大學