圖像檢測處理裝置的製作方法
2023-08-05 20:03:01
專利名稱：圖像檢測處理裝置的製作方法
技術領域：
本發明涉及一種圖像檢測處理裝置，特別涉及適用於視覺傳感器和圖像處理的被稱為視覺晶片(vision chip)的圖像檢測處理裝置。此處所說的「視覺晶片」是例如，用模擬CMOS集成電路來實現在各個像素中配置了光傳感電路和處理電路的超並行電路結構，能夠進行視覺信息處理的視覺傳感器晶片(半導體、電路)。把視覺晶片中、特別模擬生物體網膜的電路結構和功能的晶片稱為「矽網膜」。
背景技術：
圖22表示視覺晶片的概要結構圖。下面的圖是視覺晶片61的放大圖。如該放大圖所示，各個像素具有光傳感器63和處理電路64。圖像信息通過透鏡62等光學系統被投影在視覺晶片61上。所投影的圖像信息由光傳感器63變換為電氣信號，由配置在各個像素上的處理電路64進行超並行處理。然後，處理電路64將其變換為計算機和微處理器等高級識別裝置容易理解的信息並輸出。
利用這種視覺晶片可以解決以往用串行數字計算機形成的圖像處理系統所存在的問題。迄今已開發出各種視覺晶片，利用視覺晶片實現的視覺信息處理主要有例如「圖像平滑化」、「輪廓強調」、「移動檢測」等。
圖23表示單晶片系統的電路結構圖。這裡，作為電路的一個示例，可以列舉出進行輸入圖像的平滑化、輪廓強調、速度檢測的視覺晶片。在單晶片的情況下，如圖所示，必須在各個像素中分別配置光傳感器63和平滑化電路65、輪廓強調電路66、移動檢測電路67各處理電路。
但是，在上述的單晶片系統的視覺晶片中，由於在各個像素中配置光傳感器和處理電路，所以1個像素的幾何學結構(像素尺寸)變大。另外，在以往的視覺晶片中，由於需要用1個晶片來實現各種視覺處理0功能，所以晶片的每單位面積的像素數減少，空間解析度降低。此外，在以往的視覺晶片中，有時由於簡化像素結構、縮小像素尺寸，在下一級的高級識別處理中不能進行充分的圖像處理。此外，如果採用通過加大晶片尺寸來增加像素數的對策，則晶片成本增高(隨著成品數的增加，不能使用的晶片增加也是原因之一)，從成品率方面考慮，存在晶片尺寸自身依賴於CMOS製造工藝的局限性。
發明內容
鑑於以上情況，本發明的目的是通過採用所謂的「多晶片系統」結構，該多晶片系統把要由1個晶片進行的處理分成多個晶片來進行處理，利用超並行電路結構進行圖像處理等各種處理，實時進行圖像處理等各種處理。另外，本發明的目的在於，提供一種例如使用CMOS的廉價、小型、耗電低的系統。本發明的目的還在於，提供一種具有模擬特有的耐用性的系統。
根據本發明的解決方法，提供一種圖像檢測處理裝置，具有第1像素電路，其具有把所輸入的光信號變換為電氣信號的光傳感器；和第1處理電路，其對來自所述光傳感器的輸出進行第1模擬處理，輸出模擬圖像信息；和第2像素電路，其對應於所述第1像素電路而設置，具有第2模擬存儲器，其從所述第1像素電路的所述第1處理電路輸入模擬圖像信息並進行存儲；和第2處理電路，其從所述第2模擬存儲器讀出圖像信息，進行第2模擬處理，輸出模擬圖像信息，所述第1和第2像素電路分別配置成矩陣狀，分別形成第1及第2晶片，所述第1和第2處理電路分別從各自的所述第1及第2晶片中的附近的第1和第2處理電路接收模擬信號，對特性進行補償，通過並行運算進行第1及第2模擬處理。
圖1是多晶片系統的像素檢測處理裝置的結構圖。
圖2是第1類型晶片的結構圖。
圖3是第1類型的像素電路的結構圖。
圖4是第2類型晶片的結構圖。
圖5是第2類型的像素電路的結構圖。
圖6是用於選擇注目像素的移位寄存器的時序圖。
圖7是第1類型的1個像素的像素電路的結構圖。
圖8是像素級的動作的時序圖。
圖9是電阻電路網的結構圖。
圖10是使用1維電阻電路網的輪廓強調的效果(イメ—ジ)說明圖。
圖11是使用2層電阻電路網的輪廓強調的效果說明圖。
圖12是第2類型的1個像素的像素電路(2)的結構圖。
圖13是像素級的動作的時序圖。
圖14是幀間差的效果說明圖。
圖15是第2類型的1個像素的像素電路(1)的結構圖。
圖16是像素級的動作的時序圖。
圖17是多晶片系統的結構圖。
圖18是使用多晶片系統的兩眼立體目視系統圖。
圖19是有源像素傳感器的電路圖。
圖20是噪聲補償緩衝器的電路圖及控制信號的時序圖。
圖21是電阻電路網的電路圖及說明圖。
圖22是視覺晶片的概要結構圖。
圖23是單晶片系統的電路結構圖。
具體實施例方式
1.多晶片系統圖1中表示出多晶片系統的像素檢測處理裝置的結構圖。在該實施方式中，作為一個示例，把平滑化、輪廓強調、移動檢測3個處理分別分為3個晶片，形成多晶片結構。從透鏡等光學系統4輸入圖像信息，第1級的平滑化晶片1通過具有光傳感電路1-1和作為平滑化用處理電路的平滑化電路1-2來進行輸入圖像的平滑化。從第1級的平滑化晶片1輸出平滑化後的圖像信息，作為電壓或電流模擬信號，輸入給第2級以後的輪廓強調晶片2、移動檢測晶片3。第2級以後的輪廓強調晶片2、移動檢測晶片3的各個像素分別具有模擬存儲器2-1、3-1和作為專用處理電路的輪廓強調電路2-2、移動檢測電路3-2。模擬存儲器2-1、3-1臨時存儲來自前級的模擬信息。輪廓強調電路2-2、移動檢測電路3-2分別讀取模擬存儲器2-1、3-1的信息(必要時可以寫入)。這裡，從第2級輪廓強調晶片2輸出輪廓強調後的圖像信息，從第3級移動檢測晶片3輸出移動檢測的結果。
作為這種多晶片系統的特徵，例如可以列舉以下幾點。
·能夠限定用1個晶片進行的處理(可以分散處理功能)。
·像素尺寸小。
·不加大晶片尺寸就可增加像素數。
·由於從多個晶片將輸出並行輸出，所以能夠進行使用多個視覺信息的高級圖像處理。
·為了清除在圖像處理及數據複製時附加的電路噪聲而在各個像素中配置補償電路比較容易。
·圖像處理、數據複製使用模擬信息。並且，可以利用由配置在各個像素上的模擬處理電路形成的超並行電路結構快速進行圖像處理。這一點和現有的圖像處理用DSP(Digital Signal Processor)明顯不同。
下面，說明本發明與DSP的差異。
在DSP的情況下，把從CCD攝像機之類的攝像機器輸出的圖像信息通過A/D變換器變換為數位訊號，發送給DSP，由DSP進行數字圖像處理。與此相對，本發明的實施方式的情況下，在第1級平滑化晶片1階段，首先在獲取圖像信息的同時，由各個像素的模擬處理電路實施超並行模擬圖像處理(與CCD攝像機的不同點)。然後，從第1級平滑化晶片1直接輸出所計算的模擬信息，輸入給下一級的輪廓強調晶片2(不進行A/D變換)。之後，來自第1級平滑化晶片1的信息被輸入到排列在下一級的輪廓強調晶片2的各個像素中的模擬存儲器，再由各個像素的模擬處理電路進行超並行處理(與數字圖像處理的不同點)。然後，來自輪廓強調晶片2的信息被輸入到排列在下一級的移動檢測晶片3的各個像素中的模擬存儲器，再由各個像素的模擬處理電路進行超並行處理。
一般來說，和數字電路相比，模擬電路可以設計成小規模的處理電路。假定在各個像素中配置DSP進行並行圖像運算時，具有以下等問題·像素尺寸變大。
·連接各個像素的布線變複雜。
與此相對，由於本發明利用模擬電路構成各個像素，所以能夠減緩這些問題。
但是，有時作為模擬集成電路固有的問題，能設想到因元件特性的不一致造成的偏差的影響。也就是說，即使在同一晶片內設計幾何學上完全相同的電路，各個電路的電氣特性也產生偏差。在晶片內部就不用說了，該傾向在不同晶片之間表現得更明顯。當本發明這樣的超並行電路結構的各個像素間的元件特性的偏差或將圖像信息複製到下一級時的晶片前後的信息變化嚴重時，對此需要採取對策。
因此，本發明通過在各個像素中設置補償伴隨元件特性的不一致而產生的偏差(電路噪聲)的電路，來解決該問題。在該補償電路中，通過把各個像素的電路噪聲存儲在某種模擬信息存儲元件中，實現不受電路噪聲影響的圖像處理和數據複製。具體而言，設想該補償電路為噪聲補償緩衝器電路(後述)，但只要是具有相同功能的電路就可以進行置換。
2.構成多晶片系統的晶片的電路結構概要在本發明的實施方式中，構成多晶片系統的晶片的種類大致分為以下兩種類型。
·第1類型在各個像素中內置獲取圖像信息的光傳感器和處理電路·第2類型在各個像素中內置存儲來自前級的圖像信息的模擬存儲器和處理電路說明這些第1類型、第2類型的電路結構。
(1)第1類型晶片的電路結構(圖像獲取+並行圖像處理)
第1類型晶片是要構成的晶片系統的第1級，由內置於各個像素中的光傳感器獲取外界的圖像信息，實施並行圖像處理。
圖2中表示出第1類型晶片的結構圖。
第1類型晶片具有像素電路11、水平移位寄存器13、垂直移位寄存器14、開關15、輸出用緩衝器16、輸出線17。由水平移位寄存器13、垂直移位寄存器14順序選擇像素電路11，讀出並行運算後的輸出。(另外，移位寄存器的時序圖在後面敘述。)圖3表示第1類型的像素電路的結構圖。像素電路11具有光傳感器111、處理部112、模擬運算器113、開關114。下面分別說明其作用。
光傳感器111把光信號(圖像信息)變換為電壓、電流等電氣信號。像素元件使用光電二極體、光敏電晶體、有源像素傳感器等。處理部112接受來自自身的像素電路的光傳感器111的輸入和來自附近的像素電路的輸入n1～n4，進行圖像處理。處理部112主要進行使用附近像素信息的並行圖像運算。模擬運算器113接受來自處理部112的輸入，進行四則運算等模擬運算。模擬運算器113也可以包括對電路噪聲進行補償的電路，該電路噪聲同時也是模擬集成電路應該應付的問題，是由各個元件特性的偏差引起的。模擬運算器113的輸出成為像素輸出。在該實施方式中，輸入給各個像素電路11的控制信號統一輸入到所有像素，但也可以按每個像素電路或按每行/列來輸入。
(2)第2類型晶片的電路結構(模擬存儲器+並行圖像處理)第2類型晶片是要構成的晶片系統中的第2級以後的晶片，在內置於各個像素中的模擬存儲器中存儲來自前級的圖像信息，由配置在各個像素中的處理電路實施並行圖像處理。
圖4表示第2類型晶片的結構圖。
第2類型晶片具有像素電路21、水平移位寄存器23、垂直移位寄存器24、開關25、輸入用緩衝器26、輸出線27、輸入線28、輸出用緩衝器29。由水平移位寄存器23、垂直移位寄存器24順序選擇注目像素，向像素電路21輸入來自前級晶片的數據，讀出並行運算後的輸出。(另外，移位寄存器的時序圖在後面敘述。)
圖5表示第2類型的像素電路的結構。
像素電路21由模擬存儲器211、處理部212、模擬運算器213構成，具有開關114、115。下面分別說明其作用。
模擬存儲器211存儲從外部(此時為第1類型像素電路或前級的第2類型像素電路等)輸入的圖像信息。處理部212接受來自自身的像素電路的模擬存儲器211的輸入、來自附近的像素電路的輸入n1～n4，進行圖像處理。處理部212主要進行使用附近像素信息的並行圖像運算。模擬運算器213接受來自處理部212的輸入，進行四則運算等模擬運算。模擬運算器213也可以包括對電路噪聲進行補償的電路，該電路噪聲同時也是模擬集成電路應該應付的問題，是由各個元件特性的偏差引起的。模擬運算器213的輸出成為像素輸出。在該實施方式中，輸入給各個像素電路的控制信號統一輸入到所有像素，但也可以按每個像素電路或按每行/列進行輸入。
下面，在圖6中表示出用於選擇注目像素的移位寄存器的時序圖。
在第1、第2類型晶片中，水平移位寄存器13、23、垂直移位寄存器14、24均選擇用於輸入輸出圖像信息的注目像素電路。其基本時序如圖所示。在第2類型晶片中，用垂直移位寄存器24選擇像素陣列的行，將所選擇的像素的輸入輸出開關SWi/o連接到各列的輸入輸出線。在該狀態下，用水平移位寄存器23及開關25選擇1組輸入輸出線，分別連接到輸入緩衝器26、輸出緩衝器29上。即，輸入緩衝器26、輸出緩衝器29連接到按行/列選擇的像素上。第1類型的情況下也相同，但不需要輸入路徑。
3.晶片的電路示例(1)第1類型晶片的電路示例圖像獲取+平滑化圖7中表示出第1類型的1個像素的像素電路的結構圖。
該像素電路具有光傳感器111、處理部112、模擬運算器113、開關114。光傳感器111在該示例中作為APS(有源像素傳感器後述)，通過儲蓄光電荷，把光信號變換為電壓信息。這裡，處理部112是用電阻電路網構成的。通過把圖像信息輸入到電阻電路網，可以超並行地進行輸入圖像的平滑化(後述)。在附近像素之間通過用電阻進行連接(n1、n2、n3、n4)形成電阻電路網，進行輸入圖像的平滑化。把來自處理部112的輸出輸入到模擬運算器113。模擬運算器113使用噪聲補償緩衝器電路Nbuf(後述)。噪聲補償緩衝器電路Nbuf可以根據控制信號對輸入側的電路偏差和噪聲補償緩衝器電路Nbuf內部的放大器的偏移進行補償。通過由水平移位寄存器13、垂直移位寄存器14控制SWo，可以選擇並讀出注目像素。
圖8中表示出像素級的動作時序圖。以下說明各個區間的動作。
區間(A)通過使輸入給APS的開關的控制信號SWp為高電平，對APS進行初始化。然後通過使SWp為低電平，轉入第n號幀的APS的電荷儲蓄動作。
區間(B)+(C)APS的儲蓄時間區間(C)經過儲蓄時間後，使SWh為高電平，連接處理部112的電阻電路網和噪聲補償緩衝器電路Nbuf。此時，電阻電路網的輸出Vnet為Vnet＝Vnet(n)+VN1 (1)其中，Vnet(n)是由電阻電路網處理後的圖像信息，VN1是此時的電路噪聲。在該狀態下，通過控制SW1和SW2，在內置於噪聲補償緩衝器電路Nbuf中的電容器中存儲公式(1)的電阻電路網的輸出。
區間(A』)再次通過使輸入到APS的開關的控制信號SWp為高電平，對APS進行初始化。此時的電阻電路網的輸出Vnet為Vnet＝Vnet0+VN0 (2)其中，Vnet0是來自APS初始化時的電阻電路網的初始電壓，VN0是初始化時的電路噪聲。即，輸入到噪聲補償緩衝器電路Nbuf的輸入電壓從公式(1)變為公式(2)。此時假設來自噪聲補償緩衝器電路Nbuf的輸出Vout在電路噪聲的大小總是恆定(VN1＝VN0)的，則Vout(n)＝Vnet(n)-Vnet0+VN1-VN0+Vref＝Vnet(n)-Vnet0+Vref可以獲得與不受電路噪聲影響的電阻電路網的處理信息成比例的輸出。然後通過使SWh為高電平，在噪聲補償緩衝器電路Nbuf中保持輸出。之後通過使SWp為低電平，轉入第n+1號幀的APS的電荷儲蓄動作。
區間(B』)由於APS和Nbuf電氣分離，所以可以通過與第n+1號幀的APS的儲蓄動作並行，關閉輸出開關信號SWo，讀出Vout(n)。
通過重複以上動作，可以進行圖像信息的獲取以及通過電阻電路網進行的平滑化動作。
(2)第2類型晶片的電路示例1輪廓強調圖9中表示出電阻電路網的結構圖。
把圖示像素之間用電阻進行連接而成的電路稱為電阻電路網。通過電阻電路網可以進行輸入圖像的平滑化(後述)。輸入圖像和平滑化後的圖像的差輸出是對輸入圖像的輪廓進行了強調的信號。
圖10中表示出使用1維電阻電路網的輪廓強調的效果的說明圖。
圖(A)的橫軸表示像素序號，縱軸表示對應的圖像信息(電壓)。向電阻電路網提供第0號像素電壓值變大的輸入Vk。其對應於圖像輪廓。此時從電阻電路網輸出輪廓部分被平滑化後的V1k。這些Vk和V1k的差輸出如圖(B)所示。可以看出，作為輪廓位置的第0號像素響應程度大，其周邊隨著偏離輪廓位置而逐漸取恆定值。即，進行了輪廓部的強調。
另外，圖11中表示出使用2層電阻電路網的輪廓強調的效果的說明圖。
如上所述，如果電阻電路網的輸入使用預先通過其他電阻電路網平滑化後的圖像信息，即，使用2層電阻電路網，則可以獲得該圖所示的輸出。大家知道，該濾波器的特性從數學上來講與拉普拉斯—高斯特性(_2G)近似，可以同時進行輸入圖像的平滑化和輪廓強調。另外，該濾波器去除高頻空間圖像噪聲的效果優良。
圖12中表示出第2類型的1個像素的像素電路(2)的結構圖。
該像素電路具有模擬存儲器211、處理部212、模擬運算器213、開關214、215。在模擬存儲器211中內置的電容器中存儲來自外部的像素信息。處理部212用電阻電路網構成。處理部212通過在與附近像素之間用電阻進行連接(n1、n2、n3、n4)形成電阻電路網，進行輸入圖像的平滑化。把來自處理部212的輸入和輸出雙方均輸出到模擬運算器213。模擬運算器213使用噪聲補償緩衝器電路Nbuf(後述)。噪聲補償緩衝器電路Nbuf可以根據控制信號對輸入側的電路偏差和噪聲補償緩衝器電路Nbuf內部的放大器的偏移進行補償。通過由水平移位寄存器23、垂直移位寄存器24控制SWi、SWo，可以選擇注目像素。
圖13中表示出像素級的動作的時序圖。雖然此處示出了電阻電路網為1層的示例，但也可以是如上所述的2層。以下說明各區間的動作。
區間(A)通過使來自移位寄存器的輸入控制信號SWi為高電平，在模擬存儲器211中存儲來自外部的圖像信息(Vin(n))。
區間(B)使數據保持用開關的控制信號SWh和輸入切換開關的控制信號SWs為高電平，連接噪聲補償緩衝器電路Nbuf和來自模擬存儲器211的輸入V1。在該狀態下，通過進行噪聲補償緩衝器電路Nbuf的控制信號SW1、SW2的開關動作，將來自模擬存儲器211的輸入V1存儲到噪聲補償緩衝器電路Nbuf中。同時對電路輸入側的偏差和噪聲補償緩衝器電路Nbuf內部的放大器的偏移進行補償(噪聲補償動作)。
區間(C)使切換開關的控制信號SWs為低電平，連接噪聲補償緩衝器電路Nbuf和電阻電路網的輸出V2，從而在噪聲補償緩衝器電路Nbuf中進行下述計算Vout(n)＝V2(n)-V1(n)+Vref即，可以獲得與輸入圖像信息V1(n)和來自電阻電路網的平滑化輸出V2(n)之差成比例的輸出。
區間(D)使數據保持用開關的控制信號SWh為低電平，把所計算的圖像信息保持在噪聲補償緩衝器電路Nbuf中。
區間(A』)通過使來自移位寄存器的輸出控制信號SWo為高電平，讀出保持在噪聲補償緩衝器電路Nbuf中的輸出Vout(n)。與此同時，通過使來自移位寄存器的輸入控制信號SWi為高電平，在模擬存儲器211中存儲下一時間的圖像信息(Vin(n+1))。
以下，通過重複相同動作，可以輸出輪廓強調輸出。
(3)第2類型晶片的電路示例2移動檢測圖14中表示出幀間差的效果說明圖。
假定在某第n號幀的圖像中，在白底上輸入黑圓盤(圖(A))。設想該黑圓盤在第n+1號幀的圖像中向右移動(圖(B))。如果把第n、n+1號幀的圖像輸出作為電壓值，計算這些輸出的電位差，則如圖(C)所示，僅移動了的部分進行響應。通過這樣計算幀間差，可以計算對象的移動。
圖15表示第2類型的1個像素的像素電路(1)的結構圖。
該像素電路具有模擬存儲器211、模擬運算器213、開關214、215。在模擬存儲器211內置的電容器中存儲來自外部的像素信息。模擬運算器213使用噪聲補償緩衝器電路Nbuf(後述)。噪聲補償緩衝器電路Nbuf可以根據控制信號對輸入側的電路偏差和噪聲補償緩衝器電路Nbuf內部的放大器的偏移進行補償。通過由水平移位寄存器23、垂直移位寄存器24控制SWi、SWo，可以選擇注目像素。
圖16中表示出像素級的動作的時序圖。以下說明各區間的動作。
初始條件將輸入到SWh的信號總是設為高電平，連接模擬存儲器211和噪聲補償緩衝器電路Nbuf。
區間(A)通過噪聲補償緩衝器電路Nbuf的控制信號SW1、SW2的開關動作，將模擬存儲器211上的像素值(Vin(n))存儲在噪聲補償緩衝器電路Nbuf中。同時對電路輸入側的偏差和噪聲補償緩衝器電路Nbuf內部的放大器的偏移進行補償(噪聲補償動作)。
區間(B)通過使來自移位寄存器的輸入控制信號SWi為高電平，把模擬存儲器211的信息更新為下一時間的信息(Vin(n+1))。同時在噪聲補償緩衝器電路Nbuf中進行下述計算Vout＝(Vin(n))-(Vin(n+1))+Vref即，可以獲得與當前時間(n+1)的像素信息和前一時間(n)的像素信息之差成比例的輸出。通過使輸出控制信號SWo為高電平，讀出噪聲補償緩衝器電路Nbuf的輸出。
區間(A』)通過再次進行控制信號SW1、SW2的開關動作，將模擬存儲器211上的像素信息(Vin(n+1))存儲在噪聲補償緩衝器電路Nbuf中，通過噪聲補償緩衝器電路Nbuf進行噪聲補償動作。
以下，通過重複相同動作，可以輸出幀間差輸出。
4.多晶片系統的結構示例圖17中表示出多晶片系統的結構圖的一例。
此處，把作為上述的晶片電路示例列舉的·圖像獲取+平滑化晶片1·輪廓強調晶片2·移動檢測晶片3構成多晶片系統。
這裡，說明按照圖像獲取+平滑化晶片1、輪廓強調晶片2、移動檢測晶片3的順序串聯連接的電路示例。
首先，在第1級的平滑化晶片1進行輸入圖像的獲取及輸入圖像的平滑化。如圖(A)所示，把蘋果圖像投影到平滑化晶片1時，可以獲得對圖像中包含的空間噪聲成分進行平滑化後的輸出。
第1級的平滑化晶片1的輸出被輸入到第2級的輪廓強調晶片2。在第2級的輪廓強調晶片2中，由於進行使用平滑化圖像的輪廓強調處理，所以形成拉普拉斯—高斯型濾波器(laplacian-gaussian filter)，可以獲得進行了輸入圖像的平滑化和輪廓強調的輸出。如圖(B)所示，可以看出，強調了蘋果的輪廓和葉子紋理等特徵量。
第2級的輪廓強調晶片2的輸出被輸入到第3級的移動檢測晶片3。在第3級的移動檢測晶片3中可以檢測強調了輸入圖像輪廓的圖像的移動部分。蘋果從左向右水平移動時，如圖(C)所示，可以看出蘋果的移動方向的輪廓輸出低(黑)，其相反側的輪廓輸出高(白)，沒有移動的垂直方向幾乎沒有響應。
通過這樣構成晶片系統，可以並行輸出「平滑化圖像」、「輪廓強調圖像」、「移動圖像」。
下面，在圖18中表示出使用多晶片系統的兩眼立體目視系統的結構圖的一例。
如圖所示，通過準備兩個圖像獲取用第1類型晶片51、52，可以對應兩眼立體目視這種複雜的圖像處理系統。
把兩個第1類型晶片51、52的輸出輸入到多個視覺功能晶片53、54、55、56，並行取出視覺信息。然後，通過綜合這些信息，可以高精度地快速解決一般串行圖像處理系統中不能解決的對應點問題。
此處，視覺功能晶片53、56起到上述移動檢測晶片的作用，視覺功能晶片54、55起到上述輪廓強調晶片的作用。視覺功能晶片57具有下述功能通過應用移動檢測晶片，輸入兩個視覺功能晶片54、55各自的輸出來檢測其差。
5.電路示例圖19中表示出有源像素傳感器的電路圖的一例。
在該示例中，通過使用電荷儲蓄型光電傳感器，在輸出端附加源極跟隨電路，構成有源像素傳感器(APS)。由於在初始化時，輸出下降MOS的閾值部分，所以源極跟隨電路使用PMOS源極跟隨器(PSF)。
圖20表示噪聲補償緩衝器的電路圖及控制信號的時序圖的一例。
噪聲補償緩衝器電路(Noise Compensation Buffer)是通過把由元件偏差引起的電路噪聲存儲在內置的電容器中來進行補償的電路(參照T.Sibano，K.lizuka，M.Miyamoto，M.Osaka，R.Miyama and A.Kito，「Matched Filter for DS-CDMA of up to 50MChip/s Based on SampledAnalog Signal Processing」，ISSCC Digest of Tech.Papers，pp100-101，Feb.1997.)根據圖中的控制信號的時序圖說明動作。
(1)(SW1接通、SW2連接到ref)此時，輸入V(in)＝Vin0+VN0(其中，Vin0來自前級電路的輸入信號的初始值，VN0前級電路噪聲)AMP的反轉節點的電壓V(in-)＝V(ref)+Voff(其中，VoffAMP的偏移電壓)儲蓄在AMP的反轉節點上的電荷Q＝C1(V(ref)+Voff-Vin0-VN0)+C2(V(ref)+Voff-V(ref)) (3)(2)(SW1斷開、SW2連接到ref)
此時，AMP的反轉節點成為浮置狀態，電荷被按原樣保持。(把到此為止的動作稱為復位動作)。
(3)(SW1斷開、SW2連接到AMP的輸出)此時，輸入變為V(in)＝Vin1+VN1(其中，Vin1來自前級電路的輸入信號，VN1輸入Vin1時的前級電路噪聲)儲蓄在AMP的反轉節點上的電荷Q＝C1(V(ref)+Voff-Vin1-VN1)+C2(V(ref)+Voff-V(out)) (4)根據(3)、(4)，V(out)＝-(C1/C2)(Vin1-Vin0+VN1-VN0)+V(ref)因此，如果前級電路的電路噪聲恆定(VN0＝VN1)，則輸出V(out)不僅不受自身AMP的偏移的影響，也不受前級電路噪聲的影響，並且與輸入電壓的變化部分成比例。
另外，噪聲補償緩衝器電路的動作區域依賴於使用的AMP的動作區域。使用的每個AMP的動作區域如下·跨導放大器(AMP1)針對輸入的負變化進行動作·跨導放大器(AMP2)針對輸入的正變化進行動作·寬範圍放大器針對輸入的正負雙方的變化進行動作圖21中表示出電阻電路網的電路圖及說明圖。
使用該圖說明使用電阻電路網的超並行圖像運算(參照C.Mead，「Analog VLSI and Neural Systems」，Addision-Wesley，Reading，MA，1989.、及T.Yagi，S.Ohshima and Y.Funahashi，「The role of retinalbipolar cell in early visionan implication with analogue networksand regularization theory」，Biol.Cybern，77，pp163-171，1997.)。電阻電路網的輸出電壓的分布是對輸入電壓進行平滑化後得到的。在節點數充分多時可以如下考慮電阻電路網中的電壓分布。
根據圖(A)的電阻電路網的概略圖進行說明。
設k＝0時的輸入電壓Vk＝V0，除此以外的情況時為零(空間脈衝輸入)。相對該輸入的電阻電路網的響應電位V1k為
V1k＝B1V0γ1|k|公式1其中，B1=1/4L12+1]]>L1=Rm/Rs]]>1=1+1/(2L12)-1/L12+1/(4L14)]]>該公式表示輸出信號隨著偏離信號源(k＝0)而呈指數函數地衰減。
另外，L1被稱為電阻電路網的空間常數，該數值越大，信號傳播越寬。
圖(B)中表示出用兩種空間常數計算空間脈衝輸入時的輸出電壓分布的結果。實線表示L1=(10/6),]]>虛線表示 兩者均隨著偏離信號源而呈指數函數地平滑衰減。並且，已經知道空間常數大的虛線一方的輸出的傳播比較寬。
對任意的輸入電位分布Vi的響應，根據公式1中Vk＝1時的響應和Vi的空間卷積積分表示為V1k=B1i=-Vi1|k-i|]]>即，作為圖像處理的結構電路使用時，·通過在輸入部排列光傳感器陣列或像素存儲器，可以超並行地快速計算輸入圖像的平滑化處理。
·通過用可變電阻構成電阻元件，可以自由地調節平滑化區域。
本發明如上所述，通過採用把要由1個晶片進行的處理分為多個晶片來進行用處理的所謂「多晶片系統」結構，可以用超並行的電路結構進行圖像處理等各種處理，實時進行圖像處理等各種處理。此外，根據本發明，可以提供例如使用CMOS的廉價、小型、耗電低的系統。另外，根據本發明，可以提供具有模擬特有的耐用性的系統。
權利要求
1.一種圖像檢測處理裝置，具有第1像素電路，其具有把所輸入的光信號變換為電氣信號的光傳感器；和第1處理電路，其對來自所述光傳感器的輸出進行第1模擬處理，輸出模擬圖像信息；和第2像素電路，其對應於所述第1像素電路而設置，具有第2模擬存儲器，其從所述第1像素電路的所述第1處理電路輸入模擬圖像信息並進行存儲；和第2處理電路，其從所述第2模擬存儲器讀出圖像信息，進行第2模擬處理，輸出模擬圖像信息，所述第1和第2像素電路分別配置成矩陣狀，分別形成第1及第2晶片，所述第1和第2處理電路分別從各自的所述第1及第2晶片中的附近的第1和第2處理電路接收模擬信號，對特性進行補償，通過並行運算進行第1及第2模擬處理。
2.根據權利要求1所述的圖像檢測處理裝置，還具有第3像素電路，該第3像素電路對應於第1及第2像素電路而設置，具有第3模擬存儲器，其從所述第2像素電路的所述第2處理電路輸入模擬圖像信息並進行存儲；和第3處理電路，其從所述第3模擬存儲器讀出圖像信息，進行第3模擬處理，輸出模擬圖像信息，所述第3像素電路被配置成矩陣狀而形成第3晶片，所述第3處理電路分別從所述第3晶片中的附近的第3處理電路接收模擬信號，對特性進行補償，通過並行運算進行第3模擬處理。
3.根據權利要求2所述的圖像檢測處理裝置，其特徵在於，所述第1晶片進行圖像獲取以及所獲取的圖像信息的平滑化處理，所述第2晶片對來自所述第1晶片的圖像信息進行輪廓強調處理，所述第3晶片對來自所述第2晶片的圖像信息進行移動檢測處理。
4.根據權利要求1～3中任一項所述的圖像檢測處理裝置，其特徵在於，所述第1晶片還具有水平移位寄存器及垂直移位寄存器，其順序選擇所述第1像素電路，讀出並行運算後的輸出；開關，其選擇來自其中一個所述第1像素電路的模擬輸出；和由所述開關選擇的模擬輸出的輸出用緩衝器。
5.根據權利要求1～4中任一項所述的圖像檢測處理裝置，其特徵在於，所述第2晶片還具有水平移位寄存器及垂直移位寄存器，其順序選擇所述第2像素電路，讀出並行運算後的輸出；開關，其選擇來自其中一個所述第2像素電路的模擬輸出；輸出用緩衝器，其臨時存儲由所述開關選擇的模擬輸出；和輸入到所述第2像素電路中的模擬輸入的輸入用緩衝器。
6.根據權利要求1～5中任一項所述的圖像檢測處理裝置，其特徵在於，所述第1像素電路的所述光傳感器具有根據控制信號把光信號變換為電氣信號的有源像素傳感器，所述第1處理電路具有電阻電路網，其輸入來自自身的所述第1像素電路的所述有源像素傳感器的模擬信號和來自附近的第1像素電路的模擬信號，對來自所述有源像素傳感器的模擬輸入圖像進行平滑化；噪聲補償緩衝器電路，其輸入來自所述電阻電路網的模擬信號並進行模擬運算，根據控制信號對輸入側的電路元件特性的偏差和內部放大器的偏移進行補償，補償電路噪聲；和開關，其用於輸出來自所述噪聲補償緩衝器電路的模擬信號，所述第1處理電路進行圖像信號的獲取及平滑化處理。
7.根據權利要求1～6中任一項所述的圖像檢測處理裝置，其特徵在於，所述第2像素電路還具有控制來自所述第1像素電路的像素信號的輸入的第1開關，所述第2模擬存儲器在內部電容器中存儲模擬圖像，所述第2處理電路具有電阻電路網，其輸入來自自身的所述第2像素電路的所述第2模擬存儲器的模擬信號和來自附近的第2像素電路的模擬信號，對來自所述第2模擬存儲器的模擬輸入圖像進行平滑化；噪聲補償緩衝器電路，其根據控制信號切換輸入所述電阻電路網的輸入及輸出的模擬信號並進行模擬運算，對輸入側的電路元件特性的偏差和內部放大器的偏移進行補償，補償電路噪聲；和開關，其用於輸出來自所述噪聲補償緩衝器電路的模擬信號，所述第2處理電路進行輪廓強調處理。
8.根據權利要求2～7中任一項所述的圖像檢測處理裝置，其特徵在於，所述第3像素電路還具有控制來自所述第2像素電路的像素信號的輸入的第1開關，所述第3模擬存儲器在內部電容器中存儲模擬圖像，所述第3處理電路具有噪聲補償緩衝器電路，其根據控制信號從所述模擬存儲器讀出圖像信息，輸出與當前圖像信息和前一時間的圖像信息之差成比例的模擬信號，並且對輸入側的電路元件特性的偏差和內部放大器的偏移進行補償，補償電路噪聲；和第2開關，其用於輸出來自所述噪聲補償緩衝器電路的模擬信號，所述第3處理電路進行移動檢測處理。
9.根據權利要求2～8中任一項所述的圖像檢測處理裝置，其特徵在於，具有左眼用晶片和右眼用晶片，其具有進行圖像獲取及平滑化處理的所述第1晶片；對所述第1晶片的輸出，進行移動檢測處理的所述第2晶片；和輸出輪廓強調處理的所述第3晶片，分別進行對應於左眼和右眼的圖像處理；第4晶片，其對來自對應於左眼和右眼的所述第2晶片的輸出，進行求出視差的處理；和綜合部，其綜合所述第1到第4晶片的輸出。
全文摘要
一種圖像檢測處理裝置，採用多晶片系統，利用超並行電路結構進行圖像處理等各種處理，實時進行圖像處理等各種處理。從光學系統4輸入圖像信息，第1級平滑化晶片1具有光傳感電路1－1和平滑化電路1－2，進行輸入圖像的平滑化。第2級以後的輪廓強調晶片2、移動檢測晶片3的各個像素分別具有模擬存儲器2－1、3－1、輪廓強調電路2－2和移動檢測電路3－2。模擬存儲器2－1、3－1臨時存儲來自前級的模擬信息。輪廓強調電路2－2、移動檢測電路3－2分別讀取模擬存儲器2－1、3－1的信息(必要時可以寫入)。這裡，從第2級輪廓強調晶片2輸出進行了輪廓強調的圖像信息，從第3級移動檢測晶片3輸出移動檢測的結果。
文檔編號H04N5/351GK1552040SQ0281735
公開日2004年12月1日 申請日期2002年9月3日 優先權日2001年9月5日
發明者八木哲也, 龜田成司, 司 申請人:科學技術振興機構