攝像組件、控制方法及攝像裝置與流程
2023-11-30 19:20:56 5
本發明涉及一種攝像組件、控制方法及攝像裝置，更具體地，涉及一種可獲取更多樣的攝像圖像的攝像組件、控制方法及攝像裝置。
背景技術：
在相關領域的圖像傳感器中，不存在可儲存幀的存儲器(DRAM(Dynamic Random Access Memory，動態隨機存取存儲器)等)、或者可儲存足夠多行的存儲器(SRAM(Static Random Access Memory，靜態隨機存取存儲器)等)。因此，圖像傳感器所執行的讀取像素信號、模擬處理、數字處理、輸出處理等各個處理按照相同的處理速度及處理速率(幀速率)來執行。
然而，作為從圖像傳感器的像素陣列單元的像素讀出信號的方法，存在一種技術，其在將從像素讀出的模擬像素信號進行數位化的信號處理單元之後設置非易失性存儲器，並利用該非易失性存儲器高速讀出數位化的信號(例如，參見專利文獻1)。
專利文獻1：JP特開2004-64410號公報。
技術實現要素：
本發明要解決的技術問題
當以相同的處理速度及處理速率(幀速率)執行讀取、模擬處理、數字處理及輸出處理時，處理速度及處理速率(幀速率)取決於最慢的處理系統。尤其是由於輸出規範會影響後續連接的裝置，因此難以靈活設定處理速度及處理速率(幀速率)。因此，快門動作或信號處理等其他處理恐怕也將受輸出處理的處理速度和處理速率的限制，因而難以靈活設定這些處理的處理速度及處理速率。例如，難以實現快門動作或信號處理的提速。
應當注意的是，雖然利用專利文獻1所公開的方法可實現高速讀取，但無法控制數字處理或輸出處理的處理速度。並且也難以控制處理速率。因此，根據專利文獻1所記載的方法，通過控制各個處理的處理速度和處理速率而獲取多樣的攝像圖像並非易事。
鑑於所述狀況而提出本技術，其目的在於能夠獲取更多樣的攝像圖像。
解決問題的手段
根據本技術的一個實施例，提供一種攝像組件，其包括：像素陣列，其從像素陣列的多個像素中的每一個，讀出通過將入射光進行光電轉換而獲取的像素信號；模擬處理單元，其對模擬像素信號進行信號處理而獲取數字圖像數據；存儲單元，其儲存所述圖像數據；信號處理單元，其對儲存在所述存儲單元中的圖像數據進行信號處理；輸出單元，其輸出所述存儲單元中儲存的圖像數據；以及控制單元，其使以彼此獨立的處理速度執行以下處理：所述像素陣列進行讀出所述像素信號的讀取處理；所述模擬處理單元對模擬像素信號進行信號處理，即模擬處理；所述信號處理單元對數字圖像數據進行信號處理，即數字處理；以及所述輸出單元對所述圖像數據進行輸出處理。
所述控制單元可使以比所述數字處理和輸出處理更高的速度執行所述讀取處理和模擬處理。
所述控制單元可進一步使以比所述輸出處理更低的速度執行所述數字處理。
所述控制單元可使以比所述讀取處理、讀取處理和輸出處理更高的速度執行所述數字處理。
所述控制單元可使在一個幀處理期間多次執行所述數字處理。
所述控制單元可使以比所述數字處理和輸出處理更高的速度和更高的速率執行所述讀取處理和模擬處理。
所述存儲器可為幀存儲器。
所述幀存儲器可具有存儲預定數量的最新幀的環形緩衝區。
所述控制單元可使對環形緩衝區中所儲存的較早幀的圖像數據執行數字處理。
所述幀存儲器可具有能夠儲存多個幀的圖像數據的存儲容量，所述控制單元可使對幀存儲器中所存儲的較早幀的圖像數據執行數字處理。
所述攝像組件可進一步包括單個半導體基板，並且所述像素陣列、模擬處理單元、存儲單元、信號處理單元、輸出單元及控制單元可形成在所述半導體基板上。
所述攝像組件可進一步包括多個彼此堆疊的半導體基板，並且所述像素陣列、模擬處理單元、存儲單元、信號處理單元、輸出單元及控制單元可分別形成在所述多個半導體基板中的的一個對應半導體基板上。
根據本技術的一個實施例，提供一種控制方法，包括：以彼此獨立的處理速度執行以下處理：從像素陣列的多個像素中的每一個，讀出將入射光進行光電轉換而獲取的像素信號的讀取處理：對從所述像素陣列的像素讀取的模擬像素信號進行信號處理而獲取數字圖像數據的模擬處理；對存儲單元中所儲存的數字圖像數據進行的信號處理，即數字處理；以及輸出所述存儲單元中所儲存的數字圖像數據的輸出處理。
根據本技術的另一實施例，提供一種攝像裝置，其包括：攝像單元，其拍攝物體；圖像處理單元，其對所述攝像單元所獲取的圖像數據進行圖像處理，所述攝像單元包括：像素陣列，其從像素陣列的多個像素中的每一個，讀出將入射光進行光電轉換而獲取的像素信號；模擬處理單元，其對模擬像素信號進行信號處理；存儲單元，其儲存所述圖像數據；信號處理單元，其對存儲單元中所儲存的圖像數據進行信號處理；輸出單元，其輸出存儲單元中所儲存的圖像數據；以及控制單元，其使以彼此獨立的處理速度執行以下處理：所述像素陣列進行讀出所述像素信號的讀取處理；所述模擬處理單元對模擬像素信號進行信號處理，即模擬處理；所述信號處理單元對數字圖像數據進行信號處理，即數字處理；以及所述輸出單元對所述圖像數據進行輸出處理。
在本技術的實施例中，以彼此獨立的處理速度執行下述處理：從像素陣列的多個像素中的每一個，讀出將入射光進行光電轉換而獲取的像素信號的讀取處理；對從像素陣列的像素讀取的模擬像素信號進行信號處理，而獲取數字圖像數據的模擬處理；對存儲單元中所儲存的數字圖像數據的信號處理，即數字處理；以及輸出存儲單元中所儲存的數字圖像數據的輸出處理。
在根據本技術另一實施例的攝像裝置中，以彼此獨立的處理速度執行下述各個處理：從像素陣列的多個像素中的每一個，讀出將入射光進行光電轉換而獲取的像素信號的讀取處理；對從像素陣列的像素讀取的模擬像素信號進行信號處理，而獲取數字圖像數據的模擬處理；對存儲單元中所儲存的數字圖像數據的信號處理，即數字處理；以及輸出存儲單元中所儲存的數字圖像數據的輸出處理，由此，對如上所述通過拍攝而獲取的圖像數據進行圖像處理。
本發明的技術效果
根據本技術，可獲取攝像圖像。根據本技術，還可獲取更多樣的攝像圖像。
附圖簡要說明
圖1示出了說明各個處理的操作示例的示意圖。
圖2示出了圖像傳感器的主要結構示例的方塊圖。
圖3示出了單位像素的主要結構示例的示意圖。
圖4示出了說明各個處理的處理速度與處理速率如何獨立的示意圖。
圖5示出了控制狀態的示例的示意圖。
圖6示出了說明控制處理流程的示例的流程圖。
圖7示出了控制狀態的示例的示意圖。
圖8示出了控制處理流程的示例的流程圖。
圖9示出了控制狀態的示例的示意圖。
圖10示出了控制處理流程的示例的流程圖。
圖11示出了控制狀態的示例的示意圖。
圖12示出了控制處理流程的示例的流程圖。
圖13示出了控制狀態的示例的示意圖。
圖14示出了控制狀態的示例的示意圖。
圖15示出了控制處理流程的示例的流程圖。
圖16示出了控制狀態的示例的示意圖。
圖17示出了控制處理流程的示例的流程圖。
圖18示出了圖像傳感器的物理結構示例的示意圖。
圖19示出了攝像裝置的主要結構示例的示意圖。
具體實施方式
在下文中，將描述用於實施本發明的配置(以下稱為實施例)。應當注意的是，將按以下順序進行描述。
1.第1實施例(圖像傳感器)
2.第2實施例(圖像傳感器)
3.第3實施例(圖像傳感器)
4.第4實施例(攝像裝置)
在相關領域的圖像傳感器中，不存在可儲存幀的存儲器(DRAM(Dynamic Random Access Memory，動態隨機存取存儲器)等)、或者可儲存足夠多行的存儲器(SRAM(Static Random Access Memory，靜態隨機存取存儲器)等)。因此，圖像傳感器所執行的讀取像素信號、模擬處理、數字處理、輸出處理等各個處理按照相同的處理速度及處理速率(幀速率)來執行。
在這種情況下，如圖1A所示的例子，各個處理的處理速度及處理速率(幀速率)取決於最慢的處理系統。尤其是由於輸出規範會影響後續連接的裝置，因此難以靈活設定處理速度及處理速率(幀速率)。因此，快門動作或信號處理等其他處理恐怕也將受輸出處理的處理速度和處理速率的限制，因而難以靈活設定這些處理的處理速度及處理速率。例如，難以實現快門動作或信號處理的提速。
例如，如圖1B所示的例子，輸出處理的處理速度由輸出規範決定，像素信號的讀取處理的處理速度受輸出處理的處理速度，即輸出規範的限制。因而，難以實現讀取處理的提速。
此外，例如，如圖1C所示的例子，數字處理的處理速度還受讀取處理或輸出處理的處理速度的限制。因而難以實現數字處理的減速。
應當注意的是，例如利用專利文獻1所記載的方法雖然可實現高速讀取，但無法控制數字處理或輸出處理的處理速度。而且也難以控制處理速率。因此，根據專利文獻1所記載的方法，通過控制各個處理的處理速度和處理速率而獲取多樣的攝像圖像並非易事。
為此，在圖像傳感器中設置可儲存幀或足夠多的行的大容量存儲單元，利用存儲單元，可獨立於讀取處理、模擬處理及輸出處理而對數字處理進行控制(流程控制)。然後，控制各個處理的操作，以彼此獨立的處理速度執行讀取處理、模擬處理、數字處理及輸出處理。
本文中，讀取處理例如是從像素陣列的像素讀出像素信號的處理；模擬處理例如是對從像素讀取的模擬像素信號執行的信號處理；數字處理例如是對將模擬像素信號進行A/D轉換後所獲得的數字圖像數據執行的信號處理；輸出處理例如是輸出數字圖像數據的處理。
此外，存儲單元例如可由DRAM(動態隨機存取存儲器)、或SRAM(靜態隨機存取存儲器)等任意的存儲介質構成。
藉助於這種結構，攝像組件可消除在處理過程中對處理速度的限制，進而可靈活設置各個處理的處理速度。因此，藉助於各個處理的處理速度的組合，可生成更多樣的攝像圖像。
應當注意的是，不僅可將處理速度設定為彼此獨立，也可將各個處理的處理速率(幀速率)設定為彼此獨立。由此，攝像組件可生成更多樣的攝像圖像。
圖2示出了應用上述技術的攝像組件的一個實施例，即圖像傳感器的結構示例。圖2所示的圖像傳感器100是將來自物體的光進行光電轉換並輸出圖像數據的器件。例如，圖像傳感器100可由採用CMOS(Complementary Metal Oxide Semiconductor，互補金屬氧化物半導體)的COMS圖像傳感器、採用CCD(Charge Coupled Device，電荷耦合器件)的CCD圖像傳感器等構成。
如圖2所示，圖像傳感器100包括：像素陣列單元111、模擬處理單元112、數字處理單元113、存儲器總線114、幀存儲器115、以及輸出單元116。
像素陣列單元111是將具有光電二極體等光電轉換組件的像素結構(單位像素)配置成平面或曲面狀的像素區域。像素陣列單元111的各單位像素接收來自物體的光，將入射光進行光電轉換而累積電荷，並以特定時序，將電荷作為像素信號輸出。讀取處理是從上述單位像素讀出像素信號的處理。
模擬處理單元112對從像素陣列單元111的單位像素所讀出的模擬像素信號進行模擬處理。模擬處理例如包括將像素信號轉換為數字圖像數據的A/D轉換處理。
數字處理單元113對由模擬處理單元112進行A/D轉換後的數字圖像數據進行信號處理或時序控制等邏輯處理。如圖2所示，數字處理單元113包括時序控制單元121及信號處理單元122。
時序控制單元121控制像素陣列單元111、模擬處理單元112、信號處理單元122及輸出單元116的操作(例如處理速度或處理速率(幀速率)等)。信號處理單元122對由模擬處理單元112進行A/D轉換後的數字圖像數據進行信號處理。數字處理例如包括：像素重排處理或暗電平處理等傳感器功能的一次處理；以及例如HDR(High Dynamic Range，高動態範圍)處理或轉換解析度或縱橫比的縮放處理等圖像處理的二次處理；及輸出控制等三次處理等。
信號處理單元122還向幀存儲器115寫入圖像數據或者從中讀取圖像數據。例如，在寫入圖像數據時，信號處理單元122經由存儲器總線114將圖像數據提供給幀存儲器115。在讀出圖像數據時，信號處理單元122向幀存儲器115請求所期望的圖像數據，並經由存儲器總線114獲取圖像數據。信號處理單元122還對輸出圖像數據進行輸出控制處理。例如，在將圖像數據輸出至圖像傳感器100外部的裝置時，信號處理單元122經由存儲器總線114從幀存儲器115中獲取圖像數據，並將圖像數據提供給輸出單元116。
存儲器總線114是設置在數字處理單元113(信號處理單元122)與幀存儲器115之間的數據傳送路徑。儲存在幀存儲器115中的數據(圖像數據等)經由存儲器總線114進行傳送。
幀存儲器115是上述存儲單元的一個實施例，並且是具有足以儲存一個或多個幀的圖像數據的容量的存儲介質。幀存儲器115例如採用DRAM形成。當然，也可採用SRAM和快閃記憶體等其他半導體體存儲器。幀存儲器115儲存信號處理單元122經由存儲器總線114所提供的圖像數據。幀存儲器115還根據信號處理單元122的請求，將所儲存的圖像數據經由存儲器總線114提供給信號處理單元122。即，幀存儲器115儲存從圖像陣列單元111讀出的像素信號所生成的圖像數據。
應該注意的是，可使用能夠儲存足夠多行的圖像數據的行存儲器(足夠大容量的行存儲器)代替幀存儲器115。
輸出單元116例如由高速I/F(MIPI(Mobile Industry Processor Interface，移動產業處理器接口))或I/O單元構成，並且將經由信號處理單元122從幀存儲器115獲取的圖像數據輸出至圖像傳感器100外部的裝置。
此處，圖3示出了形成在像素陣列單元111中的各個單位像素的主要結構示例。形成在像素陣列單元111中的各個單位像素具有與圖3所示的例子基本上相同的結構。在圖3所示的例子中，單位像素131包括光電二極體141、讀出電晶體142、重置電晶體143、放大電晶體144、以及選擇電晶體145。
光電二極體(PD)141將所接收的光進行光電轉換為與所接收的光的光量相對應的電荷量的光電荷(此處為光電子)，並累積光電荷。光電二極體141的陽極連接到像素區域的地(像素接地)，其陰極通過讀出電晶體142而連接到浮置擴散(FD)。
讀出電晶體142控制對來自光電二極體141的光電荷的讀取。讀出電晶體142的漏極連接到浮置擴散，其源極連接到光電二極體141的陰極。此外，來自像素驅動單元(未示出)的控制信號TRG被提供給讀出電晶體142的柵極。控制信號TRG(即，讀出電晶體142的柵極電位)為關斷時，不讀出來自光電二極體141的光電荷(光電荷在光電二極體141中累積)。控制信號TRG(即，讀出電晶體142的柵極電位)為導通時，讀出光電二極體141中所累積的光電荷，並將其提供給浮置擴散(FD)。
重置電晶體143對浮置擴散(FD)的電位進行重置。重置電晶體143的漏極連接到電源電位，其源極連接到浮置擴散(FD)。此外，來自像素驅動單元(未示出)的控制信號RST被提供給重置電晶體143的柵極。控制信號RST(即重置電晶體143的柵極電位)為關斷時，浮置擴散(FD)與電源電位分離。控制信號RST(即重置電晶體143的柵極電位)為導通時，浮置擴散(FD)的電荷被丟棄至電源電位，浮置擴散(FD)被重置。
放大電晶體144放大浮置擴散(FD)的電位變化，並將其作為電信號(模擬信號)輸出。放大電晶體144的柵極連接到浮置擴散(FD)，其漏極連接到電源電位，其源極連接到選擇電晶體145的漏極。例如，放大電晶體144將已由重置電晶體143重置的浮置擴散(FD)的電位作為重置信號(重置等級)輸出至選擇電晶體145。放大電晶體144還將已由讀出電晶體142轉移的光電荷的浮置擴散(FD)的電位作為光累積信號(信號電平)，輸出至選擇電晶體145。
選擇電晶體145控制放大電晶體144所提供的電信號到垂直信號線VSL的輸出。選擇電晶體145的漏極連接到放大電晶體144的源極，其源極連接到垂直信號線VSL。此外，來自像素驅動單元(未示出)的控制信號SEL被提供給選擇電晶體145的柵極。控制信號SEL(即選擇電晶體145的柵極電位)為關斷時。控制信號SEL(即選擇電晶體145的柵極電位)為關斷時，放大電晶體144與垂直信號線VSL彼此電氣分離。因此，在這種狀態時，不從單位像素輸出像素信號。控制信號SEL(即選擇電晶體145的柵極電位)為導通時，單位像素為選擇狀態。換言之，來自與垂直信號線VSL電連接的放大電晶體144的信號輸出作為單位像素的像素信號被提供給垂直信號線VSL。即，從單位像素讀出像素信號。
如圖4所示，在相關領域的圖像傳感器，信號處理單元122對數字圖像數據進行的信號處理，即數字處理、像素陣列單元111讀出像素信號的讀取處理、模擬處理單元112對模擬像素信號進行的信號處理，即模擬處理、以及輸出單元116輸出數字圖像數據的輸出處理均以相同的處理速度及處理速率進行操作。
相反，如圖4B所示，圖像傳感器100具有幀存儲器115。利用幀存儲器115，可獨立於讀取處理、模擬處理、輸出處理而執行數字處理。
因此，時序控制單元121利用幀存儲器115彼此獨立地執行圖像傳感器100中的各個處理(執行流程控制)。
具體地，時序控制單元121例如彼此獨立地設定讀取處理、模擬處理、數字處理及輸出處理的處理速度或處理速率(幀速率)，並以所設定的處理速度和處理速率分別執行各個處理。
應當注意的是，為了便於描述，將常規處理速度設為中速度，將比常規處理速度快的速度設為高速度，將比常規處理速度慢的速度設為低速度。此外，將常規處理速率(幀速率)設為中速率，將比常規處理速率快的速率設為高速率，將比常規處理速率慢的速率設為低速率。
由此，藉助於處理的處理速度和處理速率的組合，圖像傳感器100可生成更多樣的攝像圖像。
在下文中，將描述利用時序控制單元121對各個處理進行控制的具體示例。例如，如圖5所示的例子，時序控制單元121可將讀取處理和模擬處理的速度設定為比數字處理和輸出處理的速度高(高速執行)。
圖5示出了對一個幀進行處理期間(垂直同步周期XVS)，各個處理的操作周期的狀態的示例。如圖5所示，以高於常規處理速度的速度執行讀取處理與模擬處理，而以常規處理速度執行數字處理及輸出處理。應該注意的是，各個處理的處理速率(幀速率)仍與常規處理速率相同(處理速率不變)。
由此，無需改變圖像傳感器100的輸出規範，即可實現讀取處理和模擬提速。通過提高讀取處理與模擬處理的速度，可減少因像素陣列中各列的讀取時刻不同而產生的動態物體的失真，即焦面失真。換言之，無需改變輸出規範數字，處理和輸出處理即可減少焦面失真。
接下來，將參照圖6描述時序控制單元121所執行的用於控制上述的各個處理的操作的控制處理流程的示例。
隨著控制處理開始，在步驟S101中，時序控制單元121例如通過向像素陣列單元111提供控制信號而控制像素陣列單元111的操作，使像素陣列的各個像素對入射光進行光電轉換，從各個像素讀出像素信號。時序控制單元121使像素陣列單元111以高速度、中速率執行讀取處理。
在步驟S102中，時序控制單元121例如通過向模擬處理單元112提供控制信號而控制模擬處理單元112的操作，使模擬處理單元112對通過步驟S101的控制而高速度獲取的模擬像素信號進行例如A/D轉換等模擬處理。時序控制單元121使模擬處理單元112以高速度、中速率執行模擬處理。
在步驟S103中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S102的控制而高速度獲取的數字圖像數據進行數字處理。時序控制單元121使信號處理單元122以中速度、中速率執行數字處理。
在步驟S104中，時序控制單元121例如通過向輸出單元116提供控制信號而控制輸出單元116的操作，使輸出單元116輸出通過步驟S103的控制而中速度進行數字處理後的圖像數據。時序控制單元121使輸出單元116以中速度、中速率執行輸出處理。
在步驟S104的處理完成時，結束控制處理。
在步驟S102的控制下通過模擬處理而獲得的數字圖像數據儲存在幀存儲器115中。因此，即便是高速度執行讀取處理和模擬處理，也可以按照稍慢的中速度執行數字處理和輸出處理。藉助於時序控制單元121以上述方式執行控制處理，圖像傳感器100無需改變輸出規範即可減少焦面失真。
進一步地，例如，也可如圖5中的示例，以高速度執行讀取處理及模擬處理，而數字處理的速度可被設定為比輸出處理(低速度執行)的速度慢。
與圖5一樣，圖7示出了對一個幀進行處理期間(垂直同步周期XVS)，各個處理的操作周期的狀態的示例。如圖7所示，以高於常規處理速度的速度執行讀取處理與模擬處理，而以低於常規處理速度的速度執行數字處理、以常規處理速度執行輸出處理。應該注意的是，各個處理的處理速率(幀速率)仍與常規處理速率相同(處理速率不變)。
由此，無需改變圖像傳感器100的輸出規範即可實現讀取處理和模擬提速以及數字處理的減速。通過提高讀取處理與模擬處理的速度，可減少焦面失真。此外，通過降低數字處理的速度，可延長數字處理的處理時間，可分散數字處理的負荷。由此，可抑制電力消耗時間點的集中並平滑電力消耗波動。換言之，可減少電力消耗的峰值(最大值)。由此，可增大電力消耗的裕度。即，圖像傳感器100無需改變輸出規範即可減少焦面失真，進而可增大電力消耗的裕度。
接下來，將參照圖8描述時序控制單元121所執行的用於控制上述各個處理的操作的控制處理流程的示例。
隨著控制處理開始，在步驟S121中，時序控制單元121例如通過向像素陣列單元111提供控制信號而控制像素陣列單元111的操作，使像素陣列的各個像素對入射光進行光電轉換，從各個像素讀出像素信號。時序控制單元121使像素陣列單元111以高速度、中速率執行讀取處理。
在步驟S122中，時序控制單元121例如通過向模擬處理單元112提供控制信號而控制模擬處理單元112的操作，使模擬處理單元112對通過步驟S121的控制而高速度獲取的模擬像素信號進行例如A/D轉換等模擬處理。時序控制單元121使模擬處理單元112以高速度、中速率執行模擬處理。
在步驟S123中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S122的控制而高速度獲取的數字圖像數據進行數字處理。時序控制單元121使信號處理單元122以低速度、中速率執行數字處理。
在步驟S124中，時序控制單元121例如通過向輸出單元116提供控制信號而控制輸出單元116的操作，使輸出單元116輸出通過步驟S123的控制而低速度進行數字處理後的圖像數據。時序控制單元121使輸出單元116以中速度、中速率執行輸出處理。
在步驟S124的處理完成時，結束控制處理。
通過在步驟S122的控制下進行模擬處理所獲得的數字圖像數據儲存在幀存儲器115。因此，即便是高速度執行讀取處理和模擬處理，也可以稍慢的速度執行數字處理。經數字處理的圖像數據也儲存在幀存儲器115中。因此，可以比數字處理更快的中速度執行輸出處理。藉助於時序控制單元121以上述方式執行控制處理，圖像傳感器100無需改變輸出規範即可減少焦面失真並增大電力消耗的裕度。
進一步地，例如，如圖9的例子所示，可將數字處理的處理速度設定為比讀取處理、模擬處理及輸出處理的速度高(高速執行)，而反覆多次執行數字處理(多次執行數字處理)。
與圖5一樣，圖9示出了對一個幀進行處理期間(垂直同步周期XVS)，各個處理的操作周期的狀態的示例。如圖9所示，以常規處理速度執行讀取處理、模擬處理和輸出處理。相反，以高於常規處理速度的速度執行數字處理，從而多次執行數字處理。應該注意的是，各個處理的處理速率(幀速率)仍與常規處理速率相同(處理速率不變)。
由此，無需改變圖像傳感器100的輸出規範即可進行多次數字處理(數位訊號處理)。通過進行多次數字處理，可增強信號處理的效果。例如，通過反覆進行多次濾波處理等，可使濾波處理的效果更明顯地反映到圖像數據中。此外，例如，可進行多次轉換解析度或縱橫比的縮放處理，而生成具有除了用於輸出之外的不同解析度或縱橫比的對象，並且可進行多次檢測處理從而提高檢測精度。
換言之，圖像傳感器100無需改變輸出規範即可增強信號處理(數字處理)的效果。
接下來，將參照圖10的流程圖，描述時序控制121用於執行上述各個處理的操作控制所執行的控制處理流程的示例。
隨著控制處理開始，在步驟S141中，時序控制單元121例如通過向像素陣列單元111提供控制信號而控制像素陣列單元111的操作，使像素陣列的各個像素對入射光進行光電轉換，從各個像素讀出像素信號。時序控制單元121使像素陣列單元111以中速度、中速率執行讀取處理。
在步驟S142中，時序控制單元121例如通過向模擬處理單元112提供控制信號而控制模擬處理單元112的操作，使模擬處理單元112對通過步驟S141的控制而中速度獲取的模擬像素信號進行例如A/D轉換等模擬處理。時序控制單元121使模擬處理單元112以中速度、中速率執行模擬處理。
在步驟S143中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S142的控制而中速度獲取的數字圖像數據進行數字處理。時序控制單元121使信號處理單元122以高速度、高速率執行數字處理。
在步驟S144中，時序控制單元121例如通過向輸出單元116提供控制信號而控制輸出單元116的操作，使輸出單元116輸出通過步驟S143的控制而高速度進行數字處理後的圖像數據。時序控制單元121使輸出單元116以中速度、中速率執行輸出處理。
在步驟S144的處理完成時，結束控制處理。
通過在步驟S142的控制下進行模擬處理所獲得的數字圖像數據儲存在幀存儲器115。因此，即便是以中速度執行讀取處理和模擬處理，也可以高速度執行數字處理。並且還可以執行多次數字處理。經數字處理的圖像數據也儲存在幀存儲器115中。因此，可以比數字處理更慢的中速度執行輸出處理。藉助於時序控制單元121以上述方式執行控制處理，圖像傳感器100無需改變輸出規範即可增強信號處理(數字處理)的效果。
進一步地，也可改變各個處理的處理速率。例如，如圖11的例子所示，可將讀取處理和模擬處理的處理速度和處理速率設定為比數字處理和輸出處理的高(高速執行)(提高幀速率)。
圖11示出了在對多個幀進行處理期間(垂直同步周期XVS)，各個處理的操作周期的狀態的示例。如圖11所示，以高於常規處理速度的速度執行讀取處理和模擬處理，以常規處理速度執行數字處理和輸出處理。此外，以高於常規處理速率的速率執行讀取處理和模擬處理，以常規處理速率執行數字處理和輸出處理。
由此，無需改變圖像傳感器100的輸出規範即可提高讀取處理和模擬處理的處理速度和處理速率。通過提高讀取處理和模擬處理的處理速度和處理速率，可實現高速拍攝。此外，通過以常規處理速度和處理速率執行數字處理和輸出處理，可緩慢播放在高速下拍攝的圖像。換言之，圖像傳感器100無需改變輸出規範即可實現高速拍攝或慢速播放。
接下來，參照圖12的流程圖，描述時序控制單元121用於執行上述各個處理的操作控制所執行的控制處理流程的示例。
隨著控制處理開始，在步驟S161中，時序控制單元121例如通過向像素陣列單元111提供控制信號而控制像素陣列單元111的操作，使像素陣列的各個像素對入射光進行光電轉換，從各個像素讀出像素信號。時序控制單元121使像素陣列單元111以高速度、高速率執行讀取處理。
在步驟S162中，時序控制單元121例如通過向模擬處理單元112提供控制信號而控制模擬處理單元112的操作，使模擬處理單元112對通過步驟S161的控制而中速度獲取的模擬像素信號進行例如A/D轉換等模擬處理。時序控制單元121使模擬處理單元112以高速度、高速率執行模擬處理。
在步驟S163中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S162的控制而以高速度、高速率獲取的數字圖像數據進行數字處理。時序控制單元121使信號處理單元122以中速度、中速率執行數字處理。
在步驟S164中，時序控制單元121例如通過向輸出單元116提供控制信號而控制輸出單元116的操作，使輸出單元116輸出通過步驟S163的控制而以中速度、中速率進行數字處理後的圖像數據。時序控制單元121使輸出單元116以中速度、中速率執行輸出處理。
在步驟S164的處理完成時，結束控制處理。
通過步驟S142的控制進行模擬處理所獲得的數字圖像數據儲存在幀存儲器115。因此，即便是以高速度、高速率執行讀取處理和模擬處理，也可以稍慢的中速度、中速率執行數字處理和輸出處理。藉助於時序控制單元121以上述方式執行控制處理，圖像傳感器100無需改變輸出規範即可實現高速拍攝和慢速播放。
應當注意的是，可以比常規速率更高的速率拍攝而以常規處理速率播放的幀的數量取決於幀存儲器115的容量。通過如上所述進行拍攝，在幀存儲器115中累積與讀取處理和模擬處理的處理速率與數字處理和輸出處理的處理速率之間的差值相對應的量的圖像數據。由於幀存儲器115的容量是任意但有限的，因此，對速率差的接納也存在限制。換言之，僅可在幀存儲器115的容量範圍內進行上述拍攝。
應當注意的是，當幀存儲器115的閒置容量不足時，則可使拍攝恢復到常規處理速率，如圖11中所示的幀8及幀9。換言之，可將正以高速率執行的讀取處理及模擬處理的處理速率變更為中速率。
進一步地，當在以常規處理速率拍攝期間，暫時進行高速度拍攝時，高速度拍攝期間所拍攝的圖像可與以常規處理速率拍攝的圖像相繼連續輸出，也可以如所謂的雙畫面，重疊在以常規處理速率拍攝的圖像中而輸出，也可在拍攝停止後單獨輸出。
應當注意的是，通過利用幀存儲器115，不僅可如上所述改變各個處理的處理速度或處理速率，也可在時間方向上改變各個處理的處理對象幀(即，可將各個處理的處理對象的幀設定為彼此獨立)。
例如，如圖13所示，可在幀存儲器115中設置環形緩衝區。在這一情況下，從像素陣列單元111讀出並經A/D轉換後的圖像數據由數字處理單元113進行例如像素重排處理或暗電平處理等傳感器功能的一次處理211。經一次處理211後的圖像數據儲存在幀存儲器115內所設置的一次處理用區域221中。一次處理用區域221形成環形緩衝區，依次存儲數字處理單元113所提供的各幀經一次處理211後的圖像數據。
在使用者尚未摁下拍攝按鈕等尚未指示拍攝的狀態下，由像素陣列單元111獲取的所捕獲的圖像，即攝像圖像的圖像數據片段以上述方式，依次儲存在一次處理用區域221，即環形緩衝區中。
例如，如圖14所示，當使用者摁下拍攝按鈕等而指示拍攝時，數字處理單元113基於使用者的指示，讀出儲存在一次處理用區域221中的較早幀的圖像數據。對於儲存在一次處理用區域221中的圖像數據，最後儲存的幀為最新的幀。數字處理單元113讀出比最新的幀在時間上更早儲存的較早幀的圖像數據。
數字處理單元113所讀出的圖像數據的幀距離最新的幀為多少幀是任意。例如的，數字處理單元113可讀出在最新的幀幾分鐘之前獲取的幀的圖像數據，該幾分鐘為預設值，或者讀取一次處理用區域221即環形緩衝區中儲存有最新幀的圖像數據位置以外的預設位置處所儲存的圖像數據。
數字處理單元113對所讀取的圖像數據進行HDR(High Dynamic Range，高動態範圍)處理或轉換解析度或縱橫比的縮放處理等圖像處理的二次處理212。經二次處理212後的圖像數據儲存在幀存儲器115內所設置的二次處理用區域222中。
數字處理單元113進行輸出控制處理213，以特定時序讀取儲存在二次處理用區域222中的圖像數據，並將該圖像數據提供給輸出單元116，使輸出單元116輸出該圖像數據。
如上所述，通過使用環形緩衝區，圖像傳感器100可輸出較早的數據。
將參照圖15的流程圖描述在這一情況下控制處理流程的示例。
隨著控制處理開始，在步驟S201中，時序控制單元121例如通過對像素陣列單元111提供控制信號而控制像素陣列單元111的操作，對像素陣列中的各個像素進行光電轉換，從各個像素讀出像素信號。
在步驟S202中，時序控制單元121例如通過向模擬處理單元112提供控制信號而控制模擬處理單元112的操作，使模擬處理單元112對通過步驟S201的控制而獲取的模擬像素信號進行例如A/D轉換等模擬處理。
在步驟S203中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S202的控制而獲取的數字圖像數據進行一次處理。
在步驟S204中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122將通過步驟S202的控制而進行一次處理後的圖像數據儲存在幀存儲器115的環形緩衝區(一次處理用區域221)中。
在步驟S205中，時序控制單元121判斷是否拍攝圖像。例如，在使用者等未輸入攝像指示而判斷為不進行拍攝時，處理則返回至步驟S201，並反覆進行之後的處理。具體地，在拍攝前的狀態下，反覆執行步驟S201至S205的各個處理，將所捕捉的圖像儲存在一次處理用區域221中。
在步驟S205中，在使用者操作拍攝按鈕等輸入攝像指示而判斷為進行拍攝時，處理則前進至步驟S206。
在步驟S206中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，並使信號處理單元122讀出在寫入到幀存儲器115的環形緩衝區(一次處理用區域221)中的最新幀之前的幀(較早幀)的圖像數據。
在步驟S207中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，並使信號處理單元122對通過步驟S206的控制而讀出的圖像數據進行二次處理。
在步驟S208中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122將通過步驟S207的控制進行二次處理後的圖像數據儲存到幀存儲器115的二次處理用區域222中。
在步驟S209中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122進行三次處理。具體地，在信號處理單元122在時序控制單元121的控制下進行三次處理，以特定的時序讀出通過步驟S208的控制而儲存到幀存儲器115的二次處理用區域222中的圖像數據。
在步驟S210中，時序控制單元121例如對輸出單元116提供控制信號而控制輸出單元116的操作，使制輸出單元116將通過步驟S209的控制而讀出的圖像數據輸出至圖像傳感器100外部的裝置。
在步驟S210的處理完成時，結束控制處理。
通過如上進行處理，圖像傳感器100可利用環形緩衝區輸出較早的數據。
雖然上述圖像傳感器100可應用於任意的裝置或系統，但其更適用於例如記錄在事故發生之前稍早時刻的影像的驅動記錄器，或是檢測人或動物的活動、記錄在檢測之前稍早時刻的影像的監視相機等。
應當注意的是，也可以不使用環形緩衝區而輸出較早的數據。例如，幀存儲器115隻要具有可儲存多個幀的圖像數據的容量即可。例如，也可以FIFO(First In First Out，先進先出)方式，讀取幀存儲器115中所儲存的數據。圖16示出了這一情形的示例。在圖16所示的情形中，由於幀存儲器115以FIFO進行操作，因此，信號處理單元122讀取比此時幀存儲器115中正在儲存的最新幀在時間上更早的幀(較早幀)的圖像數據。
例如，在使用者操作拍攝按鈕，拍攝物體而獲得攝像圖像時，從使用者摁下拍攝按鈕到輸出所拍攝圖像的圖像數據期間，需要特定的處理時間，因而產生相應的延遲。如果延遲時間較長，使用者恐怕難以獲得所期望的時刻的攝像圖像。
為此，如圖16的例子所示，通過對比使用者操作拍攝按鈕而獲得的攝像圖像在時間上更早的幀的圖像進行數字處理，並將其作為攝像圖像而輸出，可使圖像傳感器100抑制遲延時間(時滯)的增加。
應當注意的是，圖像數據可為動態圖像，也可為靜態圖像。
將參照圖17的流程圖描述在這一情況下的控制處理流程的示例。
隨著控制處理開始，在步驟S251中，時序控制單元121例如通過對像素陣列單元111提供控制信號而控制像素陣列單元111動作，使像素陣列的各個像素對入射光進行光電轉換，從各個像素讀出像素信號。
在步驟S252中，時序控制單元121例如通過向模擬處理單元112提供控制信號而控制模擬處理單元112的操作，使模擬處理單元112對通過步驟S251的控制而獲取的模擬像素信號進行例如A/D轉換等模擬處理。
在步驟S253中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S252的控制而獲取的數字圖像數據進行一次處理。
在步驟S254中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122將通過步驟S252的控制進行一次處理後的圖像數據儲存到幀存儲器115中。
在步驟S255中，在例如使用者等輸入攝像指示的特定時刻，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122讀出在寫入至幀存儲器115中的幀之前的幀(較早幀)的圖像數據。
在步驟S256中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122對通過步驟S255的控制而讀出的圖像數據進行二次處理。
在步驟S257中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122將通過步驟S256的控制進行二次處理後的圖像數據儲存到幀存儲器115中。
在步驟S258中，時序控制單元121例如通過向信號處理單元122提供控制信號而控制信號處理單元122的操作，使信號處理單元122進行三次處理。具體地，信號處理單元122在時序控制單元121的控制下進行三次處理，以特定時序，讀取通過步驟S257的控制而儲存到幀存儲器115中的圖像數據。
在步驟S259中，時序控制單元121例如通過向輸出單元116提供控制信號而控制輸出單元116的操作，使輸出單元116將通過步驟S258的控制而讀取的圖像數據輸出到圖像傳感器100外部的裝置。
在步驟S259的處理完成時，結束控制處理。
通過如上所述進行處理，圖像傳感器100可輸出較早的數據，抑制從拍攝指令輸入到圖像數據輸出之前的遲延時間(時滯)的增加。
雖然上述圖像傳感器100可應用於任意的裝置或系統，但其更適用於例如使用者操作拍攝按鈕而拍攝物體的數字相機或攝像機。
應當注意的是，例如可採用密封封裝或設置在電路基板上的封裝中的模塊等形式實現應用本技術的攝像組件。例如，採用封裝實現攝像組件時，該封裝中的攝像組件可由單個半導體基板構成，也可由相互堆疊的多個半導體基板構成。
圖18示出了應用本技術的攝像組件，即圖像傳感器100的物理結構的示例的示意圖。
在圖18A所示的例子中，參照圖3所描述的圖像傳感器100的結構均形成在單個半導體基板上。在圖18A的示例中，以包圍像素/模擬處理單元311、數字處理單元113和幀存儲器115的方式，配置輸出單元116-1至116-4。像素/模擬處理單元311是形成像素陣列單元111和模擬處理單元112的結構(例如像素陣列或A/D轉換部分)的區域。每個輸出單元116-1至116-4均為形成輸出單元116的結構(例如I/O單元等)的區域。
當然，圖18A所示的結構示例僅僅是一個例子，各個處理單元的結構布置並不局限於此。
在圖18B所示的例子中，參照圖3所描述的圖像傳感器100的電路結構形成在相互重疊的兩片半導體基板(積層晶片(像素晶片321及電路晶片322))上。
像素晶片321上形成有像素/模擬處理單元311、數字處理單元113、輸出單元116-1及116-2。輸出單元116-1及116-2均為形成輸出單元116的結構(例如I/O單元等)的區域。
此外，電路晶片322上形成有幀存儲器115。
如上所述，像素晶片321及電路晶片322相互重疊而形成多層結構(層疊結構)。形成在像素晶片321上的數字處理單元113和形成在電路晶片322上的幀存儲器115通過形成在過孔區域(VIA)323、過孔區域(VIA)324中的過孔(VIA)(形成存儲器總線114)而彼此電連接。
本技術也可應用於具有如上所述的多層結構的圖像傳感器。應當注意的是，半導體基板(積層晶片)的數量是任意的，如圖18C所示，可為3層以上。
在圖18C的示例中，圖像傳感器100具有：半導體基板351、半導體基板352和半導體基板353。半導體基板351至353彼此重疊而形成多層構造(層疊結構)。半導體基板351上形成有像素/模擬處理單元311。半導體基板352上形成有數字處理單元113及輸出單元116。半導體基板353形成有幀存儲器115。各半導體基板上的各個處理單元藉助於過孔(VIA)361至363而彼此電連接。
本技術也可應用於具有如上所述的多層結構的圖像傳感器。當然，各半導體基板上所形成的處理單元是任意的，並不局限於圖18的示例。
應當注意的是，本技術也可用於除攝像組件之外的裝置。例如，本技術也可應用於如攝像裝置等具有攝像組件的裝置(電子裝置等)。圖19示出了採用本技術的電子裝置的一個示例，即攝像裝置的主要結構示例的框圖。圖19所示的攝像裝置600是用於拍攝物體、並將該物體的圖像作為電信號而輸出的裝置。
如圖19所示，攝像裝置600具有光學單元611、CMOS圖像傳感器612、圖像處理單元613、顯示單元614、編解碼處理單元615、存儲單元616、輸出單元617、通信單元618、控制單元621、操作單元622及驅動器623。
光學單元611包括相對於物體調整焦點並聚集來自焦點的光的鏡頭、調整曝光的光圈、以及控制拍攝時機的快門等。光學單元611使來自物體的光(入射光)透過，並將該光提供給CMOS圖像傳感器612。
CMOS圖像傳感器612對入射光進行光電轉換，對每個像素的信號(像像素)進行A/D轉換，對像素信號進行CDS等信號處理，將處理後的攝像圖像數據提供給圖像處理單元613。
圖像處理單元613對CMOS圖像傳感器612所獲取的攝像圖像數據進行圖像處理。更具體地，圖像處理單元613對CMOS圖像傳感器612所提供的攝像圖像數據進行例如混合色修正、暗電平修正、白平衡調整、去馬賽克處理、矩陣處理、灰階修正、以及YC轉換等各種圖像處理。圖像處理單元613將進行圖像處理後的攝像圖像數據提供給顯示單元614。
顯示單元614例如被構造成液晶顯示器等，顯示圖像處理單元613所提供的攝像圖像數據的圖像(例如物體的圖像)。
圖像處理單元613根據需要，還將進行圖像處理後的攝像圖像數據提供給編解碼處理單元615。
編解碼處理單元615以特定的方式對圖像處理單元613所提供的攝像圖像數據進行編碼處理，並將所獲取的編碼數據提供給存儲單元616。編解碼處理單元615還讀出存儲單元616中所記錄的編碼數據，對編碼數據進行解碼，生成解碼圖像數據，並將解碼圖像數據提供給圖像處理單元613。
圖像處理單元613對編解碼處理單元615所提供的解碼圖像數據進行特定的圖像處理。圖像處理單元613將進行圖像處理後的解碼圖像數據提供給顯示單元614。顯示單元614例如被構造成液晶顯示器等，顯示圖像處理單元613所提供的解碼圖像數據的圖像。
編解碼處理單元615還可將對圖像處理單元613所提供的攝像圖像數據進行編碼而獲得的編碼數據、或從存儲單元616讀出的攝像圖像數據的編碼數據，提供給輸出單元617，輸出單元617將該編碼數據輸出至攝像裝置600外部的裝置。編解碼處理單元615也可將對從存儲單元616中讀出的編碼數據進行解碼而獲得的解碼圖像數據提供給輸出單元617，輸出單元617將該數據輸出至攝像裝置600外部的裝置。
編解碼處理單元615也可經由通信單元618將攝像圖像數據的編碼數據或解碼圖像數據，傳送至其他設備。編解碼處理單元615也可經由通信單元618獲取攝像圖像數據或圖像數據的編碼數據。編解碼處理單元615對經由通信單元618而獲取的攝像圖像數據或圖像數據的編碼數據進行適當的編碼或解碼等。編解碼處理單元615也可如上所述將所獲取的圖像數據或編碼數據提供給圖像處理單元613，或輸出至存儲單元616、輸出單元617和通信單元618。
存儲單元616存儲編解碼處理單元615所提供的編碼數據等。儲存在存儲單元616中的編碼數據根據需要由編解碼處理單元615讀出並解碼。通過解碼處理而獲取的攝像圖像數據被提供給顯示單元614，從而在顯示單元614上顯示與該攝像圖像數據相對應的攝像圖像。
輸出單元617具有外部輸出端子等外部輸出接口，將經由編解碼處理單元615提供的各種數據通過該外部輸出接口，輸出至攝像裝置600外部的裝置。
通信單元618將例如編解碼處理單元615所提供的圖像數據或編碼數據等各種數據以特定的通信方式(有線通信或無線通信)提供給通信對象，即其他設備。通信單元618以特定的通信方式(有線通信或無線通信)從通信對象，即其他裝置，獲取圖像數據或編碼數據等各種信息，並將該信息提供給編解碼處理單元615。
控制單元621控制攝像裝置600的各個處理單元(虛線620內所示的各個處理單元、操作單元622及驅動器623)的操作。
操作單元622例如由「jog dial」(註冊商標)、鍵、按鈕或觸控面板等任意的輸入裝置構成，例如，操作單元622接收使用者等的操作輸入，並將與該操作輸入相對應的信號提供給控制單元621。
驅動器623從自身安裝的例如磁碟、光碟、磁光碟、或半導體存儲器等可移動介質624讀出信息。驅動器623從可移動介質624讀出例如程序或數據等各種信息，並將該信息提供給控制單元621。當驅動器623上安裝有可擦寫可移動介質624時，其也可將通過控制單元621提供的例如圖像數據或編碼數據等各種信息存儲在可移動介質624中。
上述實施例中所描述的技術用於如上所述進行構造的攝像裝置600的CMOS圖像傳感器612。具體地，如上所述的圖像傳感器100用作CMOS圖像傳感器612。由此，COMS圖像傳感器612可獲得更多樣的攝像圖像。因此，攝像裝置600通過拍攝物體，可獲得更多樣的攝像圖像。
應當注意的是，採用本技術的攝像裝置並不局限於上述結構，也可採用其他結構。例如，本技術不僅適用於數字相機或攝像機，也可適用於例如行動電話、智慧型手機、平板裝置、個人計算機等具有攝像功能的信息處理裝置。此外，本技術也可適用於安裝在其他信息處理裝置上使用(或作為內置器件而搭載)的相機模塊。
上述一系列的處理可由硬體或軟體執行。由軟體執行上述一系列處理時，構成上述軟體的程序從網絡或記錄介質進行安裝。
上述記錄介質例如如圖19所示，由與裝置本體分開的記錄有程序並向使用者分發程序的可移動介質624構成。該可移動介質624包括磁碟(包括軟盤)、光碟(包括CD-ROM或DVD)。該可移動介質624還包括磁光碟(包括MD(Mini Disc))或半導體存儲器。
在這種情況下，通過將可移動介質624加載到驅動器623上，可將程序安裝到存儲單元616中。
也可通過例如區域網、網際網路、數字衛星廣播程序等有線或無線傳送介質提供程序。在這種情況下，程序可由通信單元618接收而安裝在存儲單元616中。
此外，程序也可預先安裝在存儲單元616或控制單元621內的ROM(Read Only Memory，只讀存儲器)中等。
應當注意的是，計算機所執行的程序可以是按照本說明書中所描述的順序而以時間序列執行的程序，也可以是並行或例如在被請求時等必要的時刻執行的程序。
在本說明書中，描述記錄介質所記錄的程序的步驟不僅包含按照所描述的順序而以時間序列執行的處理，也包括不一定按照時間序列處理而並行或單獨執行的處理。
此外，上述各步驟的處理可在上述各裝置或除上述各裝置以外的任意裝置中執行。在這種情況下，執行處理的裝置只要具有執行該處理必需的功能(功能塊等)即可。此外，該處理所需的信息僅需視情況而傳送給該裝置。
此外，在本說明書中，該系統是指多個結構要素(裝置、模塊(組件)等)的集合，全部結構要素是否位於同一殼體內無關緊要。因此，收納在其他殼體中並通過網絡連接的多個裝置、以及多個模塊收納在一個殼體中的一個裝置均為系統。
此外，以上被描述為一個裝置(或處理單元)的結構也可被分割而構成多個裝置(或處理單元)。反之，以上被描述為多個裝置(或處理單元)的結構也可被整合而構成為一個裝置(或處理單元)。此外，除上述結構之外的結構當然也可被添加到該裝置(或處理單元)的結構中。進而，如果作為整個系統的結構或操作實質上相同，那麼某一裝置(或處理單元)的結構的一部分也可併入到其他裝置(或其它處理單元)中。
以上，參照附圖詳細描述了本發明的優選實施例。然而，本發明的技術範圍並不局限於上述示例。應明了，在所附權利要求書及其等同物的範圍內，本技術領域技術人員可根據設計要求和其他因素而進行各種修改、組合、子組合和變型。
例如，本技術可採用通過網絡由多個裝置分擔或共同處理一個功能的雲計算構成。
此外，參照上述流程圖所描述的各個步驟，除了可由一個裝置執行外，也可由多個裝置分擔執行。
進而，當一個步驟中包含多個處理時，上述一個步驟中所包含的多個處理除了可由一個裝置執行外，也可由多個裝置分擔執行。
本技術並非限定於此，其也可被實施為構成這種裝置或系統的裝置上所搭載的各種結構，例如系統LSI(Large Scale Integration，大規模集成電路)等的處理器、使用多個處理器等的模塊、使用多個模塊等的單元、以及附加到單元的其他功能的組合等。
應當注意的是，採用本技術的攝像裝置並不局限於上述結構，也可採用其它結構。例如，本技術不僅適用於數字相機或攝像機，也可適用於具有攝像功能的信息處理裝置，例如行動電話、智慧型手機、平板設備、個人計算機等。此外，本技術還可適用於安裝到其他信息處理裝置上而使用(或作為內置器件而搭載)的相機模塊。
此外，以上被描述為一個裝置(或處理單元)的結構也可被分割而構成多個裝置(或處理單元)。反之，以上被描述為多個裝置(或處理單元)的結構也可構成一個裝置(或處理單元)。此外，除上述結構之外的結構當然也可被添加到該裝置(或處理單元)的結構中。進而，如果作為整個系統的結構或操作實質上相同，那麼某一裝置(或處理單元)的結構的一部分也可併入到其他裝置(或其它處理單元)中。
以上，參照附圖詳細描述了本發明的優選實施例。然而，本發明的技術範圍並不局限於上述示例。應明了，在所附權利要求書及其等同物的範圍內，本技術領域技術人員可根據設計要求和其他因素而進行各種修改、組合、子組合和變型。
應當注意的是，本技術也可採用如下結構：
(1)一種攝像組件，包括：
像素陣列，其從像素陣列的多個像素中的每一個，讀出通過對入射光進行光電轉換而獲得的像素信號；
模擬處理單元，其對模擬像素信號進行信號處理，獲得數字圖像數據；
存儲單元，其儲存所述圖像數據；
信號處理單元，其對所述存儲單元中儲存的所述圖像數據進行信號處理；
輸出單元，其輸出所述存儲單元中儲存的所述圖像數據；以及
控制單元，其使以彼此獨立的處理速度執行以下處理：所述像素陣列進行讀出所述像素信號的讀取處理、所述模擬處理單元對模擬像素信號進行信號處理，即模擬處理、所述信號處理單元對數字圖像數據進行信號處理，即數字處理、以及所述輸出單元對所述圖像數據進行輸出處理。
(2)如(1)、(3)至(12)中任一所述的攝像組件，
其中，所述控制單元使以比所述數字處理和輸出處理更高的速度執行所述讀取處理和模擬處理。
(3)如(1)、(2)、(4)至(12)中任一所述的攝像組件，
其中，所述控制單元進一步使以比所述輸出處理更低的速度執行所述數字處理。
(4)如(1)至(3)、(5)至(12)中任一所述的攝像組件，
其中，所述控制單元使以比所述讀取處理、讀取處理和輸出處理更高的速度執行所述數字處理。
(5)如(1)至(4)、(6)至(12)中任一所述的攝像組件，
其中，所述控制單元使在一個幀處理期間多次執行所述數字處理。
(6)如(1)至(5)、(7)至(12)中任一所述的攝像組件，
其中，所述控制單元使以比所述數字處理和輸出處理更高的速度和更高的速率執行所述讀取處理和模擬處理。
(7)如(1)至(6)、(8)至(12)中任一所述的攝像組件，
其中，所述存儲器為幀存儲器。
(8)如(1)至(7)、(9)至(12)中任一所述的攝像組件，
其中，所述幀存儲器包括存儲預定數量的最新幀的環形緩衝區。
(9)如(1)至(8)、(10)至(12)中任一所述的攝像組件，
其中，所述控制單元使對環形緩衝區中所儲存的較早幀的圖像數據執行數字處理。
(10)如(1)至(9)、(11)及(12)中任一所述的攝像組件，
其中，所述幀存儲器具有能夠儲存多個幀的圖像數據的存儲容量，並且
所述控制單元使對幀存儲器中所存儲的較早幀的圖像數據執行數字處理。
(11)如(1)至(10)及(12)中任一所述的攝像組件，進一步包括：
單個半導體基板，
其中，所述像素陣列、模擬處理單元、存儲單元、信號處理單元、輸出單元及控制單元形成在所述半導體基板上。
(12)如(1)至(11)中任一所述的攝像組件，進一步包括：
多個彼此堆疊的半導體基板，
其中，所述像素陣列、模擬處理單元、存儲單元、信號處理單元、輸出單元及控制單元分別形成在所述多個半導體基板中的的一個對應半導體基板上。
(13)一種控制方法，包括：
以彼此獨立的處理速度執行以下處理：從像素陣列的多個像素中的每一個，讀出將入射光進行光電轉換而獲取的像素信號的讀取處理：對從所述像素陣列的像素讀取的模擬像素信號進行信號處理而獲取數字圖像數據的模擬處理；對存儲單元中所儲存的數字圖像數據進行的信號處理，即數字處理；以及輸出所述存儲單元中所儲存的數字圖像數據的輸出處理。
(14)一種攝像裝置，包括：
攝像單元，其拍攝物體；以及
圖像處理單元，其對所述攝像單元所獲取的圖像數據進行圖像處理，
所述攝像單元包括：
像素陣列，其從像素陣列的多個像素中的每一個，讀出將入射光進行光電轉換而獲取的像素信號，
模擬處理單元，其對模擬像素信號進行信號處理，以獲得數字圖像數據，
存儲單元，其儲存所述圖像數據，
信號處理單元，其對存儲單元中所儲存的圖像數據進行信號處理，輸出單元，其輸出存儲單元中所儲存的圖像數據，以及
控制單元，其使以下單元以彼此獨立的處理速度執行以下處理：所述像素陣列進行讀出所述像素信號的讀取處理；所述模擬處理單元對模擬像素信號進行信號處理，即模擬處理；所述信號處理單元對數字圖像數據進行信號處理，即數字處理；以及所述輸出單元對所述圖像數據進行輸出處理。
附圖標記說明
100 圖像傳感器
111 像素陣列單元
112 模擬處理單元
113 數字處理單元
114 存儲器總線
115 幀存儲器
116 輸出單元
121 時序控制單元
122 信號處理單元
321 像素晶片
322 電路晶片
600 攝像裝置
612 CMOS圖像傳感器。