具有圖像數據路徑延遲測量的成像系統和方法與流程

2023-05-29 10:46:41 2

本發明涉及圖像處理領域，尤其涉及具有圖像數據路徑延遲測量的成像系統和方法。

背景技術：

成像被用於不斷增加範圍的應用中。這些應用的一些是時間敏感的。例如，機器視覺可能需要精確地知道特定事件何時發生。發生在圖像傳感器曝光之後以產生輸出圖像或其他基於圖像的輸出數據的信號處理與一定數量的處理時間相關，例如，一定數量的處理時間可以在微秒、毫秒或秒的若干分之幾的範圍中。處理時間取決於待執行的處理的類型和被用於執行此處理的電路的類型。對於給定的成像系統，處理時間可以根據操作模式變化。例如，曝光時間或解析度的變化可以影響處理時間。

一些成像系統使用兩個或更多個照相機以捕獲兩個或更多個各自的圖像流，各自的圖像流被連接在一起以形成單一複合圖像流。可以在監控或汽車應用中實施這樣的成像系統以為觀察者(例如，司機)提供比使用單個照相機能夠達到的視場更大的視場的單一圖像流。複合圖像流的產生需要將各別的圖像流傳送至將各別的圖像流連接在一起的通用處理系統。複合圖像流遭受各別的圖像傳感器和通用處理系統之間的數據路徑延遲，且可能產生偽影(artifacts)，其中複合圖像流的不同空間部分彼此不同步。

技術實現要素：

在實施例中，具有圖像數據路徑延遲測量的成像系統包括第一圖像傳感器晶片。第一圖像傳感器晶片包括用於響應入射到像素陣列上的光產生第一圖像的像素陣列，和用於一經接收到時間標記命令在第一圖像中編碼籤名以產生具有籤名和來自第一圖像的圖像數據的第一標記圖像的時間標記產生器。成像系統還包括用於處理第一標記圖像的圖像信號處理晶片。圖像信號處理晶片包括數據路徑延遲測量模塊，數據路徑延遲測量模塊用於產生時間標記命令並用於基於(a)所述產生時間標記命令和(b)作為第一標記圖像的部分的籤名的接收之間的時間延遲估計從像素陣列至數據路徑延遲測量模塊的圖像數據路徑延遲。

在實施例中，用於測量成像系統的圖像數據路徑延遲的方法包括：在第一時間，將第一時間標記命令從圖像信號處理晶片傳送至第一圖像傳感器晶片，並且一經在第一圖像傳感器晶片處接收到第一時間標記命令，在第一圖像傳感器晶片上的第一像素陣列捕獲的第一圖像中編碼第一籤名以產生具有第一籤名和來自第一圖像的圖像數據的第一標記圖像。方法還包括將第一標記圖像從圖像傳感器晶片傳送至圖像信號處理晶片，使用圖像信號處理晶片片上的數據路徑延遲測量模塊識別第一標記圖像中的第一籤名，以及基於從第一時間至所述識別的時間的時間跨度估計從第一圖像由第一像素陣列的捕獲至數據路徑延遲測量模塊的第一圖像數據路徑延遲。

在實施例中，用於圖像數據路徑延遲測量的圖像傳感器晶片包括：(a)像素陣列，像素陣列用於響應入射到像素陣列上的光產生第一圖像，(b)輸入接口，輸入接口用於從圖像傳感器晶片外部的電路接收時間標記命令，(c)時間標記產生器，時間標記產生器用於一經接收到時間標記命令，在第一圖像中編碼籤名以產生具有籤名和來自第一圖像的圖像數據的標記圖像，以及(d)輸出接口，輸出接口用於輸出標記圖像至圖像傳感器晶片外部的圖像處理系統。

附圖說明

圖1示出根據實施例的具有集成的圖像數據路徑延遲測量功能的成像系統。

圖2根據實施例進一步詳細地示出圖1的成像系統。

圖3示出根據實施例的用於測量包括圖像傳感器晶片和與圖像傳感器晶片通信地耦接的圖像信號處理晶片的成像系統的圖像數據路徑延遲的方法。

圖4示出根據實施例的由圖1的成像系統捕獲的圖像的結構。

圖5示出根據實施例的用於使用圖像傳感器晶片的像素陣列捕獲圖像並用於在圖像傳感器晶片的片上在為了估計從圖像傳感器晶片至與圖像傳感器晶片通信地耦接的isp晶片的圖像數據路徑延遲的目的捕獲的捕獲圖像中編碼籤名的方法。

圖6示出根據實施例的包括用於將籤名編碼為與時間標記列的默認強度值不同的強度值的二值化時間標記列的標記圖像。

圖7示出根據實施例的將時間標記列中的籤名編碼為具有與時間標記列的默認強度值不同的強度值的一系列像素的另一標記圖像。

圖8a和圖8b示出根據實施例的作為預定義的二值化圖案的偏離的籤名的編碼。

圖9示出根據實施例的具有跨越穿過幾行的籤名的標記圖像。

圖10示出根據實施例的具有跨越穿過幾行的籤名的另一標記圖像。

圖11示出根據實施例的用於處理標記圖像以確定從用於產生標記圖像的圖像傳感器晶片至與圖像傳感器晶片通信地耦接的isp晶片的圖像數據路徑延遲的方法。

圖12根據實施例進一步詳細地示出圖1的成像系統的圖像傳感器晶片。

圖13示出根據實施例的用於在數字圖像中編碼籤名的圖像傳感器晶片。

圖14示出根據實施例的用於在模擬圖像中編碼籤名的圖像傳感器晶片。

圖15示出根據實施例的用於圖像數據路徑延遲測量的圖像信號處理晶片。

圖16示出根據實施例的具有與單個圖像信號處理晶片通信地耦接的多個圖像傳感器晶片的多傳感器成像系統。

圖17示出根據實施例的用於同步由包括與多個圖像傳感器晶片通信地耦接的單個圖像信號處理晶片的多傳感器成像系統中實施的多個圖像傳感器晶片產生的圖像流的方法。

圖18示出根據實施例的用於產生車輛的周圍環境的影像的汽車多傳感器成像系統。

具體實施方式

圖1示出具有集成的圖像數據路徑延遲測量功能的一個示例性成像系統100。成像系統100包括圖像傳感器晶片110和圖像信號處理(isp)晶片120。圖像傳感器晶片110捕獲圖像140，且isp晶片120處理與圖像140相關的圖像數據以產生輸出數據160。圖像傳感器晶片110和isp晶片120的每個是集成電路。圖像傳感器晶片110和isp晶片120包括用於估計圖像140的捕獲和到達isp晶片120內的圖像數據路徑上的點之間的圖像數據路徑延遲150的電路。因此，成像系統100用於估計圖像數據路徑延遲150，例如，以適當地解釋圖像數據路徑延遲150的變化或在由isp晶片120執行的處理中使用圖像數據路徑延遲150以產生輸出數據160。成像系統100執行作為圖像140的處理的基本部分的此圖像數據路徑延遲測量以產生輸出數據160。取決於像素陣列112的圖像捕獲的模式和在圖像傳感器晶片110的片上以及在isp晶片120的片上發生的圖像處理的形式，示例性圖像數據路徑延遲150在從約50微秒至約100毫秒的範圍內。

圖像傳感器晶片110包括像素陣列112。像素陣列112包括(a)響應於入射其上的光195產生電信號的感光像素的陣列，和(b)用於從感光像素的陣列讀出電信號以產生圖像140的讀出電路。在示於圖1的示例性情景中，像素陣列112與成像物鏡180配合以產生場景190的圖像140。在一些實施例中，圖像傳感器晶片110與照相機模塊中的成像物鏡180耦接。然而，在不脫離其範圍的情況下，圖像傳感器晶片110可以用於無透鏡成像。圖像傳感器晶片110還包括時間標記產生器114，一經接收到時間標記命令130，時間標記產生器114在圖像140中編碼籤名144以在時間標記產生器114接收到時間標記命令130時產生具有(a)來自圖像140的圖像數據和(b)籤名144的標記圖像142。

isp晶片120包括產生時間標記命令130並基於(a)產生時間標記命令130的時間和(b)作為標記圖像142的部分的籤名144被數據路徑延遲測量模塊122接收的時間之間的時間延遲估計從像素陣列112至數據路徑延遲測量模塊122的圖像數據路徑延遲150的數據路徑延遲測量模塊122。

在使用的一個示例中，數據路徑延遲測量模塊122對於由圖像傳感器晶片110產生的每個圖像140或對於由圖像傳感器晶片110產生的圖像140的子集，傳送時間命令130至圖像傳感器晶片110。因此，不是所有的標記圖像142必須包括籤名144。在使用的另一示例中，數據路徑延遲測量模塊122將兩個或更多個時間標記命令130傳送至時間標記產生器114以用於單個標記圖像142中的兩個或更多個各自的籤名144的編碼。在操作的過程中，數據路徑延遲測量模塊122可以改變時間標記命令130的產生的速度。

isp晶片120可以包括從數據路徑延遲測量模塊122接收標記圖像142並處理標記圖像142以產生輸出數據160的處理電路126。輸出數據160可以是從標記圖像142確定的圖像數據或非圖像數據。在一個實施例中，處理電路126使用圖像數據路徑延遲150以產生輸出數據160。在此實施例的一個示例中，處理電路126使用圖像數據路徑延遲150以估計圖像140的捕獲時間，且在輸出數據160中包括指示圖像140的捕獲時間的時間戳。在此實施例的另一示例中，處理電路126處理一系列的標記圖像142，其中標記圖像142的至少一些包括籤名144。在此示例中，處理電路126產生具有被基於圖像數據路徑延遲150校正的輸出圖像160的時序的輸出圖像160的流，以便儘管在圖像140的流的捕獲過程中圖像數據路徑延遲150可能變化，仍然適當地反映場景190中事件的真實時間。

在實施例中，isp晶片120用於輸出圖像數據路徑延遲150。在相關的示例性使用情景中，圖像數據路徑延遲150是隨時間監測的，且圖像數據路徑延遲150的顯著變化可能指示成像系統100中的問題。

在不脫離其範圍的情況下，圖像傳感器晶片110可以被提供為用於與如上討論的第三方isp晶片120配合的獨立設備。此外，在不脫離其範圍的情況下，isp晶片120可以被提供為用於與在此討論的圖像傳感器晶片110配合的或用於與如下參考圖16討論的多個圖像傳感器晶片110配合的獨立設備。

圖2進一步詳細地示出成像系統100。isp晶片120包括用於為數據路徑延遲測量模塊122提供時間的時鐘228。數據路徑延遲測量模塊122使用時鐘128提供的時間，以確定(a)時間標記命令130的產生的時間和(b)作為標記圖像142的部分的籤名144被數據路徑延遲測量模塊122接收的時間。

在一些實施例中，圖像傳感器晶片110包括在將圖像140傳送至時間標記產生器114之前處理圖像140的第一處理電路216。第一處理電路216可以用於執行捕獲的圖像的模數轉換、若捕獲的圖像是彩色圖像時捕獲的圖像的白平衡、增益調整和本領域已知的模擬和/或數位訊號處理的一個或多個。在一個實施例中，第一處理電路216執行時間標記產生器114處理圖像140所需要的最小數量的處理，使得由第一處理電路216引起的且不在圖像數據路徑延遲150中的圖像數據路徑延遲最小。在實施例中，圖像傳感器晶片110包括在圖像傳感器晶片110將標記圖像142傳送至isp晶片120之前處理標記圖像142的第二處理電路218。第二處理電路218可以用於執行若標記圖像142是模擬形式時標記圖像142的模數轉換、若標記圖像142是彩色圖像時標記圖像142的白平衡、增益調整、標記圖像142的空間分級以調整其解析度和本領域中已知的其他模擬和/或數位訊號處理的一個或多個。

isp晶片120可以包括在將標記圖像142傳送至數據路徑延遲測量模塊122之前處理標記圖像142的處理電路224。

在實施例中，isp晶片120包括從標記圖像142中移除籤名144的圖像清理模塊226。isp晶片120可以將圖像清理模塊226實施作為處理電路126的部分(如圖2中所示)、或作為數據路徑延遲測量模塊122的部分、或在isp晶片120內的圖像數據路徑中並在數據路徑延遲測量模塊122的下遊的其餘位置。

時間標記產生器114包括能夠定義標記圖像142中像素強度的電子電路。在一個示例中，此電子電路是本領域中已知的基於電晶體的電路。在另一示例中，由圖像傳感器晶片110片上的微處理器或現場可編程門陣列實施時間標記產生器114。此微處理器或現場可編程門陣列可以被圖像傳感器晶片110片上的其他功能(例如第一處理電路216和/或第二處理電路218)共享。可以由isp晶片120片上的微處理器或現場可編程門陣列實施數據路徑延遲測量模塊122。此微處理器或現場可編程門陣列可以被isp晶片120片上的其他功能(例如處理電路224和/或處理電路126)共享。

在實施例中，成像系統100還包括標記圖像142必須經過的、圖像傳感器晶片110和isp晶片120之間的中間處理電路270。中間處理電路270可以包括執行標記圖像142的全幀緩存或標記圖像142的行式緩存的緩存器。由於全幀必須在下一處理步驟可以開始之前加載至緩存器中，因此與逐像素緩存或逐行緩存相比，全幀緩存通常引起顯著的圖像數據路徑延遲。例如，若圖像傳感器晶片110以每秒60幀的速度捕獲圖像140，由全幀緩存引起的圖像數據路徑延遲可能多達33毫秒。因此，包括圖像傳感器晶片110和isp晶片120之間的全幀緩存的成像系統100的實施可能與顯著的圖像數據路徑延遲150相關。此外，此顯著的圖像數據路徑延遲150可能遭受變化，例如，由標記圖像142的尺寸和解析度的變化或由中間處理電路270執行的其他處理的變化引起的變化。對於這些原因，在時間標記產生器114的處理之前直至處理之後沒有全幀緩存的情況下實施圖像傳感器晶片110也是有利的。在一個實施例中，圖像傳感器晶片110不執行全幀緩存。在此實施例中，圖像傳感器晶片110片上的全部圖像緩存可以是逐行緩存或逐像素緩存。在另一實施例中，圖像傳感器晶片110包括配置有緩存標記圖像142的全幀的全幀緩存器的第二處理電路218。

在實施例中，數據路徑延遲測量模塊122通過連接275與像素陣列112通信地耦接，使得時間命令130由數據路徑延遲測量模塊122產生的時間可以與圖像140被像素陣列112捕獲的時間協調。連接275可以使用與時間命令130相同的片間通信連結。連接275不必須是數據路徑延遲測量模塊122和像素陣列112之間的直接連接。連接275可以經過isp晶片120和/或圖像傳感器晶片110的其它元件。在此實施例的一個實施中，像素陣列112為主且數據路徑延遲測量模塊122為從。在此實施中，數據路徑延遲測量模塊122根據從像素陣列112接收的(一個或多個)圖像捕獲時序信號產生(一個或多個)時間標記命令130。在此實施例的另一實施中，數據路徑延遲測量模塊122為主且像素陣列112為從。在此實施中，像素陣列112根據從數據路徑延遲測量模塊122接收的(一個或多個)觸發信號捕獲(一個或多個)圖像140。

圖3示出用於測量包括圖像傳感器晶片和與圖像傳感器晶片通信地耦接的isp晶片的成像系統的圖像數據路徑延遲的一個示例性方法300。方法300將圖像數據路徑延遲測量與捕獲的圖像的處理集成。方法300可以由成像系統100執行。

在步驟310中，isp晶片片上的數據路徑測量模塊將時間標記命令傳送至圖像傳感器晶片。步驟310發生在第一時間t1。在步驟310的一個示例中，數據路徑延遲測量模塊122產生時間標記命令130並將時間標記命令130傳送至時間標記產生器114。數據路徑延遲測量模塊122將執行步驟310的時間記錄為t1，其中此時間由時鐘228提供。

在步驟320中，一經接收到步驟310的時間標記命令，圖像傳感器晶片在由圖像傳感器晶片片上的像素陣列捕獲的圖像中編碼籤名。在不脫離其範圍的情況下，例如，若當接收到時間標記命令時圖像傳感器晶片沒有正在處理捕獲的圖像，圖像傳感器晶片可以在時間標記命令的接收之後由圖像傳感器晶片處理的第一個捕獲的圖像中編碼籤名。步驟320產生包括捕獲的圖像數據以及籤名的標記圖像。在步驟320的一個示例中，一經接收到時間標記命令130，時間標記產生器114在由時間標記產生器114處理的圖像140中編碼籤名144以產生標記圖像142。若當接收到時間標記命令130時時間標記產生器114沒有正在處理圖像140，圖像標記產生器114在接收時間標記命令130之後由時間標記產生器114處理的第一個圖像140中編碼籤名144。此情況可以出現在時間標記產生器114在完成一個圖像140的處理之後並等待下一個圖像140時接收到時間標記命令130。

在一些實施例中，方法300包括捕獲步驟320中處理的圖像的步驟302。在此，「捕獲」包括例如使用相關雙採樣從像素陣列的像素中讀出圖像信號的過程。在步驟302的一個示例中，像素陣列112捕獲圖像140。在執行步驟320之前，方法300還可以包括處理在步驟302中捕獲的圖像的步驟304。這樣的處理可以包括捕獲的圖像的模數轉換、若捕獲的圖像是彩色圖像時捕獲的圖像的白平衡、增益調整和本領域中已知的其它模擬和/或數位訊號處理的一個或多個。例如，在步驟304的一個示例中，第一處理電路216處理圖像140以執行圖像140的模數轉換、若圖像140是彩色圖像時圖像140的白平衡、增益調整和本領域中已知的其它模擬和/或數位訊號處理的一個或多個。

在可選的步驟330中，圖像傳感器晶片還處理步驟320中產生的標記圖像。若標記圖像是模擬形式時，步驟330可以包括標記圖像的模數轉換。此外，步驟330可以包括當標記圖像是彩色圖像時標記圖像的白平衡、增益調整、標記圖像的空間分級以調整其解析度和本領域中已知的其它模擬和/或數位訊號處理。在一個實施例中，步驟330包括需要標記圖像140的全幀緩存的處理。由於全幀緩存通常引起顯著的圖像數據路徑延遲，任何這樣的處理有利地在步驟330中執行，而不是在步驟320中。在步驟330的一個示例中，第二處理電路218處理標記圖像142例如以執行若標記圖像142是模擬形式時標記圖像142的模數轉換、若標記圖像142是彩色圖像時標記圖像142的白平衡、增益調整、標記圖像142的空間分級以調整其解析度和本領域中已知的其它模擬和/或數位訊號處理的一個或多個。

在步驟340中，圖像傳感器晶片將標記圖像傳送至isp晶片。在步驟340的一個示例中，圖像傳感器晶片110將標記圖像142傳送至isp晶片120。步驟340可以包括在圖像傳感器晶片和isp晶片之間處理標記圖像的步驟342。在步驟342的一個示例中，中間處理電路270處理標記圖像142。

在可選的步驟350中，在isp晶片片上處理標記圖像。步驟350可以執行改善標記圖像的成像質量、白平衡、對比度調整、色調映射和本領域中已知的其它圖像處理的一個或多個。在步驟350的一個示例中，處理電路224處理標記圖像142。處理電路224可以執行改善標記圖像142的成像質量、白平衡、對比度調整、色調映射和本領域中已知的其它圖像處理的一個或多個。

在步驟360中，isp晶片片上的數據路徑延遲測量模塊識別標記圖像中編碼的籤名。在步驟360的一個示例中，數據路徑延遲測量模塊122識別標記圖像142中的籤名144。數據路徑延遲測量模塊122將標籤144被識別時的時間記錄為時間t2，其中此時間由時鐘228提供。

步驟370基於從t1至步驟360中識別籤名的時間t2的時間跨度估計從由圖像傳感器晶片的像素陣列捕獲的圖像至數據路徑延遲測量模塊的圖像數據路徑延遲。在步驟370的一個示例中，數據路徑延遲測量模塊122計算圖像數據路徑延遲150為t2-t1。

在一個實施例中，步驟370將估計的圖像數據路徑延遲輸出為t2-t1。在另一實施例中，步驟370包括關於不包括在時間差t2-t1中的已知的延遲校正估計的圖像數據路徑延遲的步驟372。步驟372可以將t2-t1加上代表從圖像捕獲的時間至步驟320中的編碼籤名的時間的圖像數據路徑延遲的預校準的圖像數據路徑延遲，和/或步驟372可以將t2-t1減去代表從t1至步驟320中的編碼籤名的時間的時間跨度的預校準的轉移時間。典型的轉移時間可以在納秒範圍內。步驟372可以由數據路徑延遲測量模塊122執行。

執行步驟360之後，步驟300可以包括在isp晶片片上處理標記圖像的步驟380。在步驟380的一個示例中，處理電路126處理標記圖像142以產生輸出數據160。步驟380中的示例性處理包括但不限於，標記圖像142中目標的識別和從標記圖像142中移除時間籤名144。時間籤名144從標記圖像142中的移除可以由圖像清理模塊226執行。

可選地，步驟380包括使用步驟370中獲得的圖像數據路徑延遲估計以產生輸出數據的步驟382。步驟380可以包括輸出圖像的時間戳或相關的輸出數據，其中時間戳解釋估計的圖像數據路徑延遲以指示相關的圖像140的捕獲時間。在方法300處理圖像流的實施中，步驟382可以包括使用一個或多個估計的圖像數據路徑延遲以產生具有被基於一個或多個估計的圖像數據路徑延遲校正的輸出圖像160的時序的輸出圖像160的流，以便儘管在圖像流的捕獲的過程中圖像數據路徑延遲可能變化，仍然適當地反應場景190中事件的真實時間。

在一個實施例中，步驟320接收數字形式的捕獲的圖像。在此實施例的示例中，方法300包括步驟302和304，其中僅由步驟304執行的處理是捕獲的圖像的模數轉換。在此示例中，在步驟302中捕獲圖像之後儘可能最早的時間執行步驟320，這導致圖像捕獲和籤名的編碼之間的最短可能的延遲。此示例最小化圖像捕獲和方法300在步驟320中在數字圖像中編碼籤名的的實施的時間t1之間的時間跨度，因此減小不是由這樣的方法300的實施引起的圖像數據路徑延遲。在另一實施例中，步驟320接收模擬形式的捕獲的圖像。與在數字圖像中編碼籤名的實施例相比，通過在模擬圖像中編碼籤名，此實施例可以進一步減小(或甚至消除)圖像捕獲和t1之間的時間跨度，以便進一步減小(或甚至消除)不是由方法300引起的圖像數據路徑延遲。

在一個實施例中，至少直至步驟320，方法300沒有全幀緩存，以便避免除了由方法300引起的圖像數據路徑延遲之外的顯著的圖像數據路徑延遲。

圖4示出圖像140的結構。圖像140包括被布置成具有行420和列430的陣列的多個像素410。為說明的清楚，圖4中不標註所有的像素410、行420和列430。同樣為說明的清楚，圖4不示出場景190的圖像。在不脫離其範圍的情況下，圖像140可以包括與示於圖4相比的不同數量的像素410、行420和列430。例如，圖像140可以包括數百或數千行420和數百或數千列430。

當圖像140是彩色圖像時，像素410可以代表指示單色(例如紅色、綠色和藍色的一個)的強度的單色像素。可選地，像素410可以代表指示由多個各別的彩色像素共同地提供的強度和彩色的彩色像素組。

圖5示出用於使用圖像傳感器晶片的像素陣列捕獲圖像並用於在圖像傳感器晶片的片上在為了估計從圖像傳感器晶片至與圖像傳感器晶片通信地耦接的isp晶片的圖像數據路徑延遲的目的捕獲的捕獲圖像中編碼籤名的一個示例性方法500。方法500基於圖像的行的順序處理，並在圖像的專用列中編碼籤名。方法500是方法300的部分的實施例。方法500的至少部分可以由圖像傳感器晶片110執行。在實施例中，方法500包括步驟310的實施例，在此情況下方法500可以由成像系統100執行。

在步驟520中，圖像傳感器晶片的像素陣列捕獲圖像。在步驟520的示例中，像素陣列112捕獲圖像140。步驟520是步驟302的實施例。

在步驟530中，圖像傳感器晶片從像素陣列順序地讀出捕獲的圖像的行。在步驟530的一個示例中，圖像傳感器晶片110從像素陣列112順序地讀出圖像140的行。

在可選的步驟540中，圖像傳感器晶片順序地處理圖像140的行。例如，步驟540由第一處理電路216執行。步驟540是步驟304的實施例，並且雖然受限於行的順序處理，可以包括與參考圖3針對步驟304的上述討論的處理相似類型的處理。

在步驟550中，圖像傳感器晶片順序地將圖像的行經過圖像傳感器晶片片上的時間標記產生器，以產生具有時間標記列的標記圖像。時間標記列是專用於籤名的編碼的標記圖像的一列，其中簽名用於估計從圖像傳感器晶片至與圖像傳感器晶片通信地耦接的isp晶片的圖像數據路徑延遲。在步驟550的一個示例中，圖像傳感器晶片110順序地將圖像140的行420經過時間標記產生器114以產生具有時間標記列的標記圖像140。時間標記列可以是圖像140的列430的一個或可以是添加至圖像140的列。時間標記產生器114從頂端(行420(1))開始或從底端(行420(m))開始順序地處理圖像140的行420。

步驟550實施步驟552或步驟554。步驟552將時間標記列添加至捕獲的圖像。在步驟552的一個示例中，時間標記產生器114將一個像素添加至圖像140的每行420，使得標記圖像142包括形成時間標記列的額外的列430。步驟554將捕獲的圖像的現有列替換為時間標記列。在步驟554的一個示例中，時間標記產生器114替換圖像140的每行420的一個像素，使得標記圖像142用時間標記列替換圖像140的一列。

步驟550包括一經接收到時間標記命令，在接收時間標記列之後時間標記產生器到達捕獲的圖像的任一行的時間標記列的第一時間，在時間標記列中編碼籤名的步驟556。也就是說，一經接收到時間標記命令，不管時間標記產生器在處理哪一行，在最早的時機在時間標記列中編碼時間標記。例如，在時間標記列是圖像的第一列的示例中，如果時間標記產生器在處理例如圖像的第16行的最後一列時接收到時間標記命令，則時間標記產生器在第17行的時間標記列中編碼籤名，因為這是如此做的最早時機。僅在捕獲的圖像的所有行被處理之前接收到時間標記命令時，步驟550執行步驟556。步驟550是步驟320的實施例。在步驟556的一個示例中，時間標記產生器114接收時間標記命令130。在時間標記產生器114順序地處理行420的過程中，在時間標記產生器114達到標記圖像142的時間標記列的第一時間，時間標記產生器在此行中編碼籤名144。在不脫離其範圍的情況下，步驟556中編碼的籤名可以跨越幾行。此外，在不脫離其範圍的情況下，籤名的編碼可以延遲已知數量的行。例如，時間標記產生器可以用於在接收時間標記命令之後由時間標記產生器處理的第n行中編碼籤名，或從第n行開始編碼籤名。

在實施例中，步驟556實施通過反轉二值化強度值編碼籤名的步驟558。在此實施例中，時間標記列中的像素可以僅取兩個強度值，例如，最大或最小強度，或黑色和白色。步驟558可以通過將被選擇用於編碼籤名的行的像素值設置為與先前的行的強度值不同的兩個可能的強度值中的一個而編碼籤名。可選地，步驟558可以通過將被選擇用於編碼籤名的行的像素值設置為與對於被選擇的行的其他期望的強度值不同的兩個可能的強度值中的一個而編碼籤名。

在可選的實施例中，時間標記列包括來自圖像140的至少一些圖像數據。例如，籤名144可以以與水印相似的方式覆蓋於現有的圖像數據上。在一個這樣的示例中，籤名144被編碼成時間標記列的圖像數據的一位平面。

步驟520、530、540(若被包括)和550的執行可以交錯，使得在捕獲的圖像的所有行已經被步驟520、530和540(若被包括)的先前一個處理之前，捕獲的圖像的至少一些行到達步驟530、540(若被包括)和550的一個。

可選地，方法500還包括在isp晶片的片上產生時間標記命令並將時間標記命令傳送至圖像傳感器晶片的步驟510。步驟510是步驟310的實施例並可以由數據路徑延遲測量模塊122執行。步驟510可以包括將時間標記命令的產生與由圖像傳感器晶片的圖像捕獲同步，以保證消除步驟550中等待下一圖像140的等待時間的步驟512。這樣的等待時間可能另外導致圖像數據路徑延遲的錯誤的大的估計。在步驟512的一個示例中，成像系統100使用連接275以將時間標記命令130由數據路徑延遲產生模塊122的產生和圖像140由像素陣列112的捕獲同步，如參考圖2的上述討論。

在不脫離其範圍的情況下，時間標記列可以包括標記圖像的幾個相鄰的列。

圖6示出包括用於將籤名612編碼為與時間標記列610的默認強度值不同的強度值的二值化時間標記列610的一個示例性標記圖像600。標記圖像600是標記圖像142的實施例。籤名612是籤名144的實施例。例如，標記圖像600可以由方法500使用時間標記產生器114產生。標記圖像600與圖像140相似，除了標記圖像600包括時間標記列610。時間標記列610可以代替圖像140中的列，或可以是添加至圖像140的列。在實施例中，時間標記列610在標記圖像600的最左側(如圖6中所示)或在標記圖像600的最右側。然而，在不脫離其範圍的情況下，時間標記列610還可以離開標記圖像600的最左側和最右側。

在標記圖像600中，時間標記列610中像素410的強度值均默認是兩個可能的強度值的第一個，且籤名612顯示為具有兩個可能的強度值的另一個的像素410。

在不脫離其範圍的情況下，時間標記列610可以包括標記圖像600的幾個相鄰的列430。

圖7示出將時間標記列610中的籤名712編碼為具有與時間標記列610的默認強度值不同的強度值的一系列像素的另一示例性標記圖像700。標記圖像700是標記圖像142的實施例。籤名712是籤名144的實施例。例如，標記圖像700可以由方法500使用時間標記產生器114產生。標記圖像700與標記圖像600相似，除了籤名712延伸穿過時間標記列610的幾個行420。具有較低強度值的第一行可以被用於後續的圖像數據路徑延遲的估計。

圖8a和圖8b示出作為預定義的二值化圖案的偏離的的籤名的編碼。圖8a示出還未使用籤名編碼的標記圖像800。圖8b示出已經使用籤名812編碼的對應的標記圖像850。標記圖像800和850的每個是標記圖像142的實施例。籤名812是籤名144的實施例。例如，標記圖像800和850可以由方法500使用時間標記產生器114產生。最好一起查看圖8a和圖8b。

標記圖像800和850與標記圖像600相似，除了標記圖像600中時間標記列610的默認的連續強度值被默認的二值化圖案代替。除非在標記圖像800中編碼籤名812，標記圖像800的時間標記列610中像素410的強度值每m行被反轉。圖8a示出每4(即，m等於4)行420反轉強度值的二值化圖案。然而，在不脫離其範圍的情況下，二值化圖案可以以不同的規律間隔反轉強度值且m可以是任意整數。例如，二值化圖案可以以每8行420反轉強度值。

標記圖像850中的籤名812在不期望的行420處顯示為強度值的反轉。儘管在圖8a和圖8b中未示出，可以在與強度值的反轉相關的行420中編碼籤名812。在此情況下，與默認的二值化圖案相比，籤名812在標記圖像850中顯示為強度值的丟失反轉。

標記圖像800和850的二值化圖案分別容易與標記圖像800和850的其餘部分區別，使得時間標記列610容易被識別為不包括關於場景190的圖像數據。

圖9示出具有跨越穿過幾行420的籤名912的一個示例性標記圖像900。籤名912是在兩個強度之間交替的二值化圖案。強度可以每行420或每n行420交替。數據路徑延遲測量模塊122可以識別籤名912並定義時間t2為接收籤名912的第一行(圖9中標註的930)的時間。標記圖像900是標記圖像142的實施例。籤名912是籤名144的實施例。例如，標記圖像900可以由方法500使用時間標記產生器114產生。

圖10示出具有跨越穿過幾行420的籤名1012的另一示例性標記圖像1000。籤名1012是不必須受限於兩個強度的預定義的強度變化圖案。數據路徑延遲測量模塊122可以搜索標記圖像1000查找籤名1012，識別標記圖像1000中的籤名1012，並定義t2為接收籤名1012的第一行(圖10中標註的1030)的時間。標記圖像1000是標記圖像142的實施例。籤名1012是籤名144的實施例。例如，標記圖像1000可以由方法500使用時間標記產生器114產生。

圖11示出用於處理標記圖像(例如標記圖像142)以確定從用於產生標記圖像的圖像傳感器晶片至與圖像傳感器晶片通信地耦接的isp晶片的圖像數據路徑延遲的一個示例性方法1100。方法1100基於標記圖像的行的順序處理以識別標記圖像中的籤名。方法1100是方法300的部分的實施例。方法1100的至少部分可以由isp晶片120執行。在實施例中，方法1100包括步驟340的實施例，在此情況下，方法1100可以由成像系統100執行。

方法1100可以與方法500結合，使得在方法500的步驟550之後執行方法1100。在不脫離其範圍的情況下，方法1100可以在方法500對於標記圖像的所有行完成之前，從標記圖像的一些行開始。

在步驟1130中，與用於產生標記圖像(例如標記圖像142)的圖像傳感器晶片通信地耦接的isp晶片通過isp晶片片上的數據路徑延遲測量模塊順序地處理標記圖像的行，以識別標記圖像的時間標記列中的籤名。步驟1130是步驟360的實施例。在步驟1130的一個示例中，數據路徑延遲測量模塊122順序地處理標記圖像142的行420以識別標記圖像142的時間標記列中的籤名144。例如，時間標記列是時間標記列610。

步驟1130包括將檢測標記圖像中的籤名的時間記錄為t2的步驟1132。在步驟1132的一個示例中，數據路徑延遲測量模塊122檢測標記圖像142中的籤名144並將檢測籤名144的時間記錄為t2，其中此時間由時鐘228提供。

在步驟1140中，數據路徑延遲測量模塊確定從t1至t2的時間跨度，即計算t2-t1，其中t1是產生用於觸發標記圖像中的籤名的編碼的時間標記命令的時間。在方法300的步驟310中或在方法500的步驟510中確定t1。在步驟1140的一個示例中，數據路徑延遲測量模塊122計算t2-t1。步驟1140是步驟370的實施例。

在可選的步驟1150中，關於成像系統中其他已知的延遲，校正步驟1140中確定的時間跨度。步驟1150與方法300的步驟372相似。步驟1150是步驟372的實施例並可以與步驟1140配合以形成步驟370的實施例。

在步驟1160中，方法1100將t2-t1或步驟1150中獲得的相關的校正值輸出為圖像數據路徑延遲。在步驟1160的一個示例中，數據路徑延遲測量模塊122將t2-t1或相關的校正值輸出為圖像數據路徑延遲150。

方法1100可以包括在執行步驟1130之前，將標記圖像從圖像傳感器晶片可選地通過中間處理電路(例如中間處理電路270)傳送至isp晶片的步驟1110。步驟1110是步驟340的實施例。步驟1110實施步驟1112或步驟1114。在步驟1112中，在不緩存標記圖像的全幀的情況下，圖像傳感器晶片順序地將標記圖像的行傳送至isp晶片。在步驟1112的一個示例中，圖像傳感器晶片110順序地將標記圖像142的行傳送至isp晶片120。在步驟1114中，在將標記圖像傳送至isp晶片作為全幀或作為一系列行之前，圖像傳感器晶片緩存標記圖像142的全幀。在步驟1114的一個示例中，圖像傳感器晶片110緩存標記圖像142的全幀並順序地將標記圖像142傳送至isp晶片120作為全幀或作為一系列行。在不脫離其範圍的情況下，步驟1114可以由將標記圖像從圖像傳感器晶片傳送至全幀緩存器然後將標記圖像從全幀緩存器傳送至isp晶片的步驟代替。例如，圖像傳感器晶片110可以將標記圖像142傳送至中間處理電路270內的全幀緩存器，隨後中間處理電路270將標記圖像142從全幀緩存器傳送至isp晶片120。

方法1100還可以包括步驟1110之後和步驟1130之前的步驟1120。步驟1120在isp晶片片上處理標記圖像。步驟1120與步驟350相似。

在其中isp晶片順序地接收標記圖像的行的方法1100的實施例中，步驟1130可以在步驟1110和可選地在步驟1120對於標記圖像的所有行完成之前從標記圖像的一些行開始。

圖12進一步詳細地示出圖像傳感器晶片110。除了示於圖1和圖2的元件之外，圖像傳感器晶片110包括輸入接口1210和輸出接口1220。輸入接口1210接收時間標記命令130並將時間標記命令130傳送至時間標記產生器114。輸出接口輸出標記圖像142，例如，輸出至isp晶片120。

圖13示出用於在數字圖像中編碼籤名的一個示例性圖像傳感器晶片1300。圖像傳感器晶片1300是圖像傳感器晶片110的實施例。圖像傳感器晶片1300可以執行沒有步驟510的方法500。圖像傳感器晶片1300還可以處理方法1100的步驟1110的實施例。

圖像傳感器晶片1300包括像素陣列112、模數轉換器1330、數字時間標記產生器1350、輸入接口1210和輸出接口1220。模數轉換器1330將像素陣列112捕獲的模擬圖像1380轉換為數字圖像1382。一經從輸入接口1210接收到時間標記命令130或在從輸入接口1210接收時間標記命令130之後的第一時機，數字時間標記產生器1350在數字圖像1382中編碼籤名144以產生數字形式的標記圖像142。數字時間標記產生器1350是時間標記產生器114的實施例，用於在數字圖像中編碼籤名144。

在實施例中，圖像傳感器晶片1300包括在模數轉換器1330將模擬圖像1380轉換至數字圖像1382之前處理模擬圖像1380的模擬處理電路1320。在實施例中，圖像傳感器晶片1300包括在將數字圖像1382傳送至數字時間標記產生器1350之前處理數字圖像1382的數字處理電路1340。模數轉換器1330，可選地與模擬處理電路1320和數字處理電路1340的一個或全部一起，形成第一處理電路216的實施例。

在實施例中，圖像傳感器晶片1300包括在輸出接口1220輸出標記圖像142之前處理標記圖像142的圖像傳感器處理器1360。例如，圖像傳感器處理器1360是微處理器。圖像傳感器處理器1360形成第二處理電路218的至少部分的實施例。可選地，圖像傳感器處理器1300包括在輸出接口1220輸出標記圖像142之前緩存標記圖像142的一個或多個行或緩存標記圖像142的全幀的輸出緩存器1370。輸出緩存器1370形成第二處理電路218的至少部分的實施例。

圖像傳感器晶片1300還可以包括控制通過輸入接口1210與isp晶片(例如isp晶片120)的通信的片間通信控制器1310。

圖14示出用於在模擬圖像中編碼籤名的一個示例性圖像傳感器晶片1400。圖像傳感器晶片1400是圖像傳感器110的實施例。圖像傳感器晶片1400可以執行沒有步驟510的方法500。圖像傳感器晶片1400還可以處理方法1100的步驟1110的實施例。

圖像傳感器晶片1400與圖像傳感器晶片1300相似，除了數字時間標記產生器1350被模擬時間標記產生器1450代替。模擬時間標記產生器1450被布置在模數轉換器1330的上遊，並在模擬圖像1380中編碼籤名144以產生模擬標記圖像1482。模數轉換器1330將模擬標記圖像1482轉換成數字形式的標記圖像142。

若被包括，模擬處理電路1320形成第一處理電路216的實施例。模數轉換器1330，可選地與數字處理電路1340、圖像傳感器處理器1360和輸出緩存器1370的一個或多個配合，形成第二處理電路218的實施例。

圖15示出配置用於圖像數據路徑延遲測量的一個示例性isp晶片1500。isp晶片1500是isp晶片120的實施例並可以執行方法300和1100的每個的部分。除了示於圖1和圖2用於isp晶片120的元件之外，isp晶片1500包括輸入接口1510、命令輸出接口1570和數據輸出接口1550。輸入接口1510從圖像傳感器晶片(例如，圖像傳感器晶片110)接收標記圖像142。命令輸出接口1570輸出時間標記命令130至圖像傳感器晶片(例如，圖像傳感器晶片110)。數據輸出接口1550輸出輸出數據160並可選地輸出圖像數據路徑延遲150。

isp晶片1500可以包括控制通過命令輸出接口1570的時間標記命令130的通信的片間通信控制器1560。

isp晶片1500可以包括緩存通過輸入接口1510從圖像傳感器晶片(例如，圖像傳感器晶片110)接收的標記圖像142的一個或多個行或標記圖像142的全幀的輸入緩存器1520。輸入緩存器1520是處理電路224的至少部分的實施例。

在實施例中，isp晶片1500用於處理數字標記圖像142。在此實施例中，isp晶片1500可以包括在將數字標記圖像142傳送至數據路徑延遲測量模塊122之前處理數字標記圖像142的數字處理電路1530。數字處理電路1530是處理電路224的至少部分的實施例。此外在此實施例中，isp晶片1500可以包括處理從數據路徑延遲測量模塊122接收的數字標記圖像142的數字處理電路1540。數字處理電路1540是處理電路224的至少部分的實施例。數字處理電路1540可以包括圖像清理模塊226。在不脫離其範圍的情況下，isp晶片1500可以在isp晶片120內的圖像數據路徑中的其餘位置並在數據路徑延遲測量模塊122的下遊實施圖像清理模塊226。

圖16示出具有與單個isp晶片1620通信地耦接的多個圖像傳感器晶片110的一個示例性多傳感器成像系統1600。isp晶片1620是isp晶片120的實施例。多傳感器成像系統1600具有集成的圖像數據路徑延遲測量功能並能夠估計圖像傳感器晶片110的每個的圖像捕獲和isp晶片1620的處理之間的圖像數據路徑延遲。多傳感器成像系統1600是包括附加的圖像傳感器晶片110的成像系統100的實施例，其中，isp晶片1620處理來自多個圖像傳感器晶片110的每一個的標記圖像142。

isp晶片1620實施數據路徑延遲測量模塊1622，其是數據路徑延遲測量模塊122的實施例。數據路徑延遲測量模塊1622用於產生一個或多個時間標記命令130以用於每個圖像傳感器晶片110。數據路徑延遲測量模塊1622還用於識別從每個圖像傳感器晶片110接收的一個或多個標記圖像142中的籤名144，以確定與每個圖像傳感器110相關的圖像數據路徑延遲150。

例如，isp晶片1620可以與實施isp晶片1500相似的方式實施，以處理數字形式的標記圖像142。

可選地，多傳感器成像系統1600包括中間處理電路1670。中間處理電路1670是中間處理電路270的實施例，中間處理電路1670用於從圖像傳感器晶片110的每個接收標記圖像142。在一個示例中，中間處理電路1670包括一個或多個用於緩存標記圖像142的緩存器。

在一些實施例中，isp晶片1620包括處理電路1626。處理電路1626是處理電路126的實施例，處理電路1626用於處理由多個圖像傳感器晶片110產生的標記圖像142。例如，在一個這樣的實施例中，處理電路1626能夠將來自從不同的圖像傳感器晶片110接收的標記圖像142的圖像數據連接在一起，以產生代表比使用單個圖像傳感器晶片110可以達到的更大的視場的複合圖像數據。處理電路1626可以包括圖像清理模塊226。在不脫離其範圍的情況下，isp晶片1620可以在isp晶片1620內的圖像數據路徑中的其餘位置並在數據路徑延遲測量模塊1622的下遊實施圖像清理模塊226。

在多傳感器成像系統1600中，圖像傳感器晶片110的一個或多個的每個可以被實施為圖像傳感器晶片1300或圖像傳感器晶片1400。所有的圖像傳感器晶片110不必須相同。

圖17示出用於同步由包括與多個圖像傳感器晶片通信地耦接的單個isp晶片的多傳感器成像系統中實施的多個圖像傳感器晶片產生的圖像流的一個示例性方法1700。方法1700是方法300的實施例，能夠對於多個圖像傳感器晶片確定圖像數據路徑延遲以同步由多個圖像傳感器晶片分別產生的圖像流。方法1700可以由多傳感器成像系統1600執行。

在步驟1710中，方法1700對於多個圖像傳感器晶片的每個執行方法300的步驟310、320和330並且可選地執行步驟302、304和/或330，以產生多個標記圖像並將標記圖像傳送至單個isp晶片。在步驟1710的一個示例中，多傳感器成像系統1600對於多個圖像傳感器晶片110的每個執行方法300的步驟310、320和330並且可選地執行步驟302、304和/或330，以產生多個標記圖像142並將多個標記圖像142傳送至isp晶片120。

可選的步驟1720在isp晶片的片上處理標記圖像的一個或多個。在步驟1720的一個示例中，處理電路224處理從多個圖像傳感器晶片110的至少一個子集接收的一個或多個標記圖像142。

在步驟1730中，isp晶片對於在步驟1710中產生的標記圖像的至少一些執行方法300的步驟360和370，以對於多個圖像傳感器晶片的每個估計圖像數據路徑延遲。在步驟1730的一個示例中，數據路徑延遲測量模塊1622執行步驟360和370以對於每個圖像傳感器晶片110估計圖像數據路徑延遲150。

在步驟1740中，isp晶片使用在步驟1730中估計的圖像數據路徑延遲以同步分別由多個圖像傳感器晶片產生的多個標記圖像的流。步驟1740根據估計的圖像數據路徑延遲同步標記圖像的流，以至少部分地校正由不同圖像傳感器晶片之間的圖像數據路徑延遲的差異產生的偽影。在步驟1740的一個示例中，處理電路1626使用對於每個圖像傳感器晶片110估計的圖像數據路徑延遲150同步分別由多個圖像傳感器晶片110產生的多個標記圖像142的流。

在可選的步驟1750中，isp晶片將同步的圖像流連接在一起以形成具有由多個圖像傳感器晶片的每個產生的圖像數據的單一複合圖像流。在一個實施中，單一圖像複合流代表多個圖像傳感器晶片的所有視場的組合。步驟1750可以由處理電路1626執行。在不脫離其範圍的情況下，方法1750可以包括移除圖像流的至少一個的一些空間部分。例如，步驟1750可以從用於產生單一複合圖像流的每個標記圖像中移除時間標記列。步驟1750還可以對標記圖像的一個或多個僅使用標記圖像的空間子集。在步驟1750的一個示例中，處理電路1626將分別由多個圖像傳感器晶片110產生的多個標記圖像142的同步的流連接在一起。圖像清理模塊226可以在連接之前從標記圖像142的同步的流中移除時間標記列。

在可選的步驟1760中，isp晶片執行單一複合圖像流的其他處理，例如目標識別。步驟1760可以由處理電路1626執行。

在可選的步驟1770中，isp晶片執行同步的圖像流的其他處理，例如目標識別。步驟1770可以由處理電路1626執行。

圖18示出用於產生車輛1890的周圍環境的影像的一個示例性的汽車多傳感器成像系統1800。成像系統1800實施具有被安裝在車輛1890的不同位置處以成像不同的各自的視場的多個圖像傳感器晶片110的多傳感器成像系統1600。為說明的清楚，圖8中未示出圖像傳感器晶片110和isp晶片1620之間的連接。在實施例中，成像系統1800包括顯示由圖像傳感器晶片110的一個或多個捕獲的圖像的顯示器1810。

成像系統1800可以執行方法1700以產生(a)具有分別來自兩個或更多個圖像傳感器晶片的影像的兩個或更多個同步的圖像流，(b)包括來自兩個或更多個圖像傳感器晶片110的影像的單一複合圖像流。成像系統1800可以在顯示器1810上顯示同步的圖像流或單一複合圖像流。可選地或與其組合地，成像系統1800可以執行方法1700的步驟1760和/或步驟1770，例如以識別由圖像傳感器晶片110捕獲的圖像中的目標(例如近處的障礙、人行道或其它車輛)。

成像系統1800容易適應需要幾個不同視場的成像的其他應用。例如，成像系統1800可以被實施為監控成像系統。

特徵組合

在不脫離其範圍的情況下，上述的和下面所請求的特徵可以以各種方式進行組合。例如，應理解，在此描述的具有數據路徑延遲測量的一個成像系統或方法的方面可以與在此描述的具有數據路徑延遲測量的另一個成像系統或方法的特徵進行結合或交換。以下示例示出上述的實施例的一些可能的、非限制性的組合。應該清楚的是，在不脫離此發明的精神和範圍的情況下，在此可以對系統和方法做出許多其他的變化和修改：

(a1)一種具有數據路徑延遲測量的成像系統，可以包括：(a)第一圖像傳感器晶片，第一圖像傳感器晶片包括(i)用於響應入射到像素陣列上的光產生第一圖像的像素陣列和(ii)一經接收到時間標記命令在第一圖像中編碼籤名以產生具有籤名和來自第一圖像的圖像數據的第一標記圖像的時間標記產生器，以及(b)圖像信號處理晶片，圖像信號處理晶片用於處理第一標記圖像，其中圖像信號處理晶片包括用於產生時間標記命令並基於(a)所述產生時間標記命令和(b)作為第一標記圖像的部分的籤名的接收之間的時間延遲估計從像素陣列至數據路徑延遲測量模塊之間的圖像數據路徑延遲的數據路徑延遲測量模塊。

(a2)在如(a1)表示的成像系統中，圖像信號處理晶片還可以包括圖像處理電路，圖像處理電路用於在將標記圖像傳送至數據路徑延遲測量模塊之前處理標記圖像。

(a3)如(a1)和(a2)表示的成像系統的一個或兩個還可以包括第二圖像傳感器晶片，第二圖像傳感器晶片包括(a)用於響應入射到第二像素陣列上的光產生第二圖像的第二像素陣列，以及(b)用於一經接收到第二時間標記命令在第二圖像中編碼第二籤名以產生具有第二籤名和來自第二圖像的圖像數據的第二標記圖像的第二時間標記產生器，其中數據路徑延遲測量模塊還用於產生第二時間標記命令並基於(i)第二時間標記命令的產生和(ii)作為第二標記圖像的部分的第二籤名的接收之間的時間延遲估計從第二像素陣列至數據路徑延遲測量模塊的第二圖像數據路徑延遲。

(a4)在如(a3)表示的成像系統中，圖像信號處理晶片還可以包括同步模塊，同步模塊用於基於(a)數據路徑延遲測量模塊對至少一個第一標記圖像的第一圖像數據路徑延遲的至少一個測量和(b)數據路徑延遲測量模塊對至少一個第二標記圖像的第二圖像數據路徑延遲的至少一個測量，將從第一圖像傳感器晶片接收的第一標記圖像的流與從第二圖像傳感器晶片接收的第二標記圖像的流同步。

(a5)在如(a1)至(a4)表示的成像系統的任一個中，第一時間標記產生器可以用於順序地處理第一圖像的行，並在接收時間標記命令之後時間標記產生器達到行的任一個的時間標記列的第一時間，在第一標記圖像的時間標記列中編碼籤名。

(a6)在如(a1)至(a5)表示的成像系統的任一個中，第一圖像傳感器晶片和圖像信號處理晶片可以用於順序地將第一標記圖像的行從第一圖像傳感器晶片傳送至圖像信號處理晶片。

(a7)在如(a1)至(a6)表示的成像系統的任一個中，第一時間標記產生器可以用於(a)在時間標記列中產生二值化圖案，其中二值化圖案是每n行在兩個強度值之間切換的規律圖案，除非時間標記產生器編碼籤名，其中n是正整數，以及(b)將籤名編碼為從規律圖案的兩個強度值的當前一個至規律圖案的兩個強度值的另一個的切換。

(a8)在如(a7)表示的成像系統中，數據路徑延遲測量模塊可以用於識別時間標記列中的籤名為與所述規律圖案的偏離。

(a9)在如(a7)和(a8)表示的成像系統的一個或兩個中，圖像信號處理晶片還可以包括圖像清理模塊，圖像清理模塊用於從第一標記圖像移除時間標記列。

(b1)一種用於測量成像系統的圖像數據路徑延遲的方法，可以包括：(a)在第一時間，將第一時間標記命令從圖像信號處理晶片傳送至第一圖像傳感器晶片，(b)一經在第一圖像傳感器晶片處接收到第一時間標記命令，在由第一圖像傳感器晶片上的第一像素陣列捕獲的第一圖像中編碼第一籤名以產生具有第一籤名和來自第一圖像的圖像數據的第一標記圖像，(c)將第一標記圖像從圖像傳感器晶片傳送至圖像信號處理晶片，(d)使用圖像信號處理晶片的片上的數據路徑延遲測量模塊識別第一標記圖像中的第一籤名，以及(e)基於從第一時間至識別第一標記圖像中的第一籤名的時間的時間跨度估計從第一圖像被第一像素陣列的捕獲至數據路徑延遲測量模塊的第一圖像數據路徑延遲。

(b2)如(b1)表示的方法還可以包括，在傳送第一標記圖像的步驟之後和在識別第一籤名的步驟之前，在圖像信號處理晶片的片上處理第一標記圖像。

(b3)在如(b1)和(b2)表示的方法的一個或兩個中，編碼的步驟還可以包括使用時間標記產生器順序地處理第一圖像的行，以及在接收第一時間標記命令之後時間標記產生器達到任一行的時間標記列的第一時間，在第一標記圖像的時間標記列中編碼第一籤名。

(b4)在如(b3)表示的方法中，順序地處理和在時間標記列中編碼第一籤名的步驟可以包括：(a)在時間標記列中產生二值化圖案，其中二值化圖案是每n行在兩個強度值之間切換的規律圖案，除非時間標記產生器編碼第一籤名，其中n是正整數，以及(b)將第一籤名編碼為從規律圖案的兩個強度值的當前一個至規律圖案的兩個強度值的另一個的切換。

(b5)在如(b4)表示的方法中，識別的步驟可以包括識別時間標記列中的籤名為與規律圖案的偏離。

(b6)在如(b4)和(b5)表示的方法的一個或兩個中，在編碼的步驟中，兩個強度值可以是黑色和白色。

(b7)在如(b3)至(b6)表示的方法的任一個中，順序地處理和在時間標記列中編碼第一籤名的步驟可以包括將時間標記列添加至第一圖像並使其與第一圖像的現有列相鄰。

(b8)在如(b3)至(b6)表示的方法的任一個中，順序地處理和在時間標記列中編碼第一籤名的步驟可以包括用時間標記列代替第一圖像的現有列。

(b9)如(b1)至(b8)表示的方法的任一個還可以包括(a)在第三時間，將第二時間標記命令從圖像信號處理晶片傳送至第二圖像傳感器晶片，(b)一經在第二圖像傳感器晶片處接收到第二時間標記命令，在由第二圖像傳感器晶片上的第二像素陣列捕獲的第二圖像中編碼第二籤名以產生具有第二籤名和來自第二圖像的圖像數據的第二標記圖像，(c)將第二標記圖像傳送至圖像信號處理晶片，(d)在第四時間並在圖像信號處理晶片的片上，使用數據路徑延遲測量模塊識別第二標記圖像中的第二籤名，以及(e)基於從第三時間至第四時間的時間跨度估計從第二像素陣列至數據路徑延遲測量模塊的第二圖像數據路徑延遲。

(b10)如(b9)表示的方法還可以包括基於(a)在估計第一圖像數據路徑延遲的步驟中確定的對於至少一個第一標記圖像的至少一個第一圖像數據路徑延遲和(b)在估計第二圖像數據路徑延遲的步驟中確定的對於至少一個第二標記圖像的至少一個第二圖像數據路徑延遲，將從第一圖像傳感器晶片接收的第一標記圖像的流與從第二圖像傳感器晶片接收的第二標記圖像的流同步。

(c1)一種用於圖像數據路徑延遲測量的圖像傳感器晶片，可以包括：(a)像素陣列，像素陣列用於響應入射到像素陣列上的光產生第一圖像，(b)輸入接口，輸入接口用於從圖像傳感器晶片外部的電路接收時間標記命令，(c)時間標記產生器，時間標記產生器用於一經接收到時間標記命令在第一圖像中編碼籤名以產生具有籤名和來自第一圖像的圖像數據的標記圖像，以及(d)輸出接口，輸出接口用於將標記圖像輸出至圖像傳感器晶片外部的圖像處理系統。

(c2)在如(c1)表示的圖像傳感器晶片中，時間標記產生器可以用於順序地處理第一圖像的行並在接收時間標記命令之後時間標記產生器達到任一行的時間標記列的第一時間，在標記圖像的時間標記列中編碼籤名。

(c3)在如(c1)和(c2)表示的圖像傳感器晶片的一個或兩個中，時間標記產生器可以用於(a)在時間標記列中產生二值化圖案，其中二值化圖案是每n行在兩個強度值之間切換的規律圖案，除非時間標記產生器編碼籤名，其中n是正整數，以及(b)將籤名編碼為從規律圖案的兩個強度值的當前一個至規律圖案的兩個強度值的另一個的切換，使得籤名在時間標記列中表現為與規律圖案的偏離。

(c4)在如(c3)表示的圖像傳感器晶片中，兩個強度值可以是黑色和白色。

(c5)如(c1)至(c4)表示的圖像傳感器晶片的任一個還可以包括讀出電路，讀出電路用於從像素陣列中讀出作為模擬圖像的第一圖像。

(c6)如(c5)表示的圖像傳感器晶片還可以包括模數轉換器，模數轉換器用於在將數字圖像形式的第一圖像傳送至時間標記產生器之前，將第一圖像從模擬圖像轉換為數字圖像。

(c7)在如(c5)表示的圖像傳感器晶片中，時間標記產生器可以用於接收模擬形式的第一圖像並產生模擬形式的標記圖像。

(c8)如(c7)表示的圖像傳感器晶片還可以包括模數轉換器，模數轉換器用於在將數字形式的標記圖像傳送至輸出接口之前，將標記圖像從模擬形式轉換為數字形式。

在不脫離其範圍的情況下，可以對上述系統和方法做出改變。因此，應該注意的是，在上述描述中包含的或在附圖中示出的方式，應該被理解為說明性的且不具有限制意義。所附權利要求旨在覆蓋在此描述的所有通用和特定特徵，以及本方法和本系統的範圍的在語言上的所有聲明應被認為落入其間。