多頻帶成像器和方法
2023-06-15 01:57:31 3
多頻帶成像器和方法
【專利摘要】用於對場景成像的設備包括：聚焦結構，用於把從場景發出的光聚焦到成像子系統上；和成像子系統。成像子系統包括：成像器，位於聚焦結構的光路內，具有對頻率比遠紅外頻率高的光敏感的像素的陣列；和頻移器，位於透鏡元件和成像器之間。頻移器包括位於像素的陣列的子集上方的頻移元件的陣列，這些元件使聚焦光的遠紅外頻率轉變為更高頻率並把所獲得的信號發送給像素的陣列的子集。
【專利說明】多頻帶成像器和方法
[0001]相關申請
[0002]本申請要求於2011年4月20日提交的序列號為13/090，591的美國專利申請的優先權。其主題通過引用包含於此。
【技術領域】
[0003]本發明涉及成像系統，具體地講，涉及一種由車輛使用的多頻帶成像器和方法。
【背景技術】
[0004]美國專利N0.7，786，898 (Stein等人)描述一種裝備有感測系統的機動車，該感測系統包括兩個照相機(一個是光學照相機並且另一個是遠紅外(熱感)照相機)以及使用照相機信號的控制模塊。
[0005]美國專利N0.7，491，937 (Nakanishi等人)描述一種能夠拾取可見圖像和紅外圖像的圖像傳感器。該傳感器包括一個攜帶熱傳感器和光學傳感器的集成電路。
[0006]美國專利N0.5，567，955 (Liu)描述一種包括遠紅外至近紅外能量轉換器的紅外熱檢測器。
【發明內容】
[0007]本發明涉及一種能夠提供分開的光學信號和熱(遠紅外)信號的單一集成照相機或成像裝置。
[0008]根據本發明的一個方面，一種對場景成像的方法包括下述步驟:
[0009]-把從場景發出的光聚焦到具有對遠紅外光不敏感但對在其它頻率的光敏感的像素的陣列的表面上，
[0010]-對於像素的陣列的像素的合適子集，使光的遠紅外分量轉變為像素對其敏感的頻率，以及
[0011]-從像素的陣列產生分開的熱圖像和非熱圖像。
[0012]根據本發明的一個示例性實施例，提供一種用於成像的設備。該設備包括用於把從場景發出的光聚焦到成像子系統上的結構。成像子系統包括:成像器，位於聚焦結構的光路內，該成像器具有對頻率在比遠紅外頻率高的光敏感的像素的陣列。成像子系統還包括:頻移器，位於聚焦結構和成像器之間，其中頻移器包括位於成像器像素的合適子集上方的頻移元件的陣列，其中頻移元件使聚焦光的遠紅外頻率轉變為成像器像素對其敏感的頻率。
[0013]每個頻移元件可包括頻率轉換器，該頻率轉換器具有用於接收遠紅外頻率的檢測器和響應於檢測器以產生更高頻率光的發射器。
[0014]頻移器可包括在每個NXM成像器像素的子陣列上對齊的一個頻移元件，其中N可等於M。【專利附圖】
【附圖說明】
[0015]當參照附圖閱讀下面的描述時，本發明的前述和其它特徵和優點將會對於本發明相關領域的技術人員而言變得清楚，其中:
[0016]圖1是裝備有根據本發明的一個示例性實施例構造的成像器的機動車的示意性頂視圖；
[0017]圖2是圖1的車輛的一部分的示意性剖視側視圖，具體地顯示根據本發明的示例性實施例構造的成像器部件和頻移器部件；
[0018]圖3是圖2的成像器子系統的正視圖，圖3a顯示成像器像素和頻移元件的相對對齊；
[0019]圖4是圖1的成像器的電子系統的功能框圖；和
[0020]圖5是表示根據本發明的示例性實施例的成像過程的流程圖。
【具體實施方式】
[0021]如這裡所使用，術語「遠紅外」表示包括至少從8 y m到15 y m的波長的光譜的範圍。
[0022]參照圖1和2，車輛10 (在這個例子中，機動車)裝備有風擋12。照相機14被安裝在車輛的駕駛室內，優選地在上部中間位置直接或間接連接到風擋12的內表面。在附圖中，照相機被大體安裝在後視鏡16和風擋12之間。照相機可通過合適的結構元件連接到後視鏡或者與後視鏡結合在一起(未示出)。
[0023]照相機14是向前的(相對於車輛的行進的正常方向)以通過風擋12接收光，並具有以光軸20為中心的視野18。光軸20稍微向下傾斜一定角度以允許照相機觀看在車輛10正前方的區域，包括例如車輛的前部到車輛的前方三十米。根據所希望的系統的功能(諸如，危險檢測、道路標誌檢測、車道改變或車道跟隨引導、行人檢測等)選擇照相機的方向、傾角和視野。
[0024]照相機14對遠紅外(「FIR」)頻率以及大於FIR頻率的頻率(諸如，近紅外(「NIR」)和/或光學頻率)敏感，並提供兩個分開的讀出信號，一個信號用於FIR圖像並且另一個信號用於光學和/或NIR圖像。(為了描述的方便，短語「光學和/或NIR」將會有時縮略為僅僅「光學/NIR」。)光路內的結構元件不應阻擋感興趣的頻率，因此，風擋12或至少在光軸20周圍沿光路布置的風擋12的部分應該對於FIR頻率以及光學/NIR頻率是透明的。
[0025]照相機14包括用於把從場景發出的光聚焦到成像器子系統24上的結構22。聚焦結構22優選地是單個透鏡或多透鏡組件。替代地，反射鏡組件或透鏡和反射鏡的組合能夠替代地被用作聚焦結構。成像器子系統24包括位於聚焦結構22的光路內的通常與光軸20對齊的常規電荷耦合裝置(CCD)(或者替代地，互補金屬氧化物半導體(CMOS))成像器26。這種常規CXD或CMOS成像器包括常見的、平面的、矩形的對在光學/NIR頻率的光敏感的像素的陣列。常規成像器(諸如，成像器26)對FIR頻率不敏感。成像器26具有例如320乘以240像素或640乘以480像素或適合應用的解析度要求的某一替代解析度的解析度。這種成像器本身在現有技術中是已知的，並且將不會描述其構造和操作的細節。
[0026]成像子系統還包括:頻移器28，位於聚焦結構22和成像器26之間的光路內，以使來自成像的場景的光在到達成像器之前穿過頻移器。頻移器28具有平面的結構，並且承載在為了覆蓋成像器像素的合適的子集而選擇的位置布置在它的表面上的頻移元件的陣列。頻移器28的每個元件把撞擊的光的FIR分量轉變為成像器像素對其敏感的更高頻率(更低波長)。
[0027]在所描述的示例性實施例中，頻移器28的寬闊平面表面通常在高度和寬度方面被確定尺寸以與成像器26的高度和寬度匹配，但它能夠替代地在尺寸方面大於或小於成像器。頻移器28被與成像器26緊密相鄰地安裝，以使頻移器和成像器的寬闊表面彼此平行並且非常靠近地分隔開或者接觸。因為這兩個部件的對齊和靠近的間隔，成像器26的每個像素將會接收穿過頻移器28的緊挨著位於該像素上方的部分的光並因此僅對該光做出響應。(在這種情況下，「位於…上方」表示沿大體上垂直於成像器26的寬闊平坦表面的方向，或者換句話說，沿大體上沿著光軸20的方向，與像素分隔開。)
[0028]在所描述的實施例中，每個頻移元件30具有大約成像器26的一個像素的尺寸，並且這些元件沿橫向彼此分隔開成像器像素的間隔的整數倍，從而當頻移器28被對齊地固定在成像器26上方時，每個元件30位於成像器26的對應單個像素上方。然而，如以下更全面所解釋，元件30的尺寸和橫向間隔不需要以這種方式與像素尺寸和間隔匹配。
[0029]對於所描述的實施例，圖3a顯示成像器像素間隔和頻移器元件間隔之間的關係。圖3a中示出的規則柵格或陣列(所述柵格或陣列不是裝置的物理特徵，而是僅為了說明目的而示出)包括按照行和列排列的正方形，每個正方形表示關聯的成像器中的對應像素的位置。在頻移器中，大多數的這些正方形(未被頻移元件30佔據的正方形)通常對於光學/NIR頻率是透明的，允許撞擊的光穿過以到達成像器。然而，頻移元件30被形成在這些正方形的子集中，從而成像器像素的對應子集接收具有由覆蓋這些像素的頻移器的元件調整的頻率的光。為了實現多頻帶成像，該子集必須小於集合自身，因此，該子集是像素的集合的「合適的子集」。通常，在正方形的每M行之一中，每N個正方形之一包含頻移元件。在圖3a示例性實施例中，N=M=3，從而在每個3X3像素(三行乘以三列)的子矩陣中，一個像素接收從FIR頻率轉換的光，而其餘像素`接收光學/NIR頻率。
[0030]頻移元件30可採用任何已知的形式。每個元件可例如包括FIR檢測器(例如，QWIP檢測器)和光學/NIR LED的串聯組合，一個堆疊在另一個上面。沿大體上垂直於頻移器的寬闊表面的方向形成這種堆疊。在這種布置中，每個LED以與撞擊在對應檢測器上的FIR(熱)光成比例的水平產生光學/NIR光。將會對頻移器定位為使FIR檢測器面對聚焦結構並且LED發射器面對成像器26的像素。每個元件30可有益地被設計為阻擋光學和NIR光(如以下更詳細所解釋)，然而，這不是頻移器的必要特徵。當如此設計元件30時，位於頻移元件下方的元素提供與撞擊在該元件30上的FIR光成比例的輸出。
[0031]根據用於頻移器28的技術，頻移器可需要用於最佳操作的被動式冷卻或主動式冷卻或者可不需要用於最佳操作的被動式冷卻或主動式冷卻。
[0032]成像器26將會提供組合光學/NIR圖像信息與FIR圖像信息的輸出信號。通過與成像器像素的讀出同步的對輸出信號的合適的採樣，這兩種類型的圖像信息能夠容易地被分離成兩種分開的圖像表示-一種對應於光學/NIR圖像並且另一種對應於FIR圖像。
[0033]參照圖4，這種分離由處理器32執行，處理器32可以是編程的微型計算機或專用集成電路(ASIC)。處理器32執行圖像分離功能34(參見圖5)，並且分離的熱圖像和光學/NIR圖像通過各圖像處理功能36和38而被處理。所獲得的處理的信息由受控裝置40和42使用，所獲得的處理的信息可仍然構成作為數位化的視頻信號的圖像，或者可還包括離散特徵信息(成像的場景的特徵的尺寸、位置、定性/定量屬性)或替代地包括離散特徵信息。受控裝置可包括安裝在車輛的駕駛室中以把熱圖像或光學圖像(基本的或增強的)顯示給車輛駕駛員的無源顯示裝置(例如，視頻顯示器)或者有源裝置(諸如，轉向系統、制動系統、駕駛員警告系統或集成車輛穩定性控制系統)。任何這種有源裝置將會使用熱信息和/或光學/NIR信息作為複雜算法的數據輸入，所述複雜算法使用該數據增強各裝置的性倉泛。
[0034]在圖4中，處理器32被示意性地顯示為包含功能塊，但這僅用於解釋的目的，並且事實上，這些功能將會由例如包括微型計算機的典型元件(單個或多個處理器核、存儲器、i/o元件等)的常規微型計算機執行。微型計算機將會根據它的存儲的程序逐步地執行示出和描述的功能。
[0035]圖5顯示根據本發明的一個示例性實施例的過程。更具體地講，圖5是由處理器32執行的用於把熱信息和光學/NIR信息分離成不同圖像幀的程序控制的順序過程的一個例子的流程圖。以遞歸循環執行該過程，並且在啟動時在該過程之前執行常規形式的初始化步驟(未示出)。在步驟50中，幀讀出過程開始。在步驟52中從成像器讀出像素，並且在步驟54中執行關於這個特定像素是否包含熱信息的測試。
[0036]在所描述的實施例中，製造成像器和頻移器，以使得通過設計，每第三行的每第三像素(例如)是熱像素。因此，通過對幀內的行和行內的像素進行計數能夠容易地完成測試54。
[0037]如果未通過這種製造對齊過程預先建立成像器/頻移器對齊，則替代地通過參照存儲在處理器32的存儲器中的像素特徵化矩陣來完成測試54。通過在成像器子系統的製造期間執行的像素特徵化過程來創建該矩陣。在特徵化過程期間，成像器子系統暴露於平坦FIR場(優選地，單色的)，並且像素被一個接一個地讀出。然後，利用指示成像器的對應元素是否對FIR照射做出響應的信息(該信息能夠像二進位I或0—樣簡單)來加載矩陣的元素。該矩陣因此包括針對每個像素的一個元素。如果使用這種像素特徵化矩陣，則通過參考與剛剛在步驟52中讀出的像素對應的矩陣元素來執行測試54。
[0038]在任一情況下，如果像素是普通光學/NIR像素，則程序流程前進至步驟56，並且如果像素是熱像素，則程序流程前進至步驟58。如果執行步驟56，則像素信息(代表由該像素檢測到的光的強度)被存儲在光學圖像緩衝器內的對應位置。如果執行步驟58，則像素信息被加載到熱圖像緩衝器中的對應位置，然後，在步驟60中，不同地點保存標籤替代於熱像素被加載到光學圖像緩衝器內的對應位置。
[0039]步驟62是整個幀的讀出是否已完成的測試。如果未完成，則程序流程返回到步驟52以繼續執行像素讀出過程。否則，處理器繼續(步驟64)通過利用接近於在不存在介入的FIR頻移元件的情況下原本將會存在於該點的光學/NIR值的合成值替換每個地點保存標籤來整理光學幀緩衝器中的數據。優選地，該值將會對應於內插的光學/NIR值；例如，對應於8個周圍像素的平均值。
[0040]然後，在步驟66中由先前描述的處理功能36和38使用完成的光學/NIR圖像幀和熱圖像幀。為了適應同時的幀數據收集和幀數據使用，步驟50至64能夠由第一處理器執行，而第二處理器獨立地執行步驟66內的過程36和38。這兩個處理器將都可訪問共同的存儲空間。可針對每種類型的圖像(也就是說，FIR和光學/NIR)提供兩個或更多的幀存儲器，一個幀存儲器被利用新數據填充，而其它幀存儲器可被用在圖像處理功能36和38中。
[0041]因此從成像器獲得兩種圖像-具有成像器的全解析度的光學/NIR圖像和具有作為光學/NIR圖像的解析度的一部分(在示出的實施例中，1/9)的解析度的FIR(熱)圖像。
[0042]圖5的流程圖僅是說明性的。對於本領域技術人員而言將會清楚的是，可執行許多替代過程以實現相同的圖像分離和圖像處理結果。
[0043]在前面提及，頻移器的元件30可有益地對於成像器可響應的光學/NIR頻率是不透明的。如果這樣，則由位於元件30下方的各像素接收的唯一的光是由該元件30產生的光。這種不透明對於本發明的實現而言不是必需的。如果元件30在某種程度上對於光學/NIR頻率是透明的，則各像素的響應被對這些頻率的響應汙染。通過在熱圖像緩衝器中調整每個熱像素可去除這種影響。例如，通過用每個熱像素減去與在步驟64中計算的對應內插像素的水平成比例的量，可減小或消除該影響。此外，如果每個元件30的光學/NIR透射特性是非線性的，則可在用熱像素執行減法之前以對應的非線性方式調整內插的像素水平。
[0044]為了描述的方便，所描述的示例性實施例仔細地對頻率元件30確定尺寸並且在成像器的像素的合適子集上方對齊頻率元件30，每個頻移元件30覆蓋單個成像器像素。如上所述，這對於本發明的實現而言不是必需的。頻移器的元件30可比成像器的像素大，和/或元件30可不與成像器的像素具有特定的定期的對齊。替代地，上述像素特徵化矩陣(參照圖5的步驟52)可被用於利用通過所描述的過程進行的幀分離來識別由頻移器的元件30覆蓋的成像器的像素。另外，頻移器元件不必均勻地分布在成像器26的面上。如果對視野18的某個區域有特定興趣，則頻移器元件可聚集在成像器26的該區域周圍並且從其它區域省略頻移器元件。
[0045]雖然在所描述的實施例中聚焦結構以相同方式聚焦所有頻率從而熱圖像和非熱圖像彼此重合(處於對齊交疊關係)，但可隔離成像器26的一個區域以用於熱圖像的檢測，並且布置聚焦結構以使得熱圖像被聚焦在該區域上並且光學/NIR圖像被聚焦在成像器26的不同區域上。可能對光學/NIR視野的某些部分不感興趣(例如，可由車輛的引擎罩佔據的視野的部分)，並且頻移元件可被隔離到成像器26的該區域，聚焦結構隨後被設計為把FIR圖像聚焦在該區域中。也可實現其它排列。
[0046]從本發明的以上描述，本領域技術人員將會理解改進、變化和修改。本領域內的這種改進、變化和修改應該由所附權利要求覆蓋。
【權利要求】
1.一種用於對場景成像的設備，包括:聚焦結構，用於把從場景發出的光聚焦到成像子系統上；和成像子系統，包括成像器和頻移器，成像器位於所述聚焦結構的光路內並具有對頻率在比遠紅外頻率高的光敏感的像素的陣列，頻移器位於所述聚焦結構和所述成像器之間，其中所述頻移器包括位於所述像素的陣列的合適子集上方的頻移元件的陣列，所述元件使所述聚焦光的遠紅外頻率轉變為更高頻率並把所獲得的信號發送給所述像素的陣列的所述子集。
2. 如權利要求1所述的設備，其中所述頻移器和所述成像器都具有大體上平坦的結構並且被定位為使它們的寬闊面彼此緊密相鄰，並且其中所述頻移器具有以規則循環模式分布在所述頻移器的寬闊面上的頻移元件。
3.如權利要求2所述的設備，其中所述頻移元件在所述頻移器的所述寬闊面上分隔開所述成像器的所述像素的間隔的整數倍。
4.如權利要求1所述的設備，其中每個像素提供關聯的像素信號，並且所述設備還包括用於從由所述像素的陣列的所述子集提供的像素信號產生熱圖像的處理器。
5.如權利要求1所述的設備，其中每個像素提供關聯的像素信號，並且所述設備還包括用於從由所述像素的陣列的所述子集提供的像素信號產生熱圖像並且從由不是所述像素的陣列的所述子集的一部分的像素提供的像素信號產生非熱圖像的處理器。
6.如權利要求5所述的設備，其中所述處理器產生包括位於所述像素的陣列的所述子集內的像素的位置的內插像素的非熱圖像。
7.如權利要求6所述的設備，其中所述處理器從由不是所述像素的陣列的所述子集的一部分的相鄰像素提供的像素信號產生所述內插像素。
8.如權利要求1所述的設備，其中所述聚焦結構包括用於把來自所述場景的遠紅外圖像聚焦到所述成像器的第一區域上並且把來自所述場景的包括不同範圍的頻率的圖像聚焦到所述成像器的第二區域上的一個或多個透鏡。
9.如權利要求8所述的設備，其中所述一個或多個透鏡被構造並定位為使得所述第一區域和第二區域大體上一致並且所述遠紅外圖像和所述其它圖像交疊並彼此重合對齊。
10.如權利要求8所述的設備，其中所述一個或多個透鏡被構造並定位為使得所述遠紅外圖像和所述其它圖像不重合在一起。
11.一種對場景成像的方法，包括下述步驟: 把從場景發出的光聚焦到具有對遠紅外光不敏感但對在其它頻率的光敏感的像素的陣列的表面上； 對於所述像素的陣列的像素的合適子集，使光的遠紅外分量轉變為所述像素對其敏感的頻率；以及 從所述像素的陣列產生分開的熱圖像和非熱圖像。
12.如權利要求11所述的方法，其中頻移步驟包括下述步驟:轉變聚焦在以規則循環模式布置在所述像素的陣列上的選擇的像素上的光的遠紅外分量的頻率。
13.如權利要求11所述的方法，其中產生圖像的步驟包括:把所述像素的合適子集的像素組合成所述熱圖像並且把所有其它像素組合成所述非熱圖像。
14.如權利要求13所述的方法，其中把所有其它像素組合成所述非熱圖像的步驟包括下述步驟:針對所述像素的合適子集中的每個像素產生估計的非熱值，並且在組合所述非熱圖像時使用所述估計的非熱像素值。
15.如權利要求14所述的方法，其中針對所述合適子集中的每個像素產生估計的非熱值的步驟包括下述步驟:產生與所述合適子集中的每個所述像素相鄰的像素的值的平均值，並且使用所述平均值作為針對所述像素的估計的非熱值。
16.如權利要求11所述的方法，其中頻移的步驟包括下述步驟:在所述像素的合適子集中的每個所述像素檢測遠紅外光，並且在所述像素產生在非遠紅外頻率但處於與所述檢測到的遠紅外光的水平`成比例的水平的光。
【文檔編號】H04N5/33GK103493474SQ201280019011
【公開日】2014年1月1日 申請日期:2012年4月12日 優先權日:2011年4月20日
【發明者】羅沄 申請人:Trw汽車美國有限責任公司