光譜成像方法與系統與流程

2023-10-30 04:38:32 1

本發明在成像技術的領域中，並且涉及用於確定/重建物體的光譜信息的光譜成像的方法和系統。

參考文獻

被認為與當前公開的主題相關的背景的參考文獻在下面列出：

1.y.monno、m.tanaka和m.okutomi，「proceedingsofis&t/spieelectronicimaging(ei2012)」，digitalphotographyviii，第8299卷，第82990o-1-7頁，2012年1月)

2.y.murakami、m.yamaguchi和n.ohyama，「hybrid-resolutionmultispectralimagingusingcolorfilterarray」，opt.express20，7173-7183頁，2012

3.a.stern，「compressedimagingsystemwithlinearsensors」，opt.lett.32，3077-3079頁，2007

4.a.wagadarikar、r.john、r.willett和d.brady，「singledisperserdesignforcodedaperturesnapshotspectralimaging」，appl.opt.47，b44-b51頁，2008

5.c.li、t.sun、k.f.kelly和y.zhang，「acompressivesensingandunmixingschemeforhyperspectraldataprocessing」，ieee_j_ip21(3)，第1200-1210頁，2012

6.m.a.golub、m.nathan、a.averbuch、e.lavi、v.a.zheludev和a.schclar，「spectralmultiplexingmethodfordigitalsnapshotspectralimaging」，appl.opt.48，1520-1526頁，2009

7.r.ng、m.levoy、m.brédif、g.duval、m.horowitz和p.hanrahan，「lightfieldphotograhywithahand-heldplenopticcamera」，computersciencetechnicalreportcstr2，no.11，2005

8.j.rweber、d.j.cuccia、w.r.johnson、g.h.bearman、a.j.durkin、m.hsu等人，「multispectralimagingoftissueabsorptionandscatteringusingspatialfrequencydomainimagingandacomputed-tomographyimagingspectrometer」，journalofbiomedicaloptics，16(1)，011015–0110011015頁，2011

9.n.r.pal和s.k.pal，「areviewonimagesegmentationtechniques」，patternrecognition，26(9)，1277-1294頁，1993

10.d.h.foster、s.m.c.nascimento和k.amano，「informationlimitsonneuralidentificationofcoloredsurfacesinnaturalscenes」，vis.neurosci.21(3)，331-336頁，2004

對本文中上述參考文獻的承認並不被推斷為意指這些以任何方式與當前公開的主題的專利性相關。

背景

光譜成像旨在提供關於在圖像平面中的每個位置處的物體的至少一些光譜信息。已經開發了各種光譜成像技術，包括多光譜成像、高光譜成像、全光譜成像、成像光譜學或化學成像。光譜圖像通常被表示為圖像立方體(imagecube)，一種數據立方體(datacube)。

多光譜(ms)和高光譜(hs)立方體可以以許多方式獲得。一些系統(利用擺掃式、推掃式和可調諧濾波器以用於實現hs成像器)依賴於3dhs立方體的1d或2d子集的多次獲取，然後是簡單的重建。一些其他系統包括使解析度與光譜信息(類似於bayercfa)進行權衡並且需要空間光譜重建算法[1]、[2]的多色傳感器。

近來，已經開發出幾種hs快照獲取技術。其中一些基於壓縮感測，其中hs圖像被假定為稀疏的，並且在成像系統內使用附加的光學元件來壓縮數據[3]-[6]。然而，這些技術需要被成像的場景的現有知識，並且通常還遭受低光效率，並且實現這種技術的系統相當複雜。

至於積分場光譜系統，這些系統的共同基礎原理在光譜信息與空間解析度權衡的意義上與光場攝像機[7]相似。因此，檢測到的光中的多個光譜帶等於解析度退化率。積分場高光譜成像技術(諸如，小透鏡陣列、光纖陣列、圖像切片機和微切片機)都展示這種行為。另一種已知的解決方案涉及使用根據光柵衍射級使入射光發散以在傳感器上形成多個多光譜子圖像的2d光柵；這隨後是重建算法[8]。這種方法允許快速的高光譜立方體獲取，但是因而得到的圖像遭受低空間解析度；所需的設置也不能集成在普通攝像機中。

概述

在本領域中需要用於光譜成像的新穎技術，其提供用於重建被成像的場景或物體的光譜的技術上簡單的解決方案，使得能夠根據它們的光譜區分開不同的物體或特徵。

本發明通過提供用於確定物體的光譜的新穎方法來滿足上述需要。該方法基於在創建輸入光場的光學圖像的同時對該輸入光場進行編碼。更具體地，輸入光在朝向由檢測器單元的像素陣列限定的成像平面傳播的同時通過光學編碼單元。光學單元的特徵在於某個透射函數(transmittancefunction)(可能以預定方式可變)，且因此檢測到的光強度是圖像的光譜數據和光學單元的透射函數的函數。這使得能夠確定被成像物體的光譜數據。應當理解，檢測器(像素陣列)對被成像物體的光譜範圍敏感，並且物體可以在像素陣列的至少一個區域上成像，以允許物體的相應光譜區域的重建。

光學單元通常包括光學編碼器和成像透鏡模塊。透鏡模塊可以包括一個或多個透鏡，並且通常被安置成使得像素陣列(檢測平面)位於透鏡模塊的後焦平面中。

這種光學單元的透射函數在這裡稱為「有效透射函數」，因為在一些實施方式中，透射函數可以可控地改變。因此，本發明的光譜成像系統可以在所謂的「靜態」模式中操作，即有效透射函數是固定的，使得能夠通過獲取單個快照(幀)來重建物體的光譜；或在「動態」模式中操作，根據該模式，以不同的有效透射函數順序地獲取多個幀(通常至少兩個幀)。此外，在「動態」模式系統配置的一些實施方式中，用於至少兩個幀中的每一個的光學單元的透射函數在時變函數的形式中。

因此，本發明的成像系統包括光學單元，其安置在檢測器(其可以是單色檢測器或標準顏色(rgb)檢測器，例如，具有諸如bayer濾波器的濾色器陣列的檢測器)的像素陣列的前面；以及數據處理器，其用於接收和處理檢測器輸出數據(圖像數據)。本發明的成像系統或至少其光學單元可以與檢測器單元成為整體。例如，由於成像器(攝像機)的檢測器單元通常包括成像透鏡，因此這種成像透鏡可以形成本發明的成像系統的透鏡模塊。

相對於光學元件的相對安置，系統配置通常可以具有兩個不同的實施方式。在一個實施方式中，編碼器單元位於透鏡模塊和像素陣列之間(後者位於透鏡模塊的後焦平面中)，而在另一實施方式中，編碼器單元位於成像透鏡模塊的前面。在後一種情況下，編碼器單元可以被配置為在透射或反射模式中操作。

在本發明的一些實施方式中，光學單元被配置用於在創建輸入光場的光學圖像的同時在該輸入光場上施加角度編碼，從而提供高光譜圖像數據(高光譜立方體)的角度復用。更具體地，在使用包括在像素陣列的前面的角度編碼器和透鏡模塊的光學單元的情況下，在像素處的檢測到的光強度是以光學單元的有效透射函數復用的圖像的光譜數據，該有效透射函數是角度和波長的函數。角度編碼器可以包括色散單元。

在輸入光場的光路中的色散單元的使用提供圖像數據的角度復用。更具體地，在像素處的檢測到的光強度是以作為角度和波長的函數的光學單元的有效透射函數復用的圖像的光譜數據。如上面所指示的，可以改變有效透射函數。這可以通過執行下列操作中的一個或多個來實現：影響色散單元本身(即，可調諧元件)的色散圖案、改變透鏡模塊的焦距以及影響整個色散單元(不可調諧的)相對於光軸的角位置。

在「靜態」模式配置中，即有效透射函數是固定的，並且可以通過獲取單個快照(幀)來重建物體的光譜(或其至少一部分)。唯一的要求是物體被成像在像素陣列的至少n個像素上以允許n個光譜帶的重建。在「動態」模式配置中，如上所述實現的、利用光學單元的不同的有效透射函數順序地獲取兩個或更多個幀。在這種情況下，對於不同幀的圖像數據片段可以被處理以用於重建物體的光譜的不同光譜段。

利用角度編碼(圖像數據的角度復用)的本發明的實施方式的原理可以通過以下例子來解釋。通常在任何成像系統中，每個像素測量在不同的角度處的入射光射線(兩個邊緣射線之間的光射線束)的總強度。在利用色散單元的本發明的成像系統中，每個射線以稍微不同的角度入射到色散單元上，且因此其透射光譜被稍微修改。因此，本發明的每個像素測量多個加權修改的光譜的累積強度。由於色散單元的光譜透射率和透鏡模塊的角度特性是已知的，因此唯一的變量是物體的光譜。假設相鄰像素共享相同的光譜，可以應用重建算法來恢復物體的光譜。

在本發明的一些其它實施方式中，光學編碼器包括可調諧濾波器，並且檢測器單元包括捲簾快門型檢測器陣列。檢測器陣列可以是例如利用對於不同檢測器元件(諸如，bayer濾波器)的濾色器的彩色像素陣列或單色濾光器。可調諧濾波器被配置且可操作用於在至少兩個不同的透射輪廓之間以透射輪廓變化的預定時間模式改變其有效透射率。優選地，使用可調諧濾色器，即不同的有效透射函數是波長的不同函數(即，光譜透射輪廓)。

捲簾快門型檢測器陣列通常被配置為選擇性地將像素陣列(線)的一部分暴露於輸入光。更具體地，檢測器單元具有快門，其具有被配置為覆蓋像素陣列的所有列但一次僅允許預定數量的行暴露於輸入光的開口。在預定曝光時間之後，檢測器提供來自線的檢測器元件(像素)的所收集的數據的讀出並將其添加到所生成的圖像數據。可調諧濾波器的透射輪廓的變化的時間模式具有對應於預定數量的行(例如，2行、25行等)的曝光時間的時標。應當注意，在數字型檢測器陣列中，曝光時間可以由陣列的每個檢測器元件的數據收集/集成的時間來定義。更具體地，與檢測器元件相關聯的電容器可以被放電，並且由於相關聯的檢測器單元在積分時間周期期間的光收集而被允許再充電。在積分/曝光時間之後，測量電容器中的電壓/電荷以確定所收集的光強度。為此目的，如本文所使用的術語曝光時間應當被廣泛地解釋為與通過檢測器元件的光收集的時間有關。

該配置通過指示由可調諧濾波器的兩個或更多個不同的透射輪廓編碼的光的不同行提供了圖像數據的生成。基於檢測器元件的預定(已知)的波長靈敏度和可調諧濾波器的預定(已知)的兩個或更多個透射輪廓以及其預定時間模式，系統可以生成指示被成像的物體的光譜的數據，即在系統的視場中的圖像的光譜信息。通常，為了提供這樣的數據，物體的圖像應當包括圖像數據中的至少預定數量的行。

因此，根據本發明的一個廣泛方面，提供了用於在重建被成像的物體的光譜數據時使用的成像系統，該成像系統包括：光學單元；檢測器，其具有對預定光譜敏感的像素陣列；以及數據處理器，其用於接收和處理指示由像素陣列檢測到的光的圖像數據，並生成被成像的物體的重建的光譜數據；其中光學單元被配置且可操作用於在由像素陣列限定的成像平面上創建輸入光場的光學圖像的同時對該輸入光場施加預定編碼，圖像數據因此是所述預定編碼和待確定的物體的光譜的函數。

光學單元包括被配置用於施加所述預定編碼的編碼器組件和成像透鏡模塊。成像平面位於透鏡模塊的後焦平面中。編碼器組件可以安置在透鏡模塊和檢測平面之間的輸入光的光路中；或者可以安置在透鏡模塊的上遊並且在透射模式或反射模式中可操作。檢測器可以是單色檢測器或彩色檢測器，如上所述。對輸入光場施加的編碼由光學單元的有效透射率限定。有效透射率是波長的函數，並且在一些實施方式中是光傳播的角度的函數，並且在一些其它實施方式中是時間的函數。

成像系統還可以包括控制器，其用於修改光學單元的有效透射率，從而實現利用光學單元的不同的有效透射率獲取連續幀。

如上所述，在一些實施方式中，編碼器組件被配置用於通過使用色散單元向輸入光施加角度編碼。在這樣的實施方式中，控制器可以與色散單元和透鏡模塊中的至少一個相關聯，用於執行以下操作中的至少一個：影響可調諧色散單元的色散圖案、影響色散圖案相對於光學單元的光軸的角位置、改變透鏡模塊的焦距以及移動透鏡模塊。

同樣如上所述，在一些實施方式中，光學單元被配置用於對輸入光施加時變光譜編碼，並且檢測器是捲簾快門型檢測器。在這樣的實施方式中，控制器與濾色器相關聯，並且同一控制器或另一控制器與檢測器的快門相關聯。

根據本發明的另一個廣泛的方面，提供了用於在重建被成像的物體的光譜數據時使用的成像系統，該成像系統包括：光學單元；檢測器的像素陣列；以及數據處理器，其用於接收和處理指示由像素陣列檢測到的光的圖像數據，並生成被成像的物體的重建的光譜數據；其中光學單元被配置且可操作用於在由像素陣列限定的檢測平面上創建輸入光場的光學圖像的同時向該輸入光場施加預定角度碼，該圖像數據因此是所述預定角度碼和待確定的物體的光譜的函數。

光學單元被配置用於在像素陣列的至少n個像素上使物體成像，從而允許被成像的物體的n個光譜帶的重建。

光學單元包括色散單元和透鏡模塊，該透鏡模塊包括一個或多個透鏡。透鏡模塊(其限定光學單元的光軸)的給定相對定向和色散單元的色散圖案定義光學單元的有效光譜透射率，並因此定義角度編碼的相應函數。色散單元可以是可調諧的，使得實現如上所述的其色散圖案的可控變化；或者可以包括具有預定的固定色散圖案的色散元件。

在一些實施方式中，處理單元被配置且可操作用於預處理對應於感興趣區域的所獲取的幀的圖像數據以用於識別其光譜數據將被重建的物體，並利用對應於所述幀獲取的有效光譜透射率以用於處理所識別的物體的圖像數據並重建物體的頻譜。預處理可以包括一個或多個模式識別算法，包括例如分割算法，其旨在識別具有實質上均勻的光譜內容的物體。

根據本發明的另一個廣泛的方面，提供了用於在重建物體的光譜數據時使用的成像方法，該方法包括：在像素陣列的至少n個像素上創建光場的光學圖像的同時，對來自感興趣區域的輸入光場施加角度編碼，以及處理對應於由像素陣列在至少一個幀獲取期間檢測到的光的圖像數據，並且重建被成像的物體的至少n個光譜帶。

在成像的同時施加角度編碼包括使輸入光場與色散圖案相互作用。

根據本發明的又一個廣泛的方面，提供了用於在重建被成像的物體的光譜數據時使用的成像系統，該成像系統包括：光學單元；捲簾快門型檢測器，其包括像素陣列；以及數據處理器，其用於接收和處理指示由像素陣列檢測到的光的圖像數據，並生成被成像的物體的重建的光譜數據；其中光學單元包括可調諧濾波器，其位於朝向所述像素陣列傳播的輸入光場的光路中，並且被配置且可操作來以預定時間模式改變其在至少兩個不同的透射輪廓之間的透射率，使得由像素陣列的至少兩行順序地檢測的光對應於可調諧濾波器的至少兩個不同的透射輪廓。

數據處理器可以利用關於所述捲簾快門型檢測器的操作的數據和關於可調諧濾波器的所述預定時間模式的數據來確定所述頻譜數據。圖像內的物體可以通過圖像分割或任何其他類型的圖像濾波來識別。重建算法可以利用檢測到的光的強度和每行光譜差來恢復物體的光譜數據。

附圖簡述

為了更好地理解本文中公開的主題以及舉例說明它可以如何在實踐中被執行，現在將參考附圖僅作為非限制性的例子來描述實施方式，其中：

圖1是利用本發明的成像系統的感測系統的示意圖；

圖2a和2b分別更具體地示出了本發明的成像系統的兩個非限制性例子；

圖2c和2d示意性地顯示了根據本發明的一些實施方式的圖2a和2b的成像系統配置中的光傳播方案；

圖3示出了用於操作成像系統並處理圖像數據以重建被成像的物體/場景的光譜數據的本發明的方法的例子的流程圖；

圖4a和4b顯示了由發明人獲得的模擬結果，其中圖4a顯示了具有被標記的感興趣區域的剪裁的rgb圖像，以及圖4b顯示了對於感興趣區域的每一個的原始光譜和重建的光譜；

圖5示意性地顯示了根據本發明的一些其它實施方式的成像系統配置中的光傳播方案；以及

圖6和圖7例示在圖5的實施方式中的本發明的操作方案。

實施方式的詳細描述

參考圖1，通過方框圖示意性地示出了利用本發明的成像系統100的感測系統(檢測系統)10。成像系統100包括用於定位在由感測系統的像素陣列單元104限定的光敏表面(檢測/圖像平面)前面的光學單元102和被配置用於與像素陣列單元104的讀出電路進行數據通信以用於從其中接收圖像數據的數據處理器單元106。數據處理單元106可以與像素陣列單元104成為整體，例如，可以是像素陣列單元104的讀出電路的軟體模塊。

光學單元102被配置且可操作用於在由像素陣列單元104限定的成像平面上創建輸入光場的光學圖像的同時對該輸入光場施加預定編碼。對應於檢測到的光信號的圖像數據是預定編碼和物體的光譜(即，輸入光場的)的函數。預定編碼由在相應的圖像獲取期(幀)中使用的光學單元的有效透射函數(etf)定義。

光學單元102包括被配置用於施加預定編碼的編碼器組件和成像透鏡模塊。成像平面位於透鏡模塊的後焦平面中。編碼器組件可以安置在透鏡模塊和檢測平面之間的輸入光的光路中；或者可以安置在透鏡模塊的上遊並且在透射或反射模式中可操作。檢測器可以是單色或彩色檢測器，如上所述。對輸入光場施加的編碼由光學單元的etf定義。etf是波長的函數，並且在一些實施方式中也是光傳播角度的函數，並且在一些其它實施方式中是曝光時間的函數。

處理器單元106尤其包括數據輸入/輸出實用程序(utilities)(未示出)、存儲器模塊106a(例如，用於存儲所使用的光學單元的etf)和分析器模塊106b，該分析器模塊106b適合於使用對於相應的圖像幀的光學單元的etf數據來分析來自像素陣列單元104的圖像數據，並確定物體的光譜。這將在下面被進一步更詳細地描述。

在本發明的一些實施方式中，處理器單元106還包括與光學單元102相關聯的控制器106c，其用於管理光學單元102的etf的可控變化。如上所指示的並且將在下面進一步更具體地被描述的，光學單元102的etf可以是可變的。在一些實施方式中，控制器106c還與用於控制曝光時間模式(或接收指示曝光時間模式的數據)的像素陣列單元的快門(shutter)相關聯。

如上所述，在本發明的一些實施方式中，光學單元102被配置且可操作用於對輸入光場施加角度編碼，同時在檢測平面(即，像素陣列單元104的光敏表面)上創建其光學圖像。由光學單元102施加的角度編碼由光學單元的(etf)定義，etf是光傳播角度和波長的函數。

通常，在成像系統中，每個像素在不同的角度(兩條邊緣射線之間的光射線束)處測量入射在所述像素上的光射線的總強度。包括角度編碼成像組件的光學單元102提供了輸入光l輸入的每個射線以稍微不同的角度照射在光學單元上，並且對應的輸出光l輸出具有略微修改的透射光譜。因此，像素陣列單元104中的每個像素測量多個加權修改的光譜的累積強度。由於光學單元102的etf對於所獲取的給定圖像幀是固定的並且是已知的，因此影響檢測到的強度的唯一變量是物體的光譜。假設相鄰像素共享相同的光譜，重建算法可以應用於恢復物體的光譜。

更具體地，在這樣的實施方式中，光學單元102包括色散單元/元件(構成角度編碼單元)和成像透鏡模塊(構成成像單元)。因此，這種光學單元102的etf由色散單元的光譜透射率和透鏡模塊的角度特性來定義。如下面將進一步更具體地描述的，基於角度編碼的光學單元102的etf可以通過應用以下操作中的至少一個來改變：改變可調諧色散元件的色散圖案、改變透鏡模塊的焦距以及影響整個色散元件相對於光軸的角位置。

參考圖2a和2b，其示意性地顯示了光學單元102的配置的兩個具體的但非限制性的例子。為了便於理解，使用相同的參考數字來識別在所有例子中共有的組件。如所示，光學單元102包括編碼器單元(例如，色散單元/元件)102a和透鏡模塊102b(在本例子中為單個成像透鏡)。由像素陣列單元104限定的檢測平面dp位於透鏡模塊102b的後焦平面中。

在圖2a的例子中，編碼器單元102a位於透鏡102b和檢測平面dp之間，而在圖2b的例子中，編碼器單元102a位於透鏡模塊102b的前面。

考慮到基於角度編碼的光學單元，它可以包括色散單元，其可以包括具有主動(可調諧色散圖案)或被動(固定色散圖案)的任何已知的適當配置的色散元件。例如，可以使用標準具(etalon)作為色散元件。在本發明人執行的模擬中，使用空氣間隔的法布裡-珀羅標準具作為色散元件，其中透射的光譜隨著入射角度而變化。

參考圖2c和2d，其示意性地示出了對於基於角度編碼的光學單元在幀獲取期間分別通過圖2a和圖2b的配置的成像系統的光傳播。如圖2c所示，輸入光場l輸入的每個射線以不同的角度照射色散元件102a，這修改它的透射光譜。跨越不同角度的透射光譜變化呈現色散元件的已知特性。因此，每個像素測量射線的加權和，其中的每個具有不同的光譜。加權和的係數是已知的，並且是光學設計的性質。通過應用用於圖像分割的圖像處理算法，隨後是頻譜分解算法，可以重建高光譜立方體。

更具體地，每像素，總的所獲取的強度可以由下式描述：

其中，i表示總的所獲取的信號，w0表示具有角度θ的射線的權重，tθ(λ)表示標準具在角度θ處的光譜透射率，rλ表示物體的反射率光譜。靠近光軸，光斑大致為圓形的，因此角度加權函數的形式如下：

其中，θl和θh分別表示下邊緣射線和上邊緣射線，且cra表示主射線角度。

然後，一般化的復用光譜透射率由下式給出：

將雞(3)代入方程(1)，產生：

可選地，色散元件可以放置在透鏡的前面，如圖2b和2d所示。在成像的物體足夠遠的情況下，這個配置被簡化，因為可以假定權重函數是一致的：

如在圖2d的簡單情況中所示的，單個物體發射僅對三個像素成像的三個波長的光譜。色散元件具有取決于波長和角度的透射函數。場景中的每個點，角度在整個透鏡中是相當一致的(實際上等於cra)。因此，每像素，假定所有的射線都處於單個角度中。然後，所測量的強度(像素值)矩陣由下式給出：

其中，r是物體的光譜(僅僅三個波長λ1、λ2和λ3)；t是取決于波長和角度的透射率矩陣(例如，標準的標準具)；ti,j描述了第j個波長的第i個角度的透射率；i是測量向量。

因此，r是唯一未知的，且可以通過下式重建：

r＝t-1·i。(7)

實際考慮需要更高數量的像素(即，測量角度)。如下面將進一步描述的，為了進一步提高測量的光譜解析度，多個幀的序列可以是使用對於不同幀的光學單元的不同etf的圖像。可以通過移動或傾斜色散元件和/或平行於光軸移動透鏡(由聚焦機構)和/或垂直於光軸移動透鏡(通過ois機構)來執行etf的變化。

以下是在利用作為圖像的輸入光場的角度編碼的本發明的實施方式中使用的光譜重建過程的例子。在這個方面，參考圖1和圖3，其顯示了處理單元106的結構以及其操作的流程圖200。處理單元106操作來對每幀的圖像數據應用光譜重建過程。這樣的過程包括兩個階段：預處理階段202a和重建階段202b。

預處理階段202a由分析器106b的分割模塊執行，並且被應用於從幀獲取產生的圖像數據。預處理包括將圖像分割算法應用於旨在區分開場景內的物體的幀數據。這種算法的可能實現可以基於任何已知的模式識別技術，如在例如通過引用併入本文的[9]中所述的。待識別的物體(或段)是「均勻光譜內容」的物體(或段)。後者意味著對於單個分割的物體，檢測到的像素強度僅通過增益因子(由於空間照明變化)而不是通過光譜內容而不同。因此，識別這樣的物體/段，並且通過分析器106b的光譜分析器模塊來處理來自相應像素的圖像數據，以重建物體的光譜內容(步驟202b)。光譜分析器模塊操作以應用於圖像數據分解算法來重建高光譜立方體。

假設利用在圖2b中描述的設置，每個像素與特定的cra有關，該cra取決於離光軸的距離(由於軸向對稱性)。因此，幾個像素可以具有相等的半徑，因此具有相等的cra，這對於噪聲處理是有利的。在這種情況下，方程(4)可以由下式重寫：

其中，m是與物體相關聯的像素(和cra)的數量，n是光譜帶的數量。在m<n的情況下，應用線性最小均方。

如在圖3中進一步示出的，在解析度中的損失是不可接受的情況下，可以採用光學單元的不同的有效光譜透射率獲得附加的幀。可以通過平行於光軸移動透鏡(通過聚焦機構)、垂直於光軸(例如，通過光學圖像穩定器(ois)機構)移動透鏡或移動或傾斜色散元件來改變有效光譜透射率。對於不同幀的圖像數據的處理允許物體光譜的不同光譜段的重建。

參考圖4a和4b，其顯示了由發明人獲得的模擬結果。圖4a示出了從高光譜立方體獲得的剪裁的rgb圖像(從[10]獲得的)，其中矩形標記m1和m2對應於兩個感興趣的區域。圖4b顯示了對應於區域m1的原始光譜和重建的光譜的光譜s1和s'1，以及對應於區域m2的原始光譜和重建的光譜的s2和s'2。

如上所指示的，在本發明的一些其他實施方式中，利用可調諧濾波器和捲簾快門型檢測器陣列，提供以通過使用利用隨時間變化的etf獲得的至少兩個圖像幀來獲得物體的光譜信息。在這個方面，參考圖5，其示出了系統300，包括捲簾快門型檢測器陣列304；光學單元102，包括被配置用於引導來自場景的光在檢測器陣列上生成圖像的成像裝置(例如，透鏡裝置)102b，以及可調諧濾波器302(構成編碼器單元)，其位於朝著檢測器的光輸入的光路中。如上所述，濾波器302可以相對於輸入光傳播方向在成像裝置102b的上遊或下遊。濾波器302也可以位於成像裝置102b的元件之間，視情況而定。

可調諧濾波器302被配置為以預定時間模式改變在兩個或更多個不同的透射輪廓(profile)之間的其etf。更具體地，可調諧濾波器302可以是具有兩個或更多個不同的彩色透射曲線的濾色器，並且在所述透射曲線之間的切換以預定的時間間隔執行。例如，可調諧濾波器可以在大約700nm的預定帶寬與大約500nm的預定帶寬之間(即，在紅色和綠色透射之間)改變它的透射。可選地，濾波器302可以在紅色、綠色和藍色之間或在紅色/綠色/藍色和白色(全譜)之間改變它的透射。還應當注意，透射輪廓可以包括近紅外(ir)波長和/或近紫外(uv)光譜。還應注意，可調諧濾波器302可以被配置為覆蓋全幀區域，即全局濾波。

通常，可調諧濾波器302的etf變化的時間模式被配置為對應於捲簾快門型檢測器陣列304的一行或多行的曝光時間。因此，檢測器陣列304生成圖像數據，其中不同的行對應於可調諧濾波器302的不同透射輪廓(不同的etf)。

該系統還包括如上所述配置的數據處理單元106，以接收來自檢測器304的圖像數據，並確定在被成像的視場中的一個或多個物體的光譜信息。通常，圖像數據可以使得感興趣的物體佔據至少預定數量的像素行。因此，檢測器304通過兩個或更多個不同的波長濾波來收集來自物體的不同區域的輸入光。基於關於檢測器陣列的檢測器元件的光譜響應的預定數據以及關於可調諧濾波器302的時間模式和兩個或更多個透射輪廓的數據，數據處理單元106可以確定感興趣物體的光譜信息。

應當注意，圖像數據中的一些行可以由對兩個或更多個濾波輪廓的暴露而產生，因為可調諧濾波器可以在這些行暴露於輸入光的同時改變其透射。基於eft變化的時間模式，像素行的圖像數據可以通過基於對應於每個eft的相對曝光時間對每個eft的影響加權來表示。

通常已知捲簾快門圖像傳感器以預定的曝光時間和每行通常短的讀出時間(～15-40μs)逐行獲取圖像。執行獲取一系列幀(例如，視頻或突發模式)，使得每個連續幀的第一行正好在前一幀的最後一行之後被讀取。因此，幀(或多個幀)的曝光方案是行時間平面內的平行四邊形。

圖6示出了捲簾快門型檢測器及其讀出的概念。在該非限制性例子中，曝光時間為9個時間單位，而讀出時間花費1個時間單位；這被標記用於頂行。因此，在單個時間單元中，在對於第一行的曝光開始之後，第二行暴露於光，使得它在前一行的讀出之後被讀出1個時間單位。如所示，濾波器輪廓隨時間(在該例子中每10個時間單位)而變化，導致不同的行暴露於不同波長輪廓的輸入光。對於每一行，所收集的數據基於可調諧濾波器具有第一透射輪廓的時間和其具有第二透射輪廓的時間(以及在被應用時的第三和第四透射輪廓)而對應於加權濾波的輸入光。

因此，以兩種或更多種濾波模式的變化的混合來獲取每個行圖像。例如，第一行以單個濾波狀態(「紅色」狀態)被獲取，而最後一行以「白色」狀態獲取光。所有其他行以濾波狀態(紅色和白色)的變化的線性混合來獲取圖像。

如果使用這樣的系統來對n行的矩形物體成像，則該圖像包含紅色和白色濾波狀態的n個不同的加權混合，這允許重建物體的光譜。這種光譜重建可以提供n個光譜帶。

可以通過圖像分割(例如，以確定檢測到單個物體而不是多個物體)來完成物體識別。可以使用各種物體檢測算法。

光譜重建利用關於被識別為物體的一部分的行的數量n的數據。該系統確定沿著圖像內的垂直線的強度的橫截面，以獲得下式(對於在圖像數據中佔據4行的物體)：

其中：

●tij是對於第i行的濾波狀態j(紅色/白色)的曝光時間；

●fr/fw是濾波狀態的光譜透射輪廓(4個光譜帶的解析度，通常為n個光譜帶)；

●e是用於重建(4個光譜帶的解析度)的(物體的)光譜輪廓。

應當注意，由於除了光譜輪廓e之外的所有參數被測量或者被已知為系統的參數，因此數據處理單元可以應用合適的算法來確定物體的光譜輪廓e。

圖7例示了利用由#1(上)、#2(中)和#3(最下)標記的3行(通常使用多得多的行)的本發明的技術。濾波器的透射輪廓在下文中被提到對濾波模式#1為藍色，且對濾波模式#2為橙色。通過濾波器獲得的平均光譜透射率可以由下式描述：

其中：t藍(λ)是「藍色」模式的光譜透射率，t橙(λ)是「橙色」模式的光譜透射率；t1藍是對於第1行通過藍色濾波器的曝光時間，並且相應地對於其他行和其他濾波模式。

由於平行四邊形結構，下式適用：

鑑於上述內容，不等式t1(λ)≠t2(λ)≠t3(λ)為每行提供唯一的光譜透射率。因此，對於足夠大的(數10行，例如40)並且具有均勻的發射光譜的物體，圖像數據包含物體的光譜信息，就像它通過與相關行的數量相對應的數量的不同光譜濾波器被測量。這提供了物體的光譜的n(例如40)個不同的測量，並允許確定它的光譜輪廓。

如上所指示的，總的獲取的信號為：

其中，s(λ)是從感興趣物體發射或反射的光的光譜輪廓，並且ij是對於第j行中的像素的實際測量強度。利用預定和測量數據，可以確定物體的光譜輪廓。

因此，本發明提供了用於光譜數據重建的有效技術。本發明的技術提供單次快照重建，或者如果需要，提供用於增加光譜解析度的多幀數據重建。