用於有透鏡和無透鏡的光學感測的系統和方法與流程

2023-10-18 18:04:34

傳統照相機使用(一個或多個)透鏡將場景中的每個點成像到傳感器上的單個點上。在數位照相機中，傳感器是圖像元素或「像素」的二維陣列，其將成像場景編碼為數字圖像數據以用於存儲、處理和再現。

數字成像已經使能新成像架構。Cathey和Dowski採取遠離通過利用數字處理的傳統模型的早期和概念上重要的步驟。他們設計立方相光學板，其當被插入傳統照相機的光學路徑中時導致其(顯著的)模糊獨立於物體深度的圖像：傳感器平面上的圖像不像其將在傳統照相機中那樣「看起來好的」。然而，後續的圖像處理使整個模糊圖像銳利，因此這導致增強的景深。從那以後計算成像場已經探索成像架構，在該成像架構中原始信號並非表面上類似傳統圖像；相反，根據這樣的信號計算最終圖像。總成像「負擔」中的越來也多由計算負擔，從而擴大可用的光學部件的種類。這樣，可以計算地而不是光學地校正許多光學像差。該成像範式已經導致光學和圖像處理的聯合設計的新概念基礎，以及各種各樣的非標準成像架構諸如全光編碼孔徑和多孔徑系統，每個與信號處理的方法相關聯。

對於包括出現在移動計算市場中的照相機的電子設備的微型化的經濟壓力已經導致較小的成像器形狀因子。最近地，新微型成像架構已經被探索，這是一個基於具有光探測器陣列的集成衍射光學元件。該架構摒棄透鏡並且相反依賴於可以使用與被用於創建底層傳感器的那些過程類似的過程創建的衍射光柵。對於給定圖像解析度而言，這樣的衍射元件使能比使用傳統照相機的光學路徑可能的小得多的成像設備並且以低得多的成本的構建。

附圖說明

詳細描述以示例的方式而非以限制的方式圖示在附圖的圖形中，並且其中相同附圖標記指代相同元件，並且其中：

圖1A是具有疊加光探測器陣列110的奇對稱光柵105的感測器件100(諸如CCD(電荷耦合器件))或CMOS(互補金屬氧化物半導體)傳感器的剖視圖。

圖1B描繪了模擬圖示遮蔽140和焦點145對入射角的敏感性的銳角160處的入射光平面120的圖1A的傳感器100。

圖2描繪了根據一個實施例的二元奇對稱光柵200。

圖3描繪了根據其中二元奇對稱光柵310由兩個不同的折射率的材料之間的接口形成的實施例的感測器件300。

圖4A是根據另一實施例的傳感器400的平面圖。

圖4B是圖4A的傳感器400的三維視角並且示出光420如何從與光柵表面垂直的方向投影底層的光電二極體陣列430上的幹涉圖案425。

圖5A、圖5B、圖5C和圖5D各自描繪了二維光電二極體陣列505上的奇對稱500的三個界限。

圖6描繪了各自具有不同的相對寬度的特徵段的三個奇對稱光柵600、620和630。

圖7A是根據使用超過兩層產生奇對稱的實施例的相位光柵700的剖視圖。

圖7B是與圖7A的相位光柵700光學類似但是使用較少層的相位光柵710的剖視圖。

圖8是圖示奇對稱可以如何擴展為曲線函數的相位光柵800的剖視圖。

圖9是根據其中奇對稱905的邊界從光柵的中心徑向延伸並且其中特徵段的寬度遠離中心逐漸地加寬的特徵段的寬度的實施例的光柵900的平面圖。

圖10是根據奇對稱1005的同心界限的實施例的光柵1000的平面圖並且包括沿著線A-A的剖視圖。

圖11是根據與圖9的光柵900類似的實施例的光柵1100的平面圖。

圖12是根據另一實施例的光柵1200的平面圖。

圖13描繪了根據另一實施例的光柵1300。

圖14描繪了光柵1400和相關聯的光電二極體陣列1405。

圖15描繪了光柵1500和相關聯的光電二極體陣列1505。

圖16是根據具有奇對稱1605的五角形界限的實施例的光柵1600的平面圖。

圖17A是根據另一實施例的光柵1700的平面圖。

圖17B描繪了圖17A的界限1705的形狀。

圖18描繪了被布置在光電二極體陣列(未示出)上的光柵1805的二維陣列1800。

圖19是詳述根據圖17的光柵1700如何採集和解析圖像1905的流程圖1900。

圖20描繪了根據一個實施例的用於形成圖像傳感器2000的光刻過程。

圖21A描繪了根據包括透鏡2105的實施例的照相機2100。

圖21B是具有聚焦在陣列2115上成像的點源2125的照相機2100的示例。

圖21C是具有未聚焦在陣列2115上成像的點源2140的照相機2100的示例。

圖21D是具有比圖21C的示例中的點源2140更未聚焦成像的點源2155的照相機2100的示例。

圖22是利用三個PSF 2205、2210和2215照射的像素2200陣列的一部分的平面圖。

圖23描繪了圖示根據一些實施例的照相機可以如何補償包括球面像差、彗形像差和Petzval場曲率的透鏡像差的三個螺旋2300、2305和2310。

圖24描繪了圖示根據一些實施例的相位光柵的各方面的棋盤格光學元件2400。

圖25描繪了由圖24的光柵2400產生的定向啁啾內的空間調製的豐富圖案如何促進離焦PSF的經改進的解析度。

圖26A和圖26B描繪了根據一些實施例的棋盤格光柵2600和2605。

圖27A和圖27B描繪了根據一些實施例的棋盤格光柵2700和2705。

圖28描繪了根據一個實施例的棋盤格光柵2800。

圖29描繪了根據另一實施例的棋盤格光柵2900。

圖30描繪了根據一些實施例可以被用於使用圖21A-圖21D中詳述的類型的照相機產生顏色圖像的濾波器陣列3000。

圖31描繪了顏色通道3100(結合圖30引入的實施例的四個顏色通道之一)。

圖32描繪了支持低功率模式的圖像改變的探測器3200。

圖33將圖32的陣列3205描繪為像素300的陣列。

圖34描繪了具有重疊或懸浮在光電傳感器3415(例如，光電二極體)的一維陣列3410上的光柵3405的圖像傳感器3400。

圖35是可以被用於IR照相機的服務中的圖像34的陣列3400的1D陣列3505-熱輻射測定器的兩個像素3500的剖視圖。

圖36圖示了被布置在相對於場景的不同的定向處的多個1D傳感器可以如何被用於定位稀少的移動的熱物體。

圖37描繪了包括結合圖34和圖35上文詳述的類型的八個1D傳感器3400以及提供成像場景的獨立測量結果的22.5度的角間距的照相機3700。

圖38A和38B是詳述如何使用圖17的光柵1700採集和解析QR代碼3805的流程圖3800和假定二進位圖像的反演算法的實施例。

圖39描繪了採用無透鏡IR傳感器3905監測眼睛3910的運動的眼球追蹤系統3900。

圖40描繪了Purkinje圖像P1-P4的模擬星座。

圖41表示通過包括結合圖17A和圖17B詳述的類型的螺旋光柵的IR傳感器3905的實施例的原始光電檢測器信號採集的圖40的相同星座，但是針對其奇對稱的線的間距被優化用於LED 3915的IR帶寬。

圖42描繪了與支持操作性位置中的傳感器3905和LED 3915的幀4200相反的圖39的眼睛3920。

圖43描繪了具有兩側中的每一個的傳感器4305和光源4310的陣列的眼鏡框4300。

圖44描繪了根據包括例如橋中的前面照相機4405的實施例的一副智能眼鏡4400。

具體實施方式

圖1A是具有疊加光探測器陣列110的奇對稱光柵105的感測器件100(諸如CCD(電荷耦合器件))或CMOS(互補金屬氧化物半導體)傳感器的剖視圖。光柵105的特徵提供對感興趣的波長帶中的入射光的波長以及光柵105與光電檢測器陣列110之間的製造距離的相當大的不敏感性。光柵105生成用於由陣列110採集的幹涉圖案。然後，可以從圖案提取照片和其他圖像信息。

感興趣的波長帶(諸如可見光譜)中的光是來自正交於光柵105的橫向平面120的方向115的入射光柵105。虛線125突出基本上奇對稱的周期性界限。這些界限中的每一個是奇對稱的特徵130和135的結果，並且產生由相鄰特徵130與135之間的相消相位幹擾創建的最小強度的通常布置的遮蔽140。遮蔽140由焦點145分離，並且遮蔽140和焦點145的集合(最大光強度的遮蔽)從光柵105延伸通過設備100的主體150以產生光電檢測器陣列110上的幹涉圖案。在該圖示中，入射在焦點和遮蔽中的強度變化的圖案是起因於近場衍射的近場空間調製。陣列110內的一個光敏元件155遮蔽在焦點145下面來用作針對設備100對入射光角的敏感性的後續討論的參考；然而，在對應的焦點下面的其他光敏元件同樣地對入射光做出反應。

圖1A的圖像起因於具有以下參數和假定特定參數的感測器件的模擬。主體150具有熔融石英，並且與具有以2.2um間隔的光敏元件的常規光電檢測器陣列110接觸。在該示例中，光柵105的頂部是空氣界面。特徵130和135的相對小段是大約1um，並且相對較大的段是大約4um。這些段一般地形成橫向平面120，其以大約25um與陣列110分離。遮蔽140和焦點145是針對532nm入射光的破壞性和建設性幹涉圖案。響應於點源，光柵105因此引起照射非相鄰像素上的圖案的近場空間調製。

儘管針對模擬的532nm光的選擇，但是主體150的厚度和特徵130和135的段的長度被優化用於400nm光。因此，最緊的焦點在陣列110上面大約5um發生(在20um標記處)。結果遮蔽140在20um標記上面和下面平坦地分離焦點145，然而這圖示對感興趣帶內的波長的魯棒的不敏感性。遮蔽140的相對深和連續的滲透還提供了針對主體150的厚度的相當大的製造容限。這些優點由於投影到陣列110上的近場空間調製是在感興趣的波長帶上獨立的波長獲得，其意味著相鄰調製(暗和亮)不利用感興趣帶內的波長內的改變反轉符號。

圖1B描繪了模擬圖示遮蔽140和焦點對入射角的敏感性的銳角160處的入射光平面120的圖1A的傳感器100。將元件155用作參考點，我們看到照射圖1A中的元件155的焦點145在圖1B中已經相當大地移到右邊。遮蔽140和焦點145在根據Snell定律與角160有關的銳角處延伸。維持通過遮蔽140對焦點145的分離。因此，傳感器100對入射角靈敏。

圖2描繪了根據一個實施例的二元奇對稱光柵200。使用垂直虛線指示奇對稱的三個界限中的每一個。光柵200的上特徵在足以引起感興趣帶中的阻滯的一個半波長相對於下特徵或相對相位延遲的弧度的高處。每個界限的任一側的特徵205和210展示具有三個不同地大小段W0、W1和W2的奇對稱。利用該布置，配對段(例如，特徵205和210內的W0)引起通過近似一半感興趣的波長帶上的波長不同的相應的相位延遲。

圖3描繪了根據其中二進位奇對稱相位光柵310由兩個不同的折射率的材料(在該示例中，聚碳酸酯層315和光學重鑭火石玻璃320)之間的界面形成的實施例的感測器件300。使用垂直虛線指示奇對稱325的四個界限中的每一個。如在前述示例中，光柵310的上特徵引起一個波長(π弧度)的一半相對於下特徵的相位阻滯。每個界限的任一側上的特徵330和335展示奇對稱。利用該布置，配對段引起通過近似一半感興趣的波長帶上的波長不同的相應的相位延遲。

這些元件以結合圖1A和圖1B詳述的方式產生分析器層327(例如，常規光電二極體陣列)上的幹涉圖案。該示例假定光柵300的光界面正交於相位光柵310的橫向平面的光入射，在該情況中進入與奇對稱325的界限之一等距離的光柵310(諸如在位置(-X,0)和(X,0)處)的光場在陣列310下面的點(例如，點(0,Z))處離焦，並且因此破壞性地幹擾以產生最小強度的遮蔽(例如，圖1的遮蔽140)。基本上光譜上的光的深度Z和波長二者都不顯著地影響該破壞性幹涉。建設性幹涉類似地產生具有最大強度的焦點(例如，圖1的焦點145)。高特徵和低特徵二者準許光，其提供相對於選擇性地阻擋光的光柵的相對高量子有效性。

以下討論詳述了在即將到來的論文「Lensless Ultra-Miniature Imagers Using Odd-Symmetry Spiral Phase Gratings.」2013年美國光學學會中由Patrick R.Gill和David G.Stork所描述的示例的相位光柵。在該文章中，Gill和Stork描述了由可以近似地將λ無關相位偏移引入所有通常入射可見光中的高n低色散襯底和低n高色散塗層形成的相位光柵。上文討論了類似的光柵。如果存在在其傳輸t(·)和相位推遲φ(·)中滿足以下對稱性的該界面上的某些點p，

其中y是橫向於光柵方向的水平平移，那麼光柵具有關於點p的奇對稱，並且光將破壞性地幹擾小於p而不管λ和深度Z。

在光電傳感器陣列上的線性奇對稱光柵可以傳遞來自遠場(橫向於光柵定向)中的特徵的單個空間定向的信息。然而，為了採集關於複雜場景的任意定向特徵的信息，具有衍射光學中的定向的完整分布是優選的。更一般地，如果點源響應(PSR)是近似空間不變的，成像器的傳遞函數近似與PSR函數卷積。在這樣的情況下，PSR應當具有在所有2D空間頻率處的顯著的功率以使圖像的反演問題恢復狀態良好的。

在Gill和Stork中所提供的一個示例中，光柵數字地被優化為將可見光聚焦到以下光電檢測器陣列100μm上。光學模擬估計在具有由遠離傳感器的複雜場景(＞＞100μm)照射的傳感器的光柵的來自具有2.2μm間距100μm的60x 60像素陣列的這樣的設備的成像性能。來自像素陣列的結果光電流是難理解的；然而，場景被重建為基於使用Tikhonov正則化的Talbot-effect角靈敏的大得多的衍射成像器可能的更高的解析度。Gill和Stork包括壓縮傳感技術可以適於如果已經場景基於可壓縮的結構則改進重建質量。如果存在PSR的傅立葉變換中的小間隙，則壓縮感測可以是特別有利的。

圖4A是根據另一實施例的傳感器400的平面圖。奇對稱415的八個界限中的每一個的任一側的相對高段405和低段410創建其中段的寬度隨著與傳感器的中心的距離增加的光柵。對於給定焦點深度而言，較高頻率的光傾向於產生具有較窄的特徵寬度的較銳利的焦點。因此，傳感器400可以被優化使得光柵的中心部分被優化用於相對較高的頻率光的集合和相對較低的頻率光的集合的外圍區域。下文結合其他附圖詳述了該話題。

圖4B是圖4A的傳感器400的三維視角並且示出光420如何從與光柵表面垂直的方向投影底層的光電二極體陣列430上的幹涉圖案425。如先前詳述的，遮蔽和焦點相應地投射陰影435和亮形狀440以由陣列430的單獨的光敏元件445感測。陣列430採集圖案425的數字表示。

圖5A、圖5B、圖5C和圖5D各自描繪了二維光電二極體陣列505上的奇對稱500的三個界限。遮蔽510將陰影515投影在底層光電探測器520上，並且因此創建的圖案取決於入射光的角是不同的。因此，陣列505可以對結果乾涉圖案進行採樣來獲得關於入射角的信息。

圖6描繪了各自具有不同的相對寬度的特徵段的三個奇對稱光柵600、620和630。其對於創建具有如所示的多個寬度比的傳感器來補償製造影響光柵特徵的相對高度的容限可以是有用的。假定例如光柵600是被優化用於感興趣的製造過程的寬度，但是該過程產生40％而不是理想的50％的相對相位延遲以形成期望的位置處的最小強度的遮蔽。對於第一級而言，如在光柵630中所描繪的相對寬段的增加的寬度可以改進起因於錯誤的相位偏移的失真。可以通過使如在光柵620中所描繪的相對寬段變窄校正大於50％的相位偏移。一些實施例包括覆蓋光電二極體陣列的不同的區域來容納製造容限的相對段寬度的混合物。與提供最銳利的焦點或針對波長或波長範圍的最銳利的焦點的光柵相關聯的圖像可以被選擇或組合來獲得期望的圖像數據。不同的光柵還可以針對具有不同波長或入射角的光更好地執行，因此針對給定圖像使用哪些光柵的選擇可以被優化用於除製造容限外的變量。

圖7A是根據使用超過兩層產生奇對稱的實施例的相位光柵700的剖視圖。附加層可以慮及較銳利的焦點，但是可以要求更複雜的製造過程。如果光柵將使用光刻法製造，例如，附加層要求附加的掩碼步驟。奇對稱的每個界限的任一側的配對表面引起通過近似一半波長加上感興趣的波長帶上的整數個波長不同的相應的配對相位延遲。

圖7B是與圖7A的相位光柵700光學類似但是使用較少層的相位光柵710的剖視圖。結果較大的突然的不連續性715可以引起不期望的圖像偽影或可能難以準確地製造，但是降低數目的層可以降低製造成本。

圖8是圖示奇對稱可以如何擴展為曲線函數的相位光柵800的剖視圖。

圖9是根據其中奇對稱905的邊界從光柵的中心徑向延伸並且其中特徵段的寬度遠離中心逐漸地加寬的特徵段的寬度的實施例的光柵900的平面圖。光柵900以連續地變化的寬度集採集十六個分立角處的圖像信息。雖然便於將光柵900繪製為圓形，但是可以使用其他形狀。在一些實施例中，例如，光柵的集合被排列在光電二極體陣列上。在這樣的情況下，該共享共同界限(例如，諸如六邊形、正方形或三角形界限)更高效地利用底層的光電二極體。

圖10是根據基本上奇對稱1005的同心界限的實施例的光柵1000的平面圖並且包括沿著線A-A的剖視圖。在該示例中，特徵段的寬度是分立的，並且角是連續的。光柵1000的間距顯得一致的，但是可以變化以慮及對于波長範圍、入射角或製造變化的銳利焦點。

圖11是根據與圖9的光柵900類似的實施例的光柵1100的平面圖。光柵900的兩半提供基本上相同的信息。光柵1100以垂直定向添加半圓極化濾波器1105和1110。因此，光柵1100的每半產生特定於兩個極化之一的圖像數據，並且這些數據可以分離地或一起使用。具有相同或不同定向的更多或更少的濾波器可以使用在其他實施例中。不同的類型的濾波器還可以被用於覆蓋本文所描述的類型的光柵中的全部或一部分。

圖12是根據另一實施例的光柵1200的平面圖。奇對稱1205的曲線界限從光柵的中心徑向地延伸，並且特徵段的寬度遠離中心逐漸地加寬。當保持圖9的光柵900的連續地變化的間距時，界限1205的曲率提供與什麼從圖10的光柵1000可用類似的連續地不同的角信息。

圖13描繪了根據另一實施例的光柵1300。如先前所指出的，光柵特徵的不同的寬度提供針對感興趣的波長帶內的光的不同的顏色的較銳利的焦點。光柵1300具有圖9的光柵900的相同徑向對象，但是間距被優化用於藍、綠和紅光的那些區域提供有準許其相應波長的濾波器。省略在底層的分析器上提供模糊的幹涉圖案的波長可以改進圖像銳利，並且可以允許顏色圖像數據的更準確的重建。光柵1300以由定義孔徑的限制的不透明屏蔽1305為邊界。

圖14描繪了光柵1400和相關聯的光電二極體陣列1405。光柵1400具有平行奇對稱界限1410，其可以具有相同或不同寬度或沿著一個或多個界限的不同的寬度的特徵。具有採樣足夠數目的空間頻率的寬度和間距的必須的多樣性的平行界限可以對一維圖像(例如，條形碼)進行成像。沿著光柵1400而不是在光柵1400下面示出陣列1405來突出界限1410的方向與陣列1405中的光敏元件列之間的角θA。角θA創建測量結果的更多的多樣性，因為線性陰影覆蓋不同行中的像素的不同的百分比。在一個實施例中，選擇角θA使得每個界限的頂部與底部偏移大約陣列1405中的一個像素。

圖15描繪了光柵1500和相關聯的光電二極體陣列1505。光柵1500具有平行的右角界限1510，其可以具有相同或不同寬度或沿著一個或多個界限的不同的寬度的特徵。具有沿著採樣足夠數目的空間頻率的兩個維度的寬度和間距的必需的多樣性的平行界限可以對例如點源進行成像，諸如以標識太陽的位置、基準LED或用於運動採集的回射元件或分片。可以出於結合圖14上文所呈現的原因引入角θA。還可以利用還適於成像功能的光柵完成點源標識。

圖16是根據具有奇對稱1605的五角形界限的實施例的光柵1600的平面圖。在該示例中，特徵段的寬度是分立的，但是在其他實施例中其可以沿著一個或多個界限變化。直線界限可以在曲線那些上是有利的，因為線段可以容易地提供精確的奇對稱。

光柵1600提供五個不同的定向處的信息。其他界限形狀(諸如其他多邊形)使用在其他實施例中。一般而言，具有奇數個邊的多邊形提供比具有類似但是偶數個邊的多邊形提供更大的定向多樣性(例如，五邊形提供比正方形或六邊形更大的定向多樣性)。

圖17A是根據另一實施例的光柵1700的平面圖。相對窄(寬)段間距的回憶對於相對高(低)頻率工作更好，特徵間距沿著與中心間距的奇對稱界限(在暗區域與亮區域之間)。奇對稱1705的曲線界限從光柵的中心徑向地延伸到周圍，在中心附近在暗(提升的)和亮(凹進的)臂之間輻射出。曲線界限由圖17A中的光柵特徵掩蓋，因此在圖17B中描繪界限1705的形狀以便於回顧。

段寬度不繼續隨著半徑增加，因為存在針對感興趣的給定波長帶的最大期望的寬度(例如，最寬可以對應於可見紅光的最低的頻率)。因此，定義界限1705的特徵展示不連續性，因為其向光柵1700的周圍延伸。在該示例中，光柵1700具有三個分立的區域，每個調諧到感興趣帶中的波長的子集或全部。

圖18描繪了被布置在光電二極體陣列(未示出)上的光柵1805的二維陣列1800。光柵1805中的每一個是相同的，但是任何數目的參數(上文討論其中的許多)可以在光柵1805內和中間變化。例如，不同的形狀和類型的光柵可以被用於對不同的類型的幹涉圖案進行創建和成像，其可以分離地組合或使用來獲得某個期望的結果。考慮由構成光柵中的一個或多個生成的信息的全部或特定子集的決策可以在諸如在容納過程變化的製造時完成或可以動態地完成來突出場景的不同的方面。強調不同的圖案的各方面可以被用於例如突出不同的極化、波長或入射角的光。

特別地當其特點很好地匹配時，面向相同方向的間隔光柵可以被用於感測移動對象。假定具有固定分離的匹配光柵接收來自相同場景的光，相應的分析器層的光電流之間的差異僅對相對地靠近對的對象靈敏。而且，該差異的時間導數對附近的移動對象靈敏並且對相對地遠的移動或固定對象不靈敏。

圖19是詳述根據圖17的光柵1700如何採集和解析圖像1905的流程圖1900。第一，呈現圖像1910使得來自圖像1910的光是入射光柵1700。入射光穿過相位光柵1700以產生光電傳感器(未示出)的底層的二維陣列上的強度圖案1920，其採集圖案(1915)。採集圖案1920對於人類可能顯得難以理解；然而，因為光柵1700具有其點擴散函數(PSF)中的銳利特徵，圖案包含關於圖像的豐富信息。

光柵1700的PSF(可能地組合底層的陣列)從先驗校準或高保真仿真已知。還可以類似地確定PSF根據入射角和顏色變化的方式。該信息由響應1930表示。因此，基於該響應的數學轉換可以被用於根據圖案1920重建圖像1910。

為了恢復原始圖像，響應1920和1930組合形成反演問題(1925)，其解析(1935)以恢復原始圖像的版本1940。一個實施例採用眾所周知的Tikhonov正則化反演技術來完成步驟1925和1935。將以下各項作為出發點a)光柵1700的PSF的詳細知識，b)在當前照明調節下系統的噪聲水平的知識，和c)針對該圖像觀察的特定讀數(圖案1920)。將未知的圖像表達為N x 1向量x，其中N是人們希望重建的像素的總數。將來自光電傳感器的讀數表達為M x 1向量y，其中M是陣列中的光電傳感器的總數。將PSF的詳細知識表達為M x N矩陣A，使得對於任何圖像x而言，在x下產生期望的觀察信號y的公式是y＝Ax，被稱為「前向方程」。

為了重建圖像，其滿足利用針對未知圖像x的已知測量結果向量y求解前向方程如下。將前向方程的兩側乘以AT(A的轉置)來獲得AT y＝AT Ax。矩陣AT A是正方形並且原則上可以直接反轉以恢復x；然而，當存在噪聲並且並非AT A的所有特徵向量具有相同大的相關聯的本徵值時，通常不佳地調節本發明。因此，實際上，Tikhonov正則化(如下)通常遞送優選的結果。

然後，基於當前照明條件處的噪聲水平選擇正則化參數λ>0。最後，反轉矩陣(AT A+λI)(其中I是單位矩陣)，假定(AT A+λI)≈(AT A)並且乘以先前方程的左邊來獲得x≈(ATA+λI)-1AT y。因此，對於給定正則化參數λ而言，通過Tikhonov正則化恢復的圖像是來自光電傳感器的讀數的線性組合。如果PSF在可以忽略其空間依賴性的程度上是足夠地空間不變的，則這些計算可以在傅立葉域中完成，這慮及快得多的數值。

另一實施例使用壓縮傳感恢復矩陣x。如果場景被期望在一些基礎中是稀疏的(諸如針對自然圖像的子波變換W)，則可以使用以下方法。我們可以通過找到最小化以下成本函數的z恢復稀疏場景分量z其中x＝Wz：1/2rTr+λf(z)，其中r是殘餘的(y-AWz)，λ>0是正則化參數(與使用在Tikhonov正則化中的那個不同，而且噪聲相關的)，並且f(z)是懲罰非稀疏(penalizing non-sparse)z的函數。如果f(z)是z的凸函數(諸如L1規範)，可以使用凸優化技術高效地解決該優化問題。懲罰函數f(z)還可以採取其他形式，包括重建圖像x或其他先驗場景知識中的項懲罰總變差。

線性方法(諸如Tikhonov正則化)上的壓縮感測的主要優點中的一些主要優點是前者允許關於期望的場景結構的更多先驗信息幫助塑造最終圖像。而且，如果AT A不具有滿秩或不能測量場景的某些方面(例如，由於PSF的2D傅立葉變換的一些近零區域)，則給定關於期望圖像的正確先驗信息，使用壓縮感測有時克服這些限制。

前述Tikhonov和壓縮感測技術可以包括降低問題複雜度的迭代方法。例如，Richardson-Lucy重疊合法可以迭代地近似Tikhonov正則化反演並且重複子波閾值化可以是聚合為壓縮感測類似解的數值高效的方式。

在一些實施例中，傳感器的目的不是重建圖像而是執行某個光學感測任務。在這樣的情況下，向量x可以表示尋求測量結果而不是圖像像素的場，並且可以近似地修改正向變換A。

圖20描繪了根據一個實施例的用於形成圖像傳感器2000的光刻過程。第一，在感興趣的波長帶上透明的材料的晶圓2005利用定義什麼將變為本文中詳述的類型的奇對稱光柵表面的相對高特徵的掩模2010圖案化。然後，晶圓2005的裸露面被蝕刻為創建凹進區域2015。然後，移除標記2010。最後，晶圓2005(現在包括光柵)被結合為光電二極體陣列2025。光刻法和晶圓結合過程對於本領域的技術人員而言是眾所周知的，因此省略詳細討論。

圖21A描繪了根據實施例的照相機2100，其中聚合光學元件(在該情況中透鏡2105(雖然為了圖示的簡單性示出單元件透鏡，但是一般地光學元件可以包括一個或多個折射、衍射和/或反射元件))結合被布置在光學元件與密集光電檢測器陣列2115之間的路徑中的相位光柵元件(光柵2110)使用以在其上形成圖像。在透鏡2105的前端的場景入射投影通過光柵2110並且直到陣列2115。光柵2110引起入射光中的空間調製並且將所得的幹涉圖案傳遞給陣列2115，其採集空間調製的數字表示。電氣耦合到陣列2115的集成處理器2120根據數字表示計算場景的圖像。處理器還示出物理地耦合到陣列2115，但是處理器可以定位在其他實施例中的其他地方。

透鏡2105定義前焦點FFP和後焦點RFP，並且以小於透鏡2105與焦點RFP之間的圖像平面距離D的距離與光柵2110間隔。在該示例中，陣列2115在來自光柵2110的焦點RFP的相對側。光柵2110可以是奇對稱光柵，其具有結合前述附圖上文詳述的特性。在其他實施例中(諸如在宏模式中類似操作的實施例)，針對無限對象定義的透鏡2105的焦距可以比光柵2110與透鏡2105更近或者可以在涵蓋這樣的相對定位的範圍上移動。

光柵2110的表面特徵以距離X與陣列2115分離。雖然示出為分離的結構以便於圖示，但是光柵2110可以與陣列2115集成或附接到陣列2115。在該示例中，照相機2100中的距離X不超過400倍光柵2110的表面特徵與陣列2115之間的(多個)介質中的最長的感興趣波長λmax(X≤400λmax)。例如，其中λmax是0.5微米的照相機可以具有光柵2110的特徵與直到200微米的陣列2115的表面之間的間距X。

圖21B是具有聚焦在陣列2115上成像的由箭頭的尖端表示的點源2125的照相機2100的示例。光柵2110在焦點平面之外，因此來自透鏡2105的光將模糊斑點PSF 2130呈現給光柵2110。(如在本文使用的其他示例中，由PSF 2130佔用的區域指代中瓣的區域)。光柵2110根據函數2130產生幹涉圖案，但是圖案的照明界限在緊密地聚焦的陣列2115上的衍射有限的斑點2135中是不明顯的。點源2125的範圍和位置處的對象緊密地聚焦(場曲率和其他像差可以改變針對其他位置的最佳焦點範圍)，並且名義上在陣列2115的全解析度處成像，假定透鏡2105能夠具有這樣的解析度。

圖21C是具有未聚焦在陣列2115上成像的點源2140的照相機2100的示例。如在先驗示例中，來自透鏡2105的光將模糊斑點PSF 2145呈現給關山2110，並且光柵2110產生空間調製的圖案。由於點源2140離焦成像，然而，陣列2115處的PSF 2150的區域大於在圖21B的示例中，並且圖案區域內的照明過渡/子結構是明顯的。在照相機2100中，這些照明過渡是由光柵2110的特徵引起的近場空間調製。PSF 2150的結果螺旋圖案優選地是可逆的定向啁啾。如本文所使用的，「定向啁啾」是覆蓋足以恢復期望的解析度處的圖像的空間頻率和定向的範圍的空間調製的圖案。

圖21D是具有比圖21C的示例中的點源2140更未聚焦成像的點源2155的照相機2100的示例。來自透鏡2105的光呈現仍然大於PSF 2145的模糊斑點PSF 2160，並且陣列2115上的結果不可逆的PSF 2165類似地大於PSF 2150。雖然未示出，但是對圖21A的FFP處的點源成像產生包括定向啁啾特徵的不可逆的PSF。兩個點源(一個在點2125前面並且一個在點2125後面但是沿著相同光軸)可以產生類似大小的定向啁啾。然而，由於透鏡系統中的像差，啁啾可以不同--這樣的不同的特性可以被用於解析範圍，如下文進一步詳述的。

圖21A至圖21D圖示了陣列2115上的圖案面積和伴隨的空間調製的豐富性是焦點的函數的一般點，焦點越不活躍，面積越大並且解析空間調製越好。比圖21A的點源2125更遠離透鏡2105的點源產生與其遠離(或朝向)透鏡2105移動的陣列上的更大的PSF。

針對離焦點源的PSF是來自光柵2110的定向啁啾的縮放版本，其中定向啁啾的直徑與點源的散焦成正比。因此，傳感器平面(陣列2115的表面)處的觀察將是聚焦和離焦成像點，每個與取決於從該點所接收、根據離焦參數縮放並且與來自其他成像點的類似貢獻空間地疊加的光線束的位置的啁啾相位處的定向啁啾卷積。照相機2100可以恢復離焦對象的相對高的解析度圖像，因為該卷積對於大部分共同圖像採集情況而言是計算上不可逆的。在該上下文中，「計算上不可逆的」意味著圖像數據可以使用例如可逆的、偽可逆和壓縮感測變換恢復到指定的精確度。PSF是計算上不可逆的，例如，如果其2D傅立葉變換是「完整的」或者具有以指定解析度恢復圖像所要求的所有空間頻率處的基本上的幅度。

並非所有螺旋PSF是完整的。例如，阿基米德螺線具有規則地間隔的臂，其傅立葉變換具有臂間周期的倒數處的峰和這些峰之間的空值。相比之下，圖19的螺旋PSF 1930具有通過所有定向銳利地限制並且掃描的很少不均勻的間隔臂，因此其具有所有空間頻率處的顯著的傅立葉功率並且是完整的。由於該完整性，準確的重疊合法是相對狀態良好的，因此取消PSF的效果是相對直接的。不管是在傅立葉域中還是在空間域中執行計算，如果PSF的傅立葉變換不具有零，則重疊合法很好地工作。在點源引起不與螺線同軸的模糊斑點2160的情況下，所得的PSF將包含PSF的空間包裹版本。空間包裹螺線基本上不影響其完整性。

在首先不需要聚焦的情況下，照相機2100可以測量來自光電檢測器陣列2115的光強度(但是一些實施例可以手動或自動地聚焦)。由陣列2115採集的數據包括具有隨著深度變化的傅立葉分量強度的定向啁啾(參見圖21B-圖21D)。局部觀察的傅立葉變換將是成像對象的傅立葉變換和定向啁啾的深度相關傅立葉變換的積。通過搜索針對最佳匹配針對每個成像點的該積的特定深度的內核，可以確定場景深度，假定場景具有某個紋理，如下文所詳述的。

局部場景分片x的深度d可以通過貝葉斯估計從讀數y推斷如下。首先，每個深度的似然性p(y|d)可以通過基於y的傅立葉變換是x的傅立葉變換和深度相關PSF的積的知識並且利用照相對象的典型的功率譜的知識的另一貝葉斯估計計算。然後，該似然性p(y|d)由場景中的深度和深度改變的已知分布上的貝葉斯先驗加權以到達針對場景中的每個點處的深度的p(d|x)的事後機率。基於深度和深度改變先驗的場景的深度圖的貝葉斯估計以及與對應的確定性相關聯的深度的點向估計(由似然性p(y|d)中的峰的高度所指示的)是本領域的技術人員已知的技術，並且將不在此處進一步討論。在本申請中，真實的深度圖的知識對於針對與PSF的傅立葉變換交互的空間頻率中的顯著的傅立葉功率的那些圖像精確地準確的圖像恢復(不久地將被描述)是重要的。因此，準確的深度圖在場景具有精細紋理處並且在場景分片缺少與PSF的該紋理卷積不使場景中的圖像質量退化處是可能的。

然後，在圖像空間或傅立葉域中將傅立葉變換去卷積；問題尺度將指示這些中的哪一個是更快的。還可以使去卷積內核隨著針對韋納最佳重建的光強度變化(雖然人類傾向於偏好過度銳利的圖像；該銳利過濾器可以包含有去卷積濾波器來節省附加的步驟)。

選擇跟隨有去卷積的正確濾波器的結果是深度圖和原始圖像的重建。如果定向啁啾是傅立葉完整的，則重建圖像可以將相同數目的像素解析為陣列2115。這是不同的最全光照相機，並且通過每個像素讀數對去卷積問題貢獻有用的信息的事實可能的。在其中PSF的高頻率分量是小的情況下，處理器2120可以使最高的空間頻率平滑以避免添加太多噪聲。在低光條件中，照相機2100可以失去例如歸因於該效果的解析像素中的兩倍；這表示對現有全光照相機上的改進，其像素效率可以與4％一樣低。對於根據實施例的很好形成的定向螺旋和一般成像條件，具有多達六個光電檢測器間距的中瓣直徑的PSF應當不可逆來恢復具有多達至少0.25周圍每光電檢測器的空間頻率的圖像特徵(奈奎斯特頻率是光電檢測器陣列的主要維度中的0.5周期每光電檢測器間距)。這樣的性能部分取決於具有相關空間頻率處的足夠的調製傳遞函數的透鏡元件。

圖22是利用三個PSF 2205、2210和2215照射的像素2200陣列的一部分的平面圖。PSF 2205是表示銳利地聚焦點源的定向啁啾；給定陣列2200的間距，不能解析照明子結構。如果給定場景的所有點聚焦，則圖像解析度主要是陣列間距或衍射有線斑點的陣列間距和直徑的函數。

PSF 2210是表示不佳地聚焦點源的定向啁啾；空間調製表現為可以由陣列2200解析以定位圖像中的對應的點源的計算上豐富的PSF的旋臂。最後，PSF 2215表示其焦點在PSF 2205與2215中的那些之間的點源；空間調製可以再次解析以定位圖像中的對應的點源。

對於PSF 2210和2215二者而言，圖像的解析度由PSF螺線的臂之間的分離的較大的間距和間隔限制。在該圖示中，三個點源容易地定位在陣列2200的兩個維度中。而且，三個PSF的三個不同的圖案區域提供與陣列2200垂直的維度中的距離的測量。因此，像圖21A-D的照相機2100的照相機可以提供場的延伸深度、對於離焦對象的聚焦圖像和來自圖像數據的距離的測量。

圖23描繪了圖示根據一些實施例的照相機可以如何補償包括球面像差、彗形像差和Petzval場曲率的透鏡像差的三個螺旋2300、2305和2310。這樣的補償可以簡化主要透鏡設計並且允許在不犧牲圖像質量的情況下孔徑中的增加。

球面像差是其中透鏡的給定環體的焦距隨著環體的半徑線性地變化的條件。在圖21的配置中，該條件可以影響陣列上的定向啁啾的形狀。圖23的PSF 2300是假設的理想的啁啾，完美透鏡的結果。PSF 2305示出了可以起因於具有球面像差的透鏡的啁啾失真的類型。與PSF 2300相比較，PSF 2305具有在中心附近的相對線性臂。只要定向啁啾是完整的(不可逆以恢復圖像數據)，將不使成像性能退化。即使不完整，如果定向啁啾足夠地不可逆以將圖像恢復到期望的解析度，則成像性能可以可接受的。

如果穿過集中在透鏡上的不同的環體的光形成其中心隨著環體半徑變化的圖像傳感器上的環體，則透鏡具有彗形像差。如在PSF 2310中所示，彗形像差產生伸長並且失真、但是完整的螺線。Petzval場曲率是其中透鏡的焦平面不是平面的像差。與球面像差一樣，如果定向啁啾是足夠完整的，則可以取消彗形像差、Petzval場曲率和其他像差。

在一些實施例中，透鏡像差可以是有益的。對圖像平面的一側的PSF離焦可以覆蓋於圖像平面的另一側的PSF離焦相同大小的圖案區域。如果兩個這樣的PSF是相同的，那麼照相機可能不能夠在他們之間進行區分。透鏡像差可以使這樣的PSF可區分的，然而，諸如通過產生相反的非對稱性，並且可以因此允許根據一些實施例的照相機更好地區分沿著如射軸線的點源。

圖24描繪了圖示根據一些實施例的相位光柵的各方面的棋盤格光學元件2400。元件2400利用子元件2405的螺旋整體2410棋盤格——被描繪為曲線界限——其是跨越棋盤格邊界接近的(六邊形邊界用於圖示，並且在該示例中不表示物理結構)。對每個整體的子元件進行布置，使得由來自點源的元件2400覆蓋並且穿過整體2410之一的光形成具有代表整體的空間調製的PSF。在一個方面中，棋盤格光學元件還覆蓋什麼將否則將傳感器陣列作為模糊PSF穿透到當具有與假設PSF類似大小時包含高頻率子結構的PSF。

暫時返回到圖21D的示例，模糊斑點PSF 2160被假定為集中在螺旋特徵的整體上以產生螺旋PSF 2165。這在某種程度上是特殊情況。然而在一般位置中，在與照相機相同距離處的點源將具有包含從相鄰整體採集的至少一個整體2410的所有子元件2405的PSF，以及其中的一些空間地包裹。在圖24的示例中，PSF輪廓2415表示關於子光柵2410偏離中心的中瓣的區域，但是儘管如此覆蓋足夠的光柵特徵2405以產生不可逆的定向啁啾。一般而言，有益的是，整體2410之間的空間特徵的包裹基本上不更改結果定向啁啾的傅立葉變換的分量的幅度。可以沿著相鄰的整體的路徑掃描涵蓋整體2410之一的足夠的區域的像輪廓2415的圓形，同時對於沿著掃描路徑的所有中間圓形位置而言，掃描圓形包含被布置在包含在路徑的開始處的圓形中的所有定向處的光學子元件(例如，所有位置產生類似的光譜，但是具有偏移的相位)。

圖25描繪了由圖24的光柵2400產生的定向啁啾內的空間調製的豐富圖案如何促進離焦PSF的經改進的解析度。如在其他示例中，每個元件名字的前面(一個或多個)數字指示其中引入元件的圖形。使用該協定，元件24##和25##指代相應地在圖24和圖25中所描繪的特徵。

在圖25的頂行中，來自點源2500的光線穿過透鏡(未示出)並且到右如模糊的PSF 2510的輪廓2415涵蓋的區域2505的圖像24的棋盤格光柵2400上。光柵創建定向啁啾2515，其包括作為輪廓2415的區域內的子元件2405的結果的空間調製的豐富集合。啁啾2515不是螺旋的，因為PSF 2510未集中在整體上(啁啾2515的圖案被示出匹配PSF輪廓2415內的子元件2405的圖案)。然而，啁啾2515的空間調製是足夠的，該啁啾2515是不可逆的。

圖25的第二行與第一行類似，但是包括來自照射重疊區域2525以產生一對重疊的模糊的PSF 2530的相鄰點源2520的光線。光柵創建可辨別的一對定向啁啾2535和2540，其位置可以計算上反轉為比可以彌散的PSF 2530更高的解析度。分離地示出給右邊的啁啾2535和2540相互相位不同，因為每個PSF 2530侵犯光柵的稍微不同的區域。

圖25的第三行示出了照射具有重疊的模糊的PSF 2550的光柵的區域2545的九個點源2542的棋盤格，並且結果的九個定向啁啾共同地標記2555。如在最後的示例中，可以以比使用PSF 2550完成大得多的精度解析對應於定向啁啾2555的點源的位置。

圖26A和圖26B描繪了根據一些實施例的棋盤格光柵2600和2605。使用高特徵與低特徵之間的界限描繪光柵2600，然而光柵2605相應地以黑色和白色描繪了高特徵和低特徵。

圖27A和圖27B描繪了根據一些實施例的棋盤格光柵2700和2705。使用高特徵與低特徵之間的界限描繪光柵2700，然而光柵2705相應地以黑色和白色描繪了高特徵和低特徵。

圖28描繪了根據一個實施例的棋盤格光柵2800。光柵2800以相應地黑色和白色描繪了相對高和低特徵。

圖29描繪了根據另一實施例的棋盤格光柵2900。光柵2900以相應地黑色和白色描繪了相對高和低特徵。

圖30描繪了根據一些實施例可以被用於使用圖21A-圖21D中詳述的類型的照相機產生顏色圖像的濾波器陣列3000。濾波器陣列3000包括四個顏色濾波器，紅色濾波器3005、兩個綠色濾波器3010和3015和藍色濾波器3020。每個濾波器與什麼相當於像充當針對總體照相機的四個顏色通道之一的圖21A的照相機2100的照相機的實例相關聯。對於像照相機2100的每個照相機而言，感興趣的波長帶限於由光學路徑中的顏色濾波器傳遞的波長。

圖31描繪了顏色通道3100(結合圖30引入的實施例的四個顏色通道之一)。通道3100與圖21A-D的照相機2100類似，因此省略了詳細討論。簡單地，通道3100包括顏色濾波器，其光學特性應當被調諧用於由顏色濾波器、光柵3110和光電檢測器陣列3115準許的光頻率的透鏡3105。圖30的紅色濾波器3005被插入在光學路徑中的某個地方並且覆蓋整個視場(在該情況中在透鏡3105與光柵3110之間)。通道3100的特性(諸如透鏡3105的焦距、光柵3110與陣列3115之間的間距X、光柵3110的空間頻率範圍、光柵特徵的深度和光柵3110的組成和光柵子元件的幾何形狀)可以被優化用於所選擇的顏色。圖像處理器(未示出)可以將由顏色通道採集的信息組合來恢復顏色圖像。

顏色通道可以具有不同的焦距的固定透鏡或者可以具有相同透鏡但是透鏡與光柵之間的不同的間距。在具有不同的焦距的多個通道的照相機中，呈現最銳利的焦點的(一個或多個)通道可以被用於採集高解析度場景信息，同時其他相對地散焦通道可以提供顏色信息。將相對低解析度顏色信息「噴塗」在高解析度圖像上的技術對於本領域的技術人員而言是眾所周知的。

無論對於相同還是不同的感興趣的波長帶而言，具有多個通道的照相機提供可以與從定向啁啾導出的其他信息組合來製造場景的深度圖的視差的度量。還有利地，來自多個通道的信息可以被用於消除在其中對象展示欺騙性結構的情況下的深度的歧義。例如，具有聚焦螺旋圖案的場景可以看起來散焦到螺旋整體。在這樣的情況下，對一個或多個附加通道的交叉檢查可以通過選擇哪個「現實」與由不同的通道提供的圖像數據最一致解析二義性。

一些成像應用(諸如視頻監控)浪費相當大的功率和監測未改變的場景的存儲器資源。為了解決該問題，一些照相機支持其中圖像傳感器的空間和時間解析度劇烈地降低的低功率模式。感測較少的像素，並且較不頻繁地節省傳感器處的功率，並且相對少量的數據節省圖像處理和傳輸功率。在低功率模式中採集的圖像數據被用於檢測改變，並且所檢測的改變可以觸發照相機切換到支持高得多的空間和時間解析度的高性能模式。

圖32描繪了支持太高效以致於其使用(可選地)集成光電池供電的低功率模式的圖像改變探測器3200。檢測器3200可以實例化在單個半導體管芯上，並且在該實施例中包括具有重疊的光柵1700的光電檢測器陣列3205、將模擬信息從陣列3205轉換為數字數據的模擬數字轉換器(ADC)3210、處理、存儲和傳遞數位訊號的邏輯和存儲器3215和對其他元件中的每一個供電的光電池3220。無論實現在單個管芯還是多個管芯上，可以不透明地封裝檢測器3200，以及透射性窗口覆蓋光柵1700(和可選的光電池)的位置。

檢測器3200支持感測場景活動中的改變的低解析度低功率模式和採集響應於所檢測的運動的較高的解析度圖像數據的一個或多個幀的高解析度模式。雖然邏輯和存儲器3215可以支持改變檢測和成像功能，但是一些實施方式可以具有與成像不同的主要功能，以及改變檢測將輸入提供給晶片來添加態勢感知。在這樣的情況中，光電檢測器陣列3205包含足夠的元件以產生較高的解析度圖像可能不是必要的。

圖33將圖32的陣列3205描繪為像素300的陣列。八個非相鄰的像素3300變暗以指示在低功率模式中有效的子集。因為其可以出現在傳感器平面處，所以定向啁啾3305表示來自示例性成像點源的銳利地聚焦響應。

常規圖像傳感器將點源解析為傳感器陣列上的聚焦「點」。如果照相機將檢測非常小的運動，則甚至在低功率模式中必須維持有效像素的豐富集合。想像例如點源被解析為陣列3205上的銳利或模糊點，使得僅照射相鄰像素之一或集合。在該情況下，點源可以在沒有檢測的情況下相對於傳感器相當大地移動。在最壞的情況下，點可以在沒有檢測的情況下在有效像素3300與封閉陣列3205之間移動。

啁啾3305(由點源造成的照明的結果)包括改變照射比將解析斑點的包括非相鄰那些的更多像素的光強度的「臂」，並且當點源相對於傳感器移動時跨越許多像素3300掃描。因此，較小的像素3300需要輪詢以覆蓋比具有採用傳統聚焦光學元件的系統的視場。在該示例中，在X-Y方面內的任何方向上移動啁啾3305一個像素或兩個的點源的運動將影響有效像素3300中的至少一個，並且可以因此感測。感測可以包含來自不同的時間點處的光電二極體的相同子集的信號的模擬-數字轉換。在其他實施例中，模擬採樣和保持電路和比較器可以被用於成像視場中的信號改變。取決於應用，這樣的感測運動可以是感興趣的信息或可以被用於使低功率模式當中的檢測器3200採取和存儲相對高解析度數據的一個或多個幀。

一些實施例支持附加的操作模式或「階段」。在一個實施例中，例如，邏輯和存儲器3215支持三狀態機，其包括警戒階段、試驗階段和確認階段。在警戒階段中，監測n1個像素並且如果這些像素中的k1(<n1)改變連續的圖像幀之間的準則值θ1，那麼狀態機轉換到試驗階段。在試驗階段中，監測n2個像素並且如果這些中的k2(<n2)改變連續幀之間的準則值θ2，那麼狀態機轉換到狀態3，否則系統恢復到狀態1。如果系統處於狀態3，則監測n3個像素並且如果這些像素中的k3(<n3)改變連續幀之間的準則值θ3，那麼狀態機發射表示所檢測的圖像改變的信號並且保持處於狀態3，否則系統轉換到狀態2。

該系統的一個益處在於，由於光柵光學元件，因而每個光電檢測器像素隊視場中的位置的範圍作出反應；因此需要監測的像素的數目比在傳統的基於透鏡的系統中更低(耗散較低的功率)，其中每個像素對視場中的位置中的非常小範圍作出反應。電路分析示出一些ADC實施例可以獲得亞400nW圖像改變檢測，以及ADC 3210所要求的功率佔主導。針對支持降低的功耗的像素的輪詢子集的地址發生器電路對本領域的技術人員而言是眾所周知的，因此省略詳細討論。

光電池3220提供足夠的功率來支持環境光中的低功率模式，以及額外足夠對能夠支持高性能模式中的使用的突發的集成或外部能量存儲設備進行充電。在一些實施例中，檢測器3200包括分離或集成RFID晶片和相關聯的天線以允許圖像數據無線地檢索。檢測器3200可以支持其他形式的有線或無線連接，如由本領域的技術人員將理解的。在題為「Ultra-Miniature Low-Power Lensless Image Change Detector」的伴隨文檔中詳述具有光柵1700的陣列3205的示例，其通過引用併入本文。

可以使用標準CMOS過程創建陣列3205和光柵1700，並且其形成因此與任何數目的功能塊相容。實際上，能通過包括成像設備獲益的任何集成電路可以適於包括一個功能塊。例如，被稱為「智能微塵」的技術描述了其中許多微機電系統(MEMS)可以在分布式無線計算機網絡上操作來共同地執行各種感測和通信任務的系統。智能微塵設備可以在一側是大約幾毫米，其容易地足以包含本文詳述的類型的傳感器。在一個實施例中，例如，發明人創建在一側是200微米的128x128像素傳感器。本文詳述的類型的圖像傳感器可以集成如此便宜以致於其可以包含到信用卡中或出於安全性目的的其他形式的標識或促進微型機器人領域中的視覺系統。

圖34描繪了具有重疊或懸浮在光電傳感器3415(例如，光電二極體)的一維陣列3410上的光柵3405的圖像傳感器3400。光柵3405展示PSR，其展開圖像特徵來照明跨越底層像素的圖案。光柵3405具有平行奇對稱界限3420，並且可以具有相同或不同帶寬或沿著一個或多個界限的不同的帶寬的特徵3425——垂直帶。在一個實施例中，光柵3405具有垂直帶的三個集合的集合，每個帶被優化用於可見光波長的不同帶(相應地短、中和長波長光)。具有採用足夠數目的空間頻率的寬度和間距的必須多樣性的平行界限可以對一維圖像(例如，條形碼)進行成像或可以跟蹤水平維度X上的對象或光柵的相對運動。

傳感器3400提取沿著水平軸X的信息。處理器(未示出)可以使用具有Tikhonov正則化的脊回歸和閾值化恢復圖像來處理由陣列3410採集的圖案。像素3415的縱橫比傾向於沿著垂直線平均強度，其改進信噪比。在條形碼的情況下，結果圖像可以用作對用於條形碼的讀數的傳統過程的輸入，其可以由處理器或在其他地方執行。

傳感器3400可以適於紅外(IR)圖像檢測。在IR透鏡(例如，單晶質鍺)的製造中使用的材料相對於針對可見光的那個一般地是昂貴的，並且IR透鏡的成本傾向於隨著其線性大小的立方進行縮放。因此，使IR傳感器小來將成本降低到實際的水平。小大小指示具有高尺寸精度比例的小熱傳感器。僅存在能夠給定一側的熱波長(大約10μm)的縮放的像素中的好的室溫熱性能的幾個材料和技術。高質量真空密封熱換能器是當前工業標準，因為其提供適當的大小處的足夠的性能。然而，這樣的換能器是過分地昂貴的。傳感器3400消除對於分離的透鏡的需要，並且劇烈地降低IR透射性材料的大小和體積。便宜的熱光學元件慮及具有相對較大的區域的傳感器，因此在不過度地折衷性能的情況下可以使熱準確度每單位面積相當地更低的。因此，可以使用較大的不太昂貴的熱換能器。

圖35是可以被用於IR照相機的服務中的圖像34的陣列3400的1D陣列3505-熱輻射測定器的兩個像素3500的剖視圖。每個像素3500包括經由一對點接觸3520懸浮在反射器3515上的IR吸收材料3510的條帶(僅示出一個接觸3520)。元件被安裝在例如矽的襯底3525上。每個條帶3510展示隨著對附近IR輻射的曝光變化的其相應接觸3520之間的電阻。可以包括反射器2515以通過向材料3510向上反射回IR光改進敏感性。電路周期性地讀取針對材料3510的每個條帶的電阻值以形成陣列3505暴露於的圖案的一維圖像。

條帶3510與反射器3505、重疊光柵(例如，圖34的光柵3405)和用於熱隔離的相關電路相互分離。在一些實施例中，傳感器3400密封並且要麼撤出要麼空氣利用具有較低的熱導率的氣體替換。

條帶3510是大約幾十微米寬。可以使其縱橫比高(例如，至少10：1)。具有高縱橫比的條帶傾向於沿著其長度平均強度，其增加信噪比並且使接觸3510的導熱性遭受降低的影響。而且，光柵相對於常規IR透鏡的重要的相對低的成本意味著可以使聚焦光學元件和傳感器二者相當地更大並且對於給定價格點更靈敏。與光子檢測器相反，條帶3500是熱的並且可以是例如熱敏電阻、熱電偶或電阻性熱設備；有利地，這些設備提供比光電二極體或光伏檢測器更低頻率的光譜範圍。在一些實施例中，例如，條帶3510具有超過五微米的室溫光譜範圍(例如，在五微米與二十微米之間)。可以使用在Flemming等人的美國專利號8,709,702中詳述的微製造技術做出適合的檢測器，其通過引用併入本文。

在一個示例中，熱輻射測定器像素是大約一釐米長。這樣的像素可以使用體相過程(諸如噴墨印刷、LCD製造技術或卷對卷列印)製造來降低或最小化製造成本。像素3415的間距可以是例如50μm，這產生沿著垂直於像素的維度的大約200熱測量結果每cm(例如，在圖34中的X軸)。在其他實施例中，熱輻射測定器像素被布置在1D光柵下面的2D陣列中。在這樣的情況下，可以沿著垂直於針對經改進的信噪比的1D光柵的像素列平均圖像強度。然而，在其他實施例中，光柵和傳感器二者可以是產生1D或2D圖像的2D。在其他實施例中，像素可以具有例如熱電或鐵電材料，或者可以包括產生獨立的測量結果的不同的類型的材料。

許多熱感測應用不要求全熱視頻——其僅需要測量在何處移動的溫暖身體在場景中。例如，運動檢測器被用於例如接通或關斷照明或者加熱或者提供入侵者警報。不像其中照明改變的可見場景那樣，移動陰影等可以引起對固定對象的照度的大的改變，固定熱身體(具有高發射性的至少一個)將不非常迅速地改變其熱發射。例如，對比在30fps視頻中的場景周圍的背景移動溫暖10K的手部進行比較。由手部運動影響的場景像素的熱時間倒數多達300K/s；比除可能燃燒的開始外的任何家用的加熱過程快得多。

圖36圖示了被布置在相對於場景的不同的定向處的多個1D傳感器可以如何被用於定位稀少的移動的熱物體。一般而言，熱場景由不同的定向處的N個一維熱傳感器的集合採樣(通常地在π/N弧度的定向增量處，但是參見下文)。

在圖36中，熱場景3600由四個一維傳感器(未示出)測量，其中的每一個具有1x 77個像素的解析度。每個線性陣列測量熱場景的1D投影。四個繪圖3605、3610、3615和3620表示這些投影和場景周圍的相應傳感器的相對定向。例如，繪圖3605表示從上到下的感興趣的IR帶寬的場景3600的水平平均強度；並且繪圖3615表示從左到右的相同帶上的場景3600的平均強度。特徵3630和3635示出了沿著歸因於相對溫暖的貓和蠟燭的水平軸的相對高強度。使用相對於水平近似45度定向的1D傳感器取得的繪圖3610不在貓與蠟燭之間進行區分。

隨著熱對象移動，來自傳感器中的每一個傳感器的圖像偽影跟蹤生成他們的對象。因此，從多個1D照相機取得的圖像可以組合以解析2D圖像，以及更多傳感器產生更多信息和更好的解析度。在一些實施例中，(一個或多個)傳感器可以旋轉以採集不同的角處的數據，並且該數據也可以被用於解析2D場景。在圖36中，右上繪圖3625是對於問題「what sparse combination of locations seems to have thermal motion？」的基追蹤去噪方案。場景3600是來自其中貓正移動的視頻的幀，並且繪圖3635中的亮斑一般地代表該運動。

為了計算在何處存在來自僅幾個一維投影的熱運動源，我們解決欠定層析技術問題。如果熱場景是N x N並且存在四個傳感器，那麼存在擬合N2個未知的可用的4N個測量結果，並且一般而言存在各自完美地擬合數據的方案的(N-4)N維空間。我們使用一個或多個附加約束條件來從擬合數據的該子空間當中選擇「正確的」方案。

如果我們期望僅場景中的幾個位置使其溫度從最後的採集劇烈地改變到下一個，那麼我們可以使用該稀疏性找到熱改變的最可能的集合。為此，我們可以利用N2個未知和4N個觀察解決基追蹤去噪(BPDN)問題。可以通過在P.R.Gill,A.Wang和A.Molnar「The In-Crowd Algorithm for Fast Basis Pursuit Denoising」IEEE TRANSACTIONS ON SIGNAL PROCESSING,第59卷,第10號,2011年10月(第4595-4605頁)中詳述的In-Crowd算法解決該縮放的BPDN問題，其通過引用併入本文。BPDN還提供信號的噪聲移除——我們查明5％的噪聲水平是相當可接受的並且不定性地影響熱運動定位。小現代移動圖形處理器可以以視頻速率執行該計算。變型可以利用Radon變換進一步加速問題。對圖像重建的另一約束條件是時間連續性。多幀創建(將例如Kalman過濾使用在時間域和空間域中)一般地通過對噪聲進行平均改進這樣的情況中的估計。

標準熱成像上的熱運動定位的一個優點在於，熱傳感器傾向於對他們的某種程度的時間漂移，並且因此要求周期性非均勻性校正(NUC)。由於本申請對於信號的時間導數靈敏，因而熱非均勻性是不太有害的並且校正非均勻性可以整個降低或避免。

利用足夠的定向處的足夠的1D信息，熱場景自身和不僅其時間導數可以通過反Radon變換(也被稱為濾過反向投影)重建。甚至在沒有工作的傳統技術(諸如濾過反向投影)的足夠的1D信息的情況下，關於欠定層析技術問題的總變型或TV規範最小化利用計算上易處理的算法恢復場景信息。在S.Hashemi,S.Beheshti,P.Gill,N.Paul和R.Cobbold「Efficient Low Dose X-ray CT Reconstruction through Sparsity-Based MAP Modeling」(2014年2月8日)中詳述了一個這樣的算法，其在http://arxiv.org/abs/1402.1801處是可用的。Hashemi等人的該參考文獻通過引用併入本文。對於迅速地運行的一些高級反演技術而言，將角定向與偽極性組斜率間隔可以是有利的，因為當生成矩形陣列作為最終圖像時，該間距方案可以導致較少的重建偽影。

本文詳述的類型的1D成像設備可以被用於使用雙目差異對熱源進行排列。在該情況下，具有由其敏感性的方向上的某個數量分離的兩個或兩個以上1D傳感器的系統基於由兩個傳感器採集的圖案之間的差異，採集關於熱源的深度的信息。

圖37描繪了包括結合圖34和圖35上文詳述的類型的八個1D傳感器3400以及提供成像場景的獨立測量結果的22.5度的角間距的照相機3700。包括可見光照相機3705，使得由傳感器3400所觀察的熱改變可以與可見光圖像配準。照相機3700包括：讀電路3710，其被耦合到傳感器3400的集合以讀取代表其相應的所採集的1D圖像的信號；和處理器3715，其解譯來自讀電路3710的信號以產生代表成像場景的期望的輸出信號。

解譯其採集的圖案使用的圖像傳感器和算法可以被裁製以執行特定圖像採集任務。可以簡化其中其被期望具有共同特性的算法。在條形碼的情況下，例如，二進位強度的假定可以被用於簡化將採集的圖案轉換以恢復代碼的過程。數據的其他光學機器可讀表示可以具有不同的期望特性。

圖38A和38B是詳述如何使用圖17的光柵1700採集和解析QR代碼3805的流程圖3800和假定二進位圖像的反演算法的實施例。第一，在步驟3810中，QR代碼3805操作地被定位在圖像傳感器附近，使得光柵1700可以根據QR代碼調製所接收的光場並且底層的傳感器陣列可以採集強度圖案3815，其包括結果響應和來自例如傳感器陣列的任何噪聲二者。圖案3815承載對QR代碼3805的很少相似點但是當與光柵1700的響應1930組合時包含足夠的信息來恢復代碼。

上文結合圖19詳述了響應1930。在該討論中還注意由圖案3815所表示的響應和噪聲與響應1930組合以形成反演問題，其被解決(1925)以恢復原始QR代碼的噪聲、灰度版本3820。該示例基於低解析度校準和相對於圖19的示例的增加的噪聲以基於例如二進位圖像的假定圖示正則化的益處。

一般而言，正則化過程引入附加信息來降低噪聲、解決不適定的問題或防止過度擬合。在該示例中，為了恢復原始QR代碼，反轉過程考慮QR代碼的二進位特性。例如，閾值可以應用到灰度圖像3820的數據，以及過程相應地將像素設置在閾值以下和以上到暗和亮。其他實施例利用針對正則化的期望場景的其他已知特性來改進圖像識別。

然後，響應1930可以被用於反轉結果圖像。將該反轉的結果與圖案3815相比較來確定擬合。快照圖像的單獨像素然後以隨機和反轉來反轉並且重複比較步驟來確定改變是否改進或退化擬合。可以重複這些步驟直到圖案集中到最佳擬合。更一般地，諸如模擬降溫和遺傳算法的技術可以被用於找到其對應的期望信號最佳地匹配所觀察的數據3815的二進位值標記。該匹配函數可以是均方差，首先同方差數據的泊松噪聲知道的度量，或者更一般地，度量可以反映可能的信號圖案中的期望相關性。然後，搜索解碼二進位代碼變為給定所觀察的數據，從要麼最大似然性方法(允許任何代碼)要麼貝葉斯搜索(其中包括關於代碼內容的先驗概率)找到最可能的代碼。

備選地，高閾值和低閾值可以被用於快照由已知的真實黑色值和白色值的Tikhonov正則化所採集的圖像3820的亮像素和暗像素，留下針對閾值之間的像素的灰度值。結果快照圖像與Tikhonov圖像之間的差異是由於噪聲。然後，從黑暗像素「取得」的殘餘亮度和從變亮的像素取得的黑暗被重新分布在中間值中間。具有低空間頻率的圖像特徵一般地比具有較高的空間頻率的那些更容易解析，因此該方法傾向於區域地分布高頻率亮度(3830)。例如，太亮的像素意味著鄰近地區中的其他未知像素在Tikhonov圖像中被表示為太弱的。該理解可以被用於加快最佳擬合上的收斂。如果八個相鄰像素中的六個已知是黑色或白色，則剩餘的兩個表示僅未知。如果Tikhonov圖像中的已知像素包括過剩的亮度，那麼未知像素可能地被表示為太弱的。

因此，實現該重新分布的一個方式如下。首先，計算二進位標記的Tikhonov重建3820。然後，通過Tikhonov重建中的其明白地暗和亮值標識已知的黑像素和白像素。然後，利用具有正確值的已知真實的黑和白區域生成「快照」圖像3825，但是所有其他值如由原始Tikhonov重建給定。然後，生成將利用該快照圖像獲得的期望數據。然後，計算期望數據與觀察數據3815之間的差。然後，應用關於該差的Tikhonov正則化圖像重建來獲得校正。然後，將該校正添加到原始Tikhonov重建3820來獲得低噪聲重建3835。

結果圖像3835類似QR代碼3805但是包括什麼應當是QR代碼邊界外的噪聲。過程檢測邊界(3840)來產生QR代碼3805的最終圖像3845。圖像3845與QR代碼3805不同，但是代碼自身包括某種誤差校正，並且這足以校正那些誤差。圖像3845以本領域的技術人員好理解的方式被解譯為QR代碼。

二進位標記常常具有相當地不像大多數自然場景的二階統計數字。例如，代碼39條代碼僅具有垂直定向，並且QR代碼具有近似平坦的功率譜直到由其構成點的寬度的倒數管理的空間頻率。相比之下，自然場景通常地具有1/f^2功率譜。

由於本地衍射光柵的操作近似卷積，光電二極體上的感測信號的功率譜將是近似光柵的PSF的傅立葉幅度譜和場景的傅立葉幅度譜的積。由於條形碼和QR代碼的功率譜不像大多數自然場景中的那些，因而當存在QR代碼或條形碼時，傳感器讀數的功率譜將同樣地明顯不同的。因此，僅使用傳感器讀數的二階統計數字中的一些的粗略採樣，人們可以確定視場中的目標是例如條形碼還是QR代碼。當傳感器呈現有大多數自然場景時，該粗略採樣可以具有非常低的假陽性率。因此，可以避免成像和解譯這樣的代碼採用的計算來節省功率和處理器帶寬。

基於眼鏡的移動顯示器(諸如Google眼鏡、Samsung Galaxy眼鏡)和其他系統需要準確並且快速地知道眼睛的注視的方向，例如以確定用戶的感興趣焦點、使視覺顯示器偏移和控制指向。一種用於估計眼睛中的注視的方向的方法是通過監測Purkinje圖像的位置——從眼睛中的四個表面反射的小源的圖像的二維空間位置(外角膜、內角膜、外眼透鏡和內眼透鏡)。在一些系統中，源是小IR LED，並且圖像監測IR有透鏡的照相機。

基於Purkinje圖像的注視檢測可以實現在眼鏡中，其中安裝在眼鏡框(例如)上的IR LED和安裝在眼鏡框上的其他地方的小成像器被用於監測Purkinje圖像的位置。常常地，在遠程計算機(例如，行動裝置或專用處理器)上完成處理。

對於傳感器的空間和重量要求是嚴重的——特別地其厚度要求。具有被優化用於檢測Purkinje圖像的位置的光柵和處理的無透鏡智能傳感器將支持眼睛注視跟蹤。

目鏡調節是目鏡改變用於聚焦在附近或遙遠對象上的其曲率(在眼睛睫狀肌的控制下)的過程。Purkinje圖像的位置可以被用於推斷目鏡的曲率和因此眼睛的適應的深度。可以使用本文所描述的類型的一個或多個圖像傳感器確定這樣的信息。

圖39描繪了採用無透鏡IR傳感器3905監測眼睛3910的運動的眼球追蹤系統3900。IR LED 3915將IR光的波束照耀到眼睛3910中。該光對於眼睛不可見，但是引起若干反射P1-P4——所謂的「Purkinje圖像」——其可以被用於跟蹤眼睛運動。最亮的Purkinje圖像P1對角膜3920的外表面反射，並且被稱為閃光；第二圖像P2反射角膜的內表面；並且第三和第四偏離透鏡3925的相應的外表面和內表面。傳感器3905可以具有濾波器3930，其通過排除來自LED 3915的IR帶外的光改進信噪比。來自LED 3915的光可以以某種方式(諸如通過極化或在已知速率或圖案處閃爍)調製來輔助將Purkinje圖像與背景區分。然而，恢復Purkinje圖像，那些圖像的位置隨著眼睛運動改變。因此，具有對存儲器3955的出口的微控制器可以基於Purkinje圖像的星座計算眼睛3910的位置。

圖40(現有技術)描繪了Purkinje圖像P1-P4的模擬棋盤格。強度的跨度減小以便於圖示；實際星座中的相對強度跨越一系列粗略地100x。

圖41表示通過包括結合圖17A和圖17B詳述的類型的螺旋光柵的IR傳感器3905的實施例的原始光電檢測器信號採集的圖40的相同星座，但是針對其奇對稱的線的間距被優化用於LED 3915的IR帶寬。每個Purkinje圖像由螺旋幹涉圖案表示。如結合圖19上文所詳述的，可以處理這些圖案來定位Purkinje圖像。結果數據表示針對四個斑點中的每一個的兩個維度。眼睛位置和焦點可以與Purkinje星座相關，並且可以針對給定眼睛和應用校準這些相關性。用於使用Purkinje圖像跟蹤眼睛位置的方法對於本領域的技術人員而言眾所周知，因此出於簡潔省略詳細討論。

由於在手邊的任務是定位Purkinje圖像而不是完成成像，因而若干備選光柵設計可以被用於該應用。例如，圖9和圖10的徑向和同心光柵可以通向比螺旋更容易找到的點位置，並且圖15和圖16的光柵可以通向比給定完整的空間頻率信息的光柵更小的光柵。

定位來自像圖41中的那些的圖案的Purkinje圖像的一個方式是找到最亮的圖案、定位對應的Purkinje圖像並且從總體傳感器信號提取圖案，留下三個剩餘的圖案。可以針對每個圖案重複該過程直到定位每個Purkinje圖像。如上文所指出的，Purkinje圖像跨越亮度的相當大的範圍，並且最亮可以使傳感器飽和。所提出的方法固有地較不易受飽和影響，因為來自最亮的閃光的信號散步在許多(可能地幾百個)光電檢測器上。然而，在一些情況下，光電檢測器上的若干像素可以變為飽和的。在這種情況下，利用找到圖像中的點的以上標識和減法方法，人們可以考慮若干像素可以已經變為飽和的。人們還可以忽視以上搜索中的任何飽和像素。更複雜的方法可以要求恢復點和強度的任何候選集合足以使實際上被觀察為飽和的那些像素飽和。

圖42描繪了與支持操作性位置中的傳感器3905和LED 3915的幀4200相反的圖39的眼睛3920。框4200是例如眼鏡框。結合先前附圖如上文所描述的是剩餘的元件。

圖43描繪了具有兩側中的每一個的傳感器4305和光源4310的陣列的眼鏡框4300。每個光源4310產生Purkinje圖像的唯一棋盤格，並且來自傳感器4300的信息可以組合以改進跟蹤。一般而言，可以針對每個眼睛提供N個傳感器和M個光源。源4310可以提供可區分的波長、極化或者可以時間多路復用以允許傳感器4305對他們進行區分。框4300中的透鏡4315可以包含IR截止濾波器以降低朝向眼睛的IR傳輸，並且因此改進針對射到傳感器4305上的信號的信噪比。

圖44描繪了根據包括例如橋中的前面照相機4405的實施例的一副智能眼鏡4400。傳感器和光源在照相機4405對面側，並且因此未示出。必需的電子產品中的一些或全部可以安裝在模板4410上或其內。備選地，外部電子產品4415可以使用要麼有線要麼無線連接被耦合到由眼鏡4400支持的電子產品。眼鏡4400可以包含抬頭顯示器、耳機或二者。

具有照相機的實施例可以使眼睛跟蹤與由照相機採集的圖像相關以記錄觀察者考慮什麼。例如，眼鏡4400可以檢測臉並且向觀察者呈現或呼出名字，可以轉譯符號或菜單，或可以報告觀察者考慮廣告或路標花費的時間。

前述示例採用具有PSF的奇對稱光柵，所述PSF將來自點源的光聚焦到跨越相對大數目的非相鄰像素空間分布的螺旋圖案。該質量與典型的透鏡相反，其中點源被解析為聚焦點或未聚焦的模糊點。其他實施例可以包含不同的類型的無透鏡傳感器來產生跨越非相鄰像素空間分布的PSR。例如，光柵可以使用菲涅耳波帶板或菲涅耳波帶板的重疊部分產生適合的衝激響應。

雖然已經結合特定實施例描繪了主題，但是也設想其他實施例。例如；雖然先前詳述的每個光柵可以結合光感受器被用於採集入射光，但是根據這些和其他實施例的光柵可以更一般地使用在投影來自光電發射器的圖像而不是或補充感測其的成像設備中；如使用透鏡所描述的照相機還可以採用其他類型的光學元件(例如，反射鏡)；感興趣的波長帶可以比前述示例的那些更寬或更窄，並且可以是不連續的；並且本文詳述的照相機和光柵可以適於使用在多孔徑或可編程孔徑應用中。其他變型對於本領域的技術人員而言將是明顯的。因此，隨附的權利要求的精神和範圍不應當限於前述描述。僅特別地記載「用於......的裝置(means for)」或「用於......的步驟(step for)」的那些權利要求應當以在35U.S.C.§112的第六段下所要求的方式解譯。