使用具有空間變化閾值的二進位傳感器陣列的強度估計的製作方法
2023-05-06 09:19:51 1
專利名稱：使用具有空間變化閾值的二進位傳感器陣列的強度估計的製作方法
技術領域：
本發明的示例性和非限制性的實施方式一般地涉及成像系統、方法、裝置和電腦程式，並且更具體地，涉及使用由光傳感器的陣列構成的光傳感器陣列的成像系統，該光傳感器的陣列產生二進位輸出信號。
背景技術：
該部分旨在提供權利要求中所描述的本發明的背景或上下文。這裡的描述可以包括可能被追尋的概念，但不必是之前已經被想到、實現或描述的那些概念。因此，除非在這裡相反地指示，在這部分所描述的內容並不是本申請的說明書和權利要求書的現有技術，並且不會因為包括在此而被承認是現有技術。最近已經感興趣用小的二進位光電傳感器的二維陣列替代傳統的(XD(電荷稱合器件)光電傳感器。這方面可以參考例如E. R. Fossum, What to do withSub-Diffraction-Limit(SDL)Pixels A Proposal for a Gigapixel Digital FilmSensor，Proc. of the 2005 IEEE Workshop on Charge-Coupled Devices and AdvancedImage Sensors,Karuizawa,日本，2005 年 6 月；L Sbaiz，F. Yang，E. Charbon，S. Siisstrunk，M.Vetterli, The gigavision camera，Proc. of IEEE International Conference onAcoustics，Speech and Signal Processing (ICASSP)，2009，第 1093-1096 頁；以及L. Sbaiz, F. Yang, E. Charbon, S. Siisstrunk, M. Vetterli, Image reconstruction ingigavision camera, ICCV workshop 0MNIVIS 20090由於相比較於傳統的光電傳感器(例如CCD光電傳感器)，二進位光電傳感器的尺寸小，可以合理地假定二進位傳感器陣列的傳感器單元的數目(例如，16-256個單元)小於愛裡斑的傳感器單元(例如，可以位於愛裡斑的尺寸內)的數目。因此，可以合理的假定傳感器陣列上的光子分布可以建模為同質二維空間泊松過程。任務接著變為確定在給定二進位傳感器陣列的輸出下的光強度。二進位傳感器是僅具有兩個狀態的簡單傳感器初始為零，並且檢測到的光子的數目超過某個預定的閾值，狀態改變為一。現有技術的二進位傳感器系統已經僅考慮固定閾值的二進位傳感器。
發明內容
根據本發明的示例性實施方式，上述和其他的問題被克服，並且其他優勢被實現。
在其第一方面中，本發明的示例性實施方式提供一種設備，其包括包含N個亞衍射極限光傳感器的陣列，每個亞衍射極限光傳感器具有用於從復位狀態向激活狀態切換的關聯光吸收激活閾值，其中光吸收激活值位於一個值範圍內。該設備進一步包括與存儲器連接的處理器，該存儲器包括電腦程式代碼，其中存儲器和電腦程式代碼被配置成與處理器一起，使得該設備至少執行基於陣列的電輸出來估計照射該陣列的光強度。在其另外的方面中，本發明的示例性實施方式提供一種方法，其包括提供包含N個亞衍射極限光傳感器的陣列，每個亞衍射極限光傳感器具有用於從復位狀態向激活狀態切換的關聯光吸收激活閾值，其中光吸收激活值位於一個值範圍內；以及基於陣列的電輸出來估計照射該陣列的光強度。實施方式的進一步例子提供在所提交的權利要求I到30中。
在下面的具體實施方式
中，當結合附圖閱讀時，本發明的示例性實施方式的上述和其他方面將變得更為明顯，其中圖IA示出示例性二進位傳感器陣列的頂視圖；圖IB示出二進位傳感器的激活；
圖2圖形地繪出關於強度被激活的傳感器數目的期望值；圖3圖形地繪出關於強度被激活的傳感器數目的期望值的導數；圖4繪出用於實現圖IA的光傳感器的接收器的一個合適和非限制性類型的電路；圖5示出可以被構建為包括根據本發明的示例性實施方式的圖像傳感器的裝置的框圖；圖6是示出根據本發明的示例性實施方式的方法的操作以及包括在計算機可讀存儲器上的電腦程式指令的執行的結果的邏輯流程圖。
具體實施例方式本發明的示例性實施方式涉及數位照相機光傳感器技術，並且更具體地，涉及更具體地，涉及具有指數級很高數目的像素(「位單元」)的二進位類型傳感器(「接收器」)，數目可能超過10億(「千兆」，IXlO9)。如上所指出，「二進位」意味著每個此類的傳感器或接收器單元可以僅具有兩個可能的值零(未曝光的)或一(曝光的)。本發明的示例性實施方式也涉及所謂的亞衍射極限傳感器或接收器。這意味著投射在接收器上的圖像並不是極為平滑，而是相比較於傳感器元件的尺寸而言或多或少「模糊」。本發明的示例性實施方式考慮比先前已經考慮過的更為一般的情形，其中陣列中的每個二進位傳感器具有固定然而任意的閾值。陣列中的每個二進位傳感器的閾值可以假定為初始未知。在下面的描述中考慮兩種不同的情形。在第一個情形中，假定可以獲得一些訓練數據，即，測試二進位傳感器陣列並且光強度值以及二進位傳感器陣列的相應輸出被記錄。陣列中每個二進位傳感器的閾值接著可以使用例如貝葉斯推理來確定。在第二情形中，假定無法獲得訓練數據。該第二情形可以進一步劃分成兩個子情形，在第一子情形中(本發明的示例性實施方式最為感興趣)，閾值的概率質量函數是已知的或至少被近似。在第二子情形中，不知道關於閾值的任何情況。本發明的示例性實施方式從事並且解決使用有限二進位傳感器陣列來估計光子強度的問題。相比較於使用同質二進位傳感器的陣列，提供了具有空間變化閾值的二進位傳感器的陣列。可以對圖IA做出參考，該圖IA用於示出二進位傳感器2的示例性陣列I的頂視圖。傳感器2以由1和7軸定義的規則網格圖案來安排(在該非限制性實施方式中)。總計有N個傳感器，其中N具有例如大約IO6到大約IO9或更大範圍內的值。與陣列I關聯的是讀取電子電路3的框圖，該電子電路3配置成對傳感器2進行尋址並且讀取傳感器值，以及數據處理器4，其與體現為存儲器5的數據存儲介質連接。存儲器5存儲計算機軟體程序(Prog) 6,當由數據處理器4執行時，使得經由讀取電子電路3接收到的傳感器輸出被處理。在圖IA中示出的各種組件 可以包括圖像捕獲(照相機)晶片、晶片組或模塊8，其可以以單機的方式使用，或者可以併入進另一個裝置或設備中。在圖5中示出一個示例性實施方式，其中圖IA的照相機模塊8可以形成併入進用戶設備(例如，併入進蜂窩電話)的照相機28的所有或一部分。圖IB示出一些二進位傳感器2的激活的例子。傳感器F和H沒有被激活，因為沒有光子在它們上撞擊。傳感器B、C、D和G被激活(即，假設邏輯一狀態)，因為它們接收(吸收)數目等於或大於它們各自的閾值的光子。傳感器A和E保持不活躍(即保持在邏輯零狀態)，因為它們接收(吸收)數目小於它們各自的閾值的光子。假設每個二進位傳感器2的閾值固定但未知的情形。此外，假設可以獲得訓練數據。首先，訓練數據用於求解(或估計，取決於數據的數量)每個二進位傳感器2的閾值。接著，給定曝光的二進位傳感器陣列I的輸出，使用二進位傳感器2的閾值和它們的方位(位置)的知識來估計強度。假設在二維陣列I中存在N個傳感器2，數目從I到N。第i個二進位傳感器的狀態Si是貝努裡隨機變量，並且傳感器i的閾值Ti是離散正隨機變量。進一步假設具體二進位傳感器2的狀態獨立於其他傳感器2的狀態。我們的第一個任務是確定每個傳感器的閾值，給定訓練數據的集合S，包括二進位傳感器的輸出0/}，以及相應的強度入u)，其中i =1，...，N，並且j = 1，...，|S|。每個傳感器2的閾值獨立於其他傳感器的閾值來確定。給定傳感器i的閾值Ti = \和光強度\，傳感器i被激活的概率是
-I n Ar -APiSi = \\ ti,X) = \-^j~——
yt=0
o從上面接著可以將針對閾值Ti的似然函數寫為PiSi I Ti = O = = 11 m = 0 I,
j其中Si是對應於第i個傳感器的S的子集。可以使用例如最大似然估計來估計傳感器i的閾值Ti的後驗模式。假設傳感器2的閾值彼此獨立。如果相鄰傳感器的閾值不是獨立的，則馬爾可夫隨機域的理論可以用於加速學習(例如，參見G. Winkler,圖像分析，隨機域和馬爾可夫鏈蒙特卡洛法施普林格，2003)。現在假定針對所有i = 1，. . .，N確定第i個二進位傳感器的閾值T」給定二進位傳感器陣列I的輸出(\)^，下一個步驟是估計光子強度。如前，針對強度、的似然函數可以寫為P((Sj)% I A) = YlPiSi = 11A)" PiSi = 01 A)1'"
卜Io
針對強度入的估計現在可以通過使用例如具有先驗分布
權利要求
1.一種設備，包括 包含N個亞衍射極限光傳感器的陣列，每個亞衍射極限光傳感器具有用於從復位狀態向激活狀態切換的關聯光吸收激活閾值，其中所述光吸收激活值位於一個值範圍內；以及 與存儲器連接的處理器，該存儲器包括電腦程式代碼，其中所述存儲器和電腦程式代碼被配置成與所述處理器一起，使得該設備至少執行基於所述陣列的電輸出來估計照射所述陣列的光強度。
2.根據權利要求I所述的設備，其中估計使用訓練數據來確定每個傳感器的所述光吸收激活閾值，並且基於所述陣列的所述電輸出，使用所述傳感器的確定的光吸收激活閾值和它們的位置來估計所述強度。
3.根據權利要求2所述的設備，其中估計使用貝葉斯方法。
4.根據權利要求2所述的設備，其中估計使用前饋神經網絡，其中所述訓練數據用於訓練所述神經網絡以從所述陣列的所述電輸出估計強度。
5.根據權利要求I所述的設備，其中估計使用所述陣列的所述電輸出來確定被激活的傳感器的數目以及概率質量函數，以確定所述傳感器的所述光吸收激活閾值的分布。
6.根據權利要求5所述的設備，其中估計所述強度使用最大似然估計。
7.根據權利要求I所述的設備，其中N位於大約IO6到大約IO9或更大的範圍中。
8.根據權利要求I所述的設備，其中所述光吸收激活值位於大約I到大約4的值的範圍內。
9.根據權利要求I所述的設備，體現為用戶設備中的照相機。
10.一種方法，包括 提供包含N個亞衍射極限光傳感器的陣列，每個亞衍射極限光傳感器具有用於從復位狀態向激活狀態切換的關聯光吸收激活閾值，其中所述光吸收激活值位於一個值範圍內；以及 基於所述陣列的電輸出來估計照射所述陣列的光強度。
11.根據權利要求10所述的方法，其中估計使用訓練數據來確定每個傳感器的所述光吸收激活閾值，並且基於所述陣列的電輸出，使用所述傳感器的確定的光吸收激活閾值和它們的位置來估計所述強度。
12.根據權利要求11所述的方法，其中估計使用貝葉斯方法。
13.根據權利要求11所述的方法，其中估計使用前饋神經網絡，其中所述訓練數據用於訓練所述神經網絡以從所述陣列的電輸出估計強度。
14.根據權利要求10所述的方法，其中估計使用所述陣列的所述電輸出來確定被激活的傳感器的數目以及概率質量函數，以確定所述傳感器的所述光吸收激活閾值的分布。
15.根據權利要求14所述的方法，其中估計所述強度使用最大似然估計。
16.根據權利要求10所述的方法，其中N位於大約IO6到大約IO9或更大的範圍中。
17.根據權利要求10所述的方法，其中所述光吸收激活值位於大約I到大約4的值的範圍內。
18.根據權利要求I所述的方法，其在體現為用戶設備中的照相機模塊中執行。
19.一種設備,包括 多個亞衍射極限光傳感器，其中每個傳感器具有用於將所述傳感器的輸出狀態從第一狀態向第二狀態切換的關聯激活閾值，並且其中至少一些所述傳感器的激活閾值是不同的；以及 用於通過根據所述傳感器的所述激活閾值的分布來解釋所述多個傳感器的輸出狀態，來測量入射在所述多個傳感器上的光的裝置。
20.根據權利要求19所述的設備，其中用於通過解釋所述多個傳感器的輸出狀態來測量入射在所述多個傳感器上的光的裝置將輸出狀態的空間分布轉換成光強度的空間分布。
21.根據權利要求19或20所述的設備，進一步包括存儲預定的分布，該預定的分布將所述多個傳感器的每個映射到關聯的激活閾值，其中用於通過解釋所述多個傳感器的輸出狀態來測量入射在所述多個傳感器上的光的裝置使用存儲的所述傳感器的激活閾值的預定分布。
22.根據權利要求19、20或21所述的設備，其中所述傳感器是二進位傳感器，該二進位傳感器具有作為輸出狀態的僅所述第一狀態和所述第二狀態。
23.根據權利要求19到22的任意一項所述的設備，其中用於測量入射在所述多個傳感器上的光的裝置確定所述激活閾值的空間分布。
24.根據權利要求19到23的任意一項所述的設備，其中所述激活閾值被控制。
25.根據權利要求24所述的設備，其中以電方式來主動地控制所述激活閾值。
26.根據權利要求19到25的任意一項所述的設備，其中以規則的網格來布置所述多個傳感器。
27.根據權利要求19到26的任意一項所述的設備，其中所述多個傳感器包括多於IO6個傳感器。
28.根據權利要求19到27的任意一項所述的設備，其中用於通過解釋所述多個傳感器的輸出狀態來測量入射在所述多個傳感器上的光的裝置包括處理器和包括電腦程式的存儲器。
29.—種設備,包括 用於通過根據多個亞衍射極限光傳感器的激活閾值的分布來解釋所述多個亞衍射極限光傳感器的輸出狀態以測量入射在多個亞衍射極限光傳感器上的光的裝置，其中每個傳感器具有用於將所述傳感器的輸出狀態從第一狀態切換到第二狀態的關聯激活閾值，其中至少一些所述傳感器的激活閾值是不同的。
30.一種電腦程式，當加載進處理器時，使得所述處理器 通過根據所述多個亞衍射極限光傳感器的激活閾值的分布來解釋所述多個亞衍射極限光傳感器的輸出狀態以測量入射在多個亞衍射極限光傳感器上的光，其中每個傳感器具有用於將所述傳感器的輸出狀態從第一狀態切換到第二狀態的關聯激活閾值，其中至少一些所述傳感器的激活閾值是不同的。
全文摘要
一種設備，其包括包含N個亞衍射極限光傳感器的陣列，每個亞衍射極限光傳感器具有用於從復位狀態向激活狀態切換的關聯光吸收激活閾值，其中光吸收激活閾值位於一個值範圍內。該設備進一步包括與存儲器連接的處理器，該存儲器包括電腦程式代碼，其中存儲器和電腦程式代碼被配置成與處理器一起，使得該設備至少執行基於陣列的電輸出來估計照射該陣列的光強度。
文檔編號G01J1/18GK102741670SQ201080062859
公開日2012年10月17日 申請日期2010年12月22日 優先權日2009年12月23日
發明者M·維金科斯基, S·科斯基南, T·瑪基-瑪蒂南, T·裡薩 申請人:諾基亞公司