感測設備、感測能量場的方法以及照相機的製作方法

2023-08-04 13:29:31 1

專利名稱：感測設備、感測能量場的方法以及照相機的製作方法
技術領域：
本發明通常涉及感測能量場，並具體而言涉及利用照相機產生圖像。
背景技術：
照相機存在兩種眾所周知的用於產生數字圖像的技術。在第一種技術中，將模擬膠片暴露於能量場，例如可見光。顯影所述膠片並使用掃描儀對其數位化。所產生的圖像包括反映能量場強度分布的像素值。該圖像還能夠顯示頻率分布，或能量場的『彩色』。
在第二種技術中，在能量場中的圖像平面上布置數字感測器的陣列。這些感測器直接測量所述能量的強度。該感測器還能夠通過使用過濾器進行頻率選擇。作為一個優點，第二種技術立即產生結果並且不消耗任何膠片。由於這些和其他的原因，數位相機正迅速地取代模擬相機。
在傳統的模擬相機中，感光材料是膠片。在傳統的數位相機中，感光材料是電荷耦合器件(CCD)。到達膠片或CCD的光量被已知為曝光量。曝光量是光圈大小和快門速度的函數。在某些情況下，對於特定的曝光時間可能需要犧牲聚焦的深度來獲得可接受的曝光。
在輸出數字圖像中，能量場表示為像素值的網格。每一像素值絕大部分對應於感測能量的量。但是，所述像素值還能夠包括非相關噪聲的結果，例如由於熱、量化誤差、離散的電磁通量和感測器、電路和處理中的缺陷而導致的噪聲的結果。
兩種技術對用戶施加相同的選擇和相同的任務，諸如選擇場景、視場、以及照相機位置。對於更複雜的照相機，這並不限於簡單的『對準和拍攝』能力，用戶還必須選擇曝光時間、鏡頭光圈、和其他的設置。這些設置是最佳拍攝場景外貌的折衷。在許多光非常弱的場景中，難以避免由於照相機的局限性引起的曝光過度、曝光不夠、噪聲和運動模糊。
兩種傳統的模擬和數位相機都具有曝光、鏡頭和感測器限制。這些限制導致了依賴於變焦的色像差、彩色異譜同色、由於混合照明的彩色平衡差、耦合變焦與聚焦調節、過亮物體的眩光或『模糊現象』、以及鏡頭反射光斑焦散線。
在現有技術中還描述了對傳統強度感測照相機的替換技術。若干『智能感測』晶片集成光探測元件和處理電路以獲得更好的性能，或者使感測和處理組件更加緊湊。
Mead在「Analog VLSI implementation of neural systems」(Chapter Adaptive Retina，第239-246頁，Kluwer Academic出版，1989年)中描述的矽視網膜和自適應視網膜使用基於晶片的脊椎動物視網膜的模型。
Funatsu等人在「An artificial retina chip with a 256×256 array ofN-MOS variable sensitivity photodetector cells」(Proc.SPIE.MachineVision App.，Arch.，and Sys.Int.，第2597卷，第283-291頁，1995年)中描述了通過直接調製來自光探測器的輸出來調製輸入圖像。但是，這些系統中絕大部分具有設計用於具體應用諸如特徵檢測的專門硬體。結果，這些系統僅僅顯示所選的特徵，並且不能根據原始的2D強度場重構完整的輸出圖像。
隨著高速的互補金屬氧化物半導體(CMOS)成像感測器的發展，在產生輸出圖像之前獲取並處理多個輸入圖像變為可能。獲取多個輸入圖像並產生單個輸出圖像的成像體系配置被稱為『多捕獲單圖像』(MCSI)，參見Xiao等人的「Image analysis using modulated lightsources」，Proc.SPIE Image Sensors，第4306卷，第22-30頁，2001年。
具有分析連續像素值的可編程電路的單指令多數據(SIMD)處理器陣列在Integrated Vision Products(Wallenbergs gata 4，SE-58335，Linkoping，瑞典)所製造的RangerTM照相機中可以獲得。該Ranger照相機允許用戶上載微代碼以對像素值進行操作，參見Johansson等人的「A multiresolution 100 GOPS 4 gpixels/sprogrammable CMOS image sensor for machine vision，」關於CCD和先進圖像感測器的IEEE專題組，2003年。
另一種技術甚至在存在環境光的情況下根據選通LED獲取MCSI圖像並解碼高頻光代碼，參見Matsushita等人的「Id camAsmart camera for scene capturing and id recognition，」ISMAR，第227-236頁，2003年。
圖像生成已知的圖像生成方法的數量太多，這裡不再進行詳述。大多數方法直接對像素強度值進行操作。其他方法從輸出圖像的強度值提取圖像梯度。然後進一步處理這些梯度以利用高動態範圍(HDR)色調映射、陰影消除、以及其他圖像編輯操作來產生圖像。
另一種技術是基於觀測到人視覺系統對局部對比度比絕對光強度更為敏感。這種技術使用色調映射方案在傳統的顯示器上再現高動態範圍的圖像，參見Fattal等人的「Gradient domain high dynamicrange compression，」ACM SIGGRAPH，第249-256頁，2002年。
另一種技術應用基於邊緣的圖像壓縮，參見J.Elder，「Are EdgesIncomplete？，」International Journal of Computer Vision，34(2/3)97-122，1999年。零峰值直方圖的梯度分析提供了超解析度和根據Bayer模式的圖像去鑲嵌的方案，參見Tappen等人的「Exploiting thesparse derivative prior for super-resolution and imagedemosaicing，」關於覺統計和可計算理論的第3國際專題組，2003年。
獲取HDR圖像的技術已經主要依賴於多次曝光或根據入射光的強度調節每個單獨像素的感光度，參見Mann等人的「On Beingundigital with digital camerasExtending dynamic range bycombining differently exposed pictures，」IST第46屆年會會刊，第422-428頁，1995年；Kang等人的「High dynamic range video，」ACMtrans.Graphics，22(3)319-325，2003年7月；以及Debevecet等人的「Recovering high dynamic range radiance maps fromphotographs，」ACM SIGGRAPH，第369-378頁，1997年。
已經使用對數響應照相機獲取HDR圖像。但是，這些輸出圖像在較高強度時其線性解析度減小。
一種HDR技術執行像素強度值的自適應衰減，以及空間變化像素曝光，參見Nayar等人的「Adaptive dynamic range imagingOpticalcontrol of pixel exposure over space and time，」Proc.Int』1 Conf.Computer Vision，2003年。
另一種成像系統使用微鏡的可編程陣列。這種陣列能夠調製場景光線，參見Nayar等人的「Programmable imaging using a digitalmicromirror array，」Proc.Conf.Computer Vision and PatternRecognition，2004年。
測量方法大多數傳統的模擬和數位相機測量靜態的光強度。即，所述照相機根據以下方程時間平均該強度。
Id(m，n)＝(kIs(m，n))γ(1)這裡Id是在『顯示』像素(m，n)規格化的輸出強度值，其範圍位於0.0≤Id≤1.0，Is是在相應的光探測器(m，n)獲取的感測能量，k是曝光，例如增益、感光度或膠片速度，以及γ是對比度靈敏度。典型地，用於CCD的對比度靈敏度γ接近於1。如果該γ小於1，則減小對比度，否則，如果該γ大於1，則增加對比度。
方程(1)能夠用對數表示，其中差值直接對應於反差比。
log(Id)＝γ(log(Is)+log(k))(2)方程2揭示了對比度靈敏度γ是用於對比度的定標因子，以及曝光k以對數單位是偏量。
在大多數傳統的照相機中，對比度靈敏度γ在整個獲取的圖像上是均勻的。這保證了每一像素值位於強度值的預定範圍內。k和γ的像素到像素的強度變化對輸出圖像的外部特徵具有很強的影響。
但是，如上所述，顯示強度Id還包括由於離散光子到達產生的噪聲，感測器設備、非均勻感測器材料和電路組件中的熱噪聲，例如固定模式的噪聲，和外部幹擾，例如EMI/RFI、『漏光』、和由於處理缺陷引起的噪聲。噪聲『隱藏』了精確的顯示值Id，從而超過12到14位的A/D轉換精度難以提高用於非人工冷卻的感測器的信號估計。許多傳統的數位相機測量原始像素感測器強度為10或12位的值。
大多數傳統的數位相機還是「準線性的」，其中顯示的值Id被期望與場景強度值Is成正比，但是包括一些對比度壓縮，例如γ＝0.455，以補償傳統計算機顯示的對比度放大，例如γ＝2.2，以便所產生的視在對比度靈敏度接近於1。
通過場景強度Is規定曝光k使得顯示強度值Id＝1.0以顯示『白色』。顯示設備的對比度限制然後表現為在顯示設備的黑暗區域中缺少細節。
A/D解析度和對比度靈敏度γ還設置傳統準線性數位相機的對比度範圍的上限。利用2b均勻量化等級的顯示強度值Id、固定的k和固定的γ，照相機能夠獲取的場景強度的最大比率是Cmax＝Ismax/Ismin＝2-b/γ，或者(log(1)-log(2b))＝γ(log(Ismax)-log(Ismin))。
某些傳統的數位相機還能夠模擬攝影膠片的『拐點(knee)』和『肩(shoulder)』響應，這裡對於接近0.0和1.0強度極值的Id值，對比度靈敏度γ平滑逼近零。照相機對比度響應的較不急劇終止能夠保持其他黑色陰影和白色高亮中的一些細節。但是，正如利用膠片一樣，這些努力仍然不足以產生HDR場景的細節圖像。
許多感興趣的場景包含對於大多數A/D轉換器來說太大的對比度。在這些HDR場景中，傳統的曝光控制方法通常失敗，以及用戶必須不幸地選擇由於眩目的白色或無特徵的黑色而丟失哪些可見場景特徵。
用於對數響應(log-responding)數位相機的量化等級遵循Fechner定律。Fechner發現大約百分之一或二的強度改變是對於人視覺系統『恰好可注意到的差別』。但是，像傳統的照相機一樣，所選用於對數響應照相機的量化等級必須跨越場景強度Is的整個動態範圍，以及不位於該範圍內的所有場景強度則被不可挽回地丟失。
所以，期望提供一種產生圖像的照相機，它能夠產生高動態範圍的細節，並且克服現有技術的許多問題。

發明內容
本發明提供一種用於感測能量場例如場景中的可見光的方法和設備。該設備包括一組能量感測元件。每個感測元件直接感測能量場局部梯度的幅度和符號。根據局部梯度而不是像現有技術照相機中那樣根據信號強度產生輸出圖像。
特別是，根據本發明的梯度照相機和方法測量靜態梯度，代替在傳統相機中那樣測量靜態強度。為每一感測元件量化帶符號的梯度。為每一感測元件局部確定曝光和平均時間。使用該梯度求解泊松方程能夠產生用於輸出圖像的強度值。
本發明測量直接單次曝光中能量場的局部梯度。所以，減小了共模噪聲。本發明能夠產生詳細的、高對比度HDR輸出圖像，該圖像不經過如用於傳統相機的像素強度飽和。
本發明減小了量化噪聲，並且能夠在各個感測元件校正飽和。不需要曝光度量，並且能夠使用鏡頭光圈嚴格地控制聚焦的深度。


圖1是根據本發明的梯度感測器的方框圖；圖2是根據本發明的梯度感測元件的電路圖；圖3是感測元件配置的方框圖；圖4是感測器群的方框圖；以及圖5是根據本發明的感測方法的流程圖。
具體實施例方式
系統概述圖1示出了根據本發明的系統100。該系統感測能量場101並產生表示該感測的能量場例如電磁輻射諸如可見光的數字輸出圖像102。
本發明的系統包括一組110感測元件200。該感測元件組在能量場101中空間布置。例如，元件200能夠在圖像平面上布置為如圖所示的N×M元件陣列。替換地，感測元件能夠布置為環或圓柱體以便如在醫療和高能物理應用中所使用的那樣能夠三維掃描能量場。其他配置諸如3D陣列也是有可能的。在優選實施例中，如點所指示，感測元件200還包括位於N×M陣列邊緣的一組邊界元件201。
梯度感測元件每一個感測元件200測量僅入射到該元件上的能量場部分的局部梯度G 209的幅度和符號。梯度209能夠存儲在存儲器121中並被進一步處理120，如這裡所述，以產生輸出圖像102。應該明白的是所述系統還能夠包括鏡頭、快門和過濾器。
如圖2所示，每個感測元件200包括至少兩個能量強度感測器210。圖3示出了感測元件的替換配置301-303。這些配置能夠測量各個方向例如Gx和Gy中的梯度幅度和符號。在優選實施例中，該元件能夠如下所述動態地重新構造成不同的『群』。
如果能量場是可見光的形式，那麼感測器210能夠是電荷耦合器件(CCD)，即累積和存儲電荷的金屬氧化物半導體(MOS)電容。對於其他形式的電磁輻射，能夠選擇本領域中所已知的適合的感測器。
強度感測器210的每個輸出211連接乘法器220，乘法器的輸出連接放大器230，該放大器又連接A/D轉換器240，以便A/D轉換器240的輸入231是場強度的對數(log)。連接數字輸出241，以便用於測量對數輸入信號241之差的加法器250產生能量場的局部梯度209的幅度和符號的度量。正如這裡所描述的。乘法器220單獨連接增益控制器260。對於每一元件還能夠獨立地、動態地調節該增益。
值得注意的是上述電路差動地測量和傳送梯度幅度以減少共模噪聲。
對數梯度測量理想地，陣列110是測量場101的梯度幅度209的無噪聲、無窮小面積的元件的2維網格。這些元件的空間採樣速率還應該超出鏡頭的點散布函數(PSF)中的最高頻率分量以測量(gx(m，n)，gy(m，n))＝I(m，n)(3)這裡I指示梯度幅度。
實際上，gx(m，n)和gy(m，n)是來自相鄰對強度感測器210的差信號。在優選實施例中，測量log(Id)差，以從該測量中消除曝光值klgx(m，n)＝log(Id(m+1，n))-log(Id(m，n))，＝γ(log(Is(m+1，n))-log(Is(m，n)))，和lgy(m，n)＝γ(log(Is(m，n+1)-log(Is(m，n)))。
根據兩個局部調節的強度感測器210確定每一帶符號的對數梯度209，lgx或lgy。只要兩個強度感測器210使用相同的曝光k和對比度靈敏度γ值，該曝光k值對輸出圖像102不具有任何影響。這允許每一梯度感測元件200按照需要局部調節其共享的曝光k以最佳地避免強度飽和。另外，用於每一lgx和lgy的設置γ允許調節到A/D轉換器240的信號231的幅度，以得到更精確的結果。
本發明根據有噪聲、飽和的、以及具有一貫優良精確度的量化梯度再現高對比度場景。甚至具有直接可見阻塞光源的場景能夠利用最大反差比小於100∶1的梯度感測器再現。有可能考慮將這裡描述的照相機作為交織的四像素強度相機的陣列，每一交織的相機獨立地調節到可獲得的光，並且以對數形式中繼它的四個感測值，如下所述。
測量群代替同時為N×M自適應感測元件200的網格測量所有梯度lgx和lgy，我們使用多個測量步驟，這是因為每一測量約束一對強度感測器210共享相同的k和γ值。如果同一時間測量所有的值lgx，lgy，那麼相同的k和γ值必須應用於整個圖像，正如在測量信號強度的傳統數位相機中所實現的那樣。我們想要避免這種限制。
作為替代，如圖4所示，動態地劃分所述感測器成『群』401的小的不相交組。在操作期間能夠重新構造這些感測器，以便任何感測器能夠是不止一個群的成員。
在如本領域中所已知的圖論中，群是一組完全連接的節點，即每個節點具有到另一個節點的邊緣或『鏈路』。在四群中，每個節點連接到其他三個節點，並且總共存在六個邊緣。在根據本發明的梯度場中，所述圖形表示的邊緣是感測的梯度。
在根據本發明的系統中，測量相鄰對感測器210之間的差402以獲得用於該群的四個梯度。還能夠在對角線上測量這些梯度以獲得六個梯度，這進一步減少了誤差。
每一群單獨地測量所述場的梯度209的幅度。獨立地調節用於每一群401的k和γ值，以確定用於每群的log(Is)值231，以及接下來的梯度。
動態地選擇特定群的k和γ值以避免強度飽和。大量的不同群設計是有可能的。最簡單的設計是使用兩個感測器群，其中每一群包括用於一個lgx或lgy測量的該對感測器。在這種設計中，每個感測器403是標記為A、B、C、和D的四個不同群的成員，每一群具有其自己的k和γ值，如圖4所示。
在實際上，每個感測器屬於不止一個群。這些群順序地測量梯度。我們定義兩個組或更多組相互不相交的群，即不共享感測器的群，並以交織的方式測量每一組。順序測量所述組的群能夠使我們調節當前群的共享k值成最佳值。能夠使用適當的切換電路以如圖4所示的棋盤模式布置四個相鄰感測器的群。
這種『盒子』群棋盤方案一次測量僅僅兩組群A和C的所有(lgx，lgy)值。每一群在兩個局部k值之間進行選擇。因此，M×N陣列僅僅使用MN/2個單獨的k值。
如果我們將每一群成員或感測器210視為圖中的節點，將成員之間的差視為節點之間『鏈路』的強度，那麼群成員之間的所有差的完整集合形式上定義成為群的連接圖。在A/D轉換240之後測量這些差保證了lgx，lgy以及在群內測量的任何對角線鏈路具有零『旋度』，如下所述。
噪聲抑制使用群來測量局部梯度的幅度和符號改進了共模噪聲抑制。值得注意的是每個元件200不直接測量lgx，lgy，而是測量用於每一感測器的第一測量log(Is)，然後以數字方式減去250該對數測量。
許多現有技術的圖像感測器傳送作為模擬電壓、電流或電荷的強度信號到未集成到該感測器中的A/D轉換器。這種類型的傳送易受來自鄰近數字電路的噪聲、串擾和外部EMI/RFI的影響。
如本發明使用的差分信號傳送通過沿兩條相鄰通道203-204發送信號和它的負值(+S，-S)改進了對噪聲的抗擾性，參見圖2。通過減法250消除了不想要的與兩條通道都耦合的『共模』噪聲N(N+S)-(N-S)＝2S沿相鄰的通帶從四個群成員發送log(Is)信號能夠提供共模噪聲抑制，而不用附加的信號通道，這是由於通過用於為該群確定四個lgx，lgy的減法消除了不想要的信號。除了共模噪聲抑制以外，到A/D轉換器240的群輸入231能夠『自動調整』A/D轉換以進一步減小lgx，lgy測量中的量化誤差。
本發明還通過動態地修改測量範圍以適於入局信號強度的寬範圍，從而提供了額外的精度。這允許即使當差接近零和由噪聲所控制時，也可精確量化每一群內的信號。這種附加的精度通過數字平均同一局部場梯度的重複測量，改進了噪聲抑制。
圖像生成方法圖5示出了根據本發明的方法500。測量510能量場101例如『場景』以獲取梯度209的幅度和符號。該梯度能夠在存儲器121中存儲為梯度場511。梯度場511當表示為圖時，對於『旋度』校正520它。如果該圖不相交，連接530它以產生校正的場531。使用校正的場531求解540泊松方程以產生輸出圖像102。
具體而言，恢復具有在最小平方意義上基本上等於感測的梯度lgx和lgy的圖像梯度Ix和Iy的2D對數強度I(＝log(Id))。
通過最小化函數能夠實現恢復所述2D對數強度J(I)＝∫∫(Ix-lgx)2+(ly-lgy)2dxdy (4)最小化J的歐拉-拉格朗日方程是JI-ddxJIx-ddyJIx=0---(5)]]>這給出了熟知的泊松方程2I=xlgx+ylgy---(6)]]>其中2I=2Ix2+2Iy2]]>等於熟知的拉普拉斯算子。然後根據I能夠獲得顯示強度Id。
對於求解540泊松方程已知了大量的不同技術，諸如多網絡求解、逐次超鬆弛、以及基於正弦變換的直接分析解決方案，參見W.H.Press，S.A.Teukolsky，W.T.Vetterling以及B.P.Flannery，「Numerical Recipes in CThe Art of Scientific Computing」，劍橋大學出版社，第2版，1992年；Simchony，R.Chellappa以及M.Shao，「Direct analytical methods for solving Poisson equations in computervision problems，」IEEE Trans.Pattern Anal.Machine Intell.，12(5)，第435-446頁，1990年5月；以及Jian Sun，Jiaya Jia，Chi-KeungTang以及Heung-Yeung Shum，「Poisson matting，」ACM Trans.Graph，23(3)，第315-321頁，2004年。
邊界條件對於圖像生成，我們願意使用如本領域中使用的狄利克雷邊界條件。但是，這將會需要我們測量陣列110邊緣的絕對強度值，這是我們盡力所避免的。
這裡，在邊界或陣列110上提供邊界元件201的1D環。元件201僅僅在邊緣上測量梯度。所有剩餘的內部元件相對於通過邊界元件獲取的梯度測量所述梯度。所以，首先從邊界元件，然後從剩餘的元件，相對於從該組邊界元件獲得的強度來恢復所述圖像強度。
圖像生成以兩個步驟處理第一，我們使用邊界感測元件201確定在圖像邊緣的強度值，直到未知的偏量，這一個1D問題；以及第二，我們使用邊緣的強度值通過求解泊松方程獲得用於內部像素的強度值，這是一個2D問題。
具有自由度為1的重構圖像中的未知偏量達到全局曝光設置。如果校正感測誤差，上述求解產生了能量場101的優良重構。
感測器誤差校正旋度校正當導出式過濾器應用於自然圖像時，過濾器的輸出是稀疏的。因此，對於大多數圖像來說，所述梯度值是低的。根據本發明的自適應測量保證了只有小量的梯度是飽和的。由於所述梯度表示基本的2D函數，這些梯度形成保守場。
不保守的梯度場具有非零旋度。因此，飽和的梯度具有非零旋度。另外，非功能感測器由於製造缺陷，還能夠促進非零旋度。所以，本發明校正520非零旋度以產生校正的保守場531。
在梯度場中位置(m，n)的旋度定義為C(m，n)＝(lgx(m，n+1)-lgx(m，n))-(lgy(m+1，n)-lgy(m，n))(7)這是lgxy-lgyx的離散等效值。對於特定的位置(m，n)，lgx或lgy或者二者能夠飽和。至多，這產生了位置(m，n)、(m，n-1)和(m-1，n)的非零旋度。因此，使用飽和梯度的位置，我們能夠確定具有非零旋度的所有梯度。
讓具有非零旋度的像素的數量等於K。對於每一這種像素，能夠重寫方程7以給出K個旋度方程。讓c是從以字典式的順序堆棧所有非零旋度值而獲得的K×1向量。
通過字典式的順序，我們意謂以下的內容。讓C(m1，n1)、C(m2，n2)，...，C(mK，nK)表示K個非零旋度值。通過以增加的順序排序『m』和『n』值堆棧這些值為K*1向量。列中的第一項將是對應於最小『m』和『n』值的C值。該堆棧中任何『之下』和『之上』項應該具有較大的『n』值。如果不是，它應該具有較大的『m』值。例如，將C(1，1)、C(4，3)、C(6，5)、C(3，4)、C(3，6)、C(5，1)、以及C(5，5)排列為C(1，1)C(3，4)C(3，6)C(4，3)C(5，1)C(5，5)C(6，5)形式上，讓x表示在上述所有K個旋度方程中出現的所有lgx和lgy值，這能夠寫為x=x1x2,]]>這裡x1是表示已知的即非飽和的、梯度測量的P×1向量，以及x2是表示飽和的梯度測量的L×1向量。因此獲得以下線性方程系統Ax=Ax1x2=c---(8)]]>這裡A是K×(P+L)稀疏矩陣。矩陣A的每一行表示K個方程中的一個方程，並只具有四個非零值對應於lgx(m，n+1)以及lgy(m，n)的兩個+1，對應於lgx(m，n)和lgy(m+1，n)的兩個-1。通過寫矩陣A為AK(P+L)=A1KPA2KL,]]>我們獲得A2x2＝c-A1x1(9)因此，x2=(A2TA2)-1A2T(c-A1x1),]]>所以，能夠恢復飽和的梯度測量。上述僅僅當rank(A2)≥L時是有效的。以下描述當rank(A2)小於L時的情形。
不相交圖校正如上所述，我們考慮將梯度lgx和lgy作為節點之間的「鏈路」，以及飽和的梯度表示『損壞的』鏈路。當感測網格保持連接圖或如通過圖論定義的群時，rank(A2)等於L。但是，如果飽和梯度或『損壞的』鏈路是這樣情形即它們與網格的剩餘部分斷開連接任何節點，那麼對於這些相關的梯度不能校正旋度。
在這種情況下，主網格被分割成不相交的圖，例如，如果在圖像中存在極亮的點，那麼亮點邊界上的所有梯度是飽和的。因此，損壞了連接亮點到圖像剩餘部分的所有鏈路，對應於所述亮點的節點形成與主網格斷開連接的不相交的圖。
本發明限制了不相交圖中的誤差。在優選實施例中，通過指定最大梯度值給斷開連接的其中一個鏈路，連接530每個這種不相交圖到主網格，並使用旋度校正解決剩餘的飽和梯度。
具有低對比度細節的HDR量化即使本發明能夠獲取具有非常寬範圍對比度的圖像，與傳統的強度相機相比，梯度測量具有遠遠較小的可見量化誤差。傳統的強度相機將輸出圖像近似為具有分段恆定值的函數，其中A/D轉換器產生固定數量的均勻間隔量化等級。
相反，本發明將輸出圖像102近似為具有分段線性值例如分段恆定梯度209的強度函數，其中A/D轉換器設置所需梯度的數量。
與信號相關的噪聲即使減小旋度和共模噪聲，對於任何基於感測梯度的相機仍保留有關的噪聲，這是因為眾所周知「梯度總是有更大噪聲的」。如果每個感測器具有方差為V的附加的零平均高斯分布隨機噪聲，那麼對數差測量lgx，lgy中的噪聲具有方差2V，以及所需用於梯度相機的附加電路引入了新的噪聲來源。
但是，在輸出圖像中梯度噪聲看起來不同。如上所述，求解泊松方程以積分感測器噪聲梯度gx+Nx，gy+Ny以重構所述圖像I輸出，其中在最小平方意義上梯度最近似匹配gx、gy。積分是線性的，即，I輸出＝I理想+IN，以及像素(m，n)處的梯度噪聲平滑促進小的誤差。所產生的只噪聲圖像IN具有如下所述的特徵化的平滑、低頻、『模糊的』外部特徵。
已知為邊緣屏蔽的人視覺系統的特性使得近噪聲的步進的非連續性較不明顯。這表明較少可觀察到在高梯度中具有高的噪聲，因此，本發明的梯度相機有理由『隱藏』與信號相關的噪聲。
運動抑制一些傳統的數位相機使用穩定機制來減小由於相機或場景運動所產生的模糊。根據本發明的梯度感測相機容忍強度中的分段線性變化，這提供了另一種策略，另外還減小了由於在時間間隔上選擇性平均梯度所產生的噪聲。傳統的強度相機能夠使用相同的策略，但是不會減小噪聲。
其基本思想是使用比較器電路來比較當前梯度測量和時間平均的度量。當所述變化大於噪聲所產生的變化時，終止所述平均，並且使用當前值作為最佳估計。引起圖像強度和梯度中不連續性的清晰圖像特徵，諸如類似步進或類似脊的特徵，使得測量梯度中的巨大變化作為圖像平面上的特徵『運動』。需要抑制這些特徵保持圖像的清晰。
不幸的是，這種相同的策略在強度相機中非常較早地終止了。具有分段恆定梯度的圖像區域，例如平滑陰影的區域，能夠被在本發明的梯度相機中在出現運動的情況下精確地測量，而在傳統的強度相機中卻不能對其精確地測量。根據本發明的用於梯度相機的這種擴展的度量和平均時間減小了測量中的噪聲量。
其他噪聲相關如上所述，本發明的梯度相機對與信號相關的噪聲非常起作用，其中對於低的梯度所述噪聲低以及對於高的梯度所述噪聲則高。但是，由於泊松方程高斯分布隨機噪聲具有『模糊』的外部特徵。一種解決方案能夠利用雙向過濾器通過選擇性保留高梯度減小噪聲，如在圖像中用於傳統的邊緣保留平滑所實現的。但是，直接將雙向過濾器應用於梯度較為不令人滿意。儘管當梯度差大時，雙向過濾器將不進行平滑，但是該過濾器將平滑接近高梯度的梯度，因此使邊緣拖影。
我們優選使用依賴於梯度幅度的高斯過濾器，這限制了對高的梯度進行平滑。因此，僅僅平滑低的梯度。另外，由於梯度場是2維場，因此能夠使用橢圓空間高斯過濾器。並稱這種過濾器為擴展的方向性雙向過濾。過濾內核G能夠表示為G＝Gs*Gdiff*Gmag， (10)這裡Gs是橢圓高斯過濾器，它沿梯度方向具有低的方差，在垂直於梯度的方向具有高的方差。過濾器Gdiff是依賴於當前位置(像素)和相鄰像素的梯度幅度差的高斯過濾器。這防止了沿著銳度邊緣平滑。過濾器Gmag是依賴於當前像素梯度幅度的高斯過濾器。過濾器Gmag保證了高的梯度不被平滑。通過選擇空間過濾器的帶寬和方差，能夠極大地改進這些結果。
另一種方法通過獲得有意義的強度表示來處理噪聲問題，並使用該強度限制泊松重構。由於高的梯度對於保留銳度和邊緣更為重要，因此首先能夠僅僅根據高的梯度重構部分圖像，並使用這種重構作為一種限制，在最小平方解決方案中，根據低的梯度重構強度值。
根據散焦校準對於正確的操作，用於『群』中的強度感測器的增益設置必須匹配，並且動態地改變為入射信號強度變化。在製造過程中或在操作過程中能夠匹配所述設置。
相對小尺寸的感測元件200保證了故意的散焦為每群中的每個感測器提供實際上相同的信號強度。因此，能夠使用散焦作為消除群成員之間的任何非零偏量的可靠參考。同理，打開和關閉所述光圈廣泛地能夠改變入到每群上的均勻強度，並且能夠被用作匹配用於每一感測元件的感光設置或增益的可靠參考。如果較高的動態範圍必須用於群內更精確的增益匹配，那麼天空、太陽、或明亮電燈泡的散焦視野能夠提供必須的照明極限。
相機視野內的景物效果能夠提供若干基於梯度的圖像操作技術作為相機視野內的景物效果。這些包括通過在同一圖像中組合多個聚集距離，由用戶定義的聚集深度，或者利用大的鏡頭光圈進行深度聚集。通過擴展所述平均時間，以及抑制梯度的外部，從靜態場景能夠自動地移除運動的前景物體，例如運動的汽車和步行者。還能夠消除大氣霧霾。能夠抑制鏡頭反射光斑，並且通過適當的梯度操作能夠部分地移除鏡頭眩光。
應該注意到能夠在通過傳統相機獲取的圖像上進行這種操作。但是，在後處理步驟中，需要從已處理的輸出圖像的像素強度值中提取所述梯度場，該梯度場具有所有的其累積的內在誤差。然後，進一步處理該梯度，並根據從輸出圖像獲得的處理梯度重構新的輸出圖像。
相反，本發明在產生輸出圖像之前，通過直接操作原始的輸入數據即帶符號梯度產生相機視野內的景物效果。
對數域梯度測量梯度信號非常適於A/D轉換，這是因為即使對於高對比度的場景來說，大多數梯度幅度是低的。較少的確實大的梯度通常由直接可見光源的遮光邊緣所產生。通過在對數域中進行測量，甚至將這些梯度限制於只是從脈衝響應，即相機鏡頭的點散布函數可測量的最大lgx，lgy。當通過傳統的相機直接測量該強度時，則不存在類似的限制。
量化容限量化方法看起來為梯度相機的性能改進提供了許多機會。由於對數梯度峰值的曲線在零附近，給小的梯度而不是給較大梯度分配附加電平的量化器具有較低的總RMS測量誤差。
同理，人視覺系統是粗略地比率度量。對於人視覺大多數可使用的強度範圍，亮度中『正好可注意到的差別』描述了大約百分之一或二的對比度。通過在對數域中數位化梯度，梯度量化等級直接對應於對比度，並且獨立於感測器增益或強度偏量。
若干其他形式的自適應量化還能夠改進A/D量化等級的使用以增強場景對比度。例如，自動調整A/D能夠分配量化等級以使信號適於每個群。還能夠使用梯度曲線均衡。替換地，所述用戶能夠選擇量化等級來優化場景圖像。
群選擇當完成對於每一lgx、lgy值的兩個獨立測量時，如圖4所示的四群組A、B、C、D的直接擴展能夠進一步減小噪聲，並且能夠測量一組完整的對角線差。
例如，能夠組合來自所有四個群(A、B、C、D)的結果。然後，能夠使用過濾內核是代替四連接的八連接的泊松求解，同時使得會聚更快並進一步減小重構的輸出圖像中的噪聲。通過使用依賴於位置的過濾內核還能夠改進交織(A、C)的配置。
用於每一(m，n)位置，例如log(I(m±1，n±1))-log(I(m，n))的八連接差測量是無旋度測量的兩倍，並且由九點過濾器內核重構使用其來進一步減小噪聲。群和群組的最佳配置設置平衡幾何和感測器晶片能力。較大的群意味著較小的k調節電路，但是增加了群成員感測器隨著廣泛共享的k值而飽和的機會，從而減小了感測器效率。
群形狀和幾何平鋪原則確定了需要多少不同的群組來測量所有(lgx，lgy)值。選擇的數量隨群大小迅速地增加。需要許多群組的群設計能夠增加所需用於獲取圖像的時間。
儘管以測量鏡頭場景描述了本發明，但是應該明白根據本發明的時間空間梯度相機能夠獲取運動視頻。同理，上述描述聚焦分析亮度。本發明的HDR技術能夠在後處理期間處理色度。色度通常是低對比度的。所以，通過單獨組的感測器能夠感測彩色。除了矩形網格以外，還能夠考慮其他的模式。例如，疊加在軸對準網格上的對角線網格能夠改進會聚度。
本發明的效果本發明提供了通過重構其局部感測的梯度以測量能量場的梯度相機。這種相機比傳統的相機具有大量的顯著優點。不需要曝光度量來獲取高對比度的場景。減小了量化的影響，並且噪聲分布為低頻誤差。基於梯度的圖像重構的視覺特性令人感覺愉悅。
本發明能夠使用較小的量化等級。和用於量化梯度一樣少的4位產生了和像素強度的八位類似的外部特徵，這是因為量化的強度將圖像近似為分段恆定圖像，而量化的梯度將圖像近似為分段線性圖像。
根據本發明的相機可容忍噪聲。依賴於信號的梯度噪聲與梯度幅度成比例，該噪聲比傳統相機中與圖像強度成比例的噪聲相比遠遠較少可注意到。
本發明能夠自動校正飽和梯度感測器以及誤操作各個感測器，而不用這些檢測器的明確的預定圖。而且，內在不同的信號發送改進共模噪聲抑制。對於手持相機還能夠抑制運動拖影。
另外，基於梯度的圖像操作技術能夠提供相機視野內的景物效果。各個梯度感測器能夠選擇增益和曝光時間以最小化模糊和噪聲。不像數碼強度相機中的噪聲那樣，類似膠片粒度、感測的梯度噪聲，在圖像重構之後，看似低頻分布的誤差，其『朦朧的』外部特徵不模糊邊緣並且被通過圖像本身的較高對比度、較高頻率內容所屏蔽。
儘管已經通過優選實施例的實例描述了本發明，但是應該明白在本發明的精神和範圍內可以作出各種其他適配和修改。所以，附屬權利要求書的目的是覆蓋位於本發明精神和範圍內的所有這些變型和修改。
權利要求
1.一種感測設備，包括一感測元件組，每個感測元件被布置在能量場中，以測量能量場局部梯度的幅度和符號。
2.根據權利要求1所述的設備，其中所述能量場是電磁輻射。
3.根據權利要求2所述的設備，其中所述電磁輻射是可見光。
4.根據權利要求1所述的設備，其中所述感測元件組在圖像平面上布置為N×M陣列元件。
5.根據權利要求1所述的設備，其中所述感測元件組布置為圓柱體。
6.根據權利要求1所述的設備，其中所述感測元件組包括一組位於該感測元件組周邊的邊界元件。
7.根據權利要求1所述的設備，還包括存儲器，用於存儲所述梯度的幅度和符號為梯度場。
8.根據權利要求1所述的設備，其還包括鏡頭；和快門。
9.根據權利要求1所述的設備，其中每個感測元件還包括多個能量強度感測器，每個能量強度感測器用於測量能量場的局部強度，以獲得多個強度；以及減法裝置，用於相互地減去所述多個強度以獲得所述局部梯度的幅度和符號。
10.根據權利要求9所述的設備，其中每個感測元件的所述多個能量強度感測器和減法裝置被差動地連接和傳送。
11.根據權利要求9所述的設備，其中每個能量強度感測器是電荷耦合器件。
12.根據權利要求1所述的設備，還包括用於獨立於其他感測元件動態地控制每個感測元件的增益以避免感測器飽和的裝置。
13.根據權利要求1所述的設備，其中通過每個感測元件測量所述幅度的對數。
14.根據權利要求9所述的設備，其中所述感測元件組的所述多個能量強度感測器被動態地分割成不相交組的群。
15.根據權利要求14所述的設備，其中每個群包括四個能量強度感測器，以及每個群被構造用於測量局部梯度的四個幅度。
16.根據權利要求14所述的設備，其中每個群包括四個能量強度感測器，以及每個群被構造用於測量局部梯度的六個幅度和符號。
17.根據權利要求14所述的設備，其中所述不相交組的群以交織的方式測量所述梯度。
18.根據權利要求1所述的設備，還包括用於根據所述梯度幅度和符號產生表示能量場的輸出圖像的裝置。
19.根據權利要求18所述的設備，還包括用於根據所述能量場的強度的對數之差產生梯度場的裝置；以及用於使用所述梯度場求解泊松方程以恢復輸出圖像中像素的強度值的裝置。
20.根據權利要求19所述的設備，還包括用於校正所述梯度場中旋度的裝置。
21.根據權利要求20所述的設備，其中所述泊松方程是2I=xlgx+ylgy,]]>這裡2I=2Ix2+2Iy2]]>是用於輸出圖像I中位置(x，y)處的像素強度的拉普拉斯算子，以及lg指示所述能量場的感測強度的對數差。
22.根據權利要求21所述的設備，其中所述感測元件組包括位於該感測元件組周邊的一組邊界元件，所述設備還包括用於根據該組邊界元件確定所述強度值的裝置；以及用於根據剩餘的感測元件相對於該組邊界元件的強度確定所述強度值的裝置。
23.根據權利要求21所述的設備，其中位於梯度場中位置(m，n)的旋度定義為C(m，n)＝(lgx(m，n+1)-lgx(m，n))-(lgy(m+1，n)-lgy(m，n))。
24.根據權利要求1所述的設備，還包括用於時間平均所述梯度以減小由於運動所產生的噪聲影響的裝置。
25.根據權利要求19所述的設備，還包括用於過濾所述梯度場的裝置。
26.根據權利要求25所述的設備，其中所述過濾應用方向性雙向過濾器給所述梯度場。
27.根據權利要求26所述的設備，其中所述方向性雙向過濾器表示為過濾器內核G，使得G＝Gs*Gdiff*Gmag，這裡Gs是橢圓高斯過濾器，它沿梯度方向具有低的方差，在垂直於梯度的方向具有高的方差，過濾器Gdiff是依賴於當前位置和相鄰位置處的梯度幅度差的高斯過濾器，以及過濾器Gmag是依賴於當前位置處的梯度幅度的高斯過濾器。
28.根據權利要求18所述的設備，其中部分圖像首先根據相對高的梯度幅度產生，並且根據該部分圖像約束整個輸出圖像的生成。
29.根據權利要求1所述的設備，還包括用於散焦所述能量場以校準所述感測元件組的裝置。
30.根據權利要求18所述的設備，其中通過所述梯度場的外部操作從所述輸出圖像中消除運動前景物體。
31.根據權利要求18所述的設備，其中通過對所述梯度場操作從所述輸出圖像中消除大氣霧霾。
32.根據權利要求18所述的設備，其中通過所述梯度場的操作在所述輸出圖像中減小鏡頭反射光斑和鏡頭眩光。
33.根據權利要求1所述的設備，其中量化所述幅度。
34.根據權利要求33所述的設備，其中自動地確定許多量化等級。
35.根據權利要求33所述的設備，其中用戶確定許多量化等級。
36.根據權利要求1所述的設備，其中在靜態場景中測量所述梯度的幅度和符號。
37.根據權利要求1所述的設備，其中時空測量所述梯度的幅度和符號以產生視頻。
38.根據權利要求1所述的設備，還包括用於測量所述能量場的頻率的裝置。
39.根據權利要求1所述的設備，其中所述感測元件組布置為在感測元件的對角線網格上所疊加的感測元件的矩形網格。
40.一種用於感測能量場的方法，包括在能量場中布置一感測元件組；以及利用每個感測元件感測所述能量場的局部梯度的幅度和符號。
41.根據權利要求40所述的方法，其中所述能量場的輻射是可見光。
42.根據權利要求40所述的方法，還包括在圖像平面上將所述感測元件組布置為N×M陣列元件。
43.根據權利要求40所述的方法，還包括將所述感測元件組布置為環。
44.根據權利要求40所述的方法，還包括在存儲器中將所述梯度的幅度存儲為梯度場。
45.根據權利要求40所述的方法，其中每個感測元件包括多個能量強度感測器，每個能量強度感測器用於測量能量場的局部強度，以獲得多個強度；以及所述方法還包括相互地減去所述多個強度以獲得所述梯度的幅度。
46.根據權利要求45所述的方法，其中所述多個能量強度感測器和用於相減的裝置被差動地連接。
47.根據權利要求45所述的方法，還包括用於獨立於任何其他感測元件動態控制每個感測元件的增益以避免飽和的手段。
48.根據權利要求40所述的方法，其中通過每個感測元件測量所述幅度的對數。
49.根據權利要求45所述的方法，還包括動態地分割所述感測元件組的所述強度感測器組成不相交組的群。
50.根據權利要求49所述的方法，還包括利用每個群測量所述局部梯度的四個幅度。
51.根據權利要求49所述的方法，其中不相交組的群以交織的方式測量所述梯度。
52.根據權利要求40所述的方法，還包括根據所述梯度的幅度和符號產生表示所述能量場的輸出圖像。
53.根據權利要求52所述的方法，還包括根據所述幅度的對數產生梯度場；和使用所述梯度場求解泊松方程以恢復所述輸出圖像中像素的強度值。
54.根據權利要求53所述的方法，還包括校正所述梯度場中的旋度。
55.根據權利要求53所述的方法，其中所述泊松方程是2I=xlgx+ylgy,]]>這裡2I=2Ix2+2Iy2]]>是用於輸出圖像I中位置(x，y)處的強度的拉普拉斯算子，以及lg指示所述對數。
56.根據權利要求53所述的方法，其中所述感測元件組包括位於該感測元件組周邊的一組邊界元件，以及所述方法還包括根據該組邊界元件確定所述強度值；以及根據剩餘的感測元件相對於該組邊界元件的強度確定所述強度值。
57.根據權利要求40所述的方法，還包括時間平均所述梯度以減小由於運動所產生的噪聲影響。
58.根據權利要求53所述的方法，還包括過濾所述梯度場。
59.根據權利要求58所述的方法，其中所述過濾應用方向性雙向過濾器給所述梯度場。
60.根據權利要求59所述的方法，其中所述方向性雙向過濾器表示為過濾器內核G，使得G＝Gs*Gdiff*Gmag，這裡Gs是橢圓高斯過濾器，它沿梯度方向具有低的方差，在垂直於梯度的方向具有高的方差，過濾器Gdiff是依賴於當前位置和相鄰位置處的梯度幅度差的高斯過濾器，以及過濾器Gmag是依賴於當前位置處的梯度幅度的高斯過濾器。
61.根據權利要求40所述的方法，還包括散焦所述能量場以校準所述感測元件組。
62.根據權利要求40所述的方法，還包括測量所述能量場的頻率。
63.一種照相機，包括一感測元件組，每個感測元件布置在光場中以測量該光場局部梯度的幅度和符號，其中所述感測元件組在圖像平面上布置為N×M陣列元件，以及其中每個感測元件還包括多個能量強度感測器，每個能量強度感測器用於測量能量場的局部強度，以獲得多個強度；以及減法裝置，用於相互地減去所述多個強度的對數以獲得所述梯度的幅度和符號。
64.根據權利要求63所述的照相機，還包括鏡頭；快門；以及用於存儲所述梯度的幅度的存儲器。
65.根據權利要求63所述的照相機，其中每個感測元件的所述多個能量強度感測器和減法裝置被差動地連接。
全文摘要
一種照相機包括一感測元件組。每個感測元件布置在能量場中的圖像平面上以測量該能量場的局部梯度的幅度和符號。每個感測元件包括至少兩個能量強度感測器。每個能量感測器測量所述能量場的局部強度。相互地減去所述強度的對數以獲得所述梯度的幅度和符號。使用該梯度求解泊松方程以獲得所述能量場的輸出圖像。
文檔編號H04N5/372GK1829291SQ20051012729
公開日2006年9月6日 申請日期2005年12月1日 優先權日2004年12月1日
發明者傑克·圖姆布林, 艾米特·艾格瑞沃, 瑞米施·拉斯卡 申請人:三菱電機株式會社