用於調整將核應用於信號的效果以在信號上取得預期效果的技術的製作方法

2023-10-17 09:29:34 1

專利名稱：用於調整將核應用於信號的效果以在信號上取得預期效果的技術的製作方法
技術領域：
本發明涉及數位訊號處理。特別是，本發明的實施方式涉及修改當 應用核心矩陣來處理信號數據時取得的效果，以便取得預期效果。
背景技術：
在數字成像中，通過校正諸如光學模糊、光學畸變、色差、場曲等 之類的光學象差，去巻積有時用來創建更優質的圖像，所述光學像差發 生在諸如數位照相機之類的成像儀器中。定義去巻積的數學運算是與巻 積中執行的數學運算相同的數學運算-稱其為去巻積的理由是其用於校正 或補償由巻積施加在圖像上的效果的上下文中。換句話說，使用去巻積-
以這種方式-是基於下列事實的當圖像信號通過成4象儀器時，可將輸出 信號描述為圖像信號與稱作點擴展函數(PSF)的2D函數之間的巻積。 舉光學模糊為例，PSF根據電磁輻射的點源穿過儀器的軌跡來描述光學 模糊，即單個光點如何通過光學系統成像。PSF巻積的結果是所採集的 圖像信號比對象本身更模糊(並且還可能失真，和/或包含色差)。為了 補償這種模糊，可執行去巻積過程，其中圖像信號與2D函數巻積，所述 2D函數的目標是產生不模糊的圖像。該2D函數經常是所述PSF的倒數 (或者PSF的倒數的變體)，在某種程度上其抵消了 PSF所引入的模糊。 2D去巻積可用軟體(SW)或硬體(HW)在圖像的數字表示上在數 字域中執行。核心矩陣通常用作2D去巻積濾波器，其特徵在於所希望的 頻率響應。為了補償PSF才莫糊並增強圖像對比度，該核心矩陣與信號矩 陣(所述2D圖像)巻積。為了該濾波器增強對比度，它應擁有帶通濾波 器(BPF)或高通濾波器(HPF)的頻率響應，從而使其以將要求頻率中 的對比度增強到指定水平的方式匹配所述PSF。除了增強圖像中的對比度之外，通過將具有低通頻率響應(LPF)的 核心應用於所述圖像，相同的巻積運算可用來降低圖像中的噪聲，平均 所述噪聲。當執行這樣的去噪運算時，應注意不要損害信號的對比度。
通常，增強圖像的去巻積過程是數位相機中(用SW或HW)運行 的圖像信號處理(ISP)鏈的一部分。圖像上這一系列的數學運算將其從 CMOS/CCD傳感器(用例如"BAYER"格式)輸出的"RAW"格式圖像(有 時稱為"NEF"圖像)轉換成瀏覽及保存的最終圖像(例如，JPEG圖像、 TIFF圖像等)。在所述ISP鏈之內，在執行去馬賽克(顏色插值)之後、 或在去馬賽克之前，可將所述去巻積濾波器應用於所述圖像。前一種方 法使濾波器影響圖像中的最大可能頻率(逐像素)；然而，為了覆蓋大 的空間支持，所述2D核心應具有許多係數。後一種方法暗示在圖像仍處 於BAYER格式時(在顏色插值之前)，應用濾波器。後一種方法具有 用較少的係數覆蓋較大的空間支持的優勢，但濾波器僅可影響較低的頻 率。由於對於大多數光學設計來說，為了去巻積有效，核心的尺寸應與 PSF的尺寸大致相同(按像素)，因此補償大PSF要求足夠大的空間支 持用於去巻積核心，並因而需要許多係數(這意味著更多的存儲器和數 學計算)。由於如果將太小的核心應用於被大PSF模糊的圖像，則在處 理後可能保留了不在預期內的偽像，因此這可能是在去馬賽克過程之前 將所述去巻積核心應用於BAYER圖像的主要原因。
當將具有HPF/BPF頻率響應的去巻積濾波器應用於圖像可能導致對 比度增大時，亦可能不適宜地;^文大噪聲。當信噪比(S/N)好時，很少注 意到這種噪聲放大，在可造成低S/N的惡劣光照條件下，要極其注意這 種噪聲放大。不幸地，在不考慮圖像中已有噪聲數量的情況下應用所述 去巻積核心，可能導致噪聲更大的圖像。
可採用去噪算法來降低由於應用去巻積核心而導致的不想要的噪聲 放大。然而，在去巻積過程已經放大了圖像中的噪聲之後應用去噪算法， 可能需要執行強去噪(strong de-noising),這可能導致圖像中具有精細 細節的區域中不想要的數據損失。此外，應用強去噪仍不會移除全部噪聲。本節所描述的方法是可推行的方法，但不 一定是早先已構思或推4亍 的方法。因此，除非另有說明，否則不應僅憑藉他們包含在本節就假i殳 本節所描述的方法是現有技術。


在附圖的圖形中，通過舉例來說明本發明，而不是通過限制來說明，
其中相同的附圖標記指代類似的元件，並且其中 圖la描繪了沒有數字自動聚焦方框的ISP鏈；
圖lb描繪了根據實施方式具有用於數字自動聚焦方框的可能位置的 ISP鏈；
圖lc描繪了根據實施方式具有用於數字自動聚焦方框的另 一可能位 置的ISP《連；
圖2描繪了一幅根據實施方式說明一種用於更新核心矩陣以及用所 述更新核心矩陣處理圖傳_數據的示例性系統的方框圖3示出了一種根據實施方式用於更新核心的示例性等式；
圖4描繪了一幅系統方框圖，其中"陰影指示符"用於修改巻積核心；
圖5描繪了一副示例性鏡頭陰影輪廓的圖6描繪了一個根據實施方式用於基於陰影參數更新核心的等式；
圖7描繪了一副根據實施方式的系統方框圖，其中巻積方框中的核 心更新邏輯使用了"度量(metric)"來修改核心；
圖8示出了一副示例性bayer圖像，其具有紅色(R)、藍色(B)和 綠色(G)像素；
圖9a說明了用於圖像窗口的數據；
圖9 B說明了圖9 A中數據的直方圖10A說明了單峰直方圖10B說明了雙峰直方圖ll描繪了 一個根據實施方式用於基於度量更新核心的等式； 圖12是一副根據實施方式說明了用於調整核心效果的大小的過程的 流程圖；圖13是一副示例性行動裝置圖，在該行動裝置上可實施本發明的實 施方式；
圖14是一副示例性計算機系統圖，在該計算機系統設備上可實施本 發明的實施方式；
圖15是一副根據實施方式的圖，其描繪了 一個用於確定參數來基於 圖像特徵修改核心的曲線；
圖16是一 副根據實施方式用於處理信號的系統的方框圖； 圖17描繪了根據實施方式校正運動模糊； 圖18描繪了根據實施方式校正運動平移；
圖19是一副根據實施方式的方框圖，該圖描繪了 一種用於至少基於 陰影參數調整核心處理的強度的系統；
圖20是一副根據實施方式的方框圖，該圖描繪了一種用於至少基於 鄰域像素的特徵調整核心處理的強度的系統；
圖21描繪了一種根據實施方式的技術，在該技術中根據一個或多個 參悽t更新核心；
圖22描繪了 一種根據實施方式的技術，在該技術中將"縮放"應用於 未經修改的核心的巻積結果；
圖23描繪了一種根據實施方式用於基於距離計算信息度量的技術；
和
圖24描繪了根據實施方式的分離增益函數。
具體實施例方式
在下列描述中，出於解釋的目的，為了全面理解本發明，闡述了眾 多具體細節。然而，4艮明顯，在沒有這些具體細節的情況下也可以實施 本發明。在其它實例中，為了避免不必要地模糊本發明，在方框圖表格 中示出了熟知的結構和設備。
本文根據下列概要來描述實施方式
1.0 綜述
2.0圖像信號處理鏈實施例3.0 巻積綜述
4.0基於預期效果的大小來調整核心效果的綜述
4.1 過程綜述
4.2 通過更新核心來調整核心效果的綜述
4.3 通過修改巻積結果來調整核心效果的綜述 5.0基於多種因素調整核心效果
5.1 基於S/N圖形調整核心效果
5.2 根據空間位置調整核心效果
5.3 根據局部圖像特徵調整核心效果
6.0根據實施方式調整核心效果以處理運動模糊
6.1 校正運動模糊綜述
6.2 模糊點分布函數實施方式
6.3 運動移位矢量實施方式
6.4 組合銳化及運動糹莫糊核心 8.0硬體綜述
8.1 移動i殳備實施例
8.2 計算機系統實施例
1.0 綜述
本文公開了用於處理信號數據的技術。所述信號數據可由多種不同 的信號矩陣表示，每個矩陣表示所述信號的不同部分。例如，每個信號 矩陣可包括對應於圖像傳感器中的一組像素的元。然而，所述信號可以 是例如音頻數據或其它信號數據，而不是圖像數據。至少根據一個核心 矩陣來處理給定信號矩陣，從而取得某種預期效果。更特別地，為了取 得所述大小的預期效果，調整預期效果的大小，所述預期效果是由於根 據核心矩陣處理所述信號矩陣而取得的。
在一種實施方式中，在將經修改的核心矩陣應用於信號數據之前， 所述應用於信號數據的核心矩陣根據將在後續章節中列出的一個或多個 參數進行了 一次或多次的修改。根據所述一個或多個參數來修改所述核
ii心矩陣允許取得所述大小的預期效果。在另一種實施方式中，利用未》務改的核心和一些其他值(一個或多個)，包括但不限於輸入圖^f象中的初始像素值，某一像素的最終處理結果可能是去巻積結果的加權和。每個被求和的值的權可根據將在後續章節列出的若干參數進行修改。所述》務改可基於這些因素，這些因素包括但不限於信號數據的信噪比、用於採集信號數據的設備的屬性(例如，鏡頭)、空間相關信息(例如，像素位置)、或者根據信號數據分析獲得的度量(例如，當前正處理的像素的鄰域中的^象素)。
根據本發明"銳化"實施方式處理圖像數據目標在於恢復已損失的對
比度。對比度可能例如由於用來採集圖像數據的光學器件(optics)屬性
而損失。然而，該銳化實施方式不要求使用任何特定的鏡頭。所述銳化實施方式的目的是恢復一些由於鏡頭的光學器件屬性而損失的圖像對比度，以便對於遠距離對像的圖像和近距離對像的圖像來說，最終圖像都
具有好的對比度，雖然付出了合理的S/N代價。所述銳化實施方式可以利用硬體、軟體或硬體和軟體的某種組合實施為一種圖像信號處理(ISP)模塊。
在一種實施方式中，所使用的核心具有高通或帶通頻率響應，這通過增強圖像中的差異來允許所述核心銳化圖像。所述差異的實施例包括暗/亮區域之間的邊緣、形狀、輪廓等。然而，在圖像中相對均一的表面(例如，諸如灰牆或藍天之類)上應用這些核心，可導致放大存在於這些像素之間的小差異。像素之間的這些小差異可能由噪聲(隨機噪聲或固定模式噪聲)造成。因此，應用這些核心可能在圖像的"平的"、均一的、無信息的區域中導致非期望的噪聲放大。這種不在預期內的噪聲在低光照條件下可能特別嚴重。本文公開了若干種避免放大在圖像的"平的"區域中的噪聲的技術，而保留了期望區域中的對比度。
在一種實施方式中，根據S/N圖形調整每個核心的增益(例如，他們提供的銳化的量)。因而，當處理具有很差S/N的圖像或其一部分時，可降低核心的增益。作為一個特定實施例，當處理在極低光照下採集的圖像時，可降低所述核心的增益。在一種實施方式中，通過根據S/N參數修改所述核心，並接著將該經修改的核心應用於圖像，來調整所述核心的 增益。在另一種實施方式中，在將未經修改的核心應用於圖像之後，根
據S/N參數執行縮放(scaling)。
在一種實施方式中，根據正處理的圖像的當前部分的空間位置，來 調整核心的增益。在一種實施方式中，空間位置相關調整補償了用來採 集圖像數據的鏡頭的屬性。自動聚焦和標準鏡頭可能遭受到徑向降低照 明輪廓。也就是說，穿過鏡頭的光的數量在鏡頭的高區域遠低於鏡頭的 中間。因此，與中心相比，S/N可能在圖像邊界處更低。在一些設計中， 邊界處的照明是中間區域的值的大約50-55%。然而，邊界處的照明可能 大於或小於50-55%。在一種實施方式中，通過根據陰影參數修改所述核 心，並接著將該經修改的核心應用於圖像，來調整所述核心的增益。在 另一種實施方式中，在將未經修改的核心應用於圖像之後，根據陰影參 數執行縮放。因此，根據本發明的實施方式，在圖像邊界獲得更好的S/N， 且獲取更好看的圖像。
在一種實施方式中，根據描述當前正處理像素的鄰域中的圖像的某 種特徵的度量，來修改應用所述核心的效果。在一種實施方式中，所述 度量是基於當前像素的鄰域中的像素的統計分析的。例如，所述統計分 析可以基於圖像數據矩陣中的元之間的標準偏差、圖像矩陣中元的直方 圖、或者圖像矩陣中元中的熵。然而，所述度量亦可基於當前像素的鄰 域中特定像素之間的梯度計算。在一種實施方式中，根據所述度量修改 核心。所述經修改的核心接著應用於圖像數據。在另一種實施方式中， 在將未經修改的核心應用於圖像之後，根據所述度量執行縮放。
在一些應用中，核心可能往往用來抵消PSF。也就是說，核心可能是 表示採集信號的設備中的諸如模糊之類的光學像差的PSF的倒數。然而， 並不是必需核心為PSF的倒數。此外，本文有一些實施例，在這些實施例 中，核心用來增強圖像對比度。然而，本文所描述的方法被應用於核心 以增強圖像對比度並不是必需的。此外，本文有一些實施例，在這些實 施例中，核心用於圖像處理。然而，更一般地說，本文所描述的技術可 應用於用於任意數位訊號處理應用的核心。
13在一種實施方式中，用於銳化圖像(對比度增強)的相同機制亦用 來減少或消除圖像中運動模糊或晃動的效果。使用相同機制進行運動模 糊校正和對比度增強，可根據矽尺寸、處理器周期、複雜度及成本產生 更好的解決方案。
2.0圖像信號處理鏈實施例
在數字靜止照相機模塊中，處理原始圖像、並輸出保存在非易失性 存儲器中的最終圖像(例如，JPEG圖像、TIFFany圖像等等)的該組算法 稱作圖像信號處理鏈，或者稱作ISP鏈。圖la描繪了ISP鏈100中出現的典 型階段。ISP鏈可擁有其它階段，且不必擁有圖la中所描述的所有階段。 各階段可處於不同的順序。
在一種實施方式中，數字自動聚焦實施為一獨立方框，充當ISP鏈的 一部分。所述實施例ISP鏈100示出了一種典型的沒有數字自動聚焦方框 的ISP鏈。所述實施例ISP鏈100包括下列階段。模擬增益101應用A/D轉換 之前的增益來補償暗圖像(例如，在採用低曝光時間的同時)。黑級校 正(black level correction) 102從圖^f象中移除最低值(即，從傳感器輸出 的"暗電流")。壞像素校正106定位圖像中的產生錯誤的極低或極高值的 "燒傷"的像素，以及用該環境的"精確(smart)"平均值替換這些像素。 在具有BAYER才莫式的CMOS傳感器中，Gr/Gb補償107補償了可能出現在 與藍色像素共行的綠色像素值和與紅色像素共行的綠色像素值之間的差 異。圖像傳感器使用BAYER格式並不是必需的。為了平衡顏色及補償光 照條件和光級(light level),白平衡和數字增益108將增益應用於每種顏 色(綠-紅、紅、綠-藍、藍)，同時保持了動態範圍。
通過增強遠離中心的像素的亮度，鏡頭陰影校正109補償了鏡頭陰影 輪廓。噪聲移除110從圖像中移除了隨機噪聲和固定模式噪聲。顏色插值 法(去馬賽克)112將BAYER圖像內插到全RGB圖像中，在所述全RGB 圖像中每個像素具有三個顏色通道值。銳化114增強了圖像中的對比度。如隨後將進行的更詳細的描述，數 字自動聚焦方框不同於銳化方框，在銳化方框中，數字自動聚焦補償了 PSF。
顏色校正矩陣115負責圖像的顏色精確度和顏色飽和度。伽馬校正 116將伽馬(Y)曲線應用於圖像。JPEG壓縮118將來自完全BMP圖像的圖 像壓縮成JPEG圖像，該JPEG圖像接著可保存到非易失性存儲器(諸如閃 存)中。可採用除了JPEG之外的壓縮。
在ISP鏈中，數字自動聚焦方框可位於多個可能位置。圖lb描繪了根 據實施方式的ISP鏈100a,該ISP鏈合併了數字自動聚焦方框lll。在ISP 鏈100a中，例如，數字自動聚焦方框111就位於去馬賽克方框112之前， 即，它被應用於BAYER圖像上。圖lc描繪了根據實施方式的ISP鏈100b, 該ISP鏈亦合併了數字自動聚焦方框lll。在ISP鏈lOOb中，數字自動聚焦 方框111位於去馬賽克方框112之後，即，它被應用於RGB圖像上。在ISP 100a和ISP 100b這兩種情況中，並不是數字自動聚焦方框必需恰好位於所 描繪位置-它也可位於ISP中的任何地方。在一種實施方式中，數字自動聚 焦方框l 11出現在壞像素校正106之後，因為數字自動聚焦11 l可增強壞像 素效果。在另一種實施方式中，推薦數字自動聚焦方框出現在bayer去噪 方框IIO、鏡頭陰影校正109方框、白平衡方框108、 Gr/Gb補償方框107、 壞像素4交正方框106和黑級校正方框102之後，因為這些方框對傳感器及 部分鏡頭故障做了校正。請注意，將數字自動聚焦方框合併到ISP中，可 造成銳化方框l 14變成不必要的。
ISP鏈100整體上可以提供用於低解析度屏幕的優質圖像，甚至不必 應用數字自動聚焦lll階段。因而，在預覽模式下(這時，在採集圖像之 前，圖像顯示在手機的預覽屏幕上)激活數字自動聚焦lll並不是必需的。
在該算法的一種實施方式中，採集圖像的照相機模塊系統包括一微 距/正常(macro/normal)特徵，使用戶選擇是採集近距離圖像(例如 20-40cm)還是採集遠距離圖^f象(例如，40cm-無限遠)。在一種實施方 式中，將模式選擇輸入到數字自動聚焦lll中，且可用來改變所述處理。 例如，可使用不同的去巻積核心，或者可根據拍攝模式，來改變所述核心。來自ISP鏈100的其它階段的其它參數亦可輸入到數字自動聚焦階段 lll中。作為一種實施例，另一階段提供了具有圖像的S/N圖形的數字自 動聚焦階段lll。所述數字自動聚焦階段111根據S/N圖形調整銳化的量。 在一種實施方式中，銳化的量是基於像素位置的，其可由ISP鏈100中的 另一階段提供。然而，將用正常/孩^巨模式來在不同核心之間進行選擇並 不是必需的-單組核心可同時支持遠、近距離。
3.0 去巻積綜述
在一種實施方式中，核心用來執行bayer去巻積。然而，去巻積僅i^又 是可如何使用核心的一種實施例。bayer圖像可塑造為像素值的2D矩陣， 從而使得根據每個單元值所表示的傳感器像素上的濾色器，每個單元值 具有其特有的顏色-紅、綠或藍。圖8示出了一幅示例性bayer圖像800, 其具有紅(R)、藍(B)和綠(G)色像素。像素的位置表示圖像數據 中與該顏色的核心巻積的像素位置。每種顏色均有中心像素801g、 801r、 801b，其標識了圖像信號中的所述像素，其像素值通過將適當的顏色核 心矩陣與圖像信號中的對應像素進行巻積來修改。
才艮據一種實施方式，bayer巻積4吏用三個2D核心-每個^f象素顏色一個核 心-來定義參加巻積的像素以及與每個像素相乘的係數值。核心尺寸可根 據支持來定義，該支持指將所述核心置於圖像上時核心將"覆蓋"信號圖 像中的像素的數目。參考圖8，核心支持尺寸是9x9。核心可支持許多其 它的尺寸。在另一種實施方式中，綠色像素被分成與藍色像素(Gb)共 列的綠色像素和與紅色像素(GJ共列的綠色像素。在這樣的實施方式 中，有兩個綠色核心， 一個用於Gb,另一個用於Gr，這兩個綠色核心與 所述紅色或藍色像素核心具有類似的構造。
請注意，在一些實施方式中，所述巻積不會混合不同的顏色。也就 是說，在一些實施方式中，每個中心像素均與各相同顏色的環繞像素 (surrounding pixels)進行巻積。然而，在其它實施方式中，巻積確實混 合顏色。例如，當處理紅色中心像素時，來自藍和/或綠色像素的信息可用於去巻積中。因而，給定顏色的核心矩陣可在對應於不同顏色像素的 位置處具有非零係數。
核心的係數與採集圖像中的對應像素相乘，他們全部求和，並且將 所述結果寫入輸出圖像中的適宜位置中。圖像中的那些對應像素在本文
被稱為"當前圖像窗口"。例如，圖8中的核心支持9x9像素環境。在圖8 中，紅色i^象素和藍色^象素都形成5x5矩陣。當處理中心紅色^f象素801r時， 採集圖像中圍繞中心紅色像素801r的紅色像素是當前圖像窗口。因而，在 該實施例中，當前圖像窗口僅包括單一顏色的像素。然而，對於某些類 型的處理，當前圖像窗口可具有不止一種顏色的像素-例如，如果核心混 合顏色-即包含與不同於執行所述處理的中心像素的顏色像素相乘的係數 -那麼他們操作的圖像窗口也必須包括這些像素。請注意，對於像素總數 為41來說綠色像素有5x5模式和4x4模式。每個模式的中心像素是其值通 過巻積更新的像素。在該實施例中，使用bayer巻積，其中對於每種顏色， 僅使用了相同顏色的像素。因而，紅色模式用於根據紅色中心像素和該 模式中的鄰近紅色像素來更新紅色中心像素801r。
表I描繪了用於巻積綠色像素的3x3支持核心的示例性bayer濾波器的 係數。當該核心的中心係數落在綠色像素上時，僅綠色像素進行巻積。 請注意，實際上對具有O值的核心係數執行乘法並不是必需的。
表I
-0.50-0.5
030
-0.50-0.5
舉例來說，如果上述bayer濾波器將被應用於圖8的適當部分時，那 麼綠色中心像素801g和四個最近的綠色像素參加巻積。巻積可充當高通 濾波器，或者帶通濾波器。然而，巻積亦可充當低通濾波器，或者另一 種功能。注意，表I中的核心係數之和等於1。如果所述係數求和為除了l之外
的值，那麼核心將影響圖像的"DC"值(例如，當所有參加的像素是相同 值時)，該DC值可影響顏色或強度。當應用核心到顏色均一的表面上時， 保存該顏色(或強度)可能是所期望的。
當使用RGB去巻積(即，在去馬賽克處理之後執行去巻積)時，所 有像素都具有3個值(R, G, B),並且因而每種顏色的核心可寫為一2D 矩陣，每個矩陣單元具有有效的係數-因為圖像中每種顏色的信息是空間 連續的且存在於每種像素中。將RGB圖像視為3個2D矩陣的組合是方便的 -一個矩陣用於紅色、 一個矩陣用於綠色以及最後一個矩陣用於藍色。在 執行無顏色混合的情況下，每個核心被應用於包含適合該核心的顏色的 2D矩陣上。然而，在一種實施方式中，核心可混合顏色，並且因而核心 可具有與所有3個R、 G和B圖像矩陣中的像素相乘的值。
在一種實施方式中，進行檢查以確保不存在關於輸出圖像的位分辨 率的溢出或下溢。如果存在，那麼可使用飽和度和剪輯(clipping)。在 一種實施方式中，輸出圖像的位解析度與輸入圖像的相同。然而，這不 是必需的。在另一種實施方式中，輸出圖像解析度可相對於輸入圖像分 辨率而改變。處理所述像素的順序不局限於任何特定順序。所述順序可 取決於銳化階段114的輸入接口 。
4.0基於預期效果的大小來調整核心效果的綜述 4.1 過程綜述
圖12是一幅根據實施方式說明用於調整核心效果的過程1200的流程 圖。在步驟1202,訪問初始核心矩陣。在步驟1204,調整所述核心矩陣 對信號矩陣進行處理的效果。該調整目的是修改所述核心在信號上產生 的效果的大小。圖21和圖22描繪了兩種用於調整所述核心矩陣對信號矩 陣進行處理而具有的效果的技術。
預期效果可能是增強圖像對比度，儘管其可能是另一種效果。所述 對效果大小的調整可以是基於信號的S/N圖形的。所述對效果大小的調整 可以是基於像素的位置的。所述對效果大小的調整可以是基於用於採集
18信號的鏡頭的屬性的(例如，鏡頭陰影)。所述對效果大小的調整可以 是基於正處理數據的鄰域中的數據的特徵的。舉例來說，所述特徵可能 實質上是統計上的，諸如數據的標準偏差。所述核心效果可通過這些因 素中任意多的因素，或者通過其它因素來調整。
4.2通過更新核心來調整核心效果的綜述
圖21描繪了 一種根據實施方式的技術，在該技術中根據一個或多個 參數更新核心。接著，該經更新核心用於巻積。在圖21中，輸入接口2202 接收來自ISP鏈中另 一階段的圖像信號，並將圖像像素傳遞到更新核心方 框2106中。在這種實施方式中，輸入接口2206提供來自ISP鏈的某種數據 給更新核心方框2106。該數據的實施例包括但不限於，S/N圖形、圖像直 方圖、曝光時間、數模增益、去噪信息、白平衡信息和像素位置。
所述更新核心方框216更新核心215,所述核心215用於由所選擇的圖 像像素形成的信號矩陣的巻積。本文中，討論了多個實施例參數，這些 參數是基於諸如S/N ("a")、空間位置("(3")、局部特徵(丫)之類的 因素的。所述核心可根據這些參數中的一個或多個參數、或者其它參數 來更新。因而，所述核心更新不限於這些參數。巻積方框2206將信號矩 陣(基於圖像像素)與經更新的核心和最終結果進行巻積。
用於利用計算出的度量(例如，"a"、 "p"、 'Y，，......)修改核心的
方法如下-一旦計算出度量，該度量在0到1的動態範圍內(如果不在，可 將其轉換到這樣的動態範圍內)，則利用下列更新公式可降低所述核心 的效果(例如，一3x3核心)
formula see original document page 19
最終核心 初始核心
該公式創建了下列期望效果如果所述度量接近於O,則降低所述核 心的效果，以及如果所述度量接近於l,則保留初始核心。最終核心是2 個核心-初始核心和kronecker-5核心-的線性組合。該kronecker- S核心與圖 像進行巻積保持了原樣，沒做修改。因而，將其與初始核心組合，當與所述核心相乘的係數累加到l時，依賴所述度量，確保了所述初始核心效
果在強度上降低，同時確保了不對圖像的DC頻率分量進行任何改變(由 於最終核心中的所有係數之和保持為l)。
在另一種實施方式中，kronecker-S核心由另一核心代替，例如具有比 初始核心效果更強的核心，並因而依賴於所述度量，可實現增加所述處 理的效力的效果。
4.3通過^^改巻積結果來調整核心效果的綜述
圖22描繪了 一種根據實施方式的技術，在該技術中將"縮放"應用到 不必進行修改的核心的巻積結果上。該縮放實現了與如圖21所描繪的更 新核心相同的結果。在圖22中，輸入接口2202接收來自ISP鏈的另一階 段的圖像信號，並將圖像像素傳遞到巻積方框2206中。巻積方框2206將 信號矩陣(基於圖像像素)與未經修改的核心215進行巻積並輸出巻積結 果。巻積方框2206將正處理的當前像素與初始核心進行巻積，並輸出所 述結果到方框2212中。
平均器方框2212從方框2212接收巻積結果，巻積之前的當前像素值， 以及來自ISP的其它數據。該數據的實施例包括但不限於，S/N圖形、圖 像直方圖、曝光時間、數模增益、去噪信息、白平銜」信息、和4象素位置， 並計算所需的更新度量(替換地，基於該信息的更新度量在先前計算得 出且僅將他們輸入到平均器中)。
接著平均器2212在巻積結果與巻積之前的像素值之間取平均，並利 用一種實施方式中的下列公式輸出該最終結果(FinalRsult)。
等式 1: Wwa/iisw/Z : Cbwv/ ^ 膨Mc + (1 -附掛Zc) 7wj^屍/:^/
在等式l中，ConvRs是巻積結果，InputPixel是正處理的當前像素的 初始值。在一種實施方式中，由於InputPixel是kronecker-5核心和信號矩 陣的巻積結果，因此使用InputPixel。在期望效果是增大初始核心的效果 的情況下，以用比用於創建ConvRs的核心的效果更強的核心進行巻積而 得到的結果來替換InputPixel。所述度量(metric)可以是具有0到1之間的動態範圍的任意更新度量，並且構建該更新度量從而使得當其接近於o 時，期望效果是降低等式中第一加數的效果而增強第二加數的效果，以 及如果其接近於l，則相反(在最終結果中，增強等式中第一加數的效果 而降低第二加數的效果)。多個度量可用於創建最終輸出，並且只要相 乘係數加到l,等式中亦可使用不止兩個加數。本文中，討論了度量的多
個實施例，所述度量是基於諸如S/N ("a")、空間位置("p")、局部特 徵("Y")之類的因素的。該最終結果可取決於這些因素中的一個或多個 因素、或其它因素。
5.0基於多種因素調整核心效果 5.1基於S/N圖形調整核心效果 更新核心的系統實施例
圖2描繪了一種說明一種示例性系統200的方框圖，所述系統200用 於處理信號矩陣以基於核心矩陣實現預期數量的處理。圖2描繪了根據 實施方式更新核心矩陣以及用所述經更新的核心矩陣處理圖像數據。如 本文任意其它處所描述，為了調整應用所述核心的效果來修改核心本身 並不是必要的。在一種實施方式中，為了根據所述核心調整所述處理效 果，在用未經修改的核心處理所述圖像之後執行縮放。因而，要理解， 為了方便說明起見描繪圖2中的各個方框，以及對核心進行更新不需要如 圖2所描繪的用a與核心相乘。
一般來說，所述更新核心方框202根據噪聲級估計器來更新被選擇的 核心矩陣。巻積方框206將經更新的核心應用於圖像數據，其輸出到輸出 接口209中。在一種實施方式中，更新核心方框202和巻積方框206形成圖 lb或lc的自動聚焦方框lll的一部分。在一種實施方式中，ISP鏈204a的上 遊部分給輸入接口 208提供下列參數
i. 拍攝模式。
ii. 噪聲級估計器。
iii. 輸入圖像。在一種實施方式中，拍攝模式用於確定要使用哪一組核心215a、 215b。圖2的示例性系統描繪了用於微距模式和正常模式的核心。然而， 可有用於諸如夜晚、風景等之類的其它模式的核心。拍攝模式可以是任 意類型的要求對核心進行特殊處理的景色。在一種實施方式中，拍攝模 式是基於用戶選擇的。例如，用戶可以在微距模式和正常模式之間選擇。 在另一種實施方式中，拍攝模式是自動確定的。在這種實施方式中，基 於拍攝模式，要麼微距核心215a要么正常核心215b被提供作為更新初始 核心方框202的輸入。在一種實施方式中，核心的係數保存在內存中。舉 例來說，16位帶符號解析度可用來表示係數。
例如，正常模式核心215b可用於在40cm-無限遠處之間採集的圖像。 微距模式核心215a可用於拍攝近距離元素。舉例來說，近距離元素可以 在20cm-40cm的範圍內，或者在更近的10cm-40cm範圍內。在一種實施方 式中，有兩組三色核心(紅、綠、藍) 一組用於正常模式， 一組用於 微距模式。可使用不同數量的顏色核心。也可能有不同的核心尺寸。此 外，採用的支持尺寸可基於像素尺寸。例如，如果像素尺寸是1.75um, 則核心支持尺寸可能是13x13。對於2.2um像素尺寸來說，核心支持尺寸 可能是9x9。然而，對較小的像素尺寸採用較大的支持尺寸並不是必需的。
噪聲級估計器是所採集圖像中噪聲級的估計器。噪聲級估計器可用 任意格式表示。舉例來說，噪聲級估計器可以是0-7之內的整數值，其中O 指示低噪聲(好S/N) , 7指示大量的噪聲(壞S/N)。壞S/N可能與差的光 照條件相關聯。
在一種實施方式中，在提供圖像像素數據作為輸入之前，ISP鏈204a 的上遊部分將壞像素校正(BPC)應用於圖像數據。在一種實施方式中， 在所述圖像數據已由巻積方框206處理之後，ISP鏈204b的下遊部分將去 馬賽克應用於圖像數據。
更新核心方框202擁有a計算邏輯212，從而從噪聲級估計器計算本文 稱為"(x，，的值。在一種實施方式中，其中噪聲級估計器是O到最大噪聲值 (Max—noise一val)之間的數字，利用等式2計算a的值。
寺式2: formula see original document page 22等式2指示圖像噪聲越大(噪聲值(noise_val)越大)，a的值越低 (反之亦然)。因此，如果圖像中幾乎沒有噪聲，則a的值接近l。在等 式2中，a與noise一val之間的關係是線性的。然而，線性關係並不是必需 的。根據noise—val與圖像中的真實噪聲量之間的關係，a可能以更複雜的 形式依賴於noise—val， i者如二次方相關，或者其它相關—如果noise—val 是線性的，則a可以是noise—val的線性函數。更新核心方框202擁有核心 更新邏輯214,其根據a的值，產生初始核心的更新形式。
圖3示出了一種根據實施方式用於更新核心的示例性等式。圖3指 示a-更新核心矩陣是兩個核心的線性組合l)初始核心矩陣，其乘以a; 以及2)S核心矩陣，其乘以1-a。 5核心亦可稱作kronecker-S核心。注意， 這導致a-更新核心係數之和保持為l,從而保存圖像的"DC"值。注意，實 現圖3中的等式並不要求去巻積核心乘以a。相反地，如下面所討論的， 在將圖像矩陣與未經修改的去巻積矩陣巻積之後，可進行a"縮放"以產生 相同的結果。
如果a相對接近l,則a-更新核心極其近似於初始核心。然而，如果a 的值相比較l更接近於O,則a-更新核心將更近似於kronecker-S核心。例 如，如果a-0.2，則a-更新核心將包括80Q/o的kronecker-5核心而僅包括 20%的初始核心。在一種實施方式中，初始核心實質上是高通或帶通濾波 器。因而，如果a低，則a-更新核心將對圖像產生的銳化量遠低於初始核 心的銳化量。
注意，如果核心是高通或帶通濾波器，則它可能放大噪聲；因此， 與用初始核心處理圖像相比，在不對其進行更新的情況下，當圖像具有 低S/N時削弱這樣的核心可改善最終經處理的圖像中的S/N。這種技術可 削弱初始核心的增益。通過用具有比初始核心更強的高通/帶通頻率響應 的核心來替換kronecker-S核心，可使用相同的技術來加強初始核心。巻積 方框206中的巻積邏輯216用a-更新核心對輸入圖像的當前部分進行巻積， 並向輸出接口209輸出值。有一種實施方式中，輸出圖像具有與輸入圖像 相同的解析度。使用後巻積縮;^文的示例性系統
如早先所討論的，核心乘以a以實現a更新並不是必需的。圖16描繪 了 一種實施方式，其中將"縮放"應用到未經修改的核心的巻積結果上； 這種縮放實現了與如圖2所描繪的用a更新核心相同的結果。在圖16中， 圖像接口 208從圖像傳感器1372接收圖像信號，並將信號矩陣傳遞到巻積 方框206中。來自圖像接口208的模式選擇信號用於選擇一種或多種核心 215，所述核心提供至巻積方框206。前面已經討論了不同模式的實施例。 巻積方框206將信號矩陣與未經修改的核心進行巻積並輸出巻積結果。各 巻積結果包括當前正處理的信號矩陣的元之一的值。
在這種實施方式中，圖像接口 208提供噪聲級估計器信號給縮放 1602,其利用a計算邏輯212計算"a"。 a計算可按照與圖2所描繪的實施方 式相同的方式執行。a縮放1612輸入巻積結果、a、以及當前正處理像素 的初始值，並輸出當前像素的最終結果。在一種實施方式中，當前像素 是信號矩陣的中心像素。在一種實施方式中，a縮放1612執行如下
等式3:
在等式3中，ConvRs是巻積結果，InputPixel是正處理的當前像素的 初始值。因而，利用未經修改的核心以及一個或多個其它值，當前像素 的最終處理結果是巻積結果的加權和。那些其它值包括但不限於輸入圖 像中的初始像素值。在這種實施方式中，a參數用作加權(或縮放)參數。
5.2根據空間位置調整核心效果 示例性系統
在一種實施方式中，根據空間位置修改將去巻積核心應用於圖像的 效果。在一種實施方式中，空間位置是基於用來採集圖像數據的鏡頭的 陰影輪廓的。圖4描繪了一種系統400的方框圖，其中在a-更新巻積核心已 由更新核心方框202^f奮改之後，巻積方框203中的P-更新邏輯30M吏用"陰影 指示符"來修改a-更新巻積核心。陰影指示符定義鏡頭-陰影的數量，並可 相對於圖像數據中的中心來描述。如果需要，可在對核心進行a更新之前或不進行a-更新，對核心執行(3-更新。如本文任意其它處所描述，為了調 整應用所述核心的效果來修改核心本身並不是必要的。在一種實施方式 中，為了根據所述核心調整所述處理效果，在用未經修改的核心處理所 述圖像之後執行縮放。本文中，基於陰影指示符的調整被稱為"P-調整"。 圖6描繪了 一個根據實施方式用於基於陰影參數更新核心的等式。 注意，圖6中的等式描述了對經a-更新的核心進行l3更新。初始核心係數用 標籤來標記，以指示初始核心用a更新過。如早先所討-論，可在a更新之 前，對核心#1行(3更新。此外，在一種實施方式中，在不執行a-更新的情 況下可執行(3-更新。如果對核心執行(3-更新，則巻積是非線性巻積(即， 其中核心依賴不止一個條件而對每個像素改變的巻積)。注意，實施圖6 中的等式並不要求經a更新的去巻積核心與(3相乘。相反地，如下面所討 論，a及p"縮放"可發生在將未經修改的去巻積矩陣與圖像矩陣進行巻積 之後。在對相關顏色核心執行(3更新之後，巻積邏輯216將相關顏色核心與 表示成圖像矩陣的圖像數據相巻積。基於圖像矩陣中的中心像素的顏色 來確定相關顏色核心，所述中心像素是正處理的當前像素。巻積包括以 圖像矩陣中的匹配像素來乘以(3-更新的核心係數。所述結果寫入輸出圖像 中的適當位置，從而更新當前像素的值。然後，處理圖像數據中的下一 像素。例如，如果正執行bayer處理，則處理bayer圖像中的下一像素。對 核心進行P-更新可提供更好的S/N;然而，在圖像邊界可能有較少的圖像 銳化。(3及陰影輪廓的實施例在一種實施方式中，為了補償圖像邊界處由鏡頭-陰影輪廓導致的 S/N代價，P-更新削弱作為離圖像中心的距離的函數的核心。圖5描繪了 一幅示例性鏡頭陰影輪廓的圖500。 y-軸是陰影參數p的值。x-軸是離鏡頭 中心的距離("R")。在這種實施例中，較大的R導致較小的(3。因而，在 這種實施例中，在鏡頭中心附近P接近於1，而靠近鏡頭外緣(例如，周邊)P接近於O。注意，在該實施例中，R與p之間的關係是非線性的。曲 線的形狀可以根據等式4模擬。等式4: " = 1-a max(i )))2等式4中，(3具有0-l之間的值。每個像素因而根據其離圖像的鏡頭中心的距離(R)來處理。該距離或平方距離可才艮據下列等式計算等式6:在這些等式中，xjndex和y—index是圖像中像素的索引(x是列，y是 行)，而圖像中的中心像素索引為[O, O]。 "a"和"b"的值是影響陰影數量 的常量。"a"和"b"的值可改變，且可由上遊ISP鏈204a提供。因而，在一種實 施方式中，由上遊ISP鏈204a提供的陰影指示符定義了常量a和b。在另一 種實施方式中，基於圖像統計來計算陰影指示符。例如，基於像素數據 的坐標以及與圖像數據相關聯的S/N,陰影指示符可由巻積方框206來計 算。S/N可由上遊ISP鏈204a提供。在另一種實施方式中，根據鏡頭陰影 輪廓來設置a和b,從而使其滿足鏡頭陰影輪廓特徵，並且固定,無需要陰 影指示符。巻積方框206中的R計算邏輯302確定用於至少一些像素的R。根據R 的值，P-更新邏輯304訪問(或確定)(3的值。也就是說，p可從表中存取， 或運行時計算得出。典型地，至少部分基於當前正處理像素的R值，|3從 表中存取，以節約處理時間。然而，(3可在空閒時計算得出。由於R值僅略微不同於一個其鄰居的像素，因此為每個像素計算新的 R值並不是必要的。因而，為每個像素對核心執行P-更新並不是必要的。 因此，每幾個像素或者甚至更多像素可執行P-更新，仍能取得期望效果。可在同一鏡頭的不同陰影輪廓之間選擇；然而，針對具體的鏡頭設 計，可選擇恆定輪廓。在一種實施方式中，陰影指示符是0-8之間的整數 值，其中O指示邊界處沒有陰影，8指示邊界處存在嚴重的陰影。然而， 可使用這個範圍之外的值。用於確定(3係數的替換實施方式本節描述了一種替代的技術，以基於"R"值來確定P， R描述了像素數據關於鏡頭的相對位置。在這種實施方式中，首先，ie的值可轉入到較小的動態範圍內。等式7是一種實現這種轉入的實施例。 等式7: /(i ):i 2
4
在將R值轉入到較小的動態範圍內之後，可使用等式8來計算(3: 等式8: " = 15-;7./(i ) 常量"p"和"q"影響陰影的數量，並因而調整核心的強度。這些常量因 而出於與前面確定P的技術中所討論的常量"a"和"b"類似的目的，但不是 相同的常量。"p"和"q"值可由ISP鏈204a提供(例如，陰影指示符可定義 這些常量)。替換地，適當的p和q值可由巻積方框206確定。舉例來說， p和q可基於圖像統計來確定。然而，p和q亦可通過鏡頭陰影4侖廓來確定 並保持固定。注意，在該等式中，|3的最終值可在0-15之間(即，這裡用4 位來表示p)。然而，才艮據該實施，P可具有任意期望動態範圍。圖像邊界處核心的削弱量可基於"p"和"q"來調整。例如，如果p = 0 iq=l,則圖像邊界處將無核心削弱。如果p-l且q-l,則在圖像邊界 處，核心將變成kronecker-(3函數。因而，核心將被削弱。可根據其來更新核心增益的陰影輪廓可以是除了 R"之外的函數。例 如，其可能是R的函數，或者是非旋轉對稱函數。在這些其它情況下，計 算P的公式將有些不同。例如，多項式可用於這種如在下列等式中所說明 的函數等式9:々(i ) = a0+<31(i /max(i )) + a1(i /max(i ))2+... + c( (i /max(i ))"在等式9中，P可具有0-1之間的最終值。同樣，基於鏡頭陰影輪廓的調整可用來加強圖像邊界中的核心，而 不是削弱他們。在這種實施方式中，用具有更富侵略性的高通/帶通頻率響應的核心來替換kronecker-5核心，並且因此調整初始核心係數。想增強27核心的理由是:一般來說，對於給定鏡頭，PSF通常在視場(FOV)的邊界處 比在其中心處更大。空間相關處理該基於鏡頭陰影輪廓調整核心效果的實施例是一種用於根據空間 (或像素)位置調整核心效果的技術。然而，這不是唯一的用於基於空 間位置調整核心效果的技術。在一種實施方式中，在圖像處理期間保存 或取得不同核心，從而有差別地處理圖像傳感器的不同區域，以說明位 置相關光學像差。該位置相關處理可以是與單一像素區域一樣的細粒度， 但不同區域可具有不止一個單個^f象素。例如，可對圖像傳感器的不同區域計算光學象差。每個區域的尺寸 可以小如一個單一像素，但可包括不止一個單一〗象素。在一種實施方式 中，為每個區域建立去巻積核心("區域核心")，從而抵消該區域中像 素的光學象差。不同的區域核心可針對每個區域而存儲。替換地，單個 區域核心可針對多個區域而存儲，對該核心進行調整，從而實現對不同 區域的不同處理。用後去巻積縮放來調整核心效果如早先所討論的，如圖4所描繪，為了獲得用a和(3來更新核心的結果， 所述核心乘以a和p並不是必需的。圖19描繪了一種實施方式，其中將a和 P"縮放"應用於基於未經修改的核心的去巻積結果。在這種實施方式中， 圖像接口 208提供噪聲級估計器信號和陰影指示符給縮放l602,所述縮放 1602利用a計算邏輯212來計算"a"。 a計算可以與圖2所描繪的實施方式類 似的方式來執行。在本實施方式中，圖像接口208提供陰影指示符信號和 像素索引給縮放1602,所述縮放1602利用P計算邏輯302來計算"I3"。卩計 算可以與如圖4所描繪的實施方式類似的方式來執行。在一種實施方式 中，所述陰影指示符不用於確定(3。相反地，(3是基於像素索引來確定的， 而不必使用陰影指示符。28a/(3縮放1912輸入巻積結果、a、 p和正處理的當前像素的初始值，並 輸出當前像素的最終結果。在一種實施方式中，當前像素是信號矩陣的 中心像素。在一種實施方式中，所述a縮放1612執行如下等式10:在等式10中，ConvRs是巻積結果，InputPixel是正處理的當前像素的 初始值。因而，利用未經修改的核心以及一個或多個其它值，當前像素 的最終處理結果是巻積結果的加權和。那些其它值包括但不限於輸入圖 像中的初始像素值。在這種實施方式中，所述a和p參數用作加權(或縮 放)參數。如果需要，可使用j3參數而不使用a參數。5.3根據局部圖像特徵調整核心效果在一種實施方式中，核心效果根據局部圖像特徵調整。所述圖像特 徵可以是正處理的當前像素的局部特徵。根據圖像特徵調整核心效果可 與先前討_淪的01調整和/或|3調整一起#^於。然而，在一種實施方式中，核 心效果根據圖像特徵來調整，而沒有任何a或p調整。此外，除了a-或p-調整之外的對核心的調整可用本節的技術來執行。根據圖像特徵調整核心效果的一個方面，是根據中心像素值本身(或 者，可替換地，根據繞所述中心像素的幾個像素的加權平均值)來調整 處理級別(即，核心強度或效果大小)。因而，例如，當該中心像素(或 平均值)具有一高值時，效果大小將較大，當該中心像素具有一低值時， 效果大小將較小。也可以相反使用衝心像素的值(或者繞中心像素的幾 個像素的平均值)越低，核心效果越強，值高則效果越弱-取決於需要。 一種根據像素值改變效果的大小的實施例在下列等式l 1中給出等戈 Wwa/i sw/f = / /xe/ — va/ / Max — /nxe/ — va/' Cowvi ^ +(1 — /nxe/ — va/ / Max — j ixe/ — ra/). 7n戸,Pfxe/在上述等式ll中，在巻積之前，當pixel—val為高時，最終結果將近似 於巻積結果，當pixel—val為低時，最終結果將近似於初始像素值。根據圖像特徵調整核心效果的另 一個方面，是要識別圖像中的區域， 其中所述核心應該以更大或更小的強度來應用。因而，確定關於核心矩 陣要對信號矩陣產生的效果的大小。期望效果可以是圖像對比度，在這 種情況下，為了最大效果，核心可應用於期望圖像對比度最大的圖像區 域中。替換地，在期望幾乎沒有圖像對比度的區域中，根本不可應用核 心，或者可修改應用所述核心的效果，從而導致更小的圖像對比度。在 一種實施方式中，修改應用核心的效果，從而實現最小效果和最大效果 之間的平滑瞬態。在一種實施方式中，有當期望對效果無調整時所應用 的預設核心。所述調整可增強所述預設核心的效果的大小，或者可降低 所述預設核心的效果的大小。在另一種實施方式中，所使用的核心是用 於去噪目的的低通濾波器，其中使用相同度量來確定在何處應用核心以 及用何種強度應用核心。根據局部圖像特徵調整核心效果的結構綜述圖7描繪了一幅系統700的方框圖，其中基於根據當前正處理像素的 位置中的圖像特徵計算得出的度量，巻積方框206中的核心更新邏輯704 修改所述核心。可修改所述度量本身，從而得到本文稱為'Y，的值。在系 統700中，在進行Y更新之前，核心首先基於a-和(3更新來更新。然而，和y 更新一起使用a-或p更新並不是必需的。此外，在這種實施方式中，y更新 在a-和p更新之後。然而，可以改變核心更新的順序。如本文任意其它處 所描述，為了調整應用所述核心的效果來修改核心本身並不是必要的。 在一種實施方式中，為了根據所述核心調整所述處理效果，在用未經修 改的核心處理所述圖像之後執行縮放。基於正處理的當前像素及其鄰近像素的分析，巻積方框206中的度量 計算邏輯702計算所述度量。所述度量計算邏輯702檢查每個像素的當前 圖像窗口 (乘以巻積核心的圖像段)，確定所述當前像素的期望處理的 數量的度量。接著，基於所述度量，巻積核心由所述核心更新邏輯704更 新。最後，將經更新的核心應用於圖像數據。30一旦Y由所述度量定義，邏輯上所述用於更新核心的方法可類似於用於對核心進行a-或P-更新的方法。例如，從合乎邏輯的觀點來看，如果希 望降低處理的大小，則所述經更新的核心可從初始核心與S核心的線性組 合中產生，或者如果希望提高處理的大小，則用更富侵略性的核心產生。 再次參考圖3，可用Y替代a來更新所述核心。因而，Y影響核心的線性組 合的核心係數。注意，如果用利用Y和a和/或P更新的核心來執行巻積，則 得到非線性巻積結果。也就是說，執行巻積，其中所述核心依賴於不止 一個條件針對每個像素而改變。注意，如本文所描述的後去巻積縮放可 用來獲得利用經更新的核心的去巻積結果。根據局部圖像特徵調整核心效果的功能綜述如早先所討論的，在該實施方式中，基於繞當前正處理的像素的局 部特徵來調整處理的強度。首先，檢查繞當前像素的區域，來確定諸如 是否存在邊緣、繞所述像素的區域是否相對平面-即均一，在該區域內的 信息沒有任何變化(諸如空白灰牆之類的)-等之類的信息。等式ll描述 了 一種計算所述度量的方法。在等式12中，Pj和N是窗口之內的像素，？是N個像素的平均值。 確定所述度量的實施例下面是幾種用於計算所述度量的示例性方法。可利用繞計算出輸出 值的中心像素的當前圖像窗口來計算所述度量。然而，使用在整個當前 圖像窗口中的所有像素(正處理顏色的)並不是必需的。此外，所述度 量可能是基於當前圖像窗口之外的像素的。此外，僅基於相同顏色的像 素確定所述度量並不是必需的。也就是說，對於一些類型的處理，在所 述度量計算中包括不同顏色的像素可能是適當的。方差/標準偏差實施例
在一種實施方式中，當前圖像窗口中的像素的方差或者標準偏差
(win—std)用作在繞所述中心像素的當前圖像窗口中差異的存在以及差 異的量的指標。如果使用標準偏差，則可使用公式13A或13B中的公式
在等式13A和13B中，x,.是當前圖像窗口中的像素，"n"是當前圖像窗 口中的像素的數量，3f是平均值。如先前所討論的，在一種實施方式中， 當前圖像窗口中的像素全都是相同顏色的。平均值可如等式14所指出的 來確定。
等式14: 3^ =丄|>,.
W ,.=1
然而，在一種實施方式中，所有像素均參加平均值計算並不是必要 的。此外，在一種實施方式中，使用加權平均值，而不是簡單平均值， 其中參加平均值計算的像素根據相對於中心像素的空間位置，或者根據 另一種加權方案來加權。所述權值歸一化為l,以便均一區域的平均值保 持相同。在下列等式中示例所述加權平均(其中Wi是權值)
如果&被認為是隨機變量，則這些是用於標準偏差的未偏移和已偏移 的估計器。接著，在一種實施方式中，計算兩個值-當前圖像窗口中的
win—std的最大值(Max—std—val),以及當前圖像窗口中的win—std的最小 值(Min_std_val)。根據等式16a和16b計算這些值。
等式15:
32在等式16a和16b中，f是平均值，"n"是當前圖像窗口中的像素的數 量。這些最小及最大值從上到下確定了標準偏差的範圍。因而，當前圖 像窗口的標準偏差的動態範圍(dyn_range)可按照等式16定義。
寺式 16: 辦w — rawge = Max — W — va/ — Mfw — 5fc/ — va/
核心可根據圖ii所描繪的等式來更新。注意，如圖ii所描述的核心 更新可通過如本文所描述的由後去巻積由Y縮放實施。也就是說，信號矩
陣用未經修改的核心矩陣來巻積，接著根據Y來縮放所述巻積結果與初始 像素值之和。
進一步注意，如果辦w — 則中心像素的鄰域中的所有像素都
是相同的。因此，無論中心像素具有與當前圖像窗口中剩餘像素相同的
值(即，W!'" —^/ = 0),還是中心像素具有與剩餘像素不同的值，將S核心 應用於中心像素。注意，在上述情況中任何一種情況下，可不預期任何 處理。第一種情況可指示當前圖像窗口是"平面"區域(例如，牆、藍天 等)，其中不預期增強圖像對比度。第二種情況可能是由於未檢測到任
何模式而由噪聲引起；因此可不預期增強圖像對比度。進一步地，注意 在圖11的等式中，input—kemel和delta—kernel所乘的兩個係數之和為1 。
如果當前圖像窗口是"平面的"或近乎"平面的"，或者甚至如果其是噪 聲區域，但具有相對低的噪聲標準偏差，則所述標準偏差為低值。因此， 圖11中input—kernel所乘的系ft接近於O, delta—kernel所乘的係數接近於 1。因此，根據需要，對於其中幾乎沒有細節的圖像區域，幾乎沒有處理 發生。
然而，如果當前圖像窗口包括介於明暗區域之間的邊緣，則標準偏 差值為大(例如，接近於最大可能值)。因而，圖ll中inpuycernel所乘 的係數將達到接近於l的值，delta—kemel所乘的係數將得到接近於0的值， 這意味著final—kernel將銳化圖像並恢復所損失的對比度。由於為每個像素 設置了標準偏差的動態範圍，因此不依賴於固定閾值，所述固定閾值隨 現場場景而改變。然而，計算窗口中的最小及最大值以及採用局部動態範圍並不是必 需的。在一種實施方式中，固定的動態範圍用於將標準偏差歸一化為動
態範圍[Ol]。例如，對於0到1023的像素值(每像素10位)，標準偏差可 接收0到512的值，因而可將所述動態範圍固定到所述範圍中。
替換地，為了以更精密複雜的方式來改變核心，可將更複雜的函數 應用於標準偏差。舉例來說，標準偏差的動態範圍可劃分成幾部分，在 每一部分，以這些部分之間的過渡是連續的並取得期望效果的方式應用 不同的函數。舉例來說，圖15中描繪的圖表1500說明了一種根據實施方 式的相對於所述度量的y曲線。參考圖15,定義兩個閾值("低閾值
(low_th)"和"高閾值(highjh)")。如果所述度量為低(例如，低於 "low_th")，則在當前圖像窗口中沒有邊緣信息(或微乎其微的邊緣信息)。 因此，y值保持為低。如果所述度量位於"low—th"和"high—th"之間，則分 配給y較高的值。所述範圍證明存在邊緣，但注意，該範圍具有上限 "high_th"。在圖15的實施例中，Y值在大於"lowJh"以上增大，直到在 "lowJh"與"highjh"之間的某一值處y達到1 。然而，如果所述度量為高
(例如，在"high—th"之上)，則所述Y值逐漸從y在"highJh"處得到的l值
減小。Y的這種減小降低了已經足夠銳化的過度銳化邊緣的可能性。根據 各度量值，計算y參數，其中y在O到l之間。該函數在所述度量的整個範 圍內是連續的。所述y值乘以核心，而以類似於執行a-和(3-更新的方式， (乘以kronecker-S核心(或者，可替換地，更富侵略性的核心-根據 預期效果)。
作為使用標準偏差作為用於梯度-存在識別的度量替代，可根據下列 公式使用方差(variance):
等式 17: —var = 1 X_X)2或 vw."—var二丄J](x,. — x)2 — "S — mS
在等式17中，注釋與標準方差公式中相同。在這種替換方式中，為 了創建適宜的動態範圍(或者，可使用固定動態範圍，如前面所列出的)，應因而確定最大和最小值。還是在這裡，圖ll中的公式可用於更新核心， 或者可如上所述使用更複雜的函數。
作為使用標準偏差作為用於梯度-存在識別的度量的另 一種替代，可
根據等式18使用絕對差值(absolute value of differences):
寺式 18: w'w —aZw=~^~X!卜,.-圳或 vw'w —afo 二丄Hx,.-刮
其中注釋與標準偏差公式中相同。在這種替代方式中，為了創建適 宜的動態範圍，最大和最小值應因而確定。還是在這裡，圖11中的^^式 可用於更新核心，或者可如上所述4吏用更複雜的函數。
直方圖實施例
一種類似於標準偏差方法的方法是要計算當前圖像窗口的直方圖，
並基於所述直方圖確定核心的大小。當前圖^f象窗口 ( image_window )的 局部直方圖可通過首先定義某數量的區格(bin)來計算。這可例如根據 等式19來進行。
等式19:# 6Zra = max(x,.) — min(x,.) +1, / = 1. xz. e /wage — >v/w^fovw
替換地，bin的數量可以是預定的固定數量。舉例來說，1024個bin可 用於對應於一10-位圖像的強度級數目。接著，所述bin本身例如通過用 弁bins劃分所述圖像窗口的動態範圍來定義，如等式20所描述。
等式 20: 辦w — rawge = max(x,.) — min(x,.) +1, / = 1. "， c,. e /附"ge — wW嫌
在這種實施例中，將有弁bins個bin,每個都是l像素寬。可將動態範 圍劃分成更寬的bin，每個bin都是若干個像素值寬。 一旦定義了所述bin， 每個bin均用圖像窗口中落入該bin範圍的像素值的數量來填充。圖9A說明 了用於圖像窗口的數據，圖9B說明了用於所述數據的直方圖。
在一種實施方式中， 一旦已知當前圖像窗口的直方圖，則進行確定 所述直方圖多麼接近於單峰直方圖以及所述直方圖多麼接近於多峰直方 圖。單峰直方圖亦可稱為均一直方圖。在一種實施方式中，多峰直方圖 包括雙峰直方圖和高階直方圖。
35直方圖的形狀越接近於多峰直方圖，對於當前圖像窗口中存在邊緣 的指示越強。可期望增強應用於具有邊緣的窗口的去巻積核心的效果。 例如，可期望增強圖像的對比度。替換地，如果核心具有低通頻率響應， 則其可能希望降低他們的效果大小，以便他們不會模糊圖像中的邊緣。
所述直方圖越接近於單峰直方圖，則圖像窗口越"平面"(即，越均 一)。因此，可能期望修改所述去巻積核心，從而最小化他們的效果。 例如，在這種情況下，可能期望不增強圖像對比度。噪聲圖像窗口可產
生均一的或單峰直方圖。圖10A說明了單峰直方圖，圖10B說明了不同的 綠色圖像窗口的雙峰直方圖。利用1024個bin( 10-位bayer圖像的強度級的 #)，以及分布的41個值(用於9x9綠色核心的綠色圖像窗口中的值的弁)， 產生這些直方圖。
因而，在一種實施方式中，分析所述直方圖來確定所述分布是單峰 的還是多峰的。 一種區別單峰直方圖和多峰直方圖的技術是採用聚類算 法(例如，k-means)，其可用於檢測存在兩簇還是多簇。此外，所述度 量可基於所述多個簇的中心之間的距離的。為了獲得用於更新核心的增 益的度量，所述距離通過其動態範圍來歸一化。
另 一種用於區分雙峰和單峰直方圖的技術是基於平滑所述直方圖 的，並接著在其中查找局部最大值。如果僅有單個局部最大值，則直方 圖是單峰的。然而，如果找到兩個局部最大值，則所述兩個局部最大點 之間的範圍用於導出所述度量。舉例來說，如果所述範圍小，則所述核 心可調整為具有低增益。然而，如果所述範圍大，則所述核心可調整為 具有高增益。這些調整可期望使核心在所述範圍大時具有最多的圖像對 比度增強。如果找到三個或三個以上的局部最大值，則所述度量亦可基 於所述局部最大值之間的範圍。
在先前討論的標準偏差技術與直方圖的形狀之間可能存在關係。具 有其值擁有高標準偏差的像素的當前窗口矩陣可具有帶有兩個或兩個以 上波峰的直方圖形狀，其中像素值遠離所述平均值。另一方面，具有其 值擁有低標準偏差的像素的當前窗口矩陣可具有帶有單波峰的直方圖， 其中大部分像素值接近所述平均值。邊緣4企測實施例
在一種實施方式中，確定度量是基於檢測圖像中的邊緣的。例如，巻積掩膜可用於找到當前圖像窗口中的邊緣。可能採用的巻積掩膜的實
施例包括 f旦不限於，Sobel、 Laplacian、 Prewitt和Roberts。在一種實施方式中，將邊緣檢測掩膜應用於當前圖像窗口上，從而檢測邊緣。將諸如窗口中像素的標準偏差之類的統計度量值應用於所述結果。接著所述度量是基於所述標準偏差結果的。在另一種實施方式中，將邊緣檢測掩膜應用於當前圖像窗口上，從而檢測邊緣。在所述邊緣檢測實施方式中，基於是否找到邊緣，來應用所述核心。
3巨離實施例
所述信息度量亦可基於"距離"方法來構造。圖23示出了一種用於構造所述信息度量的方法2300。該方法始於步驟2304,其中對像素之間的絕對差值求和。近距離由當前圖像窗口中繞中間像素的像素而計算得出。遠距離由空間上遠離所述同 一 圖像中中間像素的像素而計算得出。所述信息度量2312僅由近距離計算得出，而所述度量2316同時由近距離和遠距離而計算得出。在步驟2320，該方法2300計算具有根據這兩種信息度量值而確定的權值的兩種信息度量的加權平均值，其導致最終的信息度量，儘管未進行縮放。在步驟2324，所述最終信息度量根據當前圖像內的空間位置來縮放，以及所述經縮放的信息度量接著提供給過程2400，其在圖24中進^f亍更詳細地描述。
在一種實施方式中，以下列方式計算各種距離度量將圖像窗口劃分成像素簇，以及對於每一簇，利用在該簇中的像素與在中間簇(直接圍繞於所述中間像素)中的匹配像素之間的差值的絕對值的加權和，為該每一簇計算距離度量。等式21示出了用於示例性單個3x3簇例子的距離度量的計算
等式21:《=玄土『[z',幾lc^,刀-c冊jzw]l
37其中W [i， j]是可配置的加權矩陣，Ck [i, j]是3x3 Ck簇中像素[i, j]的
值，Cmid[i，j]是中間簇中[i,j]像素的值。
邊緣增強實施方式
由於邊緣檢測掩膜中係數之和為O,則如果在初始圖像窗口中存在邊緣，則合成的圖像窗口將包含強正和負值。因此，包含邊緣的圖像窗口將擁有高的標準偏差值，因此具有高的處理度量(processing-metric,p一metric)。另一方面，如果所述窗口具有用於圖像中"平面"、均一的區域的數據，甚至用於具有相對低噪聲標準偏差的噪聲區域的數據，則所述邊緣過濾圖像將具有彼此接近的像素值(典型地接近於0)。因此，所述邊緣過濾圖像(edge-filtered image)將具有低的標準偏差值和低的處理度量。在一種實施方式中，固定的預定閾值用於歸一化所述標準偏差，從而使得最終處理度量是O到l之間的值。所述度量計算可按照等式22中所指示的來確定
等式22:
formula see original document page 38
所述核心可按照類似於如圖3所描繪的方式來更新。然而，p—metric替換a。
歸一化標準偏差導致所述處理度量的平滑梯度變化，從低值到高值，並因而創建了連續且平滑的處理，且消除了輸出圖像中的偽像。
表II提供了 一種對進行綠色bayer處理的bayer圖像的邊緣檢測的示例性值。如果所述綠色像素劃分成Gr (紅色行中的綠色)和Gb (藍色行中的綠色)，則可對所有像素(Gr， R, B和Gb)使用表III。表III提供了用於紅色或藍色bayer處理的邊緣^r測掩膜的示例性值。表II
-l0-i0-l
0-i0-l0
-l0120-l
0-i0-l0
-l0-l0-l
表ni-i0-l0-l
00000
-i080-l
00000
-i0-l0-l
舉非限制性例子來說，用於在去馬賽克之後圖像上所執行的處理的
邊緣才全測掩膜可能是乂^知的Sobel、 Prewitt、 Roberts和Laplacian掩膜。
邊糹彖4全測實施方式
在一種邊緣檢測實施方式中，將邊緣檢測掩膜(如果在bayer圖像上進行所述處理，則適用於bayer才莫式)應用於圖像窗口上，從而發現邊緣。閾值可用來確定是否存在邊緣，考慮一種a-優先(a-priory)的假設有一種邊緣如何出現在自然圖像中的模式。例如，與有效圖像數據相反，不同於其它像素的單個像素可能是隨機噪聲。所述閾值可根據為鄰近像素而獲得結果來更新，以便與檢測到邊緣相反，降低錯誤地檢測噪聲的可能性。該方法的可能實現可以按照如下。
首先，將邊緣檢測掩膜應用於當前圖像窗口上。如果在上述當前閾值之上存在絕對值，則檢查他們是否形成一條線或其它圖案。指示一條線或其它圖案可能是，幾個鄰近像素具有高絕對值。如果找到一條線或其它圖案，則宣布當前圖像窗口包括邊緣。如果沒有像素具有超過所述閾值的絕對值，或者如果所述具有高絕對值的像素沒有形成一條線或其它圖案，則所述當前圖像窗口被認為是包含"平面，，(可能是噪聲的)區域。
接著，根據是否發現邊緣，將去巻積核心應用於當前圖像窗口。例如，如果發現邊緣，則可應用強去巻積核心。否則，可將弱去巻積核心應用於所述窗口。此外，設置去巻積核心增益可根據邊緣的"強度"來進行。例如，在發現邊緣這種情況下，圖像窗口中的像素的標準偏差在應用邊緣掩膜之後計算得出。所述核心的增益接著是以類似於上述標準偏差方法的方式基於所述標準偏差度量的。
亦可採用其它邊緣檢測方法。例如，包括但不限於Roberts、 Prewitt、Sobel或Canny的其它邊緣檢測掩膜可用來確定窗口中是否存在邊緣。
基於熵的實施例
在一種實施方式中，要應用於所述圖像窗口的核心的大小(例如，去巻積核心的高增益或低增益)是基於當前圖像窗口中的熵的。較高的
熵可能表明在當前圖像窗口中有大量信息，因而可能期望將更強的核心應用於該窗口。 一"平面"圖像窗口可能具有低的熵；因此，可能期望將更弱的核心應用於所述窗口處理度量。可如等式23所描述的來確定所述熵(Entropy)計算。
"_v 1023
等式23: 淑，"-Z/ ,.log(A)
在等式23中，p,.是當前圖像窗口中像素值i的經驗概率。如果，例如，所述圖像窗口是"平面"的，則熵為0，如果其包括邊緣(具有不同強度值的像素)，則所述熵將接收一高值。通過對來自等式23的熵值歸一化，可確定實際處理度量。
然而，由於所述熵不考慮像素之間差的量，因此高熵值可由隨機噪聲引起。因此，在一種實施方式中，圖像的S/N用來確定是否採用熵技術。基於梯度的實施例
在一種實施方式中，通過計算在當前正處理的窗口中繞中心^泉素的幾個局部梯度，來確定邊緣的存在。接著根據梯度幅度來計算一度量，
例如根據梯度幅度的加權平均。可根據下列實施例獲得梯度
__
i_^_^_
_^_5_
6_^_^_
_^_^_
ii__12_
從表IV來看，可能的梯度是|1-13|,|2-12|,|3-11|,|6-8|，|4-10|,|5-9|。
__
1 2 3
4 5 6
7 8 9
從表V來看，可能的梯度是|1-9|，|2-8|，|3-7|,|6-4|。表IV示出了用於bayer圖像中綠色的5x5支持的像素位置，表V示出了用於bayer圖像中紅色和藍色的5x5支持的像素位置。當計算所述梯度的加權平均時，權值可由參加某 一梯度的像素之間的空間距離來確定。
一旦計算出所述度量，所述核心更新機制可如前面所提出的進行。也就是說，可根據可能的動態範圍來歸一化所述度量，從而確定"f，。在一種實施方式中，類似於圖15所描述的，可利用增益函數來進行所述歸一化。接著，本文所公開的影響如a及(3更新中所使用的去巻積核心的技術，可用於Y更新。
41在一種實施方式中，所述用於創建所述度量的方法由上述方法中的一些方法的加權組合組成。例如，所述最終度量是基於所述標準偏差度
量和所述梯度度量的加權平均的，或者採用2種或2種以上度量的任意其它組合來創建所述最終度量。
可用光(available light)實施例
亦可擁有兩種或兩種以上單獨的增益函數，所述增益函數取決於當前圖像窗口中光的量(級別)的局部估計來使用，而不是總是使用相同的增益函數來從所述信息度量中確定"Y"。在一種實施方式中，這種估計可能是中間像素本身或者幾個近距離像素的加權平均的值。圖24中示出了一種示例性方法2400,其中正好使用了兩種增益函數，儘管可使用不止兩種的增益函數，圖24僅為舉例。在步驟2404，將經縮放的信息度量(結合圖23討論)傳遞給兩個增益函數Fgl和Fg2。在這個實施例中，增益函數Fgl可適用於高光級，而增益函數Fg2可適用於低光級。與此同時，在步驟2408,測量當前正處理的像素的光級。在步驟2412和2416,將第一及第二增益函數Fgl和Fg2應用於所述經縮放的信息度量。在步驟2420,根據所述像素的光級，對所述兩種增益函數的輸出進行加權，按照規定，所述光級在步驟2408測量，並求和產生一統一的度量。
用後去巻積縮放調整核心效果
基於a、 p和Y的圖像處理包括將所述核心乘以y並不是必需的。圖20描繪了一種實施方式，其中將a、 (3和Y"縮放"應用於未經修改的核心的去巻積結果。在這種實施方式中，所述圖像接口208提供一噪聲級估計器信號以及一陰影指示符給縮放1602,其利用a計算邏輯212計算"a"。所述a計算可以類似於圖2所描繪的實施方式的方式執行。在這種實施方式中，圖像接口208提供了 一陰影指示符信號和一像素索引給縮放1602,其利用(3計算邏輯302計算"(3"。所述(3計算可以類似於圖4所描繪的實施方式的方式執行。在這種實施方式中，所述圖像接口208提供當前像素的值及其鄰居給縮放1602,其利用Y計算邏輯702計算'Y，。所述y計算可根據本文所公 開的任意技術執行。
所述a/p/Y縮放2012輸入巻積結果、a、 (3、 Y和正處理的當前像素的 初始值，並輸出當前像素的最終結果。在一種實施方式中，當前像素是 信號矩陣的中心像素。在一種實施方式中，所述a縮放1612執行如下 等式24:
在等式24中，ConvRs是巻積結果，InputPixel是正處理的當前像素的 初始值。因而，利用未經修改的核心以及一個或多個其它值，當前像素 的最終處理結果是巻積結果的加權和。那些其它值包括但不限於輸入圖 像中的初始像素值。在這種實施方式中，所述a、 p和Y參數用作加權(或 縮放)參數。可使用a、 p和y參數的任意組合。
6.0根據實施方式調整核心效果以處理運動才莫糊 6.1糹交正運動一莫糊綜述
運動模糊是在圖像採集期間由於照相機運動而導致的圖像模糊。當 用長的曝光時間採集圖像(例如在低光照條件下)時，經常出現運動模 糊。通常，運動模糊的特徵在於具有方向性的PSF。例如，水平線意味著 由於攝像機的水平運動而導致的模糊。
補償運動模糊通常包括確定運動模糊和校正所述經確定的運動模 糊。確定運動模糊包括確定運動的方向、數量和特徵，其可用運動矢量 來指定。運動矢量可由陀螺儀測量，由圖像本身推斷出，從一組圖像推 斷出，或通過其它方式提取。可將去巻積核心應用於所述圖像，從而校 正所述經確定的運動才莫糊。
本文描述了各種圖像處理算法，其中應用某些空間圖像處理核心的 效果可根據諸如S/N 、鏡頭陰影輪廓、取決於像素位置的光學象差、以 及當前正處理的像素的位置中圖像特徵之類的各種因素來調整。在一種 實施方式中，運動模糊亦可在相同IP方框中校正，其中應用了前面提到 的空間圖j象處理核心。本文中，空間圖^象處理核心可稱為用於才交正'^竟頭
43PSF，的核心。因而，運動模糊和鏡頭PSF模糊可同時校正。由於運動模糊 和鏡頭PSF模糊可塑造為與圖像巻積的PSF,因此所述組合的模糊可通過 同時巻積運動模糊PSF和鏡頭PSF來塑造。因而，在一種實施方式中，可 調整所述去巻積核心來匹配所述組合的運動模糊PSF和鏡頭PSF。
如果使用，運動矢量可或者從單幀圖像中提取，或者從幀序列中提 取。舉非限制性的實施例來說，陀螺儀可用於幫助定義運動矢量。在一 種實施方式中，根據運動方向(或幾個方向)，運動模糊PSF可從所述運 動矢量中推斷出。在一種實施方式中，去巻積反向核心從運動模糊PSF 中計算得出。
然而，並不要求從所述運動矢量中推斷出運動模糊PSF。相反地，來 自運動矢量本身的信息可足以校正運動模糊，而不用推斷出運動模糊 PSF。替換地，所述運動模糊信息可能已經通過(運動模糊)PSF的形式 給出，其中運動矢量對推斷出所述運動模糊PSF並不是必需的。
在一種實施方式中，乂人運動才莫糊PSF或運動矢量中確定去巻積反向核 心。所述去巻積反向核心匹配所述模糊方向和形狀，且要銳化所述圖像。 在一種實施方式中，所述去巻積核心可乂人一組匹配所述運動才莫糊PSF的可 能方向的核心中來選擇。這些去巻積核心保存在存儲器中，並包括大量 運動模糊可能性。在一種實施方式中，所選擇的核心匹配一PSF,所述PSF 是鏡頭PSF和沿運動矢量方向的運動模糊PSF的巻積。可利用匹配算法選 擇核心。
一旦通過計算或選擇確定了所述去巻積核心，可通過將所述圖像與 所述去巻積核心巻積來處理所述圖像，同時考慮根據如上述章節中提到 的S/N、像素位置、鏡頭陰影輪廓和圖像特徵來調整所述去巻積核心。
注意，去巻積核心可處理除了模糊之外的其它光學象差，所述核心 可具有任意期望頻率響應。在一種實施方式中，運動模糊校正可集成到 本文所描述的銳化方框114中，而不用增加矽尺寸。例如，用於實施銳化 算法的硬體被用於進行運動模糊校正。因而，與在兩個不同的ISP方框中 分別地處理運動模糊和PSF模糊相比，本文公開的技術按照資源(例如， 矽尺寸/門數、處理器周期、功耗、複雜性)來說是相對划算的。
446.2才莫糊點分布函數實施方式
一種實施運動模糊校正的方式是，在預覽模式期間，估計運動模糊
的特徵並創建匹配的去巻積核心("運動模糊核心")。這種方法在圖17 所描繪的實施方式中說明。這種方法通過在預覽模式期間比較幀來識別 運動模糊。接著， 一進入採集模式(capture mode),就將運動模糊核心 和其它核心應用於圖像。其它核心可用於銳化。在各種實施方式中，所 述a、 (3、和/或Y參數用於修改用其它核心進行處理的效果的強度，如本文 所述。
現在參考預覽模式ISP 1710，在方框1725中，基於運動模糊圖像1722 來估計模糊PSF 1721。可通過利用本領域技術人員知道的技術分析所述 被採集的圖像1722,來估計所述模糊PSF 1721。 一種用於通過分析採集 圖像1722來估計模糊PSF 1721的技術包括，使用陀螺儀來供給運動矢量 給照相機。另一種方法包括利用相關性來找到模糊的方向，比較多個相 鄰幀，以及基於所述比較提取運動方向。在方框1728中，基於模糊PSF 1721,創建運動模糊去巻積核心。
現在參考採集模式ISP鏈1720,將所述運動模糊核心提供給對圖像執 行其它核心處理的邏輯。在一種實施方式中，所述其它邏輯是數字自動 聚焦方框lll。由於所述巻積運算是相結合的(即，a求(b氺圖^f象)-(a求b) *圖像)，因此所述來自銳化的巻積核心和運動模糊核心可組合成將應用於 所述圖像的一個核心。如果所述銳化未啟動，但所述數字自動聚焦方框 111在IP鏈1720中實施，則所述數字自動聚焦方框lll可單獨用作運動模 糊去巻積。
6.3運動平移矢量實施方式
IP鏈中的所述數字自動聚焦方框lll可用於解決在預覽模式或視頻 信息流期間搖晃圖像的問題。在預覽模式或視頻信息流中，在相鄰幀之 間可能出現空間偏移，這在顯示屏上造成"搖晃的"圖像。 一種解決該問 題的方式是，沿與從上一幀估計的運動矢量相反的方向將圖像平移預定數量。 一旦估計出所述運動矢量，可通過將所述圖像與導致沿預期方向 的空間平移的核心巻積，在所述數字自動聚焦方框l 11中實施該平移。
圖18描繪了根據實施方式校正運動平移。圖像l802a - c中的每幅圖像 中的幀1801包括"被瀏覽"的圖像。注意，所述幀正相對於所述三幅圖像 1802a-c中描繪的房子移動。所述運動矢量估計邏輯1810在方框1820中根 據當前幀(n)和來自前一幀(n-l)的參數估計運動矢量。例如，從每個 幀中的多個位置中提取特徵。接著，當前幀中的特徵位置與一個或多個 先前幀中的特徵位置相比較，從而計算運動矢量。所述特徵的實施例包 括但不限於，邊緣或者可在幀和幀之間連續的景色中的其它唯一標記。
基於所述估計運動矢量，在方框1830中計算平移核心。 一種用於從 所述運動矢量中計算平移核心的技術包括採用kronecker-S核心，所述核心 根據早期計算得到的運動矢量而平移。在預覽/視頻模式ISP 1850中，將 平移核心提供給所述數字自動聚焦方框lll,其中基於所述平移核心和其 它核心來處理幀(n)。其它核心可用於銳化。在各種實施方式中，所述 a、 p、和/或y參數用來修改利用其它核心進行處理的效果的強度，如本文 所述。
6.4 組合銳化及運動模糊核心
如本文所提到的，所述銳化算法可使用其可實施相關的 (implementation-dependent)核心的某一支持尺寸。例如，所述核心可提 供一9x9像素支持。然而，與所述銳化方法一起使用所述反運動模糊 (anti-motion-blur)不必增大所述核心尺寸。通常，當巻積兩個核心時-如果一個是M x M尺寸，另 一個是NxN尺寸，則他們的巻積是(M+N畫1) x(M+N-l)。為了保持核心尺寸，可改變所述銳化核心的形狀，以更接 近地類似及補充所述運動4莫糊核心。同時，注意，所述去模糊核心可具 有不對稱的形狀。例如，所述去模糊核心可包括矩形、對角線、以及甚 至圓形支持，且不必是正方形支持。該不對稱不僅對"簡單的"搖晃-路徑 (諸如線之類的)，而且對複雜的搖晃-路徑(諸如十字形、T、或圓周 路徑之類的)提供補償。8.0石更件綜述
8.1 移動i殳備實施例
圖13說明了一種示例性行動裝置1300的方框圖，其中可實施本發明 的實施方式。行動裝置1300包括照相機裝置1302、照相機及圖形接口 1380、以及通信電路1390。照相機裝置1370包括照相機鏡頭1336、圖像 傳感器1372以及圖像處理器1374。包括單一鏡頭或多個鏡頭的照相機鏡 頭1336,採集並聚焦光到圖像傳感器1372之上。圖像傳感器1372採集由 通過照相機鏡頭1336採集並聚焦的光形成的圖像。圖像傳感器1372可能 是任意傳統的圖像傳感器1372,諸如電荷耦合設備(CCD)或互補金屬 氧化物半導體(CMOS)圖像傳感器之類。圖像處理器1374處理由圖像傳 感器1372採集的未處理圖像數據，隨後保存在存儲器1396中，輸出到顯 示屏1326上，和/或通過通信電路1390傳輸。所述圖像處理器1374可以是 傳統的數位訊號處理器，其編程來處理圖像數據，這在現有技術中是熟 知的。
圖像處理器1374經由照相機及圖形接口 1380與通信電路1390接口 。 通信電路1390包括天線1392、收發機1394、存儲器1396、微處理器1392、 輸入/輸出電路1394、音頻處理電路1396、和用戶接口 1397。收發機1394 耦合至接收及傳輸信號的天線1392。收發機1392是完全功能性的蜂窩式 無線電收發機，其可根據任意已知標準進行操作，包括一般作為全球數 字行動電話系統(GSM) 、 TIA/EIA-136、 cdmaOne、 cdma2000、 UMTS 和寬帶CDMA而被知曉的標準。
所述圖像處理器1374可利用本文所描述的一種或多種實施方式，處 理由傳感器1372獲取的圖像。所述圖像處理器1374可用硬體、軟體、或 軟體與硬體的某種組合來實施。例如，所述圖像處理器1374可作為專用 集成電路(ASIC)的一部分來實施。舉另一個例子來說，為了實施本發 明的一種或多種實施方式，所述圖像處理器1374可存取保存在計算機可 讀介質上的指令，並在處理器上執行那些指令。
微處理器1392根據保存在存儲器1396中的程序，控制行動裝置1300 的操作，包括收發機1394。微處理器1392可進一步執行本文所公開的圖像處理實施方式的部分或全部。處理功能可實施於單個微處理器中，或 者實施在多個微處理器中。適當的微處理器可包括，例如，通用及專用
微處理器和數位訊號處理器。存儲器1396表示移動通信設備中的全部存 儲器層次，並可包括隨機存取存儲器(RAM)和只讀存儲器(ROM)。 電腦程式指令和操作所需數據保存在非易失性存儲器中，諸如 EPROM、 EEPROM、和/或快閃記憶體之類，這些可實施為離散設備、堆設備， 或者可與微處理器1392集成在一起。
輸入/輸出電路1394經由照相機及圖形接口 1380將微處理器1392與 照相機設備1370的圖像處理器1374相接口 。根據現有技術中已知的任意 方法，照相機及圖形接口 1380亦可將圖像處理器1374與用戶接口 1397相 接口。另外，輸入/輸出電路1394與微處理器1392、收發機1394、音頻 處理電路1396、及通信電路1390的用戶接口 1397相接口。用戶接口1397 包括顯示屏1326、揚聲器1328、麥克風1338以及鍵區1340。布置在顯示 區域背面的顯示屏1326允許操作者能看見撥號數字、圖像、呼叫狀態、 菜單選項以及其他業務信息。鍵區1340包括一字母數字小鍵盤，並可選 地包括一導航控制，諸如現有技術中所熟知的操縱杆控制(未示出)之 類的。進一步地，鍵區1340可包括諸如掌機或只能電話上所使用的那些 之類的完全QWERTY鍵盤。鍵區1340允許操作者撥號、輸入命令以及選 擇選項。
麥克風1338將用戶聲音轉換成電子音頻信號。音頻處理電路1396從 麥克風1338中接受模擬音頻輸入，處理這些信號，以及經由輸入/輸出1394 提供這些經處理的信號給收發機1394。收發機1394接收的音頻信號由音 頻處理電路1396來處理。將由音頻處理電路1396處理產生的基本模擬輸 入信號提供給揚聲器1328。揚聲器1328接著講所述模擬音頻信號轉換成 可被用戶聽到的聲音信號。
本領域技術人員贊同可組合圖13中示出的 一個或多個元件。例如， 當所述照相機及圖形接口 1380被作為圖13中的分離組件示出時，要理解 照相機機及圖形接口 1380可與輸入/輸出電路1394合併。進一步地，微
48路1396、圖像處理器1374、 和/或存儲器1396可合併成一特別設計的特定用途集成電路(ASIC )1391。
8.2計算機系統實施例
圖14是一幅說明了其上可實施本發明的一種或多種實施方式的計算 機系統1400的方框圖。計算機系統1400包括用於通訊信息的總線1402或 其它通信機制，以及與總線1402耦合以處理信息的處理器1404。計算機 系統1400亦包括諸如隨機存取存儲器(RAM)或其它動態存儲器設備之類 的主存1406,其耦合至總線1402以保存信息和要由處理器1404執行的指 令。主存1406亦可用於在執行要由處理器1404執行的指令期間保存臨時 變量或其它中間信息。計算機系統1400進一步包括只讀存儲器(ROM) 1408或耦合至總線1402的其它靜態存儲器設備，以保存靜態信息和用於 處理器1404的指令。諸如磁碟或光碟之類的存儲設備1410被提供及耦合 至總線1402，以保存信息和指令。
計算機系統1400可經由總線1402耦合至諸如陰極射線管(CRT)之 類的顯示屏1412,以顯示信息給計算機用戶。輸入設備1414，包括字母 數字及其它鍵，耦合至總線1402,以將信息和命令選擇傳達給處理器 1404。另一種類型的用戶輸入設備是光標控制1416,諸如滑鼠、追蹤球 或光標方向4定之類，以將方向信息和命令選擇傳達給處理器1404,以及 在顯示屏1412上控制光標移動。該輸入設備典型地在兩個軸上具有自由 度，第一軸(例如，X)和第二軸(例如，Y)，允許該設備在平面上指 定位置。計算機系統1400可進一步包括諸如麥克風或照相機之類的音頻/ 視頻輸入設備1415，以供給可聽見的聲音、靜態圖像或動態視頻，其中 任意一種都可利用上述實施方式來處理。
可實施本文公開的各種處理技術，從而在計算機系統1400上處理數 據。根據本發明的一種實施方式，響應於處理器1404執行包括在主存1406 中的一條或多條指令的一個或多個序列，那些技術由計算機系統1400執 行。這些指令可從諸如存儲設備1410之類的另一機器可讀介質中讀入主 存1406中。執行包括在主存1406中的指令序列使處理器1404執行本文所描述的過程步驟。在可替代的實施方式中，硬布線電路可用於替換或結 合軟體指令來實施本發明。因而，本發明的實施方式不限於硬體電路和 軟體的任意特定組合。
這裡使用的術語"機器可讀介質"指任意參與提供使機器按特定方式
操作的數據的介質。在利用計算機系統1400實施的實施方式中，例如包 括各種機器可讀介質，以提供指令給處理器1401執行。這樣的介質可採 用許多形式，包括但不限於存儲介質和傳輸介質。存儲介質包括非易失 性介質和易失性介質。非易失性介質包括例如諸如存儲設備1410之類的 光碟或磁碟。易失性介質包括諸如主存1406之類的動態存儲器。傳輸介 質包括同軸電纜、銅線和光纖，包括包含總線1402的線。傳輸介質亦可 採用聲波或光波的形式，諸如在無線電波和紅外數據通信器件產生的那 些之類的聲波或光波。所有這樣的介質必須是有形的，使所述由介質攜 帶的指令能被一種將指令讀入機器的物理機制所檢測。
機器可讀介質的通常形式包括，例如，軟盤、軟磁碟、硬碟、磁帶、 或任意其它磁介質、CD-ROM、任意其它光介質、穿孔卡、紙帶、任意 其它具有孔的圖案的物理介質、RAM、 PROM、 EPROM、 FLASH -EPROM、任意其它存儲器片或盒式磁帶、之後描述的載波、或任意其它 計算機可讀取的介質。
各種形式的機器可讀介質可涉及攜帶一條或多條指令的一個或多個 序列到處理器1404中執行。例如，所述指令可初始地攜帶在遠程計算機 的磁碟上。所述遠程計算機可將所述指令載入其動態存儲器中，並利用 數據機在電話線上發送所述指令。計算機系統1400本地的調製解調 器可在電話線上接收數據，並使用紅外發射機將所述數據轉換成紅外信 號。紅外檢測器可接收紅外線信號所攜帶的數據，適當的電路可將所述 數據置於總線1402上。總線1402將數據攜帶到主存1406中，處理器1404 可從中查找及執行指令。在處理器1404執行之前或執行之後，所述由主 存1406接收的指令可選地保存在存儲設備1410上。
計算機系統1400亦包括耦合至總線1402的通信接口 。通信接口 1418提供一耦合至網絡鏈路1420的兩路數據通信，所述網絡鏈路1420連接至區域網1422。例如，通信接口1418可能是一綜合服務數字網(ISDN) 卡或一數據機，以提供數據通信連接給對應類型的電話線。舉另一 個例子來說，通信接口1418可能是一區域網(LAN)卡，以提供數據通 信連接給兼容的LAN。亦可實施無線鏈路。在任意這樣的實施中，通信 接口 1418發送及接收攜帶表示各種類型的信息的數字數據流的電子、電 磁或光信號。
網絡鏈路1420典型地通過一個或多個網絡提供數據通信給其它數據 設備。例如，網絡鏈路1420可通過區域網1422提供連結給主機1424或由 網際網路服務提供商(ISP) 1426操作的數據設備。ISP 1426依次通過萬維 分組數據通信網絡-提供數據通信業務，所述萬維分組數據通信網絡現在 一般稱為"Internet"1428。區域網1422和Internet 1428均使用攜帶數字數據 流的電子、電磁或光信號。通過各種網絡的信號和網絡鏈路1420上及通 過通信接口1418的信號，是載波傳輸信息的示例性形式，所述信號攜帶 數字數據往返於計算機系統1400 。
計算機系統1400可通過網絡、網絡鏈路1420和通信接口 1418發送消 息和接收數據，包括程序代碼。在Internet實施例中，伺服器1430可通過 Internet 1428、 ISP 1426、區域網1422和通信接口 1418,傳送應用程式的 請求碼。
當所接收的代碼被接收、和/或保存在存儲裝置1410、或其它非易失 性存儲以進行後續執行時，其可由處理器1404執行。按照這種方式，計 算機系統1400可獲得載波形式的應用程式代碼。
由本文所述的程序代碼的實施方式處理的數據，可從各種來源獲得， 包括^旦不限於A/V輸入設備1415、存儲裝置1410和通信接口 1418。
5權利要求
1.一種處理信號的方法，所述方法包括步驟對於多個信號矩陣中的每個信號矩陣，其中每個信號矩陣均包含描述信號不同部分的元基於核心矩陣期望在所述信號矩陣上產生的效果的大小，調整由於基於所述核心矩陣處理信號而取得的效果的大小。
2. 根據權利要求1所述的方法，其中所述基於核心矩陣期望在所述 信號矩陣上產生的效果的大小，調整由於基於所述核心矩陣處理信號而取得的效果的大小包括為所述信號矩陣產生經修改的核心矩陣；以及將所述經修改的核心矩陣應用於所述信號矩陣，以確定所述信號矩 陣的第一元的新值。
3. 根據權利要求1所述的方法，其中所述基於核心矩陣期望在所述 信號矩陣上產生的效果的大小，調整由於基於所述核心矩陣處理信號而 取得的效果的大小包括將所述核心矩陣應用於所述信號矩陣，以產生一中間像素值；以及 確定所述中間像素值與所述信號矩陣的第 一元的加權平均。
4. 根據權利要求1所述的方法，其中應用所述核心矩陣的效果增強 了信號中的圖像對比度。
5. 根據權利要求1所述的方法，其中應用所述核心矩陣的效果對信 號中的圖像執行去噪。
6. 根據權利要求1所述的方法，進一步包括基於與所述信號相關 聯的信噪水平，確定所述核心矩陣期望在信號矩陣上產生的效果的大小。
7. 根據權利要求1所述的方法，進一步包括基於用來釆集由信號 矩陣描述的信號的鏡頭的屬性，確定所述核心矩陣期望在信號矩陣上產 生的效果的大小。
8. 根據權利要求1所述的方法，進一步包括基於信號矩陣中的數 據特徵，確定所述核心矩陣期望在信號矩陣上產生的效果的大小。
9. 根據權利要求1所述的方法，其中確定所述核心矩陣期望在信號 矩陣上產生的效果的大小M於圖像傳感器內像素的位置的。
10. 根據權利要求1所述的方法，進一步包括在基於所述核心矩陣 處理所述信號矩陣之前，根據所述圖像數據的運動模糊特徵來修改所述 核心矩陣。
11. 一種裝置，包括 鏡頭；圖像採集設備，光學耦合至所述鏡頭，其中所述圖像採集設備採集 圖Y象；以及配置成基於核心矩陣處理圖像的邏輯，其中所述邏輯可操作來對於多個信號矩陣中的每個信號矩陣，其中每個信號矩陣均包含描述信號不同部分的元基於核心矩陣期望在所述信號矩陣上產生的效果的大小， 調整由於基於所述核心矩陣處理信號而取得的效果的大小。
12. 根據權利要求11所述的裝置，其中可操作來調整由於基於核心 矩陣處理所述信號矩陣而取得的效果的大小的所述邏輯，可操作來為所述信號矩陣產生經修改的核心矩陣；以及 將所述經修改的核心矩陣應用於所述信號矩陣，以確定所述信號矩 陣的第一元的新值。
13. 根據權利要求11所述的裝置，其中可操作來調整由於基於核心 矩陣處理所述信號矩陣而取得的效果的大小的所述邏輯，可操作來將所述核心矩陣應用於所述信號矩陣，以產生一中間像素值；以及 確定所述中間像素值與所述信號矩陣的第 一元的加權平均。
14. 根據權利要求11所述的裝置，其中應用所述核心矩陣的效果增 強了信號中的圖像對比度。
15. 根據權利要求11所述的裝置，其中應用所述核心矩陣的效果對 信號中的圖像執行去噪。 .
16. 根據權利要求11所述的裝置，其中所述核心矩陣期望在信號矩 陣上產生的效果的大小是基於與所述信號相關聯的信噪比的。
17. 根據權利要求16所述的裝置，其中所述核心矩陣期望在信號矩 陣上產生的效果的大小進一步是基於用來採集由信號矩陣描述的信號的 鏡頭的屬性的。
18. 據權利要求17所述的裝置，其中所述核心矩陣期望在信號矩陣 上產生的效果的大小進一步是基於所述信號矩陣中元的特徵的。
19. 根據權利要求16所述的裝置，其中所述核心矩陣期望在信號矩 陣上產生的效果的大小進一步是基於所述信號矩陣中元的特徵的。
20. 根據權利要求11所述的裝置，其中所述核心矩陣期望在信號矩 陣上產生的效果的大小是基於用來採集由信號矩陣描述的信號的鏡頭的 屬性的。1
21. 根據權利要求11所述的裝置，其中所述核心矩陣期望在信號矩 陣上產生的效果的大小是基於所述信號矩陣中元的特徵的。
22. 根據權利要求11所述的裝置，其中所述邏輯進一步可操作來 基於所述信號矩陣中元的特徵，確定所述核心矩陣期望在信號矩陣上產 生的效果的大小。
23. 根據權利要求22所述的裝置，其中所述邏輯進一步可操作來計 算度量，所述度量用來確定所述核心矩陣期望在信號矩陣上產生的效果 的大小。
24. 根據權利要求23所述的裝置，其中所述邏輯進一步可操作來 基於信號矩陣的元的值之間的差值，確定度量。
25. 根據權利要求24所述的裝置，其中所述邏輯進一步可操作來 基於信號矩陣的元之間的標準偏差，確定度量。
26. 根據權利要求23所述的裝置，其中所述邏輯進一步可操作來 基於信號矩陣的元值的直方圖，確定度量。
27. 根據權利要求23所述的裝置，其中所述邏輯進一步可操作來 通過將邊緣檢測掩膜應用於所述信號矩陣，確定度量。
28. 根據權利要求23所述的裝置，其中所述邏輯進一步可操作來 基於信號矩陣中值的熵，確定度量。
29. 根據權利要求11所述的裝置，其中所述邏輯進一步可操作來 在基於所述核心矩陣處理所述信號矩陣之前，根據所述圖像數據的運動 模糊特徵，修改所述核心矩陣。
30. —種裝置，包括 鏡頭；圖像釆集設備，光學耦合至所述鏡頭，其中所述圖像採集設備從所 述鏡頭採集圖像；以及邏輯，所述邏輯配置成同時處理圖像數據以既校正由於所述鏡頭而 產生的光學象差又校正運動模糊。
31. 根據權利要求30所述的裝置，其中為了校正所述光學象差，所 述邏輯配置成基於圖像的信噪比，調整所述圖像數據的銳化量。
32. 根據權利要求30所述的裝置，其中為了校正所述光學象差，所 述邏輯配置成基於所述鏡頭的鏡頭陰影輪廓，調整所述圖像數據的銳 化量。
33. 根據權利要求30所述的裝置，其中為了校正所述光學象差，所 述邏輯配置成基於圖像數據的局部特徵，調整所述圖像數據的銳化量。
34. 根據權利要求30所述的裝置，其中配置成處理所述圖像數據的 所述邏輯被配置成基於由於所述裝置的運動而導致的估計象差點分布 函數，校正所述運動模糊。
35. 根據權利要求30所述的裝置，其中配置成處理所述圖像數據的 所述邏輯被配置成基於在所述圖像的多個幀之間檢測到的估計圖像平 移，4交正所述運動一莫糊。
36. 根據權利要求23所述的裝置，其中所述邏輯進一步可操作來 基於多個增益函數，確定度量。
37. 根據權利要求36所述的裝置，其中基於圖像窗口中光數量的局 部估計，將所述多個增益函數應用於所述度量。
38. 根據權利要求37所述的裝置，其中基於圖像窗口中光數量的局 部估計，對所述多個增益函數加權。
39.根據權利要求23所述的裝置，其中所述邏輯進一步可操作來基於應用於所述信號矩陣的距離計算，確定度量。
全文摘要
本發明公開了一種用於調整將核心應用於信號的效果的方法及裝置。所述調整可基於核心矩陣期望在所述信號矩陣上產生的效果的大小。所述調整可基於多種因素，包括但不限於信號數據的信噪比、用來採集信號數據的設備(例如，鏡頭)的屬性、或者基於分析所述信號數據而導出的度量。根據本發明實施方式處理圖像數據目的在於，恢復可能由於用來採集圖像數據的光學器件的屬性而損失的對比度。
文檔編號G06T5/00GK101669142SQ200880013422
公開日2010年3月10日 申請日期2008年4月24日 優先權日2007年4月24日
發明者加爾·沙巴塔, 埃弗拉伊姆·戈爾登貝格, 諾伊·科恩, 達維德·瓦拉, 達維德·門德爾歐維奇 申請人:泰塞拉技術匈牙利有限公司