圖像處理裝置、成像設備、圖像處理方法及計算機可讀記錄介質的製作方法

2023-09-12 06:17:05

圖像處理裝置、成像設備、圖像處理方法及計算機可讀記錄介質的製作方法
【專利摘要】一種圖像處理裝置，包括：抽取單元，配置為在目標圖像中抽取像素以獲得包含比目標圖像的數量少的像素的經抽取的圖像；提取單元，配置為從包含經抽取的圖像中的像素當中的感興趣像素的區域中提取相似像素，每個相似像素與感興趣像素的相似度為閾值或更大；第一計算單元，配置為基於相似像素的像素值來計算校正候選值；第二計算單元，配置為基於對於經抽取的圖像的每個像素計算的校正候選值，對於每個抽取的像素計算校正候選值；以及校正單元，配置為基於通過第一或第二計算單元計算的校正候選值來校正目標圖像中的目標像素的目標像素值。
【專利說明】圖像處理裝置、成像設備、圖像處理方法及計算機可讀記錄介質
【技術領域】
[0001 ] 本發明涉及圖像處理裝置、成像設備、圖像處理方法及計算機可讀記錄介質。
【背景技術】
[0002]由於成像元件和電路的特性，通過諸如數位相機或掃描儀的成像設備捕捉的圖像包含噪聲，諸如散粒噪聲或暗電流噪聲。為了從捕捉到的圖像中獲得高質量圖像，需要減少圖像中的噪聲。然而，如果簡單地使用低通濾波器來減少噪聲，則在圖像的人類感知中很重要的元素，諸如邊，在減少噪聲的同時也丟失，導致低圖像質量。因此，有必要根據圖像區域的特性適應性地減少噪聲。
[0003]作為降噪技術，已經開發出ε -濾波器和雙邊濾波器(見非專利文獻I (HiroshiHarashima> Kaoru Odajima、Yoshiaki Shishiku1、Hiroshi Miyakawa 「 ε -SeparatingNonlinear Digital Filter and Its Applicat1ns，，, IEICE Transact1ns A,卷 J65_A,N0.4,第 297-304 頁，1982)和非專利文獻 2 (CC.Tomasi 和 R.Manduchi，「Bilateral Filteringfor Gray and Color Images」Proc.Sixth Int』 I Conf.計算機視覺，第 839-846 頁，1988))。使用ε -濾波器，如果基於與感興趣像素的信號差等於或小於預定閾值的相鄰像素來執行濾波，噪聲可以被減少而具有更大信號差的元件，諸如邊，可以被保留(見非專利文獻I)。
[0004]類似於濾波器，雙邊濾波器可以允許同時的邊保留和降噪(見非專利文獻2)。雙邊濾波器是用於根據基於與感興趣像素的信號差和空間距離生成的權重係數來執行濾波的技術。基於與雙邊濾波器相當的原理的其他降噪也已經被提出(例如，見專利文獻I (日本專利申請公開N0.2007-288439)、專利文獻2 (日本專利申請公開N0.2008-205737)、專利文獻3(日本專利申請公開N0.2010-178302)以及專利文獻4(日本專利申請公開N0.2010-087769))。
[0005]此外，專利文獻5 (日本專利申請公開N0.2010-218110)公開了不執行諸如分割的迭代處理來減少彩色圖像中的信號相關的噪聲的技術。此技術是基於與濾波器相當的原理。具體地，選擇感興趣像素周圍的相似像素組，並且在轉換通過使用ε-濾波器的操作獲得的結果和要處理的像素值之間的差的轉換處理中反映相似像素組的特徵。
[0006]然而，常規的降噪處理具有成本增加的問題。例如，在專利文獻5中公開的處理中，有必要在圖像中所有像素位置處執行濾波操作，因此幾乎不能減少計算成本。此外，非專利文獻 3 (Ce Liu 等，「Automatic Estimat1n and Removal of Noise from a SingleImage」，IEEE Trans.模式分析和機器智能，卷30，N0.2，第299-314頁，2008)公開了用於減少彩色圖像中的信號相關的噪聲的技術。然而，在此方法中，需要大的處理成本用於圖像分割或統計計算。
[0007]因此，需要提供能夠在對於圖像的降噪處理中減少處理成本的圖像處理裝置、成像設備、圖像處理方法和計算機可讀記錄介質。
【發明內容】

[0008]本發明的目標是至少部分地解決常規技術中的問題。
[0009]根據實施例，提供了一種圖像處理裝置，包括:抽取(decimating)單元，配置為在要被處理的目標圖像中抽取像素以獲得包含比目標圖像的數量少的像素的經抽取的圖像；相似像素提取單元，配置為從包含經抽取的圖像中包含的像素當中的感興趣像素的區域中提取相似像素，每個所述相似像素與要處理的感興趣像素的相似度等於或大於第一閾值；第一校正候選值計算單元，配置為基於相似像素的像素值來計算用來校正像素值的校正候選值；第二校正候選值計算單元，配置為基於對於經抽取的圖像中包含的每個像素計算的所述校正候選值，對於通過抽取單元抽取的每個像素計算校正候選值；以及校正單元，配置為基於通過第一校正候選值計算單元或通過第二校正候選值計算單元對於目標像素計算的校正候選值，來校正目標圖像中要校正的目標像素的目標像素值。
[0010]根據另一實施例，提供了一種成像設備，包括:成像單元，配置為捕捉圖像；根據以上實施例的圖像處理裝置；函數存儲單元，配置為在其中存儲多個噪聲方差估計函數，每一個指示目標像素的校正候選值與目標像素的每個相似像素的噪聲方差值之間的關係，並且每一個與在成像單元中設置的成像條件相關聯；獲取單元，配置為獲取在成像單元中設置的成像條件或從外部裝置輸入的成像條件；函數選擇單元，配置為選擇與通過獲取單元獲取的成像條件相關聯地存儲在函數存儲單元中的噪聲方差估計函數；噪聲方差值計算單元，配置為基於通過函數選擇單元選擇的噪聲方差估計函數並基於校正候選值，計算目標像素的噪聲方差值；以及權重係數計算單元，配置為基於噪聲方差值計算目標像素的權重係數和目標像素的校正候選值。所述校正單元通過使用權重係數執行目標像素值和校正候選值的加權相加來校正目標像素值。
[0011]根據又一實施例，提供了一種通過圖像處理裝置來實現的圖像處理方法。圖像處理方法包括:抽取要處理的目標圖像中的像素，來獲得包含比目標圖像的數量少的像素的經抽取的圖像；從包含經抽取的圖像中包含的像素當中的感興趣像素的區域中提取相似像素，每個所述相似像素與要處理的感興趣像素的相似度等於或大於第一閾值；基於相似像素的像素值來計算用來校正像素值的校正候選值；基於對於經抽取的圖像中包含的每個像素計算的所述校正候選值，對於在抽取步驟抽取的每個像素計算校正候選值；以及基於在用於校正像素值的計算中或對於在所述抽取中抽取的每個像素的計算中對於目標像素計算的校正候選值，校正目標圖像中要校正的目標像素的目標像素值。
[0012]根據又另一實施例，提供了一種在其上存儲了可運行的程序的計算機可讀記錄介質。該程序指令計算機執行:抽取要處理的目標圖像中的像素，來獲得包含比目標圖像的數量少的像素的經抽取的圖像；從包含經抽取的圖像中包含的像素當中的感興趣像素的區域中提取相似像素，每個所述相似像素與要處理的感興趣像素的相似度等於或大於第一閾值；基於相似像素的像素值來計算用來校正像素值的校正候選值；基於對於經抽取的圖像中包含的每個像素計算的所述校正候選值，對於在抽取步驟抽取的每個像素計算校正候選值；以及基於在用於校正像素值的計算中或對於在所述抽取中抽取的每個像素的計算中對於目標像素計算的校正候選值，校正目標圖像中要校正的目標像素的目標像素值。
[0013]當結合附圖考慮時，通過閱讀下面的本發明的目前優選的實施例的詳細描述，將更好地理解此發明的以上和其他目標、特徵、優點和技術和產業意義。【專利附圖】

【附圖說明】
[0014]圖1是圖解根據第一實施例的成像設備的總體配置的框圖；
[0015]圖2是圖解執行降噪處理的圖像處理單元的功能配置的框圖；
[0016]圖3是用於說明由下採樣單元執行的處理的示圖；
[0017]圖4是用於說明窗口的示圖；
[0018]圖5是用於說明提取相似像素的處理的示圖；
[0019]圖6是用於說明由上採樣單元執行的處理的示圖；
[0020]圖7是圖解估計函數的示圖；
[0021]圖8是圖解其中繪製了像素值與噪聲方差值之間的關係的曲線圖的示圖；
[0022]圖9是由圖像處理單元執行的降噪處理的流程圖；
[0023]圖10是圖解根據第二實施例的圖像處理單元的功能配置的框圖；
[0024]圖11是由根據第二實施例的圖像處理單元執行的降噪處理的流程圖；
[0025]圖12是根據第三實施例的由圖像處理單元執行的降噪處理的流程圖；
[0026]圖13是用於說明計算歐氏距離的處理的示圖；
[0027]圖14是用於說明指定的方向e的示圖；以及
[0028]圖15是圖解基於Bayer排列的圖像數據的示圖。
【具體實施方式】
[0029]下面將參照附圖詳細地說明圖像處理裝置、成像設備、圖像處理方法和程序的示例性實施例。
[0030]第一實施例
[0031]圖1是圖解根據第一實施例的成像設備I的總體配置的框圖。成像設備I的具體示例包括數位相機。成像設備I包括捕捉圖像的成像單元11、處理從成像單元11獲得的圖像信號的信號處理單元18、控制整個成像設備I的主控制單元17、用於存儲圖像數據的幀存儲器19、以及用於使能與各種設備的連接的I/F(接口)21。I/F21連接至接收來自用戶的輸入的輸入單元22、顯示圖像等的顯示單元23、用於存儲圖像數據或讀出圖像數據的外部存儲器24、以及用於附接存儲介質26的存儲卡附接單元25。
[0032]成像單元11包括鏡頭12、光圈(diaphragm) 13、電子快門14、光電轉換元件15和預處理單元16。光電轉換元件15是例如互補金屬氧化物半導體(CMOS)或電荷耦合器件(CCD) 0成像單元11包括濾色器(原色系或互補色系都是適用的(未示出))，並且對於例如以蜂窩方式排列的R、G和B的每一個，布置一個光電轉換元件15。預處理單元16包括模擬信號處理器，諸如前置放大器或自動增益控制器(AGC)，或者包括模數(A/D)轉換器。預處理單元16對通過光電轉換元件15輸出的模擬圖像信號執行預處理，諸如放大或鉗位(clamping)，並且之後將模擬圖像信號轉換為數字圖像信號。
[0033]信號處理單元18包括數位訊號處理器(DSP)等，並且對從成像單元11獲得的數位訊號執行各種類型的圖像處理，諸如顏色分離、白平衡調整、或伽瑪校正。信號處理單元18將經處理的圖像數據存儲在幀存儲器19中，讀出在幀存儲器19中存儲的圖像數據，或者對所讀出的圖像數據執行圖像處理，諸如降噪。[0034]幀存儲器19是半導體存儲器，諸如VRAM、SRAM或DRAM，並且在其中存儲圖像數據等。從幀存儲器19讀出的圖像數據經受通過信號處理單元18的信號處理，諸如圖像壓縮。之後，圖像數據經由I/F21存儲在外部存儲器24中或存儲在附接於存儲卡附接單元25的存儲介質26中。
[0035]外部存儲器24是非易失性存儲器，諸如快閃記憶體。存儲介質26是可移除和可可攜式非易失性存儲器，諸如USB存儲器、SD存儲卡、或者磁光碟。
[0036]成像設備I可以進一步包括通信單元(未示出)，並且可以將存儲在外部存儲器24等中的圖像數據發送到伺服器等。成像設備I可以經由通信單元從伺服器等接收圖像數據，並且將圖像數據存儲在外部存儲器24等中。在此情況中，通信單元連接至行動電話網絡或有線/無線LAN網絡來發送和接收圖像數據。
[0037]顯示單元23顯示從幀存儲器19、外部存儲器24或存儲介質26中讀出的圖像數據等。顯示單元23例如是液晶顯示器或有機EL顯示器，並且被安裝在成像設備I的機身上。顯示單元23包括以集成的方式充當輸入單元22的觸摸板。輸入單元22通過觸摸板和在機身上提供的鍵盤接收用戶操作。
[0038]主控制單元17和信號處理單元18包括微型計算機、LSI等。微型計算機是計算機，其中CPU、RAM、EEPROM、ASIC等經由總線彼此連接。當CPU運行在EEPROM中存儲的降噪程序20時，對圖像數據執行下面說明的降噪處理。
[0039]降噪程序20被預先存儲在充當主控制單元17的EEPROM中，並且與成像設備I 一起提供。可能可以通過將降噪程序20存儲在存儲介質26中，並且經由I/F21將它加載到充當主控制單元17的EEPROM上，來分配降噪程序20。也可能可以經由網絡將降噪程序20下載到EEPR0M。
[0040]圖2是圖解執行降噪處理的圖像處理單元100的功能配置的框圖。圖像處理單元100通過在圖1中圖解的主控制單元17、信號處理單元18、幀存儲器19和降噪程序20來實現。圖像處理單元100對作為處理對象的目標圖像執行降噪處理，該目標圖像是通過成像單元11獲得的圖像或存儲在幀存儲器19中的圖像。根據第一實施例的圖像處理單元100執行用於從要處理的灰度圖像中減少與信號值(即，像素值)關聯的噪聲的降噪處理，在所述灰度圖像中每個像素僅具有亮度分量。
[0041]作為另一示例，可能可以採用通過諸如ASIC的硬體來執行降噪處理的圖像處理單元100。
[0042]圖像處理單元100包括下採樣單元101、相似像素提取單元102、均值計算單元103、上採樣單元104、估計函數選擇單元105、噪聲方差值計算單元106、權重係數計算單元107和校正單元108。
[0043]下採樣單元101從幀存儲器19等中獲取作為要處理的目標圖像的灰度圖像。目標圖像可以是存儲在存儲介質26中的圖像，而不是通過成像單元11捕捉的圖像。通過以預定的比率抽取目標圖像中的像素，下採樣單元101獲取包括比目標圖像的數量更少的像素的下採樣圖像。
[0044]圖3是用於說明由下採樣單元101執行的處理的示圖。如圖3中圖解的，下採樣單元101對目標圖像應用低通濾波器。結果，提取出具有預定頻率或更低頻率的低頻分量。換言之，下採樣單元101起低頻分量提取單元的作用。[0045]下採樣單元101通過在應用低通濾波器之後以預定比率抽取目標圖像中的像素來獲得下採樣的圖像。換言之，下採樣單元101起獲得具有比目標圖像數量更少的像素的下採樣圖像(抽取的圖像)的抽取單元的作用。在圖3中，為了說明方便圖解了一維排列的像素值；然而，下採樣單元101在目標圖像的兩個方向(即，在水平方向和垂直方向)上執行下採樣。在圖3中圖解的示例中，像素值通過應用低通濾波(121)/4而被平滑，並且目標圖像的像素數量被減半。
[0046]用這種方式，根據第一實施例的下採樣單元101在執行下採樣之前向目標圖像應用低通濾波器來平滑目標圖像。因此，可以防止發生圖像失真(aliasing)，使得能夠降低下採樣圖像中的噪聲電平。
[0047]返回參照圖2，相似像素提取單元102從通過下採樣單元101獲得的下採樣圖像中選擇感興趣像素。相似像素提取單元102通過使用諸如光柵掃描的掃描方法，從下採樣圖像中順序地選擇作為感興趣像素的所有像素。
[0048]相似像素提取單元102在目標圖像中設置窗口，使得感興趣像素位於窗口的中心。圖4是用於說明窗口的示圖。在目標圖像30中，窗口 32是具有預定尺寸的矩形區域，其中感興趣像素31位於中心。在圖4中圖解的窗口 32是5X5像素的窗口。只要窗口是包括感興趣像素的區域，窗口的形狀和尺寸不限於該實施例而是可以以任意方式設置。
[0049]相似像素提取單元102從窗口中的所有像素當中提取相似像素，在每個所述相似像素處與感興趣像素的相似度等於或大於預定閾值。具體地，相似像素提取單元102計算每個像素的像素值與感興趣像素的像素值之間的絕對值(絕對差值)，並且提取具有等於或小於閾值的絕對差值的像素作為相對於感興趣像素具有等於或大於閾值的相似度的相似像素。圖5是用於說明提取相似像素的處理的示圖。在圖5中，圖解了其中提取具有30或更小的絕對差值的像素作為相似像素的示例。在下文中，針對感興趣像素通過相似像素提取單元102提取的多個相似像素被描述為相似像素組。
[0050]返回參照圖2，均值計算單元103計算通過相似像素提取單元102提取的相似像素組的像素值的均值。通過均值計算單元103計算出的均值是一個值，具體地，是要在校正感興趣像素的像素值以減少目標圖像中的噪聲的處理(稍後描述)中使用的校正候選值。換言之，均值計算單元103起計算用於校正感興趣像素的像素值的校正候選值的第一校正候選值計算單元的作用。
[0051]在根據第一實施例的圖像處理單元100中，相似像素組的均值被用作校正候選值。然而，校正候選值不限於相似像素組的均值。可能可以使用基於相似像素組的像素值來確定的任何值，諸如相似像素組的均方值或標準偏差值。
[0052]根據第一實施例的圖像處理單元100使用針對感興趣像素提取的相似像素的均值，而不是感興趣像素周圍的所有相鄰像素的均值，來作為校正候選值。因此，可以計算不被諸如邊區域的像素值極大地變化的部份影響的(均)值作為校正候選值。
[0053]上採樣單元104對均值計算單元103針對下採樣圖像中的各個像素計算的均值上採樣，並且對於已經通過下採樣抽取(丟棄)的每個像素獲得相似像素組的均值，即，校正候選值。此外，上採樣單元104對針對下採樣圖像的各個像素獲得的均值並對針對各個抽取的像素獲得的均值應用低通濾波器，以便可以平滑針對目標圖像的所有像素獲得的均值。[0054]圖6是用於說明由上採樣單元104執行的處理的示圖。在圖6中圖解的示例中，上採樣單元104首先通過在均值計算單元103針對下採樣圖像的所有像素計算出的均值之間插入值「零」來執行二倍上採樣(double-upsampling)。隨後,上採樣單元104對通過上採樣獲得的均值應用低通濾波器，由此執行平滑。因此，計算出抽取的像素的均值。在圖6中圖解的示例中，應用了低通濾波器(121)/2。換言之，上採樣單元104起為下採樣單元101抽取的每個像素計算均值作為校正候選值的第二校正候選值計算單元的作用。
[0055]由上採樣單元104執行的以上處理與在下採樣圖像的像素均值之間的線性內插處理相同。因此，對於另一個示例，上採樣單元104可以通過在下採樣圖像的像素的均值之間執行線性內插而不是執行以上處理來計算抽取的像素的均值。這樣，只要上採樣單元104可以基於下採樣圖像的像素的均值計算抽取的像素的均值，具體的處理不限於在實施例中描述的那些。
[0056]此外，雖然圖6為了說明方便圖解了在一個維度對均值上採樣的示例，但是上採樣單元104在目標圖像的垂直方向和水平方向的每個方向上執行上採樣和平滑處理。
[0057]返回參照圖2，在估計函數存儲單元110中存儲用於估計與均值的噪聲方差值的估計函數。噪聲方差值指示針對目標圖像的像素中要校正的目標像素獲得的相似像素組的噪聲方差。具體地，估計函數存儲單元110通過存儲裝置來實現，所述存儲裝置諸如在圖1中圖解的幀存儲器19或外部存儲器24。
[0058]圖7是圖解估計函數的示圖。如圖7中所示，估計函數是噪聲方差值(τ2)隨著均值(μ)的增加而增加的函數。
[0059]下面將說明噪聲方差值。一般，在通過C⑶或CMOS捕捉的圖像中出現的散粒噪聲的大小與信號值(像素值)有關。圖8是圖解在其中繪製了像素值與噪聲方差值之間的示例性關係的曲線圖的示圖。
[0060]如圖8中所示，像素值和噪聲方差值高度相關。因此，可以通過圖線的回歸而從像素值高精度地估計噪聲方差。然而，真實的像素值不能從降噪的圖像中獲得。因此，在根據第一實施例的成像設備I中，基於相似像素組的均值(μ )而不是基於像素值來計算噪聲方差值(τ2)。具體地，如圖7中所示的估計函數被預先設置並被存儲在估計函數存儲單元110中。噪聲的大小依賴於在圖像拍攝時的成像條件(諸如ISO速度)而變化。因此，估計函數與成像條件相關聯地存儲在估計函數存儲單元110中。即，在估計函數存儲單元110中存儲每個與成像條件相關聯的多個估計函數。
[0061]具體地，可以通過在每種成像條件下捕捉塊圖像(patch image)、將塊上信號值的變化作為噪聲、並且對獲得的信號值應用最小平方法，來確定估計函數。
[0062]估計函數選擇單元105基於用來捕捉目標圖像的成像條件，從估計函數存儲單元110中選擇與成像條件相關聯的估計函數。當目標圖像是通過成像單元11獲得的圖像時，估計函數選擇單元105從成像單元11獲取圖像。當目標圖像是存儲在存儲器中的圖像時，估計函數選擇單元105獲取與圖像一起存儲的成像條件信息。
[0063]返回參照圖2，噪聲方差值計算單元106通過使用由估計函數選擇單元105選擇的估計函數，基於已通過上採樣單元104對於目標圖像中的每個像素獲得的均值(μ)來計算每個像素的噪聲方差值(τ 2)。
[0064]根據第一實施例的噪聲方差值計算單元106根據估計函數從均值(μ )計算噪聲方差值(τ2)。然而，作為另一示例，可能可以使用可以如同估計函數一樣從均值(μ)確定噪聲方差值(τ2)的查找表，而不是使用估計函數。在此情況中，假定在查找表中均值(P)和噪聲方差值(τ2)相關聯。
[0065]權重係數計算單元107基於已經通過均值計算單元103或上採樣單元104針對在目標圖像中包含的像素當中要校正的目標像素獲得的均值(μ )，並基於通過噪聲方差值計算單元106針對目標像素獲得的噪聲方差值(τ2)，來計算權重係數。權重係數是由校正單元108用來校正要校正的目標像素的像素值的係數，如稍後將描述。具體地，通過下面的表達式(I)來計算權重係數(W)。
[0066]W <~! OC X ——(I)
[0067]其中α是任意的設計參數。
[0068]校正單元108執行目標像素的像素值和通過均值計算單元103或上採樣單元104對於目標像素獲得的均值(μ )的加權相加。校正單元108使用通過加權相加獲得的校正值代替目標像素的像素值，從而校正目標像素的像素值。
[0069]具體地,校正單元108通過下面的表達式(2)來計算校正值。
[0070]X — wX μ + (1—W) Xy (2)
[0071]其中X是校正值而y是目標像素的像素值。如表達式(2)所指示的，校正值X隨著權重係數(《)逼近I而逼近均值(μ )，並且均值(μ )隨著權重係數(《)逼近O而逼近目標像素的原始像素值I。 [0072]相對的，根據表達式(I)，權重係數計算單元107在平坦區域或具有大量噪聲的區域，即在具有大噪聲方差(τ2)的區域中，計算相對大的值(接近I的值)作為權重係數。因此，校正單元108將目標像素的目標像素值校正為接近於均值的校正值，所以可以減少大量的噪聲。
[0073]另一方面，根據表達式(I)，權重係數計算單元107在紋理區域或具有較少量噪聲的區域中，即在具有較小噪聲方差的區域中，計算相對小的值(接近O的值)作為權重係數(W)。因此,校正單元108將目標像素的目標像素值校正為更接近原始像素值(y)的校正值，所以可以保存精細的信號分量。通過以上述方式使用加權相加，可以根據目標圖像的局部區域的特性來適應性的減少噪聲。
[0074]通過對於目標圖像中的所有像素計算校正值並使用計算出的校正值來代替目標圖像中的所有像素的像素值，校正單元108獲得降噪的圖像，並且輸出降噪的圖像。
[0075]圖9是通過圖像處理單元100執行的降噪處理的流程圖。在降噪處理中，圖像處理單元100的下採樣單元101從諸如幀存儲器19的存儲裝置中獲取要經歷降噪處理的目標圖像(步驟S100)。隨後，下採樣單元101通過使用低通濾波器來提取低頻分量，並且以預定的比率從目標圖像抽取像素，從而獲得下採樣的圖像(步驟S101)。
[0076]相似像素提取單元102從下採樣圖像中選擇感興趣像素(步驟S102)。隨後，相似像素提取單元102相對於感興趣像素設置窗口，並且在窗口中的所有像素當中提取其像素值和感興趣像素的像素值之間的絕對差值變為等於或小於閾值的像素，即，每個都具有相對於感興趣像素的等於或大於閾值的相似度的多個像素，作為相似像素組(步驟S103)。均值計算單元103計算相似像素組的像素值的均值(μ )(步驟S104)。[0077]當下採樣圖像中的所有像素都沒有被選擇作為感興趣像素(在步驟S105的「否」)時，該處理返回步驟S102，並且相似像素提取單元102選擇下採樣圖像中的剩餘像素作為感興趣像素(步驟S102)。在步驟S105，當關於下採樣圖像中的所有像素都完成了從步驟S102到步驟S104的處理(在步驟S105的「是」)時，上採樣單元104對針對下採樣圖像中的所有像素獲得的多個均值(μ)執行上採樣和平滑(步驟si1)。因此，計算出目標圖像中通過下採樣單元101抽取的像素的均值(μ )。
[0078]隨後，噪聲方差值計算單元106從目標圖像中選擇要經歷校正處理的目標圖像(步驟SI 11)。噪聲方差值計算單元106基於通過均值計算單元103或上採樣單元104計算的均值(μ)來計算目標像素的噪聲方差值(τ2)(步驟S112)。在此時，估計函數選擇單元105在估計函數存儲單元110中選擇與目標圖像的成像條件相關聯的估計函數。噪聲方差值計算單元106基於所選擇的估計函數和目標像素的均值(μ)來計算噪聲方差值(τ2)。
[0079]隨後，權重係數計算單元107基於目標像素的均值和噪聲方差值通過表達式(I)來計算權重係數(w)(步驟S113)。校正單元108使用目標像素的權重係數(w)通過表達式⑵來執行目標像素的像素值(y)和目標像素的均值(μ)的加權相加，從而獲得校正值(X)(步驟SI 14)。校正單元108使用校正值(X)來代替目標像素的像素值(步驟SI 15)。
[0080]當目標圖像中的所有像素都沒有被選擇作為目標像素(在步驟S116的「否」)時，該處理返回步驟S111，並且噪聲方差值計算單元106選擇目標圖像中的剩餘像素作為目標像素(步驟SI 11)。
[0081]在步驟S116，當對於目標圖像中的所有像素都完成了從步驟Slll到步驟S115的處理(步驟S116的「是」)時，完成對目標圖像的降噪處理。
[0082]如上所述，根據第一實施例的圖像處理單元100僅計算下採樣的圖像中的像素的均值，而不是計算在目標圖像中包含的所有像素的像素值的均值，所述下採樣的圖像通過抽取目標圖像中的像素的下採樣來獲得。因此，可以減少均值的計算。
[0083]例如，如果目標圖像在水平方向上和垂直方向上均被下採樣為一半，則在下採樣的圖像中的像素的數量減少至目標圖像的四分之一。此外，用於提取相似像素組的窗口的尺寸被減小至四分之一。因此，除了下採樣和上採樣所需的計算之外，計算可以被減少至十六分之一。
[0084]一般，如果對下採樣的圖像執行圖像處理，則具有原始尺寸的圖像的圖像解析度被降低。相反，根據第一實施例的圖像處理單元100在將圖像恢復為原始尺寸之後執行像素值和目標像素的均值的加權相加處理，因此圖像解析度不太可能被降低。
[0085]此外，圖像處理單元100在對目標圖像下採樣之前對目標圖像應用低通濾波器。因此，下採樣的圖像的噪聲電平可以低於輸入圖像，所以用於提取相似像素組的信號差的閾值可以更小。因此，即使在具有大量噪聲的圖像中，邊模糊也更少可能發生。
[0086]這樣，根據第一實施例的成像設備1，可以在對圖像執行的降噪處理期間根據圖像的局部區域中的噪聲方差來適應性地改變降噪的程度。
[0087]在根據第一實施例的圖像處理單元100中，權重係數計算單元107基於對每個目標像素計算的噪聲方差值通過估計函數來計算權重係數。然而，作為另一示例，權重係數計算單元107可以使用恆定設計值來作為噪聲方差值。具體地，在這種情況中，成像設備I並非必須包括估計函數存儲單元110。此外，圖像處理單元100並非必須包括估計函數選擇單元105和噪聲方差值計算單元106。
[0088]第二實施例
[0089]下面將說明根據第二實施例的成像設備。在根據第一實施例的成像設備中，基於目標圖像的相似像素組的均值和噪聲方差值來計算權重係數。相反，根據第二實施例的成像設備基於目標圖像的相似像素組的像素值的方差值(像素方差值)和噪聲方差值來計算權重係數。
[0090]以下，將說明與根據第一實施例的成像設備I的不同。圖10是圖解根據第二實施例的圖像處理單元120的功能配置的框圖。除了第一實施例的圖像處理單元100的功能配置之外，圖像處理單元120包括均方值計算單元121和像素方差值計算單元122。
[0091]均方值計算單元121計算通過相似像素提取單元102關於感興趣像素提取的相似像素組的像素值的均方值。像素方差值計算單元122從通過均方值計算單元121對於感興趣像素計算的均方值減去通過均值計算單元103對於感興趣像素計算的均值的平方，從而獲得感興趣像素的像素方差值(σ 2)。
[0092]上採樣單元123對通過均值計算單元103計算的均值上採樣，也對通過像素方差值計算單元122計算的像素方差值上採樣。以與上面參照圖6說明的均值的上採樣相同的方式來執行像素方差值的上採樣。具體地，上採樣單元123通過在下採樣的圖像的所有像素的像素方差值之間插入值「O」來執行二倍上採樣，之後應用低通濾波器來執行平滑。從而，計算出抽取的像素的像素方差值。
[0093]即，像素方差值計算單元122起計算下採樣的圖像中每個像素的像素方差值的第一像素方差值計算單 元的作用，並且上採樣單元123起計算通過下採樣抽取的每個像素的像素方差值的第二像素方差值計算單元的作用。
[0094]權重係數計算單元124通過下面的表達式(3)基於目標像素的相似像素組的像素方差值(σ 2)和噪聲方差值(τ 2)來計算權重係數(W)。
【權利要求】
1.一種圖像處理裝置，包括: 抽取單元，配置為在要被處理的目標圖像中抽取像素以獲得包含比目標圖像的數量少的像素的經抽取的圖像； 相似像素提取單元，配置為從包含經抽取的圖像中包含的像素當中的感興趣像素的區域中提取相似像素，每個所述相似像素與要處理的感興趣像素的相似度等於或大於第一閾值； 第一校正候選值計算單元，配置為基於相似像素的像素值來計算用來校正像素值的校正候選值； 第二校正候選值計算單元，配置為基於對於經抽取的圖像中包含的每個像素計算的所述校正候選值，對於通過抽取單元抽取的每個像素計算校正候選值；以及 校正單元，配置為基於通過第一校正候選值計算單元或通過第二校正候選值計算單元對於目標像素計算的校正候選值，來校正目標圖像中要校正的目標像素的目標像素值。
2.根據權利要求1的圖像處理裝置，進一步包括低頻分量提取單元，該低頻分量提取單元配置為從目標圖像提取具有預定的頻率或更小頻率的低頻分量，其中 所述抽取單元從目標圖像中 抽取與低頻分量對應的像素來獲得經抽取的圖像。
3.根據權利要求2的圖像處理裝置，其中所述第一校正候選值計算單元計算相似像素的像素值的均值作為校正候選值。
4.根據權利要求3的圖像處理裝置，進一步包括權重係數計算單元，該權重係數計算單元被配置為基於目標像素的校正候選值來計算目標像素值的權重係數和目標像素的校正候選值，其中 所述校正單元通過使用權重係數執行目標像素值和校正候選值的加權相加來校正目標像素值。
5.根據權利要求4的圖像處理裝置，進一步包括: 函數存儲單元，配置為在其中存儲指示目標像素的校正候選值與目標像素的相似像素的噪聲方差值之間的關係的噪聲方差估計函數；以及 噪聲方差值計算單元，配置為基於校正候選值和噪聲方差估計函數來計算目標像素的噪聲方差值，其中 權重係數計算單元基於噪聲方差值來計算權重係數。
6.根據權利要求5的圖像處理裝置，進一步包括: 均方值計算單元，配置為計算通過相似像素提取單元對於在經抽取的圖像中包含的每個像素而提取的相似像素的像素值的均方值； 第一像素方差值計算單元，配置為基於在經抽取的圖像中包含的每個像素的均方值，對於經抽取的圖像中的每個像素的像素值計算像素方差值；以及 第二像素方差值計算單元，配置為基於對於經抽取的圖像中的每個像素計算的像素方差值，計算通過抽取單元抽取的每個像素的像素方差值，其中 權重係數計算單元基於噪聲方差值和像素方差值來計算權重係數。
7.根據權利要求5的圖像處理裝置，進一步包括: 第一均方值計算單元，配置為計算通過相似像素提取單元對於在經抽取的圖像中包含的每個像素提取的相似像素的像素值的均方值；第二均方值計算單元，配置為基於對於經抽取的圖像中的每個像素計算的均方值，計算相對於通過抽取單元抽取的每個像素的相似像素的像素值的均方值；以及 像素方差值計算單元，基於已經通過第一均方值計算單元或通過第二均方值計算單元對於目標像素計算的均方值，計算目標像素的相似像素的像素值的像素方差值，其中權重係數計算單元基於噪聲方差值和像素方差值來計算權重係數。
8.一種成像設備，包括: 成像單元，配置為捕捉圖像； 根據權利要求1的圖像處理裝置； 函數存儲單元，配置為在其中存儲多個噪聲方差估計函數，每一個指示目標像素的校正候選值與目標像素的每個相似像素的噪聲方差值之間的關係，並且每一個與在成像單元中設置的成像條件相關聯； 獲取單元，配置為獲取在成像單元中設置的成像條件或從外部裝置輸入的成像條件；函數選擇單元，配置為選擇與通過獲取單元獲取的成像條件相關聯地存儲在函數存儲單元中的噪聲方差估計函數； 噪聲方差值計算單元，配置為基於通過函數選擇單元選擇的噪聲方差估計函數並基於校正候選值，計算目標像素的噪聲方差值；以及 權重係數計算單元，配置為基於噪聲方差值計算目標像素的權重係數和目標像素的校正候選值，其中 所述校正單元通過使用權重係數執行目標像素值和校正候選值的加權相加來校正目標像素值。
9.根據權利要求4的圖像處理裝置，其中 目標圖像是彩色圖像，並且 所述校正單元將目標像素的目標像素值和校正候選值之間的差投影在預定的彩色空間內的第一指定方向上，並且通過使用權重係數來執行目標像素值和投影在第一指定方向上的校正候選值的加權相加，來將目標像素值校正為第一指定方向上的值。
10.根據權利要求9的圖像處理裝置，進一步包括第一指定方向計算單元，該第一指定方向計算單元被配置為基於相對於目標像素的目標像素值的相似像素的像素值和噪聲的方差-協方差來計算最大方差方向作為第一指定方向，其中 所述校正單元通過使用由第一指定方向計算單元計算的第一指定方向來校正目標像素值。
11.根據權利要求10的圖像處理裝置，其中 目標圖像是鏡面圖像，並且 所述校正單元將目標像素的目標像素值和校正候選值之間的差投影在鏡面空間內的第二指定方向上，並且通過使用權重係數來執行目標像素值和校正候選值的加權相加，以將目標像素值校正為第二指定方向上的值。
12.根據權利要求11的圖像處理裝置，進一步包括第二指定方向計算單元，該第二指定方向計算單元被配置為基於相對於目標像素的目標像素值的相似像素的像素值和噪聲的方差-協方差來計算最大方差方向作為第二指定方向，其中 所述校正單元通過使用由第二指定方向計算單元計算的第二指定方向來校正目標像素值。
13.一種通過圖像處理裝置來實現的圖像處理方法，該圖像處理方法包括: 抽取要處理的目標圖像中的像素，來獲得包含比目標圖像的數量少的像素的經抽取的圖像； 從包含經抽取的圖像中包含的像素當中的感興趣像素的區域中提取相似像素，每個所述相似像素與要處理的感興趣像素的相似度等於或大於第一閾值； 基於相似像素的像素值來計算用來校正像素值的校正候選值； 基於對於經抽取的圖像中包含的每個像素計算的所述校正候選值，對於在抽取步驟抽取的每個像素計算校正候選值；以及 基於在用於校正像素值的計算中或對於在所述抽取中抽取的每個像素的計算中對於目標像素計算的校正候選值，校正目標圖像中要校正的目標像素的目標像素值。
14.一種在其上存儲有可執行程序的計算機可讀記錄介質，其中所述程序指令計算機執行: 抽取要處理的目標圖像中的像素，來獲得包含比目標圖像的數量少的像素的經抽取的圖像； 從包含經抽取的圖像中包含的像素當中的感興趣像素的區域中提取相似像素，每個所述相似像素與要處理的感興趣像素的相似度等於或大於第一閾值； 基於相似像素的像素值來計算用來校正像素值的校正候選值； 基於對於經抽取的圖像中包含的每個像素計算的所述校正候選值，對於在抽取步驟抽取的每個像素計算校正候選值；以及 基於在用於校正像素值的計算中或對於在所述抽取中抽取的每個像素的計算中對於目標像素計算的校正候選值，校正目標圖像中要校正的目標像素的目標像素值。
【文檔編號】H04N5/357GK104041002SQ201380004768
【公開日】2014年9月10日 申請日期:2013年1月4日 優先權日:2012年1月6日
【發明者】原崇之, 吉田和弘, 渡邊義一, 片岡曉 申請人:株式會社理光