用於減少圖像數據中的噪聲的方法和系統的製作方法

2023-05-03 21:16:06 1

專利名稱：用於減少圖像數據中的噪聲的方法和系統的製作方法
技術領域：
本發明涉及一種用於減少圖像數據中的噪聲的方法、涉及一種用於執行該方法的步驟的程序產品、涉及一種用於圖像數據中的噪聲減少的系統和涉及一種包括用於噪聲減少的系統的成像設備。
背景技術：
在獲取、處理和顯示圖像的領域中，多種類型的失真影響了圖像的質量。因此，採用多種相關方法和處理步驟來去除失真並增強圖像
的質量。 一個問題是，要通過例如陰極射線管CRT監視器、LC顯示器、電視機、掃描儀、數字相機和/或列印系統的部件顯示或處理的圖像受到圖像數據中的噪聲影響，圖像數據中的噪聲是由於圖像獲取(數位化)和/或傳輸而產生的。
例如，成傳_傳感器的性能受到多種因素的影響和/或圖^f象可能在傳輸期間因傳輸所用的信道的幹擾而受到破環。 一般，圖像噪聲是導致圖像捕獲、傳輸、編碼和/或存儲的不完善過程所導致的非期望的視覺現象。
為了去除圖像內的噪聲，多種噪聲減少技術被採用。通常，採用用於減少空間和時間噪聲的算法和對應濾波器的組合。
圖像處理中的另 一個任務是伽瑪校正。基於CRT的顯示器或LC顯示器或任何其他類型的顯示器一般在施加的信號電壓與所產生的圖像強度之間具有非線性關係。伽馬校正嘗試通過沿相反方向對信號進行預失真來補償因此類非線性導致的失真。因此，從圖像數據，導出單獨的顏色信號RGB (紅色、綠色和藍色)，並且這 顏色信號經過伽馬;f交正。參考圖1，下文將解釋根據現有技術用於處理圖像數據的系統
100。將原始圖像數據2提交到伽馬校正組件3以對圖像數據執行伽馬校正，然後將伽馬校正後的圖像數據提交到空間噪聲減少組件4,空間噪聲減少組件4對伽馬校正後的圖像數據執行空間噪聲減少。
將噪聲減少後的圖像數據6直接提交到顯示器或還可以將其提交到後續處理組件5，例如用於執行運動估計ME和時間噪聲減少TNR的組件。
現有技術的系統100的問題在於，噪聲減少非常困難。由於伽馬校正，原始圖像數據中包含的噪聲的影響進一步惡化，這使得後續空間噪聲減少更費力。這導致圖像仍具有顯著的噪聲和下降的質量。
因此，本發明的目的在於減少現有技術的缺點。確切地來iJi，本發明的目的在於提供一種用於改進圖像數據中的噪聲減少的方法和系統。
此目的通過獨立權利要求的特徵來實現。有利特徵和實施例是從屬權利要求的主題。

發明內容
本發明提供 一 種用於減少圖像數據中的噪聲的方法，包括以下步驟對所述圖像數據執行空間噪聲減少並對空間噪聲減少後的圖像數據應用伽馬校正。
本發明還提供一種當由計算機執行時用於執行上述方法的步驟的電腦程式產 品。
本發明還提供一種用於圖像數據中的噪聲減少的系統，包括處理單元。所述處理單元包括空間噪聲減少組件，用於對所述圖像數據執行空間噪聲減少；以及伽馬校正組件，用於對空間噪聲減少後的圖像數據應用伽馬校正。
本發明還提供一種成像設備，優選地為照相機，包括上述用於噪聲減少的系統。


現在將結合附圖在下文對優選實施例的描述中更詳細地解釋本
發明，其中
圖1示出根據現有技術的噪聲減少系統的示意框圖，圖2示出才艮據本發明的噪聲減少系統的第一實施例，圖3示出才艮據本發明的噪聲減少系統的另一個實施例，圖4示出包括根據本發明的噪聲減少系統的成像設備的示意框圖，以及
圖5示出根據本發明的方法的過程步驟的流程圖。
具體實施例方式
本發明的一個基本理念是提供使用的處理步驟的特定次序。確切地來說，本發明提出首先執行空間噪聲減少，然後對噪聲減少後的圖像數據執行伽馬校正。
在現有技術中，常常低估伽馬校正對原始圖像數據2中所含的噪聲的影響。因此，伽馬校正之後施加空間噪聲減少不足以去除伽馬校正後的圖像數據中的所有噪聲，並且保留顯著的噪聲，這是由於伽馬校正的影響所致。
本發明認識到此問題並提供一種有效同時非常簡單的解決方案，該解決方案通過按不同的次序，即通過首先執行空間噪聲減少，然後對已經執行噪聲減少後的數據執行伽馬校正來應用處理步驟以減少現有技術中的問題。即使本發明採用更改處理步驟的簡單解決方案，仍實現了圖像質量上的完全意想不到的顯著提高。這不僅能夠提高圖像質量本身，而且還正面地影響所有後續處理步驟，例如運動估計、時間噪聲減少等。
圖2示出根據本發明的第一實施例的用於圖像數據中噪聲減少的系統1 。根據此實施例，對原始圖像數據2應用空間噪聲減少步驟，然後對空間噪聲減少後的圖像數據執行伽馬校正。
因此將原始圖像數據2饋送到空間噪聲減少組件4以減少圖像數據中的空間噪聲。然後，將空間噪聲減少後的圖像數據提交到伽馬校正組件3,在伽馬校正組件3中執行伽馬校正。然後可以直接顯示噪聲減少後的圖像數據9、將其提交到另一個設備、將其存儲以供後來顯示或傳輸或可以由另外的組件進行處理，例如由圖2所示的運動估計和時間噪聲減少組件5來處理。要注意，圖2僅示出處理噪聲減少後的圖像9的一種可能的方式。本發明並不局限於所示的實施例，而是涵蓋如上所述的對噪聲減少後的圖像數據9的處理的任何其他類型》
與在空間噪聲減少之前對圖像數據應用伽馬校正的現有技術相比，本發明提出首先執行空間噪聲減少，然後執行伽馬校正。正如已經提到的，這具有如下優點當圖像數據被提供到伽馬校正時，圖像數據的空間噪聲已經被去除，從而在伽馬校正的情況下，不會使空間噪聲進一步惡化，因為空間噪聲已經從圖像數據去除。因此，最終噪聲減少後的圖像數據9包括比現有技術噪聲減少後的圖像數據6更少的噪聲，並且因此提供改善的圖像質量。
本發明的另 一個優點在於，如果此噪聲減少後的圖像數據9用於後續的運動估計過程，則實現運動估計性能上的顯著改進。然後可以使用此改進的運動估計結果來進行噪聲的時間濾波以獲得最優的噪聲減少效果。
根據本發明的空間噪聲減少組件4可以採用能夠減少圖像數據中的空間噪聲的任何現有或將來的組件和/或算法。 一般，空間噪聲減少旨在基於一個圖像平面內的數據來減少噪聲。空間噪聲減少組件4可以例如作為對應的線性或非線性濾波器來實現，這在現有技術中是公知的並且因此將不作進一步論述。在任何情況中，本發明採用任何現有或將來的空間噪聲減少方法，並不限於一種類型的空間噪聲減少。空間噪聲減少組件4可以對整個圖像或對圖像局部執行空間噪聲減少。
同樣地，本發明中使用的伽馬校正組件3可以採用應用於任何類 型的圖像數據的任何類型的現有或將來的伽馬校正。伽馬校正組件3 適合於對基於RGB (紅綠藍)色彩空間或sRGB (標準紅綠藍)色彩 空間的任何陰極射線管CRT監視器、LC顯示器或基於任何類型的色 彩空間的任何其他類型的監視器應用伽馬校正。
本發明的第一實施例提供一種簡單且強大的方法來減少圖像數 據中的噪聲。儘管如此，仍可能存在提出的第一實施例不適於以令人 滿意的方式減少噪聲的原始圖像數據2的類型。
根據拍攝一個或多個圖像時存在的照明狀況和/或照相機特性，與 伽馬校正組合的公知的空間噪聲減少不足以提供噪聲減少的圖像數 據。確切地來說，低亮度狀況下拍攝的圖像受到與高亮度狀況下拍攝 的圖像不同類型的噪聲的影響。根據原始圖像數據2中所含的噪聲的 類型，公知的空間噪聲減少方法不足以去除或充分地減少原始圖像數 據2中所含的噪聲。
在此情況中，本發明提出根據圖3所示的另一個實施例的系統11。
在此系統11中，在應用空間噪聲減少之前，原始圖像數據2首 先經過變換組件7執行的變換步驟。在此變換步驟中，由用於變換原 始圖像數據2中所含的噪聲的類型的對應算法來變換包含噪聲的原始 圖像數據2。因此，優選地，以這樣的方式來選擇用於變換原始圖像 數據2的算法，即變換的圖像數據包含可以最優方式被後續空間噪 聲減少組件4減少或去除的噪聲類型。
在空間噪聲減少之後，將圖像數據提交到反向變換組件8，反向 變換組件8對該圖像數據執行反向變換，以反向變換由變換組件7執 行的變換。在反向變換之後的圖像數據對應於沒有已去除的空間噪聲 的原始圖像數據2。
用於變換和反向變換圖像數據的任何算法均可以使用，同樣地，任何空間噪聲減少算法均可以使用。優選地，需要滿足如下狀況該 變換將圖像數據中的噪聲以使噪聲能夠在隨後的空間噪聲減少步驟 期間被有效地去除的方式進行變換。此外，優選地以不丟失原始圖像 數據的任何信息的方式選擇變換算法和反向變換算法。或者，可以選 擇其中包含少量圖像信息的圖像的小部分丟失的變換算法。
在反向變換之後，再次將圖像數據提交到伽馬校正組件3以便執 行伽馬校正，然後顯示、存儲、傳送噪聲減少的圖像數據19或由另 外的處理組件5對其進一步處理，例如進4亍運動估計和時間噪聲減少。 再次要注意，本發明並不局限於包括另外的處理組件5的系統，而且 還涵蓋包括以不同方式處理噪聲減少的圖像數據19的任何其他系統。
在本發明中，優選地對於變換算法，使用Anscombe變換算法。 同樣地，優選地對於反向變換步驟，使用反向Anscombe變換算法。 很明顯，利用變換步驟，圖像數據本身也被變換，但是利用反向變換 步驟，該圖像數據被無任何信息丟失地復原。下文將解釋Anscombe 算法的不同優點以及可以使用的Anscombe算法的不同類型。
一般有不同類型的噪聲。 一方面，有遵循泊松曲線的噪聲，下文 中稱為散粒或量子或泊松噪聲。例如CCD檢測器上光子到達以及其 光子計數的表示可以通過泊松分布建模。另一方面，還有遵循高斯曲 線的噪聲，下文稱為高斯噪聲，例如讀出噪聲。利用根據現有技術的 空間噪聲減少，只能減少高斯噪聲。受高斯噪聲和泊松噪聲混合影響 或主要受泊松噪聲影響的圖像無法以令人滿意的方式得以校正。尤其 是利用高ISO設置(例如ISO 6400和ISO 12800 )拍攝的圖像以及在 低亮度狀況下拍攝的圖像(例如在50 LUX或以下拍攝的圖像)受泊 松噪聲嚴重影響。利用公知的空間噪聲減少方法，僅處理高斯噪聲， 而泊松噪聲並未被此過程去除。
在與Anscombe變換組合執行空間噪聲減少的本發明中，可以不 僅抑制(即減少)高斯噪聲，而且抑制泊松噪聲。 一般，利用Anscombe 變換，變換包含噪聲的圖像數據，並將圖像數據中所含的泊松噪聲變換成高斯噪聲。即如果圖像數據中的噪聲是泊松類型的，則Anscombe 變換起作用，好像該噪聲數據源自高斯白噪聲模型。
如果原始圖像數據2中的噪聲主要是泊松噪聲，可以使用簡化的 Anscombe變換。可以由如下公式來表示該簡化的Anscombe變換ATS:
其中I (x, y)是原始圖像數據。
利用此變換，將整個原始圖像數據2變換，並另外也將泊松噪聲 變換成高斯噪聲。然後可以通過公知的空間噪聲減少方法來處理高斯 噪聲，在空間噪聲減少步驟之後，根據如下^^式對空間噪聲減少後的 圖像數據執行簡化的反向Anscombe變換IATS:
其中J(x，y)是空間噪聲減少後的圖像數據。由此有效地減少空間噪聲， 並可以實現最優的圖像質量。當使用簡化的Anscombe變換時，降低 了處理圖像所需的處理能力，以使本實施例也可以在具有小處理能力 的設備中實現。
在另 一種情況中，即圖像數據中有泊松噪聲和高斯噪聲的混合的 情況中，可以採用常規Anscombe變換，以將高斯和泊松噪聲的混合 變換成高斯噪聲。此處，信號的值I(x, a)被-現為均值g和標準偏差cj 的高斯變量y和均值mo的泊松變量n之和。設置為I(x, y) = y + an， 其中a是增益。可以利用如下公式來表示常規Anscombe變換AT(j:
因此，可以由如下公式來表示反向常規Anscombe變換IATG:總之，本發明提出用於減少圖像數據中的不同實施例在一個實 施例中，執行空間噪聲減少然後伽馬校正。在另一個實施例中，在空 間噪聲減少之前執行變換步驟，並在空間噪聲減少之後執行反向變換 步驟。在另一些實施例中，對於變換，使用簡化的或常規Anscombe 變換，並且相應地，對於反向變換，使用簡化的或常規反向Anscombe 變換。在任何執行噪聲減少的設備中，可以實現一個或多個實施例。
如果僅在設備中實現一個實施例，則在任何情況中該實施例首先 執行空間噪聲校正，然後執行伽馬校正，從而可以實現相對於現有技 術的顯著改進。僅選擇一個實施例來實現可能源於適應有限的處理能 力和/或存儲容量的需要。或者，可能出現這樣的情況 一個設備期望 僅處理包含特定類型的噪聲的圖像數據，從而可以選擇最適於處理該 種類噪聲的對應實施例。
在其它情況下，在一個設備中實現本發明的兩種或兩種以上實施 例是可能的。然後，可以提供有一種機制用於為每個圖像或圖像序列 選擇最適合於該圖像數據中的噪聲類型的一個實施例。稍後將解釋用 於確定要使用哪種類型的實施例的機制。作為附加或備選方式，可以 提供部件允許用戶來選擇這些實施例的其中之一。
現在參考圖4，將詳細解釋包括本發明系統1、 ll的一個或多個 實施例的成像設備20。該成像設備可以是允許獲取圖像數據並處理圖 像數據的任何類型的設備。優選地，該成像設備是用於靜態圖像和/ 或3見頻序列的照相機、行動電話、PDA、 PC、電視機、筆記本或任何 其他類型的設備。
成像設備20包括用於獲取原始圖像數據2的圖像獲取單元22。 根據本發明，圖像數據可以是單個圖像或圖像序列，即可以是靜態圖 像或視頻流。因此圖像獲取單元22可以包括用於拍攝圖像的CCD傳 感器或在成像設備20外部的適合於拍攝物體的圖像的任何其他現有 或將來的機制。圖像獲取單元22可以是到任何類型的源(例如存儲 裝置)的連接、網際網路連接、廣播傳輸或用於接收圖像的任何其他無線或有線連接。
該成像設備還包括顯示器24，顯示器24可以是例如CRT監視器 或LC顯示器或適合於顯示圖像數據的任何其他類型的顯示器。成像 設備20還包括存儲器25，存儲器25可以包括易失性和/或非易失性 存儲裝置的一個或多個部分。
可選地，成像設備20包括檢測單元21，檢測單元21適合於檢測 指示圖像原始數據2中所含的噪聲類型的狀況。檢測單元21可以例 如檢測當前亮度狀況，即拍攝圖像時的亮度狀況。作為備選或附加方 式，檢測單元21可以檢測曝光值和感光度。檢測單元21可以例如是 用於檢測當前照明或亮度狀況的傳感器。根據檢測單元21檢測的亮 度狀況，將根據預定義的參數來決定要使用哪種類型的噪聲減少處 理。在存儲器中，可以存儲例如包含幾個亮度值和對應地包含應該用 於校正原始圖像數據2的處理步驟的幾個類型的表。 一般，照相機的 亮度以LUX為單位來測量。在50 LUX或以下捕獲的圖像被分類為在 低亮度狀況下拍攝的。但是，具體根據照相機的類型，指示低亮度狀 況的LUX值可能有所不同，本發明對於檢測低亮度狀況並不局限於 50LUX的值。
備選地，還可以省略檢測單元21,並且可以在成像設備20中僅 實現一個實施例或用戶能夠利用對應的開關或通過任何其他類型的 輸入設備(附圖中未示出)自己選擇處理方法。
圖像獲取單元22、檢測單元21、顯示器24和存儲器25全部連 接到處理單元23並與處理單元23進行數據通信，處理單元23控制 成像設備20中的處理，即在成像設備20內的讀、寫、存儲、傳送、 刪除或任何其他類型的數據處理。
空間噪聲減少組件4、伽馬校正組件3和(如果存在的話)變換 組件7和反向變換組件8 #1包括在處理單元23中，它們或作為軟體 執行的步驟或可以作為硬體組件來實現。同樣地，用於例如運動估計 和時間噪聲減少的任何其他處理組件5也可以作為處理單元23中的軟體或硬體來實現。
現在將參考圖5解釋根據本發明的方法執行的詳細步驟。該過程 開始於步驟SO。
在下一步Sl中，獲取圖像。如前所解釋的，該圖像可以是單個 靜態圖像或構成視頻序列的多個圖像的序列。圖像的獲取可以通過例 如使用CCD傳感器拍攝圖像或通過經任何類型的傳輸信道接收圖像 或通過任何其他獲取圖像的方式來實現。
在下一步S2中，檢測單元21將檢測亮度狀況或指示當前獲取的 圖像中的噪聲類型的其他參數。
在隨後的步驟S3中，決定是否提供變換。在步驟S3中，基於檢 測的亮度狀況或其他參數，決定是否利用對應的變換和反向變換或不 進行變換步驟來執行噪聲減少。如果決定不提供變換，則在下一步S4 中，執行空間噪聲減少。
否則，如果在步驟S3中決定提供變換並且在對於變換提供 Anscombe變換的情況中，則在下一步S5中，決定是否提供常規類型 的Anscombe變換或是否提供筒化類型的Anscombe變換。如果存在 不同類型的變換之間選擇的可能性，則在此步驟S5中，決定是否提 供常規類型的變換，正如上文解釋的。如果決定提供常規類型的變換， 則在下一步S6中，對圖像數據執行常規Anscombe變換，在隨後步驟 S7中，執行空間噪聲減少，並下一步S8中執行常規反向Anscombe 變換。
否則，如果決定不提供常規類型的變換，則在下一步S9中，對 圖像數據執行簡化的Anscombe變換，在隨後步驟S10中，執行空間 噪聲減少，並下一步Sll中執行簡化的反向Anscombe變換。
正如已解釋的，也可以省略步驟S2和檢測單元21，並且允許用 戶選擇要使用哪種過程。還有可能性，即在設備中僅實現兩種不同的 過程，從而可以省略S3或S5。在另一個備選方式中，可以在成像i殳 備20中僅實現一個實施例。在此情況中，可以省略整個步驟S2、 S3和S5以及檢測單元21。
在任何情況中，在利用變換步驟或不利用變換步驟進行空間噪聲 減少之後，過程繼續到步驟S12，其中對空間噪聲減少後的圖像數據 4丸4亍伽馬才交正。
在步驟S13中，可選地，可以實現後續圖像處理，例如，運動估 計和時間噪聲減少。在隨後步驟S14中，存儲和/或顯示噪聲減少後的 圖像數據和/或將其傳送到任何其他設備。該過程結束於步驟S15。
除了使用戶能夠選擇這些實施例之一的可能性，本發明釆用一種 魯棒且完全自動的能夠實現噪聲減少的方法和系統。確切地來說，在 任何情況中，都無需人工調整參數。
通過在伽馬校正之前執行空間噪聲減少的第一實施例，本發明已 經提供一種有效地減少圖像數據中的噪聲的方法和系統。此外，在特 定亮度狀況的情況中，更廣義地來說，在原始圖像數據中的不同類型 的噪聲的情況中，本發明採用不同的機制來處理不同類型的噪聲，這 又促成改進的噪聲減少並由此促成增強的圖像質量。本發明適於所有 噪聲水平圖像並提供更有效的噪聲減少。如果本發明用作運動估計的 預處理，則它在運動矢量精度方面優於常規系統。
權利要求
1.一種用於減少圖像數據中的噪聲的方法，包括以下步驟對所述圖像數據執行(S4、S7、S10)空間噪聲減少並對空間噪聲減少後的圖像數據應用(S12)伽馬校正。
2. 如;^又利要求1所述的方法， 還包括以下步驟在執行所述空間噪聲減少之前對所述圖像數據執行變換步驟 (S6、 S9)以用於變換所述圖像數據中包含的噪聲的類型， 以及在應用伽馬校正之前對所述空間噪聲減少後的圖像數據執行反 向變換步驟(S8、 Sll )。
3. 如權利要求2所述的方法，其中所述變換步驟包括執行(S6、 S9) Anscombe變換以用於將 所述圖像數據中包含的噪聲變換成高斯噪聲，以及所述反向變換步驟包括執行(S8、 Sll )反向Anscombe變換。
4. 如權利要求3所述的方法，其中對於所述Anscombe變換(S9 )和所述反向Anscombe變換 (Sll ),使用簡化的變換來實現將泊松噪聲變換成高斯噪聲。
5. 如權利要求3所述的方法，其中對於所述Anscombe變換(S6 )和所述反向Anscombe變換 (S8 ),使用常規變換來實現將泊松噪聲和高斯噪聲的混合變換成高 斯噪聲。
6. 如權利要求2至5中任一項所述的方法， 還包括以下步驟檢測(S2)當前亮度狀況。
7. 如權利要求6所述的方法，包括基於檢測到的亮度狀況決定(S3 )是否要對所述圖像數據執 行變換和對應的反向變換的步驟。
8. 如權利要求7所述的方法，包括基於檢測到的亮度狀況決定(S5 )要使用常規還是簡化的變 換和對應的反向變換的步驟。
9. 一種當由計算機執行時用於執行如權利要求1至8中任一項所 述方法的步驟的電腦程式產品。
10. —種用於圖像數據中的噪聲減少的系統， 包括處理單元(23 )， 所述處理單元包括空間噪聲減少組件(4 ),用於對所述圖像數據執行空間噪聲減少，以及伽馬校正組件(3)，用於對空間噪聲減少後的圖像數據應用伽馬 校正。
11. 如權利要求IO所述的系統， 其中所述處理單元(23)還包括變換組件(7),用於在執行所述空間噪聲減少之前對所述圖像數 據執行變換步驟以用於變換所述圖像數據中包含的噪聲的類型，以及反向變換組件(8),所述反向變換組件(8)在應用伽馬校正之 前對所述空間噪聲減少後的圖像數據執行反向變換步驟。
12. 如權利要求11所述的系統，還包括檢測單元(21)，所述檢測單元(21)用於檢測當前亮度 狀況。
13. 如權利要求12所述的系統，其中所述處理單元(23)根據由所述檢測單元(21 )檢測到的亮 度狀況來決定是否要對所述圖像數據執行變換和對應的反向變換。
14. 如權利要求13所述的系統，其中所述處理單元(23)根據由所述檢測單元(21 )檢測到的亮 度狀況來決定要對所述圖像數據執行常規還是簡化的變換和對應的 反向變換。
15. —種成像設備(20)，優選地為照相機，包括如權利10至14 中任一項所述的用於噪聲減少的系統。
全文摘要
本發明名稱為「用於減少圖像數據中的噪聲的方法和系統」。本發明涉及一種用於減少圖像數據中的噪聲的方法，包括對圖像數據執行(S4、S7、S10)空間噪聲減少並對空間噪聲減少後的圖像數據應用(S12)伽馬校正的步驟。本發明還涉及一種用於圖像數據中的噪聲減少的系統。
文檔編號H04N5/217GK101686321SQ20091017975
公開日2010年3月31日 申請日期2009年9月25日 優先權日2008年9月25日
發明者K·齊默曼, M·西迪奎 申請人:索尼株式會社