用於視頻信號的適應性噪聲測量的方法和裝置的製作方法

2023-06-15 03:32:21

專利名稱：用於視頻信號的適應性噪聲測量的方法和裝置的製作方法
技術領域：
本發明涉及包括圖像序列的視頻信號的適應性噪聲測量的方法和相應的裝置。另外，本發明涉及電腦程式和計算機可讀非暫態介質。
背景技術：
視頻信號經常被噪聲所幹擾。最常見類型的噪聲是幀噪聲，也稱為模擬噪聲，在本發明中其也被簡稱為噪聲。(其他噪聲類型有幀噪聲、區塊噪聲或蚊式噪聲，這裡都不涉及)。此噪聲可來自於模擬或數字攝影，其中其可源自於短曝光時間或光傳感器屬性。其也可來自於不良的信號存儲或傳輸，例如信號多次被惡化和放大的情況。此噪聲通常是均勻分布在整個圖像上的。其可能與圖像的某些屬性相關，比如與亮度或對比度相關，但也可能不相關，這一點對於本發明來說是沒有直接關聯的。其在圖像序列的靜態、均勻部分中最易可見，在這些部分中顏色或亮度的小偏差都是可見的。經常希望知道噪聲的水平，以向用戶給出反饋，或者控制某種其他的圖像處理，比如銳度增強或降噪。例如在 http ://en. wikipedia. org/wiki/Peak_signal-to-noise_ratio 中描述的簡單的現有技術方法將參照序列與同一個有噪聲序列相比較。通過計算圖像之間的逐像素差異，然後對差異求和並對結果進行正規化，可以獲得噪聲水平。例如在US 2008/0232458 Al中描述的現有技術無參照方法測量圖像的均勻區域中的噪聲。在模擬電視時代，通常評估圖像的可見部分外的已知黑區域。由於已知該區域的內容是黑的，所以與黑電平的差異可被測量、求和、正規化並用作噪聲水平。現今，視頻序列可能不再有這樣的已知黑區域了，因此不能再像早先那樣經常且容易地使用這種方法了。US 2005/128355 Al公開了一種從數字運動圖片數據中去除噪聲的方法。提出了減少在時間濾波操作中使用的幀的數目，這使得能夠容易地檢測幀之間的運動。該方法包括空間濾波的方法、時間濾波的方法和順序地執行空間濾波和時間濾波的方法。空間濾波方法在YCbCr顏色空間中應用空間濾波，在空間域中保留圖像中的輪廓/邊緣，並且生成適應於噪聲的權重，用於在時間濾波操作中辨別輪廓/邊緣。時間濾波方法基於運動檢測和場景變化檢測來應用時間濾波，針對全局運動進行補償，運動檢測考慮了在時間濾波操作中在幀之間比較的像素的亮度差異和顏色差異，以及適應於噪聲的權重，用於在時間濾波操作中檢測運動。優選先執行空間濾波方法，然後在獲得了空間濾波的結果的情況下執行時間濾波方法。

發明內容
本發明的一個目的是提供用於包括圖像序列的視頻信號的適應性噪聲測量的方法和相應的裝置，其不要求使用無噪聲參照圖像，易於以低工作量實現，並且對於任何種類的視頻信號都提供可靠的結果。本發明的另一個目的是提供用於實現所述方法的相應電腦程式，以及存儲這種電腦程式的相應計算機可讀非暫態介質。
根據本發明的一個方面，提供了一種包括圖像的序列的視頻信號的適應性噪聲測量的方法，所述方法包括以下步驟-搜索當前圖像內的一個或多個空間上均勻的區域，-確定所述一個或多個空間上均勻的區域的空間均勻性值(spatialuniformity value)並且組合所述空間均勻性值以獲得表示所述當前圖像中的噪聲量的第一度量的空間噪聲值，-通過利用運動閾值將當前圖像與所述圖像的序列的一個或多個在前圖像和/或一個或多個在後圖像相比較，以獲得指示出當前圖像與各個在前或在後圖像之間的運動量的一個或多個運動地圖(motion map)，從而來檢測運動，-搜索所述一個或多個運動地圖內的一個或多個靜態區域，-通過比較所述一個或多個在前圖像和/或所述一個或多個在後圖像中在相應的一個或多個運動地圖中指示低量運動或無運動的位置處的圖像值，來確定所述一個或多個靜態區域的時間均勻性值(temporal uniformity value)，所述時間均勻性值表示所述當前圖像中的所述位置處的噪聲量的度量，以及-組合所述獲得的時間均勻性值以獲得表示所述當前圖像中的噪聲量的第二度量的組合噪聲值。根據本發明的另一方面，提供了一種用於包括圖像的序列的視頻信號的適應性噪聲測量的裝置，所述裝置包括-均勻區域搜索單元，被配置為搜索當前圖像內的一個或多個空間上均勻的區域，-空間均勻性值確定單元，被配置為確定所述一個或多個空間上均勻的區域的空間均勻性值並且組合所述空間均勻性值以獲得表示所述當前圖像中的噪聲量的第一度量的空間噪聲值，-檢測單元，被配置為通過利用運動閾值將當前圖像與所述圖像的序列的一個或多個在前圖像和/或一個或多個在後圖像相比較，以獲得指示出當前圖像與各個在前或在後圖像之間的運動量的一個或多個運動地圖，從而來檢測運動，-靜態區域搜索單元，被配置為搜索所述一個或多個運動地圖內的一個或多個靜態區域，-時間均勻性值確定單元，被配置為通過比較所述一個或多個在前圖像和/或所述一個或多個在後圖像中在相應的一個或多個運動地圖中指示低量運動或無運動的位置處的圖像值，來確定所述一個或多個靜態區域的時間均勻性值，所述時間均勻性值表示所述當前圖像中的所述位置處的噪聲量的度量，以及-組合單元，被配置為組合所述獲得的時間均勻性值以獲得表示所述當前圖像中的噪聲量的第二度量的組合噪聲值。根據另外的方面，提供了一種電腦程式，其包括用於在所述電腦程式在計算機上被執行時使得計算機執行根據本發明的方法的步驟的程序代碼手段，以及一種計算機可讀非暫態介質，其上存儲有指令，所述指令當在計算機上被執行時使得計算機執行根據本發明的方法的步驟。在從屬權利要求中限定了本發明的優選實施例。應當理解，要求保護的裝置、要求保護的電腦程式和要求保護的計算機可讀介質具有與從屬權利要求中限定的要求保護的方法相似和/或相同的優選實施例。本發明基於的是提供可對於視頻信號的視頻序列的每個輸入圖像(也稱為幀)重複的多階段處理的思想。特別地，空間噪聲測量和時間噪聲測量被適當地組合以獲得可靠的總噪聲測量。以上提及的US 2005/128355 Al中描述的方法輸出無噪聲序列；其中儘可能多地去除了圖像中的可見噪聲。另外，使用了噪聲適應性運動檢測閾值。與之不同，本發明僅輸出噪聲水平，該噪聲水平是在圖像中的某些適當位置處測量的，但不輸出經濾波的無噪聲圖像。原始圖像保持不變，而噪聲水平的計算是本發明的核心。本發明優選地從計算空間域中的變差來得出噪聲適應性閾值(也稱為運動閾值) 並且詳細說明了找出適當的測量區域的過程，而根據US 2005/128355 Al，噪聲閾值只是為了保留邊緣的目的而使用的局部度量，因此其與本發明相比對於整個圖像提供的測量結果的可靠性要低得多。另外，本發明優選地從計算時間方向上的方差或(相關的)標準偏差來使用噪聲適應性運動檢測閾值。特別地，根據本發明使用了對適當測量位置的智能選擇，而根據US 2005/128355 Al，只使用了局部值，該局部值只代表局部鄰域，並且只適用於降噪，其不是全局噪聲的表示。總之，根據本發明，不應用(空間或時間)濾波，邊緣的發生將丟棄空間測量區域 (即，優選地，搜索最平坦的區域)，運動的發生將丟棄時間測量區域(即，優選地，搜索最靜態的區域)，時間和空間噪聲測量都使用所選區域並智能地將結果組合成組合的可靠噪聲測量。此外，優選地應用可靠性度量，以可能丟棄不可靠的空間或時間測量結果。


下面將參考下文中描述的實施例來更詳細闡明本發明的這些和其他方面。在以下附圖中，圖1示出了圖示根據本發明的方法的示圖，圖2示出了圖示根據本發明的方法的搜索均勻區域的步驟的示圖，圖3示出了圖示根據本發明的方法的空間噪聲測量的步驟的示圖，圖4A和4B示出了圖示根據本發明的方法的運動檢測的步驟的兩個實施例的示圖，圖5示出了圖示根據本發明的方法的搜索靜態區域的步驟的示圖，圖6示出了圖示根據本發明的方法的時間噪聲測量的步驟的示圖，並且圖7示出了圖示根據本發明的裝置的示意性框圖。
具體實施例方式根據本發明，提供了一種採用多階段處理的方法，其可以對包括圖像序列的視頻信號的選定的或每一個輸入圖像(或幀)重複。作為示例，將參考圖示所提出的方法的步驟的圖1至6中所示的示圖來說明所提出的方法。具體地，圖1圖示了所提出的方法的主要步驟的概要，並且圖2至6分別更詳細圖示了所述的步驟。在圖2中詳細圖示的第一步驟SlO中，執行均勻區域搜索，即搜索當前圖像10內
7的一個或多個空間上均勻的區域20、22。搜索視頻序列的一個圖像，例如第一圖像，以尋找(空間上)均勻的區域，即尋找具有最少量細節的區域。這例如是通過以下方式來完成的反覆地選擇圖像的不同的(候選)區域(也稱為區塊)30、31、32、33、34、35、36，然後計算(空間)均勻性的度量，並且與先前選擇的區域相比較，直到找到最大均勻性為止。作為(空間)均勻性的度量，例如可以使用區塊的方差、對區塊高通濾波之後的標準偏差或信號幅度和值。低方差意味著區塊非常均勻，高方差則意味著區塊不均勻。所選擇的候選區域可以是圖像10的任何形狀的部分，最小為包含2個像素的區塊，或者最大是包含圖像的所有像素減1的區塊。通常為了計算簡單，將選擇矩形形狀的區塊，例如高清晰度(1920X1080)圖像的25X25像素。如果像實施例中提出的那樣用區塊的大小來對均勻性結果進行正規化，則不要求區塊具有相同的大小或形狀，或者甚至不要求它們是單一形狀的。它們也可以是交疊的。可在圖像中搜索若干個這種區塊20、22，並且可將其均勻性結果(以及其位置) 存儲在臨時存儲器中。搜索可在找到若干個這種區塊時停止，或者可在新區塊的均勻性結果變得太極端(例如當使用方差標準時變得太高，但如果使用另一種標準也可能是變得太低)時停止，均勻性結果變得太極端意味著在圖像中未剩有還沒有涉及的均勻區域。必要區塊的數目在圖像較大的情況下應當較多，在區塊較小的情況下也應當較多。對於高清晰度圖像中的25X25區塊，大約10個區塊可能是適當的。區塊的停止標準可以是最大可能均勻性值的大約(例如對於8比特信號是拉5*2輛28)，這只是給出可用作空間均勻性閾值的值的一個示例。在圖3中詳細圖示的第二步驟S20中，執行空間噪聲測量，即確定在第一步驟SlO 中找到的所述一個或多個空間上均勻的區域20、22的空間均勻性值，並且組合所述空間均勻性值以獲得表示所述當前圖像10中的空間噪聲的量的第一度量的空間噪聲值。具體地，區塊20、22的均勻性結果(均勻性值)被線性地求和或者以按區塊20、22 的大小加權的方式求和。可選地，可以額外地進行對照預期結果的範圍的驗證。如果已經知道什麼量的噪聲可能是現實的，則可以丟棄結果，認為空間噪聲測量失敗了。接下來，在圖4A和4B中詳細圖示的步驟S30中，執行運動檢測，即，通過利用運動閾值將當前圖像10與所述圖像序列的一個或多個在前圖像12、13和/或一個或多個在後圖像14、15相比較，以獲得指示出當前圖像與各個在前或在後圖像之間的運動量的一個或多個運動地圖，從而來檢測運動。這裡，圖4A示出了使用三個圖像10、12、14作為輸入的第一實施例，並且圖4B示出了使用五個圖像10、12、13、14、15作為輸入的第二實施例。運動檢測是公知的並且通常使用閾值，該閾值通常是固定值。運動檢測一般將提供關於連續圖像的序列中的某個局部區域是靜止的(不包含運動)還是在運動中的信息。 運動檢測算法的輸出通常是二元運動地圖，其描述了某個局部區域(例如像素水平或區塊水平的局部區域)的狀態。運動地圖值通常對於靜止情況是0並且在運動情況下是1，但也可以有不同地定義。許多運動檢測算法是已知的。在T. Koivunen，「Motion detection of an interlaced video signal," IEEE Transactions on Consumer Electronics,vol. 40, no. 3，pp. 753-760，1994中描述了一種簡單的基於一場存儲器的運動檢測算法。在Dimitri Van De Ville et al. ,""Deinterlacing using fuzzy-based motion detection，，，KES1999， pp.263-267 或 Christian Hentschel，"HIGH QUALITY NOISE INSENSITIVE MOTION DETECTOR USING ONE FIELD MEMORY」， IEEE Transactions on Consumer Electronics, Vol. 42，No. 3，August 1996中描述了簡單的基於兩場(或一幀)存儲器的運動檢測算法。 如Chung-Chi Lin et al. ,"Motion Adaptive Deinterlacing with Local Scene Changes Detection，，， Proceedings of the Second International Conference on Innovative Computing, Informatio and Control, p.142, September 05-07,2007 5 Shyh-Feng Lin et al. , "Motion Adaptive Interpolation with Horizontal Motion Detection for Deinterlacing，，，IEEE Transactions on Consumer Electronics, Vol. 49, No. 4, November 2003中所述，通過結合一種基於三場存儲器的方案，實現了更先進的運動檢測技術。在優選實施例中，本發明提出了使用來自先前的空間噪聲測量步驟S20的均勻性結果作為閾值，而不是使用固定閾值。如果所選的區塊20、22非常均勻，則可以認為噪聲較低，並且可以將運動閾值設定得較低。如果圖像10中的最均勻的區塊20、22仍不是很均勻， 則可以預期噪聲較高，並且優選將運動閾值設定到較高的值；否則噪聲將被誤看作是運動。可以將閾值縮放到更大或更小的值，以不那麼靈敏地或者更靈敏地檢測運動。如果像上文中作為一種可能性提及的，空間噪聲測量失敗了，那麼可以改為使用固定的(可調整的)閾值來進行運動檢測，該閾值例如可以是最大值範圍的大約10% (例如，對於8比特信號是10%*28)o一般地，對於根據本發明的運動檢測，可以使用任何已知的技術，比如基於對當前圖像10與視頻序列的相鄰圖像12、13、14、15之間的像素差異的檢測的運動檢測。也可以使用層次式運動檢測。運動檢測也可被擴展到不止是直接相鄰的幀，例如擴展到再前一個和再下一個圖像，如圖4B中所示。如圖4A、4B中所示，運動檢測的步驟S30包括兩個圖像、優選是直接相鄰的圖像之間的運動檢測的子步驟S32(在用於運動檢測的兩個圖像之間也可以有其他圖像)。運動檢測的每個子步驟S32的結果是運動地圖40、42，其通常具有與原始圖像相同的寬度和高度，但其不包含像素值，而是包含對於每像素(或像素區塊)的運動量的指示。優選地，這些運動地圖40、42被存儲為二元地圖(0=運動(或低量運動)，1 =運動)， 但是其他表示方式也是可能的，比如表示運動量或概率的整數值。在此上下文中，低量運動是典型的人類觀看者不可見的量的運動。例如，其是在許多幀內移動幾像素的運動(例如 10幀中1個運動像素)。可以計算若干個運動地圖40、42，例如，一個是從當前圖像10到前一圖像12，一個是從當前圖像10到下一圖像14。然後在子步驟S34中優選通過逐像素(或逐區塊)邏輯 OR運算來將運動地圖40、42組合成單個(組合)運動地圖44。利用此組合，只有如下這些像素保持值0 =無運動在這些像素中，在所涉及的輸入圖像10、12、14的任何一個中都沒有運動。所得到的(組合)運動地圖44隨後優選被存儲在臨時緩衝器中。應當注意，取代「邏輯0R」運算，可以使用加法。然而，在此情況下，不應當比較是否「具有值1，，(像前面描述的那樣)，而應當比較是否「具有非0值」。在下一步驟S40中，如圖5中所示，執行靜態區域搜索，即搜索所述一個或多個運動地圖、優選為組合運動地圖44內的一個或多個靜態區域。具體地，搜索圖像中具有最少量運動的一個或若干個區域50、52、M。這優選是通過如下方式來完成的搜索運動地圖44中的具有最少數目的運動像素的區域50、52、M，即具有最少量的值為1(=運動，假設以上提出的存儲格式被用於運動地圖44)的像素的區域50、52、M。靜態區域搜索S40優選是按與先前提及的均勻區域搜索SlO相同的方式來完成的，具體地是通過如下方式來完成的反覆選擇運動地圖44的不同的(候選)區域60、61、 62、63、64、65、66、67，然後計算低運動性(motionlessness)的度量，並且與先前選擇的區域相比較，直到找到最大低運動性為止。作為低運動性的度量，例如可以使用運動地圖中的具有零值的像素(靜止的非運動像素)的數目。可以用區塊中的像素的總數來對其進行正規化，尤其如果區塊的大小不同的話則更是如此。低運動性的另一個度量可以是靜態像素的最大連接區塊的大小，這意味著沒有計入小的分散區域。為了得出這些度量之一，可以對運動地圖應用預濾波，例如應用中值濾波器，以去除小塊的非連接區域。應當用區塊中的像素的總數來對此數目或和值進行正規化，尤其如果區塊的大小不同的話則更是如此。區塊大小和形狀一般具有與均勻區域搜索中相同的限制和可能性，例如任何形狀和大小，但大小和形狀不需要與均勻區域搜索中相同。例如，僅作為示例，出於計算原因，使用比如25X25的矩形形狀。應當搜索若干個靜態區域50、52、討並存儲其位置。結果，將有靜態區域50、52、M以及這些靜態區域50、52、討中的運動位置的列表， 並且靜態區域50、52、M將是整個圖像10的具有最少量運動的區域。接下來，在步驟S50中，如圖6中所示，執行時間噪聲測量，即通過比較所述一個或多個在前圖像12、13和/或所述一個或多個在後圖像14、15中在相應的一個或多個運動地圖00、42)44中指示低量運動或無運動的位置處的圖像值來確定所述一個或多個靜態區域50、5254的時間均勻性值，所述時間均勻性值表示所述當前圖像10中的所述位置處的噪聲的量的度量，並且組合所述獲得的時間均勻性值以獲得表示所述當前圖像中的噪聲量的第二度量的組合噪聲值。具體地，對於靜態區域50、52、M中的每一個，優選地計算新的時間均勻性標準。 該方法優選如下進行(子步驟S52)。選擇第一靜態區域50的如下一個像素的位置在運動地圖44中該像素被指示為沒有運動(或低量運動)，即所述像素在所提出的存儲格式中具有值0。對於輸入圖像10、 12、14(例如前一圖像、當前圖像和下一圖像)中的每一個，提取所選位置處的值。在此示例中，提取了三個像素值，一個來自前一圖像12，一個來自當前圖像10，一個來自下一圖像 14。在理想情況下，這些像素將是相同的，因為根據運動地圖44，圖像在此位置處是沒有運動的。然而，由於在圖像10中存在噪聲，這些像素將略有不同。像素中的變化是此位置處的噪聲量的度量。作為變化標準，通常取方差，但是也可以使用標準偏差，或者可以例如就使用像素差之和。其不需要是與均勻區域搜索中相同的標準。此過程對於所選的靜態區域50的許多或所有的無運動(和低運動)像素重複。靜態區域50的每個無運動(和低運動)像素的方差結果被求和。運動像素被丟棄。然後這優選對於其他靜態區域5254重複，使得對於每個靜態區域50、52、M有一個結果。該結果是所使用的圖像中的噪聲量的度量；因此，它也被稱為此靜態區域50、52、 54的噪聲水平(或時間均勻性值)。可以驗證靜態區域的結果(噪聲水平)。例如，可以對照已知的最小或最大現實噪聲水平來對其進行比較，如果這種限制已知的話。另外，可以將每靜態區域的無運動像素的總量用於判斷。如果該量低於某個閾值，例如有效區域內的所有像素的50%，則看起來該靜態區域選擇得不好，應當被丟棄。最後，在子步驟S54中，該結果(靜態區域50、52、M的噪聲水平)被組合成單個噪聲水平，其方式例如是通過計算所有區域的平均值，通過基於無運動像素的數目計算加權平均值，通過基於無運動像素的數目計算加權中值，或者其他方式。無運動像素的這個數目可以被看作該過程的可靠性度量。最終結果(即組合噪聲水平)表示所述當前圖像10中的噪聲量的度量。然而，如果組合的所有區域的無運動像素的數目仍非常小，則可以完全丟棄所述組合噪聲水平。在此情況下，可以改為使用從空間噪聲測量S20獲得的噪聲水平。用於包括圖像序列的視頻信號的適應性噪聲測量的裝置100的實施例在圖7中示意性示出。所述裝置包括-均勻區域搜索單元102，被配置為搜索當前圖像10內的一個或多個空間上均勻的區域20,22,-空間均勻性值確定單元104，被配置為確定所述一個或多個空間上均勻的區域 20,22的空間均勻性值並且組合所述空間均勻性值以獲得表示所述當前圖像10中的噪聲
量的第一度量的空間噪聲值，-檢測單元106，被配置為通過利用運動閾值將當前圖像10與所述圖像序列的一個或多個在前圖像12、13和/或一個或多個在後圖像14、15相比較，以獲得指示出當前圖像與各個在前或在後圖像之間的運動量的一個或多個運動地圖40、42，從而來檢測運動，-靜態區域搜索單元108，被配置為搜索所述一個或多個運動地圖40、42、44內的一個或多個靜態區域50、52、M，-時間均勻性值確定單元110，被配置為通過比較所述一個或多個在前圖像12、13 和/或所述一個或多個在後圖像14、15中在相應的一個或多個運動地圖40、42、44中指示低量運動或無運動的位置處的圖像值，來確定所述一個或多個靜態區域50、52、M的時間均勻性值，所述時間均勻性值表示所述當前圖像中的所述位置處的噪聲量的度量，以及-組合單元112，被配置為組合所述獲得的時間均勻性值以獲得表示所述當前圖像10中的噪聲量的第二度量的組合噪聲值。所述裝置100的單元可以用相應的硬體元件、軟體元件或包括硬體和軟體的混合的元件來實現。例如，裝置100可以實現為具有適當的算法和指令的處理器或計算機。裝置100可以是另外的裝置的一部分，例如另外的裝置例如是電視機、視頻處理設備、視頻記錄器、視頻播放器、視頻相機，特別是其中關於視頻素材的噪聲水平的知識是所關注的或者有重要意義的任何數字視頻設備。所獲得的噪聲水平可用於各種目的，例如用於判斷視頻素材的質量，用於噪聲消除，或者其他視頻處理目的。總之，本發明提供了可靠的噪聲水平估計，而無需具有無噪聲的參照圖像。即使空間噪聲測量失敗，或者時間噪聲測量失敗，噪聲測量仍能良好工作。本發明從而以少量的工作提供了最優的結果。提出的方案是靈活的且可擴展的，並且可以有效地實現為硬體或軟體方案。在附圖和以上描述中已經詳細地圖示和描述了本發明，但是這種圖示和描述應當被認為是說明性的或示例性的，而不是限制性的。本發明不限於所公開的實施例。本領域的技術人員在實踐要求保護的發明時，通過研讀附圖、說明書和所附權利要求，可以理解和實現對於所公開的實施例的其他變化。在權利要求中，「包括」 一詞不排除其他元件或步驟，並且不定冠詞「一」不排除多個。單個元件或其他單元可實現權利要求中記載的若干項的功能。僅僅是在互不相同的從屬權利要求中記載了某些手段這個事實並不表明這些手段的組合不能用於取得有利效果。可在適當的非暫態介質上存儲/分發電腦程式，所述介質例如是與其他硬體一起提供或作為其他硬體的一部分提供的光存儲介質或固態介質，但也可以以其他形式來分發電腦程式，例如經由網際網路或其他有線或無線電信系統來分發。權利要求中的任何標號都不應當被解釋為限制範圍。
權利要求
1.一種包括圖像(10、12、13、14、15)的序列的視頻信號的適應性噪聲測量的方法，所述方法包括以下步驟-搜索(SlO)當前圖像(10)內的一個或多個空間上均勻的區域00、22)，-確定(S20)所述一個或多個空間上均勻的區域O0、22)的空間均勻性值並且組合所述空間均勻性值以獲得一空間噪聲值，該空間噪聲值表示所述當前圖像(10)中的噪聲量的第一度量，-通過利用運動閾值將當前圖像(10)與所述圖像的序列的一個或多個在前圖像(12、 13)和/或一個或多個在後圖像(14、1幻相比較，以獲得指示出當前圖像與各個在前或在後圖像之間的運動量的一個或多個運動地圖00、42)，從而來檢測(S30)運動，-搜索(S40)所述一個或多個運動地圖00、42、44)內的一個或多個靜態區域(50、52、54),-通過比較所述一個或多個在前圖像(12、1；3)和/或所述一個或多個在後圖像(14、 15)中在相應的一個或多個運動地圖00、42、44)中指示低量運動或無運動的位置處的圖像值，來確定(S50)所述一個或多個靜態區域(50、52、54)的時間均勻性值，所述時間均勻性值表示所述當前圖像中的所述位置處的噪聲量的度量，以及-組合(S50)所述獲得的時間均勻性值以獲得一組合噪聲值，該組合噪聲值表示所述當前圖像(10)中的噪聲量的第二度量。
2.如權利要求1所述的方法，其中，所述方法的步驟對所述視頻信號的所述圖像的序列中的另外的圖像重複、特別是對所述視頻信號的所述圖像的序列中的所選圖像或所有圖像重複。
3.如權利要求1或2所述的方法，其中，所述搜索當前圖像內的一個或多個空間上均勻的區域的步驟(Sio)是通過如下方式來執行的反覆選擇當前圖像的不同區域，並且確定所選區域的空間均勻性值，直到找到具有最大均勻性或者低於空間均勻性閾值的均勻性的一個或多個區域為止。
4.如權利要求3所述的方法，其中，所述搜索當前圖像內的一個或多個空間上均勻的區域的步驟(SlO)使用區域的方差，區域的標準偏差或者區域的信號幅度和值，特別是高通濾波後的標準偏差或信號幅度和值，來作為所述區域的空間均勻性的度量。
5.如權利要求3或4所述的方法，其中，所述空間均勻性值被用各個區域的大小來進行正規化。
6.如任何前述權利要求所述的方法，還包括以下步驟對照預期空間噪聲值的範圍驗證所獲得的空間噪聲值，並且如果所獲得的空間噪聲值在所述範圍外則丟棄所獲得的空間噪聲值。
7.如任何前述權利要求所述的方法，其中，所述檢測運動的步驟(S30)使用所獲得的空間噪聲值或可調整的閾值作為運動閾值。
8.如任何前述權利要求所述的方法，還包括以下步驟(S34)將所獲得的運動地圖(40、4幻組合成組合運動地圖(44)，特別是通過僅在所有運動地圖中的同一像素都指示低量運動或無運動時才將所述組合運動地圖的像素設定成指示低量運動或無運動的值的逐像素運算來進行組合，其中所述組合運動地圖G4)被用在後續步驟中。
9.如任何前述權利要求所述的方法，其中，所述搜索所述一個或多個運動地圖G0、42、44)內的一個或多個靜態區域(50、 52,54)的步驟(S40)是通過搜索所述一個或多個運動地圖00、42、44)中具有最少量的具有指示運動的值的像素的一個或多個區域來執行的。
10.如任何前述權利要求所述的方法，其中，所述確定時間均勻性值的步驟(S50、S52)使用在相應的一個或多個運動地圖 (40,42,44)中指示低量運動或無運動的所述位置處的圖像值的方差、標準偏差或差值之和。
11.如任何前述權利要求所述的方法，其中，所述確定時間均勻性值的步驟(S50、S52)對於在相應的一個或多個運動地圖 (40,42,44)中指示低量運動或無運動的所有位置重複，並且，對於靜態區域(50、52、54)獲得的時間均勻性值被組合，特別是被求和，以獲得所述靜態區域的時間均勻性值。
12.如任何前述權利要求所述的方法，其中，所述確定時間均勻性值的步驟(S50、S52)對於另外靜態區域重複，並且對於所述靜態區域(50、52、54)獲得的時間均勻性值被組合以獲得所述組合噪聲值，特別是通過確定所有時間均勻性值的平均值、用每個靜態區域中的無運動或低運動像素的數目作為權重確定所有時間均勻性值的加權平均值或加權中值來組合。
13.如任何前述權利要求所述的方法，還包括以下步驟對照預期時間均勻性值的範圍驗證所獲得的時間均勻性值，並且如果所獲得的時間均勻性值在所述範圍外則丟棄所獲得的時間均勻性值。
14.如任何前述權利要求所述的方法，還包括以下步驟將一靜態區域的在相應的一個或多個運動地圖中指示低量運動或無運動的位置的數目與預期數目的範圍相比較，並且如果所述數目在所述範圍外則丟棄相應的靜態區域。
15.如任何前述權利要求所述的方法，還包括以下步驟將所有靜態區域的在相應的一個或多個運動地圖中指示低量運動或無運動的位置的數目與預期數目的範圍相比較，並且丟棄所獲得的時間均勻性值，使用所獲得的空間噪聲值作為所述當前圖像中的噪聲量的度量。
16.一種用於包括圖像(10、12、13、14、15)的序列的視頻信號的適應性噪聲測量的裝置(100)，所述裝置包括-均勻區域搜索單元(102)，被配置為搜索當前圖像(10)內的一個或多個空間上均勻的區域00、22)，-空間均勻性值確定單元(104)，被配置為確定所述一個或多個空間上均勻的區域 (20,22)的空間均勻性值並且組合所述空間均勻性值以獲得一空間噪聲值，該空間噪聲值表示所述當前圖像(10)中的噪聲量的第一度量，-檢測單元(106)，被配置為通過利用運動閾值將當前圖像(10)與所述圖像的序列的一個或多個在前圖像(12、13)和/或一個或多個在後圖像(14、15)相比較，以獲得指示出當前圖像與各個在前或在後圖像之間的運動量的一個或多個運動地圖00、42)，從而來檢測運動，-靜態區域搜索單元(108)，被配置為搜索所述一個或多個運動地圖00、42、44)內的一個或多個靜態區域(50、52、54)，-時間均勻性值確定單元(110)，被配置為通過比較所述一個或多個在前圖像(12、13) 和/或所述一個或多個在後圖像(14、15)中在相應的一個或多個運動地圖00、42、44)中指示低量運動或無運動的位置處的圖像值，來確定所述一個或多個靜態區域(50、52、54) 的時間均勻性值，所述時間均勻性值表示所述當前圖像中的所述位置處的噪聲量的度量， 以及-組合單元(112)，被配置為組合所述獲得的時間均勻性值以獲得一組合噪聲值，該組合噪聲值表示所述當前圖像(10)中的噪聲量的第二度量。
17.一種電腦程式，包括用於在所述電腦程式在計算機上被執行時使得計算機執行如權利要求1所述的方法的步驟的程序代碼手段。
18.一種計算機可讀非暫態介質，其上存儲有指令，所述指令當在計算機上被執行時使得計算機執行如權利要求1所述的方法的步驟。
全文摘要
用於視頻信號的適應性噪聲測量的方法和裝置。方法包括搜索當前圖像內的一個或多個空間均勻區域，確定這些區域的空間均勻性值並組合這些值以獲得表示當前圖像中的噪聲量的第一度量的空間噪聲值，利用運動閾值將當前圖像與圖像序列的一個或多個在前和/或在後圖像相比較以獲得指示當前圖像與各在前或在後圖像間的運動量的一個或多個運動地圖來檢測運動，搜索運動地圖內的一個或多個靜態區域，通過比較在前和/或在後圖像中在相應運動地圖中指示低量或無運動的位置處的圖像值來確定靜態區域的時間均勻性值，這些值表示當前圖像中所述位置處的噪聲量的度量，和組合獲得的時間均勻性值以獲得表示當前圖像中的噪聲量的第二度量的組合噪聲值。
文檔編號H04N5/14GK102348047SQ201110213028
公開日2012年2月8日 申請日期2011年7月26日 優先權日2010年7月26日
發明者保羅·斯普林格, 弗蘭克·莫賽爾, 格雷戈·希徹威爾 申請人:索尼公司