應用於影像串流的濾波器的製作方法

2023-06-11 21:28:41

專利名稱：：應用於影像串流的濾波器的製作方法
技術領域：
：本發明關於一種應用於影像串流的濾波器，特別是關於一種以低成本時域濾波技術濾除影像串流噪聲的濾波器。
背景技術：
：影像串流攜載豐富的動態影音數據，能以生動、活潑、友善、直覺的方式呈現各種資訊、事件、新聞、活動、意見、思想與創意，已成為現代資訊社會不可或缺的一部分。
發明內容不可避免地，影像串流中會夾帶噪聲；凡是動態影音的拍攝、擷取、傳輸、儲存及/或播放的過程都會在影像串流中引入噪聲。噪聲會干擾影像串流所呈現的動態影像，影響動態影像的播放品質，也讓收視的使用者在視覺上感覺不適。因此，有必要對影像串流進行去噪聲(de-noise)濾波，以降低影像串流中的噪聲幹擾，並增進影像品質。影像串流是以一連串的靜態畫面來呈現動態影像，而噪聲(譬如說是迭加性白高斯噪聲，additivewhiteGaussiannoise)會隨機分布於各畫面。針對影像串流中的噪聲，可應用時域濾波(temporalfiltering)來進行去噪聲濾波。在為一目前畫面進行去噪聲處理時，時域濾波由目前畫面與其先前畫面加權合成出一濾波畫面作為去噪聲處理的結果，以取代目前畫面。在進行時域濾波時，不僅要達到去噪聲的效果，還要兼顧影像動態的流暢程度。在加權合成濾波畫面時，若先前畫面的加權過重，濾波畫面會近似於先前畫面；當以濾波畫面取代目前畫面時，由於濾波畫面近似於先前畫面，在濾波畫面與先前畫面形成的動態影像中就會呈現出影像滯留的現象，影響影像動態的流暢程度。本發明即是要在去噪聲與維持流暢動態間維持平衡，不僅能有效降低噪聲影響，也能適當地維持動態影像的流暢程度。在依據本發明技術進行去噪聲濾波時，會在每一像素的鄰近範圍中累計先前畫面值(如先前畫面的像素亮度)與目前畫面值(如目前畫面的像素亮度)的差異以提供一對應的動差值，並針對各像素的動差值進行一連串的系統性分析，以根據像素的動差值分辨畫面間的動態部份與噪聲部份。若某一像素的動差值較小，可運用系統性分析進一步判斷該像素是否對應動態影像中動態較低的部份(譬如說是靜止的背景)；若是，就可引用先前畫面值來為此像素進行去噪聲處理。相對地，若某像素對應動態較高的部份(譬如說是在動態影像中呈現一快速移動的物體)，其動差值也會較大；由於人眼對高動態部份的噪聲並不敏感，故在對此像素進行時域濾波時便可減抑先前畫面值的權重，避免動態流暢程度受到影響。本發明的目的在於提供一種應用於影像串流的濾波器。影像串流於多個像素上呈現一先前畫面與一目前畫面；先前畫面具有多個先前畫面值，目前畫面具有多個目前畫面值，各先前畫面值與目前畫面值分別對應一像素。本發明濾波器即可運用時域濾波來為目前畫面進行去噪聲處理，以提供一對應的濾波畫面來取代目前畫面。在一實施例中，本發明濾波器設有一動差計算器、一直方計數器、一直方匹配模塊、一濾波值計算器與一混波器，並配合一噪聲電平模塊、一查表模塊與一存儲器。動差計算器於每一像素的一第一鄰近範圍中累計先前畫面值與目前畫面值的差異，以為每一像素提供一對應的動差值。直方計數器耦接於動差計算器與濾波值計算器之間，依據像素的動差值進行一直方計數以提供一畫面直方統計。直方計數器也會針對各像素的一第二鄰近範圍中的各動差值進行直方計數，以便為每一像素提供一對應的局部直方統計。此外，直方計數器過於每一像素的一第五鄰近範圍中計算目前畫面值的平均值並累計目前畫面值與此平均值的差異，以決定每一像素對應的動差值是否可被納入一噪聲直方集合。直方計數器會針對噪聲直方集合中的各動差值進行直方計數以提供一對應的噪聲直方統計。此噪聲直方統計對應多個分區(bin)，每一分區分別對應一數值範圍；直方計數器會計數噪聲直方集合中符合各數值範圍的動差值的個數，以便為噪聲直方統計中的各分區提供一對應的噪聲直方計數值。噪聲電平模塊耦接直方計數器，以依據噪聲直方統計提供一對應的噪聲電平。在噪聲直方統計中，噪聲直方計數值最大的分區為一噪聲參考分區；而噪聲電平模塊便可依據噪聲參考分區所對應的數值範圍而以一非負相關的關係提供噪聲電平。也就是說，若噪聲參考分區對應的數值範圍較大，目前畫面就會被賦予一個較大的噪聲電平。直方匹配模塊耦接於直方計數器與濾波值計算器之間。直方匹配模塊依據畫面直方統計與各像素對應的局部直方統計而為各像素提供一對應的直方匹配值。畫面直方統計與局部直方統計均對應多個分區；畫面直方統計於各分區分別具有一對應的畫面直方計數值，局部直方統計則於各分區具有一對應的局部直方計數值。直方匹配模塊會在這些分區中的預設數目個分區內累計局部直方計數值與畫面直方計數值的相關程度，例如在這預設數目個分區內累計局部直方計數值與畫面直方計數值的乘積，以據此提供直方匹配值。濾波值計算器耦接動差計算器，以依據各像素對應的動差值而為每一像素提供一對應的濾波值。混波器則耦接濾波值計算器；針對每一像素與其對應的濾波值、先前畫面值與目前畫面值，混波器分別依據一個正相關於濾波值的第一權重與一個負相關於濾波值的第二權重而將先前畫面值與目前畫面值加權合成於一對應的濾波畫面值；集合各像素的濾波畫面值，就能組合出濾波畫面。濾波值計算器會為各像素提供一對應的直方匹配濾波參考值、一動差調整濾波參考值與一畫面標準差濾波參考值，並依據這三個濾波參考值提供濾波值。濾波值可以分別和這三個濾波參考值成正相關的關係；舉例而言，濾波值可以是這三個濾波參考值的乘積，分別和三個濾波參考值成正比。濾波值計算器依據-直方匹配對照關係而將各像素對應的直方匹配值對照至其對應的直方匹配濾波參考值。濾波值計算器會依據噪聲電平模塊求出的噪聲電平而由多個直方匹配對照關係中選出其中之一，以依據選出的直方匹配對照關係而將直方匹配值對照至對應的直方匹配濾波參考值。上述的直方匹配對照關係分別對應一噪聲電平範圍及一臨界值；濾波值計算器會依據噪聲電平所屬的噪聲電平範圍選擇對應的直方匹配對照關係。各直方匹配對照關係對應的臨界值則與其噪聲電平範圍呈負相關。也就是說，若一直方匹配對照關係對應的噪聲電平範圍較大，其對應的臨界值就會較小。在一實施例中，各直方匹配對照關係將低於臨界值的直方匹配值對照至常數的直方匹配濾波參考值，並將高於臨界值的直方匹配值對照至不小於該常數的直方匹配濾波參考值。在動差調整濾波參考值方面，濾波值計算器會依據各像素對應的動差值而為各像素提供一對應的動差調整值，並依據一動差調整對照關係而將各像素對應的動差調整值對照至動差調整濾波參考值。在一實施例中，各像素的動差調整值可以等於各像素的動差值。在另一實施例中，濾波值計算器於各像素的一第三鄰近範圍中加權累計各動差值而為各像素提供一對應的動差平均值，並在第三鄰近範圍中累計各動差值與動差平均值的差異，以便為各像素提供一對應的動差差異值。然後，濾波計算器便可依據各像素對應的動差差異值與一增益值的乘積而為各像素提供動差調整值。其中，增益值可以是和噪聲電平呈非負相關的關係；舉例來說，若目前畫面對應的噪聲電平較高，增益值也隨之變大。類似於直方匹配對照關係的實施架構，濾波值計算器也是依據噪聲電平而由多個動差調整對照關係中選出其中之一，以依據選出的動差調整對照關係而將各像素的動差調整值對照至對應的動差調整濾波參考值。這些動差調整對照關係分別對應一噪聲電平範圍及一濾波範圍；濾波值計算器依據噪聲電平所屬的噪聲電平範圍選擇對應的動差調整對照關係。而各動差調整對照關系所對應的濾波範圍與噪聲電平範圍呈正相關；也就是說，若一動差調整對照關係對應較高的噪聲電平範圍，其濾波範圍也會較高。在一實施例中，各動差調整對照關係會將濾波範圍外的動差調整值對照至一常數的動差調整濾波參考值，並將落入至濾波範圍內的動差調整值對照至不小於該常數的動差調整濾波參考值。至於畫面標準差濾波參考值方面，濾波值計算器會依據各像素對應的目前畫面值而為各像素提供一對應的畫面標準差值，並依據一畫面標準差對照關係而將各像素對應的畫面標準差值對照至畫面標準差濾波參考值。濾波值計算器會在各像素的一第四鄰近範圍中加權累計各目前畫面值而為各像素提供一對應的畫面平均值，並在此第四鄰近範圍中累計各目前畫面值與畫面平均值的差異，以便為各像素提供對應的畫面標準差值。濾波值計算器同樣依據噪聲電平而由多個畫面標準差對照關係中選出其中之一，以依據選出的畫面標準差對照關係而將畫面標準差值對照至畫面標準差濾波參考值。這些畫面標準差對照關係分別對應一噪聲電平範圍及一濾波範圍；濾波值計算器依據噪聲電平所屬的噪聲電平範圍選擇對應的畫面標準差對照關係。類似於動差調整對照關係，各畫面標準差對照關係對應的濾波範圍與噪聲電平範圍呈正相關。各畫面標準差對照關係將濾波範圍外的畫面標準差值對照至一常數的畫面標準差濾波參考值，並將落入至濾波範圍內的畫面標準差值對照至不小於該常數的畫面標準差濾波參考值。依據直方計數器、直方匹配模塊、噪聲電平模塊與濾波值計算器所進行的系統性分析，本發明不需進行複雜的動態檢測(motiondetection)便可在進行時域濾波時兼顧動態流暢性與去噪聲兩者。動態檢測會在動態影像的各畫面之間依據絕對差值的和(SAD，SumofAbsolutedifference)檢測出影像各部份的移動向量(motionvector)等相關資訊。依據移動向量等相關資訊，便可隨移動向量而在目前畫面與先前畫面間進行時域濾波，譬如說，若先前畫面中原先呈現於某一第一像素的部份已在目前畫面中移動至另一個第二像素，就可利用第一像素的先前畫面值與第二像素的目前畫面值加權合成出第二像素的濾波畫面值。不過，進行動態檢測需要動用大量的軟硬體資源，實施成本較高，不利於去噪聲技術的普及。相較之下，由於本發明不需進行動態檢測，故能普遍適用於軟硬體資源較為有限的低成本應用中，像是手機等隨身播放裝置。為讓本發明的上述和其他目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合附圖，作詳細說明如下。圖I示意的是依據本發明一實施例進行時域濾波的概念。圖2示意了本發明濾波器的一實施例。圖3至圖5示意的是圖2各元件的運作實施例。圖6舉例示意圖2中噪聲電平模塊的運作。圖7舉例示意圖2中直方匹配模塊的運作。圖8至圖10舉例示意了圖2中查表模塊的運作。主要元件符號說明10濾波器12動差計算器14直方計數器16噪聲電平模塊18直方匹配模塊20濾波值計算器22混波器24存儲器26查表模塊E0-E7c等式P(，)像素I目前畫面I』先前畫面I_f濾波畫面I)目前畫面值先前畫面值I_f(.，)濾波畫面值md_sum(.,.)動差值a(.，.)濾波值picture_histogram畫面直方統計local_histogram局部直方統計noise_histogram噪聲直方統計picture_histogram[.]畫面直方計數值local_histogram(.,.)[.]局部直方計數值noise_histogram[.]噪聲直方計數值picture_histogram_set畫面直方集合local_histogram_set(.,.)局部直方集合noise_histogram_set噪聲直方集合histogram_matching(.,.)直方匹配值md_sum_adjust(.,.)動差調整值md_sum_mean(.,.)動差平均值md_sum_std(,,.)動差差異值std_deviation(.,.)畫面標準差值mean_2(.,.)畫面平均值mean_l)平均值std_l(，)差異值Gain增益值LUT1、LUT1_1_LUT1_4動差調整對照關係LUT2、LUT2_1-LUT2_4畫面標準差對照關係LUT3、LUT3_1-LUT3_4直方匹配對照關係LUTl(md_sum_adjust(，))動差調整濾波參考值LUT2(std_deviation(，))畫面標準差濾波參考值LUT3(histogram_matching(.,.))直方匹配濾波參考值noise_level噪聲電平TH_md、th_l_th_4、THO-THl臨界值n_maxA、n-maxB足標fr_l-fr_4>fz_l-fz_4濾波範圍LR_1_LR_4噪聲電平範圍noise_level噪聲電平C鄰近範圍La-Lb數值al(x，y)_a3(x,y)濾波參考值clO-cll、c20_c21、c30_c31常數z_2_z_4保留範圍具體實施例方式請參考圖1，其所示意的是依據本發明一實施例進行時域波的概念。在為影像串流中的一目前畫面I進行去噪聲處理時，本發明利用影像串流中的一先前畫面I』來與目前畫面I進行時域濾波，以提供濾波畫面I_f作為去噪聲的結果。先前畫面I』和目前畫面I可以是一前一後的兩相鄰圖幀(frame);或者，先前畫面I』和目前畫面I也可以是相鄰的同類圖場(field)，例如說，先前畫面I』與目前畫面I可以是一前一後的兩個奇圖場(oddfield),中間隔著一個偶圖場(evenfield)。各個畫面對應多個像素,譬如說是像素P(x,y)與同一水平線上的相鄰像素P(x_l，y)，如圖I所示。各畫面在各像素上分別有一對應的畫面值，舉例而言，像素P(x，y)在先前畫面I』中有先前畫面值I』(x，y)，在目前畫面I中則有目前畫面值I(x，y);各畫面值可以是各像素的亮度值，如YUV色彩系統中的Y分量值。在8位元的應用中，先前畫面值I』(x,y)與目前畫面值I(x，y)的數值大小可以是在O到255的範圍內(大於等於O且小於等於255)。在對目前畫面I進行時域濾波時，就是要為各像素P(x，y)求出一對應的濾波畫面值I_f(x，y)，並據此組合出濾波畫面I_f。本發明會為各像素P(x,y)求出一濾波值a(X,y),並依據此濾波值a(x,y)進行加權合成I_f(x,y)=a(x,y)*I，(x,y)+(l-a(x,y))*I(x,y)，以求出濾波畫面值I_f(x,y)。在上述的加權合成關係中，先前畫面值I』(x，y)的權重與濾波值a(x，y)呈正比(正相關)，目前畫面值I(x，y)的權重則與濾波值a(x，y)呈負相關；也就是說，濾波值a(x，y)越大，濾波的程度越強，濾波畫面值I_f(x，y)也就越近似先前畫面值I』(X，y)。相對地，濾波值a(x，y)越小，濾波的程度越少，濾波畫面值I_f(x，y)也就越近似於原本的目前畫面I(X,y)。濾波值a(x，y)的數值可以大於等於0且小於等於I。就如前面討論過的，若不當地增加濾波值a(x，y)而增強濾波程度，將使濾波畫面值I_f(x，y)近似先前畫面值I』(x,y)，讓動態影像呈現滯留狀態而影響動態的流暢程度。因此，時域濾波的技術重點之一就是要在設定濾波值a(x，y)兼顧去噪聲濾波的效果與動態的流暢程度。為此，本發明會在各像素P(x，y)的預設鄰近範圍C中為此鄰近範圍C內的各個像素P(i，j)累計先前畫面值I』(i，j)與目前畫面值I(i，j)的差異|l(i，j)_I』(i，j)l，以便為像素P(x，y)提供一對應的動差值md_sum(x,y)。針對各像素P(x,y)的動差值md_sum(x,y)進行系統性分析後，便可決定對應的濾波值a(X,y)。依據像素P(x,y)的動差值md_sum(x,y)與進一步的分析,本發明便可在不進行動態檢測的情形下適當地分辨出像素P(x，y)在影像中是否對應高動態的部份。若像素P(x，y)對應至動態較低的部份，其動差值md_sum(x，y)相對較小；針對影像中動態較低的背景，人眼比較容易察覺噪聲，故可以用較高的濾波值a(x，y)來達成去噪聲的目的。相對地，若像素P(x,y)對應的是影像中動態較大的部份,其對應的動差值md_sum(x，y)就會較大；對快速移動的影像，人眼較不易察覺噪聲，故濾波值a(x，y)可以被設定為較低的數值或直接設為0,以維持動態的流暢。概念上來說，依據動差值md_sum(x,y)的大小與進一步的分析可界定出一臨界值TH_md,若動差值md_sum(x,y)高於此臨界值TH_md,濾波值a(x,y)可被設定為較低的數值；反之，若動差值md_sum(x,y)小於臨界值TH_md,可依據一負相關的關係設定濾波值a(x,y),也就是當動差值md_sum(x,y)越小時就使濾波值a(x,y)越大。請參考圖1，其所示意的是依據本發明一實施例的濾波器10。濾波器10中設有一動差計算器12、一直方計數器14、一直方匹配模塊18、一濾波值計算器20與一混波器(blender)22，並配合一噪聲電平模塊16、一查表模塊26與一存儲器24。就如圖I中討論過的，濾波器10可以是一時域濾波器，其運作就是要為各像素P(x，y)找出一對應濾波值30^，7)，並依據濾波值&(1，7)對先前畫面值I』(x,y)與目前畫面值I(x，y)進行加權合成以求出濾波畫面值I_f(x，y)，如圖3中的等式EO所示。其中，濾波值a(x，y)的數值可以大於等於0且小於等於I。在濾波器10中，動差計算器12在各像素P(x，y)的鄰近範圍i=-NI至NI(NI可以等於2)內對各像素P(x+i，j)累計先前畫面值I』(x+i,y)與目前畫面值I(x+i，y)的差異|l(x+i,y)-r(x+i,y)I,以為每一像素P(x,y)提供一對應的動差值md_sum(x,y),如圖3中的等式El所示。在此實施例中，本發明針對各像素P(x，y)在同一水平線的左邊NI個像素P(x_Nl,y)至P(x_l,y)與右邊NI個像素P(x+l,y)至P(x+Nl,y)綜合計算出對應的動差值md_sum(x,y),不僅可提升動差值md_sum(x,y)的數據精確程度,也可節省動差值計算所需的運算資源。因為同一水平線上的各像素的畫面值會被載入至同一水平線緩衝器(linebuffer)，故等式El只需一個水平線緩衝器就能利用同一水平線的相鄰像素來計算動差值，不需使用多個水平線緩衝器來緩衝其他水平線的畫面值。濾波器10的直方計數器14耦接動差計算器12、直方匹配模塊18與濾波值計算器20。在一實施例中，直方計數器14可針對一給定集合中的元素進行直方統計，也就是依據元素的數值大小將各元素歸類至不同的分區(bin)，並累計各分區中的元素個數。舉例而言，直方計數器14可將數值範圍0至255劃分為16個分區，若某元素的數值落在0至15的範圍中(大於等於0並小於等於15)，該元素被歸類至第0分區；若數值在16至31的範圍中，則計數至第I分區，以此類推。而直方統計的結果就可反應該給定集合中屬於各分區的元素個數，也就是在第0分區中的元素有幾個，屬於第I分區的元素又有幾個，以此類推。直方計數器14會綜合依據各像素P(x,y)的動差值md_sum(x,y)進行一直方計數以提供一畫面直方統計picture_histogram。直方計數器14可針對集合picture_histogram_set進行直方統計以得出畫面直方統計picture_histogram;如圖3的等式E2所示，集合picture_histogram_set是將所有像素P(x,y)的動差值md_sum(x,y)集合起來，並將數值大於等於一臨界值THO的動差值md_sum(X，y)排除在外。在8位元應用中，此臨界值THO可設定為256。再者,直方計數器14亦會針對一噪聲直方集合noise_histogram_set中的各動差值進行直方計數以提供一對應的噪聲直方統計noise_histogram。依據圖3中的等式E3a與E3b,本發明會於每一像素P(x,y)的鄰近範圍i=-N2至N2(如N2=2)中計算目前畫面值I(x+i,y)的平均值mean_l(x,y),並累計目前畫面值I(x+i,y)與此平均值mean_l(x,y)的差異11(x+i,y)_mean_l(x+i,y)|,以求出一差異值std_l(x,y),再依據等式E3決定每一像素P(x,y)對應的動差值md_sum(x,y)是否可被納入噪聲直方集合noise_histogram_set。若某像素P(x，y)對應的差異值std_l(x，y)小於一臨界值THl，其所對應的動差值md_sum(x,y)才會被納入至噪聲直方集合noise_histogram_set,否則會被排除在噪聲直方集合noise_histogram_set之外。若像素P(x,y)位於畫面中呈現均勻成像的部份,此像素鄰近範圍內的各個目前畫面值I(x+i，y)的相互差異也就會比較小；由於均勻成像的部份較能凸顯噪聲的特性，故等式E3會針對均勻成像部份內的各像素收集動差值，形成噪聲直方集合noise_histogram_set。針對噪聲直方集合noise_histogram_set中的各動差值進行直方計數後，直方計數器14便可提供噪聲直方統計noise_histogram。如前面描述過的，此噪聲直方統計noise_histogram對應多個分區，每一分區分別對應一數值範圍；直方計數器14會計數噪聲直方集合noise_histogram_set中符合各數值範圍的動差值的個數，以便為噪聲直方統計noise_histogram中的各分區提供一對應的噪聲直方計數值。噪聲電平模塊16稱接直方計數器14,以依據噪聲直方統計noise_histogram提供一對應的噪聲電平noise_level。在噪聲直方統計noise_histogram中，噪聲直方計數值最大的分區可視為一噪聲參考分區；而噪聲電平模塊16便可依據噪聲參考分區所對應的數值範圍而以一非負相關的關係提供噪聲電平noise_leVel。也就是說，若噪聲參考分區對應的數值範圍較大，目前畫面I就會被賦予一個較大的噪聲電平noise_level。請參考圖6,其以實施例A與實施例B來比較不同噪聲直方統計noise_histogram所對應的噪聲電平noise_level。第6圖以圖形示意噪聲直方統計noise_histogram,其橫軸為各分區的足標n,縱軸代表各分區的計數值大小noise_histogram[n]。在實施例A的噪聲直方統計noise_histogram中，足標n_maxA的分區具有最高的噪聲直方計數值noise_histogram[n_maxA]而成為噪聲參考分區,據此足標n_maxA可將噪聲電平noise_level的值設定為數值La。類似地,在實施例B的噪聲直方統計noise_histogram中，則以足標n_maxB的分區具有最高的噪聲直方計數值noise_histogram[n_maxB],據此可將噪聲電平noise_level設定為數值Lb。比較實施例A與實施例B,由於足標n_maxB對應的分區具有較高的數值範圍，故數值Lb也大於數值La。由實施例B的噪聲直方統計noise_histogram可看出，其噪聲直方集合noise_histogram_set中的動差值會集中在數值範圍較高的分區，代表動差值的數值普遍較高，故可將實施例B的的噪聲直方統計noise_histogram對應至較大的噪聲電平noise_level。請再度參考圖2。除了前述的畫面直方統計picture_histogram與噪聲直方統計noise_histogram之外,直方計數器14也會在各像素P(x,y)的鄰近範圍i=-N3至N3(如N3=15)內針對各像素P(x+i,y)的各動差值md_sum(x+i,y)進行直方計數，以便為每一像素P(x,y)提供一對應的局部直方統計local_histogram(x,y)。如圖3的等式E4所示，本發明會將像素P(x，y)附近各像素P(x+i，y)的動差值md_SUm(x+i，y)群組於局部直方集合local_histogram_set(x,y)中，由直方計數器14對其進行直方統計，以得出局部直方統計local_histogram(x,y)。直方匹配模塊18耦接於直方計數器14與濾波值計算器20之間。直方匹配模塊18依據畫面直方統計picture_histogram與各像素P(x,y)對應的局部直方統計local_histogram(x,y)而為各像素P(x,y)提供一對應的直方匹配值histogram_matching(x,y),如圖3的等式E4所示。直方計數器14依據相同的分區規劃提供畫面直方統計picturehistogram與局部直方統計local_histogram,使兩者均對應數值範圍相同的多個分區；畫面直方統計picture_histogram於第n分區分別具有對應的畫面直方計數值picture_histogram[n],局部直方統計local_histogram(x,y)則於第n分區具有一對應的局部直方計數值local_histogram(x,y)[n]。直方匹配模塊18會在這些分區中的預設數目個分區n=Ma至Mb內累計局部直方計數值local_histogram(x,y)[n]與畫面直方計數值picture_histogram[n]的相關程度,例如在這預設數目個分區內累計局部直方計數值local_histogram(x,y)[n]與畫面直方計數值picture_histogram[n]的乘積，以據此提供直方匹配值histogram_matching(x,y)。在一實施例中，Ma與Mb可以分別是0與7。請參考圖7，其以同一畫面中兩不同像素為例比較直方匹配值的計算。由像素P(x0,y0)對應的局部直方統計local_histogram(xO,y0)可看出，其動差值集中在數值較高的分區；相對地，在代表畫面整體特性的畫面直方統計picture_histogram中，動差值則集中在數值較低的分區，兩者重迭較少。因此，在依據等式E5(圖3)為像素P(x0，y0)計算直方匹配值histogram_matching(xO,y0)時,其數值也連帶地較低。相較之下，在像素P(xl,yl)對應的局部直方統計local_histogram(xl,yl)中，其分布趨勢就較為近似畫面直方統計picture_histogram的分布趨勢,兩者重迭部份大,故像素P(xl,yl)所對應的直方匹配值histogram_matching(xl,yl)就相對較大。請再度參考圖2。濾波器10中的濾波值計算器20耦接動差計算器12與直方匹配模塊18,以依據各像素P(x,y)對應的動差值md_sum(x,y)與直方匹配值histogram_matching(x,y)而為每一像素提供一對應的濾波值a(x,y)。混波器22則稱接濾波值計算器20;針對每一像素P(x，y)對應的濾波值a(x，y)、先前畫面值I』(x,y)與目前畫面值I(x，y)，混波器22分別依據一個正相關於濾波值a(x，y)的權重與一個負相關於濾波值的權重(l-a(x,y))而將先前畫面值I』(X,y)與目前畫面值I(x,y)加權合成於一對應的濾波畫面值I_f(x，y);集合各像素P(x，y)的濾波畫面值I_f(x，y)，就能組合出濾波畫面I。濾波值計算器20會為各像素P(x，y)提供三個對應的濾波參考值al(x,y)，a2(x,y)與a3(x，y)，並依據這三個濾波參考值提供濾波值a(x，y)。濾波值a(x，y)可以分別和這三個濾波參考值al(X,y)至a3(x,y)成正相關的關係；舉例而言，濾波值濾波值a(x,y)可以是這三個濾波參考值al(x，y)至a3(x，y)的乘積，分別和三個濾波參考值成正比。濾波值a(x,y)的兩種計算實施例分別示意於圖4的等式E6與E6a至E6b,以及圖5的等式E7與E7a至E7c。在圖4的實施例中，濾波值計算器20會依據一動差調整對照關係LUTl而將各像素P(X,y)對應的動差值md_sum(x)對照至濾波參考值LUTl(md_sum(x,y)),以作為濾波參考值al(x,y)。在圖5的實施例中,本發明會先依據各像素P(x,y)對應的動差值md_sum(x,y)而為各像素P(x,y)提供一對應的動差調整值md_sum_adjust(x,y),並依據動差調整對照關係LUTl而將各像素P(x,y)對應的動差調整值md_sum_adjust(x,y)對照至動差調整濾波參考值LUTl(md_sum_adjust(x,y)),以作為濾波參考值al(x,y)。如圖5實施例中的等式E7a至E7c所示，本發明於各像素P(x，y)的鄰近範圍i=-N6至N6(如N6=2)中加權累計各動差值md_sum(x+i,y)而為各像素P(x,y)提供一對應的動差平均值md_sum_mean(x,y),並在該鄰近範圍中累計各動差值md_sum(x+i,y)與動差平均值md_sum_mean(X,y)的差異|md_sum(x+i,y)-md_sum_mean(x,y)|,以便為各像素P(x,y)提供一對應的動差差異值md_sum_std(x,y)。然後,濾波計算器20便可依據各像素P(x,y)對應的動差值md_sum(x,y)、動差差異值md_sum_std(x,y)與一增益值Gain的乘積而為各像素P(x,y)提供動差調整值md_sum_adjust(x,y),如等式(E7a)所示。其中，增益值Gain可以是和噪聲電平noise_leVel呈非負相關的關係；舉例來說，若目前畫面對應的噪聲電平noise_level較高,增益值Gain也隨之變大。在圖4與圖5的實施例中，濾波值計算器20會依據噪聲電平noise_level而由多個動差調整對照關係LUTl_k中選出其中之一作為圖4/5中的動差調整對照關係LUTl，以依據選出的動差調整對照關係LUTl而將各像素P(x，y)的動差值md_SUm(x，y)(圖4實施例)或動差調整值md_sum_adjust(x,y)(圖5實施例)對照至對應的濾波參考值al(x,y)。請參考圖8;其以函數圖形示意本發明一實施例中的不同動差調整對照關係LUT1_1至LUT1_4，各動差調整對照關係LUTl_k將橫軸的數值V(也就是圖4等式E6的動差值md_sum(X，y)或圖5等式E7的動差調整值md_sum_adjus(X,y))對照至縱軸的對照值LUTl_k(v)(也就是濾波參考值al(x，y))。這些動差調整對照關係LUT1_1至LUT1_4分別對應噪聲電平範圍LR_1至LR_4,以及濾波範圍fr_l至fr_4。本發明依據噪聲電平noise_level所屬的噪聲電平範圍LR_k選擇對應的動差調整對照關係LUTl_k來對照出濾波參考值al(x，y)。舉例來說，若噪聲電平noise_level的數值範圍為O到15，噪聲電平範圍LR_1至LR_4可以分別是O到3、4至7、8至11與12至15。若某目前畫面I對應的噪聲電平noise_level為2，在為此目前畫面I進行時域濾波時就可選用噪聲電平LR_1所對應的動差調整對照關係LUT1_1。在圖8實施例中，各動差調整對照關係LUTl_k所對應的濾波範圍fr_k與噪聲電平範圍1^_1^呈正相關；也就是說，若一動差調整對照關係LUTl_k對應較高的噪聲電平範圍LR_k,其濾波範圍fr_k也會較高。如圖8所示，隨噪聲範圍由LR_1遞增至LR_4，動差調整對照關係LUTl_k的濾波範圍也由fr_l遞增至fr_4;舉例而言，濾波範圍fr_k的上限大於濾波範圍fr_(k-l)的上限，濾波範圍fr_k的下限則大於濾波範圍fr_(k-l)的下限。不過，濾波範圍fr_k的下限可以小於濾波範圍fr_(k-l)的上限，使濾波範圍fr_k%fr(k-l)有部份重迭。如圖8所示，在本發明的一實施例中，各動差調整對照關係LUTl_k會將濾波範圍fr_k外的數值V對照至一常數ClO(例如說是0)作為濾波參考值，並將落入至濾波範圍fr_k內的數值V對照至不小於常數clO的對照值作為濾波參考值，譬如說是一個大於常數ClO的常數ClI。也就是說,若某像素P(X,y)對應的數值v(動差值md_sum(x,y)或動差參考值md_sum_adjust(x,y))落入濾波範圍fr_k內，該像素P(x,y)就會被對應至較大的濾波參考值al(x,y)，以增強其濾波的程度。相對地，若數值V在濾波範圍fr_k之外，其濾波的強度就會受到抑制；譬如說，若一像素對應的數值V低於濾波範圍，則該像素則傾向被保留於目前畫面值而不會被強力濾波。因此，相對於濾波範圍fr_2至fr_4，各動差調整對照關係LUT1_2至LUT1_4也可定義出保留範圍z_2至z_4，如圖8所示；若像素的數值v落在保留範圍z_k中，其對應的濾波強度就會較低。由圖8可看出，對應較高的噪聲電平noise_level，濾波範圍fr_k的上下限向右移，也留下更多的保留範圍z_k。在噪聲電平高的畫面中設定較高的保留範圍可適當地留下一些小噪聲，以維持較佳的視覺感受。如圖5中討論過的,本發明可依據像素P(x,y)的動差調整值md_sum_adjust(x,y)對照提供濾波參考值al(x，y)。動差調整值的設計是要凸顯畫面中高對比的孤立點狀噪聲，以便用較高的濾波參考值al(x，y)將其濾除。由圖5的等式E7a可知，動差調整值md_sum_adjust(x,y)與動差差異值md_sum_std(x,y)有關；動差差異值md_sum_std(x,y)用以在像素P(x，y)的鄰近範圍內衡量動差值的相互差異。若該鄰近範圍中有點狀噪聲出現，點狀噪聲對應的動差值會偏離其他相鄰像素的動差值，使動差差異值md_sum_std(x，y)也連帶變大，並使動差調整值落入至動差調整對照關係LUTl的濾波範圍內，以抑制這些點狀噪聲。在等式E7a中的增益Gain也是用來增加動差差異值md_sum_std(x,y)的值,使其更容易被涵蓋在濾波範圍內。在圖4與圖5中，濾波參考值a2(x，y)與a3(x，y)可分別是一畫面標準差濾波參考值與一直方匹配濾波參考值。濾波值計算器20會依據各像素P(x，y)對應的目前畫面值I(x，y)而為各像素P(x,y)提供一對應的畫面標準差值std_deviation(x,y),並依據一畫面標準差對照關係LUT2而將各像素P(X,y)對應的畫面標準差值std_deviation(x,y)對照至畫面標準差濾波參考值LUT2(std_deviation(x,y)),也就是濾波參考值a2(x,y)。如圖4中的等式E6a與E6b，濾波值計算器20會在各像素P(x，y)的一鄰近範圍i=-N5至N5(如N5=2)中加權累計各目前畫面值I(x+i，y)而為各像素提供一對應的畫面平均值mean_2(X,y),並在此鄰近範圍中累計各目前畫面值I(x+i,y)與畫面平均值mean_2(x,y)的差異11(x+i,y)_mean_2(x,y)|,以便為各像素P(x,y)提供對應的畫面標準差值std_deviation(x,y)。濾波值計算器20亦依據噪聲電平noisejevel而由多個畫面標準差對照關係LUT2_k中選出其中之一作為等式E6與E7中的畫面標準差對照關係LUT2，以依據選出的畫面標準差對照關係LUT2而將畫面標準差值stcLdeviation(x,y)對照至畫面標準差濾波參考值LUT2(std_deviation(x,y))。請參考圖9,其以函數圖形示意本發明一實施例中的各個畫面標準差對照關係LUT2_1至LUT2_4。這些畫面標準差對照關係LUT2_k分別對應一噪聲電平範圍LR_k及一濾波範圍fz_k;濾波值計算器20依據噪聲電平noise_level所屬的噪聲電平範圍LR_k選擇對應的畫面標準差對照關係LUT2_k。類似於動差調整對照關係LUTl_k,各畫面標準差對照關係LUT2_k對應的濾波範圍fz_k與噪聲電平範圍LR_k系呈正相關。在一實施例中，各畫面標準差對照關係LUT2_k將濾波範圍外fz_k的數值(即畫面標準差值stcLdeviation(x，y))對照至一常數c20(如0)的對照值(即畫面標準差濾波參考值)，並將落入至濾波範圍fz_k內的數值對照至不小於常數c20的對照值，譬如說是一個大於常數c20的另一個常數c21。在濾波參考值a3(x，y)方面，濾波值計算器20依據一直方匹配對照關係LUT3而將各像素P(x,y)對應的直方匹配值histogram_matching(x,y)對照至其對應的直方匹配濾波參考值LUT3(histogram_matching(x,y)),以提供濾波參考值a3(x,y)。濾波值計算器20會依據噪聲電平模塊16求出的噪聲電平noise_level而由多個直方匹配對照關係LUT3_k中選出其中之一作為等式E6/E7中的直方匹配對照關係LUT3，以依據選出的直方匹配對照關係LUT3進行對照。請參考圖10，其以函數圖形示意本發明一實施例中的各直方匹配對照關係LUT3_1至LUT3_4。上述的直方匹配對照關係LUT3_1至LUT3_4分別對應噪聲電平範圍LR_1至LR_4及臨界值th_l至th_4。濾波值計算器20會依據噪聲電平noise_level所屬的噪聲電平範圍LR_k選擇對應的直方匹配對照關係LUT3_k。各直方匹配對照關係LUT3_k的臨界值th_k則與其噪聲電平範圍LR_k呈負相關。也就是說，若一直方匹配對照關係LUT3_k對應的噪聲電平範圍LR_k較大，其對應的臨界值th_k就會較小。在一實施例中，各直方匹配對照關係LUT3_k將低於臨界值th_k的數值v(也就是直方匹配值histogram_matching(x,y))對照至常數c30(如c30=0)的對照值(即直方匹配濾波參考值LUT3(histogram_matching(x,y))),並將高於臨界值th_k的數值v對照至不小於c30常數的對照值,例如另一個大於常數c30的常數c31。如圖2所示，濾波器10中的查表模塊26可提供濾波值計算器20所需的動差調整對照關係LUTl(LUT1_1至LUT1_4)、畫面標準差對照關係LUT2(LUT2_1至LUT2_4)與直方匹配對照關係LUT3(LUT3_1至LUT3_4)。譬如說，查表模塊26可動用濾波器10所分配到的非揮發性儲存資源，以查表(look-uptable)的方式實現上述對照關係；而濾波值計算器20就能經由這些對照關係而為每一像素P(x，y)求出三個濾波參考值al(x，y)至a3(x，y)，並以三者乘積算出濾波值a(x，y);而混波器22就可依據濾波值a(x，y)而由目前畫面值I(x，y)與先前畫面值I』(x,y)加權合成出各像素PU，y)的濾波畫面值I_f(x，y)。集合所有像素PU，y)的濾波畫面值I_f(x，y)就可組合出濾波畫面I_f;而濾波畫面I_f就可暫存於存儲器24(譬如說是一揮發性隨機存取存儲器)。當要為次一畫面進行時域濾波時，濾波畫面I_f■就相對成為該畫面的先前畫面。本發明亦可為不同的應用準備多組不同的動差調整對照關係LUT1_1至LUT1_4、畫面標準差對照關係LUT2_1至LUT2_4與直方匹配對照關係LUT3_1至LUT3_4。譬如說，某一應用可以和另一應用分別擁有不同的動差調整對照關係LUT1_1至LUT1_4;在一應用中的各濾波範圍fr_k和另一應用中的各濾波範圍打_1^可以是相異的。在濾波器10中，動差計算器12、直方計數器14、直方匹配模塊18、濾波值計算器20與混波器22皆可用硬體實現，噪聲電平模塊16則可用軟體/固件實現。總結來說，相較於已知技術，本發明運用直方計數器、直方匹配模塊、噪聲電平模塊與濾波值計算器進行系統性分析，所以本發明不需進行複雜的動態檢測便可在進行時域濾波時兼顧動態流暢性與去噪聲效果。也因此本發明能普遍適用於軟硬體資源較為有限的低成本應用中，像是手機等隨身播放裝置。綜上所述，雖然本發明已以較佳實施例揭增如上，然其並非用以限定本發明。本發明所屬
技術領域：
中具有通常知識者，在不脫離本發明的精神和範圍內，當可作各種的更動與潤飾。因此，本發明的保護範圍當由權利要求書界定為準。權利要求1.ー種應用於ー影像串流的濾波器，該影像串流於多個像素上呈現一先前畫面與一目前畫面，該先前畫面具有多個先前畫面值，該目前畫面具有多個目前畫面值，姆ー該先前畫面值與每ー該目前畫面值對應於該些像素的其中之一，該濾波器包含ー動差計算器，於每ー該像素的一第一鄰近範圍中累計該先前畫面值與該目前畫面值的差異，以為每一該像素提供一動差值；ー濾波值計算器，耦接該動差計算器，依據每ー動差值，為每ー該像素提供一濾波值；以及一混波器，耦接該濾波值計算器，該混波器分別依據正相關於該濾波值的一第一權重與負相關於該濾波值的ー第二權重而將該先前畫面值與該目前畫面值加權合成於ー濾波畫面值，以形成一濾波畫面。2.如權利要求I所述的濾波器，其特徵在於，還包含一直方計數器，耦接於該動差計算器與該濾波值計算器，依據每ー該動差值進行直方計數以提供一畫面直方統計。3.如權利要求2所述的濾波器，其特徵在於，該直方計數器將每ー該像素的一第二鄰近範圍中的每ー該動差值進行直方計數，以提供每ー該像素一局部直方統計。4.如權利要求3所述的濾波器，其特徵在於，還包含一直方匹配模塊，耦接於該直方計數器與該濾波值計算器之間，依據該畫面直方統計與每ー該像素對應的該局部直方統計而為每ー該像素提供一對應的直方匹配值。5.如權利要求4所述的濾波器，其特徵在幹，該畫面直方統計與該局部直方統計均對應多個分區，該畫面直方統計於每ー該分區分別具有一畫面直方計數值，該局部直方統計於每ー該分區分別具有一局部直方計數值，而該直方匹配模塊於該些分區中累計該局部直方計數值與該畫面直方計數值的相關程度，以提供該直方匹配值。6.如權利要求5所述的濾波器，其特徵在於，該直方匹配模塊於該些分區中的預設數目個分區內累計該局部直方計數值與該畫面直方計數值的乘積，以提供該直方匹配值。7.如權利要求4所述的濾波器，其特徵在幹，該濾波值計算器依據一直方匹配對照關係而將每一該像素對應的該直方匹配值對照至一直方匹配濾波參考值，並依據該直方匹配濾波參考值提供該濾波值。8.如權利要求7所述的濾波器，其特徵在幹，該濾波值計算器基於一正相關的關係而依據該直方匹配濾波參考值提供該濾波值。9.如權利要求7所述的濾波器，其特徵在於，該濾波值計算器依據ー噪聲電平而由多個直方匹配對照關係中選出其中之一，以依據選出的該直方匹配對照關係而將該直方匹配值對照至該直方匹配濾波參考值。10.如權利要求9所述的濾波器，其特徵在於，該些直方匹配對照關係對應多噪聲電平範圍，而該濾波值計算器依據該噪聲電平所屬的該噪聲電平範圍選擇對應的該直方匹配對照關係。11.如權利要求10所述的濾波器，其特徵在於，該些直方匹配對照關係還對應多臨界值，而每一該直方匹配對照關係對應的該臨界值與該噪聲電平範圍呈負相關。12.如權利要求7所述的濾波器，其特徵在於該直方匹配對照關係具有ー臨界值，該直方匹配對照關係將低於該臨界值的該直方匹配值對照至一常數作為對應的該直方匹配濾波參考值，並將高於該臨界值的該直方匹配值對照至大於或等於該常數的該直方匹配濾波參考值。13.如權利要求I所述的濾波器，其特徵在於，該濾波值計算器還依據每ー該像素對應的該動差值而為每ー該像素提供一動差調整濾波參考值，並基於一正相關的關係而依據每一該動差調整濾波參考值提供該濾波值。14.如權利要求13所述的濾波器，其特徵在於，該濾波值計算器還依據每ー該動差值而為每一該像素提供ー動差調整值，並依據ー動差調整對照關係而將每ー該像素對應的該動差調整值對照至該動差調整濾波參考值。15.如權利要求14所述的濾波器，其特徵在於，該濾波值計算器依據ー噪聲電平而由多個動差調整對照關係中選出其中之一，並據以將該動差調整值對照至對應的該動差調整濾波參考值，該濾波值計算器依據該噪聲電平所屬的一噪聲電平範圍選擇對應的該動差調整對照關係，而每ー該動差調整對照關系所對應的一濾波範圍與該噪聲電平範圍呈正相關。16.如權利要求14所述的濾波器，其特徵在於，該動差調整對照關係對應ー濾波範圍，該濾波範圍外的該動差調整值對照至一常數作為對應的該動差調整濾波參考值，落入至該濾波範圍內的該動差調整值照至大於或等於該常數的該動差調整濾波參考值。17.如權利要求14所述的濾波器，其特徵在於，該濾波值計算器於每ー該像素的一第三鄰近範圍中加權累計姆ー該動差值而為姆一該像素提供ー動差平均值，並於姆ー該第三鄰近範圍中累計每ー該動差值與該動差平均值的ー差異以為每ー該像素提供ー對應的動差差異值，而該濾波計算器依據每ー該像素對應的該動差差異值與一增益值的乘積而為每一該像素提供該動差調整值。18.如權利要求17所述的濾波器，其特徵在於，該濾波值計算器依據ー非負相關的關係以依據ー噪聲電平而提供該增益值。19.如權利要求14所述的濾波器，其特徵在幹，每ー該像素對應的該動差調整值等於每ー該像素對應的該動差值。20.如權利要求I所述的濾波器，其特徵在於，該濾波值計算器還依據每ー該像素對應的該目前畫面值而提供一畫面標準差值與一畫面標準差濾波參考值，以及依據一畫面標準差對照關係而將每一該像素的每ー該畫面標準差值對照至每ー該畫面標準差濾波參考值，並基於一正相關的關係以依據每ー該像素的該畫面標準差濾波參考值提供該濾波值。21.如權利要求20所述的濾波器，其特徵在於，該濾波值計算器依據ー噪聲電平而由多個畫面標準差對照關係中選出其中之一，並據以將該畫面標準差值對照至對應的該畫面標準差濾波參考值，該些畫面標準差對照關係分別對應一噪聲電平範圍及ー濾波範圍，該濾波值計算器依據該噪聲電平所屬的該噪聲電平範圍選擇對應的該畫面標準差對照關係，而每ー該畫面標準差對照關係對應的該濾波範圍與該噪聲電平範圍呈正相關。22.如權利要求20所述的濾波器，其特徵在幹，該畫面標準差對照關係對應ー濾波範圍，該濾波範圍外的該畫面標準差值對照至一常數作為對應的該畫面標準差濾波參考值，落入至該濾波範圍內的該畫面標準差值對照至大於或等於該常數的該畫面標準差濾波參考值。23.如權利要求20所述的濾波器，其特徵在於，該濾波值計算器於每ー該像素的一第四鄰近範圍中加權累計每ー該目前畫面值而為每ー該像素提供一畫面平均值，並於每ー該第四鄰近範圍中累計每ー該目前畫面值與該畫面平均值的ー差異以為每ー該像素提供該對應的畫面標準差值。24.如權利要求2所述的濾波器，其特徵在於，該直方計數器更於每一該像素的一第五鄰近範圍中計算該目前畫面值的一平均值並累計該目前畫面值與該平均值的差異，以決定每ー該像素對應的該動差值是否可被納入一噪聲直方集合，該直方計數器根據該噪聲直方集合中的每ー該動差值進行該直方計數以提供一噪聲直方統計。25.如權利要求24所述的濾波器，其特徵在於，該噪聲直方統計對應多個分區，分別對應多數值範圍，該直方計數器計數該噪聲直方集合中符合每ー該數值範圍的該動差值的個數，以提供該噪聲直方統計。26.如權利要求25所述的濾波器，其特徵在於，還包含一噪聲電平模塊，耦接該直方計數器，該噪聲電平模塊依據該噪聲直方統計提供ー對應的噪聲電平。27.如權利要求26所述的濾波器，其特徵在於，該噪聲直方統計對應多個分區，分別對應ー數值範圍與一噪聲直方計數值，而具有最大的該噪聲直方計數值的該分區為ー噪聲參考分區；該噪聲電平模塊系依據該噪聲參考分區所對應的該數值範圍而以ー非負相關的關係提供該噪聲電平。全文摘要本發明涉及一種應用於影像串流的濾波器，依據一目前畫面與其先前畫面提供一濾波畫面。濾波器中的動差計算器於每一像素的鄰近範圍中累計先前畫面值與目前畫面值的差異以提供一對應的動差值；直方計數器依據動差值進行直方計數。濾波值計算器依據動差計算器與直方計數器的運作結果而為各像素提供一濾波值。混波器則依據與濾波值相關的權重而將各像素的先前畫面值與目前畫面值加權合成出各像素於濾波畫面中的濾波畫面值。文檔編號H04N5/21GK102752481SQ201110111278公開日2012年10月24日申請日期2011年4月18日優先權日2011年4月18日發明者李維國,許瀚仁申請人:晨星半導體股份有限公司,晨星軟體研發(深圳)有限公司