時空濾波器單元以及包括這種時空濾波器單元的圖像顯示設備的製作方法
2023-05-02 06:34:41
專利名稱：時空濾波器單元以及包括這種時空濾波器單元的圖像顯示設備的製作方法
技術領域：
本發明涉及一種具有能夠減少圖像噪聲的西格瑪濾波器的時空濾波器單元。
本發明還涉及一種包括這種時空濾波器單元的圖像顯示設備。
前段所描述的濾波器類型的單元公開在G.de Haan等人的「Memory integrated noise reduction for television」(IEEETransactions on Consumer Electronics，Vol.42，No2，May1996，pages175-181)中。在這篇文章中描述的濾波器單元是一個空間濾波器和一個時間濾波器的串聯繫統。空間濾波器和時間濾波器在一起能有效的達到噪聲抑制。通常，空間濾波器需要來自一個圖像的像素，而時間濾波器則需要從兩個或更多的連續的圖像上取樣。
空間濾波器是一個循環的西格馬濾波器。它是以選擇過程中最鄰近的西格馬變量為基礎。組合過程包含加權平均，這對於附加的白高斯噪聲是最佳的。所述西格馬濾波器的權重有三個可能數值，根據與噪聲級相配的閾值選擇這些數值。在該文章中也描述了用來估計噪聲級的噪聲估計器。
作為運動補償的一階時間循環濾波器的時間濾波器已能實現。因此，該時間濾波器需要一個運動估計和運動補償系統，這便導致了高價格。而且，在運動發生時需要運動檢測裝置來與濾波的強度相適應。否則，圖像會失真。
本發明的第一個目的是提供一種時空濾波器單元，是前段所述的把空間的與內含運動補償的時間的噪聲抑制集在一個濾波器中的那種類型。對於運動補償，不要求運動向量或表達運動的大小和方向的其它裝置。
本發明的第二個目的是提供一種包括這種時空濾波器單元的圖像顯示裝置。
本發明的第一個目的是這樣實現的時空濾波器單元包括一個濾波器核，該濾波器核設計為能對當前圖像以及作為時間循環濾波圖像的時空濾波器單元的輸出的像素進行運算。濾波是以西格馬最鄰近值的選擇為基礎。與原始像素有不良關聯的像素能自動被拋棄，而其它的像素則按照相關聯的比例對輸出起作用。濾波包含了對被選像素的加權平均，這些像素來自包括水平、垂直及時間方向的預定的三維視窗。這個時空濾波器單元的主要特徵在於空間的和時間的濾波被做在同一個濾波器核內。這樣極大地降低了執行花費，產生了一個容易地最佳化概念。而且，因為時間濾波器不再是分離的，像一些所謂的「汙點視窗」效應或固定噪聲，「彗星尾巴」等問題都被自動解決了。由於空間和時間的濾波器的相互補充，在運動物體邊緣及周圍的噪聲穿透也被消除了。
根據本發明時空濾波器單元的一個實施例包括一個空間像素緩存器，用於存儲當前圖像的像素；一個空間像素選擇器，用於從空間像素緩存器中選擇像素；一個時間像素緩存器，用於緩存來自作為時間循環濾波圖像的時空濾波器的輸出的像素；一個時間像素選擇器，用於從時間像素緩存器中選擇像素；以及一個包括濾波器核的西格馬濾波器，濾波器核設計為能對來自空間像素選擇器及時間像素選擇器的像素進行運算。
在空間像素緩存器中，為了選擇像素來完成空間濾波，定義了一個二維空間像素選擇器。在西格馬濾波器的濾波器核中為了增加時間循環濾波的像素，在時間像素緩存器中定義第二個二維空間像素選擇器，取自圖像存儲器的像素充滿時間像素緩存器中。按這種方式，在一個濾波器孔徑內就可以進行三維時空濾波。西格馬濾波器的輸出存儲在圖像存儲器中並用來進行後續的濾波。這是處理過程中的時間循環部分。運動檢測是在濾波過程中固有的，每個像素首先與原始像素進行比較，由此來決定對輸出的作用。運動發生的地方像素將有很大的灰值差異，因此，該像素自動被拋棄。此外，運動補償也是固有的，這是通過使用一個選擇時間循環濾波像素的時間像素選擇器和一個使用了閾值的識別平均值濾波器來實現的。如果沒有發生運動，在先前圖像的中心像素的周圍，相對於中心輸入像素的灰度級相關度是較高的。在發生運動時，這個相關度隨著運動的軌道而漂移。如果運動足夠低的話將進行時間濾波，因為在時間視窗內(即空間像素選擇器)可找到有關的像素。換言之，運動補償隱性地完成，由此使顯性運動補償冗餘。
根據本發明時空濾波器單元的一個實施例包括一個自適應西格馬濾波器。西格馬濾波器的濾波器閾值是可調節的。這意味著濾波的程度可減小或增加，以便適應時空濾波器單元以及包括這種時空濾波器單元的圖像顯示儀的使用者的口味。空間的和時間的濾波閾值能獨立的確定，因此在空間的和時間的濾波之間可以達到想要的平衡。
根據本發明時空濾波器單元的一個實施例的特徵在於作為時間像素選擇器和空間像素選擇器的像素選擇器中至少一個選擇器，其孔徑是可調節的。這決定了濾波的長度及輸出的特徵。窄孔徑與大孔徑圖像的更迭的組合得到良好的結果。
根據本發明時空濾波器單元的一個實施例的特徵在於作為時間像素選擇器和空間像素選擇器的像素選擇器中至少一個選擇器，在所選像素之間的距離是可調節的。其結果是選擇器的孔徑可調節而所選像素的數量的多少保持不變。像素選擇器的價格是基於存儲容量，即它們能同時存儲像素的數量。根據本發明這個實施例的優點是像素處理過程的花費能相對較低。
根據本發明時空濾波器單元的一個實施例是它包括一個運動檢測器，運動檢測器設計為能檢測運動並基於所檢測的運動來控制時間像素選擇器的孔徑。孔徑決定對靜止圖像濾波的長度以及對運動時序運動補償的範圍。這個實施例的一個優點是使隱性運動補償最佳化。運動檢測器可以檢測到全局或局部的運動。由於可以基於現場確定孔徑，因此一旦運動的程度已知，對每一序列都能找到最佳設置。檢測器不能提供有關運動方向的信息。一個外部運動估值器也可以提供有關運動的信息。
根據本發明時空濾波器單元的一個實施例是它包括一個運動估計器，運動估計器設計為能提供運動向量並能基於運動估計器提供的運動向量來控制與時間像素緩存器相關的時間像素選擇器的位置。這個實施例的優點是時間的近程性增加了，在物體高速運動的情況下尤其有益。一個外部運動估值器也可以提供運動向量。
根據本發明時空濾波器單元的一個實施例是它包括一個噪聲估計器，噪聲估計器設計為能估計當前圖像的噪聲級，並能根據估計的噪聲級控制作為時間像素選擇器和空間像素選擇器的像素選擇器中至少一個選擇器的孔徑。濾波的強度與像素選擇器的孔徑有關。在估計的噪聲級相對高的情況下允許進行相對更多的濾波。因此在所有的噪聲級下均可達到最佳的噪聲濾波。外部噪聲估計器也可以提供估計的噪聲級。
根據本發明時空濾波器單元的一個實施例是它包括一個噪聲估計器，噪聲估計器設計為能估計當前圖像的噪聲級，並能根據估計的噪聲級控制自適應西格馬濾波器的閾值。估計噪聲級相對高的情況下閾值能被增加，估計噪聲級相對低的情況下閾值能被減小。因此在所有的噪聲級下均可達到最佳的噪聲濾波。
時空濾波器單元的以上這些和其它方面以及圖像顯示設備將參考下文描述的實施例以及附圖而進行闡述。
圖1示意出時空濾波器單元的一個實施例；圖2示意出包含噪聲估計器、運動估計器和運動檢測器的時空濾波器單元的一個實施例；以及圖3為圖像顯示設備的基本單元圖。
圖1示意出了時空濾波器單元100的一個實施例和由該時空濾波器單元100使用的兩個存儲器。這些存儲器可被在包括時空濾波器單元100的一個系統中的其它單元共享。第一個存儲器為圖像存儲器114，用來貯存作為時間循環濾波圖像的時空濾波器單元的輸出。第二個存儲器為高速緩衝存儲器116。表示圖像的信號在連接點102進入時空濾波器單元100。已濾波信號在連接點118離開時空濾波器單元100。來自這個已濾波信號的像素也存儲在圖像存儲器114中。進入時空濾波器單元100的圖像像素緩存在空間像素緩存器104中，空間像素選擇器106從空間像素緩存器104中選取像素，圖像存儲器114的像素因運行的原因存儲在高速緩衝存儲器116中。來自高速緩衝存儲器116的像素緩存在時間像素緩存器108中。時間像素選擇器110從時間像素緩存器108中選取像素，並把這些像素提供給西格馬濾波器112中的濾波器核107。這樣，濾波器核107對來自空間像素選擇器106和時間像素選擇器110的像素進行運算。
圖2示意出了時空濾波器單元200的一個更複雜的實施例，圖2中白色方框是時空濾波器單元200的部件，圖2中有陰影的方框不是時空濾波器單元200的部件。這些有陰影的方框代表存儲器單元。這些存儲器單元可被包含時空濾波器單元200的一個系統中的其它單元共享。第一個存儲器為圖像存儲器214，用來貯存作為時間循環濾波圖像的時空濾波器單元的輸出。第二個存儲器為高速緩衝存儲器216。表示圖像的信號在連接點202進入時空濾波器單元200。已濾波信號在連接點218離開時空濾波器單元200。來自這個已濾波信號的像素也存儲在圖像存儲器214中。進入時空濾波器單元200的圖像像素緩存在空間像素緩存器204中。空間像素選擇器206從空間像素緩存器204中選取像素，並把這些像素提供給西格馬濾波器212中的濾波器核207。來自圖像存儲器214的像素因運行的原因存儲在高速緩衝存儲器216中。來自高速緩衝存儲器216的像素緩存在時間像素緩存器208中。時間像素選擇器210從時間像素緩存器208中選取像素，並把這些像素提供給西格馬濾波器212中的濾波器核207。這樣，濾波器核207對來自空間像素選擇器206和時間像素選擇器210的像素進行運算。時空濾波器單元200包括一個運動檢測器224，運動檢測器224設計為能夠檢測運動並根據所檢測的運動來控制時間像素選擇器210的孔徑。時空濾波器單元200包括一個運動估計器222，運動估計器222設計為能提供運動向量並能根據運動估計器提供的運動向量來控制與時間像素緩存器208相關的時間像素選擇器210的位置。時空濾波器單元200包括一個噪聲估計器220，噪聲估計器220能估計當前圖像的噪聲級，並能根據估計的噪聲級控制作為時間像素選擇器210和空間像素選擇器206的像素選擇器的至少一個選擇器的孔徑。除此之外，噪聲估計器220能根據估計的噪聲級來控制自適應西格馬濾波器212的閾值。
圖3為根據本發明的圖像顯示設備300的基本單元，圖像顯示設備300有一個能接收代表顯示圖像的視頻信號的接收裝置302。視頻信號既可以是經天線或電纜接收的廣播信號也可以是來自像錄象機或DVD(數位化視頻光碟)這樣的存儲設備的信號。圖像顯示設備300還有對視頻信號進行濾波的時空濾波器單元304以及能顯示經過視頻信號濾波的圖像的顯示設備306。時空濾波器單元304按圖1或圖2描述的來實現。
應該注意的是上述的實施例只是說明作用而不是限制本發明，本領域的普通技術人員在不脫離所附的權利要求的範圍的前提下可以設計出變形實施例。在權利要求中，任何括號內的標號不應構成對權利要求的限制。「包括」一詞並不排斥沒有羅列在權利要求中的單元和步驟。在單元前有「一」或「一個」一詞並不排斥多數這類單元的存在。本發明能包括通過幾個不同元件構成的硬體和相應的編程的計算機來實現。在濾波器單元的權利要求中列舉的幾種裝置，這些裝置能通過相同類的硬體來實現。
權利要求
1.一種時空濾波器單元(100)，具有能減少圖像噪聲的西格馬濾波器(112)，其特徵在於西格馬濾波器(112)包括一濾波器核(107)，該濾波器核(107)設計為能對來自當前圖像以及作為時間循環濾波圖像的時空濾波器單元的輸出(118)的像素進行運算。
2.如權利要求1所述的時空濾波器單元(100)，其特徵在於其包括一個空間像素緩存器(104)，用於存儲當前圖像的像素；一個空間像素選擇器(106)，用於從空間像素緩存器(104)中選擇像素；一個時間像素緩存器(108)，用於緩存作為時間循環濾波圖像的時空濾波器單元的輸出(118)的像素；一個時間像素選擇器(110)，用於從時間像素緩存器(108)中選擇像素；以及一個包括濾波器核(107)的西格馬濾波器(112)，濾波器核(107)設計為能對來自空間像素選擇器(106)及時間像素選擇器(110)的像素進行運算。
3.如權利要求2所述的時空濾波器單元(100)，其特徵在於其包括一個自適應西格馬濾波器(112)。
4.如權利要求3所述的時空濾波器單元(100)，其特徵在於作為時間像素選擇器(110)和空間像素選擇器(106)的像素選擇器中至少一個選擇器，其孔徑是可調節的。
5.如權利要求4所述的時空濾波器單元(100)，其特徵在於作為時間像素選擇器(110)和空間像素選擇器(106)的像素選擇器中至少一個選擇器，設計為在所選像素之間的距離是可調節的。
6.如權利要求4所述的時空濾波器單元(200)，其特徵在於其包括一個運動檢測器(224)，運動檢測器(224)設計為能夠檢測運動並基於所檢測的運動來控制時間像素選擇器(210)的孔徑。
7.如權利要求4所述的時空濾波器單元(200)，其特徵在於其包括一個運動估計器(222)，運動估計器(222)設計為能提供運動向量並能根據運動估計器(222)提供的運動向量來控制與時間像素緩存器(208)相關的時間像素選擇器(210)的位置。
8.如權利要求4所述的時空濾波器單元(200)，其特徵在於其包括一個噪聲估計器(220)，噪聲估計器(220)設計為能估計當前圖像的噪聲級，並能根據估計的噪聲級控制作為時間像素選擇器(210)和空間像素選擇器(206)的像素選擇器中至少一個選擇器的孔徑。
9.如權利要求4所述的時空濾波器單元(200)，其特徵在於其包括一個噪聲估計器(220)，噪聲估計器(220)設計為能估計當前圖像的噪聲級，並能根據估計的噪聲級控制自適應西格馬濾波器(212)的閾值。
10.一種圖像顯示設備(300)，包括接收裝置(302)，用於接收代表圖像的信號；一顯示設備(306)，用於顯示圖像；以及一時空濾波器單元(100)，具有能減少圖像噪聲的西格馬濾波器(112)，其特徵在於西格馬濾波器(112)包括一濾波器核(107)，濾波器核(107)設計為能對來自當前圖像以及作為時間循環濾波的圖像的時空濾波器單元的輸出(118)的像素進行運算。
11.一種圖象顯示設備(300)，包括接收裝置(302)，用於接收表示圖象的信號；顯示設備(306)，用於顯示圖象；以及時空濾波器單元(100)，具有西格馬濾波器(112)，用於減少圖象中的噪聲，其特徵在於它還包括空間象素緩存器(104)，用於存儲當前圖象的象素；空間象素選擇器(106)，用於從空間象素緩存器(104)中選擇象素；時間象素緩存器(108)，用於緩存從時空濾波器單元的輸出(118)的象素，該象素是時間循環濾波圖象；時間象素選擇器(110)，用於從時間象素緩存器(108)中選擇象素，以及西格馬濾波器(112)，作為一種自適應西格馬濾波器，包括一個濾波器核(107)用於對來自空間象素選擇器(106)和時間象素選擇器(110)的象素進行運算。
全文摘要
在消費電視用戶中，噪聲抑制是重要的性能，它可通過時間的、空間的或時空濾波器來實現。空間濾波器需要來自一個圖像內的像素，而時間濾波器則需要從兩個或更多的連續的圖像上取樣。本發明時空濾波器單元(100)把空間的與內含運動補償的時間的噪聲抑制集成在一個濾波器中。對於運動補償，不要求運動向量。時空濾波器單元(100)具有包括濾波器核(107)的西格馬濾波器(112)，濾波器核(107)設計為能對來自空間像素選擇器及時間像素選擇器的像素進行運算。通過改變西格馬濾波器(112)的閾值以及像素的選擇能調節時空濾波器單元(100)的運行。調節是由運動估計器(222)、運動檢測器(224)以及噪聲估計器(220)來控制。
文檔編號H04N5/44GK1419680SQ01807208
公開日2003年5月21日 申請日期2001年12月19日 優先權日2001年1月26日
發明者O·A·奧約, T·G·誇伊塔爾斯帕索瓦, R·埃蘭德 申請人:皇家菲利浦電子有限公司