一種3d數字視頻圖像的自適應實時降噪方案的製作方法
2023-05-27 22:06:56 1
專利名稱：一種3d數字視頻圖像的自適應實時降噪方案的製作方法
技術領域：
本發明涉及數字視頻圖像處理領域，具體來說，涉及一種3D數字視頻圖像的自適應實時降噪方案，主要應用於3D數字視頻圖像處理、傳輸、顯示中需要降噪的場合，特別是需要實時降噪的場合。
背景技術：
近年來，3D數字視頻圖像在越來越多的領域中得到了廣泛的應用，例如多媒體服務、視頻電話、視頻廣播、視頻跟蹤等。在3D數字視頻圖像的獲取、壓縮、傳遞、接收等環節中，都不可避免地引入噪聲。如果這些噪聲不加以有效地濾除，不但會影響到視頻圖像的視覺效果，而且會給後續處理環節(例如壓縮編碼等)帶來不利的影響。因此，研究有效的降低3D數字視頻圖像中的噪聲方案是十分必要的。通常情況下，3D數字視頻圖像中的噪聲被認為是與圖像獨立的高斯白噪聲，其特點是各幀圖像的噪聲是相互獨立的，而每一幀圖像的噪聲是隨機出現的，且服從均值為零的高斯分布。相反地，3D視頻圖像中每一幀的內容是高度相關的，在時域中沿著物體運動軌跡方向是一致的，每幀之間沒有變化。因此，可以利用圖像內容的相關性和噪聲的不相關性設計降噪方案，從含有噪聲的圖像中儘可能恢復得到原始圖像。目前，3D數字視頻圖像的降噪方案可以分為下面幾類第一類是空域降噪，其僅利用每一幀圖像對視頻圖像做降噪處理；第二類是時域降噪，其僅利用圖像的運動補償對視頻圖像做降噪處理；第三類是時-空域降噪，即通常所說的3D降噪，同時在空域和時域對視頻圖像做降噪處理。空域降噪和時域降噪操作相對簡單，但是容易出現邊緣質量差、塊效應等問題。3D降噪結合了二者的優勢，充分利用了 3D數字視頻圖像的信息，因而得到了越來越多的關注。現行的專利提出了一些3D降噪方案，如HR濾波形式的補償濾波方案、線性卡爾曼濾波(或者擴展卡爾曼濾波)形式的遞歸濾波方案。這些方案主要存在計算量和存儲量過大的問題。為了得到較好的濾波參數，往往需要很多的參考幀(需要當前幀的前P幀和後P幀)。這一方面需要較大的存儲資源開銷，另一方面使得降噪運算過慢，從而不適合實時視頻圖像降噪。此外，這些濾波算法會造成濾波中的誤差積累和放大，從而最終影響濾波算法的性能。根據以上分析可以看出，如何利用3D數字視頻圖像在時域上和空域上的信息，巧妙地將時域降噪和空域降噪結合起來，避免單一降噪方式產生的問題，同時改善現有3D降噪的計算量和存儲量過大和誤差積累問題是設計3D數字視頻圖像降噪方案的關鍵。
發明內容
本發明提供一種3D數字視頻圖像的自適應實時降噪方案，主要應用於3D數字視頻圖像處理、傳輸、顯示中需要實時降噪的場合，包括以下步驟步驟1 將當前幀移入上一幀，並從視頻圖像輸入中重新讀取待降噪的當前幀圖像；步驟2 將當前幀圖像劃分成若干子塊，利用這些子塊對當前幀的噪聲標準差進行估計；步驟3 利用步驟2得到的子塊與上一幀中的子塊進行匹配搜索，得到匹配塊；步驟4 根據步驟2中得到的噪聲標準差設置兩個不同的閾值；步驟5 根據步驟3中得到的匹配塊對圖像運動強度進行估計；步驟6 對步驟5中得到的圖像運動強度和步驟4中得到的兩個閾值進行比較，按二者大小關係選擇時域濾波的係數；步驟7 對步驟5中得到的圖像運動強度和步驟4中得到的兩個閾值進行比較，按二者大小關係選擇一組加權係數；步驟8 利用步驟6中選擇的時域濾波係數對當前幀圖像進行時域濾波；步驟9 利用步驟2中得到的噪聲標準差，對當前幀圖像進行空域濾波；步驟10 按步驟7中選擇的加權係數對步驟8和步驟9中得到的結果進行加權；步驟11 輸出當前幀圖像的降噪結果。效果說明本發明提出了一種3D數字視頻圖像的自適應實時降噪方案，其在空域二維和時域一維上對圖像進行濾波降噪處理。該方法對圖像進行運動強度檢測，並對圖像的噪聲標準差進行估計，提供了一種根據噪聲標準差的估計結果和圖像運動強度檢測設定閾值門限的方法。本發明提供了一種通過與運動強度與門限的關係自適應調整時域濾波中的參數的方法，同時提供了一種通過與運動強度與門限的關係自適應將時域濾波和空域濾波的結果進行自適應加權作為降噪後的輸出結果的方法，使得圖像的邊緣和細節得到了保護。本發明可有效地對3D數字視頻圖像進行降噪，極大地增加了 3D數字視頻圖像觀看的舒適性。同時，本發明在時域降噪中只需要當前幀和上一幀的圖像，大大降低了計算量和存儲量，從而特別適合需要對3D數字視頻圖像進行實時降噪的場合。附圖和附表說明
圖1本發明提供的3D數字視頻圖像的自適應實時降噪方案流程圖
圖2本發明中的時域濾波示意圖3本發明中的空域濾波示意圖4本發明中的時域濾波和空域濾波加權示意表1本發明中的時域濾波係數與圖像運動強度及閾值的關係；
表2本發明中的加權係數與圖像運動強度及閾值的關係。
具體實施例方式為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，並參照附圖，對本發明進一步詳細說明。圖1是本發明提供的3D數字視頻圖像的自適應實時降噪方案流程圖。從該圖清楚地可以看出，本發明提供的降噪方案包括下面11個步驟，依次為步驟1-步驟11。下面按各步驟對本實施例作進一步說明。
步驟1 將當前幀移入上一幀，並從視頻圖像輸入中重新讀取待降噪的當前幀圖像步驟2 將當前幀圖像劃分成若干子塊，利用這些子塊對當前幀的噪聲標準差進行估計假定待處理的圖像大小為MXN，將其分成若干大小為LXL的子塊，其中L是M和N的公因數。每一個LXL的子塊為一個基本處理單位。例如，待處理的圖像大小為10MX768， 可以取L = 32。然後，分別計算每個子塊的噪聲標準差，計算公式為
權利要求
1.一種3D數字視頻圖像的自適應實時降噪方案，其特徵在於，包括以下步驟 步驟1 將當前幀移入上一幀，並從視頻圖像輸入中重新讀取待降噪的當前幀圖像； 步驟2 將當前幀圖像劃分成若干子塊，利用這些子塊對當前幀的噪聲標準差進行估計；步驟3 利用步驟2得到的子塊與上一幀中的子塊進行匹配搜索，得到匹配塊； 步驟4 根據步驟2中得到的噪聲標準差設置兩個不同的閾值； 步驟5 根據步驟3中得到的匹配塊對圖像運動強度進行估計； 步驟6 對步驟5中得到的圖像運動強度和步驟4中得到的兩個閾值進行比較，按二者大小關係選擇時域濾波的係數；步驟7 對步驟5中得到的圖像運動強度和步驟4中得到的兩個閾值進行比較，按二者大小關係選擇一組加權係數；步驟8 利用步驟6中選擇的時域濾波係數對當前幀圖像進行時域濾波； 步驟9 利用步驟2中得到的噪聲標準差，對當前幀圖像進行空域濾波； 步驟10 按步驟7中選擇的加權係數對步驟8和步驟9中得到的結果進行加權； 步驟11 輸出當前幀圖像的降噪結果。
2.如權利1所述的方法，其特徵在於，假定步驟2中待處理的圖像大小為MXN，將其分成若干個大小為LXL的子塊，其中L是M和N的公因數。每一個LXL的子塊為一個基本處理單位。然後，分別計算每個子塊的噪聲標準差，並選擇各子塊噪聲標準差的最小值作為當前幀圖像的噪聲標準差的估計σ。
3.如權利1所述的方法，其特徵在於，步驟3中，對當前幀的每一個LXL的子塊，在上一幀中採用最小絕對差和(Sum of Absolute Differences, SAD)準則，找到與此LX L的子塊的SAD值最小的塊，稱為匹配塊，SAD值的計算方法為SAD=XXlfijTljIi=0 j=0其中，為當前子塊相應位置的像素值，r.j為上一子塊相應位置的像素值。
4.如權利1所述的方法，其特徵在於，步驟4中根據噪聲標準差S的估計值設定兩個閾值TH1和TH2,這兩個閾值均與估計的噪聲標準差S成正比例關係，即TH1 =A1OjTH2 =Α2σ A1和A2是兩個正數(假定A1 > A2,因此TH1 > TH2)。
5.如權利1所述的方法，其特徵在於，步驟5中每一個LXL的的子塊運動強度的估計值Kp根據該子塊和匹配塊之間的SAD值求得K -SAD
6.如權利1所述的方法，其特徵在於，步驟6中的時域濾波係數w依據Kp及TH1和TH2 的關係確定·0.4 K <ΤΗ,w =0.65 ΤΗ2<Κρ TH1
7.如權利1所述的方法，其特徵在於，步驟7中選取的一組加權係數(ββ2)，其中 β ！為時域濾波加權因子，β 2為空域濾波加權因子。β i和β 2滿足β i+β 2 = 1，具體數值依據Kp及TH1和TH2的關係確定(0.8,0.2) KpCTH2 (β β2)= (0.5,0.5) TH2 ΤΗ,
8.如權利1所述的方法，其特徵在於，步驟8中的時域濾波強度依據係數w來調整控制 =wfU "K1-wH其中， 為時域濾波的輸出結果，為當前幀各子塊中各點的像素值，為上一幀各子塊中各點的像素值。
9.如權利1所述的方法，其特徵在於，步驟9中的空域濾波綜合考慮了像素值和距離的影響。假定空域濾波的窗長為W，則濾波器權係數為r (i-k)2+0-1)2 r (Vfkl)2 w^expt]·6χρ[·^Γ]Wu由兩項相乘得到。第一項計算的是當前像素和其WXW窗內某像素的距離差，0(1為距離方向的標準差，選取Od =1.26 ；第二項計算的是當前像素值和其WXW窗內某像素值的差，ο ^為像素值的標準差，選取ι =e。空域濾波的估計結果按下式得到其中，符號 表示卷積運算。
10.如權利1所述的方法，其特徵在於，步驟10中分別將時域和空域濾波結果加權β！ 和β2其中，f為濾波最後輸出結果4和: 2分別為時域和空域濾波結果。
全文摘要
提出了一種3D數字視頻圖像的自適應實時降噪方案，其在空域二維和時域一維上對視頻圖像進行濾波降噪處理。該方法對視頻圖像進行運動強度檢測，並對圖像的噪聲標準差進行估計，根據噪聲標準差的估計結果設定兩個不同的閾值門限。通過運動強度與門限的關係自適應調整時域濾波中的參數，並依據此關係將時域濾波和空域濾波的結果進行自適應加權作為降噪後的輸出結果。本發明運算和存儲量小，可以對3D數字視頻圖像進行有效地實時降噪，同時圖像的邊緣和細節得到了保護，從而極大地增加了3D數字視頻圖像觀看的舒適性。
文檔編號H04N5/213GK102238316SQ20101015966
公開日2011年11月9日 申請日期2010年4月29日 優先權日2010年4月29日
發明者陳利明 申請人:北京科迪訊通科技有限公司