一種基於3d協同濾波與低秩矩陣重建的視頻去噪方法及系統的製作方法
2023-06-02 14:45:31 3
一種基於3d協同濾波與低秩矩陣重建的視頻去噪方法及系統的製作方法
【專利摘要】本發明提出了一種基於3D協同濾波與低秩矩陣重建的視頻去噪系統及方法，本發明首先對含噪視頻進行3D協同濾波預處理，得到基礎估計然後對基礎估計再進行低秩矩陣重建來進行進一步的去噪，來得到最終估計；本發明主要應用於視頻去噪中，特別是應用於基於3D協同濾波與低秩矩陣重建的視頻去噪；同時本發明所提出去噪方法也適用於圖像的去噪，對於較大解析度的圖像、視頻源也具有良好的去噪效果；此外，本發明不僅對單純的高斯噪聲具有良好的去噪效果，同時對含有高斯噪聲和脈衝噪聲的混合噪聲也具有較好的去噪效果，並且在效率上也有一定的提高，在視頻圖像降噪領域具有積極意義。
【專利說明】一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法及 系統
【技術領域】
[0001] 本發明涉及視頻去噪領域，具體的為一種基於3D協同濾波與低秩矩陣重建的視 頻去噪方法及系統。
【背景技術】
[0002] 視頻序列在傳送和存儲的過程中不可避免的會受到噪聲的影響，使得視頻的清晰 度和實際效果大大降低。對視頻序列進行去噪不僅可以提高感知質量，增進壓縮編碼的有 效性，而且還可以減少傳輸帶寬和提高後續功能的效果。因此對視頻序列進行去噪處理 是非常必要的。按照視頻圖像去噪的處理區域，可以將視頻圖像降噪方法分為兩類：像素 域視頻圖像去噪方法和變換域視頻圖像去噪方法。像素域視頻圖像降噪方法直接在視頻 圖像內容構成的空時三維空間中抑制噪聲，即直接對圖像像素進行去噪，該類方法出現較 早，如經典的非局部均值濾波NLM、各向異性濾波和雙邊濾波等。像素域去噪方法由於在 視頻圖像的像素域進行處理，沒有將噪聲和圖像信號區分開，因此會造成圖像細節、邊緣 的模糊。變換域濾波是一種將圖像通過一定的變換進行預先處理的降噪方法，在空間域 轉換到變換域，然後在變換域裡對圖像進行處理，處理後再反變換到空間域。常用的變換 方法有傅立葉變換和小波變換，如空時雙變量高斯混合模型（Spatiotemporal Gaussian scale mixture, ST-GSM)算法、基於Stein's無偏風險估計和閾值函數線性擴展（Stein's unbiased risk estimator-linear expansion of thresholds, SURE-LET)的去噪方法 等。視頻降噪方法也可以分為局部和非局部型。局部型是充分利用每個像素與其領域內 的其他像素之間的相關性來求取像素值真實值。目前較為創造性也發展迅速的是非局部 型的去噪方法，如典型的A non-local algorithm for image denoising、一種基於塊匹配 和三維濾波的視頻去噪方法，該算法不能很好的處理脈衝噪聲在內的混合噪聲、聯合稀疏 與低秩矩陣逼近的視頻去噪方法，該算法對含噪視頻建立模型，通過加速近端梯度法（The Accelerated Proximal Gradient, APG)完成矩陣低秩逼近收斂過程，也充分利用了時域和 空域上的相關性，在高斯白噪聲和其他混合噪聲的去除上都取得了較優秀的去噪性能。但 是該方法通過加速近端梯度法完成收斂的過程需要多次迭代，不能很好的控制迭代步長， 方法的效率很低。
【發明內容】
[0003] 本發明要解決的技術問題是：本發明主要是解決VBM3D在去除包含脈衝噪聲在內 的混合噪聲時效果不佳，及利用APG進行低秩矩陣逼近去噪算法收斂慢、效率低的缺點；提 出了一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法及系統；
[0004] 本發明的技術方案是：一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，包 括如下步驟：
[0005] 步驟1 :對含噪視頻進行3D協同濾波預處理，得到基礎估計圖像；
[0006] 步驟1. 1 :對輸入視頻的每一幀進行分塊，對每個圖像塊分別進行幀內和幀間的 相似塊匹配，得到每個參考塊xK的相似塊分組；
[0007] 步驟1. 2 :對每個參考塊χκ的相似塊分組進行3D協同濾波，得到每個參考塊χκ的 估計值％
[0008] 步驟1. 3 :對估計值^進行聚集，得到基礎估計圖像；
[0009] 步驟2 :對得到的基礎估計圖像再進行低秩矩陣重建進一步去噪，得到最終去噪 後的圖像；
[0010] 步驟2. 1 :對步驟1得到的基礎估計圖像的每個圖像塊分別進行幀內和幀間的相 似塊匹配，得到每個圖像塊的相似塊分組；將分組中的每一個相似塊排列成向量，組成一個 相似性塊矩陣Υ ;
[0011] Y = (y" y2,…ym)
[0012] 其中m為參考塊對應相似塊組的個數，yi，y2，…y m分別為大小為Ν?的匹配塊 矩陣；
[0013] 步驟2. 2 :將矩陣Υ分解為兩個矩陣Α和Ε之和，對相似性塊矩陣Υ進行低秩循環 最小化逼近，得到降噪之後的低秩矩陣A ;
[0014] Y = A+E
[0015] 其中矩陣A和E均未知，A為低秩的無噪數據矩陣，E為噪聲稀疏矩陣；
[0016] 步驟3.根據步驟2輸出的降噪之後的低秩矩陣A，採用均值法對重疊的像素進行 聚集，最終輸出視頻。
[0017] 所述的步驟1.2包括如下步驟：
[0018] 步驟1. 2. 1 :對相似塊分組的每個塊進行離散餘弦變換；
[0019] 步驟1. 2. 2 :對離散餘弦變換的結果進行沃爾什哈達瑪變換得到3D變換係數；
[0020] 步驟1. 2. 3 :對3D變換係數進行硬閾值收縮，硬閾值定為2. 7 ;
[0021] 步驟1. 2. 4 :將硬閾值收縮後的係數依次進行沃爾什哈達瑪逆變換，DCT逆變換得 到分組中每個圖像塊的估計值^;
[0022] 所述的步驟1. 3包括如下步驟：
[0023] 步驟1. 3. 1 :計算加權係數w(x, χκ);
[0024] w (x, xE) = Wi (x (xE)) · w2 (xE)
[0025] 其中，wJxUh))為選凱瑟窗係數,x(xK)為像素 x在參考塊xK中的坐標；w2(xK)為 參考塊的相似塊分組的3D變換係數進行硬閾值收縮之後統計的非零元素個數，w 2(xK)計算 公式如下：
[0026]
【權利要求】
1. 一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，其特徵在於，包括如下步 驟： 步驟1 :對含噪視頻進行3D協同濾波預處理，得到基礎估計圖像；所述的步驟1包括如 下步驟； 步驟1. 1 :對輸入視頻的每一幀進行分塊，對每個圖像塊分別進行幀內和幀間的相似 塊匹配，得到每個參考塊χκ的相似塊分組； 步驟1. 2 :對每個參考塊χκ的相似塊分組進行3D協同濾波，得到每個參考塊χκ的估計 值4; 步驟1. 3 :對估計值心進行聚集，得到基礎估計圖像； 步驟2 :對得到的基礎估計圖像再進行低秩矩陣重建進一步去噪，得到最終去噪後的 圖像；所述的步驟2包括如下步驟； 步驟2. 1 :對步驟1得到的基礎估計圖像的每個圖像塊分別進行幀內和幀間的相似塊 匹配，得到每個圖像塊的相似塊分組；將分組中的每一個相似塊排列成向量，組成一個相似 性塊矩陣Υ ; Y = (yi, y2. '''jJ 其中m為參考塊對應相似塊組的個數，yi，y2，…ym分別為大小為Ν?的匹配塊矩陣； 步驟2. 2 :將矩陣Υ分解為兩個矩陣Α和Ε之和，對相似性塊矩陣Υ進行低秩循環最小 化逼近，得到降噪之後的低秩矩陣A ; Y = A+E 其中矩陣A和E均未知，A為低秩的無噪數據矩陣，E為噪聲稀疏矩陣； 步驟3.根據步驟2輸出的降噪之後的低秩矩陣A，採用均值法對重疊的像素進行聚集， 最終輸出視頻。
2. 根據權利要求1所述的一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，其特 徵在於，所述的步驟1. 2包括如下步驟： 步驟1. 2. 1 :對相似塊分組的每個塊進行離散餘弦變換； 步驟1. 2. 2 :對離散餘弦變換的結果進行沃爾什哈達瑪變換得到3D變換係數； 步驟1. 2. 3 :對3D變換係數進行硬閾值收縮，硬閾值定為2. 7 ; 步驟1. 2. 4 :將硬閾值收縮後的係數依次進行沃爾什哈達瑪逆變換，DCT逆變換得到分 組中每個圖像塊的估計值β
3. 根據權利要求1所述的一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，其特 徵在於，所述的步驟1. 3包括如下步驟： 步驟1. 3. 1 :計算加權係數w (X，χκ): w (x, xE) = Wi (x (xE)) · w2 (xE) 其中，wJxUh))為選凱瑟窗係數,X(XK)為像素 X在參考塊xK*的坐標；w2(xK)為參考 塊的相似塊分組的3D變換係數進行硬閾值收縮之後統計的非零元素個數，w2(xK)計算公式 如下： -^-， l't; Ν(χκ)>1 Η'，(Λ友）二 < O* A/(Λ:沒） [l, :其它 σ為噪聲水平標準差，Ν(χκ)為參考塊χκ對應的相似塊分組的3D變換係數進行硬閾值 收縮後非零元素的個數； 步驟1. 3. 2 :根據加權係數對估計值進行聚集，得到基礎估計圖像；聚集公式如下所 示： Zw(jc,xIR)-iWi(x) ___ xm^S(x) y ( )- Σ誕） xm^S(x) 其中，是像素 x的基礎估計結果，S (X)代表包含像素 x的參考塊集合，xm為參 考塊集合S(x)之一，為的估計值。
4.根據權利要求1所述的一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，其特 徵在於，所述的2. 2中所述的對相似性塊矩陣Υ進行低秩循環最小化逼近採用非精確拉格 朗日乘子法IALM低秩逼近，得到降噪後的低秩矩陣Α，包括如下步驟進行： 步驟2. 2. 1 :更新噪聲稀疏矩陣Ε ; γ γ μ μ 其中，// = (^ +η為參考塊大小Ν?Χ 3，σ為噪聲水平標準差，m為參 考塊對應的相似塊組的個數，D為相似塊矩陣Y的初始值，表示在空間{X e RmXn卜λ / μ彡X彡λ / μ }上的歐幾裡得投影，λ = l〇(V(l〇〇-σ )，ΓΧη表示實數矩陣，k代表當前 的迭代循環次數，k為初始值為0的自然數，Ak，Yk分別表示第k次循環中低秩矩陣A和相 似性塊矩陣Y的值，A k，Yk的初始值為0, Ek+1為新更新的噪聲稀疏矩陣； 步驟2. 2. 2 :更新低秩矩陣A，求得更新後低秩矩陣Ak+1，公式如下： 4+1 γ 其中Uk+1, Σ , r/+1通過對矩陣D-￡*+1 +~^進行奇異值分解SVD求得，其中，Uk+1為左奇 β 異矩陣，Σ為奇異值對角矩陣，為右奇異矩陣，Ff./表示矩陣Vk+1的轉置，S, (Σ)表示 對奇異值對角矩陣Σ進行軟閾值收縮； 閾值計算公式為： τ = 0. 5m · n/sum(D) 其中，sum(D)為矩陣D中所有元素的和，矩陣D為相似性塊矩陣Y的初始值； 步驟2. 2. 3 :根據更新後低秩矩陣Ak+1，求得更新的矩陣Yk+1，同時令k = k+Ι進行下一 次迭代； Yk+1 = Yk+ y (D-Ak+1-Ek+1) 其中Ak+1，Ek+1分別為步驟2. 2. 1和2. 2. 2中更新的低秩矩陣A和噪聲稀疏矩陣E的值， Yk為第k次循環中相似性塊矩陣的Y值； 步驟2. 2. 4判斷迭代次數k是否達到最大迭代次數，本發明中最大迭代次數取為5,若 達到最大迭代次數，則終止迭代，輸出去噪低秩矩陣A ;否則重複步驟2. 2. 1到步驟2. 2. 3， 進行下一次迭代。
5. 根據權利要求1所述的一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，其特 徵在於，所述的步驟1. 1和2. 1中對每個圖像塊分別進行幀內和幀間的相似塊匹配的方法 為：以參考塊為中心，nHW為半徑搜索相似塊，採用絕對差值和SAD來確定圖像塊之間的距 離，若小於給定閾值則判定兩圖像塊相似。
6. 根據權利要求5所述的一種基於3D協同濾波與低秩矩陣重建的視頻去噪方法，其特 徵在於，閾值設定為2000像素值，nHW為8。
7. -種基於3D協同濾波與低秩矩陣重建的視頻去噪系統，其特徵在於，包括如下模 塊： 基礎估計模塊：用於對含噪視頻進行3D協同濾波預處理，得到基礎估計圖像； 包括用於對輸入視頻的每一幀進行分塊，對每個圖像塊分別進行幀內和幀間的相似塊 匹配，得到每個參考塊xK的相似塊分組； 包括用於對每個參考塊xK的相似塊分組進行3D協同濾波，得到每個參考塊χκ的估計 值4 包括用於對估計值4進行聚集，得到基礎估計圖像； 低秩矩陣重建模塊：用於對得到的基礎估計圖像再進行低秩矩陣重建進一步去噪，得 到最終去噪後的圖像； 包括用於對基礎估計模塊得到的基礎估計圖像的每個圖像塊分別進行幀內和幀間的 相似塊匹配，得到每個圖像塊的相似塊分組；將分組中的每一個相似塊排列成向量，組成一 個相似性塊矩陣Υ ; Y = (yi, y2. '''jJ 其中m為參考塊對應相似塊組的個數，yi，y2，…ym分別為大小為Ν?的匹配塊矩陣； 包括用於將矩陣Υ分解為兩個矩陣Α和Ε之和，對相似性塊矩陣Υ進行低秩循環最小 化逼近，得到降噪之後的低秩矩陣A ; Y = A+E 其中矩陣A和E均未知，A為低秩的無噪數據矩陣，E為噪聲稀疏矩陣； 輸出模塊：用於對低秩矩陣重建模塊：輸出的降噪之後的低秩矩陣A，採用均值法對重 疊的像素進行聚集，最終輸出視頻。
【文檔編號】H04N19/117GK104159003SQ201410414416
【公開日】2014年11月19日 申請日期:2014年8月21日 優先權日:2014年8月21日
【發明者】肖進勝, 彭紅, 李文昊, 姜紅, 易本順, 劉國雄 申請人:武漢大學