基於ccd圖像的利用幀間相關性降噪的方法
2023-05-19 08:42:11 1
基於ccd圖像的利用幀間相關性降噪的方法
【專利摘要】本發明公開了一種基於CCD圖像的利用幀間相關性降噪方法。該方法是先通過圖像配準的方法求得相鄰兩幀圖像的相對位移量，由該位移量確定相鄰兩幀圖像的重疊區域，然後對該重疊區域做幀間累加濾波，對非重疊區域則採用幀內濾波算法，同時算法還能自適應調整疊加幀的數目，具有多級可調功能。本發明的創新點在於先對圖像做配準，然後根據配準結果選擇不同的幀間濾波算法，有利於提高視頻圖像的信噪比，同時對於運動圖像的也能達到很好的去噪效果。
【專利說明】基於CCD圖像的利用幀間相關性降噪的方法
【技術領域】
[0001] 本發明涉及C⑶視頻圖像的去噪處理技術，具體涉及一種基於CXD圖像的利用幀 間相關性降噪方法。
【背景技術】
[0002] 目前，各類成像器件已經和正在廣泛的應用於生活、天文、醫療、工業和軍事領域， 對人們的生活產生越來越深遠的影響，尤其是在醫學和軍事上面近年來迅速發展起來的電 荷耦合器件（CXD)成像和紅外傳感器成像技術。與傳統的成像器件相比，CXD不僅具有體積 小、重量輕、靈敏度高、動態範圍寬等優點，而且還能達到很高的空間解析度，並可以通過選 用不同材料來響應從紫外到紅外的光譜，這大大提升了其應用範圍。CCD傳感器由於器件本 身的結構特點在感應光子的同時將產生多種噪聲，如散粒噪聲、暗噪聲、轉移噪聲以及讀出 電路噪聲。
[0003] 在視頻圖像序列中，特別是對於運動緩慢的視頻圖像序列，相鄰幀之間的圖像存 在很強的相關性，而噪聲總是隨機出現在視頻圖像中，不具有相關性，所以可以根據相鄰幀 的圖像的運動強度檢測判斷對相鄰幀進行加權平均，從而降低圖像的噪聲提高圖像的信噪 t匕。現實中的數字圖像在數位化和傳輸過程中常受到成像設備與外部環境噪聲幹擾等影 響，稱為含噪圖像。特別是隨著現在相機製造商們不斷地增加感光單元單位面積上的像素 數，使得其對噪聲的敏感性也越來越高了，結果是產生的圖像噪聲會越來越嚴重。如果對這 些被噪聲汙染的圖像再做後續的其他操作處理，無疑會對最終的圖像處理結果產生較大的 偏差。
[0004] 現有的去噪算法大致可以分為兩類：空間域濾波以及時間域濾波。空間域濾波是 在圖像的二維空間中利用相鄰像素具有相關性而噪聲是相互獨立的特點的特點來去噪的。 常見的空間域濾波方法有均值濾波法、自適應維拉濾波法、中值濾波法、小波濾波法。時域 濾波法是在視頻圖像的三維空間上，利用圖像相鄰幀之間的相關性進行濾波。常用的時域 濾波法有幀間均值濾波法、非局部均值濾波法、三維塊匹配幀間濾波法。但是，這些方法也 都存在各自的技術缺點：1.均值濾波後的每個像素點的值都是利用鄰域內像素的平均灰 度值來代替，該方法經常會帶來邊緣以及細節模糊的負面效應；2.自適應維拉濾波法是利 用圖像的局部方差來調整濾波器的輸出，它的最終目標是使恢復圖像Γ (X，y)與原f (X，y) 始圖像的均方誤差e2=E[(f~(X，y)-f(X，y)) 2]最小。該方法的濾波效果比均值濾波效果要 好，對保留圖像的邊緣和其他高頻部分很有用，不過計算量較大；3.中值濾波是利用鄰域 內（包括原像素值）像素灰度的中值代替該像素的值，它在去除噪聲的同時還能保護圖像的 邊緣，但會產生細節模糊效應；4.幀間均值濾波即對相鄰幀的相對位置取均值，該方法可 以有效地抑制噪聲，提高圖像清晰度，但會引起運動目標的模糊和丟失；5.近年來提出的 非局部濾波算法以及基於非局部均值改進的三維塊匹配濾波法是目前認為去噪效果最好 的方法，但算法複雜難以硬體實現。
【發明內容】
[0005] 本發明的目的在於提供一種基於CCD圖像的利用幀間相關性降噪方法，能實時地 利用相鄰幀圖像的相關性對輸入的視頻圖像進行降噪處理，提高視頻圖像的信噪比的方 法。該方法是通過圖像配準的方法找到相鄰幀間的重疊區域，然後對該重疊區域做幀間累 加濾波，對非重疊區域則採用幀內濾波算法，同時算法還能自適應調整疊加幀的數目，具有 多級可調功能。利用了一種較快速的幀間配準算法，即用一種新的基於全時域的投影算子 來快速的完成對相鄰幀圖像運動位移的計算，大大降低了算法的運算量，使得算法可以硬 件實現。
[0006] 實現本發明目的的技術解決方案為：
[0007] -種基於C⑶圖像的利用幀間相關性降噪方法，包括以下步驟：
[0008] 步驟1 :將含噪的視頻圖像序列V (i, j, k) =u (i, j, k) +n (i, j, k)按巾貞存儲到 SRAM中，其中v(i, j, k)表示人眼所觀察到的圖像，u(i, j, k)表示成像系統的理想圖像， n(i，j，k)表示圖像在數位化和傳輸過程中常受到成像設備與外部環境幹擾等影響而加入 的噪聲，（i，j)表示圖像像素點的位置，（k)表示視頻序列的第k幀圖像；
[0009] 步驟2 :對存儲在SRAM中含噪的視頻圖像序列v(i, j, k)=u(i, j, k)+n(i, j, k)在 行方向和列方向分別做累加，得到的行投影向量和列投影向量，用一組FIFO交替緩存；由 於視頻圖像的場景的運動會影響投影向量的計算精度，所以要利用餘弦-正弦濾波模型對 行方向和列方向的投影向量進行修正，得到修正後的行投影向量和列投影向量；
[0010] 步驟3 :將相鄰兩幀圖像修正後的行投影向量和列投影向量分別做相關運算，得 到行方向的互相關係數矩陣和列方向的互相關係數矩陣，最後由互相關係數矩陣可以求得 相鄰幀圖像的相對位移汕，(Ij)，由該位移值可以確定相鄰幀圖像的重疊區域，即圖像相關 性部分；
[0011] 步驟4 :判斷相鄰幀圖像的相對位移量（屯，dj，根據相鄰幀圖像的相對位移量的 不同分別對含噪的視頻圖像採用不同的幀間濾波算法，得到去噪後的視頻圖像；
[0012] 步驟5 :將去噪後的視頻圖像按幀輸出送顯示器顯示，實時觀察圖像的去噪效果。
[0013] 本發明與現有技術相比，其顯著優點為：1、利用視頻圖像中相鄰幀圖像的相關性 對圖像進行降噪處理，即在圖像的時間域上降噪，避免了空間域降噪所帶來的邊緣及細節 模糊的現象。2、對圖像進行幀間濾波是根據圖像的配準結果來進行的，即先對圖像做配準， 然後根據配準結果分別採用不同的幀間濾波算法，這樣可以避免經過幀間濾波處理後引起 運動目標的模糊和丟失的現象。3、本發明針對配準結果設計了三種不同的幀間濾波算法， 根據視頻圖像之間的特點，採用最適合的去噪算法，以達到最好的去噪效果，提高圖像信噪 比。
【專利附圖】
【附圖說明】
[0014] 圖1是本發明一種基於CCD圖像的利用幀間相關性降噪方法的系統流程圖。
[0015] 圖2是本發明一種基於CCD圖像的利用幀間相關性降噪方法的算法流程圖。
[0016] 圖3是當輸入的視頻圖像為靜止圖像時，採用本發明一種基於(XD圖像的利用幀 間相關性降噪方法後的結果；其中圖（a)為原始的輸入視頻圖像，圖（b)為對原始視頻圖像 做降噪處理後的效果圖。
[0017] 圖4是當輸入的視頻圖像的相鄰幀圖像間存在較小的位移時，採用本發明一種基 於CCD圖像的利用幀間相關性降噪方法後的結果；其中圖（a)為原始的輸入視頻圖像，圖 (b)為對原始視頻圖像做降噪處理後的效果圖。
[0018] 圖5是當輸入的視頻圖像的相鄰幀圖像間存在較大位移時，採用本發明一種基於 CCD圖像的利用幀間相關性降噪方法後的結果；其中圖（a)為原始的輸入視頻圖像，圖（b) 為對原始視頻圖像做降噪處理後的效果圖。
【具體實施方式】
[0019] 下面結合附圖對本發明作進一步詳細描述。
[0020] ⑴、本發明一種基於C⑶圖像的利用幀間相關性降噪方法，其原理為：在視頻圖像 序列中，特別是對於運動緩慢的視頻圖像序列，相鄰幀之間的圖像存在很強的相關性，而噪 聲總是隨機出現在視頻圖像中，不具有相關性，所以可以根據相鄰幀的圖像的運動強度檢 測判斷對相鄰幀進行加權平均，從而降低圖像的噪聲提高圖像的信噪比。
[0021] ⑵、首先對本發明方法進行描述：
[0022] 根據視頻圖像噪聲模型，視頻序列中一幅含噪圖像可以表示為：
[0023] V (i, j, k) =u (i, j, k) +n (i, j, k) (I)
[0024] 其中v(i，j，k)表示人眼所觀察到的圖像，u(i，j，k)表示成像系統的理想圖像， n(i，j，k)表示圖像在數位化和傳輸過程中常受到成像設備與外部環境幹擾等影響而加入 的噪聲，（i，j)表示圖像像素點的位置，（k)表示視頻序列的第k幀圖像。假設對視頻圖像 的相鄰的1幀圖像進行幀間均值濾波，均值即為：
【權利要求】
1. 一種基於CCD圖像的利用峽間相關性降噪方法，其特徵在於包括W下步驟： 步驟1 ;將含噪的視頻圖像序列V (i，j，k) =11 (i，j，k) +n (i，j，k)按巾貞存儲到SRAM中，其 中v(i, j, k)表示人眼所觀察到的圖像，u(i, j, k)表示成像系統的理想圖像，n(i, j, k)表示 圖像在數位化和傳輸過程中常受到成像設備與外部環境幹擾等影響而加入的噪聲，（i，j) 表示圖像像素點的位置，化）表示視頻序列的第k峽圖像； 步驟2 ;對存儲在SRAM中含噪的視頻圖像序列v(i，j，k)=u(i，j，k)+n(i，j，k)在行方 向和列方向分別做累加，得到的行投影向量和列投影向量，用一組FIFO交替緩存；由於視 頻圖像的場景的運動會影響投影向量的計算精度，所W要利用餘弦-正弦濾波模型對行方 向和列方向的投影向量進行修正，得到修正後的行投影向量和列投影向量； 步驟3 ;將相鄰兩峽圖像修正後的行投影向量和列投影向量分別做相關運算，得到行 方向的互相關係數矩陣和列方向的互相關係數矩陣，最後由互相關係數矩陣可W求得相鄰 峽圖像的相對位移量化，dj.)，由該位移量可W確定相鄰峽圖像的重疊區域，即圖像相關性 部分； 步驟4 ;判斷相鄰峽圖像的相對位移量化，dj.)，根據相鄰峽圖像的相對位移量的不同 分別對含噪的視頻圖像採用不同的峽間濾波算法，得到去噪後的視頻圖像； 步驟5 ;將去噪後的視頻圖像按峽輸出送顯示器顯示，實時觀察圖像的去噪效果。
2. 根據權利要求1所述的基於CCD圖像的利用峽間相關性降噪方法，其特徵在於，步 驟2所述的SRAM中的含噪的視頻圖像序列在行和列方向分別做累加，對於含噪的視頻圖像 序列的第k峽圖像，圖像大小為M*N，M為圖像的行數、N為圖像的列數，M、N都為自然數，分 別對含噪的視頻圖像進行行方向投影和列方向投影，確定行投影向量I(i)和列投影向量 I(j)分別為：
公式做中的
表示行方向的均值，公式（7)中的
，表示列方向的均值；由於視頻圖像的場景的運動會影響投影向 量的計算精度，所W要利用餘弦-正弦濾波模型對行列方向的投影向量進行修正；修正後 的行投影向量I'（i)和列投影向量I'（j)如下：
上式中的5 表示行方向上設定的位移量的最大值，5。。1表示列方向上設定的位移量 的最大值。
3. 根據權利要求2所述的基於CCD圖像的利用峽間相關性降噪方法，其特徵在於：上 述5r"範圍為[0:30] ; 5。。1範圍為[0:30]。
4. 根據權利要求1所述的基於CCD圖像的利用峽間相關性降噪方法，其特徵在於，步驟 3所述的相鄰兩峽圖像修正後的行投影向量和列投影向量分別做相關運算，具體步驟為： 根據修正後的行投影向量和列投影向量，確定行方向的互相關矩陣Arr,。，和列方向的 互相關矩陣ArrcDi :
相鄰兩峽圖像，當前峽記為C，上一峽為參考峽記為R，公式（10)中的為上一峽圖像 的行方向的投影向量、Ct。，當前峽圖像的行方向的投影向量；公式（11)中的氏。1為上一峽圖 像的列方向的投影向量、。。1當前峽圖像的列方向的投影向量； 利用上式確定相鄰兩峽圖像的行方向和列方向的互相關矩陣後，行方向和列方向的互 相關矩陣的最小值即為對應的行方向和列方向的相對位移量（di，dj.): di=argmin (Arr^") (12) dj=argmin (Afrcoi) (13) 通過上述相對位移量（d。dj.)，確定相鄰峽圖像的重疊區域。
5. 根據權利要求1所述的基於CCD圖像的利用峽間相關性降噪方法，其特徵在於，步驟 4所述的根據相鄰峽圖像的相對位移採用不同的峽間濾波算法，具體包括W下H種情況： ① 若（di，dp=0 ;視頻圖像序列的相鄰兩峽圖像是相對靜止的，則此時在整峽圖像範圍 內對圖像採用多級可調的峽間濾波算法，通過改變疊加峽的數目達到最佳的去噪效果；設 疊加峽的數目為L，L為自然數，則經濾波後的輸出圖像j，k)為：
② 若（di，dj.)<S，5為闊值：視頻圖像序列的相鄰兩峽圖像之間有微小位移，則此時利 用位移值確定圖像的重疊區域，然後對重疊區域利用峽間均值濾波算法來降低噪聲，提高 圖像的信噪比，由於非重疊區域佔整幅圖像的比例非常小，其噪聲對圖像顯示效果的影響 可W忽略不計，所W非重疊區域直接輸出即可，即經濾波後的輸出圖像j，k)為：
③若（di，dj.)〉5, 5為闊值：視頻圖像序列的相鄰兩峽圖像之間存在較大的位移，此時 由於非重疊區域佔整幅圖像的比例較大，非重疊區域的噪聲不可W忽略不計了，則此時對 重疊區域利用峽間均值濾波來降低噪聲，非重疊區域則利用圖像本身的相關性利用中值濾 波算法來去除噪聲，最後經濾波後的輸出圖像j，k)為：
上式中的me壯ilter{v(i，j, k)}為中值濾波算法。
【文檔編號】G06T5/50GK104424628SQ201310392211
【公開日】2015年3月18日 申請日期:2013年9月2日 優先權日:2013年9月2日
【發明者】隋修寶, 顏奇歡, 樊曉清, 陳錢, 顧國華, 錢佳, 王晨, 尹春梅, 高航, 李曉帆 申請人:南京理工大學