基于波原子變換和非參數模型的電影自動修複方法

2023-10-04 13:51:29

專利名稱：基于波原子變換和非參數模型的電影自動修複方法
技術領域：
本發明涉及的是一種圖像和視頻處理技術領域的系統，具體是一種基于波原子變換和非參數模型的電影自動修複方法。
背景技術：
電影藝術是人類文化的重要體現和人類文明的寶貴財富。我們有義務盡力去保護並傳承優秀的電影作品。電影的數位化就是其中最主要的保護方式。傳統電影以膠片的形式保存，對保存環境的要求較苛刻。隨著環境的溫度和溼度變化，膠片上的化學塗層會出現氧化現象，導致亮度和色彩失真，嚴重的還會出現黴斑。此外，膠片電影會隨著播放次數的增長出現劃痕，色彩退化的現象。相比傳統的電影膠片，數位化的電影作品，具有便於攜帶， 便於網絡傳播，存儲方式對環境變化不明感，可大量反覆播放等優點，極大地延長了電影的壽命。但是對於年代久遠的電影作品，其膠片上已經出現了上述退化現象。所以在數位化之後，還要對其進行進一步修復，去除其中的噪聲、劃痕以及斑塊。經過對現有技術的文獻檢索發現，現有的方法是對噪聲、劃痕以及斑塊分別進行處理。相互之間並沒有建立應有的聯繫。例如A. Buades等人在《International Journal of Computer Vision》(計算機視覺國際期刊)第76卷第2期的第123頁至第139頁發表的「Nonlocal image and movie denoising」就只對電影中的噪聲進行了其中分析和去除，並沒有涉及到劃痕和斑塊的修復。另一方面，在對劃痕和斑塊的修復上，現有的方法都依據採用先檢查在修復的策略。例如M. J. Nadenau等人在《Proceedings of the 5th International Workshop onTime-Varying Image Processing and Moving Object Recognition))(第五屆國際時變信號處理和運動目標識別研討會論文集)第27頁至第35 頁發表的「Blotch and scratch detection in image sequences based on rank ordered differences」就是這種策略的代表。事實證明，對於劃痕和斑塊的檢測現有技術並不能達到很好的準確率，從而造成修復的結果不盡人意。要達到良好的檢測效果，必須人工設定適合的參數，導致系統的自動化程度低，效率低。不僅如此，對於採用非參數模型進行信號估計的電影修複方法，其運算複雜度為0 (Nr2)。r為修補使用的塊的大小，N為被檢測為劃痕和斑塊的所以像素點的個數。如果能採用新的方法去除劃痕，那麼N的大小將明顯減少， 有利於提高系統效率。L. Demanet在他的博士畢業論文「Curvelets, wave atoms, and wave equations"(曲小波、波原子以及波動方程)中提出了一種同時具有良好的方向描述和尺度描述的新的變換方法，即波原子變換。該方法克服了傳統小波對於高維信號方向性描述能力弱的問題，結合FFT (快速傅立葉變換)和多尺度分析技術實現了信號頻譜的多尺度多方向劃分。對于震蕩信號，波原子變換可以得到更稀疏的係數，對於具有明顯方向性的信號，波原子變換得到的係數將集中在可預測的係數域中。這促使我們去設計一種新的電影修復系統，以在提高系統的自動化程度並改進修復的效果
發明內容
本發明針對現有技術存在的上述不足，提供一種基于波原子變換和非參數模型的電影自動修複方法，可用於自動修復電影中的噪聲，劃痕和斑塊問題。本發明根據電影中劃痕方向集中在垂直方向上的特性，使用波原子變換可以有效地描述劃痕的特性，將檢測和修復過程結合起來，取得了在修復的效果和實時性上取得了良好的結果。另外，通過對係數增加新的約束，該方法對於噪聲的抑制也具有效果，可以將電影去噪和劃痕修復有機結合。由於抑制了噪聲，使得斑塊的檢測準確率得以提高。更重要的是由於劃痕在之前的處理中得到修復，使用非參數模型只需修復斑塊部分，使得系統的修復時間節約了 70%。本發明是通過以下技術方案實現的，本發明包括以下步驟
權利要求
1.一種基于波原子變換和非參數模型的電影自動修複方法，其特徵在於包括以下步驟第一步、採用運動估計的方法從視頻的N幀圖像序列I中求得前後幀之間的殘差圖像， 即計算當前圖像幀It和前後幀Γ—1，It+1的殘差圖(X1，再通過殘差圖像估計出圖像序列中的噪聲的方差O2;第二步、對第t幀圖像It進行預處理，包括先使用高斯平滑模塊對圖像進行低通濾波， 再使用橫向的Sobel算子對垂直的邊緣和劃痕區域進行粗略的標記，最後使用數學形態學的膨脹算子對標記位置進行擴大，得到矩陣M用於對圖像的平滑區域進行保護；第三步、根據估計的噪聲方差、第t幀圖像It和M採用基于波原子變換的循環嵌套的方法修復劃痕並去除噪聲；第四步、根據幀間和幀內信息對第t幀圖像It中的斑塊進行檢測； 第五步、採用非參數模型對檢測出的斑塊位置進行填補。
2.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，第一步中所述的運動估計，是將Γ分割成8乘8的塊tlj，對每一塊在前後幀中找到最匹配的塊，求得殘差，其中t表示圖像幀序號，t= {1，2，L，N}, (χ, y)為中心像素位置，則殘差圖Rt爐中以(χ，y)為中心的塊爐
3.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，第二步中 所述的高斯平滑模塊G
4.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，第三步中所述的波原子變換，其中波原子為滿足一下條件的函數Ο、
5.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，所述的循環嵌套算法具體包括以下步驟.3. 1)初始化，輸入待處理圖像It = Χ°，區域保護矩陣Μ，噪聲方差ο2，最大迭代次數 Imax，初始量化步距T ；.3.2)在第i步循環中，先求得Χ"波原子正變換的係數6=/(1-1)，選取 Cs = c;(l 16,128 end)\]C\{\l 32,161 end)\JC't(33 .64,577 end)；所述的 C;(α 氏c t/)指 的第a行至第b行，第c列至第d列範圍內的元素； 3. 3)通過下式求得Xi,
6.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，第四步中所述的幀間信息是指對於It中的像素點I (X，y)，若且 K^1(U) > 則認為該點可能是斑塊，標記後得到第一步檢測結果M1
7.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，所述的幀內信息是指若禮(1，y) = 0，則以I(x，y)為中心，在It中取搜索窗口 W，若W 中沒有像素值與I (χ，y)的差值的絕對值在
以內，則認為I (χ，y)為斑塊；所述的斑塊檢測是指通過幀間信息和幀內信息，標記It中認為是斑塊的像素點為零。
8.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，第五步中所述的非參數模型是指根據圖像塊與塊之間的相似性估計待填補的像素值，以待填補像素I (x，y)為中心取8X8的像素塊，其向量表示為X，則I(x，y)的估計值用下式表示
9.根據權利要求1所述的基于波原子變換和非參數模型的電影自動修複方法，其特徵是，所述的採樣窗口是指以待填補像素為中心，半徑10的正方形窗口。
全文摘要
本發明公開一種基于波原子變換和非參數模型的電影自動修複方法，根據電影中劃痕方向集中在垂直方向上的特性，使用波原子變換可以有效地描述劃痕的特性，將檢測和修復過程結合起來，取得了在修復的效果和實時性上取得了良好的結果；另外，通過對係數增加新的約束，該方法對於噪聲的抑制也具有效果，可以將電影去噪和劃痕修復有機結合；根據斑塊在空間域和時域上都不具有連續性的特點，結合了幀間和幀內信息提高了斑塊的檢測準確性，並採用非參數模型對斑塊部分進行修復，最終實現了電影的噪聲、劃痕和斑塊的自動化修復。由於劃痕在之前的處理中得到修復，使用非參數模型只需修復斑塊部分，使得系統的修復時間節約了70%。
文檔編號G06T5/00GK102436641SQ20111030465
公開日2012年5月2日 申請日期2011年10月10日 優先權日2011年10月10日
發明者楊小康, 翟廣濤, 許洪騰 申請人:上海交通大學