一種基於鄰域嵌套的圖像超解析度重建方法
2023-04-28 15:23:16 1
專利名稱：一種基於鄰域嵌套的圖像超解析度重建方法
技術領域：
本發明涉及一種圖像超解析度重建方法，尤其涉及一種基於鄰域嵌套的圖像超解析度重建方法，屬於數字圖像增強技術領域。
背景技術：
圖像空間解析度是圖像質量評價關鍵性的一項指標，也是圖像應用中舉足輕重的一個參數，它表示景物信息的詳細程度。然而，目前許多成像系統，如紅外成像儀和CCD照相機等，在採集圖像過程中，受其固有傳感器陣列排列密度的限制，圖像的解析度不可能很高；同時欠採樣效應又會造成圖像的頻譜交疊，使獲取的圖像因變形效應而發生降質。 如果採用增加傳感器陣列採樣密度的辦法來提高圖像解析度和消除變形效應，可能會付出昂貴的代價或者面臨很難克服的技術困難。因此從軟體方面著手來提高圖像解析度有著極大的現實意義和應用價值，解決這一問題的一個有效辦法就是採用超解析度(Super Resolution, SR)重建技術，即通過一序列低解析度(Low Resolution, LR)變形圖像來估計高解析度(High Resolution,HR)的非變形圖像。近年來，超解析度重建技術已成為圖像處理領域的一個研究熱點，廣泛應用於遙感、醫學成像和軍事等多個領域，並且取得了較為豐碩的成果。在低解析度圖像序列的幀數較少以及解析度提高倍數較大的情形下，低解析度圖像序列所能提供的互補性樣本信息相對有限，不足以使超解析度重建算法恢復更多的高頻信息。這種情況下關於圖像本身的先驗知識就顯得非常重要。除了傳統MRF統計先驗模型和正則空間幾何圖像模型能夠提供圖像的先驗信息，另一種重要方法就是通過神經網絡技術進行學習訓練得到。基於學習的超分辨(example-based SR)重建研究的主要思想是，通過學習已有的高解析度圖像序列獲取先驗信息進而提高解析度。正是由於基於學習的超解析度重建方法不需要太多的圖像先驗知識，因而得到進一步發展。文獻(IEEE Transaction on Image Processing, 17(6) :873-886)提出一個魯棒的全局人臉空間模型以得到人臉超解析度圖像細節，其缺點是該種方法只能應用於某些特定的圖像，比如人臉圖像等。文獻(IEEE Transaction on Image Processing, 16 (6) 1596-1610)運用支持向量回歸學習的方法研究低解析度圖像與高解析度圖像的DCT(離散餘弦變換)係數的關係，進而進行超解析度重建，這個方法具有一定的普遍性，但是也存在一個問題，即需事先假設如高斯分布、DCT係數等較強的先驗知識。文獻(Proceeding of IEEE Conference on Computer Vision and Pattern Recognition，Minnesota，USA，2007， 1-8)引入軟邊緣平滑先驗知識，並結合阿爾法摳圖技術進行彩色圖像的超解析度。其缺點是如果先驗參數選擇不準確，將導致過度平滑甚至導致重建圖像模糊。鄰域嵌套超解析度重建方法是基於學習的超解析度方法中重要的一個分支，近年來取得了豐碩的研究成果。鄰域嵌套算法的主要原理為將訓練的低分辨圖像和重建低分率圖像分別對應分塊，並得出重建低解析度圖像分塊與多個訓練低解析度圖像分塊的對應關係，並將對應關係應用於訓練的高解析度圖像分塊與重建的高分辨圖像分塊之中，藉此得出重建的高分辨圖像。文獻(Proceeding of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington, DC, USA, 2004, 275-282)注意至Ij 低解析度和高解析度圖像相對應的分塊具有相似的局部幾何特徵，對低解析度和高解析度圖像進行相似性對應分塊，提出了基於鄰域嵌套的超解析度重建算法(Super-Resolution through Neighbor Embedding, SRNE)，在該方法中，高解析度測試圖像分塊用一組經過優化加權的高解析度訓練圖像分塊來表示。實驗表明該方法在保持圖像形狀，減少人工痕跡方面優於Freeman算法，但是，這種方法沒有深入研究圖像屬性，比如圖像邊緣，以及鄰域尺寸等，因此其性能和訓練圖像的選擇密切相關。文獻(Proceeding of IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 2007, 201-205)提出一種基於鄰域嵌套的圖像聯想方法，這也是由SRNE演化而來，該方法將最大濾波響應作為特徵進行提取，但是由於其中的高頻分量條件獨立於中，低頻分量，因此該算法在保持鄰域信息方面仍然非常欠缺。綜上所述，現有的基於學習的超解析度方法主要存在如下問題①超解析度重建計算時間消耗過大實時性是超解析度重建的重要技術指標，其將影響超解析度重建技術在安全監控、高畫質電視等諸多領域的應用，而現有算法需要經過分塊，訓練，重建，拼接等步驟，計算量相當大，實時性較差，這勢必影響了超解析度技術的推廣應用。而提升超解析度技術實時性的有價值的成果並不多見，有待更多的深入研究。②訓練集和測試集圖像選擇過於簡單，沒有考慮圖像實際退化情況訓練集圖像過於簡單，如SRNE、NeedFS等算法，其訓練集中的低解析度圖像，是通過高解析度圖像簡單的採樣所得，且一幅高解析度訓練圖像只對應一幅低解析度訓練圖像，且對實際中圖像退化的模糊過程和仿射變換過程沒有任何的考慮，這勢必對重建的效果產生消極的影響。
發明內容
本發明所要解決的技術問題在於克服現有基於學習的圖像超解析度重建技術所存在的重建計算時間過大，實時性差的缺陷，提供一種基於鄰域嵌套的圖像超解析度重建方法。本發明採用以下技術方案解決上述技術問題一種基於鄰域嵌套的圖像超解析度重建方法，包括以下步驟步驟1、將高解析度訓練圖像經退化處理，轉變為L幅低解析度圖像，L為大於1的整數；步驟2、分別將得到的L幅低解析度圖像以及低解析度測試圖像進行鄰域嵌套分塊，並進行特徵提取，得到低解析度訓練圖像分塊及低解析度測試圖像分塊；步驟3、將低分辨訓練圖像分塊和低解析度測試圖像分塊進行離線訓練，得到自適應權值係數，並送入一個包含U個子預測器的分類預測器，U為分塊數；步驟4、將高解析度訓練圖像進行鄰域嵌套分塊，並將高解析度訓練圖像分塊送入分類預測器中，根據相應的自適應權值係數進行計算，得到最終的高解析度測試圖像。所述步驟3具體包括以下各子步驟
步驟301、用L2範數得出與第i個測試圖像分塊y丨最接近的V(V < U)個訓練圖像分塊，即4=|y;_ys"||2根據Lij的大小，依次選出V個與y丨最接近的訓練集圖像分塊，記為yi』v;步驟302、 對於測試集中的第i分塊yl·令
Vmin S1 S1 =y；-^
ν=1Oi,u為第i分塊自適應優化權值，解出上式的最小化問題，然後即可求出高解析度測試圖像分塊,如下:ζ丨=Σ(約
Zt 『v=l其中，《』v為與y『相對應的第i個高解析度訓練圖像分塊；步驟303、將所有可能的權值組合送入分類預測器中相應的子預測器。進一步地，所述退化處理是指使用模糊化、運動變換、採樣、加入噪聲這四種處理方法中的一種或多種對圖像進行處理。進一步地，所述特徵提取是指先分別提取至少兩個特徵，然後將提取出的特徵進行融合。本發明利用離線方式構建了一個包含多個子預測器的分類預測器，並使用該分類預測器進行在線超解析度圖像重建，節省了傳統方法在計算優化權值時所需的大量計算時間，有效提高了超解析度圖像重建的實時性。本發明還通過多特徵融合以及與實際情況貼近的退化模型，進一步提高了超解析度圖像的重建質量。對於隨機的遙感圖像處理、醫學視頻處理、軍事安全監控系統開發等方面，都具有重要的理論和實際意義。
圖1為本發明具體實施方式
中多特徵融合的特徵提取方法原理示意圖；圖2為本發明具體實施方式
中分類預測器離線訓練流程圖；圖3為本發明的圖像超解析度重建方法流程圖；圖4為實驗所使用的訓練和測試圖像；圖5為實時性對比實驗結果。
具體實施例方式下面結合附圖對本發明的技術方案進行詳細說明本發明的圖像超解析度重建方法，包括以下步驟步驟1、將高解析度訓練圖像經退化處理，轉變為L幅低解析度圖像，L為大於1的整數；通常基於鄰域嵌套的SR重建算法，都是選擇一幅HR圖像和對應的一幅LR圖像作為訓練圖像，並且訓練集中的LR圖像是通過HR圖像經過簡單採樣得到的，這並沒有考慮到圖像退化模型，並且簡單的採樣並不能準確描述現實中HR圖像的退化(或者降質)過程， 因此將影響圖像重建效果。
本發明將訓練集擴大，令ZS為HR訓練圖像，Y丨為Zs經過模糊化、運動變換、採樣以及加入噪聲因素，退化成的第k幅(k= 1，2，L，L)LR圖像。即有Y，= DBiMiZs + η,，1 彡 k 彡 L(1)上式模型中，Yf為第k幅mXn的LR觀測圖像窮經字典排序後組成的NX 1 (N = mn)的向量，如果T1和巧分別為水平和垂直方向的下採樣因子，那麼，ZsSr1HiXr2IimHR 訓練圖像式經字典排序後形成的rir2NX 1的向量，Mk為rir2NXrir2N的仿射變換矩陣，Bk為 I^r2NXrir2N的模糊矩陣，D為NXrj2N下採樣矩陣，nk為NX 1的高斯白噪聲向量。步驟2、分別將得到的L幅低解析度圖像以及低解析度測試圖像進行鄰域嵌套分塊，並進行特徵提取，得到低解析度訓練圖像分塊及低解析度測試圖像分塊；將Y丨分割成U個大小為sXs的小塊，組成塊集合(k = 1，2丄丄)，乂"表示第 k幅LR訓練圖像的第i小塊，相鄰的塊之間有1或2個像素點重合，同樣，將Zs分割成相對應的U個大小Sr1SXr2S的小塊，同樣相鄰的塊之間根據水平方向和垂直方向分別有ri，r2 或者2ri，2r2個像素點重合，組成塊集合{ζ丨丨，{<』'}和{ζ丨丨對於參數i是一一對應的關係； 同樣，將第k幅LR測試圖像Yf (k= 1，2，L，L')也通過同樣的方法進行分塊，組成塊集合Rl。本發明在進行特徵提取時，採用了多信息融合的特徵提取方法，即提取梯度信息與灰度信息並進行特徵融合，有效降低圖像噪聲、銳化圖像邊緣。其原理如附圖1所示，具體按照以下方法首先，提取圖像分塊的亮度特徵，將原始圖像分塊轉化為標準亮度分塊，標準亮度的計算公式如下，
權利要求
1.一種基於鄰域嵌套的圖像超解析度重建方法，其特徵在於，包括以下步驟步驟1、將高解析度訓練圖像經退化處理，轉變為L幅低解析度圖像，L為大於1的整數；步驟2、分別將得到的L幅低解析度圖像以及低解析度測試圖像進行鄰域嵌套分塊，並進行特徵提取，得到低解析度訓練圖像分塊及低解析度測試圖像分塊；步驟3、將低分辨訓練圖像分塊和低解析度測試圖像分塊進行離線訓練，得到自適應權值係數，並送入一個包含U個子預測器的分類預測器，U為分塊數；步驟4、將高解析度訓練圖像進行鄰域嵌套分塊，並將高解析度訓練圖像分塊送入分類預測器中，根據相應的自適應權值係數進行計算，得到最終的高解析度測試圖像。
2.如權利要求1所述基於鄰域嵌套的圖像超解析度重建方法，其特徵在於，步驟3具體包括以下各子步驟步驟101、用L2範數得出與第i個測試圖像分塊y丨最接近的V(V < U)個訓練圖像分塊，即 根據Lij的大小，依次選出V個與y丨最接近的訓練集圖像分塊，記為yi』v; 步驟102、對於測試集中的第i分塊y丨，令 ω「為第i分塊自適應優化權值，解出上式的最小化問題，然後即可求出高解析度測試圖像分塊,如下:ζ丨=Σ(約 其中，《為與力v相對應的第i個高解析度訓練圖像分塊；步驟103、將所有可能的權值組合送入分類預測器中相應的子預測器。
3.如權利要求1所述基於鄰域嵌套的圖像超解析度重建方法，其特徵在於，所述退化處理是指使用模糊化、運動變換、採樣、加入噪聲這四種處理方法中的一種或多種對圖像進行處理。
4.如權利要求3所述基於鄰域嵌套的圖像超解析度重建方法，其特徵在於，所述退化處理是指根據如下退化模型對圖像進行模糊化、運動變換、採樣以及加入噪聲處理式中，Y，為第k幅低解析度訓練圖像經字典排序後組成的向量，k = 1，2，L，L ;ZS為高解析度訓練圖像經字典排序後形成的向量；Mk為仿射變換矩陣；Bk為模糊矩陣；D為下採樣矩陣；nk為噪聲向量；d為預先設定的訓練集低解析度圖像的個數。
5.如權利要求1-4任一項所述基於鄰域嵌套的圖像超解析度重建方法，其特徵在於， 所述特徵提取是指先分別提取至少兩個特徵，然後將提取出的特徵進行融合。
6.如權利要求5所述基於鄰域嵌套的圖像超解析度重建方法，其特徵在於，所述特徵提取是指先分別提取亮度特徵和邊緣特徵，然後將亮度特徵和邊緣特徵進行融合。
全文摘要
本發明公開了一種基於鄰域嵌套的圖像超解析度重建方法，屬於數字圖像增強技術領域。本發明利用離線方式構建了一個包含多個子預測器的分類預測器，並使用該分類預測器進行在線超解析度圖像重建，節省了傳統方法在計算優化權值時所需的大量計算時間，有效提高了超解析度圖像重建的實時性。本發明還通過多特徵融合以及與實際情況貼近的退化模型，進一步提高了超解析度圖像的重建質量。對於隨機的遙感圖像處理、醫學視頻處理、軍事安全監控系統開發等方面，都具有重要的理論和實際意義。
文檔編號G06T5/00GK102243711SQ201110171899
公開日2011年11月16日 申請日期2011年6月24日 優先權日2011年6月24日
發明者周大可, 唐庭閣, 楊欣, 費樹岷, 郭愛群 申請人:南京航空航天大學