基於遺傳算法和正則先驗模型的圖像超分辨重建方法

2023-09-19 07:51:45 1

基於遺傳算法和正則先驗模型的圖像超分辨重建方法
【專利摘要】本發明公開一種基於遺傳算法和正則先驗模型的圖像超分辨重建方法，主要解決現有方法重建結果質量差的問題。其實現步驟是：(1)從自然圖像中學習一組子詞典；(2)獲取低分辨圖像LR插值放大3倍後的高解析度圖像Xs的亮度分量估計X；(3)構造初始種群；(4)計算每個個體的適應度值；(5)對父代種群中個體進行選擇和複製；(6)對父代種群個體依次進行交叉和變異；(7)重複步驟(5)-(6)共20次，得到最優解X'；(8)用正則先驗模型對X'進行局部優化；(9)重複步驟(3)-(8)共4次，得到高分辨圖像亮度分量X2，最終合成高解析度圖像。本發明能很好的保持圖像邊緣和紋理信息，可用於圖像識別以及目標分類。
【專利說明】基於遺傳算法和正則先驗模型的圖像超分辨重建方法

【技術領域】
[0001] 本發明屬於圖像處理【技術領域】，具體是一種圖像超分辨重建方法，用於各種自然 圖像的超分辨重構。

【背景技術】
[0002] 在實際應用中，由於成像設備能力的限制和複雜工作環境條件的影響，不容易直 接獲得所需要解析度的高品質圖像。圖像超分辨重建SR技術突破了成像設備和環境的限 制，從低解析度觀測圖像中恢復出圖像獲取時丟失的高頻信息，重建出一幅高解析度的圖 像。因而SR在視頻、遙感、醫學和安全監控等領域都具有十分重要的應用前景，一直是圖像 科學研究及其工程應用的熱點。
[0003] 目前圖像超分辨技術主要分為三種類型：基於插值的方法、基於重構的方法和基 於學習的方法；其中：
[0004] 基於重構的方法，主要是引入圖像先驗知識來對高分辨圖像細節進行估計，然而， 這些先驗知識，通常只有利於抑制噪聲和保持邊緣。此外，對於大的放大倍數，這些先驗知 識不能有效地重建圖像的細節。
[0005] 基於學習的算法，需要構造低解析度和高解析度的圖像樣本庫，通過學習樣本庫 得到低解析度圖像和高解析度圖像的內在聯繫，從而指導圖像超解析度重建，不受放大倍 數的限制。
[0006] 到目前為止，人們提出了很多基於學習的超分辨重建方法。Freeman提出了基於 圖像樣本學習的圖像超分辨方法，訓練集採用普通自然界圖像，起到了開創性作用。隨後， Chang、Sun等人在Freeman方法的基礎上，建立了不同的學習模型。Yang等人將信號處理 方法一稀疏表示應用到圖像超分辨，學習過完備字典，認為高解析度圖像和相應的低分辨 率圖像塊之間具有相同的稀疏表示係數。Dong等提出了自適應稀疏域ASDS，從含有豐富邊 緣和結構信息的實例圖像塊中學習過完備字典，同時引入AR和NLM來增強圖像的結構和邊 緣信息。基於稀疏表示的學習算法成為單幅圖像超解析度領域的一個研究熱點。目前超分 辨率圖像重建基本上是基於重建、學習或者兩者的結合。但是這樣只會讓待估的高解析度 圖像根據特定條件進行變化，限制了解的搜索範圍，使解缺乏多樣性。
[0007] 遺傳算法是1962年由美國Holland教授提出的一種新型的、模擬生物進化機制的 隨機化搜索和優化的方法。它將"優勝劣汰，適者生存"的生物進化原理引入優化參數形成 的編碼串連群體中，按所選擇的適配值函數得出每個個體的適配值，並通過遺傳中的複製、 交叉及變異對個體進行篩選，使適配值高的個體被保留下來，組成新的群體，新的群體既繼 承了上一代的信息，又優於上一代。由於其具有健壯性，特別適合於處理傳統搜索算法解決 不好的複雜的和非線性問題。以遺傳算法為核心的進化算法已於模糊系統理論、人工神經 網絡等一起成為計算智能研究中的熱點，受到許多學科的共同關注。近年來也出現過使用 遺傳算法來重建超分辨圖像的方法，但是由於沒有圖像的任何紋理和邊緣信息的指導，使 得到的待估高解析度圖像的隨機性太大，影響圖像的重建效果。


【發明內容】

[0008] 本發明的目的在於針對上述方法不足之處，提出了一種基於遺傳算法和正則先驗 模型的圖像超分辨重建方法，以更好地恢復出圖像的紋理和邊緣信息，提高圖像的重構效 果。
[0009] 實現本發明的技術思路是：將待估計圖像通過遺傳算法進行全局搜索，增加解的 多樣性，再將最優解用正則先驗模型進行指導優化，實現局部搜索。其具體步驟包括如下：
[0010] (1)輸入n幅自然圖像，n彡5,從這n幅自然圖像中獲取含有大量的邊緣和結構 信息的圖像塊，採用K-means將這些圖像塊分成K類，使用主成分分析PCA從每類中獲得一 個子子典①k;
[0011] (2)輸入低分辨圖像LR，使用bicubic插值將其放大3倍，得到高解析度圖像的初 始估計Xs，並將高解析度圖像的初始估計Xs從紅綠藍RGB空間轉換到YCbCr顏色空間，得 到高解析度圖像的亮度分量初始估計Y、藍色色度分量估計Cb和紅色色度分量估計Cr，其 中亮度分量初始估計Y用X來表示，X是一個sXr的矩陣，s是矩陣的行數，r是矩陣的列 數；
[0012] (3)將X中的所有元素以自身元素值為中心，在[-8, 8]範圍內上下隨機浮動一個 值，得到一個染色體矩陣，重複多次，得到N-1個矩陣，這些染色體矩陣與未浮動前的X矩陣 一起就構成了遺傳算法的初始種群；
[0013] (4)定義適應度函數為：Fi=lAEi+e)，

【權利要求】
1. 一種基於遺傳算法和正則先驗模型的圖像超分辨重建方法，包括如下步驟： (I) 輸入n幅自然圖像，n彡5,從這n幅自然圖像中獲取含有大量的邊緣和結構信息 的圖像塊，採用K-means將這些圖像塊分成K類，使用主成分分析PCA從每類中獲得一個子 子典①k; ⑵輸入低分辨圖像LR，使用bicubic插值將其放大3倍，得到高解析度圖像的初始估 計Xs，並將高解析度圖像的初始估計Xs從紅綠藍RGB空間轉換到YCbCr顏色空間，得到高 解析度圖像的亮度分量初始估計Y、藍色色度分量估計Cb和紅色色度分量估計Cr，其中亮 度分量初始估計Y用X來表示，X是一個sXr的矩陣，s是矩陣的行數，r是矩陣的列數； (3) 將X中的所有元素以自身元素值為中心，在[_8,8]範圍內上下隨機浮動一個值，得 到一個染色體矩陣，重複多次，得到N-1個矩陣，這些染色體矩陣與未浮動前的X矩陣一起 就構成了遺傳算法的初始種群； (4) 定義適應度函數為# =lAEi+e)，
i= 1，2,…，N，Y為LR圖 像的亮度分量，H為高斯模糊算子，D為下採樣算子，e為大於零任意小的數； (5) 利用適應度函數計算當前種群中每個個體的適應度值； (6) 保留當前種群中適應度值最高的個體，計算除適應度值最高的個體外的其他個體 的選擇概率
i= 1，2,…，N，依照每個個體的選擇概率，對這些個體進行複製； (7) 採用算術交叉方式對複製的個體進行交叉操作產生新個體； (8) 將新個體的所有像素值在[_8, 8]這個範圍內進行一次上下隨機浮動，得到變異後 的個體，產生新的種群； (9) 將（5)-(8)步驟重複20次，得到亮度分量估計的最優解X' ； (10) 利用正則先驗模型對亮度分量估計的最優解X'進行局部優化； (II) 重複步驟（3)_(10)共4次，得到最終的高分辨圖像亮度分量X2; (12)將得到的高分辨圖像亮度分量X2與高解析度圖像藍色色度分量估計Cb和紅色色 度分量估計Cr，合成最終的彩色高解析度圖像。
2. 根據權利要求1所述方法，其中步驟（10)所述的利用正則先驗模型對亮度分量估計 的最優解X'進行局部優化，按如下步驟進行： (l〇a)將非局部正則項和全變差正則約束項引入到單幅超分辨問題中，利用下式對X' 進行局部優化：
式中的第一項為保真項，第二項12範式項是非局部相似正則項，第三項^範式項是全 變差正則約束項，其中是後驗清晰圖像的亮度分量估計，Y為LR圖像的亮度分量，H為高 斯模糊算子，D為下採樣算子，I是sXr單位矩陣，s是矩陣的行數，r是矩陣的列數，y是 非局部相似正則項的權重常數，取值為0.04,A是全變差正則約束項的權重係數，取值為 0.03,W是非局部均值NLMs的相似權重矩陣，該權重矩陣中的元素計算如下：
Wy是W中第i行、j列的元素，其表示圖像塊兄i'與圖像塊之間的相似度，Pi表 示與/?,倉相似索引圖像塊的集合，氏是從圖像/中獲取以i元素為中心的圖像塊的操作 算子，h是平滑參數，取值為10,G是高斯矩陣，圖像塊的大小為7X7,非局部窗的大小為 13X13 ； (l〇b)用梯度下降法求解式《1》，得第一步迭代後的後驗清晰圖像的亮度分量估計
式《3》中，t是迭代的次數，Sx和Sv是像素在行、列方向上的移動算子，sign〇是符號 函數，Vf(n是矩陣的一階導數，的初始估計是X'; (l〇c)利用基於自適應稀疏域選擇ASDS的稀疏表示的方法，獲得第二步迭代後的後驗 清晰圖像的亮度分量估計:
式中％是第i個圖像塊對應的子字典，S是圖像塊的個數，氏是一個從f(^2>中獲得 圖像塊貧+V2)的算子，麼是最後求解出的圖像塊貧+V2)的稀疏表示的係數； 為了方便表示，使用" "算子來表示式《4》：
〇是所有子字典l〇k}的連結，6是所有&的連結，在的計算如下：
〇是所有子字典l〇k}的連結，a是所有ai的連結，ai表示圖像塊於的稀疏表 示的係數，a^是?*,的第j個原子的相關係數，^，」是a^的權重係數，S是圖像塊的個 數，n是圖像塊的大小，利用迭代閾值收縮算法ISTA來求解出& ; (10d)將（10b)、（10c)重複200次，得到對X'局部尋優後的亮度分量估計X3。
3.根據權利要求1所述方法，其中步驟（7)所述採用算術交叉方式對複製的個體進行 交叉操作產生新個體，通過如下公式進行：
式中，a是[0, 1]之間的隨機數，t是遺傳算法的進化代數，x丨和Z是根據交叉概率從 複製的個體中選擇出的兩個個體，x;+1和乂+1是交叉後的兩個新個體。
【文檔編號】G06T5/50GK104408697SQ201410570934
【公開日】2015年3月11日 申請日期:2014年10月23日 優先權日:2014年10月23日
【發明者】李陽陽, 焦李成, 李亞肖, 馬文萍, 尚榮華, 馬晶晶, 楊淑媛, 侯彪 申請人:西安電子科技大學