一種基於稀疏表示的圖像超解析度重建方法

2023-10-09 15:06:59

一種基於稀疏表示的圖像超解析度重建方法
【專利摘要】本發明涉及一種基於稀疏表示的圖像超解析度重建方法，其步驟包括：1）從輸入圖像序列選出一部分為顯著區域，剩餘部分為非顯著區域；2）根據顯著區域訓練一對顯著字典D'l，D'h，並將該顯著區域通過上下文稀疏分解在低解析度顯著字典D'l上得到顯著稀疏係數；3）根據非顯著區域訓練一對通用字典Dl，Dh，並通過低解析度通用字典Dl進行稀疏分解得到非顯著稀疏係數；4）將稀疏係數與高解析度顯著字典D'h或高解析度通用字典Dh相乘進行率重建，獲得高解析度圖像序列。本發明在傳統稀疏表示超解析度框架基礎上，重點關注圖像內在結構信息，並將此作為先驗模型約束L0-範數問題求解，在保持與傳統稀疏表示方法複雜度相當同時，在主觀和客觀效果上性能都優於其他方法。
【專利說明】一種基於稀疏表示的圖像超解析度重建方法

【技術領域】
[0001] 本發明涉及一種圖像超解析度方法，具體涉及一種基於視覺顯著的上下文稀疏分 解圖像超解析度方法。本發明可以靈活應用於高端多媒體系統的視頻信號格式轉換、視頻 監控感興趣區域放大以及衛星、遙感等領域，屬於圖像超解析度重建領域。

【背景技術】
[0002] 圖像的超解析度重建就是克服成像設備或技術的限制，從單幀低解析度圖像或低 解析度圖像序列重建一個高解析度圖像。其中最常見的方法就是插值。傳統的插值算法如 最近鄰插值、雙線性插值、雙三次插值、Lanczos插值都是假設圖像具有連續性，從而預測高 解析度點的像素值，導致相鄰像素過於相似而產生鋸齒或者模糊，並不能解決超解析度重 建中高頻細節的問題。
[0003] 過完備字典上的信號的稀疏表示是近來比較熱門的領域，它的基本模型是認為自 然信號（包括圖像）可以用一組事先定義的基信號（即字典）的線性組合緊緻表達，其中 線性係數是稀疏的，即係數中大多數元素為0。稀疏係數在滿約束條件的同時還需要非零元 素的個數儘可能少，也就是需要儘可能稀疏，這是對圖像信號的先驗約束。
[0004] 利用稀疏表示的理論來求解圖像超解析度問題，Yang等人提出可以事先分別訓練 對應的高低解析度的字典，將輸入的低解析度圖像用低解析度字典稀疏表示，然後將該稀 疏係數與對應的高解析度字典相乘即可得到高解析度的圖像。這樣通過外部的字典庫可以 彌補圖像超解析度高頻細節不夠的缺陷，突破了傳統的基於插值或正則項約束類方法放大 倍數有限細節信息有限的限制。然而該方法利用通用訓練集學習字典，無法對圖像局部特 徵進行自適應重建。此外，這類方法的先驗模型中事先假定相鄰圖像塊之間是獨立的，忽視 了圖像局部區域的相互依賴關係。


【發明內容】

[0005] 通過分析基於稀疏表示的圖像超解析度方法中存在的字典學習和先驗模型的問 題，本發明對於低解析度的圖像，提出了一個全新的基於視覺顯著的上下文稀疏分解圖像 超解析度方法。在字典學習部分，除了學習通用字典外，視覺顯著區域提取出的圖像樣本用 來訓練顯著字典。在先驗模型的部分，由於視覺顯著區域通常趨於高度結構化，基於上下文 的稀疏分解被用來進一步探索相鄰圖像塊之間的聯繫。
[0006] 為了到達上述目的，本發明的技術方案如下：
[0007] 首先，對輸入低解析度的圖像訓練字典，分別訓練顯著區域的字典和通用字典。訓 練顯著區域的字典前先要檢測和劃分出圖像的顯著區域，人眼觀測時認為圖像上較為顯著 的區域，因為從生理學角度，人眼認為顯著的地方一般是邊緣等結構化的信息，所以考慮視 覺顯著區域的高度結構化特性，認為從顯著區域提取的圖像樣本應該也是高度相關的。因 此學習出的字典應該也是高度適應與圖像的顯著區域的。對於其他的非顯著區域，通用字 典即可滿足需求。然後我們利用最大後驗概率理論，通過考慮當前局部圖像塊和當前塊與 鄰域塊的聯繫來約束公式求解最優稀疏係數，同時，考慮上下文感知的在顯著區域的稀疏 分解，我們可以用總能量表示先驗概率，而與傳統稀疏性約束相比，本發明提出的先驗模型 對空域上下文之間的聯繫給予了更多的權重。
[0008] 本發明具體技術方案如下，一種基於稀疏表示的圖像超解析度重建方法，其步驟 包括：
[0009] 1)從輸入圖像序列選出一部分為顯著區域，剩餘部分為非顯著區域；
[0010] 2)根據所述顯著區域訓練一對顯著字典D'pD'h，並將該顯著區域通過上下文稀疏 分解在低解析度顯著字典D' 1上得到顯著稀疏係數；
[0011] 3)根據所述非顯著區域訓練一對通用字典Dp Dh，並通過低解析度通用字典h進 行稀疏分解得到非顯著稀疏係數；
[0012] 4)將所述非顯著稀疏係數與高解析度通用字典Dh相乘進行重建，將所述顯著稀疏 係數與高解析度顯著字典D' h相乘進行重建，重建後獲得高解析度圖像序列。
[0013] 審講一步，所沭非顯著或顯著豨疏係數
[0014]

【權利要求】
1. 一種基於稀疏表示的圖像超解析度重建方法，其步驟包括： 1) 從輸入圖像序列選出一部分為顯著區域，剩餘部分為非顯著區域； 2) 根據所述顯著區域訓練一對顯著字典D'p D'h，並將該顯著區域通過上下文稀疏分解 在低解析度顯著字典D' 1上得到顯著稀疏係數； 3) 根據所述非顯著區域訓練一對通用字典仏，Dh，並通過低解析度通用字典h進行稀 疏分解得到非顯著稀疏係數； 4) 將所述非顯著稀疏係數與高解析度通用字典Dh相乘進行重建，將所述顯著稀疏係數 與高解析度顯著字典D' h相乘進行重建，重建後獲得高解析度圖像序列。
2. 如權利要求1所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，所述非 顯著或顯著稀疏係數r = argmiilDr||X-Dr|<1，其中，L0-範數項是稀疏 性約束，||Λ-/)「g是數據保真項，X為訓練樣本，為訓練得到的字典，λ為 拉格朗日乘子，Di為字典的第i列。
3. 如權利要求1所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，訓練所 述顯著字典D' 1或D' h需要滿足目標函數： DJ =argminn，f (D?)，
其中，範數項λ 11 Γ I L是稀疏性約束，|pr-/)rg是數據保真項，X為訓練樣本，D' 為訓練得到的顯著字典，λ為拉格朗日乘子，d/為顯著字典的第i列。
4. 如權利要求1所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，訓練顯 著和通用字典時，先初始化稀疏係數Γ，然後更新字典，再迭代更新稀疏係數Γ。
5. 如權利要求3所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，按照如 下方法訓練顯著字典D' ： 1) 採用對比度濾波器在不同的尺度進行濾波操作產生顯著性分布圖，得到圖像各個像 素位置的顯著度，檢測出顯著區域； 2) 將顯著度超過一定閾值的圖像像素劃分到同一個區域，設定該區域為圖像的顯著區 域，劃分出圖像的顯著區域； 3) 從圖像的顯著區域選取圖像塊作為顯著字典的訓練集，從訓練集中提取圖像塊樣 本，建立顯著字典D'。
6. 如權利要求5所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，所述顯 著字典D'需要滿足目標函數： D，=argmi%f(D，），
其中，ΧΩ為在顯著區域提取的圖像塊樣本，X為訓練樣本，入為拉格朗日乘子，Di'為 顯著字典的第i列。
7. 如權利要求1所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，所述顯 著區域通過上下文稀疏分解的總能量： Ε_ 二 Ec (S) + Es (S): -ST(lUSw + b) 其中，(5') = -Σ『=1*Τ，￡s (5') = - A，11矩陣表示當前塊和方向t上鄰域塊用 到的字典基的聯繫，ST表示S的轉置矩陣，EC(S)表示上下文依賴關係的能量，S0t為當前 塊在t方向的鄰域塊的稀疏模式，b=[bi，b2,...，bjT是模型參數。
8. 如權利要求7所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，所述稀 疏豐吳式S滿足最大後驗概率：
其中，γ是低解析度圖像塊X的稀疏係數，ys是一個均值為〇方差為?5的多變量高 斯分布，是對角矩陣，稀疏性模式S作為正則項約束重建出高解析度的圖像塊。
9. 如權利要求8所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，所述低 解析度圖像塊X的稀疏係數Y的稀疏性模式為S e {-1，l}m，Si=l表示γ s尹0, Se-l表 示Ys=〇, Si是第i個圖像塊的稀疏性模式。
10. 如權利要求1所述的基於稀疏表示的圖像超解析度重建方法，其特徵在於，所述輸 入圖像序列為X={Xl，x 2,...，xt}的低解析度圖像序列，所述通用字典A *Dh訓練過程滿足 如下目標函數： D=argminDf (D) /(巧=|ur| + 賽 IIW.IlA. 1。
【文檔編號】G06T5/50GK104103052SQ201310125234
【公開日】2014年10月15日 申請日期:2013年4月11日 優先權日:2013年4月11日
【發明者】楊撒博雅, 白蔚, 劉家瑛, 郭宗明 申請人:北京大學