基於球面像差混疊觀測的超解析度成像方法
2023-05-18 14:56:06 3
專利名稱：基於球面像差混疊觀測的超解析度成像方法
技術領域：
本發明屬於圖像處理技術領域，特別涉及一種低採樣陣列下的超分辨圖像成像方法，主要應用於在小規模採樣陣列下圖像的獲取和高分辨重建。
背景技術：
隨著現代社會的信息化進程，對海量信息的有效獲取、壓縮、編碼和傳輸提出了越來越高的要求。超分辨圖像的獲取就是其中一個廣受關注的問題。通常人們解決該問題的思路是從工藝製造和系統設計的角度提高信號處理系統的硬體規模和密集度。例如瑞士 Seitz Phototechnik AG公司2010年已經製造出了解析度高達1. 6億的超高解析度的相機。然而，為了達到高解析度，該相機的體積大得驚人，其成本也讓人望而卻步。傳感器陣列製造工藝上的限制已成為提高解析度的瓶頸。
另一種超分辨的方法是通過一幅和幾幅低解析度的圖像通過插值等超分辨算法重建高分辨圖像。傳統通過一幅圖像的超分辨算法由於採樣信息的大量缺失和不能有效利用採樣信息，超分辨重構圖像的質量往往不能令人滿意；而通過多幅低解析度圖像融合實現超分辨的方法則很顯然依賴於數據採集量，不能實現降低採樣要求和增加數據壓縮率的要求。
與此同時，近幾年在學術界有了長足發展的壓縮感知(Compressive Sensing,CS) 理論從完全相反的角度給出這個問題可能的解決辦法。壓縮感知最核心的概念在於試圖從原理上降低對一個信號進行測量的成本。事實證明，實際存在的信號大多都在某些變換域存在著稀疏表示，也就是說信號實際攜帶的信息通常遠遠小於信號的實際維數，這也就為信號的壓縮採樣、存儲和傳輸提供了巨大的空間。
目前國際已經出現了一些基於壓縮感知理論的成像器，例如有名的Rice大學的單像素照相機。該相機只有一個光學傳感器，通過數字微鏡晶片DMD隨機反射從物體投射過來的光線以實現隨機混疊採樣。然而包括這套裝置在內的這些基於壓縮感知的成像器採用了極其複雜的光學系統和控制邏輯，成本昂貴，難以實用化。另一種由Maryland大學提出的壓縮感知成像器結構則通過設計一種具有模擬計算能力的光電傳感器陣列實現混疊採樣。該設計結構的體積比較小，光學系統比較簡單，但硬體電路的成本比較昂貴，對模擬器件的性能要求很高。
發明內容
本發明目的在於發揮壓縮感知理論重構稀疏信號能力的優勢，並克服傳統壓縮感知技術的不足，提供一種基於球面像差混疊觀測的超解析度成像方法，以減小目前國際上基於壓縮感知的成像器在系統裝置規模、操作程序和重構時間上的複雜度和成本，實現高分辨成像系統的小型化和實用化。
本發明是這樣實現的 一.技術原理 本發明的理論基礎是壓縮感知CS理論。壓縮感知理論證明了如下命題若信號在 Ψ域內有稀疏表示，Φ為一個mXn(m<<n)的採樣矩陣，如果採樣矩陣和信號的稀疏性滿足一定的條件，則求解以下的1-範數優化問題 rnin ^，s. t. φ Ψ θ = y，其中θ為信號的稀疏表示，y為觀測值， 得到信號的稀疏表示係數θ，再做稀疏域變換χ = Ψ θ，即可比較精確地重構出原始信號。
根據近期國際上的理論研究，該稀疏優化問題的目標函數還有其他多種可行的變種。本發明的重點在於構造一種既滿足CS可解性條件又易於物理實現的觀測矩陣。據CS 理論，可解的觀測矩陣要滿足RIP (Restricted Isometry Property)條件，或者是與所選的稀疏基矩陣不相關。直觀上說觀測矩陣中的係數分布比較稠密，但又沒有明顯規律性的不規律強混疊觀測比較利於圖像的重構。
本發明利用球透鏡成像中的球面像差這一效應實現不規律的強混疊觀測。基於這一效應的成像系統的實現非常簡單，只需用一個特殊加工的大曲率球面透鏡替代普通相機中的薄透鏡即可實現。根據光學定律，點光源發出的光線通過球面透鏡折射後實際並不嚴格聚焦於一點，而是會形成一個發散對稱的光斑，如圖2所示。根據光學實驗的結果，當成像系統的瞳距焦距比大於1/10時，該效應會比較明顯，使得像平面上的光強信號不均勻地分散分布在一個較大的平面內。這使得在像平面上任一點放置的傳感器將接收到來自不同光源點的非均勻混疊信號。各個光源點的混疊係數，也就是CS理論中採樣矩陣Φ的取值， 則可以通過光學系統的衝擊響應函數來確定，而該衝擊響應函數既可通過幾何光學的方法進行推導計算，也可通過精密測量實驗的方法測得。
二.技術方案 根據上述原理，實現本發明目的技術步驟包括如下 (1)採用瞳徑焦距比大於1/10的球狀透鏡或透鏡組搭建光學系統，使光學系統的點擴散函數具有接近低分辨CCD陣列大小的空間分布範圍和徑向隨機性，並保證光學系統在有效成像範圍內的線性移不變特性； (2)測量點擴散函數在高解析度下的像素數值； (3)對光學系統的點擴散函數循環位移構成一個行數小於列數的循環矩陣，記為採樣矩陣Φ ； (4)利用上述設計的光學系統及後端的低解析度CCD陣列，對成像物體進行一次曝光和採樣量化，得到低解析度的混疊圖像，將其向量化，得到混疊圖像向量y，並將該混疊圖像向量y作為圖像的壓縮編碼進行存儲或傳輸； (5)在圖像解碼端，利用壓縮感知理論從混疊圖像向量y中計算出成像物體的超分辨圖像設該高分辨圖像在ψ域稀疏，求解ι-範數優化式min 1 =ΣΙ^Ι' s. t. Φ ψ Θ
i
=y，得到超分辨圖像的稀疏表示θ，並將該稀疏表示反變換至空間域χ = Ψ θ，即得到所求的超分辨圖像。
本發明具有如下優點 (1)系統結構簡單，體積小。
由於本發明的光學系統僅由一個大曲率光學透鏡或透鏡組構成，佔據體積小，與普通民用相機所用的光學系統的空間體積相當，遠小於Rice大學單像素相機中的DMD光學系統。
(2)製作成本低。
由於本發明是利用球面像差效應實現混疊，因而在製造時不需要考慮球面像差的補償，而普通相機的光學鏡頭在製造時需要考慮球面像差效應的補償，因此製作成本大於本發明中所使用的光學系統。同時由於本發明中的傳感器端是一個普通的低解析度CCD陣列，相比於Maryland大學的成像器結構具有複雜的傳感器模擬計算電路，本發明後端電路的成本明顯較低； (3)圖像精度高。
相比於其他不使用壓縮感知的單次採樣超分辨成像的方法，本發明基於壓縮感知理論，在混疊採樣的過程中能夠保留一般採樣方式無法保留的高分辨信息，從而其超分辨成像質量高於不使用壓縮感知的單次採樣超分辨成像方法。
(4)圖像重構速度快。
相比於傳統的壓縮感知觀測——重構模型，本發明由於具有其觀測矩陣是循環矩陣的特殊性質，可以採用一種結合FFT的快速算法進行求解高分辨圖像，因而圖像超分辨重構速度快於現有的基於壓縮感知的成像方法。
圖1為本發明的成像過程示意圖； 圖2為本發明使用的球面像差效應的光路示意圖； 圖3為本發明中的超解析度成像儀結構示意圖以及成像光路； 圖4為本發明中光學系統線性移不變特性的示意圖； 圖5為本發明中光學系統點擴散函數的測量實驗結果； 圖6為本發明與雙線性插值重建超解析度圖像的仿真結果對比圖。
具體實施例方式參照圖1，本發明的成像步驟如下 步驟1，製作具有明顯球面像差效應的光學透鏡或透鏡組，使光學系統的點擴散函數具有接近低分辨CCD陣列大小的空間分布範圍和徑向隨機性，並保證光學系統在有效成像範圍內的線性移不變特性。例如採用瞳徑焦距比大於1/10的單個球狀透鏡，或者採用幾個球狀透鏡順序共軸放置得到的透鏡組，透鏡組的透鏡間距、各透鏡的曲率設計可通過專業仿真軟體得到。
平行光通過拋物面透鏡後可以精確聚焦於一點，而通過球面透鏡後並不精確聚焦於一點。傳統照相機採用薄球面鏡成像，通過薄球面鏡的近軸平行光可近似認為聚焦於一點。而本發明中的光學透鏡是一個大曲率的球透鏡，物平面上一點發出的光線並不匯聚於一點，而發生散焦現象，該現象稱為球面像差效應，如圖2所示，其中圖2(a)表示拋物面透鏡的精確聚焦光路，圖2(b)表示薄球鏡的近似聚焦光路，圖2(c)表示大曲率球鏡由於球面像差效應產生散焦的光路。
由於球面像差所形成的光斑圖樣稱作光學系統的點擴散函數，如圖5所示。由於上述的球面像差效應，在透鏡後任意一點接收到的光強信號不再只包含物平面式一個像素點的信息，而是物平面上多個點信息的混疊值。正是由於這種有效的信息混疊使我們可以通過超分辨算法從低解析度傳感器陣列獲得的信息中恢復出超解析度的圖像信息。
圖4說明了單個大曲率球透鏡所構成的光學系統具有線性移不變特性。由於該成像系統獲取的信號是非相干光束的光強信息，不涉及相位問題，因此系統滿足疊加性和其次性。為證明系統的移不變特性，考慮光束傾斜照射的情況，假設透鏡部分產生相同角位移，顯然在像平面上所成的模糊圖像也將產生相應比例的位移，也就是說滿足移不變性質。 而實際情況是透鏡在成像過程中並未產生角位移，通過分析透鏡部分在有角位移和沒有角位移情況下通過透鏡的能量差值E得到E的上界估計為
權利要求
1.一種基於球面像差光學混疊觀測的超解析度成像方法，其特徵在於(1)採用瞳徑焦距比大於1/10的球狀透鏡或透鏡組搭建光學系統，使光學系統的點擴散函數具有接近低分辨CCD陣列大小的空間分布範圍和徑向隨機性，並保證光學系統在有效成像範圍內的線性移不變特性；(2)測量點擴散函數在高解析度下的像素數值；(3)對光學系統的點擴散函數循環位移構成一個行數小於列數的循環矩陣，記為採樣矩陣Φ ；(4)利用上述設計的光學系統及後端的低解析度CCD陣列，對成像物體進行一次曝光和採樣量化，得到低解析度的混疊圖像，將其向量化，得到混疊圖像向量y，並將該混疊圖像向量y作為圖像的壓縮編碼進行存儲或傳輸；(5)在圖像解碼端，利用壓縮感知理論從混疊圖像向量y中計算出成像物體的超分辨圖像設該高分辨圖像在Ψ域稀疏，求解1-範數優化式
y，得到超分辨圖像的稀疏表示θ，並將該稀疏表示反變換至空間域χ = Ψ θ，即得到所求的超分辨圖像。
2.如權利要求1所述的超解析度成像方法，其中的透鏡組，是將幾個球面透鏡順序共軸放置在一起。
3.如權利要求1所述的超解析度成像方法，其中步驟2所述的測量點擴散函數在高解析度下的像素數值，通過採用以下方法中任何一種獲得一是通過光學定律理論計算得到點擴散函數二是通過CodeV，Zemax專業光學仿真軟體進行光線追跡仿真得到點擴散函數； 三是通過實際測量實驗方法得到點擴散函數。
4.如權利要求3所述的超解析度成像方法，其中所述通過光學定律理論點計算擴散函數在高解析度下的像素數值，是針對光學部分是單球面透鏡的情況，按如下步驟計算首先，計算物平面和像平面的距離映射關係，設物平面上的距離為d，像平面上距離為 cf，透鏡的曲率半徑為R，像平面與鏡頭距離為D，透鏡折射率為n，則距離映射關係f (d)由下式給出
接著，對f (d)求d的微分k(d)，得到
接著，由式解出由cf到d的反映射關係
由於flcO表達式過於複雜，則用數值分析的方法，得到數值形式表達的flcO 』最後，把式代入式，得到f (d)導數關於cf的函數k(cO，進而使像平面上坐標為(<，<；) 處點擴散函數的取值『 ，<)，由下式計算得到
其中K是一個表徵光信號衰減程度的常數，其大小僅影響重構圖像的亮度，為達到合適的亮度，K的取值為混疊圖像向量y的平均值。
5.如權利要求3所述的超解析度成像方法，通過實際測量實驗方法得到點擴散函數在高解析度下的像素數值，是使用一個點圖像作為測試圖像，在系統曝光狀態下用電機控制一微型圖像傳感器元在透鏡後方進行逐行掃描，並記錄傳感器的輸出，進而得到高分辨點擴散函數的像素數值分布。
6.如權利要求1所述的超解析度成像方法，其中步驟5所述的求解1-範數優化式
按如下步驟進行 (5. 1)選取所成像物體的典型稀疏域Ψ ； (5. 2)採用快速迭代算法求解優化式Step 1 令i表示圖像像素點索引，要重構的像素總個數為n2，稀疏域按列向量展開表示為
，定義中間變量
, 其中i w表示N維實向量空間，令Θ。(X1)i，(X2)i，λ 3，Zi，Wi，u在第k次迭代時的取值分別為 0」，(Af'⑷廣)，才)，4k)' <)，u(k)，定義參數 = β2=10，β3=1，Y1 =Y2 = Y3 = I. 618，μ = 100，ζ = le-8，將觀測矩陣Φ分解為Φ = PC，其中P為行選擇陣，C為循環方陣；Step 2 初始化迭代次數k = 0，並初始化#°)及各中間變量O次迭代時取值為其相應維數的零向量；Step 3 對於所有的i，更新中間變量Zi
Step 4:對於所有的i，更新中間變量Wi
其中Di表示像素點i處的二維差分算子，11 · 11表示二範數運算； Step 5 更新中間變量u
Step 6:令M= i3J、+i32DTD+i33CTC，其中Dei 「「為原圖像的二維差分算子，用 FFT變換方法解關於稀疏表示θ _)的方程
得到 θ (k+1)；Step 7 對於所有的i，更新中間變量(入1)i
Step 8:對於所有的i，更新中間變量(X2)i Step 9 更新中間變量入3才+1)—才+1) - ,3錢- ；Step 10 令k — k+l，若I θ彡ζ，此時θ ω即為所要求的重構係數θ ；否則，返回st印2繼續執行。
全文摘要
本發明公開了一種基於球面像差混疊觀測的超解析度成像方法，主要解決現有方法成像精度低、結構複雜和計算複雜度高的問題。其成像步驟是(1)搭建具有顯著球面像差效應的光學系統；(2)利用理論推導或仿真或實驗測量方法得到光學系統的點擴散函數，並據此構造採樣矩陣；(3)利用所搭建的光學系統對目標光信號進行混疊觀測並通過低分辨傳感器陣列採樣，得到低分辨混疊圖像；(4)根據壓縮感知理論，結合採樣矩陣，使用一種快速迭代優化算法對所得低分辨混疊圖像進行重構，得到高解析度圖像。本發明具有系統結構簡單、體積小，製作成本低，重構圖像精度高，重構速度快的優點，可用於在小規模採樣陣列下圖像的獲取和高分辨重建。
文檔編號H04N5/232GK102186016SQ201110107640
公開日2011年9月14日 申請日期2011年4月27日 優先權日2011年4月27日
發明者石光明, 王 琦, 彭冬 申請人:西安電子科技大學