一種衛星雲圖的超解析度重建方法與流程
2023-04-28 15:41:52 2
本發明涉及一種圖像的重建方法，尤其是涉及一種衛星雲圖的超解析度重建方法。
背景技術：
看雲識天氣，氣象衛星雲圖包含了很多重要的氣象信息，是預測天氣變化及檢測雲演變過程的重要工具。衛星雲圖主要分為兩類：可見光雲圖和紅外雲圖。目前，雖然氣象衛星可以提供很多成像通道，但是不同通道的圖像的解析度不同。比如紅外通道數據的解析度比較低，這對綜合使用多通道的數據進行分析不利，也會增加分析設計的難度，如果對高解析度通道數據進行抽樣，使其與低解析度通道數據一致，則對寶貴的高精度數據信息是一種浪費。
提高衛星雲圖解析度最直接的方法就是改進硬體設備，但是硬體設備的改進往往受到製造工藝和成本的限制，短時間內很難有所突破。因此，我們只能通過特定的算法來提升雲圖的解析度。圖像的超解析度重建就是將單幀或多幀低解析度圖像序列恢復為原始的高解析度圖像，目前主要有三種類型方法：基於插值的方法，基於重構的方法，基於學習的方法。基於插值的方法，計算複雜度低，但是重建過程中沒有加入任何先驗信息，放大倍數較大時圖像邊緣會出現嚴重的振鈴現象；基於重構的方法，容易出現難以容忍的病態現像；而基於學習的方法，不僅能夠提供相應的先驗信息，而且克服了基於重構方法容易出現病態的問題，已經成為超解析度重建的主流研究方向。
Chang等從流形學習理論出發，認為低解析度圖像空間與高分辨圖像空間具有相似的流形結構，提出最近鄰域嵌入NE(Neighbor Embedding)算法，通過建立低解析度圖像塊和高解析度圖像塊的映射關係，根據低分辨圖像塊線性組合來預測對應的高解析度圖像塊，但是重建的圖像趨於平滑。受壓縮感知稀疏表示理論影響，Yang等把稀疏表示應用在圖像超解析度上，假設對應的高低解析度塊，在過完備字典下有相同的稀疏表示，通過聯合訓練得到一對高、低解析度字典，對輸入的低解析度圖像塊求出相應的稀疏表示係數，結合高解析度字典進行重建。Zeyde等在Yang的基礎上應用K-SVD算法提高了訓練字典速度，使得重建的圖像在視覺效果上有所改善，而且峰值信噪比更高。但是Zeyde和Yang的算法，由於重建過程中稀疏編碼的計算，導致重建過程的計算複雜度高，不利於實時處理。
技術實現要素：
本發明所要解決的技術問題是提供一種衛星雲圖的超解析度重建的方法，在保持重建雲圖的質量的同時，大大縮減了重建過程的時間，有利於雲圖的實時重建。
本發明解決上述技術問題所採用的技術方案為：一種衛星雲圖的超解析度重建方法，包括以下步驟：
①建立訓練樣本集合：選取30到50幅已有的高解析度雲圖圖像，對這些高解析度雲圖圖像進行下採樣得到對應的低解析度雲圖圖像，利用像素重疊的方法將高解析度雲圖圖像分塊，並將分塊後的圖像塊定義為高解析度訓練樣本塊，對每一個高解析度訓練樣本塊分別減去各自圖像塊的像素點的均值，得到去除了低頻信息的高解析度訓練樣本塊集合其中l表示高解析度訓練樣本塊的總數，i表示1到l之間的任意整數，表示高解析度訓練樣本塊集合中的第i個樣本塊，然後用四個一維濾波器{f1＝[-1,0,1],f2＝f1T,f3＝[1,0,-2,0,1],f4＝f3T}對低解析度雲圖圖像進行特徵提取並利用像素重疊的方法分塊，得到低解析度訓練樣本塊集合其中表示低解析度訓練樣本塊集合中的第i個樣本塊，T表示矩陣的轉置；
②用改進的K-SVD算法對步驟①中的高解析度訓練樣本塊集合和低解析度訓練樣本塊集合進行訓練，得到高解析度字典和低解析度字典，定義為過完備字典對，並將高解析度字典和低解析度字典中的列向量分別定義為高解析度字典原子和低解析度字典原子；
③求解映射矩陣Pj：
③-1.在過完備字典對中，根據原子的相關性，利用最近鄰域算法建立高解析度字典中每個原子和低解析度字典中的每個原子的最近鄰域映射關係{NH,NL}，其中NL是低解析度字典中某個原子的最近鄰域集，NH是高分辨字典中某個原子的最近鄰域集，其中{NH,NL}中原子的最近鄰域集中的原子個數為小於或等於相應字典中原子總數的任意值；③-2.根據最近鄰域映射關係{NH,NL}求解得到映射矩陣Pj，其中j表示不同的原子對應的映射矩陣編號；
④對需要重建的低解析度雲圖圖像，用四個一維濾波器{f1＝[-1,0,1],f2＝f1T,f3＝[1,0,-2,0,1],f4＝f3T}進行特徵提取並利用像素重疊的方法分塊，得到待重建的低解析度雲圖圖像塊集合{y1,y2,...,yk,...,yn}，其中n表示待重建的低解析度雲圖圖像塊的總數，k表示1到n之間的任意整數，yk表示待重建的低解析度雲圖圖像塊的的第k個圖像塊；
⑤對待重建低解析度雲圖圖像塊yk，利用相關性，在低解析度字典中找到與它最相關的原子，並找到該原子對應的高解析度字典原子和低解析度字典原子的最近鄰域映射關係{NH,NL}，然後根據映射關係找到對應的映射矩陣Pj；
⑥對待重建的低解析度雲圖塊yk，利用公式進行重建得到相應的高解析度雲圖塊
⑦對於重建得到的高解析度雲圖塊利用像素重疊的方法合成重建高解析度雲圖圖像
所述的步驟②中用改進的K-SVD算法對步驟①中的高解析度訓練樣本塊集合和低解析度訓練樣本塊集合進行訓練，得到高解析度字典和低解析度字典的具體方法為：
②－1：將原K-SVD算法中的數學模型
修改為
其中Φl是低解析度過完備字典，A,W∈Rm×l都為m行l列的矩陣，A為稀疏係數矩陣，包含了所有的稀疏表示係數向量αi，αi是一個m維的列向量，K為稀疏度，表示稀疏表示係數向量αi中不為0係數的個數的上限，A⊙W＝0表示如果矩陣A中的某個位置的元素不為0，則矩陣W對應位置的元素就為0，若A中的某個位置的元素為0，則矩陣W對應位置的元素就為1；
②－2：將步驟②－1中求得的稀疏係數矩陣A用於以下公式：
其中，Φh為高解析度過完備字典，由廣義逆矩陣的方法得到高解析度字典：Φh＝XsA+＝XsAT(AAT)-1。
所述的步驟③-2中根據最近鄰域映射關係{NH,NL}求解映射矩陣P的具體方法為：
③-1：在過完備字典對中，對字典中的每個原子，根據字典原子間的相關性，利用最近鄰域算法建立高解析度字典原子和低解析度字典原子的最近鄰的映射關係{NH,NL}；
③-2：將求解低解析度字典的最近鄰域嵌入係數β的數學模型表示為：
其中β是待求解的係數，為β的近似解，λ是權重係數，用來緩解奇異性問題並且保證係數分解的穩定性，y是低解析度雲圖圖像塊，利用嶺回歸的方法得到為：
其中I是與大小相同的單位矩陣，把與NL對應的高解析度雲圖圖像塊的最近鄰域集NH和相結合，得到高解析度雲圖圖像塊
則得到映射矩陣
所述的像素重疊是指相鄰的圖像塊之間有1個或2個像素是相同的。
與現有技術相比，本發明的優點在於：利用改進的K-SVD算法對①中得到的高解析度和低解析度雲圖圖像塊訓練樣本集合進行字典訓練，得到高解析度過完備字典和低解析度過完備字典。在過完備字典對中，對低解析度字典和高解析度字典中的每個原子求解對應的映射矩陣。對待重建的低解析度雲圖圖像塊自適應選擇映射矩陣進行重建，對重建的高解析度雲圖圖像塊利用像素重疊的方法合成高解析度雲圖圖像。本方法不僅重建過程的計算複雜度大大降低，而且能夠很好的重構出雲圖的紋理、輪廓結構，得到更高峰值信噪比和結構相似度。
附圖說明
圖1表示為採用改進的K-SVD算法與K-SVD算法訓練字典的比較效果，其中圖1(a)表示訓練樣本的表示誤差的對比結果，圖1(b)為測試樣本的表示誤差對比結果；
圖2為本文方法與其他方法對圖3(2)的重建結果比較，圖2(a)表示原始圖像，圖2(b)表示Bicubic算法重建圖像，圖2(c)表示Yang et al.的算法重建圖像，圖2(d)表示Zeyde et al.的算法重建圖像，圖2(e)表示NE算法重建圖像，圖2(f)表示ANR算法重建圖像，圖2(g)表示本文方法重建圖像；
圖3給出用於驗證本方法有效性的5幅測試衛星雲圖圖像。
具體實施方式
以下結合附圖實施例對本發明作進一步詳細描述。
在下列的實施例中，對於重建後的雲圖圖像的質量評價方法如下：
利用峰值信噪比(PSNR)和結構相似度(SSIM)這兩個評價指標來評價重建雲圖的效果，峰值信噪比(PSNR)為：MSE值越低越好，效果越好，能較準確地將其誤差的實際情況反映出來。PSNR值越高，代表所獲得的結果圖像失真越小，越接近原始圖像。結構相似度(SSIM)為：
其中x,y分別表示原始雲圖和重建雲圖在相同位置的雲圖塊，μx和μy分別表示原始雲圖和重建雲圖在相同位置的雲圖塊的均值，σxy為兩個圖像塊的協方差，σx和σy分別表示原始雲圖和重建雲圖在相同位置的雲圖塊的方差，c1和c2為相應的固定參數。結構相似度(SSIM)的範圍為0～1，SSIM的值越高說明重建的雲圖與原始雲圖的相似度越高，重建的質量也越好。
本發明提出的一種衛星雲圖的超解析度重建的方法，其包括以下步驟：
訓練階段：共①～③步。
①建立訓練樣本集合：選取30幅已有的高解析度雲圖圖像，對這些高解析度雲圖圖像進行下採樣得到對應的低解析度雲圖圖像，利用像素重疊的方法將高解析度雲圖圖像分塊，相鄰的高分辨雲圖圖像塊之間重疊一個像素，並將分塊後的圖像塊定義為高解析度訓練樣本塊，對每一個高解析度訓練樣本塊分別減去各自圖像塊的像素點的均值，得到去除了低頻信息的高解析度訓練樣本塊集合其中l表示高解析度訓練樣本塊的總數l＝10000，i表示1到l之間的任意整數，表示高解析度訓練樣本塊集合中的第i個樣本塊，然後用四個一維濾波器{f1＝[-1,0,1],f2＝f1T,f3＝[1,0,-2,0,1],f4＝f3T}對低解析度雲圖圖像進行特徵提取並利用像素重疊的方法分塊，相鄰的低分辨雲圖圖像塊之間重疊一個像素，得到低解析度訓練樣本塊集合其中表示低解析度訓練樣本塊集合中的第i個樣本塊，T表示矩陣的轉置；。
②用改進的K-SVD算法對步驟①中的高解析度訓練樣本塊集合和低解析度訓練樣本塊集合進行訓練，得到高解析度字典和低解析度字典，定義為過完備字典對，並將高解析度字典和低解析度字典中的列向量分別定義為高解析度字典原子和低解析度字典原子，高解析度字典和低解析度字典的大小都為512，即字典中有512個原子；
步驟②中用改進的K-SVD算法對步驟①中的高解析度訓練樣本塊集合和低解析度訓練樣本塊集合進行訓練，得到高解析度字典和低解析度字典的具體方法為：②－1：將原K-SVD算法中的數學模型修改為其中Φl是低解析度過完備字典，A,W∈Rm×l都為m行l列的矩陣，A為稀疏係數矩陣，包含了所有的稀疏表示係數向量αi，αi是一個m維的列向量，K為稀疏度，表示稀疏表示係數向量αi中不為0係數的個數的上限，A⊙W＝0表示如果矩陣A中的某個位置的元素不為0，則矩陣W對應位置的元素就為0，若A中的某個位置的元素為0，則矩陣W對應位置的元素就為1；
②－2：將步驟②－1中求得的稀疏係數矩陣A用於以下公式：
其中，Φh為高解析度過完備字典，由廣義逆矩陣的方法得到高解析度字典：
Φh＝XsA+＝XsAT(AAT)-1。
③求解映射矩陣Pj：
③-1.在過完備字典對中，根據原子的相關性，利用最近鄰域算法建立高解析度字典中每個原子和低解析度字典中的每個原子的最近鄰域映射關係{NH,NL}，其中NL是低解析度字典中某個原子的最近鄰域集，NH是高分辨字典中某個原子的最近鄰域集，其中{NH,NL}中原子的最近鄰域集中的原子個數為小於或等於相應字典中原子總數的任意值，這裡設置為40；③-2.根據最近鄰域映射關係{NH,NL}求解得到映射矩陣Pj，其中j表示不同的原子對應的映射矩陣編號；
步驟③-2中根據最近鄰域映射關係{NH,NL}求解映射矩陣P的具體方法為：
將求解低解析度字典的最近鄰域嵌入係數β的數學模型表示為：
其中β是待求解的係數，為β的近似解，λ是權重係數，用來緩解奇異性問題並且保證係數分解的穩定性，y是低解析度雲圖圖像塊，利用嶺回歸的方法得到為：
其中I是與大小相同的單位矩陣，把與NL對應的高解析度雲圖圖像塊的最近鄰域集NH和相結合，得到高解析度雲圖圖像塊
則得到映射矩陣
重建階段：共④～⑦步
④對需要重建的低解析度雲圖圖像，用四個一維濾波器{f1＝[-1,0,1],f2＝f1T,f3＝[1,0,-2,0,1],f4＝f3T}進行特徵提取並利用像素重疊的方法分塊，相鄰的低解析度雲圖圖像塊之間重疊一個像素，得到待重建的低解析度雲圖圖像塊集合{y1,y2,...,yk,...,yn}，其中n表示待重建的低解析度雲圖圖像塊的總數，k表示1到n之間的任意整數，yk表示待重建的低解析度雲圖圖像塊的的第k個圖像塊；
⑤對待重建低解析度雲圖圖像塊yk，利用相關性，在低解析度字典中找到與它最相關的原子，並找到該原子對應的高解析度字典原子和低解析度字典原子的最近鄰域映射關係{NH,NL}，然後根據映射關係找到對應的映射矩陣Pj；
⑥對待重建的低解析度雲圖塊yk，利用公式進行重建得到相應的高解析度雲圖塊
⑦對於重建得到的高解析度雲圖塊利用像素重疊的方法合成重建高解析度雲圖圖像這裡相鄰的高解析度雲圖圖像塊之間重疊一個像素。
對重建的高解析度雲圖圖像進行質量評價：
通過數值實驗來驗證本發明所提出的衛星雲圖的超解析度重建的方法的有效性，選取了附圖3中的5幅衛星雲圖進行分析，整個實驗測試平臺為Inter(R)Xeon(R)CPU E5-2403V2 1.80GHz,Matlab版本2014b。大部分圖像超分辨算法都關注於提高重建圖像的質量，卻往往忽視了重建的效率也是值得考慮的問題。在表1中給出了本文與Yang et al.、Zeyde et al.和NE算法在重建時間上的對比。
表1不同超解析度算法重建的時間/s
如表1所示，本文方法重建的時間相對於其它算法降低了幾倍甚至幾十倍。與Yang et al.和Zeyde et al.的算法相比，重建時對待重建的低解析度雲圖圖像塊，通過尋找已經建立的映射矩陣進行重建，避免了稀疏表示算法重建過程的稀疏編碼過程，使得重建過程的計算複雜度大大降低；與NE算法相比，NE算法要對每一待重建的低解析度雲圖圖像塊需要計算出相應權重係數並進行重建，所以計算複雜度更高。
在重建效率提高的同時，希望重建雲圖的質量也得到保證。如表2和表3中給出了本文方法與雙三次方插值Bicubic、Yang et al.、Zeyde et al.、最近鄰域嵌入算法NE和固定鄰域回歸算法ANR的峰值信噪比(PSNR)和結構相似度(SSIM)的對比結果。
表2不同超解析度算法重建的PSNR/dB
表3不同超解析度算法重建的SSIM
如表2和表3所示，本文方法與其它的算法比較，在峰值信噪比(PSNR)上是最大的，平均高出0.17dB到1.41dB。同時在結構相似度(SSIM)方面，雖然與其他算法比較提升不大，但還是有所提高。因此，本文算法在提高重建效率的情況下，確實保證了重建雲圖的質量。
為了更直觀的反應重建的效果，還與雙三次方插值Bicubic算法、Yang et al.、Zeyde et al.、最近鄰域嵌入算法NE和固定鄰域回歸算法ANR進行重建雲圖視覺效果對比。本文中放大倍數s＝3，在附圖3中選取一幅雲圖作為參考，進行不同算法下的視覺重建效果對比，如附圖2所示是附圖3(2)圖像的對比效果。在附圖2中圖片中的指定區域內，雙線性插值Bicubic算法重建的效果過於平滑，沒有體現過多的細節；NE算法恢復了部分的紋理細節信息，但是邊緣過於平滑；Yang et al.、Zeyde et al.和ANR算法重建的紋理細節比較豐富，但是出現了部分虛假信息；而本文方法不僅重建的紋理細節信息豐富而且邊緣也更加尖銳，視覺效果更好。
本發明受稀疏表示理論和NE算法的啟發，並引入一種改進的K-SVD算法用於字典的訓練，提出一種雲圖超解析度方法。根據字典空間中原子間的相關性，採用最近鄰域嵌入算法，求出高、低解析度字典對中每個原子對應的最近鄰映射關係，並建立相應的映射矩陣。對輸入的待重建低解析度雲圖圖像塊，根據相關性找到相應的映射矩陣進行超解析度重建。對紅外雲圖和可見光雲圖進行了數值實驗，實驗結果驗證了本方法的有效性，不僅重建過程的計算複雜度大大降低，而且能夠很好的重構出雲圖的紋理、輪廓結構，得到更高峰值信噪比和結構相似度。