基於多角度、多解析度的影像超解析度重建方法及裝置製造方法
2023-06-08 08:08:31 6
基於多角度、多解析度的影像超解析度重建方法及裝置製造方法
【專利摘要】本發明提供了一種基於多角度、多解析度的影像超解析度重建方法及裝置。上述影像超解析度重建方法包括：對用於重建的多幅圖像執行全局輻射配準處理；在所述多幅圖像中確定多解析度的圖像的像素幾何對應關係，獲取非正視角度圖像對應的幾何糾正後圖像；基於預定的空間約束準則，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像。根據本發明提供的技術方案，實現了多解析度、多角度圖像超解析度重建，提高了超解析度圖像重建的信息完整度。
【專利說明】基於多角度、多解析度的影像超解析度重建方法及裝置
【技術領域】
[0001]本發明涉及通信領域，具體而言，涉及一種基於多角度、多解析度的影像超解析度重建方法及裝置。
【背景技術】
[0002]遙感是指運用傳感器對物體的電磁波輻射、反射特性進行非接觸的、遠距離探測，並根據其特性對物體的性質、特徵和狀態進行分析的理論、方法和應用的科學技術。隨著傳感器技術、航空航天技術和數據通訊技術的不斷發展，現代遙感技術已經進入一個能動態、快速、多平臺、多時相、高解析度地提供對地觀測數據的新階段。
[0003]隨著社會經濟的發展，遙感技術在城市發展、地表監測等多個行業得到應用，應用的深入使得各領域對遙感數據越來越表現出高精度、高時效性的需求，特別是對遙感影像的空間解析度有著越來越高的需求。雖然遙感平臺和傳感器技術的進步使得衛星獲取遙感影像的能力越來越強、衛星影像的解析度越來越高。但是，衛星影像解析度的提高速度呈現減緩的趨勢。影像解析度的進一步提高，存在兩個方面的限制:一是衛星傳感器的解析度提高依賴於:電荷稱合元件(Charge-coupled Device,簡稱為CO))傳感器單位面積上感光單元數量的增加，勢必造成單個感光面元面積的減少，過小的感光單元接收的信號受噪聲影響越大，所以感光單元的最小面積存在一個技術上的極限，目前的遙感衛星技術已經基本接近這一極限；二是研究生產高解析度的衛星傳感器需要耗費大量的資金和人員投入，這一現實因素，同樣限制了高解析度遙感衛星的發展。
[0004]傳統圖像重建與恢復技術僅作用於單幅圖像，無法利用額外的信息，影像重建效果不能達到應用需求。一種在不改變硬體條件的前提下，僅通過軟體手段提高圖像解析度的技術，也即圖像超解析度重建技術成為了研究的熱點。超解析度重建突破了傳統方法的束縛，提出利用多幅影像之間的信息互補來重建高解析度影像。
[0005]超解析度重建是利用一系列具有互補信息的低解析度影像，獲得比單幅影像所能提供的更多的額外信息，並通過某種方式把信息融合到影像中，最終重建得到一幅高解析度影像的技術。超解析度重建技術首先採用的是頻域方法，是由一序場景面貌經過平移的低解析度圖像來重建一幅高解析度圖像。之後有人不斷對頻域方法進行改進.以擴大這類方法的適用範圍。但這類方法只能局限於全局平移運動和線性空間不變降質模型，而且包含空域先驗知識的能力有限。後來有人提出多種空域超解析度重建方法。空域方法與其他圖像處理方法相結合又派生出許多新的影像超解析度重建方法。
[0006]目前，對於影像超解析度重建方法而言，由於使用的條件不一樣，對於具體情況的實用性存在不足，其處理的往往是相同解析度的多張影像，即使是處理拍攝角度不同的影像或解析度不同的影像，也往往採用常規的圖像配準之後使用常規方法重建，沒有充分利用原始影像之間解析度或角度差異上的互補信息。特別地，對於近期出現的多角度立體衛星(比如國家的資源三號高解析度立體測繪衛星，其採用前、後、正視三線陣結構，三個傳感器同時記錄同一場景同一時間三個角度的影像)，基於現有方法的影像超解析度重建在充分利用有用信息方面存在不足。
【發明內容】
[0007]本發明的目的，在於提供一種基於多角度、多解析度的影像超解析度重建方法及裝置，以至少解決上述問題之一。
[0008]根據本發明的一個方面，提供了一種基於多角度、多解析度的影像超解析度重建方法。
[0009]根據本發明的基於多角度、多解析度的影像超解析度重建方法包括:對用於重建的多幅圖像執行全局輻射配準處理；在所述多幅圖像中確定多解析度的圖像的像素幾何對應關係，獲取非正視角度圖像對應的幾何糾正後圖像；基於預定的空間約束準則，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像。
[0010]根據本發明的另一方面，提供了一種基於多角度、多解析度的影像超解析度重建裝置。
[0011]根據本發明的基於多角度、多解析度的影像超解析度重建裝置包括:配準處理模塊，用於對用於重建的多幅圖像執行全局輻射配準處理；第一獲取模塊，用於在所述多幅圖像中確定多解析度的圖像的像素幾何對應關係，獲取非正視角度圖像對應的幾何糾正後圖像；第二獲取模塊，用於基於預定的空間約束準則，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超分辨 率重建圖像。
[0012]由於採用了上述技術方案，本發明的有益效果是:基於多角度、多解析度的遙感圖像超解析度重採樣方案，實現了多解析度、多角度圖像超解析度重建，提高了超解析度圖像重建的信息完整度。
【專利附圖】
【附圖說明】
[0013]圖1為根據本發明實施例的基於多角度、多解析度的影像超解析度重建方法的流程圖；
[0014]圖2為根據本發明優選實施例的基於多角度、多解析度的影像超解析度重建方法的流程圖；
[0015]圖3為根據本發明實例的基於多角度、多解析度的影像超解析度重建方法的詳細流程示意圖；
[0016]圖4為根據本發明實例的三線陣遙感影像瞬間成像的示意圖；
[0017]圖5為根據本發明實例的圖像自適應空間約束的示意圖；
[0018]圖6為根據本發明實例的基於尺度的像素灰度外推模型的示意圖；
[0019]圖7為根據本發明實施例的基於多角度、多解析度的影像超解析度重建裝置的結構框圖；以及
[0020]圖8為根據本發明優選實施例的基於多角度、多解析度的影像超解析度重建裝置的結構框圖。
【具體實施方式】
[0021]下面通過具體的實施例子並結合附圖對本發明做進一步的詳細描述。[0022]圖1為根據本發明實施例的基於多角度、多解析度的影像超解析度重建方法的流程圖。如圖1所示，該影像超解析度重建方法主要包括以下處理:
[0023]步驟SlOl:對用於重建的多幅圖像執行全局輻射配準處理；
[0024]步驟S103:在上述多幅圖像中確定多解析度的圖像的像素幾何對應關係，獲取非正視角度圖像對應的幾何糾正後圖像；
[0025]步驟S105:基於預定的空間約束準則，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像。
[0026]相關技術中的影像超解析度重建方法，由於使用的條件不一樣，對於具體情況的實用性存在不足，其處理的往往是相同解析度的多張影像，即使是處理拍攝角度不同的影像或解析度不同的影像，也往往採用常規的圖像配準之後使用常規方法重建，沒有充分利用原始影像之間解析度或角度差異上的互補信息。採用圖1所示的方法，基於多角度、多解析度的遙感圖像超解析度重採樣方案，實現了多解析度、多角度圖像超解析度重建，提高了超解析度圖像重建的信息完整度。
[0027]優選地，步驟SlOl中，對用於重建的多幅圖像執行全局輻射配準處理包括以下處理:
[0028]處理1:分別獲取前視圖像、後視圖像以及正視圖像的灰度均值；
[0029]處理2:通過以下公式獲取全局輻射配準之後的前視圖像、後視圖像:
[0030]If' = IfXmean(In)/mean(If);
[0031]Ib' = IbXmean(In)/mean(Ib)；
[0032]其中，If和Ib表示全局輻射配準前的前視圖像、後視圖像，If'和Ib'表示全局輻射配準之後的前視圖像、後視圖像，mean (In)表示正視圖像的灰度均值，mean (If)和mean(Ib)分別表示前視和後視的灰度均值。
[0033]本發明實施例以三線陣多角度多解析度圖像為例進行說明。由於重建利用的正、前、後視三幅圖像(影像)拍攝角度存在顯著差異，導致影像間存在整體輻射水平差異。因此，在進行影像超解析度重建之前，需要進行輻射配準工作，使得三幅影像在輻射水平上基本保持一致。
[0034]正視影像的輻射情況相對接近於地面真實輻射情況，本發明以正視影像為基準，採用灰度值整體平移策略，進行遙感影像全局輻射配準。具體地，主要包括以下處理:
[0035]步驟1:計算正視影像的灰度平均值，記為mean(In);計算前視影像的灰度平均值，記為mean (If);計算後視影像的灰度平均值,記為mean (Ib)；
[0036]步驟2:遍歷前視與後視影像的每一個像素，用其原始像素灰度值減去其全幅影像平均灰度值與正視影像灰度平均值的差值，具體可以參見上述處理2中的公式。
[0037]優選地，步驟S103中，通過以下公式確定多解析度的圖像的像素幾何對應關係:
【權利要求】
1.一種基於多角度、多解析度的影像超解析度重建方法，其特徵在於，包括: 對用於重建的多幅圖像執行全局輻射配準處理； 在所述多幅圖像中確定多解析度的圖像的像素幾何對應關係，獲取非正視角度圖像對應的幾何糾正後圖像； 基於預定的空間約束準則，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像。
2.根據權利要求1所述的方法，其特徵在於，對用於重建的多幅圖像執行全局輻射配準處理包括: 分別獲取前視圖像、後視圖像以及正視圖像的灰度均值； 通過以下公式獲取全局輻射配準之後的前視圖像、後視圖像:
If' = IfXmean(In)/mean(If)；
Ib' = IbXmean(In)/mean(Ib)； 其中，If和Ib表示全局輻射配準前的前視圖像、後視圖像，If'和Ib'表示全局福射配準之後的前視圖像、後視圖像，mean (In)表示正視圖像的灰度均值，mean (If)和mean(Ib)分別表示前視和後視的灰度均值。
3.根據權利要求1所述的方法，其特徵在於，通過以下公式確定多解析度的圖像的像素幾何對應關係:
4.根據權利要求1所述的方法，其特徵在於，當空間關係上正視圖像的一個像素對應重建後圖像的N個像素時，所述空間約束準則包括: 正視圖像的所述一個像素的灰度值與該像素對應的重建後圖像的N個像素的灰度值均值保持一致，其中，N為正整數； 重建後圖像的N個像素中同一對角線上像素的灰度值變化趨勢與所述一個像素的多個領域灰度值變化趨勢一致。
5.根據權利要求1所述的方法，其特徵在於，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像包括: 對正視圖像In進行雙立方插值，獲取內插圖像Ic; 分別對前視圖像或後視圖像Ix、正視圖像In和內插圖像Ic進行小波分解，提取Ix、In的高頻圖像Ixhigh、Inhigh和Ic的高頻圖像Ichigh和低頻圖像Ic1ot ； 利用Ixhigh、Inhigh和Ichigh的高頻圖像，通過差值重採樣得到高頻圖像Ishigh ； 對Ishigh圖像執行總變分去噪處理； 將Ic1ot和Ishigh進行加權迭代疊加運算，得到前視圖像與正視圖像的超解析度重建圖像Isf，並得到後視圖像與正視圖像的超解析度重建圖像Isb。
6.根據權利要求1至5中任一項所述的方法，其特徵在於，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像之後，還包括: 按照行列分別遍歷所述獲取到的超解析度重建圖像，從所述獲取到的超解析度重建圖像中執行重採樣，構建最終的超解析度重建圖像。
7.根據權利要求6所述的方法，其特徵在於，通過以下公式從所述獲取到的超解析度重建圖像中執行重採樣，構建最終的超解析度重建圖像Is:
8.一種基於多角度、多解析度的影像超解析度重建裝置，其特徵在於，包括: 配準處理模塊，用於對用於重建的多幅圖像執行全局輻射配準處理； 第一獲取模塊，用於在所述多幅圖像中確定多解析度的圖像的像素幾何對應關係，獲取非正視角度圖像對應的幾何糾正後圖像； 第二獲取模塊，用於基於預定的空間約束準則，通過圖像外推分別獲取各個非正視角度圖像與正視圖像的超解析度重建圖像。
9.根據權利要求8所述的裝置，其特徵在於， 所述第一獲取模塊，用於通過以下公式確定多解析度的圖像的像素幾何對應關係:
10.根據權利要求8或9所述的裝置，其特徵在於，還包括: 圖像構建模塊，用於按照行列分別遍歷所述獲取到的超解析度重建圖像，從所述獲取到的超解析度重建圖像中執行重採樣，構建`最終的超解析度重建圖像。
【文檔編號】G06T5/50GK103854269SQ201410122450
【公開日】2014年6月11日 申請日期:2014年3月28日 優先權日:2014年3月28日
【發明者】雷兵, 高崟, 徐暢, 劉克, 吳鵬天昊 申請人:國家測繪地理信息局衛星測繪應用中心