非均一運動模糊圖像的恢復方法
2023-05-24 23:23:46
非均一運動模糊圖像的恢復方法
【專利摘要】本發明提出一種非均一運動模糊圖像的恢復方法，包括以下步驟：在模糊圖像中選取多個相互重疊的圖像塊；根據均一模糊圖像恢復方法分別求取多個圖像塊的局部模糊核和去模糊圖像塊；根據多個圖像塊的局部模糊核和去模糊圖像塊建立多個圖像塊的局部模糊核與相機全局運動參數之間的對應關係，並根據對應關係估計相機的初始全局運動參數；對相機的初始全局運動參數和去模糊圖像塊進行迭代以得到估計的相機的最終全局運動參數；根據相機的最終全局運動參數對模糊圖像進行計算以得到最終的去模糊圖像。本發明的實施例基於運動模糊圖像成像模型，通過結合局部模糊核和相機全局運動參數的對應關係，能夠實現快速、有效、魯棒及低誤差的運動模糊圖像恢復。
【專利說明】非均一運動模糊圖像的恢復方法
【技術領域】
[0001]本發明涉及圖像復原【技術領域】，特別涉及一種非均一運動模糊圖像的恢復方法。【背景技術】
[0002]運動模糊是一種在成像過程中普遍存在的現象。位於快速行駛的汽車、飛機或其他飛行器上的相機，在拍攝圖像的過程中由於拍攝對象相對速度過快或者拍攝過程中的抖動，使得拍攝的圖像產生運動模糊，嚴重影響了獲取圖像的質量。實現運動模糊圖像的復原，恢復原始的清晰圖像，有利於獲取更高解析度的圖像細節信息，對於使用許多基於圖像信息進行的後續處理是非常必要的預處理過程。
[0003]在運動模糊的研究當中，通常假設得到的模糊圖像服從以下成像模型:
[0004]B = Ig>K + n,其中，B為獲取的模糊圖像，I為要恢復的清晰圖像，K為模糊核，η為加性噪聲。在該模型的定義中，模糊圖像是由清晰圖像與模糊核卷積，再加入噪聲而產生的。圖像恢復工作一般可以分成兩步來完成:一是運動模糊核的估計；二是根據估計的模糊核的圖像去卷積。基於單幅圖像的運動去模糊是較為欠定的問題，通常是通過分析模糊圖像和清晰圖像的特點，將得到其分布情況的先驗信息作為約束條件添加到圖像恢復過程中。
[0005]現有的圖像去模糊算法絕大部分均將相機抖動模糊假設為空間一致的。近年來的很多研究表明，除平面內平移外，轉動也是手持相機運動中不可忽略的成分，從而使得採集得到的圖像模糊具有空間不一致性。在拍攝過程中相機沿著一條連續的軌跡不斷運動，包含了沿x、y、z三個坐標軸的平移和繞三個坐標軸的旋轉。相機姿態發生變換後，採集到的圖像可以看作是初始場景圖像經過了一個仿射變換後的結果。因此，最終採集到的模糊圖像可以看作是若干仿射變換後圖像的加權和，如下: [0006]B = Ef=I μ,.(Hj I) + η?
[0007]其中，B，I，n e Rn分別表示模糊圖像B、清晰圖像I和噪聲η的向量形式，Hj e R腳為對應於相機姿態j的仿射變換矩陣。權值μ^對應於相機在該姿態停留時間佔總曝光時間的比例。所有的權值組成一個列向量μ，且有Σ jUj = I。與空間一致模糊卷積模型相比較，權值向量μ即對應於模糊核K。
[0008]而要描述相機在六維運動空間的運動參數，μ的維數通常很高，要給出合理的初始值是非常困難的。
【發明內容】
[0009]本發明旨在至少在一定程度上解決上述技術問題之一或至少提供一種有用的商業選擇。
[0010]為此，本發明的一個目的在於提出一種非均一運動模糊圖像的恢復方法，該方法基於運動模糊圖像成像模型，通過結合局部模糊核和相機全局運動參數的對應關係，能夠實現快速、有效、魯棒及低誤差的運動模糊圖像恢復。
[0011]為達到上述目的，本發明的實施例提出了一種非均一運動模糊圖像的恢復方法，包括以下步驟:s1:在模糊圖像中選取多個圖像塊，其中，所述多個圖像塊相互重疊；S2:根據均一模糊圖像恢復方法分別求取所述多個圖像塊的局部模糊核和去模糊圖像塊；S3:根據所述多個圖像塊的局部模糊核和去模糊圖像塊建立所述多個圖像塊的局部模糊核與相機全局運動參數之間的對應關係，並根據所述對應關係估計所述相機的初始全局運動參數；S4:對所述相機的初始全局運動參數和所述去模糊圖像塊進行迭代以得到估計的相機的最終全局運動參數；以及S5:根據所述相機的最終全局運動參數對所述模糊圖像進行計算以得到最終的去模糊圖像。
[0012]根據本發明實施例的非均一運動模糊圖像的恢復方法，通過混合相機採集系統，獲得場景的近紅外閃光圖像和可見光圖像，針對非均一運動模糊圖像恢復的問題，基於運動模糊圖像成像模型，通過結合局部模糊核和相機全局運動參數的對應關係，得到合理有效的運動參數估計，從而能夠實現快速、有效、魯棒及低誤差的運動模糊圖像恢復，使得採集的圖像能夠更方便地服務於各種應用。
[0013]另外，根據本發明上述實施例的非均一運動模糊圖像的恢復方法還可以具有如下附加的技術特徵:
[0014]在本發明的實施例中，所述步驟S2進一步包括:分別對每個圖像塊進行高斯下採樣以根據下採樣結果計算下採樣圖像的模糊核和對應的清晰圖像；對所述清晰圖像上採樣，並根據所述下採樣圖像的模糊核估計上採樣圖像的模糊核和對應的清晰圖像，直至得到多個圖像塊的局部模糊核和去模糊圖像塊。
[0015]在本發明的實施例中，所述步驟S2還包括:分別計算每個圖像塊的二維圖像熵；將二維圖像熵小於預設閾值的圖像塊刪除。
[0016]在本發明的實施例中，所述步驟S3包括:從所述多個局部模糊核中選取最優的局部模糊核估計結果；根據所述最優的局部模糊核估計結果求解相機的全局運動參數，作為相機的初始全局運動參數。
[0017]在本發明的實施例中，所述從所述多個局部模糊核中選取最優的局部模糊核估計結果，採用RANSAC算法。
[0018]在本發明的實施例中，所述步驟S4進一步包括:S501:計算圖像的邊緣信息，並從所述邊緣信息中選取重要的邊緣信息用於估計重要邊緣估計模糊核；S502:根據所述重要邊緣估計模糊核更新所述相機的全局運動參數和所述圖像的去模糊結果；以及S503A:重複步驟S501?S502，直至所述圖像的去模糊結果與上一次的所述圖像的去模糊結果之間的變化小於預定數值時，將當前的相機運動參數作為相機的最終全局運動參數。
[0019]在本發明的實施例中，所述步驟S4還包括:S503B:重複步驟S501?S502，直至迭代次數達到預設的最大迭代次數後，將當前的相機運動參數作為相機的最終全局運動參數。
[0020]本發明的附加方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
【專利附圖】
【附圖說明】[0021]本發明的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中:
[0022]圖1為根據本發明一個實施例的非均一運動模糊圖像的恢復方法的流程圖；
[0023]圖2為根據本發明一個實施例的非均一運動模糊圖形的恢復方法的獲取的相機運動模糊圖像示意圖；
[0024]圖3為現有技術的運動去模糊方法對圖2的圖像進行復原的結果圖；以及
[0025]圖4為根據本發明一個實施例的非均一運動模糊圖形的恢復方法的對圖2的圖像進行復原的結果圖。
【具體實施方式】
[0026]下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，旨在用於解釋本發明，而不能理解為對本發明的限制。
[0027]在本發明的描述中，需要理解的是，術語「中心」、「縱向」、「橫向」、「長度」、「寬度」、「厚度」、「上」、「下」、「前」、「後」、「左」、「右」、「豎直」、「水平」、「頂」、「底」 「內」、「外」、「順時針」、「逆時針」等指示的方位或位置關係為基於附圖所示的方位或位置關係，僅是為了便於描述本發明和簡化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構造和操作，因此不能理解為對本發明的限制。
[0028]此外，術語「第一」、「第二」僅用於描述目的，而不能理解為指示或暗示相對重要性或者隱含指明所指示的技術特徵的數量。由此，限定有「第一」、「第二」的特徵可以明示或者隱含地包括一個或者更多個該特徵。在本發明的描述中，「多個」的含義是兩個或兩個以上，除非另有明確具體的限定。
[0029]在本發明中，除非另有明確的規定和限定，術語「安裝」、「相連」、「連接」、「固定」等術語應做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機械連接，也可以是電連接；可以是直接相連，也可以通過中間媒介間接相連，可以是兩個元件內部的連通。對於本領域的普通技術人員而言，可以根據具體情況理解上述術語在本發明中的具體含義。
[0030]圖1為根據本發明一個實施例的非均一運動模糊圖像的恢復方法的流程圖。
[0031]如圖1所示，根據本發明一個實施例的非均一運動模糊圖像的恢復方法，包括以下步驟:
[0032]步驟SIOI，在模糊圖像中選取多個圖像塊,其中，多個圖像塊相互重疊。
[0033]步驟S102，根據均一模糊圖像恢復方法分別求取多個圖像塊的局部模糊核和去模糊圖像塊。具體而言，分別對每個圖像塊進行高斯採樣以根據下採樣結果計算下採樣圖像的模糊核和對應的清晰圖像，並對該清晰圖像進行上採樣，再根據下採樣圖像的模糊核估計上採樣圖像的模糊核和對應的清晰圖像，直至得到多個圖像塊的局部模糊核和去模糊圖像。
[0034]另外，在上述步驟S102中，進一步地，分別計算每個圖像塊的二維圖像熵，並將所得二維圖像熵中小於預設閾值的圖像塊刪除。其中，預設閾值根據具體情景預先設定。
[0035]作為一個具體的示例，上述步驟SlOl和步驟S102，換言之即為:首先從原始模糊圖像(例如為B)中均勻的選取相互重疊的一系列局部圖像塊，記為{Βω}。對於每一個圖像塊，首先計算它的二維圖像熵，如下:
[0036]E (B⑴)=-Σ U；vp(u, v) log (p (u, v)),
[0037]其中，p(u, v)表示該點像素值為u而其鄰域的平均像素值為V的聯合概率分布。圖像熵是一個衡量圖像紋理特徵的統計量。一般來說，具有豐富的紋理信息是圖像能夠進行較為準確的模糊核估計的一個重要性質。因此，首先將圖像熵較小的一些局部圖像塊去除，從而減少算法的計算量。
[0038]進一步地，在每個局部區域內，多尺度迭代估計模糊核和圖像去模糊結果。具體地包括以下步驟:
[0039]第一步，對模糊圖像塊乂」採用高斯下採樣的方法，構建圖像的高斯金字塔{βω』?=1，由最底層開始逐級處理。
[0040]第二步，估計模糊核，具體估算如下式:
【權利要求】
1.一種非均一運動模糊圖像的恢復方法，其特徵在於，包括以下步驟: S1:在模糊圖像中選取多個圖像塊，其中，所述多個圖像塊相互重疊； 52:根據均一模糊圖像恢復方法分別求取所述多個圖像塊的局部模糊核和去模糊圖像塊； 53:根據所述多個圖像塊的局部模糊核和去模糊圖像塊建立所述多個圖像塊的局部模糊核與相機全局運動參數之間的對應關係，並根據所述對應關係估計所述相機的初始全局運動參數； 54:對所述相機的初 始全局運動參數和所述去模糊圖像塊進行迭代以得到估計的相機的最終全局運動參數；以及 55:根據所述相機的最終全局運動參數對所述模糊圖像進行計算以得到最終的去模糊圖像。
2.如權利要求1所述的非均一運動模糊圖像的恢復方法，其特徵在於，所述步驟S2進一步包括: 分別對每個圖像塊進行高斯下採樣以根據下採樣結果計算下採樣圖像的模糊核和對應的清晰圖像； 對所述清晰圖像上採樣，並根據所述下採樣圖像的模糊核估計上採樣圖像的模糊核和對應的清晰圖像，直至得到多個圖像塊的局部模糊核和去模糊圖像塊。
3.如權利要求1所述的非均一運動模糊圖像的恢復方法，其特徵在於，所述步驟S2還包括: 分別計算每個圖像塊的二維圖像熵； 將二維圖像熵小於預設閾值的圖像塊刪除。
4.如權利要求1所述的非均一運動模糊圖像的恢復方法，其特徵在於，所述步驟S3包括: 從所述多個局部模糊核中選取最優的局部模糊核估計結果； 根據所述最優的局部模糊核估計結果求解相機的全局運動參數，作為相機的初始全局運動參數。
5.如權利要求4所述的非均一運動模糊圖像的恢復方法，其特徵在於，所述從所述多個局部模糊核中選取最優的局部模糊核估計結果，採用RANSAC算法。
6.如權利要求1所述的非均一運動模糊圖像的恢復方法，其特徵在於，所述步驟S4進一步包括: S501:計算圖像的邊緣信息，並從所述邊緣信息中選取重要的邊緣信息用於估計重要邊緣估計模糊核； S502:根據所述重要邊緣估計模糊核更新所述相機的全局運動參數和所述圖像的去模糊結果；以及 S503A:重複步驟S501~S502，直至所述圖像的去模糊結果與上一次的所述圖像的去模糊結果之間的變化小於預定數值時，將當前的相機運動參數作為相機的最終全局運動參數。
7.如權利要求6所述的非均一運動模糊圖像的恢復方法，其特徵在於，還包括: S503B:重複步驟S501~S502，直至迭代次數達到預設的最大迭代次數後，將當前的相機運動參數作為 相機 的最終全局運動參數。
【文檔編號】G06T5/00GK103544681SQ201310377605
【公開日】2014年1月29日 申請日期:2013年8月27日 優先權日:2013年8月27日
【發明者】戴瓊海, 李雯, 張軍 申請人:清華大學, 北京航空航天大學