一種基於近紅外圖像的運動模糊圖像去模糊方法和裝置的製作方法

2023-10-27 15:07:57

專利名稱：一種基於近紅外圖像的運動模糊圖像去模糊方法和裝置的製作方法
技術領域：
本發明涉及圖像復原領域，尤其涉及一種基於近紅外閃光圖像輔助的運動模糊圖像恢復方法和系統。
背景技術：
運動模糊是一種在成像過程中普遍存在的現象。位於例如快速行駛的汽車、飛機或其他飛行器上的相機，在拍攝圖像的過程中由於拍攝對象相對於相機的速度過快或者拍攝過程中相機的抖動，使得拍攝的圖像產生運動模糊，嚴重影響了獲取圖像的質量。實現運動模糊圖像的復原，恢復原始的清晰圖像，有利於獲取更高解析度的圖像細節信息，這對於使用許多基於圖像信息進行的後續處理的應用是非常必要的預處理過程。在運動模糊的研究當中，通常假設得到的模糊圖像服從以下成像模型Β = ΙΘΚ + η其中，B為獲取的模糊圖像，I為要恢復的清晰圖像，K為模糊核，η為加性噪聲。在該模型的定義中，模糊圖像是由清晰圖像與模糊核卷積，再加入噪聲而產生的。圖像的去運動模糊的問題是在圖像獲取以後，通過一定的方法獲取運動信息，從而最大可能的恢復原始的清晰圖像。按照模糊核為已知或未知，圖像去模糊通常可以分為非盲去卷積和盲去卷積兩類。非盲去卷積問題，即為模糊核已知或已通過其他方式求得，由圖像去卷積估計清晰圖像。傳統的非盲去卷積方法使用維納(Wiener)濾波恢復圖像，對噪聲的抑制作用比較差。1974年提出的理查森露西(Richardson-Lucy，RL)算法在圖像恢復中應用廣泛，但是隨著迭代次數的增加，恢復圖像的振鈴效應變得較為嚴重，噪聲的影響也隨之增大。近年來， 一些方法使用TV範數、自然圖像梯度稀疏、小框架(Framelet)域變換係數稀疏等作為約束進行圖像恢復。由於成像過程中的運動模糊會造成圖像的高頻信息丟失，而該問題並不是簡單的可逆過程，同時模糊核的頻域零點使得圖像噪聲被放大，並在圖像的邊緣等不連續處產生嚴重的振鈴效應。因此，使用現有方法對圖像去卷積的結果往往難以令人滿意。在實際的運動去模糊問題中，模糊核通常是未知的，也就是盲去卷積問題。這樣的圖像恢復工作一般可以分成兩步來完成一是運動模糊核的估計；二是根據估計的模糊核的圖像去卷積。模糊核的估計方法包括基於單幅圖像、兩幅圖像或多幀圖像的運動信息獲取。基於單幅圖像的運動去模糊是較為欠定的問題，通常是通過分析模糊圖像和清晰圖像的特點，將得到其分布情況的先驗信息作為約束條件添加到圖像恢復過程中。為使獲取的信息更為豐富，大量的研究開始針對多幅圖像，以獲取更佳的恢復結果，例如採用同一場景的兩幅運動模糊圖像，採用一幅運動模糊和一幅低曝光高噪聲圖像組合，以及採用一個快速CCD和一個慢速OCD同時獲取圖像等方式。此類方法連續對場景進行拍攝，要求場景是靜態的，並且對圖像的對準有很高要求，而模糊圖像的對準是較為困難的，即使手動調整也很難實現較為精確的對準。近年來，由於近紅外圖像具備可以獲得清晰而豐富的邊緣和紋理信息等特點，而在圖像復原等領域受到廣泛關注。低光照環境下，由於光線不足使得可見光相機曝光時間加長，導致可能存在較為嚴重的相機抖動模糊，而使用近紅外閃光得到的近紅外圖像則可明顯縮短曝光時間，從而得到清晰的圖像。同時，由於近紅外為不可見光，閃光不會對被拍攝事物造成影響，也不會影響可見光模糊圖像的採集，因而二者可以同時拍攝。對於快速行駛的汽車及飛機等載體上的拍攝問題，拍攝對象相對於相機的速度過快或者拍攝過程中的抖動，使得模糊核尺度較大且較為複雜，基於單幅圖像進行圖像恢復很難得到理想的結果。由於相機相對於場景的快速移動，對同一場景連續拍攝也是不易實現的。目前，還沒有一種方法能夠有效地解決上述問題。

發明內容
為了解決上述技術問題，本發明提供了一種基於近紅外閃光圖像的有效、魯棒的運動模糊圖像恢復方法。本發明的發明人注意到在低光照拍攝條件下、圖像去模糊處理的模糊核尺度較大較複雜、且具有拍攝場景變化快的特點，這導致現有處理方法提出的系統和算法無法被有效地應用。本發明利用混合相機採集系統，從運動模糊的實際物理成像模型出發，提出了有效實用的模糊圖像去模糊方法。本發明提供了一種運動模糊圖像去模糊方法，其特徵在於，包括以下步驟步驟 1，獲取場景的可見光模糊圖像和近紅外閃光圖像，所述近紅外閃光圖像的曝光時長小於可見光的曝光時長；步驟2，在所述近紅外閃光圖像中選取不包含由近紅外閃光帶來的陰影和高光區域作為選定區域，在可見光模糊圖像中選取對應於近紅外閃光圖像的選定區域的區域作為所述可見光模糊圖像的選定區域；步驟3，基於所述選定區域中的近紅外閃光圖像和選定區域中的可見光模糊圖像的梯度信息，通過多尺度迭代方式估計第一模糊核，基於所述第一模糊核得到所述選定區域中的可見光模糊圖像去模糊後的第一清晰圖像；步驟 4，基於所述第一清晰圖像來約束所述第一模糊核的空間稀疏性，以得到第二模糊核；步驟 5，基於所述第二模糊核，得到作為所述可見光模糊圖像去模糊結果的第二清晰圖像。進一步，該方法還包括在所述步驟1中，利用分光鏡將場景光分離為可見光和近紅外光，分別由對應的圖像採集器件獲取以形成可見光模糊圖像和近紅外閃光圖像。進一步，該方法還包括在所述步驟3中進一步包括以下步驟步驟31，對選定區域中的可見光模糊圖像和選定區域中的近紅外閃光圖像採用高斯下採樣的方法，構建解析度逐級降低的圖像組，由最底層的圖像開始逐級處理；步驟32，計算當前層近紅外閃光圖像中包含邊緣的區域的重要程度，標記出近紅外閃光圖像中大尺度邊緣的位置信息；步驟 33，基於當前層近紅外閃光圖像的大尺度邊緣的位置信息計算當前層的近紅外閃光圖像的邊緣梯度信息，將前次迭代運算得出的清晰圖像作為初始清晰圖像得出當前層的清晰圖像的邊緣梯度信，當前層為最底層且迭代運算為第一次時，選取最底層的可見光模糊圖像作為初始清晰圖像計算得出當前層的清晰圖像的邊緣梯度信；步驟34，基於當前層近紅外閃光圖像的邊緣梯度信息和當前層清晰圖像的邊緣梯度信息估計當前層的模糊核；步驟35， 基於得到的當前層的模糊核和當前層近紅外閃光圖像的邊緣梯度信息，得出當前層可見光模糊圖像的清晰圖像；步驟36，若迭代次數未達到預設值，則將步驟35中得到清晰圖像作為當前層的初始清晰圖像返回步驟32進行迭代處理，反之，進入步驟37 ；步驟37，若當前層不是最高層，則將得到的當前層的清晰圖像進行高斯上採樣，其採樣尺度選取與高斯下採樣的尺度相同，得到的結果作為上一層的初始清晰圖像，重複步驟32至步驟36，直至達到最高層，得到最高層圖像的模糊核作為第一模糊核，得到最高層的清晰圖像作為第一清晰圖像。進一步，該方法還包括所述步驟34中，估計當前層的模糊核公式為
權利要求
1.一種運動模糊圖像去模糊方法，其特徵在於，包括以下步驟步驟1，獲取場景的可見光模糊圖像和近紅外閃光圖像，所述近紅外閃光圖像的曝光時長小於可見光的曝光時長；步驟2，在所述近紅外閃光圖像中選取不包含由近紅外閃光帶來的陰影和高光區域作為選定區域，在可見光模糊圖像中選取對應於近紅外閃光圖像的選定區域的區域作為所述可見光模糊圖像的選定區域；步驟3，基於所述選定區域中的近紅外閃光圖像和選定區域中的可見光模糊圖像的梯度信息，通過多尺度迭代方式估計第一模糊核，基於所述第一模糊核得到所述選定區域中的可見光模糊圖像去模糊後的第一清晰圖像；步驟4，基於所述第一清晰圖像來約束所述第一模糊核的空間稀疏性，以得到第二模糊核；步驟5，基於所述第二模糊核，得到作為所述可見光模糊圖像去模糊結果的第二清晰圖像。
2.根據權利要求1所述的方法，其特徵在於，在所述步驟1中，利用分光鏡將場景光分離為可見光和近紅外光，分別由對應的圖像採集器件獲取以形成可見光模糊圖像和近紅外閃光圖像。
3.根據權利要求1所述的方法，其特徵在於，在所述步驟3中進一步包括以下步驟 步驟31，對選定區域中的可見光模糊圖像和選定區域中的近紅外閃光圖像採用高斯下採樣的方法，構建解析度逐級降低的圖像組，由最底層的圖像開始逐級處理；步驟32，計算當前層近紅外閃光圖像中包含邊緣的區域的重要程度，標記出近紅外閃光圖像中大尺度邊緣的位置信息；步驟33，基於當前層近紅外閃光圖像的大尺度邊緣的位置信息計算當前層的近紅外閃光圖像的邊緣梯度信息，將前次迭代運算得出的清晰圖像作為初始清晰圖像得出當前層的清晰圖像的邊緣梯度信，當前層為最底層且迭代運算為第一次時，選取最底層的可見光模糊圖像作為初始清晰圖像計算得出當前層的清晰圖像的邊緣梯度信；步驟34，基於當前層近紅外閃光圖像的邊緣梯度信息和當前層清晰圖像的邊緣梯度信息估計當前層的模糊核；步驟35，基於得到的當前層的模糊核和當前層近紅外閃光圖像的邊緣梯度信息，得出當前層可見光模糊圖像的清晰圖像；步驟36，若迭代次數未達到預設值，則將步驟35中得到清晰圖像作為當前層的初始清晰圖像返回步驟32進行迭代處理，反之，進入步驟37 ；步驟37，若當前層不是最高層，則將得到的當前層的清晰圖像進行高斯上採樣，其採樣尺度選取與高斯下採樣的尺度相同，得到的結果作為上一層的初始清晰圖像，重複步驟32 至步驟36，直至達到最高層，得到最高層圖像的模糊核作為第一模糊核，得到最高層的清晰圖像作為第一清晰圖像。
4.根據權利要求3所述的方法，其特徵在於，所述步驟34中，估計當前層的模糊核公式為其中，K1為當前層的模糊核，V/}為當前層清晰圖像的邊緣梯度信息，Vjgz為當前層可見光模糊圖像B1的梯度信息，λ κ為預設權值。
5.根據權利要求4所述的方法，其特徵在於，在所述步驟35中，得出當前層可見光模糊圖像的清晰圖像的公式為I1 = min(||/ K1-B1『+ λΝ (V/ - VN1s『)其中，I1為當前層可見光模糊圖像的清晰圖像，K1當前層的模糊核，B1為當前層可見光模糊圖像，V^為當前層近紅外閃光圖像的邊緣梯度信息，v/為I的梯度，λΝ為預設權值。
6.根據權利要求1或2所述的方法，其特徵在於，在所述步驟4中，計算所述第一清晰圖像的邊緣梯度信息；基於所述第一清晰圖像的邊緣梯度信息，由迭代支撐檢測算法估計得出第二模糊核。
7.根據權利要求6所述的方法，其特徵在於，估計第二模糊核的公式為K = mm(\WIs K-WB\\ +γ^Κ^)m=S其中，兌為第二模糊核，V/,為第一清晰圖像的邊緣梯度信息，Vjg為可見光模糊圖像的梯度信息，Y為預設權值J =約，其是由Kn中所有值小於一個預定值ε的像素點的坐標組成的集合，夂二是Kn的一個點，m表示Kn中坐標。
8.根據權利要求7所述的方法，其特徵在於，在所述步驟5中，標記出可見光模糊圖像的高光區域及近紅外閃光圖像出現陰影和高光的區域，利用所述可見光模糊圖像和近紅外閃光圖像得出對圖像去模糊求解進行約束的權值係數；計算所獲取的近紅外閃光圖像的邊緣梯度信息，根據所述第二模糊核、所述近紅外閃光圖像的邊緣梯度信息和所述權值係數，得出所述可見光模糊圖像的第二清晰圖像，公式如下I = min(||/ -萬『+ λΝΜ。|V/ - VNs|| + A1 ||V/||)其中，/為第二清晰圖像，龍為第二模糊核，V乂為近紅外閃光圖像的邊緣梯度信息，B為可見光模糊圖像，An^Ai為預設權值，V/為I的梯度，M為對圖像去模糊求解進行約束的權值係數。
9.一種圖像處理裝置，其特徵在於，包括以下單元圖像獲取單元，其獲取場景的可見光模糊圖像和近紅外閃光圖像，所述近紅外閃光圖像的曝光時長小於可見光的曝光時長；區域選取單元，其在所述近紅外閃光圖像中選取不包含由近紅外閃光帶來的陰影和高光區域作為選定區域，在可見光模糊圖像中選取對應於近紅外閃光圖像的選定區域的區域作為所述可見光模糊圖像的選定區域；第一清晰圖像生成單元，其基於所述選定區域中的近紅外閃光圖像和選定區域中的可見光模糊圖像的梯度信息，通過多尺度迭代方式估計第一模糊核，基於所述第一模糊核得到所述選定區域中的可見光模糊圖像去模糊後的第一清晰圖像；模糊核細化單元，其基於所述第一清晰圖像來約束所述第一模糊核的空間稀疏性，以得到第二模糊核；第二清晰圖像生成單元，其基於所述第二模糊核，得到作為所述可見光模糊圖像去模糊結果的第二清晰圖像。
全文摘要
本發明公開了一種運動模糊圖像去模糊方法和裝置，所述方法包括以下步驟步驟1，獲取場景的可見光模糊圖像和近紅外閃光圖像；步驟2，在所述近紅外閃光圖像中選取不包含由近紅外閃光帶來的陰影和高光區域作為選定區域，在可見光模糊圖像中選取對應的區域作為選定區域；步驟3，基於所述選定區域的梯度信息，估計第一模糊核和第一清晰圖像；步驟4，基於所述第一清晰圖像得到第二模糊核；步驟5，基於所述第二模糊核，得到作為所述可見光模糊圖像去模糊結果的第二清晰圖像。本發明通過結合近紅外閃光圖像與可見光模糊圖像的梯度相關性，對低光照條件下的可見光模糊圖像進行快速、有效的去模糊復原，從而使得採集的圖像能夠更好地服務於各種應用。
文檔編號G06T5/00GK102254309SQ20111021283
公開日2011年11月23日 申請日期2011年7月27日 優先權日2011年7月27日
發明者戴瓊海, 李雯 申請人:北京航空航天大學, 清華大學