一種基於運動檢測的圖像去模糊方法及裝置製造方法
2023-05-24 23:14:01
一種基於運動檢測的圖像去模糊方法及裝置製造方法
【專利摘要】本發明提供一種基於相機運動檢測的圖像去模糊方法,首先通過慣性導航器件獲取曝光期間相機的運動參數，根據運動參數估計相機的大致運動軌跡；然後根據運動軌跡由多視幾何學獲取曝光期間圖像的模糊核；最後由維納濾波算法得到去模糊後的清晰圖像。結果表明這種方法能夠準確地檢測曝光期間相機的運動情況，並根據運動軌跡快速、準確地生成模糊核，最終通過逆濾波得到相對清晰的圖像。
【專利說明】一種基於運動檢測的圖像去模糊方法及裝置
【技術領域】
[0001 ] 本發明涉及圖像處理技術，尤其涉及一種圖像去模糊方法及裝置。
【背景技術】
[0002]在圖像處理領域，補償由於曝光期間相機的運動造成的運動模糊一直是一個熱點同時也是一個難點問題。現有的解決方案有兩大類，一種是在成像已經完成之後對圖像進行補償，即通過算法將模糊圖像進行清晰化；另一種是在成像時就對運動進行補償，即曝光過程中就將運動造成的幹擾去除，立刻獲取一張清晰的照片。
[0003]第一種解決方案有一個假設前提就是圖像模糊的數學模型:召=/ Θ /( + /7。其中，B代表模糊圖像，I代表清晰圖像，k代表空間不變的模糊核，η代表加性噪聲，》代表空間卷積運算。第一種方案下又存在兩個方向，分別是已知模糊核的情況下去模糊和未知模糊核的情況下去模糊。已知模糊核的情況下去模糊相對簡單，現有的逆濾波方法相對成熟，如最小均方差濾波(維納濾波)、約束最小二乘方濾波、幾何均值濾波等；未知模糊核的情況相對較難，主要通過對自然圖像的先驗知識來輔助求取該問題，此類方法計算量大、對硬體要求高、結果不夠穩定。
[0004]第二種方案的典型代表是Image Stabilizer,該方案的原理是在曝光期間通過陀螺儀檢測相機的轉動姿態，然後根據轉動的信息來控制一枚補償透鏡的運動，從而修正因為轉動帶來的光路扭曲，最終達到消除運動帶來的模糊效果。此方法只能用來解決轉動問題帶來的模糊，針對大幅度的運動造成的模糊並沒有很好的效果。
【發明內容】
[0005]針對現有技術的缺陷，本發明提供一種基於相機運動檢測的圖像去模糊方法，旨在快速、準確地對相機曝光期間運動而造成的圖像模糊進行處理。
[0006]為實現上述目的，本發明提供了一種基於相機運動檢測的圖像去模糊算法，包括下述步驟:
[0007]S1:數據採集，以獲取相機到被拍攝物體之間的距離(也即物距)、曝光時間T內相機的η組運動數據和相機所拍攝的模糊圖像；
[0008]S2:根據所述η組運動數據估計相機的運動軌跡，進而根據相機的運動軌跡和物距生成曝光時間T內的模糊核；
[0009]S3:根據步驟S2得出的模糊核，對所述模糊圖像進行逆濾波得到去模糊的圖像。
[0010]在又一實施例中，本發明提供了一種基於相機運動檢測的圖像去模糊裝置，其特徵在於，包括:
[0011]第一模塊，用於數據採集，以獲取相機到被拍攝物體之間的距離(也即物距)、曝光時間T內相機的η組運動數據和相機所拍攝的模糊圖像；
[0012]第二模塊，用於根據所述η組運動數據估計相機的運動軌跡，進而根據相機的運動軌跡和物距生成曝光時間T內的模糊核；[0013]第三模塊，用於根據第二模塊得出的模糊核，對所述模糊圖像進行逆濾波得到去模糊的圖像。
[0014]本發明提供的方法和裝置能夠快速地檢測出相機在曝光期間的運動軌跡；能夠根據運動軌跡快速地估計運動模糊核；能夠有效地恢復出清晰的圖像，相較於傳統的根據一幅圖像進行盲去模糊算法，在運算時間上顯著降低，在計算資源上更加節省。
【專利附圖】
【附圖說明】
[0015]圖1是本發明實施例提供的系統硬體結構示意圖；
[0016]圖2是本發明實施例提供的處理流程圖；
[0017]圖3是模糊核長度計算原理示意圖；
[0018]圖4是模糊核方向計算原理示意圖；
[0019]圖5是慣性運動單元輸出與模糊核方向的關係示意圖；
[0020]圖6是模糊核拼接示意圖。
【具體實施方式】
[0021]為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用於解釋本發明，並不用於限定本發明。
[0022]本發明實例提供的基於相機運動檢測的圖像去模糊方法是一種基於慣性導航技術和多視幾何學的去模糊過程，其基本思想是:通過慣性導航器件獲取曝光期間相機的運動參數，根據運動參數估計相機的大致運動軌跡；然後根據運動軌跡由多視幾何學獲取曝光期間圖像的模糊核；最後由維納濾波算法得到去模糊後的清晰圖像。
[0023]如圖1所示，本發明的系統硬體包括千兆網面陣(XD相機101，用於圖像拍攝；雷射測距傳感器102捷聯於千兆網面陣CXD相機101上，用於測量物距即被拍攝物體到相機的距離；慣性導航器件103捷聯於千兆網面陣C⑶相機101上，採用ADIS16405高精密三軸陀螺儀、加速度計、磁力計，用於測量相機的運動參數，包括加速度、角速度和磁場強度；PC機104，通過乙太網與千兆網面陣C⑶相機101連接，用於配置相機參數和接收相機拍攝圖像，通過串行通訊口與嵌入式控制器105連接，發送相機曝光命令；嵌入式控制器105，採用STM32f4discovery開發板，用於接收PC機104的曝光命令後向千兆網面陣CCD相機101發送觸發脈衝曝光，同時讀取慣性導航器件103的數據，曝光結束後回傳數據給PC機104。
[0024]該方法包括下述步驟:
[0025]S1:數據採集，以獲取相機到被拍攝物體之間的距離(也即物距)、曝光時間T內相機的η組運動數據和相機所拍攝的模糊圖像。
[0026]其中，物距可以利用雷射測距傳感器102獲取；相機的運動數據可以利用捷聯於相機上的慣性導航器件103獲取，相機曝光時間為Τ，從慣性導航器件103的寄存器讀出數據的周期(也即慣導採樣周期)為Τ/η，相機曝光時間T內共讀取η組慣導數據；曝光結束，模糊圖像通過乙太網回傳給上位機，η組慣導數據按時間先後順序分別加上時間戳以後通過通信接口(例如，232串行口)回傳給上位機。
[0027]具體執行流程如下:首先，PC機通過乙太網將相機的參數配置好，設置為觸發曝光模式。然後通過串口向嵌入式控制器發送曝光命令，嵌入式控制器在收到曝光命令後通過GPIO 口向乙太網相機發送脈衝信號，緊接著嵌入式控制器通過SPI 口查詢慣性運動單元的數據，並將整個曝光周期的數據保存起來；與此同時，雷射測距傳感器將測得的物距返回給PC機。最後，相機曝光結束，圖像被回傳給PC機，慣性運動數據也回傳給PC機。
[0028]數據採集完成後，在PC機上進行數據處理。如圖2所示，首先慣性運動數據201進行相機運動軌跡運算202 ;然後結合相機運動軌跡202和物距203通過直線模糊核生成單元204生成許多直線型模糊核；接著將這些直線型模糊核通過模糊核拼接單元205生成曲線型的完整的模糊核；最後將模糊圖像206與曲線型模糊核通過逆濾波單元207得到最終的清晰圖像208。
[0029]下面，對PC機上的數據處理過程進行詳細說明。
[0030]S2:根據所述η組運動數據估計相機的運動軌跡，進而結合相機運動軌跡和物距生成曝光時間T內的模糊核。
[0031]步驟S2具體包括:
[0032]S21:將來自慣性導航器件103的η組慣導數據轉換為實際物理值，計算相機姿態，並計算與鏡頭平行的平面上的加速度分量；
[0033]S22:根據S21的結果，假設相機在每次慣導採樣周期Τ/η內為勻速直線運動，計算每次慣導採樣期間的速度，所述速度乘以慣導採樣周期即為該周期內的位移；
[0034]S23:結合所述位移和物距，計算每個慣導採樣周期內，物點的運動在像平面上形成的向量的模和方向，並利用所述 向量的模和方向計算與每個慣導採樣周期對應的一段直線模糊核，然後根據數據的先後順序將各個直線模糊核拼接起來，得到整個曝光時間T內的曲線模糊核。
[0035]假設相機曝光期間的運動速度為(U，V)，u是相機沿X軸的運動速度，V是相機沿y軸的運速度。如果將相機看做靜止，則物點的的運動速度為(-U，-V)。
[0036]模糊核又稱為點擴散函數(point spread function),可以通過分析一個點在成像過程中的行為來獲取模糊核函數。如圖3所示，在一個慣導採樣期間，開始時刻物點在A點處，此時在像平面301上的映射為k';結束時刻物點在B點處，此時在像平面301上的
映射為B'。物點的運動會在像平面301上形成向i Tb ,為了生成模糊核，需要獲取
該向量的模和方向。
[0037]獲取向量的模:設A點坐標為(Xl，Y1, Z1)，其中Z1即為A點的物距，相機曝光時間為t,物點的移動速度為(U，V),得B點坐標為(xfut, yjvt, Z1)。通過相機標 定矩陣
【權利要求】
1.一種基於相機運動檢測的圖像去模糊方法，其特徵在於，包括以下步驟: S1:數據採集，以獲取相機到被拍攝物體之間的距離(也即物距)、曝光時間T內相機的η組運動數據和相機所拍攝的模糊圖像； 52:利用所述η組運動數據估計相機的運動軌跡，進而根據相機的運動軌跡和物距生成曝光時間T內的模糊核； 53:根據步驟S2得出的模糊核，對所述模糊圖像進行逆濾波得到去模糊的圖像。
2.根據權利要求1所述的一種基於相機運動檢測的圖像去模糊方法，所述步驟SI中，相機的η組運動數據利用捷聯於相機上的慣性導航器件獲取，相機曝光時間為Τ，慣導採樣周期為Τ/η，相機曝光時間T內共讀取η組慣導數據。
3.根據權利要求2所述的一種基於相機運動檢測的圖像去模糊方法，所述步驟S2包括以下步驟: 521:將來自慣性導航器件的η組慣導數據轉換為實際物理值，計算相機姿態，並計算與鏡頭平行的平面上的加速度分量； 522:根據S21的結果，假設相機在每次慣導採樣周期Τ/η內為勻速直線運動，計算每次慣導採樣期間的速度，所述速度乘以慣導採樣周期即為該周期內的位移； 523:根據所述位移和物距，計算每個慣導採樣周期內，物點的運動在像平面上形成的向量的模和方向，並利用所述向量的模和方向計算與每個慣導採樣周期對應的一段直線模糊核，然後根據數據的先後順序將各個直線模糊核拼接起來，得到整個曝光時間T內的曲線模糊核。
4.根據權利要求1所述的一種基於相機運動檢測的圖像去模糊方法，所述步驟S3中，所述逆濾波為維納濾波，得到的去模糊的圖像的傅立葉變換/(〃，V)為:
5.一種基於相機運動檢測的圖像去模糊裝置，其特徵在於，包括: 第一模塊，用於數據採集，以獲取相機到被拍攝物體之間的距離(也即物距)、曝光時間T內相機的η組運動數據和相機所拍攝的模糊圖像； 第二模塊，用於根據所述η組運動數據估計相機的運動軌跡，進而根據相機的運動軌跡和物距生成曝光時間T內的模糊核； 第三模塊，用於根據第二模塊得出的模糊核，對所述模糊圖像進行逆濾波得到去模糊的圖像。
6.根據權利要求5所述的一種基於相機運動檢測的圖像去模糊裝置，所述相機的η組運動數據利用捷聯於相機上的慣性導航器件獲取，相機曝光時間為Τ，慣導採樣周期為T/η，相機曝光時間T內共讀取η組慣導數據。
7.根據權利要求6所述的一種基於相機運動檢測的圖像去模糊裝置，所述第二模塊包括: 第一子模塊，用於將來自慣性導航器件的η組慣導數據轉換為實際物理值，計算相機姿態，並計算與鏡頭平行的平面上的加速度分量； 第二子模塊，用於根據第一子模塊的結果，假設相機在每次慣導採樣周期Τ/η內為勻速直線運動，計算每次慣導採樣期間的速度，利用所述速度乘以慣導採樣周期得到該周期內的位移； 第三子模塊，用於根據所述位移和物距，計算每個慣導採樣周期內，物點的運動在像平面上形成的向量的模和方向，並利用所述向量的模和方向計算與每個慣導採樣周期對應的一段直線模糊核，然後根據數據的先後順序將各個直線模糊核拼接起來，得到整個曝光時間T內的曲線模糊核。
8.根據權利要求5所述的一種基於相機運動檢測的圖像去模糊裝置，所述第三模塊中，所述逆濾波為維納濾波，得到的去模糊的圖像的傅立葉變換h「.V)為:
【文檔編號】G06T7/20GK103440624SQ201310341341
【公開日】2013年12月11日 申請日期:2013年8月7日 優先權日:2013年8月7日
【發明者】肖力, 嶽東, 孫志剛, 王卓, 吳慶, 盧亮 申請人:華中科技大學