序列虹膜圖像超解析度重建方法
2023-04-28 15:23:21
專利名稱：序列虹膜圖像超解析度重建方法
技術領域：
本發明屬於生物特徵識別領域，涉及數字圖像處理、統計學習和模式識別等技術，特別是涉及一種序列虹膜圖像的超解析度重建方法。
背景技術：
基於虹膜的身份鑑別以其高可靠性，穩定性和非侵犯性而佔有生物特徵識別技術的重要地位。一般的識別方法都是基於滿足一定解析度的圖像進行的，如國際標準要求圖像中虹膜直徑不少於150像素。而在實際圖像獲取中，在一些特定環境，如遠距離識別或者受到系統光學性能的限制，不一定能獲取較高解析度的圖像，低解析度圖像往往在識別時被摒棄，或者在識別時不能獲得高的性能，對這些圖像進行高解析度重構能夠增加識別率，提高系統魯棒性及易用性。目前，虹膜圖像的超解析度重建可以基於普通圖像超解析度重建技術，但就虹膜圖像而言，因其虹膜紋理與佔據環形區域的特殊性，其重建過程與普通圖像有所不同。其主要步驟包括圖像預處理、圖像配準和超解析度重建。虹膜圖像在進行採集時由於瞳孔的振顫特性而使圖像具有不同的瞳孔尺寸和虹膜紋理區域，在識別時只考慮虹膜紋理區域特徵，因此可以先將虹膜進行定位及歸一化展開，只保留虹膜紋理區域進行後續超解析度重建。序列圖像的配準即運動估計，是尋找兩幅圖像在空間和灰度上的映射的過程，一般情況下圖像配準的方法通常可分為三類(I)基於像素的配準方法，即根據待配準圖像的相關函數、Fourier變換和各階矩量之間的關係式來計算配準參數。(2)基於特徵的配準方法，即根據需要配準圖像重要相同特徵之間的幾何關係確定配準參數。這類方法首先需要提取特徵，如圖像的邊緣、角、點、線、曲率等具有不變性的特徵。提取特徵可在空間域內進行。也可在變換域內進行。(3)基於模型的配準方法，這種方法是根據圖像失真的數學模型來進行非線性校正式的配準。由於虹膜圖像的旋轉在歸一化圖像中體現為水平位移，因此序列歸一化虹膜圖像的配準可只考慮二維的位移。根據歸一化圖像的特點，以及虹膜識別系統的速度和精度要求，選擇基於像素的Fourier變換方法來對其進行配準。目前，序列虹膜圖像的超解析度重建方法多採用空域的方法，包括主成分變換法、基於學習的多層感知器法、圖像平均法、以及貝葉斯最大後驗概率法等。這些方法包含先驗信息的約束，能將插值、迭代、濾波重採樣同複雜的運動模型結合起來處理。空域法的降質過程模型內容廣泛，可以包括非理想採樣、空間可變點擴散函數、全局運動和局部運動、光學模糊、運動模糊等。重複背投影法也是空域法中的一種，首先用一幅輸入圖像進行插值作為輸出圖像的初始估計，並將所有低解析度圖像插值得到高解析度圖像，估計圖像與實際觀測圖像的高解析度插值圖像之間的差值稱為模擬誤差，根據模擬誤差不斷更新當前估計。簡而言之，就是重複地應用各幅低解析度圖像的插值圖像與估計得到的高解析度圖像的差來更新估計的高解析度圖像。重複背投影法通過觀測方程使超解析度的結果與觀測數據匹配，因此， 可以用於序列虹膜圖像的重建。
發明內容
(一 )要解決的技術問題本發明的目的在於減少虹膜識別系統中對圖像解析度要求的限制，提供一種序列虹膜圖像的超解析度重建方法。此方法能提取低解析度序列虹膜圖像中的信息，重建得到高解析度虹膜圖像，提高虹膜識別系統的易用性，具有更低的等錯誤率。(二)技術解決方案為達到上述目的，本發明提供了一種序列虹膜圖像的超解析度重建方法，其中至少使用一幀圖像對序列虹膜圖像進行重建，包括以下步驟S1、從視頻中選取任意幅虹膜圖像，並對選取的序列圖像分別進行預處理，得到序列歸一化虹膜圖像；S2、採用頻域配準方法對序列歸一化虹膜圖像進行配準；S3、採用改進的重複背投影法對配準後的歸一化虹膜圖像進行超解析度重建；上述方案中，所述步驟SI包括S11、從視頻序列中選取成像清晰、對比度較好的正面虹膜圖像；S12、對選取的序列虹膜圖像分別進行虹膜內外邊界的定位，將虹膜區域從圖像中分割，並將分割得到的虹膜區域映射到極坐標，得到歸一化的虹膜圖像。步驟Sll中採用局部對比度法進行圖像清晰度判斷，並且採用微積分算子進行瞳孔和虹膜是否圓形的檢測以確定是否為正向虹膜圖像；步驟S12中採用Sobel算子和Hough變換的方法定位虹膜，採用分段插值得到虹膜紋理矩形圖像。上述方案中，所述步驟S2包括S21、從序列虹膜圖像中選取一幀作為參考幀，對所有序列圖像進行頻域變換並計算其他幀與參考幀之間的頻移；S23、根據計算得到的頻移計算對應的歸一化圖像中的水平和垂直位移並進行圖像配準。其中採用Fourier變換的方法計算多幀圖像間的位移，實現空域圖像的運動估計。上述方案中，所述步驟S3包括S31、對配準後的歸一化序列虹膜圖像進行插值得到高解析度序列插值圖像；S32、將插值後的參考幀作為高解析度圖像的初始估計，計算估計圖像與輸入的第一幀高解析度插值圖像間的均方誤差；採用迭代方式對高解析度估計圖像進行逐步修正迭代，每次迭代後再次計算均方誤差，滿足預設的收斂條件時停止迭代；S33、計算下一幀輸入高解析度插值圖像與當前估計圖像的均方誤差，再次修正并迭代，直到最後一幀高解析度插值圖像與估計圖像間的誤差滿足收斂條件，輸出估計圖像得到高解析度歸一化虹膜圖像。其中步驟S32中在計算均方誤差時，採用高解析度序列插值圖像的降質模型的中值與輸入幀數的乘積來代替所有高解析度序列插值圖像的降質模型之和；步驟S32和S33的收斂條件為當前迭代與最後三次迭代之間的均方誤差小於設定的閾值。(三)有益效果從上述技術方案可以看出，本發明具有以下有益效果1、本發明提供的這種序列虹膜圖像的超解析度重建方法，通過利用低解析度序列虹膜圖像間的互補信息，能有效重建出包含更多信息的高解析度虹膜圖像，實現多幅低解析度虹膜圖像信息融合到一幅高解析度圖像，而且可以對任意幅輸入的虹膜圖像進行重建。
2、本發明提供的這種序列虹膜圖像的超解析度重建方法，對虹膜圖像歸一化後進行配準，能夠消除瞳孔收縮引起的虹膜紋理區域尺寸不一致帶來的圖像配準困難；此外，虹膜圖像的旋轉轉變為歸一化圖像的平移，計算簡便；採用基於灰度的頻域變換的方法進行圖像配準，處理速度快。3、本發明提供的這種序列虹膜圖像的超解析度重建方法，採用一種改進的重複背投影法，通過逐次計算高解析度估計圖像與輸入圖像間的均方誤差並修正來迭代得到更接近於虹膜圖像源的高解析度圖像。採用高解析度序列插值圖像的降質模型的中值與輸入幀數的乘積來代替所有高解析度序列插值圖像的降質模型之和，代入計算均方誤差公式，不僅有效正確的估計高解析度圖像，而且提高了算法魯棒性，在序列低解析度虹膜圖像中有一些離群值時，能提高識別精度。
圖1是序列虹膜圖像超解析度重建流程圖；圖2是改進的重複背投影法進行超解析度圖像重建的流程圖；圖3是不同解析度水平的虹膜圖像的示例，其中(a)是常用的解析度為640X480的虹膜圖像(其中虹膜直徑約200像元)；(b)是解析度為320 X 240的虹膜圖像；(c)是解析度為160X 120的虹膜圖像；圖4是序列虹膜圖像超解析度重建的結果，其中(a)是序列歸一化虹膜圖像；(b) (c) (d)分別是用2、4、6幅圖像重建的高解析度歸一化虹膜圖像；圖5是不同數量虹膜圖像進行超解析度重建後建立對應虹膜資料庫的識別ROC曲線及EER ；圖6是採用本發明提供的序列虹膜圖像超解析度重建方法以及「圖像平均(imageaveraging)」方法對Set S2分別採用4幅圖像進行超解析度重建後識別結果的比較。
具體實施例方式下面結合實施例並參照附圖詳細說明本發明技術方案中所涉及的各個細節問題。低解析度的虹膜圖像會對識別性能有較壞的影響。一般來說，虹膜識別系統的前端都有質量評價體系，對於低於一定解析度的虹膜圖像予以捨棄，只選擇較高解析度清晰虹膜圖像做識別。但在一些大場景或遠距離拍攝的情況下，或者受到系統光學性能的限制，虹膜圖像的解析度無法達到標準。因此，對低解析度序列虹膜圖像進行超解析度重建並識另IJ，可提高虹膜識別系統的易用性。本發明提出的序列虹膜圖像的超解析度重建方法，可用於多種虹膜圖像識別系統，其流程圖如圖1所示，包括以下步驟S1、從視頻序列中選取任意幅虹膜圖像，並對選取的圖像分別進行預處理，得到序列歸一化虹膜圖像；S2、採用頻域配準方法對序列歸一化虹膜圖像進行配準；S3、採用改進的重複背投影法對配準後的歸一化虹膜圖像進行超解析度重建；
下面對本發明涉及的關鍵步驟進行逐一說明。本發明所述方法中各個基本步驟的具體形式如下所述首先，步驟SI從視頻序列中選取任意幅虹膜圖像，並對選取的圖像分別進行預處理，得到序列歸一化虹膜圖像。採集到視頻圖像不一定每幀都是清晰有效的，從中選取合適的圖像進行處理是保證有效超分辨圖像重建的前提。對圖像進行定位及歸一化處理，可有效分隔出虹膜紋理區域，得到矩形區域便於後續處理。具體過程如下S11、選取任意幅成像清晰、對比度較好的正面虹膜圖像。採用局部對比度法進行圖像清晰度判斷，並且採用微積分算子進行瞳孔和虹膜是否圓形的檢測以確定是否為正向虹膜圖像，同時利用圓形檢測結果剔除眼皮遮擋嚴重的虹膜圖像；S12、對選取的序列虹膜圖像分別進行虹膜內外邊界的定位，將虹膜區域從圖像中分割，並將分割得到的虹膜區域映射到極坐標，得到歸一化的虹膜圖像。採用二值化方法定位瞳孔邊界，即虹膜內邊界，然後採用Sobel算子進行邊緣檢測，利用Hough變換的方法定位虹膜外邊界，採用分段插值將定位後的虹膜區域映射到極坐標得到歸一化的虹膜圖像。其次，步驟S2是採用頻域配準方法對其他序列幀與參考幀進行配準；虹膜圖像的旋轉在歸一化圖像中轉化為水平方向平移，通過估計歸一化圖像中的水平和垂直位移則可得到序列虹膜圖像間的運動估計。具體過程如下S21、依據空間域的平移量與頻域的頻移量的對應關係，可以快速的實現運動估計。從序列虹膜圖像中選取一幀作為參考幀，計算所有輸入幀的傅立葉變換，比較輸入幀與參考幀之間的頻率位移。S22、依據傅立葉變換公式，得到頻率位移對應得水平和垂直位移。按照得到的位移量將圖像平移配準。最後，步驟S3是採用改進的重複背投影法對配準後的歸一化虹膜圖像進行超解析度重建，其流程圖如圖2所示，具體過程如下S31、採用雙三次線性插值對配準後的序列歸一化圖像插值，得到高解析度的序列歸一化虹膜圖像S32、對高解析度圖像進行估計和迭代，經過配準後的歸一化虹膜圖像降質模型表示為Yt =DtCtFt X+E1(I)其中，X是用向量表示的高解析度估計圖像，Yk表示輸入n幀圖像的第k幅圖像，Dk表示降採樣矩陣，Ck表示模糊矩陣，Fk表示幾何變形矩陣，Ek表示噪聲。對單幀高解析度圖像做降質處理，依次進行幾何變形、模糊、降採樣過程及增加噪聲，獲得低解析度序列圖像Yk。根據式(2)計算每一次迭代後的均方誤差
權利要求
1.一種序列虹膜圖像的超解析度重建方法，其中至少使用一幀圖像對序列虹膜圖像進行超分辨力重建，包括以下步驟 51、從視頻中選取序列虹膜圖像，分別進行預處理，得到序列歸一化虹膜圖像； 52、採用頻域變換方法對序列歸一化虹膜圖像進行配準； 53、採用改進的重複背投影法對配準後的歸一化虹膜圖像進行超解析度重建。
2.根據權利要求1所述的序列虹膜圖像超解析度重建方法，其特徵在於，所述步驟SI包括 511、從視頻中選取任意幅紋理清晰、對比度良好的正面虹膜圖像； 512、對選取的序列虹膜圖像分別進行虹膜內外邊界的定位，將虹膜區域從圖像中分害I]，並將分割得到的虹膜區域映射到極坐標，得到歸一化的虹膜圖像。
3.根據權利要求2所述的序列虹膜圖像超解析度重建方法，其特徵在於， 步驟Sll中採用局部對比度法進行圖像清晰度判斷，並且採用微積分算子進行瞳孔和虹膜是否圓形的檢測以確定是否為正向虹膜圖像；
4.根據權利要求2所述的序列虹膜圖像超解析度重建方法，其特徵在於， 步驟S12中採用Sobel算子和Hough變換的方法定位虹膜，採用分段插值得到虹膜紋理矩形圖像；
5.根據權利要求1所述的序列虹膜圖像超解析度重建方法，其特徵在於，所述步驟S2包括 521、從序列虹膜圖像中選取一幀作為參考幀，對所有序列圖像進行頻域變換並計算其他幀與參考幀之間的頻移； 522、根據計算得到的頻移計算對應的歸一化圖像中的水平和垂直位移。
6.根據權利要求5所述的序列虹膜圖像超解析度重建方法，其特徵在於， 採用Fourier變換的方法計算多幀圖像間的位移，實現空域圖像的運動估計；
7.根據權利要求1所述的序列虹膜圖像超解析度重建方法，其特徵在於，所述步驟S3包括 531、對配準後的歸一化序列虹膜圖像進行插值得到高解析度序列插值圖像； 532、將插值後的參考幀作為高解析度圖像的初始估計，計算估計圖像與輸入的第一幀高解析度插值圖像間的均方誤差；採用迭代方式對高解析度估計圖像進行逐步修正迭代，每次迭代後再次計算均方誤差，滿足預設的收斂條件時停止迭代； 533、計算下一幀輸入高解析度插值圖像與當前估計圖像的均方誤差，再次修正并迭代，直到最後一幀高解析度插值圖像與估計圖像間的誤差滿足收斂條件，輸出估計圖像得到高解析度歸一化虹膜圖像。
8.根據權利要求7所述的序列虹膜圖像超解析度重建方法，其特徵在於， 步驟S32中在計算均方誤差時，採用高解析度序列插值圖像的降質模型的中值與輸入幀數的乘積來代替所有高解析度序列插值圖像的降質模型之和；
9.根據權利要求7所述的序列虹膜圖像超解析度重建方法，其特徵在於， 步驟S32和S33的收斂條件為當前迭代與最後三次迭代之間的均方誤差小於設定的閾值。
全文摘要
本發明公開了一種序列虹膜圖像超解析度重建方法，首先選取合適的序列虹膜圖像，分別進行定位及歸一化處理，然後用頻域的方法對序列歸一化圖像進行配準，在圖像插值的基礎上，採用改進的重複背投影法提取多幅虹膜圖像信息對高解析度虹膜圖像進行估計和迭代，實現超解析度虹膜圖像重建。本發明可以有效減小低解析度虹膜圖像對識別性能的影響，提升系統的魯棒性，放寬對用戶的限制，增加虹膜識別系統的應用領域。
文檔編號G06T3/40GK103020898SQ20121050786
公開日2013年4月3日 申請日期2012年12月3日 優先權日2012年12月3日
發明者何玉青, 任慧穎, 潘景, 李力, 李嘉琦 申請人:北京理工大學