基于波形匹配的指紋圖像幀序列的拼接方法
2023-10-09 16:42:34 2
專利名稱:基于波形匹配的指紋圖像幀序列的拼接方法
技術領域:
本發明涉及一種圖像處理過程控制方法,具體來說是一種指紋圖像幀的拼接方法。
背景技術:
現在自動指紋識別系統的應用範圍越來越廣,如手機和計算機,特別是當自動指紋識別系統應用於手機時,需要採用小的指紋傳感器,否則將會影響手機的外觀布局以及體積大小。從產品成本上講,小的指紋傳感器需要的集成電路晶片的面積更小,成本更低。因此,刮擦式傳感器獲得了越來越廣泛的應用。
刮擦式指紋傳感器的工作原理是採集很多幀的指紋圖像,相鄰幀間有一定的重疊區域,需要通過圖像拼接將各幀圖像拼接成一幅完整的指紋圖像。因此指紋圖像拼接算法對於刮擦式指紋傳感器有重要意義。
在實際應用中,要求自動指紋識別系統的響應時間比較短,所以要求指紋圖像拼接算法運算速度快,拼接圖像能夠滿足指紋識別算法的要求。
經過對現有技術文獻的檢索發現,中國專利公開號CN 1694118A,
公開日2005年11月9日,發明創造的名稱為「擴展相位相關的滑動指紋序列無縫拼接方法」,該申請案公開了一種擴展相位相關的滑動指紋序列無縫拼接方法。其不足之處是需要對每個圖像幀進行傅立葉變換以實現拼接。
中國專利公開號CN 1804862A,
公開日2006年7月19日,發明創造的名稱為「指紋圖像幀的拼接方法」,該申請案公開了一種指紋圖像幀的拼接方法。其不足之處是需要對每個圖像幀計算灰度方差以實現拼接。
發明內容
本發明克服了上述缺點,提供了一種在指紋圖像拼接過程中只處理每個圖像幀經過二值化的參考區域,從而減少計算量,加快拼接速度的指紋圖像幀的拼接方法。
本發明解決其技術問題所採取的技術方案是一種指紋圖像幀的拼接方法,對每幀圖像,只根據其參考區域提取出的二進位波形跳變信息進行拼接。
可包括如下步驟
1)收到指紋圖像採集模塊採集到的指紋圖像幀後,讀入第一幀圖像;2)對圖像幀進行縮減處理,拼入拼接圖像,依次採用各個參考區域提取模板提取基準參考區域,計算提取到的基準參考區域的波形跳變信息,如果能夠獲得基準區域波形跳變信息,讀入下一幀圖像,進入步驟3);如果無法獲得基準區域波形跳變信息,讀入下一幀圖像,返回步驟2);3)對圖像幀進行縮減處理,採用上一圖像幀所採用的參考區域提取模板提取當前圖像幀的參考區域,計算參考區域的波形跳變信息;4)確定當前圖像幀與拼接圖像的重疊區域;5)如果當前圖像幀參考區域標定重複行以上的圖像區域中存在能夠作為基準區域的圖像區域,將其作為新基準區域,更新基準區域波形跳變信息,將當前圖像幀拼入拼接圖像,讀入下一個圖像幀,轉入步驟3);反之,進入步驟6);6)選用其他的參考區域模板提取新基準參考區域,計算新基準參考區域波形跳變信息,獲得新基準區域波形跳變信息,提取新參考區域,計算新參考區域的波形跳變信息,直到通過步驟4)和5)進入步驟3);反之,如果所有參考區域提取模板都使用後,仍然不能進入步驟3),則進入步驟7)完成拼接;7)如果所有圖像幀都無法提取基準區域波形跳變信息,或者處理完所有圖像幀,或者某個圖像幀不能拼入拼接圖像,或者拼接圖像大小已經達到預設閾值,終止拼接算法;如果拼接成功,輸出拼接圖像,反之,輸出拼接失敗。
所述圖像幀的縮減處理是將指紋圖像採集模塊採集到的圖像幀刪除最上面和最下面各一行。
所述參考區域是指圖像幀或者拼接圖像中由參考區域提取模板提取出來的圖像區域,大小為圖像幀的1/6~1/3。
所述步驟4)通過如下步驟實現1)將當前圖像幀覆蓋在拼接圖像上,使其最上一行與基準區域最上一行重合,計算當前圖像幀與基準區域重疊的部分與基準區域的波形相似度;2)向上移動當前圖像幀,每次移動一行,直到當前圖像幀最下面一行與基準區域最下一行重合;每移動一次,計算一次當前圖像幀與基準區域重疊的部分與基準區域的波形相似度;3)所有區域波形相似度的最大值對應的當前圖像幀區域即為標定重複區域;4)標定重複區域中與其所對應的基準行的行波形相似度最大的圖像行即為當前圖像幀的標定重複行,與其對應的基準行為標定基準行;5)在水平方向上移動標定重複行對應的波形,每移動一個像素點,計算一次與標定基準行的行波形相似度,所得行波形相似度的最大值所對應的標定重複行波形的水平移動量即為當前圖像幀的水平偏移量。
所述步驟5)中將當前圖像幀拼入拼接圖像時,重疊部分取兩個重疊像素點灰度值的加權平均值作為拼接結果,兩個重疊像素點灰度值的權值非負,和為1。
所述基準區域是指拼接圖像基準參考區域中的連續3行圖像,其中每行圖像都至少包含一個波形跳變信息。
所述波形跳變信息是指各圖像行所對應的二進位波形中由0變化到1或由1變化到0的波形跳變的位置和次序。
所述波形跳變信息是指二進位波形中由1變化到連續兩個0的波形跳變的位置和次序。
所述行波形相似度的計算是由兩個波形所包含的波形跳變的位置、數目和次序決定的,每次參與計算的兩個波形分別屬於基準區域和當前圖像幀參考區域。
所述行波形相似度的計算規則如下1)如果兩個跳變位置相差3或4,相似度加1,並且如果兩個跳變在各自波形中的次序相同,相似度加1;2)如果兩個跳變位置相差2,相似度加2,並且如果兩個跳變在各自波形中的次序相同,相似度加1;3)如果兩個跳變位置相差1,相似度加3,並且如果兩個跳變在各自波形中的次序相同,相似度加2;4)如果兩個跳變位置相同,相似度加4,並且如果兩個跳變在各自波形中的次序相同,相似度加2;5)如果滿足規則1)~規則4)中一個或多個規則的兩個波形包含的跳變數目相同,相似度加2。
圖1為本發明的工作流程2為程序初始化時計算基準區域波形跳變信息的程序流程3為拼接單個圖像幀的程序流程4為本發明所採用的Authentec公司AES2510刮擦式傳感器所採集到的圖像幀序列圖5為根據本發明拼接方法實施例1所得到的拼接結果圖6為根據本發明拼接方法實施例2所得到的拼接結果圖7為根據本發明拼接方法實施例3所得到的拼接結果具體實施方式
下面結合實施例對本發明作進一步的描述。
刮擦式指紋傳感器每次採集到的圖像幀的數目不定,相鄰兩個圖像幀中會有吻合或者可以近似看作吻合的重疊區域。這種吻合的程度通過波形相似度來衡量。衡量的依據是當前圖像幀的波形跳變信息與基準區域的波形相似度。所述波形相似度是指當前圖象幀對應波形與基準區域對應波形的相似程度,根據波形相似度確定當前圖像幀的標定重複行和水平偏移量以定位重疊區域。本實施例中所採用的相似度由波形跳變偏移量、數目和序數決定。
在圖像幀拼接的過程中,刪除了易受噪音、汗漬和汙跡影響的圖像幀最上面和最下面各一行,在提高拼接算法的精確度的同時也減小了計算量。
對刪減後的圖像幀提取其部分區域進行拼接運算,進一步減小了計算量。
實施例1以下結合如圖1、2、3中,具體描述本實施例中圖像拼接過程。
首先,假定每幀圖像大小為16行,192列,灰度級0~255,正常拼接後的圖像最大192行,192列。採用的參考區域提取模板共3個,分別提取縮減後圖像幀第1到第14行中的第65列到第128列、第1列到第64列和第129列到192列。
收到第一個圖像幀後,對其進行縮減處理,剩餘部分拼入拼接圖像最下方。選擇一個參考區域提取模板提取基準參考區域,計算二值化灰度閾值為參考區域灰度均值減去16。根據此閾值將基準參考區域二值化,將各圖像行轉化為二進位序列,得到對應的二進位波形。對每一個波形進行掃描,當遇到由1跳變到連續兩個0的情況時,記錄第一個0的位置。如果連續三行圖像對應的波形都包含波形跳變信息,將此三行圖像作為基準區域,其包含的波形跳變信息即為基準區域波形跳變信息。
收到第二幀圖像後,採用上一幀圖像所採用的參考區域提取模板提取參考區域,計算二值化灰度閾值,將參考區域二值化,得到對應的二進位波形。對每一個波形進行掃描,當遇到由1跳變到連續兩個0的情況時,記錄第一個0的位置。得到參考區域各行的波形跳變信息。
計算基準區域波形跳變信息與參考區域波形跳變信息的波形相似度。分別計算參考區域任意連續三個波形與參考區域波形跳變信息的相似度,所有波形相似度的最大值所對應的連續三個波形對應的參考區域中的連續三個圖像行即為第二個圖像幀的標定重複區域。三個波形分別對應三個行波形相似度,其中的最大值所對應的圖像行即為第二個圖像幀的標定重複行,所對應的基準行即為標定基準行。在水平方向上移動標定重複行對應的波形跳變信息,分別計算各個行波形相似度,所有相似度的最大值對應的波形跳變信息的移動量即為第二個圖像幀的水平偏移量。
得到第二個圖像幀的標定重複行位置和水平偏移量後,確定了第二個圖像幀的重疊區域,從第二個圖像幀的參考區域中選擇連續三個位於標定重複行之上的圖像行,並且每個圖像行都包含波形跳變信息,從而獲得新基準區域和新基準區域波形跳變信息。將第二個圖像幀拼入拼接圖像,首先是將標定重複行與標定基準行重合,然後根據水平偏移量向左或向右移動第二幀圖像,非重疊區域直接拼入拼接圖像,對重疊區域,計算灰度值加權平均值時拼接圖像像素點灰度值權值為0.6,當前圖像幀像素點灰度值權值為0.4。由於圖像幀移動所造成的拼接圖像的空白區域以灰度為0的像素點填充。
第二幀圖像處理完成後,讀入後續的圖像幀,處理方法同第二幀。最後輸出如圖5的圖像。
實施例2以下結合如圖1、2、3中,具體描述本實施例中圖像拼接過程。
首先,假定每幀圖像大小為16行,192列,灰度級0~255,正常拼接後的圖像最大192行,192列。採用的參考區域提取模板共3個,分別提取縮減後圖像幀第1到第14行中的第73列到第120列、第25列到第72列和第121列到168列。
收到第一個圖像幀後,對其進行縮減處理,剩餘部分拼入拼接圖像最下方。選擇一個參考區域提取模板提取基準參考區域,計算二值化灰度閾值為參考區域灰度均值減去16。根據此閾值將基準參考區域二值化,將各圖像行轉化為二進位序列,得到對應的二進位波形。對每一個波形進行掃描,當遇到由1跳變到連續兩個0的情況時,記錄第一個0的位置。如果連續三行圖像對應的波形都包含波形跳變信息,將此三行圖像作為基準區域,其包含的波形跳變信息即為基準區域波形跳變信息。
收到第二幀圖像後,採用上一幀圖像所採用的參考區域提取模板提取參考區域,計算二值化灰度閾值,將參考區域二值化,得到對應的二進位波形。對每一個波形進行掃描,當遇到由1跳變到連續兩個0的情況時,記錄第一個0的位置。得到參考區域各行的波形跳變信息。
計算基準區域波形跳變信息與參考區域波形跳變信息的波形相似度。分別計算參考區域任意連續三個波形與參考區域波形跳變信息的相似度,所有波形相似度的最大值所對應的連續三個波形對應的參考區域中的連續三個圖像行即為第二個圖像幀的標定重複區域。三個波形分別對應三個行波形相似度,其中的最大值所對應的圖像行即為第二個圖像幀的標定重複行,所對應的基準行即為標定基準行。在水平方向上移動標定重複行對應的波形跳變信息,分別計算各個行波形相似度,所有相似度的最大值對應的波形跳變信息的移動量即為第二個圖像幀的水平偏移量。
得到第二個圖像幀的標定重複行位置和水平偏移量後,確定了第二個圖像幀的重疊區域,從第二個圖像幀的參考區域中選擇連續三個位於標定重複行之上的圖像行,並且每個圖像行都包含波形跳變信息,從而獲得新基準區域和新基準區域波形跳變信息。將第二個圖像幀拼入拼接圖像,首先是將標定重複行與標定基準行重合,然後根據水平偏移量向左或向右移動第二幀圖像,非重疊區域直接拼入拼接圖像,對重疊區域,計算灰度值加權平均值時拼接圖像像素點灰度值權值為0.5,當前圖像幀像素點灰度值權值為0.5。由於圖像幀移動所造成的拼接圖像的空白區域以灰度為0的像素點填充。
第二幀圖像處理完成後,讀入後續的圖像幀,處理方法同第二幀。最後輸出如圖6的圖像。
實施例3以下結合如圖1、2、3中,具體描述本實施例中圖像拼接過程。
首先,假定每幀圖像大小為16行,192列,灰度級0~255,正常拼接後的圖像最大192行,192列。採用的參考區域提取模板共3個,分別提取縮減後圖像幀第1到第14行中的第81列到第112列、第49列到第80列和第113列到144列。
收到第一個圖像幀後,對其進行縮減處理,剩餘部分拼入拼接圖像最下方。選擇一個參考區域提取模板提取基準參考區域,計算二值化灰度閾值為參考區域灰度均值減去16。根據此閾值將基準參考區域二值化,將各圖像行轉化為二進位序列,得到對應的二進位波形。對每一個波形進行掃描,當遇到由1跳變到連續兩個0的情況時,記錄第一個0的位置。如果連續三行圖像對應的波形都包含波形跳變信息,將此三行圖像作為基準區域,其包含的波形跳變信息即為基準區域波形跳變信息。
收到第二幀圖像後,採用上一幀圖像所採用的參考區域提取模板提取參考區域,計算二值化灰度閾值,將參考區域二值化,得到對應的二進位波形。對每一個波形進行掃描,當遇到由1跳變到連續兩個0的情況時,記錄第一個0的位置。得到參考區域各行的波形跳變信息。
計算基準區域波形跳變信息與參考區域波形跳變信息的波形相似度。分別計算參考區域任意連續三個波形與參考區域波形跳變信息的相似度,所有波形相似度的最大值所對應的連續三個波形對應的參考區域中的連續三個圖像行即為第二個圖像幀的標定重複區域。三個波形分別對應三個行波形相似度,其中的最大值所對應的圖像行即為第二個圖像幀的標定重複行,所對應的基準行即為標定基準行。在水平方向上移動標定重複行對應的波形跳變信息,分別計算各個行波形相似度,所有相似度的最大值對應的波形跳變信息的移動量即為第二個圖像幀的水平偏移量。
得到第二個圖像幀的標定重複行位置和水平偏移量後,確定了第二個圖像幀的重疊區域,從第二個圖像幀的參考區域中選擇連續三個位於標定重複行之上的圖像行,並且每個圖像行都包含波形跳變信息,從而獲得新基準區域和新基準區域波形跳變信息。將第二個圖像幀拼入拼接圖像,首先是將標定重複行與標定基準行重合,然後根據水平偏移量向左或向右移動第二幀圖像,非重疊區域直接拼入拼接圖像,對重疊區域,計算灰度值加權平均值時拼接圖像像素點灰度值權值為0.3,當前圖像幀像素點灰度值權值為0.7。由於圖像幀移動所造成的拼接圖像的空白區域以灰度為0的像素點填充。
第二幀圖像處理完成後,讀入後續的圖像幀,處理方法同第二幀。最後輸出如圖7的圖像。
所述各圖像幀的灰度級數可以是任意範圍,如0~255或者0~15,對於非0~255的圖像幀,只需將其灰度級範圍轉換到0~255即可,對於灰度級為0~1的二值圖像,則不需二值化直接提取波形跳變信息即可。本發明也適用於採用類似於刮擦式指紋圖像採集方式的其他圖像採集成像過程。
以上對本發明所提供的基于波形匹配的指紋圖像幀的拼接方法進行了詳細介紹,文中應用了具體的實施例對本發明的原理和實施方式進行了闡述,以上實施例的說明用於幫助理解本發明的方法及思想。綜上所述,本說明書內容不應理解為對本發明的限制。
權利要求
1.一種指紋圖像幀的拼接方法,其特徵在於首先對待拼接的指紋圖像幀進行縮減處理,再從縮減後的圖像幀中選擇參考區域,提取參考區域波形跳變信息進行指紋圖像幀的拼接,包括如下步驟1)收到指紋圖像採集模塊採集到的指紋圖像幀後,讀入第一幀圖像;2)對圖像幀進行縮減處理,拼入拼接圖像,依次採用各個參考區域提取模板提取基準參考區域,計算提取到的基準參考區域的波形跳變信息,如果能夠獲得基準區域波形跳變信息,讀入下一幀圖像,進入步驟3);如果無法獲得基準區域波形跳變信息,讀入下一幀圖像,返回步驟2);3)對圖像幀進行縮減處理,採用上一圖像幀所採用的參考區域提取模板提取當前圖像幀的參考區域,計算參考區域的波形跳變信息;4)確定當前圖像幀與拼接圖像的重疊區域;5)如果當前圖像幀參考區域標定重複行以上的圖像區域中存在能夠作為基準區域的圖像區域,將其作為新基準區域,更新基準區域波形跳變信息,將當前圖像幀拼入拼接圖像,讀入下一個圖像幀,轉入步驟3);反之,進入步驟6);6)選用其他的參考區域模板提取新基準參考區域,計算新基準參考區域波形跳變信息,獲得新基準區域波形跳變信息,提取新參考區域,計算新參考區域的波形跳變信息,直到通過步驟4)和5)進入步驟3);反之,如果所有參考區域提取模板都使用後,仍然不能進入步驟3),則進入步驟7)完成拼接;7)如果所有圖像幀都無法提取基準區域波形跳變信息,或者處理完所有圖像幀,或者某個圖像幀不能拼入拼接圖像,或者拼接圖像大小已經達到預設閾值,終止拼接算法;如果拼接成功,輸出拼接圖像,反之,輸出拼接失敗。
2.根據權利要求1所述的指紋圖像幀的拼接方法,其特徵在於所述圖像幀的縮減處理是將指紋圖像採集模塊採集到的圖像幀刪除最上面和最下面各一行。
3.根據權利要求1所述的指紋圖像幀的拼接方法,其特徵在於所述參考區域是指圖像幀或者拼接圖像中由參考區域提取模板提取出來的圖像區域,大小為圖像幀的1/6~1/3。
4.根據權利要求1所述的指紋圖像幀的拼接方法,其特徵在於所述步驟4)通過如下步驟實現1)將當前圖像幀覆蓋在拼接圖像上,使其最上一行與基準區域最上一行重合,計算當前圖像幀與基準區域重疊的部分與基準區域的波形相似度;2)向上移動當前圖像幀,每次移動一行,直到當前圖像幀最下面一行與基準區域最下一行重合;每移動一次,計算一次當前圖像幀與基準區域重疊的部分與基準區域的波形相似度;3)所有區域波形相似度的最大值對應的當前圖像幀區域即為標定重複區域;4)標定重複區域中與其所對應的基準行的行波形相似度最大的圖像行即為當前圖像幀的標定重複行,與其對應的基準行為標定基準行;5)在水平方向上移動標定重複行對應的波形,每移動一個像素點,計算一次與標定基準行的行波形相似度,所得行波形相似度的最大值所對應的標定重複行波形的水平移動量即為當前圖像幀的水平偏移量。
5.根據權利要求1所述的指紋圖像幀的拼接方法,其特徵在於所述步驟5)中將當前圖像幀拼入拼接圖像時,重疊部分取兩個重疊像素點灰度值的加權平均值作為拼接結果,兩個重疊像素點灰度值的權值非負,和為1。
6.根據權利要求1所述的指紋圖像幀的拼接方法,其特徵在於所述基準區域是指拼接圖像基準參考區域中的連續3行圖像,其中每行圖像都至少包含一個波形跳變信息。
7.根據權利要求1所述的指紋圖像幀的拼接方法,其特徵在於所述波形跳變信息是指各圖像行所對應的二進位波形中由0變化到1或由1變化到0的波形跳變的位置和次序。
8.根據權利要求7所述的指紋圖像幀的拼接方法,其特徵在於所述波形跳變信息是指二進位波形中由1變化到連續兩個0的波形跳變的位置和次序。
9.根據權利要求4所述的指紋圖像幀的拼接方法,其特徵在於所述行波形相似度的計算是由兩個波形所包含的波形跳變的位置、數目和次序決定的,每次參與計算的兩個波形分別屬於基準區域和當前圖像幀參考區域。
10.根據權利要求9所述的指紋圖像幀的拼接方法,其特徵在於所述行波形相似度的計算規則如下1)如果兩個跳變位置相差3或4,相似度加1,並且如果兩個跳變在各自波形中的次序相同,相似度加1;2)如果兩個跳變位置相差2,相似度加2,並且如果兩個跳變在各自波形中的次序相同,相似度加1;3)如果兩個跳變位置相差1,相似度加3,並且如果兩個跳變在各自波形中的次序相同,相似度加2;4)如果兩個跳變位置相同,相似度加4,並且如果兩個跳變在各自波形中的次序相同,相似度加2;5)如果滿足規則1)~規則4)中一個或多個規則的兩個波形包含的跳變數目相同,相似度加2。
全文摘要
本發明涉及一種圖像處理過程控制方法,具體來說是一種指紋圖像幀的拼接方法。與現有技術相比本發明的有益效果是對每一個圖像幀,只選取部分區域作為參考區域,將圖像幀參考區域灰度圖像二值化以後得到二進位波形,根據從波形中提取到的波形跳變信息判斷當前圖像幀與拼接圖像的重疊區域,從而實現拼接。本發明運算量小,實現簡單,能夠快速完成指紋圖像的拼接,適用於現有的各種刮擦式指紋圖像採集模塊。
文檔編號G06K9/00GK101086766SQ200710100008
公開日2007年12月12日 申請日期2007年6月4日 優先權日2007年6月4日
發明者王朋, 張有光 申請人:北京航空航天大學