一種指紋識別系統晶片及其實現方法

2023-07-07 21:34:06

專利名稱：一種指紋識別系統晶片及其實現方法
技術領域：
本發明涉及集成電路系統設計和生物識別技術領域。具體涉及一種指紋識 別專用集成電路晶片及其實現方法。
背景技術：
目前現有的指紋識別技術的實現方法主要有基於PC的軟體解決方案的指紋識別系統；基於ARM的軟體解決方案的指紋識別系統；基於ARM+DSP 的SoC (System on Chip，片上系統)晶片的軟體解決方案；以及基於DSP的軟體解決方案的指紋識別系統。基於PC的軟體解決方案的指紋識別系統的處理系統基於PC，體積龐大， 不能適用可攜式設備。處理能力強，成本高昂，實時性較低，適用於大型的自 動指紋識別系統(AFIS)系統，如警務、海關、人口調査等國家級的對實時 性要求較低的使用場合。基於ARM的軟體解決方案的指紋識別系統的運行速度、處理能力依賴於 ARM處理器，速度較慢；依賴於ARM系統的成本；Sensor (傳感器)接口需 要外部的系統接口支持，系統成本高。基於DSP的軟體解決方案的指紋識別系統的處理速度依賴於DSP處理速 度和MCU控制器的處理能力。其需要另外的CPU作為系統控制器，系統成 本不易控制。Sensor接口需要外部的系統接口支持，系統成本高。基於ARM+DSP的SoC晶片的軟體解決方案的處理速度依賴於DSP處理 器速度。ARM和DSP的IP核心需要另行購買，成本不易控制。Sensor接口 需要外部的系統接口支持，系統成本高。流片處理等先期成本高。發明內容本發明所要解決的技術問題在於提供了一種指紋識別系統晶片，採用超大 規模集成電路實現指紋識別。為了實現上述目的，本發明提供了 一種指紋識別系統晶片，包括系統總線， 還包括可編程指紋傳感器接口，用於對不同接口的指紋傳感器進行配置，使本系 統適用於不同的指紋傳感器；圖像拼接處理模塊，用於針對刮擦式傳感器輸出的條形圖像信息進行拼接處理，得到指紋圖像；指紋圖像增強處理模塊，用於針對多種不同指紋傳感器輸出的指紋圖像， 消除指紋採集過程中產生的噪聲，完成所述指紋圖像的直方圖檢測，以提高所述指紋圖像的質量；指紋圖像分割處理模塊，用於對所述指紋圖像進行二值化處理，得到指紋 二值化圖像；指紋圖像細化模塊，用於對所述指紋二值化圖像進行細化； 特徵點提取模塊，用於提取細化後的所述指紋二值化圖像的特徵點，生成 指紋特徵點模版和存儲所述指紋特徵點模版為指紋模版。 所述的指紋識別系統晶片，還包括特徵匹配檢驗模塊，用於將欲識別指紋的指紋特徵點模版和晶片內保存的 指紋模版進行比對，得到匹配結果；片內集成的微控制器，用於完成對晶片的初始化、系統配置、模塊相關參 數的配置；片外只讀存儲器，用於存儲微控制器的程序。所述圖像拼接處理模塊，用於對所述刮擦式傳感器輸出的所述條形圖像信 息實時進行緩衝，同時利用所述條形圖像行間的相關性，用數位訊號處理技術 求行互相關函數，根據對互相關函數的判斷，得到行間信號是否冗餘，以得到 指紋圖像。所述指紋圖像分割處理模塊，用於基於採用分塊處理的直方圖二值化處 理，對各個圖像塊採用動態的直方圖檢測閾值，可以準確進行方向圖檢測。 本發明還提供了一種指紋識別方法，包括步驟l，啟動可編程指紋傳感器接口，使用指紋傳感器採集指紋； 步驟2，判斷所述指紋傳感器是否為刮擦式傳感器，如果是，繼續步驟3， 如果否，轉步驟4;步驟3，對刮擦式傳感器輸出的條形圖像信息進行拼接處理，得到指紋圖像；步驟4，對多種不同指紋傳感器輸出的指紋圖像進行增強處理，消除指紋採集過程中在所述指紋圖像中產生的噪聲，完成所述指紋圖像的直方圖檢測，以提高所述指紋圖像質量；步驟5，對所述指紋圖像進行二值化處理，得到指紋二值化圖像；步驟6，對所述指紋二值化圖像進行細化；步驟7，提取細化後的所述指紋二值化圖像的特徵點；步驟8，生成特徵點模版。所述的指紋識別方法步驟1之前還包括由片內集成微控制器對不同接口的指紋傳感器進行配置，完成晶片的初始 化、系統配置和相關參數的配置。所述的指紋識別方法步驟7之後還包括步驟9，判斷是否保存為指紋模版，如果是，進行保存指紋模版操作，流 程結束，否則，進行指紋匹配檢驗操作，將生成的所述特徵點模版和晶片內保 存的指紋模版進行比對，得到匹配結果；步驟IO，輸出指紋識別結果，流程結束。所述歩驟3對刮擦式傳感器輸出的所述條形圖像信息實時進行緩衝，同時 利用所述條形圖像行間的相關性，用數位訊號處理技術求行互相關函數，根據 對互相關函數的判斷，得到行間信號是否冗餘，以得到指紋圖像。所述步驟5基於採用分塊處理的直方圖二值化處理，對各個圖像塊採用動 態的直方圖檢測閾值，可以準確進行方向圖檢測。本發明還提供了一種指紋識別系統的識別方法，包括如下歩驟 步驟l，啟動可編程指紋傳感器接口，使用指紋傳感器採集指紋； 步驟2，判斷所述指紋傳感器是否為刮擦式傳感器，如果是，繼續步驟3， 如果否，轉步驟4;步驟3，對刮擦式傳感器輸出的條形圖像信息進行拼接處理，得到指紋圖像；步驟4，將指紋圖像分成N個指紋圖像塊；步驟5，第m個指紋圖像塊進行增強處理，消除指紋採集過程中產生的噪聲，完成所述指紋圖像塊的直方圖檢測，以提高所述指紋圖像塊的質量，m的 值從l至N;步驟6，對步驟5中的所述指紋圖像塊進行二值化處理，得到指紋二值化 圖像塊，同時第m+l個指紋圖像塊進行步驟5的處理；步驟7，對步驟6中的所述指紋二值化圖像塊進行細化；同時第m+2個指 紋圖像塊進行步驟5的處理，第m+3個指紋圖像塊進行步驟6的處理；步驟8，對步驟7中細化後的所述指紋二值化圖像塊進行特徵點提取，同 時第m+3個指紋圖像塊進行步驟5的處理，第m+2個指紋圖像塊進行步驟6 的處理，第m+l個指紋圖像塊進行步驟7的處理；步驟9，上述每一個指紋圖像塊依次經過上述步驟5、 6、 7、 8，直到第N 個指紋圖像塊。步驟IO，生成特徵點模版。所述的指紋識別方法，步驟1之前還包括由片內集成微控制器對不同接口的指紋傳感器進行配置，完成晶片的初始 化、系統配置和相關參數的配置。所述的指紋識別方法，步驟9之後還包括步驟11，判斷是否保存為指紋模版，如果是，進行保存指紋模版操作， 流程結束，否則，進行指紋匹配檢驗操作，將生成的所述特徵點模版和晶片內 保存的指紋模版進行比對，得到匹配結果；步驟12，輸出指紋識別結果，流程結束。本發明提出了一種採用超大規模集成電路實現指紋識別的指紋識別晶片，相對於軟體解決方案的指紋識別系統依賴於PC、 DSP，實現了硬體平臺完全 自主智慧財產權。採用流水線並行處理的模式，速度高、降低功耗，使用範圍廣。 可以用於可攜式手持設備，並可以滿足嵌入式應用中的高速實時計算要求，而 且結構簡單、軟體編程簡單、硬體實現容易、體積小、成本低。


圖1所示為本發明指紋識別系統的模塊框圖；圖2所示為本發明的指紋識別系統晶片的工作流程；圖3所示為本發明的基於塊處理的指紋識別處理系統的模塊框圖；圖4所示為本發明的基於流水線處理模式的指紋識別方法。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實 施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅 僅用以解釋本發明，並不用於限定本發明。本發明是在現有技術中適用於基於PC的指紋識別系統的算法的基礎上， 進行了基於專用集成電路(Application Specific Integrated Circuit, ASIC)要求 的算法改進。改進主要基於ASIC處理的流程，採用C語言作為開發工具，在 算法上突出硬體處理的流水線處理方式，以適用於後期的RTL (寄存器傳輸 級)開發。改進後的算法和原始算法進行運算效果的比對後，獲得可靠的結果。圖1所示為本發明的指紋識別系統模塊框圖。該系統包括可編程指紋傳 感器接口 (Programmable Fingerprint sensor IF) 100、適用於刮擦式傳感器的圖 像拼接處理模塊(image jointer) 102、指紋圖像增強處理模塊(fingerprint image enhancement) 104、指紋圖像分割處理模塊106、指紋圖像細化模塊(image segmentation and thinning) 108、特徵點提取模塊(character extractive) 110、 指紋匹配檢驗模塊(fingerprint match) 112、片內集成微控器(internal MCU) 114以及片外的Rom (externalRom) 116。可編程指紋傳感器接口 100，由片內集成微控器114完成對可編程的傳感 器接口進行控制，實現對不同接口的傳感器進行配置，使本系統適用於不同的 指紋傳感器，最終的系統具有最大的技術和市場適用範圍。適用於刮擦式傳感器的圖像拼接處理模塊102，針對刮擦式傳感器，由於 刮擦式指紋傳感器輸出的圖像是條形圖像，並且含有大量的冗餘圖像信息，所 以需要一種自適應的圖像拼接算法，對採集到的圖像信息進行處理，消除信息 冗餘，恢復原始的指紋圖像。在設計中，對刮擦式指紋傳感器輸出的條形圖像實時進行緩衝，同時利用 條形圖像行間的相關性，利用數位訊號處理技術求行互相關函數，根據對互相 關函數的判斷，可得到行間信號是否冗餘。這個方法有效的解決了圖像拼接的設計問題，並且在測試中驗證，該算法 對所有的刮擦類的傳感器均有較好的結果。指紋圖像增強處理模塊104，針對多種不同的指紋傳感器產生的圖像，消除指紋採集過程中產生的噪聲；完成圖像的直方圖檢測；對圖像的對比度進行自動調整，使指紋圖像質量得到提高，利於下一步的圖像二值化處理。指紋圖像分割處理模塊106，根據圖像的直方圖分布，依賴圖像灰度分布 的良好的雙峰性質和對圖像的方向圖檢測，對圖像進行分割(二值化處理)， 使圖像成為二值圖。由於圖像的鄰域相關性的原因，在圖像像素小範圍內圖像 像素值的方差是比較小而且穩定的，而在大面積圖像的觀察中，會發現圖像的 像素值分布可能會非常寬，而且不集中，這就給整幅圖像的直方圖處理帶來圖 像信息檢測的偏差，可能給方向圖的差分運算檢測和圖像二值化引入噪聲，導 致指紋細化處理中引入錯誤的特徵點。因此，採用分塊處理的直方圖二值化， 對各個圖像塊採用動態的直方圖檢測閾值，有利於準確的進行方向圖檢測。利 於下一步的圖像細化處理，並有利於降低圖像的存儲空間。指紋圖像細化模塊108，對圖像進行細化處理，算法上採用保留內點的細 化方法，在ASIC設計時採用了流水線處理方式，保留了指紋圖像的原始信息， 使細化後的紋線圖像具有單象素、細化線為中心線、原圖像的拓撲結構不變， 不產生新的斷點，不增減和改變原圖像中的線、保留原圖像的端點、無毛剌。特徵點提取模塊IIO，採用基於結構的特徵提取方法，對細化後的圖像進 行像素的鄰域分析，檢測出特徵點點、端點、分叉、島、束l」、交叉、橋和短紋 線，並產生對應的指紋特徵模版。特徵匹配檢驗模塊112，採用基於結構的特徵匹配方法，將輸入的指紋特 徵模版和片內註冊過的指紋模版進行比對，可以得到準確的匹配結果。片內集成的微控制器114，用於完成對晶片的初始化、系統配置、模塊相 關參數的配置。片外R0M116，用於存儲微控制器的程序。圖2所示為本發明的指紋識別系統晶片的工作流程。本發明的指紋識別系 統晶片的工作流程包括指紋採集和指紋匹配。指紋採集是完成對指紋的採集， 保存指紋的特徵點模版作為指紋庫的過程，作為以後對指紋輸入的匹配標準； 指紋匹配是指採集指紋獲得特徵點生成特徵點模版，並和指紋庫內的指紋模版 比對後，完成指紋匹配的過程並輸出結果。下面詳細說明指紋識別系統晶片工 作流程的具體步驟。步驟S200，由片內集成的微控制器U4對晶片進行初始化、系統配置， 確認晶片的工作模式；步驟S202，通過啟動可編程指紋傳感器接口 100，使用指紋識別傳感器對 被檢測指紋進行採集；步驟S204，判斷是否是刮擦式傳感器；如果是，則執行步驟S206,由適用於刮擦式傳感器的圖像拼接處理模塊 102進行圖像拼接處理；然後執行步驟S208，進行塊處理，將指紋圖像分成N 個指紋圖像塊；如果否，則直接執行步驟S208;步驟S210，由指紋圖像增強處理模塊104進行指紋圖像塊的增強處理； 步驟S212，由指紋圖像分割處理模塊106對指紋圖像塊進行分割，即進行圖像二值化處理，得到指紋二值化圖像塊；步驟S214，由指紋圖像細化模塊108對指紋二值化圖像塊進行細化； 步驟S216，由特徵點提取模塊110提取細化後的指紋二值化圖像塊的特徵點；步驟S218，判斷塊是否結束；如果是，則執行步驟S228，生成特徵點模版；如果否，則回到步驟S210 重複執行；步驟S220，判斷是否保存為指紋模版；如果是，則執行步驟S222，進行保存指紋模版的操作，流程結束； 如果否，則執行步驟S224，由特徵匹配檢驗模塊112進行特徵匹配檢驗 操作，將步驟S228中生成的特徵點模版和晶片內保存的指紋模版進行比對， 得到匹配結果；模版步驟S226，輸出指紋識別的結果，流程結束。 圖3所示為本發明的基於塊處理的指紋識別處理系統的模塊框圖。 圖4所示為本發明的基於流水線處理模式的指紋識別方法。 其中，對於圖像而言，對每一個像素的處理流程是相同且固定的，而且指 紋處理的流程可以有效的劃分為多個子任務處理；同時，對於晶片設計大規模 的圖像數據將消耗掉大量的片內的RAM，將導致晶片成本的增加，因此，在 設計的時候，首先考慮採集到的指紋圖像採用分塊處理的方式對進行處理。其次將指紋識別處理流程按其處理步驟的先後順序劃分成多個子任務，這樣就可 以方便的在整個指紋處理的過程中採用流水線的工作模式，使各個任務可以在 同一時間內處理不同的圖像i央，實現系統處理的時間復用，降低了晶片的設計 規模，有利於提高晶片的運行速度，在相同的運行速度下，降低功耗，提高芯 片的可靠性。具體來說，如圖4所示，首先將採集到的指紋圖像分成N塊(blk0至blk(N-l))進行處理，其次，將指紋識別處理流程按處理步驟的先後順序分成圖像增強處理、圖像分割處理、圖像細化、特徵點提取和特徵點匹配，這樣就可以在整個指紋處理的過程中採用流水線的工作模式。即，首先對blk0進行 圖像增強處理，處理完之後對blkO進行圖像分割處理，在對blkO進行圖像分 割處理的同時對blkl進行圖像增強處理；在blk0進行圖像分割處理完之後， 對blk0進行圖像細化，與此同時對blkl進行圖像分割處理並對Wk2進行圖像 增強處理；在blkO的圖像細化進行完之後，對blkO進行特徵點提取，與此同 時對blkl進行圖像細化並對blk2進行圖像分割處理以及對blk3進行圖像增強 處理；在blk0的特徵點提取進行完之後，對指紋圖像塊的處理過程就結束。 從第1至第N塊依次執行上述步驟，各個處理步驟在同一時間內處理不同的 圖像塊，實現了系統處理的時間復用。本發明的晶片內的每個RTL模塊進行了仿真驗證。本發明的晶片在FPGA (現場可編程門陣列)的系統演示電路板上實現實 時的多種指紋採集傳感器的指紋採集和指紋識別的驗證，從電路邏輯設計、功 能完備設計和系統設計上驗證了設計的可靠性和ASIC技術的可靠性。採用綜合工具和晶片製版工具完成後端設計，並對產生的門級網表進行了 RTL門級仿真，並通過驗證。目前，本發明的晶片正在進行生產。當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情 況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但 這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。
權利要求
1. 一種指紋識別系統晶片，包括系統總線，其特徵在於，還包括可編程指紋傳感器接口，用於對不同接口的指紋傳感器進行配置，使本系統適用於不同的指紋傳感器；圖像拼接處理模塊，用於針對刮擦式傳感器輸出的條形圖像信息進行拼接處理，得到指紋圖像；指紋圖像增強處理模塊，用於針對多種不同指紋傳感器輸出的指紋圖像，消除指紋採集過程中產生的噪聲，完成所述指紋圖像的直方圖檢測，以提高所述指紋圖像的質量；指紋圖像分割處理模塊，用於對所述指紋圖像進行二值化處理，得到指紋二值化圖像；指紋圖像細化模塊，用於對所述指紋二值化圖像進行細化；特徵點提取模塊，用於提取細化後的所述指紋二值化圖像的特徵點，生成指紋特徵點模版和存儲所述指紋特徵點模版為指紋模版。
2、 根據權利要求1所述的指紋識別系統晶片，其特徵在於，還包括 特徵匹配檢驗模塊，用於將欲識別指紋的指紋特徵點模版和晶片內保存的指紋模版進行比對，得到匹配結果；片內集成的微控制器，用於完成對晶片的初始化、系統配置、模塊相關參 數的配置；片外只讀存儲器，用於存儲微控制器的程序。
3、 根據權利要求1或2所述的指紋識別系統晶片，其特徵在於，所述圖 像拼接處理模塊，用於對所述刮擦式傳感器輸出的所述條形圖像信息實時進行 緩衝，同時利用所述條形圖像行間的相關性，用數位訊號處理技術求行互相關 函數，根據對互相關函數的判斷，得到行間信號是否冗餘，以得到指紋圖像。
4、 根據權利要求1或2所述的指紋識別系統晶片，其特徵在於，所述指 紋圖像分割處理模塊，用於基於採用分塊處理的直方圖二值化處理，對各個圖 像塊採用動態的直方圖檢測閾值，可以準確進行方向圖檢測。
5、 一種指紋識別方法，其特徵在於，包括步驟l，啟動可編程指紋傳感器接口，使用指紋傳感器採集指紋；歩驟2，判斷所述指紋傳感器是否為刮擦式傳感器，如果是，繼續步驟3， 如果否，轉步驟4;步驟3，對刮擦式傳感器輸出的條形圖像信息進行拼接處理，得到指紋圖像；步驟4，對多種不同指紋傳感器輸出的指紋圖像進行增強處理，消除指紋採集過程中在所述指紋圖像中產生的噪聲，完成所述指紋圖像的直方圖檢測，以提高所述指紋圖像質量；步驟5，對所述指紋圖像進行二值化處理，得到指紋二值化圖像；步驟6，對所述指紋二值化圖像進行細化；步驟7,提取細化後的所述指紋二值化圖像的特徵點；歩驟8，生成特徵點模版。
6、 根據權利要求5所述的指紋識別方法，其特徵在於，步驟1之前還包括由片內集成微控制器對不同接口的指紋傳感器進行配置，完成晶片的初始 化、系統配置和相關參數的配置。
7、 根據權利要求5所述的指紋識別方法，其特徵在於，步驟8之後還包括步驟9，判斷是否保存為指紋模版，如果是，進行保存指紋模版操作，流程結束，否則，進行指紋匹配檢驗操作，將生成的所述特徵點模版和晶片內保存的指紋模版進行比對，得到匹配結果；步驟IO，輸出指紋識別結果，流程結束。
8、 根據權利要求5所述的指紋識別方法，其特徵在於，所述步驟3對刮 擦式傳感器輸出的所述條形圖像信息實時進行緩衝，同時利用所述條形圖像行 間的相關性，用數位訊號處理技術求行互相關函數，根據對互相關函數的判斷， 得到行間信號是否冗餘，以得到指紋圖像。
9、 根據權利要求5所述的指紋識別方法，其特徵在於，所述步驟5基於 採用分塊處理的直方圖二值化處理，對各個圖像塊採用動態的直方圖檢測閾 值，可以準確進行方向圖檢測。
10、 一種指紋識別系統的識別方法，其特徵在於，還包括如下步驟 步驟l，啟動可編程指紋傳感器接口，使用指紋傳感器採集指紋；步驟2，判斷所述指紋傳感器是否為刮擦式傳感器，如果是，繼續步驟3， 如果否，轉步驟4;步驟3，對刮擦式傳感器輸出的條形圖像信息進行拼接處理，得到指紋圖像；歩驟4，將指紋圖像分成N個指紋圖像塊；步驟5，第m個指紋圖像塊進行增強處理，消除指紋採集過程中產生的噪 聲，完成所述指紋圖像塊的直方圖檢測，以提高所述指紋圖像塊的質量，m的值從1至N;步驟6，對步驟5中的所述指紋圖像塊進行二值化處理，得到指紋二值化 圖像塊，同時第m+l個指紋圖像塊進行步驟5的處理；步驟7，對步驟6中的所述指紋二值化圖像塊進行細化；同時第m+2個指 紋圖像塊進行步驟5的處理，第m+3個指紋圖像塊進行步驟6的處理；步驟8，對步驟7中細化後的所述指紋二值化圖像塊進行特徵點提取，同 時第m+3個指紋圖像塊進行步驟5的處理，第m+2個指紋圖像塊進行步驟6 的處理，第m+l個指紋圖像塊進行步驟7的處理；步驟9，每一個指紋圖像塊依次經過上述步驟5、 6、 7、 8，直到第N個 指紋圖像塊。步驟IO，生成特徵點模版。
11、 根據權利要求IO所述的指紋識別方法，其特徵在於，步驟l之前還 包括由片內集成微控制器對不同接口的指紋傳感器進行配置，完成晶片的初始 化、系統配置和相關參數的配置。
12、 根據權利要求10所述的指紋識別方法，其特徵在於，步驟10之後還 包括步驟11，判斷是否保存為指紋模版，如果是，進行保存指紋模版操作， 流程結束，否則，進行指紋匹配檢驗操作，將生成的所述特徵點模版和晶片內 保存的指紋模版進行比對，得到匹配結果；步驟12，輸出指紋識別結果，流程結束。
全文摘要
本發明公開了一種指紋識別系統晶片的超大規模集成電路的實現方式。包括可編程指紋傳感器接口、圖像拼接處理模塊、指紋圖像增強處理模塊、指紋圖像分割處理模塊、指紋圖像細化模塊、特徵點提取模塊。本發明對多種類型的傳感器具有可編程接口，適應不同的傳感器產品，由於採用超大規模集成電路的實現方式，本發明相對於傳統的軟體方式的指紋識別方法具有速度快、識別率高、可靠性高、成本低的優點。
文檔編號G06K9/00GK101271513SQ20071006464
公開日2008年9月24日 申請日期2007年3月21日 優先權日2007年3月21日
發明者薛雲波 申請人:成都方程式電子有限公司