基於人臉識別的atm安全認證與預警方法
2023-12-08 16:24:21 2
專利名稱：基於人臉識別的atm安全認證與預警方法
技術領域：
本發明涉及由計算機控制的持卡人自我服務型的金融專用設備。具體地說是一種 基於人臉識別技術的ATM自動取款機安全認證與預警方法。技術背景傳統的ATM系統主要是基於銀行卡帳號和密碼進行身份識別。與銀行存摺等應用 不同，銀行卡在ATM上的操作屬於用戶自主服務，大多是情況下並無銀行職員監督和 值守。然而，由於銀行卡和信用卡可能會丟失或人為搶奪祖騙取，而且其密碼可能被 不法分子破解，致使ATM金融安全問題已經成為近年來銀行和用戶最為關注的敏感問 題。自2007年起，中國成為世界第五大ATM機市場，但目前每100萬人只擁有55臺。 隨著銀行卡應用的普及，犯罪分子也隨之將黑手伸向了這一領域，偽裝吞卡、仿製假 卡、窺探密碼、封堵出鈔口等各種銀行卡欺詐和盜領等手段層出不窮，己經嚴重影響 到銀行的利益和信譽。因此，構建加強型ATM安全身份驗證系統有著極其重要的社會 意義和商業價值。 發明內容本發明目的在於公開一種基於人臉識別的ATM安全認證與預警方法，針對ATM 的物理安全和交易安全等問題，從各種犯罪活動的預防、偵測和預警機制等方面建立 起全方位的ATM安全身份識別系統。通過將視頻檢測和人臉識別技術引入到ATM系 統中，大大提高ATM金融系統的安全性，有效減少各種ATM欺詐和犯罪活動。本發明整個系統運作分為離線和在線兩個部分，是通過以下步驟實現的離線註冊部分操作步驟如下(1) 由銀行工作人員通過安裝有人臉採集設備的銀行服務窗口，或者由用戶本 人在ATM機上通過自主操作，採集到銀行卡戶主的人臉圖像，並進行信 息註冊；(2) 系統對所採集到的人臉信息進行特徵提取和特徵降維、壓縮，形成可存儲 於銀行卡中的戶主的人臉特徵模板；(3) 通過系統預先設置的加密算法對降維、壓縮後的戶主人臉特徵模板進行數據加密，保證戶主信息的安全性和隱私性； (4)將歩驟(3)所得到的信息存儲至銀行資料庫和待辦理業務的銀行卡中，以 便在進行人臉識別和匹配等身份認證操作時調用。在線部分主要分為人臉識別和行為監測兩大過程，具體步驟如下人臉識別部分(1) ATM機通過內置攝像頭採集用戶的人臉圖像，以及背景中的和在當前 持卡操作者後面排隊的人的人臉圖像；(2) 通過人臉檢測引擎預處理，區分並提取出當前持卡操作ATM的人的人 臉區域，將其傳輸至人臉識別引擎A;(3) 讀取出存儲在待操作的銀行卡中的人臉特徵模板數據，並利用系統預先 設置的解密算法對數據進行解密，將其傳輸至人臉識別引擎A;(4) 通過人臉識別引擎A，將所採集到的待識別人臉特徵與存儲在銀行卡中 的特徵模板信息進行比對和識別，驗證當前持卡操作者的身份；(5) 判斷當前的ATM持卡操作者是否為銀行卡戶主本人如果是本人，則 可以進行正常取款；否則，銀行和ATM將根據具體情況觸發相應的預 警機制a)如當前持卡操作者不是戶主本人，則簡訊通知戶主本人以 及戶主事先註冊的緊急聯繫人手機號碼；b)啟動戶主預先設置的非本 人取款限額機制；C)根據用戶反饋信息判斷是否進行預警和幹預措施。行為監測部分(1) 與人臉識別部分相同，ATM機通過內置攝像頭採集到人臉圖像，該圖像既 包括當前ATM操作者，也包括背景中和當前ATM操作者身後的人的人臉。(2) 由行為監測引擎從所採集到的整幅圖像中檢測到所有人臉，並進行跟蹤定 位；同時，系統可將操作者身後的情況以圖像的形式實時地通過ATM屏 幕顯示給當前ATM操作者；(3) 通過分類器判斷所跟蹤各個目標的行為是否屬於系統預先定義的危險和可 疑行為a)企圖破壞ATM、安裝竊聽器等威脅ATM安全的行為；b)窺 探密碼、與操作者距離過近等威脅ATM操作者的行為等等；(4) 如屬於正常行為，則跳回步驟(1)，系統繼續監測；否則，若發現系統預 先定義的危險和可疑行為，則銀行和ATM將根據具體情況觸發對應的預 警機制(如暫停ATM服務、提示操作者身後威脅、報警等)。本發明方法的特徵還在於本發明採用紅外成像技術考慮到實際ATM應用環境的複雜性，針對非理想光照 條件對人臉識別的不利影響，進行人臉信息提取是利用紅外攝像機及濾鏡，去除人臉 圖像採集時環境光照變化和波動(晝夜和天氣變化等)所帶來不利影響，獲取高質量 的近紅外人臉圖像。本發明通過對目標的形狀和紋理進行特徵提取與分析，利用背景更新分析、差分算 子設計、差分圖像建模和檢測目標分析等技術實現視頻的實時檢測與分析。從而判斷 當前場景下人體的活動狀態和是否存在不安全的目標對象，並根據檢測分析結果判斷 是否存在威脅到ATM或操作者安全的異常活動，並實時決定是否啟動預警機制。本發明具有快速人臉檢測功能首先利用視頻檢測結果和膚色檢測模型去除掉主要 的非人臉區域，然後通過設計快速金字塔檢測結構和AdaBoost分類器實現人臉的實時 檢測，並同時檢測眼睛等面部器官位置以實現人臉圖像的對齊。本發明可提取更穩定的人臉特徵針對在ATM應用中，人臉識別系統容易受到光 照、姿態、表情和局部遮擋、複雜背景等複雜因素影響而造成的性能下降問題，利用 人臉模式流形/線性/非線性子空間學習算法及其相應的全局特徵提取方法、基於Gabor 變換和LBP直方圖等的局部特徵提取技術同時提取人臉圖像的全局特徵和局部特徵。本發明可在具有較低計算處理能力的系統上運行由於客戶的人臉模板需要保存 在銀行卡上，並且需要系統實時準確地識別用戶身份，因此面向ATM應用安全的人臉 識別技術是一個典型的資源限制問題。因此，我們採用流形學習/特徵選擇等數據降維 方法對所提取的特徵進行降維處理，然後再利用分類器融合技術，在提高系統識別性 能的同時，減少識別所需的計算和存儲開銷，並保證與現有系統的有效兼容。本發明可實現多目標識別功能在ATM應用中，通常會遇到多人排隊的情況，亦 即在監控範圍內有多個待識別目標。採用並發處理技術，在上述提取穩定人臉特徵和 高性能識別引擎基礎上，確定操作用戶人臉對象進行驗證；同時，實時分析監控範圍 內的其他目標(例如，背景中和排隊的人等)，並及時鎖定可疑目標和行為。
圖1為本發明運作流程圖。
具體實施方式
本發明具體運作流程如圖1所示。整個系統運作分為離線和在線兩個部分，具體過 程概述如下離線部分是針對銀行卡的操作，在辦理新卡或者為現有銀行卡追加註冊人臉安全 認證時，銀行對銀行卡申請者或者服務註冊者進行人臉信息註冊，並將其特徵模板存 入資料庫和寫入銀行卡中。具體過程為離線部分主要處理銀行卡用於在辦理新卡和對現有銀行卡追加註冊人臉安全認證 時，進行人臉信息註冊和特徵模板入庫等工作。首先，銀行將通過安裝有人臉採集設 備的服務窗口或者由用戶本人在ATM機上通過自主操作，對銀行卡戶主的人臉信息進 行採集和註冊；系統對所採集到的人臉圖像進行特徵提取，將提取到的人臉特徵模板 數據加密和壓縮後，分別存儲至用戶的銀行卡以及銀行人臉和身份信息資料庫中，待 進行身份識別時調用。在線部分主要處理用戶在通過ATM對銀行卡操作時的安全認證工作，具體過程分 為人臉識別和行為監測兩部分。(1) 人臉識別部分持卡人在ATM機操作時，ATM機通過內置的攝像頭採集到用戶的人臉圖像；通 過人臉檢測引擎的預處理，系統提取出當前正在操作ATM的人的人臉區域；接著通過 人臉識別引擎A，將所採集到的人臉特徵與存儲在銀行卡中的特徵模板(解密之後) 進行比對和識別，驗證和識別用戶身份；判斷出待識別的ATM持卡操作者是否為銀行 卡戶主本人如果是本人，則可以進行正常取款；否則，將觸發系統預先設置的預警 機制a)向戶主本人以及戶主本人事先註冊的緊急聯繫人的手機號碼發送短消息通知 其在此時此地ATM上發生了來自非戶主本人的ATM和銀行卡操作；b)啟動戶主預先設置的非本人取款限額等帳戶功能。b)銀行則可根據用戶反饋信息判斷是否進行其它 預警和幹預措施(例如凍結、掛失、甚至報警等)。(2) 行為監測部分仍然由ATM機通過內置的攝像頭採集到ATM前方的圖像，並將當前操作者身後 的情況通過ATM顯示屏實時顯示給操作者；由行為監測引擎自動檢測到所採集到的圖 像中的所有人臉，包括當前操作者、背景中以及後面排隊的人臉區域，並進行並發跟 蹤和定位；通過分類器判斷所跟蹤的個目標對象行為是否屬於系統預先設置的危險和 可疑行為，(例如，企圖破壞ATM、安裝竊聽器等威脅ATM安全的行為，以及窺探操 作者的銀行卡密碼、與操作者距離過近等威脅ATM操作者的行為等)，如經判斷屬於 正常行為，則繼續監測；否則，觸發銀行默認預警機制，如暫停ATM服務、提示操作者本人身後威脅、以及報警等預警響應。本發明的方法還可以擴展到輔助公安輔助監控和追捕逃犯等應用。圖1中的虛線部分為公安擴展應用。亦即本發明所研發的核心技術可以擴展到公安輔助監控和追捕逃犯等應用中。例如，將人臉識別引擎A和人臉識別引犯罪嫌疑人群擎B人臉信息進入到公安犯罪嫌疑人的人臉及身份信息資料庫。本發明優點是本發明將有效解決銀行、ATM機和儲戶所面臨的交易安全問題，可以較大程度上 杜絕常見的ATM和銀行卡欺詐現象，在保障銀行和儲戶合法利益的同時，大幅提高銀 行安全形象。獨特的ATM安全運作方式首次將人臉識別引入到ATM和銀行卡安全認證應用 中，提出了通過ATM機獲取操作者人臉圖像，然後通過ATM內置的人臉識別引擎實 時判斷當前操作者是否為銀行卡戶主本人，並以短消息的形式及時告知卡主本人和該 卡的緊急聯繫人當前銀行卡操作是否來自卡主本人，同時根據識別結果實時啟動ATM 和銀行預警功能，從而有效提高ATM和銀行卡的安全性。硬體開發優勢與基於其它生物特徵識別技術如指紋等識別的ATM金融安全系統 相比，人臉識別最終形成產品後將具有設備成本低、非接觸式信號採集。硬體兼容優勢由於現有大部分ATM機上一般已經裝有或者預留出安裝視頻監測 設備(如攝像頭等)和空間，可為本發明提供了良好的硬體和機械安裝支持，可降低 成本，減少銀行對ATM改造的投入。用戶接受程度高由於人臉在日常銀行存取款過程中的私密性要較指紋等生物特徵小，且在整個識別過程中對用戶的幹擾極小，無需改變用戶的操作習慣(例如，用 戶除按照習慣輸入密碼外，無需進行額外的操作)，因此很容易被用戶接受。此外，人 臉識別和視頻檢測技術還具有可交互性強和強大的事後追蹤能力等優點，因而具有較 強的競爭優勢。隱私保護性由於我們的方案只將經過數字加密後得到的人臉特徵模板(經過數 字加密的)存入銀行卡或者銀行系統中，且使用單向、且不可逆特徵提取方法，亦即 無法通過銀行卡內的信息復原人臉圖像。例如，即使當銀行卡落入犯罪分子手中也無法通過卡內存入的特徵模板來復原用戶的容貌，在提高安全性的同時，更好地保護了 用戶的隱私。在系統運作過程中，用戶不用擔心自己的容貌等隱私信息被洩露和盜取。異常行為實時監測本發明還將引入視頻檢測模塊，實時跟蹤檢測場景中人體和 監控目標的形狀和活動趨勢，因而能夠根據檢測分析結果判斷是否存在人為破壞ATM 機、是否有人窺探操作者密碼等異常行為和活動，並及時預警，有助於進一步提高銀行ATM系統的安全性，並對犯罪分子有著極大的威懾作用。高性能本發明可以實現複雜條件(複雜光照，複雜姿態、表情和局部遮擋情況， 以及複雜背景條件下的高穩定性人臉識別技術。此外，針對銀行卡用戶數量龐大，本 發明對所提取到的全局和局部人臉特徵進行降維處理，將降維後的人臉特徵模板信息 分別存儲至銀行資料庫和銀行卡中，從而可以綜合使用人臉驗證和人臉辨識技術來驗 證持卡人是否為銀行卡用戶，識別是否為不良記錄的嫌疑人等，從而保證了系統的高 性能和穩健性。高度可擴展性本發明研發的相關技術還可以方便地擴展應用到銀行存摺等相關 鄰域。此外，該系統還可以較好地擴展到公安應用領域(如輔助監控和追捕逃犯等)， 甚至可以應用於交通違章監控中的人臉身份識別，因此具有極強的可擴展能力。
權利要求
1. 一種基於人臉識別的ATM安全認證與預警方法，整個系統運作分為離線和在線兩個部分，是通過以下步驟實現的離線註冊部分操作步驟如下(1)由銀行工作人員通過安裝有人臉採集設備的銀行服務窗口，或者由用戶本人在ATM機上通過自主操作，採集到銀行卡戶主的人臉圖像，並進行信息註冊；(2)系統對所採集到的人臉信息進行特徵提取和特徵降維、壓縮，形成可存儲於銀行卡中的戶主的人臉特徵模板；(3)通過系統預先設置的加密算法對降維、壓縮後的戶主人臉特徵模板進行數據加密，保證戶主信息的安全性和隱私性；(4)將步驟(3)所得到的信息存儲至銀行資料庫和待辦理業務的銀行卡中，以便在進行人臉識別和匹配等身份認證操作時調用。在線部分主要分為人臉識別和行為監測兩大過程，具體步驟如下人臉識別部分(1)ATM機通過內置攝像頭採集用戶的人臉圖像，以及背景中的和在當前持卡操作者後面排隊的人的人臉圖像；(2)通過人臉檢測引擎的預處理，區分並提取出當前持卡操作ATM的人的人臉區域，將其傳輸至人臉識別引擎A；(3)讀取出存儲在待操作的銀行卡中的人臉特徵模板數據，並利用系統預先設置的解密算法對數據進行解密，將其傳輸至人臉識別引擎A；(4)通過人臉識別引擎A，將所採集到的待識別的人臉特徵與存儲在銀行卡中的特徵模板信息進行比對和識別，驗證當前持卡操作者的身份；(5)判斷當前的ATM持卡操作者是否為銀行卡戶主本人如果是本人，則可以進行正常取款；否則，銀行和ATM將根據具體情況觸發相應的預警機制a)如當前持卡操作者不是戶主本人，則發送手機短消息至戶主本人以及戶主事先登記的緊急聯繫人的手機號碼，提示其在此時此地ATM上發生了來自非戶主本人的ATM和銀行卡操作；b)啟動戶主預先設置的非本人取款限額等帳戶功能；c)銀行根據用戶反饋信息判斷是否進行預警和幹預措施，例如，凍結、掛失、甚至報警等。行為監測部分 (1)與人臉識別部分相同，ATM機通過內置攝像頭採集到人臉圖像，該圖像既包括當前ATM操作者，也包括背景中和當前ATM操作者身後的人的人臉。(2)由行為監測引擎從所採集到的整幅圖像中檢測到所有人臉，並進行並發跟蹤定位；同時，系統可將操作者身後的情況以圖像的形式實時地通過ATM屏幕顯示給當前ATM操作者；(3)通過分類器判斷所跟蹤各個目標的行為是否屬於系統預先定義的危險和可疑行為a)企圖破壞ATM、安裝竊聽器等威脅ATM安全的行為；b)窺探密碼、與操作者距離過近等威脅ATM操作者的行為等等；(4)如屬於正常行為，則跳回步驟(1)，系統繼續進行監測；否則，若發現系統預先定義的危險和可疑行為，則銀行和ATM將根據具體情況觸發對應的預警機制(如暫停ATM服務、提示操作者身後威脅、報警等)。
2. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於首次將人臉識別應用於ATM和銀行卡操作中的安全認證和預警應用中，通過 人臉信號獲取裝置採用近紅外攝像機及濾鏡，可在獲取高質量的近紅外人臉圖像的同 時，減輕ATM周圍環境光照條件中的各種不穩定因素對系統識別性能的影響。
3. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於通過人臉信號獲取裝置可以拍攝當前持卡操作者身後的情況，並可通過ATM 操作屏幕實時地向當前操作者顯示其身後的情況，對窺探密碼、與操作者距離過近等 威脅ATM操作者等行為進行預警，提高ATM使用者自身的安全。
4. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於異常行為實時監測與分析。通過對視頻中各個人臉目標的靜態圖像屬性，如形 狀和紋理等，以及動態屬性，如動作等進行特徵提取與分析，判斷當前場景下人體的 活動狀態和是否存在不安全的目標對象，並根據檢測分析結果判斷是否存在可能威脅 到ATM或者操作者安全的等異常活動，並實時決策是否啟動預警機制。
5. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於首先利用視頻檢測結果和膚色檢測模型去除主要的非人臉區域，然後通過設計 快速金字塔檢測結構和AdaBoost分類器實現人臉的實時檢測，並同時檢測眼睛等面 部器官位置以實現人臉圖像的對齊。
6. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於針對在ATM應用中，人臉識別系統容易受到光照、姿態、表情和局部遮擋、 複雜背景等複雜因素影響而造成的性能下降問題，利用人臉模式流形/線性/非線性子 空間學習算法及其相應的全局特徵提取方法、基於Gabor變換和LBP直方圖等的局 部特徵提取技術同時提取人臉圖像的全局特徵和局部特徵。
7. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於採用流形學習/特徵選擇等數據降維方法對所提取人臉的特徵進行降維處理， 並進行數據壓縮，使所得到的人臉特徵模板數據足以存儲於銀行卡內；然後再利用分 類器融合技術，在提高系統識別性能的同時，減少識別所需的計算和存儲開銷；因此， 保證了本發明可以有效兼容現有ATM和銀行卡系統。
8. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於將經過數字加密後得到的人臉特徵模板L經過數字加密^存入銀行卡或者銀行 系統中，且使用單向、且不可逆特徵提取方法，亦即無法通過銀行卡內的信息復原人 臉圖像。因此，即使當銀行卡落入犯罪分子手中也無法通過卡內存入的特徵模板來復 原用戶的容貌，在提高安全性的同時，更好地保護了用戶的隱私。在系統運作過程中， 用戶不用擔心自己的容貌等隱私信息被洩露和盜取。
9. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵還 在於可通過ATM內置攝像頭採集視頻，並由行為監測引擎實時並發地監控攝像頭 視野範圍內的多個待識別目標對象，採用並發處理技術，在上述提取穩定人臉特徵和 高性能識別引擎基礎上，確定操作用戶人臉對象進行身份驗證；同時，實時分析監控 圖像範圍內的其他目標對象的身份和行為，並及時對可疑目標^例如已有不良記錄的 嫌疑人、可能威脅持卡操作者和ATM安全的行為等進行識別和預警。
10. 如權利要求1所述的一種基於人臉識別的ATM安全認證與預警方法，特徵 還在於可以擴展到輔助公安監控和追捕逃犯等應用中，將人臉識別引擎A和人臉識 別引犯罪嫌疑人群擎B人臉信息引入到公安犯罪嫌疑人的人臉及身份信息資料庫， 從而可在ATM上實現公安領域的監控和追捕逃犯等功能。
全文摘要
本發明公開一種基於人臉識別的ATM安全認證與預警方法。該方法首次將人臉識別技術和視頻檢測引入ATM和銀行卡業務應用中，可顯著提高ATM金融系統安全性，有效減少和威懾各種ATM欺詐和犯罪活動。本發明的方法整個系統運作過程為首先，在銀行中安裝有紅外人臉採集設備的服務窗口或者由用戶在ATM上自行操作註冊戶主的人臉信息，並將其加密後存儲至銀行資料庫和銀行卡中。然後，通過人臉識別引擎驗證用戶身份，判斷待識別ATM操作者是否為銀行卡戶主本人；通過行為監測引擎判斷和識別是否有威脅ATM和用戶的行為存在；進而根據上述識別結果判斷是否啟動對應的預警機制。本發明可擴展到銀行存摺業務以及公安監控和追逃等應用中。
文檔編號G08B31/00GK101266704SQ20081006437
公開日2008年9月17日 申請日期2008年4月24日 優先權日2008年4月24日
發明者左旺孟, 張壘磊, 張宏志, 堅 石 申請人:張宏志;左旺孟;張壘磊;石 堅