基於人臉表情識別和人臉特徵提取的信用風險預測方法與流程

2023-05-24 19:49:21 3

本發明涉及圖像處理領域，具體涉及一種基於人臉表情識別和人臉特徵提取的信用風險預測方法。

背景技術：

在金融交易的各項業務組，尤其是貸款業務時，銀行等金融機構需要對借貸者的風險做出預測評估，以減風險。傳統金融機構的信用風險預測模型只是基於個人的基本信息和徵信相關信息而建立；用戶個人的基本信息需要用戶自己提供，因此用戶個人信息完整性會受到用戶提供的信息量影響。用戶徵信相關信息在傳統風險預測中，有著舉足輕重的作用。因此，傳統金融機構的風險預測模型存在預測精度低的問題。尤其是當用戶徵信缺失時，傳統金融機構的風險預測模型更是無法準確預測出用戶的信用風險。

人的面部表情具有外露性強、複雜豐富的特點，一般來說，人的心理狀態都會通過各種表情表現在臉上，人們的思想、情感通過面部表情來表現，很直截了當。這位信用風險的判斷提供了一個新思路。

技術實現要素：

本發明的目的在於：針對上述現有信用風險預測模型只是基於個人的基本信息和徵信相關信息而建立，存在的預測精度不高、對徵信缺失的客戶無法準確預測的問題，本發明提供一種基於人臉表情識別和人臉特徵提取的信用風險預測方法。

本發明採用的技術方案如下：

基於人臉表情識別和人臉特徵提取的信用風險預測方法，信用風險預測過程的步驟如下：(11)輸入待預測的人臉圖像,對人臉圖像進行預處理，對預處理後的人臉圖像進行人臉表情提取和人臉特徵提取，將人臉表情提取和人臉特徵提取的特徵共變換為p維特徵；

(12)使用最優信用風險預測模型進行人臉圖像的信用風險預測，得到人臉圖像的風險預測情況輸出。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，信用風險預測模型的建立過程包括如下步驟：

(21)對n張人臉圖像進行風險類別標記，將已標記好類別的n個人臉圖像輸入圖像庫，對輸入圖像庫的n張人臉圖像進行預處理；

(22)對步驟1中預處理後的所有n個人臉圖像進行人臉表情提取和人臉特徵提取，將人臉表情提取和人臉特徵提取的特徵共變換為p維特徵；

(23)將步驟1中已經標記好類別的人臉圖像按照性別隨機分為男組、女組、男女混合組共三組，將男組、女組、男女混合組分別分為訓練集和測試集，其中訓練集的人臉圖像共為n1個，測試集的人臉圖像共為n2個；

(24)使用訓練集中的n1個人臉圖像中進行信用風險預測模型訓練；

(25)使用測試集中的n2個人臉圖像對步驟4中訓練好的風險預測模型進行測試；

(26)修改4中的模型訓練方法，重複步驟4、步驟5，選擇最優測試集上的auc值對應的信用風險預測模型固化為最優信用風險預測模型。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，預處理包含以下幾個步驟：

(31)人臉區域圖像提取：對包含人臉的人臉圖片進行人臉區域檢測，識別以人臉額頭、雙耳邊緣、下巴為界的正方形區域，並提取識別出的人臉區域圖像；

(32)人臉圖片標準化：對步驟a中各人臉照片進行標準化變換處理，將各圖片大小變換一致、視角變換到同一位置；

(33)灰化及灰度標準化：將步驟b中的彩色圖片轉換為灰度圖，並將灰度值進行標準化；

(34)降噪：對圖片進行降噪，去除由光照或設備帶來的噪點。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，風險預測模型建立過程的步驟2中，運用表情識別深度學習模型，對每張人臉照片進行表情識別；將人臉圖像表情分為憤怒、輕蔑、厭惡、恐懼、快樂、無表情、悲傷、驚訝，通過表情識別深度學習模型預測出該圖片表情屬於每一類表情的概率值。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，風險預測模型建立過程的步驟(22)中人臉特徵提取包括以下步驟：

(221)人臉landmark點識別：運用人臉landmark點識別深度學習模型，對人臉的關鍵點進行定位，並提取位置信息，識別出人臉輪廓、人臉各器官的關鍵位置點；

(222)人臉landmark關鍵點的標準化變換；

(223)人臉幾何特徵的提取；

基於已提取的landmark坐標點信息，進行人臉幾何特徵提取；

(224)像素特徵提取；

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，步驟(212)中，以人臉左右最外兩個輪廓點作為標準，通過相似變換將各人臉landmark坐標進行標準化變換。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，步驟(213)中，提取的人臉集合特徵包括：坐標值，距離特徵，角度特徵，曲率特徵。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，步驟(214)中所提取的像素特徵包括：像素信息、基於像素信息提取的紋理特徵、塊主成分modularpca特徵，像素信息是人臉圖片的各像素的灰度值。基於人臉表情識別和人臉特徵提取的信用風險預測方法，包括風險預測模型的建立過程和人臉檢測過程,如本文上文所描敘。

綜上所述，由於採用了上述技術方案，本發明的有益效果是：本方案利用人臉表情識別技術及人臉特徵提取技術，將人臉表情識別結果及提取的人臉特徵一起作為輸入建立了信用風險預測模型，最終提升了信用風險預測準確度。

在對風險的預測過程中，新的圖像不斷被加入圖像庫，不斷地用新的圖像庫對信用風險預測模型進行優化，從而保證了風險預測模型的優良性。

附圖說明

圖1是本發明基於人臉表情識別和人臉特徵提取的信用風險預測方法的流程圖；

圖2是landmark人臉關鍵點示意圖；

圖3是樣本照片的landmark圖；

圖4是進行相似變換後的landmark圖；

圖5是人臉集合特徵提取示意圖；

圖6是基於像素提取衍生特徵示意圖。

具體實施方式

本說明書中公開的所有特徵，除了互相排斥的特徵和/或步驟以外，均可以以任何方式組合。

下面結合圖1對本發明作詳細說明。

基於人臉表情識別和人臉特徵提取的信用風險預測方法，信用風險預測過程的步驟如下：

(11)輸入待預測的人臉圖像,對人臉圖像進行預處理，對預處理後的人臉圖像進行人臉表情提取和人臉特徵提取，將人臉表情提取和人臉特徵提取的特徵共變換為p維特徵；

(12)使用最優信用風險預測模型進行人臉圖像的信用風險預測，得到人臉圖像的風險預測情況輸出。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，信用風險預測模型的建立過程包括如下步驟：

(21)對n張人臉圖像進行風險類別標記，將已標記好類別的n個人臉圖像輸入圖像庫，對輸入圖像庫的n張人臉圖像進行預處理；

(22)對步驟1中預處理後的所有n個人臉圖像進行人臉表情提取和人臉特徵提取，將人臉表情提取和人臉特徵提取的特徵共變換為p維特徵；

(23)將步驟1中已經標記好類別的人臉圖像按照性別隨機分為男組、女組、男女混合組共三組，將男組、女組、男女混合組分別分為訓練集和測試集，其中訓練集的人臉圖像共為n1個，測試集的人臉圖像共為n2個；

(24)使用訓練集中的n1個人臉圖像中進行信用風險預測模型訓練；

(25)使用測試集中的n2個人臉圖像對步驟4中訓練好的風險預測模型進行測試；

(26)修改4中的模型訓練方法，重複步驟4、步驟5，選擇最優測試集上的auc值對應的信用風險預測模型固化為最優信用風險預測模型；

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，預處理包含以下幾個步驟：

(31)人臉區域圖像提取：對包含人臉的人臉圖片進行人臉區域檢測，識別以人臉額頭、雙耳邊緣、下巴為界的正方形區域，並提取識別出的人臉區域圖像。

(32)人臉圖片標準化：對步驟a中各人臉照片進行標準化變換處理，將各圖片大小變換一致、視角變換到同一位置。

(33)灰化及灰度標準化：將步驟b中的彩色圖片轉換為灰度圖，並將灰度值進行標準化。

(33)降噪：對圖片進行降噪，去除由光照或設備帶來的噪點。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，風險預測模型建立過程的步驟2中，運用表情識別深度學習模型，對每張人臉照片進行表情識別；將人臉圖像表情分為憤怒、輕蔑、厭惡、恐懼、快樂、無表情、悲傷、驚訝，通過表情識別深度學習模型預測出該圖片表情屬於每一類表情的概率值。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，風險預測模型建立過程的步驟(22)中人臉特徵提取包括以下步驟：

(221)人臉landmark點識別：運用人臉landmark點識別深度學習模型，對人臉的關鍵點進行定位，並提取位置信息，提取的人臉landmark信息如圖2所示。識別出人臉輪廓、人臉各器官的關鍵位置點。

(222)人臉landmark關鍵點的標準化變換，變換前的樣本圖片landmark如圖3所示，相似變換後的landmark如圖4所示，相似變換公式表示如下：

其中，x,y表示變換前的坐標，tx，ty表示平移量，sx，sy，是伸縮比例，θ是旋轉角度。

(223)人臉幾何特徵的提取，基於已提取的landmark坐標點信息，進行人臉幾何特徵提取；其提取示意圖如圖5所示：

(224)像素特徵提取如圖6所示，

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，以人臉左右最外兩個輪廓點作為標準，通過相似變換將各人臉landmark坐標進行標準化變換。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，提取的人臉集合特徵包括：坐標值，距離特徵，角度特徵，曲率特徵。

所述的基於人臉表情識別和人臉特徵提取的信用風險預測方法，所提取的像素特徵包括：像素信息、基於像素信息提取的紋理特徵、塊主成分modularpca特徵，像素信息是人臉圖片的各像素的灰度值。