一種基於專家經驗引導的現場鞋印痕跡花紋圖像檢索方法與流程
2023-08-11 18:20:56 1
本發明涉及一種圖像檢索方法，特別是關於一種基於專家經驗引導的現場鞋印痕跡花紋圖像檢索方法。涉及專利分類號G06計算；推算；計數G06F電數字數據處理G06F17/00特別適用於特定功能的數字計算設備或數據處理設備或數據處理方法G06F17/30信息檢索；及其資料庫結構。
背景技術：
在刑事案件中，鞋底痕跡花紋對於偵破案件發揮巨大的作用。其中，最具有挑戰性的任務就是將犯罪現場遺留的低質量的鞋底痕跡花紋圖像與資料庫中的鞋底痕跡花紋比較，找出最匹配的一幅圖像。現場鞋底痕跡花紋圖像檢索方法的目的是幫助鑑定專家準確的檢索出最匹配的鞋底痕跡花紋圖像，從而提高破案效率。
目前，國內外的鞋印花紋圖像檢索算法主要分為三類：基於鞋印花紋，基於局部區域和基於感興趣點的檢索方法。但是，這些方法都是對人工合成的清晰完整的鞋印痕跡圖像進行檢索，而在實際應用中，需要進行檢索的鞋印痕跡圖像多維現場採集的鞋印痕跡圖像，且在多數環境下，現場採集的鞋印痕跡圖像具有圖像質量低，圖像不完整或不清晰等特點，所以上面所提到的幾類鞋印痕跡檢索方法在實際應用中有很多限制。2015年Xinnian Wang等提出了一種基於小波-傅立葉變換的現場鞋印花紋圖像自動檢索方法，將鞋印痕跡圖像分為腳掌和腳跟部分分別提取特徵，具體方法為：對腳掌和腳跟部分分別進行小波變換，對小波變換後的圖像進行傅立葉變換，對其幅值進行極坐標變換，並進行傅立葉變換的得到圖像的頻譜特徵，以其頻譜特徵進行匹配。匹配的正確率為87.5％。
針對鞋印痕跡檢索，雖然，現有技術已經取得了一定的成果，但是針對大量的低質現場鞋印痕跡圖像，目前的方法並不能取得很好的檢索結果，且現有現場鞋印痕跡圖像檢索方法只考慮查詢圖像與每幅庫中圖像的關係，未考慮庫中圖像兩兩間的關係。發明人在具體實現本發明的過程中，發現現有技術中存在以下問題：
1)現有方法均提取低級特徵，並依據特徵進行匹配，並沒有考慮高級語義概念與低級特徵之間的語義鴻溝，使得檢索精度不高；2)現有方法沒有利用與查詢圖像同一現場提取的其他鞋印痕跡圖像，不利於檢索性能的進一步提升；3)現有方法未引入刑偵人員的經驗，容易造成客觀的檢索結果與刑偵人員的主觀結果不一致。
有鑑於此，特提出本發明。
技術實現要素：
針對上述問題，本發明的目的是提供一種基於專家經驗引導的現場鞋印痕跡花紋圖像檢索方法，包括如下步驟：
—計算待查詢現場鞋印痕跡圖像與圖像庫中樣本圖像之間的相似性，對所述圖像庫中的圖像按相似度得分從大到小進行排序；計算圖像庫中任意兩個圖像樣本之間的相似度得分，構建流形正則化項；
—由專家依據兩幅鞋印痕跡圖像的花紋相似程度按經驗劃分成多個相似等級和等級對應的分數，依據上述等級，對所述查詢圖處於同一現場的樣本圖像，標記相應的相似分數，作為其專家主觀意見相似度得分，
—查找圖像庫中與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像的k個最近鄰圖像；賦予k個最近鄰圖像專家主觀意見相似等級和等級對應的分數，對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的專家主觀意見相似度得分表示為：
其中oi為表示查詢圖像及與查詢圖像採集自同一現場的圖像集中第i幅圖像的專家主觀意見相似度得分，w(qj,ui)為與查詢圖像採集自同一現場的圖像集中第j幅圖像與其k個最近鄰圖像的相似度得分，其計算形式如下：
其中，Amn為與查詢圖像採集自同一現場的圖像集Q中第j幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為庫中k個最近鄰圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；
-構建專家主觀意見相似度得分ys預測模型：
對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的預測專家意見相似度得分表示為上述關於查詢圖像與該圖像相似度的一個四參數邏輯回歸函數；
-上述預測模型的參數通過學習得到，構建並使用訓練樣本庫T＝{(x(i),y(i)),i＝1,2,…,M}，利用最小二乘法學習上述預測模型的參數，並求得最優化參數為：
訓練樣本庫T中的圖像被隨機分為LT組，每組中由一個參考圖像和其餘n(i)幅鞋印痕跡圖像組成；
令多位刑偵專家對訓練樣本庫T中各組的圖像，依據其與該組參考圖像的相似程度，分別給出專家意見相似度得分，並對專家意見相似度得分取平均，記為y(i)；計算每組參考圖像與該組其餘圖像的相似度得分x(i)，相似度得分計算公式為：
其中，Amn為訓練樣本庫中第i幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為訓練樣本庫中該組參考圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；
-對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像，利用公式對專家主觀意見相似度得分和預測專家意見相似度得分進行融合，其中as和ap表示權重係數，且as+ap＝1；對於圖像庫中其他圖像
-構造並求解目標函數，計算各圖像樣本的排序分數，給出排序結果，完成圖像檢索；所述的目標函數如下所示：
其中f*為最優計算排序得分，ui表示圖像庫U中的第i幅圖像，fi為圖像庫U中的第i幅圖像排序得分；α,β,γ為權重係數，α<β，0<α,β,γ<1，R為係數矩陣，為對角陣，Ri,i表示R中第i行第i列元素；W表示鄰接矩陣，其中元素對應的是圖像庫U中任意兩幅樣本圖像的相似度得分；C是一個對角矩陣，Cii為其對角線上第i個元素，Cii表示第i幅圖像與其餘圖像的相似度的和，qi為與查詢圖像採集自同一現場的圖像集Q中第i幅圖像，q1為查詢圖像，Nk(qi)為qi的k個最近鄰圖像；為專家意見相似度得分。
作為優選的實施方式，所述的圖像庫，
其中表示採集自不同現場的待檢索鞋印痕跡圖像集，表示查詢圖像及與查詢圖像採集自同一現場的圖像集，其中q1為查詢圖像。
作為優選的實施方式，所述計算待查詢現場鞋印痕跡圖像與圖像庫中樣本圖像之間的相似性具體過程如下：
-對庫中樣本圖像提取二值圖頻譜特徵，得到樣本圖像與查詢圖像的相似性；
-依據所得到的相似性對樣本圖像庫中的鞋印痕跡花紋圖像進行排序，使樣本圖像庫中得每幅圖像獲得一個排序索引Ind(ui)；
-構建目標函數第一項的係數矩陣R，R為一個對角矩陣，R中第i行第i列元素Rii的值為
其中K表示場鞋印痕跡樣本圖像庫中圖像的總數，K＝n+N。
作為優選的實施方式，所述兩個圖像樣本之間的相似性，並構建流形正則化項具體包括如下步驟：
-計算圖像庫U中兩個圖像樣本之間的二值圖頻譜特徵的相似度得分w(ui,uj)，依據如下計算公式：
其中，Amn為圖像庫U中第i幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為圖像庫U中第j幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；依據該相似度得分，可以得到相似度矩陣W(i,j)＝w(ui,uj)；
-通過相似度得分構建拉普拉斯流形正則化項，其中
作為優選的實施方式，由專家依據兩幅鞋印痕跡圖像的花紋相似程度按經驗劃分成多個相似等級和等級對應的分數，依據上述等級，對所述查詢圖處於同一現場的樣本圖像，標記相應的相似分數，作為其專家主觀意見相似度得分，
-查找圖像庫中與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像的k個最近鄰圖像；賦予k個最近鄰圖像專家主觀意見相似等級和等級對應的分數，對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的專家主觀意見相似度得分表示為：
其中，表示查詢圖像及與查詢圖像採集自同一現場的圖像集，qi為該圖像集中的圖像，Nk(qj)為其k個最近鄰圖像，oi為其專家主觀意見得分，w(qj,ui)為qj與其k個最近鄰圖像的相似度。
其中oi為表示查詢圖像及與查詢圖像採集自同一現場的圖像集中第i幅圖像的專家主觀意見相似度得分，w(qj,ui)為與查詢圖像採集自同一現場的圖像集中第j幅圖像與其k個最近鄰圖像的相似度得分，其計算形式如下：
其中，Amn為與查詢圖像採集自同一現場的圖像集中第j幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為庫中k個最近鄰圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；
作為優選的實施方式，所述的目標函數的轉化為矩陣形式的求解過程如下：
求最優化f使得Q(f)最小，Q(f)對f的導數可寫為：
令其等於零，即
得
則
按照計算排序得分的高低對庫中圖像樣本進行排序，輸出排序後的結果。
本發明由於採取以上技術方案，其具有以下優點：
(1)創新性：1)提出了一種新的基於專家經驗引導的檢索方法，利用專家經驗，給出意見相似度得分，並引導檢索，提升檢索精度；
2)構建了專家意見相似度得分預測模型，用多位專家的意見相似度得分訓練模型，有效地避免了由人的主觀因素引起的檢索精度的降低；
3)利用少量的同一現場鞋印花紋圖像樣本及其k個最近鄰樣本提高了檢索性能；
4)與傳統流形學習方法不同，本發明只考慮與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像對檢索的引導作用，有效地避免庫中其餘圖像計算排序得分趨於非常小的值；
5)通過流形正則化學習，通過參考庫中圖像兩兩之間的關係，進一步提高檢索精度。
(2)有效性：通過實驗證明本方法在現場鞋印花紋圖像的檢索實驗中的檢索精度明顯優於現有技術，利用少量的同一現場鞋印花紋圖像樣本提高了檢索性能。
附圖說明
圖1是本發明實施例的現場鞋印痕跡花紋圖像檢索方法的流程圖；
圖2是現場採集到的鞋印痕跡圖像的示意圖；
圖3是現場採集到的鞋印痕跡圖像經過二值化處理後的圖像的示意圖。
具體實施方式
下面結合附圖和實施例對本發明進行詳細的描述，但並不因此而限定本發明的內容。
設現場鞋印痕跡樣本圖像庫其中表示採集自不同現場的待檢索鞋印痕跡圖像集，表示查詢圖像及與查詢圖像採集自同一現場的圖像集，其中q1為查詢圖像；
如圖1所示，一種基於專家經驗引導的現場鞋印痕跡花紋圖像檢索方法，其包括以下步驟：
步驟101、計算查詢圖與圖像庫中圖像樣本之間的相似性，並依此對圖像樣本進行排序；
其中該步驟具體包括：
(1)對庫中樣本圖像提取二值圖頻譜特徵，上述特徵提取算法為Wang XN,Sun HH,Yu Q,Zhang C(2015)Automatic Shoeprint Retrieval Algorithm for Real Crime Scenes.ACCV,Singapore,pp 399-413；
得到樣本圖像與查詢圖像的相似性，依據公式
其中，Amn為庫中第i幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為查詢圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；
(2)依據相似性對樣本圖像庫中的鞋印痕跡花紋圖像進行排序，使樣本圖像庫中得每幅圖像獲得一個排序索引Ind(ui)；
(3)構建目標函數第一項的係數矩陣R，
R為一個對角矩陣，R中第i行第i列元素Rii的值為其中K表示場鞋印痕跡樣本圖像庫中圖像的總數，K＝n+N
由於目前的主流只考慮查詢圖與庫中樣本圖像的相似度，並未考慮到樣本圖像之間的相互關係也是影響查全率的重要因素之一，所以導致現有算法的查全率不甚理想，故作為優選的實施方式，
步驟102、計算圖像庫中任意兩個圖像樣本之間的相似性，並構建流形正則化項；
其中該步驟具體包括：
(1)計算圖像庫U中兩個圖像樣本之間的二值圖頻譜特徵的相似度得分w(ui,uj)，依據計算公式
其中，Amn為圖像庫U中第i幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為圖像庫U中第j幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值。依據該相似度得分，可以得到相似度矩陣W(i,j)＝w(ui,uj)；
(2)通過相似度得分構建拉普拉斯流形正則化項，其中
步驟103、由刑偵專家對與查詢圖同一現場圖像樣本，依據其與查詢圖像的相似性，對其相似性程度進行劃分為五個等級，並給每個相似度等級分配對應的專家主觀意見相似度分數；
對所述圖像樣本庫中與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像按照與查詢鞋印花紋圖像的相似性程度劃分為五個等級，相同，近似相同，相似，近似相似及不同，並給每個相似度等級分配對應的專家主觀意見相似度分數，例如分別為1,0.8,0.6,0.4,0.2；
步驟104、查找庫中與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像的k個最近鄰圖像，並賦予k個最近鄰圖像相同的專家主觀意見相似度分數；
其中該步驟具體包括：
查找圖像庫中與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像的k個最近鄰圖像，在本實施例中k的數值取5；賦予k個最近鄰圖像，即與其相似程度最大的k個圖像，專家主觀意見相似等級和等級對應的分數，對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的專家主觀意見相似度得分表示為：
其中，表示查詢圖像及與查詢圖像採集自同一現場的圖像集，qi為該圖像集中的圖像，Nk(qj)為其k個最近鄰圖像，oi為其專家主觀意見得分，w(qj,ui)為qj與其k個最近鄰圖像的相似度。
其中，Amn為與查詢圖像採集自同一現場的圖像集Q中第j幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為庫中k個最近鄰圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；
這樣可以得到與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的專家主觀意見相似度分數ys；
步驟105、構建並訓練專家意見相似度分數預測模型，對與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的專家意見相似度分數進行預測；
其中該步驟具體包括：
1)構建專家意見相似度分數預測模型：
對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像的預測專家意見相似度得分表示為上述關於查詢圖像與該圖像相似度的一個四參數邏輯回歸函數；
2)上述預測模型的參數通過學習得到，構建並使用訓練樣本庫T＝{(x(i),y(i)),i＝1,2,…,M}，利用最小二乘法學習上述預測模型的參數，並求得最優化參數為：
參數用最小二乘法獲得最優參數λ1λ2λ3λ4初始取值分別為，λ1的初始值為所有訓練樣本庫中圖像平均專家意見得分的最大值max(y)，λ2的初始值為所有訓練樣本庫中圖像平均專家意見得分的最小值min(y)，λ3的初始值為所有訓練樣本庫中圖像平均專家意見得分的均值mean(y)，λ4的初始值為1。
訓練樣本庫T中的圖像被隨機分為LT組，每組中由一個參考圖像和其餘n(i)幅鞋印痕跡圖像組成；
令多位刑偵專家對訓練樣本庫T中各組的圖像，依據其與該組參考圖像的相似程度，分別給出專家意見相似度得分，並對專家意見相似度得分取平均，記為y(i)；計算每組參考圖像與該組其餘圖像的相似度得分x(i)，相似度得分計算公式為：
其中，Amn為訓練樣本庫中第i幅鞋印花紋圖像的頻譜特徵中的元素，表示頻譜特徵A的平均值，Bmn為訓練樣本庫中該組參考圖像的頻譜特徵中的元素，表示頻譜特徵B的平均值；
步驟106、專家主觀意見相似度分數及預測專家意見相似度分數進行融合，得到專家意見相似度得分；
對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像，利用步驟103和步驟104，可以得到其專家主觀意見相似度得分ys，利用步驟105可以得到其預測專家意見相似度得分yp，對於與查詢現場鞋印痕跡圖像採集自同一現場的樣本圖像，及其k個最近鄰圖像，利用公式對專家主觀意見相似度得分和預測專家意見相似度得分進行融合，其中as和ap表示權重係數，且as+ap＝1；對於圖像庫中其他圖像
步驟107、構造並求解目標函數，計算各圖像樣本的排序分數，把排序後的結果反饋給用戶。
其中該步驟構造的目標函數如下：
其中f*為最優計算排序得分，ui表示圖像庫U中的第i幅圖像，fi為圖像庫U中的第i幅圖像排序得分；α,β,γ為權重係數，α<β，0<α,β,γ<1，R為係數矩陣，為對角陣，Ri,i表示R中第i行第i列元素；W表示鄰接矩陣，其中元素對應的是圖像庫U中任意兩幅樣本圖像的相似度得分；C是一個對角矩陣，Cii為其對角線上第i個元素，Cii表示第i幅圖像與其餘圖像的相似度的和，qi為與查詢圖像採集自同一現場的圖像集Q中第i幅圖像，q1為查詢圖像，Nk(qi)為qi的k個最近鄰圖像；為專家意見相似度得分。
為方便求解目標函數，目標函數可以寫成矩陣形式：
求最優化f使得Q(f)最小，Q(f)對f的導數可寫為：
令其等於零，即
可得
則
按照計算排序得分的高低對庫中圖像樣本進行排序，並把排序後的結果反饋給用戶。
下面以一個具體的實驗來驗證本發明實施例提供的一種基於專家經驗引導的現場鞋印痕跡花紋圖像檢索方法得有效性，實驗具體為：
實驗採用兩個鞋印痕跡圖像資料庫，分別為MUES-SR10KS2S鞋印圖像檢索資料庫(Wang XN,Sun HH,Yu Q,Zhang C(2015)Automatic Shoeprint Retrieval Algorithm for Real Crime Scenes.ACCV,Singapore,pp 399-413)和Adam Kortylewski提供的CSFID-170資料庫(Kortylewski A,Albrecht T,Vetter T(2014)Unsupervised Footwear Impression Analysis and Retrieval from Crime Scene Data.ACCV 2014 Workshops,Singapore,Singapore.pp 644-658)。MUES-SR10KS2S包含10096幅採集自案件現場的鞋印痕跡圖像，其中包含72幅查詢圖像，如圖2、圖3所示。CSFID-170資料庫包含170幅採集自案件現場的鞋印痕跡查詢圖像，及1175幅採集自嫌疑人的圖像樣本。實驗結果採用Recall@K％衡量，即排序結果的前K％的查全率。實驗中，本方法在MUES-SR10KS2S鞋印圖像檢索資料庫上進行實驗，得到實驗結果如下：
在CSFID-170資料庫上與Adam Kortylewski提出的方法進行對比，得到實驗結果如下：
通過表可以看出，相比對比方法的結果，本方法所提出的方案能夠使檢索精度獲得顯著的提高。
上述實施例中的實施方案可以進一步組合或者替換，且實施例僅僅是對本發明的優選實施例進行描述，並非對本發明的構思和範圍進行限定，在不脫離本發明設計思想的前提下，本領域中專業技術人員對本發明的技術方案作出的各種變化和改進，均屬於本發明的保護範圍。