基於相似度的乳腺圖像的匹配圖像檢索方法及檢索系統的製作方法
2023-10-08 21:28:24
基於相似度的乳腺圖像的匹配圖像檢索方法及檢索系統的製作方法
【專利摘要】本發明公開了提供一種基於相似度的乳腺圖像的匹配圖像檢索方法及檢索系統，基於相似度的乳腺圖像的匹配圖像檢索方法包括如下步驟：建立圖像特徵庫；建立分層聚類樹；提取待檢索圖像的特徵；查找與帶檢索圖像相似的圖像並輸出。本發明的系統包括圖像特徵庫建立模塊、分層聚類樹建立模塊、待檢索圖像的特徵提取模塊和相似圖像查找模塊。本發明的方法和系統能夠實時將需要檢索的乳腺X線片的圖像輸入檢索資料庫，然後對輸入圖像進行分析，將檢索資料庫中的圖像按照與輸入圖像的相似度進行排序輸出。本發明的檢索速度快且檢索結果準確。
【專利說明】基於相似度的乳腺圖像的匹配圖像檢索方法及檢索系統
【技術領域】
[0001]本發明屬於數字圖像檢索【技術領域】，具體涉及一種基於相似度的乳腺圖像的匹配圖像檢索方法及檢索系統。
【背景技術】
[0002]乳腺疾病是嚴重危害女性健康的一種疾病，目前乳腺癌已經佔到女性新發惡性病的30%左右,排名女性惡性腫瘤發病率的第一位。乳腺X線照相術(Mammography)通過專門的鑰鈀X線機對乳房進行拍照形成乳腺X線片，目前使用乳腺X線片作為基礎數據進行乳腺疾病的研究已經在發達國家成為使用最普遍的方式。乳腺癌X線片中病灶表示形式常見的有較規則或類圓形腫塊、不規則或模糊腫塊、毛刺腫塊、透亮環腫塊四類。計算機視覺領域的目標檢測技術和人工智慧領域的機器學習技術能夠非常直觀的應用在乳腺腫塊的檢測中，該技術通過對腫塊區域和非腫塊區域的訓練學習，從乳腺X射線片中檢測到疑似腫塊區域。但由於目前機器學習技術和目標檢測技術還不夠不成熟，尤其是「語義鴻溝(Semantic Gap)」問題還沒有得到根本解決，現有的應用上述技術進行乳腺腫塊區域自動檢測的方法存在將腫塊區域漏掉或者腫塊部位不準確等問題。
【發明內容】
[0003]針對上述現有技術中存在的缺陷或不足，本發明的一個目的在於，提供一種基於相似度的乳腺圖像的匹配圖像檢索方法，該方法實時將需要檢索的乳腺X線片的圖像輸入檢索資料庫，然後對輸入圖像進行分析，將檢索資料庫中的圖像按照與輸入圖像的相似度進行排序輸出。該方法能夠實時、快速、準確地輸出與輸入圖像的相似度最高的若干幅圖像，從而為醫生在結合檢查報告後進行實時分析乳腺腫塊或鈣化提供更多的參考依據。
[0004]為了實現上述目的，本發明採用如下的技術方案予以解決:
[0005]一種基於相似度的乳腺圖像的匹配圖像檢索方法，包括如下步驟:
[0006]步驟1:建立圖像特徵庫；具體步驟為:遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特徵塊，並將每個符合規定尺度的SIFT特徵塊以特徵塊中心為定點旋轉，直至其主方向與水平方向垂直，並利用HOG算法分別提取這些特徵塊的HOG特徵；然後將每個旋轉後的SIFT特徵塊進行水平翻轉，並利用HOG算法分別提取這些水平翻轉後的特徵塊的HOG特徵；將旋轉後以及水平翻轉後得到的每幅乳腺圖像的圖像號、該圖像的HOG特徵數以及該圖像的HOG特徵對應保存到圖像特徵庫；
[0007]步驟2:建立分層聚類樹；具體步驟如下:
[0008]步驟201:從圖像特徵庫中讀取所有的HOG特徵並將它們保存到分層聚類樹的根節點；令根節點為當前節點；
[0009]步驟202:在當前節點上保存所有的HOG特徵中隨機選取來自於不同圖像的K個HOG特徵作為初始聚類中心，使用K-Means算法將當前節點上保存的所有HOG特徵分成K個類；同時，令當前節點產生K個子節點，將生成的K個類中的HOG特徵以及每個類的聚類中心對應存儲到當前節點的K個子節點上；
[0010]步驟203:判斷分層聚類樹的層數是否小於閾值d印th，是則將步驟202產生的K個子節點依次作為當前節點，分別執行步驟202 ;否則結束；
[0011]步驟3:提取待檢索圖像的特徵；具體步驟如下:
[0012]對一幅待檢索圖像，利用SIFT算法提取其SIFT特徵塊並選出符合規定尺度的SIFT特徵塊，將每個選出的SIFT特徵塊以特徵塊的中心為定點旋轉，直至其主方向與水平方向垂直，並提取其HOG特徵；再對該旋轉後的SIFT特徵塊做水平翻轉後提取HOG特徵；
[0013]步驟4:查找與帶檢索圖像相似的圖像並輸出；具體步驟如下:
[0014]步驟401:遍歷待檢索圖像的所有HOG特徵，將待檢索圖像的每個HOG特徵作為當前特徵，選出分層聚類樹上與當前特徵對應的一個葉子節點；
[0015]步驟402:對於待檢測圖像的每個HOG特徵，利用kNN算法計算得到與每個HOG特徵對應的葉子節點中存儲的HOG特徵中與該HOG特徵最近的k個特徵，該k個HOG特徵組成該HOG特徵的匹配特徵集；
[0016]步驟403:統計待檢測圖像的所有HOG特徵的匹配特徵集中，所有HOG特徵來自的乳腺圖像的圖像號出現的次數，並將每個乳腺圖像的圖像號出現的次數按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
[0017]進一步的，所述步驟I中的所述符合規定尺度的SIFT特徵塊是指大小不小於32X32像素的SIFT特徵塊。
[0018]進一步的,所述步驟202中的當前節點產生子節點的個數K=3。
[0019]進一步的，所述步驟203中的分層聚類樹的層數的閾值d印th=4。
[0020]進一步的,所述步驟401中選出分層聚類樹上與當前特徵對應的一個葉子節點的具體步驟如下:
[0021]I)將分層聚類樹的根節點作為當前節點；
[0022]2)計算當前HOG特徵與當前節點的K個子節點聚類中心的距離(本發明中採用歐式距離)，選出距離最近的節點；判斷該選出的節點是否是葉子節點，是則結束；否則將該選出的節點作為當前節點，執行2)。
[0023]本發明的另一個目的在於，提供一種基於相似度的乳腺圖像的匹配圖像檢索系統，該系統能夠實現計算機實時批量檢索，將需要檢索的乳腺X線片的圖像輸入檢索資料庫，然後對輸入圖像進行分析，將檢索資料庫中的圖像按照與輸入圖像的相似度進行排序輸出。
[0024]為了實現上述目的，本發明採用如下的技術方案予以解決:
[0025]一種基於相似度的乳腺圖像的匹配圖像檢索系統，具體包括如下模塊:
[0026]I)圖像特徵庫建立模塊，該模塊用於遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特徵塊，並將每個符合規定尺度的SIFT特徵塊以特徵塊中心為定點旋轉，直至其主方向與水平方向垂直，並利用HOG算法分別提取這些特徵塊的HOG特徵；然後將每個旋轉後的SIFT特徵塊進行水平翻轉，並利用HOG算法分別提取這些水平翻轉後的特徵塊的HOG特徵；將旋轉後以及水平翻轉後得到的每幅乳腺圖像的圖像號、該圖像的HOG特徵數以及該圖像的HOG特徵對應保存到圖像特徵庫；
[0027]2)分層聚類樹建立模塊，該模塊包括以下相連接的子模塊:[0028]子模塊201:從圖像特徵庫中讀取所有的HOG特徵並將它們保存到分層聚類樹的根節點；令根節點為當前節點；
[0029]子模塊202:在當前節點上保存所有的HOG特徵中隨機選取來自於不同圖像的K個HOG特徵作為初始聚類中心，使用K-Means算法將當前節點上保存的所有HOG特徵分成K個類；同時，令當前節點產生K個子節點，將生成的K個類中的HOG特徵以及每個類的聚類中心對應存儲到當前節點的K個子節點上；
[0030]子模塊203:判斷分層聚類樹的層數是否小於閾值d印th，是則將子模塊202產生的K個子節點依次作為當前節點，分別執行子模塊202 ;否則結束；
[0031]3)待檢索圖像的特徵提取模塊，該模塊用於:
[0032]對一幅待檢索圖像，利用SIFT算法提取其SIFT特徵塊並選出符合規定尺度的SIFT特徵塊，將每個選出的SIFT特徵塊以特徵塊的中心為定點旋轉，直至其主方向與水平方向垂直，並提取其HOG特徵；再對該旋轉後的SIFT特徵塊做水平翻轉後提取HOG特徵；
[0033]4)相似圖像查找模塊，該模塊包括如下依次相連接的子模塊:
[0034]子模塊401:遍歷待檢索圖像的所有HOG特徵，將待檢索圖像的每個HOG特徵作為當前特徵，選出分層聚類樹上與當前特徵對應的一個葉子節點；
[0035]子模塊402:對於待檢測圖像的每個HOG特徵，利用kNN算法計算得到與每個HOG特徵對應的葉子節點中存儲的HOG特徵中與該HOG特徵最近的k個特徵，該k個HOG特徵組成該HOG特徵的匹配特徵集；
[0036]子模塊403:統計待檢測圖像的所有HOG特徵的匹配特徵集中，所有HOG特徵來自的乳腺圖像的圖像號出現的次數，並將每個乳腺圖像的圖像號出現的次數按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
[0037]進一步的，所述圖像特徵庫建立模塊中的所述符合規定尺度的SIFT特徵塊是指大小不小於32X32像素的SIFT特徵塊。
[0038]進一步的，所述子模塊202中的當前節點產生子節點的個數K=3。
[0039]進一步的，所述子模塊203中的分層聚類樹的層數的閾值d印th=4。
[0040]進一步的，所述子模塊401中選出分層聚類樹上與當前特徵對應的一個葉子節點的子模塊用於:
[0041]I)將分層聚類樹的根節點作為當前節點；
[0042]2)計算當前HOG特徵與當前節點的K個子節點聚類中心的距離(本發明中採用歐式距離)，選出距離最近的節點；判斷該選出的節點是否是葉子節點，是則結束；否則將該選出的節點作為當前節點，執行2)。
[0043]與現有技術相比，本發明的優點如下:
[0044]1、從圖像中提取特徵塊時按照特定規則選取特徵塊，刪除了信息量少的特徵塊，減少了容量存儲。
[0045]2、針對乳腺圖像的特殊性，即一對乳腺左右部分相似的性質，為了檢索出一對乳腺的左右部分，對特徵塊做了水平翻轉之後提取特徵，豐富了特徵庫的信息。
[0046]3、為了加快檢索的速度，採用了分層聚類樹來建立特徵樹，保證檢索的運算複雜度在「對數」級別，大大提高了檢索效率。【專利附圖】
【附圖說明】
[0047]圖1是本發明的檢索方法的總體流程圖。
[0048]圖2是本發明的檢索方法的步驟I建立圖像特徵庫的流程圖。
[0049]圖3是本發明的檢索方法的步驟2建立分層聚類樹流程圖。
[0050]圖4是分層聚類算法的流程圖。
[0051]圖5是本發明的檢索方法的步驟3提取檢索圖像特徵流程圖。
[0052]圖6是本發明的檢索方法的步驟4查找並輸出相似圖像的流程圖。
圖7是本發明的基於相似度的乳腺圖像的匹配圖像檢索系統的結構圖。
[0053]圖8是本發明的實施例的執行過程中的結果。其中，圖8(a)實施例中的一張待檢索圖片，圖8(b)為步驟3中使用SIFT算法提取的所有SIFT特徵塊，圖8 (c)為去除冗餘SIFT特徵塊之後的剩餘的SIFT特徵塊，圖8 (d)為待檢索圖像中一部分完成旋轉之後的SIFT特徵塊。圖8(e)為系統輸出的最終檢索結果。
[0054]以下結合附圖和【具體實施方式】對本發明進一步解釋說明。
【具體實施方式】
[0055]相關術語介紹如下:
[0056]1、SIFT (Scale Invariant Feature Transform)算法
[0057]即尺度不變特徵變換，是一種基於尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特徵描述算子。該算法是圖像特徵提取技術的經典算法，該算法通過計算一幅圖像中的特徵點(Feature Points)以及其尺度和方向的描述算子從而得到特徵塊。SIFT算法輸出的結果為:特徵塊的中心點，特徵塊的大小和特徵塊的主方向。通過SIFT算法來提取圖像的SIFT特徵塊具體這樣實現:用不同尺度的圖像I U，y)與高斯函數G(xi； Yi, ο )做卷積構建高斯金字塔；進而構建DOG (Difference of Gaussians)高斯差分金字塔，從查找出的DOG空間的局部極值點去除不穩定的極值點，得到特徵點，最後找出不同尺度下的特徵塊。其中，(x，y)表示圖像中像素點的坐標，σ為尺度大小。高斯函數為:
[0058]
【權利要求】
1.一種基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，具體包括如下步驟: 步驟1:建立圖像特徵庫；具體步驟為:遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特徵塊，並將每個符合規定尺度的SIFT特徵塊以特徵塊中心為定點旋轉，直至其主方向與水平方向垂直，並利用HOG算法分別提取這些特徵塊的HOG特徵；然後將每個旋轉後的SIFT特徵塊進行水平翻轉，並利用HOG算法分別提取這些水平翻轉後的特徵塊的HOG特徵；將旋轉後以及水平翻轉後得到的每幅乳腺圖像的圖像號、該圖像的HOG特徵數以及該圖像的HOG特徵對應保存到圖像特徵庫； 步驟2:建立分層聚類樹；具體步驟如下: 步驟201:從圖像特徵庫中讀取所有的HOG特徵並將它們保存到分層聚類樹的根節點；令根節點為當前節點； 步驟202:在當前節點上保存所有的HOG特徵中隨機選取來自於不同圖像的K個HOG特徵作為初始聚類中心，使用K-Means算法將當前節點上保存的所有HOG特徵分成K個類；同時，令當前節點產生K個子節點，將生成的K個類中的HOG特徵以及每個類的聚類中心對應存儲到當前節點的K個子節點上； 步驟203:判斷分層聚類樹的層數是否小於閾值d印th，是則將步驟202產生的K個子節點依次作為當前節點，分別執行步驟202 ;否則結束； 步驟3:提取待檢索圖像的特徵；具體步驟如下: 對一幅待檢索圖像，利用SIFT算法提取其SIFT特徵塊並選出符合規定尺度的SIFT特徵塊，將每個選出的SIFT特徵塊以特徵塊的中心為定點旋轉，直至其主方向與水平方向垂直，並提取其HOG特徵；再對該旋轉後的SIFT特徵塊做水平翻轉後提取HOG特徵； 步驟4:查找與帶檢索圖像相似的圖像並輸出；具體步驟如下: 步驟401:遍歷待檢索圖像的所有HOG特徵，將待檢索圖像的每個HOG特徵作為當前特徵，選出分層聚類樹上與當前特徵對應的一個葉子節點； 步驟402:對於待檢測圖像的每個HOG特徵，利用kNN算法計算得到與每個HOG特徵對應的葉子節點中存儲的HOG特徵中與該HOG特徵最近的k個特徵，該k個HOG特徵組成該HOG特徵的匹配特徵集； 步驟403:統計待檢測圖像的所有HOG特徵的匹配特徵集中，所有HOG特徵來自的乳腺圖像的圖像號出現的次數，並將每個乳腺圖像的圖像號出現的次數按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
2.如權利要求1所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述步驟I中的所述符合規定尺度的SIFT特徵塊是指大小不小於32X32像素的SIFT特徵塊。
3.如權利要求1所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述步驟202中的當前 節點產生子節點的個數K=3。
4.如權利要求1所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述步驟203中的分層聚類樹的層數的閾值d印th=4。
5.如權利要求1所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述步驟401中選出分層聚類樹上與當前特徵對應的一個葉子節點的具體步驟如下:1)將分層聚類樹的根節點作為當前節點； 2)計算當前HOG特徵與當前節點的K個子節點聚類中心的距離(本發明中採用歐式距離)，選出距離最近的節點；判斷該選出的節點是否是葉子節點，是則結束；否則將該選出的節點作為當前節點，執行2)。
6.一種基於相似度的乳腺圖像的匹配圖像檢索系統，其特徵在於，具體包括如下模塊: 1)圖像特徵庫建立模塊，該模塊用於遍歷圖像庫中保存的乳腺圖像，利用SIFT算法對每幅乳腺圖像提取SIFT特徵塊，並將每個符合規定尺度的SIFT特徵塊以特徵塊中心為定點旋轉，直至其主方向與水平方向垂直，並利用HOG算法分別提取這些特徵塊的HOG特徵；然後將每個旋轉後的SIFT特徵塊進行水平翻轉，並利用HOG算法分別提取這些水平翻轉後的特徵塊的HOG特徵；將旋轉後以及水平翻轉後得到的每幅乳腺圖像的圖像號、該圖像的HOG特徵數以及該圖像的HOG特徵對應保存到圖像特徵庫； 2)分層聚類樹建立模塊，該模塊包括以下相連接的子模塊: 子模塊201:從圖像特徵庫中讀取所有的HOG特徵並將它們保存到分層聚類樹的根節點；令根節點為當前節點； 子模塊202:在當前節點上保存所有的HOG特徵中隨機選取來自於不同圖像的K個HOG特徵作為初始聚類中心，使用K-Means算法將當前節點上保存的所有HOG特徵分成K個類；同時，令當前節點產生K個子節點，將生成的K個類中的HOG特徵以及每個類的聚類中心對應存儲到當前節點的K個子節點上； 子模塊203:判斷分層聚類樹的層數是否小於閾值d印th，是則將子模塊202產生的K個子節點依次作為當前節點，分別執行子模塊202 ;否則結束； 3)待檢索圖像的特徵提取模塊，該模塊用於: 對一幅待檢索圖像，利用SIFT算法提取其SIFT特徵塊並選出符合規定尺度的SIFT特徵塊，將每個選出的SIFT特徵塊以特徵塊的中心為定點旋轉，直至其主方向與水平方向垂直，並提取其HOG特徵；再對該旋轉後的SIFT特徵塊做水平翻轉後提取HOG特徵； 4)相似圖像查找模塊，該模塊包括如下依次相連接的子模塊: 子模塊401:遍歷待檢索圖像的所有HOG特徵，將待檢索圖像的每個HOG特徵作為當前特徵，選出分層聚類樹上與當前特徵對應的一個葉子節點； 子模塊402:對於待檢測圖像的每個HOG特徵，利用kNN算法計算得到與每個HOG特徵對應的葉子節點中存儲的HOG特徵中與該HOG特徵最近的k個特徵，該k個HOG特徵組成該HOG特徵的匹配特徵集； 子模塊403:統計待檢測圖像的所有HOG特徵的匹配特徵集中，所有HOG特徵來自的乳腺圖像的圖像號出現的次數，並將每個乳腺圖像的圖像號出現的次數按照降序排序，取前k個對應的乳腺圖像作為與待檢測圖像相似度高的乳腺圖像輸出。
7.如權利要求6所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述圖像特徵庫建立模塊中的所述符合規定尺度的SIFT特徵塊是指大小不小於32 X 32像素的SIFT特徵塊。
8.如權利要求6所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述子模塊202中的當前節點產生子節點的個數K=3。
9.如權利要求6所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述子模塊203中的分層聚類樹的層數的閾值d印th=4。
10.如權利要求6所述的基於相似度的乳腺圖像的匹配圖像檢索方法，其特徵在於，所述子模塊401中選出分層聚類樹上與當前特徵對應的一個葉子節點的子模塊用於: 1)將分層聚類樹的根節點作為當前節點； 2)計算當前HOG特徵與當前節點的K個子節點聚類中心的距離(本發明中採用歐式距離)，選出距離最近的節點；判斷該選出的節點是否是葉子節點，是則結束；否則將該選出的節點作為當前節點，執行2)。`
【文檔編號】G06F17/30GK103678504SQ201310590294
【公開日】2014年3月26日 申請日期:2013年11月19日 優先權日:2013年11月19日
【發明者】張浪, 辛良, 申田, 李雲峰, 張孝林 申請人:西安華海盈泰醫療信息技術有限公司