融合多個多尺度特徵提取的病理切片圖像分類方法及系統

2023-12-02 17:50:46 1

1.本發明屬於圖像識別
技術領域：
：，具體涉及一種融合多個多尺度特徵提取的病理切片圖像分類方法及系統。
背景技術：
：：2.現有的大部分研究對胃病理切片圖像分類識別的準確率不高且缺乏公開數據集，各研究結果無法進行比較，準確率大多數在85％-90％。由於病理切片圖像特徵複雜，癌細胞和正常細胞差別不大，所以網絡模型需要提取到足夠多的圖像特徵。通過對現有研究的分析，發現大部分研究在提取胃病理圖像特徵時，未能有效地提取深層和淺層的特徵。kather等將he切片輸入resnet18網絡對胃病理切片中胃癌細胞的msi(microsatelliteinstable)分子和mss(microsatellitestable)分子進行分類，從而識別出msi分子來判斷免疫治療對該胃癌患者是否有效。由於網絡只採用了resnet18網絡，沒有提取足夠多的圖像特徵，最終auc只有84％；qu等利用vgg16網絡構建胃腫瘤自動檢測模型，其準確率僅88.1％，由於他們只是簡單利用vgg網絡進行分類，沒有注重不同層次特徵的提取，網絡沒有學習到足夠的圖像特徵，因此準確率不夠理想。技術實現要素：3.本發明的目的在於提供一種融合多個多尺度特徵提取的病理切片圖像分類方法及系統，該方法及系統有利於提高圖像分類的準確性。4.為實現上述目的，本發明採用的技術方案是：一種融合多個多尺度特徵提取的病理切片圖像分類方法，包括以下步驟：5.在訓練過程，先對訓練用的病理切片圖像進行圖像預處理，得到一個訓練數據集traindataset，然後使用同一個訓練數據集對三個基於多尺度特徵提取的病理切片圖像分類網絡net1、net2、net3進行訓練，得到相應的三個訓練好的模型model_1、model_2、model_3；6.在測試過程，對測試用的病理切片圖像也進行圖像預處理，得到測試數據集testdataset，然後利用三個訓練好的模型model_1、model_2、model_3對測試數據集進行預測，得到各自的分類值score1、score2、score3，然後結合權重對這三個值進行投票，得到最終的分類值scoref。7.進一步地，所述分類值scoref的計算公式如式(1)所示：[0008][0009]其中，am為權值，scorem為三個訓練好的模型對測試數據集進行預測的分類值，m＝1,2,3；權值am的計算公式如式(2)所示：[0010][0011]其中，em為錯誤率，r為樣本類別數；病理切片圖像分類網絡在訓練過程中得到該網絡在訓練數據集上的分類準確率，通過分類準確率得到相應的錯誤率em，錯誤率越小，權值越大。[0012]進一步地，所述三個基於多尺度特徵提取的病理切片圖像分類網絡net1、net2、net3為fpninet、resnetv2p、asppoolnet。[0013]進一步地，所述fpninet網絡中，輸入圖像經過fpn模塊提取出不同尺度的4個特徵結果，所述4個特徵結果得到的特徵圖由淺到深、大小不一，淺層的特徵圖通過一個nin網絡層來減小特徵圖大小和提取圖像特徵，然後連接融合同樣大小的上一層特徵圖，重複提取融合再上一層特徵圖的操作直到所有特徵圖都被融合；此時，網絡的輸出結果是所有特徵圖像的集合；將以上數據通過dropout層和highwaynetwork進行處理，利用dropout層隨機去掉部分信息值，通過highwaynetwork提取特徵信息，然後輸入分類器，最後通過分類器進行分類。[0014]進一步地，所述resnetv2p網絡以resnetv2結構為基礎，在網絡結構中插入cbam注意力機制，以提升重要的通道信息和空間信息的權重；所述resnetv2p網絡將pyconv模塊插入resnetv2中代替殘疾分支上的一個卷積層，所述pyconv模塊將圖像特徵分別輸入四個大小不同的卷積核，然後將四個卷積核輸出的不同深度的圖像特徵融合，通過resnetv2網絡輸出結果。[0015]進一步地，所述asppoolnet網絡包括4個使用了空洞卷積的resnet網絡層l1、l2、l3、l4和2個cbam注意力機制模塊，輸入圖像先經過一個初始化卷積層、l1網絡層和cbam注意力機制模塊，然後分為兩路，一路通過全局平均池化和上採樣層提取出當前特徵圖的全局特徵，一路通過l2、l3、l4網絡層和aspp模塊，aspp模塊通過一個池化層將不同大小的空洞卷積提取的不同層次的特徵融合在一張特徵圖上，然後和1×1卷積計算後的結果融合，再通過nin網絡層、cbam注意力機制模塊和池化層處理後，與另一路提取的全局特徵融合起來，而後通過分類器輸出最後結果。[0016]本發明還提供了一種融合多個多尺度特徵提取的病理切片圖像分類系統，包括存儲器、處理器以及存儲於存儲器上並能夠被處理器運行的電腦程式指令，當處理器運行該電腦程式指令時，能夠實現上述的方法步驟。[0017]與現有技術相比，本發明具有以下有益效果：該方法及系統採用三個多尺度特徵提取網絡來儘可能地提取胃病理切片圖像的深層和淺層特徵，然後通過投票網絡對三個網絡進行融合，從而最大程度上避免預測錯誤，大大提高了圖像分類的準確性。附圖說明[0018]圖1是本發明實施例的總體框架示意圖。[0019]圖2是本發明實施例中投票網絡的結構示意圖。[0020]圖3是本發明實施例中fpninet網絡的結構示意圖。[0021]圖4是本發明實施例中resnetv2p網絡的結構示意圖。[0022]圖5是本發明實施例中pyconv模塊的結構示意圖。[0023]圖6是本發明實施例中asppoolnet網絡的結構示意圖。具體實施方式[0024]下面結合附圖及實施例對本發明做進一步說明。[0025]應該指出，以下詳細說明都是示例性的，旨在對本技術提供進一步的說明。除非另有指明，本文使用的所有技術和科學術語具有與本技術所屬
技術領域：
：的普通技術人員通常理解的相同含義。[0026]需要注意的是，這裡所使用的術語僅是為了描述具體實施方式，而非意圖限制根據本技術的示例性實施方式。如在這裡所使用的，除非上下文另外明確指出，否則單數形式也意圖包括複數形式，此外，還應當理解的是，當在本說明書中使用術語「包含」和/或「包括」時，其指明存在特徵、步驟、操作、器件、組件和/或它們的組合。[0027]如圖1所示，本實施例提供了一種融合多個多尺度特徵提取的病理切片圖像分類方法，包括以下步驟：[0028]在訓練過程，先對訓練用的病理切片圖像進行圖像預處理，得到一個訓練數據集traindataset，然後使用同一個訓練數據集對三個基於多尺度特徵提取的病理切片圖像分類網絡net1、net2、net3進行訓練，得到相應的三個訓練好的模型model_1、model_2、model_3。[0029]在測試過程，對測試用的病理切片圖像也進行圖像預處理，得到測試數據集testdataset，然後利用三個訓練好的模型model_1、model_2、model_3對測試數據集進行預測，得到各自的分類值score1、score2、score3，然後結合權重對這三個值進行投票，得到最終的分類值scoref。[0030]本方法的投票網絡結構如圖2所示，三個訓練好的網絡模型model_1、model_2、model_3分別對輸入圖像進行預測，得出各自的預測值scorem(m＝1,2,3)，將權值am和預測值scorem進行計算，得出最終的預測結果scoref，scoref的計算公式如式(1)所示，即將預測結果和權值相乘然後相加：[0031][0032]其中，權值am的計算公式如式(2)所示：[0033][0034]其中，em為錯誤率，r為樣本類別數，在本實施例中取值為2。病理切片圖像分類網絡在訓練過程中可以得到該網絡在訓練數據集上的分類準確率，通過分類準確率可以得到相應的錯誤率em，錯誤率越小，權值越大。三個網絡分類器是並行關係，預測過程相互獨立，不相互影響；且三個分類器分別預測進行投票的機制可以最大程度上避免預測錯誤。[0035]在本實施例中，所述三個基於多尺度特徵提取的病理切片圖像分類網絡net1、net2、net3為fpninet、resnetv2p、asppoolnet。[0036]所述fpninet網絡結構如圖3所示。輸入圖像經過fpn模塊提取出不同尺度的4個特徵結果，所述4個特徵結果得到的特徵圖由淺到深、大小不一，淺層的特徵圖通過一個nin網絡層來減小特徵圖大小和提取圖像特徵，然後連接融合同樣大小的上一層特徵圖，重複提取融合再上一層特徵圖的操作直到所有特徵圖都被融合。此時，網絡的輸出結果是所有特徵圖像的集合，數據量多且複雜，將以上數據通過dropout層和highwaynetwork進行處理，利用dropout層隨機去掉部分信息值，通過結構簡單的highwaynetwork代替深層網絡提取特徵信息。相對深層網絡，highwaynetwork訓練過程簡單，一定程度上避免了梯度消失和梯度爆炸的問題。然後輸入分類器，最後通過分類器進行分類。[0037]所述resnetv2p網絡結構如圖4所示。圖4(a)的結構是resnetv2p網絡的主體結構，該結構以resnetv2結構為基礎，在網絡結構中插入cbam注意力機制，提升重要的通道信息和空間信息的權重。如圖4(b)所示，所述resnetv2p網絡的主要特點是將pyconv模塊插入resnetv2中代替殘疾分支上的一個卷積層。pyconv模塊結構如圖5所示，該模塊將圖像特徵分別輸入四個大小不同的卷積核，然後將四個卷積核輸出的不同深度的圖像特徵融合起來。總的來說，該網絡在殘差分支上利用卷積金字塔提取不同深度的圖像特徵，並直接進行融合，通過resnetv2網絡輸出結果。加上在整體網絡中插入了注意力機制模塊，保證了在後續的卷積計算中不丟失空間信息和通道信息。[0038]所述asppoolnet網絡結構如圖6所示，該網絡包括4個使用了空洞卷積的resnet網絡層l1、l2、l3、l4和2個cbam注意力機制模塊，以提升重要的通道信息和空間信息的權重。圖像輸入網絡後，先經過一個初始化卷積層、l1網絡層和cbam注意力機制模塊，然後分為兩路，一路通過全局平均池化和上採樣層提取出當前特徵圖的全局特徵，一路通過l2、l3、l4網絡層和aspp模塊，aspp模塊通過一個池化層將不同大小的空洞卷積提取的不同層次的特徵融合在一張特徵圖上，然後和1×1卷積計算後的結果融合，再通過nin網絡層、cbam注意力機制模塊和池化層處理後，與另一路提取的全局特徵融合起來，而後通過分類器輸出最後結果。[0039]本實施例還提供了一種融合多個多尺度特徵提取的病理切片圖像分類系統，包括存儲器、處理器以及存儲於存儲器上並能夠被處理器運行的電腦程式指令，當處理器運行該電腦程式指令時，能夠實現上述的方法步驟。[0040]本實施例通過多種網絡模型與本發明方法對完整病理切片圖像進行對比實驗，對比實驗結果如下表1、2所示。[0041]表1各種網絡的各項指標結果對比[0042][0043]從表1可以看出，本發明方法的分類效果最好，通過幾個網絡並行預測結果，聯合不同權重進行計算，可以得出比單個網絡更好的預測結果。resnet18在判斷胃癌圖片方面的準確率僅次於asppoolnet和本發明方法，但是在判斷正常圖片的準確率較低，所以整體網絡性能不好。在resnetv2中插入pyconv模塊後，卷積計算時可以獲取更多的圖像特徵。圖片輸入fpninet網絡後，fpn模塊可以提取到不同層次的特徵，該網絡雖然整體準確度不如resnetv2網絡，但是在分類正向圖片時效果比resnetv2要好。asppoolnet網絡與其他網絡不同，空洞卷積將不同特徵提取然後池化在一張特徵圖上且融合了全局特徵，因此該網絡的各項指標都比其他網絡要好，回歸值是所有網絡中最高的，說明該網絡在分類帶有癌症細胞的切片的效果最好。從f1得分來看，該網絡的穩定性和本發明方法相當。[0044]表2使用完整病理切片測試結果[0045][0046]從表2可以看出，本發明方法的測試效果最好，inceptionv3最低，resnetv2p和asppoolnet比其他網絡稍高。由於該測試程序沒有應用分割網絡，是先將整個圖片分割成小塊，然後對小塊的判定結果相加然後除以小塊數，若該計算結果大於0.4則判斷為胃癌切片，小於則判斷為正常。設置為0.4的原因是為了在網絡分類小圖片出錯時儘可能地保證最終結果正確。[0047]本領域內的技術人員應明白，本技術的實施例可提供為方法、系統、或電腦程式產品。因此，本技術可採用完全硬體實施例、完全軟體實施例、或結合軟體和硬體方面的實施例的形式。而且，本技術可採用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(包括但不限於磁碟存儲器、cd-rom、光學存儲器等)上實施的電腦程式產品的形式。[0048]本技術是參照根據本技術實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方框圖來描述的。應理解可由電腦程式指令實現流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些電腦程式指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產生一個機器，使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。[0049]這些電腦程式指令也可存儲在能引導計算機或其他可編程數據處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。[0050]這些電腦程式指令也可裝載到計算機或其他可編程數據處理設備上，使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理，從而在計算機或其他可編程設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。[0051]以上所述，僅是本發明的較佳實施例而已，並非是對本發明作其它形式的限制，任何熟悉本專業的技術人員可能利用上述揭示的技術內容加以變更或改型為等同變化的等效實施例。但是凡是未脫離本發明技術方案內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與改型，仍屬於本發明技術方案的保護範圍。當前第1頁12當前第1頁12