基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法與流程

2023-08-01 05:29:11 2

本發明涉及計算機神經網絡技術領域，具體是一種基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法。

背景技術：

前列腺癌是影響老年男性健康的主要問題之一。早期診斷、早期治療是提高前列腺癌患者生存率和降低病死率的關鍵，而對於病變組織的分割是對前列腺癌診斷不可或缺的一環。針對前列腺病變的檢測與治療規劃，醫生首先需要勾勒出前列腺組織輪廓，區分前列腺與周圍器官，然後決定採取相對應的治療手段。但是，這一過程目前主要依賴於醫師手工完成，這是一個十分耗時的過程，並且分割的結果好壞也因人而異。同時由於前列腺圖像的多種強度分布以及變形程度不同，導致其在不同的掃描儀中呈現出很寬泛的邊界範圍。除此之外，由於磁場的不均勻性，mri圖像會出現偽影和失真。前列腺圖像的分割對於臨床診斷來說是一件非常重要的任務，在計劃治療時，前列腺結構的邊界應該越精確越好。

基於深度學習的前列腺組織分割技術，是指通過訓練反卷積深度神經網絡模型，應用到前列腺圖像的自動分割中，這種技術相比於人工分割，精度更高，耗時更少，大大提高了分割效率。

技術實現要素：

本發明的目的是提供一種基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法，以解決現有技術前列腺組織分割方法精度低、耗時高的問題。

為了達到上述目的，本發明所採用的技術方案為：

基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法，其特徵在於：包括以下步驟：

(1)、選取一系列病人的前列腺mri圖像作為原始數據樣本，首先去除原始數據樣本中不包含前列腺圖像信息的圖片，減小負樣本所佔比例，然後通過對比度調節方法，增強磁共振組織的邊緣的差異，最後通過裁剪和尺度變換方式擴展得到數據集；

(2)、將步驟(1)的數據集圖像統一裁剪尺寸後輸入到卷積神經網絡中，卷積神經網絡由卷積層和下採樣層組成，首先通過卷積層，將預設好大小的卷積核按照預設的滑動步長在特徵圖上進行滑動，每次將卷積核與其大小對應的特徵圖子區域進行卷積運算，卷積結果通過relu激活函數計算得到相應的特徵圖輸出，並作為下一層的輸入，在網絡模型中，卷積層的第一層輸入是原始訓練圖像；

第l層卷積特徵圖hl的計算方法如下：

式中mx和my分別表示卷積核m的長和寬，wjk是卷積核中學習的權值，hl-1表示卷積層l的輸入，*是2維卷積，bl表示第l層卷積核的偏置，f(·)是激活函數，relu激活函數的數學表達式為：

f(x)＝max(0,x)(2)

卷積層操作完之後通過下採樣層，下採樣層採用池化操作，即設置一個小尺寸的池化窗口，按照預設好的滑動步長進行窗口滑動，對窗口內的特徵圖子區域取最大值，同時記錄下該最大值所處的位置坐標，稱之為位置索引；通常池化窗口大小為s×s且不重疊，對特徵圖取最大值之後，特徵圖的解析度縮小為原來的1/s，從而逐步提取出圖像的高級特徵，特徵圖的尺寸逐步縮小，在每一層處理後得到特徵圖，前一層輸出的特徵圖作為下一層的輸入；

(3)、卷積操作根據不同大小的卷積核和滑動步長可以實現對特徵圖尺寸的放大與縮小，卷積神經網絡中的卷積層實現對特徵圖尺寸的縮小，相應的使用反卷積層擴展特徵圖尺寸，下採樣層進行池化操作，上採樣層與其相比則進行反池化操作，將反池化窗口對應的每個子區域的最大值放回到原位置索引處，其餘位置均置零，即擴展了特徵圖尺寸，將尺寸縮小了的特徵圖擴大；將步驟(2)中卷積神經網絡輸出的特徵圖輸入到反卷積神經網絡中，反卷積神經網絡採用卷積神經網絡的鏡像結構，由反卷積層和上採樣層組成，目的在於擴展特徵圖尺寸重建輸入目標的形狀；特徵圖首先輸入到反卷積層進行反卷積操作，利用卷積過程中卷積核的轉置版本即水平和豎直方向上的數值旋轉180度來計算卷積前的每一塊特徵圖子區域，relu函數是用於保證每層輸出的激活值都是正數，因此對於反向過程，同樣需要保證每層的特徵圖為正值，也就是說這個反激活過程和激活過程沒有什麼差別，都是直接採用relu函數；反卷積結果通過relu激活函數計算得到相應尺寸擴大的特徵圖，並作為下一層的輸入；接著將特徵圖輸入到上採樣層進行反池化操作，此時的反池化層除了接收來自反卷積層的輸出特徵圖之外，同時接收來自卷積神經網絡中鏡像位置的下採樣層記錄下的位置索引；每一個位置索引對應著一個特徵圖子區域，此時將來自反卷積層的輸出特徵圖中每個子區域的最大值放回到相應的位置索引處，其餘位置均置零，即完成上採樣操作，得到尺寸逐步擴大的特徵圖；接著將特徵圖輸入到反卷積層中，進行反卷積操作，對特徵圖中置零位置處進行信息補充，再次得到尺寸擴大的特徵圖並輸入到上採樣層進行反池化操作，得到的特徵圖作為下一層的輸入，最終經過卷積神經網絡輸出與原始圖像尺寸相同的特徵圖；最後在反卷積神經網絡後面連接sofmax分類器和dice相似性損失函數層得到前列腺圖像的分割概率預測圖，對此分割概率預測圖進行二值化處理，得到最終的分割結果，把分割的結果和正常影像學形態進行對比，給出輔助診斷信息，應用到醫學的前列腺癌的診斷中；

所述的基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法，其特徵在於：為了得到與輸入圖像尺寸匹配的分割概率預測圖，在步驟(2)中卷積網絡後面連接反卷積網絡，通過反卷積網絡中的上採樣和卷積層來拓展特徵圖尺寸。

所述的基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法，其特徵在於：在下採樣層中，將前一層特徵圖中相鄰若干個高級特徵合併，減小特徵的解析度。

所述的基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法，其特徵在於：在softmax分類器後添加dice相似性損失函數，解決訓練圖像中，前列腺和背景區域比例區別過大的問題，提高分割的精度。

本發明通過對預處理的前列腺mri圖像進行分割，得到相應的前列腺組織區域，使用反卷積深度神經網絡實現自動分割前列腺組織區域，提高了分割精度和效率，大大減少分割時間，依據分割結果輔助醫生對前列腺癌進行診斷，達到提高診斷準確率和診斷效率的目標，有效減少醫生工作量，提高診斷效果，可用於對前列腺癌的輔助診斷。

本發明的有益效果是：通過海量的醫學圖像數據對深度卷積神經網絡進行訓練，得到穩定的深度網絡模型，從而實現自動的高精度的前列腺組織區域的分割，大大縮短了分割時間，有效提高了分割精度

附圖說明

圖1是本發明的實現流程框架圖。

圖2中的(a)為原始的待分割前列腺圖像；(b)為(a)對應的手動分割真實結果；(c)為用本發明的方法對(a)處理得到的概率預測圖。(c)中白色輪廓及其包裹的區域為預測可能的前列腺區域，和(b)作比較，說明本發明提出的方法生成的前列腺概率預測圖中，前列腺組織與非前列腺組織具有較高的區分度。

圖3為兩例前列腺分割的結果對比。第一列和第二列的前列腺圖像分別來自兩個不同個體。每一列的三張圖為取自兩個人前列腺不同形態下的核磁共振圖像，灰色線表示手動分割真實結果，白色線表示本發明的分割結果。經過比較，本發明提出的分割方法非常接近手動真實分割結果。

具體實施方式

如圖1所示，基於深度學習算法的惡性腫瘤計算機輔助早期診斷方法，包括以下步驟：

(1)、選取一系列病人的前列腺mri圖像作為原始數據樣本，首先去除原始數據樣本中不包含前列腺圖像信息的圖片，減小負樣本所佔比例，然後通過對比度調節方法，增強磁共振組織的邊緣的差異，最後通過裁剪和尺度變換方式擴展得到數據集；

(2)、將步驟(1)的數據集圖像統一裁剪尺寸後輸入到卷積神經網絡中，卷積神經網絡由卷積層和下採樣層組成。首先通過卷積層，將預設好大小的卷積核按照預設的滑動步長在特徵圖上進行滑動，每次將卷積核與其大小對應的特徵圖子區域進行卷積運算。卷積結果通過relu激活函數計算得到相應的特徵圖輸出，並作為下一層的輸入。在網絡模型中，卷積層的第一層輸入是原始訓練圖像。

第l層卷積特徵圖hl的計算方法如下：

式中mx和my分別表示卷積核m的長和寬，wjk是卷積核中學習的權值，hl-1表示卷積層l的輸入，*是2維卷積，bl表示第l層卷積核的偏置，f(·)是激活函數。relu激活函數的數學表達式為：

f(x)＝max(0,x)(2)

卷積層操作完之後通過下採樣層，下採樣層採用池化操作，即設置一個小尺寸的池化窗口，按照預設好的滑動步長進行窗口滑動，對窗口內的特徵圖子區域取最大值，同時記錄下該最大值所處的位置坐標，稱之為位置索引。通常池化窗口(大小為s×s)不重疊，對特徵圖取最大值之後，特徵圖的解析度縮小為原來的1/s。從而逐步提取出圖像的高級特徵，特徵圖的尺寸逐步縮小，在每一層處理後得到特徵圖，前一層輸出的特徵圖作為下一層的輸入。

(3)、卷積操作根據不同大小的卷積核和滑動步長可以實現對特徵圖尺寸的放大與縮小。卷積神經網絡中的卷積層實現對特徵圖尺寸的縮小，相應的使用反卷積層擴展特徵圖尺寸。下採樣層進行池化操作，上採樣層與其相比則進行反池化操作，將反池化窗口對應的每個子區域的最大值放回到原位置索引處，其餘位置均置零，即擴展了特徵圖尺寸，將尺寸縮小了的特徵圖擴大。將(2)中卷積神經網絡輸出的特徵圖輸入到反卷積神經網絡中。反卷積神經網絡採用卷積神經網絡的鏡像結構，由反卷積層和上採樣層組成，目的在於擴展特徵圖尺寸重建輸入目標的形狀。特徵圖首先輸入到反卷積層進行反卷積操作，利用卷積過程中卷積核的轉置(水平和豎直方向上的數值旋轉180度)版本來計算卷積前的每一塊特徵圖子區域，relu函數是用於保證每層輸出的激活值都是正數，因此對於反向過程，本發明同樣需要保證每層的特徵圖為正值，也就是說這個反激活過程和激活過程沒有什麼差別，都是直接採用relu函數。反卷積結果通過relu激活函數計算得到相應尺寸擴大的特徵圖，並作為下一層的輸入。接著將特徵圖輸入到上採樣層進行反池化操作，此時的反池化層除了接收來自反卷積層的輸出特徵圖之外，同時接收來自卷積神經網絡中鏡像位置的下採樣層記錄下的位置索引。每一個位置索引對應著一個特徵圖子區域，此時將來自反卷積層的輸出特徵圖中每個子區域的最大值放回到相應的位置索引處，其餘位置均置零，即完成上採樣操作，得到尺寸逐步擴大的特徵圖。接著將特徵圖輸入到反卷積層中，進行反卷積操作，對特徵圖中置零位置處進行信息補充，再次得到尺寸擴大的特徵圖並輸入到上採樣層進行反池化操作，得到的特徵圖作為下一層的輸入。最終經過卷積神經網絡輸出與原始圖像尺寸相同的特徵圖。最後在反卷積神經網絡後面連接sofmax分類器和dice相似性損失函數層得到前列腺圖像的分割概率預測圖(見附圖2(c))，對此分割概率預測圖進行二值化處理，得到最終的分割結果，把分割的結果和正常影像學形態(見附圖2(b))進行對比(見附圖3)，給出輔助診斷信息，應用到醫學的前列腺癌的診斷中。

本發明中，深度學習作為機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網絡，深度學習的實質是通過構建具有很多隱層的神經網絡模型和海量的訓練數據，組合低層特徵形成更加抽象的高層表示屬性類別或特徵，從而最終提升分類或預測的準確性。

典型的深度卷積網絡通常包含一個輸入層，若干個卷積層和下採樣層，最後訓練一個分類器，由分類器輸出相應的類別概率預測。卷積層用來學習圖像的特徵，利用局部連接和權值共享的特性，減少網絡所需要學習的參數數量，降低計算複雜度。隨著網絡的不斷加深，卷積層逐層提取更加抽象的高層次圖像特徵。

本發明中，反卷積網絡採用卷積網絡的鏡像結構，目的在於重建目標圖像的尺寸。一般的深度卷積網絡會逐層減小特徵層的維度大小，導致最終的輸出預測圖尺寸與輸入圖像尺寸不匹配。為了解決這一難題，本發明基於深度卷積神經網絡的特性，將其應用到醫學圖像分割中，在卷積神經網絡階段逐層提取圖像抽象的高級特徵，這些高級特徵包含更多的目標細節信息，同時得到維度不斷減小的特徵圖。在反卷積神經網絡階段，逐層擴展特徵圖尺寸，使輸出預測圖與目標圖像尺寸相匹配，最後將圖片數據輸入到softmax等分類器，通過後向反饋微調整個網絡的參數，達到分割目的。softmax是一個廣義線性模型，通常用來進行模式識別、分類、以及回歸分析，其主要解決多分類問題。在softmax分類器後添加dice相似性損失函數，解決訓練圖像中，前列腺和背景區域比例區別過大的問題，提高分割的精度。

具體實施例：

在圖1中，該深度學習算法的惡性腫瘤計算機輔助早期診斷技術主要分為訓練和測試兩個階段。其步驟包括：

(1)、選取50個病人的600張前列腺mri圖像，並將其擴充至8000張作為訓練數據集，其中包括每個病人前列腺組織的手動分割真實圖像，並且病人磁共振組織的邊緣各有差異。

(2)、將訓練集圖像輸入卷積神經網絡進行訓練，卷積層提取富含目標細節信息的圖像高級特徵。

(3)、在下採樣層中，將前一層特徵圖中相鄰若干個特徵合併，減小特徵的解析度。

(4)、通過反卷積網絡實現重建輸入目標尺寸，最終通過一個softmax層生成一個與原始輸入解析度大小相同的分類概率圖，通過計算分類概率圖與真實標籤的誤差，優化損失函數，獲得最終的卷積網絡模型權重，從而得到訓練好的網絡模型。

(5)、將測試圖像輸入訓練好的網絡模型，得到前列腺的分割概率預測圖，通過二值化分割預測圖，獲得最後的前列腺分割結果，應用到醫學的前列腺癌的診斷中。