醫學圖像分割方法、醫學模型訓練方法、裝置和存儲介質與流程

2024-04-13 17:06:05

1.本技術涉及圖像處理技術領域，特別是涉及一種醫學圖像分割方法、醫學模型訓練方法、裝置、計算機設備、存儲介質和電腦程式產品。


背景技術：

2.目前基於深度學習的前列腺器官區域分割方法，大多都是單一的利用3d卷積將核磁圖像的序列作為三維數據輸入，通過3d卷積堆疊成端到端的卷積神經網絡模型，在核磁圖像的橫斷面上勾勒前列腺區域，或是通過增加輸入特徵項數提高整體序列上的勾勒精度。
3.然而，由於核磁圖像t2w序列的每個切片顯示的前列腺是多變的，3d卷積可以捕獲切片之間的聯繫，但並未增加對切片信息的捕獲能力，單一地使用3d卷積會使模型對某個切片信息的不完整捕獲造成整體的分割精度偏低，而增加輸入特徵項的方式需要消耗大量的計算資源、圖像數據。


技術實現要素：

4.基於此，有必要針對上述技術問題，提供一種能夠減少資源消耗的同時提高圖像分割準確性的醫學圖像分割方法、醫學模型訓練方法、裝置、計算機設備、計算機可讀存儲介質和電腦程式產品。
5.第一方面，本技術提供一種醫學圖像分割方法，所述方法包括：
6.獲取待分割醫學圖像；
7.對所述待分割醫學圖像進行特徵提取得到目標二維特徵；
8.對所述待分割醫學圖像進行特徵提取得到初始三維特徵；
9.將所述目標二維特徵和所述初始三維特徵進行拼接；
10.對拼接後的特徵進行特徵提取得到目標三維特徵，並基於所述目標三維特徵得到醫學圖像的分割結果。
11.在其中一個實施例中，所述對所述待分割醫學圖像進行特徵提取得到目標二維特徵，包括：
12.分別對當前輸入特徵提取不同感受野大小的當前二維特徵，其中第一個輸入的所述當前輸入特徵是基於所述待分割醫學圖像生成的；
13.將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵，並將所述下一輸入特徵作為當前輸入特徵，並繼續分別對當前輸入特徵提取不同感受野大小的當前二維特徵，將最後輸出的下一輸入特徵作為目標二維特徵。
14.在其中一個實施例中，所述醫學圖像的分割結果是通過預先訓練得到的醫學模型進行預測得到的，所述醫學模型包括二維卷積特徵提取模塊、第一三維卷積特徵提取模塊、拼接模塊以及第二三維卷積特徵提取模塊；
15.所述對所述待分割醫學圖像進行特徵提取得到目標二維特徵，包括：
16.通過所述二維卷積特徵提取模塊對所述待分割醫學圖像進行特徵提取得到目標二維特徵；
17.所述對所述待分割醫學圖像進行特徵提取得到初始三維特徵，包括：
18.通過所述第一三維卷積特徵提取模塊對所述待分割醫學圖像進行特徵提取得到初始三維特徵；
19.所述將所述目標二維特徵和所述初始三維特徵進行拼接，包括：
20.通過所述拼接模塊將所述目標二維特徵和所述初始三維特徵進行拼接；
21.所述對拼接後的特徵進行特徵提取得到目標三維特徵，並基於所述目標三維特徵得到醫學圖像的分割結果，包括：
22.通過第二三維卷積特徵提取模塊對拼接後的特徵進行特徵提取得到目標三維特徵，並基於所述目標三維特徵得到醫學圖像的分割結果。
23.在其中一個實施例中，所述二維卷積特徵提取模塊包括多分支卷積特徵提取單元以及拼接單元；
24.所述分別對當前輸入特徵提取不同感受野大小的當前二維特徵，包括：
25.通過所述多分支卷積特徵提取單元分別對當前輸入特徵提取不同感受野大小的當前二維特徵；
26.所述將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵，包括：
27.通過所述拼接單元將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵。
28.在其中一個實施例中，所述將所述目標二維特徵和所述初始三維特徵進行拼接，包括：
29.按照所述待分割醫學圖像中的切片索引順序，將各所述目標二維特徵進行排序得到融合三維特徵；
30.將所述融合三維特徵和所述初始三維特徵進行拼接。
31.在其中一個實施例中，所述獲取待分割醫學圖像之後，還包括：
32.對所述待分割醫學圖像進行格式轉換得到三維醫學圖像和按照順序排列的二維切片圖像；
33.所述對所述待分割醫學圖像進行特徵提取得到目標二維特徵，包括：
34.對各所述二維切片圖像分別進行特徵提取得到目標二維特徵；
35.所述對所述待分割醫學圖像進行特徵提取得到初始三維特徵，包括：
36.對所述三維醫學圖像進行特徵提取得到初始三維特徵。
37.第二方面，本技術還提供一種醫學模型訓練方法，所述醫學模型訓練方法包括：
38.獲取醫學樣本數據，所述醫學樣本數據包括樣本醫學圖像以及對應的目標標籤；
39.提取所述樣本醫學圖像的樣本二維卷積特徵；
40.提取模塊提取所述樣本醫學圖像的第一樣本三維卷積特徵；
41.將所述樣本二維卷積特徵和所述第一樣本三維卷積特徵進行拼接得到第二樣本三維卷積特徵；
42.對所述第二樣本三維卷積特徵進行特徵提取，並基於特徵提取的結果得到模型輸出結果；
43.基於所述樣本二維卷積特徵以及所述目標標籤生成第一損失函數值，基於所述第一樣本三維卷積特徵以及所述目標標籤生成第二損失函數值，基於所述模型輸出結果以及所述目標標籤生成第三損失函數值；
44.根據所述第一損失函數值、所述第二損失函數值以及所述第三損失函數值對醫學模型進行優化，得到訓練完成的醫學模型。
45.在其中一個實施例中，所述基於所述樣本二維卷積特徵以及所述目標標籤生成第一損失函數值，包括：
46.通過第一損失函數基於所述樣本二維卷積特徵以及所述目標標籤，生成第一損失函數值；
47.所述基於所述第一樣本三維卷積特徵以及所述目標標籤生成第二損失函數值，基於所述模型輸出結果以及所述目標標籤生成第三損失函數值，包括：
48.通過第二損失函數，基於所述第一樣本三維卷積特徵以及所述目標標籤，生成第二損失函數值；通過第二損失函數，基於所述模型輸出結果以及所述目標標籤，生成第三損失函數值。
49.在其中一個實施例中，所述根據所述第一損失函數值、所述第二損失函數值以及所述第三損失函數值對醫學模型進行優化，得到訓練完成的醫學模型，包括：
50.基於所述第一損失函數值對所述醫學模型的二維卷積特徵提取模塊進行優化，基於所述第二損失函數值對所述醫學模型的第一三維卷積特徵提取模塊進行優化，基於所述第三損失函數值對所述醫學模型的第二三維卷積特徵提取模塊進行優化，得到訓練完成的醫學模型。
51.在其中一個實施例中，所述通過醫學模型的二維卷積特徵提取模塊提取所述樣本醫學圖像的樣本二維卷積特徵，包括：
52.分別對當前樣本輸入特徵提取不同感受野大小的當前樣本二維特徵，其中第一個輸入的所述當前樣本輸入特徵是基於所述樣本醫學圖像生成的；
53.將各不同感受野大小的當前樣本二維特徵進行拼接得到下一樣本輸入特徵，並將所述下一樣本輸入特徵作為當前樣本輸入特徵，並繼續分別對當前樣本輸入特徵提取不同感受野大小的當前樣本二維特徵，將最後輸出的下一樣本輸入特徵作為樣本二維卷積特徵。
54.第三方面，本技術還提供一種醫學圖像分割裝置，所述裝置包括：
55.待分割醫學圖像獲取模塊，用於獲取待分割醫學圖像；
56.目標二維特徵提取模塊，用於對所述待分割醫學圖像進行特徵提取得到目標二維特徵；
57.初始三維特徵提取模塊，用於對所述待分割醫學圖像進行特徵提取得到初始三維特徵；
58.第一拼接模塊，用於將所述目標二維特徵和所述初始三維特徵進行拼接；
59.分割模塊，用於對拼接後的特徵進行特徵提取得到目標三維特徵，並基於所述目標三維特徵得到醫學圖像的分割結果。
60.第四方面，本技術還提供一種醫學模型訓練裝置，所述醫學模型訓練裝置包括：
61.醫學樣本數據獲取模塊，用於獲取醫學樣本數據，所述醫學樣本數據包括樣本醫
學圖像以及對應的目標標籤；
62.樣本二維卷積特徵提取模塊，用於提取所述樣本醫學圖像的樣本二維卷積特徵；
63.樣本三維卷積特徵提取模塊，用於提取所述樣本醫學圖像的第一樣本三維卷積特徵；
64.第二拼接模塊，用於將所述樣本二維卷積特徵和所述第一樣本三維卷積特徵進行拼接得到第二樣本三維卷積特徵；
65.模型處理模塊，用於對所述第二樣本三維卷積特徵進行特徵提取，並基於特徵提取的結果得到模型輸出結果；
66.網絡參數更新模塊，用於基於所述樣本二維卷積特徵以及所述目標標籤生成第一損失函數值，基於所述第一樣本三維卷積特徵以及所述目標標籤生成第二損失函數值，基於所述模型輸出結果以及所述目標標籤生成第三損失函數值；根據所述第一損失函數值、所述第二損失函數值以及所述第三損失函數值對醫學模型進行優化，得到訓練完成的醫學模型。
67.第五方面，本技術還提供一種計算機設備，包括存儲器和處理器，所述存儲器存儲有電腦程式，所述處理器執行所述電腦程式時實現上述任意一個實施例中所述的方法的步驟。
68.第六方面，本技術還提供一種計算機可讀存儲介質，其上存儲有電腦程式，所述電腦程式被處理器執行時實現上述任意一個實施例中所述的方法的步驟。
69.第七方面，本技術還提供一種電腦程式產品，包括電腦程式，該電腦程式被處理器執行時實現上述任意一個實施例中所述的方法的步驟。
70.上述醫學圖像分割方法、醫學模型訓練方法、裝置、計算機設備、存儲介質和電腦程式產品，分別對待分割醫學圖像進行特徵提取得到目標二維特徵和初始三維特徵，這樣將所述目標二維特徵和所述初始三維特徵進行拼接後進行圖像分割，可以通過目標二維特徵增加初始三維特徵中單個切片的特徵，從而提高整體的分割精度，且不需要輸入特徵，從而在保證了準確性的前提下，減少了資源消耗。
附圖說明
71.圖1為一個實施例中醫學圖像分割方法的應用環境圖；
72.圖2為一個實施例中醫學圖像分割方法的流程示意圖；
73.圖3為一個實施例中二維卷積處理的原理圖；
74.圖4為一個實施例中目標二維特徵的示意圖；
75.圖5為一個實施例中三維卷積處理的原理圖；
76.圖6為一個實施例中的拼接融合處理的示意圖；
77.圖7為一個實施例中的輪廓線坐標計算步驟對應的結果示意圖；
78.圖8為一個實施例中的輪廓線的示意圖；
79.圖9為一個實施例中的空洞卷積的示意圖；
80.圖10為一個實施例中的二維卷積特徵提取模塊的結構示意圖；
81.圖11為一個實施例中的卷積塊的結構示意圖；
82.圖12為一個實施例中的醫學模型的結構示意圖；
83.圖13為一個實施例中的三維卷積特徵提取模塊的結構示意圖；
84.圖14為一個實施例中的待分割醫學圖像的格式處理步驟的示意圖；
85.圖15為一個實施例中前列腺核磁圖像分割流程的示意圖；
86.圖16為一個實施例中醫學模型訓練方法的流程示意圖；
87.圖17為一個實施例中的第一損失函數的計算示意圖；
88.圖18為一個實施例中的第二損失函數的計算示意圖；
89.圖19為一個實施例中的訓練過程的示意圖；
90.圖20為一個實施例中醫學圖像分割裝置的結構框圖；
91.圖21為一個實施例中醫學模型訓練裝置的結構框圖；
92.圖22為一個實施例中計算機設備的內部結構圖。
具體實施方式
93.為了使本技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本技術進行進一步詳細說明。應當理解，此處描述的具體實施例僅僅用以解釋本技術，並不用於限定本技術。
94.本技術實施例提供的醫學圖像分割方法以及醫學模型訓練方法，可以應用於如圖1所示的應用環境中。其中，終端102通過網絡與醫學成像設備104進行通信。終端102可以接收到醫學成像設備104所掃描得到的待分割醫學圖像；對待分割醫學圖像進行特徵提取得到目標二維特徵；對待分割醫學圖像進行特徵提取得到初始三維特徵；將目標二維特徵和初始三維特徵進行拼接；對拼接後的特徵進行特徵提取得到目標三維特徵，並基於目標三維特徵得到醫學圖像的分割結果。這樣將目標二維特徵和初始三維特徵進行拼接後進行圖像分割，可以通目標二維特徵增加初始三維特徵中單個切片的特徵，從而提高整體的分割精度，且不需要輸入特徵，從而在保證了準確性的前提下，減少了資源消耗。
95.其中，終端102可以但不限於是各種個人計算機、筆記本電腦、智慧型手機、平板電腦和可攜式可穿戴設備，醫療成像設備104包括但不限於各種成像設備，例如ct成像設備(ct：computed tomography，它是利用精確準直的x線束與靈敏度極高的探測器一同圍繞人體的某一個部位做一個接一個的斷面掃描，並且通過ct掃描可以重建出腫瘤等的精確三維位置圖像)、磁共振設備(其是斷層成像的一種，它利用磁共振現象從人體中獲得電磁信號，並重建出人體信息圖像)、正電子發射型計算機斷層顯像(positron emission computed tomography)設備、正電子發射型磁共振成像系統(pet/mr)等。待分割醫學圖像則可以為醫學成像設備104所採集的圖像序列，例如核磁圖像t2w序列。
96.在一個實施例中，如圖2所示，提供了一種醫學圖像分割方法，以該方法應用於圖1中的終端為例進行說明，包括以下步驟：
97.s202：獲取待分割醫學圖像。
98.具體地，待分割醫學圖像是需要進行目標分割的圖像，其可以是醫學成像設備所採集的圖像序列，例如核磁圖像t2w序列。例如需要對前列腺識別時，通過醫學成像設備採集前列腺醫學圖像，在其他的實施例中，該待分割醫學圖像可以為其他的組織或器官對應的醫學圖像，從而可以通過下文中的處理從待分割醫學圖像中分割出對應的醫學目標，也即組織或器官等，這樣後續可以根據分割結果進行手術規劃，以提高手術的效率。
99.s204：對待分割醫學圖像進行特徵提取得到目標二維特徵。
100.具體地，目標二維特徵是針對待分割醫學圖像中的每一個切片圖像提取得到的，例如將每個切片圖像看做二維圖像，然後對二維圖像進行二維卷積處理，以進行二維特徵提取。其中終端對待分割醫學圖像中的每一切片圖像分別進行特徵提取得到，每一切片圖像對應的目標二維特徵。
101.具體地，結合圖3所示，圖3為一個實施例中二維卷積處理的原理圖，在該實施例中，將每一切片圖像看作二維圖像，然後利用卷積核大小為3*3，對二維圖像進行卷積運算，提取特徵。
102.此外，結合圖4所示，圖4為一個實施例中目標二維特徵的示意圖，在該實施例中，選取了病人的第11的切片圖像。其中image為圖像，label為標註的是標籤圖，output為輸出的預測圖，也即目標二維特徵。
103.s206：對待分割醫學圖像進行特徵提取得到初始三維特徵。
104.具體地，初始三維特徵是對待分割醫學圖像的所有切片提取的，也即待分割醫學圖像是三維圖像，例如將核磁圖像t2w序列看做三維圖像，然後對該三維圖像進行三維卷積處理得到初始三維特徵。
105.具體地，結合圖5所示，圖5為一個實施例中三維卷積處理的原理圖，在該實施例中，對待分割醫學圖像利用卷積核大小為3*3的三維卷積對三維圖像進行卷積運算，提取三維特徵。
106.s208：將目標二維特徵和初始三維特徵進行拼接。
107.具體地，拼接是指將目標二維特徵和初始三維特徵相互拼接，為此，先將目標二維特徵轉換為融合三維特徵，然後將融合三維特徵與初始三維特徵進行拼接，例如將兩者連接在一起。以前列腺核磁圖像數據為例，這樣在較少的前列腺核磁圖像數據和低計算資源下，通過拼接目標二維特徵和初始三維特徵輸出的前列腺區域特徵，在切片的相同位置上增加目標二維特徵，提高模型對前列腺的分割準確率。
108.具體地，結合圖6所示，圖6為一個實施例中的拼接融合處理的示意圖，在該實施例中，首先將目標二維特徵轉換為融合三維特徵，然後再將融合三維特徵與初始三維特徵進行拼接。其中融合三維特徵是根據每個切片圖像的索引順序進行排序堆疊得到的，即將每個切片圖像對應的目標二維特徵按照切片圖像的索引順序進行排序，從而增加一個維度，得到融合三維特徵，也就是說若切片圖像的數量為n，則存在n個目標二維特徵，將這n個目標二維特徵進行堆疊轉換就得到了與初始三維特徵一致的特徵維度，將兩者拼接，得到拼接特徵的數量為2n。
109.s210：對拼接後的特徵進行特徵提取得到目標三維特徵，並基於目標三維特徵得到醫學圖像的分割結果。
110.目標三維特徵是對拼接後的特徵進行三維卷積處理得到的結果，其中該三維卷積處理可以與初始三維特徵的三維卷積處理的方式相同，或不相同。
111.最後基於提取的目標三維特徵得到醫學圖像的分割結果，具體地，可以基於目標三維特徵進行分類，以的得到醫學圖像的分割結果，例如通過分類網絡進行處理，該分類網絡可以包括卷積層和sigmoid層，其中的卷積層是1*1的卷積，將卷積通道數將為1，sigmoid則是將輸出的概率歸一化。
112.具體地，結合圖7所示，圖7為一個實施例中的輪廓線坐標計算步驟對應的結果示意圖，在該實施例中，得到的醫學圖像的分割結果即為圖7中的白色區域，也即前列腺器官，將其看做二值圖像，利用閾值分割算法找尋圖像外邊界坐標點，保存前列腺外圍輪廓的坐標點。
113.結合圖8所示，圖8為一個實施例中的輪廓線的示意圖，在該實施例中，對於醫學模型輸出的二值圖，先找出外圍輪廓點坐標，再將輪廓點坐標寫入核磁圖像上，顯示帶有輪廓線的圖像。
114.上述醫學圖像分割方法，分別對待分割醫學圖像進行特徵提取得到目標二維特徵和初始三維特徵，這樣將所述目標二維特徵和所述初始三維特徵進行拼接後進行圖像分割，可以通過目標二維特徵增加初始三維特徵中單個切片的特徵，從而提高整體的分割精度，且不需要輸入特徵，從而在保證了準確性的前提下，減少了資源消耗。此外，精準識別前列腺區域是判別前列腺癌變區域的基礎，為自動治療前列腺癌打下基礎，進一步的推進深度學習在醫療行業的應用。
115.在其中一個實施例中，對待分割醫學圖像進行特徵提取得到目標二維特徵，包括：分別對當前輸入特徵提取不同感受野大小的當前二維特徵，其中第一個輸入的當前輸入特徵是基於待分割醫學圖像生成的；將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵，並將下一輸入特徵作為當前輸入特徵，並繼續分別對當前輸入特徵提取不同感受野大小的當前二維特徵，將最後輸出的下一輸入特徵作為目標二維特徵。
116.感受野是指的是神經網絡中神經元「看到的」輸入區域，在卷積神經網絡中，特徵圖上某個元素的計算受輸入圖像上某個區域的影響，這個區域即該元素的感受野。其中，本實施例中通過空洞卷積的方式提取不同感受野大小的當前二維特徵。具體地，結合圖9所示，圖9為一個實施例中的空洞卷積的示意圖，其中結合圖3所示，普通的卷積，卷積核大小為3
×
3，在特徵圖上的視野範圍也只是3
×
3的大小區域，而3
×
3大小膨脹係數為1的空洞卷積在特徵圖上對特徵的捕獲範圍就相當於5
×
5，等於在不增加計算量的情形下，可以獲得更大範圍的特徵抓取。
117.具體地，結合圖10和圖11所示，圖10為一個實施例中的二維卷積特徵提取模塊的結構示意圖，圖11為一個實施例中的卷積塊的結構示意圖；二維卷積特徵提取模塊包括多分支卷積特徵提取單元以及拼接單元。
118.在其中一個可選的實施例中，分別對當前輸入特徵提取不同感受野大小的當前二維特徵，包括：通過多分支卷積特徵提取單元分別對當前輸入特徵提取不同感受野大小的當前二維特徵；將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵，包括：通過拼接單元將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵。
119.結合圖11，利用分支形式的結合不同感受野大小獲取的特徵，可以獲取對同一輸入的不同輸出，在將輸出拼接後，就可以增加同一位置的不同表徵，同時採取不改變圖像尺寸的形式進行學習，可以不丟失某些像素點信息。其中圖11中示出兩個分支，在其他的實施例中還可以是其他數量的分支，在此不做具體限定，如圖10中包括3*3普通卷積分支，以及膨脹係數為1的空洞卷積分支，每個分支後還包括一1*1的普通卷積，用於降低特徵圖數量，最後通過拼接單元將特徵圖進行拼接得到本卷積塊的輸出，也即下一輸入特徵。
120.其中先基於待分割醫學圖像生成第一個當前輸入特徵，並將第一個當前輸入特徵
輸入至第一個卷積塊中，通過第一個卷積塊來進行特徵提取得到下一輸入特徵，並將下一輸入特徵作為當前輸入特徵，並繼續輸入下一卷積塊中，直至得到最後一個卷積塊輸出的下一輸入特徵，將最後輸出的下一輸入特徵作為目標二維特徵，然後在輸出層中用激活函數將預測的特徵值轉為概率矩陣，保留大於0.6閾值，得到組織器官為1，其餘部分為0的二值圖，也即二維卷積的結果。
121.本實施例中，通過設計增強對特徵信息捕獲能力的卷積塊進一步增加二維卷積對組織器官的分割，獲取更優的結果，其對每個序列的切片按索引逐漸轉為輸入特徵輸入到輸入層，對二維卷積的特徵圖數量進行變換，再通過多個設計的卷積塊，對組織器官的特徵進行提取，在輸出層中用激活函數將預測的特徵值轉為概率矩陣，保留大於0.6閾值，得到組織器官為1，其餘部分為0的二值圖。
122.上述實施例中，設計不同感受野特徵提取的卷積塊，可以在不增加數據量的情形下，通過增強同一位置的不同範圍特徵，豐富器官組織的空間信息，進而提升二維卷積結構對切片層的特徵提取能力，能更優地獲取二維分割結果。
123.在其中一個實施例中，醫學圖像的分割結果是通過預先訓練得到的醫學模型進行預測得到的，醫學模型包括二維卷積特徵提取模塊、第一三維卷積特徵提取模塊、拼接模塊以及第二三維卷積特徵提取模塊；對待分割醫學圖像進行特徵提取得到目標二維特徵，包括：通過二維卷積特徵提取模塊對待分割醫學圖像進行特徵提取得到目標二維特徵；對待分割醫學圖像進行特徵提取得到初始三維特徵，包括：通過第一三維卷積特徵提取模塊對待分割醫學圖像進行特徵提取得到初始三維特徵；將目標二維特徵和初始三維特徵進行拼接，包括：通過拼接模塊將目標二維特徵和初始三維特徵進行拼接；對拼接後的特徵進行特徵提取得到目標三維特徵，並基於目標三維特徵得到醫學圖像的分割結果，包括：通過第二三維卷積特徵提取模塊對拼接後的特徵進行特徵提取得到目標三維特徵，並基於目標三維特徵得到醫學圖像的分割結果。
124.結合圖12所示，圖12為一個實施例中的醫學模型的結構示意圖，在該實施例中，醫學模型包括二維卷積特徵提取模塊、第一三維卷積特徵提取模塊、拼接模塊以及第二三維卷積特徵提取模塊。
125.其中二維卷積特徵提取模塊用於對待分割醫學圖像進行特徵提取得到目標二維特徵，具體地，二維卷積特徵提取模塊讀取待分割醫學圖像的整個序列，然後轉換為第一個當前輸入特徵，具體地，按照序列的索引，對每個切片圖像進行依次轉換得到各個切片圖像對應的第一個當前輸入特徵，按照切片圖像的索引依次處理，為了方便，僅以第一張切片圖像為例進行說明，通過各個卷積塊對第一張切片圖像進行處理得到目標二維特徵，具體地，該目標二維特徵可以為二值圖，即在輸出層中用激活函數將預測的特徵值轉為概率矩陣，保留大於0.6閾值，得到組織器官為1，其餘部分為0的二值圖，同樣地，對於其他的切片圖像也是得到對應的二值圖。
126.第一三維卷積特徵提取模塊和第二三維卷積特徵提取模塊均是用於提取三維特徵的，其中第一三維卷積特徵提取模塊用於對待分割醫學圖像進行處理提取初始三維特徵，第二三維卷積特徵提取模塊用於對拼接後的特徵進行處理，以進一步提取目標三維特徵。具體地，結合圖13所示，圖13為一個實施例中的三維卷積特徵提取模塊的結構示意圖，其中第一三維卷積特徵提取模塊以及第二三維卷積特徵提取模塊的結構都可以採用圖13
所示的結構，在其他的實施例中，第一三維卷積特徵提取模塊以及第二三維卷積特徵提取模塊的結構也可以採用其他的結構，且兩個模塊的結構可以相同或不相同，在此不做具體限定。
127.如圖13中所示，三維卷積特徵提取模塊採用基本的3d unet結構對待分割醫學圖像和拼接後的特徵進行特徵提取。其中對輸入特徵進行通道數量變換的輸入層、卷積層、上採樣層、下採樣層、和最後的輸出層。下採樣是縮小圖像尺寸(同時每次下採樣後都會增加通道數量)，上採樣與下採樣相反，上下採樣變換尺度可以增加通道數量實現對特徵的清晰表徵，也利用淺層特徵信息。特徵圖拼接是將第一層的輸出與倒數第二層上採樣後進行拼接，實現特徵重複利用。
128.拼接模塊可以參見圖6所示，在其中一個實施例中，將所述目標二維特徵和初始三維特徵進行拼接，包括：按照待分割醫學圖像中的切片索引順序，將各目標二維特徵進行排序得到融合三維特徵；將融合三維特徵和初始三維特徵進行拼接。
129.具體地，按照待分割醫學圖像中的切片索引順序，將各目標二維特徵進行堆疊，以得到三維形式的融合特徵，例如切片數量為n，則存在n個目標二維特徵，並將這n個目標二維特徵進行堆疊即可以得到與初始三維特徵結果一致的特徵維度，從而將兩者拼接，得到拼接特徵的數量為2n。
130.最後將拼接後的拼接特徵輸入至第二三維卷積特徵提取模塊，進行三維卷積特徵提取後，得到待分割醫學圖像的分割結果。
131.這樣通過二維卷積補償三維卷積輸出方法，增加每個片層的圖像信息，不需要大量的病人圖像數據即可達到對前列腺的精準分割，通過分割區域能準確的重建三維結構，減少醫生手動判別前列腺時間，提高工作效率，且利用二維卷積輸出拼接三維卷積輸出的方式，可以降低二維卷積輸出因直接拼接原始圖像數據造成對二維提取特徵的弱化，影響二維卷積輸出特徵的利用。
132.在其中一個實施例中，獲取待分割醫學圖像之後，還包括：對待分割醫學圖像進行格式轉換得到三維醫學圖像和按照順序排列的二維切片圖像；對待分割醫學圖像進行特徵提取得到目標二維特徵，包括：對各二維切片圖像分別進行特徵提取得到目標二維特徵；對待分割醫學圖像進行特徵提取得到初始三維特徵，包括：對三維醫學圖像進行特徵提取得到初始三維特徵。
133.結合圖14所示，圖14為一個實施例中的待分割醫學圖像的格式處理步驟的示意圖，在該實施例中獲取到的待分割醫學圖像的格式為dicom(digital imaging and communications in medicine，醫學數字成像通信)，是為二維的一個個切片圖像。
134.對待分割醫學圖像進行格式轉換得到三維醫學圖像，可以是將dicom格式轉換為nifti格式，nifti格式是將這一個個切片圖像轉為三維圖像數據儲存。也就是說，將dicom圖像轉為nifti格式用於3d卷積提取前列腺特徵，直接按切片圖像順序逐個讀取dicom圖像用於二維卷積提取特徵。
135.具體地，結合圖15所示，圖15為一個實施例中前列腺核磁圖像分割流程的示意圖，在該實施例中，獲取到原始圖像數據，並將原始圖像處理為二維圖像和三維圖像，將二維圖像輸入至二維卷積特徵提取模塊得到目標二維特徵，將三維圖像輸入至第一三維卷積特徵提取模塊得到初始三維特徵，然後將目標二維特徵和初始三維特徵進行拼接，將拼接後的
特徵繼續輸入至第二三維卷積特徵提取模塊得到目標三維特徵。其中目標二維特徵是對每個切片層的分割結果，首先需要將目標二維特徵按索引進行堆疊，再轉為融合三維特徵；再將這兩個分割結果進行拼接融合，作為後續三維卷積的輸入特徵，用於進一步提取融合特徵裡面的前列腺信息，輸出前列腺的三維分割結果。
136.上述實施例中，通過二維卷積補償三維卷積輸出方法，增加每個片層的圖像信息，不需要大量的病人圖像數據即可達到對前列腺的精準分割，通過分割區域能準確的重建三維結構，減少醫生手動判別前列腺時間，提高工作效率。
137.在一個實施例中，如圖16所示，提供了一種醫學模型訓練方法，以該方法應用於圖1中的終端為例進行說明，包括以下步驟：
138.s1602：獲取醫學樣本數據，醫學樣本數據包括樣本醫學圖像以及對應的目標標籤。
139.s1604：提取樣本醫學圖像的樣本二維卷積特徵。
140.s1606：提取模塊提取樣本醫學圖像的第一樣本三維卷積特徵。
141.s1608：將樣本二維卷積特徵和第一樣本三維卷積特徵進行拼接得到第二樣本三維卷積特徵。
142.s1610：對第二樣本三維卷積特徵進行特徵提取，並基於特徵提取的結果得到模型輸出結果。
143.在其中一個可選的實施例中，通過醫學模型的二維卷積特徵提取模塊提取樣本醫學圖像的樣本二維卷積特徵，包括：分別對當前樣本輸入特徵提取不同感受野大小的當前樣本二維特徵，其中第一個輸入的當前樣本輸入特徵是基於樣本醫學圖像生成的；將各不同感受野大小的當前樣本二維特徵進行拼接得到下一樣本輸入特徵，並將下一樣本輸入特徵作為當前樣本輸入特徵，並繼續分別對當前樣本輸入特徵提取不同感受野大小的當前樣本二維特徵，將最後輸出的下一樣本輸入特徵作為樣本二維卷積特徵。
144.具體地，對於樣本醫學圖像的限定可以參見待分割醫學圖像，對於樣本二維卷積特徵的提取可以參見上文中的目標二維卷積特徵，對於第一樣本三維卷積特徵的提取可以參見上文的初始三維卷積特徵，對於第二樣本卷積特徵的提取可以參見上文中的目標三維卷積特徵，對於模型輸出結果的限定可以參見上文中的醫學圖像的分割結果的限定，在此不再限定。
145.其中目標標籤是樣本醫學圖像中目標的區域，具體地，為了方便目標標籤是每個切片圖像中的目標的區域，從而該目標標籤不僅包括二維目標的區域，還包括三維目標的區域。
146.s1612：基於樣本二維卷積特徵以及目標標籤生成第一損失函數值，基於第一樣本三維卷積特徵以及目標標籤生成第二損失函數值，基於模型輸出結果以及目標標籤生成第三損失函數值；根據第一損失函數值、第二損失函數值以及第三損失函數值對醫學模型進行優化，得到訓練完成的醫學模型。
147.在其中一個實施例中，根據所述第一損失函數值、第二損失函數值以及第三損失函數值對醫學模型進行優化，得到訓練完成的醫學模型，包括：基於所述第一損失函數值對所述醫學模型的二維卷積特徵提取模塊進行優化，基於所述第二損失函數值對所述醫學模型的第一三維卷積特徵提取模塊進行優化，基於所述第三損失函數值對所述醫學模型的第
二三維卷積特徵提取模塊進行優化，得到訓練完成的醫學模型。
148.具體地，結合圖12所示，對提取二維和三維圖像中的組織器官結果，分別用不同的損失函數計算並聯部分的二維卷積和三維卷積通道損失，實行雙損失並行回傳，同時對兩個卷積通道進行梯度更新，分別監督兩個卷積通道的學習。後續還對第二三維卷積特徵提取模塊進行損失值計算，優化第二三維卷積特徵提取模塊。
149.其中，二維卷積和三維卷積並聯，雙通道為相互獨立、同時進行，二維卷積輸出用交叉熵計算損失loss1，三維卷積輸出用dice loss計算損失loss2，loss1回傳二維通道進行梯度更新，loss2回傳三維通道進行梯度更新。後續loss3回傳至第二三維卷積特徵提取模塊進行梯度更新。
150.上述實施例中，分別用不同的損失函數計算並聯部分的二維卷積和三維卷積通道損失，實行雙損失並行回傳，同時對兩個卷積通道進行梯度更新，分別監督兩個卷積通道的學習，可以降低二維卷積和三維卷積之間存在的影響，以提高準確性。
151.在其中一個實施例中，基於樣本二維卷積特徵以及目標標籤生成第一損失函數值，包括：通過第一損失函數基於樣本二維卷積特徵以及目標標籤，生成第一損失函數值；基於第一樣本三維卷積特徵以及目標標籤生成第二損失函數值，基於模型輸出結果以及目標標籤生成第三損失函數值，包括：通過第二損失函數，基於第一樣本三維卷積特徵以及目標標籤，生成第二損失函數值；通過第二損失函數，基於模型輸出結果以及目標標籤，生成第三損失函數值。
152.具體地，結合圖17所示，圖17為一個實施例中的第一損失函數的計算示意圖，在其中一個實施例中，第一損失函數為交叉熵損失函數，其中，交叉熵計算公式為：
153.l＝-[pt*log(pr)+(1-pt)*log(1-pr)]
[0154]
其中l為第一損失函數值，pt為目標標籤，pr為目標二維特徵對應的分割結果，也就是說基於目標標籤和目標二維特徵對應的分割結果生成第一損失函數值，因此，對整個圖進行交叉熵計算公式為：
[0155]
l＝∑-[pt*log(pr)+(1-pt)*log(1-pr)]
[0156]
對整個圖計算出的交叉熵進行加和，得到損失的總值，本技術採用的是平均值，即加和後的損失值對整個圖求平均，用以該次輸出計算的損失值，在其他的實施例中可以採用其他的方式，在此不做具體限定。
[0157]
具體地，結合圖18所示，圖18為一個實施例中的第二損失函數的計算示意圖，在其中一個實施例中，第二損失函數為dice損失函數，其中，dice是獲取兩個圖片的相似度，其計算方法為：
[0158]
dice＝2*∑t*p/∑(t+p)
[0159]
diceloss＝1-dice
[0160]
其中diceloss為第二損失函數值或第三損失函數值，t為目標標籤，p為初始三維卷積特徵或目標三維卷積特徵生成的分割結果，也就是說第二損失函數值是基於目標標籤和初始三維卷積特徵生成的分割結果得到的，第三損失函數值是基於目標標籤和目標三維卷積特徵生成的分割結果得到的，分子部分只留目標區域的預測值，也即初始三維卷積特徵生成的分割結果或目標三維卷積特徵生成的分割結果，即diceloss越小，dice值越高，兩張圖片越接近。
[0161]
上述實施例中，雙卷積通道採用不同的損失函數計算損失值，對其分別更新網絡參數，可以降低兩者之間存在的影響(因為二者分割結果不同)，進一步提高獲取的目標二維特徵和初始三維特徵。分別用cross entropy loss和dice loss計算目標二維特徵和初始三維特徵與真實前列腺區域的偏差，反饋回並聯部分的不同的卷積通道，同時進行不同卷積通道的梯度更新，規範深度學習模型對核磁圖像的t2w整體序列的前列腺區域學習。
[0162]
具體地，結合圖19所示，圖19為一個實施例中的訓練過程的示意圖，在該實施例中下獲取到數據集，然後對數據進行處理變換，雙卷積通道分別進行二維和三維訓練，這樣分別將二維和三維的結果用不同的損失函數計算損失值，這樣不同的損失值在對應的卷積通道進行參數更新，此外，還將二維和三維的分割結果進行拼接融合，後續三維卷積對拼接融合特徵進一步提取特徵，輸出三維分割結果，從而多次訓練選取最優結果保存。
[0163]
上述實施例中，雙卷積通道採用不同的損失函數計算損失值，對其分別更新網絡參數，可以降低兩者之間存在的影響，進一步提高獲取的目標二維特徵和初始三維特徵。
[0164]
應該理解的是，雖然如上的各實施例所涉及的流程圖中的各個步驟按照箭頭的指示依次顯示，但是這些步驟並不是必然按照箭頭指示的順序依次執行。除非本文中有明確的說明，這些步驟的執行並沒有嚴格的順序限制，這些步驟可以以其它的順序執行。而且，如上的各實施例所涉及的流程圖中的至少一部分步驟可以包括多個步驟或者多個階段，這些步驟或者階段並不必然是在同一時刻執行完成，而是可以在不同的時刻執行，這些步驟或者階段的執行順序也不必然是依次進行，而是可以與其它步驟或者其它步驟中的步驟或者階段的至少一部分輪流或者交替地執行。
[0165]
基於同樣的發明構思，本技術實施例還提供了一種用於實現上述所涉及的醫學圖像分割方法、醫學模型訓練方法的醫學圖像分割裝置、醫學模型訓練裝置。該裝置所提供的解決問題的實現方案與上述方法中所記載的實現方案相似，故下面所提供的一個或多個醫學圖像分割裝置、醫學模型訓練裝置實施例中的具體限定可以參見上文中對於醫學圖像分割方法、醫學模型訓練方法的限定，在此不再贅述。
[0166]
在一個實施例中，如圖20所示，提供了一種醫學圖像分割裝置，包括：
[0167]
待分割醫學圖像獲取模塊，用於獲取待分割醫學圖像；
[0168]
目標二維特徵提取模塊，用於對待分割醫學圖像進行特徵提取得到目標二維特徵；
[0169]
初始三維特徵提取模塊，用於對待分割醫學圖像進行特徵提取得到初始三維特徵；
[0170]
第一拼接模塊，用於將目標二維特徵和初始三維特徵進行拼接；
[0171]
分割模塊，用於對拼接後的特徵進行特徵提取得到目標三維特徵，並基於目標三維特徵得到醫學圖像的分割結果。
[0172]
在其中一個實施例中，上述目標二維特徵提取模塊包括：
[0173]
提取單元，用於分別對當前輸入特徵提取不同感受野大小的當前二維特徵，其中第一個輸入的當前輸入特徵是基於待分割醫學圖像生成的；
[0174]
拼接單元，用於將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵，並將下一輸入特徵作為當前輸入特徵，並繼續分別對當前輸入特徵提取不同感受野大小的當前二維特徵，將最後輸出的下一輸入特徵作為目標二維特徵。
[0175]
在其中一個實施例中，醫學圖像的分割結果是通過預先訓練得到的醫學模型進行預測得到的，醫學模型包括二維卷積特徵提取模塊、第一三維卷積特徵提取模塊、拼接模塊以及第二三維卷積特徵提取模塊；
[0176]
上述目標二維特徵提取模塊還用於通過二維卷積特徵提取模塊對待分割醫學圖像進行特徵提取得到目標二維特徵；
[0177]
上述初始三維特徵提取模塊還用於通過第一三維卷積特徵提取模塊對待分割醫學圖像進行特徵提取得到初始三維特徵；
[0178]
上述第一拼接模塊還用於通過拼接模塊將目標二維特徵和初始三維特徵進行拼接；
[0179]
上述分割模塊還用於通過第二三維卷積特徵提取模塊對拼接後的特徵進行特徵提取得到目標三維特徵，並基於目標三維特徵得到醫學圖像的分割結果。
[0180]
在其中一個實施例中，二維卷積特徵提取模塊包括多分支卷積特徵提取單元以及拼接單元；
[0181]
上述提取單元還用於通過多分支卷積特徵提取單元分別對當前輸入特徵提取不同感受野大小的當前二維特徵；
[0182]
上述拼接單元還用於通過拼接單元將各不同感受野大小的當前二維特徵進行拼接得到下一輸入特徵。
[0183]
在其中一個實施例中，上述第一拼接模塊還用於按照待分割醫學圖像中的切片索引順序，將各目標二維特徵進行排序得到融合三維特徵；將融合三維特徵和初始三維特徵進行拼接。
[0184]
在其中一個實施例中，上述裝置還包括預處理模塊，預處理模塊用於對待分割醫學圖像進行格式轉換得到三維醫學圖像和按照順序排列的二維切片圖像；
[0185]
目標二維特徵提取模塊還用於對各二維切片圖像分別進行特徵提取得到目標二維特徵；
[0186]
初始三維特徵提取模塊還用於對三維醫學圖像進行特徵提取得到初始三維特徵。
[0187]
在一個實施例中，如圖21所示，提供了一種醫學模型訓練裝置，包括：
[0188]
醫學樣本數據獲取模塊，用於獲取醫學樣本數據，醫學樣本數據包括樣本醫學圖像以及對應的目標標籤；
[0189]
樣本二維卷積特徵提取模塊，用於提取樣本醫學圖像的樣本二維卷積特徵；
[0190]
樣本三維卷積特徵提取模塊，用於提取樣本醫學圖像的第一樣本三維卷積特徵；
[0191]
第二拼接模塊，用於將樣本二維卷積特徵和第一樣本三維卷積特徵進行拼接得到第二樣本三維卷積特徵；
[0192]
模型處理模塊，用於對第二樣本三維卷積特徵進行特徵提取，並基於特徵提取的結果得到模型輸出結果；
[0193]
網絡參數更新模塊，用於基於樣本二維卷積特徵以及目標標籤生成第一損失函數值，基於第一樣本三維卷積特徵以及目標標籤生成第二損失函數值，基於模型輸出結果以及目標標籤生成第三損失函數值；根據第一損失函數值、第二損失函數值以及第三損失函數值對醫學模型進行優化，得到訓練完成的醫學模型。
[0194]
在其中一個實施例中，上述訓練模塊還用於通過第一損失函數基於樣本二維卷積
特徵以及目標標籤，生成第一損失函數值；通過第二損失函數，基於第一樣本三維卷積特徵以及目標標籤，生成第二損失函數值；通過第二損失函數，基於模型輸出結果以及目標標籤，生成第三損失函數值。
[0195]
在其中一個實施例中，上述訓練模塊還用於分別對當前樣本輸入特徵提取不同感受野大小的當前樣本二維特徵，其中第一個輸入的當前樣本輸入特徵是基於樣本醫學圖像生成的；將各不同感受野大小的當前樣本二維特徵進行拼接得到下一樣本輸入特徵，並將下一樣本輸入特徵作為當前樣本輸入特徵，並繼續分別對當前樣本輸入特徵提取不同感受野大小的當前樣本二維特徵，將最後輸出的下一樣本輸入特徵作為樣本二維卷積特徵。
[0196]
上述醫學圖像分割裝置、醫學模型訓練裝置中的各個模塊可全部或部分通過軟體、硬體及其組合來實現。上述各模塊可以硬體形式內嵌於或獨立於計算機設備中的處理器中，也可以以軟體形式存儲於計算機設備中的存儲器中，以便於處理器調用執行以上各個模塊對應的操作。
[0197]
在一個實施例中，提供了一種計算機設備，該計算機設備可以是終端，其內部結構圖可以如圖22所示。該計算機設備包括處理器、存儲器、輸入/輸出接口、通信接口、顯示單元和輸入裝置。其中，處理器、存儲器和輸入/輸出接口通過系統總線連接，通信接口、顯示單元和輸入裝置通過輸入/輸出接口連接到系統總線。其中，該計算機設備的處理器用於提供計算和控制能力。該計算機設備的存儲器包括非易失性存儲介質和內存儲器。該非易失性存儲介質存儲有作業系統和電腦程式。該內存儲器為非易失性存儲介質中的作業系統和電腦程式的運行提供環境。該計算機設備的輸入/輸出接口用於處理器與外部設備之間交換信息。該計算機設備的通信接口用於與外部的終端進行有線或無線方式的通信，無線方式可通過wifi、移動蜂窩網絡、nfc(近場通信)或其他技術實現。該電腦程式被處理器執行時以實現一種醫學圖像分割方法、醫學模型訓練方法。該計算機設備的顯示單元用於形成視覺可見的畫面，可以是顯示屏、投影裝置或虛擬實境成像裝置。顯示屏可以是液晶顯示屏或者電子墨水顯示屏，該計算機設備的輸入裝置可以是顯示屏上覆蓋的觸摸層，也可以是計算機設備外殼上設置的按鍵、軌跡球或觸控板，還可以是外接的鍵盤、觸控板或滑鼠等。
[0198]
本領域技術人員可以理解，圖22中示出的結構，僅僅是與本技術方案相關的部分結構的框圖，並不構成對本技術方案所應用於其上的計算機設備的限定，具體的計算機設備可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。
[0199]
在一個實施例中，還提供了一種計算機設備，包括存儲器和處理器，存儲器中存儲有電腦程式，該處理器執行電腦程式時實現上述各方法實施例中的步驟。
[0200]
在一個實施例中，提供了一種計算機可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現上述各方法實施例中的步驟。
[0201]
在一個實施例中，提供了一種電腦程式產品，包括電腦程式，該電腦程式被處理器執行時實現上述各方法實施例中的步驟。
[0202]
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的電腦程式可存儲於一非易失性計算機可讀取存儲介質中，該電腦程式在執行時，可包括如上述各方法的實施例的流程。其中，本技術所提供的各實施例中所使用的對存儲器、資料庫或其它介質的任何引用，均可包括
非易失性和易失性存儲器中的至少一種。非易失性存儲器可包括只讀存儲器(read-only memory，rom)、磁帶、軟盤、快閃記憶體、光存儲器、高密度嵌入式非易失性存儲器、阻變存儲器(reram)、磁變存儲器(magnetoresistive random access memory，mram)、鐵電存儲器(ferroelectric random access memory，fram)、相變存儲器(phase change memory，pcm)、石墨烯存儲器等。易失性存儲器可包括隨機存取存儲器(random access memory，ram)或外部高速緩衝存儲器等。作為說明而非局限，ram可以是多種形式，比如靜態隨機存取存儲器(static random access memory，sram)或動態隨機存取存儲器(dynamic random access memory，dram)等。本技術所提供的各實施例中所涉及的資料庫可包括關係型資料庫和非關係型資料庫中至少一種。非關係型資料庫可包括基於區塊鏈的分布式資料庫等，不限於此。本技術所提供的各實施例中所涉及的處理器可為通用處理器、中央處理器、圖形處理器、數位訊號處理器、可編程邏輯器、基於量子計算的數據處理邏輯器等，不限於此。
[0203]
以上實施例的各技術特徵可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特徵所有可能的組合都進行描述，然而，只要這些技術特徵的組合不存在矛盾，都應當認為是本說明書記載的範圍。
[0204]
以上所述實施例僅表達了本技術的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對本技術專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本技術構思的前提下，還可以做出若干變形和改進，這些都屬於本技術的保護範圍。因此，本技術的保護範圍應以所附權利要求為準。