一種基於神經網絡的腦影像分割方法及裝置與流程

2023-05-16 05:15:53 1

1.本發明涉及醫學圖像處理技術領域，尤其涉及一種基於神經網絡的腦影像分割方法及裝置。


背景技術：

2.人的大腦皮層是人體內最為發達，最為精密的器官，主導機體內一切活動過程，並調節機體與周圍環境的平衡，是高級神經活動的基礎。在大腦中不同的神經中樞掌管不同的生理活動，如運動性語言中樞受損可患運動性失語症，雖然與發音有關的肌肉未癱瘓，患者卻不能說話；若聽性覺語言中樞損害可患感覺性失語症，病人能聽到別人講話，但不理解所講的內容。因此腦區的精確劃分對臨床醫生評估手術風險有重要意義。
3.目前臨床上由於腦區分割難度較大，做法較少。普遍的做法是使用經典的圖像處理，利用影像預處理、配準及形態學處理來完成，代表技術為freesurfer。但freesurfer需要冗餘的表面重建等操作流程，受顯卡顯存限制，其運行時間較長，例如，採用freesurfer在單臺計算機上分割一例腦影像通常需要若干小時。
4.對於現有技術中腦區分割效率較低的缺陷，本發明提供一種腦影像分割方法及裝置。


技術實現要素：

5.本發明提供一種腦影像分割方法及裝置，用以解決現有技術中腦影像分割效率較低的缺陷。
6.本發明提供一種基於神經網絡的腦影像分割方法，包括：
7.將第一腦影像切分為多個子塊；其中，所述第一腦影像是標準腦空間下的三維腦影像；
8.將所述第一腦影像的每一子塊輸入子塊相應的卷積神經網絡模型，得到子塊相應的腦區分割結果；
9.將所述第一腦影像的多個子塊的腦區分割結果進行融合，得到所述第一腦影像的腦區分割結果。
10.本發明還提供一種基於神經網絡的腦影像分割方法，包括：
11.對第一腦影像進行模糊處理，得到第二腦影像；其中，所述第一腦影像是標準腦空間下的三維腦影像；
12.分別將所述第一腦影像以及所述第二腦影像切分為多個子塊；
13.將所述第二腦影像的各子塊輸入相應的低解析度卷積神經網絡模型，得到所述第二腦影像的各子塊的低解析度腦區分割結果；
14.將所述第一腦影像的各子塊及其相應的低解析度腦區分割結果，輸入對應的高解析度卷積神經網絡模型，並融合得到所述第一腦影像的高解析度腦區分割結果。
15.本發明又提供一種基於神經網絡的腦影像分割方法，包括：
16.將原始腦影像進行預處理並與標準腦影像進行剛性配準，得到配準腦影像；
17.將所述配準腦影像輸入卷積神經網絡進行腦區分割，得到標準腦空間下的分割腦影像；
18.將所述標準腦空間下的分割腦影像逆配準到原始腦空間，得到原始腦影像對應的分割腦影像。
19.本發明提供一種基於神經網絡的腦影像分割裝置，包括：
20.切分模塊，用於將第一腦影像切分為多個子塊；其中，所述第一腦影像是標準腦空間下的三維腦影像；
21.分割模塊，用於將所述第一腦影像的每一子塊輸入子塊相應的卷積神經網絡模型，得到子塊相應的腦區分割結果；
22.融合模塊，用於將所述第一腦影像的多個子塊的腦區分割結果進行融合，得到所述第一腦影像的腦區分割結果。
23.本發明還提供一種基於神經網絡的腦影像分割裝置，包括：
24.模糊模塊，對第一腦影像進行模糊處理，得到第二腦影像；其中，所述第一腦影像是標準腦空間下的三維腦影像；
25.切分模塊，用於分別將所述第一腦影像以及所述第二腦影像切分為多個子塊；
26.第二分割模塊，用於將所述第二腦影像的各子塊輸入相應的低解析度卷積神經網絡模型，得到所述第二腦影像的各子塊的低解析度腦區分割結果；
27.第一分割模塊，將所述第一腦影像的各子塊及其相應的低解析度腦區分割結果，輸入對應的高解析度卷積神經網絡模型，並融合得到所述第一腦影像的高解析度腦區分割結果。
28.本發明又提供一種基於神經網絡的腦影像分割裝置，包括：
29.處理配準模塊，用於將原始腦影像進行預處理並與標準腦影像進行剛性配準，得到配準腦影像；
30.第三分割模塊，用於將所述配準腦影像輸入卷積神經網絡進行腦區分割，得到標準腦空間下的分割腦影像；
31.逆配準模塊，用於將所述標準腦空間下的分割腦影像逆配準到原始腦空間，得到原始腦影像對應的分割腦影像。
32.本發明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上並可在處理器上運行的電腦程式，所述處理器執行所述程序時實現如上述任一種所述基於神經網絡的腦影像分割方法的全部或部分步驟。
33.本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現如上述任一種所述基於神經網絡的腦影像分割方法的全部或部分步驟。
34.本發明還提供一種電腦程式產品，所述電腦程式產品包括計算機可執行指令，所述指令在被執行時用於實現如上述任一種所述基於神經網絡的腦影像分割方法的全部或部分步驟。
35.本發明提供的一種基於神經網絡的腦影像分割方法及裝置實現了以下技術效果：
36.1、提供多種架構的卷積神經網絡模型對腦影像進行自動分割，滿足用戶的差異化
需求；
37.2、在多卷積神經網絡的架構中，通過將第一腦影像分塊並將第一腦影像的每一子塊輸入子塊相應的卷積神經網絡模型進行腦區分割，使得每一卷積神經網絡可以對相應子塊進行針對性的精準分割，並且由於子塊的體積較小，所需的卷積神經網絡的層數較少，分割耗時較少；通過將第一腦影像的多個子塊的分割結果進行融合，準確地得到了第一腦影像的整體分割結果，實現了腦影像的高效、精確分割。
38.3、標準腦圖譜及訓練樣本可以靈活選擇，訓練得到的卷積神經網絡更適用於目標人群，且腦區分割精度可以靈活選擇；
39.4、在基礎訓練樣本的基礎上，通過增加覆蓋區的方式快捷地獲取了模擬病灶樣本，提高了卷積神經網絡對於異常腦影像中病灶區域的分割精度。
附圖說明
40.為了更清楚地說明本發明或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
41.圖1是本發明提供的一種基於神經網絡的腦影像分割方法的流程示意圖；
42.圖2是本發明提供的另一種基於神經網絡的腦影像分割方法的流程示意圖；
43.圖3是本發明提供的又一種基於神經網絡的腦影像分割方法的流程示意圖；
44.圖4是本發明提供的一種基於神經網絡的腦影像分割方法中卷積神經網絡模型的結構示意圖示例；
45.圖5是本發明提供的一種基於神經網絡的腦影像分割方法中腦區分割過程示意圖之一；
46.圖6是本發明提供的一種基於神經網絡的腦影像分割方法中腦區分割過程示意圖之一；
47.圖7是本發明提供的一種基於神經網絡的腦影像分割裝置的結構示意圖；
48.圖8是本發明提供的電子設備的結構示意圖。
49.圖9是使用本發明一個實施例的腦影像分割方法對一個真實腦影像進行分割的結果。
具體實施方式
50.為使本發明的目的、技術方案和優點更加清楚，下面將結合本發明中的附圖，對本發明中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
51.下面結合圖1-圖8描述本發明的一種基於神經網絡的腦影像分割方法及裝置。圖1是本發明提供的一種基於神經網絡的腦影像分割方法的流程示意圖，如圖1所示，該方法包括：
52.s11、將第一腦影像切分為多個子塊；其中，所述第一腦影像是標準腦空間下的三
維腦影像；
53.具體地，本發明對三維腦影像進行腦區分割，用於高效、準確地確定出三維腦影像中每一像素點的腦分區標籤。
54.第一腦影像是標準腦空間下的三維腦影像，即，在標準腦坐標系下，配準到標準腦影像後的三維腦影像。標準腦影像是指統計獲取的平均腦，例如，使用多張相同解析度的頭部影像(通常1*1*1mm3)進行平均，最終結果裁取平均的大腦區域得到標準腦影像(即去掉頭部影像中的脖子等區域，將大腦區域放至正中央)。標準腦影像可以是bordmann圖譜，talairach腦影像，mni305腦影像，wholebrain腦影像，voxel-man腦影像，brainweb腦影像等等。具體的標準腦影像可以靈活選擇或統計生成，例如根據腦分區精度(腦分區標籤數量)，目標人群(膚色、國別、性別、年齡段等)類型等進行選擇或統計生成。
55.將腦影像都配置於標準腦空間下，進行姿態、尺寸的統一，使得下文中的每一卷積神經網絡都只需要學習特定位置腦區的特徵，並處理特定位置的局部腦影像，提升腦圖分割效率。根據預設切分策略，將標準腦空間下的第一腦影像切分為多個子塊。預設的切分策略例如，按照預設步長沿標準腦腦空間坐標系的軸向移動立方體切塊，逐步切分出多個子塊，當然也可以是移動長方體等形狀的切塊，逐步切分出多個子塊。切分子塊的目的在於減少每個卷積神經網絡需要處理的像素數，相應減少卷積神經網絡模型層數，加快模型訓練過程中的收斂速度，在模型應用階段也可以有效減少腦區分割的耗時，降低對顯卡顯存的要求。可以理解的是，為保證得到第一腦影像的完整腦區分割結果，需要保證第一腦影像的每一像素，至少存在於一個子塊中，具體可以通過限制預設步長實現。將腦影像切分為多個子塊，用於分別輸入子塊位置相應的卷積神經網絡模型進行處理。
56.s12、將所述第一腦影像的每一子塊輸入子塊相應的卷積神經網絡模型，得到相應的腦區分割結果；
57.具體地，本發明中腦影像的每一個子塊對應特定的卷積神經網絡模型，子塊與卷積神經網絡的對應關係例如，每一子塊分別對應一個卷積神經網絡，又例如，具有某一相同坐標屬性的子塊輸入同一個卷積神經網絡模型(例如，將腦影像中某一局部範圍內各相鄰的子塊輸入同一個卷積神經網絡，又例如，通過區分子塊中像素橫坐標所在的區間，將左腦中的子塊輸入一個卷積神經網絡模型，將右腦中的子塊輸入另一個卷積神經網絡模型)。將第一腦影像的每一子塊分別輸入該子塊相應的卷積神經網絡模型中，對該子塊進行腦區分割，得到該子塊對應的腦區分割結果。本發明中的腦區是指針對腦功能劃分的區域(例如初級運動皮層、體感聯合皮層、前運動皮層、初級視皮層等)，相應地，腦區分割結果中包含該子塊中每一像素對應的腦區分類標籤，考慮到腦影像中可能包含無效區域(例如腫瘤像素、等顱骨像素、出血區像素)，無效區域並不對應實際意義上的腦區，可以將其對應的腦區分類標籤設置為與背景像素的腦區分類標籤相同，例如設置為「0」。
58.卷積神經網絡模型為預先訓練好的，具體地，可以通過如下方式獲取：首先獲取腦影像樣本及其腦區分類參考標籤，可以直接獲取現有的腦影像樣本及腦區分類參考標籤，也可以通過專家對腦影像樣本進行專門的標註，給出腦影像樣本中各區域的腦區分類參考標籤。標籤的數量可以根據分類精度靈活地設置，例如設置為125類標籤。腦影像樣本及其相應的腦區分類參考標籤同樣被切分為多個子塊樣本以及每一子塊樣本對應的子塊分割結果(參考分類標籤)，然後分別用於訓練每一子塊樣本相應的卷積神經網絡。
59.s13、將所述第一腦影像的多個子塊的分割結果進行融合，得到所述第一腦影像的融合分割結果。
60.具體地，第一腦影像的每一子塊只包含第一腦影像的部分像素，相應的，子塊的分割結果也僅包含第一腦影像中的局部分割結果，需要對各子塊的分割結果進行融合，由於各相鄰子塊可能存在重疊區域，融合過程中需要確定重疊區域的像素對應的融合標籤。
61.本實施例中第一腦影像是標準腦空間下的三維腦影像，使得第一腦影像與卷積神經網絡的訓練樣本處於統一的腦空間下，具備分塊、腦區分割的基礎；通過將第一腦影像的每一子塊輸入子塊相應的卷積神經網絡模型進行腦區分割，使得每一卷積神經網絡可以對相應子塊進行針對性的精準分割，並且由於子塊體積較小，所需的卷積神經網絡的層數較少，分割耗時較少；通過將第一腦影像的多個子塊的分割結果進行準確地融合，得到了第一腦影像的整體分割結果，實現了腦影像的高效快速分割。
62.基於上述任一實施例，在一個實施例中，所述第一腦影像的每一子塊對應一個卷積神經網絡模型。
63.具體的每一位置的子塊都對應一個卷積神經網絡模型，可以處理相應位置的腦影像數據，可以提升腦區分割速度以及精度。
64.基於上述任一實施例，在一個實施例中，所述卷積神經網絡具體為u-net網絡或全卷積神經網絡。
65.具體地，u-net屬於一種卷積神經網絡，包含用於特徵提取的收縮路徑以及使用上採樣的擴張路徑，在上採樣階段還添加了特徵提取(下採樣)階段提取到的特徵，允許更多的原圖像紋理的信息在高解析度的layers(隱含層)中進行傳播，u-net可以使用很少的訓練數據就得到精確的分割結果。全卷積神經網絡將普通卷積神經網絡中的全連接分類層替換為卷積層，對深層特徵進行上採樣回復到原圖像尺寸，在像素級別對每一個像素點進行分類。
66.本實施例中通過u-net網絡或全卷積神經網絡可以提升腦影像的分割精度。
67.圖2是本發明提供的另一種基於神經網絡的腦影像分割方法的流程示意圖，如圖2所示，該方法包括：
68.s21、對第一腦影像進行模糊處理，得到第二腦影像；其中，所述第一腦影像是標準腦空間下的三維腦影像；
69.具體地，模糊處理可以降低腦影像的解析度，本發明中低解析度的腦影像可以快速分割出低解析度分割結果，其低解析度分割結果可以用於提高高解析度腦影像的分割準確度。模糊處理過程並不改變腦影像的大小，僅僅是降低圖像質量，使得第二腦影像的像素更多地參考周圍像素值。具體的模糊處理過程可以使用高斯核對高解析度的第一腦影像進行高斯分布加權處理，得到相應的低解析度的第二腦影像。
70.進一步地，為維持模糊處理後的第二腦影像的大小不變，且保持腦影像邊緣像素的質量，可以在第一腦影像的外緣通過鏡像對稱的方式補充像素，然後再進行模糊處理。
71.需要說明的是本發明中的「高解析度」、「低解析度」並不意味著腦影像的解析度處於某個具體的解析度數值區間，本發明中「高解析度」與「低解析度」是相對的概念，即高解析度的腦影像比低解析度的腦影像具有更高的圖像質量，腦影像中包含更多的細節特徵。
72.s22、分別將所述第一腦影像以及所述第二腦影像切分為多個子塊；
73.具體地，第一腦影像、第二腦影像都進行了分塊，預設切分策略可以是第一腦影像、第二腦影像採取統一的具體切分策略，此時，第一腦影像中的各子塊與第二腦影像中的各子塊是一一對應的，對應的塊具有相同的位置及大小；預設切分策略也可以是第一腦影像、第二腦影像採取不同的具體切分策略，此時，第一腦影像與第二腦影像的子塊數量可能不同，相應地，方案所需的低解析度卷積神經網絡模型數量與所需的高解析度卷積神經網絡模型的數量可能不同。具體的切分策略可以參照前述實施例，此處不再贅述。
74.s23、將所述第二腦影像的各子塊輸入相應的低解析度卷積神經網絡模型，得到所述第二腦影像的各子塊的低解析度腦區分割結果；
75.具體地，第二腦影像的子塊與低解析度卷積神經網絡模型的對應關係例如，每一子塊分別對應一個低解析度卷積神經網絡，又例如，具有某一相同坐標屬性的子塊輸入同一個低解析度卷積神經網絡模型(例如，將腦影像中某一局部範圍內各相鄰的子塊輸入同一個卷積神經網絡，又例如，通過區分子塊中像素橫坐標所在的區間，將左腦中的子塊輸入一個低解析度卷積神經網絡模型，將右腦中的子塊輸入另一個低解析度卷積神經網絡模型)。將第二腦影像的每一子塊輸入相應的低解析度卷積神經網絡模型進行腦區分割，得到各子塊的低解析度腦區分割結果。需要說明的是「低解析度卷積神經網絡」中的「低解析度」並不是對卷積神經網絡屬性的限定，而是相對於下文的「高解析度卷積神經網絡」作出概念上的區分，本發明中的「低解析度卷積神經網絡」是利用解析度相對較低的訓練樣本訓練得到的，訓練樣本包括該位置對應的低解析度腦影像子塊樣本，以及子塊樣本對應的低解析度分割結果。子塊樣本包含一系列三維像素點，對應的低解析度分割結果包含每一像素點對應的腦區分類參考標籤。考慮到腦影像中可能包含無效區域(例如腫瘤像素、等顱骨像素、出血區像素)，無效區域並不對應實際意義上的腦區，可以將其對應的腦區分類標籤設置為與背景像素的腦區分類標籤相同，例如設置為「0」。
76.s24、將第一腦影像的各子塊及其相應的低解析度腦區分割結果，輸入對應的高解析度卷積神經網絡模型，並融合得到所述第一腦影像的高解析度腦區分割結果。
77.具體地，第二腦影像是第一腦影像的低解析度腦影像，第二腦影像的低解析度腦區分割結果可以用於第一腦影像的腦區分割過程。
78.可以將第二腦影像的各子塊的低解析度腦區分割結果直接作為第一腦影像的各子塊相應的低解析度腦區分割結果，此情況下需保證第一腦影像與第二腦影像按照了相同的切分策略進行切分，即二者的各子塊是一一對應的；還可以將第二腦影像的各子塊的低解析度腦區分割結果進行融合，然後從第二腦影像的整體融合腦區分割結果中確定出第一腦影像的各子塊相應的低解析度腦區分割結果，此情況下需第一腦影像與第二腦影像可以按照相同的切分策略進行切分，也可以按照不同的切分策略進行切分。融合過程即確定每一像素點的綜合腦區分類標籤，例如對於重疊像素點，根據像素點在各子塊中的腦區分割標籤確定融合後的腦區分割標籤，通過子塊的腦區分割結果融合，可以提升子塊邊緣的分割精度。
79.類似地，第一腦影像的子塊與高解析度卷積神經網絡模型的對應關係例如，每一子塊分別對應一個高解析度卷積神經網絡，又例如，具有某一相同坐標屬性的子塊輸入同一個高解析度卷積神經網絡模型(例如，將腦影像中某一局部範圍內各相鄰的子塊輸入同一個卷積神經網絡，又例如，通過區分子塊中像素橫坐標所在的區間，將左腦中的子塊輸入
一個高解析度卷積神經網絡模型，將右腦中的子塊輸入另一個高解析度卷積神經網絡模型)，將每一子塊以及每一子塊相應的低解析度腦區分割結果輸入該子塊對應的高解析度卷積神經網絡，得到該子塊的高解析度腦區分割結果，然後將各子塊的腦區分割結果進行融合，得到第一腦影像的高解析度腦區分割結果。
80.本發明中的「高解析度卷積神經網絡」是利用解析度相對較高的訓練樣本訓練得到的，訓練樣本包括該位置對應的高解析度腦影像子塊樣本、子塊樣本對應的低解析度分割結果，以及子塊樣本對應的高解析度分割結果。子塊樣本包含一系列三維像素點，對應的低/高解析度分割結果包含每一像素點對應的低/高解析度腦區分類參考標籤。
81.本實施例中將第一腦影像進行模糊得到第二腦影像，得到解析度不同但腦區分割結果存在關聯的兩組腦影像，通過將第二腦影像的各子塊輸入子塊相應的卷積神經網絡進行快速分割，得到了低解析度的腦區分割結果，由於每一子塊都對應有預先訓練的網絡層數較少的卷積神經網絡，因而可以快速分割子塊；通過將低分率的腦區分割結果輸入第一腦影像中相應子塊的高解析度卷積神經網絡，為高解析度的第一腦影像的精準分割提供了有力支持，本發明整體上實現了第一腦影像的快速、準確分割。
82.基於上述任一實施例，在一個實施例中，所述第二腦影像的每一子塊對應一個低解析度卷積神經網絡模型，所述第一腦影像的每一子塊對應一個高解析度卷積神經網絡模型，
83.具體地，每一位置的子塊都對應一個卷積神經網絡模型，可以處理相應位置的腦影像數據，可以提升腦區分割速度以及精度。
84.基於上述實施例，在一個實施例中，所述將所述第二腦影像的各子塊輸入相應的低解析度卷積神經網絡模型，得到所述第二腦影像的各子塊的低解析度腦區分割結果；將所述第一腦影像的各子塊及其相應的低解析度腦區分割結果，輸入對應的高解析度卷積神經網絡模型，並融合得到所述第一腦影像的高解析度腦區分割結果，包括：
85.將所述第二腦影像的每一子塊輸入子塊所在位置對應的低解析度卷積神經網絡，得到子塊相應的低解析度腦區分割結果；
86.將所述第二腦影像的多個子塊的低分辨腦區分割結果進行融合，得到所述第二腦影像的腦區分割結果；
87.將所述第一腦影像的每一子塊，以及子塊在所述第二腦影像的腦區分割結果中的相應的低分辨腦區分割結果，輸入子塊所在位置對應的高解析度卷積神經網絡，得到子塊相應的高解析度腦區分割結果；
88.將所述第一腦影像的多個子塊的高分辨腦區分割結果進行融合，得到所述第一腦影像的腦區分割結果。
89.具體地，低解析度的第二腦影像的每一子塊都分別通過相應的卷積神經網絡進行腦區分割，然後將分割結果進行融合。在第二腦影像的整體分割結果中，取出相應子塊的融合後的腦區分割結果(即相當於，按照第一腦影像的切分策略，對第二腦影像的整體分割結果進行再次切分，得到第一腦影像子塊相應的低解析度腦區分割結果)，然後與第一腦影像中相應子塊一起輸入到子塊對應的高解析度卷積神經網絡進行腦區分割，得到該子塊的高解析度腦區分割結果，然後將各子塊的高解析度腦區分割結果進行融合，得到第一腦影像的高解析度腦區分割結果。由於每一高/低解析度卷積神經網絡都對腦影像的局部子塊進
行處理，數據處理量較少，無需較深的模型層數，其訓練過程、分割應用過程都可以高效進行。同時，通過子塊的腦區分割結果融合，可以提升子塊邊緣的分割精度，通過低解析度的腦區分割結果可以提升高解析度腦影像的分割精度。
90.基於上述任一實施例，在一個實施例中，所述融合過程通過如下方式實現：
91.遍歷腦影像，確定當前待融合像素點，以及所述當前待融合像素點在各子塊中的腦區分割標籤；
92.根據所述當前待融合像素點在所述腦影像的各子塊中的分割標籤，通過多數投票的方式，將分割標籤中數量最多的分割標籤確定為所述待融合像素點的融合標籤；
93.重複上述過程，直至所述腦影像中所有像素點融合完畢。
94.具體地，遍歷腦影像逐一確定像素點的融合標籤，由於一個像素點可能出現在不同的子塊中，也就有多個分割標籤。對於當前待融合像素點，確定其在各子塊中的腦區分割標籤(若不在某子塊中，則忽略該子塊)，對當前待融合像素點的腦區分割標籤進行統計，通過多數投票的方式確定其融合標籤。例如，當前待融合像素點a出現在6個子塊中，腦區分割標籤分別為31、32、32、31、33、31，標籤「31」的票數最多，將「31」確定為當前待融合像素點a的融合標籤。進一步地，若當前待融合像素點的分割標籤中數量最多的分割標籤不止一項，則根據其周邊像素的融合標籤，從其多項數量最多的分割標籤中確定出其融合標籤。具體可以對周圍已確定出融合標籤的像素進行統計，將該像素多項數量最多的標籤中在周圍像素的融合標籤中出現頻次更高的標籤確定為該像素的融合標籤。舉例說明如下：當前待融合像素點的「32」標籤和「33」標籤的數量均為3(數量最多)，且統計確定出其周圍26個像素中有10個像素已經確定出了融合標籤，這10個像素中，融合標籤為「32」的有3個，融合標籤為「33」的有1個，則根據上述周圍像素點的融合標籤，可以確定該當前待融合像素點的融合標籤為「32」。
95.本實施例中通過對分割結果進行融合，準確地確定了腦影像中像素點的標籤。
96.基於上述任一實施例，在一個實施例中，所述多個子塊中每一子塊與相鄰子塊的重疊區域之和佔所述每一子塊的比例大於第一比例閾值。
97.具體地，多個子塊中相鄰的子塊存在重疊區域，以提升子塊邊緣區域中像素點的腦區分割精度，通過設置預設切分策略使得每一子塊與多個相鄰子塊的重疊區域之和佔該子塊的比例大於第一比例閾值，第一比例閾值根據需求設置，例如設置為50％。可以理解的是第一比例閾值越大，腦區分割精度越高。可以理解的是，此處的重疊區域之和是指：確定該子塊與每一相鄰子塊的重疊區域，對各重疊區域取併集。
98.本實施例中通過設置第一比例閾值，提升了各子塊的邊緣區域分割精度。
99.基於上述任一實施例，在一個實施例中，所述高解析度卷積神經網絡以及所述低解析度卷積神經網絡具體為u-net網絡；或，
100.所述高解析度卷積神經網絡以及所述低解析度卷積神經網絡具體為全卷積神經網絡。
101.具體地，高解析度卷積神經網絡以及低解析度卷積神經網絡可以是u-net網絡，u-net屬於一種卷積神經網絡，包含用於特徵提取的收縮路徑以及使用上採樣的擴張路徑，在上採樣階段還添加了特徵提取(下採樣)階段提取到的特徵，允許更多的原圖像紋理的信息在高解析度的layers中進行傳播，u-net可以使用很少的訓練圖像就得到精確的分割結果。
高解析度卷積神經網絡以及低解析度卷積神經網絡還可以是全卷積神經網絡，全卷積神經網絡將普通卷積神經網絡中的全連接分類層替換為卷積層，對深層特徵進行上採樣回復到原圖像尺寸，便於在像素級別對每一個像素點進行分類。
102.本實施例中通過u-net網絡或全卷積神經網絡可以提升腦影像分割精度。
103.基於上述實施例，在一個實施例中，方法還包括：對原始腦影像進行預處理並與標準腦影像進行配準，得到標準腦空間下的所述第一腦影像。
104.具體地，原始腦影像是基於mri醫學影像(例如t1、t2、flair、t1ce等圖像)獲取的待處理三維腦影像，由於人為、設備、環境等因素，原始腦影像中可能存在噪聲幹擾，需要對原始腦影像進行預處理，預處理例如圖像降噪、去除冗餘區域(脖子)等。第一腦影像是標準腦空間(坐標系)下的三維腦影像，將待處理的原始腦影像與標準腦空間(坐標系)下的標準腦影像進行配準，即可得到第一腦影像。可以理解的是，該配準過程為剛性配準，具體可以包括平移、旋轉縮放等操作。同理，上述卷積神經網絡/低解析度卷積神經網絡/高解析度卷積神經網絡的訓練樣本中的子塊也是配準到標準腦空間後的腦影像樣本中切分出的子塊，以保證每一子塊所在位置對應的卷積神經網絡的訓練樣本子塊和待進行腦區分割的子塊具有相似的結構，保證分割精度。
105.本實施例中，將原始腦影像進行預處理並配準到標準腦空間下得到第一腦影像，使得第一腦影像與卷積神經網絡的訓練樣本處於統一的腦空間下，具備分塊、腦區分割的基礎，保障了腦影像分割準確率。
106.基於上述實施例，在一個實施例中，所述預處理至少包括以下之一：
107.降噪處理，偏移場校正，灰度歸一化。
108.具體地，圖像在採集和傳輸時可能會有像素灰度的突變，為了減少這種突變對後續處理帶來的影響，對此，可以對三維腦影像進行降噪處理。例如，使用各向異性曲率平滑濾波器對三維腦影像進行降噪處理，此濾波器可以在平滑圖像噪聲的同時儘可能地保留原始影像的特徵信息，並且，各向異性曲率平滑濾波器相較於高斯平滑濾波，濾波速度也更快。降噪處理過程需要參考周邊像素對當前像素進行處理，與前文的模糊處理過程不同的是，降噪處理的參考像素範圍更小，參考周邊像素的各權重之間方差較小，其效果在於儘量消除異常像素點對影像特徵的影響，同時儘可能地保留原始影像的特徵信息。
109.此外，在圖像採集時，掃描儀中的患者位置，掃描儀本身磁場強度不均勻等因素會導致醫學圖像上的亮度差異，這些亮度差異會嚴重影像分割精度。對此，可以對腦影像進行偏移場的矯正，避免對分割精度的幹擾。
110.還可以將腦影像進行灰度的歸一化，將不同設備採集的影像灰度全部縮放至0～1，以方便後續步驟應用。
111.本實施例中通過降噪處理、偏移場校正、灰度歸一化提升了數據處理效率以及腦影像分割精度。
112.基於上述任一實施例，在一個實施例中，所述對原始腦影像進行預處理並與標準腦影像進行配準，得到標準腦空間下的所述第一腦影像，包括：
113.利用所述標準腦影像的三維區域範圍，切割配準到標準腦空間後的配準腦影像，得到所述第一腦影像。
114.具體地，標準腦影像包括腦區mask，腦區mask示出了標準腦影像的三維區域範圍，
利用腦區mask對配準到標準腦空間後的配準腦影像進行切割，得到第一腦影像。第一腦影像相對於原始腦影像去除了腦區mask之外的區域，根據具體選用的腦區mask不同，可以達到「去除脖子」、「去除頭骨」、「去除下頜骨」等效果。此外，在腦區分割時，腦區mask之外的像素點會給予單獨的標籤，該單獨的標籤代表無效區域，例如標籤為「0」。
115.本實施例中去除了原始腦影像中的非感興趣區域，提升了數據處理效率，改善了腦影像腦區分割的視覺效果。
116.基於上述任一實施例，在一個實施例中，方法還包括：
117.將所述第一腦影像的腦區分割結果逆配準到原始腦空間，得到原始腦影像的腦區分割結果。
118.具體地，第一腦影像是配準到標準腦空間後的三維腦影像，將第一腦影像進行腦區分割後，還可以進一步根據其配準過程中的配準關係，將第一腦影像的腦區分割結果逆配準到原始腦空間(坐標系)，得到腦區分割後的原始腦影像。
119.本實施例中得到了原始腦空間下原始腦影像的腦區分割結果，便於醫生直觀的觀察，為診療過程提供信息支持。
120.圖3是本發明提供的又一種基於神經網絡的腦影像分割方法的流程示意圖，如圖3所示，該方法包括：
121.s31、將原始腦影像進行預處理與標準腦影像進行剛性配準，得到配準腦影像；
122.s32、利用卷積神經網絡對所述配準腦影像進行腦區分割，得到標準腦空間下的分割腦影像；
123.s33、將所述標準腦空間下的分割腦影像逆配準到原始腦空間，得到原始腦影像對應的分割腦影像。
124.具體地，原始腦影像是基於mri醫學影像(例如t1、t2、flair、t1ce等圖像)獲取的待處理三維腦影像，由於人為因素、設備、環境等因素，原始腦影像中可能存在噪聲幹擾，需要對原始腦影像進行預處理，例如圖像降噪、偏移場校正等。
125.將預處理後的原始腦影像與標準腦空間(坐標系)下的標準腦影像進行配準，配準過程使得原始腦影像與標準腦影像具有儘可能大的相似度，便於卷積神經網絡在此基礎上進行腦區分割。配準過程中循環調整配準參數，通過平移旋轉、縮放等剛性配準方式使得預處理後的腦影像的腦部區域與標準腦影像的相似度達到相似度閾值。然後用標準腦影像的腦區mask截取配準後的腦影像得到配準腦影像，配準腦影像是標準腦空間下的去除了冗餘區域的三維腦影像，將配準腦影像輸入卷積神經網絡進行自動分割，得到分割腦影像，分割腦影像中包含每一像素點的腦區分類標籤。
126.卷積神經網絡是預先由訓練樣本及樣本標籤進行模型訓練得到的，可以理解的是，訓練樣本同樣需要配準到標準腦空間，預訓練好的卷積神經網絡可以用於對待分割的腦影像進行腦區分割得到具體的腦區分割結果，卷積神經網絡例如全卷積神經網絡、u-net網絡等。
127.得到分割腦影像後，根據前述配準過程中的配準關係，將分割腦影像逆配準到原始腦空間(坐標系)，得到原始腦影像對應的分割腦影像，便於醫生觀察。
128.本實施例中通過預處理降低了噪聲幹擾，去除了冗餘數據；通過將將原始腦影像配準到標準腦空間，使得原始腦影像與卷積神經網絡模型的訓練樣本處於統一基礎上，使
得卷積神經網絡模型具備遷移基礎，能夠對腦影像進行自動分割；通過將配準腦影像的腦區分割結果逆配準到原始腦空間得到原始腦空間下的分割腦影像，便於醫生直觀的觀察，為診療過程提供信息支持。
129.基於上述任一實施例，在一個實施例中，所述卷積神經網絡的訓練樣本中包括擴增樣本，所述擴增樣本是在基礎訓練樣本的基礎上通過增加覆蓋區的方式得到的模擬病灶樣本。
130.具體地，目前市面上的自動腦區分割均針對正常人腦進行分割，對於異常腦中的病灶區域分割準確度較低。對此，可以在訓練樣本中增加病灶樣本，考慮到正常人的三維腦影像相對容易獲取，而異常的腦影像數據較少且難以獲取，本實施例在基礎訓練樣本的基礎上增加覆蓋區，通過增加的覆蓋區模擬病灶區域(例如腫瘤區、出血區)，並為覆蓋區設置相應的參考標籤，例如與腦組織外的無效區域設置為相同的參考標籤(即無效區)。
131.本實施例中通過在基礎訓練樣本的基礎上增加覆蓋區的方式快捷地獲取了模擬病灶樣本，提高了卷積神經網絡對於異常腦影像中病灶區域的分割精度。
132.下面通過一個優選的實施例對本發明提供的基於神經網絡的腦影像分割方法進行說明。
133.step 1、獲取原始腦影像並預處理。
134.1.1根據病人頭部影像(如t1影像)，生成原始腦影像，原始腦影像通常包含脖子等組織，解析度不一，例如0.5*0.5*0.8mm3等，圖像尺寸也各不相同，例如512*512*256等，這樣的原始影像不便於統一處理。
135.1.2將原始腦影像進行預處理，預處理可以選自一下處理內容。
136.(1)對原始腦影像進行去噪處理。具體的，可以使用各向異性曲率平滑濾波器，此濾波器可以在平滑圖像噪聲的同時儘可能地保留原始影像的特徵信息。
137.圖像在採集和傳輸時可能會有像素灰度的突變，為了減少這種突變對後續處理帶來的影響，採用各向異性曲率平滑濾波器進行平滑處理。相較於高斯平滑濾波，此濾波器速度大幅度上升，同時更好的保留了圖像細節。
138.(2)對去噪處理後的影像進行偏移場的矯正。在圖像採集時，掃描儀中的患者位置，掃描儀本身等因素會導致mri圖像上的亮度差異。
139.(3)對前面步驟得到的影像進行灰度的歸一化，將不同設備採集的影像灰度全部縮放至0～1，以方便後續步驟應用。
140.step 2、將預處理後的原始腦影像配準到標準腦空間。
141.2.1獲取標準腦影像。
142.標準腦影像is可以根據實際需求選取，例如選取125類分區的bordmann腦影像，尺寸為256*256*192，解析度1*1*1mm3。
143.標準腦指統計獲取的平均腦，獲取方式如下：使用多張相同解析度的腦影像(通常1*1*1mm3)進行平均，最終結果裁取平均的腦區(即去掉脖子區域，將腦區放至正中央)。
144.2.2將預處理後的原始腦影像配準到標準腦空間。
145.配準過程為剛性配準，配準過程包括旋轉、平移、縮放等步驟。此處特徵提取選取基於灰度的特徵提取，相似性評價指標的公式如下：
[0146][0147]
優化策略選擇梯度下降法，以此快速找到最優解。公式中x是一種泛指，指標準腦影像和配準過程中的中間圖像中對應像素點的灰度。公式中的ω0指的是標準腦影像圖像尺寸範圍。步驟完成後，得到配準後的配準腦影像i1以及由原始腦影像i0配準至標準腦影像is的配準關係(即轉換矩陣)t。
[0148]
2.3使用標準腦的腦區mask對配準後的腦影像。
[0149]
對i1使用標準腦的腦區mask進行切分，得到第一腦影像，保證後續分割步驟處理的影像只包含腦區，以提高分割精度。
[0150]
step3、腦影像腦區分割/模型訓練過程。
[0151]
(1)使用單個卷積神經網絡對腦影像進行腦區分割。
[0152]
參照圖4，以單個u-net網絡進行腦影像分割進行說明，如圖3所示，u-net包含4層結構(僅為實例，也可以為5層或更多層)，配準後的影像在輸入模型後經過三次下採樣、三次上採樣，最終經過一次1
×1×
1卷積輸出到標籤場。三次下採樣包括兩次3
×3×
3的卷積操作及一次2
×2×
2的池化操作組成；三次採樣部分由一次2
×2×
2的反卷積操作及兩次3
×3×
3的卷積操作組成。在上採樣階段還通過跳躍連接結構添加了特徵提取(下採樣)階段提取到的特徵，提升腦區分割精度。
[0153]
需要說明的是，上述卷積過程不改變圖像尺寸，具體可以通過在子塊邊緣通過鏡像對稱的方式補充像素然後進行卷積操作，其目的在於保持圖像尺寸，便於在像素級別上對每一像素進行腦區分類。此外，最終標籤場的輸出類別數與選擇的圖譜有關，以brodmann圖譜為例，其最終輸出的標籤為125類。
[0154]
對於卷積神經網絡的模型訓練的過程，需要在模型訓練階段與腦影像一起輸入參考的腦區分類標籤，用於對模型進行訓練，本領域技術人員結合上述內容可以理解其具體訓練過程，此處不在再贅述。
[0155]
(2)使用多個卷積神經網絡對腦影像進行腦區分割。
[0156]
參照圖5，以使用多個u-net網絡進行腦影像分割進行說明，如圖5所示，相應需要27個u-net(3
×3×
3，也可以是其他立方數，圖中未示出具體的數量)，首先將原始影像切分為27個互相重疊的子塊，對各個子塊使用不同的u-net網絡進行腦區分割，得到各子塊的腦區分割結果，然後將各子塊的腦區分割結果進行融合，對於重疊區域，通過多數投票的方式確定融合標籤。
[0157]
對於各卷積神經網絡的模型訓練的過程，需要在模型訓練階段與子塊腦影像一起輸入子塊的腦區分類參考標籤，用於對模型進行訓練，本領域技術人員結合上述內容可以理解其具體訓練過程，此處不在再贅述。
[0158]
(3)使用雙解析度級聯的架構對腦影像進行腦區分割。
[0159]
對待分割的第一腦影像進行模糊處理得到低解析度的第二腦影像，第二腦影像參照上述架構(2)中多個卷積神經網絡進行處理，得到第二腦影像的腦區分割結果。
[0160]
對於高解析度的第一腦影像，如圖6所示，使用相同的切分策略進行分塊，對於每一子塊，將子塊以及子塊對應的第二腦影像的低解析度腦區分割結果輸入子塊相應的(高解析度)卷積神經網絡模型，得到子塊對應的(高解析度)腦區分割結果，然後將各子塊的腦
區分割結果進行融合，得到第一圖譜的最終腦區分割結果，融合過程同上。
[0161]
對於高解析度的各卷積神經網絡的模型訓練的過程，需要在模型訓練階段與子塊腦影像一起輸入子塊對應的低解析度腦區分割結果以及子塊的(高解析度)腦區分類參考標籤，用於對模型進行訓練，本領域技術人員結合上述內容可以理解其具體訓練過程，此處不在再贅述。
[0162]
step4、逆配準。
[0163]
根據配準過程中的配準關係t，將第一腦影像的腦區分割結果逆配準到原始腦空間，得到原始腦影像對應的腦區分割結果。
[0164]
本實施例通過單獨的卷積神經網絡對腦影像進行了自動腦區分割，通過多個卷積神經網絡通過切塊、融合的方式對腦圖進行了高效分割，同時減少了訓練開銷。通過雙解析度級聯的卷積神經網絡進一步提升了腦影像分割精度。
[0165]
使用本實施例的腦影像分割方法對一個真實腦影像進行分割的結果參見附圖9。
[0166]
下面對本發明提供的基於神經網絡的腦影像分割裝置進行描述，下文描述的基於神經網絡的腦影像分割裝置與上文描述的基於神經網絡的腦影像分割方法可相互對應參照。
[0167]
圖7是本發明提供的一種基於神經網絡的腦影像分割裝置的結構示意圖，如圖7所示，裝置包括：
[0168]
切分模塊71，用於將第一腦影像切分為多個子塊；其中，所述第一腦影像是標準腦空間下的三維腦影像；
[0169]
分割模塊72，用於將所述第一腦影像的每一子塊輸入子塊所在位置對應的卷積神經網絡模型，得到子塊相應的腦區分割結果；
[0170]
融合模塊73，用於將所述第一腦影像的多個子塊的腦區分割結果進行融合，得到所述第一腦影像的腦區分割結果。
[0171]
基於上述實施例，在一個實施例中，所述卷積神經網絡具體為u-net網絡或全卷積神經網絡。
[0172]
本發明還提供另一種基於神經網絡的腦影像分割裝置，裝置包括：
[0173]
模糊模塊，對第一腦影像進行模糊處理，得到第二腦影像；其中，所述第一腦影像是標準腦空間下的三維腦影像；
[0174]
切分模塊，用於分別將所述第一腦影像以及所述第二腦影像切分為多個子塊；
[0175]
第二分割模塊，用於將所述第二腦影像的各子塊輸入相應的低解析度卷積神經網絡模型，得到所述第二腦影像的各子塊的低解析度腦區分割結果；
[0176]
第一分割模塊，將所述第一腦影像的各子塊及其相應的低解析度腦區分割結果，輸入對應的高解析度卷積神經網絡模型，並融合得到所述第一腦影像的高解析度腦區分割結果。
[0177]
基於上述實施例，在一個實施例中，所述第二分割模塊用於：
[0178]
將所述第二腦影像的每一子塊輸入子塊所在位置對應的低解析度卷積神經網絡，得到子塊相應的低解析度腦區分割結果；
[0179]
將所述第二腦影像的多個子塊的低分辨腦區分割結果進行融合，得到所述第二腦影像的腦區分割結果；
[0180]
所述第一分割模塊用於：
[0181]
將所述第一腦影像的每一子塊，以及子塊在所述第二腦影像的腦區分割結果中的相應的低分辨腦區分割結果，輸入子塊所在位置對應的高解析度卷積神經網絡，得到子塊相應的高解析度腦區分割結果；
[0182]
將所述第一腦影像的多個子塊的高分辨腦區分割結果進行融合，得到所述第一腦影像的腦區分割結果。
[0183]
基於上述任一實施例，在一個實施例中，所述融合過程通過如下方式實現：
[0184]
遍歷腦影像，確定當前待融合像素點，以及所述當前待融合像素點在各子塊中的腦區分割標籤；
[0185]
根據所述當前待融合像素點在所述腦影像的各子塊中的分割標籤，通過多數投票的方式，將分割標籤中數量最多的分割標籤確定為所述待融合像素點的融合標籤；
[0186]
重複上述過程，直至所述腦影像中所有像素點融合完畢。
[0187]
基於上述任一實施例，在一個實施例中，所述多個子塊中每一子塊與相鄰子塊的重疊區域之和佔所述每一子塊的比例大於第一比例閾值。
[0188]
基於上述任一實施例，在一個實施例中，所述高解析度卷積神經網絡以及所述低解析度卷積神經網絡具體為u-net網絡；或，
[0189]
所述高解析度卷積神經網絡以及所述低解析度卷積神經網絡具體為全卷積神經網絡。
[0190]
基於上述任一實施例，在一個實施例中，裝置還包括前序模塊，用於對原始腦影像進行預處理並與標準腦影像進行配準，得到標準腦空間下的所述第一腦影像。
[0191]
基於上述任一實施例，在一個實施例中，所述預處理至少包括以下之一：
[0192]
降噪處理，偏移場校正，灰度歸一化。
[0193]
基於上述任一實施例，在一個實施例中，所述前序模塊，包括裁剪單元，用於利用所述標準腦影像的三維區域範圍，切割配準到標準腦空間後的配準腦影像，得到所述第一腦影像。
[0194]
基於上述任一實施例，在一個實施例中，裝置還包括逆配準模塊，用於將所述第一腦影像的腦區合分割結果逆配準到原始腦空間，得到原始腦影像的腦區分割結果。
[0195]
本發明還提供又一種基於神經網絡的腦影像分割裝置，裝置包括：
[0196]
處理配準模塊，用於將原始腦影像進行預處理並與標準腦影像進行剛性配準，得到配準腦影像；
[0197]
第三分割模塊，用於將所述配準腦影像輸入卷積神經網絡進行腦區分割，得到標準腦空間下的分割腦影像；
[0198]
逆配準模塊，用於將所述標準腦空間下的分割腦影像逆配準到原始腦空間，得到原始腦影像對應的分割腦影像。
[0199]
圖8示例了一種電子設備的實體結構示意圖，如圖8所示，該電子設備可以包括：處理器(processor)810、通信接口(communications interface)820、存儲器(memory)830和通信總線840，其中，處理器810，通信接口820，存儲器830通過通信總線840完成相互間的通信。處理器810可以調用存儲器830中的邏輯指令，以執行上述各提供的基於神經網絡的腦影像分割方法的全部或部分步驟。
[0200]
此外，上述的存儲器830中的邏輯指令可以通過軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取存儲介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該計算機軟體產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：u盤、移動硬碟、只讀存儲器(rom，read-only memory)、隨機存取存儲器(ram，random access memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。
[0201]
另一方面，本發明還提供一種電腦程式產品，所述電腦程式產品包括存儲在非暫態計算機可讀存儲介質上的電腦程式，所述電腦程式包括程序指令，當所述程序指令被計算機執行時，計算機能夠執行上述各提供的基於神經網絡的腦影像分割方法的全部或部分步驟。
[0202]
又一方面，本發明還提供一種非暫態計算機可讀存儲介質，其上存儲有電腦程式，該電腦程式被處理器執行時實現以執行上述各提供的基於神經網絡的腦影像分割方法的全部或部分步驟。
[0203]
以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞動的情況下，即可以理解並實施。
[0204]
通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到各實施方式可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體。基於這樣的理解，上述技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該計算機軟體產品可以存儲在計算機可讀存儲介質中，如rom/ram、磁碟、光碟等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行各個實施例或者實施例的某些部分所述的方法。
[0205]
最後應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換；而這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。