一種基於自聚類圖卷積的解剖學合理性檢測方法及系統
2024-04-16 13:20:05
1.本技術屬於醫療圖像處理技術領域，尤其涉及一種基於自聚類圖卷積的解剖學合理性檢測方法及系統。
背景技術：
2.近年來，伴隨著醫學圖像採集技術的顯著改善，醫療設備以更快的影像幀率、更高的影像解析度和通信技術，實時採集大量的醫學影像和傳感器數據。這些醫療圖像中包含了豐富的人體器官或組織信息，正常或患病的器官組織都有自己的解剖學特徵，對器官或組織的解剖學特徵進行合理性評估是目前研究的熱點問題。
3.傳統的卷積神經網絡只能處理歐式空間數據(如矩陣形式)，而現實生活中的許多場景，比如交通網絡、社交網絡、引用網絡，都是以圖數據的形式存在，解剖學特徵也是一種非歐式空間特徵，所以需要使用圖卷積等技術才能較好的處理。
4.對於醫療圖像，其中各個組織或器官都具有其獨有的紋理和特徵，必須保留相互間的區分性。然而醫療影像中涉及的組織或器官的種類多種多樣，如果不加以區分，僅僅通過一個類的鄰接矩陣進行圖卷積處理，很容易造成屬於不同組織或器官的解剖學特徵間過度平均，不具有區分性。雖然在自然圖像分割領域有相關研究成果可以保留甚至增強區分性，但這種方法需要語義標籤的輔助。
5.解剖學合理性評估方法研究中涉及的解剖學特徵在空間上時相互分離的，傳統的卷積神經網絡使用的等尺度的卷積核不適用於處理該信息，作為備選技術的圖卷積依賴於解剖學等級的標準信息的輔助，可能導致屬於不同組織或器官的特徵間出現過度的信息共享及平均，最終導致無法有效的提取解剖學特徵。
技術實現要素：
6.本技術的目的是提供一種基於自聚類圖卷積的解剖學合理性檢測方法及系統，克服圖卷積操作中不同類別特徵間過度信息共享及平均的發生，解決不同類別特徵過度融合的問題。
7.為了實現上述目的，本技術技術方案如下：
8.一種基於自聚類圖卷積的解剖學合理性檢測方法，包括：
9.獲取原始醫療影像，通過全卷積操作提取特徵圖，然後對特徵圖中的節點進行m次獨立的隨機聚類得到m組聚類結果，每組聚類結果中包括k個聚類集合，每個聚類集合表示影像中的一個組織或者器官；
10.選取m組聚類結果中任意一組作為基準，計算所選取的聚類結果中每個聚類集合與其他組聚類結果中聚類集合的交並比，對於所選取的聚類結果中任一聚類集合，選取每個聚類結果中交並比最大的聚類集合與其進行合併，得到最終的k個聚類集合作為最終聚類結果；
11.將最終聚類結果作為鄰接矩陣，與全卷積操作提取的特徵圖通過圖卷積操作進行
特徵融合，得到解剖學融合特徵；
12.將解剖學融合特徵輸入到解剖學合理性判決器進行多層卷積操作，輸出合理性判決結果。
13.進一步的，所述將最終聚類結果作為鄰接矩陣，與全卷積操作提取的特徵圖通過圖卷積操作進行特徵融合，還包括：
14.對於最終聚類結果，其形狀為k
×h×
w，將h
×
w的節點矩陣展平為一維向量，調整為k
×
n，n＝h
×
w，作為鄰接矩陣；
15.其中，h表示特徵圖的長，w表示特徵圖的寬；
16.對於全卷積操作提取的特徵圖，其形狀為c
×h×
w，調整為n
×
c，其中c表示特徵圖的通道數。
17.進一步的，所述解剖學合理性判決器訓練時，損失函數為：
[0018][0019]
其中loss
diff
表示差異損失函數，d(y)表示解剖學合理性判決器d對正樣y的評分，d(y
′
)表示解剖學合理性判決器d對負樣y
′
的評分，表示的梯度，其中y表示正樣對應的殘差圖像，y
′
表示負樣對應的殘差圖像，‖.‖1和‖.‖2分別表示l1範數和l2範數。
[0020]
本技術還提出了一種基於自聚類圖卷積的解剖學合理性檢測系統，包括：特徵提取器、隨機聚類器、疑難交流器、圖卷積模塊和解剖學合理性判決器；
[0021]
其中，所述特徵提取器，用於獲取原始醫療影像，通過全卷積操作提取特徵圖；
[0022]
所述隨機聚類器，用於對特徵圖中的節點進行m次獨立的隨機聚類得到m組聚類結果，每組聚類結果中包括k個聚類集合，每個聚類集合表示影像中的一個組織或者器官；
[0023]
所述疑難交流器，用於選取m組聚類結果中任意一組作為基準，計算所選取的聚類結果中每個聚類集合與其他組聚類結果中聚類集合的交並比，對於所選取的聚類結果中任一聚類集合，選取每個聚類結果中交並比最大的聚類集合與其進行合併，得到最終的k個聚類集合作為最終聚類結果；
[0024]
所述圖卷積模塊，用於將最終聚類結果作為鄰接矩陣，與全卷積操作提取的特徵圖通過圖卷積操作進行特徵融合，得到解剖學融合特徵；
[0025]
所述解剖學合理性判決器，用於對輸入的解剖學融合特徵進行多層卷積操作，輸出合理性判決結果。
[0026]
進一步的，所述圖卷積模塊將最終聚類結果作為鄰接矩陣，與全卷積操作提取的特徵圖通過圖卷積操作進行特徵融合，還執行如下操作：
[0027]
對於最終聚類結果，其形狀為k
×h×
w，將h
×
w的節點矩陣展平為一維向量，調整為k
×
n，n＝h
×
w，作為鄰接矩陣；
[0028]
其中，h表示特徵圖的長，w表示特徵圖的寬；
[0029]
對於全卷積操作提取的特徵圖，其形狀為c
×h×
w，調整為n
×
c，其中c表示特徵圖的通道數。
[0030]
進一步的，所述解剖學合理性判決器訓練時，損失函數為：
[0031][0032]
其中loss
diff
表示差異損失函數，d(y)表示解剖學合理性判決器d對正樣y的評分，
d(y
′
)表示解剖學合理性判決器d對負樣y
′
的評分，表示的梯度，其中y表示正樣對應的殘差圖像，y
′
表示負樣對應的殘差圖像，‖.‖1和‖.‖2分別表示l1範數和l2範數。
[0033]
本技術提出的一種基於自聚類圖卷積的解剖學合理性檢測方法及系統，提出了無監督的、差異保留的非歐式空間的特徵提取方式，在沒有解剖學標籤的情況下，實現適用於非歐式空間的特徵提取。使用了圖卷積網絡進行特徵融合，避免了特徵間出現過度的信息共享及平均。本技術能夠在同一類別(組織器官)之間進行信息融合，對器官或組織的解剖學特徵給出合理性評價。
附圖說明
[0034]
圖1為本技術基於自聚類圖卷積的解剖學合理性檢測方法流程圖；
[0035]
圖2為本技術基於自聚類圖卷積的解剖學合理性檢測系統結構示意圖。
具體實施方式
[0036]
為了使本技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本技術進行進一步詳細說明。應當理解，此處描述的具體實施例僅用以解釋本技術，並不用於限定本技術。
[0037]
在一個實施例中，如圖1所示，提供了一種基於自聚類圖卷積的解剖學合理性檢測方法，包括：
[0038]
步驟s1、獲取原始醫療影像，通過全卷積操作提取特徵圖，然後對特徵圖中的節點進行m次獨立的隨機聚類得到m組聚類結果，每組聚類結果中包括k個聚類集合，每個聚類集合表示影像中的一個組織或者器官。
[0039]
本實施例構建了解剖學合理性檢測網絡模型，如圖2所示，包括特徵提取器、隨機聚類器、疑難交流器、圖卷積模塊和解剖學合理性判決器。
[0040]
本步驟採用全卷積網絡(作為特徵提取器)來提取特徵，可採用resnet101、vgg16等經典卷積神經網絡。在獲取原始醫療影像(如人體乳腺鉬靶影像)後，全卷積網絡對醫療影像進行卷積，平均池化，歸一化操作，特徵圖尺寸逐層減小，含有的信息逐層抽象豐富，最終得到特徵圖f(尺寸為c
×h×
w)，h表示特徵圖的長，w表示特徵圖的寬，c表示特徵圖的通道數。
[0041]
本實施例對特徵圖f中的n＝h
×
w個節點進行m次獨立(隨機聚類方法可使用kmeans算法，根據每個節點的c個通道進行聚類，多次隨機聚類互不幹擾。其中聚類中心是隨機初始化的，所以不會出現結果相同的狀況，本實施例m＝10確保有足夠的隨機性)隨機聚類，如圖2中的隨機聚類器，每組聚類結果都包含k個聚類集合(這裡k＝10，是經過統計大量醫療圖像中組織器官數量最終計算得到的數據)。
[0042]
每組聚類結果中包含k個聚類集合，每個聚類集合中的特徵點數量不固定(可能相同也可能不同)，但每組聚類結果的特徵點總和等於n，每個聚類集合表示影像中的一種組織或器官，用表示第j組，第i個聚類。
[0043]
步驟s2、選取m組聚類結果中任意一組作為基準，計算所選取的聚類結果中每個聚類集合與其他組聚類結果中聚類集合的交並比，對於所選取的聚類結果中任一聚類集合，
選取每個聚類結果中交並比最大的聚類集合與其進行合併，得到最終的k個聚類集合作為最終聚類結果。
[0044]
具體的，對應於圖2中的疑難交流器。例如選取第1組聚類結果，其包括的聚類集合包括：首先對計算交並比iou，然後選取每組聚類結果中交並比iou最大的聚類集合與進行合併，如得到一個合併後的聚類集合。
[0045]
類似的，對分別重複上述步驟，合併最大iou的聚類，從而得到一組新的聚類結果，作為最終聚類結果。
[0046]
步驟s3、將最終聚類結果作為鄰接矩陣，與全卷積操作提取的特徵圖通過圖卷積操作進行特徵融合，得到解剖學融合特徵。
[0047]
本實施解剖學特徵融合採用了現有經典的圖卷積形式，公式y＝a
×f×
w，a為圖節點的鄰接矩陣(記錄了特徵圖上各組織器官像素之間的歸屬關係)，也就是步驟s2得到的最終聚類結果(形狀由k
×h×
w調整為k
×
n，即將h
×
w的節點矩陣展平為一維向量)，f為步驟s1得到的特徵圖f(形狀由c
×h×
w調整為n
×
c)，w為可學習的權重矩陣(其形狀為c
×
c)，y為矩陣相乘得到的特徵圖(其形狀為k
×
c)。
[0048]
在矩陣運算中每個圖卷積的卷積核只對相應的組織器官進行特徵提取，避免了不同部位之間的信息共享。
[0049]
步驟s4、將解剖學融合特徵輸入到解剖學合理性判決器進行多層卷積操作，輸出合理性判決結果。
[0050]
本步驟中，解剖學合理性評估判決器進行多層卷積操作對解剖學融合特徵進行打分，分數越高合理性越高。
[0051]
本技術輸入一張解剖學特徵合理性未知(可能是通過專業儀器拍攝或人工偽造)的醫學影像，首先經過全卷積提取特徵，特徵通過隨機聚類生成多個聚類結果，選取一組聚類結果作為基準，計算所選取的聚類結果中每個聚類集合與其他組聚類結果中聚類集合的交並比，對於所選取的聚類結果中任一聚類集合，選取每個聚類結果中交並比最大的聚類集合與其進行合併，得到最終的k個聚類集合作為最終聚類結果。通過這樣的操作生成一個更加合理的聚類結果，聚類結果作為多分類鄰接矩陣與提取的特徵進行圖卷積操作，融合生成解剖學融合特徵，最後通過合理性判決器對該特徵進行打分，分數越高合理性越高。
[0052]
在另一個實施例中，如圖2所示，提供了一種基於自聚類圖卷積的解剖學合理性檢測系統，包括特徵提取器、隨機聚類器、疑難交流器、圖卷積模塊和解剖學合理性判決器。
[0053]
其中，其中，所述特徵提取器，用於獲取原始醫療影像，通過全卷積操作提取特徵圖；
[0054]
所述隨機聚類器，用於對特徵圖中的節點進行m次獨立的隨機聚類得到m組聚類結果，每組聚類結果中包括k個聚類集合，每個聚類集合表示影像中的一個組織或者器官；
[0055]
所述疑難交流器，用於選取m組聚類結果中任意一組作為基準，計算所選取的聚類結果中每個聚類集合與其他組聚類結果中聚類集合的交並比，對於所選取的聚類結果中任一聚類集合，選取每個聚類結果中交並比最大的聚類集合與其進行合併，得到最終的k個聚類集合作為最終聚類結果；
[0056]
所述圖卷積模塊，用於將最終聚類結果作為鄰接矩陣，與全卷積操作提取的特徵圖通過圖卷積操作進行特徵融合，得到解剖學融合特徵；
[0057]
所述解剖學合理性判決器，用於對輸入的解剖學融合特徵進行多層卷積操作，輸出合理性判決結果。
[0058]
容易理解的是，本實施例一種基於自聚類圖卷積的解剖學合理性檢測系統是一個網絡模型，在構建該網絡模型後，需要對其進行訓練，在訓練好網絡模型之後，採用訓練好的網絡模型對待檢測的醫療影像進行處理，得到解剖學合理性檢測結果。
[0059]
在訓練時，首先獲取原始醫療影像作為正樣，對正樣進行圖像擾動產生對應的負樣，作為正負樣本。即正樣x為原始醫療影像(如人體乳腺鉬靶影像)，負樣y為正樣x經過圖像擾動產生的紋理不連續(不合理)的圖像，將正樣x與負樣y作為輸入樣本圖像按照批次輸入到網絡模型中訓練網絡模型。
[0060]
訓練時，首先對正樣和負樣分別通過特徵提取器提取特徵，特徵提取器對輸入圖像進行特徵提取，並在尺寸上進行一定壓縮，生成的特徵圖上每個節點都表示一個圖節點。
[0061]
然後，採用隨機聚類器進行隨機聚類得到m組聚類結果。隨機聚類器對特徵圖上的圖節點進行分類，m組聚類結果大致相同，但部分疑難圖節點的聚類結果具有較大的隨機性。這種隨機性通常發生在兩種組織相交的部分，聚類也不能完全判斷該點的類別，強行將該點劃分到某一類中會影響最終的效果。所以本技術需要保留該點的隨機性，將其併入到與它相近的所有類中(通過交並比合併聚類集合)，才能儘可能的減小損失。
[0062]
然後採用疑難交流器獲得最終聚類結果，疑難交流器對m組聚類結果依據不同聚類間最大iou進行聚類合併，得到一組聚類間存在重複節點的結果，部分疑難圖節點可能同時屬於不同的聚類。
[0063]
之後通過圖卷積模塊進行特徵融合，得到解剖學融合特徵。圖卷積模塊將疑難交流器生成的聚類標籤作為鄰接矩陣，只在本聚類之間進行圖卷積操作，輸出最終的特徵圖。圖卷積模塊採用基於無監督改造的cdgc網絡，輸入為特徵圖和多次聚類取併集形成的鄰接矩陣，輸出信息融合後的特徵圖。
[0064]
最後，將正樣和負樣的解剖學特徵輸入到解剖學合理性判決器，解剖學合理性判決器對輸入特徵進行打分，分數越高合理性越高。解剖學合理性判決器，採用的網絡為多層卷積網絡，輸入一個維度為k
×
c的特徵向量，經過卷積操作後輸出一個評分，評分越高說明該特徵對應的圖像解剖學特徵越合理。
[0065]
本技術訓練時，通過如下損失函數來進行訓練：
[0066][0067]
其中loss
diff
表示差異損失函數，d(y)表示解剖學合理性判決器d對正樣y的評分，d(y
′
)表示解剖學合理性判決器d對負樣y
′
的評分，表示的梯度，其中y表示正樣對應的殘差圖像，y
′
表示負樣對應的殘差圖像。‖.‖1和‖.‖2分別表示l1範數和l2範數。
[0068]
上述損失函數等式右側第二項為正則化懲罰項，能夠讓判決器在正樣附近形成一個相對平坦的超平面，一方面要求判決器d對類似正樣的數據給出正樣相近的評分，使得判決器d對正樣的評分具有較高的內聚性，另一方面能正則化判決器，防止其發散。
[0069]
本技術根據預設的損失函數計算損失，採用正樣和負樣的解剖學特徵對特徵提取
器和解剖學合理性判決器進行監督訓練，得到訓練好的網絡模型。在訓練時，對正樣x生成的特徵圖y給出較高的評分，對負樣y生成的特徵圖y
′
給出較低的評分，可以配合正則化方法已獲得較平穩的訓練過程。
[0070]
以上所述實施例僅表達了本技術的幾種實施方式，其描述較為具體和詳細，但並不能因此而理解為對發明專利範圍的限制。應當指出的是，對於本領域的普通技術人員來說，在不脫離本技術構思的前提下，還可以做出若干變形和改進，這些都屬於本技術的保護範圍。因此，本技術專利的保護範圍應以所附權利要求為準。