一種宮頸細胞液基塗片人工智慧輔助閱片系統的製作方法
2023-04-29 02:12:46 1
本發明涉及醫學細胞圖像處理領域，具體涉及一種宮頸細胞液基塗片人工智慧輔助閱片系統。
背景技術：
宮頸癌是發生於子宮頸部的惡性腫瘤，它與高危型hpv感染存在著密切的關係。宮頸癌前病變的早期發現、診斷及治療是降低子宮頸癌發病率、死亡率的策略之一。宮頸癌篩查方法簡便經濟，很多國家採用篩查手段控制子宮頸癌發病率、死亡率，降低其疾病負擔。
2008年至2016年，北京市共完成宮頸癌免費篩查200餘萬人，檢出宮頸癌及癌前病變4000餘例，宮頸細胞學陽性檢出率2.3％，根據國外資料結合我國部分地區的研究數據，專家推測我國正常人群中宮頸細胞學的陽性檢出率大致在5-7％之間，而目前北京的檢出率與這一標準差距較大。
宮頸細胞液基塗片人工智慧輔助閱片本身對於減輕閱片工作者的勞動強度、提升閱片準確率和工作效率、應用於大批量的宮頸癌細胞學普查等方面將產生積極的作用，其遵循醫療市場的發展規律與需要，符合國家健康醫療大數據的研究布局，影像信息化和影像智能診斷在醫療大數據產業中具有重要地位。
美國和歐洲一些著名的研究機構已經開始進行宮頸細胞定量分析和輔助診斷的相關研究，例如美國豪洛捷公司的玻片掃描影像分析系統，其能判讀宮頸細胞液基塗片，一方面系統不能給出最終的分級診斷結果，其功能是從塗片中選擇22個視野供醫師判讀，醫師可以不對其他視野進行判讀，以提高閱片的效率；另一方面系統只能判斷該公司自己生產的液基塗片，針對其它公司的液基塗片不能進行判斷，這樣就造成了閱片系統的通用性。國內的武漢蘭丁醫學專注於宮頸癌篩查，開發出基於圖像的dna定量分析的自動宮頸癌細胞檢測系統，但其在數據分析方面缺乏各異細胞的特徵提取，也未能給出判斷結果的可解釋性。
現有的宮頸細胞定量分析和輔助診斷方法仍存在明顯缺陷，宮頸細胞分析技術的研究尚處於起步階段，為進一步深化宮頸細胞學領域的臨床及研究需要，需充分利用宮頸細胞形態結構信息、空間鄰域信息和顏色分布信息建立準確的細胞圖像分割，充分利用宮頸細胞資料庫和宮頸細胞臨床診斷規律建立宮頸細胞定量分析和智能輔助診斷框架，為基於宮頸細胞液基塗片人工智慧輔助閱片系統提供軟體平臺。
技術實現要素：
本發明的目的在於，克服目前宮頸細胞定量分析和輔助診斷存在的上述問題；基於現有宮頸細胞學領域知識，通過深度學習技術學習並提取宮頸細胞的關鍵特徵、自動分割和識別液基塗片上細胞的癌變區域和類型，最終達到縮短閱片時間、降低漏診誤診率的目的，為宮頸細胞液基塗片人工智慧輔助閱片技術提供解決方案，最終實現宮頸細胞定量化評價和輔助智能診斷的方法學突破。
為了實現上述目的，本發明提出了一種宮頸細胞液基塗片人工智慧輔助閱片系統，所述系統包括：
細胞圖像採集模塊，用於使用塗片自動掃描儀重疊式地進行掃描保存細胞圖像；
細胞圖像預處理模塊，用於對細胞圖像進行預處理；
細胞圖像檢測分割模塊，用於對圖像細胞的不同細胞成分進行自動檢測，同時對同一細胞成分中細胞核、細胞質、背景進行自動分割；採用改進的活動輪廓模型和快速區域卷積神經網絡檢測，又輔以細胞特徵和多尺度水平等算法對分割結果進行微調與優化；
細胞快速分級識別模塊，用於對分割後的圖像進行識別，區分為單個細胞或細胞團簇；採用附加知識領域的雙流卷積神經網絡和構建的細胞知識圖譜對單個細胞進行分別進行分級識別，分別得到第一種分級結果和第二種分級結果；採用細胞團簇的雙流卷積神經網絡模型實現不可分細胞團簇的識別；和
判讀和後處理模塊，用於對單個細胞的第一種分級結果和第二種分級結果進行聯合判讀，進行衝突處理，得到單個細胞的分級結果；所述衝突處理用於解決各種特徵指向不同的判讀結果時，綜合各種因素，消除衝突，做出明確可靠的判讀；然後利用知識圖譜和類活動映射實現宮頸細胞識別過程的可讀性、宮頸細胞識別結果的可解釋性。
上述技術方案中，所述細胞圖像採集模塊的實現過程為：採用目鏡四十倍放大，掃描路徑為矩形，掃描方式為重疊式掃描，使得掃描範圍與液基塗片細胞所在範圍全部覆蓋。
上述技術方案中，所述預處理包括：採用雙邊濾波器對圖像進行去噪，該濾波器是由兩個函數構成：一個函數是由幾何空間距離決定濾波器係數，另一個由像素差值決定濾波器係數；然後使用形態學處理對圖像的邊緣進行修補，填充空洞並去除細的連接，最後使用直方圖均衡化來增加細胞核與細胞質的對比度。
上述技術方案中，所述細胞圖像檢測分割模塊的具體實現步驟為：
步驟s1)對預處理後的細胞圖像進行前背景粗分割，提取細胞所屬的區域；
步驟s2)對粗分割後的細胞圖像進行細胞成分的檢測分割，使用快速區域卷積神經網絡分割出不同類型的細胞；
步驟s3)檢測並分割宮頸細胞細胞核；
步驟s4)根據細胞核的特徵參數篩選細胞核，得到最終的候選細胞核；
步驟s5)判斷步驟s2)中得到的細胞類型是否為細胞團簇，如果不是，則使用活動輪廓模型以及先驗模板進行細胞質區域的分割；否則，轉入步驟s6)；
步驟s6)綜合細胞核與細胞質的分割結果與領域知識進行後處理，完成整個宮頸細胞的有效分割。
上述技術方案中，所述快速區域卷積神經網絡選用卷積神經網絡的vgg16的網絡結構，輸入圖像的大小為515*512，最終細胞成分的檢測類別分為5類：鱗細胞、腺細胞、頸管細胞、化生細胞以及背景素質，除鱗細胞和背景素質外的細胞成分都定義為不可分的細胞團簇。
上述技術方案中，所述步驟s5)中的使用活動輪廓模型以及先驗模板進行細胞質區域的分割的具體過程為：
採用了改進的活動輪廓模型，加上能量函數以及形狀先驗信息，迭代地進行輪廓的優化，得到細胞質的精確邊界；
能量函數e(u)為：
e(u)＝λ1es(u)+r(u)
其中es(u)是形狀先驗，r(u)是正則項，用於保證分割邊界的平滑性，λ1為可學習的參數；形狀先驗es(u)為：
其中，h為黑塞矩陣。
上述技術方案中，所述細胞圖像檢測分割模塊的具體實現步驟為：
步驟1)對分割後的宮頸細胞圖像進行預處理操作；
步驟2)判斷預處理後的細胞圖像是否為單個細胞，如果是，轉入步驟3)，否則，該圖像為不可分的細胞團簇，轉入步驟6)；
步驟3)確定可計算的細胞參數，然後計算細胞參數特徵；
步驟4)建立細胞知識圖譜推理判斷模型，並將細胞參數特徵輸入該模型，得到單個細胞的第一種分級結果；
步驟5)構建附加領域知識的雙流卷積神經網絡模型，將細胞參數特徵和細胞圖像輸入雙流卷積神經網絡模型，得到單個細胞的第二種分級結果；
步驟6)構建細胞團簇的雙流卷積神經網絡模型，並使用該模型對不可分細胞團簇進行細胞團簇的分級識別，得到細胞團簇的分級結果。
上述技術方案中，所述附加領域知識的雙流卷積神經網絡的一路輸入為步驟3)得到的細胞參數特徵，另外一路輸入為單個細胞圖像，大小統一歸一化為256*256像素值，經過5個級聯的卷積池化組合模塊隱式地提取到細胞圖像的特徵；其中最重要的卷積操作的卷積核大小採用7*7大小，步長選擇大小為1，特徵圖個數選取為96個，該卷積操作為：
上式中，m表示選擇的輸入特徵圖的集合，wij表示權重，bj為每一個特徵圖輸出加上的一個額外偏置，然後將提取的1096維特徵加上細胞領域知識可計算的20維特徵拼接到一起，輸入到雙流卷積神經網絡的全連接層和分類層。
上述技術方案中，所述細胞團簇的雙流卷積神經網絡的一路輸入為：細胞核之間的排列規則的特徵，另外一路輸入是與該細胞參數對應的細胞團簇的宮頸細胞，宮頸細胞輸入大小統一歸一化為512*512像素值，經過8個級聯的卷積池化組合模塊隱式地提取到細胞圖像的特徵；其中最重要的卷積操作的卷積核大小採用5*5大小，步長選擇大小為2，特徵圖個數選取為108個。
本發明的有益效果是：
1、本發明的系統針對病變宮頸細胞系統具有高敏感性，針對正常宮頸細胞具有高特異性，整個輔助閱片系統無需人工參與，大大減輕閱片工作者的勞動強度。
附圖說明
圖1為本發明的宮頸細胞液基塗片人工智慧輔助閱片系統的組成圖；
圖2為本發明的宮頸細胞圖像檢測分割模塊的示意圖；
圖3為本發明的宮頸細胞快速分級識別模塊的示意圖。
具體實施方式
下面結合附圖對本發明的較佳實施例進行詳細闡述，以使本發明的優點和特徵能更易於被本領域技術人員理解，從而對本發明的保護範圍做出更為清楚明確的界定。
如圖1所示，一種宮頸細胞液基塗片人工智慧輔助閱片系統，所述系統包括：
細胞圖像採集模塊，用於使用塗片自動掃描儀重疊式地進行掃描保存細胞圖像；其中，採用目鏡四十倍放大，掃描路徑為矩形，掃描方式為重疊式掃描，使得掃描範圍與液基塗片細胞所在範圍可以全部覆蓋；
例如，針對一幅2萬*2萬像素的圖像可以得到20張掃描後的宮頸細胞圖像。
細胞圖像預處理模塊，用於對細胞圖像進行預處理，包括：採用雙邊濾波器對圖像進行去噪，該濾波器是由兩個函數構成：一個函數是由幾何空間距離決定濾波器係數，另一個由像素差值決定濾波器係數；然後使用形態學處理對圖像的邊緣進行修補，填充空洞並去除細的連接，最後使用直方圖均衡化來增加細胞核與細胞質的對比度。
細胞圖像檢測分割模塊，用於對圖像細胞的不同細胞成分進行自動檢測，同時對同一細胞成分中細胞核、細胞質、背景進行自動分割；採用改進的活動輪廓模型和快速區域卷積神經網絡檢測，又輔以細胞特徵和多尺度水平等算法對分割結果進行微調與優化；
如圖2所示，具體實現步驟為：
步驟s1)對預處理後的細胞圖像進行前背景粗分割，提取細胞所屬的區域；
採用9個閾值進行整個細胞圖像的噪聲的去除；然後採用sift邊緣檢測和多尺度分水嶺算法得到前景區域，sift對旋轉、尺度縮放、亮度變化保持不變性，對視角變化、仿射變換、噪聲也保持一定程度的穩定性；最後針對分割出的區域進行優化微調，採用k均值聚類算法將鄰近的像素合併，本發明聚類算法的團簇數選擇為3，即分為細胞質、細胞核和背景三個類別。
步驟s2)對粗分割後的細胞圖像進行細胞成分的檢測分割，使用快速區域卷積神經網絡分割出不同類別的細胞及背景素質；
首先針對訓練樣本進行數據的清洗整理，再採用深度學習算法中的快速區域卷積神經網絡進行細胞成分的檢測分割。其訓練階段選擇端到端的訓練方式，模型選用了卷積神經網絡的vgg16的網絡結構，輸入圖像的大小為515*512，最終細胞成分的檢測類別分為5類：鱗細胞、腺細胞、頸管細胞、化生細胞以及背景素質，本發明中將除鱗細胞外的四種類別的細胞成分都定義為不可分的細胞團簇。考慮到人工智慧輔助閱片後續的分級識別步驟，此處將不可分的細胞團簇區域詳細分為腺細胞、頸管細胞、化生細胞以及背景素質四類，其中背景素質不屬於細胞範疇，不參與後續的分級識別。
步驟s3)檢測並分割宮頸細胞細胞核；
採用了改進的隨機森林的算法，通過提取細胞核的5種特徵進行細胞核區域的分割，森林中樹的個數選擇20，每次選擇最優特徵時的特徵個數選擇為logn，葉子節點的最小個數選擇為3；
為了防止漏掉細胞核區域又輔以多尺度分水嶺算法進行細胞核的檢測，通過選取5種不同的參數進行合併，將待分割圖像分為合併程度高和合併程度低的不同尺度的細胞圖像，再將兩者的檢測到的結果結合起來，作為細胞核的候選區域。
步驟s4)根據細胞核的特徵參數篩選細胞核，得到最終的候選細胞核；
依據了細胞核的特徵參數，包含細胞核大小，細胞核的圓形度，細胞核的深度可計算特徵。例如細胞核的大小的參數是通過直接計算細胞核區域邊界內的像素的總和來表示，具體做法如式1。
其中f(x,y)為二值圖像上某點(x,y)的像素值，取值為1時表示該像素點屬於目標區域，取值為0時表示該像素點屬於背景區域,其面積就是統計f(x,y)為1的像素個數。
步驟s5)判斷步驟s2)中得到的細胞類型是否為細胞團簇，如果不是，則使用活動輪廓模型以及先驗模板進行細胞質區域的分割；否則，轉入步驟s6)；
採用了改進的活動輪廓模型，加上能量函數以及形狀先驗信息，迭代的進行輪廓的優化，得到細胞質的精確邊界；
能量函數e(u)為：
e(u)＝λ1es(u)+r(u)
其中es(u)是本發明提出使用的形狀先驗，r(u)是正則項，保證分割邊界的平滑性，λ1為可學習的參數；形狀先驗es(u)為：
其中h為黑塞矩陣(hessianmatrix)。
步驟s6)綜合細胞核與細胞質的分割結果與領域知識進行後處理，完成整個宮頸細胞的有效分割。
針對上述步驟的分割結果進行後處理，主要使用醫學圖像處理中的形態學操作對圖像的邊緣進行修補，填充空洞並去除細的連接，主要採用開操作和閉操作，其中模板的參數設置為[33]的大小，以及濾波去噪等方法進行邊界的平滑，其中參數的設置w為2，方差sigma採用[20.1]，從而得到最終的精準邊界信息。
細胞快速分級識別模塊，用於對分割後的圖像進行識別，區分為單個細胞或細胞團簇；採用附加知識領域的雙流卷積神經網絡和構建的細胞知識圖譜對單個細胞進行分級識別；採用細胞團簇的雙流卷積神經網絡模型實現不可分細胞團簇的識別；
如圖3所示，具體實現步驟為：
步驟1)對分割後的宮頸細胞圖像進行預處理操作；
掃描分割後的宮頸細胞區域，並進行細胞邊界像素值填充，將細胞邊界外的像素值填充為0，然後將填充像素值後的細胞圖像統一歸一化至256*256的像素值大小。
步驟2)判斷預處理後的細胞圖像是否為單個細胞，如果是，轉入步驟3)，否則，該圖像為不可分的細胞團簇，轉入步驟7)；
採用圖像處理中的分水嶺算法實現，若細胞圖像中的細胞核數目為1，則判斷是單個細胞。
步驟3)確定可計算的細胞參數，包括細胞核的大小、深度、形狀，細胞質的大小、形狀和核漿比，然後計算細胞參數特徵；
以細胞核的大小為例，細胞核的大小參數是通過直接計算細胞核區域邊界內的像素的總和來表示：
其中f(x,y)為二值圖像上某點(x,y)的像素值,取值為1時表示該像素點屬於目標區域,取值為0時表示該像素點屬於背景區域,其面積就是統計f(x,y)為1的像素個數。
步驟4)建立細胞知識圖譜推理判斷模型，並將細胞參數特徵輸入該模型，得到細胞的第一種分級結果；
步驟5)構建附加領域知識的雙流卷積神經網絡模型，將細胞參數特徵和細胞圖像輸入雙流卷積神經網絡模型，得到細胞的第二種分級結果；
如圖2所示，雙流卷積神經網絡的一路輸入為步驟3)得到的細胞參數特徵，另外一路輸入為單個細胞圖像，大小統一歸一化為256*256像素值，經過5個級聯的卷積池化組合模塊隱式地提取到細胞圖像的特徵。其中最重要的卷積操作的卷積核大小採用7*7大小，步長選擇大小為1，特徵圖個數選取為96個，該卷積操作為：
m表示選擇的輸入特徵圖的集合，wij表示權重，bj為每一個特徵圖輸出加上的一個額外偏置，然後將提取的1096維特徵加上細胞領域知識可計算的20維特徵拼接到一起，輸入到雙流卷積神經網絡的全連接層和分類層。根據tbs標準診斷，將不同細胞的分級識別結合在一起，一共分為9類。
如圖3所示，細胞學特徵完全根據tbs判斷標準，抽取是採用判斷標準的語言。細胞可以在不同抽象層次上進行多種分類，從是否存在病變的層次上，細胞主要分為正常細胞和異常細胞兩大類，正常細胞，包括柱狀細胞、中層細胞、表層細胞；異常細胞包括輕度鱗狀上皮內病變細胞、中度鱗狀上皮內病變細胞、重度鱗狀上皮內病變細胞、鱗狀細胞癌細胞。
判讀規則庫也完全依據閱片醫生的判讀過程與思想，例如細胞質的顏色特徵映射，對於宮頸病變有判讀意義的顏色有藍色、粉紅色、橘黃色，細胞學術語通常稱為嗜鹼性、嗜酸性、嗜橘黃色，即嗜鹼性的細胞細胞質表現為藍色、嗜酸性細胞細胞質表現為粉紅色、嗜橘黃色細胞細胞質表現為橘黃色。
步驟6)構建細胞團簇的雙流卷積神經網絡模型，並使用該模型對不可分細胞團簇進行團簇細胞的分級識別；
細胞團簇的雙流卷積神經網絡的一路輸入為：細胞核之間的排列規則的特徵，另外一路輸入是與該細胞參數對應的細胞團簇的宮頸細胞，本發明將宮頸細胞輸入大小統一歸一化為512*512像素值，經過8個級聯的卷積池化組合模塊隱式地提取到細胞圖像的特徵。其中最重要的卷積操作的卷積核大小採用5*5大小，步長選擇大小為2，特徵圖個數選取為108個。
判讀和後處理模塊，用於對單個細胞的第一種分級結果和第二種分級結果進行聯合判讀，進行衝突處理，得到單個細胞的分級結果；利用知識圖譜和了cam(classactivationmapping，類活動映射)的方法實現宮頸細胞識別過程的可讀性、宮頸細胞識別結果的可解釋性。
例如某個細胞的第一種分級結果和第二種分級結果都為鱗狀細胞癌的結果，那麼則判讀該細胞為鱗狀細胞癌。
衝突處理主要解決各種特徵指向不同的判讀結果時，綜合各種因素，消除衝突，做出明確可靠的判讀。例如某個細胞經過第一分級(雙流卷積神經網絡模型)得到的結果為鱗狀細胞癌，而經過第二分級(知識圖譜模型)得到的結果為低級別鱗狀上皮內病變，此種情況屬於結果衝突，針對衝突的處理本發明採用的方式是將該細胞標註出來，最終的結果可由閱片醫師來決定。
以上所述的具體實施方式，對本發明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發明的具體實施方式而已，並不用於限定本發明的保護範圍，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。