圖像分析的製作方法

2023-05-21 03:51:21

專利名稱：圖像分析的製作方法
技術領域：
本發明涉及數字圖像的自動分析。本發明尤其涉及在組織或細胞標本的數字圖像中的不同細胞分組的自動識別，並尤其用於根據在組織切片的數字圖像中識別的細管結構(tubule formation)和上皮細胞的相對比例來評估乳房組織中癌症的存在和嚴重程度，並且在此主要描述的本發明正是關於這一方面。然而，本發明也可以應用於呈現適合於以類似方式識別的圖像成分的各種其他種類結構的分析中，例如可以應用於包含特定類型的晶體形成的礦物標本的分析。
背景技術：
每年有數以千計的婦女不必要地死於乳腺癌，如果足夠早地檢測到該癌症，則理論上生存的可能性很高。如果在一個樣本中未察覺癌組織的存在，則到下一次進行檢查時，癌症可能已經發展並大大降低了存活的機會。因此，在樣本中檢測癌組織的重要性無論如何強調也不為過。
典型的國家乳房篩選程序使用乳房X線照相術進行觸摸不到的機體損害的早期檢測。一旦檢測到代表乳腺癌的機體損害，則取組織樣本並由受過訓練的組織病理學家進行檢查以建立診斷和預後。這是一個耗費時間、勞動密集和代價昂貴的過程。執行這種檢查的資格不容易獲得並需要頻繁地複查。檢查本身需要由眼睛分析彩色圖像，以觀察者之間和觀察者自身分析中值得考慮的變化為特徵的高度主觀的過程，即不同的組織病理學家和相同的組織病理學家在不同的時間對相同的樣本可能出現觀察的變化。例如，研究顯示檢查同樣十個樣本的兩個不同的組織病理學家對這些樣本中的三個會給出不同的鑑定，即有30％的誤差。這一問題由一些樣本的複雜度而加重，尤其在沒有一個確定的結論的邊緣情況下更是這樣。如果沒有足夠可用的受過訓練的人員，則這對於完成該分析的壓力造成影響，從而可能會造成錯誤的評估和診斷的延遲。
這些問題意味著實際上在乳腺癌篩選的程度和效果上有局限，因此一些婦女不能被正確識別為具有該疾病，並且在一些情況下，這樣的失敗可能造成過早的死亡。相反，其他人被錯誤地診斷為有乳腺癌，並因此可能不必要地遭受損傷性的治療。

發明內容
因此，本發明的目的是提供一種圖像分析方法，它能夠被實現為一種魯棒(robust)、客觀和划算的工具以輔助乳腺癌的診斷和預後，儘管如前所述本發明也可以應用於其他領域。
為了幫助理解這一目的，參照附圖1，附圖1是典型地出現在乳房組織的組織載玻片(slide)中的各種對象的簡化表示。存在包括諸如在由上皮層2包圍的用1表示的輸送管(duct)的細管結構。輸送管顯示為各種形狀的小的、明亮的區域，同時上皮細胞基本上顯示為更有紋理且更暗。諸如用3標識的脂肪細胞顯示具有與輸送管1的同樣的強度，但是通常基本上更大。與輸送管1和脂肪細胞3同樣強度的伸長區域也可能存在，比如用4表示的區域，並且這是組織中的撕裂(tear)或由收縮引起的裂縫的特徵。載玻片的其餘部分包括「背景」組織5，它一般顯示為比輸送管1、脂肪細胞3和撕裂/裂縫4更暗，但比上皮細胞2更亮並且紋理更均勻。健康的組織應當包含大量的細管結構，該細管結構包括通常具有兩個上皮細胞邊界的輸送管。在癌組織中，細管往往斷裂而上皮細胞增生，所以任何給定樣本中這些結構之間的面積比能夠用作癌症存在和嚴重程度的指示。更特別的是，組織病理學家按照慣例作出尺度M的主觀評估，由下式給出M=TD+E...(1)]]>其中T是由細管結構(輸送管加兩個上皮細胞的邊界)覆蓋的載玻片中的表面積，D是由輸送管覆蓋的表面積，以及E是由所有上皮細胞(包括T中的那些)覆蓋的表面積，並且使用閾值將該尺度的值的他們的評估與癌症等級相聯繫，典型地如下所示
尺度值 癌症等級≥75％1級≥10％，＜75％2級＜10％3級表1.用於癌症嚴重程度的組織病理學閾值其中1級最輕，而3級最嚴重。
如果相同或類似尺度的客觀評估通過一個圖像分析的自動方法而獲得，則尤其需要區分在一個包括上皮細胞的圖像中的那些對象，因此一方面，本發明在於一種用於對包括像素陣列的數字圖像進行自動分析的方法，該方法包括下列步驟利用在所選擇像素的鄰域(neighbourhood)中強度的局部平均和局部標準偏差的特性從所述的一些或全部像素中生成特性同現矩陣(property co-occurrencematrix)(PCM)；以及作為分析所述PCM的結果通過將所選擇的像素標記為屬於特定分類來分割圖像。
本發明也在於包括執行前述方法的裝置的用於數字圖像的自動分析的設備，以及在於一種包括在其上具有適於引起計算機執行上述方法的電腦程式代碼裝置的計算機可讀介質的電腦程式產品和一種包括這樣做的指令的電腦程式。
特性同現矩陣(PCM)例如在Electronics and CommunicationEngineering Journal的1993年第5卷第2期第71-83頁(Co-occurrence Matrices for Image Analysis，JF Haddon和JF Boyce)進行了描述，並且是例如在IEEE Trans.Syst.，Man，Cybern.的1973年Vol SMC-3的第610-621頁(Texture Features for ImageClassification，RM Haralick，K Shanmugan和I Dinstein)中描述的標準灰度級同現矩陣的擴展或概括。它們是多維的直方圖，其中每個元素是所選擇的特性同時出現的頻率。通過使用圖像像素的鄰域中局部平均和局部標準偏差的特性生成一個PCM，因此這樣的PCM的分析能夠區分構成比如說相對較低局部平均和相對較高局部標準偏差(比如在本發明的這一方面的優選實施方式中表示上皮細胞的暗的、有紋理的區域)區域的像素和構成比如說相對較高局部平均和相對較低局部標準偏差(比如在本發明的這一方面的優選實施方式中表示「背景」組織的更亮、更均勻的區域)區域的像素，或者區分在本發明的其他應用中的那些特性的其他組合的區域的像素。
現在將參照附圖藉助於例子並在用於在乳房的潛在癌的組織載玻片的數字圖像中的細管結構的基礎上對癌症分級的自動系統的上下文中更詳細地描述本發明的這些和其他方面。


在附圖中圖1是乳房組織的組織載玻片中典型對象的簡化表示，該組織可以按照本發明的優選實施例進行分析；圖2是在用於獲得和分析數位化圖像的優選實施例中設備的框圖；圖3示出優選實施例中主要算法部分的布局和處理流程；圖4是一幅圖像中像素的示意圖；圖5示出用於在優選實施例中確定掩蔽(mask)點的過程；圖6(a)示出了直方圖中兩個峰值之間的一個谷，而圖6(b)中沒有谷；圖7是示出用於PCM軸的不同標記和邊緣分布的圖；圖8(a)示出原始直方圖，而圖8(b)示出在兩側上延伸的這一零點，圖8(c)-(f)示出通過在2、4、8和16個二進位數(bin)上進行平均的逐漸增大標度的同一個直方圖；對於每一種解析度示出所有峰值和谷的位置，這是與特定峰值或谷相關聯的軌跡長度(tracklength)；圖9示出一個PCM和使用EM算法擬合的兩個高斯分布的位置和參數；所述分布的半徑以兩個標準偏差畫出；圖10示出如何計算從PCM中的一個地址到擬合的分布之間的距離，從而能夠確定一個像素的分割值；圖11示出與像素X相鄰的8個像素(a，b，c，d，e，f，g，h)；圖12示出在優選方法的過程中在圖像分割之後的幾個斑點(blob)的例子；以及圖13是優選方法的過程中形象化的擴大(dilation)結果。
具體實施例方式
通用系統結構圖2示出用於執行本發明的進行圖像捕獲和處理的基於典型計算機的系統。各切片從乳房組織樣本中切割，放在載玻片上並且按照傳統技術染色。一個病理學家在顯微鏡21中細看載玻片，選擇按照將執行的分析看起來最有希望的區域，並利用數位相機22對它們進行拍攝。來自照相機22的圖像被下載到個人計算機(PC)23，在那裡圖像按照以下描述進行存儲和處理。在本發明人使用的系統中，顯微鏡提供10X光學放大，並且數字圖像是橫向1476像素乘以縱向1160像素。可以使用其他放大倍率和數位化尺寸而不損害以下更詳細描述的算法，假如諸如細胞大小、擴大中的最大橋接間隙和形狀標準之類的一些系統參數相應進行調整的話。顯微鏡和照相機可以由其他適當的設備如高解析度平板掃描儀等來替換。自動設備能夠替換顯微鏡/數位化設備組合。PC也可以用適當處理能力的任何通用計算機或專用硬體來替換。這裡描述的技術能夠應用於數字成像，而不管數據是怎樣獲得的。
處理概述圖3示出在本發明的優選實施例中的處理部分的概略圖，並且這些將在隨後的部分中更詳細地單獨論述。但是，簡單地說，該處理如以下所述進行。
在初始數位化之後，如果需要，在第一步驟31將校正圖像的彩色平衡和暈光(vignetting)。在步驟32，識別掩蔽點以基於強度值的局部標準偏差和局部平均從在步驟33生成的PCM中排除特定像素(它們既不是上皮細胞的部分，也不是「背景」組織)。在步驟34分析PCM分布以區分分別屬於上皮細胞和「背景」組織的像素，並且在步驟35通過將像素標記為上皮或背景(來自步驟34)或掩蔽(來自步驟32)來分割圖像。具有相同標記的相鄰像素被分組為斑點，並進行過濾以在步驟36清潔圖像(或者在掩蔽像素將在步驟32被分組並過濾的情況下)。因此在步驟37識別和再次標記具有代表輸送管的形狀和尺寸特徵的標記為掩蔽的像素的斑點。接著在步驟38將所得到的輸送管斑點擴大一個對應於兩個上皮細胞的量來與標記為上皮的斑點相鄰，從而它們現在覆蓋一個對應於細管結構面積的一個面積。在步驟39，基於擴大後的輸送管像素與輸送管和上皮像素的總數的比率計算一個尺度，並且該尺度在步驟40被轉換為癌症嚴重程度的指示和/或在步驟41用於訓練分類器。
數位化和校準圖2所示的顯微鏡21、照相機22和計算機23的組合提供如圖4所示物理尺寸為L1×L2並且解析度為N×M像素單元的數字圖像。因此，每個像素的物理尺寸為Δx×Δy，或者L1/M×L2/M。每個像素將具有在圖像中的一個地址(x，y)，它通常用向量x表示。每個像素具有灰度級強度I或與它相關聯的顏色元組。在優選實施例中和本發明開發中使用的設備中，每個像素具有與它相關聯的紅、綠和藍強度(Ir，Ig，Ib，)並且是正方形。
在步驟31中，利用載玻片的清晰部分來拍攝一個校準圖像。與顯微鏡相關聯的照明的強度增強，直到在一個或多個波段(紅、綠或藍)中的幾個像素的最大強度處於飽和或接近飽和。應當使儘可能少的像素飽和，但是一般大約在1％。任何透鏡系統均引起諸如圖像中的暈光之類的變化，並且這影響整個圖像的強度的均勻性。如果這些變化嚴重的話，則它們在應用任何圖像處理算法之前可能需要進行校正。在使用的設備中，暈光效應引起圖像的中間和角落之間高達10％的強度變化。這可能影響算法的功效並且最好進行校正。
在優選實施例中，圖像暈光通過將像素x的彩色分量縮放F倍進行粗略校正，其中Fk(x)=SIk(x)Ck(x)maxxCk(x)...(2)]]>其中S是定標因子。在優選實施例中，S＝0.95。下標k指波段；紅、綠、藍或灰度或適當的成分。Ck是校準圖像的第k個波段，並且函數max表示索引(index)x的最大值。在以上例子中，該處理打算使圖像變得一致以便大大小於5％。但是，將進行分析的區域能夠進一步被限制，如果想要可以通過在圖像上強制加入一個橢圓的掩蔽，從而橢圓的軸是圖像尺寸的95％。這進一步有助於確保圖像強度在將被分析的區域中充分一致。
彩色平衡也應當一致並且在不同的數位化之間可複製。如果使用紅、綠和藍波段的組合，比如在一個灰度級圖像中，則這可能成為關鍵。彩色平衡校正能夠通過假定校準圖像中的最大灰度級強度對應於峰值白色並且強制紅、綠和藍分量相等且為最大強度而獲得。因此，任何像素的紅、綠和藍分量接著能夠被線性定標。也可能使用認為應當是峰值白色的幾個像素的平均Igr(x)=Ir(x)+Ig(x)+Ib(x)3...(3)]]>Ir(x)=Ir(x)ScIrw]]>Ig(x)=Ig(x)ScIgw...(4)]]>Ib(x)=Ib(x)ScIbw]]>其中，Igr是從紅、綠和藍分量形成的灰度級圖像。
Irw、Igw、Ibw是對應於應當是峰值白色的像素(或對應於所述像素的那些分量的平均值)的紅、綠和藍分量。
Sc是確定實際峰值白色強度的定標因子；這一般為255。
該處理假定峰值黑色對應於(0，0，0)並且不需要進行校正。對等式(4)的較小改變將使得這一點考慮進去。通過對將進行分析的數位化圖像運用彩色和暈光校正，於是產生的圖像具有足夠的均勻性以適合於以下的分析。如果沒有顯著的強度變化就能夠獲得一幅圖像，則不需要校準。
以下的處理步驟能夠在單個波段圖像上操作，該圖像可以是紅、綠或藍分量或者它們的某一組合，比如從彩色分量的平均形成的灰度級圖像。在實踐中，已經發現當使用傳統的染色時，紅波段包含最多用於在圖像的相關部分之間區分的信息。
生成特性同現矩陣特性同現矩陣(PCM)是這一算法的基礎。如前面表示的，它們是對於由Haralick等人定義的標準灰度級同現矩陣的擴展或概括。PCM是多維直方圖，其中每個元素是特定特性在一幅圖像中同現的頻率。形式上，一個PCM S可以定義為
S(l1,l2,......,lK)=x(l1;P1(x))(l2;P2(x))......(lK;PK(x))]]>=xk=1,K(lk;Pk(x))...(5)]]>其中Pk是像素x的第k個特性δ是Kronecker delta函數，從而 在優選實施例中，在步驟33生成的PCM是2維的，並且所用的兩個特性是分別在鄰域Δm和Δσ上計算的強度的局部平均和局部標準偏差。這些鄰域是基於上皮細胞的大小。鄰域越大，邊界的定位越差，但是局部平均和標準偏差的估計越精確。在優選實施例中，已經實現一種折衷，其中Δm和Δσ的典型值分別是7和13。典型的上皮細胞對於用於這種情況的橫向放大約為13個像素。
一個掩蔽成分M已經引入到同現矩陣的形成中，從而S(l1,l2,......,lK)=x(1;M(x))k=1,K(lk;Pk(x))...(6)]]>其中 用在優選實施例中的特性是以標準方式計算的局部平均和局部標準偏差，但是掩蔽了將被排除的像素，即P1(x)=M(x)v=mM(v)I(v)v=mM(v)...(8)]]>P2(x)=M(x)v=M(v)v=M(v)I(v)2-(v=M(v)I(v))2v=M(v)(v=M(v)-1)...(9)]]>如果像素x將被省略，則P1和P2的值是零，但是已經從PCM的形成中被排除。如果等式(8)或(9)的結果是不確定的(比如除以0)，則結果從PCM的形成中被排除。這沒有明確地在等式(7)中規定。
掩蔽點的識別在步驟33中PCM能夠從將進行分析的圖像中的所有像素來形成。但是，來自已知不感興趣的區域的像素將引起矩陣複雜度增加，並且降低感興趣矩陣的部分之間的差異。因此，在優選實施例中，使用如等式(7)定義的掩蔽操作來將特定像素從PCM的形成中排除，並在步驟32中進行識別。將排除的像素是以下那些●不是組織的一部分，即在樣本之外或撕裂的部分或由收縮引起的間隙。
●是脂肪組織的一部分。
●是輸送管的一部分。
●掩蔽在沒有用來計算局部平均的像素，或有1個或更少用來計算局部標準偏差的像素的位置。
可以使用識別這些像素的任何算法。但是，在優選實施例中使用圖5所示的算法。將被省略的像素的特徵為接近飽和(與載玻片上的其他數據相比)，並且具有很低的局部標準偏差。如果有大量像素將被省略，則在由圖像中的所有像素形成的灰度級直方圖Hg中可能有一個谷，例如圖6(a)中所示的61Hg(i)=x(i;I(x))...(10)]]>如果例如在圖6(b)中沒有設置閾值的適當的谷，則PCM從局部平均和局部標準偏差形成。這與在接下來的步驟33中形成的PCM不同，並比在接下來的步驟33中形成的PCM解析度更高。因為局部平均從鄰域中計算，並因此具有非整數值，所以有可能增加矩陣的解析度。例如，如果使用9個像素的鄰域，則解析度能夠增加9倍。實際上，增加一般不會這麼大。一個局部平均直方圖Hm通過把與用於低的局部標準偏差的標準偏差軸平行的PCM相加形成(參見圖7)Hm(i)=jS(i,j)...(11)]]>
其中PCM中的i索引是局部平均，以及j索引是局部標準偏差。如直方圖分析所確定的，直方圖Hm被限制在主峰值和次峰值的較低點之間，這將在下文中論述。
在設置掩蔽像素的優選實施例中過程的框圖在圖5中示出，並在下文中說明。關鍵目的是找到灰度級直方圖中或局部平均直方圖中的一個適當的閾值，從而輸送管細胞、脂肪和組織撕裂能夠從接下來步驟33中PCM的形成和分析中被省略。如果不能找到一個簡單的閾值，則使用一個基於更複雜的一組標準的閾值。具有一個閾值並不總是可能的或理想的，在這種情況下，不使用閾值操作，並且從接下來的PCM分析中不排除像素。
步驟 操作/測試動作51 形成直方圖Hg52 識別Hg中峰和谷的位置v＝主谷的位置p1，p2＝主峰和次峰的位置Hg(p1)＞Hg(p2)53 直方圖中有一個谷？否轉到步驟54是53a 測試谷。它在主峰之上？否轉到步驟54v＞p1？是53b 谷太低嗎？否使用谷作為閾值v＜200？ 來設置掩蔽點，轉到步驟59是轉到步驟5454 使用局部平均和標準偏差建立PCM55 從PCM的一部分建立局部平均直方圖Hm56 識別Hm中峰和谷的位置v＝主谷的位置p1，p2＝主峰和次峰的位置Hm(p1)＞Hm(p2)
57 直方圖中有一個谷嗎？ 否轉到步驟58設置默認閾值是57a測試谷。它在主峰之上？ 否搜索主峰之上直v＞p1？ 方圖中的另一個谷。
如果找不到谷則轉到步驟58是57b主峰的幅度大於次峰的X％？(次是使用谷作為閾峰在正被檢測的谷之上)。
值來識別包括在掩Hm(p1)＞XHm(p2) 蔽中的點。轉到步為了降低對噪聲的靈敏度，峰的幅 驟59。
度通過包括矩陣中相鄰元素的一個分量進行評估。這一般將通過用[121]或更大的算子進行卷積來完成。
X一般是150％否57c低於谷的至少Hm的X部分 是使用谷作為閾(fraction)正在被檢測嗎？ 值來識別包括在掩X一般是75％ 蔽中的點。轉到步驟9。
j=0v=1Hm(j)jHm(j)>X]]>否谷小於主峰和次峰幅度的是使用谷作為閾X部分平均嗎？X一般是80值來識別包括在掩％蔽中的點。轉到步驟59否轉到步驟58
58如果所有的測試都失敗了，則沒有掩蔽點要被設置，或者數量非常小。使用Hm中的一個備用閾值來設置從主峰到圖像中的最大強度之間的距離的X部分。這可能意味著沒有掩蔽點要被設置。X一般為0.7559結束可以使用任一適當的算法來確定直方圖Hg或Hm中峰和谷的位置和相對重要性。但是，在優選實施例中使用以下算法。
用確定峰和谷位置和涉及峰的「重要性」的尺度(軌跡長度)的多解析度方法來確定直方圖中的峰和谷。一個小的孤立的峰被認為與大的峰一樣重要。
直方圖進行零延伸從而它從-2n/2到23n/2，其中確定n從而2n是零延伸之前完全包含直方圖的最小二進位數。這是通過下述實現的首先延伸直方圖直到其二進位數等於2n並設置新的二進位數為零，並且接著在兩側進一步延伸直方圖50％從而它具有2n+1個二進位數並設置新的二進位數為零。接著通過平均二進位數組形成一組n個多解析度直方圖，從而連續直方圖具有22，23，24，.....2n-1，2n，2n+1個二進位數，以及通過在每個解析度用一個[1 -1]邊緣算子卷積並識別符號的變化來確定峰和谷的位置。直方圖是平坦的時候，則如果需要谷被適當調整。接著通過每個解析度跟蹤峰和谷的位置，峰和谷所在的位置解析度越高，則軌跡長度越大並且感覺的峰或谷的重要性越大。這樣的一個例子在圖8中示出，其中主(或最重要的)峰不是最高的。
該分析使得像素將被掩蔽並從用於把圖像分割為上皮和背景像素的步驟33的PCM的形成中排除。但是，非常小的孤立的像素組不應當被包括在掩蔽中。因此，識別出的像素用與以下參照步驟36更全面進行說明的相同的過程進行分組和過濾，對於斑點具有以下的標準。只有符合這些標準的像素組才被包括在掩蔽中。
標準 掩蔽如果符合所有的標準就接受X尺寸 ≥3
Y尺寸 ≥3面積 ≥9寬高比≥0.25密度 ≥0.25PCM中分布的分析必須確定步驟33中生成的PCM中的兩個主要的2維高斯分布N(m1x，s1x，m1y，s1y)和N(m2x，s2x，m2y，s2y)的位置和範圍。這種分布的一個例子在圖9中示出。在優選實施例中，這通過使用例如在Journal of Royal Statistical Society B，391-38，1977，3(Maximum Likelihood from Incomplete Data via the EMAlgorithm，AP Dempster，NM Laird和DB Rubin)中描述的期望最大化(EM)算法執行方案在步驟34中實現。標準EM算法能夠利用兩個步驟的迭代應用來實現模型與符合數據的隱藏參數混合，這兩個步驟的迭代應用估計用於混合模型的新參數，並且接著最大化該適合度。簡單地說

在優選實施例中，加入標準算法上的變化以使得將兩個分布的相關屬性強加上。在這種情況下，模型分量的高斯幅度由它們的x和y標準偏差的積來定標，即擬合的模型成為N(m1x,s1x,m1y,s1y)s1xs1y]]>和N(m2x,s2x,m2y,s2y)s2xs2y.]]>圖像分割在步驟35，圖像被分割為三種類型
●背景，它通常是亮的，並具有一個小的局部變化。
●上皮細胞，包括輸送管周圍的那些細胞，它們通常較暗，並具有較大局部變化。
●掩蔽像素。
這是一個硬分割任務T，其對於背景和上皮細胞是基於一個像素的局部特性形成的PCM中的地址和從該地址到PCM中最近的(規一化的)分布(由EM算法確定)的距離T(x)=(1;M(x))kk=1,2mink(meanm(I(x))-mkxRkskx)2+(sd(I(x))-mkyRksky)2;(meanm(I(x))-mkxRkskx)2+(sd(I(x))-mkyRksky)2...(12)]]>其中 和 (I(x))是局部鄰域Δm和Δσ分別在由向量x索引的圖像I中的局部平均和標準偏差。Rk是一個改變兩個分布的相對重要性的定標因子，一般R1＝1且R2＝0.8。
參照圖10這會很清楚。感興趣的地址是(x，y)，並且該算法試圖找到哪個擬合分布最接近這對應於I1和I2的最小值。這些距離能夠根據用適當的標準偏差並用定標因子R1和R2規一化的a，b，d和e確定。
這導致具有標記為掩蔽的、上皮或背景的像素的分割T具有以下值 清潔(cleanup)圖像在步驟36，將分割中已經標記為上皮或背景的並且與用一個8像素鄰域(見圖11)相同標記的像素相鄰的像素分組為斑點並按照以下步驟過濾。
清潔分割以消除小洞(與其周圍的標記不同的斑點)、小的孤立的斑點、行和任何其他簡單的贗象。使用的量度是斑點的X和Y尺寸、面積(按照像素數)、密度和寬高比。這些參數的值將涉及上皮細胞的放大倍數和尺寸。在具有X10大倍數的優選實施例中，如果需要則用於接受一組像素的標準能夠改變，但是典型的最小和最大值列在下表中。如果拒絕一個斑點，那麼用其周圍來代替它。
標準 上皮細胞-洞 上皮細胞-孤立的組如果符合任一標準就拒絕 如果符合所有標準就接受(即合併為細胞)X尺寸 ≤30 ≥35，≤10000Y尺寸 ≤30 ≥35，≤10000面積 ≤900≥3000寬高比≤0.15 ≥0.1密度 ≤0.1≥0.1密度被定義為在最小閉合矩形的面積上的斑點中的像素數。寬高比是斑點的短軸和長軸的比。
藉助於例子，圖12示出分組成斑點的上皮(較暗的陰影)和背景(較亮的陰影)像素。上皮斑點121和122具有分別包括背景斑點123和124的洞，其中大洞123將被保留而小洞124將被拒絕並且再次標記為上皮。小的上皮斑點125、126和127將由於尺寸而被拒絕，而長的薄上皮斑點128將由於寬高比被拒絕，並且所有的都將被再標記為背景。
注意在該步驟36中，掩蔽像素(在步驟32中分組和過濾)被忽略，所以例如由於輸送管或脂肪細胞(在該階段標記為掩蔽)的存在引起上皮斑點中任何尺寸的洞被保留，但是為了便於說明在圖12中沒有示出。
識別輸送管像素在步驟37，標記為掩蔽的但滿足簡單形狀和尺寸標準的像素或斑點組被再次標記為輸送管像素。優選實施例中的典型值將是標準輸送管如果所有標準都滿足就接受X尺寸≥3，≤100Y尺寸≥3，≤100面積 ≥9，≤5000寬高比 ≥0.25密度 ≥0.25這些值不是特別關鍵的，但還是被選擇，從而拒絕長的組織撕裂、收縮裂縫和大多數脂肪細胞。
在這個階段，像素被標記為掩蔽、上皮、背景或輸送管，其值如下 擴大細管種子點步驟38的目的是以一個等於兩個一般上皮細胞直徑的量將步驟37中識別的輸送管像素的斑點擴大成周圍的上皮斑點，從而擴大的輸送管斑點於是等於原始的組織樣本中對應的細管結構的假定尺寸。
輸送管細胞應當由上皮細胞包圍。由於載玻片準備的方式，所以這可能不總是輸送管偶爾由背景細胞部分包圍的情況。已經標記為輸送管但其邊界沒有足夠的相鄰上皮細胞的任何斑點將被再次分類為掩蔽，而不是輸送管。在優選執行方式中，至少邊界的15％必須具有通過計數邊界像素確定的上皮細胞。
而且，在標記為輸送管的像素和標記為上皮的像素之間可能有非常小的間隙。這是由用在分割中的鄰域引起的。鄰域越大，該間隙就會越大。在優選執行方式中，通過重複應用以下的擴大技術直到整個擴大等於兩個上皮細胞的直徑來允許該擴大穿過比如說兩個像素的間隙。
有很多方法能夠用於擴大，最值得注意的是形態學。但是，在優選實施例中，圖像I用一個2維高斯核N(0，s)卷積以生成一個新的擴大圖像D。高斯核具有一個零平均和一個標準偏差s，從而高斯具有在半徑1內的值1，其大於將被橋接的間隙。更詳細地參考以下算法1.生成一個新圖像D，其中受到擴大的分割中的所有像素被設置為1，並且所有其他像素被設置為0。
2.圖像D用一個具有標準偏差的高斯核卷積，從而高斯的值在擴大的理想量時為1，即如果將被穿過的最大間隙是2個像素，那麼理想的擴大量是3個像素，並且來自中心的3個像素的高斯核的值將是1。卷積的結果被下捨入，即為值0或1。
3.擴大圖像中是1的以及將被擴大到原始圖像中的分類的所有像素都被設置為擴大分類，否則它們保留在原來的狀態。這意味著標記為輸送管的像素斑點能夠穿過另一個標記的間隙擴大到標記為上皮的斑點。能夠穿過的最大間隙是1，小於擴大量。
重複該算法的應用使得輸送管斑點穿過較小贗像擴大到上皮斑點而沒有不受控制的行為。
一個擴大的單個步驟用下式確定D(x)＝δ(T(x)；輸送管)D1(x)＝δ(int(D(x)N(0，s))；δ(T(x)；輸送管或上皮))·(15)·Dn(x)＝δ(int(Dn-1(x)N(0，s))；δ(T(x)；輸送管或上皮))D(x)←Dn(x)其中是用於數字卷積的算符。開始，將被擴大的圖像D(x)包括已經標記為輸送管的所有像素。接著這用適當範圍的2維高斯核卷積並且結果通過截斷轉換為整數。現在標記為輸送管並且先前標記為輸送管或上皮的像素被保留為輸送管，所有其他像素被設置為0。該過程重複進行直到實現理想的擴大水平，即等於兩個典型的上皮細胞，在優選實施例中這將是13次迭代。
該擴大的形象化結果在圖13中示出。在圖13(a)中的擴大之前，在上皮斑點132和相鄰背景斑點133內有一個輸送管斑點131。斑點132表示原始載玻片中大量的上皮細胞，其在一些方向上延伸到包含用斑點131表示的輸送管的細管結構以外。圖13(b)示出擴大後同樣的斑點，其在一些方向上被原始上皮斑點的外邊界停止。
評估癌症的嚴重程度在步驟39中，癌症的嚴重程度將基於的尺度M被計算為標記為輸送管的擴大像素數與輸送管和上皮像素的總數的比 將看到這有效地對應於在當用眼睛對載玻片分級時病理學家使用的等式(1)中給出的尺度。
如前面表明的，臨床醫生一般使用10％和75％的判定邊界來根據該尺度對癌症嚴重程度分級。但是，對於步驟40中的自動系統這並不是必然適合的，因為●在極端情況下，即真的75％條件下觀察的人類視覺系統將傾向於感知得更高，而真的10％將傾向於感知得更低。
●在自動系統中計數的像素可能不需要與將由人類觀察者包括的那些像素相同。但是，對一個像素是被排除還是包括在自動系統中的判斷比人類觀察者更一致。
由於這些原因，將被使用的實際判斷邊界最好由步驟41中的訓練確定。這樣閾值能夠在尺度M上選擇以確定等級1和2之間以及等級2和3之間的邊界。這些閾值應當基於典型的和完全訓練的數據。這可能在每個實驗室基礎上意味著很好。
權利要求
1.一種用於自動分析包括像素陣列的數字圖像的方法，包括下列步驟使用所選擇像素的鄰域中強度的局部平均和局部標準偏差的特性來從所述像素的一些或全部生成特性同現矩陣(PCM)；以及作為對所述PCM的分析結果，通過將選擇的像素標記為屬於特定分類來分割圖像。
2.根據權利要求1所述的方法，其中使用期望最大化(EM)算法的執行來將各個高斯分布擬合成PCM內的兩個主要分布以確定分布參數。
3.根據權利要求1或權利要求2所述的方法，其中像素按照PCM內它們最接近的分布進行標記並包括以下步驟將各個標記分配給PCM內的單獨分布；確定各個像素所屬的PCM內的點和每個被標記的分布的中心之間的規一化距離；以及給各個像素分配這樣的規一化距離最短的分布的分布標記。
4.根據權利要求3所述的方法，其中定標因子被引入到規一化中以把標記向特定分布偏移。
5.根據前述任一權利要求所述的方法，其中由特定像素的局部特性引起這些像素被從所述PCM的形成中排除。
6.根據權利要求5所述的方法，包括在權利要求1中規定的步驟之前的下列步驟從圖像像素的一些或全部中形成灰度級直方圖；作為分析所述直方圖的結果來建立一個閾值；以及從所述PCM的形成中排除超過所述閾值的那些像素。
7.根據權利要求6所述的方法，其中所述閾值被建立為在直方圖的主峰之上最重要的谷。
8.根據權利要求5所述的方法，包括在權利要求1規定的步驟之前的下列步驟使用各個像素的鄰域中強度的局部平均和局部標準偏差特性從圖像像素中生成特性同現矩陣(PCM)，並具有比第一次提到的PCM更高的解析度；通過沿著用於局部標準偏差的小範圍的固定的局部平均相加形成局部平均的直方圖；作為分析所述直方圖的結果來建立一個閾值；以及從第一次提到的PCM形成中排除超過所述閾值的那些像素。
9.根據權利要求8所述的方法，其中所述閾值被建立為在直方圖的主峰之上的最重要的谷。
10.根據權利要求7或權利要求9所述的方法，包括下列步驟延伸各個直方圖直到其二進位數等於2n，其中n是最低值，從而2n個二進位數完全包含直方圖，並設置新的二進位數為零；在兩側進一步延伸各個直方圖50％，從而它具有2n+1個二進位數，並設置新的二進位數為零；通過平均二進位數的組形成一組n個多解析度直方圖，從而連續的直方圖具有4，8...2n+1個二進位數；在每個解析度用一個邊界算子對直方圖的值卷積；通過所述卷積結果的符號變化識別每個解析度中所有峰和谷的位置；把每個解析度中每個峰和谷與隨後的解析度中對應的峰或谷(如果有的話)相關聯；以及分別將主峰和最重要谷識別為以所述解析度的最高數量存在。
11.根據權利要求5到10中任一所述的方法，其中也通過將從第一次提到的PCM的形成中排除的像素標記為屬於與第一次提到的分類不同的特定分類來分割圖像。
12.根據前述任一權利要求所述的方法，還包括將標記為屬於任何所述分類中相同的一個分類的相鄰像素分組為斑點的步驟。
13.根據權利要求12所述的方法，還包括計算涉及所述各個斑點的統計量並按照所述統計量對相同部分進行過濾的步驟。
14.根據權利要求13所述的方法，其中所述統計量包括各個斑點的陣列的一個或多個軸方向上的尺寸、面積、寬高比和密度中的一個或多個。
15.根據權利要求13或權利要求14所述的方法，其中所述過濾包括把在選擇斑點中的像素再次標記為屬於相應周圍斑點中像素的分類。
16.根據權利要求13到15中任一所述的方法，其中所述過濾包括把在選擇的斑點中的像素再次標記為屬於與任何前述分類不同的新分類。
17.根據權利要求16所述的方法，還包括通過由再次標記為屬於所述新分類(Cn)的像素組成的特定量的斑點擴大為由標記為屬於第一次提到的特定分類(Co)中選擇的一個分類的像素組成的相鄰斑點的步驟。
18.根據權利要求17所述的方法，其中所述擴大包括下列步驟通過在新圖像中分配原始圖像中分類Cn的像素以1的值並分配所有其他像素為0來生成一個新圖像；用一個具有零平均和設置等於所述特定量的標準偏差的二維高斯核卷積該新圖像，從而在與平均有1的標準偏差時高斯值是1；截斷產生的圖像，從而它只包含值1和0；以及如果在截斷後的圖像中一個像素具有值1並且在原始圖像中被標記為類型Cn或Co，則給它在原始圖像中分配類型Cn。
19.根據權利要求17所述的方法，其中所述擴大包括重複執行下列步驟通過在新圖像中分配原始圖像中分類Cn的像素以1的值並分配所有其他像素為0來生成一個新圖像；用一個具有零平均和設置等於預定值(L)的標準偏差的二維高斯核卷積該新圖像，從而在與平均有1的標準偏差時高斯值是1；截斷產生的圖像，從而它只包含值1和0；以及如果在截斷後的圖像中一個像素具有值1並且在原始圖像中被標記為類型Cn或Co，則給它在原始圖像中分配類型Cn；從而實現所述擴大的規定的量，儘管在所述由標記為屬於類型Cn的像素組成的所述斑點和標記為屬於類型Co的像素組成的所述斑點之間，存在標記為既不屬於類型Co也不屬於類型Cn的不超過L-1個像素的間隙。
20.根據任一前述權利要求所述的方法，還包括計算尺度的步驟，該尺度作為被標記為屬於選擇的所述類型的像素的數量的函數。
21.根據權利要求20所述的方法，當附加到權利要求17到19中任一個時，其中所述尺度是所述擴大之後標記為類型Cn的像素數與標記為類型Cn的像素數和標記為類型Co的像素數的總和的比。
22.根據前述任一權利要求所述的方法，用於自動分析組織或細胞標本的數字圖像。
23.根據權利要求22所述的方法，其中圖像是乳房組織的一部分。
24.根據權利要求22或權利要求23所述的方法，其中第一次提到的分割的結果是將選擇的像素標記為屬於上皮細胞的類型。
25.根據權利要求22到24中任一權利要求在被附加到權利要求16時或者任何其他權利要求在被附加到權利要求16時所述的方法，其中所述新類型被識別為輸送管細胞的類型。
26.根據權利要求22到24中任一權利要求在被附加到權利要求17時或者任何其他權利要求在被附加到權利要求17時所述的方法，其中類型Cn被識別為輸送管細胞的類型，並且類型Co被識別為上皮細胞的類型。
27.根據權利要求26所述的方法，其中所述擴大是在對應於特定數量的上皮細胞的距離上。
28.根據權利要求22到27中任一所述的方法，當附加到權利要求20或權利要求21時還包括把所述尺度轉換為癌症等級的指示的步驟。
29.根據權利要求1到21中任一所述的方法，用於自動分析礦物標本的數字圖像。
30.一種用於自動分析包括像素陣列的數字圖像的方法，包括下列步驟通過將各個像素標記為屬於兩個或多個類型中的一個類型來分割圖像；將相同類型的相鄰像素分組為斑點；計算涉及各個所述斑點的統計量；將選擇的所述斑點中的像素再次標記為屬於不同的所述類型；將一個所述類型的選擇斑點擴大一個特定量到另一個所述類型的斑點；以及計算一個尺度，該尺度把由擴大的斑點覆蓋的總面積和由選擇的一個類型或多個類型的斑點覆蓋的總面積相關聯。
31.一種用於自動分析包括像素陣列的乳房組織的組織標本的數字圖像的方法，包括下列步驟將像素標記為分別表示上皮細胞和輸送管細胞；將標記為表示輸送管細胞的像素組擴大一個與上皮細胞的尺寸相關的特定量到標記為表示上皮細胞的相鄰像素組；計算在這樣的擴大之後標記為表示輸送管細胞的像素的總數以及標記為表示輸送管細胞或上皮細胞的像素的總數；根據前一步驟的計算來計算一個尺度；以及把所述尺度轉換為癌症等級的指示。
32.用於自動分析數字圖像的設備，該設備包括適於執行根據任一前述權利要求所述的方法的裝置。
33.一種包括計算機可該介質的電腦程式產品，在該計算機可讀介質上具有適於引起計算機執行根據權利要求1到31中任一所述的方法的電腦程式代碼裝置。
34.一種電腦程式，包括引起計算機執行根據權利要求1到31中任一所述的方法的指令。
全文摘要
一種用於數字圖像的自動分析的方法，尤其用於基於在組織載玻片的數字圖像中識別的細管組織和上皮細胞的相對比例來評估乳房組織中癌症的存在和嚴重程度。該方法包括下列步驟使用選擇像素的鄰域中強度的局部平均和局部標準偏差的特性從圖像中的一些或所有像素生成特性同現矩陣(PCM)，以及基於PCM的分析通過將選擇像素標記為屬於特定類型來分割圖像。這樣，表示圖像中的上皮細胞的相對較暗和基本上有紋理的區域能夠與更亮和更均勻的背景區域相區分。其他步驟包括根據強度、形狀和尺寸標準識別圖像中表示輸送管細胞的像素組，把這些像素擴大一個尺寸到標記為上皮細胞的周圍組以對應整個細管結構，並根據在這樣擴大後輸送管像素的數量和輸送管與上皮像素的總數量的比值計算一個尺度。該方法的其他應用可以包括包含特定類型的晶體形成的礦物標本的分析。
文檔編號G06T7/40GK1735907SQ200380108593
公開日2006年2月15日 申請日期2003年11月10日 優先權日2002年11月12日
發明者J·F·哈東, S·K·沃特森 申請人:秦內蒂克有限公司