顯微鏡學中的圖像處理方法

2023-07-05 15:04:26 1

專利名稱：顯微鏡學中的圖像處理方法
技術領域：
本發明涉及數字病理學領域，具體而言涉及全切片掃描技術。具體而言本發明涉及增強/修改數字顯微鏡圖像的圖像處理方法
背景技術：
數字病理學給組織切片的可視化提供了新的方式，並且實現了用於分析這些切片的新工作流程。如圖I所圖示，用於數字病理學的典型系統I可尤其包括用於掃描諸如組織樣本的樣本的掃描器10並產生其數字圖像。已經提出了很多類型的掃描器，例如ID線性掃描 器，2D陣列掃描器，所謂的時間延遲積分(TDI)掃描器，等等。該系統可還包括PACS 20 (圖片存檔和通信系統)，其用於諸如組織樣本數字圖像的信息的存檔和通信。該系統可還包括用於執行計算機實現指令的計算系統30，以及存儲器40，例如用於裝載這種指令和諸如圖像數據的其他二進位信息的緩衝存儲器。該計算設備可是處理器、FPGA (完全可編程門陣列)、DSP (數位訊號處理器)，並且該存儲器取決於其在系統中的預期功能和期望性能，可以尤其是DRAM、SDRAM、SRAM、DDR SDRAM、FRAM、ROM、CD、DVD。如在數字病理學領域中所公知的，該計算設備通常可用於圖像處理，以及例如用於診斷的圖像分析。在數字病理學領域中，圖像處理通常涉及用算法來處理數字圖像以便修改這一圖像的內容。圖像處理因而尤其包括增強圖像的感知質量以及將圖像中的圖像與參考圖像配準的功能。相反，圖像分析算法(例如，用於診斷)將不會修改所研究的數字圖像的內容。實際上，這一圖像典型地可是已經被應用了圖像處理算法的圖像。對於信息，一種用於診斷的公知的圖像分析算法的例子是CAD算法(計算機輔助診斷)。本發明具體屬於如上描述的圖像處理的數字病理學技術領域。換言之，本發明屬於數字病理學中的方法和軟體，其製備將要被觀察和/或隨後由諸如CAD算法的圖像分析算法分析的數字圖像。如前所述，圖像處理算法可被配置為增強圖像對比度，從而操作者可以更好地找出顯示在系統I的屏幕50上的圖像中的感興趣特徵。例如，操作者可首先加載圖像以在屏幕上顯示，其示出了通過H&E技術(蘇木精和曙紅)染色的組織樣本。這一圖像在以下將被稱為HE圖像，其可示出已經通過掃描器採集的樣本的整個區域或者其一部分。操作者然後可在這一圖像中選擇以下被稱為子區帶的感興趣區帶，以便以例如更高的解析度來顯示該樣本的特定區域。因此，系統I可包括圖像處理算法，其首先變換數字圖像的整個區域，因而產生樣本的整個區域的高解析度數字圖像。然後，進一步的處理從這一高解析度圖像中檢索在所述子區帶中的圖像內容，並且將該圖像內容顯示在屏幕上。然而，這種圖像處理算法具有的問題在於，通常在數字病理學中，數字圖像的尺寸遠遠大於從諸如超聲、MRI、CT、PET或者X射線的其他常用醫學成像儀器中採集的數字圖像的尺寸。因此，在數字病理學中，數字圖像的大尺寸通常需要更密集的運算，並且通常導致尤其在顯示速度方面較低的呈現性能。為了解決這種問題，已經提出了通過使用例如專門的圖形處理單元(GPU)或者並行結構來優化計算設備的硬體結構。也已經提出 了優化圖像處理算法。然而，仍然很難實現具有合理優化的良好性能。除其他外，這種解決方法也需要大量的存儲空間以及尤其在PACS存儲設備和計算設備之間的大帶寬消耗。已經提出了對以上提及問題的一種不同的解決方法，其下採樣(降低解析度)表示樣本整個區域的數字圖像並且給這一新圖像應用變換(例如，增強對比度)。然後當用戶選擇子區帶時，該系統檢索下採樣圖像中這一區帶的內容。即使這一解決方法可提供實時性能，但是向病理學專家顯示的下採樣圖像可能不具有足夠的質量。如前所述，圖像處理也涉及圖像配準，並且此時以上描述的問題可能再次發生。作為另一典型例子，病理學專家可期望觀察HE圖像並且指出相關的子區帶(例如，腫瘤區域)。然後她可能期望制定用不同染色技術，例如免疫組織化學(IHC)技術製備的至少一個另外的切片，以用於進一步分析。可用掃描器對該另外的切片成像以生成IHC數字圖像。然後病理學專家可期望在屏幕上觀察到並排的HE和IHC圖像。然而，歸因於切片製備的性質並且歸因於數位化處理，該組織和其特徵可能不具有嚴格相同的形狀、外觀或者空間排列，使得很難在鄰近組織的不同切片上找出同一區帶。為了使之可能，可能需要圖像配準。在此應當注意在本文中圖像配準指的是計算空間變換的過程，該空間變換將來自一個圖像的點映射到另一圖像中的相應點上。圖像配準技術在數字病理學中是已知的，並且通常是基於將這種變換應用到每個所採集的樣本數字圖像上。然而，要提醒的是數字顯微鏡圖像通常是與數字放射圖像有區別的。數字顯微鏡圖像的尺寸是這種區別之一，其在之前已經描述。作為另一區別，除了磁共振(MRI)圖像之外的放射圖像往往生成絕對像素強度(例如，普通的X射線和CT圖像使用亨氏單位，其中空氣是-1000，水是0，並且骨>400)。與MR類似，數字顯微鏡圖像的像素強度分布取決於通常很難控制的多種因素，其對於整個圖像或者各掃描之間可能是不一致的。這種因素包括顯微鏡用薄片切片機切片期間的組織移動、不標準的染色程序、以及在採集期間使用的自動聚焦及其他圖像處理算法。作為另一區別，放射學中的多模態圖像的採集典型地涉及對同一區帶成像(例如，CT-PET採集同時捕獲同一解剖區帶)。數字顯微鏡成像通過在鄰近組織橫截面上應用不同的染色程序——例如免疫組織化學或者原位雜交(ISH)——而生成多種模態或者表示。這一採集形式最類似於(雖然仍有區別)放射圖像的患者內配準。以上說明的三個區別(也即，過大的圖像尺寸、非絕對像素強度分布、以及鄰近組織橫截面的多模態採集)意味著對於全切片顯微鏡學，數字顯微鏡圖像，尤其是多模態圖像的配準並不是無足輕重的，並且也需要密集運算，這限制了數字病理學系統在速度方面的性能。此外，雖然以上描述的兩種解決辦法(硬體或者圖像處理算法優化，以及下採樣全切片圖像)可用於改進數字病理學系統的性能，但是這並不足夠。
因而，本發明期望解決以上提及的問題。

發明內容
具體而言，可能需要具有改進的圖像處理性能且優選實時性能的數字病理學系統。進一步地，需要這種具有改進的圖像配準性能的數字病理學系統。這種系統可尤其能夠提供改進的多模態圖像配準，從而當病理學專家在圖像(例如，HE圖像)中選擇子區帶時，該系統在樣本的另一圖像中，例如在IHC圖像中實時地自動顯示相應的子區帶。因此，根據本發明提出了一種用於處理表示區帶中樣本的第一數字圖像的方法，並且已經藉助於顯微鏡成像系統從所述樣本採集了所述圖像，包括步驟-檢索所述第一數字圖像的子區帶， -對所檢索的子區帶執行變換函數，所述變換函數適於修改所述第一數字圖像的內容。進一步提出了一種用於處理表示區帶中樣本的第一數字圖像的電腦程式產品，並且已經藉助於顯微鏡成像系統從所述樣本採集了所述圖像，所述電腦程式產品包括以下指令-檢索所述第一數字圖像的子區帶，-對所檢索的子區帶執行變換函數，所述變換函數根據從所述第一數字圖像的第二解析度表示導出的至少一個度量來修改所述子區帶的內容。進一步提出了一種包括如上定義的電腦程式產品的數字病理學系統。因而，在本發明中不是將變換應用於表示樣本被掃描區域的數字顯微鏡圖像，而是僅將變換應用於這一圖像的高解析度子區帶。換言之，根據需要來僅對高解析度子區帶執行變換，因而節約了圖像處理中的大量運算，例如緩衝存儲器中的大量存儲空間以及大量帶寬成本。此外，另一優點可能在於可在工作流程的稍後期，例如正好在顯示或者分析之前通過用戶選擇特定的變換。根據實施例，變換函數適於增強已選擇的子區帶中的圖像感知質量。例如，用戶可在數字圖像中選擇子區帶，可通過用戶接口 60選擇對比度增強函數，然後該系統可從該數字圖像檢索高分辨的子區帶(典型的是其像素內容)，將對比度增強函數應用於該子區帶，並且將這種新的高質量圖像顯示在屏幕上。因而，由於這一十分有效的處理技術，可以以更好的質量來實時顯示該子區帶。可使用其他變換函數，例如應用LUT函數(查找表)、分割方法、格式轉換(例如，從RGB顏色空間轉換到HSV顏色空間)，等等。根據進一步的實施例，提供已經藉助於顯微鏡成像系統從所述樣本採集的第二數字圖像。使用從這一圖像和從第一數字圖像導出的度量來計算變換函數。應當注意的是「同一樣本」可指從例如同一塊石蠟獲得的同一生物標本。換言之，兩個相同的樣本可包括基本相同的特徵和相同的拓撲。進一步的，顯微鏡成像系統與用於獲得第一數字圖像的系統可是相同或者不同的。為了避免任何疑問，應當進一步注意的是「度量」可定義用於確定適當的變換函數以修改子區帶內容的任何函數。該度量可在優化處理中使用以確定「最優」變換函數(其中最優是相對於度量函數來定義的)。作為非限制性例子，在本發明的其中變換函數執行普通變換的實施例中，一些度量可包括圖像對比度、鄰近區帶的直方圖分布、邊緣強度，或者焦點估計。進一步的，在本發明的其中變換函數執行空間變換的實施例中，一些度量可包括(非窮盡列表)方差和(也被稱為均方誤差)、歸一化互相關、互信息、或者光流法，等等。在一個實施例中，計算變換函數包括計算第一和第二數字圖像之間的空間變換，該第一和第二數字圖像優選具有比將對其執行變換函數的子區帶的解析度更低的解析度。因而，變換函數尤其實現快速圖像配準，從而稍後可以以良好的空間一致性以及實時地觀察到該兩個圖像的子區帶。例如，病理學專家可能期望在HE圖像和IHC圖像之間比較樣本的感興趣區帶。因而他可能在當前於屏幕上觀察的第二數字圖像(例如，HE圖像)中選擇子區帶。該系統可計算將兩個低解析度數字圖像相匹配所需的空間變換、檢索與在HE圖像中選擇的子區帶對應的IHC圖像中的子區帶(IHC圖像優選具有比用於變換計算的解析度更高的解析度)、將空間變換應用於從IHC圖像中檢索的子區帶，並且顯示這一子區帶連同HE圖像中的相應一個(針對第一子區帶選定的具有更高解析度的被選擇的一個)。
在實施例中，用H&E染色技術來製備第二數字圖像並且該第二數字圖像定義了參考圖像。在實施例中，用IHC染色技術來製備第一數字圖像。在優選實施例中，用H&E染色技術來製備第二數字圖像並且用IHC染色技術來製備第一數字圖像。這允許操作者看到以及分析來自採用不同染色技術的兩個圖像的相應子區帶。所述染色技術提供了補充信息、強調不同結構和/或功能性信息。在其他實施例中，用於第一和第二圖像的染色技術是相同的，例如用IHC或H&E染色的樣本的兩個圖像。在實施例中，確定空間變換包括相對於第二數字圖像空間對準第一數字圖像的步驟。當這一實施例與前面兩個實施例相結合時，這提供了將具有補充信息的不同染色技術的相應子區帶可視化的手段。在進一步的實施例中，病理學專家或者系統在第二數字圖像中選擇子區帶，這一子區帶具有輪廓，並且在檢索第一數字圖像的子區帶的步驟之前，該方法包括另外的步驟對所述輪廓執行變換函數以獲得經變換的輪廓，該經變換的輪廓定義了該第一數字圖像的子區帶的輪廓。作為非限制性例子，當在屏幕上顯示整個樣本區域或者其一部分的HE圖像時，她可選擇子區帶以看到這一樣本的特定區域。該系統計算HE圖像和IHC圖像之間的空間變換，首先將該變換應用於所選擇子區帶的輪廓，因而獲得經變換的輪廓。這一經變換輪廓定義了 IHC圖像中的相應子區帶。然後從IHC圖像檢索這一子區帶的內容，對這一內容執行經變換函數，然後通過例如與HE圖像的相應子區帶並排地來顯示這一內容。在實施例中，通過病理學專家或者通過系統自動地分別在第一和第二數字圖像中選擇第一和第二區域。這兩個區域都大於第一子區帶表示的總區域。然後空間變換，並且具體而言第一數字圖像相對於第二數字圖像的空間對準，是基於在所述第一和第二區域中圖像內容的比較。這允許在計算空間變換時採用來自全部數字圖像(或者其一部分)的全局信息。全局信息是很重要的，因為所述子區帶可能沒有包含足夠的交疊內容來計算出該變換。
在實施例中，第一和第二區域基本等於第二數字圖像所表示的總區域。例如，基於樣本的全部掃描區域來執行圖像配準。並且更優選地是所述第一和第二區域與第一子區帶交疊。這允許在計算空間變換時採用來自樣本全部掃描區域的全局信息。在進一步的實施例中，從多解析度圖像數據結構中提供每個數字圖像。在計算變換函數的步驟中，從圖像數據結構的低解析度水平中獲得在其中使用的任何數字圖像。並且在從圖像檢索子區帶的步驟中，優選從圖像數據結構的更高解析度水平中獲得這一圖像。這提供了對圖像配準效率的進一步改進，尤其是因為在較低解析度圖像上計算空間變換要快得多(例如，低解析度圖像具有比高解析度圖像更小的圖像尺寸)。此外，如從之前可以理解的，對低解析度圖像計算空間變換，但是將其應用於高解析度圖像，生成具有更小運算開銷的高質量輸出圖像。在進一步的實施例中，變換函數適於在子區帶中高亮第一和第二數字圖像之間的區別。這允許確定將被顯示或者被進一步分析的第一和第二圖像之間的不匹配。在另一實施例中，可從圖像庫直接獲得第二圖像或者從圖像庫生成第二圖像。然 後可基於從該庫檢索或者生成的第二圖像來計算變換函數。這種用法可包括但不限於，使用所檢索的第二圖像的像素數據來計算變換函數。另一用法可包括使用所檢索的第二圖像的元數據(文本或者其他信息)來計算變換函數。在通常情況下，可通過例如計算符合一些檢索條件的圖像的平均來從庫中生成第二圖像。參照下文描述的優選實施例，本發明的這些和其他方面將變得顯而易見並且得到闡述。


圖I示意性示出了數字病理學系統的典型元件；圖2示出了多解析度圖像數據結構的示意性圖示；圖3示出了根據本發明實施例的方法的說明性例子；圖4示出了數字圖像的顯示，其中通過定義輪廓而選擇子區帶；圖5示出了根據本發明另一實施例的方法的說明性例子；圖6示出了對同一數字圖像使用兩種處理方法的比較結果；圖7圖示了在本發明實施例中使用的配準框架的部件。
具體實施例方式首先應當理解，當提及圖像時，術語「內容」指可以從這一圖像中導出的任何類型的信息。這種信息典型地可對應於在樣本中存在的某些生物特徵，並且典型地可對應於從像素數據中導出的信息。術語「變換(動詞)」、「變換函數」、「變換(名詞)」應當具有相同的含義。術語「區域」可優選涉及所研究樣本的物理部分，而術語「區帶」或者「子區帶」可優選涉及數字領域中的圖像的一部分。術語「子區帶」應當限定「區帶」的一部分。進一步地，「提供圖像」應包含現有技術中已知的各種可能性，例如從掃描器、從存儲器、從諸如內部網網絡或者網際網路的電信連結、從如下文中描述的數據結構等接收圖像。
根據本發明，術語掃描器應當涉及在顯微鏡學中使用的任何掃描成像設備，並且尤其在以上介紹部分中提及的那些。根據本發明的數字病理學系統尤其包括參照圖I主要描述的元件。根據本發明的優選實施例，PACS系統20包括多解析度圖像數據結構。這種數據結構在現有技術中是公知的，並且尤其通過DICOM標準來定義。對這種數據結構的描述也可以在 DICOM 附錄 145 中找到Whole Slide Microscopic Image IOD and SOP Classes [I]。它們可以被表示為例如如圖2所示。如可以看到的，在這一例子中數據結構80可以由金字塔形狀表示。金字塔中的每個高度相應於同一樣本的特定圖像解析度水平。最高解析度水平處於金字塔的底部，而最低解析度是金字塔的頂端，並且可以典型地對應於樣本的縮略圖。最高解析度圖像優選由掃描器採集，並且較低水平的每個圖像可以用掃描器採集，或者根據現有技術中公知的算法例如通過應用小波變換(尤其見US6711297，US6553141，或者US6925298)從最高解析度圖像導出。這種小波存儲格式可以有利地容易實現而不需要額外的存儲空間和/或帶寬。·同樣，如在數字病理學領域中所公知的，在這種數據結構中的任何水平可以包括不同的圖像塊(由正方形表示，例如正方形SQ)。 數據結構可以本地存儲或者在遠程伺服器上訪問。因此，本發明的系統包括解碼器70，其提供對這種數據結構中處於任何期望圖像解析度水平的任意期望子區帶的這種隨機訪問。現在在圖3中圖示了根據本發明優選實施例的方法的流程圖。本領域技術人員將意識到所描述的這些步驟以及在本文中描述的本發明方法的任意其他步驟的順序並不是強制性的，並且可以作出很多適當的調整。在步驟100中，在屏幕50上顯示第一數字圖像，例如示出了樣本或者其一部分的圖像，該樣本已經通過H&E染色技術被染色(這一圖像在下文中被稱為HE圖像)。病理學專家能夠經由用戶接口 60選擇變換函數，例如圖像對比度增強函數。通過在步驟101中選擇這一函數，系統在存儲器一典型地是緩衝存儲器一中加載這一變換函數的計算機指令(步驟102)。這些指令可被存儲在本地存儲器或者遠程位置，例如遠程伺服器。病理學專家也能夠通過在步驟103中在HE圖像中選擇子區帶而選擇樣本中的感興趣區域。他典型地可使用諸如滑鼠的指定設備並且在屏幕上拖拽圖像選擇以定義子區帶。在步驟104中，解碼器70在HE圖像的數據結構中定位子區帶，優選以對於病理學專家而言足以觀察他所尋找的所有細節的高解析度。從解碼器檢索子區帶的內容並將其裝載入存儲器(例如，存儲器40 )，典型地是緩衝存儲器。該內容典型地是像素數據。在步驟105中，計算設備30對檢索的子區帶執行所選擇的變換函數的指令，因而增強了這一子區帶的對比度。在步驟106中，HE圖像的初始顯示被增強的子區帶的顯示所替代。當然，其他顯示選項也是可能的。作為一非限制性例子，可將HE圖像的顯示保持在屏幕上的較小區域中，並且可將子區帶顯示在HE圖像附近屏幕的更大區域中。病理學專家因而能夠保持對樣本的全面觀察同時看到子區帶中的細節。
雖然在以上描述的實施例中，變換函數可對應於現有技術中已知的用於諸如對比度增強的圖像質量增強的算法，但是也可基於另一數字圖像來確定變換函數。例如，其他數字圖像可定義將要實現的質量性能。例如，其他圖像可是HE圖像，並且可定義第一 HE數字圖像將要實現的對比度水平。根據本發明的另一優選實施例，從兩個不同的數字圖像中導出該變換函數。在示例性實施例中，變換被配置為對數字圖像應用空間變換。更精確地，我們將在下文中看到，可使用以下的變換和其組合-剛性變換，其可包括平移、旋轉、縮放、裁剪，或者這些的任意期望組合，例如近似(平移+旋轉+縮放)和仿射(平移+旋轉+縮放+裁到)。-非剛性變換，也被稱為能變形變換，其包括全局剛性(平移+旋轉)部分加上局部移位或者擾動。有多種可能方式來表示這種變換，包括B-樣條、薄板樣條、彈性模型(例如有限元模型)，以及光流法。 這種變換函數可以有利地用於如上提及的有效圖像配準，以下將詳細描述其非限制性的示例性實施例。這一實施例尤其允許對具有諸如H&E和IHC的不同染色技術的全切片圖像的可視化。進一步地，這一實施例典型地允許將屏幕上的固定圖像(例如，HE圖像)與已經及時採集並因而移動的同一樣本的幾個其他圖像(例如，IHC圖像)相比較。與之前的給整個全切片圖像應用對準變換的運算密集方法不同，這一實施例是基於兩步策略，其目的在於滿足運算和時間的限制而不犧牲質量。在第一步驟中，確定空間變換。更精確地，通過訪問保存在PACS中的兩個數據結構而檢索完整的HE圖像和至少一個完整的IHC圖像，它們優選都是低解析度的，並且將它們加載200至緩衝存儲器。該空間變換尤其允許在系統中確定201HE圖像中基本上所有的點與IHC圖像中相應點的空間匹配。該變換也尤其允許該兩個圖像之間的空間對準。在這一優選實施例中，比較HE和IHC圖像的全部內容。進一步地，HE圖像定義了參考圖像，諸如IHC圖像的其他圖像應當相對於該參考圖像空間對準。然後可以將變換函數存儲在存儲器中以備後用，或者在該步驟馬上要執行的情況下將其保留在緩衝存儲器中。在示例性實施例的第二步驟中，參考圖4和5，在步驟202中可在HE圖像HEl中選擇子區帶，因而定義了輪廓，如例如圖4中示出的圍繞特徵A的輪廓SUBl。如上所述，可通過病理學專家本人採用指定設備，或者通過例如能夠自動識別樣本中將被觀察或者分析的感興趣區帶的系統來做出這一選擇。在步驟203中，如果必要的話，將在策略的第一步驟中計算出的空間變換加載至緩衝存儲器，並且在步驟204中針對輪廓SUBl執行該空間變換以生成經變換的輪廓SUB2。這一經變換輪廓SUB2現在定義了 IHC數字圖像的子區帶的輪廓SUBIHC，其將被顯示在屏幕上並由病理學專家觀察。在步驟205中，從IHC圖像數據結構中檢索經變換輪廓所包圍的子區帶(典型地是像素數據)。數據結構中的用於檢索這一子區帶的IHC圖像優選具有比為了在步驟I中計算變換函數而檢索的完整圖像的解析度更高的解析度。
在步驟206中，對所檢索的IHC子區帶執行同樣的空間變換。最後，在步驟207中，將如此計算的IHC圖像的子區帶和HE圖像的子區帶例如並排地一起顯示在屏幕 上以容易比較。圖6B示出了與以下方法(圖6A)相比的根據這一實施例的圖像處理方法的結果其中用對已經在步驟202中選定的子區帶進行直接變換的單個步驟替換步驟204到206。如可以看到的，本發明的實施例尤其提供遠遠更好的視覺吸引效果。如已經提及地，該策略的第二步驟在線執行並且允許實時操作。具體而言，這一實施例使得在病理學專家在HE圖像中選擇子區帶之後可能實時顯示兩個被配準的IHC和HE圖像，或者一個HE圖像和幾個IHC移動圖像。當然，本領域技術人員將能夠得到這一優選實施例的明顯替代。具體而言，替代於在HE圖像中執行子區帶的選擇，可在至少一個IHC圖像中做出該選擇，然後將這一圖像定義為參考圖像。 現在將描述使用空間變換的該實施例的更加詳細的實現方式。下文中的術語觀察區將指的是在系統的圖像呈現器上被當前觀察的圖像區帶。I.第一步驟配準配準階段用於計算使得多個移動圖像(在本發明的意圖中是第一數字圖像)與固定參考圖像(在本發明的意圖中是第二數字圖像)空間對準的變換。歸因於之前已經論述過的數字顯微鏡圖像的大尺寸，該過程的這一步驟優選對低解析度圖像執行。該配準可被為公式化為優化問題，其中相對於參數坐標變換T (x)將代價函數C最小化的。該優化問題可以表達如下//'=arg max ('(/ ;
If 11 μ )其中下標指示變換參數，IF是固定參考圖像,並且IM是被應用變換的移動圖像。採用迭代優化方案來解決在以上方程式中表達的最小化問題。圖7描繪了配準框架的部件。分別由部件CFI和CFM來提供任意固定圖像和移動圖像。如可以看到的，迭代優化循環涉及空間變換400，評估固定和經變換移動圖像的相似性的度量401，以及調整變換參數以將當前度量值最小化的優化器402。也示出了用於使用當前變換來重採樣移動圖像(第一數字圖像)的內插器403，以及用於針對度量計算獲得(典型為隨機地)像素樣本的採樣器404。針對通過金字塔部件405計算出的不同解析度水平來重複整個優化過程。將變換參數從先前的解析度水平傳送以導致迭代的粗略-精細過程。針對上述配準框架中的每個部件具有很多不同的選項。用於相似性測度的幾種選擇包括方差和(SSD)、歸一化相關係數(NCC)、交互信息(MI)，以及Kappa統計值(KS)。SSD和NCC適於具有相同或者類似像素強度的圖像(也即，相同模態)。相反，MI僅假設像素強度之間的統計學關係，並且因而適用於多模態圖像。KS可以用於配準二進位圖像。配準框架也可實現多個變換函數，每個具有變化的自由度(μ (mu)的維數)。以下是可能的變化函數的非限制性列表，並在括號中指出自由度平移(2)、旋轉(2)、剛性(平移和旋轉，4)、相似性(平移、旋轉、以及同向性縮放，5)、仿射(平移、旋轉、縮放、以及裁剪，6)、B-樣條能變形(取決於用戶選定的柵格尺寸的可變維度)。各種優化方法也是可能的，包括梯度下降法、擬牛頓法、進化策略，以及多種隨機梯度下降方法。
涉及多模態分析的情況可典型地包括至少一個H&E染色切片以及一個或多個IHC染色切片。例如乳房活檢可用H&E，並且以下的IHC染色ER (雌激素受體)、PgR (黃體酮受體)、HER2 (人類表皮生長因子受體2)，以及Ki-67。由於這對於大部分病理學情況是普遍的，因此選擇H&E作為固定圖像(本發明意義中的第二數字圖像)，並且每個IHC染色圖像與這一單獨的參考圖像空間對準。這一選擇意味著配準過程僅需要對每個IHC圖像應用一次以允許H&E-IHC和IHC-IHC分析。例如，通過配準H&E-ER和H&E-HER2，可能——沒有額外運算地——觀察到ER-HER2對準圖像。多模態數字全切片顯微鏡圖像的配準可自動地排除很多以上提及的相似性度量。優選的選擇是交互信息(MI)，其一歸因於其統計學性質一固有地支持不同模態的圖像。一種可能的實現方式是對固定和移動圖像的唯一通道(例如，亮度)計算MI度量，然而將變換函數應用於完整的三通道彩色圖像。給出了度量，那麼使用哪一個優化器和採樣器的決策是更加簡單的。當使用隨機選定樣本並且使用運算高效的隨機梯度下降方法(隨機梯度下降法與確定性方法的區別在於代價函數的導數是逼近的)時，已知交互信息將 產生良好的結果。對於空間變換函數可能具有不同的選擇。對於運算效率和速度，期望只應用平移而將固定和移動圖像空間對準。這種操作需要對觀察區中可見的像素的要求的簡單修改。然而，歸因於組織在切片製備過程期間可能很容易受到局部變形的事實，全局平移變換典型地可能難以使得圖像足夠對準。全局剛性變換，雖然改進了，但是也可能不具有足夠的自由度來描述局部變形。另一方面，能變形變換可能具有解釋局部擾動所需的自由度，但是不能保證已經應用正確的逆向扭曲來復原組織。此外，這些變換類型中的每一個具有不同的運算複雜性。2.第二步驟在線變換如已經敘述的，歸因於數字全切片圖像的尺寸(大約是15-30GB)，可能很難將整個圖像加載至存儲器以用於觀察。因此，可有利地採用如之前尤其參照圖2描述的基於塊的金字塔狀數據結構，以允許隨機訪問指定解析度水平的特定區帶。不僅這些極端尺寸可能會給觀察造成問題，而且當考慮圖像處理和配置方法時，其也可能會造成問題。當然，如所述，一種可能性可能是對整個數字圖像應用配準變換。雖然這在技術上是很簡單的，但是它伴隨著不必要的運算開銷在大部分情況下，臨床病理學專家將僅回顧一些高倍視野區帶(例如，20x或者40x的縮放係數)。當將僅觀察圖像的一部分時，對整個這一圖像應用變換可能是低效的。此外，處理這一全切片圖像意味著用戶在運行時間中不能選擇應當應用哪種類型的變換函數(全局剛性、能變形的、局部平移，等等)。為了避免這種問題，僅對當前的可見區帶，也即觀察區或者所述不同的子區帶應用在先前步驟中計算出的變換。現在，可以實現用於顯示的觀察器從而簡單地將選擇的變換應用於觀察區中的像素。然後該步驟典型地如下(I)由病理學專家選擇觀察區，(2)從金字塔數據結構中獲得該觀察區中的像素，(3)變換所請求的像素，(4)顯示經變換的像素。遺憾的是，如此做的話，大空間變換函數將如圖6所示地將所請求的像素移出觀察區。這一問題在更高解析度(例如，20x，40x)時將是最明顯的，因為變換的影響也被放大。因此，替代地，再次使用以上描述的根據本發明優選實施例的處理。
(I)由病理學專家選擇觀察區，(2)通過空間變換來修改該觀察區，(3)從數據結構中獲得經修改區帶中的像素，(4)變換所請求的像素，(5)顯示經變換的像素。對所請求子區帶的修改對於每個變換類型而言是稍微不同的。在恆等變換的情況下，不修改所請求子區帶的區帶。該平移變換僅僅要求通過平移向量來偏移子區帶的每個角。在剛性的情況下，變換子區帶的每個角點(平移，旋轉)，並且所請求的區帶設置到該經變換的點的邊界框。類似地，對於能變形變換的情況，變換位於子區帶上的多個等距點，並且所請求的子區帶設置到由該經變換的點定義的輪廓。與剛性的情況不同，角點不能滿足能變形變換，因為能變形域對於整個子區帶而言是不一致的。經驗證明八到十六個點就足·夠了。此時，有趣的是描述能變形變換和觀察區修改的新穎性組合。在全局剛性和能變形變換函數的情況下，在觀察區修改之後請求的像素必須經受某種內插(線性的，雙三次的，等等)。這一內插雖然可能以實時幀速率來執行，但是仍然消耗運算資源。此外，如果看作為低通濾波器，那麼這種內插最終會給源數據引入一定程度的平滑。相比之下，簡單的平移避免了這些問題一修改所請求的子區帶以解釋避免了運算和內插平滑效果兩者的平移。然而，如前所述，平移遠遠不足以解釋局部組織變形。替代於計算並對全切片圖像應用平移(也即，全局的)，可能使用能變形變換來針對當前觀察區提取局部平移。然後可如下計算出這一 「局部平移」(I)由用戶選擇觀察區，(2)通過如以上描述的能變形變換來修改該觀察區，(3)將與原始觀察區具有相同尺寸的區帶在經修改觀察區之內居中，(4)從數據結構中獲得居中區帶中的像素，(5)顯示所請求的像素。一個顯而易見的缺點在於該變換不能解釋局部旋轉，意味著切片圖像需要(大致的)角對應。另一問題在於對於低縮放係數(例如，當全切片圖像適合於觀察區時)，變換簡化為全局平移。然而，對於高縮放係數(例如，40x)，變換應當近似於能變形變換(而沒有旋轉分量或者高度局部擾動)。如之前提出的，配準階段可包括兩個子步驟第一子步驟計算剛性變換，第二子步驟使用剛性結果作為計算非剛性(能變形)變換的初始值。每個子步驟可在多個解析度水平上計算，並且將來自先前水平的結果用作當前水平的初始值。可能改變在其上計算配準的「最終」水平。注意到水平零涉及圖像金字塔的基準水平(例如，原始掃描的20x圖像)。例如，最終水平六意味著以下(假設三個解析度水平):(I)在水平八計算剛性變換，(2 )使用結果來精化水平七的剛性變換，(3)使用結果來精化水平六的剛性變換，(4)使用來自水平六的剛性變換來計算水平八的能變形變換，(5)使用結果來精化水平七的能變形變換，(6)使用結果來精化水平六的最終能變形變換。實驗似乎表明，特別是在能變形變換的情況下，高解析度水平(例如，四和五)與低解析度水平(例如，六和七)相比具有較小的配準誤差(以及較小的偏差)。同樣，針對低分辨(例如，水平六和七)的配準過程似乎要比針對高解析度(例如，水平四和五)的更快。因此看來使用最終水平五或者六在質量和速度之間提供了很好的權衡。回想到很難選擇用於配準整個數字顯微鏡圖像的最適合變換。全局平移是快速的，但是難以解釋旋轉或者局部變形。全局剛性變換解釋了旋轉，但是不能解釋局部變形。非剛性(能變形)變換以大量參數(也即，速度)為代價處理了局部擾動。最後，局部平移變換是快速的並且保持了原始圖像質量，但是沒有完全解釋組織的變形。實驗似乎表明，能變形變換是最慢的，其中局部平移執行起來幾乎與無變換(恆等)一樣快。進一步的實驗建議對於所有的縮放係數，能變形變換要優於剛性變換，這繼而也優於恆等。另一方面，局部平移方法類似於低縮放係數下的恆等變換，類似於中等縮放係數下的剛性變換，並且與高縮放係數下的能變形變換具有相同的質量。總而言之，全局剛性變換提供了中等的性能和質量。能變形變換提供了最好的質量並且對於所有的縮放係數而言是不變的；然而，其是最慢的(初始運算，以及當在觀察區中變換像素時)。儘管能變形變換嘗試著將組織結構和細胞精確對準時，但也要求內插，該 內插由於平滑而對圖像質量具有輕微的負面影響。局部平移變換具有最好的性能，但是對於初始離線運算而言其花費與能變形變換相同的時間。由於它不需要內插，因此它提供了良好圖像質量以及高縮放係數下的交疊，但是在低縮放係數下簡化為全局平移。本發明的教導很清楚地意在覆蓋以上描述實施例或者修改的任意組合。雖然已經在圖中和前述描述中詳細圖示和描述了本發明，但是這種圖示和描述應當被認為是說明性或者示例性的，而不是限制性的；本發明不限於所公開的實施例。本領域技術人員在實踐所要求的發明時，通過對圖、公開內容和所附權利要求的研究，可以理解和實現對所公開實施例的其他變型。例如，本發明包含如下的實施例，其中可將大型數字圖像存儲在伺服器上，客戶端提供大型圖像中的至少一個的交互視圖，以及僅示出這一完整數字圖像的子區帶。正好在將該子區帶顯示在屏幕上之前通過客戶端對這一子區帶應用變換函數。作為另一例子，可直接從掃描器獲得變換函數，或者可從變換函數存儲的遠程位置將該變換函數傳送到系統。同樣，雖然以上已經描述了 IHC和H&E染色技術，但是本發明包含使用諸如螢光學(例如，螢光原位雜交方法)的其他公知技術的實施例。此外，當實現具有第一和第二圖像的本發明時，可以考慮兩個這些染色技術的任意組合，例如HE圖像與IHC圖像，或者IHC圖像和IHC圖像，或者HE圖像與螢光圖像，等等。在權利要求中，術語「包括」不排除其他元件或者步驟，並且不定冠詞「一」或「一個」不排除多個。在相互不同的從屬權利要求中陳述某種措施的這一僅有事實，並不表示不能將這些措施的組合加以利用。在權利要求中的任何附圖標記不應當解釋為是對範圍的限制。[1]DIC0M Standards Committee Working Group 26 (Pathology);Supplementl45:Whole Slide Microscopic Image 10D and SOP Classes;NEMA;ftp://medical, nema.org/medical/dicom/supps/supI45_09. pdf
權利要求
1.一種用於處理表示區帶中樣本的第一數字圖像的方法，並且已經藉助於顯微鏡成像系統(I)從所述樣本採集了所述圖像，並將所述圖像存儲在多解析度圖像數據結構(80)中，所述方法包括步驟 -檢索(104)第一解析度的所述第一數字圖像的子區帶， -對所檢索的子區帶執行(105)變換函數，所述變換函數根據從所述第一數字圖像的第二解析度表示中導出的至少一個度量來修改所述子區帶的內容。
2.如權利要求I所述的方法，還包括根據除了從所述第一圖像導出的所述度量之外的從第二數字圖像導出的至少一個度量來計算所述變換函數的步驟。
3.如權利要求2所述的方法，其中，所述變換函數是空間變換。
4.如權利要求2所述的方法，其中，所述第一和第二數字圖像表示相同的樣本，並且其中，計算所述變換函數包括將所述第一數字圖像相對於所述第二數字圖像空間對準的步驟。
5.如權利要求2和4中的任意一項所述的方法，還包括在所述第二數字圖像中選擇子區帶的步驟，這一子區帶具有輪廓，並且在檢索所述第一數字圖像的子區帶的步驟之前，所述方法包括另外的步驟對所述輪廓執行所述變換函數以獲得定義了所述第一數字圖像的所述子區帶的輪廓的經變換的輪廓。
6.如權利要求2到5中的任意一項所述的方法，還包括分別在所述第一數字圖像和在所述第二數字圖像中選擇第一和第二區域的步驟，這兩個區域都大於由所述第一子區帶表示的總區域，並且其中，基於在所述第一和第二區域中的內容的比較而相對於所述第二數字圖像對準所述第一數字圖像。
7.如權利要求2到6中的任意一項所述的方法，其中，也從多解析度圖像數據結構來提供所述第二數字圖像，並且其特徵在於，在計算所述變換函數的所述步驟中，所述第一和第二數字圖像在低解析度，並且其特徵在於，所檢索的子區帶在高解析度。
8.如權利要求6和7中的任意一項所述的方法，其中，所述第一和第二區域基本上等於由所述第二數字圖像表示的總區域。
9.如權利要求6和8中的任意一項所述的方法，其中，所述第一和第二區域與所述第一子區帶交疊。
10.如權利要求2到9中的任意一項所述的方法，其中，所述變換函數適於在所述子區帶中高亮所述第一數字圖像和所述第二數字圖像之間的區別。
11.如權利要求2到10中的任意一項所述的方法，其中，已經分別使用第一和第二樣本製備技術採集了所述第一和第二數字圖像，這兩個技術是不同的。
12.如權利要求11所述的方法，其中，所述第二數字圖像的樣本是用H&E染色技術製備的。
13.如權利要求11或12所述的方法，其中，所述第一數字圖像的樣本是用IHC染色技術或者螢光染色技術製備的。
14.如權利要求I所述的方法，其中，所述變換函數適於增強所述子區帶的對比度。
15.一種用於處理表示區帶中樣本的第一數字圖像(IHC)的電腦程式產品，並且已經藉助於顯微鏡成像系統從所述樣本採集了所述圖像，所述電腦程式產品包括以下指令-檢索所述第一數字圖像(IHC)的子區帶， -對所檢索的子區帶(IHC)執行變換函數，所述變換函數適於修改所述第一數字圖像的內容。
16.如權利要求15所述的電腦程式產品，還包括通過以下方式來計算所述變換函數的指令 -提供已經藉助於顯微鏡成像系統從所述樣本採集的第二數字圖像(例如，參考圖像HE)， -確定所述第一和第二數字圖像之間的空間變換。
全文摘要
本發明屬於數字病理學中的圖像處理領域。它尤其提出了一種用於處理表示區帶中樣本的第一數字圖像的方法，並且已經藉助於顯微鏡成像系統(1)從所述樣本採集了所述圖像，並將所述圖像存儲在多解析度圖像數據結構(80)中，包括步驟檢索(104)第一解析度的所述第一數字圖像的子區帶，對所檢索的子區帶執行(105)變換函數，所述變換函數根據從所述第一數字圖像的第二解析度表示中得到的至少一個度量來修改所述子區帶內容。
文檔編號G06T3/00GK102947860SQ201180029310
公開日2013年2月27日 申請日期2011年6月10日 優先權日2010年6月15日
發明者D·米勒, D·福森, B·胡什肯 申請人:皇家飛利浦電子股份有限公司