利用自動成像設備來聚焦到樣本上的方法
2023-10-07 01:39:34 2
專利名稱：利用自動成像設備來聚焦到樣本上的方法
技術領域：
本發明的領域大體涉及電子成像系統的領域，更具體地，涉及計算機控制的顯微成像系統和其中使用的聚焦系統。
背景技術：
在病理學領域中，經常需要為潛在的病態或疾病狀態而檢查組織樣品。在一些情況下，組織或其他生物材料的樣品被嵌入在嵌入介質中並被切割為多個非常薄的切片 (slice)。之後這些切片被放置在諸如載玻片的樣品固定器上用於隨後的成像和分析。在其他應用中，在基於液體的製備中，將細胞或其他生物材料轉移到載玻片上。例如，可以從目標位置(例如，組織)上刮下細胞，並可選地在液體溶液中衝洗這些細胞。可替換地，可從體液(例如，尿液)中直接獲得細胞。可以將細胞直接轉移到載玻片，例如，可以將血液樣品直接塗在載玻片上。還開發了一種自動裝置用來在載玻片上獲得和放置細胞。例如， ThinPrep 系統(摩洛哥莫爾伯勒Cytyc公司)對包含細胞懸浮體的液體進行過濾。然後將過濾器上累積的細胞薄層轉移到載玻片上用於隨後的處理和觀察。越來越多地，自動成像或掃描系統被用來拍攝樣品的數字圖像。然後，病理學家或其他受訓技術人員可以為該組織中潛在的病態或疾病狀態對數字圖像進行分析。自動成像系統經常採用計算機控制的顯微鏡，這種顯微鏡利用自動控制的鏡臺和光學部件來獲取樣品的一個或多個聚焦圖像。例如，該系統可以被用於獲得載玻片上所製備的整個樣品的圖像。可替換地(或相結合地)，該系統可以獲得感興趣區域或特定區域的一個或多個放大圖像。為了獲得樣品或樣品放大區域的高質量圖像，該系統必須能夠迅速聚焦到該樣品或該區域上。這種需求提出了多種技術挑戰。在觀察圖像時，人類可以立即識別出其是否處於聚焦狀態或未處於聚焦狀態。計算機化的系統對待這種任務有困難。給出同一對象在不同聚焦高度的兩幅圖像，計算機操作的聚焦系統能夠識別出聚焦得更好的那副圖像。然而，只給出一幅圖像的話，計算機就難以自動評價聚焦質量。此外，計算機難以確定所成像的焦平面距理想聚焦高度或最佳聚焦高度有多遠。評估一幅圖像的聚焦質量的多種現有方法都利用了傅立葉變換。在沒有噪聲時， 聚焦較差的圖像將不包含特定頻率之上的傅立葉信號。該截止頻率的位置將給出基本結構的尺度。不幸的是，實際的圖像包含噪聲，且其限制了傅立葉變換的有效性。基於傅立葉變換的方法對具有低信噪比(SNR)的圖像效果較差。而且，所使用的傅立葉變換方法計算強度大，需要加強的計算硬體和軟體。在自動顯微鏡學中，計算機一般通過改變聚焦高度、獲取每個高度處的圖像來找出樣品內給定位置的最佳焦平面。利用各種「自動聚焦函數」之一來計算所獲取的每幅圖像的評分；評分最高的圖像對應於理想的聚焦高度。因為自動聚焦函數的值依賴於視野中的對象，所以這些函數可僅用於判斷一幅圖像相對於同一對象的另一幅圖像的質量，而不作出絕對的質量評價。一類自動聚焦函數基於圖像差來運算。未聚焦的圖像在彼此靠近的多個像素之間通常只有輕微的差異，這是因為點擴展函數(PSF)在多個像素中分配給每個像素強度，使它們模糊並平均了它們的灰度級。多種不同類型的圖像差已被用作圖像的相對聚焦質量的測值。例如，Brenner提出使用所有像素及距兩個點遠的其相鄰點之間的平方差之禾口。參見,例如,Brenner等人的An Automated Microscope For Cytological Research, J. Histochem. Cytochem. 24，100-111(1971)。由於計算機控制的成像系統改變聚焦高度同時獲得載玻片的圖像，Brenner函數已被用作聚焦質量的評判標準。現有方法對在多個聚焦高度獲取的圖像的Brenner函數評分進行比較。圖像聚焦質量的確定依賴於對一個聚焦高度的視野的Brenner函數評分與一個不同聚焦高度的同一視野的Brermer函數評分進行比較。Brermer函數評分是圖像中的基本結構的測值。處於聚焦的圖像具有高的Brenner函數評分，並且相比於未聚焦的圖像包含更小尺度的基本結構。相反，未聚焦的圖像具有低的Brenner函數評分，並且不包含小尺度的基本結構。由於該聚焦高度從理想高度以上變到理想高度以下，所以Brenner函數開始處於較低值，圖像在理想聚焦高度進入聚焦時Brenner函數達到峰值，並在失去聚焦時Brermer函數減小。繪製時相對於聚焦高度的Brermer函數的形狀是鐘形曲線。可以通過最初將聚焦高度恰好設置在鏡臺之上並以(例如)幾微米的增量使成像光學器件逐步接近樣品來實現一種更簡單的自動聚焦方法。繼續進行該過程直到Brenner 評分達到最大值。找出峰值聚焦高度需要對在多個連續聚焦高度處獲得的多個圖像的 Brenner評分進行比較。然而，在必須處理大批量樣品的許多醫學成像應用中，頻繁地執行這種自動聚焦將需要相當長的時間。理想地，自動成像系統將只需要每個視野的一幅圖像， 但是該系統仍必須具有一些確保圖像質量的方法。檢查單幅圖像的聚焦質量的高效且精確的方法將僅當這種成像系統確定不可接受給定圖像的聚焦質量時才允許這種成像系統獲取額外的自動聚焦圖像，從而使效率最大化而不引入降低精確性的風險。
發明內容
在一個實施例中，一種用於確定生物樣本的數字圖像的聚焦質量的方法包括利用樣本成像設備來獲得樣本的數字圖像。該數字圖像包括多個像素。計算該圖像中的小尺度基本結構(texture)的測值。例如，可以通過對整個數字圖像上相鄰像素對的平均值的差求平方來測量圖像中的小尺度基本結構。接下來，計算該圖像中的大尺度基本結構的測值。可以通過對整個數字圖像上相鄰三個像素的平均值的差求平方來測量大尺度基本結構。然後，基於對小尺度基本結構的測值和大尺度基本結構的測值的比較來建立圖像聚焦質量的估計。在一個實施例中，一種用於確定生物樣本的數字圖像的聚焦質量的方法包括以下步驟利用樣本成像設備來獲得樣本的數字圖像，該數字圖像包括多個像素。通過對數字圖像中相鄰像素對的平均值的差求平方並對一組像素上的平方差求和來計算高解析度 Brenner評分。通過對數字圖像中相鄰三個像素的平均值的差求平方並對一組像素上的平方差求和來計算低解析度Brenner評分。然後，計算高解析度Brenner評分除以低解析度Brenner評分或者低解析度Brermer評分除以高解析度Brermer評分的比值。如在本文中所使用的，比值可以用於指，高解析度基本結構評分除以低解析度基本結構評分，或者可替換地，低解析度基本結構評分除以高解析度基本結構評分。然後，基於所計算出的比值來建立表示聚焦質量的聚焦評分。該聚焦評分可以包括(例如)估計的距理想聚焦高度的位移。在另一個實施例中，一種使樣本成像設備聚焦的方法包括以下步驟利用樣本成像設備來獲得樣本的數字圖像，該數字圖像包括多個像素。通過對數字圖像中相鄰像素對的平均值的差求平方並對一組像素的平方差求和來計算高解析度Brenner評分。通過對數字圖像中相鄰三個像素的平均值的差求平方並對一組像素上的平方差求和來計算低解析度Brermer評分。計算高解析度Brermer評分與低解析度Brermer評分的比值。然後，基於該比值來調整樣本成像設備的焦距。該聚焦方法可以包括額外的步驟獲取樣本的一幅或多幅數字圖像並重新計算 Brenner評分或Brenner比值以評價聚焦的改善。可以獲得額外的數字圖像並對該數字圖像進行分析，直到焦平面位於或接近於最佳的或正確的聚焦高度。因為作為聚焦高度的函數的Brenner評分是鐘形曲線(取冪的二次函數)，所以可以利用聚焦評分的對數上的反拋物插值法根據三個或更多個點來估計曲線的峰值位置。在又一實施例中，一種對樣本固定器上包含的樣本的數字圖像執行質量檢查的方法包括以下步驟獲得樣本的數字圖像，該數字圖像包括多個像素。通過對數字圖像中相鄰像素對的平均值的差求平方並對一組像素上的平方差求和來計算高解析度Brenner評分。通過對數字圖像中相鄰三個像素的平均值的差求平方並對數字圖像中一組像素上的平方差求和來計算低解析度Brenner評分。接下來，計算低解析度Brenner評分與高解析度 Brenner評分的比值。基於計算出的比值來接受或拒絕該數字圖像。當聚焦質量被確定為不滿意時，自動成像系統可以立即調整聚焦並獲取新的圖像，或者可以繼續成像，但是如果聚焦較差的圖像數目超過給定閾值則對整幅圖像重新進行處理。在另一實施例中，一種利用自動成像設備來聚焦到樣本上的方法包括以下步驟 利用成像設備在不同聚焦高度處獲得樣本的三幅數字圖像。數字圖像由多個像素構成。為這三幅數字圖像中的每一幅計算Brenner自動聚焦評分。使一個取冪的二次函數擬合於通過三個聚焦高度和相應的圖像Brenner評分構成的(x，y)點。基於擬合於數據的函數在新的聚焦高度處獲取新的圖像。為該新圖像計算新的Brenner評分。在新的(例如，改進的) 不同聚焦高度獲取額外的圖像，直到達到理想聚焦高度。當然，當成像設備感測到其處於理想聚焦高度(例如，+/_位移值)的近程之內時，可以停止該過程。
現在將使用附圖利用額外說明和細節來描述和闡述本發明的實施例，在附圖中圖1示意性地示出了示例性樣本成像設備。圖2A是小尺度基本結構(例如，兩個像素的塊)的Brenner評分的計算的圖表表示。圖2B是大尺度基本結構(例如，三個像素的塊)的Brenner評分的計算的圖表表示。圖3是作為距理想聚焦高度的位移的函數的小尺度(高解析度)Brenner評分與大尺度(低解析度)Brenner評分的比值的散布圖。該散布圖數據是從12，000幅圖像中獲得的，這些圖像是在三十個載玻片的測試組中獲取的。圖4是示出預定位移相比於圖3的12，000幅圖像的實際位移的均方根誤差的曲線圖。圖5是示出在距初始高度0微米、-4微米、及-8微米的偏移量處獲得的Brermer 評分的曲線圖(實心數據點)。虛線是僅利用這三個數據點計算出的最佳擬合。空心數據點代表在一微米增量移動處獲得的額外的Brenner評分。
具體實施例方式圖1示出了根據本發明一個實施例的示例性樣本成像設備32。該圖像處理設備32 包括第一光學系統38和可相對於第一光學系統移動的載玻片鏡臺40。設置了觀察站36，並且觀察站包括第二光學系統44，並且經由伺服器34將觀察站連接到圖像處理系統32。內部的計算機系統46對第一光學系統38進行控制並與伺服器34進行通信。第一光學系統38包括電子照相機48 (諸如CXD照相機48)和顯微鏡50。優選地， 顯微鏡50是自動顯微鏡。自動顯微鏡50可以包括諸如自動聚焦機構M的特徵部件，該特徵部件用來提供在顯微鏡50的光路51中定位的載玻片10的一個區域的快速、精確的成像。第一光學系統38可以包括一個或多個透鏡系統52。照明器42可以為載玻片10上放置的樣本14提供照明，並且一般可以從鏡臺40的下面給載玻片10照明。鏡臺40響應於來自內部計算機系統46的適當命令，將樣本載玻片10運送到並處於顯微鏡50的光路51之內。在一個實施例中，機器人載玻片輸送裝置64可以在接收到來自計算機系統46的適當命令時，將樣本載玻片10從保存載玻片的盒子移動到可移動鏡臺 40用於對該樣本中的細胞進行成像，並在成像之後將載玻片移動回該盒子。載玻片固定器 65在鏡臺40上以精確的位置和方向來對載玻片10重複進行固定地且可移動地定位。可以通過一個或多個鏡臺電動機56來使鏡臺40機動化並給鏡臺供電。鏡臺40可以安裝在軸承58上，而軸承又安裝到顯微鏡50的基座59上。在一個實施例中，鏡臺40可在χ-y平面上移動。在一個實施例中，與可移動鏡臺40通信的接口控制器60可以提供載玻片10相對於顯微鏡50的觀察區域和光路51的精確受控的移動。接口控制器60通過將來自計算機系統46的命令轉換為適當信號來對鏡臺電動機56進行控制，其中，該適當信號使電動機56 將鏡臺40移動到預定位置。定位編碼器62可以檢測鏡臺40的精確位置，向計算機系統46 產生代表該鏡臺的移動或位置的脈衝。如本領域中所知的，可以由計算機46對這些脈衝進行解碼以識別鏡臺40在成像站坐標系統中的位置。圖像處理系統32可以包括可選的條形碼讀取器66，該讀取器被定位為，一旦通過機器人載玻片輸送裝置64將載玻片10運送到可移動鏡臺40或手動裝載了載玻片，則觀察載玻片包含條形碼的那個區域。圖像處理系統32可以包括標記器68，標記器在可能有不正常細胞的樣本的感興趣區域中自動放置點、標記、或其他可見記號。觀察站36經由伺服器；34連接到圖像處理系統32，並且觀察站可以位於遠處。觀察站36包括第二光學系統44。第二光學系統44可以包括第一光學系統38的任意特徵部件或全部特徵部件。在一個實施例中，第二光學系統44包括顯微鏡50，該顯微鏡連接到可移動鏡臺，並且該顯微鏡適於人類操作者用來在視覺上檢查由圖像處理系統32所標識的感興趣區域。在操作過程中，圖像處理系統32對放置了細胞學樣本14的載玻片10執行最初的觀察和拍攝，以對樣本14進行初步評價。圖像處理系統32對載玻片上潛在最相關的那些感興趣區域的位置進行識別用於細胞學技士和病理學者的隨後觀看。為了防止巴氏塗片屏中的假負讀數，在該初步拍攝過程中由圖像處理系統32所識別的區域位置必須精確到可接受的誤差容限之內。在掃描過程期間對載玻片進行不正確的操縱或定位會導致所識別區域位置的誤差以及隨後在觀察站36處的誤讀。有關圖像處理系統32的操作的其他細節可以在第7，006，674號美國專利中找到。 本文所描述的該方法可以和用於圖像生物樣本的其他圖像處理系統一起使用。在本發明的一個實施例中，提供了一種方法，該方法用於對利用圖像處理系統32 所獲得的數字圖像的聚焦質量進行確定。該方法首先包括獲得樣本14的數字圖像。數字圖像可以利用照相機48來獲取。樣本14的數字圖像由像素100的陣列構成。圖2A和圖 2B示出了該數字圖像內的相鄰像素100的一部分。該圖像內的每個像素100均可以由代表該特定像素的強度或亮度的8位(例如，字節)來表示。每個像素的值都與當快門打開時撞擊照相機48的相應倉(bin)的光子數目成線性比例。例如，在八位系統中，每個像素100 都被分配代表該像素的亮度或強度的256個可能值之一。在這點上，該成像系統對8位灰度級圖像進行分析。根據本發明的一個實施例，通過計算高解析度Brenner評分(BRhk)來獲得該數字圖像的高解析度基本結構。通過對該數字圖像內的相鄰像素對的平均值的差求平方並對像素組100的平方差求和來計算高解析度Brenner評分。高解析度Brenner評分可以利用等式1來計算，其中，rows和cols是該圖像中的行數和列數，以及Pi，j是行i列 j中的像素值。在圖2A中可視地給出了該等式。
權利要求
1.一種利用自動成像設備來聚焦到樣本上的方法，所述方法包括(a)利用所述成像設備在不同聚焦高度處獲得所述樣本的三幅數字圖像，所述數字圖像包括多個像素；(b)為所述三幅數字圖像中的每一幅計算Brenner自動聚焦評分；(c)使一個取冪的二次函數擬合於由所述三個聚焦高度和相應的圖像Brenner評分所構成的(X，y)點；(d)基於步驟(c)的所述函數移動到新的聚焦高度，獲取新的圖像，並且計算所述新的圖像的所述Brermer評分；以及(e)重複步驟(d)，直到達到理想聚焦高度。
2.根據權利要求1所述的方法，其中，在根據之前的數據點計算出的所述擬合函數的峰處獲取每幅新圖像。
3.根據權利要求2所述的方法，其中，當擬合函數高度處於之前的函數高度估計的特定閾值之內時達到理想聚焦高度，其中，所述擬合函數高度是在將新的數據點結合到所述擬合中時估計出的。
4.根據權利要求1所述的方法，其中，僅利用目前為止找到的具有最高評分的數據點、 具有最接近於且低於所述目前為止找到的具有最高評分的數據點的聚焦高度的數據點、以及具有最接近於且高於所述目前為止找到的具有最高評分的數據點的聚焦高度的數據點， 來計算所述擬合函數。
5.根據權利要求4所述的方法，其中，利用每一步將所述聚焦高度調整到儘可能接近於所述擬合函數的峰同時距目前為止檢查過的所有聚焦高度至少保持一個特定距離的高度。
6.根據權利要求4所述的方法，其中，當擬合中所使用的三個點全部處於相對於彼此的特定距離之內時，達到所述理想聚焦高度。
全文摘要
一種利用自動成像設備來聚焦到樣本上的方法，所述方法包括(a)利用所述成像設備在不同聚焦高度處獲得所述樣本的三幅數字圖像，所述數字圖像包括多個像素；(b)為所述三幅數字圖像中的每一幅計算Brenner自動聚焦評分；(c)使一個取冪的二次函數擬合於由所述三個聚焦高度和相應的圖像Brenner評分所構成的(x，y)點；(d)基於步驟(c)的所述函數移動到新的聚焦高度，獲取新的圖像，並且計算所述新的圖像的所述Brenner評分；以及(e)重複步驟(d)，直到達到理想聚焦高度。
文檔編號G02B21/24GK102176245SQ201110120109
公開日2011年9月7日 申請日期2007年11月27日 優先權日2006年12月11日
發明者麥可·扎赫尼塞爾 申請人:西泰克公司