虛擬顯微鏡系統的製作方法

2023-04-29 22:26:01

專利名稱：虛擬顯微鏡系統的製作方法
技術領域：
本發明涉及用於估算通過拍攝染色樣品(stained sample)獲得的染色樣品圖像 的光譜的虛擬顯微鏡系統。
背景技術：
光譜透射率光譜(spectral transmittance spectrum)是代表成像目標特有的 物理性能的物理量之一。光譜透射率是代表各個波長的透射光與入射光的比率的物理量， 並且與取決於照射光的變化的諸如RGB值等色彩信息不同，光譜透射率是目標的特有的信 息，其值不隨外界的影響而變化。因此，光譜透射率作為再現目標自身色彩的信息被用在各 種領域。例如，在使用人體組織樣品尤其是病理標本的病理學診斷的領域中，光譜透射率作 為光譜特性值的示例被用於分析通過拍攝樣品而獲得的圖像。下面將具體說明光譜透射率 用於病理學診斷的使用示例。作為病理學診斷用的一種病理檢查，已知利用顯微鏡觀察取自病變部位的組織用 於診斷疾病或病變的擴散程度的組織診斷。該組織診斷也被稱為「活組織檢查」，其將通過 摘取器官獲得的大塊樣品或通過穿刺活檢獲得的病理標本切成幾微米厚，並且利用顯微鏡 進行放大以獲得各種發現，該診斷已經被廣泛使用。因為設備和材料相對便宜並且易於操 作，因此使用光學顯微鏡的透射觀察是最普通的觀察方法之一，並且該方法已經使用多年。 在透射觀察的情形中，切片樣品幾乎不吸收和散射光，並且幾乎是透明和無色的。因此，通 常在觀察之前通過染色劑(dye)給樣品染色。已經提出了多種染色方法，並且總共已經提出了上百種染色方法。特別地，對於病 理標本，採用藍紫色的蘇木精和紅色的曙紅作為顏料的蘇木精-曙紅染色法(下文中稱為 「HE染色法」)已被用作標準染色方法。蘇木精是從植物中提取的自然物質，並且本身不具有可染性。但是，作為蘇木精的 氧化產物的血色素是嗜鹼性染色劑並且結合到帶負電荷的物質。包含在細胞核中的脫氧核 糖核酸(DNA)通過作為組分包含的磷酸基團而帶負電，因此當脫氧核糖核酸與血色素結合 時被染成藍紫色。如上所述，具有可染性的物質是蘇木精的氧化產物血色素，而不是蘇木 精。但是，普遍地用蘇木精作為染色劑的名稱，並且這也適用於後面的說明。另一方面，曙紅是嗜酸性染色劑並且結合到帶正電的物質。胺基酸和蛋白質根據 它們的PH環境而帶負電或帶正電，並且在酸性環境下具有很強的帶正電的趨勢。因此，在 一些情況下乙酸被加入到曙紅溶液中。包含在細胞質中的蛋白質當與曙紅結合時被染成紅 色或淺紅色。被HE染色後(染色樣品)，樣品中的細胞核、骨組織等被染成藍紫色，並且細胞質、結締組織、血細胞等被染成紅色，這提供了可見性。於是觀察者獲知諸如細胞核等構成組織 的元素的大小和位置關係等，由此能夠使觀察者從形態上確定樣品的狀態。除了通過觀察者目視檢查外，還可以通過顯示在外部裝置的顯示屏上的多譜帶 (multiband)成像觀察染色樣品。在圖像被顯示在屏幕上的情況下，進行用於從所獲得的多 譜帶圖像估算樣品各點處的光譜透射率的處理和用於基於所估算的光譜透射率而估算給 樣品染色的染色劑的量的處理，等等，並且組成將顯示的圖像，該圖像是樣品的用於顯示的 RGB圖像。從樣品的多譜帶圖像估算樣品各點處的光譜透射率的方法包括，例如，主成分分 析、維納估算法(wiener estimation method)等。維納估算法被熟知為一種用於從所觀察 的混有噪聲的信號估算原始信號的線性過濾方法，並且維納估算法是用於使所觀察的目標 和噪聲(觀察的噪聲)的統計特性方面的誤差最小化的方法。來自照相機的信號包含某些 種類的噪聲。因此維納估算法是用於估算原始信號的非常有用的方法。下面說明通過從樣品的多譜帶圖像組成顯示圖像而製作虛擬切片(virtual slide)的方法。虛擬切片是通過拼接(patch)由顯微鏡裝置拍攝的一個或多個多譜帶圖像 而製作的圖像，例如是通過拼接由高倍顯微鏡物鏡拍攝的染色樣品的各部分的多個高分辨 率圖像而製作的圖像。虛擬切片是指染色樣品的整個視圖的廣視野且高清晰度的多譜帶圖 像。首先，在轉動濾波器輪以切換16件帶通濾波器的同時，例如，基於幀順序法 (frame sequential method)拍攝樣品的多譜帶圖像。通過這種方式，能夠在樣品的各點處 獲得具有16條譜帶的像素值的多譜帶圖像。雖然染色劑初始被三維地分布到待觀察的樣 品中，但是因為是使用普通的透射觀察系統，所以染色劑不能作為三維圖像被拍攝，並且通 過樣品的照射光作為投射在照相機的成像元件上的二維圖像被觀察。因此，這裡所說的各 點是指樣品的與投射到成像元件的各像素對應的點。對於所拍攝的多譜帶圖像的任意點(像素)x，基於照相機的響應系統在譜帶b中 的像素值g(x，b)和樣品的對應點處的光譜透射率t(x，λ)之間建立由下面的式(1)表示 的關係g(x,b) =/ Af(b, A)s(A)e(A)t(x, λ ) d λ+η (b) · · · (1)在式(1)中，λ表示波長，f(b，λ)表示第b濾波器的光譜透射率，s( λ)表示照 相機的光譜靈敏度特性，β(λ)表示照射光的光譜發光特性，並且η (b)表示譜帶b中的觀 察噪聲。b表示用於區分譜帶的序號，並且是滿足Kb <16的整數。在實際計算中，使用 通過將式(1)沿波長方向離散而獲得的下面的式O)。G (χ) = FSET (x) +N ... (2)在式O)中，當沿波長方向的樣品點的數量被表示為D並且譜帶的數量被表示為 Β(在該情形下，B = 16)時，G(X)表示與點χ處的像素值g(x，b)對應的B行1列的矩陣。 以同樣的方式，T(X)表示與t(x，λ)對應的D行1列的矩陣，而F表示與f(b，λ)對應的 B行D列的矩陣。另一方面，S表示D行D列的對角矩陣，並且對角元素與8(λ)對應。以 同樣的方式，E表示D行D列的對角矩陣，並且對角元素與e(X)對應。N表示與n(b)對應 的B行1列的矩陣。在式O)中，因為利用矩陣將多個譜帶的等式放在一起，所以不表述代 表譜帶的變量b。另外，波長λ的積分被矩陣的乘積代替。
為了簡化說明，引入由式(3)限定的矩陣H。矩陣H也被稱為系統矩陣。H = FSE ... (3)於是，式⑵可被下面的式(4)代替。G (χ) = HT (χ) +N …(4)接著，使用維納估算法從所拍攝的多譜帶圖像估算樣品的各點處的光譜透射率。 可通過下面的式( 計算光譜透射率的估算值(光譜透射率數據) (χ)。f表示代表估算 值的「~(尖號)」位於T的上面。T(x) = WG(X) ... ( 5 )W由下面的式(6)表示，並且被稱為「維納估算矩陣」或者「用於維納估算的估算
算子」。W = RssHt (RssH^Rnn) ―1 ... (6)這裡，Ot 轉置矩陣，和(Γ1 逆矩陣。在式(6)中，Rss是D行D列的矩陣並且代表樣品的光譜透射率的自相關矩陣，和 Rnn是B行B列的矩陣並且代表用於拍攝的照相機的噪聲的自相關矩陣。為了計算估算算子W，通過該估算算子能夠適當地估算諸如細胞核、細胞質、血細 胞、空腔(cavum)等各主要元素，事先需要諸如細胞核、細胞質、血細胞、空腔等各主要元素 的光譜。因此，在移動測量位置時，使用者需要利用分光儀事先測量樣品的各主要元素的光 譜，這將是麻煩的。為了解決上述問題，例如，日本未審查的專利申請No. 2009-014354公開了圖像處 理裝置，其中，自動地計算適當的估算算子W。在該圖像處理裝置中，當移動估算位置時，利 用分光儀自動地測量樣品的各主要元素的光譜，並且從所測量的光譜計算估算算子W。然後 評價該估算算子W，如果其不適當，則再次測量樣品的各主要元素的光譜，因此自動地計算 適當的估算算子W。根據上述文件中公開的圖像處理裝置，自動地計算適當的估算算子W，由此減輕使 用者的負擔。但是，本發明的發明人認為在上述的圖像處理裝置中，在移動測量位置時，需 要利用分光儀事先測量樣品的多種元素的光譜。因此，該處理需要大量的時間，結果，樣品 的光譜的估算將是費時的。

發明內容
針對上述問題，本發明的目的是提供一種虛擬顯微鏡系統，通過該虛擬顯微鏡系 統能夠通過拍攝染色樣品而獲得染色樣品圖像並且能夠在短時間內獲得光譜的統計數據。實現上述目的的本發明的第一方面是一種虛擬顯微鏡系統，其用於拍攝染色樣 品，以估算光譜，所述虛擬顯微鏡系統包括圖像獲取單元，其用於獲取所述染色樣品的一個以上譜帶的染色樣品圖像；光譜獲取單元，其用於獲取所述染色樣品圖像的一個以上的預定部分的光譜；光路設定單元，其用於設定透過所述染色樣品的光通量相對於所述圖像獲取單元 和所述光譜獲取單元的光路，從而每次所述圖像獲取單元獲取所述染色樣品圖像時，能夠 通過所述光譜獲取單元獲取所述染色樣品圖像的光譜；以及
控制單元，其用於在所述染色樣品的兩個以上的觀察場中進行控制以重複通過所 述圖像獲取單元獲取所述染色樣品圖像和通過所述光譜獲取單元獲取所述染色樣品圖像 的光譜，從而製作所述染色樣品的虛擬切片和光譜表。本發明的第二方面從屬於根據第一方面的虛擬顯微鏡系統，其中，所述光路設定 單元具有用於切換所述光通量的光路的光路切換鏡，從而透過所述染色樣品的所述光通量 選擇性地入射到所述圖像獲取單元或所述光譜獲取單元。本發明的第三方面從屬於根據第一方面的虛擬顯微鏡系統，其中，所述光路設定 單元具有配置切換機構，其用於選擇性地將所述圖像獲取單元或所述光譜獲取單元置於透 過所述染色樣品的所述光通量的光路上。本發明的第四方面從屬於根據第一方面的虛擬顯微鏡系統，其中，所述光路設定 單元具有分束器，該分束器用於將所述光通量的光路分開，從而使透過所述染色樣品的所 述光通量同時入射到所述圖像獲取單元和所述光譜獲取單元。本發明的第五方面從屬於根據第一方面的虛擬顯微鏡系統，其中，所述圖像獲取 單元是設置有照相機和光學濾波器的RGB照相機、黑白照相機、兩個以上譜帶的照相機和 多譜帶照相機中的任一種。本發明的第六方面從屬於根據第一方面的虛擬顯微鏡系統，其中，所述光譜獲取 單元具有用於放大所述染色樣品圖像的光學倍率增大單元，並且所述光譜獲取單元從由所 述光學倍率增大單元放大的所述染色樣品圖像獲取光譜。本發明的第七方面從屬於根據第一方面的虛擬顯微鏡系統，所述虛擬顯微鏡系統 還包括光譜獲取位置像素值計算單元，其用於從由所述圖像獲取單元獲得的所述染色樣 品圖像獲取由所述光譜獲取單元獲得光譜的位置處的像素值，其中，製作至少包含所述光譜和所述像素值的光譜表作為光譜表。本發明的第八方面從屬於根據第一方面的虛擬顯微鏡系統，所述虛擬顯微鏡系統 還包括估算算子計算單元，其用於由所述光譜表計算估算算子；和光譜估算單元，其用於通過使用所述估算算子估算構成所述虛擬切片的像素的光
譜ο本發明的第九方面從屬於根據第八方面的虛擬顯微鏡系統，所述虛擬顯微鏡系統 還包括光譜選擇單元，其用於從所述光譜表中選擇與構成所述虛擬切片的像素的像素值 對應的多個光譜，其中，所述估算算子計算單元從由所述光譜選擇單元選擇的所述多個光譜計算用 於各像素值的估算算子；以及所述光譜估算單元通過使用用於各像素值的估算算子估算構成所述虛擬切片的 像素的光譜。本發明的第十方面從屬於根據第八方面的虛擬顯微鏡系統，所述虛擬顯微鏡系統 還包括光譜選擇單元，其用於從所述光譜表中選擇與構成所述虛擬切片的像素的像素值 對應的光譜，
其中，由所述光譜選擇單元選擇的光譜是光譜估算值。本發明的第十一方面從屬於根據第七方面的虛擬顯微鏡系統，其中，存儲在所述 光譜表中的像素值是所獲得的像素值、轉換成色彩空間的像素值以及從所述像素值計算的 特徵值中的任一種。本發明的第十二方面從屬於根據第七方面的虛擬顯微鏡系統，其中，所述光譜表 由包含至少所述光譜、所述像素值和獲得所述光譜的像素位置的信息的數據集構成。本發明的第十三方面從屬於根據第七方面的虛擬顯微鏡系統，其中，所述光譜獲 取位置像素值計算單元計算光譜獲取區域中的中央像素的像素值、所述獲取區域中的像素 的像素值的統計值以及通過對所述獲取區域中的像素值和所述光譜獲取單元的光接收特 性進行卷積而計算出的值中的一種。根據本發明的虛擬顯微鏡系統能夠幾乎同時地製作光譜的統計數據和虛擬切片。 因此能夠高速地估算染色樣品的光譜。


圖1是用於說明根據本發明的第一實施方式的虛擬顯微鏡系統的原理的圖；圖2是用於說明根據本發明的第一實施方式的虛擬顯微鏡系統的原理的圖；圖3是示出圖1所示的光譜獲取單元的變型例的圖；圖4是示出圖1所示的光路設定單元的另一構造的圖；圖5是示出根據第一實施方式的虛擬顯微鏡系統的構造的功能方塊圖；圖6是示出圖5所示的圖像獲取單元的主要部件的構造的方塊圖；圖7是示出圖6所示的RGB照相機的光譜靈敏度特性的圖；圖8是示出組成圖6所示的濾波器單元的兩個光學濾波器的光譜透射率特性的 圖；圖9是示出圖5所示的顯微鏡設備的具體構造的圖；圖10是示出通過圖5所示的虛擬顯微鏡系統製作虛擬切片和光譜表的處理的流 程圖；圖11是示出通過圖5所示的虛擬顯微鏡系統估算光譜的處理的流程圖；圖12是用於說明根據本發明的第二實施方式的虛擬顯微鏡系統的原理的圖；圖13是示出根據第二實施方式的虛擬顯微鏡系統的構造的功能方塊圖；圖14是示出通過圖13所示的虛擬顯微鏡系統製作虛擬切片和光譜表的處理的流 程圖；圖15是示出通過圖14所示的處理所製作的光譜表的示例的圖；圖16是示出通過圖13所示的虛擬顯微鏡系統估算光譜的處理的流程圖；圖17是示出具有多個組織的目標樣品的圖；以及圖18是示出圖1所示的光路設定單元的其它構造的圖。
具體實施例方式現在將參照附圖具體說明本發明的優選實施方式。應注意，本發明不限於下面示 出的實施方式，並且圖中相同的附圖標記表示相同的部分。
(第一實施方式)圖1和圖2是用於說明根據本發明的第一實施方式的虛擬顯微鏡系統的原理的 圖。在根據本實施方式的虛擬顯微鏡系統中，放置在顯微鏡設備的鏡臺(stage)上的染色 樣品(下文中稱為「目標樣品」)11通過照射光學系統13被光源12照射，並且透過染色樣 品的透射光通過觀察光學系統14入射到光路設定單元15，其中觀察光學系統14包括顯微 鏡物鏡。例如，光路設定單元15由光路切換鏡1 構成。例如，光路切換鏡15a由可相對 於入射光的光路撤出的反射鏡構成。通過從入射光路中撤出光路切換鏡1 而使來自觀察 光學系統14的入射光的光路指向圖像獲取單元16，通過將光路切換鏡1 插入到入射光路 中而使來自觀察光學系統14的入射光的光路指向光譜獲取單元17。如圖2(a)所示，在從入射光路中撤出光路切換鏡15a的狀態下，通過圖像獲取單 元16獲取目標樣品11的一個或多個譜帶(band)的目標樣品圖像21，並且所獲得的目標樣 品圖像21被存儲在未示出的存儲單元中作為虛擬切片22的一部分。之後，在將光路切換 鏡1 插入到入射光路中的狀態下，通過光譜獲取單元17獲取由圖像獲取單元16獲得的 目標樣品圖像21的一個或多個預定部分23 (見圖1)的光譜24 (見圖2 (b))，並且所獲得的 預定部分23的各光譜M被寄存在圖2所示的光譜表中。圖1示出了獲取目標樣品圖像21 的兩個預定部分23的每個部分的光譜M的示例。在移動目標樣品11的同時，重複獲取目 標樣品圖像21和獲取目標樣品圖像21的光譜24，由此幾乎同時製作mXn張切片22和光 譜表25。在上述說明中，在獲得目標樣品圖像21之後，獲取其預定部分23處的光譜24。但 是，順序可以顛倒。另外，光譜獲取單元17可構造成不僅獲取目標樣品圖像21的兩個預定 部分23的每個部分處的光譜M ；而且還獲取一個預定部分23處的光譜M ；或者如圖3所 示，通過利用放大光學系統27使從觀察光學系統14輸出並且通過光路切換鏡15a的入射 光放大，獲取三個以上的預定部分23的每個部分處的光譜M。另外，如圖4所示，光路設定單元15也可構造成通過使用諸如半透明反射鏡(half mirror)等分束器1 將來自觀察光學系統14的入射光的光路分開，並且分別設定用於圖 像獲取單元16的光路和用於光譜獲取單元17的光路。在該情形下，可同時進行通過圖像獲 取單元16獲取目標樣品圖像21和通過光譜獲取單元17獲取目標樣品圖像21的光譜24。另外，當通過使用圖1和圖3所示的可撤出的光路切換鏡1 構成光路設定單元 15時，可有效地使用目標樣品11的透射光，從而與圖4所示的示例相比可以減少照射光的 光量。另外，如圖4所示，當通過使用分束器1 構成光路設定單元時，與圖1和圖3所示 的示例相比可在較短的時間內製作虛擬切片22和光譜表25。圖5是示出基於上述原理、根據本實施方式的虛擬顯微鏡系統的構造的功能方塊 圖。虛擬顯微鏡系統由顯微鏡設備100和主機系統200組成，主機系統200控制顯微鏡設 備100並且進行虛擬切片製作、光譜估算等。顯微鏡設備100包括圖像獲取單元110、光譜 獲取單元130、光路設定單元150和鏡臺170。圖像獲取單元110(與圖1中的圖像獲取單元16相當)獲取通過顯微鏡拍攝的目 標樣品的一個或多個譜帶的目標樣品圖像(在本情形中為六個譜帶圖像)，例如，如示出主 要部件的典型構造的圖6所示，圖像獲取單元110包括RGB照相機111以及濾波器單元113， 其中，RGB照相機111具有諸如CCD(電荷耦合器件)和CMOS(互補金屬氧化物半導體)等成像元件，濾波器單元113將形成圖像的光的波段限制到預定範圍。如圖7所示，RGB照相機111具有例如R(紅)、G(綠)、B (藍)譜帶中的每一者的 光譜靈敏度特性。濾波器單元113包括轉動濾波器切換單元115，具有不同的光譜透射率特 性的兩個光學濾波器117a和117b被保持於該轉動濾波器切換單元115，從而R、G、B譜帶 中的每一者的可透過的波長區域被分為二。圖8(a)示出了光學濾波器117a的光譜透射率 特性，圖8(b)示出了另一光學濾波器117b的光譜透射率特性。首先，例如，光學濾波器117a位於從光源119(與圖1中的光源12相當)延伸到 RGB照相機111的光路上，從而光源119照射放置在鏡臺170上的目標樣品11，並且透射光 通過圖像形成光學系統121(與圖1中的觀察光學系統14相當)和光學濾波器117a形成 在RGB照相機上。通過該方式，進行第一拍攝。然後，轉動濾波器切換單元115使得光學濾 波器117b位於從光源119延伸到RGB照相機111的光路上。於是，以同樣的方式，進行第 二拍攝。以這種方式，通過第一拍攝和第二拍攝分別獲取互不相同的三個譜帶的圖像，由 此獲得總共六個譜帶的多譜帶圖像。應注意，設置於濾波器單元113的光學濾波器的數量 不限於兩個，可以使用三個以上的光學濾波器以獲取更多譜帶的圖像。所獲得的目標樣品 11的目標樣品圖像作為虛擬切片的一部分被存儲在後述的主機系統200的存儲單元230 中。圖像獲取單元110可以使用RGB照相機111僅獲得RGB圖像。在圖5中，光譜獲取單元130 (與圖1中的光譜獲取單元17相當)獲取通過圖像獲 取單元110所獲得的目標樣品圖像的一個或多個預定部分的光譜，並且光譜獲取單元130 設置有與上述預定部分對應的分光儀(spectrometer)，該分光儀使用矽檢測器和光纖。因 此，如果設定多個預定部分，則設置多個分光儀。光路設定單元150相對於圖像獲取單元110和光譜獲取單元130設定由顯微鏡物 鏡會聚的光通量的光路，從而每次圖像獲取單元110獲取目標樣品圖像時，光譜獲取單元 130能夠獲取目標樣品圖像的預定部分的光譜，並且如圖1或圖4所示，光路設定單元150 由光路切換鏡1 或分束器1 構成。鏡臺170用於在其上放置目標樣品和相對於顯微鏡物鏡定位該目標樣品，並 且鏡臺170例如由可在與顯微鏡物鏡的光軸垂直的平面內沿二維方向移動的電鏡臺 (electrical stage)構成。另一方面，主機系統200包括控制單元210、存儲單元230、計算單元250、輸入單元 270和顯示單元四0。輸入單元270通過諸如鍵盤、滑鼠、觸摸面板和各種開關等輸入設備實現，並且輸 入單元270響應於操作輸入而將輸入信號輸出到控制單元210。顯示單元290通過諸如IXD (液晶顯示器)、EL(電發光)顯示器、CRT(陰極射線 管)顯示器等顯示設備實現，並且基於從控制單元210輸入的顯示信號而顯示各種屏幕 (screen)。計算單元250包括估算算子(estimation operator)計算單元255、光譜估算單元 257和虛擬切片製作單元259。虛擬切片製作單元259處理多個目標樣品圖像中的每一個， 由此製作虛擬切片圖像，其中多個目標樣品圖像通過利用顯微鏡設備100多譜帶拍攝目標 樣品11的一部分而獲得。
存儲單元230通過諸如ROM和RAM等各種IC存儲器、能夠更新和存儲的快閃記憶體、諸如 集成的或通過數據通信端子連接的硬碟和CD-ROM等數據存儲介質以及其讀取器等實現。 存儲單元230存儲用於處理通過圖像獲取單元110獲得的圖像的圖像處理程序231、用於制 作虛擬切片的虛擬切片製作程序233、製作好的虛擬切片235、通過光譜獲取單元130獲得 的光譜表237(與圖2中的光譜表25相當)、在程序運行過程中將使用的數據等。控制單元210包括用於控制圖像獲取單元110的操作以獲取目標樣品的圖像的圖 像獲取控制單元211、用於控制光譜獲取單元130的操作以獲取目標樣品的光譜的光譜獲 取控制單元213、用於控制光路設定單元150的操作以切換光路的光路設定控制單元215以 及用於控制鏡臺170以移動觀察場的鏡臺控制單元217。控制單元210基於從輸入單元270 輸入的輸入信號、從圖像獲取單元110輸入的目標樣品圖像、存儲在存儲單元230中的程序 或數據等給出指令或傳送數據到構成虛擬顯微鏡系統的各單元，由此控制整個操作。控制 單元210通過諸如CPU等硬體實現。當光路設定單元150由如圖4所示的分束器1 構成 時，不需要光路設定控制單元215。儘管圖5示出了主機系統200的功能構造，實際的主機系統200能夠通過公眾所 知的硬體構造實現，其設置有CPU、顯示板(video board)、諸如主存儲器(RAM)等主存儲 單元、用於連接諸如硬碟和各種存儲介質等外部存儲單元的接口裝置、通信裝置、外部輸入 等。因此，例如工作站和個人電腦等通用計算機可以用作主機系統200。圖9是示出圖5所示的顯微鏡設備100的具體構造的圖。顯微鏡設備100包括 鏡臺170，其上放置目標樣品11 ；從側面看為大致U形的顯微鏡主體127，其支撐鏡臺170 並且通過轉動器123保持物鏡125(與圖1中的觀察光學系統14相當)；光源119，其設置 在顯微鏡主體127的底部的後方；以及透鏡鏡筒129，其放置在顯微鏡主體127的頂部。另 外，用於視覺地觀察目標樣品11的樣品圖像的雙目鏡單元(binocular unit) 131和用於拍 攝目標樣品11的樣品圖像並且獲取目標樣品圖像的TV照相機133(與圖6中RGB照相機 111相當)安裝到透鏡鏡筒129。應注意，如圖9所示，物鏡125的光軸方向被定義為Z方 向，並且與Z方向垂直的平面被定義為XY平面。鏡臺170被構造成可沿X、Y和Z方向移動。換句話說，可通過馬達135和控制馬 達135的驅動的XY驅動控制單元137使鏡臺170在XY平面內移動。XY驅動控制單元137 通過XY位置用的原始位置傳感器(未示出)檢測鏡臺170在XY平面中的預定的原始位置， 並且基於該原始位置控制馬達135的驅動量，由此移動目標樣品11的觀察場。另外，可通過馬達139和控制馬達139的驅動的Z驅動控制單元141使鏡臺170 沿ζ方向移動。Z驅動控制單元141通過Z位置用的原始位置傳感器(未示出)檢測鏡臺 170的Z方向上的預定的原始位置，並且基於該原始位置控制馬達139的驅動量，由此將目 標樣品11的焦點移動到預定的高度範圍內的任意的Z位置。轉動器123相對於顯微鏡主體127被可轉動地保持，並且將物鏡125布置在目標 樣品11的上方。物鏡125被以可與具有不同倍率(觀察倍率)的其它物鏡更換的方式相 對於轉動器123安裝，並且物鏡125響應於轉動器123的轉動而被插入觀察光的光路中，以 允許用於觀察目標樣品11的物鏡125可選地切換。顯微鏡主體127中包括位於其底部的用於進行目標樣品11的透過照射的照射光 學系統(與圖1中的照射光學系統13相當)。在照射光學系統中，用於收集從光源119輸出的照射光的收集透鏡143、照射系統濾波器單元145、場闌(field stop) 147、孔徑光闌 (aperture stop) 149、用於沿物鏡125的光軸偏轉照射光的光路的摺疊式反射鏡151、聚光 元件單元(condenser optical element unit) 153、上部透鏡單元155等沿照射光的光路被 布置在適當的位置。從光源119輸出的照射光通過照射光學系統照射目標樣品11，並且從 目標樣品11透過的透射光作為觀察光入射到物鏡125上。另外，顯微鏡主體127包括光譜獲取單元130和位於物鏡125和透鏡鏡筒1 之 間的光路上的光路設定單元150，從而光路被設定在光譜獲取單元130和透鏡鏡筒1 上。 通過使用圖1所示的光路切換鏡1 或圖4所示的分束器1 而構成光路設定單元150。另外，顯微鏡主體127中包括位於光路設定單元150和透鏡鏡筒1 之間的光路 上的濾波器單元157。濾波器單元157與圖7中示出的濾波器單元113相當，並且可轉動地 保持兩個以上的光學濾波器159以將作為樣品圖像聚焦的光的波段限制到預定的範圍，並 且適當地將光學濾波器159插入物鏡125之後的觀察光的光路中。透鏡鏡筒1 中包括用於切換通過濾波器單元157的觀察光的光路以將光導向雙 目鏡單元131或將光導向TV照相機133的分束器161。目標樣品11的樣品圖像通過分束 器161被引入雙目鏡131中，並且被使用顯微鏡的技術人員通過目鏡163視覺地觀察到，或 者被TV照相機133拍攝。TV照相機133通過包括諸如CXD或CMO S等形成樣品圖像(更 具體地，在物鏡125的視野範圍內的樣品圖像)的成像元件而構成，TV照相機133拍攝樣 品圖像並且將樣品圖像(目標樣品圖像)的圖像數據輸出到主機系統200。顯微鏡設備100還包括顯微鏡控制器165、TV照相機控制器167和光譜獲取控制 器169。顯微鏡控制器165在主機系統200的控制下控制構成顯微鏡設備100的各部件的 整體操作。例如，顯微鏡控制器165通過使轉動器123轉動而切換布置在觀察光的光路上 的物鏡125，並且進行顯微鏡設備100的各部件的與目標樣品11的觀察相關諸如光源119 的與切換後的物鏡125的倍率等對應的變暗控制等調節、切換各種光學元件或者將用於移 動鏡臺170的指令給到XY驅動控制單元137和Z驅動控制單元141，等等，同時顯微鏡控制 器165適當地將各單元的狀態報告給主機系統200。TV照相機控制器167在主機系統200的控制下，進行自動增益控制的0N/0FF切 換、增益的設定、自動曝光控制的0N/0FF切換、曝光時間的設定等，以驅動TV照相機133並 且控制TV照相機133的拍攝操作。另外，光譜獲取控制器169在主機系統200的控制下， 控制通過光譜獲取單元130來獲取光譜並且將所獲得的光譜提供給主機系統200。以下參照圖10和圖11中示出的流程圖說明根據本實施方式的虛擬顯微鏡系統的 主要部件的操作。圖10是示出虛擬切片和光譜表的製作過程的流程圖。首先，在控制單元210中， 鏡臺控制單元217控制鏡臺170的操作，以移動目標樣品11的觀察場(步驟S101)。接著， 光路設定控制單元215控制光路設定單元150的操作，以將光路指向圖像獲取單元110 (步 驟 S103)。然後，控制單元210的圖像獲取控制單元211控制圖像獲取單元110的操作，以獲 取目標樣品11的目標樣品圖像(步驟S105)，並且將所獲得的目標樣品圖像存儲在存儲單 元230中作為虛擬切片235的一部分(步驟S107)。然後，控制單元210的光路設定控制單元215控制光路設定單元150的操作，以將光路指向光譜獲取單元130(步驟S109)。然後，控制單元210的光譜獲取控制單元213控 制光譜獲取單元130的操作，以獲取目標樣品11的光譜(步驟S111)，並且將所獲得的目 標樣品11的光譜存儲在存儲單元230的光譜表237中(步驟Sli;3)。當光譜獲取單元130 獲取目標樣品圖像的多個部分的光譜時，從所有部分獲得光譜(步驟S115)。然後，控制單元210重複步驟SlOl至S115，直到目標樣品11的所需場被獲得，以 製作整個目標樣品11或部分目標樣品11的切片235和光譜表237(步驟S117)。當光路設 定單元150如圖4所示地由分束器15b構成時，則不需要步驟S103和S109。在該情形下， 通過圖像獲取單元110獲取目標樣品圖像的處理和通過光譜獲取單元130獲取光譜的處理 同時進行或者順序進行。通過這種方式，每次通過圖像獲取單元110獲取目標樣品圖像時，通過光譜獲取 單元130獲取目標樣品圖像的光譜，由此高速地製作虛擬切片235和光譜表237。特別地， 當光路設定單元150如圖4所示地由分束器1 構成時，不需要用於切換光路切換鏡1 的時間，而當使用可動的光路切換鏡15a時該時間是需要的，因此，能夠更高速地製作虛擬 切片235和光譜表237。另外，當光譜獲取單元130獲取目標樣品圖像的多個部分的光譜時，能夠製作包 含更豐富的信息的光譜表237。另外，存儲在光譜表237中的光譜是從目標樣品11獲得的 光譜，因此，它們是用於計算估算算子W的合適的統計數據，估算算子W用於估算目標樣品 11的光譜。圖11是示出光譜的估算處理的流程圖。首先，在控制單元210中，估算算子控 制單元225基於存儲在光譜表237中的多個光譜計算式(6)中表示的估算算子W(步驟 S201)。為此，首先，估算算子控制單元225基於存儲在光譜表237中的多個光譜找到平均 矢量(Vector)V,並且基於該平均矢量V通過下面示出的式(7)計算自相關矩陣I ss。這裡， 上標T表示行列式的轉置。Rss = Σ V · Vt …(7)然後，估算算子計算單元255基於該自相關矩陣Iiss通過式(6)計算出估算算子W。 式(6)再次在下面示出。W = RssHt(RssH^Rra)"1 · · · (6)這裡，Ot 轉置矩陣，和O—1 逆矩陣。由此獲得適合用於估算目標樣品圖像的光譜的估算算子W。所獲得的估算算子W 被存儲在存儲單元230中。至於用於計算自相關矩陣用的光譜，可以使用存儲在光譜表237 中的所有光譜或者使用為了某一目的通過去除特定的數據而提取的部分光譜。另外，當數 據量不充足時，可與其它樣品的光譜或通用光譜一起使用。另外，可使用協方差矩陣代替自 相關矩陣。然後，在控制單元210中，光譜估算單元257基於包含在虛擬切片235中的待估算 的像素的像素值估算目標樣品11的光譜(步驟S203)。換句話說，在光譜估算單元257中， 基於待估算的像素的像素值G(X)通過使用上述式( 的估算算子W來估算目標樣品11的 對應的樣品點處的光譜透射率的估算值f (χ),式( 再次在下面示出。Τ(Χ) = WG(X) ... ( 5 )
通過這種方式，能夠通過估算光譜透射率的估算值f O)而減小光譜估算誤差。光 譜透射率的估算值f (χ)被存儲在存儲單元230中。如上所述，根據本實施方式的虛擬顯微鏡系統，能夠幾乎同時地製作光譜表237 和虛擬切片235，由此高速地估算光譜。另外，當光路設定單元150由分束器1 構成時，能 夠以更快的速度估算光譜。另外，由於能夠計算出適合於目標樣品的估算算子，所以能夠減 小光譜估算中的估算誤差。而且，當光譜獲取單元130獲取目標樣品圖像的多個部分的光 譜時，能夠進一步減小光譜估算中的估算誤差。(第二實施方式)圖12(a)和圖12(b)是用於說明根據本發明的第二實施方式的虛擬顯微鏡系統的 原理的圖。在根據本實施方式的虛擬顯微鏡系統中，除由圖2(a)和圖2(b)描述的第一實 施方式的操作原理之外，當從目標樣品圖像獲得的光譜M被寄存在光譜表25中時，從目標 樣品圖像21獲取測量光譜M的部分23處的像素的像素值和位置信息，並且該像素值和位 置信息被存儲在光譜表25中作為數據集26，由此幾乎在製作虛擬切片的同時製作包含像 素值的光譜表。除此以外，其原理與圖2(a)和圖2(b)中示出的原理相同。圖13是示出基於上述原理的根據本實施方式的虛擬顯微鏡系統的構造的功能方 塊圖。在虛擬顯微鏡系統中，主機系統200的計算單元250的構造與圖5所示的計算單元 的構造不同。換句話說，除圖5示出的估算算子計算單元255、光譜估算單元257和虛擬切 片製作單元259之外，計算單元250還包括用於從目標樣品圖像計算光譜獲取區域中的像 素值的光譜獲取區域像素值計算單元251和用於從光譜表237選擇光譜的光譜選擇單元 253。除此以外，構造與圖5中示出的構造相同，因此具有相同功能的組件被以相同的附圖 標記表示，並且略去其說明。下面說明根據本實施方式的虛擬顯微鏡系統的主要部件的操作。圖14是示出虛擬切片和光譜表的製作過程的流程圖。首先，如圖10中示出的第一 實施方式中的情形那樣，控制單元210執行步驟SlOl至S111。然後，控制單元210的光譜 獲取區域像素值計算單元251從對應的目標樣品圖像計算光譜獲取區域中的像素值(步驟 S112)。在該情形下，通過光路設定單元150使圖像獲取單元110和光譜獲取單元130的光 軸一致，由此使得光譜獲取區域像素值計算單元251能夠獲取獲得光譜的區域中的像素。通常，光譜獲取單元130的空間解析度低於圖像獲取單元110的空間解析度。因 此，光譜獲取區域像素值計算單元251通過式(8)對獲取光譜的區域中的像素的像素值G 和光譜獲取單元130的光接收特性A進行卷積，由此基於獲取光譜的區域中的像素的像素 值計算與光譜對應的像素值。
權利要求
1.一種虛擬顯微鏡系統，其用於拍攝染色樣品，以估算光譜，所述虛擬顯微鏡系統包括圖像獲取單元，其用於獲取所述染色樣品的一個以上譜帶的染色樣品圖像； 光譜獲取單元，其用於獲取所述染色樣品圖像的一個以上的預定部分的光譜； 光路設定單元，其用於設定透過所述染色樣品的光通量相對於所述圖像獲取單元和所 述光譜獲取單元的光路，從而每次所述圖像獲取單元獲取所述染色樣品圖像時，能夠通過 所述光譜獲取單元獲取所述染色樣品圖像的光譜；以及控制單元，其用於在所述染色樣品的兩個以上的觀察場中進行控制以重複通過所述圖 像獲取單元獲取所述染色樣品圖像和通過所述光譜獲取單元獲取所述染色樣品圖像的光 譜，從而製作所述染色樣品的虛擬切片和光譜表。
2.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述光路設定單元具有用於切換所述光通量的光路的光路切換鏡，從而透過所述染色 樣品的所述光通量選擇性地入射到所述圖像獲取單元或所述光譜獲取單元。
3.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述光路設定單元具有配置切換機構，其用於選擇性地將所述圖像獲取單元或所述光 譜獲取單元置於透過所述染色樣品的所述光通量的光路上。
4.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述光路設定單元具有分束器，該分束器用於將所述光通量的光路分開，從而使透過 所述染色樣品的所述光通量同時入射到所述圖像獲取單元和所述光譜獲取單元。
5.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述圖像獲取單元是設置有照相機和光學濾波器的RGB照相機、黑白照相機、兩個以 上譜帶的照相機和多譜帶照相機中的任一種。
6.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述光譜獲取單元具有用於放大所述染色樣品圖像的光學倍率增大單元，並且所述光 譜獲取單元從由所述光學倍率增大單元放大的所述染色樣品圖像獲取光譜。
7.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述虛擬顯微鏡系統還包括 光譜獲取位置像素值計算單元，其用於從由所述圖像獲取單元獲得的所述染色樣品圖像獲取由所述光譜獲取單元獲得光譜的位置處的像素值，其中，製作至少包含所述光譜和所述像素值的光譜表作為光譜表。
8.根據權利要求1所述的虛擬顯微鏡系統，其特徵在於，所述虛擬顯微鏡系統還包括 估算算子計算單元，其用於由所述光譜表計算估算算子；和光譜估算單元，其用於通過使用所述估算算子估算包括在所述虛擬切片中的像素的光譜。
9.根據權利要求8所述的虛擬顯微鏡系統，其特徵在於，所述虛擬顯微鏡系統還包括 光譜選擇單元，其用於從所述光譜表中選擇與包括在所述虛擬切片中的像素的像素值對應的多個光譜，其中，所述估算算子計算單元從由所述光譜選擇單元選擇的所述多個光譜計算用於各 像素值的估算算子；以及所述光譜估算單元通過使用用於各像素值的估算算子估算構成所述虛擬切片的像素的光譜。
10.根據權利要求8所述的虛擬顯微鏡系統，其特徵在於，所述虛擬顯微鏡系統還包括光譜選擇單元，其用於從所述光譜表中選擇與包括在所述虛擬切片中的像素的像素值 對應的光譜，其中，由所述光譜選擇單元選擇的光譜是光譜估算值。
11.根據權利要求7所述的虛擬顯微鏡系統，其特徵在於，存儲在所述光譜表中的像素值是所獲得的像素值、轉換成色彩空間的像素值以及從所 述像素值計算的特徵值中的任一種。
12.根據權利要求7所述的虛擬顯微鏡系統，其特徵在於，所述光譜表由包含至少所述光譜、所述像素值和獲得所述光譜的像素位置的信息的數 據集構成。
13.根據權利要求7所述的虛擬顯微鏡系統，其特徵在於，所述光譜獲取位置像素值計算單元計算光譜獲取區域中的中央像素的像素值、所述獲 取區域中的像素的像素值的統計值以及通過對所述獲取區域中的像素值和所述光譜獲取 單元的光接收特性進行卷積而計算出的值中的一種。
全文摘要
提供一種虛擬顯微鏡系統，其能夠在短時間內獲取染色樣品圖像和光譜的統計數據，該虛擬顯微鏡系統包括圖像獲取單元，其用於獲取染色樣品圖像；光譜獲取單元，其用於獲取染色樣品圖像的光譜；光路設定單元，其用於設定透過染色樣品的光通量相對於圖像獲取單元和光譜獲取單元的光路；以及控制單元，其用於在染色樣品的觀察場中進行控制以重複通過圖像獲取單元獲取染色樣品圖像和通過光譜獲取單元獲取染色樣品圖像的光譜，以製作染色樣品的虛擬切片和光譜表。
文檔編號G01N21/25GK102073133SQ201010540079
公開日2011年5月25日 申請日期2010年11月9日 優先權日2009年11月9日
發明者大塚武 申請人:奧林巴斯株式會社