圖像獲取裝置和圖像獲取方法
2023-05-18 16:46:01 2
圖像獲取裝置和圖像獲取方法
【專利摘要】本發明公開了圖像獲取裝置和圖像獲取方法，圖像獲取裝置包括拍攝單元、AF（自動對焦）處理單元、以及計算單元。拍攝單元被配置為使用物鏡拍攝安裝在載玻片上的病理樣本。AF處理單元能夠在用於將物鏡的焦點聚焦在病理樣本上的對比度AF方法和相位差AF方法之間選擇性地進行切換。計算單元被配置為判定病理樣本的染色方法並且基於判定的結果選擇要通過AF處理單元執行的AF方法。
【專利說明】圖像獲取裝置和圖像獲取方法
[0001]相關申請的交叉引用
[0002]本申請要求於2013年I月31日提交的日本在先專利申請JP2013-017488的權益，將其全部內容通過引用結合於此。
【背景技術】
[0003]本公開涉及圖像獲取方法和諸如數字顯微鏡裝置的圖像獲取裝置。
[0004]從過去，已經採用自動對焦(AF:自動對焦)作為聚焦方法，該方法用於將在數字顯微鏡裝置中的放大拍攝系統的物鏡的焦點聚焦在作為拍攝目標的病理樣本上。例如，已經提出了在光軸方向上以預定間隔移動放大拍攝系統的物鏡的焦點位置、在每個移動位置拾取圖像，並且檢測拍攝拾取的圖像中具有最高對比度的圖像的位置作為對焦位置的方法(例如，參見，日本專利申請公開第2011-197283號)。這種類型的聚焦方法被稱為「對比度AF 」。
[0005]儘管能夠利用對比度AF獲得相對高的聚焦精度，但是這種方法涉及移動和估計用於搜索焦點位置的物鏡的焦點位置的重複。因此，需要相對長的時間來獲得焦點位置。
[0006]在這方面，也提出了採用「相位差AF」的顯微鏡裝置，其中，經由物鏡吸收的光通過分束器透鏡被分成兩束光，並且焦點位置和方向根據兩個成像的圖像的間隔確定(參見，例如，日本專利申請公開第2011-090222號)。通過相位差AF方法，因為沒必要搜索焦點，所以與對比度AF方法相比能夠更快地獲得焦點。另一方面，擔心精度根據對像的尺寸和在圖像拾取區域中的組織的數目可能降低。
【發明內容】
[0007]在數字顯微鏡裝置中，儘管期望以儘可能高的質量和高速獲取病理樣本的大量圖像，但這仍然是不夠的。
[0008]鑑於如上所述的情況，需要一種能夠以儘可能高的質量和高速獲取病理樣本的大量圖像的圖像獲取裝置和圖像獲取方法，。
[0009]根據本發明實施方式，提供了一種圖像獲取裝置包括:拍攝單元，被配置為使用物鏡拍攝在載玻片上安裝的病理樣本；AF (自動對焦)處理單元，其在用於將物鏡的焦點聚焦在病理樣本上的對比度AF方法和相位差AF方法之間能夠選擇性地進行切換；以及計算單元，其被配置為判定病理樣本的染色方法並且基於判定的結果選擇通過AF處理單元執行的AF方法。
[0010]病理樣本通過染色方法被分成具有在樣本區域的亮度值和非樣本區域(對比度)的亮度值之間的大差和小差的樣本。已知相位差AF方法的精度取決於對像的對比度等級。在這方面，在根據本發明實施方式的圖像獲取裝置中，計算單元判定病理樣本的染色方法並且基於判定的結果選擇要通過AF處理單元執行的AF方法。因此，利用最佳AF方法拍攝變得可能，並且能夠總體上提高病理圖像獲取效率。
[0011]計算單元通過獲取上面安裝有所述病理樣本的所述載玻片的縮略圖像、通過從獲取的所述縮略圖像中檢測作為樣本區域的包括所述病理樣本的區域、並且判定在檢測到的所述樣本區域的顏色信息中紅色是否為主要顏色來判定所述病理樣本的所述染色方法。
[0012]當病理樣本的判定的染色方法是HE染色時，計算單元可以選擇相位差AF方法，並且當病理樣本的判定的染色方法是其他染色方法時，計算單元可以選擇對比度AF方法。
[0013]計算單元通過獲取上面安裝有所述病理樣本的所述載玻片的縮略圖像、通過從獲取的所述縮略圖像中檢測作為樣本區域的包括所述病理樣本的區域、並且判定在檢測到的所述樣本區域的顏色信息中紅色是否為主要顏色來判定所述病理樣本的所述染色方法。
[0014]計算單元在當紅色被判定為主要顏色時判定所述病理樣本的所述染色方法為HE染色並且選擇所述相位差AF方法，並且當紅色被判定為非主要顏色時，判定所述病理樣本的所述染色方法是除了所述HE染色以外的方法並且選擇所述對比度AF方法。
[0015]當通過針對所述樣本區域中的每一個像素從紅色亮度值中減去綠色亮度值獲得的值的平均值等於或大於預定值時，所述計算單元判定所述病理樣本的所述染色方法為所述HE染色。
[0016]當通過針對所述樣本區域中的每一個像素從紅色亮度值中減去單調亮度值獲得的值的平均值等於或大於預定值時，所述計算單元判定所述病理樣本的所述染色方法為所述HE染色。
[0017]根據本發明另一個實施方式，提供了一種圖像獲取方法包括:判定在載玻片上安裝的病理樣本的染色方法；並且基於判定的結果，通過在對比度AF方法和相位差AF方法之間選擇性地進行切換來對焦物鏡的焦點，並且使用物鏡拍攝病理樣本。
[0018]如上所述，根據本發明實施方式，能夠以儘可能高的質量和高速獲取大量病理樣本圖像。
[0019]如附圖所示，根據以下本公開最佳模式的實施方式的詳細說明，本發明這些以及其他的目標、特徵與優點將變得顯而易見。
【專利附圖】
【附圖說明】
[0020]圖1是示出了根據本發明第一實施方式的作為圖像獲取裝置的數字顯微鏡裝置的硬體結構的示意圖；
[0021]圖2是用於通過在圖1中示出的數字顯微鏡裝置的計算裝置執行AF選擇的功能框圖；
[0022]圖3是示出了貼附有標籤的載片的實施例的示圖；
[0023]圖4是示出了用於在HE染色樣本圖像的邊緣部處的每個RGB的亮度波形的曲線圖；
[0024]圖5是示出了在特殊染色的樣本圖像的邊緣部處的每個RGB的亮度波形的曲線圖；
[0025]圖6是示出了直到選擇將被用於在圖1中示出的數字顯微鏡裝置中的微觀拍攝的最佳AF方法的操作的流程圖；
[0026]圖7是基於圖像的色彩特性的與AF選擇相關的流程圖；
[0027]圖8是示出了 ROI處理的實施例的示圖；以及
[0028]圖9是示出了 ROI處理的另一個實施例的示圖。【具體實施方式】
[0029]在下文中，將參考附圖描述本發明實施方式。
[0030]
[0031](數字顯微鏡裝置的結構的概要)
[0032]圖1是示出了根據本發明第一實施方式的作為圖像獲取裝置的數字顯微鏡裝置的硬體結構的示意圖。
[0033]數字顯微鏡裝置I包括載片裝載器20、系統控制裝置30、平臺40、宏觀照相機50、圖像捕捉裝置60、存儲裝置70、計算裝置80、主照相機90、以及物鏡100。
[0034]響應於來自系統控制裝置30的指令，載片裝載器20存儲其上安裝有病理樣本的多個載片10 (製備的載片)，並且將目標載片10供給平臺40。
[0035]系統控制裝置30控制包括載片裝載器20、平臺40、以及圖像捕捉裝置60的數字顯微鏡裝置I的整個系統的移動。系統控制裝置30包括AF處理單元31，其在用於將物鏡100的焦點聚焦在拍攝目標上並且執行該聚焦的AF處理的對比度AF方法和相位差AF方法之間能夠選擇性地進行切換。
[0036]平臺40包括其上安裝載片10的表面並且在沿著該表面的雙軸(X軸和I軸)方向和與該表面垂直的方向(z軸方向)上是可移動的。通過在雙軸(X軸和y軸)方向上移動，平臺40能夠將由載片裝載器20提供的載片10連續地移動至例如宏觀照相機50的拍攝位置和主照相機90的拍攝位置。通過在X軸和y軸方向上移動，平臺40還能夠將宏觀照相機50的拍攝位置和主照相機90的拍攝位置帶到載片10的拍攝區域。此外，平臺40在Z軸方向上是可移動的用於將物鏡100的焦點聚焦在拍攝目標上。
[0037]響應於來自圖像捕捉裝置60的指令，宏觀照相機50通過平臺40執行從載片裝載器20傳送的整個載片10的宏觀拍攝。
[0038]主照相機90使用物鏡100以用於病理診斷的光學放大倍率拍攝通過平臺40從載片裝載器20傳送的載片10。當主照相機90拍攝載片10時，物鏡100將圖像放大至合適的放大倍率。主照相機90與本發明權利要求中的「拍攝單元」對應。
[0039]響應於來自系統控制裝置30的指令，圖像捕捉裝置60使用宏觀照相機50和主照相機90拍攝載片10。圖像捕捉裝置60將拍攝的縮略圖像和微觀圖像存儲在存儲裝置70中。
[0040]系統控制裝置30控制載片裝載器20、平臺40、圖像捕捉裝置60等的操作。系統控制裝置30還包括AF處理單元31，該AF處理單元能夠在對比度AF方法和相位差AF方法之間選擇性地進行切換用於執行將物鏡100的焦點聚焦在拍攝目標上的AF處理並且實現該處理。
[0041]存儲裝置70存儲通過宏觀照相機50拍攝的縮略圖像和通過主照相機90拍攝的樣本圖像，並且響應於來自計算裝置80的請求，將存儲的圖像提供給計算裝置80。存儲裝置70可以結合到計算裝置80中。
[0042]計算裝置80將有關載片10的關於拍攝順序、拍攝方法等的指令發送至系統控制裝置30。
[0043]計算裝置80是常用的個人計算機(PC)或符合PC的裝置，並且包括CPU (中央處理單元)和主存儲器。CPU執行存儲在主存儲器中的程序，以實現下文將描述的功能塊。
[0044](病理樣本的拍攝流程的概要)
[0045]接下來，參考圖1，將描述在數字顯微鏡裝置I中的病理樣本的拍攝流程。
[0046]首先，用戶在載片裝載器20中設置載片。
[0047]然後，基於來自系統控制裝置30的指令，目標載片10從載片裝載器20被提供給平臺40。此後，通過平臺40的移動，載片10被移動至宏觀照相機50的拍攝位置。
[0048]然後，基於來自系統控制裝置30的指令，圖像捕捉裝置60使用宏觀照相機50執行載片10的縮略圖像的宏觀拍攝。拍攝的縮略圖像經由圖像捕捉裝置60被存儲在存儲裝置70中。
[0049]隨後，計算裝置80從存儲裝置70獲取縮略圖像，並且執行用於計算縮略圖像中包括病理樣本的面積(樣本區域)的處理、用於計算分隔樣本區域的多個小區域的每一個的坐標的處理、用於選擇主照相機90的物鏡100的AF方法的處理等。
[0050]系統控制裝置30從計算裝置80接收多個小區域的坐標信息，並且朝X輛和y軸方向移動平臺40，從而將第一小區域設置在主照相機90的拍攝範圍中。應注意，該移動能夠通過移動主照相機90而不是移動平臺40來執行。
[0051]然後，通過由計算裝置80選擇的AF方法執行聚焦處理用於將物鏡100的焦點聚焦在載片10的病理樣本上，並且在聚焦狀態中，主照相機90拍攝病理樣本。通過主照相機90拍攝的圖像經由圖像捕捉裝置60被存儲在存儲裝置70中。
[0052]此後，針對下一個小區域，相似地執行用於將該小區域設置在主照相機90的拍攝範圍中的平臺40的移動、利用AF方法選擇的聚焦處理、以及利用主照相機90的拍攝，並且針對所有小區域重複上述處理。
[0053](AF方法的選擇)
[0054]圖2是用於通過計算裝置80執行AF選擇的功能框圖。
[0055]如圖所示，計算裝置80通過在計算裝置80的主存儲器(未示出)中存儲的程序而被操作為縮略圖獲取單元81、區域檢測單元82以及AF選擇單元83。在此，縮略圖獲取單元81、區域檢測單元82、以及AF選擇單元83與在本發明的權利要求中的「計算單元」對應。
[0056]縮略圖獲取單元81將來自存儲裝置70的每個載片10的縮略圖像讀出(獲取)至計算裝置80的主存儲器。在此，當縮略圖像是RAW圖像時，縮略圖獲取單元81對獲取的RAff圖像執行顯影處理。
[0057]區域檢測單元82從縮略圖像中檢測需要判定最佳AF方法的區域。需要判定最佳AF方法的區域如下。
[0058]1.描述染色方法的標籤區域(在下文中，被稱作「標籤區域」)。
[0059]2.包括樣本的區域(在下文中，被稱作「樣本區域」)
[0060]每個區域的檢測通過例如邊緣檢測或亮度值急劇改變的位置的檢測來實現。
[0061]圖3是示出了貼附有標籤的載片10的實施例的示圖。
[0062]如圖所示，載片10主要由載玻片11和用於相對於載玻片11保持病理樣本SPL的蓋玻片12組成。在載玻片11在縱向方向上的一個端部處，例如，根據需要貼附有描述關於病理樣本SPL的信息的標籤13，該信息包括病理樣本SPL的染色方法。
[0063]AF選擇單元83基於樣本區域和標籤區域中的至少一個的圖像判定病理樣本的染色方法，並且根據判定的染色方法判定物鏡100的最佳AF方法。更具體地，AF選擇單元83關於HE染色樣本或作為非常可能被HE染色樣本的樣本選擇相位差AF方法，並且關於其他樣本選擇對比度AF方法。
[0064]在此，將描述關於HE染色樣本採用相位差AF方法的理由。
[0065]圖4是示出了在HE染色樣本圖像的邊緣部處的每個RGB的亮度波形的曲線圖。
[0066]圖5是示出了在特殊染色的樣本圖像的邊緣部處的每個RGB的亮度波形的曲線圖。
[0067]在曲線圖中，縱軸表示亮度值，並且橫軸表示位置。在曲線圖中每個RGB的亮度波形中，亮度在某個點急劇地改變。這種急劇亮度改變點的左手側的波形是關於不包括樣本的區域(在下文中，稱作「非樣本區域」)的圖像的每個RGB的亮度波形，在右手側的波形是關於樣本區域的圖像的每個RGB的亮度波形。從比較曲線圖的亮度波形可以看出，在HE染色的樣本中，樣本區域的亮度值和非樣本區域的亮度值之間的差(對比度)趨向高於特殊染色的樣本的樣本區域的亮度值和非樣本區域的亮度值之間的差。另外，在許多情況下，通過IHC (免疫組化)染色而染色的樣本具有低於HE染色樣本的對比度。
[0068]另一方面，已知相位差AF方法的精度取決於對像的對比度等級。在相位差AF方法中，來自透鏡的光被分成兩束光，並且根據通過一對線傳感器成像的兩個圖像(相位差)之間的間隔獲得離焦量和方向。在兩個圖像(相位差)之間的間隔為相位差，通過該相位差，從與雙線傳感器(相關值)對應的像素位置獲得的信號值之差的絕對值變得最小。然而，相關值的位移量隨著對像的對比度變得更低而趨向變得更小，從而導致相位差檢測精度(進一步為AF精度)趨向劣化。
[0069]根據上述原因，當判定載片10屬於HE染色的樣本時，AF選擇單元83選擇相位差AF方法為最佳AF方法。然後，AF選擇單元83在系統控制裝置30的AF處理單元31中設置選擇的相位差AF方法。
[0070]然後，將參考圖6的流程圖描述在該實施方式的數字顯微鏡裝置I中選擇最佳AF方法的操作。
[0071]首先，縮略圖獲取單元81在計算裝置80的主存儲器中讀取來自存儲裝置70的每個載片10的縮略圖像。應注意，當讀取的縮略圖像為RAW圖像時，立即執行顯影處理(步驟S101)。
[0072]然後，區域檢測單元82試圖從縮略圖像檢測標籤區域(步驟S102)。當成功檢測到標籤區域時(在步驟S103為是)，標籤區域的位置信息被傳輸到AF選擇單元83。
[0073](基於標籤信息選擇AF方法)
[0074]基於從區域檢測單元82傳輸的標籤區域的位置信息，AF選擇單元83試圖指定標籤區域的圖像，並且檢測和識別關於標籤區域的圖像的字母圖案，由此試圖獲取關於在標籤中描述的染色方法的信息(步驟S104)。
[0075]當成功獲取關於染色方法的信息(在步驟S105為是)並且染色方法為HE染色時(在步驟S106為是)，AF選擇單元83在系統控制裝置30的AF處理單元31中設置相位差AF方法(步驟S107)。
[0076]當設置了相位差AF方法時，AF處理單元31控制圖像捕捉裝置60和平臺40，以通過相位差AF方法執行物鏡100相對於載片10的聚焦處理。[0077]此外，當成功獲取關於染色方法的信息但染色方法不是HE染色時(在步驟S106為否)，AF選擇單元83在系統控制裝置30的AF處理單元31中設置對比度AF方法(步驟S108)。
[0078]當設置了對比度AF方法時，AF處理單元31控制圖像捕捉裝置60和平臺40，以通過對比度AF方法執行物鏡100相對於載片10的聚焦處理。
[0079]此外，當區域檢測單元82不能檢測到標籤區域(在步驟S103為否)或區域檢測單元82成功檢測到標籤區域但AF選擇單元83不能獲取關於染色方法的信息時(在步驟S105為否)，AF選擇單元83基於如下圖像的色彩特性實現AF方法的選擇(步驟S109)。
[0080](基於圖像的色彩特性選擇AF方法)
[0081]圖7是與基於圖像的色彩特性的AF方法選擇相關的流程圖。
[0082]在此，將討論未調整縮略圖像的白平衡的情況。在這種情況下，區域檢測單元82從縮略圖像檢測非樣本區域的一部分。在這種情況下，非樣本區域的一部分是例如某個尺寸(像素數)的區域，其中，RGB的亮度值等於或大於針對非樣本區域的判定而設置的預定值。隨後，區域檢測單元82獲得非樣本區域中的RG的亮度平均值Ravg和Gavg(步驟S201)。亮度平均值Ravg和Gavg的計算表達式如下。
[0083][公式I]
【權利要求】
1.一種圖像獲取裝置，包括: 拍攝單元，被配置為使用物鏡拍攝安裝在載玻片上的病理樣本； AF (自動對焦)處理單元，能夠在用於將所述物鏡的焦點聚焦在所述病理樣本上的對比度AF方法和相位差AF方法之間選擇性地進行切換；以及 計算單元，被配置為判定所述病理樣本的染色方法並且基於所述判定的結果選擇要通過所述AF處理單元執行的所述AF方法。
2.根據權利要求1所述的圖像獲取裝置， 其中，所述計算單元通過獲取上面安裝有所述病理樣本的所述載玻片的縮略圖像、從獲取的所述縮略圖像中檢測作為標籤區域的包括貼附至所述載玻片的標籤的區域、並且從檢測到的所述標籤區域的圖像中讀取關於所述病理樣本的所述染色方法的信息來判定所述病理樣本的所述染色方法，其中，在所述標籤區域中描述了所述信息。
3.根據權利要求2所述的圖像獲取裝置， 其中，所述計算單元在當所述病理樣本的經判定的所述染色方法為HE染色時選擇所述相位差AF方法，並且當所述病理樣本的經判定的所述染色方法為其他染色方法時，選擇所述對比度AF方法。
4.根據權利要求1所述的圖像獲取裝置， 其中，所述計算單元通過獲取上面安裝有所述病理樣本的所述載玻片的縮略圖像、通過從獲取的所述縮略圖像中檢測作為樣本區域的包括所述病理樣本的區域、並且判定在檢測到的所述樣本區域的顏色信息中紅色是否為主要顏色來判定所述病理樣本的所述染色方法。
5.根據權利要求4所述的圖像獲取裝置， 其中，所述計算單元在當紅色被判定為主要顏色時判定所述病理樣本的所述染色方法為HE染色並且選擇所述相位差AF方法，並且當紅色被判定為非主要顏色時，判定所述病理樣本的所述染色方法是除了所述HE染色以外的方法並且選擇所述對比度AF方法。
6.根據權利要求5所述的圖像獲取裝置， 其中，當通過針對所述樣本區域中的每一個像素從紅色亮度值中減去綠色亮度值獲得的值的平均值等於或大於預定值時，所述計算單元判定所述病理樣本的所述染色方法為所述HE染色。
7.根據權利要求5所述的圖像獲取裝置， 其中，當通過針對所述樣本區域中的每一個像素從紅色亮度值中減去單調亮度值獲得的值的平均值等於或大於預定值時，所述計算單元判定所述病理樣本的所述染色方法為所述HE染色。
8.根據權利要求1所述的圖像獲取裝置， 其中，所述拍攝單元利用宏觀照相機執行所述載玻片的縮略圖像的宏觀拍攝，並且所拍攝的所述縮略圖像被存儲在存儲裝置中。
9.一種圖像獲取方法，包括: 判定安裝在載玻片上的病理樣本的染色方法；並且 基於所述判定的結果，通過在對比度AF方法和相位差AF方法之間選擇性地進行切換來對焦物鏡的焦點，並且使用所述物鏡拍攝所述病理樣本。
【文檔編號】H04N9/64GK103973967SQ201410032015
【公開日】2014年8月6日 申請日期:2014年1月23日 優先權日:2013年1月31日
【發明者】渡邊真司 申請人:索尼公司