圖像處理裝置、圖像處理方法及圖像處理程序的製作方法

2023-07-15 22:57:56

專利名稱：圖像處理裝置、圖像處理方法及圖像處理程序的製作方法
技術領域：
本發明涉及用於對使用顯微鏡所獲得的圖像進行處理的圖像處理裝置、圖像處理方法及圖像處理程序。
背景技術：
在病理診斷等領域中，作為用於觀察生物組織的方法有螢光染色法。螢光染色法是一種預先用染色劑對樣本進行染色並使用螢光顯微鏡觀察從由於受到激發光的照射而被激發的染色劑發出的螢光的方法。通過選擇適當的染色劑，能夠觀察染色劑對其具有化學特異性的特定組織(例如亞細胞器)。在一些情況下 可以使用一種染色劑，但是通過使用具有不同化學特異性和螢光色的多種染色劑，可以利用不同的螢光色而觀察多個組織。例如，諸如細胞核中包含的DNA和RNA的高分子被特定染色劑染色，並且高分子發出的螢光作為螢光顯微鏡獲得的圖像(螢光圖像)中的亮點。亮點的某一狀態(數量、位置、尺寸等)主要為病理學上的分析對象。例如，在日本專利申請公開第2009-37250號中記載的「微生物測量裝置」包括光譜濾色鏡，其對從樣本發出的螢光進行分光，並使用單色成像器獲得每個預定顏色的螢光圖像。由於螢光圖像中所包含的亮點局限於光譜濾色鏡的透射波長，因此甚至在使用多個染色劑時，也可以計算每種顏色的亮點(例如，參見日本專利申請公開第2009-37250號)。

發明內容
在使用顯微鏡的過去圖像處理系統中，處理的數據量是巨大的。鑑於如上所述的情況，需要能夠減少數據量的圖像處理裝置、圖像處理方法及圖像處理程序。根據本發明的實施方式，提供一種包括深度計算部和校正部的圖像處理裝置。深度計算部被配置為基於樣本的至少一部分的觀察區域的第一模糊圖像以及觀察區域的第二模糊圖像計算樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中第一模糊圖像是通過沿光軸方向相對地移動物鏡和樣本來獲得的，第二模糊圖像是通過沿包括光軸方向的分量但不同於光軸方向的方向移動物鏡和樣本來獲得的，亮點通過為觀察區域中包括的目標染色來獲得。校正部，被配置為基於關於算得的亮點的深度的信息，校正第一模糊圖像。由於深度計算部基於第一模糊圖像和第二模糊圖像計算樣本的觀察區域中的亮點的深度，因此能夠減少數據量。通過顯微鏡獲得的圖像中的亮點的模糊程度根據樣本中的亮點定位在光軸方向上的深度(也就是說，亮點的深度)而變化，因此校正部基於關於所算得的樣本中的亮點的深度的信息，校正第一模糊圖像。因此，能夠量化亮點的亮度。校正部可以使用為光軸方向上的各個單位深度所設定的深度校正參數，校正亮點的亮度。校正部通過使用深度校正參數，能夠容易地執行亮度校正操作。
圖像處理裝置可以進一步包括波長計算部，被配置為計算亮點處的光的波長範圍。在這種情況下，校正部進一步基於深度校正參數和關於算得的波長範圍的信息，校正亮點的亮度。利用該結構，可以補償由於亮點的顏色(波長)造成的物鏡的焦點深度的差異。例如，校正部可以使用在第一模糊圖像的平面內根據距亮點的亮度峰值的位置的距離所設定的成形校正參數，校正亮點的亮度。利用該結構，可以校正第一模糊圖像中的亮點的模糊。 圖像處理裝置可能進一步包括三維圖像生成部，被配置為基於關於由校正部校正的亮點的亮度的信息以及關於由深度計算部算得的亮點的深度的信息，生成包括目標的觀察區域的三維圖像。利用該結構，觀察區域的三維顯示變得可行。圖像處理裝置可以進一步包括另一校正部，被配置為校正第一模糊圖像中的另一目標的模糊圖像。該另一目標包括所述目標，在光軸方向上比所述目標厚並且在物鏡和樣本在光軸方向上的整個相對移動範圍內持續存在於所述樣本中。根據本發明實施方式，提供了一種圖像處理方法，包括基於樣本的至少一部分的觀察區域的第一模糊圖像以及觀察區域的第二模糊圖像計算樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中第一模糊圖像是通過沿光軸方向相對地移動物鏡和樣本來獲得的，第二模糊圖像是通過沿包括光軸方向的分量但不同於光軸方向的方向移動物鏡和樣本來獲得的，亮點通過為觀察區域中包括的目標染色來獲得。基於關於所算得的亮點的深度的信息校正第一模糊圖像。根據本發明實施方式的圖像處理程序使計算機執行上述圖像處理方法的步驟。如上所述，根據本發明的實施方式，能夠減少數據量。本發明的這些和其它目的、特徵以及優點將在下文對附圖所示的本發明的最佳模式實施方式的詳細描述中變得更加顯而易見。


圖I是示出了根據本發明實施方式的圖像處理系統的示意圖；圖2是從載物臺的側面方向示出了載置在載物臺上的樣本的示意圖；圖3是示出了圖像處理裝置的結構的框圖；圖4是示出了各個染色劑的發射光譜的示例的示意圖；圖5是示出了發射濾色鏡的透射光譜的示例的示意圖；圖6示出了每種顏色的發射光譜的RGB亮度值的數據；圖7是示出了圖像處理裝置的處理的流程圖；圖8是示出了 Z軸方向上焦點的掃描狀態的示意圖；圖9是示出了焦點在Z軸方向移動時通過執行曝光處理所獲得的樣本的圖像(第一圖像)的不意圖；圖10是示出了 Z方向和X方向上焦點的掃描狀態的示意圖；圖11是示出了焦點在Z方向和X方向移動時通過執行曝光處理所獲得的樣本的圖像(第二圖像)的示意圖；圖12是示出了將第一圖像和第二圖像合成的合成圖像的示意圖；圖13是示出了使用圖12中示出的合成圖像對目標的深度位置進行計算處理的示意圖；圖14是用於說明對於各個單位深度亮點的亮度不同的示意圖；圖15A示出了了通過使用包括亮度校正係數和成形校正係數的校正曲線(圖15B)，對用黑點表示的每條曲線中的各標記的亮點進行模糊校正所獲得的結果的示意圖，；圖16示出了了聚焦圖像的列表數據的示例；圖17是用於解釋生成三維圖像數據的方法的示意圖；圖18是示出了根據本發明另一實施方式的對目標的模糊圖像進行校正處理的流程圖；以及圖19是用於解釋圖18中所示的校正處理的示意圖。
具體實施例方式
下文中，將參照附圖描述本發明的實施方式。[圖像處理系統的結構]圖I是示出了根據本發明實施方式的圖像處理系統I的示意圖。如圖所示，該實施方式的圖像處理系統I包括顯微鏡(螢光顯微鏡)10和連接至顯微鏡10的圖像處理裝置20。顯微鏡10包括載物臺11、光學系統12、明場拍攝照明燈13、光源14和圖像攝取裝置30。載物臺11包括能夠載置諸如組織切片、細胞和染色體的生物高分子樣本SPL的載置面，並可在與載置面平行和垂直的方向(XYZ軸方向)上移動。圖2是從載物臺11的側面方向示出了載置在載物臺11上的樣本SPL的示意圖。如圖所示，樣本SPL在Z軸方向上的厚度(深度)大約為4 μ πΓ8 μ m,通過預定固定方法固定於載玻片SG和蓋玻片CG之間，並且根據需要對樣本SPL中的觀察對象進行染色。從利用從一個光源14發出的激發光而發出不同螢光的多個染色劑中選擇染色劑。圖4是示出了各個染色劑的發射光譜的示例的示意圖。例如，執行螢光染色來標記樣本SPL中的特定目標。經過螢光染色的目標表示為圖2中的螢光標記M (Ml、M2)，並且螢光標記M被表示為顯微鏡獲得的圖像中的亮點。返回參考圖1，光學系統12設置在載物臺11上方，並且包括物鏡12A、成像透鏡12B、分色鏡12C、發射濾色鏡12D以及激發濾色鏡12E。物鏡12A和成像透鏡12B將通過明場拍攝照明燈13獲得的樣本SPL的圖像放大預定倍率，並在圖像攝取裝置30的圖像攝取面上形成放大圖像的圖像。放大圖像是樣本的至少部分區域的圖像以及作為顯微鏡10的觀察區域的圖像。應當注意，當使用明場拍攝照明燈13觀察樣本SPL的圖像時，可通過將分色鏡12C和發射濾色鏡12D從光路移除，來對持有更準確的顏色信息的圖像進行觀察。激發濾色鏡12E通過僅僅使從光源14發出的光中具有激發螢光色素的激發波長的光透過，來生成激發光。分色鏡12C反射透過激發濾色鏡並進入分色鏡12C的激發光，並將其導向物鏡12A。物鏡12A將激發光會聚在樣本SPL。當對固定到載玻片SG的樣本SPL執行螢光染色時，利用激發光來使螢光色素髮光。由這樣的發光所獲得的光(彩色光)經由物鏡12A透過分色鏡12C，並經由發射濾色鏡12D到達成像透鏡12B。發射濾色鏡12D吸收被物鏡12A放大的彩色光除外的光(外部光)。外部光已被發射濾色鏡12D去除的彩色光的圖像被成像透鏡12B放大，並如上所述成像在圖像攝取裝置30上。圖5是示出了發射濾色鏡12D的透射光譜的示例的示意圖。圖4中所示的螢光染色的各個顏色的發射光譜被發射濾色鏡12D濾波，並另外被稍後將描述的圖像攝取裝置30的RGB (紅色、綠色、藍色)濾色器濾波。圖6示出了如上所述生成的各個顏色的發射光譜的RGB亮度值的數據，即，指示在螢光色素髮出的光被圖像攝取裝置30的RGB濾色器吸收並形成彩色信號的情況下的RGB亮度值的比率的數據。RGB亮度值數據在圖像處理裝置20(或者安裝在圖像處理裝置20中 的軟體)出廠時預先存儲。然而，圖像處理裝置20可以包括用於創建RGB亮度值數據的程序。明場拍攝照明燈13設置在載物臺11的下方，並且經由形成於載物臺11上的開口(未不出)向載置在載置面上的樣本SPL照射照明光。圖像攝取裝置30的示例包括CXD (電荷耦合器件)和CMOS (互補金屬氧化物半導體)。圖像攝取裝置30是包括如上所述的RGB濾色器的裝置，並且是輸出入射光作為彩色圖像的彩色成像器。圖像攝取裝置30可以與顯微鏡10—體地設置，或者可以設置在可與顯微鏡10連接的圖像攝取裝置(例如，數位相機)的內部。圖像處理裝置20例如由PC (個人計算機)構成，並存儲由圖像攝取裝置30生成的樣本SPL的圖像作為預定格式(如，JPEG (聯合圖像專家組))的數字圖像數據(虛擬切片)。[圖像處理裝置的結構]圖3是示出了圖像處理裝置20的結構的框圖。如圖所示，圖像處理裝置20包括經由總線28連接的CPU (中央處理單元)2UR0M(只讀存儲器)22、RAM (隨機存取存儲器)23、操作輸入部24、接口部25、顯示部26以及存儲部27。ROM 22固定地存儲用於執行各種處理的程序(如，固件)和多種類型的數據。RAM23用作CPU 21的工作區，並臨時存儲OS (作業系統)、正在執行的各種應用以及正在處理的各種類型的數據。存儲部27是諸如HDD (硬碟驅動))、閃速存儲器和其他固態存儲器的非易失性存儲器。存儲部27存儲OS、各種應用和各種類型的數據。具體地，在該實施方式中，存儲部27存儲從顯微鏡10獲取的圖像數據以及用於處理圖像數據並計算樣本SPL中的目標的亮點的深度(Z軸方向(物鏡12A的光軸方向)的高度)的圖像處理應用。接口部25將圖像處理裝置20連接至顯微鏡10的載物臺11、光源14和圖像攝取裝置30，並以預定通信標準與顯微鏡10交換信號。在RAM 23中，CPU 21將存儲在ROM 22和存儲部27中的多個程序中與來自操作輸入部24的命令相對應的程序展開，並根據所展開的程序適宜地控制顯示部26和存儲部27。具體地，在該實施方式中，CPU 21通過圖像處理應用對樣本SPL中的目標的深度執行計算處理。此時，CPU21經由接口部25適宜地控制載物臺11、光源14和圖像攝取裝置30。可以實施諸如FPGA (現場可編程門陣列)的PLD (可編程邏輯器件)和諸如ASIC(特定用途集成電路)的其他裝置來代替CPU 21。例如，操作輸入部24是諸如滑鼠的指點裝置、鍵盤、觸控螢幕或其他操作裝置。顯示部26可以與圖像處理裝置20 —體地設置，或者可以外部地連接至圖像處理裝置20。[圖像處理系統的操作]將描述如上所述構造的顯微鏡10的操作和圖像處理裝置20的處理。圖7是示出了圖像處理裝置20的處理的流程圖。通過存儲在存儲裝置(ROM 22、存儲部27等)中的軟體程序和硬體資源(如CPU 21)的相互協作來實施圖像處理裝置20的處理。在以下的描述中，為了方便起見，處理的主體將是CPU (CPU 21)。 例如，用戶將如圖2中所示的已經過螢光染色的樣本SPL放置在顯微鏡10的載物臺11上。CPU檢測表現為樣本SPL中的亮點的螢光標記M的顏色(步驟101)，並指出其波長(步驟102)。在這種情況下，CPU用作波長計算部。實際上，在步驟101和步驟102中，CPU能夠獲取由圖像攝取裝置30獲得的像素值(亮度值)的數據，並通過參考圖6中示出的表格掌握像素值所屬的螢光色(波長範圍)。在這種情況下，CPU可以選擇各自代表螢光色的波長範圍的波長之一。在不使用圖6中示出的表格的情況下，CPU可以通過使用基於像素值的預定算法的操作來計算波長。另一方面，CPU計算螢光標記Ml和M2在光軸方向(Z軸方向)上的深度(步驟103)。在這種情況下，CPU主要用作深度計算部。下文中，將描述深度計算方法。〈亮點的深度計算〉在將樣本SPL放置在載物臺11上之後，CPU設定載物臺11在垂直方向(Z軸方向)上的初始位置。如圖8所示，將初始位置DP (默認位置)設定為使得物鏡12A的焦點面FP的位置位於深度方向存在有樣本SPL的範圍之外(以上或以下)，也就是說，在圖像攝取裝置30的曝光過程中，焦點的活動範圍(掃描範圍)為樣本SPL的整個表面。隨後，如圖8的箭頭所示，CPU通過在以預定恆速度從初始位置DP在垂直方向(Z軸方向)上移動載物臺11 (即，焦點)的同時，使圖像攝取裝置30曝光來對樣本SPL進行拍攝。這裡，CPU將掃描範圍為樣本SPL的整個表面所在的位置設定為移動結束位置EP (終點)。換句話說，初始位置DP和結束位置EP被設定為使得樣本SPL介於初始位置DP和結束位置EP之間的範圍中(掃描範圍比樣本SPL的厚度長)。圖9是示出了通過在如上所述掃描焦點的同時執行曝光處理所獲得的樣本SPL的圖像(第一模糊圖像)的示意圖。如圖所示，在第一模糊圖像60中，螢光標記Ml代表亮點A的圖像，並且螢光標記M2代表亮點B的圖像。這裡，由於第一模糊圖像60是通過在樣本SPL的Z軸方向上掃描焦點的同時進行曝光所拍攝的圖像，因此第一模糊圖像60為其中聚焦在螢光標記Ml和M2上的焦點面FP的圖像和未聚焦在螢光標記Ml和M2上的焦點面FP的圖像相疊加的圖像。因此，亮點A和B的圖像的外圍稍微模糊，但是可以清楚地識別其位置。CPU經由接口部25從圖像攝取裝置30獲取第一模糊圖像60，並且將其臨時存儲在RAM 23中。
隨後，CPU將載物臺11設定回至Z軸方向上的初始位置DP。圖10是示出了 Z軸方向和X軸方向上的焦點的下一次掃描的狀態的示意圖。如圖10所示，在CPU使載物臺11 (焦點)在Z軸方向上以第一速度(Vz)以及在X軸方向上以第二速度(Vx)從初始位置DP移動到結束位置EP的同時，利用圖像攝取裝置30的曝光，CPU對樣本SPL進行拍攝。換句話說，載物臺11沿著包括光軸方向的分量但不同於光軸方向的方向移動。圖11是示出了在Z軸方向和X軸方向上掃描焦點的同時通過執行曝光處理所獲得的樣本SPL的圖像(第二模糊圖像)的示意圖。如圖所示，在第二模糊圖像80中，樣本SPL中焦點每次變化所獲得的圖像的軌跡表現為單個圖像。換句話說，表示螢光標記Ml和M2的亮點A和B的圖像隨著在X軸方向上掃描焦點而從大的模糊狀態變成小的聚焦狀態，之 後再變成模糊狀態。CPU經由接口部25從圖像攝取裝置30獲得第二模糊圖像80，並且將其臨時存儲在RAM 23中。接著，CPU通過將第一模糊圖像60和第二模糊圖像80合成，來生成合成圖像。圖12是示出了合成圖像的示意圖。如圖所示，在合成圖像90中，出現在所獲得的第一模糊圖像60中的亮點A和B (亮點Al和BI)的圖像以及出現在所獲得的第二模糊圖像80中的亮點A和B (亮點A2和B2)的圖像分別在同一行呈現為單個圖像。隨後，CPU從合成圖像90檢測第一模糊圖像60中的亮點Al和BI的位置坐標(Al (XA1,YA), BI (XB1,YB))以及第二模糊圖像80中的亮點A2和B2的位置坐標(A2 (XA2，YA)，B2 :(XB2，YB))。這裡，例如，CPU通過提取具有預定閥值以上的亮度值(螢光強度)的一組多個像素並檢測具有最高亮度的像素的位置，來檢測各個亮點。當執行根據目標而進行不同顏色的螢光染色時，CPU檢測各個不同顏色的亮度。然後，CPU計算所檢測到的第一模糊圖像60中的亮點和所檢測到的第二模糊圖像80中的亮點之間的距離(DA、DB)。換句話說，在圖12中，CPU計算亮點Al (XAl, YA)與亮點A2 (XA2，YA)之間的距離(XA1-XA2)和亮點BI (XB1，YB)與亮點B2 (XB2，YB)之間的距離 DB :(XB1-XB2)。之後，基於距離D，CPU計算第一速度Vz作為焦點在Z軸方向的移動速度；第二速度Vx作為焦點在X軸方向上的掃描速度以及樣本SPL中的各個螢光標記M的深度h。圖13是示出了使用圖12中示出的合成圖像90對螢光標記M的深度進行計算處理的示意圖。這裡，通過tA=hA/Vz(hA代表樣本SPL中的亮點A的高度)來計算自載物臺11開始移動以來(在焦點聚焦在亮點A之前)所經過的時間tA。距離Da和Db也用下列的表達式表示。DA=tA*Vx=Vx*hA/Vz hA*Vx/VzDB=hB*Vx/Vz通過變形上面的表達式，通過下列的表達式可以計算亮點A和B的深度hA和hB。hA=DA*Vz/VxhB=DB*Vz/VvCPU基於上面的表達式計算亮點A和B的深度hA和hB，並將通過計算獲得的信息輸出到例如各個亮點的顯示部26。通過計算各個亮點的深度，例如，可以判斷由亮點A表示的螢光標記Ml和由亮點B表示的螢光標記M2是否存在於相同組織(細胞)中。還能夠檢測螢光標記Ml和螢光標記M2之間的三維距離。圖像處理系統的操作者例如可以在各種病理診斷材料以及新藥研製中使用該計算結果。這裡，第二速度Vx被設定為大於第一速度Vz。這是因為，在指出從第二模糊圖像80獲取的亮點A和B的圖像在合成圖像90中聚焦所在的位置的坐標(A2和B2)時，如果模糊圖像的重疊範圍很大，則圖像變得難以分開，結果就不能容易地指出坐標(A2和B2)。此外，如圖13所示，亮點A和B的深度hA和hB分別被計算為焦點的初始位置DP和亮點之間的距離。因此，為了僅基於樣本SPL計算準確的高度，僅需從所算得的深度hA和hB減去對應於初始位置DP與載玻片SG和樣本SPL之間的邊界之間的距離的長度。應當注意，CPU能夠基於所獲得的像素的亮度值是否超過預設閥值，指出第一模糊 圖像60中構成模糊亮點的圖像的像素組。換句話說，CPU能夠認識到第一模糊圖像60中的像素組的圖像是一個模糊亮點的圖像。步驟101至步驟103的過程並不局限於上面提到的順序，例如，步驟103可以在步驟101和102之前被執行。〈模糊圖像的校正〉參考圖7，CPU基於關於算出的各個亮點的深度的信息，對通過在Z軸方向掃描焦點所獲得的第一模糊圖像60的模糊進行校正(步驟104至步驟108)。在這種情況下，CPU主要用作校正部。CPU計算各個單位深度的深度校正係數(深度校正參數)(步驟104)。對於各個單位深度，深度校正係數像下面的情況那樣預設為預定值，例如，深度校正係數在深度方向的中心位置為0，在深度方向距該中心位置±1μπι的位置為+1，在深度方向距該中心位置±2 μ m的位置為+2等。單位深度並不限於I μ m。圖14是用於解釋亮點的亮度對於各個單位深度不同的示意圖。如圖14所示，在焦點的掃描範圍例如是5μπι時，標記(突光標記)3出現在掃描範圍的中心位置，標記1、2、4和5出現在深度方向上距中心位置每±1 μ m的位置處。在這種情況下，如圖15A所示，CPU能夠獲取標記I到5的亮點的各個像素的亮度分布(用黑點表示的曲線)。這裡，假定標記I到5的發光色均是相同的。在圖15A中，橫軸表示第一模糊圖像的X位置(或Y位置)(像素位置)，縱軸表示亮度(以亮度峰值設定為200作為標準值)。如由圖15A的黑點的曲線所表示的，標記2至4的亮點均具有最高亮度峰值，並且隨著標記移動而遠離掃描範圍中標記3所在的中心位置，那些標記的亮點的亮度峰值變得更低。應當注意，雖然在該示例中，標記2的亮度峰值與標記3和4的相同，但是標記2的亮度峰值在一些情況下可以高於標記3和4的亮度峰值。如上所述，亮度值根據亮點在第一模糊圖像60中存在的深度的差異而不同的原因如下。在正在掃描焦點時，也就是說，在圖像攝取裝置30的曝光期間，在標記I到5中，焦點被聚焦或處於接近狀態的總時間最長的標記是中心位置的標記3。隨著總時間增加，亮點的亮度峰值增大。隨著標記移動遠離中心位置，其處於聚焦狀態或接近狀態的總時間變得越短，因此亮度峰值變得越低。因此，通過掃描獲得的第一模糊圖像60的亮度分布為圖15A中所示的黑點的曲線中的亮度分布。
應當注意，雖然在圖15A示出的示例中，以二維方式獲得亮度分布，但是由於圖像攝取裝置30實際上具有在X和Y軸方向二維排列的像素，因此CPU能夠獲得三維亮度分布。為了幫助理解描述，亮度分布如圖15A所示二維地表示(這種情況下，X-Z)。如上所述，由於亮度峰值根據亮點存在的深度的差異而不同，因此為了量化亮度峰值，CPU如上所述生成深度校正係數。深度校正係數並不限於如上所述預先設置的情況。例如，CPU可以計算第一模糊圖像60中的多個亮點的亮度峰值中最高亮度峰值和最低亮度峰值之間的差異，並基於該差異，計算各個單位深度的深度校正係數。隨後，CPU計算亮度校正係數(步驟105)。基於在步驟102和104獲得的亮點的波長(波長係數)和深度校正係數以及物鏡12A的NA (數值孔徑)，CPU計算亮度校正係數(亮度校正參數)，以校正 第一模糊圖像60中的亮點Al和A2的亮度。所算出的波長的數據用於計算亮度校正係數。使用亮點的波長的數據的原因在於，物鏡12A的焦點深度根據亮點的波長而不同，因此模糊程度(也就是說，亮點的亮度)不同。焦點深度d表示為d= λ/NA2。λ表示波長。例如，當在同樣深度大概存在具有不同波長的兩個亮點時，即時在焦點聚焦於亮點之一上時，由於另一亮點未被聚焦而變得模糊，因此亮點的亮度十分不同。因此，CPU選擇取決于波長的波長係數。作為示例，當光的總波長範圍中500nm到550nm之間的中心波長的波長係數是O時，將波長係數設定為，使得每當波長相對於中心波長範圍變化對應於單位波長範圍(例如，50nm)的量時，其增加預定值。對於各個單位波長，僅需將波長係數預先設定成預定值。然後，CPU基於深度校正係數和波長係數計算亮度校正係數。例如，通過將深度校正係數乘以波長係數，或者通過使用深度校正參數和波長校正參數的預定算法的操作，CPU計算亮度校正係數，以量化第一模糊圖像60的亮點Al和A2的亮度值。換句話說，CPU計算亮度校正係數，使得具有相同波長範圍並且基本位於相同深度的亮點的亮度峰值基本相同。隨後，CPU計算成形(shaping)校正係數(成形校正參數)(步驟106)。根據在第一模糊圖像60的平面中距亮點的亮度峰值的位置的距離，設定成形校正係數。換句話說，亮點的亮度峰值所在的位置(以下，稱為峰值位置)，實際上與發生模糊的亮點的中心位置一致。還可以根據距峰值位置的距離預設成形校正係數。在這種情況下，可以為各個單位深度設定成形校正係數。在這種情況下，成形校正係數被設定為，使得具有相同波長範圍並且實質上存在於相同深度的亮點的亮度分布實際上一致。可選地，由於在第一模糊圖像60中的亮點中，越遠離峰值位置的亮點的亮度變得越小，因此CPU可以基於從峰值位置的亮度的變化率，來計算成形校正係數。應當注意，在步驟107中，對於峰值位置計算方法，在第一模糊圖像60的像素中，僅需提取具有超過預設閾值的亮度值的像素中具有最大亮度值的像素作為峰值位置。可以基於第一模糊圖像60中的最大亮度值和最小亮度值之間的差來計算閾值。然後，CPU使用算出的亮度校正係數和成形校正係數來校正第一模糊圖像60的亮點Al和A2 (步驟107)。因此，能夠獲得亮點Al和A2的聚焦圖像。例如，通過重複地執行利用減法進行的圖像擬合，CPU能夠獲得聚焦圖像。圖15A是示出了通過使用包括亮度校正係數和成形校正係數的校正曲線(圖15B)，校正由黑點表示的各條曲線中的各個標記I到5的亮點的模糊所獲得的結果的示意圖。在圖15B中，橫軸表示對應於圖15A的第一模糊圖像的X位置(或Y位置)(像素位置)，縱軸表示校正係數。如圖15A所示，通過使用圖15B中示出的校正係數(亮度校正係數和成形校正係數)處理由黑點表示的模糊圖像的亮度分布(在該情況下為進行相乘)，生成了由圖15A的白點表示的聚焦圖像(模糊被抑制的圖像)。然後，CPU用通過模糊校正獲得的亮點Al和A2的聚焦圖像，部分地替換第一模糊圖像60中的亮點Al和A2的模糊圖像(步驟108)。因此，生成包括模糊已被校正的亮點Al和A2 (也就是說，對應於第一模糊圖像60的聚焦亮點Al和A2)的圖像。如上所述，由於在該實施方式中，基於第一模糊圖像60和第二模糊圖像80來計算 樣本的觀察區域中的亮點的深度，因此能夠減少數據量。具體地，與載物臺11在光軸方向上以步進移動並且對於各個步進拍攝許多圖像並將其存儲的情況相比，在該實施方式中，通過僅僅存儲第一模糊圖像60和第二模糊圖像80的兩個圖像，就能夠計算亮點的深度。因此，能夠減少數據量。通過顯微鏡10獲得的螢光圖像中的亮點的模糊度根據樣本中的亮點在光軸方向上的深度(即，焦點深度)而變化，但是在該實施方式中，基於關於算出的樣本中的亮點的深度的信息，校正第一模糊圖像60。因此，能夠量化亮點的亮度。在該實施方式中，CPU通過使用深度校正係數校正亮度，能夠容易地執行亮度校正操作。在該實施方式中，在亮度校正係數和成形校正係數是預設的時，在存儲裝置中預先存儲如圖15B所示的每個單位深度(和每個波長範圍)的校正曲線。然後CPU僅需要基於所算出的亮點的波長和深度，通過查找表系統從校正曲線適宜地選擇一個校正曲線，並校正第一模糊圖像60中的亮點的模糊。[聚焦圖像的列表數據]圖16示出了在步驟108中生成的聚焦圖像的列表數據的示例。該不例不出了兩個売點(売點編號I和2)的列表。売點的XY位置指不(売點的最大売度的)売點中心像素位置。校正前後的顏色(RGB亮度值)指示亮點的亮度峰值。作為步驟101中的顏色檢測的結果，螢光標記分類指示最可能是哪種顏色的螢光標記的類型。在出現在中心位置的深度的亮點的亮度(標準亮度)被設定為I. 00的情況下，螢光強度指示出現在遠離中心位置的深度的亮點的亮度是標準亮度的多少倍。因此，在該示例中，在兩個亮點的校正之後獲得的RGB亮度值是在校正之前獲得的RGB亮度值的I. 2和O. 9倍。[創建三維圖像數據的方法]CPU還能夠在校正第一模糊圖像60之後生成三維圖像。在這種情況下，CPU主要用作三維圖像生成部。
圖17是用於解釋生成三維圖像數據的方法的示意圖。通過如上所述在步驟107和108中校正第一模糊圖像60的亮點的模糊，CPU獲得聚焦圖像61。應當注意，雖然在上面的描述中，在觀察區域中存在兩個亮點Al和A2，但是在這裡的描述中，存在其深度分別是-3 μ m、0 μ m (掃描範圍的中心位置)和+2 μ m的三個亮點A到C。為了生成左眼圖像和右眼圖像，CPU複製聚焦圖像61，並生成左眼圖像62和右眼圖像63。與作為標準的亮點A (深度O μ m)相比，如下校正遠離物鏡12A的亮點B (_3μπι)。具體地，對於亮點B的聚焦圖像，CPU根據距標準的深度(-3 μ m)，向左手方向移動左眼圖像並向右手方向移動右眼圖像。另一方面，與作為標準的亮點A相比，如下校正靠近物鏡12A的亮點C (+2μπι)。具體地，對於亮點C的聚焦圖像，CPU根據距標準的深度(+2 μ m),向右手方向移動左眼圖像並向左手方向移動右眼圖像。
可以如下設定亮點B和C的聚焦圖像的移動量。例如，當橫向方向上每單位深度(例如，I μ m)的移動量是10個像素時，亮點B的聚焦圖像的移動量可以被設定為30個像素，亮點C的聚焦圖像的移動量可以被設定為20個像素。應當注意，亮點A的位置不改變。[根據另一實施方式的目標的模糊圖像的校正]圖18是示出了根據本發明另一實施方式的目標的模糊圖像的校正處理的流程圖。在上面的實施方式中，在執行螢光染色時，具有相對高亮度的高分子(諸如DNA和RNA)作為目標。在該實施方式中，將對執行螢光染色時，在載物臺11的整個掃描範圍內持續存在於樣本SPL中的目標的模糊圖像的校正給出描述。該情況下的目標通常是「細胞核」，包括諸如DNA和RNA的高分子目標。換句話說，該情況下的染色通常稱為對比染色。圖19是用於解釋校正處理的示意圖。總體上，細胞核CL在光軸方向上的厚度充分大於諸如DNA和RNA的高分子目標T在光軸方向上的厚度。因此，通過對細胞核CL執行對比染色，當在光軸方向上掃描載物臺11時，顯微鏡10能夠獲得亮度比整個掃描範圍內細胞核CL的外圍60a的亮度高的亮度的細胞核CL的圖像。然而，當以觀察高分子目標T (諸如DNA和RNA)時使用的倍率(高倍率)觀察細胞核CL時，物鏡12A的焦點不在掃描範圍內的細胞核CL上。因此，如圖19的上圖所示，例如，第一模糊圖像60中所獲得的細胞核CL的圖像以與細胞核CL的外圍60a的亮度相比高的均勻亮度在稍微模糊的狀態下獲得。然而，顯示為細胞核CL的染色劑的均勻亮度變得低於諸如DNA和RNA的高分子目標T的亮點的均勻亮度。例如，CPU基於第一模糊圖像60檢測其中存在這樣的細胞核CL的區域。在這種情況下，CPU用作另一校正部。如圖18所示，CPU檢測對比染色的螢光色(步驟201)。該處理與步驟101的處理相同(參見圖7)。然後，CPU檢測細胞核CL與其外圍60a之間的邊界(步驟202)。可以使用邊緣檢測技術進行該區域檢測。在邊緣檢測中，從第一模糊圖像60中具有均勻亮度的細胞核CL的像素位置，檢測其亮度逐漸減少或變成另一亮度的像素區域(具有等於或大於閥值的亮度變化率的像素區域)。隨後，CPU通過成形處理校正像素區域(步驟203)。通過成形處理，對應於像素區域的圖像被替換成具有細胞核CL的強調輪廓的圖像61。對於成形處理，使用與使用步驟106的成形校正係數的步驟107的模糊校正處理中使用的方法相同的方法(參見圖7)。在這種情況下，細胞核CL的亮度值的標準位置可以是第一模糊圖像60中整個細胞核CL的亮度值中具有峰值的像素位置，或者是具有等於或大於閥值的亮度變化率的像素區域中具有亮度峰值的像素位置。因此，在具有細胞核級別大小的目標的情況下，能夠校正模糊圖像而不管目標的
深度信息。[其他實施方式]
本發明不限於上面的實施方式，還可以實現各種其他實施方式。在獲得第二模糊圖像80時，圖像處理裝置20通過在X (Y)軸方向上移動載物臺11來移動焦點。然而，在X (Y)軸方向上移動圖像攝取裝置30的機構可以設置在圖像處理裝置20中，以便通過使用該機構移動圖像攝取裝置30而不是移動載物臺11來移動焦點。可替換地，可以使用這兩種技術。 在上面的實施方式中使用突光顯微鏡，但是可以使用突光顯微鏡之外的顯微鏡。在這種情況下，目標不需要被螢光染色，並僅需要通過某些標記方法作標記以可作為亮點能夠被觀察即可。在上面的實施方式中，分離地設置顯微鏡和圖像處理裝置，但是它們可以作為單個裝置整體地提供。圖像攝取裝置不限於3種顏色的RGB濾色器，並可以裝配有4種顏色或5種以上顏色的濾色器。在上面的實施方式中，計算了深度hA和hB，但是由於距離Da和Db是與深度hA和hB成比例的值，因此在步驟104以及後續步驟的處理中，可以處理距離DjP DJt為標準深度。還可以組合上面實施方式的特徵部分中的至少兩個特徵部分。本發明還可以採用以下結構。I) 一種圖像處理裝置，包括深度計算部，被配置為基於樣本的至少部分的觀察區域的第一模糊圖像以及所述觀察區域的第二模糊圖像計算所述樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中所述第一模糊圖像是通過沿所述光軸方向相對地移動所述物鏡和所述樣本來獲得的，所述第二模糊圖像是通過沿包括所述光軸方向的分量但不同於所述光軸方向的方向移動所述物鏡和所述樣本來獲得的，所述亮點通過為所述觀察區域中包括的目標染色來獲得；以及校正部，被配置為基於關於算得的所述亮點的深度的信息，校正所述第一模糊圖像。( 2 )根據(I)所述的圖像處理裝置，其中，所述校正部使用為所述光軸方向上的各個單位深度所設定的深度校正參數，校正所述亮點的亮度。( 3 )根據(2 )所述的圖像處理裝置，進一步包括
波長計算部，被配置為計算所述亮點處的光的波長範圍，其中，所述校正部進一步基於所述深度校正參數和關於算得的所述波長範圍的信息，校正所述亮點的亮度。( 4 )根據(I)至(3 )中任一項所述的圖像處理裝置，其中，所述校正部使用在所述第一模糊圖像的平面內根據距所述亮點的亮度峰值的位置的距離所設定的成形校正參數，校正所述亮點的亮度。( 5 )根據(I)至(4 )中任一項所述的圖像處理裝置，進一步包括三維圖像生成部，被配置為基於關於由所述校正部校正的所述亮點的亮度的信息以及關於由所述深度計算部算得的所述亮點的深度的信息，生成包括所述目標的所述觀察區域的三維圖像。(6)根據(I)至(5)中任一項所述的圖像處理裝置，進一步包括 另一校正部，被配置為校正所述第一模糊圖像中的另一目標的模糊圖像，所述另一目標包括所述目標，在所述光軸方向上比所述目標厚並且在所述物鏡和所述樣本在所述光軸方向上的整個相對移動範圍內持續存在於所述樣本中。7) 一種圖像處理方法，包括基於樣本的至少部分的觀察區域的第一模糊圖像以及所述觀察區域的第二模糊圖像計算所述樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中所述第一模糊圖像是通過沿所述光軸方向相對地移動所述物鏡和所述樣本來獲得的，所述第二模糊圖像是通過沿包括所述光軸方向的分量但不同於所述光軸方向的方向移動所述物鏡和所述樣本來獲得的，所述亮點通過為所述觀察區域中包括的目標染色來獲得；以及基於關於算得的所述亮點的深度的信息，校正所述第一模糊圖像。(8) 一種圖像處理程序，使計算機執行下列步驟基於樣本的至少部分的觀察區域的第一模糊圖像以及所述觀察區域的第二模糊圖像計算所述樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中所述第一模糊圖像是通過沿所述光軸方向相對地移動所述物鏡和所述樣本來獲得的，所述第二模糊圖像是通過沿包括所述光軸方向的分量但不同於所述光軸方向的方向移動所述物鏡和所述樣本來獲得的，所述亮點通過為所述觀察區域中包括的目標染色來獲得；以及基於關於算得的所述亮點的深度的信息，校正所述第一模糊圖像。本申請包含於2011年5月13日向日本專利局提交的日本優先權專利申請JP2011-107851中所披露的相關主題，將其全部內容結合於此作為參考。本領域技術人員應當理解，根據設計需要和其他因素，可以有各種改變、組合、子組合和變形，只要它們在所附權利要求及其等同替換的範圍。
權利要求
1.一種圖像處理裝置，包括 深度計算部，被配置為基於樣本的至少一部分的觀察區域的第一模糊圖像以及所述觀察區域的第二模糊圖像計算所述樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中所述第一模糊圖像是通過沿所述光軸方向相對地移動所述物鏡和所述樣本來獲得的，所述第二模糊圖像是通過沿包括所述光軸方向的分量但不同於所述光軸方向的方向移動所述物鏡和所述樣本來獲得的，所述亮點通過為所述觀察區域中包括的目標染色來獲得；以及 校正部，被配置為基於關於算得的所述亮點的深度的信息，校正所述第一模糊圖像。
2.根據權利要求I所述的圖像處理裝置， 其中，所述校正部使用為所述光軸方向上的各個單位深度所設定的深度校正參數，校正所述亮點的亮度。
3.根據權利要求2所述的圖像處理裝置，進一步包括 波長計算部，被配置為計算所述亮點處的光的波長範圍，其中，所述校正部進一步基於所述深度校正參數和關於算得的所述波長範圍的信息，校正所述亮點的亮度。
4.根據權利要求I所述的圖像處理裝置， 其中，所述校正部使用在所述第一模糊圖像的平面內根據距所述亮點的亮度峰值的位置的距離所設定的成形校正參數，校正所述亮點的亮度。
5.根據權利要求I所述的圖像處理裝置，進一步包括 三維圖像生成部，被配置為基於關於由所述校正部校正的所述亮點的亮度的信息以及關於由所述深度計算部算得的所述亮點的深度的信息，生成包括所述目標的所述觀察區域的三維圖像。
6.根據權利要求I所述的圖像處理裝置，進一步包括 另一校正部，被配置為校正所述第一模糊圖像中的另一目標的模糊圖像，所述另一目標包括所述目標，在所述光軸方向上比所述目標厚，並且在所述物鏡和所述樣本在所述光軸方向上的整個相對移動範圍內持續存在於所述樣本中。
7.根據權利要求6所述的圖像處理裝置， 其中，所述另一校正部使用在所述第一模糊圖像的平面內根據距所述另一目標的亮度峰值的位置的距離所設定的成形校正參數，校正所述另一目標的亮度。
8.—種圖像處理方法，包括 基於樣本的至少一部分的觀察區域的第一模糊圖像以及所述觀察區域的第二模糊圖像計算所述樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中所述第一模糊圖像是通過沿所述光軸方向相對地移動所述物鏡和所述樣本來獲得的，所述第二模糊圖像是通過沿包括所述光軸方向的分量但不同於所述光軸方向的方向移動所述物鏡和所述樣本來獲得的，所述亮點通過為所述觀察區域中包括的目標染色來獲得；以及 基於關於算得的所述亮點的深度的信息，校正所述第一模糊圖像。
9.一種圖像處理程序，使計算機執行下列步驟 基於樣本的至少一部分的觀察區域的第一模糊圖像以及所述觀察區域的第二模糊圖像計算所述樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中所述第一模糊圖像是通過沿所述光軸方向相對地移動所述物鏡和所述樣本來獲得的，所述第二模糊圖像是通過沿包括所述光軸方向的分量但不同於所述光軸方向的方向移動所述物鏡和所述樣本來獲得的，所述亮點通過為所述觀察區域中包括的目標染色來獲得；以及基於關於 算得的所述亮點的深度的信息，校正所述第一模糊圖像。
全文摘要
本發明公開了圖像處理裝置、圖像處理方法及圖像處理程序，其中該圖像處理裝置包括深度計算部，被配置為基於樣本的至少部分的觀察區域的第一模糊圖像以及觀察區域的第二模糊圖像計算樣本中的亮點在顯微鏡的物鏡的光軸方向上的深度，其中第一模糊圖像是通過沿光軸方向相對地移動物鏡和樣本來獲得的，第二模糊圖像是通過沿包括光軸方向的分量但不同於光軸方向的方向移動物鏡和樣本來獲得的，亮點通過為觀察區域中包括的目標染色來獲得；以及校正部，被配置為基於關於算得的亮點的深度的信息，校正第一模糊圖像。
文檔編號G02B21/36GK102866495SQ20121013706
公開日2013年1月9日 申請日期2012年5月4日 優先權日2011年5月13日
發明者木島公一朗 申請人:索尼公司