圖像處理裝置、程序、圖像處理方法、計算機可讀介質及圖像處理系統的製作方法
2023-06-09 11:30:21
圖像處理裝置、程序、圖像處理方法、計算機可讀介質及圖像處理系統的製作方法
【專利摘要】圖像處理裝置(20)獲取通過從多個不同的焦距對包括目標細胞的試樣進行成像得到的多個拍攝圖像，設置檢測作為所述多個拍攝圖像中的至少兩個中的目標細胞的對象的對象區域，並基於如下的圖像特徵量是否滿足針對目標細胞的規定的條件來確定目標細胞是否被包括在對象區域中，該圖像特徵量基於多個拍攝圖像中的對象區域內的圖像的焦距方向和成像平面的向內方向上的圖像信息的更改。
【專利說明】圖像處理裝置、程序、圖像處理方法、計算機可讀介質及圖像處理系統
【技術領域】
[0001]本發明涉及一種圖像處理裝置、程序、圖像處理方法、計算機可讀介質及圖像處理系統。
【背景技術】
[0002]專利文獻1描述如下的技術，其中，當對出生前的胎兒進行診斷時，從對象圖像中搜索滿足衍生自極小地包括在母體血液中的胎兒的有核紅細胞(NRBC，以下稱為目標細胞)的顏色、形狀、位置關係、面積比等的條件的細胞，從而機械地檢測NRBC。
[0003]現有技術文獻
[0004]專利文獻
[0005]專利文獻1:日本專利N0.4346923
【發明內容】
[0006]發明要解決的問題
[0007]本發明的目的是提供一種圖像處理裝置、程序及圖像處理系統，其與沒有使用細胞的厚度方向上的形狀的情況相比，能夠改進對目標細胞進行成像而獲得的圖像中的目標細胞的檢測精度。
[0008]解決問題的手段
[0009][1]根據本發明的一個方面，提供一種圖像處理裝置，該圖像處理裝置包括:獲取單元，該獲取單元獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像；設置單元，該設置單元設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域；計算單元，該計算單元基於所述多個拍攝圖像中的對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及確定單元，該確定單元基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
[0010][2]根據[1]的圖像處理裝置還可以具有如下的構造:其中，所述目標細胞是具有細胞核的有核紅細胞；並且所述圖像處理裝置還包括提取單元，該提取單元基於所述細胞核的顏色和濃度中的至少一個來從所述多個拍攝圖像中提取作為所述細胞核的候選的細胞核候選區域；並且所述設置單元基於所述細胞核候選區域和所述目標細胞的可能大小的範圍來設置所述對象區域。
[0011][3]根據[1]或[2]的圖像處理裝置還可以包括:機器學習單元，該機器學習單元基於在多個不同的焦距處對所述目標細胞的正試樣和負試樣進行成像而獲得的多個試樣圖像，來機械地學習用於識別所述目標細胞和其它細胞的第一條件。
[0012][4]根據[3]的圖像處理裝置可以具有如下的構造，其中，所述機器學習單元基於在多個不同的焦距處對所述目標細胞和與所述目標細胞相比在所述焦距方向上的圖像信息的更改具有差異的特定細胞進行成像而獲得的多個試樣圖像，來機械地學習用於識別所述目標細胞和所述特定細胞的第二條件。
[0013][5]根據權利要求[4]所述的圖像處理裝置可以具有如下的結構:其中，當在所述對象區域中的所述第一條件和所述第二條件兩者下，其被確定為目標細胞時，所述確定單元確定所述目標細胞被包括在所述對象區域中。
[0014][6]根據權利要求[1]至[5]的任一項所述的圖像處理裝置還可以包括:圖像選擇單元，該圖像選擇單元從所述多個拍攝圖像中選擇在所述試樣上最聚焦的拍攝圖像；其中，所述設置單元設置用於從由所述圖像選擇單元從所述多個拍攝圖像當中選擇的拍攝圖像起、在預定的範圍的焦距處的拍攝圖像的所述對象區域。
[0015][7]根據本發明的另一方面，提供一種使計算機用作如下用途的程序:獲取單元，該獲取單元獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像；設置單元，該設置單元設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域；計算單元，該計算單元基於所述多個拍攝圖像中的對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及確定單元，該確定單元基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
[0016][8]根據本發明的另一方面，提供一種使計算機執行處理的圖像處理方法，所述處理包括:獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像；設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域；基於所述多個拍攝圖像中的對象區域中的、圖像平面內方向和圖像的焦距方向上的圖像信息的更改，來計算圖像特徵量；並且基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
[0017][9]根據本發明的另一方面，提供一種存儲使計算機執行用於圖像處理的處理的程序的非瞬時計算機可讀介質，所述處理包括:獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像；設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域；基於所述多個拍攝圖像中的對象區域中的、圖像平面內方向和圖像的焦距方向上的圖像信息的更改，來計算圖像特徵量；並且基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
[0018][10]根據本發明的另一方面，提供一種圖像處理系統，所述圖像處理系統包括:圖像處理裝置；光學顯微鏡，該光學顯微鏡連接到所述圖像處理裝置；以及顯示裝置，該顯示裝置連接到所述圖像處理裝置，其中，所述圖像處理裝置包括:獲取單元，該獲取單元獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像；設置單元，該設置單元設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域；計算單元，該計算單元基於所述多個拍攝圖像中的對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及確定單元，該確定單元基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
[0019]發明的效果
[0020]根據[1]、[7]、[8]、[9]和[10]中描述的構造(處理)，與沒有使用細胞的厚度方向上的形狀的情況相比，能夠改進通過對目標細胞進行成像而獲得的圖像中的目標細胞的檢測精度。
[0021]根據[2]中描述的構造，與沒有提供該構造的情況相比，能夠以高精度檢測通過對包括有核紅細胞的試樣進行成像而獲得的拍攝圖像中的有核紅細胞。
[0022]根據[3]中描述的構造，與沒有使用機械地學習目標細胞與其它細胞之間的識別的結果的情況相比，能夠改進目標細胞的檢測精度。
[0023]根據[4]中描述的構造，與沒有使用機械地學習目標細胞與特定細胞之間的識別的結果的情況相比，能夠改進目標細胞的檢測精度。
[0024]根據[5]中描述的構造，與沒有提供該構造的情況相比，能夠改進目標細胞的檢測精度。
[0025]根據[6]中描述的構造，即使在細胞具有厚度變化時，也能夠獲得穩定的圖像特徵。
【專利附圖】
【附圖說明】
[0026]圖1是示出根據本實施方式的圖像處理系統的系統構造示例的圖。
[0027]圖2是圖像處理裝置的功能框圖。
[0028]圖3A示出在更改焦距的同時通過對目標細胞和特定細胞進行成像而獲得的圖像的示例。
[0029]圖3B示出在更改焦距的同時通過對目標細胞和特定細胞進行成像而獲得的圖像的示例。
[0030]圖3C示出在更改焦距的同時通過對目標細胞和特定細胞進行成像而獲得的圖像的示例。
[0031]圖3D示出在更改焦距的同時通過對目標細胞和特定細胞進行成像而獲得的圖像的示例。
[0032]圖4是第一至第四識別單元的學習處理的流程圖。
[0033]圖5是用於檢測目標細胞的處理的流程圖。
[0034]圖6是細胞候選區域的識別處理的流程圖。
【具體實施方式】
[0035]在下文中，將參照附圖來描述用於實施本發明的模式(在下文中，稱為實施方式)。
[0036]圖1是示出根據本實施方式的圖像處理系統1的系統構造示例的圖。如圖1所示，圖像處理系統1包括:光學顯微鏡10、圖像處理裝置20、輸入裝置50和顯示裝置60。將圖像處理裝置20與光學顯微鏡10、輸入裝置50以及顯示裝置60連接起來，以執行數據通信。
[0037]光學顯微鏡10通過諸如物鏡12這樣的光學系統由(XD照相機14對放置於試樣臺座上的載玻片11上的試樣進行成像。光學顯微鏡10包括:聚焦機構13，其更改載玻片11與物鏡12之間的距離，並在多個不同的焦距處對載玻片11上的試樣進行成像。在該實施方式中，使用如下試樣，在該試樣中母體血液被施加於載玻片11上，並執行梅-吉染色(May-Giemsa staining)。在此，衍生自母體血液中的胎兒的有核紅細胞(NRBC)是染色後的紫-藍色。在下文中，NRBC被稱為目標細胞。
[0038]圖像處理裝置20獲取在多個不同的焦距處由光學顯微鏡10成像的拍攝圖像(多焦點圖像)，並檢測獲取的拍攝圖像中的目標細胞。在下文中，將描述圖像處理裝置20中的目標細胞的檢測處理的細節。
[0039]輸入裝置50是例如諸如鍵盤或滑鼠這樣的裝置，並將從用戶接收到的操作輸入到圖像處理裝置20。例如，圖像處理裝置20獲取與在顯示裝置60上顯示的圖像中的、通過輸入裝置50由用戶指定的圖像區域有關的信息，作為用於學習目標細胞的正試樣和負試樣的學習信息或其他特定細胞的圖像信息。
[0040]顯示裝置60是例如液晶顯示器等，並基於由圖像處理裝置20的處理的結果來顯示畫面。例如，在顯示裝置60上顯示:由光學顯微鏡10成像的拍攝圖像，由圖像處理裝置20進行的目標細胞檢測結果等。
[0041]接下來，將描述根據本實施方式的圖像處理裝置20的功能。
[0042]圖2是圖像處理裝置20的功能框圖。如圖2所示，圖像處理裝置20包括:多焦點圖像獲取單元21、學習區域指定接收單元22、細胞核候選區域提取單元23、基準圖像選擇單元24、細胞大小估計單元25、細胞候選區域確定單元26、圖像特徵量計算單元27、識別模型學習單元28、識別模型數據存儲單元29、目標細胞識別單元30 (第一識別單元)、特定細胞識別單元31 (第二識別單元31A、第三識別單元31B以及第四識別單元31C)、檢測結果產生單元32以及顯示控制單元33。
[0043]圖像處理裝置20中的相應單元的功能可以在如下的情況下實現:當計算機(其包括:諸如CPU這樣的控制裝置、諸如存儲器這樣的存儲裝置、用於發送和接收去往和來自外部裝置的數據的輸入/輸出裝置等)讀取並執行存儲在計算機可讀信息記錄介質中的程序時。應當注意的是，該程序可以由諸如光碟、磁碟、磁帶、磁光碟、或快閃記憶體存儲器這樣的信息記錄介質提供給作為計算機的圖像處理裝置20，或者可以通過諸如網際網路這樣的數據通信網絡來提供給圖像處理裝置20。
[0044]多焦點圖像獲取單元21從光學顯微鏡10中獲取如下的拍攝圖像(多焦點圖像)，通過使用光學顯微鏡10中的CCD照相機14來對在多個不同的焦距處的試樣的相同部分進行成像而獲得該拍攝圖像。所述多個不同的焦距可以預先限定，或可以基於自動對焦位置，使焦距在該自動對焦位置之前和之後分開預定的距離來進行設置。應當注意的是，由多焦點圖像獲取單元21獲取的圖像可以由顯示控制單元33在顯示裝置60上顯示。
[0045]學習區域指定接收單元22接收在由多焦點圖像獲取單元21獲取的圖像中的學習處理中使用的圖像區域的指定。可以通過輸入裝置50來執行圖像區域的指定。例如，當學習目標細胞(有核紅細胞)和其它圖像之間的識別時，學習區域指定接收單元22接收具有拍攝圖像中的目標細胞的圖像區域作為正試樣，並接收沒有拍攝圖像所示的目標細胞的圖像區域作為負試樣。當學習目標細胞和其它特定細胞(例如，淋巴樣細胞、白細胞以及汙染物附著的紅細胞)之間的識別時，可以接收具有拍攝圖像中的目標細胞的圖像區域作為正試樣，並接收具有拍攝圖像所示的特定細胞的圖像區域作為負試樣。然後，學習區域指定接收單元22可以基於接收到的圖像區域，來將通過切割三維空間中以焦距分開的多焦點圖像而獲得的三維圖像(例如，矩形平行六面體)，連同用於執行圖像的學習處理的識別模型的信息和與該圖像是正試樣或負試樣有關的類型信息一起，輸出到圖像特徵量計算單元27。
[0046]細胞核候選區域提取單元23基於如下像素來提取細胞核的候選區域，該像素在由多焦點圖像獲取單元21獲取的每個拍攝圖像中、具有預定範圍內的顏色(RGB值)或濃度。例如，細胞核候選區域提取單元23可以以顏色(或濃度)的預定閾值，來對拍攝圖像中的像素進行二值化，並具體地，可以提取具有比閾值更深(等於或大於閾值)的顏色(或濃度)的像素作為黑色像素。細胞核候選區域提取單元23可以通過將從由多焦點圖像獲取單元21獲取的每個圖像中提取的像素連接起來，來計算多個集合(像素組)，並可以將外接到每個集合的矩形平行六面體區域設置為細胞核候選區域。
[0047]基準圖像選擇單元24選擇由多焦點圖像獲取單元21獲取的多焦點圖像當中的最聚焦(most focused)的圖像，作為基準圖像。例如，基準圖像選擇單元24可以計算從由多焦點圖像獲取單元21獲取的多焦點圖像中提取的細胞核候選區域中的每個的對比度值，並可以選擇包括具有最高對比度的細胞核候選區域的拍攝圖像作為基準圖像。
[0048]細胞大小估計單元25基於由細胞核候選區域提取單元23提取的細胞核候選區域的到載玻片表面上的投影大小和預定的關係表達式，來估計細胞大小的可能範圍。例如，細胞大小估計單元25可以基於有核紅細胞中的細胞核和細胞大小之間的關係表達式，來估計在載玻片表面上的有核紅細胞的可能範圍(例如，矩形區域)。具體地，細胞大小估計單元25將以細胞核候選區域中的一個點為中心、所估計的範圍中的矩形區域設置為細胞存在區域。
[0049]細胞候選區域確定單元26基於由細胞核候選區域提取單元23提取的細胞核候選區域、由基準圖像選擇單元24選擇的基準圖像、以及由細胞大小估計單元25估計的載玻片表面上的細胞存在區域，來確定多焦點圖像中的可能包括目標細胞的細胞候選區域。例如，細胞候選區域確定單元26可以確定:從由基準圖像選擇單元24選擇的拍攝圖像，在預定的焦距內，具有由細胞大小估計單元25評估的、載玻片表面上的細胞存在區的三維圖像(例如，矩形平行六面體)，作為細胞候選區域。細胞候選區域確定單元26確定用於多個細胞核候選區域中的每個的細胞候選區域，並向圖像特徵量計算單元27輸出確定的細胞候選區域中的多焦點圖像。
[0050]圖像特徵量計算單元27將從學習區域指定接收單元22或細胞候選區域確定單元26輸入的多焦點圖像放大或縮小到指定的圖像大小，並且然後計算圖像的圖像特徵量。例如，當從學習區域指定接收單元22輸入多焦點圖像時，圖像特徵量計算單元27計算來自輸入的多焦點圖像的圖像特徵量，並將計算出的圖像特徵量輸出到識別模型學習單元28;並當從細胞候選區域確定單元26輸入多焦點圖像時，計算來自輸入的多焦點圖像的圖像特徵量，並將計算出的圖像特徵量輸出到目標細胞識別單元30。在下文中，將描述由圖像特徵量計算單元27計算出的圖像特徵量的示例(第一至第三示例)。
[0051]在第一示例中，圖像特徵量計算單元27計算每個輸入的焦點圖像的梯度方向直方圖特徵(HOG特徵)，並計算通過以焦點的順序(即，更短焦距的順序或相反順序)組合HOG特徵而獲得的矢量，作為圖像特徵量。應當注意的是，關於HOG特徵，可以使用 Navneet Dalai 和 Bill Triggs 的〃Histograms of Oriented Gradients for HumanDetect1n", 2005, CVPR,第886-893頁中描述的計算方法。
[0052]在第二示例中，圖像特徵量計算單元27創建在輸入的多焦點圖像當中短焦距(即，相鄰)處兩個焦點圖像之間的每個差圖像，計算來自每個創建的差圖像的HOG特徵，並計算以焦距順序組合特徵的結果，作為圖像特徵量。
[0053]在第三示例中，圖像特徵量計算單元27基於輸入的多焦點圖像來計算以三維方式擴展的HOG特徵。關於正常(二維)HOG特徵，將對象圖像劃分成B個塊(每塊具有A個細胞)，從用於每個塊的相應細胞的圖像的平面(X方向和Y方向)中的亮度梯度方向和亮度梯度強度中創建亮度梯度方向直方圖([第一梯度方向的值、第二梯度方向的值、……、第N梯度方向的值])，並以塊為單位來執行標準化，使得亮度梯度方向直方圖的平方平均值變為1。此後，將通過組合塊中的標準化後的亮度梯度方向直方圖所創建的AXN個值設置為塊的特徵量，並將通過組合對象圖像中的塊所創建的AXBXN個值設置為對象圖像的HOG特徵量。
[0054]在該實施方式中，除了圖像的平面中的X方向和Y方向之外，以三維方式擴展的HOG特徵還將焦距方向(Z方向)添加到亮度梯度方向。基於多焦點圖像之間的差別來計算Z方向的亮度梯度方向。每個細胞是三維矩形平行六面體，針對每個細胞，計算三維亮度梯度方向和強度，直方圖從針對每個細胞計算出的亮度梯度方向和強度中計算出，並基於計算出的直方圖來計算三維HOG特徵。應當注意的是，如果在Z方向上作為對象的三維區域的劃分次數是C，則AXBXC個細胞被用於計算圖像特徵量。
[0055]識別模型學習單元28基於如下各項來執行相應識別單元的學習:由學習區域指定接收單元22輸入到圖像特徵量計算單元27的多焦點圖像的識別單元(識別模型)的信息(第一至第四識別單元)，正試樣和負試樣的類型信息，以及針對多焦點圖像計算出的圖像特徵量。具體地，關於第一識別單元30 (目標細胞識別單元30)，識別模型學習單元28產生具有目標細胞的多焦點圖像的圖像特徵量(作為正試樣)和其它多焦點圖像的圖像特徵量(作為負試樣)的模型參數。關於第二識別單元，識別模型學習單元28產生具有目標細胞的多焦點圖像的圖像特徵量(作為正試樣)和淋巴樣細胞的多焦點圖像的圖像特徵量(作為負試樣)的模型參數。關於第三識別單元，識別模型學習單元28產生具有目標細胞的多焦點圖像的圖像特徵量(作為正試樣)和具有與目標細胞不同的縱橫比的細胞(例如，白細胞)的多焦點圖像的圖像特徵量(作為負試樣)的模型參數。關於第四識別單元，識別模型學習單元28產生具有目標細胞的多焦點圖像的圖像特徵量(作為正試樣)和汙染物附著的細胞(例如，紅細胞)的多焦點圖像的圖像特徵量(作為負試樣)的模型參數。應當注意的是，諸如AdaBoost或支持向量機這樣的機器學習模型可以用於第一至第四識別單元。
[0056]識別模型數據存儲單元29存儲由識別模型學習單元28產生的相應識別單元的模型參數。
[0057]目標細胞識別單元30(第一識別單元30)基於如下各項來識別在細胞候選區域中所包括的細胞是否是目標細胞:針對與由細胞候選區域確定單元26確定的細胞候選區域有關的多焦點圖像計算出的圖像特徵量；以及與在識別模型數據存儲單元29中存儲的第一識別單元30有關的模型參數。
[0058]特定細胞識別單元31識別在細胞候選區域中所包括的細胞是目標細胞，還是可能被錯誤地識別為目標細胞的特定細胞。如果目標細胞是有核紅細胞，則特定細胞是淋巴樣細胞、大尺寸白細胞、汙染物附著的紅細胞等。這裡，圖3A至圖3D示出在更改焦距的同時通過對目標細胞和特定細胞進行成像而獲得的圖像的示例。
[0059]圖3A示出在以自動對焦位置為中心，將焦距更改為-1 μπι、-0.5μπι、0μπι(自動對焦位置)、+0.5 μπι和+1 μm的同時通過對有核紅細胞進行成像而獲得的多焦點圖像的示例。
[0060]圖3B示出在以自動對焦位置為中心，將焦距更改為-1 μπι、-0.5μπι、0μπι(自動對焦位置)、+0.5 μπι和+1 μ m的同時通過對淋巴樣細胞進行成像而獲得的多焦點圖像的示例。
[0061]圖3C示出在以自動對焦位置為中心，將焦距更改為-1 μπι、-0.5μπι、0μπι(自動對焦位置)、+0.5 μπι和+1 μ--的同時通過對大尺寸白細胞進行成像而獲得的多焦點圖像的示例。
[0062]圖3D示出在以自動對焦位置為中心，將焦距更改為-1 μπι、-0.5μπι、0μπι(自動對焦位置)、+0.5 μπι和+1 ym的同時通過對汙染物附著的紅細胞進行成像而獲得的多焦點圖像的示例。
[0063]在圖3A至圖3D示出的示例中，例如，難以將圖3A的+1 μπι的圖像與圖3Β的-1 4111、圖3(:的+141]1和圖3D的-1 μ m等的圖像進行區分，並且當比較相應圖像時，可能發生錯誤識別。然而，當焦距發生變化時，每個細胞進行如下的圖像變化。
[0064]如圖3A所示，如果焦距發生變化，則有核紅細胞在細胞核部分的面積上改變；如圖3B所示，由於淋巴樣細胞具有大的細胞核面積，所以即使焦距發生變化，與有核紅細胞相比，細胞核部分的面積變化也很小。如圖3C所示，由於大尺寸白細胞具有大粘度，所以細胞被壓碎，在厚度方向上的尺寸為小，縱橫比為大，並且即使焦距發生變化，圖像也很難發生變化。如圖3D所示，由於汙染物附著的紅細胞具有附著在細胞的上部分的汙染物，所以當焦點在近側上時，圖像清晰，而當焦點在深側上時，圖像不清晰。
[0065]因此，在本實施方式中，在焦距發生變化時的圖像變化被學習，並被用於識別，從而改進目標細胞和特定細胞之間的識別精度。
[0066]特定細胞識別單元31具有學習目標細胞和特定細胞之間的識別的功能。在下文中，將描述特定細胞識別單元31的構造的細節。如圖2所示，特定細胞識別單元31具有第二至第四識別單元。在下文中，將描述第二至第四識別單元。
[0067]第二識別單元31A基於如下各項來識別在細胞候選區域中所包括的細胞是否是目標細胞或淋巴樣細胞:與由細胞候選區域確定單元26確定的細胞候選區域有關的多焦點圖像中計算出的圖像特徵量；以及與識別模型數據存儲單元29中存儲的第二識別單元有關的t吳型參數。
[0068]第三識別單元31B基於如下各項來識別在細胞候選區域中所包括的細胞是目標細胞還是具有不同的縱橫比的細胞(例如，白細胞):與由細胞候選區域確定單元26確定的細胞候選區域有關的多焦點圖像中計算出的圖像特徵量；以及與識別模型數據存儲單元29中存儲的第三識別單元有關的模型參數。
[0069]第四識別單元31C基於如下各項來識別在細胞候選區域中所包括的細胞是否是目標細胞或汙染物附著的細胞(例如，紅細胞):與由細胞候選區域確定單元26確定的細胞候選區域有關的多焦點圖像中計算出的圖像特徵量；以及與識別模型數據存儲單元29中存儲的第四識別單元有關的模型參數。
[0070]在本實施方式中，即使特定細胞識別單元31包括第二識別單元31A、第三識別單元31B以及第四識別單元31C，並在目標細胞識別單元30中識別出包括了目標細胞，當在第二至第四識別單元中的一個、兩個或全部中識別出在細胞候選區域中所包括的細胞是特定細胞，而不是目標細胞時，也不可以做出檢測到目標細胞的確定。應當注意的是，當沒有設置特定細胞識別單元31時，可以僅基於由目標細胞識別單元30的識別結果來檢測目標細胞。
[0071]檢測結果產生單元32基於目標細胞識別單元30和特定目標識別單元31以及圖像區域的坐標的信息，來產生包括待被檢測為目標細胞的細胞候選區域的圖像區域。可以將用於控制光學顯微鏡10的控制信號輸出到光學顯微鏡10，使得光學顯微鏡10的成像範圍移動到由檢測結果產生單元32產生的坐標。
[0072]顯示控制單元33將用於顯示由檢測結果產生單元32產生的圖像區域和坐標的顯示控制信息輸出到顯示裝置60。因此，在顯示裝置60上顯示待被檢測為目標細胞的圖像區域和坐標。
[0073]接下來，將參照圖4至圖6所示的流程圖來描述圖像處理裝置20中的處理的流程。
[0074][學習處理]
[0075]圖4是第一至第四識別單元的學習處理的流程圖。如圖4所示，圖像處理裝置20獲取正試樣的多焦點圖像(即，包括目標細胞的圖像)(S101)，並切割出獲取的多焦點圖像中的指定的圖像區域(即，對應於目標細胞的圖像區域)(S102)。圖像處理裝置20基於多焦點圖像的切割出的圖像區域來計算正試樣的圖像特徵量(S103)。如上所述，計算圖像特徵量作為在圖像平面內方向和焦距方向上具有三維元素的數據。當存在待學習的正試樣的另一圖像時(S104:是)，圖像處理裝置20返回到S101，並且當不存在待學習的正試樣的另一圖像時(S104:否)，圖像處理裝置20前進到S105。
[0076]圖像處理裝置20獲取第i(i的初始值=1)個識別單元中的負試樣的多焦點圖像(S105)，並切割出獲取的多焦點圖像中指定的圖像區域(S卩，對應於負試樣的細胞的圖像區域)(S106)。圖像處理裝置20基於多焦點圖像的切割出的圖像區域來計算第i個識別單元的負試樣的圖像特徵量(S107)。當存在待學習的第i個識別單元的負試樣的另一圖像時(S108:是)，圖像處理裝置20返回到S105，並且當不存在第i個識別單元的負試樣的另一圖像時(S108:否)，圖像處理裝置20前進到S109。
[0077]圖像處理裝置20使用由上述處理而獲得的正試樣的圖像特徵量和負試樣的圖像特徵量來執行第i個識別單元的學習處理(S109)，並存儲由學習處理而獲得的第i個識別單元的模型參數(S110)。
[0078]當存在另一待學習的識別單元時，即，在本實施方式中，當不滿足i = 4時(Sill:否)，圖像處理裝置20遞增i (S112)，並返回到S105。當不存在另一待學習的識別單元時，即，在本實施方式中，當i = 4(S111:是)時，學習處理結束。
[0079][目標細胞的檢測處理的流程]
[0080]接下來，將參照圖5所示的流程圖來描述用於檢測目標細胞的處理的流程。
[0081]如圖5所示，圖像處理裝置20獲取待處理的多焦點圖像(S201)，並針對所獲取的多焦點圖像執行二值化處理(S202)。接下來，圖像處理裝置20設置二值化處理之後的多焦點圖像中的目標細胞的細胞核的可能的細胞核候選區域(N) (S203)。
[0082]圖像處理裝置20將變量j初始化為1 (S204)，獲取第j個細胞核候選區域(S205)，並基於獲取的細胞核候選區域的到載玻片表面上的投影大小和預定的關係表達式來計算細胞大小S的可能範圍(Smin ^ S ^ Smax) (S206)。
[0083]圖像處理裝置20將S的初始值設置為最小值(Smin) (S207)，設置第j個細胞核候選區域中的大小S的細胞候選區域(S208)，並執行與目標細胞是否被包括在設置的細胞候選區域中有關的識別處理(細胞候選區域的識別處理)(S209)。在下文中，將描述細胞候選區域的識別處理的流程。
[0084]當細胞核候選區域的所有像素沒有都被處理時(S210:否)，圖像處理裝置20返回到S208，並繼續該處理。當細胞核候選區域的所有像素都被處理時(S210:是)，圖像處理裝置20將細胞大小S增加Λ S ( Λ S可以預先限定或可以通過S乘以預定比例來設置)(S211)。當細胞大小S不大於細胞大小的最大值(Smax)時(S212:否)，圖像處理裝置20返回到S208，並繼續該處理。
[0085]當細胞大小S大於細胞大小的最大值(Smax)時(S212:是)，圖像處理裝置20執行與是否所有細胞核候選區域都被處理有關的確定(即，是否j = N) (S213)。當所有細胞核候選區域沒有都被處理時(S213:否)，圖像處理裝置20遞增j (S214)，返回到S205，並繼續該處理。當所有細胞核候選區域都被處理時(S213:是)，圖像處理裝置20基於檢測的目標細胞的坐標和大小來產生檢測結果(S215)。然後，圖像處理裝置20基於產生的檢測結果來在顯示裝置60上顯示目標細胞(S216)。
[0086][細胞候選區域的識別處理的流程]
[0087]將參照圖6所示的流程圖來描述上述流程中的細胞候選區域的識別處理的細節。
[0088]如圖6所示，圖像處理裝置20基於細胞候選區域中的多焦點圖像來計算圖像特徵量(S301)。然後，圖像處理裝置20基於S301中計算出的圖像特徵量由第一識別單元30來識別是否是目標細胞(有核紅細胞)(S302)，並當它被識別為不是目標細胞時，執行返回(S303:否)。
[0089]當它由第一識別單元30識別為是目標細胞時(S303:是)，圖像處理裝置20基於S301中計算出的圖像特徵量來識別由第二識別單元31A來識別是否是目標細胞(有核紅細胞)(S304)。當它被識別為不是目標細胞時(S305:否)，圖像處理裝置20執行返回。
[0090]當它由第二識別單元31A識別為是目標細胞時(S305:是)，圖像處理裝置20基於S301中計算出的圖像特徵量由第三識別單元31B來識別是否是目標細胞(有核紅細胞)(S306)。當它被識別為不是目標細胞時(S307:否)，圖像處理裝置20執行返回。
[0091]當它由第三識別單元31B識別為是目標細胞時(S307:是)，圖像處理裝置20基於S301中計算出的圖像特徵量由第四識別單元31C識別是否是目標細胞(有核紅細胞)(S308)。當它被識別為不是目標細胞時(S309:否)，圖像處理裝置20執行返回。
[0092]當它由第四識別單元31C識別為是目標細胞時(S309:是)，圖像處理裝置20確定細胞候選區域中存在目標細胞，存儲細胞候選區域的坐標和大小(S310)，並執行返回。
[0093]根據上述的圖像處理系統1，基於在焦距方向以及圖像平面內方向上的圖像信息的變化，使用在多個不同的焦距處對包括細胞的試樣進行成像而獲得的多個拍攝圖像，來計算圖像特徵量，從而與沒有使用在厚度方向上細胞的形狀有關的信息的情況相比，能夠改進拍攝圖像中的目標細胞的檢測精度。
[0094]本發明不限於上述實施方式。例如，用於學習的多焦點圖像當中的最聚焦的圖像可以被選作為基準圖像，並可以根據選擇的基準圖像來計算圖像特徵量。
[0095]工業應用可能性
[0096]根據本發明的圖像處理裝置、圖像處理方法、計算機可讀介質及圖像處理系統可用於機械地檢測NRBC的細胞。
[0097]儘管已經詳細或參照【具體實施方式】來描述本發明，但是顯然的是，對於本領域技術人員而言，能夠加入各種變化和修改，而不偏離本發明的精神和範圍。
[0098]本申請基於2012年8月24日提交的日本專利申請N0.2012-184864，在此通過引用將其內容併入。
[0099]附圖標記說明
[0100]1:圖像處理系統；10:光學顯微鏡；11:載玻片；12:物鏡；13:聚焦機構；14:(XD照相機；20:圖像處理裝置；21:多焦點圖像獲取單元；22:學習區域指定接收單元；23:細胞核候選區域提取單元；24:基準圖像選擇單元；25:細胞大小估計單元；26:細胞候選區域確定單元；27:圖像特徵量計算單元；28:識別模型學習單元；29:識別模型數據存儲單元；30:目標細胞識別單元(第一識別單元)；31:特定細胞識別單元；31A:第二識別單元；31B:第三識別單元；31C:第四識別單元；32:檢測結果產生單元；33:顯示控制單元；50:輸入裝置；60:顯示裝置
【權利要求】
1.一種圖像處理裝置，所述圖像處理裝置包括: 獲取單元，該獲取單元獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像； 設置單元，該設置單元設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域； 計算單元，該計算單元基於所述多個拍攝圖像中的對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及 確定單元，該確定單元基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
2.根據權利要求1所述的圖像處理裝置， 其中，所述目標細胞是具有細胞核的有核紅細胞，並且 所述圖像處理裝置還包括: 提取單元，該提取單元基於所述細胞核的顏色和濃度中的至少一個，來從所述多個拍攝圖像中提取作為所述細胞核的候選的細胞核候選區域，並且 所述設置單元基於所述細胞核候選區域和所述目標細胞的可能大小的範圍來設置所述對象區域。
3.根據權利要求1或2所述的圖像處理裝置，所述圖像處理裝置還包括: 機器學習單元，該機器學習單元基於在多個不同的焦距處對所述目標細胞的正試樣和負試樣進行成像而獲得的多個試樣圖像，來機械地學習用於識別所述目標細胞和其它細胞的第一條件。
4.根據權利要求3所述的圖像處理裝置， 其中，所述機器學習單元基於在多個不同的焦距處對所述目標細胞和與所述目標細胞相比至少在焦距方向上的圖像信息的更改具有差異的特定細胞進行成像而獲得的多個試樣圖像，來機械地學習用於識別所述目標細胞和所述特定細胞的第二條件。
5.根據權利要求4所述的圖像處理裝置， 其中，當在所述對象區域中的所述第一條件和所述第二條件兩者下被確定為目標細胞時，所述確定單元確定所述目標細胞被包括在所述對象區域中。
6.根據權利要求1至5的任一項所述的圖像處理裝置，所述圖像處理裝置還包括: 圖像選擇單元，該圖像選擇單元從所述多個拍攝圖像中選擇在所述試樣上最聚焦的拍攝圖像； 其中，所述設置單元設置用於從由所述圖像選擇單元從所述多個拍攝圖像當中選擇的拍攝圖像起、在預定的範圍的焦距處的拍攝圖像的所述對象區域。
7.一種使計算機用作如下用途的程序: 獲取單元，該獲取單元獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像； 設置單元，該設置單元設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域； 計算單元，該計算單元基於所述多個拍攝圖像中的所述對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及 確定單元，該確定單元基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
8.一種使計算機執行處理的圖像處理方法，所述處理包括: 獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像； 設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域； 基於所述多個拍攝圖像中的對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；並且 基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
9.一種存儲使計算機執行用於圖像處理的處理的程序的非瞬時計算機可讀介質，所述處理包括: 獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像； 設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域； 基於所述多個拍攝圖像中的所述對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及 基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
10.一種圖像處理系統，所述圖像處理系統包括: 圖像處理裝置； 光學顯微鏡，該光學顯微鏡連接到所述圖像處理裝置；以及 顯示裝置，該顯示裝置連接到所述圖像處理裝置， 其中，所述圖像處理裝置包括: 獲取單元，該獲取單元獲取通過在多個不同的焦距處對包括目標細胞的試樣進行成像而獲得的多個拍攝圖像； 設置單元，該設置單元設置用於檢測所述多個拍攝圖像中的至少兩個中的所述目標細胞的對象區域； 計算單元，該計算單元基於所述多個拍攝圖像中的對象區域中的、圖像的圖像平面內方向和焦距方向上的圖像信息的更改，來計算圖像特徵量；以及 確定單元，該確定單元基於所述圖像特徵量是否滿足針對所述目標細胞限定的條件，來確定所述目標細胞是否被包括在所述對象區域中。
【文檔編號】G01N33/48GK104471389SQ201380038123
【公開日】2015年3月25日 申請日期:2013年3月29日 優先權日:2012年8月24日
【發明者】加藤典司, 薄葉亮子, 尾崎良太 申請人:富士施樂株式會社