圖像處理裝置、程序、圖像處理方法、計算機可讀介質以及圖像處理系統的製作方法

2023-06-09 11:39:56

圖像處理裝置、程序、圖像處理方法、計算機可讀介質以及圖像處理系統的製作方法
【專利摘要】圖像處理裝置(20)獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像，在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域，從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞，基於從所述多個細胞區域中的每個細胞區域獲得的特徵量設定所述靶細胞所具有的特徵量的範圍；以及在從所述目標區域獲得的特徵量被包括在所設定的所述特徵量的範圍中的情況下，判定所述靶細胞是否被包括在所述目標區域中。
【專利說明】圖像處理裝置、程序、圖像處理方法、計算機可讀介質以及圖像處理系統

【技術領域】
[0001]本發明涉及圖像處理裝置、程序、圖像處理方法、計算機可讀介質以及圖像處理系統。

【背景技術】
[0002]專利文獻1描述了這樣一種技術，在這種技術中，從目標圖像尋找滿足NRBC的顏色、形狀、位置關係以及面積比等的條件的細胞，從而機械地檢測NRBC。
[0003]引用列表
[0004]專利文獻
[0005]專利文獻1:日本專利特開4346923號公報


【發明內容】

[0006]技術問題
[0007]本發明的目的是提供一種能夠通過藉助參照(根據各個孤立的不同細胞特徵)精選可能是靶細胞的圖像候補項測定是否包括靶細胞的圖像處理裝置、程序以及圖像處理系統。
[0008]解決問題的方案
[0009][1]根據本發明的一方面，提供了一種圖像處理裝置，該圖像處理裝置包括:獲取單元，該獲取單元獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像；設定單元，該設定單元在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域；抽取單元，該抽取單元從包括不同於所述目標區域的區域的外圍區域抽取多個細胞區域；範圍設定單元，該範圍設定單元基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及判定單元，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
[0010][2]根據[1]所述的圖像處理裝置，該圖像處理裝置還可包括:狀態判定單元，該狀態判定單元判定被包括在由所述抽取單元抽取的各個細胞區域中的細胞處於密集狀態還是處於孤立狀態，其中，所述範圍設定單元針對由所述狀態判定單元判定的各細胞狀態來設定所述靶細胞的特徵量的範圍，並且在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元針對被包括在所述目標區域中的所述細胞的所述狀態而設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
[0011][3]根據[1]或[2]所述的圖像處理裝置，該圖像處理裝置可具有這樣的構造，其中，所述特徵量是細胞面積、核面積以及細胞與核的面積比中的至少一者，所述抽取單元從所述外圍區域抽取多個細胞區域，所述多個細胞區域均包括有核細胞，並且所述範圍設定單元將小於等於閾值的範圍設定為所述靶細胞的所述特徵量的範圍，所述閾值設定在從所述多個細胞區域中的每個細胞區域獲得的所述特徵量的範圍內。
[0012][4]根據[1]或[2]所述的圖像處理裝置，該圖像處理裝置可具有這樣的構造，其中，所述特徵量是細胞面積、核面積以及細胞與核的面積比中的至少一者，所述抽取單元從所述外圍區域抽取多個細胞區域，所述多個細胞區域均包括無核細胞，並且所述範圍設定單元將夾有從所述多個細胞區域中的每個細胞區域獲得的所述特徵量的平均值或中位數的範圍設定為所述靶細胞的所述特徵量的範圍。
[0013][5]根據[1]至[4]中任一項所述的圖像處理裝置，該圖像處理裝置還可包括:學習單元，該學習單元基於分別對應於所述靶細胞的正例與負例的樣本圖像來機械地學習用於識別所述靶細胞的識別條件，其中，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元基於所述識別條件來判定所述靶細胞是否被包括在所述目標區域中。
[0014][6]根據[1]至[5]中任一項所述的圖像處理裝置，該圖像處理裝置可具有這樣的構造，其中，所述靶細胞是具有核的有核紅細胞，所述圖像處理裝置還包括區域抽取單元，該區域抽取單元基於所述核的顏色與濃度中的至少一者從所述多個拍攝圖像抽取作為所述核的候補的核候補區域，並且所述設定單元基於所述核候補區域以及所述靶細胞的可能尺寸的範圍來設定所述目標區域。
[0015][7]根據本發明的另一方面，提供了一種使計算機發揮以下功能的程序:獲取單元，該獲取單元獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像；設定單元，該設定單元在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域；抽取單元，該抽取單元從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞；範圍設定單元，該範圍設定單元基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及判定單元，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
[0016][8]根據本發明的另一方面，提供了一種使計算機執行處理的圖像處理方法，所述處理包括:獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像；在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域；從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞；基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，判定所述靶細胞是否被包括在所述目標區域中。
[0017][9]根據本發明的另一方面，提供了一種存儲有使計算機執行用於圖像處理的處理的程序的非瞬時性計算機可讀介質，所述處理包括:獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像；在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域；從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞；基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，判定所述靶細胞是否被包括在所述目標區域中。
[0018][10]根據本發明的另一方面，提供了一種圖像處理系統，該圖像處理系統包括:圖像處理裝置；光學顯微鏡，該光學顯微鏡連接至所述圖像處理裝置；以及顯示裝置，該顯示裝置連接至所述圖像處理裝置，其中，所述圖像處理裝置包括:獲取單元，該獲取單元獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像；設定單元，該設定單元在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域；抽取單元，該抽取單元從包括不同於所述目標區域的區域的外圍區域抽取多個細胞區域，所述細胞區域均包括細胞；範圍設定單元，該範圍設定單元基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及判定單元，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
[0019]本發明的有利效果
[0020]根據[1]、[7]、[8]、[9]與[10]中描述的構造(處理)，能夠通過藉助參照根據各個獨立的不同細胞特徵精選可能是靶細胞的圖像候補項來判定是否包括靶細胞。
[0021]根據[2]中描述的本發明，能夠藉助參照根據目標細胞的狀態通過精選可能是靶細胞的圖像候補項來判定靶細胞。
[0022]根據[3]中描述的本發明，能夠藉助參照設定值根據包括在樣本中的有核細胞的特徵通過精選可能是靶細胞的圖像候補項來設定靶細胞。
[0023]根據[4]中描述的本發明，能夠藉助參照設定值根據包括在樣本中的無核細胞的特徵通過精選可能是靶細胞的圖像候補項來設定靶細胞。
[0024]根據[5]中描述的本發明，能夠基於預先學習的參照來判定靶細胞是否包括在可能是靶細胞的圖像候補項中。
[0025]根據[6]中描述的本發明，能夠藉助根據獨立的參照通過精選可能是有核紅細胞的圖像候補項來設定有核紅細胞。

【專利附圖】

【附圖說明】
[0026]圖1是示出根據此實施方式的圖像處理系統的系統構造實施例的圖。
[0027]圖2是圖像處理裝置的功能框圖。
[0028]圖3是示出核候補區域與細胞候補區域的例子的圖。
[0029]圖4A是示出處於孤立狀態的細胞的例子的圖。
[0030]圖4B是示出處於密集狀態的細胞的例子的圖。
[0031]圖5A是示出有核細胞的例子的圖。
[0032]圖5B是示出無核細胞的例子的圖。
[0033]圖6是示出形態特徵量的計算例子的圖。
[0034]圖7是示出形態特徵量的計算例子的圖。
[0035]圖8是示出形態特徵量的計算例子的圖。
[0036]圖9是進行靶細胞檢測的流程圖。
[0037]圖10是形態特徵量的存儲處理的流程圖。
[0038]圖11是靶細胞條件的設定處理的流程圖。
[0039]圖12是靶細胞的檢測候補項判定處理的流程圖。
[0040]圖13是靶細胞的識別處理的流程圖。

【具體實施方式】
[0041]下文中將參照附圖描述用於實施本發明的一種模式(下文中稱作實施方式)。
[0042]圖1示出了根據此實施方式的圖像處理系統1的系統構造實施例。如圖1中所示，圖像處理系統1包括光學顯微鏡10、圖像處理裝置20、輸入裝置50以及顯示裝置60。圖像處理裝置20與光學顯微鏡10、輸入裝置50以及顯示裝置60連接以執行數據通信。
[0043]光學顯微鏡10藉助CCD攝像機14通過諸如物鏡12之類的光學系統對放置在樣本臺上的載玻片11上的樣本進行成像。光學顯微鏡10包括改變載玻片11與物鏡12之間的距離的調焦機構13，從而以多個不同的焦距對載玻片11上的樣本進行成像。在此實施方式中，就樣本而言，使用這樣的樣本，其中母血被施加至載玻片11並進行吉染色法。源自母血中的胚胎的有核紅細胞(NRBC)染成紫藍色。下文中，NRBC被稱做靶細胞。
[0044]圖像處理裝置20獲取通過使用光學顯微鏡10對樣本進行成像獲得的拍攝圖像，並檢測所獲取的拍攝圖像中的靶細胞。此時，圖像處理裝置20在拍攝圖像中設定靶細胞的候補區域，從候補區域中排除所設定的候補區域之中不滿足靶細胞條件的候補區域，並且藉助識別單元處理餘留的候補區域。應注意的是，下文將描述在圖像處理裝置20中對靶細胞進行檢測處理的細節。
[0045]輸入裝置50是例如諸如鍵盤或滑鼠之類的裝置，並將接收的來自用戶的操作輸入至圖像處理裝置20。例如，圖像處理裝置20可在顯示在顯示裝置60上的圖像中獲取用戶通過輸入裝置50指定的圖像區的信息，作為用於學習靶細胞或其它特定細胞的正例與負例的圖像特徵的學習信息。
[0046]顯示裝置60例如是液晶顯示器等，並且基於圖像處理裝置20處理的結果顯示屏幕。例如，在顯示裝置60上顯示由光學顯微鏡10成像的拍攝圖像以及圖像處理裝置20的靶細胞檢測結果等。
[0047]接著將描述根據此實施方式的圖像處理裝置20的功能。
[0048]圖2是圖像處理裝置20的功能框圖。如圖2中所示，圖像處理裝置20包括拍攝圖像獲取單元21、核候補區域抽取單元22、細胞候補區域設定單元23、選擇條件設定單元24、外圍細胞抽取單元25、細胞狀態判定單元26、細胞類型判定單元27、特徵抽取細胞選擇單元28、形態特徵量計算單元29、革E細胞條件設定單元30、候補項判定單元31、識別特徵量計算單元32、革E細胞識別單元33、檢測結果產生單元34以及顯示控制單元35。
[0049]在包括諸如CPU之類的控制裝置、諸如存儲器之類的存儲裝置、用於向外部裝置傳輸數據以及從外部裝置接收數據的輸入/輸出裝置等的計算機讀取並執行存儲在計算機可讀信息記錄介質中的程序的情況下，可實現圖像處理裝置20中各個單元的功能。應注意的是，可藉助諸如光碟、磁碟、磁光碟或閃速存儲器之類的信息記錄介質將程序提供至作為計算機的圖像處理裝置20，或者可通過諸如網際網路之類的數據通訊網將程序提供至圖像處理裝置20。
[0050]拍攝圖像獲取單元21從光學顯微鏡10獲取通過利用光學顯微鏡10中的(XD攝像機14對樣本進行成像獲得的拍攝圖像。應注意的是，由拍攝圖像獲取單元21獲取的圖像可藉助顯示控制單元35顯示在顯示裝置60上。
[0051]核候補區域抽取單元22在由拍攝圖像獲取單元21獲取的每個拍攝圖像中基於具有顏色(RGB值)或預定範圍內的濃度的像素抽取核的候補區域。例如，核候補區域抽取單元22可根據顏色(或者濃度)的預定的閾值來二值化拍攝圖像中的像素，具體地說，可抽取顏色(或者濃度)比閾值深(或等於、或大於閾值)的像素作為黑色像素。核候補區域抽取單元22可通過連接從由拍攝圖像獲取單元21獲取的每個圖像抽取的像素計算多個組(像素組)，並且可設定外切每個組的長方體區域作為核候補區域。
[0052]細胞候補區域設定單元23基於由核候補區域抽取單元22抽取的核候補區域在由拍攝圖像獲取單元21獲取的拍攝圖像內將細胞候補區域設定為靶細胞的可能候補項。下文將描述由細胞候補區域設定單元23進行的處理的具體實施例。
[0053]細胞候補區域設定單元23基於由核候補區域抽取單元22抽取的核候補區域在載玻片表面上的投影尺寸以及預定的關係表達式來估計細胞尺寸的可能範圍。例如，細胞候補區域設定單元23可基於有核紅細胞中核與細胞尺寸之間的關係表達式來估計位於載玻片表面上的有核紅細胞的可能範圍(例如矩形區域)。具體地說，細胞候補區域設定單元23將在估計的範圍中的以核候補區域中的一個點為中心的矩形區設定為細胞存在區。
[0054]細胞候補區域設定單元23基於由核候補區域抽取單元22抽取的核候補區域以及位於載玻片表面上的估計細胞存在區域來設定可能包括靶細胞的細胞候補區域。
[0055]圖3示出了由核候補區域抽取單元22抽取的核候補區域以及由細胞候補區域設定單元23設定的細胞候補區域的一個例子。在圖3中，外切黑像素組的矩形是核候補區域，並且設置在核候補區域外部的矩形區是細胞候補區域。
[0056]選擇條件設定單元24設定待被抽取並選擇成細胞候補區域的外圍細胞的細胞的條件。例如，選擇條件設定單元24可設定居中在感興趣的細胞候補區域上的外圍細胞的抽取區域。外圍細胞的抽取區域可以是整個拍攝圖像，或者可以是居中在感興趣的細胞候補區域上的位於指定距離的範圍。選擇條件設定單元24可指定待從外圍細胞的抽取區域抽取的細胞之中選擇細胞的條件。例如，可通過指定至少一種類型的細胞以及細胞的狀態來限定細胞的條件。應注意的是，細胞類型可以是有核細胞與無核細胞中的一者，並且細胞狀態可以是其它細胞抵接在周圍的密集狀態與無其它細胞抵接的孤立狀態中的一者。選擇條件設定單元24可基於接收的來自輸入裝置的信息設定區段條件。
[0057]外圍細胞抽取單元25對於感興趣的細胞候補區域從包括在來自由選擇條件設定單元24設定的外圍細胞抽取區域的抽取區域中抽取多個圖像區域(細胞區域)。例如，夕卜圍細胞抽取單元25可進行包括在外圍細胞的抽取區域中的圖像中的輪廓檢測，並且可基於檢測的輪廓抽取每個細胞區域。外圍細胞抽取單元25可抽取檢測輪廓或者圍繞所述輪廓的矩形區域作為細胞區域，或者在輪廓還包括在所述輪廓內部的情況下，可基於最外部的輪廓來抽取細胞區域。
[0058]細胞狀態判定單元26基於由外圍細胞抽取單元25抽取的細胞區域來判定包括在細胞區域中的細胞的狀態。例如，細胞狀態判定單元26可計算包括在細胞區域中的細胞的圓度(曲率)，當計算的圓度等於或大於閾值時(即，當形狀接近圓形時)可判定細胞處於孤立狀態，否則可判定細胞處於密集狀態。應注意的是，圖4A與圖4B示出處於孤立狀態與處於密集狀態的細胞的例子。圖4A示出處於孤立狀態的細胞的例子，並且圖4B示出處於密集狀態的細胞的例子。
[0059]細胞類型判定單元27基於由外圍細胞抽取單元25抽取的細胞區域來判定包括在細胞區域中的細胞的類型。例如，當核候補區域被包括在細胞區域中時，細胞類型判定單元27可判定細胞是有核細胞，否則可判定細胞是無核細胞；或者當在細胞區域中檢測到輪廓時，可判定細胞是有核細胞，否則可判定細胞是無核細胞。應注意的是，圖5A與圖5B示出了有核細胞與無核細胞的例子。圖5A示出了有核細胞的例子，並且圖5B示出了無核細胞的例子。
[0060]特徵抽取細胞選擇單元28在由外圍細胞抽取單元25抽取的細胞區域中選擇滿足由選擇條件設定單元24設定的選擇條件的細胞區域。例如，特徵抽取細胞選擇單元28從由外圍細胞抽取單元25抽取的細胞區域中選擇這樣的細胞區域:對於該細胞區域，由細胞狀態判定單元26與細胞類型判定單元27判定的細胞狀態與細胞類型滿足由選擇條件設定單元24設定的條件，並且特徵抽取細胞選擇單元28向形態特徵量計算單元29輸出所選擇的細胞區域。應注意的是，當細胞的條件不被選擇條件設定單元24指定時，所抽取的細胞區域可與其細胞類型和細胞狀態的信息一起輸出至形態特徵量計算單元29。
[0061]形態特徵量計算單元29計算由特徵抽取細胞選擇單元28選擇的細胞區域的形態特徵量。例如，形態特徵量計算單元29可根據通過乘以常數而上下及左右擴展由特徵抽取細胞選擇單元28輸入的細胞區域獲得的區域計算形態特徵量。就形態特徵量而言，可使用包括在細胞區域中的核的面積(A)、包括在細胞區域中的細胞的面積(B)以及核與細胞之間的面積比例(A/B)中的一者。應注意，核的面積可計算成包括在細胞區域中的核候補區域的面積(或者從細胞區域的內部檢測的輪廓中的面積)，並且細胞的面積可計算成包括在細胞區域的輪廓中的面積。形態特徵量計算單元29將從滿足條件的細胞區域獲得的形態特徵量輸出至用於細胞的每種條件(例如細胞類型與細胞狀態的組合)的靶細胞條件設定單元30。
[0062]圖6至圖8是示出形態特徵量的計算例子的圖。圖6中，如果虛線部分是細胞區域A，那麼由通過乘以常數倍而上下及左右擴展細胞區域獲得的區域B計算形態特徵量。此時，如圖7中所示，可由如下區域計算細胞的面積:輪廓構成從設定區域B的內部檢測的輪廓中的最外部的輪廓中的封閉區。如圖8中所示，設定在細胞中的矩形區的面積(細胞面積)與設定在核區域中的矩形區的面積(核面積)之間的比例可計算成細胞與核之間的面積比。
[0063]靶細胞條件設定單元30基於由形態特徵量計算單元29計算的細胞區域的形態特徵量設定從包括靶細胞的圖像區域獲得的形態特徵量滿足的條件。例如，靶細胞條件設定單元30基於細胞的條件以及從滿足條件的細胞區域獲得的形態特徵量以下文的方式設定從包括靶細胞的圖像區域獲得的形態特徵量滿足的條件(具體地說，下文的第一靶細胞條件至第四靶細胞條件)。
[0064]首先要描述第一靶細胞條件。在細胞的條件被指定成細胞的類型是有核細胞並且細胞的狀態是孤立狀態的情況下，靶細胞條件設定單元30計算從滿足條件的細胞區域獲得的形態特徵量的平均值(或者中位數等)C1，並且對於從靶細胞的圖像區域計算的形態特徵量X，將X<C1設定為第一靶細胞條件。這基於小於白細胞(有核細胞而非有核紅細胞)的有核紅細胞的尺寸。
[0065]接著要描述第二靶細胞條件。在細胞的條件被指定成細胞的類型是有核細胞並且細胞的狀態是密集狀態的情況下，靶細胞條件設定單元30計算從滿足條件的細胞區域獲得的形態特徵量的平均值(或者中位數等)C2，並且對於從靶細胞的圖像區域計算的形態特徵量X，將X<C2設定為第二靶細胞條件。這基於小於白細胞(有核細胞而非有核紅細胞)的有核紅細胞的尺寸。
[0066]接著要描述第三靶細胞條件。在細胞的條件被指定成細胞的類型是無核細胞並且細胞的狀態是孤立狀態的情況下，靶細胞條件設定單元30計算從滿足條件的細胞區域獲得的形態特徵量的平均值(或者中位數等)C3，設定C3ft/>< C3 < 的這樣的範圍，並且對於從靶細胞的圖像區計算的形態特徵量X，將X ( 設定為第三靶細胞條件。這基於有核紅細胞的關於無核細胞計算的平均尺寸。應注意，C3則、的此範圍可限定成具有屬於此範圍的預定比率的細胞區域。
[0067]接著要描述第四靶細胞條件。在細胞的條件被指定成細胞的類型是無核細胞並且細胞的狀態是密集狀態的情況下，靶細胞條件設定單元30計算從滿足條件的細胞區域獲得的形態特徵量的平均值(或者中位數等)C4，設定C4ft/>< C4 C4?*設定為第四靶細胞條件。這基於有核紅細胞的關於無核細胞計算的平均尺寸。應注意，C4則、<C4<C4ft大的此範圍可限定成具有屬於此範圍的預定比率的細胞區域。
[0068]候補項判定單元31基於細胞候補區域的形態特徵量以及由革E1細胞條件設定單元30設定的靶細胞條件判定是否是用於檢測來自由細胞候補區域設定單元23設定的細胞候補區域的靶細胞的候補項。例如，候補項判定單元31可基於細胞候補區域的狀態(孤立狀態或密集狀態)選擇細胞條件，並且可基於所選的靶細胞條件以及細胞候補區域的形態特徵量判定是否是用於檢測靶細胞的候補項。具體地說，當細胞候補區域的狀態是孤立狀態時，候補項判定單元31可選擇第一或第三靶細胞條件，並且在符合一個或兩個所選靶細胞條件的情況下，可判定細胞候補區域作為用於檢測靶細胞的候補項。當細胞候補區域的狀態是密集狀態時，候補項判定單元31可選擇第二或第四靶細胞條件，並且在符合一個或兩個所選靶細胞條件的情況下，可判定細胞候補區域作為用於檢測靶細胞的候補項。
[0069]識別特徵量計算單元32將由候補項判定單元31設定成革E細胞的檢測目標的細胞候補區域放大或減小至指定的圖像尺寸，然後計算細胞候補區域中的識別特徵量。識別特徵量是藉助靶細胞識別單元33學習以及識別(用於學習處理以及識別處理)用的圖像特徵量，並且例如可使用HOG特徵量。例如，可按如下方式計算HOG特徵量。首先，目標圖像劃分成各自具有A細胞的B塊，從亮度梯度方向以及每個塊的各自的細胞的圖像的平面(X方向與Y方向)中的亮度梯度密度獲得亮度梯度方向直方圖([第一梯度方向的值、第二梯度方向的值——第N梯度方向的值])，並且根據塊進行準化使得亮度梯度方向直方圖的平方均值成為1。此後，設定通過結合塊中的標準化的亮度梯度方向直方圖得到的ΑχΝ值作為塊的特徵量，並且設定通過結合目標圖像中的所有塊得到的ΑχΒχΝ值作為目標圖像的HOG特徵量。應注意，識別特徵量與形態特徵量可構成不同的特徵量，或者可構造成相同的特徵量。
[0070]識別特徵量計算單元32計算輸入的拍攝圖像中的識別特徵量，然後將計算的識別特徵量輸出至靶細胞識別單元33。
[0071]靶細胞識別單元33基於在由候補項判定單元31設定成用於檢測靶細胞的目標的細胞候補區域中計算的識別特徵量以及提前學習的學習參數識別包括在細胞候補區域中的細胞是否是靶細胞。應注意，可按如下方式進行靶細胞識別單元33中的學習處理。
[0072]靶細胞識別單元33接收圖像區域的指定以用於由拍攝圖像獲取單元21獲得的圖像中的學習處理。可通過輸入裝置50進行圖像區域的指定。例如，當在靶細胞(有核紅細胞)與其它圖像之間進行學習識別時，靶細胞識別單元33接收作為正例的具有拍攝圖像中的靶細胞的圖像區域以及作為負例的不帶有靶細胞的圖像區域。然後，靶細胞識別單元33基於由識別特徵量計算單元32計算的識別特徵量為正例與負例的圖像區域產生學習參數。
[0073]檢測結果產生單元34基於靶細胞識別單元33的處理結果產生包括檢測成靶細胞的細胞候補區域以及圖像區域的坐標信息的圖像區域。用於控制光學顯微鏡10的控制信號可輸出至光學顯微鏡10，使得光學顯微鏡10的成像範圍移動至由檢測結果產生單元34產生的坐標。
[0074]顯示控制單元35將用於顯示圖像區域以及由檢測結果產生單元34產生的坐標的顯示控制信息輸出至顯示裝置60。藉助此操作，在顯示裝置60上顯示待檢測成靶細胞的圖像區以及該圖像區域的坐標。
[0075]接著，將參照圖9至圖13所示的流程圖描述圖像處理裝置20中的處理流程。
[0076][靶細胞的檢測處理的總流程]
[0077]首先，將參照圖9中所示的流程圖描述用於檢測靶細胞的處理流程。
[0078]如圖9中所示，圖像處理裝置20獲取待處理的拍攝圖像(S101)，並在所獲取的每個拍攝圖像上進行二值化處理。接著，圖像處理裝置20在二值化處理後的拍攝圖像中抽取可能是靶細胞的核的核候補區域(S102)，並基於設定的核候補區域設定細胞候補區域(S103)。
[0079]圖像處理裝置20選擇1-th細胞候補區域Ai (其中變量i的初值是1) (S104)，並抽取細胞候補區域Ai的外圍細胞(細胞區域)(S105)。
[0080]圖像處理裝置20選擇j-th外圍細胞Bj (變量j的初值是1) (S106)，並且當所選的外圍細胞Bj滿足細胞的限定選擇條件(S107:Y)時，計算外圍細胞Bj的形態特徵量，並將該形態特徵量存儲為Ck (變量k的初值是1) (S108)。細胞的選擇條件可由細胞類型(有核細胞或無核細胞)與細胞狀態(密集狀態或孤立狀態)指定。下文將描述S108的處理細節。
[0081]當變量k等於或小於預定閾值N(S109:Y)時，圖像處理裝置20增大k(S110)。在S110之後或在S107中，當外圍細胞Bj不滿足細胞的限定選擇條件(S107:Y)時，圖像處理裝置20判定是否存在未處理的外圍細胞(S111)。當存在未處理的外圍細胞(S111:Υ)時，j增大(S112)，並且處理返回至S106。
[0082]在S109中，當變量k不等於或不小於預定閾值N(S109:Y)時，或者在Sill中，當不存在未處理的外圍細胞(sill:Y)時，圖像處理裝置20基於存儲的形態特徵量Ck設定關於靶細胞的形態特徵量的條件(靶細胞條件)(S113)。下文將描述S113的處理細節。
[0083]圖像處理裝置20計算細胞候補區域Ai的形態特徵量，並且當基於計算的形態特徵量判定細胞候補區域Ai符合目標細胞條件(S114:Y)時，執行識別處理，從而識別靶細胞是否被包括在細胞候補區域Ai中(S115)。下文將描述S115的處理細節。
[0084]在S115之後或在S114中，當判定細胞候補區域Ai不符合目標細胞條件(S114:Y)時，圖像處理裝置20判定是否存在未處理的細胞候補區域(S116)。當判定存在未處理的細胞候補區域(S116:Y)時，i增大(S117)，並且處理返回至S104。當判定不存在未處理的細胞候補區域(S116:Y)時，處理終止。應注意，在判定不存在未處理的細胞候補區域(S116:Υ)後，被被定為包括靶細胞的圖像區域可顯示在顯示裝置上。
[0085][形態特徵量的存儲處理]
[0086]接著，將參照圖10中的流程圖描述有關圖9的S108的處理細節。
[0087]如圖10中所示，圖像處理裝置20基於細胞類型判定單元27的判定結果獲取外圍細胞Bj的細胞類型(S201)，並且基於細胞狀態判定單元26的判定結果獲取外圍細胞Bj的細胞狀態(S202)。
[0088]接著，當外圍細胞Bj的細胞類型是有核細胞(S203:Y)並且外圍細胞Bj的細胞狀態是孤立狀態(S204:Y)時，圖像處理裝置20將Bj的形態特徵量存儲為有核並且孤立的形態特徵量(S205)，並執行返回操作。
[0089]當外圍細胞Bj的細胞類型是有核細胞(S203:Y)並且外圍細胞Bj的細胞狀態是密集狀態(不是孤立狀態)(S204:Y)時，圖像處理裝置20將Bj的形態特徵量存儲為有核並且密集的形態特徵量(S206)，並執行返回操作。
[0090]當外圍細胞Bj的細胞類型不是有核細胞(S203:Y)並且外圍細胞Bj的細胞狀態是孤立狀態(S207:Y)時，圖像處理裝置20將Bj的形態特徵量存儲為無核並且孤立的形態特徵量(S208)，並執行返回操作。
[0091]當外圍細胞Bj的細胞類型不是有核細胞(S203:Y)並且外圍細胞Bj的細胞狀態是密集狀態(不是孤立狀態)(S207:Y)時，圖像處理裝置20將Bj的形態特徵量存儲成無核並且密集的形態特徵量(S209)，並執行返回操作。
[0092][靶細胞條件的設定處理]
[0093]接著，將參照圖11中所示的流程圖描述有關圖9的S113的處理細節。
[0094]如圖11中所示，圖像處理裝置20在存儲的外圍細胞的形態特徵量中獲取一組有核並且孤立的形態特徵量G1 (S301)，並計算所獲取的組G1的要素的平均值C1 (或中位數)(S302)。就有核紅細胞(靶細胞)的形態特徵量X而言，圖像處理裝置20設定X < C1作為處於孤立狀態的靶細胞的形態特徵量滿足的條件(S303)。
[0095]接著，圖像處理裝置20在存儲的外圍細胞的形態特徵量中獲取一組有核並且密集的形態特徵量G2 (S304)，並計算所獲取的組G2的要素的平均值C2 (或中位數)(S305)。就有核紅細胞(靶細胞)的形態特徵量X而言，圖像處理裝置20設定X < C2作為處於密集狀態的靶細胞的形態特徵量滿足的條件(S306)。
[0096]圖像處理裝置20在存儲的外圍細胞的形態特徵量中獲取一組無核並且孤立的形態特徵量G3 (S307)，並計算包括所獲取的組G3的要素的平均值C3 (或中位數)的範圍[C34小，C3最* ] (S308)。就有核紅細胞(靶細胞)的形態特徵量X而言，圖像處理裝置20設定C34/> ^ X ( C34^作為處於孤立狀態的靶細胞的形態特徵量滿足的條件(S309)。
[0097]圖像處理裝置20在存儲的外圍細胞的形態特徵量中獲取一組無核並且孤立的形態特徵量G4 (S310)，並計算包括所獲取的組G4的要素的平均值C4 (或中位數)的範圍[C44小，C4最* ] (S311)。就有核紅細胞(靶細胞)的形態特徵量X而言，圖像處理裝置20設定C44/> 作為處於孤立狀態的靶細胞的形態特徵量滿足的條件(S312)，並執行返回操作。在上述流程中，儘管已經描繪了這樣的例子:其中設定對於有核與無核的細胞類型以及孤立與密集的細胞狀態的所有組合的靶細胞條件，但是可設定對於至少一種組合的靶細胞條件或者對於有核或無核的孤立與密集的細胞狀態的靶細胞條件。
[0098][靶細胞的檢測候補項判定處理]
[0099]接著，將參照圖12中的流程圖描述有關圖9的S114的處理細節。
[0100]如圖12中所示，當使用用於有核細胞的靶細胞條件(S401:Y)時，圖像處理裝置20執行如下處理。
[0101 ] 圖像處理裝置20計算細胞候補區域Ai的形態特徵量Xi (S402)，並基於細胞狀態判定單元26的判定結果獲取細胞候補區域Ai的細胞狀態(S403)。
[0102]當細胞候補區域Ai的細胞狀態是孤立狀態(S404:Y)時，圖像處理裝置20判定Xi是否小於等於Cl (S405)，當Xi小於等於Cl (S405:Y)時，將細胞候補區域Ai設定為有核紅細胞(革巴細胞)的候補區域(S406)，當Xi大於Cl (S405:N)時，從有核紅細胞(革巴細胞)的候補區域排除細胞候補區域Ai (S407)，並執行返回操作。
[0103]當細胞候補區域Ai的細胞狀態是密集狀態(不是孤立狀態)(S404:Y)時，圖像處理裝置20判定Xi是否小於等於C2 (S408)，當Xi小於等於C2 (S408:Y)時，設定細胞候補區域Ai作為有核紅細胞(革巴細胞)的候補區域(S406)，當Xi大於C2 (S408:N)時，從有核紅細胞(靶細胞)的候補區域排除細胞候補區域Ai(S407)，並執行返回操作。
[0104]當不使用用於有核細胞的靶細胞條件時，圖像處理裝置20執行如下處理。
[0105]圖像處理裝置20計算細胞候補區域Ai的形態特徵量Xi (S409)，並基於細胞狀態判定單元26的判定結果獲取細胞候補區域Ai的細胞狀態(S410)。
[0106]當細胞候補區域Ai的細胞狀態是孤立狀態(S411:Y)時，圖像處理裝置20判定Xi是否大於等於C3最小並且小於等於(S412)。當Xi大於等於C3最小並且小於等於C3最大(S412:Y)時，設定細胞候補區域Ai作為有核紅細胞(靶細胞)的候補區域(S413) ?當Xi不大於等於C3.、並且小於等於(S412:N)時，從有核紅細胞(靶細胞)的候補區域排除細胞候補區域Ai (S414)，並執行返回操作。
[0107]當細胞候補區域Ai的細胞狀態是密集狀態(不是孤立狀態)(S411:N)時，圖像處理裝置20判定Xi是否大於等於C4?小並且小於等於C4?t (S415)。當Xi大於等於C4最小並且小於等於(S415:Y)時，設定細胞候補區域Ai作為有核紅細胞(靶細胞)的候補區域(S413)。當Xi不大於等於C4最小並且小於等於(:4最力(S415:N)時，從有核紅細胞(靶細胞)的候補區域排除細胞候補區域Ai (S414)，並執行返回操作。
[0108][靶細胞的識別處理]
[0109]接著，將參照圖13中所示的流程圖描述有關圖9的S115的細節。
[0110]如圖13中所示，圖像處理裝置20獲取滿足靶細胞條件的細胞候補區域Ai的圖像(S501)，並基於所獲取的圖像計算細胞候補區域Ai的圖像特徵量(識別特徵量)(S502)。基於S502中計算的圖像特徵量藉助預先學習的識別單元判定革E1細胞是否被包括在細胞候補區域Ai中，當包括靶細胞(S503:Y)時，存儲細胞候補區域Ai的坐標與尺寸(S504)，並執行返回操作。當不包括靶細胞(S503:N)時，執行返回操作。
[0111]根據上述圖像處理系統1，基於細胞候補區域周圍的細胞設定根據獨立的靶細胞的參照，並基於設定的參照精選可能是靶細胞的圖像候補項，藉此相比未進行精選的情況，改善了靶細胞的判定精度。
[0112]本發明不限於上述實施方式。例如，可藉助靶細胞識別單元33來判定各個細胞候補區域是否是靶細胞，因此，可藉助候補項判定單元31來判定被判定成靶細胞的細胞候補區域是否是靶細胞的候補項。可判定靶細胞被包括在藉助候補項判定單元31判定成的靶細胞的候補項的細胞候補區域中。可在不依賴細胞狀態的情況下生成靶細胞條件。靶細胞不限於NRBC，並且可使用其它細胞作為靶細胞。
[0113]工業應用
[0114]根據本發明的圖像處理裝置、圖像處理方法、計算機可讀介質以及圖像處理系統對於機械檢測諸如NRBC之類的細胞是有用的。
[0115]儘管已經詳細地或參照【具體實施方式】描述了本發明，但是本領域的技術人員理解:在不脫離本發明的宗旨與範圍的情況下可增加多種變更與變型。
[0116]本申請基於2012年8月23日提出的日本專利申請2012-184106號公報，通過援引該專利申請的內容被合併於此。
[0117]附圖標記列表
[0118]1:圖像處理系統
[0119]10:光學顯微鏡
[0120]11:載玻片
[0121]12:物鏡
[0122]13:調焦機構
[0123]14:CCD 攝像機
[0124]20:圖像處理裝置
[0125]21:拍攝圖像獲取單元
[0126]22:核候補區域抽取單元
[0127]23:細胞候補區域設定單元
[0128]24:選擇條件設定單元
[0129]25:外圍細胞抽取單元
[0130]26:細胞狀態判定單元
[0131]27:細胞類型判定單元
[0132]28:特徵抽取細胞選擇單元
[0133]29:形態特徵量計算單元
[0134]30:靶細胞條件設定單元
[0135]31:候補項判定單元
[0136]32:識別特徵量計算單元
[0137]33:靶細胞識別單元
[0138]34:檢測結果產生單元
[0139]35:顯示控制單元
[0140]50:輸入裝置
[0141]60:顯示裝置
【權利要求】
1.一種圖像處理裝置，該圖像處理裝置包括: 獲取單元，該獲取單元獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像； 設定單元，該設定單元在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域； 抽取單元，該抽取單元從包括不同於所述目標區域的區域的外圍區域抽取多個細胞區域； 範圍設定單元，該範圍設定單元基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及 判定單元，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
2.根據權利要求1所述的圖像處理裝置，該圖像處理裝置還包括: 狀態判定單元，該狀態判定單元判定被包括在由所述抽取單元抽取的各個細胞區域中的細胞處於密集狀態還是處於孤立狀態， 其中，所述範圍設定單元針對由所述狀態判定單元判定的各細胞狀態來設定所述靶細胞的特徵量的範圍，並且 在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元針對被包括在所述目標區域中的所述細胞的所述狀態而設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
3.根據權利要求1或2所述的圖像處理裝置， 其中，所述特徵量是細胞面積、核面積以及細胞與核的面積比中的至少一者， 所述抽取單元從所述外圍區域抽取多個細胞區域，所述多個細胞區域均包括有核細胞，並且 所述範圍設定單元將小於等於閾值的範圍設定為所述靶細胞的所述特徵量的範圍，所述閾值設定在從所述多個細胞區域中的每個細胞區域獲得的所述特徵量的範圍內。
4.根據權利要求1或2所述的圖像處理裝置， 其中，所述特徵量是細胞面積、核面積以及細胞與核的面積比中的至少一者， 所述抽取單元從所述外圍區域抽取多個細胞區域，所述多個細胞區域均包括無核細胞，並且 所述範圍設定單元將夾有從所述多個細胞區域中的每個細胞區域獲得的所述特徵量的平均值或中位數的範圍設定為所述靶細胞的所述特徵量的範圍。
5.根據權利要求1至4中任一項所述的圖像處理裝置，該圖像處理裝置還包括: 學習單元，該學習單元基於分別對應於所述靶細胞的正例與負例的樣本圖像來機械地學習用於識別所述靶細胞的識別條件， 其中，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元基於所述識別條件來判定所述靶細胞是否被包括在所述目標區域中。
6.根據權利要求1至5中任一項所述的圖像處理裝置， 其中，所述靶細胞是具有核的有核紅細胞， 所述圖像處理裝置還包括區域抽取單元，該區域抽取單元基於所述核的顏色與濃度中的至少一者從所述多個拍攝圖像抽取作為所述核的候補的核候補區域，並且 所述設定單元基於所述核候補區域以及所述靶細胞的可能尺寸的範圍來設定所述目標區域。
7.—種使計算機發揮如下功能的程序: 獲取單元，該獲取單元獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像； 設定單元，該設定單元在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域； 抽取單元，該抽取單元從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞； 範圍設定單元，該範圍設定單元基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及 判定單元，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
8.一種使計算機執行處理的圖像處理方法，所述處理包括: 獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像； 在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域； 從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞； 基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及 在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，判定所述靶細胞是否被包括在所述目標區域中。
9.一種存儲有使計算機執行用於圖像處理的處理的程序的非瞬時性計算機可讀介質，所述處理包括: 獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像； 在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域； 從包括除所述目標區域之外的區域的外圍區域抽取多個細胞區域，所述多個細胞區域均包括細胞； 基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及 在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，判定所述靶細胞是否被包括在所述目標區域中。
10.一種圖像處理系統，該圖像處理系統包括: 圖像處理裝置； 光學顯微鏡，該光學顯微鏡連接至所述圖像處理裝置；以及 顯示裝置，該顯示裝置連接至所述圖像處理裝置， 其中，所述圖像處理裝置包括: 獲取單元，該獲取單元獲取通過對包括靶細胞的樣本進行成像獲得的拍攝圖像； 設定單元，該設定單元在所述拍攝圖像中設定用於檢測所述靶細胞的目標區域； 抽取單元，該抽取單元從包括不同於所述目標區域的區域的外圍區域抽取多個細胞區域，所述細胞區域均包括細胞； 範圍設定單元，該範圍設定單元基於從所述多個細胞區域中的每個細胞區域獲得的特徵量來設定所述靶細胞的特徵量的範圍；以及 判定單元，在從所述目標區域獲得的特徵量被包括在由所述範圍設定單元設定的所述特徵量的範圍中的情況下，所述判定單元判定所述靶細胞是否被包括在所述目標區域中。
【文檔編號】G01N21/27GK104487564SQ201380038139
【公開日】2015年4月1日 申請日期:2013年3月29日 優先權日:2012年8月23日
【發明者】尾崎良太, 加藤典司, 熊澤幸夫, 薄葉亮子 申請人:富士施樂株式會社