圖像處理裝置以及圖像處理方法

2023-09-16 07:11:55 5

專利名稱：圖像處理裝置以及圖像處理方法
技術領域：
本發明涉及從拍攝體腔內部得到的體腔內圖像檢測病變區域的圖像處理裝置以 及圖像處理方法。
背景技術：
近年來，作為拍攝被檢者的體腔內部的醫用設備，開發出了膠囊內窺鏡。膠囊內窺 鏡從口中被吞咽之後，一邊通過蠕動運動等在消化管內移動，一邊以預定的攝像速率拍攝 體腔內的圖像(體腔內圖像)並發送到體外接收機，最終排出到體外。所拍攝的體腔內圖像 的張數可以通過攝像速率(約2 4frame/sec) X膠囊內窺鏡的體內停留時間(約Shours =8X60X60sec)概略表示，從而成為數萬張以上的大量的張數。醫生等觀察者利用診斷 用工作站等確認這些發送到體外接收機中的大量的體腔內圖像，確定病變區域，因而需要 耗費很多時間。因此，強烈期望出現使體腔內圖像的觀察作業高效化的技術。作為解決這種問題的技術，例如公知有從體腔內圖像中檢測異常觀察結果區域 (病變區域)的技術。例如，在日本特開2005-192880號公報中，將體腔內圖像的各像素的 像素值或平均化的像素值映射到基於其顏色信息的特徵空間來進行聚類，將距離正常的粘 膜區域的聚類的歐幾裡德距離(Euclid)為預定值以上的數據檢測為病變區域。但是，在體腔內圖像中，顯現例如食道或胃、小腸、大腸等的內部。此處，顯現在體 腔內圖像中的小腸黏膜和大腸黏膜是通過黃色的消化液(膽汁)進行拍攝的，因此具有黃 色系的顏色。另一方面，顯現在體腔內圖像中的胃黏膜具有紅色系的顏色。因此，在日本特 開2005-192880號公報中所公開的方法中，有時不能適當地檢測以出血或發紅等為代表的 具有紅色的顏色特性的病變區域。例如，在胃黏膜等的具有紅色系的顏色的黏膜的情況下， 能夠得到紅色系的病變區域的數據作為在飽和度方向上偏離正常的黏膜區域的聚類的數 據，因此能夠良好檢測這些數據。但是，在小腸黏膜或大腸黏膜等具有黃色系的顏色的黏膜 的情況下，在在飽和度方向偏離正常的黏膜區域的聚類的數據中，不僅包括紅色系的病變 區域，還包括正常的黃色系的黏膜區域的數據。因此有時會將正常的黏膜區域錯誤檢測為 病變區域。

發明內容
本發明的一個方式涉及的圖像處理裝置的特徵在於具有圖像取得部，其取得拍 攝體腔內而得到的體腔內圖像；特徵量計算部，其計算與所述體腔內圖像中的像素或區域 對應的特徵量；活體組織提取部，其將所述特徵量符合預定基準的像素或區域作為活體組 織提取；判定基準生成部，其根據所述活體組織的所述特徵量，生成檢測對象的判定基準； 以及檢測部，其將符合所述判定基準的活體組織檢測為所述檢測對象。本發明的另一方式涉及的圖像處理裝置的特徵在於具有圖像取得部，其取得連 續拍攝體腔內而得到的一系列體腔內圖像；圖像提取部，其從所述一系列體腔內圖像中提 取一張以上的體腔內圖像；特徵量計算部，其計算與所述提取出的所述體腔內圖像中的像素或區域對應的特徵量；活體組織提取部，其從所述提取出的所述體腔內圖像中將所述特 徵量符合預定基準的像素或區域作為活體組織提取；判定基準生成部，其根據所述活體組 織的所述特徵量，生成檢測對象的判定基準；以及檢測部，其將符合所述判定基準的活體組 織檢測為所述檢測對象。本發明的另一方式涉及的圖像處理方法的特徵在於包括，取得拍攝體腔內而得到 的體腔內圖像，計算與所述體腔內圖像中的像素或區域對應的特徵量，將所述特徵量符合 預定基準的像素或區域作活體組織提取，根據所述活體組織的所述特徵量，生成檢測對象 的判定基準，將符合所述判定基準的活體組織檢測作為所述檢測對象。
一併參照附圖來閱讀如下的本發明的詳細說明，可進一步對如上所述內容以及本 發明的其他目的、特徵、優點和技術上及產業上的意義加深理解。


圖1是表示包含圖像處理裝置的圖像處理系統的整體結構的概要示意圖。圖2是說明實施方式1的圖像處理裝置的功能構成的框圖。圖3是表示實施方式1的圖像處理裝置進行的處理步驟的整體流程圖。圖4是表示顏色平面轉換處理的詳細處理步驟的流程圖。圖5是說明基於UV值的色調和飽和度的計算原理的示意圖。圖6是表示黏膜區域提取處理的詳細處理步驟的流程圖。圖7是表示圖5所示的色調範圍Hliange中的屬於黏膜區域和內容物區域的數據的 分布例的示意圖。圖8是表示實施方式1中的判定基準生成處理的詳細處理步驟的流程圖。圖9是說明飽和度方向的判定閾值的計算原理的說明圖。圖10是將所計算的飽和度方向的判定閾值的數據例曲線化的圖。圖11是說明色調方向的判定閾值的計算原理的說明圖。圖12是將所計算的色調方向的判定閾值的數據例曲線化的圖。圖13是表示病變區域檢測處理的詳細處理步驟的流程圖。圖14是表示病變區域的檢測結果的一個例子的示意圖。圖15是說明實施方式2的圖像處理裝置的功能構成的框圖。圖16是表示飽和度方向的判定閾值的判定基準表的數據結構例的圖。圖17是將圖16所示的飽和度方向的判定閾值的判定基準表曲線化的圖。圖18是表示色調方向的判定閾值的判定基準表的數據結構例的圖。圖19是將圖18所示的色調方向的判定閾值的判定基準表曲線化的圖。圖20是表示實施方式2的圖像處理裝置進行的處理步驟的整體流程圖。圖21是表示實施方式2中的判定基準生成處理的詳細處理步驟的流程圖。圖22是說明實施方式3的圖像處理裝置的功能構成的框圖。圖23是表示實施方式3的圖像處理裝置進行的處理步驟的整體流程圖。圖24是表示實施方式3中的判定基準生成處理的詳細處理步驟的流程圖。圖25是說明實施方式4的圖像處理裝置的功能構成的框圖。圖26是表示實施方式4的圖像處理裝置進行的處理步驟的整體流程圖。
具體實施例方式下面，參照附圖詳細說明本發明的優選實施方式。在本實施方式中，說明如下的圖 像處理裝置使用在消化管內移動的膠囊內窺鏡作為攝像機的一個例子，該圖像處理裝置 對膠囊內窺鏡一邊在被檢者的消化管內移動一邊連續拍攝的一系列體腔內圖像進行處理。 並且，本發明不限於該實施方式。另外，在各附圖的描述中對相同部分標以相同符號來表
7J\ ο
圖1是表示包含實施方式1的圖像處理裝置的圖像處理系統的整體結構的概要示 意圖。如圖1所示，圖像處理系統由膠囊內窺鏡3、接收裝置5和圖像處理裝置10等構成。 膠囊內窺鏡3對被檢者1內部的圖像(體腔內圖像)進行拍攝。接收裝置5接收從膠囊內 窺鏡3無線發送的體腔內圖像。圖像處理裝置10根據通過接收裝置5接收的體腔內圖像， 對通過膠囊內窺鏡3拍攝到的體腔內圖像進行處理並顯示。對於接收裝置5與圖像處理裝 置10之間的圖像數據的傳遞，例如可使用移動式的記錄介質(移動式記錄介質)7。膠囊內窺鏡3具備攝像功能和無線功能等，從被檢者1 口中被吞入而導入到被檢 者1內部，一邊在消化管內移動一邊依次拍攝體腔內圖像。然後，將拍攝到的體腔內圖像無 線發送到體外。此處，通過膠囊內窺鏡3拍攝的體腔內圖像是在圖像內的各像素位置上具 有與R(紅)、G(綠)、B(藍)的各波長分量對應的像素值(RGB值)的彩色圖像。接收裝置5具有分散配置在體表上的與被檢者1內的膠囊內窺鏡3的通過路徑對 應的位置上的接收用天線Al An。而且，接收裝置5經由各接收用天線Al An接收從 膠囊內窺鏡3無線發送來的圖像數據。該接收裝置5構成為能自由拆裝移動式記錄介質 7，將接收到的圖像數據依次保存在移動式記錄介質7內。這樣，由膠囊內窺鏡3對被檢者 1內部進行拍攝得到的一系列體腔內圖像就會通過接收裝置5按照時間序列的順序蓄積在 移動式記錄介質7內進行保存。圖像處理裝置10用於由醫生等觀察和診斷通過膠囊內窺鏡3拍攝的一系列體腔 內圖像，通過工作站或個人計算機等通用計算機來實現。該圖像處理裝置10構成為能自由 拆裝移動式記錄介質7，對保存在移動式記錄介質7內的一系列體腔內圖像進行處理，並按 照時間序列的順序依次在例如LCD或EL顯示器等顯示器上進行顯示。圖2是說明實施方式1的圖像處理裝置10的功能構成的框圖。在本實施方式中， 圖像處理裝置10具有圖像取得部11、輸入部12、顯示部13、記錄部14、運算部15以及控制 裝置各部分的控制部21。圖像取得部11取得通過膠囊內窺鏡3拍攝且通過接收裝置5保存在移動式記錄 介質7中的一系列體腔內圖像，例如以能自由拆裝的方式安裝移動式記錄介質7，讀出並取 得蓄積在所安裝的移動式記錄介質7內的體腔內圖像的圖像數據。該圖像取得部11例如 可通過與移動式記錄介質7的種類對應的讀寫裝置來實現。並且，通過膠囊內窺鏡3拍攝 的一系列體腔內圖像的取得並不限於使用移動 式記錄介質7的方法。例如可以構成為具備 硬碟以代替圖像取得部11，預先將通過膠囊內窺鏡3拍攝的一系列體腔內圖像保存在硬碟 內。或者還可以構成為另外設置伺服器以代替移動式記錄介質7，預先將一系列體腔內圖像 保存在該伺服器中。在這種情況下，通過用於與伺服器連接的通信裝置等來構成圖像取得 部11，經由該圖像取得部11與伺服器連接，從伺服器取得體腔內圖像。
輸入部12例如可通過鍵盤、滑鼠、觸摸面板、各種開關等實現，將與操作輸入對應 的操作信號輸出到控制部21。顯示部13可通過LCD、EL顯示器等顯示裝置來實現，通過控 制部21的控制來顯示包含體腔內圖像的顯示畫面在內的各種畫面。 記錄部14通過能更新記錄的快閃記憶體等ROM或RAM這樣的各種IC存儲器、內置的或 通過數據通信端子連接的硬碟、可讀寫的存儲卡或USB存儲器等移動式記錄介質及其讀取 裝置等來實現。在該記錄部14中，記錄有程序以及在該程序的執行中所使用的數據等，該 程序用於使圖像處理裝置10進行動作、實現該圖像處理裝置10具備的各種功能。另外，還 記錄有圖像處理程序141，其用於檢測體腔內圖像中的病變區域。運算部15可通過CPU等硬體來實現，對通過圖像取得部11取得的一系列體腔內 圖像進行處理，進行用於檢測顯現在各體腔內圖像中的病變區域的各種運算處理。在實施 方式1中，例如檢測出血或發紅等具有紅色的顏色特性的紅色系的病變區域。該運算部15 包括轉換部16、作為活體組織提取部的提取部17、判定基準生成部18和作為檢測部的病變 區域檢測部19。轉換部16將作為顏色要素的一例的色調和飽和度作為特徵量，將體腔內圖像轉 換為由色調和飽和度構成的顏色平面。提取部17從體腔內圖像提取活體組織區域的一例 即黏膜區域。判定基準生成部18根據通過提取部17提取的黏膜區域的色調和飽和度，生 成用於檢測病變區域的判定基準。在實施方式1中，生成用於檢測出血或發紅等紅色系的 病變區域的判定基準。該判定基準生成部18包括色調閾值計算部181和飽和度閾值計算 部182。色調閾值計算部181根據黏膜區域的色調和飽和度，計算色調方向的判定閾值。飽 和度閾值計算部182根據黏膜區域的色調和飽和度，計算飽和度方向的判定閾值。病變區 域檢測部19在通過轉換部16轉換後的顏色平面上，使用通過判定基準生成部18生成的判 定基準從體腔內圖像檢測病變區域。控制部21可通過CPU等硬體來實現。該控制部21根據從圖像取得部11輸入的 圖像數據和從輸入部12輸入的操作信號、記錄在記錄部14中的程序和數據等，對構成圖像 處理裝置10的各部分進行指示和數據的傳送等，統一控制圖像處理裝置10整體的動作。圖3是表示實施方式1的圖像處理裝置10進行的處理步驟的整體流程圖。此處 所說明的處理是通過由運算部15執行記錄在記錄部14中的圖像處理程序141來實現的。如圖3所示，首先由運算部15取得一系列的體腔內圖像(步驟al)。此處，運算 部15經由控制部21取得由圖像取得部11從移動式記錄介質7讀出的一系列體腔內圖像 的圖像數據。將所取得的各圖像的圖像數據與表示其時間序列順序的圖像編號一起記錄在 記錄部14中，由此成為能讀入任意圖像編號的圖像數據的狀態。此外，也可以構成為取得 記錄在移動式記錄介質7中的一系列體腔內圖像的圖像數據中的一部分，能夠適當選擇要 取得的體腔內圖像。接著，依次逐張讀出在步驟al中取得並記錄在記錄部14中的一系列體腔內圖像。 之後，將讀出的體腔內圖像作為處理對象，首先由轉換部16進行顏色平面轉換處理(步驟 a3)。接著，提取部17進行黏膜區域提取處理(步驟a5)。接著，判定基準生成部18進行判 定基準生成處理(步驟a7)。然後，病變區域檢測部19進行病變區域檢測處理(步驟a9)。之後，運算部15輸出針對處理對象的體腔內圖像的病變區域檢測結果(步驟 all)。如後所述，病變區域檢測部19生成表示病變區域的標籤數據。運算部15例如根據該標籤數據將從處理對象的體腔內圖像檢測出的病變區域圖像化等，經由控制部21輸出 到顯示部13上進行顯示。接著，運算部15判定是否將在步驟al中取得的所有體腔內圖像作為處理對象而 進行了步驟a3 步驟all的處理，如果存在未處理的體腔內圖像(步驟al3 否)，則將處 理對象的體腔內圖像變更為未處理的體腔內圖像並返回到步驟a3，進行上述處理。另一方 面，在處理了所有體腔內圖像的情況下(步驟al3 是)，結束圖像處理裝置10的運算部15 中的處理。此外，此處，對取得由多個體腔內圖像構成的一系列的體腔內圖像並從各體腔內 圖像分別檢測病變區域的情況進行了說明，但是在步驟al中取得的體腔內圖像也可以是1 張，也可以從所取得的1張體腔內圖像檢測病變區域。接著，依次對圖3的步驟a3 步驟a9的處理進行說明。此外，以下，將在各處理 中為處理對象的體腔內圖像稱作「處理對象圖像」。首先，針對在圖3的步驟a3中由轉換部 16進行的顏色平面轉換處理進行說明。圖4是表示顏色平面轉換處理的詳細處理步驟的流 程圖。如圖4所示，在顏色平面轉換處理中，轉換部16首先將構成處理對象圖像的各像 素的RGB值轉換為色差信號即UV值(步驟bl)。例如依照下式(1)、(2)進行RGB值向UV 值的轉換。U = -0. 168 X R-0. 331XG+0. 500 X B (1)V = O. 500 X R-0. 418XG+0. 081 XB (2)此處，如式(1)、(2)所示，UV值具有如下的特性。即，U值是表示藍色的色差信號， 其值越大則藍色越強。另一方面，V值是表示紅色的色差信號，其值越大則紅色越強。此外，膠囊內窺鏡3對數萬張以上這樣大量的圖像張數的體腔內圖像進行拍攝。 因此，通常通過JPEG或MPEG等壓縮編碼方式壓縮體腔內圖像並進行記錄。在這些壓縮編 碼方式中，作為編碼處理，進行將圖像的RGB值轉換為由亮度信號⑴和色差信號(UV)構 成的YUV值的處理。並且，在將所記錄的編碼數據圖像化從而得到RGB值時的解碼處理中， 進行與編碼處理相反的處理，將YUV值轉換為RGB值。因此，在處理用這種壓縮編碼方式壓 縮的體腔內圖像的情況下，在顏色平面轉換處理中，也可以使用在解碼處理時得到的各像 素的UV值。此時，沒有必要根據圖像化後的RGB值計算UV值，因此不需要步驟bl的處理， 作為整體實現了處理的高速化。接著，如圖4所示，轉換部16將各像素的UV值轉換為由色調和飽和度構成的顏色 平面(步驟b3)。接著，返回到圖3的步驟a3，之後轉移到步驟a5。圖5是說明基於UV值 的色調和飽和度的計算原理的示意圖，在圖5中，示出了將橫軸設為U值、將縱軸設為V值 的二維顏色平面。例如，設為著眼於構成體腔內圖像的一個像素，用點P1表示該像素(關 注像素)的UV值。此時，關注像素的色調與如下的直線和橫軸(U)所成的角度H相當，該 直線連接二維顏色平面(UV)的原點Ptl和由關注像素的UV值確定的點Pp另一方面，關注 像素的飽和度與從原點Ptl到點P1的距離S相當。實際上，色調(以下表記為色調H)能夠根據各像素的UV值，依照下式(3)計算。
V色調 H = atan(-)(3)
一 U
另一方面，飽和度(以下表記為飽和度S)能夠根據各像素的UV值，依照下式(4)計算。飽和度formula see original document page 10
轉換部16通過依照式(3)、⑷，針對各像素計算色調H和飽和度S的值，將處理 對象圖像轉換由色調H和飽和度S構成的顏色平面(以下，適當稱作「HS顏色平面」。)。此外，此處，示出了按照像素單位將處理對象圖像轉換為色調H和飽和度S的方 法，但是在用像素單位進行轉換的情況下，轉換對象的數據數太多從而處理負荷太大。因 此，也可以構成將處理對象圖像分割為預定大小的矩形塊，按照每個矩形塊計算構成各矩 形塊的像素的UV值的平均值(平均UV值)。此外，還可以將所計算的每個矩形塊的平均 UV值轉換為色調H和飽和度S的值。由此，能夠實現處理負擔的降低。或者，也可以構成為不分割為矩形塊，而根據邊緣對處理對象圖像內進行區域分 害I]，按照每個所分割的區域計算平均UV值。如果這樣考慮處理對象的邊緣來進行區域分 害I]，則與單純地分割為矩形塊的情況相比，能夠提高小的病變區域等的檢測精度。具體而言，例如，針對表示比較性圖像的構造信息的G值、或針對用下式(5)計 算的圖像的亮度信號(Y)，進行使用已經公知的索貝爾濾波器(Sobel filter)等的邊緣 檢測。並且，根據邊緣檢測結果，使用已經公知的分水嶺(watershed)算法(參考Luc Vincent and Pierre Soilie, Watershed in digital spaces :An efficient algorithm based on immersionsimulations, Transactions on Pattern Analysis and Machine Intelligence, Vol. 13，No. 6，pp. 583-598，June 1991.)對處理對象圖像進行區域分割，按 照每個所分割的區域計算平均UV值。此外，還可以將每個區域的平均UV值轉為色調H和 飽和度S的值。formula see original document page 10
此外，此處，示出了在轉換為UV值後轉換為由色調H和飽和度S構成的HS顏色平 面的方法，但是也可以使用其他表色系統來轉換為色調H和飽和度S的HS顏色平面。通過 例如L*a*b轉換(參考=CG-ARTS協會，r 4 」夕A畫像処理，P62 P63 (數字圖像處理，第 62 63頁))，根據RGB值求取al/的值。此外，也可以通過將a*處理為V值，將b*處理為 U值，轉換為由色調H和飽和度S構成的HS顏色平面。此外，也可以不計算UV值，而使用例如HSI轉換(參考=CG-ARTS協會，r 4 」夕 ^畫像処理，P64 P68 (數字圖像處理，第64 68頁))，將RGB值直接轉換為色調H和飽 和度S的值。接著，對在圖3的步驟a5中由提取部17進行的黏膜區域提取處理進行說明。在 通過膠囊內窺鏡3所拍攝的體腔內圖像中，除了黏膜外，還顯現在體腔內浮遊的糞便等內 容物或泡等。在黏膜區域提取處理中，排除掉該黏膜區域以外的泡區域和內容物區域，提取 黏膜區域。圖6是表示黏膜區域提取處理的詳細處理步驟的流程圖。如圖6所示，在黏膜區域提取處理中，提取部17首先判別泡區域(步驟Cl)。該泡 區域的判別能夠使用例如日本特開2007-313119號公報所公開的公知技術來實現。作為步 驟，首先根據處理對象圖像的G值計算像素的邊緣強度。接著，根據所計算的邊緣強度、泡 的特徵，計算與預先設定的泡模型的相關值，將與泡模型的相關性高的部分檢測為泡區域。 此外，能夠適用的技術不限於此，能夠適當使用判別泡區域的方法。
接著，提取部17作為分布形成部，對在步驟Cl中沒有判別為泡區域的處理對象圖 像中的像素在HS顏色平面上的數據進行聚類處理(步驟c3)。聚類是根據數據間的相似 度將特徵空間內的數據分布劃分為被稱作組群的塊的方法。例如針對沒有判別為泡區域 的處理對象圖像中的像素在HS顏色平面上的數據，使用k-means法等公知的方法(參考 CG-ARTS協會，r彳」夕 >畫像処理，P232 (數字圖像處理，第232頁))進行聚類處理。此 處，HS顏色平面上的數據間的距離與相似度相當。此外，在k-means法中，需要將預先分割的組群數K指定為參數 ，聚類的精度根據 指定的組群數K會發生較大變化。因此，為了得到高精度的聚類結果，需要按照每個圖像確 定最佳的組群數K。此處，作為最佳的組群數K的確定方法，使用了根據組群數評價值確定 最佳組群數 K 的算法(參考Chong-Wah Ngo et al，，，0n Clustering and Retrieval of VideoShots Through Temporal Slices Analysis, 」Trans Mlt, Vol. 4, No. 4, pp446_458, 2002)。但是，能夠適用的聚類方法不限於k-means法，也可以使用其他的聚類方法。接著，如圖6所示，提取部17根據聚類結果計算屬於各組群的數據的平均值，並將 所計算的平均值設為對應的組群的中心(H」 Si)(步驟c5)。此外，i = l、…、K，K是組群 數。接著，提取部17按照各組群，進行是屬於內容物區域的數據還是屬於黏膜區域的 數據的判別(步驟c7)。接著，提取部17將與判別為屬於黏膜區域的數據對應的像素提取 為黏膜區域(步驟c9)。接著，返回到圖3的步驟a5，之後轉移到步驟a7。此處，黏膜或內容物的顏色分別根據血液或膽汁的吸收特性，它們的吸收波長偏 向短波長側。因此，能夠推斷為屬於黏膜區域或內容物區域的數據分布在圖5所示的從紅 色到黃色的色調範圍Hliange中。圖7是表示圖5所示的色調範圍Hliange中的屬於黏膜區域和內容物區域的數據的 分布例的示意圖。在黏膜區域和內容物區域中，RGB值的比率差異較大。這是因為存在於 黏膜中的血液的構成成分即血紅蛋白的吸收波長處於形成G值或B值的中波長到短波長 的波段，與此相對，糞便等內容物區域中的膽汁的色素成分即膽紅素的吸收波長處於形成B 值的短波長的波段。因此，在大多情況下，黏膜區域成為相對於G值或B值R值較高的紅色 系的顏色，內容物區域成為相對於B值R值或G值較高的黃色系的顏色。此外，其表示為色 調H的差，因此在圖7中如用曲線包圍所示，在色調H上，屬於黏膜區域的數據Cl和屬於內 容物區域的數據C3分離。因此，事先設定用於判別屬於該黏膜區域的數據Cl和屬於內容 物區域的數據C3的判定閾值Ht，該判定閾值Ht在圖7中用點劃線示出。並且，提取部17用 閾值Ht對在步驟c5中所計算的各組群的中心Hi進行閾值處理，如果Ht < Hi,則將屬於該 組群的數據判別為屬於黏膜區域的數據。另一方面，在Ht ^ Hi時，則提取部17將屬於該組 群的數據判別為屬於內容物區域的數據。接著，針對在圖3的步驟a7中由判定基準生成部18進行的判定基準生成處理進 行說明。在該判定基準生成處理中，根據提取為黏膜區域的像素在HS顏色平面上的數據分 布(以下稱作「黏膜區域分布」)的中心，生成判定基準，該判定基準用於判定將在HS顏色 平面上從該中心朝向哪個方向偏離了多大程度的數據設為屬於病變區域的數據。圖8是表 示實施方式1中的判定基準生成處理的詳細處理步驟的流程圖。如圖8所示，在判定基準生成處理中，判定基準生成部18首先計算在圖6的步驟c9中判別為屬於黏膜區域分布的數據的平均值，將所計算的平均值設為該黏膜區域分布的 中心(黏膜區域分布中心)的色調HNm和飽和度SNm(步驟dl)。接著，判定基準生成部18的飽和度閾值計算部182計算用於檢測病變區域的飽和 度方向(飽和度S的方向)的判定閾值Ts (步驟d3)。此外，色調閾值計算部181計算用於 檢測病變區域的色調方向(色調H的方向)的判定閾值Th(步驟d5)。如上所述，如果實際 上顯現在體腔內圖像中的黏膜區域中，還存在小腸黏膜或大腸黏膜等具有黃色系的顏色的 黏膜區域，則也存在胃黏膜等具有紅色系的顏色的黏膜區域。在實施方式1中，設為檢測對 象的病變區域為紅色系的病變區域。因此，計算各判定閾值，以使得對於黏膜區域，與病變 區域的顏色特性相似的紅色系的黏膜區域的情況下的色調方向的判定閾值和飽和度方向 的判定閾值，比黃色系的黏膜區域的情況下的色調方向的判定閾值和飽和度方向的判定閾 值小。圖9是說明飽和度方向的判定閾值Ts的計算原理的說明圖。此處，設為針對色調H 為黃色系的黏膜區域分布，存在在飽和度方向上偏離的數據。此時，這些數據為通過膽汁等 消化液而拍攝為黃色的正常黏膜的可能性比較高。這是因為在色調H為黃色系的情況下， 即使在色調方向上偏離，也不會接近紅色系的病變區域的特性。另一方面，設為針對色調H 為紅色系的黏膜區域分布，存在在飽和度方向上偏離的數據。此時，這些數據為紅色系的病 變區域的可能性比較高。因此，按照黏膜區域分布中心的色調HNm越大，換言之，越是紅色系的黏膜區域分 布，則其值越小的方式，計算飽和度方向的判定閾值Ts。即，針對紅色系的黏膜區域分布，通 過減小使用的判定閾值Ts來提高檢測靈敏度。另一方面，針對黃色系的黏膜區域分布，通 過增大使用的判定閾值Ts，抑制錯誤檢測。例如，如圖9所示，計算為黏膜區域分布32的判 定閾值Ts比色調HNen的值小於黏膜區域分布32的黏膜區域分布31的判定閾值Ts小。此 夕卜，計算為黏膜區域分布33的判定閾值Ts比色調HNen的值小於黏膜區域分布33的黏膜區 域分布32的判定閾值Ts小。此外，設為針對飽和度S為紅色系的黏膜區域分布，存在在飽和度方向上偏離的 數據。此時，飽和度S越大，即使在飽和度方向上相對地微小偏離，紅色病變的可能性也較 高。因此，按照黏膜區域分布中心的飽和度sNm越大則其值越小的方式計算飽和度方向的 判定閾值Ts。例如，如圖9所示，計算為黏膜區域分布34的判定閾值Ts比飽和度SNen的值 小於黏膜區域分布34的黏膜區域分布31的判定閾值Ts小。下式(6)示出該飽和度方向的判定閾值Ts的計算式。如下式(6)所示，飽和度方 向上的判定閾值Ts的計算式，由使用了例如黏膜區域分布中心的色調HNm和飽和度SNm、以 及預先設定的預定係數Thl、Tsl的減函數表示。由此，飽和度方向的判定閾值Ts被計算為粘 膜區域分布中心的色調HNm越大其越小，且黏膜區域分布中心的飽和度SNm越大其越小。圖 10是將根據黏膜區域分布中心的飽和度SNm和色調HNm實際用下式(6)所計算的飽和度方 向的判定閾值Ts的數據例曲線化的圖。formula see original document page 12 (6)圖11是說明色調方向的判定閾值Th的計算原理的說明圖，示出了與圖9相同的四 個黏膜區域分布31 34。在以色調H為黃色系的黏膜區域分布為基準與屬於紅色系的粘 膜的數據相比較的情況下，和以紅色系的黏膜區域分布為基準與屬於紅色系的黏膜的數據相比較的情況下，以黃色系的黏膜區域分布為基準的情況在色調方向上的相對偏離較大。 因此，在以黏膜區域分布為基準來判定數據的偏離，在將偏離超過了某個閾值的數據判定 為病變的情況下，如果使用相同的判定基準判定具有某一色調H和飽和度S的數據的偏離， 則根據將黃色系的黏膜區域分布和紅色系的黏膜區域分布的哪一個用作基準，判定結果非 常不同。因此，將色調方向的判定閾值Th計算為，黏膜區域分布中心的色調HNm越大，換言 之，越是紅色系的黏膜區域分布，其值就越小。例如，如圖11所示，計算為黏膜區域分布32 的判定閾值Th比色調HNen的值小於黏膜區域分布32的黏膜區域分布31的判定閾值Th小。 此外，計算為黏膜區域分布33的判定閾值Th比色調HNen的值小於黏膜區域分布33的黏膜 區域分布32的判定閾值Th小。 此外，設為針對飽和度S為紅色系的黏膜區域分布，存在在色調方向上偏離的數 據。此時，飽和度S的值越大，即使是相對的微小的色調方向的偏離，紅色病變的可能性也 較高，應該檢測為病變區域。因此，將色調方向的判定閾值Th計算成黏膜區域分布中心的 飽和度SNen越大其值就越小。例如，如圖11所示，計算為黏膜區域分布34的判定閾值Th比 飽和度SNm的值小於黏膜區域分布34的黏膜區域分布31的判定閾值Th小。下式(7)示出該色調方向的判定閾值Th的計算式。如下式(7)所示，色調方向的 判定閾值Th的計算式，由使用了例如黏膜區域分布中心的色調HNm和飽和度SNm、以及預先 設定的預定係數Th2、Ts2的減函數表示。由此，飽和度方向的判定閾值Ts被計算為黏膜區域 分布中心的色調HNm越大其越小，且黏膜區域分布中心的飽和度SNm越大其越小。圖12是 將根據黏膜區域分布中心的飽和度SNm和色調HNm實際用下式(7)所計算的色調方向的判 定閾值Th的數據例曲線化的圖。formula see original document page 13 (7)此外，判定基準生成部18生成色調方向的判定基準飽和度方向的判定基 準SThresh，設為用於檢測處理對象圖像中的病變區域的判定基準(步驟d7)。之後，返回到圖 3的步驟a7，之後轉移到步驟a9。具體而言，使用色調方向的判定閾值TH、飽和度方向的判 定閾值Ts，依照下式(8)生成色調方向的判定基準HThresh，並且依照下式(9)生成飽和度方 向的判定基準S
Thresh°formula see original document page 13 (8)formula see original document page 13(9)例如，如圖9或圖11所示，在黏膜區域分布31的情況下，生成值311的判定基準 Slhresh,並且生成值313的判定基準HTh_h。在黏膜區域分布32的情況下，生成值321的判定 基準Sltoesh,並且生成值323的判定基準HTtoesh。在黏膜區域分布33的情況下，生成值331 的判定基準SThresh，並且生成值333的判定基準HTtoesh。在黏膜區域分布34的情況下，生成 值341的判定基準STtoesh，並且生成值343的判定基準HTtoesh。接著，對在圖3的步驟a9中病變區域檢測部19進行的病變區域檢測處理進行說 明。病變區域檢測部19使用在步驟a7的判定基準生成處理中生成的判定基準來判定在圖 3的步驟a5的黏膜區域提取處理中被判別為屬於黏膜區域的數據，從處理對象圖像檢測病 變區域。實際上，在圖6的步驟c5中進行計算，使用在步驟c7中判別為屬於黏膜區域的數 據的組群的中心(HpSi)和判定基準HThresh及SThresh，判定是否為病變區域。圖13是病變區 域檢測處理的詳細處理步驟的流程圖。
如圖13所示，在病變區域檢測處理中，病變區域檢測部19首先將屬於黏膜區域的數據設為判定對象數據(步驟el)。接著，病變區域檢測部19比較Hi *HTh_h，如果 Hlhresh ( Hi (步驟e3 是)，則轉移到步驟e7。另一方面，在不是Hltosh ( Hi的情況下(步驟 e3 否)，病變區域檢測部19將Si和SThresh進行比較。並且，如果Slhresh ( Si (步驟e5 是)， 則轉移到步驟e7。此外，在步驟e7中，病變區域檢測部19將判定對象數據判定為屬於病變 區域的數據。即，病變區域檢測部19將屬於黏膜區域的數據中的、Hltesh Hi且SThresh > Si 的數據判定為屬於正常的黏膜區域的數據。圖14是表示針對1張體腔內圖像進行的病變區域的檢測結果的一個例子的示意 圖。在該圖14中，示出了針對處理對象的體腔內圖像所計算的黏膜區域分布中心P5的色調 HNm和飽和度SNm，以及根據該黏膜區域分布中心P5所計算的飽和度方向的判定閾值Ts和 色調方向的判定閾值TH。此外，用點劃線示出了根據色調方向的判定閾值Th計算的判定基 準Hltesh，用雙點劃線示出了根據飽和度方向的判定閾值Ts計算的判定基mSThresh。在圖14 的例子中，將由表示判定基準HTh_h的點劃線和表示判定基準SThresh的雙點劃線所包圍的區 域內的數據51判定為屬於正常的黏膜區域的數據。另一方面，將由表示判定基準樂^-的 點劃線和表示判定基準SThresh的雙點劃線包圍的區域外的數據53判定為屬於病變區域的 數據。此後，如圖13所示，病變區域檢測部19生成表示病變區域的標籤數據(步驟 ell)。即，病變區域檢測部19對與判定為屬於正常的黏膜區域的數據對應的體腔內圖像的 像素分配表示正常的黏膜區域的標籤，並且對與判定為屬於病變區域的數據對應的體腔內 圖像的像素分配表示病變區域的標籤來生成標籤數據。接著，返回到圖3的步驟a9，之後轉 移到步驟all。如以上所說明的那樣，根據實施方式1，能夠根據顯現在處理對象的體腔內圖像 中的黏膜區域的色調和飽和度，生成用於從處理對象的體腔內圖像檢測病變區域的判定基 準。具體而言，能夠將飽和度方向的判定閾值計算成從處理對象的體腔內圖像提取的黏膜 區域分布中心的色調的值越大其越小，黏膜區域分布中心的飽和度的值越大其越小，來生 成飽和度方向的判定基準。此外，能夠將色調方向的判定閾值計算成黏膜區域分布中心的 色調的值越大其越小，黏膜區域分布中心的飽和度的值越火其越小，來生成色調方向的判 定基準。此外，能夠使用所生成的色調方向的判定閾值和飽和度方向的判定閾值，從處理對 象的體腔內圖像檢測病變區域。由此，能夠根據顯現在體腔內圖像中的黏膜區域的色調和 飽和度的值，適當生成判定基準，能夠改善從體腔內圖像檢測病變區域的制度。此外，飽和度方向的判定閾值1的計算式不限於上式(6)，只要至少根據黏膜區域 的色調計算飽和度方向的判定閾值Ts即可。例如，也可以如下式(10)所示，依照使用了粘 膜區域分布中心的色調HNm、和預先設定的預定係數Thl的減函數，將飽和度方向的判定閾 值Ts計算成色調HNm越大其值越小。Ts = (l/(HNen+l)) XThl(IO)
此外，色調方向的判定閾值Th的計算式不限於上式(7)，只要至少根據黏膜區域的 色調計算色調方向的判定閾值Th即可。例如，也可以如下式(11)所示，根據使用了黏膜區 域分布中心的色調HNm、和預先設定的預定係數Th2的減函數，將色調方向的判定閾值Th計 算成色調HNm越大其值越小。formula see original document page 15接著，對實施方式2進行說明。圖15是說明實施方式2的圖像處理裝置IOa的功 能構成的框圖。此外，對與在實施方式1中已說明的結構相同的結構標以相同的符號。如 圖15所示，圖像處理裝置IOa具有圖像取得部11、輸入部12、顯示部13、記錄部14a、運算 部15a以及控制圖像處理裝置IOa整體的動作的控制部21。在記錄部14a作為判定基準表記錄部而記錄判定基準表數據143a。並且在記錄部 14a中記錄圖像處理程序141a，圖像處理程序141a用於使用從判定基準表數據143a讀出 的判定基準來檢測體腔內圖像中的病變區域。判定基準表數據143a包括與飽和度SNm及色調ΗΝεη的各值對應地設定了飽和度方 向的判定閾值Ts的值的判定閾值Ts的判定基準表、和與飽和度SNm及色調HNm的各值對應 地設定了色調方向的判定閾值Th的值的判定閾值Th的判定基準表。圖16是表示飽和度方向的判定閾值Ts的判定基準表的數據結構例的圖，圖17是 將圖16所示的飽和度方向的判定閾值Ts的判定基準表曲線化的圖。在該飽和度方向的判 定閾值Ts的判定基準表中，以與實施方式1相同的要領，與計算飽和度方向的判定閾值Ts 值時使用的色調HNm和飽和度SNm的組合對應地設置多個飽和度方向的判定閾值Ts，該多 個飽和度方向的判定閾值Ts被以黏膜區域分布中心的色調HNm越大其越小，且黏膜區域分 布中心的飽和度SNm越大其越小的方式預先計算出。此外，圖18是表示色調方向的判定閾值Th的判定基準表的數據結構例的圖，圖19 是將圖18所示的色調方向的判定閾值Th的判定基準表曲線化的圖。在該色調方向的判定 閾值Th的判定基準表中，以與實施方式1相同的要領，與計算色調方向的判定閾值Th值時 使用的色調HNm和飽和度SNm的組合對應地設置了多個色調方向的判定閾值TH，該多個色 調方向的判定閾值Th被以黏膜區域分布中心的色調HNm越大其越小，且黏膜區域分布中心 的飽和度SNm越大其越小的方式預先計算出。此外，運算部15a包括轉換部16、作為活體組織提取部的提取部17、判定基準生成 部18a和作為檢測部的病變區域檢測部19。在實施方式2中，判定基準生成部18a包括作 為判定基準數據讀出部的判定基準表讀出處理部183a。判定基準表讀出處理部183a根據 黏膜區域的色調H及飽和度S的值，從判定基準表數據143a讀出對應的飽和度方向的判定 閾值Ts和色調方向的判定閾值TH。圖20是表示實施方式2的圖像處理裝置IOa進行的處理步驟的整體流程圖。此 處所說明的處理是通過由運算部15a執行記錄在記錄部14a中的圖像處理程序141a來實 現的。此外，在圖20中，針對與實施方式1相同的處理步驟，標以相同的符號。在實施方式2中，在步驟a5的黏膜區域提取處理後，判定基準生成部18進行判定 基準生成處理(步驟f7)。之後，轉移到步驟a9。圖21是表示實施方式2中的判定基準生 成處理的詳細處理步驟的流程圖。如圖21所示，在實施方式2的判定基準生成處理中，判定基準生成部18a，與實施方式1同樣地，首先計算被判別為屬於黏膜區域分布的數據的平均值，將所計算的平均值設為該黏膜區域分布的中心(黏膜區域分布中心)的色調HNm和飽和度SNm(步驟gl)。接著，判定基準生成部18a的判定基準表讀出處理部183a參照判定基準表數據 143a的飽和度方向的判定閾值Ts的判定基準表，根據黏膜區域分布的中心的色調HNm和飽 和度SNm讀出對應的飽和度方向的判定閾值Ts (步驟g3)。接著，判定基準表讀出處理部183a參照判定基準表數據143a的色調方向的判定 閾值Th的判定基準表，根據黏膜區域分布中心的色調HNm和飽和度SNm讀出對應的色調方 向的判定閾值Th (步驟g5)。此外，判定基準生成部18a用與實施方式1相同的方法，計算色調方向的判定基準 Hltesh和飽和度方向的判定基準STh_h，生成用於檢測處理對象圖像中的病變區域的判定基 準(步驟g7)。此時，使用了所讀出的色調方向的判定閾值Th和飽和度方向的判定閾值Ts。如以上所說明那樣，根據實施方式2，能夠與色調HNm和飽和度SNm的組合對應地 預先設定色調方向的判定閾值Th和飽和度方向的判定閾值Ts。由此，能夠起到與實施方式 1相同的效果，並且沒有必要每次都計算色調方向的判定閾值Th和飽和度方向的判定閾值 Ts的各值，從而能夠減輕處理負擔。此外，在上述實施方式2中，作為判定基準表數據143a，設為準備了判定閾值Ts的 判定基準表和判定閾值Th的判定基準表的結構，在判定閾值Ts的判定基準表中，與計算多 個飽和度方向的判定閾值Ts的值時使用的色調HNm和飽和度SNm的組合對應地設定了該多 個飽和度方向的判定閾值Ts的值，在判定閾值Th的判定基準表中，與計算多個色調方向的 判定閾值Th的值時使用的色調HNm和飽和度SNm的組合對應地設定了該多個色調方向的判 定閾值Th的值。與此相對，也可以構成為依照例如作為實施方式1的變形例示出的式(10) 計算飽和度方向的判定閾值Ts,並準備與在計算其值時使用的色調Hto的值對應地設定的 判定閾值Ts的判定基準表。此時，判定基準表讀出處理部183a根據黏膜區域分布的中心 的色調ΗΝεη讀出對應的飽和度方向的判定閾值Ts。此外，還可以構成為依照上述式(11)計 算色調方向的判定閾值Th的值，準備與在計算其值時使用的色調HNm的值對應地設定的判 定閾值Th的判定基準表。此時，判定基準表讀出處理部183a根據黏膜區域分布的中心的 色調HNm讀出對應的色調方向的判定閾值TH。接著，對實施方式3進行說明。圖22是說明實施方式3的圖像處理裝置IOb的功 能構成的框圖。此外，對與在實施方式1或實施方式2中已說明的結構相同的結構標以相 同的符號。如圖22所示，圖像處理裝置IOb具有圖像取得部11、輸入部12、顯示部13、記錄 部14b、運算部15b以及控制圖像處理裝置IOb整體的動作的控制部21。在記錄部14b中，記錄在實施方式2中說明的判定基準表數據143a。此外，在記錄 部14b中，記錄圖像處理程序141b，該圖像處理程序141b用於判別顯現在體腔內圖像中的 臟器種類，按照所判別的每種臟器種類來提取體腔內圖像來檢測病變區域。此外，運算部15b包括體腔內圖像提取部20b、轉換部16、作為活體組織提取部的 提取部17、判定基準生成部18b和作為檢測部的病變區域檢測部19。體腔內圖像提取部 20b從一系列體腔內圖像中提取被判別為相同的臟器種類的體腔內圖像。該體腔內圖像提 取部20b包括判別顯現在各體腔內圖像中的臟器種類的臟器種類判別部201b。此外，在實 施方式3中，判定基準生成部18b包括判定基準表讀出處理部183b，按照每種臟器種類生成判定基準。圖23是表示實施方式3的圖像處理裝置IOb進行的處理步驟的整體流程圖。此 處所說明的處理是通過由運算部15b執行記錄在記錄部14b中的圖像處理程序141b來實 現的。
如圖23所示，首先由運算部15用與實施方式1相同的步驟取得一系列的體腔內 圖像(步驟hi)。接著，臟器種類判別部201b判別顯現在構成所取得的一系列的體腔內圖 像的各體腔內圖像中的臟器種類(步驟h3)。此處，作為顯現在各體腔內圖像中的臟器種 類，判別例如食道、胃、小腸和大腸這4個種類。作為具體的臟器種類的判別方法，能夠適當使用公知的技術。例如，使用在日本特 開2006-288612號公報中公開的技術，根據體腔內圖像的平均R值、G值、B值進行判別。具 體而言，事先設定每個臟器種類的平均R值、G值、B值的數值範圍。在實施方式1中，設為 判別對象的臟器為食道、胃、小腸和大腸這4個種類，因此分別設定食道、胃、小腸和大腸的 平均R值、G值、B值的數值範圍。此外，如果體腔內圖像的平均R值、G值、B值在食道的平 均R值、G值、B值的數值範圍內，則將顯現在該體腔內圖像中的觀察部位的臟器種類判別為 食道。如果體腔內圖像的平均R值、G值、B值在胃的平均R值、G值、B值的數值範圍內，則 將顯現在該體腔內圖像中的觀察部位的臟器種類判別為胃。如果體腔內圖像的平均R值、 G值、B值在小腸的平均R值、G值、B值的數值範圍內，則將顯現在該體腔內圖像中的觀察 部位的臟器種類判別為小腸。如果體腔內圖像的平均R值、G值、B值在大腸的平均R值、G 值、B值的數值範圍內，則將顯現在該體腔內圖像中的觀察部位的臟器種類判別為大腸。此 夕卜，只要能夠判別顯現在圖像中的臟器種類，則不限於此處所說明的方法，也可以使用任意 一種方法。接著，依次將所判別的食道、胃、小腸和大腸這4種臟器種類設為處理臟器種類來 進行循環A的處理(步驟h5 步驟hl7)。S卩，首先，體腔內圖像提取部20b從一系列體腔內圖像中，將臟器種類判別為處理 臟器種類的體腔內圖像提取為處理臟器圖像(步驟h7)。接著，從記錄部14b依次逐張讀出 在步驟h7中所提取的處理臟器圖像。並且，針對所讀出的處理臟器圖像，首先由轉換部16 以與實施方式1相同的步驟進行顏色平面轉換處理(步驟ti9)。接著，提取部17以與實施 方式1相同的步驟進行黏膜區域提取處理(步驟hll)。接著，判定是否處理了在步驟h7中 所提取的全部處理臟器圖像。如果存在未處理的處理臟器圖像(步驟hl3:否)，則返回步 驟h9，針對該未處理的處理臟器圖像進行步驟h9 步驟hll的處理。另一方面，在處理了 所提取的全部處理臟器圖像的情況下(步驟hl3 是)，接著判定基準生成部18b進行判定 基準生成處理(步驟hl5)。接著，如果將各臟器種類設為處理臟器種類進行循環A的處理，並按照每個臟器 種類生成判定基準，則依次逐張讀出在步驟hi中取得並記錄在記錄部14b中的一系列體腔 內圖像。之後，病變區域檢測部19將讀出的體腔內圖像作為處理對象，進行病變區域檢測 處理(步驟hl9)。在該病變區域檢測處理中，作為色調方向的判定基準和飽和度方向的判 定基準，在步驟hl5的判定基準生成處理中使用了針對處理對象圖像的臟器種類而計算的 值。針對處理步驟，能夠利用與實施方式1相同的處理步驟實現。之後，運算部15b輸出針對處理對象的體腔內圖像的病變區域檢測結果(步驟h21)。接著，運算部15b判定是否將在步驟hi中取得的所有體腔內圖像作為處理對象進行 了步驟hl9 步驟h21的處理。如果存在未處理的體腔內圖像(步驟h23 否)，則將處理 對象圖像變更為未處理的體腔內圖像，返回步驟hl9進行上述處理。另一方面，在處理了所 有體腔內圖像的情況下(步驟h23 是)，結束圖像處理裝置IOb的運算部15b中的處理。接著，對圖23的步驟hl5的判定基準生成處理進行說明。圖24是表示實施方式3 中的判定基準生成處理的詳細處理步驟的流程圖。此外，在圖24中，針對與實施方式2相 同的處理步驟，標以相同的符號。
如圖24所示，在實施方式3的判定基準生成處理中，判定基準生成部18b首先計 算屬於各處理臟器圖像的黏膜區域分布的數據的平均值，並將所計算的平均值設為該黏膜 區域分布的中心(黏膜區域分布中心)的色調HNm和飽和度SNm(步驟il)。例如，可以計 算屬於各處理臟器圖像的黏膜區域分布的所有數據的平均值，也可以從各處理臟器圖像的 黏膜區域分布分別選出幾個數據，計算所選出的數據的平均值。之後，轉移到步驟g3。在上述實施方式1或2中，針對按照每個體腔內圖像提取黏膜區域來求出黏膜區 域分布，根據該黏膜區域分布生成判定基準的情況進行了說明。由此按照每個體腔內圖像 提取黏膜區域來求出黏膜區域分布時，在例如整個體腔內圖像中具有出血那樣的情況下， 在包括較多的出血部的數據的狀態下求出黏膜區域分布。因此，產生這些出血部的數據不 能作為從黏膜區域分布偏離的數據來得到的情形，從而具有不能檢測為病變區域的情況。 與此相對，根據實施方式3，能夠通過使用從判別為相同的臟器種類的所有體腔內圖像提取 的黏膜區域的黏膜區域分布來生成判定基準，按照每個臟器種類生成判定基準。並且，也能 夠分別適用於針對顯現符合所生成的每個臟器種類的判定基準的臟器的體腔內圖像。由 此，在判別為相同的臟器種類的體腔內圖像中，即使在包括整體中具有出血那樣的體腔內 圖像的情況下，也能夠抑制圖像間的波動而將這些出血部穩定地檢測為病變區域。此外，實際的黏膜組成對於每個臟器都不同，因此黏膜區域的顏色根據臟器種類 而變化。根據實施方式3，能夠按照每種顏色相似的臟器種類來生成判定基準，能夠高精度 地檢測病變區域。此外，當根據這種顏色不同的黏膜區域的黏膜區域分布來生成判定基準 時，黏膜區域分布在顏色平面上變寬，由此不能夠適當計算判定基準。接著，對實施方式4進行說明。圖25是說明實施方式4的圖像處理裝置IOc的功 能構成的框圖。此外，對與在實施方式1 3中已說明的結構相同的結構標以相同的符號。 如圖25所示，圖像處理裝置IOc具有圖像取得部11、輸入部12、顯示部13、記錄部14c、運 算部15c以及控制圖像處理裝置IOc整體的動作的控制部21。在記錄部14c中，記錄有在實施方式2中說明的判定基準表數據143a。此外，在記 錄部14c中，記錄有圖像處理程序141c，該圖像處理程序141c用於從一系列體腔內圖像檢 測場景變化少的連續圖像區間，按照所檢測的每個連續圖像區間提取體腔內圖像來檢測病 變區域。此外，運算部15c包括體腔內圖像提取部20c、轉換部16、作為活體組織提取部的 提取部17、判定基準生成部18b和作為檢測部的病變區域檢測部19。體腔內圖像提取部 20c從一系列體腔內圖像中提取判別為相同的臟器種類的體腔內圖像。該體腔內圖像提取 部20c包括從一系列體腔內圖像種檢測場景變化少的連續圖像區間的作為場景變化檢測 部的場景檢測部203c。
圖26是表示實施方式4的圖像處理裝置IOc進行的處理步驟的整體流程圖。此 處所說明的處理是通過由運算部15c執行記錄在記錄部14c中的圖像處理程序141c來實 現的。此外，在圖26中，針對與實施方式3相同的處理步驟，標以相同的符號。如圖26所示，首先由運算部15c用與實施方式1相同的步驟取得一系列的體腔內 圖像(步驟hi)。接著，場景檢測部203c從所取得的一系列的體腔內圖像種檢測場景變化 少的區間，並設為連續圖像區間(步驟j3)。作為具體的場景變化的檢測方法，能夠適當使用公知的技術。作為具體的計算方 法，例如首先求出相鄰的圖像間的亮度值的差。並且，在亮度值的差在預先設定的閾值以上 的情況下，判定為場景變化大，如果亮度值的差小於預先設定的閾值，則判定為在場景中沒 有變化或場景變化小。場景檢測部203c針對構成一系列體腔內圖像的各個各體腔內圖像， 利用上述方法判定場景變化的大小。此外，場景檢測部203c根據判定結果，從一系列體腔 內圖像中檢測在場景中沒有變化或場景變化小的區間作為連續圖像區間。此外，只要能夠 從一系列體腔內圖像中檢測出場景沒有變化或場景變化小的區間，則不限於此處所說明的 方法，也可以使用任意一種方法。接著，依次將所檢測出的連續圖像區間設為處理區間來進行循環B的處理(步驟 j5 步驟jl7)。S卩，首先，體腔內圖像提取部20c從一系列體腔內圖像中，將屬於處理區間的體腔 內圖像提取為處理區間圖像(步驟j7)。接著，從記錄部14c依次逐張讀出在步驟j7中所 提取的處理區間圖像，並轉移到步驟M。並且，在針對在步驟j7中所提取的所有處理區間圖像進行了步驟M 步驟hll的處理的情況下(步驟jl3 是)，接著判定基準生成部18b進行判定基準生成處理(步驟 J15)。該判定基準生成處理能夠用與實施方式3相同的處理步驟實現，但是在圖24的步驟 il的處理中，計算各處理區間圖像中的黏膜區域分布的所有數據的平均值，並進行將所計 算的平均值設為該黏膜區域分布的中心(黏膜區域分布中心)的色調HNm和飽和度SNm的 處理。接著，如果將各連續圖像區間設為處理區間進行循環B的處理，並按照每個連續 圖像區間生成判定基準，則依次逐張讀出在步驟hi中取得並記錄在記錄部14c中的一系列 體腔內圖像。之後，病變區域檢測部19將讀出的體腔內圖像作為處理對象，進行病變區域 檢測處理(步驟jl9)。在該病變區域檢測處理中，作為色調方向的判定基準和飽和度方向 的判定基準，在步驟jl5的判定基準生成處理中使用了針對處理對象圖像所屬的連續圖像 區間計算的值。針對處理步驟，能夠利用與實施方式1相同的處理步驟實現。之後，運算部15c輸出針對處理對象的體腔內圖像的病變區域檢測結果(步驟 j21)。接著，運算部15c判定是否將在步驟hi中取得的所有體腔內圖像作為處理對象進行 了步驟jl9 步驟j21的處理。如果存在未處理的體腔內圖像(步驟j23 否)，則將處理 對象圖像變更為未處理的體腔內圖像，返回步驟jl9進行上述處理。另一方面，在處理了所 有體腔內圖像的情況下(步驟j23 是)，結束圖像處理裝置IOc的運算部15c中的處理。場景變化較大的情況是指膠囊內窺鏡移動較大的情況，如果膠囊內窺鏡移動較 大，則當然所拍攝的臟器位置會變化。此外，如上所述，實際的黏膜組成按照每個臟器而不 同。由此，在膠囊內窺鏡移動較大從而攝像對象的臟器變化的情況下，在場景變化的前後顯現在體腔內圖像中的黏膜區域的顏色變化。根據實施方式4，能夠按照每個場景變化少的連 續圖像區間，使用從屬於連續圖像區間的所有體腔內圖像提取的黏膜區域的黏膜區域分布 來生成判定基準。此外，也能夠分別適用於屬於符合所生成的每個連續圖像區間的判定基 準的連續圖像區間的體腔內圖像。由此，能夠按照每個連續圖像區間適當地生成判定基準， 能夠抑制圖像間的波動來穩定地檢測病變區域。此外，在上述實施方式3中，將判別為相同臟器種類的所有體腔內圖像提取為處 理臟器圖像，並提取黏膜區域來生成判定基準。與此相對，也可以構成為將判別為相同臟器 種類的體腔內圖像中的兩張以上的預定張數的體腔內圖像提取為處理臟器圖像。此外，在 上述實施方式4中，將屬於相同的連續圖像區間的所有體腔內圖像提取為處理區間圖像， 提取黏膜區域來生成判定基準。與此相對，也可以構成為將屬於相同的連續圖像區間的體 腔內圖像中的兩張以上的預定張數的體腔內圖像提取為處理區間圖像。此外，在上述各實施方式中，針對從通過膠囊內窺鏡拍攝的體腔內圖像檢測病變 區域的情況進行了說明，但是成為處理的對象的體腔內圖像不限於通過膠囊內窺鏡拍攝的 圖像。例如，也可以設為處理通過內窺鏡等其他醫療設備拍攝的體腔內圖像。此外，在上述各實施方式中，針對將特徵量設為色調和飽和度，作為用於從體腔內 圖像檢測病變區域的判定基準而生成色調方向的判定基準和飽和度方向的判定基準的情 況進行了說明。與此相對，能夠在本發明中適用的特徵量不限於色調和飽和度。例如，也可 以將體腔內圖像的各像素的R值、G值和B值設為特徵量，生成各特徵量的判定基準。或者， 也可以使用與色調和飽和度相當的其他值作為特徵量。例如，求出用G值除以R值的色比 數據(G/R)或用B值除以G值的色比數據(B/G)，將各色比數據設為特徵量來生成判定基 準。此外，此時，也可以將特徵量的判定閾值計算成構成黏膜區域的像素的特徵量的值與作 為檢測對象的病變區域的顏色特性越相似則其值越小，根據所計算的特徵量的判定閾值生 成特徵量的判定基準。此外，在上述實施方式中，針對從體腔內圖像檢測紅色系的病變區域的情況進行 了說明，但是不限於此，如果知道想檢測的病變區域是從黏膜區域的顏色相對向哪個顏色 方向偏離的顏色，則同樣能夠適用。根據本發明，能夠計算與體腔內圖像中的像素或區域對應的特徵量，將特徵量符 合預定的基準的像素或區域提取為活體組織。並且，能夠根據活體組織的特徵量來生成檢 測對象的判定基準，將符合該判定基準的活體組織檢測為檢測對象。因此，能夠高精度地從 體腔內圖像中檢測例如病變區域等檢測對象。
權利要求
一種圖像處理裝置，其特徵在於，上述圖像處理裝置具有圖像取得部，其取得拍攝體腔內而得到的體腔內圖像；特徵量計算部，其計算與所述體腔內圖像中的像素或區域對應的特徵量；活體組織提取部，其將所述特徵量符合預定基準的像素或區域作為活體組織提取；判定基準生成部，其根據所述活體組織的所述特徵量，生成檢測對象的判定基準；以及檢測部，其將符合所述判定基準的活體組織檢測為所述檢測對象。
2.一種圖像處理裝置，其特徵在於，上述圖像處理裝置具有 圖像取得部，其取得連續拍攝體腔內而得到的一系列體腔內圖像；圖像提取部，其從所述一系列體腔內圖像中提取一張以上的體腔內圖像；特徵量計算部，其計算與所述提取出的所述體腔內圖像中的像素或區域對應的特徵量；活體組織提取部，其從所述提取出的所述體腔內圖像中將所述特徵量符合預定基準的 像素或區域作為活體組織提取；判定基準生成部，其根據所述活體組織的所述特徵量，生成檢測對象的判定基準；以及 檢測部，其將符合所述判定基準的活體組織檢測為所述檢測對象。
3.根據權利要求1所述的圖像處理裝置，其特徵在於，上述圖像處理裝置具有分布形 成部，該分布形成部根據所述特徵量求出所述活體組織的特徵量分布，所述判定基準生成部根據所述活體組織的所述特徵量分布、和已知的所述檢測對象的 所述特徵量的特性，生成所述判定基準。
4.根據權利要求3所述的圖像處理裝置，其特徵在於，所述判定基準為特徵空間中的 判定閾值，所述判定基準生成部按照如下方式設定所述判定閾值所述特徵空間中的所述活體組 織的所述特徵量分布位置與所述已知的所述檢測對象的所述特徵量的特性越接近，則設定 與所述活體組織的所述特徵量分布位置越接近的位置的判定閾值。
5.根據權利要求4所述的圖像處理裝置，其特徵在於，所述特徵量為色調和飽和度。
6.根據權利要求5所述的圖像處理裝置，其特徵在於，所述判定基準生成部根據所述 活體組織的所述特徵量分布的色調的值，設定飽和度方向的判定閾值。
7.根據權利要求6所述的圖像處理裝置，其特徵在於，所述活體組織的所述特徵量分 布的色調與已知的所述檢測對象的色調越接近，則所述判定基準生成部將所述飽和度方向 的判定閾值設定得越小。
8.根據權利要求7所述的圖像處理裝置，其特徵在於，所述判定基準生成部依照由使 用了所述活體組織的所述特徵量分布的色調的值的下述式(1)表示的減函數，設定所述飽 和度方向的判定閾值formula see original document page 2(1)其中，式(1)中的Ts為飽和度方向的判定閾值，H為活體組織的特徵量分布的色調的 值，Thl為預定的係數。
9.根據權利要求5所述的圖像處理裝置，其特徵在於，所述判定基準生成部根據所述 活體組織的所述特徵量分布的色調和飽和度的值，設定飽和度方向的判定閾值。
10.根據權利要求9所述的圖像處理裝置，其特徵在於，所述活體組織的所述特徵量分布的色調和飽和度與已知的所述檢測對象的色調和飽和度越接近，則所述判定基準生成部 將所述飽和度方向的判定閾值設定得越小。
11.根據權利要求10所述的圖像處理裝置，其特徵在於，所述判定基準生成部依照由 使用了所述活體組織的所述特徵量分布的色調和飽和度的值的下述式(2)表示的減函數， 設定所述飽和度方向的判定閾值Ts = (1/(_) XThl-SXTsl(2)其中，式(2)中的Ts為飽和度方向的判定閾值，H為活體組織的特徵量分布的色調的 值，S為活體組織的特徵量分布的飽和度的值，Thl, Tsl為預定的係數。
12.根據權利要求5所述的圖像處理裝置，其特徵在於，所述判定基準生成部根據所述 活體組織的所述特徵量分布的色調的值，設定色調方向的判定閾值。
13.根據權利要求12所述的圖像處理裝置，其特徵在於，所述活體組織的所述特徵量 分布的色調與已知的所述檢測對象的色調越接近，則所述判定基準生成部將所述色調方向 的判定閾值設定得越小。
14.根據權利要求13所述的圖像處理裝置，其特徵在於，所述判定基準生成部依照由 使用了所述活體組織的所述特徵量分布的色調的值的下述式(3)表示的減函數，設定所述 色調方向的判定閾值Th = (1/(H+1)) XTh2(3)其中，式(3)中的Th為色調方向的判定閾值，H為活體組織的特徵量分布的色調的值， Th2為預定的係數。
15.根據權利要求5所述的圖像處理裝置，其特徵在於，所述判定基準生成部根據所述 活體組織的所述特徵量分布的色調和飽和度的值，設定色調方向的判定閾值。
16.根據權利要求15所述的圖像處理裝置，其特徵在於，所述活體組織的所述特徵量 分布的色調和飽和度與已知的所述檢測對象的色調和飽和度越接近，則所述判定基準生成 部將所述色調方向的判定閾值設定得越小。
17.根據權利要求16所述的圖像處理裝置，其特徵在於，所述判定基準生成部依照由 使用了所述活體組織的所述特徵量分布的色調和飽和度的值的下述式(4)表示的減函數， 設定所述色調方向的判定閾值Th = (1/(H+1)) XTh2-SXTs2(4)其中，式(4)中的Th為色調方向的判定閾值，H為活體組織的特徵量分布的色調的值， S為活體組織的特徵量分布的飽和度的值，Th^Ts2為預定的係數。
18.根據權利要求3所述的圖像處理裝置，其特徵在於，所述判定基準生成部具有判定基準表記錄部，其在判定基準表中記錄與活體組織的特徵量分布對應的判定基準；以及判定基準表讀出部，其參照所述判定基準表，讀出與通過所述活體組織提取部所提取 的所述活體組織的所述特徵量分布對應的判定基準。
19.根據權利要求2所述的圖像處理裝置，其特徵在於，所述圖像提取部具有區間設定 部，該區間設定部設定提取所述體腔內圖像的區間，所述圖像提取部從所述區間提取所述 一張以上的體腔內圖像。
20.根據權利要求19所述的圖像處理裝置，其特徵在於，所述區間設定部具有臟器種類判別部，該臟器種類判別部為了所述區間的設定，而判別顯現在所述一系列體腔內圖像 中的臟器種類，所述區間設定部根據所述臟器種類來設定所述區間。
21.根據權利要求19所述的圖像處理裝置，其特徵在於，所述區間設定部具有場景變 化檢測部，該場景變化檢測部為了所述區間的設定，而從所述一系列體腔內圖像中檢測場 景變化小的圖像區間，所述區間設定部根據所述場景變化小的圖像區間來設定所述區間。
22.—種圖像處理方法，其特徵在於，該圖像處理方法包括 取得拍攝體腔內而得到的體腔內圖像，計算與所述體腔內圖像中的像素或區域對應的特徵量， 將所述特徵量符合預定基準的像素或區域作為活體組織提取， 根據所述活體組織的所述特徵量，生成檢測對象的判定基準， 將符合所述判定基準的活體組織檢測為所述檢測對象。
全文摘要
本發明提供一種圖像處理裝置以及圖像處理方法，圖像處理裝置(10)具有圖像取得部(11)，其取得拍攝體腔內而得到的體腔內圖像；特徵量計算部(16)，其計算與體腔內圖像中的像素或區域對應的特徵量；活體組織提取部(17)，其將特徵量符合預定基準的像素或區域作為活體組織提取；判定基準生成部(18)，其根據活體組織的特徵量，生成檢測對象的判定基準；以及檢測部(19)，其將符合判定基準的活體組織檢測為檢測對象。
文檔編號A61B5/07GK101803899SQ201010109468
公開日2010年8月18日 申請日期2010年2月12日 優先權日2009年2月16日
發明者北村誠 申請人:奧林巴斯株式會社