圖像處理裝置和該圖像處理裝置中的圖像處理方法

2023-05-01 07:32:51

專利名稱：圖像處理裝置和該圖像處理裝置中的圖像處理方法
技術領域：
本發明涉及圖像處理裝置和該圖像處理裝置中的圖像處理方法，特別是涉及可將 未良好拍攝生物體黏膜表面的像的圖像去除的圖像處理裝置和該圖像處理裝置中的圖像 處理方法。
背景技術：
以往，在醫療領域中，廣泛進行使用X射線、CT、MRI、超聲波觀測裝置以及內窺鏡 裝置等的圖像攝像設備的觀察。在這種圖像攝像設備中，內窺鏡裝置例如具有這樣的作用 和結構，即具有插入作為生物體的體腔內的細長的插入部，使用固體攝像元件等攝像單元 拍攝由配置在該插入部的前端部的物鏡光學系統所成像的體腔內的像並將其作為攝像信 號來輸出，根據該攝像信號在監視器等顯示單元上顯示體腔內的像的圖像。然後，用戶根據 顯示在監視器等顯示單元上的體腔內的像的圖像，進行例如體腔內的臟器等的觀察。並且， 內窺鏡裝置可直接拍攝消化道黏膜的像。因此，用戶可綜合觀察例如黏膜色調、病變形狀以 及黏膜表面的細微結構等的各種情況。而且，近年來，作為可期待具有與所述的內窺鏡裝置大致相同的實用性的圖像攝 像設備，例如提出了膠囊型內窺鏡裝置。一般情況下，膠囊型內窺鏡裝置包括膠囊型內窺 鏡，其通過由被檢者從口腔吞入而配置在體腔內，並將所拍攝的該體腔內的像作為攝像信 號發送到外部；接收器，其在體腔外接收所發送的該攝像信號之後，蓄積所接收的該攝像信 號；以及觀察裝置，其用於觀察基於蓄積在接收器內的攝像信號的體腔內的像的圖像。構成膠囊型內窺鏡裝置的膠囊型內窺鏡伴隨消化道的蠕動運動而前進，因而例如 從口腔進入體腔內之後到從肛門排出一般需要數小時左右的時間。而且，由於膠囊型內窺 鏡在進入體腔內之後到被排出期間，大致總是向接收器持續輸出攝像信號，因而例如數小 時的動態圖像中的蓄積在接收器內的作為幀圖像的靜態圖像的張數變得龐大。因此，在用 戶觀察的高效化方面，例如期望提出這樣的方案，即在執行了檢測所蓄積的圖像中包含有 出血部位等病變部位的規定圖像的圖像處理方法之後，進行不顯示或不存儲該規定圖像以 外的圖像的處理，從而削減圖像的數據量。作為所述的圖像處理方法，例如有PCT國際公開編號W002/073507號公報所記載 的方法。PCT國際公開編號W002/073507號公報所記載的用於檢測生物體內的比色分析異 常的方法是具有如下的方法的圖像處理方法，即著眼於正常黏膜和出血部位之間的色調 差異，根據將色調設定為特徵量的特徵空間上的與各平均值的距離，對圖像的每個分割區 域進行出血部位檢測的方法，即，用於檢測包含有作為病變部位的出血部位的規定圖像的 方法。
5
然而，在PCT國際公開編號W002/073507號公報所記載的圖像處理方法中，具有以 下所述的課題。一般情況下，在消化道中，並不總是僅對生物體黏膜表面的像進行攝像，例如還會 在大小便、氣泡、粘液或食物殘渣等異物的像和生物體黏膜表面的像混合存在的狀態下進 行攝像。因此，在未考慮到所述的異物存在的PCT國際公開編號W002/073507號公報所記 載的圖像處理方法中，例如認為有由於該異物而將正常黏膜誤檢為出血部位的可能性、以 及檢測該異物的像佔大部分的這種圖像的可能性。其結果，產生不能實現用戶觀察的高效 化的課題。

發明內容
本發明是鑑於所述的情況而作成的，本發明的目的是提供如下的圖像處理裝置和 該圖像處理裝置中的圖像處理方法，即例如，通過將作為生物體黏膜表面的像的胃黏膜和 絨毛的像、以及作為異物的像的大小便和氣泡的像按圖像的每個小區域進行識別並分類， 可容易將異物的像佔圖像的小區域的大部分的這種未良好拍攝生物體黏膜表面的像的圖 像作為不需要觀察的圖像去除，而且可根據所述分類結果確定所拍攝的臟器，其結果，可實 現用戶觀察的高效化。並且，本發明的目的是提供如下的圖像處理裝置和該圖像處理裝置中的圖像處理 方法，即通過使用針對被分類為生物體黏膜表面的像的各個區域，進一步根據例如所述各 個區域具有的特徵量來將正常黏膜的像和病變部位的像分類的圖像處理方法，可提高病變 部位的檢測精度。本發明的第1圖像處理裝置的特徵在於，該圖像處理裝置具有圖像信號輸入單 元，其輸入基於由具有攝像功能的醫療設備所拍攝的多個圖像的圖像信號；圖像分割單元， 其根據在所述圖像信號輸入單元中所輸入的圖像信號，將所述多個圖像分別分割為多個區 域；特徵量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的特徵量； 簇分類單元，其根據所述特徵量和所述特徵量的產生頻度，在特徵空間上生成多個簇，並將 該多個簇分別分類為多個類別中的任一方；子集生成單元，其使用所述多個圖像來生成基 於分別拍攝所述多個圖像的定時的多個子集；以及分類基準計算單元，其根據由所述子集 生成單元所生成的一個子集內包含的各個圖像的在所述特徵空間上的所述特徵量的分布 狀態，計算將所述一個子集內包含的圖像分別分類為所述多個類別中的任一方時的分類基 準。本發明的第2圖像處理裝置的特徵在於，在所述第1圖像處理裝置中，所述分類基 準計算單元進一步針對所述多個類別中的在一個子集內未產生所述特徵量的類別，不計算 所述分類基準。本發明的第3圖像處理裝置的特徵在於，在所述第1圖像處理裝置中，所述多個類 別至少具有與生物體黏膜相關的類別和與非生物體黏膜相關的類別。本發明的第4圖像處理裝置的特徵在於，在所述第2圖像處理裝置中，所述多個類 別至少具有與生物體黏膜相關的類別和與非生物體黏膜相關的類別。本發明的第5圖像處理裝置的特徵在於，在所述第3圖像處理裝置中，該圖像處理 裝置還具有分類單元，其根據所述分類基準，進行所述一個子集內包含的一個圖像中的各
6區域的分類；以及病變檢測單元，其根據所述一個圖像的分類結果，在所述一個圖像具有被 分類為與所述生物體黏膜相關的類別的區域的情況下，對該各個區域進行用於檢測病變部 位的處理。本發明的第6圖像處理裝置的特徵在於，在所述第4圖像處理裝置中，該圖像處理 裝置還具有分類單元，其根據所述分類基準，進行所述一個子集內包含的一個圖像中的各 區域的分類；以及病變檢測單元，其根據所述一個圖像的分類結果，在所述一個圖像具有被 分類為與所述生物體黏膜相關的類別的區域的情況下，對該各個區域進行用於檢測病變部 位的處理。本發明的第7圖像處理裝置的特徵在於，該圖像處理裝置具有圖像信號輸入單 元，其輸入基於由具有攝像功能的醫療設備按時序拍攝的多個圖像的圖像信號；圖像分割 單元，其根據在所述圖像信號輸入單元中所輸入的圖像信號，將所述多個圖像分別分割為 多個區域；特徵量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的 特徵量；圖像區域分類單元，其根據所述特徵量將所述多個區域各方分別分割為多個類別 中的任一方；代表值計算單元，其在所述多個圖像各方中計算至少一個類別的特徵量的代 表值；以及變動檢測單元，其檢測所述代表值的變動為極大的圖像或時間的任一方。本發明的第8圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，該圖像處理 裝置還具有平滑化單元，該平滑化單元對所述各個代表值應用時序方向的平滑化，所述變 動檢測單元根據由所述平滑化單元平滑化後的所述代表值，檢測所述代表值的變動為極大 的圖像或時間的任一方。本發明的第9圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，所述代表值 的變動是根據生物體內的觀察部位的變化而產生的。本發明的第10圖像處理裝置的特徵在於，在所述第8圖像處理裝置中，所述代表 值的變動是根據生物體內的觀察部位的變化而產生的。本發明的第11圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，所述代表 值的變動是根據生物體內的大小便的存在而產生的。本發明的第12圖像處理裝置的特徵在於，在所述第8圖像處理裝置中，所述代表 值的變動是根據生物體內的大小便的存在而產生的。本發明的第13圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，所述代表 值的變動是根據生物體內的膽汁的存在而產生的。本發明的第14圖像處理裝置的特徵在於，在所述第8圖像處理裝置中，所述代表 值的變動是根據生物體內的膽汁的存在而產生的。本發明的第15圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，所述代表 值的變動是根據生物體內的病變部位的存在而產生的。本發明的第16圖像處理裝置的特徵在於，在所述第8圖像處理裝置中，所述代表 值的變動是根據生物體內的病變部位的存在而產生的。本發明的第17圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第18圖像處理裝置的特徵在於，在所述第8圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。
本發明的第19圖像處理裝置的特徵在於，在所述第9圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第20圖像處理裝置的特徵在於，在所述第10圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第21圖像處理裝置的特徵在於，在所述第11圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第22圖像處理裝置的特徵在於，在所述第12圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第23圖像處理裝置的特徵在於，在所述第13圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第24圖像處理裝置的特徵在於，在所述第14圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第25圖像處理裝置的特徵在於，在所述第15圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第26圖像處理裝置的特徵在於，在所述第16圖像處理裝置中，所述代表 值是所述多個類別各方中的特徵量的平均值。本發明的第27圖像處理裝置的特徵在於，該圖像處理裝置具有圖像信號輸入單 元，其輸入基於由具有攝像功能的醫療設備所拍攝的圖像的圖像信號；圖像分割單元，其根 據在所述圖像信號輸入單元中所輸入的圖像信號，將所述圖像分別分割為多個區域；特徵 量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的特徵量；簇分類 單元，其根據所述特徵量和所述特徵量的產生頻度，在特徵空間上生成多個簇，並將該多個 簇分別分類為多個類別中的任一方；以及圖像區域分類單元，其根據所述簇分類單元的分 類結果，將所述多個區域分別分類為所述多個類別中的任一方。本發明的第28圖像處理裝置的特徵在於，該圖像處理裝置具有圖像信號輸入單 元，其輸入基於由具有攝像功能的醫療設備所拍攝的圖像的圖像信號；圖像分割單元，其根 據在所述圖像信號輸入單元中所輸入的圖像信號，將所述圖像分別分割為多個區域；特徵 量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的特徵量；簇分類 單元，其根據所述特徵量和所述特徵量的產生頻度，在特徵空間上生成多個簇，並將該多個 簇分別分類為多個類別中的任一方；特徵量分布信息取得單元，其取得與所述特徵空間上 的所述特徵量的分布狀態相關的信息，即特徵量分布信息；以及圖像區域分類單元，其根據 所述特徵量分布信息取得單元所取得的所述特徵量分布信息，將所述多個區域分別分類為 所述多個類別中的任一方。本發明的第29圖像處理裝置的特徵在於，在所述第27圖像處理裝置中，所述圖像 是按時序連續拍攝的多個圖像。本發明的第30圖像處理裝置的特徵在於，在所述第28圖像處理裝置中，所述圖像 是按時序連續拍攝的多個圖像。本發明的第31圖像處理裝置的特徵在於，該圖像處理裝置具有圖像信號輸入單 元，其輸入基於由具有攝像功能的醫療設備所拍攝的圖像的圖像信號；圖像分割單元，其根 據在所述圖像信號輸入單元中所輸入的圖像信號，將所述圖像分別分割為多個區域；特徵
8量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的多種特徵量；第 1簇分類單元，其根據所述多種特徵量中的一種特徵量和該一種特徵量的產生頻度，在一個 特徵空間上生成多個簇，並將該多個簇分別分類為多個類別中的任一方；第2簇分類單元， 其根據所述多種特徵量中的另一種特徵量和該另一種特徵量的產生頻度，在另一個特徵空 間上生成多個簇，並將該多個簇分別分類為多個類別中的任一方；以及簇分割單元，其根據 所述一個特徵空間和所述另一個特徵空間上的特徵量的分布狀態，進行對在所述一個特徵 空間上所生成的多個簇的分割處理。本發明的第32圖像處理裝置的特徵在於，在所述第5圖像處理裝置中，所述病變 檢測單元設置在所述醫療設備內。本發明的第33圖像處理裝置的特徵在於，在所述第6圖像處理裝置中，所述病變 檢測單元設置在所述醫療設備內。本發明的第34圖像處理裝置的特徵在於，在所述第7圖像處理裝置中，所述變動 檢測單元進行檢測所述按時序檢測的代表值的變動為極大的圖像或時間的任一方的處理。本發明的第35圖像處理裝置的特徵在於，在所述第27圖像處理裝置中，該圖像處 理裝置還具有攝像部位判定單元，該攝像部位判定單元在由所述圖像區域分類單元所分類 的區域中的特定區域在所述圖像上佔規定比例以上的情況下，將該圖像判定為是拍攝了特 定臟器的圖像。本發明的第36圖像處理裝置的特徵在於，在所述第28圖像處理裝置中，該圖像處 理裝置還具有攝像部位判定單元，該攝像部位判定單元在由所述圖像區域分類單元所分類 的區域中的特定區域在所述圖像上佔規定比例以上的情況下，將該圖像判定為是拍攝了特 定臟器的圖像。本發明的第1圖像處理裝置中的圖像處理方法的特徵在於，該圖像處理方法具 有圖像分割步驟，其根據基於由具有攝像功能的醫療設備所拍攝的圖像而輸入的圖像信 號，將所述圖像分別分割為多個區域；特徵量計算步驟，其計算由所述圖像分割步驟所分割 的所述多個區域各方中的特徵量；簇分類步驟，其根據所述特徵量和所述特徵量的產生頻 度，在特徵空間上生成多個簇，並將該多個簇分別分類為多個類別中的任一方；子集生成步 驟，其使用所述多個圖像來生成基於分別拍攝所述多個圖像的定時的多個子集；以及分類 基準計算步驟，其根據由所述子集生成步驟所生成的一個子集內包含的各個圖像的在所述 特徵空間上的所述特徵量的分布狀態，計算將所述一個子集內包含的圖像分別分類時的分 類基準。本發明的第2圖像處理裝置中的圖像處理方法的特徵在於，在所述第1圖像處理 裝置中的圖像處理方法中，所述分類基準計算步驟進一步針對所述多個簇中的在一個子集 內未產生所述特徵量的簇，不計算所述分類基準。本發明的第3圖像處理裝置中的圖像處理方法的特徵在於，在所述第1圖像處理 裝置中的圖像處理方法中，所述多個類別至少具有與生物體黏膜相關的類別和與非生物體 黏膜相關的類別。本發明的第4圖像處理裝置中的圖像處理方法的特徵在於，在所述第2圖像處理 裝置中的圖像處理方法中，所述多個類別至少具有與生物體黏膜相關的類別和與非生物體 黏膜相關的類別。
9
本發明的第5圖像處理裝置中的圖像處理方法的特徵在於，在所述第3圖像處理 裝置中的圖像處理方法中，該圖像處理方法還具有分類步驟，其根據所述分類基準進行所 述一個子集內包含的一個圖像中的各區域的分類；以及病變檢測步驟，其根據所述一個圖 像的分類結果，在所述一個圖像具有被分類為與所述生物體黏膜相關的類別的區域的情況 下，對該各個區域進行用於檢測病變部位的處理。本發明的第6圖像處理裝置中的圖像處理方法的特徵在於，在所述第4圖像處理 裝置中的圖像處理方法中，該圖像處理方法還具有分類步驟，其根據所述分類基準進行所 述一個子集內包含的一個圖像中的各區域的分類；以及病變檢測步驟，其根據所述一個圖 像的分類結果，在所述一個圖像具有被分類為與所述生物體黏膜相關的類別的區域的情況 下，對該各個區域進行用於檢測病變部位的處理。本發明的第7圖像處理裝置中的圖像處理方法的特徵在於，該圖像處理方法具 有圖像分割步驟，其根據基於由具有攝像功能的醫療設備所拍攝的圖像而輸入的圖像信 號，將所述圖像分別分割為多個區域；特徵量計算步驟，其計算由所述圖像分割步驟所分割 的所述多個區域各方中的特徵量；圖像區域分類步驟，其根據所述特徵量將所述多個區域 各方分別分割為多個類別中的任一方；代表值計算步驟，其在所述多個圖像各方中計算至 少一個類別的特徵量的代表值；以及變動檢測步驟，其檢測所述代表值的變動為極大的圖 像或時間的任一方。本發明的第8圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處理 裝置中的圖像處理方法中，該圖像處理方法還具有平滑化步驟，該平滑化步驟對所述各個 代表值應用時序方向的平滑化，在所述變動檢測步驟中進行這樣的處理，即根據由所述平 滑化步驟平滑化後的所述代表值，檢測所述代表值的變動為極大的圖像或時間的任一方。本發明的第9圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處理 裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的觀察部位的變化而產生 的。本發明的第10圖像處理裝置中的圖像處理方法的特徵在於，在所述第8圖像處 理裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的觀察部位的變化而產生 的。本發明的第11圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處理 裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的大小便的存在而產生的。本發明的第12圖像處理裝置中的圖像處理方法的特徵在於，在所述第8圖像處理 裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的大小便的存在而產生的。本發明的第13圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處理 裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的膽汁的存在而產生的。本發明的第14圖像處理裝置中的圖像處理方法的特徵在於，在所述第8圖像處理 裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的膽汁的存在而產生的。本發明的第15圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處 理裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的病變部位的存在而產生 的。本發明的第16圖像處理裝置中的圖像處理方法的特徵在於，在所述第8圖像處
10理裝置中的圖像處理方法中，所述代表值的變動是根據生物體內的病變部位的存在而產生 的。本發明的第17圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處理 裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第18圖像處理裝置中的圖像處理方法的特徵在於，在所述第8圖像處理 裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第19圖像處理裝置中的圖像處理方法的特徵在於，在所述第9圖像處理 裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第20圖像處理裝置中的圖像處理方法的特徵在於，在所述第10圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第21圖像處理裝置中的圖像處理方法的特徵在於，在所述第11圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第22圖像處理裝置中的圖像處理方法的特徵在於，在所述第12圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第23圖像處理裝置中的圖像處理方法的特徵在於，在所述第13圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第24圖像處理裝置中的圖像處理方法的特徵在於，在所述第14圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第25圖像處理裝置中的圖像處理方法的特徵在於，在所述第15圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第26圖像處理裝置中的圖像處理方法的特徵在於，在所述第16圖像處 理裝置中的圖像處理方法中，所述代表值是所述多個類別各方中的特徵量的平均值。本發明的第27圖像處理裝置中的圖像處理方法的特徵在於，該圖像處理方法具 有圖像分割步驟，其根據基於由具有攝像功能的醫療設備所拍攝的圖像而輸入的圖像信 號，將所述圖像分別分割為多個區域；特徵量計算步驟，其計算由所述圖像分割步驟所分割 的所述多個區域各方中的特徵量；簇分類步驟，其根據所述特徵量和所述特徵量的產生頻 度，在特徵空間上生成多個簇，並將該多個簇分別分類為多個類別中的任一方；以及圖像區 域分類步驟，其根據所述簇分類步驟的分類結果，將所述多個區域分別分類為所述多個類 別中的任一方。本發明的第28圖像處理裝置中的圖像處理方法的特徵在於，該圖像處理方法具 有圖像分割步驟，其根據基於由具有攝像功能的醫療設備所拍攝的圖像而輸入的圖像信 號，將所述圖像分別分割為多個區域；特徵量計算步驟，其計算由所述圖像分割步驟所分割 的所述多個區域各方中的特徵量；簇分類步驟，其根據所述特徵量和所述特徵量的產生頻 度，在特徵空間上生成多個簇，並將該多個簇分別分類為多個類別中的任一方；特徵量分布 信息取得步驟，其取得與所述特徵空間上的所述特徵量的分布狀態相關的信息，即特徵量 分布信息；以及圖像區域分類步驟，其根據由所述特徵量分布信息取得步驟所取得的所述 特徵量分布信息，將所述多個區域分別分類為所述多個類別中的任一方。本發明的第29圖像處理裝置中的圖像處理方法的特徵在於，在所述第27圖像處 理裝置中的圖像處理方法中，所述圖像是按時序連續拍攝的多個圖像。
11
本發明的第30圖像處理裝置中的圖像處理方法的特徵在於，在所述第28圖像處 理裝置中的圖像處理方法中，所述圖像是按時序連續拍攝的多個圖像。本發明的第31圖像處理裝置中的圖像處理方法的特徵在於，該圖像處理方法具 有圖像分割步驟，其根據基於由具有攝像功能的醫療設備所拍攝的圖像而輸入的圖像信 號，將所述圖像分別分割為多個區域；特徵量計算步驟，其計算由所述圖像分割步驟所分割 的所述多個區域各方中的多種特徵量；第1簇分類步驟，其根據所述多種特徵量中的一種 特徵量和該一種特徵量的產生頻度，在一個特徵空間上生成多個簇，並將該多個簇分別分 類為多個類別中的任一方；第2簇分類步驟，其根據所述多種特徵量中的另一種特徵量和 該另一種特徵量的產生頻度，在另一個特徵空間上生成多個簇，並將該多個簇分別分類為 多個類別中的任一方；以及簇分割步驟，其根據所述一個特徵空間和所述另一個特徵空間 上的特徵量的分布狀態，進行對在所述一個特徵空間上所生成的多個簇的分割處理。本發明的第32圖像處理裝置中的圖像處理方法的特徵在於，在所述第5圖像處理 裝置中的圖像處理方法中，所述病變檢測步驟是在所述醫療設備內進行的。本發明的第33圖像處理裝置中的圖像處理方法的特徵在於，在所述第6圖像處理 裝置中的圖像處理方法中，所述病變檢測步驟是在所述醫療設備內進行的。本發明的第34圖像處理裝置中的圖像處理方法的特徵在於，在所述第7圖像處理 裝置中的圖像處理方法中，所述變動檢測步驟進行檢測所述按時序檢測的代表值的變動為 極大的圖像或時間的任一方的處理。本發明的第35圖像處理裝置中的圖像處理方法的特徵在於，在所述第27圖像處 理裝置中的圖像處理方法中，該圖像處理方法還具有攝像部位判定步驟，該攝像部位判定 步驟在由所述圖像區域分類步驟所分類的區域中的特定區域在所述圖像上佔規定比例以 上的情況下，將該圖像判定為是拍攝了特定臟器的圖像。本發明的第36圖像處理裝置中的圖像處理方法的特徵在於，在所述第28圖像處 理裝置中的圖像處理方法中，該圖像處理方法還具有攝像部位判定步驟，該攝像部位判定 步驟在由所述圖像區域分類步驟所分類的區域中的特定區域在所述圖像上佔規定比例以 上的情況下，將該圖像判定為是拍攝了特定臟器的圖像。


圖1是示出作為本發明的第1實施方式的進行圖像處理動作的圖像處理裝置和周 邊設備的外觀的外觀正面圖。圖2是將生成在第1實施方式的圖像處理裝置中處理的規定的圖像信息的膠囊型 內窺鏡的一部分切取來示出的要部放大截面圖。圖3是示出將規定的圖像信息提供給第1實施方式的圖像處理裝置的膠囊型內窺 鏡裝置的概要內部結構的框圖。圖4是示出將規定的圖像信息提供給第1實施方式的圖像處理裝置的膠囊型內窺 鏡裝置的一個使用例的圖。圖5是示出從圖2所示的膠囊型內窺鏡輸出的信號的一例的時序圖。圖6是說明圖2所示的膠囊型內窺鏡的位置檢測的說明圖。圖7是示出在使用圖3所示的膠囊型內窺鏡裝置時的天線單元的要部放大截面圖。圖8是說明在使用圖3所示的膠囊型內窺鏡裝置時的屏蔽夾克的說明圖。圖9是說明圖3所示的膠囊型內窺鏡裝置的外部裝置安裝在被檢體上的狀態的說 明圖。圖10是示出圖2所示的膠囊型內窺鏡的電氣結構的框圖。圖11是示出第1實施方式所涉及的圖像處理動作的流程圖。圖12是示出通過由控制部進行的處理而生成的在特徵空間上的直方圖的一例的 圖。圖13是示出通過由控制部進行的處理而生成的在特徵空間上的簇(cluster)的 一例的圖。圖14是示出圖13所示的簇中的在特徵空間上的面積或體積小於規定閾值的簇被 刪除的狀況的圖。圖15是示出由控制部進行的處理，即邊界相接的2個以上的簇的合併或分離判定 處理的一例的流程圖。圖16是示出被分類為胃黏膜類別和絨毛類別的區域具有的特徵量μ gp的每個子 集的在時間方向的變化的曲線圖。圖17是在圖16的曲線圖所示的特徵量μ gp時進行朝時間方向的平滑化處理的 情況的曲線圖。圖18是示出由控制部進行的處理，即病變檢測處理的一例的流程圖。圖19是示出第2實施方式所涉及的圖像處理動作的流程圖。圖20是示出在第2實施方式中通過由控制部進行的處理而生成的在特徵空間上 的直方圖的一例的圖。圖21是示出在第2實施方式中通過由控制部進行的處理而生成的在特徵空間上 的簇的一例的圖。圖22是示出圖21所示的簇中的在特徵空間上的面積或體積小於規定閾值的簇被 刪除的狀況的圖。圖23是示出由控制部進行的處理，即邊界相接的2個以上的簇的合併或分離判定 處理的一例的流程圖。圖24是示出圖19所示的圖像處理動作的變形例的流程圖。圖25是示出第3實施方式所涉及的圖像處理動作的流程圖。圖26是示出接在圖25所示的處理後進行的圖像處理動作的流程圖。圖27是示出在第3實施方式中通過由控制部進行的處理而生成的在特徵空間上 的直方圖的一例的圖。圖28是示出在第3實施方式中通過由控制部進行的第2無教師聚簇處理而生成 的在特徵空間上的簇的一例的圖。圖29是示出在第3實施方式中通過由控制部進行的第1無教師聚簇處理而生成 的在特徵空間上的簇的一例的圖。圖30是示出在第3實施方式中通過由控制部進行的簇分割處理而將圖29所示的 簇C分割為簇Cl和簇C2的狀態的圖。
1具體實施例方式以下參照

本發明的實施方式。(第1實施方式)圖1至圖18涉及本發明的第1實施方式。圖1是示出作為本發明的第1實施方式的進行圖像處理動作的圖像處理裝置和周 邊設備的外觀的外觀正面圖。圖2是將生成在第1實施方式的圖像處理裝置中處理的規定 的圖像信息的膠囊型內窺鏡的一部分切取來示出的要部放大截面圖。圖3是示出將規定的 圖像信息提供給第1實施方式的圖像處理裝置的膠囊型內窺鏡裝置的概要內部結構的框 圖。圖4是示出將規定的圖像信息提供給第1實施方式的圖像處理裝置的膠囊型內窺鏡裝 置的一個使用例的圖。圖5是示出從圖2所示的膠囊型內窺鏡輸出的信號的一例的時序圖。 圖6是說明圖2所示的膠囊型內窺鏡的位置檢測的說明圖。圖7是示出在使用圖3所示的 膠囊型內窺鏡裝置時的天線單元的要部放大截面圖。圖8是說明在使用圖3所示的膠囊型 內窺鏡裝置時的屏蔽夾克的說明圖。圖9是說明圖3所示的膠囊型內窺鏡裝置的外部裝置 安裝在被檢體上的狀態的說明圖。圖10是示出圖2所示的膠囊型內窺鏡的電氣結構的框 圖。圖11是示出第1實施方式所涉及的圖像處理動作的流程圖。圖12是示出通過由控制 部進行的處理而生成的在特徵空間上的直方圖的一例的圖。圖13是示出通過由控制部進 行的處理而生成的在特徵空間上的簇的一例的圖。圖14是示出圖13所示的簇中的在特徵 空間上的面積或體積小於規定閾值的簇被刪除的狀況的圖。圖15是示出由控制部進行的 處理，即邊界相接的2個以上的簇的合併或分離判定處理的一例的流程圖。圖16是示出被 分類為胃黏膜類別和絨毛類別的區域具有的特徵量ygp的每個子集的在時間方向的變化 的曲線圖。圖17是在圖16的曲線圖所示的特徵量μ gp時進行朝時間方向的平滑化處理 的情況的曲線圖。圖18是示出由控制部進行的處理，即病變檢測處理的一例的流程圖。如圖3所示，向作為本發明的第1實施方式的圖像處理裝置提供規定的圖像信息 的膠囊型內窺鏡裝置1的要部構成為具有膠囊型內窺鏡3、天線單元4以及外部裝置5。作為醫療設備的膠囊型內窺鏡3形成為如下的形狀，即在從作為被檢體的患者 2的口腔被吞入體腔內而配置在體腔內之後，通過蠕動運動在消化道內前進，而且膠囊型內 窺鏡3在內部具有對體腔內進行攝像並生成該攝像圖像信息的攝像功能，以及將該攝像 圖像信息發送到體外的發送功能，詳情在後面描述。天線單元4具有多個接收天線11，這些 多個接收天線11設置在患者2的身體表面上，並接收從所述膠囊型內窺鏡3發送的攝像圖 像信息，詳情在後面描述。外部裝置5的外形形成為箱形形狀，外部裝置5具有對所述天線 單元4接收到的攝像圖像信息進行各種處理、記錄攝像圖像信息以及利用攝像圖像信息顯 示攝像圖像等的功能，詳情在後面描述。在該外部裝置5的封裝表面上設置有顯示所述攝 像圖像的液晶監視器12，以及進行各種功能的操作指示的操作部13。並且，在該外部裝置5的封裝表面上設置有用於進行與驅動電源用的電池剩餘 量相關的警告顯示的LED，以及由電源開關等的開關構成的操作部13。並且，在膠囊型內窺 鏡3的內部設置有使用了 CPU和存儲器的運算執行部，例如在該運算執行部中可以構成為 對所接收和記錄的攝像圖像信息執行後述的圖像處理。該外部裝置5可自由拆裝地安裝在患者2的身體上，並且如圖1所示，通過安裝在支座6上，可自由拆裝地與作為本發明的第1實施方式的圖像處理裝置(以下記為終端裝 置)7連接。該終端裝置7例如使用個人計算機，其具有具有各種數據的處理功能和存儲 功能的終端主體9，各種操作處理輸入用的鍵盤8a和滑鼠8b，以及顯示各種處理結果的顯 示器Sc。該終端裝置7例如具有進行如下的圖像處理的功能來作為基本功能，即通過支座 6取入記錄在所述外部裝置5內的攝像圖像信息，將其寫入並記錄在內置於終端主體9內的 可改寫存儲器或者可在終端主體9上自由拆裝的可改寫半導體存儲器等可攜式存儲器內， 並將該記錄的攝像圖像信息顯示在顯示器8c上。另外，存儲在所述外部裝置5內的攝像圖 像信息也可以不通過所述支座6，而通過USB電纜等被取入到終端裝置7。另外，終端裝置7進行的圖像處理，例如，作為根據從所述外部裝置5取入並記錄 的攝像圖像信息選擇對應於經過時間而顯示的圖像的處理、以及後述的圖像處理，在終端 主體9具有的控制部9a中執行。控制部9a具有CPU(中央處理裝置)等，例如在進行所述 的處理的情況下，可將處理結果暫時保持在未作圖示的寄存器等內。下面使用圖2說明所述膠囊型內窺鏡3的外形和內部結構。膠囊型內窺鏡3具有 截面為U字狀的封裝構件14和大致半球形狀的罩構件14a，該罩構件14a藉助粘接劑以水 密方式安裝在該封裝構件14的前端側的開放端上並由透明構件形成。因此，膠囊型內窺鏡 3的封裝形成為，在封裝構件14和罩構件14a連接的狀態下具有水密結構和膠囊形狀。在具有該封裝構件14和罩構件14a的膠囊形狀的內部中空部、而且是相當於所述 罩構件14a的半球的圓弧的大致中央的部分上配置有取入經由罩構件14a所射入的觀察部 位像的物鏡15，該物鏡15被收納在鏡頭框16內。在該物鏡15的成像位置配置有作為攝像 元件的電荷耦合元件(以下記為CCD) 17。並且，在收納所述物鏡15的鏡頭框16的周圍，在 同一平面上配置有發出並放射照明光的4個白色系的LED 18(圖中僅示出2個LED)。在 所述CCD 17的後端側的所述封裝構件14的內部中空部配置有處理電路19，其進行驅動 控制所述CCD 17來生成光電轉換後的攝像信號，並對該攝像信號實施規定的信號處理來 生成攝像圖像信號的攝像處理，以及控制所述LED 18的點亮/不點亮的動作的LED驅動處 理；通信處理電路20，其將通過該處理電路19的攝像處理所生成的攝像圖像信號轉換為無 線信號來發送；發送天線23，其將來自該通信處理電路20的無線信號發送到外部；以及多 個紐扣型電池21，其提供所述處理電路19和通信處理電路20的驅動用電源。另外，CXD 17、LED 18、處理電路19、通信處理電路20以及發送天線23配置在未 作圖示的基板上，這些基板之間通過未作圖示的撓性基板連接。並且，在所述處理電路19 上具有用於進行後述的圖像處理的未作圖示的運算電路。即，如圖3所示，所述膠囊型內窺 鏡3具有具有所述CXD 17、LED 18和處理電路19的攝像裝置43，具有所述通信處理電路 20的發送器37，以及發送天線23。下面使用圖10說明所述膠囊型內窺鏡3的攝像裝置43的詳細結構。攝像裝置 43包括LED驅動器18A，其控制LED 18的點亮/不點亮動作；CXD驅動器17A，其用於控制 CXD 17的驅動來傳送光電轉換後的電荷；處理電路19A，其使用從所述CXD 17所傳送的電 荷來生成攝像信號，並對該攝像信號實施規定的信號處理來生成攝像圖像信號；開關部，其 將來自電池21的驅動電源提供給所述LED驅動器18A、(XD驅動器17A、處理電路19A和發 送器37 ；以及定時發生器19B，其將定時信號提供給所述開關部和CCD驅動器17A。另外， 所述開關部包括開關19C，其接通/斷開從電池21向所述LED驅動器18A的電源供給；開關19D，其接通/斷開向所述CXD 17、CXD驅動器17A和處理電路19A的電源供給；以及開 關19E，其接通/斷開向所述發送器37的電源供給。並且，從電池21總是向所述定時發生 器19B提供驅動電源。在具有這種結構的膠囊型內窺鏡3的攝像裝置43中，在開關19C、開關19D、開關 19E處於斷開狀態的情況下，定時發生器19B以外的各部處於非動作狀態。然後，當從定時 發生器19B輸出了定時信號時，所述開關19D接通，由此，由電池21提供了電源的CXD 17、 CXD驅動器17A和處理電路19A處於動作狀態。在所述CCD 17的驅動初始時，使CCD 17的電子快門動作，去除不需要的暗電流， 之後，定時發生器19B接通開關19C，驅動LED驅動器18A，點亮LED 18，使CXD 17曝光。LED 18在點亮了 CCD 17的曝光所需要的規定時間之後，為了降低消耗功率，在開關19C斷開的 定時熄滅。在進行了所述CXD 17的曝光的所述規定時間內所蓄積的電荷通過CXD驅動器17A 的控制被傳送到處理電路19A。處理電路19A根據從CXD 17所傳送的電荷生成攝像信號， 對該攝像信號實施規定的信號處理來生成內窺鏡圖像信號。例如在從發送器37發送的信 號是模擬無線方式的情況下，處理電路19A生成將複合同步信號重疊在CDS輸出信號上的 模擬攝像信號，之後將該模擬攝像信號作為內窺鏡圖像信號輸出到發送器37。並且，例如在 從發送器37發送的信號是數字無線方式的情況下，處理電路19A生成數字攝像圖像信號， 並將該數字攝像信號作為內窺鏡圖像信號輸出到發送器37，該數字攝像圖像信號是對由模 擬/數字轉換器所生成的串行數位訊號進一步實施擾碼等編碼處理而得到的。該發送器37對從所述處理電路19A所提供的內窺鏡圖像信號，即模擬攝像圖像信 號或數字攝像圖像信號實施調製處理，並從發送天線23無線發送到外部。此時，開關19E 通過定時發生器19B進行接通/斷開，以便僅在從所述處理電路19A輸出了攝像圖像信號 的定時向發送器37提供驅動電力。另外，開關19E也可以被控制成，在從處理電路19A輸出攝像圖像信號起經過規定 時間後，向發送器37提供驅動電力。並且，開關19E也可以具有如下的結構，即開關19E 被控制成，根據由設置在膠囊型內窺鏡3上的未作圖示的pH傳感器進行的規定值的pH值 檢測、由未作圖示的溼度傳感器進行的規定值以上的溼度檢測、由未作圖示的壓力傳感器 或未作圖示的加速度傳感器進行的規定值以上的壓力或加速度檢測等的檢測結果，利用從 定時發生器19B輸出的信號，在插入到作為被檢體的患者2的體腔內時，向發送器37提供 電源。另外，所述膠囊型內窺鏡3的攝像裝置43通常每秒拍攝2張圖像(每秒2幀= 2fps)，然而例如在食道檢查的情況下，可每秒拍攝15 30張圖像(15fps 30fps)。具 體地說，在膠囊型內窺鏡3上設置未作圖示的定時器電路，利用該定時器電路控制攝像裝 置43的驅動，以便例如定時器計時在規定時間以內進行每秒攝像張數較多的高速攝像，並 在經過了規定時間後，進行每秒攝像張數較少的低速攝像。或者，還可以在膠囊型內窺鏡3 的電源接通的同時使定時器電路動作，利用該定時器電路控制攝像裝置43的驅動，以便例 如在患者2剛剛吞入之後直到通過食道的時間內進行高速攝像。還可以分別設置低速攝像 用膠囊型內窺鏡和高速攝像用膠囊型內窺鏡，根據觀察對象部位分開使用。下面說明設置在所述患者2的身體表面上的天線單元4。如圖4所示，在吞入膠囊
16型內窺鏡3進行內窺鏡檢查的情況下，患者2穿上設置有由多個接收天線11構成的天線單 元4的夾克10。如圖7所示，該天線單元4例如將用於GPS的片狀天線(Patch Antenna) 那樣的具有單向指向性的多個接收天線11配置成使其指向性朝向患者2的身體內方向。 即，由於膠囊型內窺鏡3的膠囊主體3D留置在身體內，因而所述多個天線11配置成包圍該 身體內的膠囊主體3D。通過使用該指向性高的天線11，不容易受到由來自身體內的膠囊主 體3D以外的電波引起的幹擾妨礙的影響。如圖8所示，所述夾克10包括設置在患者2的身體表面上的所述天線單元4，以 及由電磁屏蔽纖維形成以覆蓋通過皮帶設置在患者2的腰上的外部裝置5的主體部5D的 屏蔽夾克72。形成該屏蔽夾克72的電磁屏蔽纖維可使用金屬纖維、金屬化學纖維、含硫化 銅的纖維等。另外，該屏蔽夾克72不限於夾克形狀，例如也可以是馬甲、連衣裙形狀等。並且，作為將所述外部裝置5安裝在所述屏蔽夾克72上的例子，如圖9所示，在所 述外部裝置5的外部主體5D上設置鑰匙孔74，通過將設置在所述屏蔽夾克72上的鑰匙75 插入所述鑰匙孔74，可自由拆裝地安裝在皮帶73上。或者，也可以只在屏蔽夾克72上設置 未作圖示的口袋，將外部主體5D收納在該口袋內，或者在外部裝置5的外部主體5D和屏蔽 夾克72上設置魔術貼(magic tape，註冊商標)，利用該魔術貼(註冊商標)來安裝固定。S卩，通過將屏蔽夾克72安裝在配置有天線單元4的身體上，對天線單元4屏蔽來 自外部的電波，從而更不容易受到由外部電波引起的幹擾妨礙的影響。下面使用圖3說明所述天線單元4和外部裝置5的結構。所述天線單元4包括 接收從所述膠囊型內窺鏡3的發送天線23所發送的無線信號的多個接收天線Ila lld， 以及切換該天線Ila Ild的天線切換開關45。所述外部裝置5包括接收電路33，其進 行將來自天線切換開關45的無線信號轉換為攝像圖像信號並將其放大等接收處理；信號 處理電路35，其對從該接收電路33所提供的攝像圖像信號實施規定的信號處理，生成攝像 圖像的顯示用信號和攝像圖像數據；液晶監視器12，其根據由該信號處理電路35所生成的 攝像圖像顯示用信號顯示攝像圖像；存儲器47，其存儲由所述信號處理電路35所生成的攝 像圖像數據；以及天線選擇電路46，其根據由所述接收電路33進行了接收處理後的無線信 號的大小控制所述天線切換開關45。在所述天線單元4的圖中作為接收天線Ila Ild所示的多個接收天線11接收 從所述膠囊型內窺鏡3的發送天線23以一定的電波強度所發送的無線信號。該多個接收 天線Ila Ild利用來自所述外部裝置5的天線選擇電路46的天線選擇信號來控制天線 切換開關45，依次切換接收所述無線信號的接收天線。S卩，由通過所述天線切換開關45依 次切換的各接收天線Ila d所接收的無線信號被輸出到所述接收器33。在該接收器33 中，檢測各接收天線Ila Ild的無線信號的接收強度，計算各接收天線Ila Ild與膠囊 型內窺鏡3的位置關係，並對該無線信號進行解調處理來將攝像圖像信號輸出到信號處理 電路35。所述天線選擇電路46由來自所述接收器33的輸出來控制。對由所述天線選擇電路46實現的天線切換開關45的動作進行說明。假定如圖5 所示，從所述膠囊型內窺鏡3發送的無線信號在攝像圖像信號的1幀發送期間內，依次重複 作為表示無線信號的接收強度的接收強度信號的發送期間的強度接收期間和作為攝像圖 像信號的發送期間的影像信號期間來發送。所述天線選擇電路46經由所述接收電路33被提供由各接收天線Ila Ild所接收的接收強度信號的接收強度。所述天線選擇電路46將從所述接收器33所提供的各天線 Ila Ild的接收強度信號的強度進行比較，決定接收影像信號期間的攝像圖像信號的最 佳接收天線，即接收強度信號的強度最高的天線Ili (i = a d)，生成並輸出用於將天線切 換電路45切換為該天線Ili的控制信號。由此，在其他天線的接收強度信號的接收強度比 當前接收圖像信號的天線高的情況下，從下一幀切換影像信號期間的接收天線。這樣，每當接收來自膠囊型內窺鏡3的無線信號時，將攝像圖像信號或接收強度 信號的接收強度進行比較，利用接收到該比較結果的天線選擇電路46來將接收強度為最 大的天線Ili指定為圖像信號接收用的天線。由此，即使膠囊型內窺鏡3在患者2的體內 移動，也能接收利用可檢測在該移動位置接收強度最高的信號的天線11所取得的圖像信 號。並且，由於體內的膠囊型內窺鏡3的移動速度分為非常慢的部分和快的部分，因而不一 定對於1次攝像動作總是進行1次天線切換動作，可以在高速攝像模式等中對於多次攝像 動作進行1次天線切換動作。另外，膠囊型內窺鏡3由於在患者2的體內移動，因而可以按適當的時間間隔從外 部裝置5發送作為檢測到電波強度的結果的檢測結果信號，並根據該信號更新在膠囊型內 窺鏡3進行發送時的其輸出。這樣，即使在膠囊型內窺鏡3在患者2的體內移動的情況下， 也能設定為適當的發送輸出，可防止無為地消耗電池21的能量，從而可將信號的收發狀態 維持在適當的狀態。下面使用圖6說明表示所述多個接收天線11和膠囊型內窺鏡3的位置關係的信 息的取得方法。另外，在圖6中，以將膠囊型內窺鏡3設定在3維坐標X、Y、Z的原點的情 況為例進行說明。並且，為了簡化說明，使用所述多個接收天線Ila Ild中的3個接收天 線lla、llb、llc，設接收天線Ila與接收天線lib之間的距離為Dab，設接收天線lib與接 收天線Ilc之間的距離為Dbc，設接收天線Ila與接收天線Ilc之間的距離為Dac。而且， 設該接收天線Ila Ilc與膠囊型內窺鏡3之間具有規定的距離關係。由膠囊型內窺鏡3所發送的一定發送強度的無線信號由各接收天線Ilj (j = a、 b、c)接收到的情況下的接收強度為距膠囊型內窺鏡3 (膠囊型內窺鏡3的發送天線23)的 距離Li (i = a、b、c)的函數。具體來說，依賴於伴隨電波衰減量的距離Li。因此，根據從 膠囊型內窺鏡3所發送的無線信號由接收天線Ilj接收的接收強度來計算膠囊型內窺鏡3 與各接收天線Ilj之間的距離Li。為了計算該距離Li，將基於所述膠囊型內窺鏡3與接收 天線Ilj之間的距離的電波衰減量等的關係數據事先設定在所述天線選擇電路46內。並 且，將表示該計算出的膠囊型內窺鏡3與各接收天線Ilj的位置關係的距離數據作為膠囊 型內窺鏡3的位置信息存儲在所述存儲器47內。根據存儲在該存儲器47內的攝像圖像信 息和膠囊型內窺鏡3的位置信息，在所述終端裝置7的後述圖像信息處理方法中，對內窺鏡 觀察結果的位置設定是有用的。下面對第1實施方式的圖像處理裝置中的圖像處理動作進行說明。另外，在第1實施方式中，假定由膠囊型內窺鏡3所拍攝的體腔內的像的圖像由χ 軸方向的點數ISXXy軸方向的點數ISY(是滿足1彡ISX, 1彡ISY的值，例如，ISX = 300， ISY = 300)、R (紅)G (綠)B (藍)的3個平面構成，並且各平面中的各像素作為濃度值即 RGB值分別取8bit，即0至255的值。並且，在本發明的第1實施方式中，假定將按時序連 續拍攝的N張圖像(KN)中的第i個圖像表示為彡N)。而且，在第1實施方式中，假定將圖像Ii的各平面中的第ν個像素(1 ^ V^ ISXX ISY)分別表示為riv、giv和
bivo並且，第1實施方式的圖像處理裝置中的圖像處理動作作為所述的終端裝置7的 終端主體9具有的控制部9a中的處理來進行。首先，控制部9a根據預先設定在終端裝置7中的抽樣值k(k= 1,2,…)，在由膠 囊型內窺鏡3按時序連續拍攝的N張圖像中，進行每第k個圖像Ik、I2k、…、Ink(假定nk 是滿足1彡nk彡N的整數)的抽樣(圖11的步驟Si)。例如，在膠囊型內窺鏡3每秒拍攝 2張圖像且抽樣值k被設定為20的情況下，控制部9a在由膠囊型內窺鏡3所拍攝的N張圖 像中，對從攝像開始時間起每經過10秒的圖像一張一張地進行抽樣。然後，控制部9a將所抽樣的(N/k)張(假定N/k是捨去小數部分的整數)圖像 Ink設定為抽樣圖像組，之後對該抽樣圖像組的圖像Ink各方進行以下所述的處理。另外， 所述抽樣圖像組除了(N/k)張圖像Ink以外，還可以由包含第1個圖像Il的(n+1)張圖像 構成。控制部9a對構成所輸入的圖像Ink的Rnk、Gnk和Bnk的各平面進行預處理，例如 中值濾波的除噪和逆Y校正，並且為了將光暈像素和暗部像素從以後的處理對象中除去， 通過基於閾值的處理進行檢測(圖11的步驟S2)。然後，基於所述閾值的處理例如作為這 樣的處理來進行，即當rnkv、gnkv和bnkv的濃度值全部是小於等於10的值時，視為暗部 像素，並且當rnkv、gnkv和bnkv的濃度值全部是大於等於230的值時，視為光暈像素。控制部9a將所輸入的圖像Ink例如分割為8X8的多個矩形區域(圖11的步驟 S3)。另外，在以下說明中，假定將在控制部9a中所分割的矩形區域中的一個區域表示為 Hp (ρ是大於等於1的整數)。之後，控制部9a計算由基於圖像Ink的各個區域Hp中的各像素的RGB值的比的 值、即gnkv/rnkv的平均值(以下表示為μ gp)和bnkv/gnkv的平均值(以下表示為μ bp) 構成的表示圖像色度的2個特徵量(圖11的步驟S4)。然後，控制部9a將在各區域Hp中所得到的特徵量μ gp和ybp分別離散化，並生 成基於離散化後的特徵量μ gp和μ bp的產生頻度的在特徵空間上的直方圖(圖11的步 驟S5)。具體地說，控制部9a是通過如下方式進行離散化和直方圖的生成的，即將特徵量 μ gp和μ bp的值例如用作使大於等於1的值全部為1、同時分別取0至1的值的值，並且 將作為0至1的值的特徵量μ gp和μ bp乘以80倍的值化整成整數值。控制部9a通過將例如規定尺寸的平均值濾波器應用於離散化後的特徵量μ gp和 μ bp各方，來將直方圖平滑化(圖11的步驟S6)。另外，由控制部9a通過進行以上的處理 而生成的直方圖例如如圖12所示。然後，控制部9a在通過對作為抽樣圖像組的(N/k)張圖像全部進行所述的處理而 生成的直方圖中，檢測產生頻度極大的(ygp，ybp)的要素，即峰值點(圖Ii的步驟S7)。 具體地說，控制部9a在所生成的直方圖中提取由一個要素和該一個要素的8個近鄰要素構 成的9個要素，之後將所提取的該9個要素中的產生頻度為最大的要素檢測為峰值點。控制部9a在所生成的直方圖中，通過使用作為基於梯度(gradient)矢量的分析 方法的例如尋谷(Valley-Seeking)法來確定(ygp，μ bp) = (0,0)以外的各要素是朝向 所檢測的各峰值點中的哪個峰值點的要素(圖11的步驟S8)。然後，控制部9a進行將朝向同一峰值點的具有梯度矢量的要素作為屬於同一簇的要素的處理，即針對直方圖內的各要 素的無教師聚簇處理(圖11的步驟S9)。另外，控制部9a通過進行無教師聚簇處理而生成 的各簇例如如圖13所示。另外，控制部9a在所述的無教師聚簇處理中檢測出2個以上的簇的邊界相接的情 況下，可以進一步進行以下所述的該2個以上的簇的合併或分離判定處理。在該情況下，控制部9a通過在所生成的各簇中的包含8個近鄰要素的9個要素中 提取包含2個以上的簇的要素，S卩，通過提取屬於2個以上的簇的邊界的要素，來判定為該2 個以上的簇相接(圖15的步驟S21)。然後，控制部9a提取屬於成為處理對象的所述2個 以上的簇的邊界的所述各要素中的產生頻度為最小的一個要素，將該一個要素中的產生頻 度設定為μ mini (圖15的步驟S22)。並且，控制部9a提取成為處理對象的所述2個以上 的簇中的各峰值點中產生頻度為最大的一個峰值點，將該一個峰值點中的產生頻度設定為 μ maxl (圖 15 的步驟 S23)。控制部9a在提取了 μ mini和μ maxl之後，進行μ mini/μ maxl的值與閾值μ thr 的比較。然後，控制部9a在檢測出μ mini/μ maxl的值大於閾值μ thr的情況下(圖15的 步驟S24)，將成為處理對象的所述2個以上的簇分別判定為不同的簇，使該2個以上的簇處 於分離狀態(圖15的步驟S25)。並且，控制部9a在檢測出μ mini/μ maxl的值小於等於 閾值μ thr的情況下(圖15的步驟S24)，判定為成為處理對象的所述2個以上的簇屬於同 一簇，並將該2個以上的簇合併，生成將產生頻度μ maxl的峰值點用作新的峰值點的合併 後的簇(圖15的步驟S26)。另外，假定所述的閾值μ thr在第1實施方式中例如是0. 1。控制部9a在進行了所述的無教師聚簇處理(圖11的步驟S9所示的處理)之後， 針對所生成的各簇，取得該各簇的簇信息(圖11的步驟S10)。另外，控制部9a取得的簇信 息例如是簇編號、該各簇的成為峰值點的要素、該各簇分別在特徵空間上的面積和體積、以 及該各簇中的特徵量μ gp和μ bp的平均值矢量之簇的信息。之後，控制部9a根據所取得的簇信息，例如如圖14所示，刪除特徵空間上的面積 或體積小於規定閾值的簇(圖11的步驟S11)。然後，控制部9a通過使用根據特徵空間上剩餘的各簇中的特徵量μ gp和μ bp的 平均值矢量和教師數據集所生成的例如線性判別函數或基於貝葉斯定理的函數等的識別 器，來判定特徵空間上剩餘的各簇屬於哪個類別(圖11的步驟S12)。另外，在第1實施方 式中，假定所述類別是由胃黏膜、絨毛、大小便和氣泡構成的4個類別。並且，在第1實施方 式中，假定所述教師數據集是構成所述4個類別的教師數據的多個圖像。然後，控制部9a將特徵空間上剩餘的各簇分類為胃黏膜、絨毛、大小便和氣泡這4 個類別，並將不能分類為該4個類別的簇分類為不明類別(圖11的步驟S13)。這裡，以下詳述圖11的步驟S12和步驟S13所示的處理的具體例。另外，假定控 制部9a對特徵空間上剩餘的所有簇分別進行以下所述的處理。在所述4個類別的識別和分類中，設一個類別coa(a = 1、2、…、C，C表示類別數) 產生的先驗概率為P( a)，設根據特徵空間上剩餘的各簇中的特徵量ygp和μ bp所決定 的特徵矢量為X，設基於來自所有類別的特徵矢量1的產生概率的概率密度函數為P (x)， 設基於來自一個類別的特徵矢量χ的產生概率的狀態依賴概率密度(多變量正規概 率密度)函數為P(ll a)，則用於計算所產生的特徵矢量ι屬於一個類別coa的後驗概率
20P( a|x)的計算式表示為下述算式(1)。P (ω a I χ) = ρ (χ | ω a) P (ω a) /p (χ) ··· (1)另外，狀態依賴概率密度函數ρ&Ι ω&)和概率密度函數p(2L)表示為下述算式⑵ 和算式⑶。
權利要求
一種圖像處理裝置，其特徵在於，該圖像處理裝置具有圖像信號輸入單元，其輸入基於由具有攝像功能的醫療設備按時序拍攝的多個圖像的圖像信號；圖像分割單元，其根據在所述圖像信號輸入單元中所輸入的圖像信號，將所述多個圖像分別分割為多個區域；特徵量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的特徵量；圖像區域分類單元，其根據所述特徵量將所述多個區域各方分別分割為多個類別中的任一方；代表值計算單元，其在所述多個圖像各方中計算至少一個類別的特徵量的代表值；以及變動檢測單元，其按時序檢測所述代表值的變動。
2.根據權利要求1所述的圖像處理裝置，其特徵在於，所述變動檢測單元進行檢測所 述按時序檢測的代表值的變動為極大的圖像或時間的任一方的處理。
3.根據權利要求1所述的圖像處理裝置，其特徵在於，該圖像處理裝置還具有平滑化 單元，該平滑化單元對所述各個代表值應用時序方向的平滑化，所述變動檢測單元根據由所述平滑化單元平滑化後的所述代表值，檢測所述代表值的 變動為極大的圖像或時間的任一方。
4.根據權利要求1所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的觀察部位的變化而產生的。
5.根據權利要求3所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的觀察部位的變化而產生的。
6.根據權利要求1所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的大小便的存在而產生的。
7.根據權利要求3所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的大小便的存在而產生的。
8.根據權利要求1所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的膽汁的存在而產生的。
9.根據權利要求3所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的膽汁的存在而產生的。
10.根據權利要求1所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的病變部位的存在而產生的。
11.根據權利要求3所述的圖像處理裝置，其特徵在於，所述代表值的變動是根據生物 體內的病變部位的存在而產生的。
12.根據權利要求1所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
13.根據權利要求3所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
14.根據權利要求4所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各方中的特徵量的平均值。
15.根據權利要求5所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
16.根據權利要求6所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
17.根據權利要求7所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
18.根據權利要求8所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
19.根據權利要求9所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別各 方中的特徵量的平均值。
20.根據權利要求10所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別 各方中的特徵量的平均值。
21.根據權利要求11所述的圖像處理裝置，其特徵在於，所述代表值是所述多個類別 各方中的特徵量的平均值。
22.—種圖像處理裝置中的圖像處理方法，其特徵在於，該圖像處理方法具有圖像分割步驟，其根據基於由具有攝像功能的醫療設備所拍攝的圖像而輸入的圖像信 號，將所述圖像分別分割為多個區域；特徵量計算步驟，其計算由所述圖像分割步驟所分割的所述多個區域各方中的特徵量；圖像區域分類步驟，其根據所述特徵量將所述多個區域各方分別分割為多個類別中的 任一方；代表值計算步驟，其在所述多個圖像各方中計算至少一個類別的特徵量的代表值；以及變動檢測步驟，其按時序檢測所述代表值的變動。
23.根據權利要求22所述的圖像處理方法，其特徵在於，所述變動檢測步驟進行檢測 所述按時序檢測的代表值的變動為極大的圖像或時間的任一方的處理。
24.根據權利要求22所述的圖像處理裝置中的圖像處理方法，其特徵在於，該圖像處 理方法還具有平滑化步驟，該平滑化步驟對所述各個代表值應用時序方向的平滑化，在所述變動檢測步驟中進行這樣的處理，即根據由所述平滑化步驟平滑化後的所述 代表值，檢測所述代表值的變動為極大的圖像或時間的任一方。
25.根據權利要求22所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的觀察部位的變化而產生的。
26.根據權利要求24所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的觀察部位的變化而產生的。
27.根據權利要求22所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的大小便的存在而產生的。
28.根據權利要求24所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的大小便的存在而產生的。
29.根據權利要求22所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的膽汁的存在而產生的。
30.根據權利要求24所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的膽汁的存在而產生的。
31.根據權利要求22所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的病變部位的存在而產生的。
32.根據權利要求24所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值的變動是根據生物體內的病變部位的存在而產生的。
33.根據權利要求22所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
34.根據權利要求24所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
35.根據權利要求25所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
36.根據權利要求26所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
37.根據權利要求27所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
38.根據權利要求28所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
39.根據權利要求29所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
40.根據權利要求30所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
41.根據權利要求31所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
42.根據權利要求32所述的圖像處理裝置中的圖像處理方法，其特徵在於，所述代表 值是所述多個類別各方中的特徵量的平均值。
全文摘要
本發明提供可實現用戶觀察的高效化的圖像處理裝置和該圖像處理裝置中的圖像處理方法。本發明的圖像處理裝置具有圖像信號輸入單元，其輸入基於由具有攝像功能的醫療設備按時序拍攝的多個圖像的圖像信號；圖像分割單元，其根據在所述圖像信號輸入單元中所輸入的圖像信號，將所述多個圖像分別分割為多個區域；特徵量計算單元，其計算由所述圖像分割單元所分割的所述多個區域各方中的特徵量；圖像區域分類單元，其根據所述特徵量將所述多個區域各方分別分割為多個類別中的任一方；代表值計算單元，其在所述多個圖像各方中計算至少一個類別的特徵量的代表值；以及變動檢測單元，其按時序檢測所述代表值的變動。
文檔編號G06T7/00GK101947113SQ201010511970
公開日2011年1月19日 申請日期2006年11月9日 優先權日2005年12月28日
發明者西村博一, 野波徹緒 申請人:奧林巴斯醫療株式會社