醫療圖像處理裝置和醫療圖像處理方法

2023-05-26 23:09:36 3

專利名稱：醫療圖像處理裝置和醫療圖像處理方法
技術領域：
本發明涉及針對內窺鏡圖像等醫療圖像進行生成展開圖的圖像等圖像處理的醫療圖像處理裝置和醫療圖像處理方法。
背景技術：
近年，內窺鏡在醫療等領域中被廣泛採用。例如，食道疾病之一有巴瑞特食道(Barrett esophagus)。
食道被扁平表皮的黏膜覆蓋，胃和腸被圓柱表皮的黏膜覆蓋。巴瑞特食道被認為是由於胃酸反流到食道而使胃和食道的接合部附近的食道黏膜(扁平表皮)從胃開始連續地變性成圓柱表皮。
作為巴瑞特食道的診斷方法，利用內窺鏡診斷，該診斷方法使用內窺鏡來觀察從胃和食道的接合部開始連續存在的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的邊界的特徵形狀。
在作為現有例的日本國特開平8-256295號公報中公開了一種對在所獲得的內窺鏡圖像中的周圍部產生的光學失真進行校正的裝置。
上述日本國特開平8-256295號公報中，儘管可對在內窺鏡圖像中的周圍部產生的光學失真進行校正，然而在使用直視型內窺鏡來觀察大致圓管形狀的食道的情況下，由於食道和內窺鏡前端的位置/方向、光學失真等的影響，而不能在容易識別的狀態下顯示圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的邊界特徵。
即，在現有例中不能用容易診斷的展開圖(的圖像)進行顯示。

發明內容
本發明的目的是提供一種可根據對巴瑞特食道等的管狀部位進行了攝像而得到的醫療圖像來生成容易診斷的展開圖的圖像的醫療圖像處理裝置。
本發明的另一目的是提供一種可獲得正確的展開圖的圖像的醫療圖像處理裝置和醫療圖像處理方法。
本發明的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置具有圖像變換部，其對拍攝生物體內的管狀部位而得到的醫療圖像進行幾何變換；以及展開圖輸出部，其把由上述圖像變換部所獲得的變換圖像作為展開圖的圖像而輸出到顯示裝置。
根據上述結構，通過對拍攝食道那樣的管狀部位而得到的醫療圖像進行幾何變換，並作為展開圖的圖像輸出到顯示裝置，從而可在容易診斷的狀態下觀察管狀部位的內表面的狀態。
本發明的醫療圖像處理方法，其特徵在於，該醫療圖像處理方法具有圖像變換步驟，該步驟對拍攝體腔內的管狀部位而得到的醫療圖像進行幾何變換；以及展開圖輸出步驟，該步驟從由上述圖像變換步驟所獲得的變換圖像作為展開圖的圖像而輸出到顯示裝置。
根據上述結構，通過對拍攝食道那樣的管狀部位而得到的醫療圖像進行幾何變換，並作為展開圖的圖像輸出到顯示裝置，從而可在容易診斷的狀態下觀察管狀部位的內表面的狀態。


圖1是示出具有本發明的實施例1的內窺鏡系統的結構的框圖。
圖2是示出由插入食道那樣的管狀器官內的內窺鏡進行攝像的情況的圖。
圖3是示出由設置在圖2的內窺鏡內的攝像裝置所拍攝的內窺鏡圖像的圖。
圖4是示出CPU的圖像處理功能的框圖。
圖5是示出用於生成展開圖的處理過程的流程圖。
圖6是示出內窺鏡圖像和展開圖的關係的圖。
圖7是從展開圖獲得的坐標位置和內窺鏡圖像的各像素的位置關係的說明圖。
圖8是示出把所生成的展開圖和內窺鏡圖像顯示在監視器上的狀態的圖。
圖9是示出把本發明的實施例2中的內窺鏡圖像投影在圓柱體表面上的情況的說明圖。
圖10是示出用於生成實施例2中的展開圖的處理過程的流程圖。
圖11是用於示出內窺鏡圖像中的各像素位置的說明圖。
圖12是用於把內窺鏡圖像的各像素的位置投影在圓柱體表面上，標上各像素的亮度值來生成展開圖的說明圖。
圖13是在標有內窺鏡圖像的各像素的位置和作為展開圖顯示在顯示裝置上的圖像的位置不一致的情況下進行插值處理的說明圖。
圖14是示出把本發明的實施例3中的內窺鏡圖像投影在圓柱體表面上的情況的說明圖。
圖15是示出來自光源的光在物體表面反射的情況的說明圖。
圖16A是示出內窺鏡的攝像裝置存在於圓柱體的中心軸上的位置關係和對應的模型圖像的圖。
圖16B是示出攝像裝置從圖16A的狀態向上方向平行移動後的位置關係和對應的模型圖像的圖。
圖16C是示出從圖16A的狀態使插入部的軸向傾斜後的位置關係和對應的模型圖像的圖。
圖17是示出用於生成實施例3中的展開圖的處理過程的流程圖。
圖18是具有變形例的膠囊型內窺鏡系統的結構圖。
圖19是示出具有本發明的實施例4的內窺鏡系統的結構的框圖。
圖20是示出CPU的圖像處理功能的框圖。
圖21是示出用於生成展開圖的處理過程的流程圖。
圖22是示出物體上的與所拍攝的圖像的各像素對應的對應點和光源等的位置關係的圖。
圖23A是示出來自光源的光在物體表面反射的情況的圖。
圖23B是具體示出圖23A的情況的圖。
圖24是示出設定在對應點的周圍的多個法線矢量的圖。
圖25是示出矢量m通過圖像上的位置的圖。
圖26是用於求出通過三維形狀的中心的直線的說明圖。
圖27是從三維形狀的坐標系變換成以直線為基準的坐標系的說明圖。
圖28A是示出由直視型內窺鏡獲得的內窺鏡圖像的圖。
圖28B是示出圖28A的內窺鏡圖像和對食道進行了模型化後的圓柱體表面的關係的說明圖。
圖28C是示出根據投影在圖28B的圓柱體表面上的內窺鏡圖像所生成的展開圖的圖。
圖29是通過插值處理來生成展開圖的說明圖。
圖30是示出顯示在顯示裝置上的內窺鏡圖像和展開圖的圖。
圖31是示出用於生成本發明的實施例5中的展開圖的處理過程的一部分的流程圖。
圖32是圖31中的處理內容的說明圖。
圖33是求出模板圖像和參照圖像的移動量的情況的說明圖。
圖34是示出具有本發明的實施例6的內窺鏡系統的結構的框圖。
圖35是示出由圖34的內窺鏡的攝像裝置所拍攝的內窺鏡圖像的圖。
圖36是示出CPU的圖像處理功能的圖。
圖37是示出經過生成展開圖的處理來判定是否是巴瑞特食道的處理過程的流程圖。
圖38是示出內窺鏡圖像和所生成的展開圖的關係的圖。
圖39是根據內窺鏡圖像生成展開圖的處理過程的流程圖。
圖40是檢測圖37中的表皮邊界的處理過程的流程圖。
圖41是示出顯示了計算出的表皮邊界的Z方向的平均值的展開圖的圖。
圖42是示出通過預先確定了診斷的表皮邊界的情況和巴瑞特食道的情況下的樣本的離散值的直方圖來計算成為判定基準的基準值的直方圖例的圖。
圖43是示出顯示了內窺鏡圖像、展開圖以及判定結果的監視器上的顯示例的圖。
圖44A是示出由直視型內窺鏡取得的內窺鏡圖像的圖。
圖44B是示出圖44A的內窺鏡圖像和對食道進行了模型化後的圓柱體表面的關係的說明圖。
圖44C是示出根據投影在圖44B的圓柱體表面上的內窺鏡圖像所生成的展開圖的圖。
圖45是示出本發明的實施例7中的內窺鏡圖像和展開圖的圖。
圖46是示出經過生成展開圖的處理來判定是否是巴瑞特食道的處理過程的流程圖。
圖47是示出本發明的實施例8中的內窺鏡圖像和展開圖的圖。
圖48是示出經過生成展開圖的處理來判定是否是巴瑞特食道的處理過程的流程圖。
圖49是計算實施例9中的展開圖中的表皮邊界上的相鄰2點間的距離的情況的說明圖。
圖50是示出計算表皮邊界的相鄰2點間的距離的總和來判定是否是巴瑞特食道的處理過程的流程圖。
圖51A是示出在根據實施例10中的內窺鏡圖像所生成的展開圖的表皮邊界上設定了矢量的情況的說明圖。
圖51B是示出從展開圖的表皮邊界上的相鄰3點求出相鄰的兩個矢量所成的角的情況的說明圖。
圖52是求出相鄰的兩個矢量所成的角的總和來判定是否是巴瑞特食道的處理過程的流程圖。
圖53是示出計算連接實施例11中的展開圖的表皮邊界上的相鄰2點的矢量的斜率的情況的說明圖。
圖54是示出計算矢量的斜率從正變化到負、從負變化到正的拐點的總數，根據該總數判定是否是巴瑞特食道的處理過程的流程圖。
具體實施例方式
以下，參照附圖對本發明的實施例進行說明。
(實施例1)參照圖1至圖8對本發明的實施例1進行說明。
圖1所示的內窺鏡系統1包括內窺鏡觀察裝置2；成為本發明的醫療圖像處理裝置的實施例1的內窺鏡圖像處理裝置(以下簡稱為圖像處理裝置)3，其由對該內窺鏡觀察裝置2所獲得的內窺鏡圖像進行圖像處理的個人計算機等構成；以及顯示監視器4，其顯示由該圖像處理裝置3進行了圖像處理後的圖像。
內窺鏡觀察裝置2具有插入體腔內的內窺鏡6；把照明光提供給該內窺鏡6的光源裝置7；進行對內窺鏡6的攝像單元的信號處理的照相機控制單元(簡稱為CCU)8；以及被輸入從該CCU 8所輸出的影像信號，從而顯示由攝像元件所拍攝的內窺鏡圖像的監視器9。
內窺鏡6具有插入體腔內的細長的插入部11，以及設置在該插入部11的後端的操作部12。並且，在插入部11內插通有傳送照明光的光導13。
該光導13的後端與光源裝置7連接。而且，從該光源裝置7所提供的照明光由光導13傳送，從安裝在設置於插入部11的前端部14上的照明窗上的前端面射出(所傳送的照明光)，對患部等被攝體進行照明。
設置有攝像裝置17，該攝像裝置17具有安裝在與照明窗相鄰的觀察窗上的物鏡15，以及配置在該物鏡15的成像位置上的作為固體攝像元件的例如電荷耦合元件(簡稱為CCD)16。而且，成像在該CCD 16的攝像面上的光學像由該CCD 16進行光電變換。
該CCD 16經由信號線與CCU 8連接，從該CCU 8施加CCD驅動信號，由此，CCD 16輸出光電變換後的圖像信號。該圖像信號由CCU 8內的影像處理電路來進行信號處理，並變換成影像信號。該影像信號被輸出到監視器9，在監視器9的顯示面上顯示內窺鏡圖像。該影像信號也被輸入到圖像處理裝置3。
該圖像處理裝置3具有圖像輸入部21，其被輸入與從內窺鏡觀察裝置2所輸入的內窺鏡圖像對應的影像信號；作為中央運算處理裝置的CPU 22，其對從該圖像輸入部21所輸入的圖像數據進行圖像處理；以及處理程序存儲部23，其存儲使該CPU 22執行圖像處理的處理程序(控制程序)23a。
並且，該圖像處理裝置3具有圖像存儲部24，其存儲從圖像輸入部21所輸入的圖像數據等；信息存儲部25，其存儲由CPU 22所處理過的信息等；作為存儲裝置的硬碟27，其經由存儲裝置接口(I/F)26存儲由CPU 22所處理過的圖像數據和信息等；顯示處理部28，其進行用於顯示由CPU 22所處理過的圖像數據等的顯示處理；以及輸入操作部29，其由用戶進行圖像處理參數等的數據輸入和指示操作的鍵盤等構成。
而且，由該顯示處理部28所生成的影像信號顯示在顯示監視器4上，在該顯示監視器4的顯示面上顯示圖像處理後的處理圖像。另外，圖像輸入部21、CPU 22、處理程序存儲部23、圖像存儲部24、信息存儲部25、存儲裝置接口26、顯示處理部28以及輸入操作部29經由數據總線30相互連接。
在本實施例中，如圖2所示，在例如食道31那樣的管狀器官或管狀部位內插入直視型內窺鏡6的插入部11，由設置在前端部14的攝像裝置17對食道31的內壁等進行攝像。設置在直視型內窺鏡6內的攝像裝置17把插入部11的長度方向作為進行攝像的視野方向。而且，使用該攝像裝置17，在把該管腔方向作為大致視野方向的直視型的狀態下對管狀部位的內面進行攝像。
圖3示出由該直視型內窺鏡6所拍攝的巴瑞特食道的內窺鏡圖像Ia的一例。巴瑞特食道是食道黏膜(扁平表皮)從胃和食道的接合部開始向口腔連續地變性成胃黏膜(圓柱表皮)的狀態。手術人員通過使用內窺鏡6來觀察該變性後的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的邊界的特徵形狀，從而進行是否是巴瑞特食道的診斷。
在圖3的內窺鏡圖像Ia的情況下，是從食道31到胃內部的管狀部位的圖像。具體地說，顯示了到胃內部的最暗部(的圖像部分)33，該最暗部的周圍的胃和食道的接合部(的圖像部分)34，接合部34的周圍的圓柱表皮(的圖像部分)35，以及該圓柱表皮35的周圍的扁平表皮(的圖像部分)36。
在本實施例中，使用直視型內窺鏡6來對食道31那樣的管狀器官的對象物進行攝像，並對所拍攝的內窺鏡圖像Ia進行幾何變換，進行生成展開圖的處理，把所生成的對象物的展開像顯示在顯示監視器4上。
構成圖像處理裝置3的CPU 22如圖4所示，具有進行幾何變換的幾何圖像變換單元(功能)22a，以及通過幾何變換生成展開像而輸出到顯示監視器4的展開圖輸出單元(功能)22b，在該顯示監視器4的顯示面上顯示展開像(或簡稱為展開圖)。
在本實施例中，圖4所示的幾何圖像變換單元22a和展開圖輸出單元22b是由CPU 22使用處理程序23a以軟體方式實現的。為此，CPU 22讀出存儲在圖1所示的處理程序存儲部23內的處理程序23a，CPU 22根據該處理程序23a執行圖5所示的流程圖的處理。
下面參照圖5對本實施例的動作進行說明。
開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序23a，開始根據該處理程序23a的處理。CPU 22在最初的步驟S1中，取得從內窺鏡觀察裝置2的CCU 8經由圖像輸入部21所輸入的內窺鏡圖像Ia的圖像數據。
然後，在下一步驟S2中，CPU 22對所取得的圖像數據進行失真像差校正(例如參照日本國特開平8-256295號公報)、噪音去除等預處理，在步驟S3中，CPU 22檢測內窺鏡圖像Ia內的最暗部的位置，並把檢測出的最暗部的重心位置作為內窺鏡圖像Ia的坐標的中心位置。
在本實施例中，以內窺鏡圖像Ia內的最暗部的位置為中心來生成展開圖。作為最暗部的檢測方法，把內窺鏡圖像Ia分割成多個區域，計算所分割的區域的平均亮度，求出具有最小平均亮度的區域作為最暗部的位置。
如圖6的左側所示把內窺鏡圖像Ia的二維正交坐標系設定為X-Y，從該內窺鏡圖像Ia變換成如圖6的右側所示採用展開圖Ib的坐標系θ-Z的極坐標系。另外，坐標系X-Y中的坐標位置用x、y來表示。並且，極坐標系θ-Z中的坐標位置用表示周向的位置的θ和表示距中心的距離的位置的z來表示。
另外，為了容易明白在圖6中根據內窺鏡圖像Ia生成展開圖Ib的情況的關係，在把內窺鏡圖像Ia中的扁平表皮和圓柱表皮的表皮邊界37、胃食道的接合部34(的邊界)等作為展開圖的情況下，利用箭頭對應地示出以哪種形狀來顯示。並且，Q0、Q45、Q90表示θ是0度、45度、90度的情況，在後述的其他實施例中也是一樣。
然後在步驟S4和步驟S5中，CPU 22設定展開圖Ib的坐標位置S(θ，z)的初始值。即，在步驟S4中，CPU 22設θ＝0，在步驟S5中設z＝0。
在步驟S6中，CPU 22根據以下的式(1)求出與所設定的展開圖Ib的坐標S(θ，z)對應的內窺鏡圖像Ia的坐標位置。
x＝zsinθ(1)y＝zcosθ在步驟S7中，CPU 22判斷計算出的坐標P(x，y)是否存在於內窺鏡圖像Ia內。
然後，在CPU 22判斷為存在於內窺鏡圖像Ia內的情況下，移到步驟S8的處理。如圖7所示，根據式(1)獲得的內窺鏡圖像的坐標P(x，y)的位置具有存在於像素之間的中間的可能性，因而在步驟S8中，CPU22使用線性插值等處理來計算坐標P(x，y)的亮度值。例如，CPU 22根據所獲得的坐標位置(由符號×表示)的周圍的四個像素○(由斜線表示)的亮度值和位置關係來求出坐標位置×的亮度值。
另外，作為亮度值，在進行彩色攝像的情況下，相當於各色信號的亮度值。
在步驟S9中，CPU 22把在步驟S8求出的亮度值作為展開圖的坐標S(θ，z)的亮度值。然後進到步驟S10，CPU 22變更展開圖的z值(例如z的增量Δz＝1)，回到步驟S6的處理。
另一方面，在步驟S7中計算出的坐標P(x，y)不存在於內窺鏡圖像Ia內的情況下，CPU 22進到步驟S11的處理，變更展開圖Ib的θ值(例如θ的增量Δθ＝π/180，即1°)。
在下一步驟S12中，CPU 22在θ小於2π(360°)時回到步驟S5，繼續展開圖生成處理。另一方面，在θ大於等於2π的情況下，CPU 22判斷為生成了展開圖並進到步驟S13，把內窺鏡圖像Ia和展開圖Ib輸出到顯示監視器4，結束處理。
然後，如圖8所示在顯示監視器4上顯示內窺鏡圖像Ia和展開圖Ib。另外，在圖8中，顯示內窺鏡圖像Ia和展開圖Ib雙方，然而也可以僅顯示展開圖Ib。
這樣在本實施例中，生成展開圖Ib，將該展開圖Ib與內窺鏡圖像Ia一起顯示在顯示監視器4上，因而與內窺鏡圖像Ia的情況相比，可在更容易比較等的狀態下顯示周向(θ方向)和成為管腔方向的深度方向(z方向)的值，因而更容易客觀地進行巴瑞特食道等管狀器官的診斷。
在現有例中，僅顯示圖8中的內窺鏡圖像Ia，如果僅是該內窺鏡圖像Ia，則成為對管狀器官等的內面進行了二維投影而得到的圖像，例如根據深度方向的距離，在縮小的狀態下顯示各部。
因此，手術人員即使要對例如深度方向的值不同的部分進行比較，各部的刻度根據深度方向的距離而不同，因而也不能簡單地進行比較。
相比之下，根據本實施例，在把二維拍攝的內窺鏡圖像Ia中的各像素的位置變換成圍繞通過中心位置的基準線的周向的位置和與該周向垂直的(距中心位置的)距離位置的狀態下，標註各像素的亮度值的信息，用周向的位置、即角θ值來展開顯示。
換句話說，根據內窺鏡圖像Ia，生成與以長度方向(深度方向)的線將管狀器官的內面切開後的圖像對應的展開像並顯示該圖像。
因此，根據本實施例，即使在深度方向的距離不同的位置，也能使周向的刻度一致來進行顯示，因此可簡單地進行場所不同的部位的比較，可容易診斷地進行顯示。
因此，本實施例具有以下效果。
通過對由直視型內窺鏡6所拍攝的食道31那樣的管狀器官的內窺鏡圖像Ia進行幾何變換，可容易觀察從胃和食道的接合部開始連續存在的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的特徵形狀，因而具有容易進行巴瑞特食道等的診斷的效果。
(實施例2)下面參照圖9至圖13對本發明的實施例2進行說明。
本實施例具有與圖1的圖像處理裝置3相同的硬體結構。而且，本實施例採用內容與存儲在圖1的處理程序存儲部23內的處理程序23a不同的處理程序。
在本實施例中，如圖9所示，把食道內面假定為具有該食道內面的平均直徑值的圓柱體41，對由內窺鏡6的(CCD 16的)攝像面42所拍攝的內窺鏡圖像進行幾何變換，以將其投影在圓柱體41的表面上。
即，如圖9所示將由(構成攝像裝置17的CCD 16的)攝像面42所拍攝的內窺鏡圖像通過圓柱體41的內側投影在圓柱體41的表面上。在該情況下，圓柱體41的尺寸被設定為大致食道的管壁(內壁)的值，更具體地說是其平均值。
即，使用由物鏡15和CCD 16構成的攝像裝置17將接近圓管的食道內面成像在CCD 16的攝像面42上，使用對所成像的光學像進行光電變換的CCD 16來進行攝像。然後，進行幾何變換，以便生成通過物鏡16將所拍攝的主要與食道和胃連接的接合部附近的內窺鏡圖像投影在對該食道內側的管壁進行了近似而得到的圓柱體41的內表面上的圖像。
然後，通過該幾何變換，展開被投影了內窺鏡圖像的圓柱體41，從而生成投影在該圓柱體41上的內窺鏡圖像的展開圖(的圖像)，把展開圖輸出到顯示監視器4等顯示裝置，在該顯示裝置的顯示面上顯示展開圖。
生成展開圖的處理過程如圖10的流程圖所示。
與實施例1一樣，開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序，開始根據該處理程序的處理。CPU 22在最初的步驟S21中，取得從內窺鏡觀察裝置2的CCU 8經由圖像輸入部21所輸入的內窺鏡圖像Ia的圖像數據。
然後，在下一步驟S22中，CPU 22對所取得的圖像數據進行失真像差校正、噪音去除等預處理，然後在步驟S23中，CPU 22檢測內窺鏡圖像內的最暗部的位置，把檢測出的位置作為內窺鏡圖像的坐標的中心位置。
CPU 22如圖9所示把內窺鏡圖像(CCD 16的攝像面42)上的坐標系設定為X-Y，把圓柱體表面的坐標系設定為θ-Z。
如圖11所示把內窺鏡圖像Ia的各像素設定為I(i，j)(1≤i≤i_max，1≤j≤j_max)，把最暗部的位置設定為I(io，jo)，則圖9的內窺鏡圖像的坐標系X-Y中的坐標P(x，y)和內窺鏡圖像Ia的像素位置I(i，j)的關係用以下的式(2)表示。
x＝(i-io)xCCD(2)y＝(jo-j)yCCD其中，xCCD和yCCD是X軸、Y軸方向的像素間的距離。
然後在步驟S24和步驟S25中，CPU 22設定內窺鏡圖像Ia的像素的初始位置I(1，1)。即，設定為像素位置參數i＝1，j＝1。然後，在下一步驟S26中，CPU 22根據以下的式(3)求出與內窺鏡圖像Ia的坐標P(x，y)對應的圓柱體41的表面的坐標C(θ，z)。
=sin-1(x/x2+y2)]]>z=rf/x2+y2---(3)]]>zs＝r/tan(α/2)其中，f是攝像系統(具體地說是物鏡15)的焦距，r是圓柱體41的半徑(例如根據食道的平均直徑計算半徑)，α是視場角。
在步驟S27中，CPU 22進行把與內窺鏡圖像Ia的像素I(i，j)(在目前情況下，i＝1，j＝1)對應的圓柱體41的表面的坐標位置C(θ，z)存儲在圖像存儲部24等內的處理。
在下一步驟S28中，CPU 22使參數i增加1(沿水平方向使像素移動到相鄰的像素)，在步驟S29中判斷參數i是否小於等於i_max。然後，CPU 22在參數i小於等於i_max時，回到步驟S26，繼續處理。
另一方面，在參數i大於i_max的情況下，CPU 22進到下一步驟S30的處理，在該步驟S30中，CPU 22使參數j增加1(沿垂直方向使像素移動到相鄰的像素)。
在下一步驟S31中，CPU 22判斷參數j是否小於等於j_max，在參數j小於等於j_max時，回到步驟S25，繼續處理。另一方面，在參數j大於j_max的情況下，CPU 22移到下一步驟S32的處理。
在該步驟S32中，CPU 22求出與內窺鏡圖像Ia的所有像素I(i，j)對應的圓柱體41的表面的坐標位置C(θ，z)，(如下所述，通過插值處理)生成展開圖。
CPU 22把圖12的左側的內窺鏡圖像Ia的各像素的亮度值標註在圖12的右側所示的圓柱體表面的坐標系θ-z上。
在圖13所示的展開圖Ib上顯示的圓柱體表面上標註的像素不均勻地存在，Z值越大，就越粗。另外，在圖13中，將其左側的展開圖Ib中的一部分在右側放大示出。
並且，如圖13所示所標註的各像素與顯示在顯示監視器4等顯示裝置上的圖像的各像素位置不一致，因而通過插值處理來生成顯示在顯示裝置上的圖像、即展開圖Ib。
即，CPU 22在步驟S32中，進行上述插值處理，生成可顯示在顯示監視器4等顯示裝置上的圖像、即展開圖Ib。然後，CPU 22在步驟S33中，把該展開圖Ib與內窺鏡圖像Ia一起輸出到顯示監視器4。然後，如步驟S34所示在顯示監視器4上，如圖8所示顯示展開圖Ib和內窺鏡圖像Ia，結束該處理。然而，該展開圖Ib作為與z方向相關的傾向與實施例1不同的展開圖來顯示。
本實施例具有以下效果。
把食道31那樣的管狀器官的內面假定為圓柱體41，通過把由內窺鏡6的攝像面所拍攝的內窺鏡圖像Ia投影在圓柱體41上，來生成展開圖Ib，因而可生成比實施例1更準確的展開圖Ib。
即，在實施例1中，把內窺鏡圖像Ia的各位置變換成具有距該內窺鏡圖像Ia中的中心的距離z和距通過中心的基準位置的周向的位置信息、即角θ的極坐標系，根據角θ展開，與距離z一起作為展開圖Ib來顯示，相比之下，在本實施例中，把食道31的管狀部位(管狀器官)視為圓柱體41，把內窺鏡圖像Ia的位置投影在該圓柱體41的表面上來生成展開圖Ib，因而可生成反映出更實際的狀態的展開圖Ib。
因此，根據本實施例，即使在深度方向(管腔的軸向)的值不同的部分中，也能獲得更容易比較的展開圖Ib。
另外，在實施例1和實施例2中，檢測內窺鏡圖像內的最暗部的位置來作為內窺鏡圖像Ia的中心位置，然而也能根據亮度的變化方向來推定中心位置(這在日本國特開2003-93328號公報中作了記載)。
(實施例3)下面參照圖14至圖17對本發明的實施例3進行說明。
本圖像處理裝置的結構與實施例1相同，而存儲在處理程序存儲部23內的處理程序與圖1的處理程序23a不同。而且，根據該處理程序進行以下處理。
在本實施例中，把食道那樣的管狀器官假定為圓柱體41，使用模型圖像和內窺鏡圖像來推定內窺鏡前端(的攝像單元)和管狀器官的位置關係。
然後，根據所推定的位置關係，把由內窺鏡6所拍攝的內窺鏡圖像投影在圓柱體41的表面上，作為將所投影的圖像展開後的展開圖來顯示在顯示監視器4等顯示裝置上。
為了估計上述位置關係，在本實施例中，生成變更了設置在內窺鏡6的前端的攝像裝置17(的攝像面)和圓柱體41的位置關係後的多個模型圖像，進行所生成的多個模型圖像和實際所拍攝的內窺鏡圖像Ia的匹配處理，檢測與所拍攝的內窺鏡圖像Ia接近的模型圖像。
然後，根據檢測出的模型圖像來推定攝像裝置17和圓柱體41的位置關係。根據圖14對模型圖像的生成方法進行說明。
圖14是把食道那樣的管狀器官的內面假定為圓柱體41，並示出攝像裝置17的攝像面42和圓柱體41的位置關係的圖。在實施例2中，進行了攝像面42的光軸通過圓柱體41的中心的條件設定，然而在本實施例中，除了該條件以外，還考慮兩者傾斜的情況。
若把以圓柱體41為基準的坐標系設定為XL-YL-ZL，則圓柱體41表面的坐標(xL，yL，zL)利用以下的式(4)表示。
xLyLzL=rsinLrcosLzL---(4)]]>另外，若把以攝像面42為基準的坐標系設定為X-Y-Z，則與圓柱體41的坐標系XL-YL-ZL的關係利用以下的式(5)表示。
xyz=RxLyLzL+M---(5)]]>其中，R是旋轉矩陣，M是平移矩陣。即，矩陣R和M是表示圓柱體41相對攝像裝置17的攝像面42的位置關係的參數。
若把以由攝像面42所拍攝的內窺鏡圖像為基準的坐標系設定為XI-YI，則與攝像面42的坐標系X-Y-Z的關係利用以下的式(6)表示。
xIyI=xf/zyf/z---(6)]]>
如圖15所示，假定光源Q位於距物體有限的距離d處，把該光源Q假定為點光源，假定作為該物體的具體例的圓柱體表面對光源Q的光進行漫反射的情況下，圓柱體表面的反射光I利用以下的式(7)表示。
I(xI，yI)＝kIqcosβ/d2(7)其中，k是面的漫反射率，Iq是光源Q的光度，β是點W處的面法線和光源方向QW所成的角度，d是點W和光源Q的距離。
因此，通過設定圓柱體41相對攝像裝置17的位置/方向，根據式(4)～(6)，從圓柱體表面的位置B求出由攝像裝置17所拍攝的內窺鏡圖像上的位置A，可根據式(7)計算此時的亮度值。
圖16A是在攝像裝置17存在於圓柱體41的中心線51上、並朝向中心線51方向的情況下獲得的模型圖像63a，圖16B是在使攝像裝置17從圖16A的狀態向上方向平行移動後的情況下獲得的模型圖像63b，圖16C是在使攝像裝置17從圖16A的狀態平行移動且變更了視野方向或插入部11的軸向的情況下獲得的模型圖像63c。
因此，在本實施例中，設定攝像裝置17和圓柱體的多個位置/方向，生成多個模型圖像。
然後，CPU 22按照圖17所示的流程圖來處理，如以下說明那樣生成展開圖Ib。
與實施例1一樣，開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序，開始根據該處理程序的處理。CPU 22在最初的步驟S41中，取得從內窺鏡觀察裝置2的CCU 8經由圖像輸入部21所輸入的內窺鏡圖像的圖像數據。
然後，在下一步驟S42中，CPU 22對所取得的圖像數據進行失真像差校正、噪音去除等預處理，在步驟S43中進行與模型圖像的匹配處理。CPU 22通過匹配處理，通過規範化相互相關等計算所取得的內窺鏡圖像和模型圖像的相關值，檢測相關性最高的模型圖像。
CPU 22檢測與通過步驟S43的匹配處理所取得的圖像數據相關性最高的模型圖像，根據檢測出的模型圖像求出攝像裝置17和圓柱體41的位置/方向關係。如實施例1的圖6所示把內窺鏡圖像Ia的坐標系設定為X-Y，展開圖的坐標系設定為θL-ZL。
然後在步驟S44和步驟S45中，CPU 22設定圓柱體表面的坐標S(θL，zL)的初始值。在步驟S46中，CPU 22根據式(4)～(6)求出與所設定的坐標S(θL，zL)對應的內窺鏡圖像的坐標P(xI，yI)。
在步驟S47中，CPU 22判斷計算出的坐標P(xI，yI)是否存在於內窺鏡圖像內。在存在於內窺鏡圖像內的情況下，進到步驟S48。
如實施例1的圖7所示，內窺鏡圖像的坐標P(xI，yI)的位置具有存在於像素之間的中間的可能性，因而在步驟S48中，CPU 22使用線性插值等處理來計算坐標P(xI，yI)的亮度值。
例如，根據所獲得的坐標位置×的周圍四個像素○(斜線)的亮度值和位置關係求出坐標位置×的亮度值。
在步驟S49中，CPU 22把在步驟S48中求出的亮度值作為展開圖的坐標S(θL，zL)的亮度值。
然後進到步驟S50，CPU 22變更展開圖的ZL值(例如ΔzL＝1)，並進到步驟S46。
在步驟S47中CPU 22判斷為計算出的坐標P(xI，yI)不存在於內窺鏡圖像內的情況下，進到步驟S51，變更展開圖的θL的值(例如ΔθL＝π/1801°)。
在步驟S52中，CPU 22在θL小於2π(360°)時進到步驟S45，繼續展開圖生成的處理。在θL大於等於2π的情況下，CPU 22判斷為已生成了展開圖，並進到步驟S53，如實施例1那樣把內窺鏡圖像和展開圖顯示在顯示監視器4上，結束處理(也可以僅顯示展開圖)。
本實施例具有以下效果。
在本實施例中，把食道那樣的管狀器官假定為圓柱體41，根據圖像推定圓柱體41和攝像裝置17的位置/方向的關係，根據所推定的位置/方向來生成內窺鏡圖像的展開圖，因而可生成比實施例2更準確的展開圖。
在實施例1～實施例3中，使用具有細長的插入部11的內窺鏡6作了說明，然而也能應用於圖18所示的膠囊型內窺鏡82的情況。
如圖18所示具有變形例的膠囊型內窺鏡系統81包括膠囊型內窺鏡裝置(以下簡稱為膠囊型內窺鏡)82，其被患者吞入，從而對體腔內進行攝像；體外裝置83，其配置在患者體外，接收來自膠囊型內窺鏡82的圖像數據並進行記錄；以及圖像處理裝置84，其被從該體外裝置83輸入圖像。
膠囊型內窺鏡82具有設置在膠囊狀的容器內作為照明單元的例如LED 85；成像被照明的被攝體的像的物鏡86和配置在物鏡86的成像位置上、構成進行攝像的攝像單元的CCD 87；對由該CCD 87所拍攝的攝像信號進行信號處理等的控制電路88；進行將所拍攝的圖像無線發送的處理的無線電路89；以及向各電路等供電的電池90。
並且，體外裝置83經由多個天線91a、91b、91c通過無線電路92從膠囊型內窺鏡82的無線電路89的天線89a接收電波，並把該信號發送到控制電路93。通過該控制電路93變換成影像信號來輸出到圖像處理裝置84。
然後，圖像處理裝置84進行上述的各實施例等的處理。
另外，控制電路93具有使用多個天線91a～91c來推定膠囊型內窺鏡82的位置的位置檢測功能93a。而且，也可以利用該位置檢測功能93a來選擇設定檢測對象的圖像。即，利用該位置檢測功能93a來檢測是否在對接近從食道到胃的邊界的部位進行攝像，當在對某種程度上接近邊界的部位進行攝像的情況下，也可以與上述的情況一樣作為內窺鏡圖像來用於生成展開圖。
這樣，可高效率地判定作為檢測對象的接近從食道到胃的邊界的部位的生物體黏膜。
(實施例4)下面參照圖19至圖30對本發明的實施例4進行說明。本實施例4和實施例5除了實施例1等的上述目的以外，還有以下目的，即提供一種通過推定管狀部位的內面的立體形狀，可生成高精度的展開像的醫療圖像處理裝置和醫療圖像處理方法。
圖19示出具有本發明的實施例4的圖像處理裝置3D的內窺鏡系統1D的結構。該內窺鏡系統1D與圖1的內窺鏡系統1的硬體上的結構相同。而且，只是存儲在圖像處理裝置3D的處理程序存儲部23內的處理程序23d與圖1的處理程序23a不同。因此，對與實施例1中的構成要素相同的構成要素標註相同標號，省略其說明。
並且，在本實施例中，如圖2所示，在例如食道31那樣的管狀部位(管狀器官)中插入直視型內窺鏡6的插入部11，由攝像裝置17來進行攝像。並且，圖3示出由該直視型內窺鏡6所拍攝的巴瑞特食道的內窺鏡圖像Ia的一例。
在本實施例中，由直視型內窺鏡6對食道31那樣的管狀器官進行攝像，並根據所拍攝的圖像來推定對象物的立體形狀。
推定通過所推定出的立體形狀的中心的直線，以直線為基準進行幾何變換來生成容易成為展開圖的圖像，把該圖像作為展開圖來輸出到顯示單元。然後，在顯示單元的顯示面上顯示展開圖。
即，構成圖像處理裝置3D的CPU 22如圖20所示具有以下功能作為其功能，即立體形狀推定單元(功能)22c，通過所推定出的立體形狀的中心的直線的推定單元(功能)22d，以所推定的直線為基準來幾何變換成容易顯示為展開圖的形狀的幾何變換單元(功能)22e，以及通過幾何變換把展開像輸出到顯示監視器4的展開圖輸出單元(功能)22f，在該顯示監視器4的顯示面上顯示展開圖。
在本實施例中，圖20所示的立體形狀推定單元22c、直線推定單元22d、幾何變換單元22e以及展開圖輸出單元22f以軟體方式來實現。即，CPU 22讀出存儲在處理程序存儲部23內的處理程序23d，CPU 22根據該處理程序23d來執行圖21所示的流程圖的處理。
以下，根據圖21的流程圖對生成和顯示展開圖的處理進行說明。
開始圖像處理裝置3D的動作，CPU 22讀出處理程序存儲部23的處理程序23d，開始根據該處理程序23d的處理。CPU 22在最初的步驟S61中，取得從內窺鏡觀察裝置2的CCU 8經由圖像輸入部21所輸入的作為原圖像的圖像數據。
然後，在下一步驟S62中，CPU 22對所取得的圖像數據進行失真像差校正、噪音去除等預處理。在步驟S63中，CPU 22通過以下過程求出與圖像內的像素對應的對象物體的三維位置。
如圖22所示，提取對象物體上的與由位於視點位置O的攝像單元所拍攝的圖像的3個像素對應的像素對應點E1、E2、E3，根據像素對應點E1、E2、E3的三維位置和光源Q與視點O的位置關係求出以下的式(8)。
r1=d-k1m1]]>r2=d-k2m2---(8)]]>r3=d-k3m3]]>其中，把像素對應點E1、E2、E3的三維位置的矢量設定為k1m1、k2m2、k3m3(m1，m2，m3大小為1的單位矢量)，把從視點O到光源Q的矢量設定為d，把從光源Q到3個像素對應點E1、E2、E3的三維位置的矢量設定為r1、r2、r3。
若把由像素對應點E1、E2、E3的三維位置構成的平面的法線矢量設定為n，則根據式(8)，矢量n如以下的式(9)所示，利用矢量分量k1、k2、k3的比率表示。
n1=l12l23=k1k2k3(1k3m1m2+1k1m2m3+1k2m3m1)---(9)]]>其中，把從點E1到點E2的矢量設定為l12，把從點E2到點E3的矢量設定為l23，×表示矢量積。並且，如圖23A所示，成為攝像對象的(食道內面等的)對象物體的表面假定為在全部方向上均勻地反射光的漫反射率，則像素對應點E1、E2、E3的亮度值I1、I2、I3利用以下的式(10)表示。
I1=hIqcos1/|r1|2]]>I2=hIqcos2/|r2|2---(10)]]>I3=hIqcos3/|r3|2]]>其中，h是對象物體的表面的漫反射率，Iq是光源Q的光度，β是點P處的對象物體的表面的法線矢量n與從光源Q到點P的矢量r所成的角。另外，圖23A的點P代表圖22的像素對應點E1、E2、E3(因此，矢量r代表圖22的矢量r1、r2、r3)。
然後設定以下的條件(a)和(b)，根據滿足這些條件(a)和(b)的假定，CPU 22計算與所拍攝的像素對應的對象物體的三維位置。
現在，在條件(a)視點位置O和光源Q的距離＜＜視點位置O和像素對應點E1、E2、E3的三維位置的距離，即，|d|＜＜|rm|(或|d|＜＜|r|，這裡，m＝1～3)，以及條件(b)像素對應點E1、E2、E3的三維位置接近這兩個條件(a)、(b)成立的情況下，得到以下的近似式(11)。
k1∶k2∶k3≈1/I1∶1/I2∶1/I3(11)上述條件(a)如圖23B所示，在與d的絕對值相比r的絕對值大時成立。並且，條件(b)在對食道等的管狀內面進行攝像的情況下，認為在大部分情況下成立。另外，圖23B將插入部的前端部14中的前端面部分放大示出。
該前端面面對光導13的前端面(或照明透鏡)13a，由此射出照明光。即，該光導13的前端面13a相當於圖22和圖23A的光源Q。並且，與該前端面13a相鄰地配置有與視點O相當的攝像單元(攝像裝置17)的物鏡15。
根據上述式(11)求出k1、k2、k3的比率，求出法線矢量n。
由於與圖像內的各像素對應的對象物體的表面上的像素對應點存在多個相鄰的像素對應點，因而如圖24所示，針對由一個像素對應點Pa的周圍的點Pb～Pe中的各3點形成的各面分別求出法線矢量n1～n4。因此，也可以計算這些多個法線矢量n1～n4的平均矢量，把該平均矢量作為像素對應點的法線矢量。
如圖22A所示，假定對象物體的表面為漫反射，並改寫角β，由此，各像素對應點P(x，y)的亮度值I(x，y)可利用以下的式(12)表示。
I(x,y)=hIqcos/r2=hIqn(x,y)r(x,y)/|r(x,y)|3---(12)]]>其中，h是對象表面的漫反射率，Iq是光源Q的光度，β是點P處的對象物體的表面的法線矢量n(x，y)和光源方向r(x，y)所成的角。
並且，點P處的光源方向r(x，y)可利用以下的式(13)表示。
r(x,y)=k(x,y)m(x,y)-d---(13)]]>其中，如圖23B所示，把從物鏡15的視點Q到光源Q的矢量設定為d，把從視點O到對象物體的位置P的單位矢量設定為m(x，y)，把距離OP設定為k(x，y)。
矢量m(x，y)如圖25所示通過(CCD 16的)攝像面42的圖像上的位置(x，y)，因而如以下的式(14)所示[數式14]m(x,y)=x/x2+y2+f2y/x2+y2+f2f/x2+y2+f2---(14)]]>其中，f是攝像裝置17的焦距。因此，圖像上的各像素的亮度值I(x，y)可利用以下的式(15)表示。
I(x,y)=hIqn(x,y)(k(x,y)m(x,y)-d)/|k(x,y)m(x,y)-d|3---(15)]]>在上述式(15)中，除了k(x，y)以外全部是已知的，因而CPU 22根據式(15)計算k(x，y)，如以下的式(16)所示計算與圖像上的各像素(x，y)對應的三維位置(X，Y，Z)。
XYZ=k(x,y)m(x,y)=k(x,y)x/x2+y2+f2y/x2+y2+f2f/x2+y2+f2---(16)]]>然後在步驟S64中，CPU 22推定通過在步驟S63獲得的三維形狀(根據各像素對應點的三維位置獲得的形狀)的中心的直線。
如圖26所示，若把從視點O到三維形狀的點P的矢量設定為p，把到直線上的任意點A的矢量設定為a，把直線的方向矢量設定為l，則從三維形狀的點P垂直下降到直線的矢量u(x，y)利用以下的式(17)表示。
u(x,y)=a-p+(p-a)l|l|2l---(17)]]>在所推定的三維形狀具有接近圓柱體的形狀的情況下，通過三維形狀的中心的直線認為存在於距與各像素對應的三維形狀的各三維位置等距離處。因此，CPU 22如以下的式(18)所示，使用最小平方法來推定任意的大小r、直線的方向矢量l以及到點A的矢量a，以使由式(17)獲得的矢量u(x，y)的大小與任意的大小r(圓柱體的半徑)之差的總和最小。
(|u(x,y)|-r)2min---(18)]]>在下一步驟S65中，CPU 22根據圖27所示的關係求出用於把與各像素對應的三維形狀的三維位置從坐標系X-Y-Z變換成以直線為基準的坐標系XL-YL-ZL的參數旋轉矩陣R和平移矩陣M。
根據坐標系X-Y-Z的Z方向的矢量Z和直線的矢量l，單位矢量v＝(vx，vy，vz)和角度γ如以下的式(19)所示為[數式19]v=Zl---(19)]]>=cos-1(Zl)]]>因此，旋轉矩陣R和平移矩陣M如以下的式(20)和式(21)所示。
R=cos+v2x(1-cos)vxvy(1-cos)-vzsinvxvz(1-cos)-vysin1vyvx(1-cos)+vzsincos+v2y(1-cos)vyvz(1-cos)-vxsinvzvx(1-cos)+vysinvzvy(1-cos)+vxsincosv2z(1-cos)---(20)]]>M=axayaz---(21)]]>這裡，作為平移矩陣M，設定為矢量a＝(ax，ay，az)。
在以下的步驟S66中，CPU 22把利用坐標系X-Y-Z表示的三維位置變換成坐標系XL-YL-ZL。該變換式如以下的式(22)所示。
PL＝R-1(P-M) (22)
在以下的步驟S67中，CPU 22把根據式(22)變換成與圖28A的內窺鏡圖像Ia對應的圖28B所示進行了變換後的各像素對應點的三維位置PL＝(XL，YL，ZL)進一步投影在以ZL為中心的圓柱體表面上。
作為該圓柱體，設定成與例如食道等管狀部位的尺寸接近的值。例如，把對管狀部位的內徑進行了平均化後的值作為圓柱體的直徑。
例如圖28A中的內窺鏡圖像Ia中的表皮邊界37、(胃食道)接合部34以及暗部邊界38與圖28B中的利用相同標號37、34、38表示的三維形狀部分對應，該三維形狀部分的各位置被投影在以用粗線表示的ZL為中心的圓柱體表面上。
若把圓柱體表面的坐標系設定為θL-ZL，則根據以下的式(23)來求出變換後的三維位置PL＝(XL，YL，ZL)。
L=tan(XLYL)---(23)]]>ZL＝ZL求出與圖像的所有像素對應的圓柱體表面的位置C(θL，ZL)，把各像素的亮度值標註在坐標系θL-ZL上。然後，生成圖28C所示的展開圖Ib。另外，作為亮度值，在彩色圖像的情況下，表示各色信號的亮度值。
如圖28C或圖29所示標註在圓柱體表面的像素不均勻地存在，ZL越大，就越粗(越是距視點遠的遠方側的位置的圖像部分，就越粗)。
並且，如圖29的局部放大圖所示，所標註的各像素大多與顯示在顯示裝置上的圖像的各像素位置不一致。因此，通過插值處理生成顯示在顯示裝置上的圖像、即展開圖Ib。
在步驟S68中，CPU 22進行上述插值處理，生成可顯示在顯示監視器4等顯示裝置上的圖像，即展開圖Ib。在下一步驟S69中，CPU 22把內窺鏡圖像Ia和展開圖Ib輸出到顯示監視器4。然後，如圖30所示在顯示監視器4上顯示步驟S10的內窺鏡圖像Ia和展開圖Ib。然後，顯示該展開圖Ib的處理結束。
本實施例具有以下效果。
利用展開的展開圖(的圖像)來顯示從胃和食道的接合部開始連續存在的圓柱表皮的擴展方法以及圓柱表皮和扁平表皮的特徵形狀，手術人員由於可在更容易進行比較等的狀態下進行觀察，因而可更容易地進行巴瑞特食道等管狀部位的診斷。
即，在現有例中，僅顯示圖30中的內窺鏡圖像Ia，該內窺鏡圖像Ia是對管狀部位的內面進行二維投影后的圖像，例如根據深度方向(管狀部位的軸向)的距離值，在縮小的狀態下顯示各部。
因此，即使要把例如深度方向的值不同的部分進行比較，各部的刻度根據深度方向的距離而不同，因而也不能簡單地進行比較。
相比之下，根據本實施例，計算管狀部位的內面的與二維拍攝到的內窺鏡圖像Ia中的各像素對應的位置的三維位置，通過計算出三維位置，把各像素的位置信息變換成周向的位置信息和與該周向垂直的管腔的大致中心軸方向的距離分量信息，進而在投影到設定成管狀部位的平均尺寸等的圓柱體的表面上的狀態下，用周方向的位置信息，即角度值來展開顯示各部的亮度信息。
因此，根據本實施例，即使在深度方向不同的位置，也能使周向的刻度一致來進行顯示，因此可簡單地進行場所不同的部位的比較，並且也能客觀且簡單地進行與過去病例等的比較等。
因此，根據本實施例，可生成能容易地進行管狀部位的診斷的展開像，可提供在診斷上非常有效的圖像處理裝置和圖像處理方法。
(實施例5)下面參照圖31至圖33對本發明的實施例5進行說明。本實施例的圖像處理裝置具有與實施例4相同的結構，採用與存儲在圖19的處理程序存儲部23內的處理程序23d不同的處理程序。
在實施例4中，根據1幅圖像來推定與各像素對應的像素對應點的三維位置，然而在本實施例中，如以下說明那樣，拍攝多個內窺鏡圖像，計算與該拍攝的多個內窺鏡圖像對應的對象物體的三維位置。
三維位置計算後的處理與實施例4相同。圖31示出本實施例中的計算三維位置的流程圖，圖32示出該處理內容的概略動作，圖33示出求出模板圖像和參照圖像的移動量的情況。
以下，參照圖31和圖32對計算三維圖像數據之前的過程進行說明。
如步驟S71所示，圖像處理裝置3的CPU 22使內窺鏡6的插入部11的前端部14的攝像裝置17移動的同時對對象物進行攝像，取得多個圖像數據。
所拍攝的多個圖像數據經過圖像輸入部21被臨時存儲在圖像處理裝置3內的圖像存儲部24內。
即，對於同一對象物，使(內窺鏡6的前端部14的)攝像裝置17移動的同時，取得位置逐漸不同的二維圖像數據。
圖32示出使插入部11的前端側移動來進行攝像的情況。這裡，從P0移動到PN，並用方形示出通過此時的攝像所獲得的圖像數據。在下一步驟S72中，CPU 22把失真像差校正等預處理應用於在步驟S71取得的多個圖像，校正圖像的失真。
在從內窺鏡觀察裝置2發送來的內窺鏡的圖像數據中，由於使用廣角鏡頭作為物鏡而產生失真，因而把失真像差校正處理應用於各圖像，校正圖像的失真。
並且，在該步驟S72中，CPU 22使用校正後的多個圖像(圖像對)來選擇對應點的跟蹤，即表示對象物的1幅圖像(模板圖像)，並選擇該圖像上的多個點來進行各個點在另一參照圖像上如何移動的跟蹤。對該對應點跟蹤進行補充說明。
對應點跟蹤如圖33的左側所示，在要檢測的對象物的模板圖像上，把以某一點為中心的矩形區域(窗口)設為t(x)，如圖17的右側所示在參照圖像中設定某一大小的搜索區域S，利用通過相互相關運算來求出相關值最大的區域的運算，來進行搜索區域S內的對應區域f(x)和上述模板圖像的矩形區域t(x)的塊匹配處理，求出在該情況下的參照圖像相對模板圖像的移動方向和移動量。
例如，使用以下的規範化後的式(24)的相互相關D(u，v) D(u,v)=s[{f(x+u,y+v)-f>}{t(x,y)-t>}]dxdys{f(x+u,y+v)-f>}2dxdy{t(x,y)-t>}2dxdy---(24)]]>來求出相關值，求出該相關值最大的區域，並求出在該情況下的移動方向和移動量。這裡，雙積分記號表示搜索區域S內的積分，f、t分別表示f(x+u，y+v)、t(x，y)在S內的平均。
另外，塊匹配處理不限於相互相關運算，也可以應用在美國專利4,962,540號說明書中公開的顏色匹配方法。
如上所述，求出描述了在模板圖像上所選擇的點的移動方向和移動量的值的移動映射圖(map)。
在圖32中示出使用相鄰的攝像位置P0和P1、P1和P2、…等，根據所獲得的圖像數據來進行移動映射圖M1、M2、…的計算，並進行位置推定的情況。
使用在步驟S72求出的移動映射圖，在下一步驟S73中，CPU 22通過最急速下降法等的反覆處理來求出攝像裝置17的運動矢量，求出對象物體的位置和攝像裝置17的位置的相對位置關係。
在下一步驟S74中，CPU 22進行變換以使得利用各移動映射圖求出的對象物體和攝像裝置17的位置關係在同一坐標空間內，對各自在同一點上的對象物體和攝像裝置17的位置進行平均來推定一個對象物體的三維形狀(計算對象物體的各三維位置)。
這樣，在計算出對象物體的三維位置之後，進行圖21的步驟S64所示的通過三維形狀的中心的直線的推定等處理。
本實施例通過使用由攝像裝置17所拍攝的多個圖像，與實施例4一樣，可獲得適合於進行診斷的情況的展開像。
此外，如以下的文獻所公開的那樣，也可以採用陰影恢復形狀(shape-from-shading)法，根據1幅圖像來推定立體形狀，並如實施例1那樣根據該推定的立體形狀來生成展開圖。文獻コンピユ一タビジヨン，投影中心に點光源がある場合のShape-from-Shading-內視鏡形狀からの3次元形狀復元-岡谷、出口pp.19-26，1996。
該文獻著眼於距光源(前端部14的光導前端面13a)的距離相等的管狀器官的表面上的曲線，使用偏微分方程式來描述該曲線的發展方程式(発展方程式)，通過解該方程式來復原(計算)三維形狀。三維形狀的計算後的處理是與實施例4的情況相同的處理。
(實施例6)下面參照圖34至圖44C對本發明的實施例6進行說明。實施例6以及實施例6以後的實施例的目的是提供即使在由直視型內窺鏡所拍攝的食道的內窺鏡圖像那樣的情況下也適合於高效率地進行巴瑞特食道的診斷等的醫療圖像處理裝置(更具體地說是食道黏膜用圖像處理裝置)和醫療圖像處理方法。對其背景進行補充說明。
在利用直視型內窺鏡對食道內部那樣的管狀部位進行攝像而得到的圖像的情況下，由於該圖像是從管腔的軸向傾斜的方向或者從接近於直角的方向對管狀的黏膜組織(具體地說是表皮組織)進行攝影而得到的圖像，因而特別是在距攝像裝置的距離不同的部分上的形狀等變化大。
因此，僅利用由直視型內窺鏡所拍攝的內窺鏡圖像，把握形狀和大小等要花費時間，在判斷為能提供更容易把握的圖像的情況下，是非常便利的。即，上述目的是非常有效的。
圖34所示的內窺鏡系統1E在硬體上的結構與圖1的內窺鏡系統1相同。本實施例的食道黏膜用圖像處理裝置(以下，簡稱為圖像處理裝置)3E附加了如下功能使用在圖1的圖像處理裝置3中所生成的展開像進一步進行對巴瑞特食道具有的特徵量進行分析的圖像處理的功能。
因此，圖34中的圖像處理裝置3E具有對圖1的圖像處理裝置3的情況下的處理程序23a進一步附加了檢測表皮邊界的功能和對檢測出的表皮邊界進行調查巴瑞特食道的特徵量的分析的功能的處理程序23e。此外，由於是與實施例1相同的結構，因而對同一構成要素附上相同標號，省略其說明。
在本實施例中，如圖2所示，在例如食道31那樣的管狀器官或管狀部位內插入直視型內窺鏡6的插入部11，由設置在前端部14上的攝像裝置17對食道31的內壁黏膜等進行攝像。
圖35示出由該直視型內窺鏡6所拍攝的巴瑞特食道的內窺鏡圖像Ia的一例。巴瑞特食道是作為食道黏膜的扁平表皮36從胃和食道的接合部、即胃食道接合部34向口腔側連續地變性成作為胃黏膜或巴瑞特黏膜的圓柱表皮35的食道，在該巴瑞特黏膜在距正常的黏膜邊界3cm以上、針對食道管腔剖面全周地產生了該巴瑞特黏膜的情況下，診斷為巴瑞特食道疾病。
包含這樣定義的情況，手術人員通過使用內窺鏡6來觀察進行了變性的圓柱表皮35的擴展方法以及圓柱表皮35和扁平表皮36的邊界即表皮邊界37的特徵形狀，來進行巴瑞特食道的診斷。
在圖35的內窺鏡圖像Ia中，從食道31到胃內部的管狀部位部分顯示了未作圖示的最暗部的周圍的胃食道接合部34、胃食道接合部34的周圍的外側的圓柱表皮35、其外側的表皮邊界37、以及該表皮邊界37的外側的扁平表皮36。
在本實施例中，使用直視型內窺鏡6對食道31那樣的管狀器官的對象物進行攝像，並對所拍攝的內窺鏡圖像Ia進行幾何變換，進行生成展開圖的處理，把所生成的對象物的展開圖顯示在監視器4上，並從所生成的展開圖中檢測表皮邊界37。
然後，根據檢測出的表皮邊界37的特徵形狀進行形狀分析，並進行輸出分析結果的處理。
具體地說，計算表皮邊界37的Z方向的平均值，並計算表皮邊界37的Z方向的離散值，從而進行判定是表皮邊界還是巴瑞特食道的處理，輸出是表皮邊界還是巴瑞特食道的判定結果(分析結果)。
構成圖像處理裝置3的CPU 22如圖36所示，具有進行幾何變換的幾何圖像變換單元(功能)22a；通過幾何變換而輸出展開像的展開圖輸出單元(功能)22b；從展開圖檢測表皮邊界的表皮邊界檢測單元(功能)22g；以及對表皮邊界的形狀進行分析而輸出該分析結果的表皮邊界分析單元(功能)22h。
上述表皮邊界分析單元22g具體地說，包括計算表皮邊界的Z軸方向的平均值的表皮邊界的平均值計算單元(功能)；計算表皮邊界的Z方向的離散值的表皮邊界的離散值計算單元(功能)；以及判定該離散值是表皮邊界還是巴瑞特食道的判定單元(功能)。
在本實施例中，圖36所示的幾何圖像變換單元22a、展開圖輸出單元22b、表皮邊界檢測單元22g以及表皮分析單元22h是以軟體方式實現的，因此CPU 22讀出存儲在處理程序存儲部23內的處理程序23e，CPU22根據該處理程序23e執行圖37所示的處理過程。
如以下說明的那樣，本實施例根據使用直視型內窺鏡6對食道的胃食道接合部周圍部進行攝像而得到的內窺鏡圖像Ia來生成展開圖Ib，從該展開圖Ib檢測表皮邊界，並計算在表皮邊界各點上的離散值，從而針對該表皮邊界37的形狀判定是否具有典型的巴瑞特食道的形狀，即表皮邊界37的各點在管腔方向呈鋸齒狀等的複雜形狀的情況下的特徵量。
於是，客觀地判定所拍攝的內窺鏡圖像Ia中的表皮邊界37的各點在管腔方向呈鋸齒狀等複雜形狀的情況下的典型的巴瑞特食道。
下面參照圖37對本實施例的動作進行說明。
開始圖像處理裝置3的動作，CPU 22讀出處理程序存儲部23的處理程序23e，開始根據該處理程序23e的處理。CPU 22在最初的步驟S81中，取得從內窺鏡觀察裝置2的CCU 8經由圖像輸入部21所輸入的內窺鏡圖像Ia的圖像數據。
然後，在下一步驟S82中，CPU 22對所取得的圖像數據進行失真像差校正、噪音去除等預處理，在步驟S83中，進行根據圖38的左側所示的內窺鏡圖像Ia生成右側所示的展開圖Ib的處理。
圖39示出生成該展開圖Ib的步驟S83的處理。由於圖39所示的處理與在圖5中說明的步驟S3至步驟S13的內容相同，因而對相同處理內容的步驟附上相同標號。然而，圖39中的步驟S13』是僅輸出展開圖的處理。
如圖39所示，在最初的步驟S3中，檢測內窺鏡圖像Ia內的最暗部的位置，把檢測出的最暗部的重心位置作為內窺鏡圖像Ia的坐標的中心位置。
在本實施例中，以內窺鏡圖像Ia內的最暗部的位置為中心來生成展開圖。作為最暗部的檢測方法，把內窺鏡圖像Ia分割成多個區域，計算所分割的區域的平均亮度，並求出具有最小平均亮度的區域作為最暗部的位置。
如圖38所示把內窺鏡圖像Ia的二維正交坐標系設定為X-Y，從該內窺鏡圖像Ia幾何變換成極坐標系，生成設為θ-Z的展開圖Ib。另外，坐標系X-Y中的坐標位置利用x、y表示。並且，極坐標系θ-Z中的坐標位置利用表示周向的位置的θ和表示距中心的距離位置的z來表示。
另外，為了容易明白在圖6中根據內窺鏡圖像Ia生成展開圖Ib的情況的關係，利用箭頭對應地示出在把內窺鏡圖像Ia中的扁平表皮36和圓柱表皮35的表皮邊界37、以及胃食道接合部34作為展開圖Ib的情況下，以哪種形狀來顯示。這裡，對於θ付上0度、45度、90度的情況下的刻度來表示。並且，圖像的顯示框的位置利用Q0、Q45、Q90來表示。
在後面的步驟S4和步驟S5中，設定展開圖Ib的坐標S(θ，z)的初始值。即，在步驟S4中，CPU 22設θ＝0，在步驟S5中設z＝0。
在下一步驟S6中，根據以下的式(1)求出與所設定的展開圖Ib的坐標S(θ，z)對應的內窺鏡圖像Ia的坐標位置。
x＝z sin θ、y＝z cos θ (1)在步驟S7中，判斷計算出的坐標P(x，y)是否存在於內窺鏡圖像Ia內。
然後，在存在於內窺鏡圖像Ia內的情況下，進到步驟S8。由式(1)獲得的內窺鏡圖像的坐標P(x，y)的位置具有存在於像素之間的中間的可能性，因而在步驟S8使用線性插值等處理來計算坐標P(x，y)的亮度值。
另外，作為亮度值，在進行彩色攝像的情況下，計算各色信號的亮度值。
在步驟S9中，把在步驟S8中求出的亮度值作為展開圖的坐標S(θ，z)的亮度值。然後進到步驟S10，變更展開圖Ib的z值(例如z的增量Δz＝1)，回到步驟S6。
另一方面，在步驟S7中計算出的坐標P(x，y)不存在於內窺鏡圖像Ia內的情況下，進到步驟S11，變更展開圖Ib的θ值(例如θ的增量Δθ＝π/180，即1°)。在下一步驟S12中，在θ小於2π(360°)時回到步驟S5，繼續展開圖生成的處理。另一方面，在θ大於等於2π的情況下，判斷為生成了展開圖Ib並進到步驟S13，把展開圖Ib輸出到監視器4，結束展開圖生成的處理，移到圖37的步驟S84的使用所生成的展開圖Ib來檢測表皮邊界37的處理。
為了檢測圖37的步驟S84所示的扁平表皮36和圓柱表皮35的邊界、即表皮邊界37(取得坐標點序列)，例如如圖40所示利用邊緣檢測來進行。由於扁平表皮36是白色調，而圓柱表皮35是紅色調，因而也能根據R、G、B顏色信號中的特定色調等來檢測該表皮邊界37。
如圖40所示，CPU 22在步驟S131中取得存儲在圖像存儲部24等內的展開圖Ib的圖像數據。
然後，在下一步驟S132中，CPU 22對該圖像數據進行上述公知的邊緣檢測處理作為輪廓提取過濾處理，生成邊緣檢測圖像。
在下一步驟S133中，CPU 22對該邊緣檢測圖像進行二值化處理，並進行細線化處理來取得邊界。
在下一步驟S134中，CPU 22對所取得的邊界進行追跡處理，取得沿著邊界的坐標點序列、即表皮邊界的點序列。
在這樣取得了表皮邊界37的點序列後，CPU 22如圖37的步驟S85所示計算表皮邊界37的(成為食道的管腔方向的)Z方向的平均值ZA。
即，CPU 22根據以下的式(25)求出檢測出的表皮邊界37的Z方向的平均值ZA。
ZA>=1Ni=0N-1ZAi---(25)]]>其中，ZAθi是通過式(1)獲得的展開圖中的表皮邊界的θi中的Z值。在式(25)中根據周向的旋轉1圈的樣本值N來計算平均。在該情況下，圖38的展開圖Ib的解析度由θi和Z(距中心O的距離)的取樣的細度來決定。
圖41示出在展開圖Ib上顯示出表皮邊界37的Z方向的平均值ZA的圖。在計算出式(25)的平均值ZA之後，在下一步驟S86中，CPU 22根據以下的式(26)求出表示表皮邊界37的Z方向的坐標位置的偏差(邊界的凹凸)程度的離散值σA。
A=1Ni=0N-1(ZAi-ZA>)2---(26)]]>在下一步驟S87中，CPU 22把根據式(26)計算出的離散值σA與基準值σth進行比較，判定該離散值σA是否小於基準值σth。
然後，在離散值σA小於基準值σth的情況下，在步驟S88中，CPU 22判定為表皮邊界37，反之在離散值σA大於基準值σth的情況下，如步驟S89所示，判斷為表皮邊界37形成為複雜的形狀，將所拍攝的圖像判斷為巴瑞特食道。
在該情況下，針對根據展開圖Ib所獲得的離散值σA進行判定所使用的基準值σth，是根據如圖42所示使用了預先確定了診斷的表皮邊界37的樣本和巴瑞特食道的情況下的樣本的離散值σ的直方圖來決定的。
圖42示出在表皮邊界37的情況下獲得的離散值σnor的分布直方圖Dnor和在巴瑞特食道的情況下獲得的離散值σbar的分布的直方圖Dbar。另外，巴瑞特食道的情況下的樣本使用如表皮邊界37呈鋸齒狀那樣邊界形狀是複雜的形狀的樣本。如圖42所示，根據兩個直方圖Dnor和Dbar，例如將兩個直方圖交叉的位置σth設定成評價為巴瑞特食道的基準值σth。
然後，CPU 22通過如上所述把根據式(26)求出的離散值σA與該基準值σth進行比較，來判定是表皮邊界37還是巴瑞特食道。
在步驟S90中，CPU 22把步驟S88或步驟S89的判定結果(分析結果)的信息輸出到監視器4等顯示裝置，結束該處理。
圖43示出把內窺鏡圖像Ia、展開圖Ib以及判定結果的信息顯示在監視器4上的顯示例。在圖43的顯示例中，作為離散值σA大於等於基準值σth的情況的例子，在判定顯示部41上顯示判定為「巴瑞特食道」的判定結果。
另外，這裡，雖然顯示為巴瑞特食道，然而也可以顯示為「巴瑞特食道的可能性高」等。並且，也可以計算標準偏差值來取代求出離散值σA，將標準偏差值與基準值進行比較，把比較結果作為分析結果來顯示等。
並且，在本實施例和以下的實施例中，將對計算出的離散值σA等針對成為判定對象的巴瑞特食道的特徵量的評價值與單一的基準值(σth等)進行比較的比較結果作為分析結果，然而也可以把計算出的評價值與多個基準值進行比較，輸出巴瑞特食道的可能性高的狀態和接近正常的狀態的中間狀態(一個或多個中間狀態)的分析結果等。
例如，也可以在判定為與表皮邊界37的情況相比，作為食道黏膜的扁平表皮36有少量變性的狀態的情況下，顯示存在生成了少量圓柱表皮(巴瑞特黏膜)35的初始狀態的可能性的判定結果來進行告知，或者在判定為扁平表皮36進一步發生了變性的狀態的情況下，顯示已生成相當多的圓柱表皮(巴瑞特黏膜)35的症狀處於進行狀態等判定結果來進行告知。
手術人員通過參考判定結果信息，可進行高效的診斷。並且，手術人員通過參照顯示在監視器4上的內窺鏡圖像Ia以及一起顯示的展開圖Ib，(與僅顯示內窺鏡圖像Ia的情況相比)更容易把握表皮邊界37的周向的形狀等，因此可高效率地進行診斷等。
在上述說明中，以通過圖39所示的處理從二維內窺鏡圖像Ia進行幾何變換來生成展開圖Ib的情況進行了說明，然而也可以在根據圖44A所示的內窺鏡圖像Ia，如圖44B所示推定成為診斷對象的食道的胃食道接合部周圍部的內壁面的立體形狀等之後，生成圖44C所示的展開圖Ib。
另外，在如圖44B所示推定出立體形狀的情況下，進一步推定該立體形狀的中心線，把內窺鏡圖像Ia的各點變換成把該中心線方向作為坐標軸ZL的三維坐標系(XL，YL，ZL)。
並且把該三維坐標系(XL，YL，ZL)中的立體形狀的各點投影在接近於該立體形狀的以相同的ZL為中心的圓柱體的表面上。把該圓柱體的表面的坐標系設定為θL-ZL。然後，把三維坐標系(XL，YL，ZL)的各點或者投影在圓柱體表面上的各點變換成θL-ZL的坐標系。
在圖44B中，示出表皮邊界37上的點P』，該表皮邊界37上的點P』與YL軸所成的角用θL表示。
如圖44B所示把投影在圓柱體表面上的各點變換成θL-ZL的坐標系之後，用把θL設定為0的值來切開，利用圖44C所示的展開圖Ib來顯示內窺鏡圖像Ia的各位置。該處理的詳情在實施例4中已進行了說明。
並且，也可以採用實施例5的展開圖生成單元來生成展開圖(並且，在通過二維變換來生成展開圖的情況下，也可以採用實施例2或實施例3所記載的展開圖生成單元來生成展開圖，利用該展開圖來進行上述處理。)。
如圖44C所示，在該情況下，由於ZL大的值側成為遠離攝像單元的位置，因而在與遠方位置對應的胃食道接合部34的下側(內側)顯示錶皮邊界37的形狀。
這樣在圖44C所示的展開圖Ib的情況下，CPU 22也可以通過進行圖37的步驟S84及S84以後的處理，來計算表皮邊界37的Z方向(在圖44C中是ZL方向)的平均值ZA和離散值σA，把該離散值σA與基準值σth進行比較，從而判定是表皮邊界還是性狀發生了變化的巴瑞特食道。另外，圖44C的展開圖Ib的解析度由在推定診斷對象的立體形狀的情況下的圖像的解析度來決定。
這樣在本實施例中，通過生成由直視型內窺鏡6所拍攝的食道的內窺鏡圖像的展開圖Ib，並定量地判定展開圖Ib的表皮邊界37的形狀的偏差等，從而可容易且客觀地判定是否是巴瑞特食道。
因此，手術人員通過利用該判定結果，可高效率地進行是否是巴瑞特食道的診斷。
並且，在本實施例中，由於生成展開圖Ib，因而與僅僅內窺鏡圖像Ia的情況相比，更容易把握管腔方向或者與管腔垂直的周向上的表皮邊界37的形狀分布等，因此，手術人員更容易進行診斷。
(實施例7)下面參照圖45和圖46對本發明的實施例7進行說明。巴瑞特食道如實施例6所說明的那樣適用於表皮邊界37形成為複雜形狀的情況，然而有時圓柱表皮(巴瑞特黏膜)35擴展成舌狀，因此表皮邊界37的形狀也形成為舌狀。
在該情況下，在實施例6中，存在難以輸出適合於該形狀的分析結果的可能性。因此，在本實施例中，目的在於即使在圓柱表皮35擴展成舌狀的情況下，也能輸出適合於該舌狀的形成的分析結果(判定結果)。
因此，在本實施例中，如以下說明那樣，取代計算實施例6中的表皮邊界37的Z方向的平均值ZA，計算與表皮邊界37的Z方向的偏差(複雜度)對應的離散值σA，而是通過求出表皮邊界37的Z方向的最大值和最小值，並把它們的差量值的絕對值與基準值進行比較，來判定表皮邊界37是否是巴瑞特食道。
圖45示出對胃食道接合部附近進行攝像而得到的內窺鏡圖像Ia和根據該內窺鏡圖像Ia而二維或三維地生成的展開圖Ib。
在本實施例中，進行圖46所示的處理。圖46的處理從步驟S81到步驟S84都與圖37的處理相同。在通過步驟S84檢測出表皮邊界37之後，在本實施例中，如步驟S141所示，CPU 22計算表皮邊界37的Z方向的最大值Zmax和最小值Zmin。
然後，在下一步驟S142中，CPU 22求出該最大值Zmax和最小值Zmin的差量值的絕對值DA。
在下一步驟S143中，CPU 22把該差量值的絕對值DA與基準值Dth進行比較，判定差量值的絕對值DA是否小於基準值Dth。
該基準值Dth是在求出預先確定了診斷的正常的樣本和表皮邊界37擴展成舌狀的巴瑞特食道的樣本的各差量值的絕對值的直方圖之後，作為適合於進行兩者的判定的閾值而被計算出的。
在差量值的絕對值DA小於基準值Dth的情況下，在步驟S88中，CPU22判定為表皮邊界37，反之在差量值的絕對值DA大於等於基準值Dth的情況下，如步驟S89所示判定為巴瑞特食道。然後，在步驟S90中，CPU 22把步驟S88或步驟S89的判定結果輸出到監視器4等顯示裝置等，結束該處理。
根據本實施例，即使在表皮邊界37擴展成舌狀的情況的巴瑞特食道的情況下，也能適當地分析其特徵，進行準確的判定。
(實施例8)下面參照圖47和圖48對本發明的實施例8進行說明。本實施例的目的在於，即使在食道的管狀形狀例如從圓管形狀發生了變形的情況下，也能根據表皮邊界的特徵形狀來適當地判定是否是巴瑞特食道。
在實施例6的判定方法中，假定食道接近於圓管形狀，計算表皮邊界37的Z方向的平均值ZA，計算表皮邊界37的Z方向的各位置與該平均值ZA的偏差(離散值)，判定是否是巴瑞特食道。在該方法中，在食道的管狀形狀因例如心臟的搏動等的影響及其他影響而從圓管形狀發生了變形的情況下，判定結果容易受到該影響。
在本實施例中，為了減輕該影響，根據圖47的左側所示的內窺鏡圖像Ia生成右側的展開圖Ib，並在該展開圖Ib上檢測例如胃食道接合部34，根據從該胃食道接合部34到表皮邊界37的距離的離散值來判定是否是巴瑞特食道。
即，在食道的管狀形狀發生了變形的情況下，認為胃食道接合部34也發生大致同樣的變形，因而通過利用從胃食道接合部34到表皮邊界37的距離信息，幾乎不受食道的管狀形狀的影響地進行判定。在該情況下，也可以取代胃食道接合部34，而檢測通到胃的暗部或賁門部，對其加以利用。
作為胃食道接合部34的檢測方法，可檢測沿例如食道黏膜的管腔方向(即Z方向)走行的柵狀血管的端點，通過連接該端點來檢測胃食道接合部34。
本實施例的處理方法如圖48所示。在圖48中，從步驟S81到S84與圖37或圖46相同。在步驟S84以後，在步驟S151中，CPU 22進行檢測胃食道接合部34的處理，檢測胃食道接合部B34。
在下一步驟S152中，CPU 22計算表皮邊界37和胃食道接合部34中的Z方向的距離ZAθi-ZBθi的平均值ZAB和離散值σAB。
這裡，平均值ZAB和離散值σAB可根據以下的式(27)來求出。
ZAB>=1Ni=0N-1(ZAi-ZBi)]]>AB=1Ni=0N-1(ZAi-ZBi-ZAB>)2---(27)]]>然後，在下一步驟S153中，CPU 22通過把該離散值σAB與預先求出的用於判定的基準的離散值σABth進行比較，來判定是表皮邊界還是性狀發生了變化的巴瑞特食道。
即，在通過步驟S153，判定為離散值σAB的值小於基準的離散值σABth的情況下，如步驟S88所示，CPU 22判定為表皮邊界，反之在離散值σAB的值大於等於基準的離散值σABth的情況下，如步驟S89所示判定是巴瑞特食道。
然後，如步驟S90所示，CPU 22輸出判定結果，以便把步驟S88或步驟S89的判定結果顯示在監視器4上，結束該處理。
根據本實施例，以胃食道接合部34為基準計算到表皮邊界37的距離(＝ZAθi-ZBθi)的平均值ZAB，評價該距離ZAθi-ZBθi的偏差，從而判定表皮邊界37是表皮邊界還是巴瑞特食道，因而即使在食道的管狀發生了變形的情況下也能適當地進行判定。
另外，也可以取代如上所述以胃食道接合部34為基準，而把通到胃的暗部或賁門部用作基準來判定。例如為了檢測暗部(最暗部)，用為了檢測暗部而設定的閾值進行二值化，通過邊緣提取來檢測其邊界，並進行細線化等，從而可檢測暗部的邊界。
在該情況下，與檢測胃食道接合部34的情況相比，可通過簡單的處理來計算。
(實施例9)下面參照圖49和圖50對本發明的實施例9進行說明。本實施例在巴瑞特食道的情況下，關注表皮邊界37伴隨複雜形狀的特徵，根據該特徵計算表皮邊界37的線長度，判定是表皮邊界還是巴瑞特食道。
圖49示出如上述的各實施例那樣根據內窺鏡圖像所生成的展開圖Ib。由於該展開圖Ib是離散圖像，因而實際上，表皮邊界37的曲線用折線來表示。因此，計算相鄰2點Ai-1(θi-1，Zi-1)、Ai(θi，Zi)之間的距離Li-1，i，求出該距離Li-1，i的總和值，從而如式(28)所示求出表皮邊界37的長度LA。即，[數式27]Li-1,i=(i-i-1)2+(Zi-Zi-1)2]]>LA=i=1NLi-1,i---(28)]]>這裡，i是在將360度(2π)作了N等分的情況下的從1到N的值。
使用這樣計算出的表皮邊界37的長度LA，通過圖50所示的過程來判定是表皮邊界還是巴瑞特食道。圖50中的步驟S81至S83與圖37相同，因而省略。
如圖50所示，在通過步驟S84進行了表皮邊界37的檢測之後，如步驟S161所示，CPU 22計算表皮邊界37的長度LA。
在下一步驟S162中，CPU 22把計算出的表皮邊界37的長度LA與使用預先確定了診斷的多個樣本來進行判定所使用的作為基準的表皮邊界的長度Lth進行比較。然後，在表皮邊界37的長度LA小於基準的表皮邊界的長度Lth的情況下，如步驟S88所示，CPU 22判定為表皮邊界，反之在表皮邊界37的長度LA大於等於基準的表皮邊界的長度Lth的情況下，如步驟S89所示判定為是巴瑞特食道。
然後，如步驟S90所示，CPU 22輸出步驟S88或步驟S89的判定結果，以便顯示在監視器4上，結束該處理。
根據本實施例，在巴瑞特食道的情況下，表皮邊界37成為複雜的形狀的病例是多見的，可對這種病例的情況進行準確的判定。
另外，在計算表皮邊界37的長度LA的情況下，也可以用近似式來表示表皮邊界37的曲線，並根據該近似式求出線長度。這樣，可計算更高精度的線長度，可更高精度地進行基於線長度的判定。
另外，根據相鄰2點Ai-1(θi-1，Zi-1)、Ai(θi，Zi)之間的距離Li-1，i在周向整周(360度)上的總和值，來計算表皮邊界37的長度LA，然而不一定限於整周。這在其他實施例中也是一樣。
(實施例10)下面參照圖51A至圖52對本發明的實施例10進行說明。在本實施例中，求出表皮邊界的曲線中的相鄰矢量所成的角的絕對值在周向上的總和值，並根據該總和值判定是表皮邊界還是巴瑞特食道。
在本實施例中，CPU 22如圖51A的左側所示根據內窺鏡圖像Ia生成右側的展開圖Ib。並且，CPU 22從展開圖Ib檢測表皮邊界37。由於展開圖Ib是離散圖像，因而表皮邊界37用折線表示。
提取出該表皮邊界37上的相鄰的3點，求出分別連接相鄰的2點的兩個線段所成的角、或者兩個矢量所成的角。
例如如圖51A中的圓C的部分放大圖所示，圖19B示出該圖中的3點Ai-1、Ai、Ai+1的矢量Vi、Vi+1。
然後，CPU 22計算兩個矢量Vi、Vi+1所成的角φθi。
然後，CPU 22使i從0開始逐次地遞增1，在使3點Ai-1、Ai、Ai+1向左側移動的同時，如式(29)所示計算該情況下的角φθi的絕對值的總和φA。
在該情況下，為[數式28]i=cos-1ViVi+1|Vi||Vi+1|]]>A=i=0N-1|i|---(29)]]>本實施例中的是表皮邊界還是巴瑞特食道的判定方法如圖52所示。在圖52中，從最初的步驟S81到步驟S83與圖37的情況相同，因而省略該步驟。
如步驟S84所示檢測出表皮邊界37之後，在下一步驟S171中，CPU22如圖51A和圖51B所說明的那樣，根據展開圖Ib上的相鄰的3點依次設定兩個矢量Vi、Vi+1，計算該兩個矢量所成的角φθi。然後，在下一步驟S172中，計算這些角φθi的絕對值的總和φA。
在下一步驟S73中，把計算出的總和φA與使用預先確定了診斷的多個樣本而求出的作為基準的表皮邊界的情況下的總和值φth進行比較。然後，在計算出的總和φA小於基準的總和值φth的情況下，CPU 22如步驟S88所示判定為表皮邊界，反之在總和φA大於等於基準的總和值φth的情況下，如步驟S89所示判定為是巴瑞特食道。
然後，如步驟S90所示，CPU 22輸出步驟S88或步驟S89的判定結果，以便顯示在監視器4上，結束該處理。
根據本實施例，在巴瑞特食道的情況下，表皮邊界37形成為複雜的形狀的病例是多見的，可對這種病例的情況進行準確的判定。
(實施例11)下面參照圖53和圖54對本發明的實施例11進行說明。在本實施例中，計算表皮邊界的彎曲點數，根據該數的大小判定是表皮邊界還是巴瑞特食道。如上所述，在巴瑞特食道的病例的情況下，大多伴隨鋸齒形狀等複雜形狀。例如如圖51A所示，表皮邊界37在巴瑞特食道的病例中，大多形成為凹凸形狀。
在本實施例中，作為計算(評價)彎曲點數的具體例，例如計算與展開圖中的表皮邊界37的極大值和極小值相當的拐點的數。或者計測連接展開圖中的表皮邊界37上的相鄰2點的線段或矢量與水平方向所成的角從大於0度的狀態變為小於等於0度(從正變為負)的狀態或者從小於0度變為大於等於0度(從負變為正)的點的數。圖53示出該情況。
如圖53所示，計算表皮邊界37上的2點Ai-1、Ai的矢量Vi的斜率ΔZi/Δθi＝ψi從正變為負的點、和從負變為正的拐點的數。在圖53中，由於矢量Vi+2的斜率變為負，因而判定為點Ai+2是拐點。
然後，這樣從θi的i＝1至N進行拐點的檢測，計算拐點的總和。然後，根據拐點的總和值的大小判定是表皮邊界還是巴瑞特食道。
本實施例中的是表皮邊界還是巴瑞特食道的判定方法如圖54所示。在圖54中，從最初的步驟S81到步驟S83與圖37的情況相同，因而省略該步驟。
如步驟S84所示，CPU 22在檢測出表皮邊界37之後，在下一步驟S181中，把θ的變量參數i和彎曲點數FA初始化。即，CPU 22設i＝1和FA＝0。在下一步驟S182中，CPU 22如圖53所示計算矢量Vi的斜率ψi。然後，在下一步驟S183中，CPU 22判定該斜率ψi是否與拐點對應。在通過該判定判定為與拐點對應的情況下，在步驟S184中，CPU 22使數FA的值增大1之後，進到下一步驟S185。
並且，在步驟S183的判定處理中，CPU 22在判定為斜率ψi不與拐點對應的情況下，移到步驟S185。在步驟S185中，CPU 22判定變量參數i是否等於θ的分割數N，在不等於N的情況下，如步驟S186所示使變量參數i的數增大1，回到步驟S182。
這樣，CPU 22重複進行從步驟S182到步驟S186的處理，直到i＝N。
然後，在i＝N的情況下，如步驟S187所示，CPU 22判定數FA是否小於作為基準的數Fth。該作為基準的數Fth是根據確定了診斷的多個樣本所計算的。
然後，在數FA小於作為基準的數Fth的情況下，如步驟S88所示，CPU 22判定為表皮邊界，反之在數FA大於等於基準的數Fth的情況下，如步驟S89所示判定為是巴瑞特食道。
然後，如步驟S90所示，CPU 22輸出步驟S88或步驟S89的判定結果，以便顯示在監視器4上，結束該處理。
根據本實施例，在巴瑞特食道的情況下，表皮邊界37形成為複雜的形狀的病例是多見的，可對這種病例的情況進行準確的判定。
另外，在本實施例中，以通過計算拐點數FA，並比較計算出的數來判定是表皮邊界還是巴瑞特食道的例子來進行了說明，然而也可以例如如日本國特願2004-360319號所記載的那樣，通過計算彎曲點數，將該數進行比較，來判定是表皮邊界還是巴瑞特食道。
該判定方法只要進行根據該秘本國特願2004-360319號的圖4中的步驟S4至S14的處理的處理即可。另外，在該情況下，該處理針對根據內窺鏡圖像所獲得的圖像數據來執行。
並且，在上述說明中，對計算拐點數FA或者彎曲點數，把該數與基準值進行比較來判定是表皮邊界還是巴瑞特食道的例子進行了說明，然而也可以把相鄰兩點的斜率ψi、ψi+1的值進行比較，對該值發生變化的點(例如相減值發生變化的點)的數進行計數，把其總和值與基準值進行比較來進行判定。
另外，在例如圖37的處理過程中，在步驟S83中生成展開圖之後，在下一步驟S84中檢測表皮邊界37，然而也可以先檢測出表皮邊界37之後，生成展開圖Ib。
並且，在上述的各實施例中，對定量地判定是否是作為上消化道的食道內的胃食道接合部周圍部的疾病的巴瑞特食道的情況進行了說明，然而也能應用於下消化道的情況。
例如也可以根據將內窺鏡6插入大腸內所拍攝的圖像來生成展開圖，從該展開圖檢測色調等與正常部位不同的病變部黏膜的邊界，並針對該檢測出的邊界，進行對例如邊界的形狀等的分析，獲得分析結果。總之，可廣泛用作根據對體內的管狀部位進行攝像而得到的內窺鏡圖像來生成展開圖，根據該展開圖進行對病變部等的分析的情況下的裝置和方法。在該情況下，通過將分析結果與展開圖一起使用，可容易把握病變部等，可高效率地進行診斷等。另外，使上述各實施例部分地組合等而構成的實施例等也屬於本發明。
由於根據將直視型內窺鏡插入體腔內來對食道等管狀部位內面進行攝像而得到的圖像來生成接近於將該管狀部位內面展開的形狀的展開像並顯示在顯示裝置上，因而即使是深度方向的值不同的部分也能用相同的刻度來顯示，因而可獲得容易進行比較等且也可進行客觀的診斷的圖像。
權利要求
1.一種醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置具有圖像變換部，其對拍攝生物體內的管狀部位而得到的醫療圖像進行幾何變換；以及展開圖輸出部，其把由上述圖像變換部所獲得的變換圖像作為展開像而輸出到顯示裝置。
2.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，上述醫療圖像是由把上述管狀部位的長度方向作為視野方向的直視型攝像裝置所拍攝的攝像圖像。
3.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，上述圖像變換部具有從上述攝像圖像變換成極坐標系的圖像的坐標系變換部。
4.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，上述圖像變換部把上述攝像圖像投影在圓柱體表面上來生成上述變換圖像。
5.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有推定部，該推定部推定上述攝像裝置和上述管狀部位的相對位置關係。
6.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有中心位置設定部，該中心位置設定部設定上述攝像圖像的中心位置。
7.根據權利要求6所述的醫療圖像處理裝置，其特徵在於，上述中心位置設定部檢測上述攝像圖像內的最暗部，把檢測出的最暗部的重心位置作為中心位置。
8.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置具有失真像差校正部，該失真像差校正部校正上述醫療圖像的失真像差。
9.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有顯示裝置，該顯示裝置顯示上述展開像。
10.根據權利要求5所述的醫療圖像處理裝置，其特徵在於，上述推定部從在上述管狀部位和上述攝像裝置被設定成分別不同的多個位置關係的狀態下所獲得的多個模型圖像中，檢測與上述攝像裝置實際拍攝的上述攝像圖像接近的模型圖像，從而推定與檢測出的模型圖像對應的位置關係。
11.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有立體形狀推定部，該立體形狀推定部根據上述醫療圖像推定上述管狀部位的立體形狀。
12.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有立體形狀推定部，該立體形狀推定部根據上述攝像圖像推定上述管狀部位的立體形狀。
13.根據權利要求12所述的醫療圖像處理裝置，其特徵在於，上述圖像變換部對上述攝像圖像進行幾何變換以把上述攝像圖像投影在由上述立體形狀推定部所推定出的立體形狀的表面上，生成上述變換圖像。
14.根據權利要求13所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置具有顯示裝置，該顯示裝置顯示由上述圖像變換部根據上述變換圖像所生成的上述展開像。
15.根據權利要求11所述的醫療圖像處理裝置，其特徵在於，上述立體形狀推定部根據在分別不同的攝像位置所拍攝到的多張攝像圖像之間的同一對象部分的移動量，來推定上述攝像位置和上述管狀部位的立體形狀。
16.根據權利要求11所述的醫療圖像處理裝置，其特徵在於，上述立體形狀推定部採用陰影恢復形狀法，該陰影恢復形狀法根據針對距照明單元的距離被視為相等的表面上的曲線的發展方程式來推定上述管狀部位的立體形狀。
17.根據權利要求11所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置具有直線推定部，該直線推定部針對由上述立體形狀推定部所推定出的立體形狀，推定通過該立體形狀的大致中心的直線。
18.根據權利要求11所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置具有變換參數計算部，該變換參數計算部計算從表示由上述立體形狀推定部所推定出的立體形狀的坐標系變換到以上述直線為基準的坐標系的變換參數。
19.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，上述展開圖輸出部具有插值處理部，該插值處理部對上述變換圖像進行插值處理而輸出上述展開像。
20.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有表皮邊界檢測部，其針對上述展開像檢測作為食道側黏膜的扁平表皮與上述扁平表皮變性成胃側黏膜的圓柱表皮的邊界、即表皮邊界；以及分析部，其針對檢測出的上述表皮邊界，計算與規定的特徵量對應的分析結果。
21.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有表皮邊界檢測部，其針對上述展開像檢測作為食道側黏膜的扁平表皮與上述扁平表皮變性成胃側黏膜的圓柱表皮的邊界、即表皮邊界；以及分析部，其針對檢測出的上述表皮邊界，計算與規定的特徵量對應的分析結果。
22.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算與作為上述規定的特徵量的、巴瑞特食道的情況下的表皮邊界的形狀特徵量對應的分析結果。
23.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部具有平均值計算部，其計算上述表皮邊界的平均值；以及偏差量計算部，其計算與上述表皮邊界的平均值的偏差量，上述分析部通過計算上述偏差量來計算與上述規定的特徵量對應的分析結果。
24.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算上述表皮邊界上的食道的管腔方向上的最大值和最小值的差量值，把該差量值與規定值的比較結果作為分析結果。
25.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算從胃和食道的接合部等基準部位到上述表皮邊界的距離的偏差量，把計算出的偏差量與基準值進行比較來作為分析結果。
26.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算上述表皮邊界上的相鄰2點間的距離的總和值，把計算出的總和值與基準值的比較結果作為分析結果。
27.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算連接上述表皮邊界上的相鄰3點中的相鄰2點的兩個矢量所成的角的絕對值的總和值，把計算出的總和值與基準值的比較結果作為分析結果。
28.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算上述表皮邊界上的各點的形狀在上述食道的管腔方向上變得凹凸的情況下的彎曲點的數量，把計算出的彎曲點的數量與基準值的比較結果作為分析結果。
29.根據權利要求21所述的醫療圖像處理裝置，其特徵在於，上述分析部計算上述表皮邊界的形狀在上述食道的管腔方向上變為極大和極小的極值的數量，並把計算出的極值的數量與基準值的比較結果作為分析結果。
30.根據權利要求1所述的醫療圖像處理裝置，其特徵在於，該醫療圖像處理裝置還具有直視型內窺鏡，該直視型內窺鏡具有把插入部的長度方向作為視野方向的攝像裝置。
31.根據權利要求2所述的醫療圖像處理裝置，其特徵在於，上述展開圖輸出部根據上述攝像圖像而生成與將上述管狀部位的內周面切開而得到的圖像對應的展開像。
32.一種內窺鏡裝置，其特徵在於，該內窺鏡裝置具有內窺鏡，其具有拍攝體腔內的管狀部位的圖像的攝像裝置；展開圖像生成裝置，其使用由上述攝像裝置所拍攝到的至少一張圖像，來生成與將管狀部位切開而得到的圖像對應的展開像；表皮邊界檢測部，其從上述展開像檢測表皮邊界；以及分析部，其對由上述表皮邊界檢測部檢測出的表皮邊界的形狀進行分析，輸出分析結果。
33.一種醫療圖像處理方法，其特徵在於，該醫療圖像處理方法具有圖像變換步驟，該步驟對拍攝體腔內的管狀部位而得到的醫療圖像進行幾何變換；以及展開圖輸出步驟，該步驟從由上述圖像變換步驟所獲得的變換圖像作為展開像而輸出到顯示裝置。
34.根據權利要求33所述的醫療圖像處理方法，其特徵在於，上述圖像變換步驟是從上述醫療圖像變換到極坐標系的圖像的極坐標系變換步驟。
35.根據權利要求33所述的醫療圖像處理方法，其特徵在於，上述圖像變換步驟進行生成把上述醫療圖像投影在圓柱體表面上的二維圖像的幾何圖像變換。
36.根據權利要求33所述的醫療圖像處理方法，其特徵在於，該醫療圖像處理方法具有立體形狀推定步驟，該步驟根據上述醫療圖像推定上述管狀部位的立體形狀。
37.根據權利要求36所述的醫療圖像處理方法，其特徵在於，上述圖像變換步驟把上述醫療圖像對通過上述立體形狀推定步驟所推定出的立體形狀的表面進行幾何變換。
38.根據權利要求33所述的醫療圖像處理方法，其特徵在於，該醫療圖像處理方法具有表皮邊界檢測步驟，該步驟從上述展開像檢測作為食道側黏膜的扁平表皮和上述扁平表皮變性成胃側黏膜的圓柱表皮的邊界、即表皮邊界；以及分析步驟，該步驟針對檢測出的上述表皮邊界，計算與規定的特徵量對應的分析結果。
39.根據權利要求33所述的醫療圖像處理方法，其特徵在於，上述分析步驟計算作為上述規定的特徵量的、巴瑞特食道的情況下的表皮邊界的特徵量的評價值，把上述評價值與作為基準的基準值進行比較來計算分析結果。
全文摘要
本發明提供醫療圖像處理裝置和醫療圖像處理方法。圖像變換部對拍攝體腔內的管狀部位而得到的醫療圖像進行幾何變換，展開圖輸出部把由圖像變換部所獲得的變換圖像作為展開圖的圖像而輸出到顯示裝置。
文檔編號G06T3/00GK101065052SQ20058004060
公開日2007年10月31日 申請日期2005年12月21日 優先權日2004年12月27日
發明者長谷川潤, 西村博一, 田中秀樹, 井上涼子 申請人:奧林巴斯株式會社