內窺鏡觀察支持系統、方法、設備和程序的製作方法

2023-05-13 20:30:41

專利名稱：內窺鏡觀察支持系統、方法、設備和程序的製作方法
內窺鏡觀察支持系統、方法、設備和程序發明背景發明領域本發明涉及用於在使用插入在受試者體腔中的內窺鏡的外科手術或檢查期間支持內窺鏡觀察的技術，並且特別涉及用於使用表示受試者體腔內部的虛擬內窺鏡圖像支持內窺鏡觀察的技術。相關技術描述近年來，使用內窺鏡的外科手術諸如腹腔鏡手術和胸腔鏡手術一直受到關注。內窺鏡外科手術是有利的，因為它不需要剖腹術、開胸術等，並且僅需要做出用於插入內窺鏡和外科手術工具的兩三個直徑為數釐米的孔，因此顯著減輕施加在患者上的負擔。然而，用內窺鏡的極有限視野進行外科手術是高度困難的，並且醫生需要許多技術以進行內窺鏡外科手術。如果在內窺鏡外科手術期間患者的血管或器官被誤傷且出血，不可能繼續內窺鏡 外科手術並且醫生不得不進行包括剖腹術、開胸術等的常規外科手術。另一方面，用於從用CT設備拍攝的3D體積圖像生成類似於內窺鏡圖像的虛擬內窺鏡圖像的虛擬內窺鏡技術是已知的。該技術廣泛地在北美使用作為用於僅通過CT成像而不進行內窺鏡檢查而發現腫瘤特別是結腸直腸腫瘤的方法。另外，已經提出了使用虛擬內窺鏡圖像支持內窺鏡外科手術的技術。例如，日本未審查專利公開號2002-263053(在下文中，稱為專利文獻I)已經公開了一種設備，該設備用傳感器檢測內窺鏡位置，生成具有比將檢測到的內窺鏡位置設置為視點的情況下的內窺鏡視角更寬的視角的虛擬內窺鏡圖像，並且顯示虛擬內窺鏡圖像和相互疊加的用內窺鏡拍攝的真實內窺鏡圖像。另外，日本未審查專利公開號2005-021353(在下文中，稱為專利文獻2)已經公開了一種設備，該設備檢測內窺鏡的實時位置以生成具有與內窺鏡的視野相同的視野的虛擬內窺鏡圖像，在所述虛擬內窺鏡圖像中視野中的血管的位置被可視化。所述設備還檢測在內窺鏡外科手術期間使用的外科手術工具的實時位置以生成複合圖像，在所述複合圖像中表示外科手術工具的圖像在虛擬內窺鏡圖像中的外科手術工具的位置處組合，並且所述設備顯示複合圖像和真實內窺鏡圖像。然而，根據這些文獻中公開的技術的虛擬內窺鏡圖像具有與真實內窺鏡圖像的視點相同的視點，即，是從與真實內窺鏡圖像的觀察方向相同的觀察方向觀察到的圖像。因此，根據關注部位諸如外科手術關注部位和內窺鏡或外科手術工具之間的位置關係，關注部位有時可能不顯示在虛擬內窺鏡圖像或真實內窺鏡圖像中，並且在這樣一種情況下醫生不能了解內窺鏡或外科手術工具與所關注的部位的接近程度。發明概述鑑於上述情況，本發明涉及提供用於在使用插入在體腔中的內窺鏡觀察受試者的體腔期間更可靠地允許使用者了解內窺鏡或外科手術工具與關注部位諸如外科手術關注部位的接近程度的系統、方法、設備和程序。
本發明的內窺鏡觀察支持系統的一個方面是內窺鏡觀察支持系統，所述內窺鏡觀察支持系統包括3D醫用圖像形成裝置，其用於形成表示受試者的體腔內部的3D醫用圖像；關注位置確定裝置，其用於確定所述3D醫用圖像中所述體腔中的(第一)關注結構的位置；位置檢測裝置，其用於檢測在所述體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置；虛擬內窺鏡圖像生成裝置，其用於基於所述3D醫用圖像中的被確定的(第一)關注結構的位置和檢測到的內窺鏡和外科手術工具中的至少一個的位置，從輸入至虛擬內窺鏡圖像生成裝置的3D醫用圖像生成表示從視點觀察到的體腔內部的虛擬內窺鏡圖像，其中視點是(第一)關注結構的位置，所述內窺鏡和外科手術工具中的至少一個的位置包含在所述虛擬內窺鏡圖像的視野中，並且所述內窺鏡和外科手術工具中的至少一個的位置以可識別方式顯示在所述虛擬內窺鏡圖像中；和顯示裝置，其用於顯示所述虛擬內窺鏡圖像。本發明的內窺鏡觀察支持方法的一個方面是內窺鏡觀察支持方法，所述內窺鏡觀察支持方法包括下列步驟在用插入在受試者的體腔中的內窺鏡觀察所述體腔內部以前或期間形成表示所述體腔內部的3D醫用圖像；確定所述3D醫用圖像中體腔中的(第一)關注
結構的位置；檢測在所述體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置；基於所述3D醫用圖像中的被確定的(第一)關注結構的位置和檢測到的內窺鏡和外科手術工具中的至少一個的位置，從輸入的3D醫用圖像生成表示從視點觀察到的體腔內部的虛擬內窺鏡圖像，其中視點是(第一)關注結構的位置，所述內窺鏡和外科手術工具中的至少一個的位置包含在虛擬內窺鏡圖像的視野中，並且所述內窺鏡和外科手術工具中的至少一個的位置以可識別方式顯示在虛擬內窺鏡圖像中；以及顯示所述虛擬內窺鏡圖像。本發明的內窺鏡觀察支持設備的一個方面是內窺鏡觀察支持設備，所述內窺鏡觀察支持設備包括3D醫用圖像獲得裝置，其用於獲得表示受試者的體腔內部的3D醫用圖像；關注位置確定裝置，其用於確定所述3D醫用圖像中體腔中的(第一)關注結構的位置；位置獲得裝置，其用於獲得通過位置檢測裝置檢測的在所述體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置；虛擬內窺鏡圖像生成裝置，其用於基於所述3D醫用圖像中的被確定的(第一)關注結構的位置和檢測到的內窺鏡和外科手術工具中的至少一個的位置，從輸入至虛擬內窺鏡圖像生成裝置的3D醫用圖像生成表示從視點觀察到的體腔內部的虛擬內窺鏡圖像，其中視點是(第一)關注結構的位置，所述內窺鏡和外科手術工具中的至少一個的位置包含在所述虛擬內窺鏡圖像的視野中，並且所述內窺鏡和外科手術工具中的至少一個的位置以可識別方式顯示在所述虛擬內窺鏡圖像中；和顯示控制裝置，其用於使顯示裝置顯示所述虛擬內窺鏡圖像。本發明的內窺鏡觀察支持程序的一個方面是用於使計算機執行下列步驟的內窺鏡觀察支持程序獲得表示受試者的體腔內部的3D醫用圖像；確定所述3D醫用圖像中體腔中的(第一)關注結構的位置；獲得通過位置檢測裝置檢測的在體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置；基於3D醫用圖像中的被確定的(第一)關注結構的位置和檢測到的內窺鏡和外科手術工具中的至少一個的位置，從輸入的3D醫用圖像生成表示從視點觀察到的體腔內部的虛擬內窺鏡圖像，其中視點是(第一)關注結構的位置，所述內窺鏡和外科手術工具中的至少一個的位置包含在虛擬內窺鏡圖像的視野中，並且所述內窺鏡和外科手術工具中的至少一個的位置以可識別方式顯示在虛擬內窺鏡圖像中；以及使顯示裝置顯示真實內窺鏡圖像和虛擬內窺鏡圖像。現在，描述本發明的細節。在本發明中，可以通過用內窺鏡實時成像形成表示體腔內部的真實內窺鏡圖像，並且可以進一步顯示幾乎與在檢測到用於生成虛擬內窺鏡圖像的內窺鏡和外科手術工具中的至少一個的位置時的同時形成的真實內窺鏡圖像。以這樣的方式，顯示通過用內窺鏡成像實時形成的真實內窺鏡圖像和虛擬內窺鏡圖像，所述虛擬內窺鏡圖像在其視野中含有幾乎與在形成真實內窺鏡圖像時的同時用位置檢測裝置檢測到的內窺鏡和外科手術工具中的至少一個的實時位置。在其中響應於對內窺鏡和外科手術工具中的至少一個的位置的檢測而反覆生成虛擬內窺鏡圖像的情況下，實現了真實內窺鏡圖像和虛擬內窺鏡圖像兩者的實時更新。真實內窺鏡圖像和虛擬內窺鏡圖像可以顯示在單個顯示裝置上或者可以單獨顯示在多個顯示裝置上。多個顯示裝置可以並排定位在物理上相同的場所以致可以同時觀察兩種圖像，或可以定位在物理上彼此隔開的場所以便單獨地觀察圖像。 在本發明中，在其中在使用內窺鏡觀察期間獲得3D醫用圖像的情況下，可以實時獲得3D醫用圖像。在該情況下，可以通過在獲得的3D醫用圖像上進行圖像識別處理來檢測內窺鏡和外科手術工具中的至少一個的位置。「(第一)關注結構」的具體實例可以包括在內窺鏡外科手術期間的外科手術關注部位和在內窺鏡外科手術期間需要注意的解剖結構，諸如血管、器官或腫瘤。用於確定(第一)關注結構的位置的具體方法可以是使用已知圖像識別技術的自動方法、涉及使用者的人工操作的方法或將自動和人工方法兩者結合的方法。在本發明中，可以通過將(第一)關注結構的多個位置設置為視點而生成多個虛擬內窺鏡圖像。表述「檢測內窺鏡和外科手術工具中的至少一個的位置……」可以指在僅將內窺鏡插入至體腔中時檢測內窺鏡位置或在將內窺鏡和外科手術工具插入至體腔中時檢測內窺鏡的位置、外科手術工具的位置或內窺鏡和外科手術工具兩者的位置中的任何一種。「虛擬內窺鏡圖像」的視點是(第一)關注結構的位置。然而，視點的位置不嚴格地限於(第一)關注結構的表面上的位置或所述結構內的位置，並且可以是其中獲得的效果基本上相當於本發明效果的位置，諸如與(第一)關注結構相隔數個像素的位置。「虛擬內窺鏡圖像」含有其視野內的內窺鏡和外科手術工具中的至少一個的位置。這指的是，沿著視點((第一)關注結構的位置)朝向內窺鏡和外科手術工具中的至少一個的位置的視線的圖像信息反映在虛擬內窺鏡圖像中。例如，如果結構諸如器官、血管或褶皺存在於(第一)關注結構和內窺鏡或外科手術工具之間，則內窺鏡或外科手術工具可以不必顯示在虛擬內窺鏡圖像中。另外，在「虛擬內窺鏡圖像」中，以可識別方式顯示內窺鏡和外科手術工具中的至少一個的位置。在其中在內窺鏡觀察以前獲得3D醫用圖像的情況下，當拍攝並獲得3D醫用圖像時還沒有將內窺鏡或外科手術工具插入至受試者的體腔中。因此，當生成虛擬內窺鏡圖像時，可以在與通過位置檢測裝置檢測到的位置相對應的虛擬內窺鏡圖像中的位置處組合表示內窺鏡或外科手術工具的標記器等。另一方面，在其中在內窺鏡觀察期間實時獲得3D醫用圖像並且在圖像中顯示內窺鏡或外科手術工具的情況下，可以生成虛擬內窺鏡圖像以便內窺鏡或外科手術工具也顯示在虛擬內窺鏡圖像中。當生成「虛擬內窺鏡圖像」時，從關注結構到體腔中結構表面的距離可以用作虛擬內窺鏡圖像的像素值的決定因素。備選地，可以使用顏色模板，將其定義以提供以與真實內窺鏡圖像中顯示的外觀幾乎相同的外觀顯示體腔中的部位的虛擬內窺鏡圖像。應當注意，顏色模板可以包括，例如，這樣的模板，其限定使體腔中的每個部位具有與真實內窺鏡圖像中顯示的顏色幾乎相同的顏色，並且體腔中每個部位可以根據需要半透明地顯示，以致不能在真實內窺鏡圖像中觀察到的在障礙物後面的結構在虛擬內窺鏡圖像中可視覺地識別。在本發明中，可以檢測3D醫用圖像中體腔中的第二關注結構，並且可以生成以可視覺識別方式顯示檢測到的第二關注結構的虛擬內窺鏡圖像。「第二關注結構」的具體實例可以包括以上關於第一關注結構所提及的那些。因此，例如，第一結構可以是在內窺鏡外科手術期間的外科手術關注部位並且第二關注結構可以是在外科手術期間需要注意的解剖 結構，或反之亦然。在本發明中，當內窺鏡和外科手術工具中至少一個與關注結構的接近程度符合預定標準時可以顯示警報。警報可以視覺地顯示在虛擬內窺鏡圖像中，或可以以通過任何其它感官感知的方式顯示。根據本發明，獲得表示受試者的體腔內部的3D醫用圖像，確定3D醫用圖像中體腔中的關注結構的位置，並且檢測體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置。然後，從輸入的3D醫用圖像生成虛擬內窺鏡圖像，其中虛擬內窺鏡圖像的視點是關注結構的位置，內窺鏡和外科手術工具中的至少一個的位置包含在虛擬內窺鏡圖像的視野中，並且內窺鏡和外科手術工具中的至少一個的位置以可識別方式顯示在虛擬內窺鏡圖像中，並且顯示虛擬內窺鏡圖像。顯示的虛擬內窺鏡圖像看似用監控內窺鏡和外科手術工具與關注結構諸如外科手術關注部位或需要注意的部位的接近程度的照相機拍攝的圖像。這種對於本發明獨特的虛擬內窺鏡圖像補償真實內窺鏡圖像的窄視野，因此允許使用者在外科手術或檢查期間更可靠地了解內窺鏡或外科手術工具與關注結構的接近程度並且有助於防止誤操作等。另外，在這時，用檢測到的內窺鏡或外科手術工具的實時位置的反饋實時改變連續顯示的虛擬內窺鏡圖像的虛擬內窺鏡的視野。這容許使用者動態地並且更適當地了解內窺鏡或外科手術工具與關注結構的接近程度。更進一步，在通過用內窺鏡實時成像形成表示體腔內部的真實內窺鏡圖像並且可以進一步顯示幾乎與檢測到用於生成虛擬內窺鏡圖像的內窺鏡和外科手術工具中的至少一個的位置時的同時形成的真實內窺鏡圖像的情況下，顯示的真實內窺鏡圖像和虛擬內窺鏡圖像幾乎在相同時間點顯示體腔內部的狀態，並且以暫時同步方式連續顯示真實內窺鏡圖像和虛擬內窺鏡圖像。還進一步，在其中響應於對內窺鏡和外科手術工具中的至少一個的位置的檢測而反覆生成虛擬內窺鏡圖像的情況下，實現了真實內窺鏡圖像和虛擬內窺鏡圖像兩者的實時更新。即，真實內窺鏡圖像的視野隨著內窺鏡的移動或旋轉而改變，並且虛擬內窺鏡圖像的視野隨著內窺鏡或外科手術工具的移動而改變。以這樣的方式，使用者可以互補地使用真實內窺鏡圖像和虛擬內窺鏡圖像觀察體腔內部。附圖簡述圖I是根據本發明實施方案的內窺鏡觀察支持系統的硬體配置圖，
圖2是根據本發明的第一至第三實施方案的內窺鏡觀察支持系統的功能框圖，圖3是說明根據本發明的第一至第三實施方案的內窺鏡觀察支持方法流程的流程圖，圖4是示意性說明真實內窺鏡、外科手術工具和關注結構之間位置關係以及真實內窺鏡和虛擬內窺鏡的視角的一個實施例的圖，圖5是示意性說明本發明的第一實施方案中顯示的真實內窺鏡圖像的一個實施例的圖，圖6是示意性說明本發明的第一實施方案中顯示的虛擬內窺鏡圖像的一個實施例的圖，圖7A是示意性說明關注結構和外科手術工具之間位置關係的一個實施例的圖，圖7B是示意性說明本發明的第二實施方案中顯示的虛擬內窺鏡圖像的一個實施 例的圖，圖8A是示意性說明根據本發明的第三實施方案的根據從視點到腹腔中的解剖結構表面的距離改變虛擬內窺鏡圖像中的顯示顏色的顏色模板的一個實施例的圖，圖SB是示意性說明根據本發明的第三實施方案的虛擬內窺鏡圖像的一個實施例的圖，其中顯示顏色根據與視點的距離而改變，圖9是根據本發明的第四實施方案的內窺鏡觀察支持系統的功能框圖，

圖10是說明根據本發明的第四實施方案的內窺鏡觀察支持方法的流程的流程圖，圖11是示意性說明根據本發明的第四實施方案的報警顯示的一個實施例的圖，圖12是根據本發明的第五實施方案的內窺鏡觀察支持系統的功能框圖，圖13是說明根據本發明的第五實施方案的內窺鏡觀察支持方法的流程的流程圖，圖14A是示意性說明關注結構和需要注意的結構之間位置關係的一個實施例的圖，圖14B是示意性說明本發明的第五實施方案中顯示的虛擬內窺鏡圖像的一個實施例的圖，圖15是根據本發明的第六實施方案的內窺鏡觀察支持系統的功能框圖，圖16是說明根據本發明的第六實施方案的內窺鏡觀察支持方法的流程的流程圖，圖17A是示意性說明在將真實內窺鏡圖像和虛擬內窺鏡圖像組合時所述圖像的視角的圖，圖17B是示意性說明通過將真實內窺鏡圖像和虛擬內窺鏡圖像組合而生成的複合圖像的一個實施例的圖，圖18A是示意性說明真實內窺鏡圖像的另一個實施例的圖，圖18B是示意性說明僅顯示血管的虛擬內窺鏡圖像的一個實施例的圖，和圖18C是示意性說明真實內窺鏡圖像和虛擬內窺鏡圖像的疊加圖像的一個實施例的圖。
具體實施例方式在下文中，描述根據本發明實施方案的內窺鏡觀察支持系統。圖I是說明內窺鏡觀察支持系統的概略硬體配置圖。如圖中所示，該系統包括內窺鏡I、數字處理器2、光源裝置3、真實內窺鏡圖像顯示器4、模態5、外科手術工具6、內窺鏡標記器7a、外科手術工具標記器7b、位置傳感器8、圖像處理工作站9和圖像處理工作站顯示器(其將在下文中稱為「WS顯示器」)10。在該實施方案中，內窺鏡I是用於腹腔的硬質內窺鏡，並且將其插入到受試者腹腔中。將來自光源裝置3的光通過光纖引導並從內窺鏡I的尖部發射，並且通過內窺鏡I的成像光學系統拍攝受試者腹腔內部的圖像。數字處理器2將通過內窺鏡I獲得的圖像信號轉換成數字圖像信號，並且通過數位訊號處理諸如白平衡控制和黑點校正進行圖像質量校正。然後，數字處理器2將由DICOM(醫學數字成像和通信)標準規定的伴隨信息添加到 數字圖像信號以輸出真實內窺鏡圖像數據(Ike)。根據符合DICOM標準的通信協議將輸出的真實內窺鏡圖像數據(Ike)經由LAN傳送到圖像處理工作站9。另外，數字處理器2將真實內窺鏡圖像數據(Ike)轉換成模擬信號並將模擬信號輸出到真實內窺鏡圖像顯示器4，以致將真實內窺鏡圖像(Ike)顯示在真實內窺鏡圖像顯示器4上。內窺鏡I以預定幀率獲得圖像信號，並且因此顯示在真實內窺鏡顯示器4上的真實內窺鏡圖像(Ike)是顯示腹腔內部的運動圖像。內窺鏡I還可以響應於使用者的操作獲取靜止圖像。模態5是將受試者的待檢查部位成像並且生成表示所述部位的3D醫用圖像的圖像數據(V)的設備。在該實施方案中，模態5是CT設備。3D醫用圖像數據(V)也具有加入到其中的由DICOM標準規定的伴隨信息。還根據符合DICOM標準的通信協議經由LAN將3D醫用圖像數據(V)傳送到圖像處理工作站9。內窺鏡標記器7a、外科手術工具標記器7b和位置傳感器8形成已知的三維位置測量系統。將內窺鏡標記器7a和外科手術工具標記器7b分別設置在內窺鏡I和外科手術工具6的手柄附近，並且以預定時間間隔用光學位置傳感器8檢測標記器7a、7b的三維位置。內窺鏡標記器7a和外科手術工具標記器7b中的每一個都是由多個標記器晶片形成的，以致位置傳感器8也可以基於標記器晶片之間的位置關係檢測內窺鏡I和外科手術工具6中的每一個的定向並且可以通過偏移量計算來計算內窺鏡I和外科手術工具6的尖部的三維位置(PSE、PSt)。位置傳感器8經由USB接口將內窺鏡I和外科手術工具6的經計算的三維位置數據(PSE、PST)傳送到圖像處理工作站9。圖像處理工作站9是具有已知硬體配置的計算機，其包括CPU、主存儲裝置、輔助存儲裝置、輸入/輸出接口、通信接口、數據總線等，與其連接的輸入裝置(諸如點擊裝置和鍵盤)和WS顯示器10。將圖像處理工作站9經由LAN連接到數字處理器2和模態5，並且經由USB連接而連接到位置傳感器8。圖像處理工作站9中已經安裝了已知作業系統、多種應用軟體程序等和用於執行本發明的內窺鏡觀察支持方法的應用軟體程序。這些軟體程序可以是從記錄介質諸如CD-ROM安裝，或可以從經由網絡諸如網際網路連接的伺服器的存儲裝置下載，之後安裝。圖2是根據本發明的第一實施方案的內窺鏡觀察支持系統的功能框圖。如圖中所示，根據本發明的第一實施方案的內窺鏡觀察支持系統包括內窺鏡I、真實內窺鏡圖像形成裝置2、真實內窺鏡圖像顯示器4、3D醫用圖像形成裝置5、外科手術工具6、WS顯示器10、內窺鏡位置檢測裝置11、外科手術工具位置檢測裝置12、真實內窺鏡圖像獲得裝置21、內窺鏡位置獲得裝置22、外科手術工具位置獲得裝置23、3D醫用圖像獲得裝置24、關注位置確定裝置25、虛擬內窺鏡圖像生成裝置26和顯示控制裝置27。應當注意，分配給圖I中顯示的硬體裝置的相同附圖標記用於表示圖2中顯示的相應功能塊，此時在它們之間基本上存在一一對應關係。即，真實內窺鏡圖像形成裝置2的功能是通過圖I中顯示的數字處理器實現的，並且3D醫用圖像形成裝置5的功能是通過圖I中顯示的模態實現的。另一方面，內窺鏡位置檢測裝置11的功能是通過內窺鏡標記器7a和位置傳感器8實現的，並且外科手術工具位置檢測裝置12的功能是通過外科手術工具標記器7b和位置傳感器8實現的。虛線框表示圖像處理工作站9，並且虛線框中的單個處理設備的功能是通過執行圖像處理工作站9上的預定程序實現的。另外，虛線框中的真實內窺鏡圖像Ike、內窺鏡位置Pe、外科手術工具位置Pt、3D醫用圖像V、關注位置P1和虛擬內窺鏡圖像Ive是通過虛線框中的單個處理設備在圖像處理工作站9的預定存儲區中寫入和讀取的數據。接著，使用圖3中顯示的流程圖，描述了根據本發明的第一實施方案的由使用者在內窺鏡觀察支持系統上進行的操作和由上述單個處理設備進行的操作的示意性流程。
在使用內窺鏡I觀察受試者腹腔內部之前，3D醫用圖像形成裝置5將受試者腹腔內部成像以形成3D醫用圖像V。在圖像處理工作站9上，3D醫用圖像獲得裝置24獲得由3D醫用圖像形成裝置5形成的3D醫用圖像V (#1)，並且然後關注位置確定裝置25顯示用於接收使用者操作以指定由3D醫用圖像獲得裝置24獲得的3D醫用圖像V中顯示的體腔中的關注結構(例如，外科手術關注部位)的用戶界面，並且基於獲得的3D醫用圖像V確定3D醫用圖像V中被指定的關注結構的位置P1 (#2)。然後，如在圖3中顯示的流程圖右側所寫，在關注結構的內窺鏡外科手術期間，即，在使用內窺鏡I觀察受試者腹腔內部期間，真實內窺鏡圖像形成裝置2以預定幀率反覆形成用插入在體腔中的內窺鏡I拍攝的真實內窺鏡圖像Ike，並且形成的真實內窺鏡圖像Ike實時顯示為真實內窺鏡圖像顯示器4上的實時取景圖像直到結束觀察(#7 :是(YES))。另夕卜，內窺鏡位置檢測裝置11和外科手術工具位置檢測裝置12以預定時間間隔反覆檢測插入在體腔中的內窺鏡I和外科手術工具6的實時位置PSE、PST。在圖像處理工作站9上，真實內窺鏡圖像獲得裝置21獲得由真實內窺鏡圖像形成裝置2形成的真實內窺鏡圖像Ire (#3)。幾乎與此同時，內窺鏡位置獲得裝置22獲得由內窺鏡位置檢測裝置11檢測到的內窺鏡位置PSe並且輸出通過將獲得的內窺鏡位置？&轉換成3D醫用圖像V的坐標系中的位置而獲得的內窺鏡位置PE，並且外科手術工具位置獲得裝置23獲得由外科手術工具位置檢測裝置12檢測到的外科手術工具位置PSt並輸出通過將獲得的外科手術工具位置PSt轉換成3D醫用圖像V的坐標系中的位置而獲得的外科手術工具位置Pt (#4)。基於通過關注位置確定裝置25確定的關注結構的位置P1、通過內窺鏡位置獲得裝置22獲得的內窺鏡位置Pe和通過外科手術工具位置獲得裝置23獲得的外科手術工具位置Pt，虛擬內窺鏡圖像生成裝置26從由3D醫用圖像獲得裝置24獲得的並且輸入至虛擬內窺鏡圖像生成裝置26的3D醫用圖像V生成虛擬內窺鏡圖像Ive (#5)。虛擬內窺鏡圖像Ive是表示受試者腹腔內部的圖像，其中關注結構的位置P1是視點並且外科手術工具位置Pt是視野中心。如果內窺鏡位置匕存在於虛擬內窺鏡圖像Ive的視野中，則將表示外科手術工具6的形狀圖像和表示內窺鏡I的形狀圖像與虛擬內窺鏡圖像Ive組合。顯示控制裝置27使WS顯示器10在單一屏幕上並排顯示由真實內窺鏡圖像獲得裝置21獲得的真實內窺鏡圖像Ike和由虛擬內窺鏡圖像生成裝置26生成的虛擬內窺鏡圖像 Ive (#6)。在圖像處理工作站9上，重複獲得新的真實內窺鏡圖像Ike的操作(#3)、在所述時間點獲得內窺鏡位置Pe和外科手術工具位置Pt的操作(#4)、生成虛擬內窺鏡圖像Ive的操作(#5)和更新顯示的真實內窺鏡圖像Ike和虛擬內窺鏡圖像Ive的操作(#6)，除非進行指示以結束觀察的操作(#7 :否(No))。由此，在WS顯示器10上以暫時同步方式連續顯示真實內窺鏡圖像Ike和虛擬內窺鏡圖像IVE。當進行指示以結束觀察的操作(#7 :是(YES))時，圖像處理工作站9結束上述步驟#3至#6中的重複操作。接著，描述由圖像處理工作站9中的單個處理設備進行的操作的細節。
真實內窺鏡圖像獲得裝置21是通信接口，其接收經由與真實內窺鏡圖像形成裝置(數字處理器)2通信的真實內窺鏡圖像Ike並將真實內窺鏡圖像Ike存儲在圖像處理工作站9的預定存儲區域中。基於來自真實內窺鏡圖像獲得裝置21的請求，從真實內窺鏡圖像形成裝置2傳送真實內窺鏡圖像IKE。圖5示意性說明真實內窺鏡圖像Ike的一個實例。內窺鏡位置獲得裝置22具有經由與內窺鏡位置檢測裝置11通信而獲得內窺鏡位置PSe的通信接口的功能，和將獲得的位置傳感器8的3D坐標系中的內窺鏡位置PSe轉換成由3D醫用圖像V的3D坐標系中的坐標值表示的內窺鏡位置Pe並且將內窺鏡位置Pe存儲在圖像處理工作站9的預定存儲區域中的功能。關於前者通信接口功能，基於來自內窺鏡位置獲得裝置22的請求，從內窺鏡位置檢測裝置11獲得內窺鏡位置PSE。關於後者坐標變換功能，基於位置傳感器的3D坐標系中每個坐標軸取向和3D醫用圖像V的3D坐標系中每個坐標軸取向之間的對應關係，預先計算坐標軸的旋轉量，並且預先測量與位置傳感器8的3D坐標系中3D醫用圖像V的原點相對應的受試者上的位置的坐標值從而基於原點的坐標值計算坐標軸之間的平移量。然後，可以使用矩陣實現由位置傳感器8的3D坐標系表示的內窺鏡位置PSe轉換成由3D醫用圖像V的3D坐標系中的坐標值表示的內窺鏡位置PE，所述矩陣施加由計算的旋轉量產生的旋轉和計算的平移量產生的平移。類似於內窺鏡位置獲得裝置22，外科手術工具位置獲得裝置23具有經由與外科手術工具位置檢測裝置12通信而獲得外科手術工具位置PSt的通信接口的功能，和將獲得的位置傳感器8的3D坐標系中的外科手術工具位置PSt轉換成由3D醫用圖像V的3D坐標系中的坐標值表示的外科手術工具位置Pt並且將外科手術工具位置Pt存儲在圖像處理工作站9的預定存儲區域中的功能。3D醫用圖像獲得裝置24具有從3D醫用圖像形成裝置5接收3D醫用圖像V並且將3D醫用圖像V存儲在圖像處理工作站9的預定存儲區域中的通信接口的功能。關注位置確定裝置25在表示使用已知MPR方法從3D醫用圖像V生成的預定橫截面的橫截面圖像上顯示用戶界面，所述用戶界面經由圖像處理工作站9的點擊裝置或鍵盤接收指定關注結構的操作。例如，當點擊裝置在橫截面圖像中顯示的關注結構上點擊時，關注位置確定裝置25確定已經由點擊指定的3D醫用圖像V中的關注結構的位置P1,並且將位置P1存儲在圖像處理工作站9的預定存儲區域中。作為關注結構，可以根據使用者需要指定外科手術期間的外科手術關注部位或需要注意的部位。
基於關注結構的位置P1、內窺鏡位置Pe和外科手術工具位置Pt，虛擬內窺鏡圖像生成裝置26從輸入至虛擬內窺鏡圖像生成裝置26的3D醫用圖像V生成虛擬內窺鏡圖像Ive。圖4示意性說明內窺鏡I、外科手術工具6和關注結構P1之間位置關係，以及內窺鏡I和虛擬內窺鏡的視角的一個實例。如圖中所顯示，虛擬內窺鏡圖像生成裝置26使用關注結構的位置P1作為視點和並使用外科手術工具位置&作為視野中心，以將從視點P1輻射的多條光線設定在視角Av的範圍內，並且通過使用已知透視投影通過體繪製(volume rendering)沿著每條光線將像素值投影而生成初級虛擬內窺鏡圖像。通過程序的啟動參數將初級虛擬內窺鏡圖像的視角Av設定為比真實內窺鏡圖像Ike 的視角K更寬。對於體繪製，使用顏色模板，其預先定義顏色和透明度以便獲得具有與顯示在真實內窺鏡圖像Ike中的腹腔中部位的外觀幾乎相同的外觀的圖像。另外，虛擬內窺鏡圖像生成裝置26生成顯示其中外科手術工具6存在於外科手術工具位置Pt處的狀態的外科手術工具形狀圖像Mt，和顯示其中內窺鏡I存在於內窺鏡位置Pe處的狀態的內窺鏡形狀圖像Me,條件是內窺鏡位置Pe存在於虛擬內窺鏡圖像的視野中。具體而言，基於存儲在資料庫中的表示內窺鏡I和外科手術工具6的形狀的圖像，以及外科手術工具位置Pt和內窺鏡位置PE，生成外科手術工具形狀圖像Mt和內窺鏡形狀圖像Me，如上述專利文獻2中所教導。然後，虛擬內窺鏡圖像生成裝置26通過將初級虛擬內窺鏡圖像與外科手術工具形狀圖像Mt和內窺鏡形狀圖像Me通過已知技術諸如a混合而組合以生成虛擬內窺鏡圖像IVE。圖6示意性說明由此生成的虛擬內窺鏡圖像Ive的一個實例，其中在視野中心附近，表示外科手術工具6的形狀圖像Mt疊加在外科手術工具位置Pt處，並且在視野中表示內窺鏡I的形狀圖像Me疊加在內窺鏡位置Pe處，並且圖像總體上實際表示其中在內窺鏡外科手術期間用內窺鏡從圖4中顯示的關注結構位置P1觀察腹腔內部的狀態。顯示控制裝置27生成顯示屏幕，其中真實內窺鏡圖像Ike和虛擬內窺鏡圖像Ive並排顯示在單個屏幕上並且將生成的屏幕輸出到WS顯示器10。以此方式，其中並排顯示在圖5中作為實例示意性顯示的真實內窺鏡圖像Ike和在圖6中作為實例示意性顯示的虛擬內窺鏡圖像Ive的顯示屏幕顯示在WS顯示器10上。如上所述，在本發明的第一實施方案中，在使用內窺鏡I觀察腹腔內部之前，3D醫用圖像獲得裝置24獲得由3D醫用圖像形成裝置5形成的3D醫用圖像V，並且關注位置確定裝置25確定3D醫用圖像V中腹腔中的關注結構的位置P」在觀察期間，真實內窺鏡圖像獲得裝置21獲得由真實內窺鏡圖像形成裝置2形成的真實內窺鏡圖像IKE，並且同時，內窺鏡位置獲得裝置22獲得由內窺鏡位置檢測裝置11檢測到的3D醫用圖像V中的內窺鏡I的位置Pe並且外科手術工具位置獲得裝置23獲得由外科手術工具位置檢測裝置12檢測到的3D醫用圖像V中外科手術工具6的位置PT。然後，虛擬內窺鏡圖像生成裝置26從3D醫用圖像V生成虛擬內窺鏡圖像Ive，其中關注結構的位置P1是視點並且外科手術工具位置Pt是視野中心，並且將內窺鏡I和外科手術工具6分別組合在內窺鏡位置Pe處和外科手術工具位置Pt處。然後，顯示控制裝置27使WS顯示器10顯示真實內窺鏡圖像Ike和虛擬內窺鏡圖像IVE。由此顯示的虛擬內窺鏡圖像Ive看似用監控內窺鏡I和外科手術工具6與關注結構位置P1的接近程度的照相機拍攝的圖像。通過使用虛擬內窺鏡圖像Ive以補償真實內窺鏡圖像Ike的窄視野，可以更加可靠地了解內窺鏡I和外科手術工具6與關注結構的接近程度，因此在外科手術或檢查期間有助於防止誤操作等。
另外，在此時，通過由內窺鏡位置檢測裝置11和外科手術工具位置檢測裝置12檢測到的內窺鏡I和外科手術工具6的實時位置的反饋實時改變連續顯示的虛擬內窺鏡圖像Ive的虛擬內窺鏡的視野。這容許使用者動態地並且更適當地了解內窺鏡I和外科手術工具6與關注結構的接近程度。另外，真實內窺鏡圖像形成裝置2形成用內窺鏡I實時拍攝的表示體腔內部的真實內窺鏡圖像Ike，並且進一步地顯示幾乎與在檢測到用於生成虛擬內窺鏡圖像Ive的內窺鏡I或外科手術工具6的位置時的同時形成的真實內窺鏡圖像IKE。真實內窺鏡圖像Ike和虛擬內窺鏡圖像Ive幾乎在相同時間點顯示體腔內部的狀態，並且以暫時同步方式連續顯示真實內窺鏡圖像Ike和虛擬內窺鏡圖像IVE。另外，在此時，真實內窺鏡圖像Ike的視野隨著內窺鏡I的移動或旋轉而改變，並且虛擬內窺鏡圖像Ive的視野隨著外科手術工具6的移動而改變。以此方式，在本發明的第一實施方案中，使用者可以互補地使用真實內窺鏡圖像Iee和虛擬內窺鏡圖像Ive觀察體腔內部。更進一步，虛擬內窺鏡圖像生成裝置26使用顏色模板生成虛擬內窺鏡圖像Ive，所述顏色模板預先定義顏色和透明度，以便獲得具有與真實內窺鏡圖像Ike中顯示的腹腔中 部位外觀幾乎相同的外觀的圖像。因此，使用者可以用顯示控制裝置27觀察並排顯示在WS顯示器10上的真實內窺鏡圖像Ike和虛擬內窺鏡圖像Ive兩者，而沒有不一致的感覺。本發明的第二實施方案是由虛擬內窺鏡圖像生成裝置26進行的體繪製方法的改型。第二實施方案的內窺鏡觀察支持系統的硬體配置、功能塊和總流程與第一實施方案中的那些相同。圖7A示意性說明關注結構和外科手術工具6之間位置關係的一個實例。如圖中所示，在存在解剖結構的情況下，所述解剖結構妨礙用作虛擬內窺鏡圖像Ive的視點的關注結構的位置P1和外科手術工具位置Pt之間的觀察，如果定義顏色模板以提供具有高不透明性的解剖結構，則解剖結構後面的外科手術工具6沒有顯示在虛擬內窺鏡圖像Ive中。因此，在本發明的第二實施方案中，虛擬內窺鏡圖像生成裝置26使用顏色模板生成虛擬內窺鏡圖像Ive，所述顏色模板定義不透明性使得體腔中的部位顯示為半透明的。在由此生成的虛擬內窺鏡圖像Ive中，如圖7B中示意性顯示，在關注結構的位置P1和外科手術工具位置Pt之間存在的解剖結構顯示為半透明，並且以視覺可識別方式在對應於解剖結構後面的外科手術工具位置Pt的位置處顯示外科手術工具形狀圖像Mt。其中腹腔中解剖結構顯示為半透明的這樣一種圖像不能由真實內窺鏡圖像形成裝置2形成，並且因此使用與真實內窺鏡圖像Ike互補地顯示這樣一種半透明解剖結構的虛擬內窺鏡圖像Ive的實際價值是很高的。本發明的第三實施方案也是由虛擬內窺鏡圖像生成裝置26進行的體繪製方法的改型。第三實施方案的內窺鏡觀察支持系統的硬體配置、功能塊和總流程與第一實施方案中的那些相同。圖8A示意性說明本發明的第三實施方案中使用的顏色模板的一個實例。如圖中所示，定義該顏色模板使得虛擬內窺鏡圖像Ive的顏色根據從關注結構上的視點P1至腹腔中結構的表面的距離而改變。例如，虛擬內窺鏡圖像生成裝置26檢測其中像素值沿著透視投影的每條光線的改變大於預定閾值的位置或其中像素值等於或大於預定閾值的位置作為腹腔中的結構的表面，並且計算從視點P1至腹腔中所述結構的表面的距離。然後，虛擬內窺鏡圖像生成裝置26使用該顏色模板以確定檢測到的虛擬內窺鏡圖像Ive中顯示的結構的表面的像素值。由此生成的虛擬內窺鏡圖像Ive在較接近於關注結構的位置P1的結構表面處具有較淺顏色，並且在較遠離關注結構的位置P1的結構表面處具有較深顏色，如圖8B中作為實例示意性顯示的那樣。以該方式，可以補償難以感知的虛擬內窺鏡圖像Ive的深度感，因此幫助使用者了解內窺鏡I和外科手術工具6的接近程度。應當注意，虛擬內窺鏡圖像Ive中顯示的內窺鏡I的形狀圖像Me和外科手術工具的形狀圖像Mt的顏色和密度也可以以類似於上述的方式根據與關注結構的位置P1的距離而改變。如圖9的功能框圖中所示，除第一實施方案的部件之外，本發明的第四實施方案還包括報警確定裝置28。第四實施方案的內窺鏡觀察支持系統的硬體配置與第一實施方案中相同。報警確定裝置28是在圖像處理工作站9上執行的處理裝置。報警確定裝置28計算內窺鏡位置Pe和關注結構的位置P1之間的距離和外科手術工具位置Pt和關注結構的位置匕之間的距離。如果經計算的距離中的任一個小於預定閾值，即，如果內窺鏡I或外科手術工具6太接近於關注結構，則報警確定裝置28輸出警報信息WM。 圖10是說明根據本發明的第四實施方案的內窺鏡觀察支持方法的流程的流程圖。如圖中所示，在第一實施方案的步驟#6中顯示真實內窺鏡圖像Ike和虛擬內窺鏡圖像Ive以後，報警確定裝置28將上述距離中的每一個都與閾值比較(#11)。如果上述距離中的任一個小於閾值(#11 :是(Yes))，則報警確定裝置28輸出警報信息WM，並且顯示控制裝置27在顯示的太接近於關注結構的內窺鏡I或外科手術工具6 (內窺鏡I顯示在圖中)附近用注釋「注意-接近(CAUTION-APPROACHING) 」疊加箭頭標記，並且以較深的顯示顏色顯示表示內窺鏡I或外科手術工具的形狀圖像，如圖11中作為實例所示的那樣。這有助於使用者了解內窺鏡I或外科手術工具6與關注結構的異常接近程度，由此幫助防止內窺鏡I和外科手術工具6的誤操作。當在關注位置確定裝置25處若在外科手術期間被損傷會導致大量出血的血管等被指定為關注結構時，這樣一種警報顯示是特別有效的。除被疊加在顯示的虛擬內窺鏡圖像Ive上以外，如上所述，可以以警報聲或語音的形式輸出警報信息，或可以作為疊加的警報信息和警報聲兩者輸出。另外，可以預先準備根據距離以逐步方式定義風險的風險確定表，並且報警確定裝置28可以基於經計算的距離參照風險確定表以確定風險，並且確定的風險值可以輸出為警報信息WM並且顯示控制裝置27可以顯示與WS顯示器10上的風險相對應的圖標等。如圖12的功能框圖中所示，除第一實施方案的部件之外，本發明的第五實施方案還包括需要注意的結構檢測裝置29。內窺鏡觀察支持系統的硬體配置與第一實施方案的硬體配置相同。需要注意的結構檢測裝置29是在圖像處理工作站9上執行的處理裝置。使用已知的圖像識別技術，需要注意的結構檢測裝置29從輸入至需要注意的結構檢測裝置29的3D醫用圖像V檢測需要注意的結構RA的區域。圖14A示意性說明關注結構和需要注意的結構之間的位置關係的一個實例。在該實例中，通過執行已知的血管提取方法，需要注意的結構檢測裝置29檢測位於腹壁後面的需要注意的血管區域RA。圖13是說明根據本發明的第五實施方案的內窺鏡觀察支持方法的流程的流程圖。如圖中所示，在第一實施方案的步驟#2中確定關注位置P1以後，需要注意的結構檢測裝置29檢測需要注意的結構RA的區域(#13)。在步驟#5中，使用被定義為以視覺可識別方式顯示需要注意的結構區域RA的顏色模板，虛擬內窺鏡圖像生成裝置26生成虛擬內窺鏡圖像IVE。圖14B示意性說明生成的虛擬內窺鏡圖像Ive的一個實例。使用定義顏色和不透明性的顏色模板生成圖中顯示的虛擬內窺鏡圖像Ive，使得表示腹壁的像素顯示為半透明以增加表示血管的像素的視覺可識別性。這增加了需要注意的結構的視覺可識別性，因此幫助防止內窺鏡I和外科手術工具6的誤操作，類似於第四實施方案。應當注意，需要注意的結構檢測裝置29可以經由使用者的人工操作檢測需要注意的結構區域RA。另外，標記諸如箭頭，和注釋諸如文本注釋，可以疊加在需要注意的結構區域RA上。在本發明的第六實施方案中，在使用內窺鏡觀察期間，實時形成並獲得3D醫用圖像V。在該情況下，第一實施方案的硬體配置中的內窺鏡標記7a、外科手術工具標記7b和位置傳感器8 (見圖I)不是必需的。圖15是根據本發明的第六實施方案的內窺鏡觀察支持系統的功能框圖。如圖中 所示，第六實施方案的內窺鏡觀察支持系統包括內窺鏡/外科手術工具位置識別裝置30，而不是第一實施方案的內窺鏡位置檢測裝置11、外科手術工具位置檢測裝置12、內窺鏡位置獲得裝置22和外科手術工具位置獲得裝置23。S卩，內窺鏡/外科手術工具位置識別裝置30對應於本發明的位置檢測裝置。內窺鏡/外科手術工具位置識別裝置30是在圖像處理工作站9上執行的處理裝置。使用已知的圖案識別處理以識別內窺鏡位置Pe和外科手術工具位置PT，內窺鏡/外科手術工具位置識別裝置30從輸入至內窺鏡/外科手術工具位置識別裝置30的3D醫用圖 像V中提取顯示內窺鏡I或外科手術工具6的區域。圖16是說明根據本發明的第六實施方案的內窺鏡觀察支持方法的流程的流程圖。如圖中所示，在第一實施方案的步驟#3中獲得真實內窺鏡圖像Ike以後，3D醫用圖像獲得裝置24獲得3D醫用圖像V (#14)，並且內窺鏡/外科手術工具位置識別裝置30基於由3D醫用圖像獲得裝置24獲得的3D醫用圖像V識別內窺鏡位置Pe和外科手術工具位置Pt(#15) o在步驟#5中，使用顏色模板，虛擬內窺鏡圖像生成裝置26生成虛擬內窺鏡圖像IVE，所述顏色模板被定義為使得以預定顏色顯示由內窺鏡/外科手術工具位置識別裝置30提取的顯示內窺鏡I或外科手術工具6的區域。因此，不必要生成如第一實施方案中的內窺鏡I和外科手術工具6的形狀圖像。通過以此方式在使用內窺鏡的觀察期間實時形成並獲得3D醫用圖像V，在與在真實內窺鏡圖像Ike中顯示幾乎相同的時間點時，獲得的3D醫用圖像V顯示腹腔內部的狀態。因此，相比其中使用在利用內窺鏡觀察以前獲得的3D醫用圖像V的情況，生成的虛擬內窺鏡圖像Ive更加精確地顯示腹腔內部的實時狀態。應當注意，當在該實施方案中的步驟#1和#14中拍攝3D醫用圖像V時，需要在成像期間注意受試者的姿態以便不改變對應於坐標軸原點和坐標軸取向的受試者的位置。在本發明的第六實施方案中，考慮到減少受試者的輻射暴露，優選使用超聲診斷設備作為模態5。 上述實施方案僅是實施例並且不應當被解釋為限制本發明的技術範圍。另外，在不背離本發明的範圍和精神的情況下對上述實施方案的系統配置、硬體配置、方法流程、模塊配置、用戶界面和方法的具體內容進行的變化和修改也在本發明的技術範圍內。
例如，關於系統配置，雖然在上述實施方案的圖I的硬體配置中模態5直接連接到圖像處理工作站9，但是圖像存儲伺服器可以連接到LAN並且由模態5形成的3D醫用圖像V可以一次存儲在圖像存儲伺服器的資料庫中，以便3D醫用圖像V響應於來自圖像處理工作站9的請求從圖像存儲伺服器傳送到圖像處理工作站9。內窺鏡I可以不是硬質內窺鏡，並且可以使用軟質內窺鏡或膠囊內窺鏡。作為模態5，除上述CT設備和超聲診斷設備以外，可以使用MRI設備等。WS顯示器10可以是支持已知的立體顯示的顯示器以顯示作為立體圖像的虛擬內窺鏡圖像IVE。例如，在其中WS顯示器10是使用用於右眼和左眼的兩個視差圖像實現立體顯示的顯示裝置的情況下，通過設定右眼和左眼的位置，虛擬內窺鏡圖像生成裝置26可以生成用於右眼和左眼的虛擬內窺鏡視差圖像，其從關注結構的位置P1在右眼和左眼之間移動一定的視差量，並且在使用由此設定的右眼和左眼位置作為視點的情況下執行透視投 影。然後，顯示器控制設備27可以施加控制使得用於左眼的WS顯示器10的顯示像素顯示用於左眼的虛擬內窺鏡視差圖像並且用於右眼的WS顯示器10的顯示像素顯示用於右眼的虛擬內窺鏡視差圖像。內窺鏡位置檢測裝置11和外科手術工具位置檢測裝置12可以使用磁性系統，或可以使用陀螺或旋轉編碼器，如專利文獻2中所教導。除腹腔內部以外，待觀察的身體部位還可以是適於使用內窺鏡觀察的受試者的部位，諸如胸腔內部。在上述實施方案中，在考慮通信負荷的情況下，基於來自真實內窺鏡圖像獲得裝置21的請求，圖像處理工作站9接收圖像，假定真實內窺鏡圖像形成裝置2形成真實內窺鏡圖像Ike的周期短於虛擬內窺鏡圖像生成裝置26產生虛擬內窺鏡圖像Ive的周期。然而，真實內窺鏡圖像獲得裝置21可以接收由真實內窺鏡圖像形成裝置2相繼形成的全部真實內窺鏡圖像IE。在該情況下，每次接收到真實內窺鏡圖像Ike時，顯示控制裝置27都可以更新WS顯示器10上顯示的真實內窺鏡圖像Ike，與用虛擬內窺鏡圖像生成裝置26生成虛擬內窺鏡圖像Ive的時刻不同步。內窺鏡位置獲得裝置22可以接收由內窺鏡位置檢測裝置11以預定時間間隔檢測至IJ的全部內窺鏡位置PSe，並且可以僅將在調用圖3的步驟#4中的操作時的時間接收到的內窺鏡位置PSe通過坐標變換功能轉換成內窺鏡位置Pe以輸出它。這同樣適用於外科手術工具位置獲得裝置23。在上述實施方案中由內窺鏡位置獲得裝置22和外科手術工具位置獲得裝置23進行的坐標變換可以由虛擬內窺鏡圖像生成裝置26進行。關注位置確定裝置25可以使用已知的圖像識別技術(諸如用於提取血管或器官的技術或用於檢測異常陰影的技術)自動確定該關注位置。虛擬內窺鏡圖像生成裝置26可以將內窺鏡位置Pe設定在視野中心處以便內窺鏡I總是在視野內，而不是將外科手術工具位置Pt設定在視野中心處以便外科手術工具6總是在視野內。另外備選地，線段Pe-Pt的內部分開點諸如內窺鏡位置Pe和外科手術工具位置Pt之間的中點，可以設定在視野中心處，並且可以設定視角以便內窺鏡I和外科手術工具6兩者都在視野內。仍備選地，可以根據關注結構的位置P1、內窺鏡位置Pe和外科手術工具位置Pt之間的距離調節視角和放大倍數。例如，與這些位置之間的距離大時的情況相t匕，如果這些位置之間的距離小，則可以將視角設定得較窄並且可以將放大倍數設定地更大，以便放大視野中的區域以便於觀察。代替將表示內窺鏡I或外科手術工具6的形狀圖像與虛擬內窺鏡圖像Ive組合，標記諸如箭頭可以顯示在內窺鏡位置Pe或外科手術工具位置Pt處。通過設定多個關注位置，諸如外科手術關注部位、需要注意的血管和需要注意的器官作為視點，虛擬內窺鏡圖像生成裝置26可以生成從多個視點觀察到的虛擬內窺鏡圖
像 IVE。圖像處理工作站9可以生成和顯示不同於上述真實內窺鏡圖像Ike和虛擬內窺鏡圖像Ive的圖像。例如，在將內窺鏡位置Pe設置為視點並且使用放大倍數的情況下，可以進一步生成具有比內窺鏡I的視角Ae更寬的視角Av的虛擬內窺鏡圖像，如圖17A中作為實例示意性顯示的那樣，所述放大倍數使圖像中關注對象的尺寸與真實內窺鏡圖像Ike中的尺寸幾乎相同，並且可以生成並顯示新圖像，如圖17B中作為實例示意性地顯示的那樣，其中 在對視野中心的位置，即內窺鏡位置Pe進行對準的情況下將真實內窺鏡圖像疊加在由此生成的虛擬內窺鏡圖像上。備選地，可以生成真實內窺鏡圖像和虛擬內窺鏡圖像的複合圖像。例如，如作為實例示意性地顯示於圖18B中的僅顯示可視化的血管結構的虛擬內窺鏡圖像，可以與作為實例示意性地顯示於圖18A中的真實內窺鏡圖像組合，以生成具有加重的血管結構的真實內窺鏡圖像，如作為實例示意性地顯示於圖18C中的那樣。
權利要求
1.一種內窺鏡觀察支持系統，所述內窺鏡觀察支持系統包括 3D醫用圖像形成裝置，所述3D醫用圖像形成裝置用於形成表示受試者的體腔內部的3D醫用圖像； 關注位置確定裝置，所述關注位置確定裝置用於確定所述3D醫用圖像中所述體腔中的關注結構的位置； 位置檢測裝置，所述位置檢測裝置用於檢測在所述體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置； 虛擬內窺鏡圖像生成裝置，所述虛擬內窺鏡圖像生成裝置用於基於所述3D醫用圖像中的被確定的所述關注結構的位置和被檢測到的所述內窺鏡和所述外科手術工具中的至少一個的位置，從輸入至所述虛擬內窺鏡圖像生成裝置的所述3D醫用圖像生成表示從視點觀察到的所述體腔內部的虛擬內窺鏡圖像，其中所述視點是所述關注結構的位置，所述內窺鏡和所述外科手術工具中的至少一個的位置包含在所述虛擬內窺鏡圖像的視野中，並且所述內窺鏡和所述外科手術工具中的至少一個的位置以可識別方式顯示在所述虛擬內窺鏡圖像中；和 顯示裝置，所述顯示裝置用於顯示所述虛擬內窺鏡圖像。
2.如權利要求I中所述的內窺鏡觀察支持系統，所述內窺鏡觀察支持系統還包括 真實內窺鏡圖像形成裝置，所述真實內窺鏡圖像形成裝置用於通過用所述內窺鏡實時成像形成表示所述體腔內部的真實內窺鏡圖像， 其中所述顯示裝置還顯示幾乎與在檢測到用於生成所述虛擬內窺鏡圖像的所述內窺鏡和所述外科手術工具中的至少一個的位置時的同時形成的所述真實內窺鏡圖像。
3.如權利要求I或2中所述的內窺鏡觀察支持系統，其中所述虛擬內窺鏡圖像生成裝置根據從所述關注結構至所述體腔中的結構表面的距離確定所述虛擬內窺鏡圖像的像素值。
4.如權利要求I至3中的任何一項所述的內窺鏡觀察支持系統，所述內窺鏡觀察支持系統還包括報警裝置，所述報警裝置用於在所述內窺鏡和所述外科手術工具中的至少一個與所述關注結構的接近程度符合預定標準時顯示警報。
5.如權利要求I至4中的任何一項所述的內窺鏡觀察支持系統，其中所述虛擬內窺鏡圖像生成裝置使用顏色模板確定所述虛擬內窺鏡圖像的像素值，其中定義所述顏色模板以提供虛擬內窺鏡圖像，所述虛擬內窺鏡圖像與通過用所述內窺鏡成像而獲得的真實內窺鏡圖像中顯示的外觀幾乎相同的外觀顯示所述體腔中的部位。
6.如權利要求I至5中的任何一項所述的內窺鏡觀察支持系統，所述內窺鏡觀察支持系統還包括 第二關注結構檢測裝置，所述第二關注結構檢測裝置用於檢測所述3D醫用圖像中的所述體腔中的第二關注結構， 其中所述虛擬內窺鏡圖像生成裝置生成所述虛擬內窺鏡圖像，在所述虛擬內窺鏡圖像中所述第二關注結構以視覺可識別的方式顯示。
7.如權利要求I至6中的任何一項所述的內窺鏡觀察支持系統，其中所述關注結構是在使用內窺鏡的內窺鏡外科手術期間的外科手術關注部位。
8.如權利要求I至6中的任何一項所述的內窺鏡觀察支持系統，其中所述關注結構是在使用內窺鏡的內窺鏡外科手術期間需要注意的解剖結構。
9.如權利要求6中所述的內窺鏡觀察支持系統，其中所述關注結構是在使用內窺鏡的內窺鏡外科手術期間外科手術關注的部位並且所述第二關注結構是在所述內窺鏡外科手術期間需要注意的解剖結構。
10.一種內窺鏡觀察支持方法，所述方法包括下列步驟 在用插入在受試者的體腔中的內窺鏡觀察所述體腔內部以前或期間形成表示所述體腔內部的3D醫用圖像； 確定所述3D醫用圖像中所述體腔中的關注結構的位置； 檢測插入在所述體腔中的所述內窺鏡和外科手術工具中的至少一個的實時位置； 基於所述3D醫用圖像中的被確定的所述關注結構的位置和檢測到的所述內窺鏡和所述外科手術工具中的至少一個的位置，從輸入的所述3D醫用圖像生成表示從視點觀察到的所述體腔內部的虛擬內窺鏡圖像，其中所述視點是所述關注結構的位置，所述內窺鏡和所述外科手術工具中的至少一個的位置包含在所述虛擬內窺鏡圖像的視野中，並且所述內窺鏡和所述外科手術工具中的至少一個的位置以可識別方式顯示在所述虛擬內窺鏡圖像中；以及 顯示所述虛擬內窺鏡圖像。
11.一種內窺鏡觀察支持設備，所述設備包括 3D醫用圖像獲得裝置，所述3D醫用圖像獲得裝置用於獲得表示受試者的體腔內部的3D醫用圖像； 關注位置確定裝置，所述關注位置確定裝置用於確定所述3D醫用圖像中所述體腔中的關注結構的位置； 位置獲得裝置，所述位置獲得裝置用於獲得通過位置檢測裝置檢測的在體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置； 虛擬內窺鏡圖像生成裝置，所述虛擬內窺鏡圖像生成裝置用於基於所述3D醫用圖像中的被確定的所述關注結構的位置和檢測到的所述內窺鏡和所述外科手術工具中的至少一個的位置，從輸入至所述虛擬內窺鏡圖像生成裝置的所述3D醫用圖像生成表示從視點觀察到的所述體腔內部的虛擬內窺鏡圖像，其中所述視點是所述關注結構的位置，所述內窺鏡和所述外科手術工具中的至少一個的位置包含在所述虛擬內窺鏡圖像的視野中，並且所述內窺鏡和所述外科手術工具中的至少一個的位置以可識別方式顯示在所述虛擬內窺鏡圖像中；和 顯示控制裝置，所述顯示控制裝置用於使顯示裝置顯示所述虛擬內窺鏡圖像。
12.一種內窺鏡觀察支持程序，所述內窺鏡觀察支持程序用於使計算機執行下列步驟 獲得表示受試者的體腔內部的3D醫用圖像； 確定所述3D醫用圖像中所述體腔中的關注結構的位置； 獲得通過位置檢測裝置檢測的在所述體腔中插入的內窺鏡和外科手術工具中的至少一個的實時位置； 基於所述3D醫用圖像中的被確定的所述關注結構的位置和檢測到的所述內窺鏡和所述外科手術工具中的至少一個的位置，從輸入的所述3D醫用圖像生成表示從視點觀察到的所述體腔內部的虛擬內窺鏡圖像，其中所述視點是所述關注結構的位置，所述內窺鏡和所述外科手術工具中的至少一個的位置包含在所述虛擬內窺鏡圖像的視野中，並且所述內窺鏡和所述外科手術工具中的至少一個的位置以可識別方式顯示在所述虛擬內窺鏡圖像中；以及 使顯示裝置顯示真實內窺鏡圖像和虛擬內窺鏡圖像。
全文摘要
在使用插入在體腔中的內窺鏡觀察受試者體腔期間，容許使用者更可靠地了解內窺鏡或外科手術工具與關注部位的接近程度。提供用於從向其輸入的由3D醫用圖像形成裝置(5)形成的3D醫用圖像生成虛擬內窺鏡圖像的虛擬內窺鏡圖像生成裝置(26)，其中由關注位置確定裝置(25)確定的關注結構的位置是視點，由內窺鏡位置檢測裝置(11)或外科手術工具位置檢測裝置(12)檢測的內窺鏡和外科手術工具中的至少一個的位置包含在虛擬所述內窺鏡圖像的視野中，並且內窺鏡和外科手術工具中的至少一個的位置是以可識別方式顯示的。顯示控制裝置(27)使WS顯示器(10)顯示所生成的虛擬內窺鏡圖像。
文檔編號A61B1/04GK102811655SQ20118001428
公開日2012年12月5日 申請日期2011年3月16日 優先權日2010年3月17日
發明者北村嘉郎, 中村佳兒 申請人:富士膠片株式會社