用於調節經皮治療的交互式3D治療區的方法和系統與流程

2023-11-06 12:36:32 2

相關申請的交叉引用

本申請要求在2014年10月31日提交的名稱為「methodandsystemforadjustinginteractive3dtreatmentzoneforpercutaneousthermalablationsurgerywithrealtimevisualfeedback」的序列號為62/073,420的美國臨時申請，以及在2015年10月29日提交的題為「methodandsystemforadjustinginteractive3dtreatmentzonepercutaneoustreatment」的序號為14/926,559美國非臨時申請的優先權，其全部內容通過引用併入本文。

背景

1、技術領域

本發明與外科手術規劃相關。更具體地，本發明涉及用於外科手術規劃的交互式醫學圖像處理。

2、技術背景討論

隨著醫學成像領域的進步，使得肝腫瘤消融的微創技術成為可能。在這些最小侵入性技術中，已經以不同的形式對經皮熱消融進行了研究。目前，經皮射頻消融是開放手術治療肝癌最有希望的替代方法之一。該操作是將針(探針)插入需要被熱破壞的目標組織中的微創程序。這種方法被用於治療不可切除肝轉移的患者。這種操作的成功在很大程度上取決於針插入的準確性，因為當準確時，可以破壞整個腫瘤而不損害附近的器官，以便最小化局部復發的風險。為了確保準確性，通常進行術前治療計劃，這是避免併發症甚至死亡的關鍵因素之一。

常規地，執行術前治療計劃的放射科醫師依賴於二維(2d)掃描切片的圖像來確定針的位置。不幸的是，在僅依賴於2d掃描儀切片時，這種治療的計劃相當困難。大多數現有系統或軟體在2d切片中通過受影響區域的2d重疊顯示探針和治療區域。一些現有的系統也可以在3d中顯示治療區域並提供3d姿勢調整。然而，既沒有任何現有的系統可以直接3d地操縱治療區域大小和形狀，也沒有任何現有的系統可以3d地反映其他散熱結構對治療區域的形狀的實時影響。

因此，需要一種可以用於幫助醫務人員以更可靠和準確的方式執行術前治療計劃的解決方案。

技術實現要素：

本發明涉及外科手術規劃。更具體地，本發明涉及用於外科手術規劃的交互式醫學圖像處理。

在一個示例中，公開了一種在具有至少一個處理器、存儲器和能夠連接到網絡以進行外科手術規劃的通信平臺的計算設備上實現的方法。包含在3d體積中的至少一個三維(3d)對象被呈現在顯示屏幕上。所述至少一個3d對象包括對應於器官的3d對象。從用戶接收關於相對於至少一個3d對象定位的手術器械的3d姿態的第一信息。基於第一信息在3d體積中呈現手術器械的3d表示。從用戶接收與手術器械的設定有關的第二信息。基於第一和第二信息來估計相對於至少一個3d對象的3d體積中的3d治療區域。3d體積中的3d治療區域可在顯示屏幕上顯示。手術器械的3d表示和3d治療區域的將用於外科手術規劃。提供與手術器械的3d表示和/或3d治療區域相關聯的一個或多個控制，以便於用戶通過一個或多個控制來動態調整3d治療區域。

在不同的示例中，公開了一種用於外科手術規劃的系統。該系統包括三維(3d)場景渲染機構、探針處理模塊、控制處理模塊、治療區域計算模塊和治療區域渲染機構。3d場景渲染機構被配置為在顯示屏幕上渲染包含在3d體積中的至少一個3d對象。所述至少一個3d對象包括對應於器官的3d對象。探針處理模塊被配置為從用戶接收關於相對於至少一個3d對象定位的手術器械的3d姿態的第一信息。探針渲染機構被配置為基於第一信息在3d體積中呈現手術器械的3d表示。控制處理模塊被配置為從用戶接收與手術器械的設置相關的第二信息。治療區域計算模塊被配置為基於第一和第二信息來估計相對於至少一個3d對象的3d體積中的3d治療區域。治療區域渲染機構被配置為在顯示屏幕上顯示3d體積中的3d治療區。手術器械和3d治療區域的三維表示將用於外科手術規劃。控制處理模塊還被配置為提供與手術器械的3d表示和/或3d治療區域相關聯的一個或多個控制，以便於用戶經由一個或多個控制來動態地調整3d治療區域。

其他概念涉及用於實施本發明的外科手術規劃的軟體。基於該概念的軟體產品包括至少一種非暫時的機器可讀介質和介質攜帶的信息。介質攜帶的信息可以是可執行程序代碼數據、與可執行程序代碼相關聯的參數、和/或與用戶相關的信息、請求、內容或與社會群體相關的信息等。

在一個示例中，公開了一種其中記錄有用於外科手術規劃的信息的非暫時機器可讀介質。記錄的信息在機器讀取時使機器執行一系列處理。包含在3d體積中的至少一個三維(3d)對象被呈現在顯示屏幕上。所述至少一個3d對象包括對應於器官的3d對象。從用戶接收關於相對於至少一個3d對象定位的手術器械的3d姿態的第一信息。基於第一信息在3d體積中呈現手術器械的3d表示。從用戶接收與手術器械的設定有關的第二信息。基於第一和第二信息來估計相對於至少一個3d對象的3d體積中的3d治療區域。3d體積中的3d治療區域可在顯示屏幕上顯示。手術器械和3d治療區域的三維表示將用於外科手術規劃。提供與手術器械的3d表示和/或3d治療區域相關聯的一個或多個控制以便於用戶通過一個或多個控制來動態調整3d治療區域。

另外的特徵將在下面的描述中部分地闡述，並且在通過檢查以下的附圖和附圖之後，本領域技術人員將變得顯而易見，或者可以通過實施例的生產或操作來了解附加的特徵。本發明的特徵可以通過實踐或使用以下詳細示例中闡述的方法、工具和組合的各個方面來實現。

附圖說明

根據示例性實施例進一步描述本文所描述的方法，系統和/或程序。參考附圖詳細描述這些示例性實施例。這些實施例是非限制性示例性實施例，其中在附圖的幾個視圖中相同的附圖標記表示相似的結構，並且其中：

圖1(a)描繪其中包含3d對象的三維(3d)體積；

圖1(b)示出了包含在3d坐標系中顯示的3d對象的3d體積；

圖1(c)示出了以不透明模式在3d坐標系中顯示的3d體積；

圖2(a)描繪了根據本發明的實施例的在其中顯示3d對象的3d場景和用於放置虛擬探針的3d場景中指定的3d點；

圖2(b)示出了根據本發明的實施例的在其中顯示有多個3d對象的3d場景，以及可移動和可調節探針被放置在物體附近的指定3d點處；

圖3示出了根據本發明的實施例的可移動和可調節探針的示例性結構；

圖4(a)-4(c)示出根據本發明的實施例與虛擬探針的可移動和可調特徵相關聯的不同變化；

圖5示出了根據本發明的實施例的放置在3d體積中的多個探針；

圖6示出了根據本發明的實施例的放置在3d對象附近的探針，其具有在探針的特定位置處的3d對象的2d橫截面視圖，以示出探針附近的解剖結構；

圖7示出了根據本發明的實施例的用戶可以通過沿著探針滑動橫截面視圖來動態地調整解剖結構的觀察的場景；

圖8(a)示出了根據本發明的實施例的探針遇到的障礙物的概念；

圖8(b)描繪了根據本發明的實施例的用於產生檢測到的障礙物的警告的示例性手段；

圖9呈現了根據本發明的實施例的顯示用於放置探針的不同區域的示例性方式；

圖10是根據本發明的實施例的基於由用戶指定的可選條件來放置、操縱和呈現虛擬探針的示例性過程的流程圖。

圖11示出了根據本發明的實施例的經皮術前規劃中的示例性類型的操作控制；

圖12描繪了根據本發明的實施例的有助於3d環境中的虛擬探針的3d放置和操縱的系統的示例性構造；

圖13示出了根據本發明的實施例的用於在3d環境中3d放置和操縱的虛擬探針的系統的另一示例性構造；

圖14是根據本發明的實施例的基於由用戶指定的信息來估計，調整和呈現3d治療區域的示例性過程的流程圖。

圖15(a)-15(b)描繪了根據本發明的實施例的3d體積中的手術器械的3d表示、器官、解剖結構和治療區域；

圖16描繪了根據本發明的實施例的與手術器械的3d表示和治療區域相關聯的多個控制；以及

圖17描繪了可以用於實現結合本發明的專用系統的計算機的架構。

具體實施方式

在下面的詳細描述中，通過實施例闡述了許多具體細節，以便提供對相關教導的透徹理解。然而，對於本領域技術人員來說顯而易見的是，可以在沒有這些細節的情況下實踐本發明。在其他情況下，已經以較高級別(沒有細節)描述了眾所周知的方法、程序、系統、組件和/或電路，以避免不必要地混淆本發明的各個方面。

本發明涉及用於經皮熱消融探針的三維(3d)治療區域的交互式調整。它可用於經皮手術如射頻消融、微波消融或冷凍消融的手術前計劃，以幫助醫生更好地觀察和決定有效的治療區域。它可以提供獨特的交互方案，例如探針控制項或3d區域治療區域調整的區域控制。它還可以通過周圍的散熱結構提供對區域的影響的更直觀和實時的反饋。

圖1(a)描繪了具有在其中呈現的三維物體的3d體積100的三維場景。如圖所示，3d體積100已被分割成多個對象101-a，101-b，...，101-c和102.這些物體可以對應肝、病變、骨骼、動脈、重要器官或皮膚(例如102)。每個3d對象可以對應於3d體積100內的子3d體積。3d體積100可以在諸如計算機顯示屏幕的2d顯示屏幕上顯示。這種顯示可以在明確定義的3d坐標系中執行。這在圖1(b)中示出，其中3d體積100顯示在由具有三個軸x，y和z的坐標系120定義的3d空間中。3d體積100可以呈現在2d顯示器上相對於具有特定3d姿態的3d坐標系120的屏幕，包括其幾何位置和取向。

在一些實施例中，3d體積100可以沿著一些3d取向被切割成多個2d切片，使得每個切片提供沿著特定方向的3d體積100的2d圖像。為了方便有效的3d顯示，這些2d切片可以放置在該3d場景的內部，以使得觀察者能夠在平面上觀察不同物體(如果有的話)的組成。通過這種方式，人們可以觀察到不同的分割3d對象之間的空間關係。該概念在名稱為「multiplevolumeexplorationsystemandmethod」的第7,315,304號美國專利中描述。

用戶可以以不同的方式操縱3d體積100的顯示。例如，整個3d體積可以相對於3d坐標系120旋轉和平移。這可以便於用戶從不同角度觀察不同對象之間的空間關係。此外，可以獨立地操縱每個分割對象的顯示，例如，3d對象可以被看到或不可見，使得用戶可以看到3d體積100的被所選擇的3d對象遮擋的區域。這可以通過調整所選擇的3d對象的透明度來完成。當所選擇的3d對象被設置為完全透明或高度半透明時，被所選擇的3d對象所遮擋的對象可以更加明顯。在一些實施例中，可以使感興趣的3d對象變得不透明，並且當還呈現用於該對象的附加2d切片時，可以更清楚地觀察3d對象的內部結構。例如，當3d對象對應於人體的皮膚時，當用戶選擇以透明模式顯示皮膚時，皮膚結構內部的所有對象都可以看得見。另一方面，如果用戶選擇以不透明模式顯示皮膚，則包裹在皮膚內的3d對象將都是不可見的。這在圖1(c)中示出，其中皮膚對象102以不透明模式103顯示，並且皮膚內部的任何物體都不可見。在一些實施例中，可以逐漸和交互地調整透明程度以滿足用戶的需要。

圖2(a)示出了根據本發明的實施例的具有顯示在其中的三維對象的三維場景300和指定的3d位置。為了執行經皮術前手術規劃，用戶可以與根據本發明開發的系統進行交互式接口以指定要放置虛擬探針的3d位置。這在圖2(a)中示出，其中3d位置201根據在例如顯示屏幕上指定的2d位置來確定。這樣的規範可以通過各種已知的技術來完成，例如在顯示屏幕上的滑鼠點擊。通過例如滑鼠點擊確定的屏幕點可以對應於相對於基於底層顯示屏定義的2d坐標系的2d坐標。這樣的2d坐標需要被轉換成3d場景300中的3d坐標點，這可以通過經由變換將2d坐標轉換成3d坐標來完成。可以相對於3d場景中的3d對象(例如，皮膚102)選擇這樣的2d坐標，並且所變換的3d位置可以對應於虛擬探針或針將被虛擬放置在3d對象上的3d位置以模擬經皮手術在經皮術前手術計劃程序中的作用。

圖2(b)示出了一旦確定了在顯示屏幕上選擇的2d點對應的3d坐標，則可以將虛擬探針或針204虛擬地放置在3d空間300中的3d坐標位置。虛擬探針或針204根據需要可以具有直的形狀或任何其他形狀，如圖3所示。在一些實施例中，虛擬探針可被構造成具有尖端301、主體302和手柄303。尖端301是虛擬探針204被放置在3d對象(例如，圖2(b)中的對象102)上部位。通過適當的接口和工具(參見下面參考圖8的描述)，用戶可以經由探針的某些部分(例如主體302或手柄303)來操縱虛擬探針204的運動。例如，在經皮前置肝臟疾病的手術外科計劃，可以將病變選擇為要放置虛擬探針的3d對象(例如，對象101-a)，並且在虛擬探針和人類皮膚相交的點處是實際操作中的針可能需要放置的位置。

可以調整虛擬探針，一旦插入。這可以通過允許用戶使用工具(例如，在gui中，使用拖拉運動)來根據需要移動虛擬探針的不同部分來完成。例如，可以允許用戶拖動探針的尖端301並拉動到期望的3d位置。也可以允許用戶抓住探針的主體302並將其拖動，使得探針的尖端保持位置不變。類似地，可以允許用戶拖動尖端的手柄303並且移動。在其他實施例中，可以通過拖動主體302或手柄303來允許用戶移動尖端。

當創建虛擬探針時，其可以具有一定長度，並且這樣的長度可以與探針一起顯示(參見圖4(a))。探針長度可以是動態的或固定的。可以使用固定長度的探針來模擬通常具有10cm、15cm和20cm長度的商用針電極系統。可以提供不同的長度備用，並且用戶可以選擇可用長度中的任何一個。

使用固定長度的探針的配置對於在手術前規劃中有助於更逼真進行模擬。當探針配置為固定長度時，可以相應地確定探針的移動。例如，當探針的長度固定時，例如探針的運動可以被限制在皮膚102或相對於探針的尖端的半球。這在圖4(c)中示出。然而，當用戶選擇不同的長度的探針時，可以相應地或自動地調整探針的允許移動的範圍。

在一些實施例中，探針的長度可以是動態的。用戶可以使用具有動態長度的探針，如圖4(b)所示。具有動態長度的探針的移動範圍可以相對於探針的尖端來定義。在這種情況下，探針的運動可以被限制在例如皮膚表面上。相對於諸如患者坐標系的坐標系的探針的角度可以在探針被操縱時實時顯示在屏幕上。

在一些實施例中，可以放置多於一個探針。圖5示出了放置在所選對象的相同3d位置上的兩個探針510和520。這可能有助於為用戶提供同時測試多於一個探針的能力，並且可以評估在相同治療和效果中利用多個探針的可能性。

根據本發明的系統還可以提供允許用戶沿著已經放置的探針來觀察3d對象的解剖結構的裝置。在圖6中，提供了對應於3d對象601的2d切片圖像的正交探針視圖620.該2d切片圖像可以是以探針為中心且與探針正交的視圖。通過該視圖，用戶可以在二維圖像視圖中看到探針傳遞的結構。如圖7所示，用戶還可以通過拖動沿著探針主體上下移動觀察平面。用戶還可以激活自動移動功能，根據特定的時間間隔，使探針視圖可以沿著探針自動上下移動。

圖8示出了根據本發明的實施例的探針遇到的障礙物的概念。在一些醫療應用中，實際或物理探針不能穿過身體的某些部位，例如骨骼，重要器官或主要動脈。身體的這些部分可以被明確定義為障礙物或禁止部分。根據本發明，提供了一種機制和方法，當探針與身體的這些部分相交時，自動檢測碰撞。根據本發明的系統可以定義默認障礙物或禁止部件。在一些實施例中，它還可以為用戶提供靈活的裝置，以根據具體應用的需要來動態地定義這些障礙物。例如，在某些應用中，骨骼可能是一個障礙。然而，在其他應用中，骨骼可能是需要放置探針的目標區域。

當限定障礙物時，系統可以在將探針放置在3d場景中時提供自動碰撞檢測能力。在圖8(a)中，示出了每當放置探針時，可以自動應用碰撞檢測。當用戶移動探針時，每當探針碰到任何定義的障礙物時，系統可能會提醒用戶。提醒用戶的示例方法是創建一個警告視覺效果，例如使用視覺刺激的顏色或生成音頻聲音。這在圖8(b)中示出。這樣的反饋是產生警告效果以吸引用戶的注意。對於不同的障礙物，可以使用不同的顏色或聲音，使得用戶可以識別與每個不同警告相關聯的障礙物的類型。也可以設計音頻反饋來表示遇到的障礙的類型。

在一些實施例中，可以單獨地打開或關閉障礙物，使得用戶可以在移動和插入探針時進行實驗和探索不同的場景。

對於障礙物或探針被禁止進入的區域，也可以將3d場景中的這些區域標記為探針可能不能進入的區域。例如，在某些程序中，骨骼可能被視為障礙物。此外，主要動脈可能被認為是受限區域或禁止區域。根據本發明，可以提供手段來自動識別這些約束區域並將其標記在對應於這種禁止區域的皮膚表面上。這在圖9中示出，其中皮膚表面被標記為兩個區域。一個對應於探針903可以進入的區域901，另一個區域902是不允許探針903進入的區域。這樣的區域相對於特定的目標位置計算，該目標位置對應於皮膚內的目標物體，其中治療將通過實際的針頭傳送。因此，區域901是有效的插入區域，其是探針903可以在沒有遇到任何障礙或約束的情況下到達目標對象的目標位置的區域。另一個區域902是探針被一些障礙物或約束物阻擋的區域。可以使用不同的視覺效果來顯示不同的區域，例如使用不同的顏色或具有不同的外觀，例如透明度。

圖10是根據本發明的執行經皮前期手術計劃過程的實施例的示例性過程的概括流程。體積數據可以首先在1010處被加載到系統中。在一些實施例中，在1010處可以進一步處理這種加載的體積數據，以提取不同的分割的3d對象。在一些實施例中，加載的數據可能已經被預先分段，並且一個或多個3d對象可能已經存在。一旦加載，3d體積和其中包含的3d對象在1015處被渲染在3d場景中。在3d體積和3d對象被顯示在顯示屏幕上之後，用戶可以在經皮下輸入與系統交互的指令手術前規划過程。可以通過不同的方式發出用戶輸入。例如，輸入可以與諸如滑鼠點擊某些控制按鈕或選擇多個可用選擇的動作相關。

可以根據輸入的性質或某些預設的系統配置將這樣的用戶輸入調度到相對動作模塊。當系統接收到輸入時，在1020處解釋輸入。可能有不同類型的輸入。輸入的一個示例性類型涉及諸如3d體積中的目標對象，障礙物或禁止區域的定義。輸入的另一示例性類型是在經皮術前規划過程中與不同3d對象的插入、操縱和顯示相關的指令。

關於定義不同類型的對象，根據特定過程的性質，可以定義不同的目標對象。例如，對於治療肝腫瘤的過程，肝臟中的病變可以被鑑定為目標。對於每個過程，也可以定義不同類型的障礙物。障礙物可以被定義為探針不能穿透的物體。這種障礙物的一個例子可以是骨骼。然而，如果不同的程序需要探針進入骨骼結構，骨骼可以被定義為目標而不是障礙物。對象的另一示例性類型是禁止區域，其可以被定義為如果探測者進入則可能導致傷害的區域。例如，用戶可以選擇肝臟周圍的一個或多個主要動脈作為禁止區域進入探針。在這個例子中，為了允許探針進入肝臟內的病變，探針必須採取避免骨骼和主要動脈的途徑。

可以基於對應於所有分段的3d對象的多個選擇來進行目標對象，障礙物或禁止區域的選擇。例如，代表人體的3d體積中的分段對象可以包括皮膚、肝臟、胰腺、腎臟、某些器官內部或附近的病變、周圍的組織、骨骼、血管等。根據要執行的程序，可以選擇與例如肝臟相關聯的病變作為目標對象。根據要進行的具體處理，可以選擇不同的障礙物或禁止區域。例如，對於經皮治療，可以選擇骨骼作為障礙物，並且可以選擇主要血管作為禁止區域。一旦這樣的選擇被解釋，系統將這樣的定義發送到1055處的衝突檢測操作，利用這種信息自動檢測探針何時遇到或進入這些對象。

如所討論的，另一種類型的輸入對應於與不同3d對象的插入，操縱和顯示相關的指令。可以進一步識別不同類型的指令。如果輸入指令涉及在1025處確定的虛擬探針的插入，則系統在1030還進一步接收對應於用戶指定的屏幕位置的2d坐標，如探針將要到達的。為了將2d屏幕位置轉換成探針到達的3d坐標，在1035處執行2d坐標和3d坐標之間的變換。由於接收的2d坐標可以對應於用戶希望插入新探針或者對已經插入的探針進行調整，則在1040還進一步確定所請求的操作是否對應於創建新探針或調整現有探針。

如果用戶的請求是插入一個新的探針，系統將在1045處在變換後的3d坐標上呈現一個新探針。然後，該處理進行到在1055處檢測探針與被定義為障礙物或禁止區域的任何其它物體之間的潛在碰撞。如果用戶的請求是對現有探針進行調整，則系統在1050將現有探針調整到變換的3d坐標，然後在1055處進行碰撞檢測。當檢測到碰撞時，系統可以產生警告消息，在1060，提醒用戶，探針可能遇到一些障礙或進入禁止的區域。生成和呈現警告消息的方式可能取決於系統設置。例如，系統可以默認在檢測到衝突的位置閃爍(參見圖8(b))。

當存在多個現有探針時，可以執行附加步驟(未示出)，其中用戶和系統可以交互地確定要調整哪個探針。此外，從用戶接收到的2d坐標可以對應於關於探針的尖端、主體或手柄的操縱，這取決於哪個是最近的部位，以及系統處於哪種操作模式(未示出)。例如，如果將系統設置為使用探針的手柄來操縱探針的模式，則從從用戶接收的2d坐標變換的3d坐標是探針的手柄將被重新定位。如果探針被選擇為具有固定的長度，則還需要根據探針的手柄必須位於圍繞探針尖端的球體的事實來確定3d坐標。用戶也可以在不同的操作模式之間切換。例如，用戶可以首先通過相對於探針的尖端操縱來選擇將探針的尖端調整到最佳位置。一旦尖端位置滿足步驟的需要，用戶然後可以切換到探針的操縱通過探針的手柄的模式。通過探針的手柄進行這種操作，用戶可以調整探針在皮膚上的入口點，而不會影響尖端位置，以避免任何障礙物或禁止區域。

如果輸入指令涉及在1025確定的3d場景操縱，則系統進行到1065以處理3d場景操縱。3d場景操作可以包括面向對象的場景旋轉、縮放、顯示模式等。在一些實施例中，當3d場景被移動時，已經插入到3d場景中的探針可以相應地移動。以這種方式，用戶可能能夠從不同的角度觀察探針和周圍物體之間的空間關係。在一些實施例中，通過3d操縱，用戶可以通過例如使其透明、不透明或半透明來操縱個體物體的可視性。在某些情況下，用戶還可以控制沿著探針觀察物體的2d橫截面視圖，並且可以任意地改變生成和顯示2d橫截面視圖的位置。在另一個實施例中，用戶也可能能夠通過例如拖動探針的手柄來旋轉整個3d場景來經由探針來操縱3d場景。

在一些實施例中，它還可以設置對3d場景的操縱不影響探針的3d姿態。有時這可能是有用的，因為用戶可以調整3d體積，例如，直到或避免衝突。在這種情況下，每當3d場景被改變(例如旋轉或翻轉)時，系統自動進行到1055以檢測碰撞，並且隨後在1060檢測到碰撞。

如果輸入指令涉及在1025確定的操作控制，則系統進行到1070以執行指示的控制。可能有不同類型的操作控制。圖11示出了一些示例性類型。例如，用戶可以控制打開或關閉虛擬探針的視圖(120)。用戶還可以控制打開或關閉視圖，其中與特定約束相關聯的不同區域可以在視覺上不同(130)。用戶還可以控制如何在視覺上或聲學上呈現碰撞情況。此外，如前所述，用戶還可以控制如何顯示3d對象，例如不透明或透明。這包括控制每個單獨對象或整個3d場景的顯示。

圖12描繪了根據本發明的實施例的促進在用於經皮術前手術規劃的3d環境中的虛擬探針的放置和操縱的示例性系統1200的構造。系統1200包括顯示設備1210，圖形用戶界面1215，2d/3d轉換機構1220，控制面板輔助器1225，探針處理模塊1230，碰撞檢測模塊1235，多個渲染機構，包括探針視圖渲染機構1240，約束區域渲染機構1245，探測渲染機構1250和3d場景渲染機構1255，3d對象管理模塊1260，探測視圖操作模塊1265，約束區域計算模塊1270和3d場景操縱機構1275。

用戶1205可以經由顯示設備1210上顯示的用戶界面與系統1200進行交互.gui控制器1215可以控制系統1200和用戶1205之間的交互。如果用戶1205期望使用與一個虛擬探針一旦建立了3d場景，則用戶可以請求系統從3d對象管理1260檢索3d對象信息，並且經由3d場景渲染機構1255呈現這樣的對象。當通過用戶界面輸入這樣的用戶請求時，gui控制器1215然後可以解釋該請求，從而激活適當的功能模塊來執行所請求的操作。

例如，如果要求改變3d場景的方向，則系統可以激活3d場景操縱器模塊1275，以根據來自用戶的規範來修改3d場景的取向。在該過程中，用戶和gui控制器可以連續地進行交互，例如，用戶可以點擊3d場景中的一個點並沿某一方向拖動，使得整個3d場景可以沿著相同的方向移動。類似地，用戶可以針對諸如虛擬探針的特定3d對象來執行相同的控制。

用戶還可以與系統交互以對探針進行各種控制。當用戶通過2d顯示屏手動控制探針時，2d/3d變換機構1220將2d屏幕點動態地轉換為3d場景中的3d點，然後將3d點傳遞到探針處理模塊1230，探針處理模塊1230確定它是對現有探針進行的新的探針創建操作或調整操作。然後通過探測渲染機構1250將期望的探針渲染在3d場景中。在移動現有探針的過程中，碰撞檢測模塊1235可操作以檢測可應用的探針與已經被定義為任一個的任何3d對象之間的相交障礙或禁區。碰撞檢測模塊1235還可以在檢測到衝突時產生警告信息。

如本文所討論的，系統還提供了用於用戶對系統的操作進行各種控制的裝置。例如，通過控制面板輔助器1225，用戶可以激活或禁用由探測視圖操作模塊1265控制的探測視圖。用戶還可以通過探測視圖呈現機構1240來控制其他顯示參數，例如透明度。用戶可以還設置也可以個性化的所需的顯示模式，並且當用戶用系統登記時可以自動應用這樣的設置。例如，用戶可能希望總是以透明模式顯示皮膚(3d對象)。當檢測到碰撞時，另一個用戶可能希望具有特定的聲音作為警告。用戶還可以通過與約束區域計算模塊1270交互來控制對約束區域的計算的激活或去激活，或通過與約束區域渲染機構1245交互來控制檢測到的約束區域的顯示。

用於消融的微創技術隨著醫學成像的進步而越來越普及。其中，經皮熱消融已經以不同的形式進行了研究，如射頻消融，微波消融或冷凍消融。該操作是微創程序，其包括將針插入目標組織中，然後使用不同水平的熱能來破壞它。這種操作的成功主要取決於針插入的準確性，使得可以破壞整個靶向腫瘤，同時避免對其他器官的損害並最小化局部復發的風險。因此，有效的治療區規劃是確定手術成功或失敗的關鍵因素之一。

如

背景技術：
部分所述，為了獲得治療區域的更精確的形狀，希望在3d環境中顯示它。而對於人類而言，它更直觀，因為我們在3d中自然地感覺到。此外，當用戶集中精力觀察治療區域與周圍解剖結構之間的關係時，最好直接在3d中調整治療區域的大小，形狀和姿態。因為如果用戶必須將注視力放在3d空間和用於調整其他地方的控制小部件之間，用戶可能會失去焦點。

為了提供這種直接操縱，根據本發明的一個實施例的系統和方法增強具有多個探針控制的3d虛擬探針。虛擬探針的末端手柄可以用作姿勢操縱器來改變探針的方位和位置。探針的主體可以具有幾個用於調節探針設置的控制器，例如探針的型號，長度和熱能水平。可以在熱治療區域本身(例如，放置在3d治療區域的邊界或邊緣)上提供開區控制，以調整治療區域的長度，半徑寬度和預間隙尺寸。當用戶將滑鼠移動到治療區域的其中一個區域位置時，它們可以激活相應的對區域控制，例如調整區域的大小。虛擬探針還可以顯示探針主體上的刻度，以便用戶可以看到探針的長度應該從入口點接近目標。此外，當治療區域被調整為接觸或接近某些解剖結構時，可以使用散熱模型來計算對該區域的形狀的相應影響或變化。然後可以實時更新和顯示受影響的區域。

圖13描繪了根據本發明的實施例的示例性系統1300的另一種構造，其有助於在用於經皮術前手術規劃的3d環境中的虛擬手術器械和治療區域的放置和操縱。注意，在本實施例中將不再重複相對於圖12所述的相同的機構和模塊。除了圖12中相同的機構和模塊之外，系統1300還包括治療區域計算模塊1305，治療區域渲染機構1310和控制處理模塊1315。

治療區域計算模塊1305被配置為估計由手術器械(例如探針)引起的治療區域。在該實施例中，治療區域由探針的熱能引起。可以通過使用的散熱模型來考慮探針的3d姿態，探針的設置，例如模型，長度和熱能水平以及對靶器官和周圍解剖結構的散熱效應由治療區域計算模塊1305估計受影響的3d區域。治療區域渲染機構1310被配置為在顯示屏幕1210上的3d體積中顯示估計的3d治療區域。在該實施例中，3d治療區域的顯示可以以與上述相同的方式實現，3d場景渲染機構1255的對象和3d虛擬探針以及探針渲染機構1250.可以將3d治療區域與3d對象和3d虛擬探針一起呈現在顯示屏幕120上的3d體積中，使得用戶可以容易地看他們之間的空間關係。

圖15(a)示出3d體積1501包含對應於目標器官503和周圍解剖結構1505的3d物體。待治療的目標區域1507在目標器官1503內，被附近的血管結構1507包圍。將虛擬探針1509插入到目標區域1507中。基於3d姿勢和探針的設置，在3d體積1501中估計和顯示對應的治療區域1511。

圖15(b)示出了由解剖結構的散熱效應引起的對尺寸和形狀治療區域的影響。在該示例中，血管結構1507通過血管樹將熱量從探針1509消散，因此改變治療區域的尺寸和形狀。因此，原治療區域1511被調整到經調整的治療區域1515，其可能不完全覆蓋目標區域1507，因此使得治療無效。考慮到經調整的治療區域1515的顯示，用戶可以相應地實時調整虛擬探針1509的3d姿態和/或設置，以獲得經過調整的手術計劃以便更好地治療。

返回到圖13，控制處理模塊1315可以提供與3d虛擬探針相關聯的一個或多個探針控制項和/或與3d治療區域相關聯的一個或多個區域內控制。探針控制項可以是諸如按鈕、旋鈕、滾動等的任何圖形用戶界面元件。可以由探針控制器調節的探針的設置包括例如探針的模型，探針的長度以及探針的熱能水平。可以通過操縱3d中的探針控制，通過實時的探針控制來動態地調整探針的設置。結果，可以基於探針設置的調整來相應地動態地調整3d治療區域，並且3d治療區域被實時顯示。

區域控制可以是設置在3d治療區本身上的任何圖形用戶界面元件(例如，放置在3d治療區域的邊界或邊緣上)，用於調整長度，半徑寬度和預缺口治療區的大小。當用戶將滑鼠移動到治療區域的其中一個區域位置時，它們可以激活相應的對區域控制，例如調整區域的大小。也就是說，3d治療區域的尺寸和/或形狀可以由用戶通過區域控制來動態地調整。在一些實施例中，基於經調整的3d治療區域，治療區域計算模塊1305可以提供調整的探針設置。例如，當用戶操縱區域控制以增加3d治療區域的大小以完全覆蓋器官的目標區域時，可以計算放大3d治療區域所需的熱能水平，並為用戶提供以供參考。

圖16示出了探針1509的縮放部分1601.它包含刻度1603和探針控制項1605.刻度1603使得用戶能夠在3d場景中可視地和直接地確定探針1509的所需長度。探針控制1605使得用戶能夠調整治療區域1511.這些控制器1605可以由用戶使用來調節探針1509在參數空間中的設置並且反映治療區域1511和/或探針1509在3d場景中實時空間和視覺。在該示例中，區域控制1607設置在治療區域1611的邊界上，以使用戶能夠直接在空間空間中調整治療區域1511的大小和/或形狀。

圖14是根據本發明的實施例的示例性過程的流程圖，其中基於由用戶指定的信息來估計，調整和呈現3d治療區域。在1402，包含在3d體積中的3d對象被呈現在顯示屏幕上。3d對象包括對應於器官的第一3d對象和對應於解剖結構的第二3d對象。在1404，從用戶接收到關於3d對象的手術器械(例如，探針或針)的3d姿勢的第一信息。在1406，根據第一信息在3d體積中呈現手術器械的3d表示。在1408，從用戶接收與手術器械的設定相關的第二信息。該設置包括例如手術器械的模型，長度和熱能水平。在1410處，基於第一和第二信息來估計相對於3d對象的3d體積中的3d治療區域。在一個實施例中，可以基於對應於解剖結構的第二3d物體上的散熱效應來進一步估計3d治療區域。在1412，在顯示屏幕上的3d體積中顯示3d治療區域。手術器械和3d治療區域的三維表示將用於外科手術規劃。

在1414，提供與手術器械的3d表示和/或3d治療區域相關聯的一個或多個控制以便於用戶動態地調整3d治療區域。在一個示例中，可以提供與手術器械的3d表示相關聯的第一組控制項。手術器械的設置可以由用戶通過第一組控制來動態更新。在另一示例中，可以提供與3d治療區域相關聯的第二組控制。3d治療區域可以由用戶通過第二組控制項進行動態調整。附加地或可選地，可以基於經調整的3d治療區域來確定與手術器械的設置相關的第二信息的更新並提供給用戶。

為了實現在本公開中描述的各種模塊，單元及其功能，可以將計算機硬體平臺用作本文所描述的一個或多個元件的硬體平臺(例如，關於至圖1-16)。這些計算機的硬體元件，作業系統和程式語言本質上是常規的，並且假定本領域技術人員熟悉這些技術以使這些技術適應於本文所述的外科手術規劃。具有用戶界面元件的計算機可以用於實現個人計算機(pc)或其他類型的工作站或終端設備，儘管如果適當地編程，計算機也可以充當伺服器。相信本領域技術人員熟悉這種計算機設備的結構，編程和一般操作，因此附圖應該是不言自明的。

圖17描繪了可以用於實現實現本發明的專門系統的計算設備的架構。結合本發明的這種專用系統具有包括用戶界面元件的硬體平臺的功能框圖。計算機可以是通用計算機或專用計算機。兩者都可以用於實施本發明的專門系統。如本文所述，該計算機1700可用於實現外科手術規劃技術的任何組件。例如，系統1300可以經由其硬體，軟體程序，固件或其組合在計算機(例如計算機1700)上實現。雖然為了方便起見，僅示出了一臺此類計算機，但是可以以多個類似平臺上的分布式方式實現與本文所述的外科手術規劃相關的計算機功能，以分配處理負載。

計算機1700例如包括連接到和連接到其上的網絡的com埠1702，以便於數據通信。計算機1700還包括用於執行程序指令的一個或多個處理器形式的中央處理單元(cpu)1704。示例性計算機平臺包括用於要處理的各種數據文件的內部通信總線1706，不同形式的程序存儲和數據存儲，例如磁碟1708，只讀存儲器(rom)1710或隨機存取存儲器(ram)1712)/或由計算機通信，以及可能由cpu1704執行的程序指令。計算機1700還包括i/o組件1714，其支持計算機和其他組件之間的輸入/輸出流，諸如用戶界面元件計算機1700還可以經由網絡通信接收節目和數據。

因此，如上所述的手術規劃和/或其他過程的方法的方面可以體現在編程中。技術的程序方面可以被認為是通常以可執行代碼和/或相關數據的形式的「產品」或「製品」，其以機器可讀介質的類型承載或體現。有形的非暫時的「存儲」型媒體包括用於計算機、處理器等的任何或所有存儲器或其他存儲器或其相關聯的模塊，例如各種半導體存儲器、磁帶驅動器、磁碟驅動器等，其可以隨時提供存儲軟體編程。

有時可以通過諸如網際網路或各種其他電信網絡的網絡來傳送軟體的全部或部分。例如，這樣的通信可以使軟體從一個計算機或處理器加載到另一個計算機或處理器中。因此，可能承載軟體元件的另一類型的介質包括光，電和電磁波，諸如在本地設備之間的物理接口，通過有線和光學固定電話網絡以及各種空中鏈路之間使用的。攜帶這樣的波的物理元件，例如有線或無線鏈路、光鏈路等，也可以被認為是攜帶該軟體的介質。如本文所使用的，除非限於有形的「存儲」介質，諸如計算機或機器「可讀介質」這樣的術語是指參與向處理器提供指令以執行的任何介質。

因此，機器可讀介質可以採取許多形式，包括但不限於有形存儲介質，載波介質或物理傳輸介質。非易失性存儲介質包括例如光碟或磁碟，諸如任何計算機等中的任何存儲設備，其可用於實現系統或其任何組件，如圖所示。易失性存儲介質包括動態存儲器，例如這種計算機平臺的主存儲器。有形傳輸介質包括同軸電纜；銅線和光纖，包括在計算機系統內形成總線的電線。載波傳輸介質可以採取電或電磁信號的形式，或諸如在射頻(rf)和紅外(ir))數據通信期間產生的聲波或光波。因此，計算機可讀介質的常見形式包括例如：軟盤，軟盤，硬碟，磁帶，任何其他磁介質，cd-rom，dvd或dvd-rom，任何其他光學介質，穿孔卡紙磁帶，具有孔圖案的任何其他物理存儲介質，ram，prom和eprom，flash-eprom，任何其它存儲器晶片或盒，載波傳輸數據或指令，傳輸這種載波的電纜或鏈路，或計算機可以從其讀取編程代碼和/或數據的任何其他介質。這些形式的計算機可讀介質中的許多可能涉及將一個或多個指令的一個或多個序列攜帶到物理處理器以供執行。

本領域技術人員將認識到，本發明適於各種修改和/或增強。例如，雖然上述各種組件的實現可以體現在硬體設備中，但是它也可以被實現為僅軟體解決方案-例如現有伺服器上的安裝。此外，本文公開的外科手術規劃系統可以實現為固件，固件/軟體組合，固件/硬體組合，或硬體/固件/軟體組合。

雖然前面已經描述了被認為構成本發明和/或其他示例的內容，但是應當理解，可以對其進行各種修改，並且本文公開的主題可以以各種形式和示例來實現，並且教導可以應用於許多應用中，其中僅一些已經在此描述。所附權利要求旨在要求落入本發明真實範圍內的任何和所有應用，修改和變化。