用於計算機輔助地模擬外科手術的設備和方法與流程

2023-06-01 22:56:21

本發明涉及一種用於計算機輔助地模擬外科手術的設備和方法。

背景技術：

在臨床實踐中，通常依據醫學圖像記錄結合來自臨床指南的推薦來規劃外科手術。然而，一個或者多個進行實施的外科醫生的經驗在手術的規劃以及在手術的成功上起本質作用。很多手術（諸如心臟瓣膜修復）在特別的程度上要求好的規劃、經驗和外科技巧。因而值得去追求的是：在規劃手術時和在訓練手術時儘可能好地輔助外科醫生。

公知的是：為了規劃外科手術而採用決策輔助系統（Entscheidungsunterstuetzungssystem），所述決策輔助系統以藉助於生物力學模型對生理上的結構和功能（諸如心臟瓣膜）的模擬為基礎。心臟瓣膜的這樣的生物力學模擬例如從文獻US 2010/0240996 A1和US 2012/0232386 A1中是公知的。通過這樣的模擬，外科手術的效果可以被估計並且被用於規劃手術。然而，使用這樣的模擬工具由於其複雜性通常要求花費高的入門培訓（Einarbeitung）。

此外，例如從Surgevry公司的網頁http://www.surgevry.com還公知的是：為了訓練外科手術而利用被固定在外科醫生的頭部上的攝像機記錄真實的外科手術並且將最終得到的視頻流傳輸到觀察者，所述觀察者因此可以從進行實施的外科醫生的角度來追蹤該手術。然而，這只允許觀察者被動地訓練手術。

技術實現要素：

本發明的任務是：說明一種用於計算機輔助地模擬外科手術的設備和方法，所述設備和方法允許更好地輔助外科醫生。

該任務通過一種具有專利權利要求1所述的特徵的設備、通過一種具有專利權利要求12所述的特徵的方法、通過一種具有專利權利要求13所述的特徵的電腦程式產品以及通過一種具有專利權利要求14所述的特徵的計算機可讀的存儲介質來解決。

在按照本發明的用於計算機輔助地模擬外科手術的設備中，第一接口被設置用於讀入解剖區域的藉助於醫學成像方法所獲得的圖像數據。在這種情況下，圖像數據例如可源自超聲描記的、放射學的、血管造影的或者斷層成像的圖像記錄。解剖區域例如可以是器官、器官區域或者另一組織或者身體結構。建模模塊用於依據圖像數據確定解剖區域的生物力學的體積（volumetrisch）結構模型。除此之外，可與攝像機耦合的跟蹤模塊還被設置用於基於視頻地檢測使用者的空間手勢。此外，模擬模塊還用於依據生物力學的結構模型將相應的被檢測到的手勢分配到所模擬的對解剖區域的力學作用，用於依據生物力學的結構模型模擬解剖區域對所模擬的力學作用的力學反應以及用於按照所模擬的力學反應修正所述生物力學的結構模型。除此之外，可視化模塊還被設置用於使生物力學的結構模型體積可視化。優選地，該可視化模塊尤其是使解剖區域的力學反應和/或經修正的生物力學的結構模型可視化。

要由在上文所描述的設備來實施的方法步驟是按照本發明的用於計算機輔助地模擬外科手術的方法的主題。

要看到本發明的重要的優點在於：使用者（例如外科醫生）不僅關於他的手動實施而且關於他的可視化都可比較切合實際地模擬外科手術。他尤其是可以在生物力學的結構模型上進行與在真正的手術時基本上相同的操作。以這種方式，該外科醫生可以測試各種治療選項並且這樣來確定最優的處理方式。因此，本發明允許：不僅在規劃手術時而且在訓練手術時都以直觀的方式來輔助外科醫生。

本發明的有利的實施形式和擴展方案在從屬權利要求中被說明。

根據本發明的一有利的實施形式，跟蹤模塊可被設立為檢測使用者的利用外科器械（例如手術刀）來實施的手勢。尤其是可以檢測外科器械的一個或者多個特定的部分、例如手術刀的刀刃和/或手柄的運動。這在使用者可以在模擬的範圍內如在真正的手術時那樣運用外科器械的程度上是有利的。

此外，觸覺感知（haptisch）接口還可以被設置用於將所模擬的力學反應以觸覺感知的方式輸出給使用者。這允許：關於解剖區域對所模擬的力學作用的所模擬的力學反應的對於使用者來說可直接的並且可切合實際地感覺到的反饋。

根據本發明的一有利的擴展方案，模擬模塊可被設立為依據生物力學的結構模型來模擬外科手術對解剖區域的解剖功能的效果。在這種情況下，輸出接口可被設置用於顯示所模擬的效果。以這種方式，可以預測或者至少估計手術的結果。因此，使用者可以測試各種治療選項並且確定關於結果的最優的處理方式。

有利地，生物力學的結構模型可以是患者特定的。這允許患者特定地規劃手術和患者特定地訓練手術。

根據一有利的實施形式，該生物力學的結構模型可包括有限元模型（Finite-Elemente-Modell）。多個可支配的、完全成熟的軟體工具可被用於有效地制訂和計算這樣的有限元模型。

除此之外，建模模塊還可被設立為依據連續地被讀入的圖像數據使該生物力學的結構模型動態地適配。

此外，第一接口可被設立為以時間分辨的方式（zeitaufgeloest）讀入圖像數據。與此相應地，該建模模塊可被設立為：依據時間分辨的圖像數據識別解剖區域的子結構的運動動力學以及依據所識別出的運動動力學來導出該子結構的物理特性並且在生物力學的結構模型中映射該子結構的物理特性。以這種方式，可以獲得解剖區域及其對力學作用的力學反應的比較精確的物理模擬。

建模模塊尤其是可以包括用於機器學習的模塊，該用於機器學習的模塊被設立用於識別子結構的運動動力學、用於導出子結構的物理特性和/或用於在生物力學的結構模型中映射該物理特性。這種用於機器學習的模塊例如可以包括人工神經網絡和/或所謂的概率推進樹（Probabilistic Boosting Tree）。

除此之外，可視化模塊還可被構建為用於顯示虛擬的和/或增強的現實的沉浸式系統（immersives System）。可替換地或者附加地，該可視化模塊也可被構建為全息照相的和/或立體照相的可視化系統。這樣的可視化模塊在模擬的範圍內提高了使用者的現實印象。

附圖說明

本發明的實施例隨後依據附圖進一步被解釋。在此，分別以示意圖：

圖1示出了按照本發明的模擬設備，

圖2示出了用於闡明按照本發明的方法的流程的流程圖，和

圖3示出了與解剖區域的虛擬的相互作用的可視化。

具體實施方式

在圖1中示意性地示出了按照本發明的用於模擬外科手術的模擬設備SIMS。該模擬設備SIMS擁有處理器PROC和/或一個或者多個另外的用於實施按照本發明的方法的計算裝置。醫學圖像記錄裝置US通過第一接口I1被耦合到模擬設備SIMS上。該圖像記錄裝置US例如可以是超聲記錄裝置、X射線管、磁共振斷層掃描儀或者提供解剖區域、例如器官、器官區域或者其它的身體和/或組織結構的圖像記錄的另一醫學記錄裝置。圖像記錄裝置US被設立為：連續地記錄相應的解剖區域的時間分辨的、優選地體積的圖像記錄並且將所述圖像記錄作為時間分辨的、優選地體積的圖像數據IMG連續地通過第一接口I1傳送給模擬設備SIMS。

針對本實施例會假設：心臟瓣膜在其解剖環境和/或其解剖功能語境（Funktionskontext）中通過圖像記錄裝置US被記錄為解剖區域AR。在這種情況下，該解剖區域AR、也就是說該心臟瓣膜的圖像數據IMG例如作為圖像記錄裝置US的視頻數據流被傳送到模擬裝置SIMS的建模模塊MM。

建模模塊MM用於依據圖像數據IMG來確定解剖區域AR的生物力學的體積結構模型BMS。只要生物力學的結構模型BMS依據患者的解剖區域AR的圖像數據IMG被確定，該生物力學的結構模型BMS就是患者特定的。優選地，該生物力學的結構模型BMS包括有限元模型。

為了確定生物力學的結構模型BMS，時間分辨的圖像數據IMG通過建模模塊MM被分析。在這種情況下，解剖區域AR的一個或者多個子結構例如藉助於已知的模式識別方法被識別並且這些子結構的運動動力學被確定。依據所識別的運動動力學，該生物力學的結構模型BMS或者必要時所基於的有限元模型例如藉助於數值優化方法一直被修正，直到該生物力學的結構模型BMS再現所識別的運動動力學。可替換地或者附加地，生物力學的結構模型BMS的參數可以依據基於學習的回歸方法而根據所識別的運動動力學被估計，其中在學習階段期間使用數值優化方法。藉此，依據所識別的運動動力學，子結構的物理特性可以被導出並且在生物力學的結構模型BMS中被映射。在這種情況下，通過以這種方式例如測量血流，運動動力學尤其是也可以通過使用都卜勒效應、例如通過都卜勒超聲設備被確定。例如子結構的彈性、剛性、密度或者其它的組織參數可以被確定為所述子結構的物理特性。優選地，連續地依據所讀入的圖像數據IMG通過建模模塊MM使該生物力學的結構模型BMS動態地適配。

在本實施例中，建模模塊MM包括用於機器學習的模塊ML，所述用於機器學習的模塊ML用於識別子結構的運動動力學、用於導出子結構的物理特性和/或用於在生物力學的結構模型BMS中映射所述物理特性。在這種情況下，機器學習尤其是可以以解剖區域AR的所識別的子結構與多個已知的解剖結構、它們的運動動力學和/或它們的物理特性的比較為依據。為了該目的，建模模塊MM可以與資料庫（未示出）耦合併且在學習階段期間使用該資料庫，在所述資料庫中存儲有多個已知的結構連同它們的運動動力學和已知的物理特性。被存儲在資料庫中的物理特性可以依據生物力學的結構模型BMS藉助於優化方法近似地被確定。

攝像機C通過模擬設備SIMS的第二接口I2被連接。攝像機C用於基於視頻地記錄使用者、例如外科醫生的空間手勢。優選地，外科醫生的手H在預先給定的或者可調整的空間區域中的利用外科器械、例如手術刀S來實施的運動被記錄為手勢。最終得到的視頻數據流被輸送給模擬設備SIMS的跟蹤模塊TM並且由該跟蹤模塊TM分析。用手H和手術刀S來實施的手勢通過該跟蹤模塊TM被識別並且被參數化。在這種情況下，尤其是外科器械的、這裡也就是說手術刀S的和/或諸如其刀刃和/或手柄那樣的其功能單元或者部分的運動被檢測並且被追蹤。外科器械S的所檢測到的手勢和運動經過跟蹤模塊TM通過跟蹤信息TI被表示。

優選地，分別針對手術刀S的多個特定部位（例如針對手術刀S的刀刃和/或手柄）以及針對手H的特定部位（例如針對不同的手指、指節、手指關節和/或指尖），跟蹤信息TI例如包括手H和手術刀S的位置、取向、運動、運動方向、速度和/或轉動。

此外，模擬設備SIMS還擁有用於依據生物力學的結構模型BMS模擬解剖區域AR的模擬模塊SM。該生物力學的結構模型BMS由建模模塊MM被傳送到模擬模塊SM。此外，跟蹤信息TI由跟蹤模塊TM傳送到模擬模塊SM。依據所傳送的跟蹤信息TI，該模擬模塊SM將依據該生物力學的結構模型BMS所模擬的對解剖區域AR的力學作用分配給手H和/或手術刀S的相應的被檢測到的手勢或相應的運動。這樣，手H的指尖在特定方向上的運動例如可以被分配給對解剖區域AR的特定地被分配的部位的力學的壓力作用。相對應地，手術刀S的刀刃的所檢測到的運動可以被分配給所模擬的在解剖區域AR的特定部位上的切除（Schnitt）。

依據生物力學的結構模型BMS，模擬模塊SM模擬解剖區域AR對所模擬的力學作用的力學反應。在這種情況下，尤其是動態地模擬出現的力和變形以及可逆的改變（例如彈性變形）和不可逆的改變（例如組織切除、縫合和/或移植）。按照所模擬的力學反應，生物力學的結構模型通過模擬模塊SM被修正。這樣，例如在不可逆的虛擬的組織切除時，由於組織切除而彼此分開的組織部分在生物力學的結構模型BMS中彼此虛擬地被分開，使得所分開的切割面在模擬中相互不可以施加拉力而只還可以施加基於摩擦的剪切力。經修正的生物力學的結構模型在圖1中用MBMS標明。該經修正的生物力學的結構模型MBMS經過模擬模塊SM通過外科醫生的連續地被檢測到的手勢和解剖區域AR的從中導出的力學反應連續地被修正並且在一定程度上根據虛擬的手術變化過程而被更新（nachfuehren）。

除此之外，模擬模塊SM依據經修正的生物力學的結構模型MBMS模擬虛擬的外科手術對解剖區域AR的解剖功能的一個或者多個效果。以這種方式可以預測或者至少估計手術的成功或者結果。這種預測尤其是可以通過將經修正的生物力學的結構模型MBMS與多個被存儲在資料庫中的已知的情況相比較來實現。為了該目的，可以優選地使用用於機器學習的模塊ML或者用於機器學習的另一模塊。

此外，模擬設備SIMS還擁有用於使生物力學的結構模型BMS和/或經修正的生物力學的結構模型MBMS體積可視化的可視化模塊VM。為了該目的，在本實施例中，經修正的生物力學的結構模型MBMS至少部分地由模擬模塊SM被傳送到可視化模塊VM。該可視化模塊VM算出經修正的生物力學的結構模型MBMS的體積可視化並且將體積可視化數據VIS輸出給屏幕終端T。屏幕終端T通過第三接口I3被耦合到模擬設備SIMS上。可視化模塊VM尤其是使解剖區域AR對所模擬的力學作用的力學反應可視化。以這種方式，使用者可以直接識別：該使用者的與所模擬的外科手術相關地被實施的手勢對解剖區域AR有哪些被模擬的影響。

優選地，用於顯示虛擬的和/或增強的現實的沉浸式系統可被用作屏幕終端T。可替換地或者附加地，可以採用全息照相的和/或立體照相的可視化系統。除此之外，第三接口I3還可用作用於在屏幕終端T上顯示外科手術的所模擬的效果的輸出接口。

附加地，模擬設備SIMS可具有觸覺感知接口（未示出），所述觸覺感知接口用於將所模擬的力學反應以觸覺感知的方式輸出給使用者。這種觸覺感知的輸出例如可以藉助於所謂的機械手套（Robothandschuh）或者主動手套（aktiver handschuh）來實現。

圖2以示意圖示出了用於闡明按照本發明的方法的流程的流程圖。在按照本發明的方法的範圍內，首先記錄並且檢測解剖區域AR的圖像數據IMG。依據所檢測的圖像數據IMG，例如通過估計來確定生物力學的結構模型BMS。接著，藉助於生物力學的結構模型BMS可以執行解剖區域AR的物理模擬。接著，例如通過模擬外科手術的治療模擬可以動用解剖區域AR的物理模擬，以便預測治療或外科手術的效果。

圖3闡明了模擬設備SIMS的使用者與解剖區域AR的虛擬的相互作用的可視化。該可視化包括解剖區域AR的可視化VAR以及由跟蹤模塊TM檢測到的手或其手勢的可視化VH。在這種情況下，多個指節的所檢測到的位置和取向在可視化VAR中被分配給可視化VH的虛擬的位置和取向。依據解剖區域AR的生物力學的結構模型BMS來實現將指節的位置和取向分配到在可視化VAR中的位置。

通過本發明，優選地在活體內、例如藉助於超聲心動圖（Echokardiographie）所獲得的圖像數據IMG被用於在計算機中產生解剖區域AR的圖示。該圖示的幾何構型以及其它的參數優選地被轉化為有限元模型，藉助於所述有限元模型動態地模擬解剖區域AR的生理和/或物理行為。依據在解剖區域AR中的可從圖像數據IMG導出的運動動力學或者運動流，患者特定地確定或估計生物力學的結構模型BMS的參數。

在針對外科手術的規劃階段期間，外科醫生可以藉助於模擬設備SIMS測試不同的行動方式並且模擬和估計所述行動方式對解剖區域AR的解剖功能的相應效果。通過包含和跟蹤真正的、以自然的方式被運用的外科器械並且通過優選地使用沉浸式可視化技術，可顯著地提高模擬的所感覺到的現實性。使用這種沉浸式模擬系統使得外科醫生能夠虛擬地在生物力學的結構模型BMS上進行他會在實際的手術時實施的相同的操作。以這種方式，在實現實際的手術之前，該外科醫生可以測試和/或結合各種治療選項，以便這樣確定最優的行動方式。除了改進地規劃外科手術之外，本發明也允許被改進地訓練外科醫生。