用於腹腔鏡外科手術的組合的表面重構和配準的製作方法

2023-07-06 01:03:26

用於腹腔鏡外科手術的組合的表面重構和配準的製作方法
【專利摘要】本發明涉及用於腹腔鏡外科手術的組合的表面重構和配準。一種執行立體腹腔鏡圖像的組合的表面重構和配準的計算機實現的方法包括：計算機系統生成關注的解剖區域的手術中三維模型，並從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像。計算機系統使用立體內窺鏡圖像來執行第一立體重構過程以產生與關注的解剖區域相對應的第一表面圖像，並使用剛性配準過程來將第一表面圖像與手術中三維模型的表面進行對齊。然後，計算機系統使用第一表面圖像和來自手術前三維模型的先驗知識來執行第二立體重構過程以產生與關注的解剖區域相對應的第二表面圖像，並使用非剛性配準過程來將第二表面圖像與手術中三維模型的表面進行對齊。
【專利說明】用於腹腔鏡外科手術的組合的表面重構和配準
[0001]本申請要求2013年2月25日遞交的、序列號為61/768，682的美國臨時申請的優先權，通過引用將該臨時申請以其整體併入本文。
【技術領域】
[0002]以下公開根據若干實施例描述了本發明，這些實施例涉及用於組合在腹腔鏡外科手術應用中使用的表面重構和配準過程的方法、系統和裝置。該技術尤其好地適於但不限於外科手術應用，該外科手術應用利用例如使用旋轉的血管造影系統在手術中生成的三維模型。
【背景技術】
[0003]在諸如肝切除術之類的腹部微創外科手術中，腹腔鏡攝像機用於為外科醫生提供關注的解剖區域的可視化。例如，當移除腫瘤時，外科醫生的目標是安全地移除腫瘤而不損傷諸如血管之類的關鍵結構。
[0004]為了計劃外科手術，手術前圖像掃描(例如，CT/MRI)典型地用於識別血管和腹部組織並創建三維分割的模型。通常使該三維分割的模型在外科手術期間在監視器上可獲得，而在分離的監視器上顯示經由腹腔鏡生成的圖像。儘管這為外科醫生提供了在執行外科手術時可能有用的附加信息，但是將三維手術前模型和腹腔鏡圖像融合到單個空間中通常是有挑戰性且容易出錯的。例如，由於在手術前與手術中設定之間病人的呼吸和移動，關注的解剖區域中的組織與手術前模型相比可能變形。另外，腹腔鏡攝像機通常提供小的視野，其限制了可用於手術前模型的配準的信息量。此外，對於某些組織，配準由於組織表面紋理的缺失和跨模態的共同界標(landmark)的缺失而進一步複雜。
[0005]因此，期望提供下述表面重構和配準技術:其即使在組織表面缺失紋理或者具有有限紋理的情況下也允許準確的立體重構，在存在共享界標的缺失的情況下提供跨模態的配準，並針對組織變形進行正確調整。

【發明內容】

[0006]本發明的實施例通過提供用於利用來自三維數據的組織表面的先驗知識執行聯合立體重構和配準的方法、系統、製品和裝置，來解決和克服以上缺點和缺陷中的一個或多個。使用本文所公開的各種實施例，通過在手術中腹腔鏡圖像中可視化手術前三維模型來增強外科手術過程的 指導。以這種方式，關鍵的結構和目標解剖可以被覆蓋在組織上，並且可以可視化表面下的特徵。本文所討論的技術可以例如用於改進腫瘤移除過程中的準確性並減小腫瘤周圍要求的安全界限，因此使更多病人有進行外科手術的資格。
[0007]根據本發明的一些實施例，一種執行立體腹腔鏡圖像的組合的表面重構和配準的計算機實現的方法包括:計算機系統(例如，使用旋轉的血管造影系統)生成關注的解剖區域的手術中三維模型，並從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像。計算機系統使用多個立體內窺鏡圖像來執行第一立體重構過程以產生與關注的解剖區域相對應的第一表面圖像。然後使用剛性配準過程來將第一表面圖像與手術前三維模型的表面進行對齊。接著，計算機系統使用第一表面圖像和(例如，來自手術前三維模型的)先驗知識來執行第二立體重構過程以產生與關注的解剖區域相對應的第二表面圖像。然後使用非剛性配準過程來將第二表面圖像與手術中三維模型的表面進行對齊。
[0008]在本發明的其他實施例中，可以迭代地執行重構和配準。例如，在一個實施例中，一種執行立體腹腔鏡圖像的組合的表面重構和配準的計算機實現的方法包括:生成關注的解剖區域的手術中三維模型；以及從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像。然後，執行包括重構和配準的迭代過程多次，直到配準誤差值低於閾值為止。在一個實施例中，該迭代過程包括:使用多個立體內窺鏡圖像來執行立體重構過程以產生與關注的解剖區域相對應的表面圖像；執行配準過程以將表面圖像與手術中三維模型的表面進行對齊；以及基於從配準過程產生的表面圖像的一個或多個點的位移來更新配準誤差值。
[0009]各種技術可以用於使用前述方法來生成關注的解剖區域的手術中三維模型。例如，在一個實施例中，通過首先經由旋轉的血管造影系統獲取旋轉投影圖像的組來生成該模型。接著，基於旋轉投影圖像的組來重構多個二維圖像。然後，基於所重構的二維圖像來生成手術中三維模型。
[0010]在一些實施例中，可以基於鏡面高光來增強前述方法中使用的任何重構過程，所述鏡面高光可以存在於立體內窺鏡圖像中。例如，在一個實施例中，重構過程包括:識別多個立體內窺鏡圖像中的一個或多個鏡面高光，並基於所述一個或多個鏡面高光來增加多個立體內窺鏡圖像的圖像密度。鏡面高光也可以(或可替代地)用於增強前述方法中使用的任何配準過程。例如，在一個實施例中，配準過程利用一個或多個鏡面高光來將對應於關注的解剖區域的表面圖像與手術中三維模型的表面進行對齊。
[0011]在一些實施例中，重構過程可以利用加權圖。例如，在一個實施例中，重構過程包括基於多個立體內窺鏡圖像來構建圖，其中，所述圖中的每個頂點對應於多個立體內窺鏡圖像中的體素，並且每個頂點通過邊連接到預定數量的其最近的鄰居。在一個實施例中，該預定數量為6。然後，為所述圖的每條邊確定代價。接著，使用來自先驗知識的數據(例如，手術中三維模型、手術前三維模型、稀疏立體重構數據和/或手動標註數據)對與每條邊相關聯的代價應用加權。然後，基於加權後的與每條邊相關聯的代價來識別最小體素集作為各個表面圖像。在一些實施例中，所述圖中的每條邊與第一方向、第二方向或第三方向相關聯，並且根據方向來確定對所述圖的每條邊應用的代價。例如，在一個實施例中，針對與第一方向相關聯的每條邊，可以基於多個立體內窺鏡圖像中補片(patch)之間的匹配強度值來向每條相應邊應用第一代價。然後，針對第二或第三方向中的每條邊，可以基於與重構過程相關聯的平滑度施加值來向每條相應邊應用第二代價。
[0012]根據一些實施例，一種用於在外科手術操作期間執行立體腹腔鏡圖像的組合的表面重構和配準的系統包括手術中成像系統、接收機模塊和成像計算機。手術中成像系統被配置為生成關注的解剖區域的手術中三維模型。在一個實施例中，手術中成像系統是旋轉的血管造影系統。接收機模塊被配置為從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像。成像計算機被配置為執行迭代過程多次，直到配準誤差值低於閾值為止。在一個實施例中，該迭代過程包括:使用多個立體內窺鏡圖像來執行立體重構過程以產生與關注的解剖區域相對應的表面圖像；執行配準過程以將表面圖像與手術中三維模型的表面進行對齊；以及基於從配準過程產生的表面圖像的一個或多個點的位移來更新配準誤差值。
[0013]在一些實施例中，前述系統包括附加部件。例如，在一個實施例中，該系統還包括顯示器，其被配置為在外科手術操作期間呈現對齊後的表面圖像。該系統還可以包括跟蹤系統，其被配置為向成像計算機提供跟蹤數據以用在手術中成像系統到腹腔鏡的初始配準中。在一個實施例中，跟蹤系統是光學跟蹤系統。然而，在本發明的範圍內也可以使用替代的跟蹤系統。
[0014]根據參照附圖進行的對說明性實施例的以下詳細描述，將使本發明的附加特徵和優點變得顯而易見。
【專利附圖】

【附圖說明】
[0015]當結合附圖來閱讀時，本發明的前述及其他方面從以下詳細描述得到最佳理解。出於說明本發明的目的，在這些圖中示出了目前優選的實施例，但是應理解，本發明不限於所公開的特定手段。在這些圖中包括的是以下各圖:
圖1示出了在本發明的一些實施例中使用的計算機輔助外科手術系統；
圖2提供了根據本發明的一些實施例的執行針對立體腹腔鏡外科手術的組合的表面重構和配準的過程的高級概要；
圖3提供了根據本發明的一些實施例的執行針對立體腹腔鏡外科手術的組合的表面重構和配準的過程； 明的一些實施例的用於立體成像應用的重構過程的概要；以及 圖5圖示了本發明的實施例可在其內實現的示例性計算環境。
【具體實施方式】
[0016]以下公開根據若干實施例描述了本發明，這些實施例涉及用於組合在腹腔鏡外科手術應用中使用的表面重構和配準過程的方法、系統和裝置。由於例如組織變形、腹腔鏡攝像機的小視野以及跨模態的共同特徵的缺失，三維手術前模型和腹腔鏡圖像到單個空間中的融合是有挑戰性的。在一些實施例中，這些挑戰是通過首先生成組織的手術中三維模型並將該模型配準到腹腔鏡圖像來應對的。這減輕了例如由吹入法(insufflation)引起的組織變形的一些問題。本文描述的各種方法、系統和裝置相對於常規系統提供了若干附加益處，包括但不限於:改進了配準準確度、實現了腹腔鏡視頻中三維解剖模型的可視化、改進了配準的魯棒性、實現了缺失跨模態界標的挑戰性環境中的配準、以及降低了腫瘤周圍的安全界限從而使更多病人能夠有進行外科手術的資格。本文描述的各種方法、系統和裝置特別適用於但不限於使用旋轉的血管造影成像系統生成的手術前模型。
[0017]圖1示出了在本發明的一些實施例中使用的計算機輔助外科手術系統100。系統100包括一般可被分類為與手術前站點105或手術中站點110相關聯的部件。在圖1的示例中，位於每個站點105、110處的各種部件可以與網絡115可操作地連接。因此，這些部件可以位於設施的不同區域處，或者甚至位於不同設施處。然而，應當注意，在一些實施例中，手術前站點105和手術中站點110是位於一處的。在這些實施例中，可以沒有網絡115，並且部件可以直接連接。可替代地，可以使用小規模網絡(例如，區域網)。
[0018]在手術前站點105處，成像系統105A用於收集計劃數據。在一個實施例中，成像系統105A使用多種成像模態中的任一種來收集圖像，所述成像模態包括例如斷層成像模態，諸如計算機斷層成像(CO、磁共振成像(MRI)、單光子發射計算機斷層成像(SPECT)以及正電子發射斷層成像(PET)。所收集的圖像在本文中總稱為手術前計劃數據。一旦該計劃數據被成像系統105A收集，其就(例如，經由網絡115)被傳送到手術中站點110處的資料庫IlOA0
[0019]手術中站點110包括可操作地耦合到成像計算機IlOF的各種部件110A、110B、110C、110D和110E。儘管圖1僅圖示了單個成像計算機110F，但是在其他實施例中，可以使用多個成像計算機。一個或多個成像計算機共同地提供用於觀看、操縱、傳送以及存儲計算機可讀介質上的醫療圖像的功能。
[0020]在圖1的示例中，成像設備IlOB是旋轉的血管造影系統，其包括繞病人旋轉以獲取關注的解剖區域的一系列旋轉投影圖像的固定C臂，該一系列旋轉投影圖像隨後被重構為二維圖像。手術中計劃圖像可以隨後用於生成關注的區域的三維模型。重構的二維圖像和三維模型在本文中共同地稱為手術中計劃數據。在一些實施例中，圖像重構和/或三維模型生成使用專用計算機硬體(在圖1中未示出)在成像設備IlOB本身內發生。然後，將手術中計劃數據傳送到成像計算機IlOF以在外科手術期間使用。在其他實施例中，將捕獲的旋轉投影圖像傳送到成像計算機IlOF以用於重構為二維圖像和生成三維模型。應當注意，儘管成像設備IlOB在圖1中圖示的實施例中是旋轉的血管造影系統，但是在其他實施例中，其是包括CT、MRI和結構光設備的不同類型的成像設備。
[0021]一旦手術中計劃數據被成像計算機IlOB接收到，其就可以被存儲在資料庫IlOA中以供之後使用。然後，當需要時，成像計算機IlOF從資料庫IlOA獲取手術中計劃數據以在監視器IlOE上呈現來幫助引導外科手術團隊執行手術。可替代地，成像計算機IlOF可以在從成像設備IlOB接收到時立即呈現接收到的手術中計劃數據。儘管在圖1中圖示的實施例中示出了單個監視 器110E，但是在其他實施例中，多個監視器可以例如用於(例如，基於手術前計劃數據或手術中計劃數據)顯示關注的解剖區域的不同透視圖。
[0022]在外科手術期間，外科手術團隊利用在監視器IlOE上顯示的手術中計劃數據連同腹腔鏡IlOD和跟蹤系統110C。腹腔鏡IlOD是這樣的醫療儀器，通過其可以在外科手術期間看到腹部和骨盆內的結構。典型地，在病人的腹壁形成小切口，從而允許插入腹腔鏡。存在各種類型的腹腔鏡，例如包括(通常連接到視頻攝像機的)伸縮式棒狀透鏡系統和在其中微型數字視頻攝像機處於腹腔鏡的末端處的數字系統。為了模仿人體中的三維視覺，腹腔鏡可以被配置為使用雙透鏡光學系統或單個光學通道來捕獲立體圖像。此類腹腔鏡在本文中稱為「立體腹腔鏡」。跟蹤系統IlOC向成像計算機IIOF提供跟蹤數據以在(從設備IlOB接收的)手術中計劃數據與由腹腔鏡IlOD收集的數據的配準中使用。在圖1的示例中，描繪了光學跟蹤系統110C。然而，其他技術可以用於跟蹤，包括但不限於電磁(EM)跟蹤和/或機器人編碼器。
[0023]圖2提供了根據本發明的一些實施例的執行針對立體腹腔鏡外科手術的組合的表面重構和配準的過程200的高級概要。圖1中圖示的過程200所解決的問題在於:最初，沒有足夠的關於關注的解剖區域的紋理的信息來實現立體重構。然而，一旦執行了初始配準，該問題就可以被限制為得到緻密表面。因此，在205處，在不使用先驗知識的情況下執行第一稀疏立體重構。在210處將該重構用於執行對手術前模型的剛性配準。一旦執行了該配準，就使用先驗知識執行第二立體重構以創建表面的緻密立體重構。該先驗知識可以包括例如來自手術前三維模型的信息、來自手術中三維模型的信息、稀疏立體重構數據或者手動標註數據。最後，在220處，一旦已經確定了緻密表面，就可以在整個器官上執行對手術中模型的非剛性配準。與在僅使用稀疏信息的情況下相比，該過程產生更準確的結果。下面關於圖3和4來描述圖2中圖示的組合的表面重構和配準過程200的附加細節、完善以及替代實現。
[0024]圖3提供了根據本發明的一些實施例的執行針對立體腹腔鏡外科手術的組合的表面重構和配準的過程300。該過程在305處開始，其中使用旋轉的血管造影系統(例如，圖1的設備110B)來生成關注的解剖區域的手術中三維模型。例如，在一個實施例中，在三個步驟中生成該模型。首先，旋轉的血管造影系統獲取旋轉投影圖像的組。接著，將這些圖像自動傳送到計算機(例如，圖1的成像計算機110F)並將這些圖像重構為二維(例如，像CT那樣的)圖像。然後，使用這些二維圖像來生成關注的區域的三維模型。可替代地，在其他實施例中，本領域中已知的其他技術可以用於生成該模型。
[0025]在310處，執行三維模型到腹腔鏡(例如，圖1的110D)的初始配準。各種技術可以被應用於將三維模型配準到來自腹腔鏡(參見例如圖1中的110D)的圖像，包括例如手動對齊、使用外部跟蹤設備的基於校準的方法、基於界標的方法以及基於形狀的方法。基於手動對齊的實施例使用專家操作者來對齊圖像。其準確度是操作者和過程相關的。在其他實施例中，校準方法對齊諸如光學跟蹤、電磁(EM)跟蹤或機器人技術之類的跟蹤模態。在使用基於界標的方法的實施例中，可以使用基準點來補償跨模態的界標的缺失。採用基於形狀的方法的實施例使用 通過腹腔鏡提取的組織的表面的形狀和來自三維模型的形狀來執行配準。基於形狀的方法可以例如基於迭代最近點(ICP)算法或其變體。應當注意，初始配準可能包含由於例如攝像機校準、手眼校準中的誤差和/或光學/EM跟蹤器中的固有跟蹤誤差而導致的不準確性。例如當所跟蹤的對象被放置在腹腔鏡的近端處並且成像光學裝置處於遠端處時，這些誤差可能被放大。根據採用哪種技術進行初始配準，可以在外科手術工作流程的不同階段處執行初始配準。例如，在使用EM或光學跟蹤的實施例中，配準可以在由腹腔鏡捕獲立體內窺鏡圖像的同時執行。在使用手動對齊技術的其他實施例中，圖像捕獲可以在配準之後發生。
[0026]繼續參照圖3，在315處，使用立體內窺鏡圖像來執行立體重構過程以產生表面圖像。下面參照圖4描述了重構過程的一個示例。多種技術可以用於改進在315處執行的立體重構。例如，在一些實施例中，通過使用鏡面高光來增強重構。鏡面高光是由從組織的表面沿著法線反射的光造成的。關於組織的朝向的該信息可以被併入到立體重構中以增加密度並隨後幫助配準。例如，(下面關於320描述的)配準過程可以在將表面圖像與手術中三維模型的表面進行對齊時利用鏡面高光。
[0027]一旦創建了初始表面重構，就在320處將重構的表面圖像傳遞到(例如，在圖1中示出的成像計算機IlOF中操作的)配準部件以執行配準，該配準將重構的表面圖像與在305處生成的三維模型的表面進行對齊。在320處執行的配準可以是剛性/仿射或非剛性的，其使用在具有或沒有先驗知識的情況下生成的稀疏或緻密立體表面重構。該配準提供了對初始配準的完善，該完善能夠糾正初始配準中的誤差和例如由呼吸引起的組織的變形。至配準部件的輸入是要配準的兩個視圖一即，重構的表面圖像和三維模型的表面。該部件的輸出是幾何變換，其在數學上將來自一個表面的點映射到另一個表面中的點。變換後的表面上的點與其在原始表面上的對應點之間的任何非零位移稱為「配準誤差」。
[0028]在其中在320處執行的配準是非剛性的一些實施例中，使用相干點漂移(CPD)方法的修改版本。在該表述方式中，可以將初始配準提出為最大後驗估計(亦稱為規則化最大似然)問題，其中局部運動被預期為在點集之間相干地移動。注意，(PD算法屬於像迭代最近點(ICP)這樣的技術的類別，其求解點對應關係以及非剛性空間變換二者。在原始(PD算法中，高斯似然僅包括針對每個模型點的點匹配項。可以擴展該方法以併入表面法線。法線是從立體重構和手術中計劃數據的表面來估計的。法線匹配項可以被併入到高斯似然中，假設獨立於點匹配項。該假設結合假設已知對應關係的先前點+法線匹配方法得到易處理的算法。除似然項之外，原始CPD代價函數包括運動相干規則化項，使得點以空間上相干的方式變形。在一些實施例中，為了配準多個緩慢移動的點集，可以向(PD代價函數添加另一時間一致性/相干性規則化項。可以以逐批的方式或者以遞增的方式來進行所產生的修改，在所述逐批的方式中，在時間窗口上獲取的多個點被同時配準。在一些實施例中，用於使三維模型的表面形變(morph)為立體重構表面的非剛性配準可以用於更新器官的生物力學模型，使得內部結構(例如，血管、腫瘤等)可以變形以反映新的組織形狀。
[0029]在305處生成的三維模型基於所設置的時間點處捕獲的圖像，並因此可能未表示關注的組織的當前精確幾何結構。例如，在捕獲用於生成三維模型的圖像之後，組織可能已經經歷了由於呼吸而導致的變形。另外，在315處執行的立體重構可能包含由於重構算法中的不準確性 而導致的噪聲。這兩個噪聲源可能連同其他噪聲源一起可能將不準確性引入到最終配準中。因此，在325處，通過在循環中迭代地執行重構315和配準320來遞增地改進立體重構和配準。在一些實施例中，該循環執行所設置的次數。在其他實施例中，執行該循環直到配準誤差低於預定配準閾值被滿足為止。該閾值的精確值可以例如基於組織的幾何結構和目標應用而憑經驗定義。
[0030]圖4提供了根據本發明的一些實施例的用於立體成像應用的重構過程400的概要。在405處，從腹腔鏡的攝像機接收立體內窺鏡圖像。然後，在410處，基於接收到的圖像來構建圖。各種技術可以用於構建該圖。例如，圖可以這樣構建，其中每個頂點對應於腹腔鏡的攝像機觀看到的體積中的體素，並且每個頂點通過邊連接到預定數量的其最近的鄰居。在一個實施例中，該預定數量為6。
[0031]接著，在415處，向圖的每條邊應用代價。例如，在一個實施例中，根據該體素所投影到的左和右圖像中的補片之間的匹配強度來向ζ方向中的每條邊給出代價，同時向X和y方向中的邊給出代價以在重構過程中施加平滑度(即，平滑度施加值)。一旦已經針對邊確定了代價，就在420處執行圖切割技術，其中將三維表面重構問題提出為能量最小化問題，使得:
ε = ff (c(w, y.pCu, v)) + KS) dudv)。
[0032]在該等式中，《和r指代2D腹腔鏡圖像中像素的位置。例如，如果W =10並且I.=15，則像素處於作為圖像的陣列的第10列和第15行中。函數c(u, I/))是一元代價函數，其可以使用本領域中已知的各種技術而確定，這些技術中的一些在下面進行了詳述。值K是憑經驗定義的加權常量，用於影響平滑度規則化的強度。.V是逐對代價函數。然後，使用針對/V的該等式，例如通過使用最大流最小切割算法來最小化圖中的能量。應當注意，上面詳述的能量最小化過程僅僅是可在420處使用的圖切割技術的一個示例。在其他實施例中，可以使用對能量最小化等式的變型，或者可以採用其他常規的圖切割技術。一旦圖切割過程完成，最小體素集就被識別為重構的圖像。
[0033]在一些實施例中，先驗知識可以用於改進圖4中圖示的重構過程400。例如，通過使用組織表面的強先驗知識，諸如切除術之類的組織改變或由腹腔鏡攝像機的視野中的工具引起的組織閉塞可以被檢測並用於識別可用於配準的可靠組織區。先驗知識可以例如具有以下形式:三維模型(例如，參見圖3的305)、稀疏立體重構數據或者手動標註。在一個實施例中，先驗知識包括來自腹腔鏡上的立體攝像機的表面的幾何深度和關注的解剖對象的表面的平滑度。可以通過向一元代價函數應用加權來將先驗知識併入到圖中，使得:
【權利要求】
1.一種執行立體腹腔鏡圖像的組合的表面重構和配準的計算機實現的方法，所述方法包括: 通過計算機系統來生成關注的解剖區域的手術中三維模型； 通過計算機系統從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像； 通過計算機系統使用多個立體內窺鏡圖像來執行第一立體重構過程以產生與關注的解剖區域相對應的第一表面圖像； 通過計算機系統使用剛性配準過程來將第一表面圖像與手術前三維模型的表面進行對齊； 通過計算機系統使用第一表面圖像和來自手術前三維模型的先驗知識來執行第二立體重構過程以產生與關注的解剖區域相對應的第二表面圖像；以及 通過計算機系統使用非剛性配準過程來將第二表面圖像與手術中三維模型的表面進行對齊。
2.如權利要求1所述的方法，其中，手術中三維模型是使用旋轉的血管造影系統來生成的。
3.如權利要求2所述的方法，其中，生成關注的解剖區域的手術中三維模型包括: 經由旋轉的血管造影系統來獲取旋轉投影圖像的組； 基於旋轉投影圖像的組來重構多個二維圖像；以及 基於所重構的二維圖像來生成手術中三維模型。
4.如權利要求2所述的方法，其中，第一立體重構過程和第二立體重構過程中的至少一個包括: 識別多個立體內窺鏡圖像中的一個或多個鏡面高光；以及 基於所述一個或多個鏡面高光來增加多個立體內窺鏡圖像的圖像密度。
5.如權利要求4所述的方法，其中，剛性配準過程和非剛性配準過程中的至少一個在將相應表面圖像與手術中三維模型的表面進行對齊時利用所述一個或多個鏡面高光。
6.如權利要求1所述的方法,其中，第一立體重構過程和第二立體重構過程中的至少一個包括: 基於多個立體內窺鏡圖像來構建圖，其中，所述圖中的每個頂點對應於多個立體內窺鏡圖像中的體素，並且每個頂點通過邊連接到預定數量的其最近的鄰居； 為所述圖的每條邊確定代價； 使用來自先驗知識的數據對與每條邊相關聯的代價應用加權；以及 基於加權後的與每條邊相關聯的代價來識別最小體素集作為相應表面圖像。
7.如權利要求6所述的方法，其中，預定數量為6。
8.如權利要求6所述的方法，其中，每條邊與第一方向、第二方向或第三方向相關聯，並且其中，為所述圖的每條邊確定代價包括: 針對與第一方向相關聯的每條邊，基於多個立體內窺鏡圖像中補片之間的匹配強度值來向每條相應邊應用第一代價；以及 針對第二或第三方向中的每條邊，基於與第一立體重構過程和第二立體重構過程中的至少一個相關聯的平滑度施加值來向每條相應邊應用第二代價。
9.一種執行立體腹腔鏡圖像的組合的表面重構和配準的計算機實現的方法，所述方法包括: 生成關注的解剖區域的手術中三維模型； 從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像；以及 通過計算機來執行迭代過程多次，直到配準誤差值低於閾值為止，所述迭代過程包括: 使用多個立體內窺鏡圖像來執行立體重構過程以產生與關注的解剖區域相對應的表面圖像；
執行配準過程以將表面圖像與手術中三維模型的表面進行對齊；以及
基於從配準過程產生的表面圖像的一個或多個點的位移來更新配準誤差值。
10.如權利要求9所述的方法，其中，生成關注的解剖區域的手術中三維模型包括: 經由旋轉的血管造影系統來獲取旋轉投影圖像的組； 基於旋轉投影圖像的組來重構多個二維圖像；以及 基於所重構的二維圖像來生成手術中三維模型。
11.如權利要求9所述的方法，其中，立體重構過程包括: 識別多個立體內窺鏡圖像中的一個或多個鏡面高光； 基於所述一個或多個鏡面高光來增加多個立體內窺鏡圖像的圖像密度。
12.如權利要求11所述的方法，其中，配準過程利用所述一個或多個鏡面高光來將表面圖像與手術中三維模型的表面進行對齊。
13.如權利要求11所述的方法，其中，使用多個立體內窺鏡圖像來執行立體重構過程以產生表面圖像包括: 基於多個立體內窺鏡圖像來構建圖，其中，所述圖中的每個頂點對應於多個立體內窺鏡圖像中的體素，並且每個頂點通過邊連接到預定數量的其最近的鄰居； 為所述圖的每條邊確定代價； 基於先驗知識數據對與每條邊相關聯的代價應用加權；以及 基於加權後的與每條邊相關聯的代價來識別最小體素集作為表面圖像。
14.如權利要求13所述的方法，其中，每條邊與第一方向、第二方向或第三方向相關聯，並且其中，為所述圖的每條邊確定代價包括: 針對與第一方向相關聯的每條邊，基於多個立體內窺鏡圖像中補片之間的匹配強度值來向每條相應邊應用第一代價；以及 針對第二或第三方向中的每條邊，基於與立體重構過程相關聯的平滑度施加值來向每條相應邊應用第二代價。
15.如權利要求13所述的方法，其中，先驗知識數據包括手術中三維模型、手術前三維模型、稀疏立體重構數據或手動標註數據中的一個或多個。
16.一種用於在外科手術操作期間執行立體腹腔鏡圖像的組合的表面重構和配準的系統，所述系統包括: 手術中成像系統，其被配置為生成關注的解剖區域的手術中三維模型； 接收機模塊，其被配置為從腹腔鏡接收關注的解剖區域的多個立體內窺鏡圖像；以及成像計算機，其被配置為執行迭代過程多次，直到配準誤差值低於閾值為止，所述迭代過程包括:使用多個立體內窺鏡圖像來執行立體重構過程以產生與關注的解剖區域相對應的表面圖像； 執行配準過程以將表面圖像與手術中三維模型的表面進行對齊；以及 基於從配準過程產生的表面圖像的一個或多個點的位移來更新配準誤差值。
17.如權利要求16所述的系統，其中，手術中成像系統包括旋轉的血管造影系統。
18.如權利要求17所述的系統，還包括顯示器，其被配置為在外科手術操作期間呈現對齊後的表面圖像。
19.如權利要求17所述的系統，還包括跟蹤系統，其被配置為向成像計算機提供跟蹤數據以用在手術中成像系統到腹腔鏡的初始配準中。
20.如權利要求19所述的系統，其中，跟蹤系統是光學跟蹤系統。
【文檔編號】G06T11/00GK104000655SQ201410063719
【公開日】2014年8月27日 申請日期:2014年2月25日 優先權日:2013年2月25日
【發明者】P.芒特尼, M.阿倫, A.卡普爾, P.努爾德, P.梅韋斯 申請人:西門子公司