使用可攜式設備的術前數據在實況視頻上的疊加與配準的製作方法

2023-07-07 05:00:41

使用可攜式設備的術前數據在實況視頻上的疊加與配準的製作方法
【專利摘要】一種醫學成像系統，包括計算機設備，所述計算機設備包括處理器(114)和耦合到所述處理器的存儲器(116)。所述存儲器存儲對象的記錄解剖圖像(130)和被配置為將所述記錄解剖圖像與實時圖像對齊的配準模塊(142)。可攜式視頻顯示設備(132)包括相機(136)和顯示屏(133)。所述可攜式視頻顯示設備被配置為收集要與所述對象的所述記錄解剖圖像配準的所述對象的實時圖像(134)，使得所述記錄解剖圖像的部分被同時地顯示在所述可攜式視頻顯示設備上與所述實時圖像配準。通信鏈路(140)被配置為允許所述計算機設備與所述可攜式視頻顯示設備之間的通信和數據傳送。
【專利說明】使用可攜式設備的術前數據在實況視頻上的疊加與配準

【技術領域】
[0001] 本公開涉及醫療器械並且更具體而言涉及使用可攜式視頻顯示設備配準記錄的 圖像與實況視頻。

【背景技術】
[0002] 冠狀動脈旁路移植術（CABG)是一種用於對被阻塞的冠狀動脈的血管再造的外科 手術程序。在常規的外科手術中，患者的胸骨被打開並且心臟被完全暴露。常常使用心肺 旁路機，從而能夠使心臟固定，使移植術更容易。已成功地執行了非體外循環，其中心臟不 停跳並且利用在狹窄周圍的局部區域中的機械結構使之穩定。在開放手術中，動脈經常部 分地或完全地被纖維脂質組織疊加。這些動脈可能因該脂質組織層或因為它們在心肌中延 伸而不可見。纖維脂質組織給外科醫師尋找要執行吻合術的正確區域帶來挑戰。外科醫師 能夠觸診心臟表面並感覺來自動脈的血液搏動和狹窄（例如因鈣化造成的血管的窄化）兩 者。然而，該數據稀疏並且可能不足以將手術規劃轉移到手術位點。因此，需要在介入程序 中提供術前成像的配準和疊加的方法，以允許術前結構到術中組織上的轉移。
[0003] -些方法需要使用專業且昂貴的硬體，這樣的硬體一般不在開放外科手術的手術 室中使用。例如，可能需要手術室中常常沒有的額外的（一個或多個）跟蹤系統。在一些 實例中，用戶需要利用特殊的光學跟蹤器械來觸診心臟表面，以幫助外科醫師將術前圖像 定向並配準到當前打開的心臟結構。在其他系統中，大多數的動脈都需要是可見的，以使得 外科醫師能夠將它們數位化。因此，針對心臟直視旁路外科手術，在不使用手術室中一般不 需要的昂貴的額外硬體時，尚不可能提供術前成像數據的配準和疊加，例如針對冠狀動脈 和旁路吻合術位點。常規方法除了複雜的工作流程之外，也需要對解剖學上的特徵的繁瑣 跟蹤和選擇。


【發明內容】

[0004] 根據本發明的原理，一種醫學成像系統，包括計算機設備，所述計算機設備包括處 理器和被耦合到所述處理器的存儲器。所述存儲器存儲對象的記錄解剖圖像和配準模塊。 所述配準模塊被配置為將所述記錄解剖圖像與實時圖像對齊。可攜式視頻顯示設備包括相 機和顯示屏。所述可攜式視頻顯示設備被配置為收集要與所述對象的所述記錄解剖圖像配 準的所述對象的實時圖像，使得所述記錄解剖圖像的部分被同時顯示在所述可攜式視頻顯 示設備上與所述實時圖像配準。通信鏈路被配置為允許所述計算機設備與所述可攜式視頻 顯示設備之間的通信和數據傳送。
[0005] -種用於醫學成像的可攜式視頻顯示設備，包括：被配置為收集實時視頻的相機， 以及被配置為和與實時圖像配準的疊加圖像一起同時地顯示所述實時視頻的顯示屏。包括 處理器和耦合到所述處理器的存儲器。所述存儲器存儲所述記錄對象的解剖圖像和被配置 為將所述記錄解剖圖像與所述實時圖像對齊的配準模塊。所述疊加圖像包括所存儲的解剖 圖像的至少部分，並且所述疊加圖像被顯示在所述可攜式視頻顯示設備上，以輔助用戶察 看不易觀察到的解剖特徵。
[0006] -種用於醫學成像的方法，包括：存儲對象的解剖圖像；提供包括相機和顯示屏 的可攜式視頻顯示設備，所述可攜式視頻顯示設備被配置為收集所述對象的實時圖像；將 所述解剖圖像的至少部分與所述實時圖像配準；以及在所述可攜式視頻顯示器上同時地顯 示與所述實時圖像配準的所述解剖圖像的所述至少部分。

【專利附圖】

【附圖說明】
[0007] 本公開的這些以及其他目的、特徵和優點將從以下對其示例性實施例的詳細描述 變得顯而易見，所述詳細描述要聯繫附圖來閱讀。
[0008] 本公開將參考以下附圖詳細呈現對優選的實施例的以下描述，在附圖中：
[0009] 圖1是示出根據一個實施例的採用可攜式視頻顯示設備的醫學系統的方框/流程 圖；
[0010] 圖2是根據一個實施例的可攜式視頻顯示設備的示意圖，示出在一側上的相機和 在相對側上的顯示屏；
[0011] 圖3是示出根據一個實施例的可攜式視頻顯示設備與工作站或處理計算機之間 的交互或程序流的方框/流程圖；
[0012] 圖4是示出根據一個實施例的可攜式視頻顯示設備的屏幕的圖，示出帶有冠狀動 脈的疊加的心臟的實時圖像；
[0013] 圖5是根據一個實施例的可攜式視頻顯示設備的透視圖，示出三維加速度計（或 陀螺儀）；
[0014] 圖6是示出根據一個實施例的可攜式視頻顯示設備和在兩個不同時間的解剖特 徵（例如心臟）的圖，所述兩個不同時間的解剖特徵指示能夠被補償的兩種示例性運動；
[0015] 圖7是示出根據一個實施例的用於使用圖像單應矩陣來跟蹤圖像的方法的流程 圖；
[0016] 圖8是示出根據另一實施例的用於執行任務的具有擴展功能的可攜式視頻顯示 設備的方框/流程圖；並且
[0017] 圖9是示出根據示例性實施例的用於使用可攜式視頻顯示設備來進行醫學成像 的方法的流程圖。

【具體實施方式】
[0018] 根據本發明的原理，提供了用於利用可攜式視頻功能設備來執行記錄的圖像配準 來為開放外科手術作準備的系統與方法。在尤其有用的實施例中，可以採用帶有計算能力 的廉價的現成平板電腦計算設備或其他智能平板電腦設備。這樣的設備的範例可以包括 APPLE? iPad?、SAMSUNG? Galaxy?平板電腦、智慧型手機、專用平板電腦或顯示 設備等。配準方法與可攜式視頻及可視化設備的組合提供了一種系統，該系統允許對疊加 有解剖特徵（例如動脈、吻合術位點等）的內部器官和表面（例如心臟表面）的實時可視 化，這能夠輔助提供外科手術規劃以及在程序（例如心臟直視冠狀動脈旁路外科手術）期 間對所述規劃的執行。
[0019] 所述系統可以包括移動/可攜式設備，例如在前側（面向用戶）具有屏幕並且在 背側具有視頻相機（或網絡相機）的平板電腦個人計算機（PC)或智慧型手機。任選地，帶有 高處理能力和高存儲功能的PC可以被提供用於針對視頻及其他應用的數據存儲和處理。 諸如Wi-Fi鏈路的數字鏈路被提供用於在移動/可攜式設備與所述處理PC之間的通信。所 述系統包括被配置並存儲在移動/可攜式設備和/或所述處理PC上的應用，以生成到由所 述可攜式設備提供的視頻圖像上的術前結構的疊加圖像。不需要其他硬體或跟蹤方法。在 開放外科手術中，當不能使用內窺鏡時，動脈的疊加是不可能的，使得外科醫師在不使用某 種外部視頻流時不能使用疊加配準技術。本原理提供了對這樣的問題的有效、廉價且簡單 的解決方案。
[0020] 應理解，將關於醫療器械描述本發明；然而本發明的教導要寬泛得多，並且適用於 任意成像系統。在一些實施例中，本原理被用於跟蹤或分析複雜的生物或機械系統。尤其 地，本原理適用於對生物系統的跟蹤和可視化程序、在身體的所有區域中的程序，例如肺、 循環系統、肺部系統、胃腸道、排洩器官等。
[0021] 附圖中描繪的元件可以被實施在硬體與軟體的各種組合中，並且提供可以被組合 在單個元件或多個元件中的功能。附圖中所示的各種元件的功能能夠通過使用專用硬體以 及能夠運行與合適的軟體相關聯的軟體的硬體，來提供。當由處理器提供時，能夠由單個共 享的處理器、或由多個個體處理器（它們中的一些能夠是共享的）提供所述功能。此外，術 語"處理器"或"控制器"的明確使用不應被解讀為排他性地指代能夠運行軟體的硬體，而 是能夠暗含地包括，但不限於，數位訊號處理器（"DSP"）硬體、用於存儲軟體的只讀存儲器 ("ROM"）、隨機存取存儲器（"RAM"）、非易失性存儲器等。
[0022] 此外，本文中記載的本發明的原理、方面和實施例以及其具體範例的所有陳述均 旨在涵蓋其結構性和功能性的等同兩者。額外地，想要的是，這樣的等同包括當前已知的等 同以及未來開發的等同（即開發的執行相同功能的任何元件，無論結構怎樣）兩者。因此， 例如，本領域技術人員將認識到，本文中提供的方框圖代表體現本發明的原理的示例性系 統部件和/或電路的概念圖。類似地，應認識到，任意流程表、流程圖等等均代表可以基本 上被表示在計算機可讀存儲介質中並且由計算機或處理器如此運行的各種過程，而無論是 否明確示出這樣的計算機或處理器。
[0023] 此外，本發明的實施例能夠採取電腦程式產品的形式，所述電腦程式產品可 從計算機可用或計算機可讀的存儲介質訪問，提供由計算機或任意指令運行系統使用或與 計算機或任意指令運行系統連接的程序代碼。出於該描述的目的，計算機可用或計算機可 讀存儲介質能夠是可以包括、存儲、通信、傳播或轉移用於由指令運行系統、裝置或設備使 用或與之結合使用的程序的任意裝置。所述介質能夠使電子、磁性、光學、電磁、紅外或半導 體系統（或裝置或設備）或傳播介質。計算機可讀介質的範例包括半導體或固態存儲器、 磁帶、可移除計算機軟盤、隨機存取存儲器（RAM)、只讀存儲器（ROM)、硬磁碟和光碟。光碟 的當前範例包括壓縮盤-只讀存取（⑶-ROM)、壓縮盤-讀/寫（⑶-R/W)、藍光 TS^PDVD。
[0024] 現在參考附圖並且首先參考圖1，附圖中相似的數字代表相同或相似的元件，示例 性地示出了根據一個實施例的用於使用可攜式視頻設備來可視化內部結構的系統100。系 統100可以包括從其監督和/或管理程序的工作站或控制臺112。工作站112優選地包括 一個或多個處理器114以及用於存儲程序和應用的存儲器116。存儲器116可以存儲用於 輔助提供用於可視化內部結構的視頻圖像的一個或多個應用。在一個實施例中，存儲器116 存儲在程序之前針對特定對象160取得的術前圖像（或記錄的）130。術前圖像130提供 要被察看的解剖學的3D圖像或模型。也可以採用其他記錄的對象160的圖像（術中圖像 等）。
[0025] 系統100包括一個或多個移動/可攜式視頻顯示設備132。視頻顯示設備132可 以包括平板電腦、智慧型手機、可攜式數字顯示設備等。視頻顯示設備132可以包括可商業獲 得的設備或者可以包括專門設計的顯示平板電腦或設備。
[0026] 能夠在工作站112與視頻顯示設備132之間建立通信系統或鏈路140,以允許信 息、命令和數據（例如圖像）的傳送。能夠基於視頻顯示設備132的功能來建立通信。例 如，視頻顯示設備132可以包括Wi-Fi功能、蜂窩通信功能、網際網路鏈路、藍牙?等。在一個 實施例中，鏈路140可以包括通過（一條或多條）線纜在工作站112與視頻顯示設備132 之間建立的硬接線連接。所述線纜可以根據需要包括光纖、電氣連接、其他儀器等。
[0027] 在一個實施例中，工作站112包括被配置為生成要被顯示在視頻顯示設備132上 的疊加的圖像生成模塊148。空間或體積138(例如胸腔）的圖像134(例如由來自設備132 的相機136收集的實時圖像）可以被傳輸回到工作站或PC 112。圖像134能夠被顯示在視 頻顯示設備（一個或多個）132和/或工作站112的顯示設備118上，如果可用且期望的話。 工作站112可以包括顯示器118,用於輔助設置視頻顯示設備132、察看對象（患者）160和 體積138的內部圖像以及執行工作站112的其他功能。
[0028] 顯示器118也可以允許用戶與工作站112及其部件和功能，或者系統100內的任 意其他元件交互。這通過接口 120得以進一步便利，接口 120可以包括鍵盤、滑鼠、操縱杆、 觸覺設備或任意其他外圍設備或控制器，以允許來自工作站112的用戶反饋和與工作站 112的交互。
[0029] 在一個實施例中，圖像134將被顯示在視頻顯示設備132上，使用配準模塊142中 存儲的方法與對象160和/或體積138的術前圖像130配準。配準模塊142可以是圖像處 理模塊148的部分或是獨立的模塊。配準模塊142使用常見標記、已知解剖特徵或其他圖 像處理技術來對齊圖像。通過將視頻顯示設備132保持在對象（患者）160上，能夠無需打 開所述患者而在視頻顯示設備132的顯示屏133上察看內部解剖特徵（例如體積138)。顯 示屏133示出與術前圖像130 (或其部分）配準的實時圖像134。移動視頻顯示設備132將 相應地改變所述內部解剖特徵的視圖（例如實時圖像134和術前圖像130兩者）。
[0030] 在該實施例中，能夠使用外部特徵來定位內部解剖學的部分，以配準術前圖像 130,並且視頻顯示設備132可以被用於顯示與對象160的皮膚（外部解剖學）的實時圖像 134配準的術前圖像130 (內部器官和特徵），以為外科醫師標記患者，規劃切口或埠位 置，或提供其他功能。視頻顯示設備132可以包括對象160的實時視頻（外部皮膚圖像）並 生成術前圖像130或術前圖像（例如冠狀動脈、心臟等）的部分的配準的疊加146。使用兩 個域之間的標記或參考點150來將術前圖像130的解剖學準確地配準到實時視頻圖像134。 參考點150可以是解剖特徵或者可以包括手術臺支撐表面、固定的臂等上的固定的點。可 以在外科手術之前，執行到所述固定的位置的配準，並且一旦被配準，所述固定的位置可以 被定義在所述術前圖像域中並且被用於在程序期間配準實時圖像134用於規劃，等等。根 據本原理，其他配準技術也是可能的並且被預期。可以在醫生的辦公室裡、在現場或任意其 他位置，執行這樣的規劃程序或檢查。
[0031] 可以使用任選的固定化臂152來將可攜式視頻設備132保持在適當位置。臂152 可以是可選擇性調節的，從而能夠方便地定位它。臂152可以包括電源或數據連接/接口 154,並且可以被配置為允許可攜式視頻設備132的對接，用於充電或數據收集（例如可以 利用鏈路140被包括）。
[0032] 在尤其有用的實施例中，可以採用用於可視化在心臟直視手術期間在心臟表面上 不直接可見的動脈和其他結構的方法。在規劃之後，通過打開胸部並使心臟暴露來執行心 髒直視手術。由於筋膜和脂質組織，心臟和周圍區域中的血管可能不易觀察到。使用匹配 算法，心臟或其他標記的形狀可以被用於將使用視頻顯示設備132收集的實時圖像134與 心臟的術前圖像130配準。所述配準方法與視頻顯示設備132的組合提供了對疊加有動脈 和吻合術位點的心臟表面的實時可視化，這能夠幫助外科醫師規劃並執行心臟直視手術， 例如冠狀動脈旁路外科手術。
[0033] 在尤其有用的實施例中，包括運動補償模塊162,以將可攜式視頻設備132的運動 考慮在內，以及將解剖特徵（例如跳動的心臟）的運動考慮在內。儘管可以使用臂152來 穩固由可攜式視頻設備132收集的實時圖像，心臟的運動可能對疊加圖像146有影響。運 動補償模塊162更新或調節疊加圖像146,以確保配準和準確度得以維持。
[0034] 參考圖2並繼續參考圖1，示出移動/可攜式視頻顯示設備132的範例，其可以被 用於根據本原理的實時可視化。設備132的前側202部分地或完全地是觀察屏。設備的背 偵U 204具有被附接到其的相機206或網絡相機，相機206或網絡相機將被定位為朝下面向 患者。
[0035] 配準方法被用於將來自術前3D成像模態（CT、MR、X射線血管造影等）的動脈的 疊加匹配到相機視頻。相機206不需要被校準，並且相機206的光學性質不要求是已知的 (儘管可能有用），因此在程序期間潛在地可能使用並交換任意相機。優選地，由於來自3D 成像的大量數據和針對實時操作的處理要求（所述屏幕優選地至少，例如以約24Hz的頻率 更新，為了舒適地察看），可以在單獨的處理計算機或工作站112上執行圖像處理算法。最 終的疊加圖像146經由數字鏈路140從處理計算機或工作站112流到移動/可攜式設備 132。
[0036] 參考圖3,示出了根據一個實施例的方框/流程圖，並且示出在可攜式視頻顯示設 備302(132)與計算機或工作站304(112)之間的交互。在一個範例中，用戶握持可攜式設 備302,從而在相機視圖中，心臟在屏幕410上可見，如圖4中描繪的。圖4示出被顯示在便 攜式視頻顯示設備302上的在其上具有動脈404的疊加圖像的心臟402。
[0037] 可攜式設備302可以由用戶握持或者可以被置於固定臂152上（圖1)，從而其位 置和取向在空間中是固定的。應理解，可以完全在可攜式設備302上地執行圖像處理，並且 可以不需要處理計算機304。
[0038] 在方框306中，用戶使用觸控螢幕或其他接口技術來在所述圖像中手動選擇特徵。 所述特徵可以包括動脈（或動脈中在所述表面上可見的部分）。被選擇的點被發送到處理 計算機304,以在方框312中執行匹配和在方框314中執行疊加。在方框312中的匹配包 括將實時視頻中的特徵或標記與術前圖像中對應的特徵或標記配準。這可以使用配準模塊 142來執行（圖1)。在方框314中的疊加包括對所選擇的特徵（例如動脈）的圖像的生成。 所述疊加可以包括體模圖像或者具有（一種或多種）其他作用，以實現更好或更準確的察 看。這可以使用圖像生成模塊148來執行（圖1)。
[0039](來自方框314的）疊加圖像被發送到可攜式設備302並且被顯示在顯示屏316 疊加在相機視頻上。可攜式設備302在方框320中繼續以其原生幀率（例如24Hz)來捕 獲圖像，發送圖像到捕獲所述圖像的處理計算機304。在方框322中處理計算機304通過 一種或多種方法來探測所述設備的運動（如果未被固定）。這可以使用運動補償模塊162 來執行（圖1)。例如，一種方法可以包括跟蹤心臟表面上的點（例如使用本領域已知的 Lukas-Kanade光流）並且相應地更新匹配和疊加方框312、314。這在心臟不跳動並且患者 被連接到心肺旁路機時運行得尤其好。處理計算機304為可攜式設備302供應被示於便攜 式設備的屏幕316上的疊加圖像。
[0040] 用於更新特徵（例如動脈）的位置的另一種方法是對所述疊加應用運動補償，這 通過跟蹤心臟上的特徵得以實現。該方法跟蹤心臟上的特徵，並使用例如單應投影，來更新 相對於所跟蹤的特徵的所述動脈的位置。該方法針對體外循環（心臟不跳動並且患者在心 肺旁路機上）和針對在其中心臟仍在跳動的不停跳兩者都運行得很好。也可以採用其他圖 像處理技術。可以在連續循環中執行方框320和322。
[0041] 在另一實施例中，基於對智能平板電腦PC或設備302的加速度計和/或全球定位 系統（GPS)的系統可以被用於輔助跟蹤設備302的位置。下面將更詳細地描述這些。其他 方法可以被用於將患者運動、心臟的跳動或其他運動考慮在內。
[0042] 參考圖5,示意性地示出了帶有3軸陀螺儀傳感器或3軸加速度計504及相機傳感 器506的可攜式視頻顯示設備502。這些特徵在來自APPLE?公司的iPad_?，以及其他類 似設備上可獲得。能夠無需使用複雜硬體（例如內窺鏡），而實施被存儲在可攜式視頻顯示 設備502上的，用於對跳動的心臟的運動補償的專用算法508。
[0043] 在執行了配準和疊加（圖3的312、314)之後，運動補償得以完成，以更新疊加的 動脈在由所述相機捕獲的並被顯示在設備502 (302)的屏幕上的實況視頻上的位置。在一 個範例中，運動補償可以包括：1)相機系統506的移動和/或跳動的心臟508 (圖6)或其 他結構的移動。
[0044] 參考圖6並繼續參考圖5,示出了在兩個時間tl和t2之間的運動的表示。所述 運動由設備502上的相機的運動和/或心臟508跳動構成。所述相機系統（以及整個便 攜式設備）的所述移動是通過旋轉（Re)和平移（tc)表示的剛性變換。該變換改變心臟 508在圖像平面上的透視投影。本領域已知的是，所述改變能夠被表示為3x3單應矩陣H， 如：If =如定義的，其中，η是圖像平面的法向向量，並且d是從所述相機到心臟的 距離。（T是轉置運算符）。能夠從3軸陀螺儀或3軸加速度計504--兩者均被提供在在 iPad?上，直接測量所述可攜式設備的旋轉和平移（Re和tc)。所述旋轉和平移被測量為 從時間tl的坐標系xl-yl-zl到時間t2的坐標系x2-y2_z2的變換。
[0045] -般地，距離d(例如dl或d2)是未知的。然而，由於在術前數據與來自所述相機 的術中實況視頻（例如實時圖像）之間的配準是已知的，並且iPad?相機系統的參數（來 自相機數據表的焦距）是己知的，能夠使用來自所配準的數據的兩個分歧點和相機系統的 κ y 已知焦距，來導出d。例如，rf = ^其中Fx是在x軸的有效焦距，x是空間中的兩 個分歧點之間的距離（從3D數據測量的）並且X是圖像空間中的兩個分歧點之間的距離 (以像素為單位）。一般來講，所述數據可能有噪聲，因此，從所述X和y計算的d可能不同。 為了改善準確度，可以取平均。為了進一步改善準確度，能夠在不同的分歧點之間測量多個 d值，並且針對d的最終值取中值或平均。
[0046] 從確立的d、Rc和tc值，能夠計算矩陣H。矩陣H完整地描述了相機系統506以 及因此設備502的運動。
[0047] 能使用跟蹤方法，與使用矩陣H的已知單應方法相組合，來建立心臟508的運動。 這可以包括使用特徵跟蹤框架並假設圖像的區域隨時間維持相似的特徵，以及該區域的運 動被約束到圖像中的"窗口"（例如最大位移的區域內）。跟蹤方法的計算時間顯著取決於 該檢索窗口（針對較大的窗口較多的時間）。針對跳動的心臟，能夠使用心臟的已知的運動 量來設定所述窗口。如果使用iPad?來執行所述配準，則搜索窗口可能不可接受地高，這 是由於用戶能夠太快地移動iPad? (即運動Rc和tc可能太大而不能使用常規方法來追 蹤）。隨時間而根據正被成像的解剖學特徵中的目標解剖特徵計算單應矩陣H。矩陣H被 用於使所述記錄解剖圖像變形，以維持與所述實時圖像的配準。
[0048] 參考圖7,在t = tl時的圖像1與t = t2時的圖像2之間的直接跟蹤602(如上 文所述）不能被用於對動脈位置的實時更新（iPad?相機能夠以約24Hz捕獲視頻）。為了 將所述跟蹤方法的搜索窗口位置在與在其中僅有的運動是心臟跳動的情況中相同的大小， 在運動補償模塊162(圖1)中需要對所述圖像的額外處理。圖7示出實時跟蹤方法606。 在稱之為標準"跟蹤"程序之前，使用例如（從所述相機的旋轉和平移推導的）3X3矩陣H 來變換在時間tl時的圖像。得到的圖像"H*圖像1"將整體相機運動考慮在內。因此，在 "圖像2"中的圖像特徵與"圖像1"中的特徵相比較，在距"H*圖像1"中的相同特徵顯著更 小的搜索窗口內。使用該框架，能夠以iPad?相機系統的原生幀率來完成對實況視頻中的 動脈位置的更新。儘管已描述了示例性的方法，但應理解，其他特徵和方法可以被用於圖像 處理，以針對與外科手術或其他應用有關的應用，在相同規模上提供穩定可靠的圖像。
[0049] 本原理對於心臟直視手術並且尤其對於冠狀動脈旁路移植術而言，尤其有用。然 而，本原理能夠被用於在其中在解剖特徵上執行外科手術的其他器官，所述解剖特徵例如 血管或其他脈管型結構，例如淋巴結。與用於匹配2D和3D點的其他方法一起使用，本原理 能夠被用於任意類型的開放和內窺鏡外科手術，在其中到術中圖像上的術前疊加是有用的 且與程序相關的。配準方法與可攜式視頻及可視化設備的組合提供了這樣的系統，所述系 統允許對具有疊加的結構的實時可視化，這能夠輔助外科醫師規劃和執行程序。
[0050] 參考圖8,可攜式視頻顯示設備132(例如智慧型手機或平板電腦）可以如上所述作 為獨立單元被用於醫學成像。這取決於其處理和存儲能力。在該實施例中，關於圖1所描 述的功能是適用的，但有一些差異。相機136被配置為收集實時視頻並且顯示屏133被配 置為與被與實時圖像134配準的疊加圖像146同時地顯示所述實時視頻。在通信模塊170 上提供通信功能。處理器114和存儲器116被用於執行成像功能，包括將存儲的圖像疊加 在實時視頻上。
[0051] 存儲器116存儲對象的記錄解剖圖像140,並且配準模塊142、圖像生成模塊148 和運動補償模塊162全部被併入。疊加圖像146被生成並顯示在可攜式視頻顯示設備132 上，以輔助用戶察看不易觀察到的解剖特徵。埠 154提供電力並允許對蓄電池172或能 量源的充電。數據可以通過埠 154進行交換。接口 121包括鍵盤、觸控螢幕或用於編程、載 入、運行和採用設備132的軟體應用的其他接口。
[0052] 參考圖9,示出了根據示例性實施例用於使用可攜式視頻顯示設備進行醫學成像 的方法。在方框702中，對象的解剖圖像被存儲在存儲器中。這些圖像可以是使用一種或 多中成像模態取得的術前圖像或術中圖像，所述成像模態例如計算機斷層攝影（CT)、磁共 振成像（MRI)、X射線血管造影等。在方框704中，提供可攜式視頻顯示設備並且其包括相 機和顯示屏。所述可攜式視頻顯示設備可以包括智慧型手機、平板電腦或其他顯示設備。所 述可攜式視頻顯示設備被配置為收集所述對象的實時圖像。
[0053] 在方框710中，將解剖圖像的至少部分與由所述可攜式視頻顯示設備取得的實時 圖像配準。在方框712中，跟蹤所述解剖圖像與所述實時圖像之間的公共點。
[0054] 在方框714中，從所存儲的圖像（例如所述術前圖像的所述部分）生成疊加。在 方框716中，將所述記錄解剖圖像的所述部分與所述實時圖像配準，並且兩者均被同時顯 示在所述可攜式視頻顯示設備上。所述疊加可以包括，例如，在跳動的心臟的實時圖像上不 易看到的冠狀動脈。來自所述解剖圖像的其他特徵也可以被疊加到所述實時圖像上，用於 在所述可攜式視頻顯示設備上的顯示。
[0055] 在方框720中，補償正被成像的解剖特徵的運動。所述運動可以包括所述可攜式 視頻顯示設備的移動、所述解剖特徵的移動等。在方框722中，所述解剖特徵可以包括跳動 的心臟，並且跟蹤所述跳動的心臟的運動，以調節所述解剖圖像（例如疊加圖像）的所述部 分。在方框724中，可以使用單應矩陣H來跟蹤所述解剖特徵。單應矩陣H可以隨時間從 正被成像的解剖特徵中的目標解剖特徵來計算。矩陣H被用於使所述記錄解剖圖像變形， 以維持與所述實時圖像的配準。在方框726中，所述可攜式視頻顯示設備的移動被配置為 同時地改變或跟蹤所述實時圖像以及疊加特徵。以此方式，隨著所述實時圖像被改變，所述 疊加圖像也改變，以提供準確且相關的圖像數據，以在程序期間輔助外科醫師。所述程序根 據需要而繼續，並且在方塊728中相應地更新所述圖像。
[0056] 在解讀所附權利要求書時，應理解：
[0057] a)詞語"包括"不排除在給定權利要求中列出的那些之外的其他元件或行為的存 在；
[0058] b)元件前面的詞語"一或一個"不排除多個這樣的元件的存在；
[0059] c)權利要求書中的任何附圖標記均不限制它們的範圍；
[0060] d)幾個"單元"可以由相同的物品或硬體或軟體實施的結構或功能代表；並且 [0061] e)不旨在要求行為的特定順序，除非明確指明。
[0062] 已描述了用於使用可攜式設備的術前圖像在實況視頻上的疊加和配準的優選的 實施例（這些實施例旨在示例而非限制），注意，本領域技術人員鑑於以上教導能做出多種 修改和變型。因此要理解，可以對所公開的公開內容的特定實施例進行在本文中公開的實 施例的範圍內的改變，所述範圍由所附權利要求書概括。因此已描述了專利法所要求的細 節和特徵，在所附權利要求書中闡述要求並期望由專利法保護的內容。
【權利要求】
1. 一種醫學成像系統，包括： 計算機設備，其包括處理器（114)和耦合到所述處理器的存儲器（116)，所述存儲器存 儲： 對象的記錄解剖圖像（130);以及 配準模塊（142)，其被配置為將所述記錄解剖圖像與實時圖像（134)對齊； 可攜式視頻顯示設備（132)，其包括相機（136)和顯示屏（133)，所述可攜式視頻顯示 設備被配置為收集要與所述對象的所述記錄解剖圖像配準的所述對象的所述實時圖像，使 得所述記錄解剖圖像的至少部分被同時地顯示在所述可攜式視頻顯示設備上與所述實時 圖像配準；以及 通信鏈路（140)，其被配置為允許所述計算機設備與所述可攜式視頻顯示設備之間的 通信和數據傳送。
2. 如權利要求1所述的系統，其中，所述可攜式視頻顯示設備（132)包括智慧型手機或平 板電腦。
3. 如權利要求1所述的系統，其中，所述配準模塊（142)確定並跟蹤所述記錄解剖圖像 與所述實時視頻圖像之間的公共點。
4. 如權利要求1所述的系統，其中，所述記錄解剖圖像的所述至少部分包括與所述實 時視頻圖像同時地被顯示的疊加（146)。
5. 如權利要求1所述的系統，還包括圖像處理模塊（148)，所述圖像處理模塊被配置為 補償以下中的至少一個的運動：正被成像的解剖特徵，以及所述可攜式視頻顯示設備的移 動。
6. 如權利要求5所述的系統，其中，所述解剖特徵包括跳動的心臟，並且所述記錄解剖 圖像的所述至少部分被調節為跟蹤所述跳動的心臟的運動。
7. 如權利要求5所述的系統，還包括隨時間而根據正被成像的所述解剖特徵中的目標 解剖特徵計算的單應矩陣H，其中，所述矩陣H被用於將所述記錄解剖圖像變形以維持與所 述實時圖像的配準。
8. 如權利要求1所述的系統，其中，所述記錄解剖圖像包括使用一種或多種成像模態 收集的術前圖像或術中圖像（130)。
9. 如權利要求1所述的系統，還包括圖像處理模塊（148)，所述圖像處理模塊被配置為 提供來自所述記錄解剖圖像的提供疊加特徵，所述疊加特徵要被疊加到所述實時圖像上以 供在所述可攜式視頻顯示設備上顯示。
10. 如權利要求9所述的系統，其中，所述可攜式視頻顯示設備的移動相應地改變所述 實時圖像和所述疊加特徵。
11. 如權利要求1所述的系統，還包括用於在程序期間穩固所述可攜式視頻顯示設備 的位置的臂（152)。
12. -種用於醫學成像的可攜式視頻顯示設備，包括： 相機（136)，其被配置為收集實時視頻； 顯示屏（133)，其被配置為同時地顯示所述實時視頻和與實時圖像（134)配準的疊加 圖像（146); 處理器（114);以及 耦合到所述處理器存儲器（116)，所述存儲器存儲： 對象的記錄解剖圖像（130);以及 配準模塊（142)，其被配置為將所述記錄解剖圖像與所述實時圖像對齊； 其中，所述疊加圖像包括所存儲的解剖圖像的至少部分，並且所述疊加圖像被顯示在 所述可攜式視頻顯示設備上，以輔助用戶察看不易觀察到的解剖特徵。
13. 如權利要求12所述的設備，其中，所述可攜式視頻顯示設備（132)包括智慧型手機或 平板電腦。
14. 如權利要求12所述的設備，其中，所述配準模塊（142)確定並跟蹤所述記錄解剖圖 像與所述實時圖像之間的公共點。
15. 如權利要求12所述的設備，其中，所述記錄解剖圖像的所述至少部分包括在心臟 直視手術期間隱藏的冠狀動脈。
16. 如權利要求12所述的設備，還包括圖像處理模塊（148)，所述圖像處理模塊被配置 為補償以下中的至少一個的運動：正被成像的解剖特徵，以及所述可攜式視頻顯示設備的 移動。
17. 如權利要求16所述的設備，其中，所述解剖特徵包括跳動的心臟，並且所述記錄解 剖圖像的所述至少部分被調節為跟蹤所述跳動的心臟的運動。
18. 如權利要求16所述的設備，還包括隨時間而根據正被成像的所述解剖特徵中的目 標解剖特徵計算的單應矩陣H，其中，所述矩陣H被用於將所述記錄解剖圖像變形以維持與 所述實時圖像的配準。
19. 如權利要求16所述的設備，其中，所述可攜式視頻顯示設備的移動相應地改變所 述實時圖像和所述疊加圖像。
20. 如權利要求12所述的設備，其中，所述記錄解剖圖像包括使用一種或多種成像模 態收集的術前圖像或術中圖像（130)。
21. -種用於醫學成像的方法，包括： 存儲（702)對象的解剖圖像； 提供（704)可攜式視頻顯示設備，所述可攜式視頻顯示設備包括相機和顯示屏，所述 可攜式視頻顯示設備被配置為收集所述對象的實時圖像； 將所述解剖圖像的至少部分與所述實時圖像配準（710);以及 在所述可攜式視頻顯示器上同時地顯示（716)與所述實時圖像配準的所述解剖圖像 的所述至少部分。
22. 如權利要求21所述的方法，其中，所述可攜式視頻顯示設備（132)包括智慧型手機或 平板電腦。
23. 如權利要求21所述的方法，其中，配準包括跟蹤（712)所述解剖圖像與所述實時圖 像之間的公共點。
24. 如權利要求21所述的方法，還包括：根據所述解剖圖像的所述至少部分生成（714) 疊加；以及將來自所述解剖圖像的特徵疊加（716)到所述實時圖像上以供在所述可攜式視 頻顯示設備上顯示。
25. 如權利要求21所述的方法，還包括補償（720)以下中的至少一個的運動：正被成 像的解剖特徵，以及所述可攜式視頻顯示設備的移動。
26. 如權利要求25所述的方法，其中，所述解剖特徵包括跳動的心臟，並且所述方法還 包括跟蹤（722)所述跳動的心臟的運動以調節所述解剖圖像的所述至少部分。
27. 如權利要求25所述的方法，其中，補償運動包括採用（724)隨時間根據正被成像的 所述解剖特徵中的目標解剖特徵計算的單應矩陣H，其中，所述矩陣H被用於將所述記錄解 剖圖像變形以維持與所述實時圖像的配準。
28. 如權利要求25所述的方法，其中，所述可攜式視頻顯示設備的移動相應地改變 (726)所述實時圖像和所述疊加特徵。
29. 如權利要求21所述的方法，其中，所述解剖圖像包括使用一種或多種成像模態收 集的術前圖像或術中圖像。
【文檔編號】G06T19/00GK104428818SQ201380034162
【公開日】2015年3月18日 申請日期:2013年6月28日 優先權日:2012年6月28日
【發明者】H·埃爾哈瓦林, A·波波維奇 申請人:皇家飛利浦有限公司