用於改進多模態圖像融合中的配準準確度的智能標誌選擇的製作方法

2023-12-11 15:45:12

用於改進多模態圖像融合中的配準準確度的智能標誌選擇的製作方法
【專利摘要】用於圖像配準的系統和方法包括被配置為識別第一圖像(110)的內部標誌的圖像特徵檢測模塊(116)。圖像配準和變換模塊(118)被配置為使用處理器來計算配準變換，以基於表面標誌將第二圖像(112)與所述第一圖像配準，以得到經配準的圖像。標誌識別模塊(120)被配置為使用所述配準變換將所述內部標誌覆蓋到所述第二圖像上、將覆蓋的標誌中的每個包圍在虛擬對象內以在所述經配準的圖像中識別對應的標誌對、並且使用具有識別出的標誌的所述經配準的圖像來將所述第二圖像與所述第一圖像配準。
【專利說明】用於改進多模態圖像融合中的配準準確度的智能標誌選擇

【技術領域】
[0001] 本公開涉及成像工具，並且更具體而言，涉及用於具有改進的準確度的多模態圖 像配準的系統和方法。

【背景技術】
[0002] 對於多模態圖像配準，使用傳統的基於亮度的方法通常是不合適的，這是因為不 同的圖像模態可能呈現不同的對比度和解剖結構。作為替代，一般使用基於特徵的方法，其 依賴於從分割採集的表面標誌和內部標誌。基於表面的配準技術中的關鍵問題是該技術嚴 重取決於分割結果的準確度。在具有低信號噪聲比的成像模態（例如超聲）中，分割的準 確度通常是不可靠的。因此，優選使用表面標誌和內部標誌兩者。能夠容易地基於對器官 邊界的分割來提取表面標誌，而可能更難對內部標誌進行定位，不管是人工地還是自動地。 然而，由於圖像的特性的不同，難以在不同模態的圖像之間確定標誌對。儘管在許多情況下 對於標誌對的人工選擇是優選的，但是人工選擇是主觀的並且是不一致的。


【發明內容】

[0003] 根據本發明的原理，提供了用於選擇不同模態的圖像中的標誌對的新穎的解決方 案。對標誌對的選擇包括確定配準變換以基於表面標誌來將運動的圖像與靜態圖像配準。 使用所述配準變換將在所述靜態圖像上識別出的內部標誌覆蓋到經配準的圖像上。將每個 覆蓋的標誌包圍在球或其他對象內以幫助在經配準的圖像中識別對應的標誌對。使用所述 配準變換的逆變換來將在經配準的圖像中識別出的所述標誌變換回所述運動的圖像。將所 述運動的圖像與所述靜態圖像非剛性地配準。有利地，本原理提供了對對應的內部標誌對 進行定位的指導。本原理中對表面標誌和內部標誌兩者的使用改進了配準準確度。
[0004] 一種用於圖像配準的系統包括被配置為識別第一圖像的內部標誌的圖像特徵檢 測模塊。圖像配準和變換模塊被配置為使用處理器來計算配準變換，以基於表面標誌將第 二圖像與所述第一圖像配準，以得到經配準的圖像。標誌識別模塊被配置為：使用所述配準 變換將所述內部標誌覆蓋到所述第二圖像上，將覆蓋的標誌中的每個包圍在虛擬對象內以 在所述經配準的圖像中識別對應的標誌對，並且使用具有識別出的標誌的所述經配準的圖 像來將所述第二圖像與所述第一圖像配準。
[0005] -種用於圖像配準的方法包括識別第一圖像的內部標誌。使用處理器來計算配準 變換，以基於表面標誌將第二圖像與所述第一圖像配準，以得到經配準的圖像。使用所述配 準變換來將所述內部標誌覆蓋到所述經配準的圖像上。將覆蓋的標誌包圍在虛擬對象內以 在所述經配準的圖像中識別對應的標誌對。使用具有識別出的標誌的所述經配準的圖像來 將所述第二圖像與所述第一圖像配準。
[0006] -種用於圖像配準的方法包括將第二圖像與第一圖像剛性地配準。使用處理器來 識別所述第一圖像和所述第二圖像的內部特徵，以測量所述第一圖像和所述第二圖像的相 似性，以選擇剛性配準和非剛性配準中的一個。使用所選擇的剛性配準或非剛性配準來將 所述第二圖像與所述第一圖像配準。

【專利附圖】

【附圖說明】
[0007] 本公開將參考以下附圖詳細提出對優選的實施例的以下說明，其中：
[0008] 圖1是示出了根據一個說明性實施例的、用於用來識別一致的標誌對的智能標誌 選擇的系統的方框/流程圖；
[0009] 圖2圖示了根據一個說明性實施例的用於選擇表面標誌的球選擇器系統；
[0010] 圖3示出了根據一個說明性實施例的感興趣區域選擇系統的輪廓；
[0011] 圖4示出了根據一個說明性實施例的、用於用來識別一致的標誌對的智能標誌選 擇的方法；
[0012] 圖5是示出了根據一個說明性實施例的、用於用來識別一致的標誌對的智能標誌 選擇的方法的方框/流程圖；
[0013] 圖6是示出了根據一個說明性實施例的用於針對配準選擇感興趣區域的方法的 方框/流程圖；並且
[0014] 圖7是示出了根據一個說明性實施例的、用於選擇最優配準方法的方法的方框/ 流程圖。

【具體實施方式】
[0015] 根據本發明的原理，系統、裝置和方法的實施例提供了用來改進多模態圖像融合 中的配準準確度的智能標誌選擇。該智能標誌選擇協助用戶選擇不同模態的圖像之間的一 致的標誌對以改進配準準確度。在一個實施例中，智能標誌選擇包括確定配準變換以基於 表面標誌來將運動的圖像與靜態圖像配準，其中，靜態圖像和運動的圖像是來自不同模態 的。使用配準變換來將靜態圖像上識別出的內部標誌覆蓋到經配準的圖像上。將每個覆蓋 的標誌包圍在球或其他對象內以幫助在經配準的圖像中識別對應的標誌對。使用配準變換 的逆變換將經配準的圖像中識別出的標誌變換回運動的圖像。將運動的圖像與靜態圖像非 剛性地配準。本原理中對表面標誌和內部標誌兩者的使用改進了準確度。
[0016] 在另一個實施例中，能夠通過將配準限制到特定的感興趣區域來改進初始配準。 可以由用戶通過以下來規定感興趣區域，例如：i)人工地確定感興趣區域；ii)從患者特異 的圖集選擇感興趣區域；以及iii)將所有標誌用於配準。人工地確定感興趣區域可以包 括：i)人工地選擇表面標誌或指定感興趣區域；以及ii)設定具體的閾值以過濾不想要的 標誌。由於用戶可以以特定的組合來使用選項以實現最好的結果，所以這些選項不互相排 除。通過將配準限制到圖像中特定的感興趣區域，在局部部位中實現了更好的配準的準確 度。
[0017] 在又一個實施例中，能夠通過在剛性配準和非剛性配準之間最優地做出選擇來進 一步改進初始配準。選擇最優的配準方法包括首先剛性地將運動的圖像與靜態圖像配準， 並且從圖像提取內部特徵以評估圖像的相似度。內部特徵提取可以包括應用度量，例如解 剖標誌對之間的距離和Dice相似度係數。基於該度量來人工地或自動地選擇剛性配準或 非剛性配準。自動地選擇配準方法包括應用機器學習引擎以基於提取的特徵來預測非剛性 配準的性能。有利地，最優地選擇剛性配準或非剛性配準為用戶提供了圖像融合的最好的 質量。
[0018] 能夠通過使用專用硬體以及能夠與合適的軟體相關聯地執行軟體的硬體來提供 附圖中示出的各個元件的功能。當由處理器來提供功能時，能夠由單個專用處理器、由單個 共享處理器或由其中一些能夠被共享的多個獨立處理器來提供功能。而且，對術語"處理 器"或"控制器"的明確的使用不應被解釋為排他地指代能夠執行軟體的硬體，並且能夠暗 含地包括但不限於，數位訊號處理器（"DSP"）硬體、用於存儲軟體的只讀存儲器（"ROM")、 隨機存取存儲器、非易失性存儲器等。
[0019] 而且，本文記載原理、方面和本發明的實施例及其具體範例的所有陳述旨在包括 其結構等價方案和功能等價方案兩者。此外，旨在使這樣的等價方案包括目前已知的等價 方案以及將來發展出的等價方案（即發展出的執行相同的功能的任何元件，而不論其結構 如何）兩者。因此，例如，本領域技術人員應當意識到本文提出的方框圖表示說明性系統部 件的概念性視圖和/或實現本發明的原理的電路圖。相似地，應當意識到任何流程圖表、流 程圖等表示各個過程，這些過程可以基本在計算機可讀存儲媒體中表示並且因此由這樣的 計算機或處理器執行，不論是否明確示出了計算機或處理器。
[0020] 此外，本發明的原理的實施例可以採取能夠從計算機可用或計算機可讀存儲介質 訪問的電腦程式產品的形式，所述計算機可用或計算機可讀存儲介質提供由計算機或任 何指令執行系統使用或結合計算機或任何指令執行系統使用的程序代碼。出於這種說明的 目的，計算機可用或計算機可讀存儲介質能夠是可以包括、存儲、傳送、傳播或輸送由指令 執行系統、裝置或設備使用或結合指令執行系統、裝置或設備使用的程序的任何裝置。所述 介質可以是電子、磁性、光學、電磁、紅外線或半導體系統（或裝置或設備）或者傳播介質。 計算機可讀介質的範例包括半導體或固態存儲器、磁帶、可移動計算機磁碟、隨機存取存儲 器（RAM)、只讀存儲器（ROM)、硬磁碟和光碟。光碟的當前的範例包括只讀光碟（CD-ROM)、讀 /寫光碟（CD-R/W)、DVD和藍光碟TM(BD)。
[0021] 現在參考附圖，其中，相似的附圖標記表示相同或相似的元件，並且首先參考圖1， 說明性地描繪了根據一個實施例的用於智能標誌選擇的系統100,其中，所述智能標誌選擇 用於協助用戶（例如放射醫師）從通過不同模態掃描的圖像選擇一致的標誌對以改進配準 準確度。系統100可以包括工作站或控制臺106,利用工作站或控制臺106來監督並且管 理配準。工作站106優選地包括一個或多個處理器130以及用於存儲程序和應用的存儲器 108。應當理解，可以將系統100的功能和部件整合到一個或多個工作站或系統中。
[0022] 存儲器108可以存儲來自儀器A 102的靜態圖像110和來自儀器B 104的運動 的圖像112。儀器A 102和儀器B 104可以包括任何成像設備，例如但不限於，磁共振成像 (MRI)系統、螢光檢查系統、計算斷層攝影（CT)系統、超聲系統等。在優選的實施例中，儀器 A 102和儀器B 104是來自不同模態的。系統100協助用戶從分別來自儀器A 102和儀器 B 104的圖像110和圖像112選擇一致的標誌對以改進配準準確度。
[0023] 工作站106可以包括用於觀看圖像110和圖像12的一個或多個顯示器126。顯示 器126還可以允許用戶與工作站106及它的部件和功能進行交互。這是由用戶接口 128來 進一步促進的，其中，用戶接口 128可以包括鍵盤、滑鼠、操縱杆或用來允許用戶與工作站 106交互的任何其他外圍設備或控制器。
[0024] 計算機實施的程序114被存儲在工作站106的存儲器108中。程序114包括用來 檢測並且識別儀器A 102的模態的靜態圖像110的內部標誌的圖像特徵檢測模塊116。應 當注意到，可以人工地或自動地執行模塊116中的內部標誌檢測。模塊116中的人工特徵 檢測可以採用對顯示器126和用戶接口 128的使用來與工作站106交互。模塊116中的自 動特徵檢測可以採用尺度不變特徵轉換（SIFT)方法或快速魯棒特徵（SURF)方法來檢測特 徵。也預期其他方法。
[0025] 程序114包括用來確定配準變換以基於表面標誌來將儀器B 104的模態的運動的 圖像112與儀器A 102的模態的靜態圖像110配準的圖像配準和變換模塊118。在一個特 別有用的實施例中，配準可以包括將配準限制到特定的感興趣區域。通過限制配準區域，對 於局部部位改進了配準的準確度。存在用戶可以根據本原理來制定感興趣區域的若干方 式。例如用戶可以：i)人工地確定配準區域；ii)從預設的圖集選擇區域並且只將區域裡面 的標誌用於進一步的配準；或者iii)將所有表面標誌用於配準，這可以是一個實施例中的 默認選項。也預期制定感興趣區域的其他方法。應當注意到，這些選項不互相排除。用戶 可以以特定的組合來使用選項以得到最好的結果。
[0026] 可以通過人工地勾畫表面標誌或感興趣區域來實現用於配準的對感興趣區域的 人工選擇。在一個實施例中，用戶可以使用例如球形的球選擇器替代逐個拾取標誌來在三 維（3D)空間中人工地選擇表面標誌。應當理解本原理不限於球形的球選擇器，而可以是任 何形狀的選擇器。參考一下圖2,說明性地描繪了球選擇器系統200。用戶能夠調節球選擇 器202的半徑（例如左擊+滾動）並且將選擇（例如雙左擊）或去選擇（例如雙右擊）球 選擇器202裡面所有表面標誌204。
[0027] 在另一個實施例中，用戶可以人工地畫出感興趣區域的輪廓以勾畫解剖標誌。參 考一下圖3,說明性地描繪了基於感興趣區域選擇系統300的解剖標誌。用戶人工地畫出 302感興趣區域306的輪廓以針對配準選擇標誌304。這可以包括對顯示器126和用戶接 口 128的使用。只將畫出輪廓302的感興趣區域306內的表面標誌304用在配準中。
[0028] 在又一個實施例中，基於自動閾值在感興趣區域內選擇標誌。對於運動的圖像112 中的各個標誌，確定到靜態圖像110中的各個標誌的距離，並且對於運動的圖像112中的各 個標誌度確定最短距離。用戶接著能夠為最短距離指定閾值，並且最短距離大於閾值的所 有標誌將會被排除。這樣的閾值假設了用於配準的兩個體積已經被剛性地對準並且不一致 的分割主要對應於具有大的最短距離的標誌，在例如前列腺經直腸超聲（TRUS)融合的情 況下是這種情況。閾值處理還可以是基於體積內的窄範圍的，使得用戶指定該窄範圍並且 排除該範圍外面的標誌。
[0029] 根據另一實施例，能夠通過從患者特異的圖集選擇區域來選擇感興趣區域。生成 患者特異的圖集可以包括：1)通過求若干人工分割的平均來一起生成模板分割和預設的 圖集；2)使該模板變形以匹配患者特異的分割；3)將變形的模板圖集應用到患者特異的分 割上；並且4)分離基於應用的圖集的表面標誌。預設的圖集的選定區域裡面的標誌將被用 於進一步的配準。
[0030] 返回參考圖1，程序114的圖像配準和變換模塊118將儀器B 104的模態的運動的 圖像112與儀器A 102的模態的靜態圖像110配準。基於應用和興趣器官，配準可以是剛 性的或非剛性的。在特別有用的實施例中，圖像配準和變換模塊118包括用於選擇最優配 準方法（例如剛性配準或非剛性配準）的決策支持。將運動的圖像112與靜態圖像110剛 性地配準，並且提取內部特徵以評估兩幅圖像的相似度。對於多模態圖像融合，亮度範圍和 圖像對比都能夠是非常不同的。例如，MRI中可見的特定標誌在超聲對比下可以是也可以 不是可見的。這樣，使用在單模態配準中使用的傳統方法（例如共有信息方法或均方標準 差方法）來測量相似度一般是不實際的。作為替代，基於內部解剖結構的特徵更合適。
[0031] 可以自動地或人工地完成基於剛性對準的圖像的對內部特徵的特徵提取。內 部特徵提取可以使用兩個或更多個度量以理解內部特徵的內部翹曲。例如可以應用以 下度量：1)解剖標誌對之間的距離；以及2)Dice相似度係數，其中能夠通過2*|A1交集 A2|/|A1| + |A2|)來計算Dice相似度係數，其中A1和A2是兩個分割體積。也預期其他度 量。例如，度量可以考慮內部形態學特徵和它們的變形圖樣。
[0032] 基於這些度量，能夠人工地或自動地選擇剛性配準和非剛性配準中的一個。自動 確定可以包括用來方便這種決策制定過程的機器學習引擎。機器學習引擎首先經歷基於訓 練數據集對的集合的訓練過程，所述訓練數據集對的集合具有一組足夠多樣的度量。例如， 可以使用諸如人工神經網絡或支持向量機的機器學習方法來訓練機器學習引擎在剛性配 準和非剛性配準之間做出選擇。可以進一步訓練機器學習引擎以相同的方式來確定用於做 出最好的決定的特徵和度量的最優集合。得到的決定將是對基於提取的特徵的非剛性配準 的性能的預測。在推薦非剛性配準的又一個實施例中，評估全體積配準是否優於部分配準。 在部分配準中，只將圖像體積的一部分正確地配準，而剩下的可以配準或可以不配準。
[0033] 返回參考圖1，一旦程序114的圖像配準和變換模塊118將儀器B 104的模態的 運動的圖像112與儀器A 102的模態的靜態圖像110配準，則基於利用初始配準來計算的 配準變換將圖像特徵檢測模塊116中找到的圖像110的內部標誌覆蓋到儀器B 104的經配 準的圖像上。因為成像模態的特性，可能難以對儀器B 104的模態中的內部標誌進行定位。 將經配準的圖像上每個覆蓋的標誌包圍在虛擬對象內以幫助用戶對標誌對進行定位。所述 虛擬對象可以具有用戶定義的尺寸。在優選的實施例中，所述虛擬對象是具有用戶定義的 半徑的球。
[0034] 現在參考圖4,根據一個實施例說明性地描繪了包圍在球400內的標誌。由具有 給定的半徑的球402將每個覆蓋的標誌404包圍起來以幫助用戶找到儀器B 104的模態中 的對應的標誌。圖1的標誌識別模塊120可以執行球裡面的標誌識別，球裡面的標誌識別 可以包括用戶的人工識別或使用諸如SIFT或SURF的圖像分析算法的自動識別。用戶可以 指定所述半徑並且決定顯示所有的感興趣的點還是只顯示一個點。儀器A 102的模態的圖 像110中存在的解剖結構中的一些可以不存在於儀器B 104的模態的經配準的圖像中。這 樣，用戶可以能夠去除存在於這樣的區域中的標誌。
[0035] 圖像配準和變換模塊118接著將儀器B 104的模態的經配準的圖像中的對應的標 志變換回儀器B 104的模態的運動的圖像112。這基於初始配準的變換的逆變換。最終，圖 像配準和變換模塊118通過將表面標誌和內部標誌兩者組合起來將儀器B 104的模態的圖 像112與儀器A 102的模態的圖像110非剛性地配準。
[0036] 如上面所提及，一種模態中的標誌在另一種模態中是難以被定位的。用於智能標 志選擇的系統100協助用戶從通過不同模態掃描的圖像選擇一致的標誌對。具體地，系統 100採用表面標誌和內部標誌兩者來改進配準準確度。
[0037] 現在參考圖5,根據一個實施例說明性地描繪了用於用來識別一致的標誌對的智 能標誌選擇的方法500。在方框502中，從第一儀器和第二儀器分別提供第一（即靜態）圖 像和第二（即運動的）圖像。第一儀器和第二儀器可以包括任何成像設備，例如但不限於， MRI系統、突光檢查系統、CT系統、超聲系統等。在一個優選的實施例中，第一儀器和第二儀 器是不同模態的。用於智能標誌選擇的方法500協助用戶在第一圖像與第二圖像之間選擇 一致的標誌對以改進配準準確度。在一個實施例中，第一圖像具有更好的解析度和對解剖 結構的勾畫。因此在方框504中識別第一圖像的內部標誌。對內部標誌的識別可以包括人 工識別或自動識別。可以通過諸如SIFT或SURF的特徵檢測方法來完成對內部標誌的自動 識別。也預期特徵檢測的其他方法。在方框506中，確定配準變換以基於表面標誌來將第 二圖像與第一圖像配準。
[0038] 在一個特別有用的實施例中，配準可以包括將配準區域限制到特定的感興趣區 域。在臨床應用中，用戶可能只對特定的局部圖像部位感興趣。例如基於對術前MRI的診 斷，病灶活組織檢查可能只集中在前列腺的後部部位。在這種情況下，前部區域中的配準準 確度可能是與程序不相關的，而後部區域中的配準準確度更加相關。現在參考圖6,說明性 地描繪了根據一個實施例的用於為配準選擇感興趣區域的方法600。方法600將配準限制 到特定的感興趣區域，從而在該局部部位中具有更好的配準的準確度。在方框602中，存在 用來選擇感興趣區域的一定數量的方法。用於確定感興趣區域的配準選項可以包括在方框 604中人工地選擇感興趣區域、在方框610中從患者特異的圖集選擇感興趣區域、以及在方 框612中選擇圖像中的所有表面標誌。在一個實施例中，選擇圖像中的所有表面標誌（方 框612)是默認選項。也預期制定感興趣區域的其他方法。例如，用戶可以通過指示相關的 解剖位置（例如前部或後部）來指定感興趣區域。應當注意到這些選項不互相排除。用戶 可以以特定的組合來使用選項以實現期望的結果。
[0039] 在方框606中，對感興趣區域的人工選擇可以包括勾畫。在一個實施例中，使用球 形的球選擇器來執行勾畫以在3D空間中選擇表面標誌。應當注意到，球選擇器不限於球 形，而可以是任何形狀的。用戶可以能夠調節球選擇器的半徑，並且指示選擇或去選擇球內 的所有表面標誌。用戶還可以具有對球選擇器內的表面標誌的反選的選項。在另一個實施 例中，由用戶通過畫出感興趣區域的輪廓來執行勾畫。例如，用戶可以針對配準人工地畫出 關鍵病變和脈管的輪廓。在方框608中，對感興趣區域的人工選擇還可以包括閾值。閾值 處理可以包括通過基於用戶指定的閾值的值來過濾標誌來以配準選擇標誌。首先確定從運 動的圖像中的各個標誌到靜態的圖像中的各個標誌的最短的距離。在配準期間將排除其最 短距離大於用戶指定的閾值的標誌。應當注意到，閾值處理假設用於配準的兩幅圖像已經 被剛性地對準了，並且不一致的分割主要與具有大的最短距離的標誌對應。也預期閾值的 其他方法。比如，用戶也能夠指定窄範圍並且排除該範圍外面的標誌。
[0040] 在方框610中，用戶可以通過從患者特異的圖集選擇感興趣區域來針對配準選擇 感興趣區域。生成患者特異的圖集可以包括：1)通過求若干人工分割的平均來一起生成模 板分割和預設的圖集；2)使該模板變形以匹配患者特異的分割；3)將變形的模板圖集應用 到患者特異的分割上；以及4)基於應用的圖集分離表面標誌。
[0041] 有利地，方法600提供針對配準選擇感興趣區域，使得在局部部位中實現更好的 配準的準確度。
[0042] 返回參考圖5的方框506,基於表面標誌來將第二圖像與第一圖像配準。基於應 用和感興趣器官，配準可以是剛性地或非剛性的。在一個特別有用的實施例中，配準包括用 於基於提取的圖像特徵和它們的變形圖案在剛性配準和非剛性配準之間做出決定的方法。 現在參考圖7,根據一個實施例說明性地描繪了用於選擇最優配準方法的方法700。在方框 702中，首先將運動的圖像與靜態圖像剛性地配準。應當注意到，在這種方法中假設正確的 剛性配準。對於多模態圖像融合，強度範圍和圖像對比度都可以是非常不同的。因此，使用 在單模態配準中使用的傳統方法（例如共有信息或均方標準差）來測量相似度通常是不實 際的。作為替代，基於內部解剖結構的相似度測量更合適。在方框704中，提取內部結構特 徵以評估兩幅圖像的相似度。特徵提取可以包括計算度量以幫助理解內部特徵的內部扭 曲。例如根據一個實施例可以應用以下度量：1)解剖標誌對之間的距離；以及2)Dice相似 度係數。也預期其他度量。比如，可以使用內部形態學特徵和它們的變形圖案。
[0043] 方法700使用度量在剛性配準和非剛性配準之間做出選擇。在一個實施例中，在 方框706中能夠使用度量來人工地選擇配準方法。在另一個實施例中，在方框708中應用 機器學習引擎來自動地選擇配準方法。基於具有度量的充分不同的集合的訓練數據集對的 集合，能夠訓練諸如人工神經網絡或支持向量機的機器學習方法在剛性配準和非剛性配準 之間做出選擇。還能夠訓練機器學習引擎決定用於做出最好的決定的特徵和度量的最優集 合。在方框710中，機器學習引擎可以基於提取的特徵來預測剛性配準和非剛性配準的性 能。在一個實施例中，如果選擇了非剛性配準，則機器學習引擎評估全體積配準是否優於部 分配準。
[0044] 用於選擇最優配準方法的方法700通過為每個具體圖像數據選擇最優配準度量 來為用戶提供圖像融合的最好的質量。
[0045] 因為成像模態的特性，可能難以對（第二儀器的模態的）第二圖像的標誌進行定 位。由此，返回參考圖5的方框508,基於初始配準中計算的配準變換來將第一圖像的內部 標誌覆蓋到第二儀器的經配準的圖像上（方框506)。方框510中，將經配準的圖像上的每 個覆蓋的內部標誌包圍在虛擬對象內以指導用戶找到對應的標誌對。虛擬對象突出覆蓋的 標誌以幫助用戶識別對應的標誌對。虛擬對象可以具有用戶定義的尺寸。在優選的實施例 中，虛擬對象是球。用戶可以指定球的半徑並且決定是否顯示所有覆蓋的點。第一圖像中 的特徵可以不存在於經配準的圖像中。用戶可以能夠去除存在於這樣的區域中的標誌。可 以人工地或自動地執行對虛擬對象內的內部標誌的識別。對標誌的自動識別可以包括應用 諸如SIFT或SURF的圖像分析方法，然而也預期其他方法。
[0046] 在方框516中，使用具有識別出的標誌的經配準的圖像來將第二圖像與第一圖像 配準。方框516包括方框512和方框514。方框512中，基於利用初始配準計算的配準變 換（506)的逆變換來將經配準的圖像中的對應的標誌變換回第二（即運動的）圖像。在方 框514中，通過將表面標誌和內部標誌兩者組合起來將第二（即運動的）圖像與第一圖像 非剛性地配準。已經示出了表面標誌和內部標誌的組合以改進配準準確度。
[0047] 在解釋權利要求書時，應當理解：
[0048] a)詞語"包括"不排除給定的權利要求中列出的那些之外的其他元件或動作的存 在；
[0049] b)元件前面的詞語"一"或"一個"不排除存在多個這樣的元件；
[0050] c)權利要求中的任何附圖標記都不限制它們的範圍；
[0051] d)可以由同樣的項目或者硬體或軟體實施的結構或功能來表示若干"單元";並且
[0052] e)除非專門指出，否則不特意要求動作的具體順序。
[0053] 已經描述了用於用來改進多模態圖像融合中的配準準確度的智能標誌選擇的優 選的實施例（所述優選的實施例旨在是說明性的而非限制性的），應當注意到，本領域技術 人員鑑於以上教導能夠進行修改和變型。因此應當理解，可以在本文中如權利要求書概括 的那樣公開的實施例的範圍內，對所公開的公開內容的特定實施例中做出變化。因此已經 描述了專利法要求的細節和特性，在權利要求書中闡述了由專利證書要求並且期望被保護 的內容。
【權利要求】
1. 一種用於圖像配準的系統，包括： 圖像特徵檢測模塊（116)，其被配置為識別第一圖像（110)的內部標誌； 圖像配準和變換模塊（118)，其被配置為使用處理器來計算配準變換，以基於表面標誌 將第二圖像（112)與所述第一圖像配準，從而得到經配準的圖像；以及 標誌識別模塊（120)，其被配置為使用所述配準變換來將所述內部標誌覆蓋到所述第 二圖像上，將覆蓋的標誌包圍在虛擬對象內以在所述經配準的圖像中識別對應的標誌對， 並且使用具有識別出的標誌的所述經配準的圖像來將所述第二圖像與所述第一圖像配準。
2. 如權利要求1所述的系統，其中，所述標誌識別模塊（120)還被配置為通過使用所述 配準變換來將所述經配準的圖像中的識別出的標誌變換到所述第二圖像，來使用具有識別 出的標誌的所述經配準的圖像來將所述第二圖像與所述第一圖像配準。
3. 如權利要求2所述的系統，其中，所述標誌識別模塊（120)還被配置為使用所述配準 變換的逆變換。
4. 如權利要求2所述的系統，其中，所述標誌識別模塊（120)還被配置為通過將所述第 二圖像與所述第一圖像非剛性地配準，來使用具有識別出的標誌的所述經配準的圖像來將 所述第二圖像與所述第一圖像配準。
5. 如權利要求1所述的系統，其中，所述標誌識別模塊（120)還被配置為使用表面標誌 和內部標誌來將所述第二圖像與所述第一圖像配準。
6. 如權利要求1所述的系統，其中，所述虛擬對象包括球。
7. 如權利要求5所述的系統，其中，所述虛擬對象包括用戶定義的尺寸。
8. 如權利要求1所述的系統，其中，所述第一圖像和所述第二圖像是來自不同模態的。
9. 一種用於圖像配準的方法，包括： 識別（504)第一圖像的內部標誌； 使用處理器來計算（506)配準變換，以基於表面標誌將第二圖像與所述第一圖像配 準，從而得到經配準的圖像； 使用所述配準變換來將所述內部標誌覆蓋（508)到所述經配準的圖像上； 將覆蓋的標誌包圍（510)在虛擬對象內以在所述經配準的圖像中識別對應的標誌對； 並且 使用具有識別出的標誌的所述經配準的圖像來將所述第二圖像與所述第一圖像配準 (516)。
10. 如權利要求9所述的方法，其中，使用具有識別出的標誌的所述經配準的圖像將所 述第二圖像與所述第一圖像配準包括使用所述配準變換來將所述經配準的圖像中的識別 出的標誌變換（512)到所述第二圖像。
11. 如權利要求10所述的方法，其中，使用具有識別出的標誌的所述經配準的圖像 將所述第二圖像與所述第一圖像配準包括將所述第二圖像與所述第一圖像非剛性地配準 (514)。
12. 如權利要求11所述的方法，其中，將所述第二圖像與所述第一圖像非剛性地配準 (514)包括使用表面標誌和內部標誌。
13. 如權利要求9所述的方法，其中，將覆蓋的標誌包圍（510)在虛擬對象內包括將覆 蓋的標誌包圍在球內。
14. 一種用於圖像配準的方法，包括： 將第二圖像與第一圖像剛性地配準（702); 使用處理器來識別（704)所述第一圖像和所述第二圖像的內部特徵，以測量所述第一 圖像和所述第二圖像的相似度，從而選擇剛性配準和非剛性配準中的一個；並且 使用所選擇的剛性配準或非剛性配準來將所述第二圖像與所述第一圖像配準（710)。
15. 如權利要求14所述的方法，其中，識別（704)內部特徵包括計算至少兩個相似度度 量。
16. 如權利要求14所述的方法，其中，選擇剛性配準和非剛性配準中的一個包括應用 (708)機器學習引擎來預測剛性配準和非剛性配準的性能。
17. 如權利要求14所述的方法，其中，使用所選擇的剛性配準或非剛性配準來將所述 第二圖像與所述第一圖像配準包括將所選擇的剛性配準或非剛性配準限制到一個或多個 感興趣區域，使得所述一個或多個感興趣區域中配準的準確度被改進。
18. 如權利要求17所述的方法，其中，限制包括人工地選擇（604)所述一個或多個感興 趣區域。
19. 如權利要求18所述的方法，其中，人工地選擇（604)所述一個或多個感興趣區域包 括： 提供用戶定義的閾值； 對於所述第二圖像中的每個標誌，計算到所述第一圖像中的每個標誌的距離，並且針 對所述第二圖像中的每個標誌確定最短距離；並且 從配準中排除所述最短距離大於所述閾值的標誌。
20. 如權利要求17所述的方法，其中，限制￠10)包括從患者特異的圖集選擇所述一個 或多個感興趣區域。
【文檔編號】G06T7/00GK104160424SQ201380012748
【公開日】2014年11月19日 申請日期:2013年3月1日 優先權日:2012年3月8日
【發明者】V·帕塔薩拉蒂, M·林, J·克呂克爾 申請人:皇家飛利浦有限公司