單屏幕多模態成像顯示的製作方法

2023-12-11 15:53:07 3

專利名稱：單屏幕多模態成像顯示的製作方法
技術領域：
一般而言，本發明布置(arrangement)涉及用於在單屏幕上顯示來自多個成 像源的圖像的方法和系統，具體而言，涉及用於在單屏幕上顯示第一患者圖像掃描模 態(modality)結果的方法和系統，其還能顯示與來自患者檢查的特定患者感興趣部位 (region)或感興趣體積對應的來自不同患者圖像掃描模態的信息。
背景技術：
當檢查和診斷醫療患者時，先進的成像工作流程能夠對患者執行第一成像模態檢 查，繼之以那個同一患者的額外成像模態檢查。如果兩個檢查均描述患者的共同解剖體 (anatomy)，則第二檢查能夠增加所獲圖像的靈敏度和特異性，和/或促進尤其通過多個成 像信息提供的更好患者管理決策。然而，在獲得多個模態圖像集時的一個缺點在於其能夠 增加需要包括通過人類操作者進行分析和相關的數據量。一種對以多個模態採集的多個圖像進行分析的方法包括在並排屏幕上顯示圖 像。然而，這要求多個屏幕，使用者必須針對所述多個屏幕將來自單獨模態圖像的發現 (finding)間接相關。此外，相關上下文信息(contextual information)能在放射科醫師 從回顧(review) —種模態切換到回顧另一種模態時丟失，尤其是如果主要僅對單個感興 趣部位或體積有興趣的話。因此，提供能夠提供對接收自多個成像模態的數據和/或影像(imagery)的單屏 幕觀看的改進方法和系統會是有利的。

發明內容
本發明布置的一個實施例包括顯示被成像受檢者(subject)的圖像數據的方法， 包括提供第一模態圖像，在第一模態圖像中選擇感興趣區域(area)，提供第二模態圖像， 以及將來自第一模態圖像的感興趣區域顯示在第二模態圖像上。本發明布置的另一實施例包括用於顯示被成像受檢者的圖像數據的系統，包括 屏幕；第一成像模態，提供第一模態圖像；第二成像模態，提供第二模態圖像；以及，選擇 器，在第一模態圖像中選擇感興趣區域，其中所述屏幕將來自第一模態圖像的感興趣區域 顯示在第二模態圖像上。因此，在單個使用者顯示器上，來自第一模態圖像的感興趣區域被顯示在第二模 態圖像中。優選地，來自第一模態圖像的感興趣區域與在第二模態圖像上的同一感興趣區域 對應。優選地，將圖像進行相關。優選地，感興趣區域能夠是感興趣部位或感興趣體積。優選地，第一模態圖像和第二模態圖像是二維(2D)、三維圖像(3D)和/或4維 (4D)圖像。
優選地，第一模態圖像和第二模態圖像源自共同模態系統。可選地，第一模態圖像和第二模態圖像源自不同模態系統。由此，本發明布置允許使用者在單屏幕或觀看埠上觀看感興趣區域的不同圖 像。還能夠單獨顯示組合的感興趣區域。通過尤其結合本文的附圖和權利要求書進行的以下詳細描述，本發明布置的這些 和其它特徵及優點將變得更顯而易見。


圖1描述在第二模態圖像上顯示來自第一模態圖像的感興趣區域的方法；圖2描述來自第一模態圖像的感興趣區域在第二模態圖像上的單屏幕顯示；圖3描述實現圖1-2中本發明布置的系統；圖4A-4C描述具有典型雙能量對比度增強數位化乳腺造影術(CEDM)的多模態屏 幕顯不；圖5A描述屏蔽圖像(mask image)；圖5B描述在第一時間、的不透明(opacified)圖像；圖5C描述在第一時間t2的不透明圖像；圖5D描述在第一時間t3的不透明圖像；圖5E描述在第一時間t4的不透明圖像；圖5F描述在第一時間、的消減(subtracted)圖像；圖5G描述在第一時間t2的消減圖像；圖5H描述在第一時間t3的消減圖像；圖51描述在第一時間t4的消減圖像；圖5J描述在屏蔽圖像上選擇的感興趣區域；圖漲描述裁剪到對應感興趣區域的消減圖像序列的電影環(cine-loop)顯示；圖6A描述低能量輻射圖像；圖6B描述高能量輻射圖像；圖6C描述組合的軟組織圖像；圖6D描述組合的骨圖像；圖6E描述低能量圖像感興趣區域內部的軟組織圖像；圖6F描述低能量圖像感興趣區域內部的骨圖像；圖7A描述在病變(lesion)周圍以方形感興趣區域的χ射線層析照相組合 (tomosynthesis)切片顯不；圖7B描述在圖7A切片上的感興趣體積的質心(centroid)，其中超聲採集中對應 感興趣體積的切片被顯示在感興趣區域內部。
具體實施例方式本發明布置將針對把某些模態用作其操作和功能的示例來進行描述。然而，顯而 易見，本發明布置還能與其它模態及其組合一起使用，尤其是在不脫離其精神和範圍的情 況下。例如，雖然示範實施例根據兩種成像模態描述本發明布置，但是任何數量的模態可被類似使用並且落入其精神和範圍內。現參考圖1，示出在第二模態圖像上顯示來自第一模態圖像的感興趣區域的方法 10。具體而言，方法10包括提供第一模態圖像12，在第一模態圖像上選擇感興趣區域14， 提供第二模態圖像16，以及將來自第一模態圖像的感興趣區域顯示在第二模態圖像上18， 此後方法10結束。現參考圖2，在第二模態圖像上顯示來自第一模態圖像的感興趣區域的單屏幕顯 示。具體而言，獲得第一模態圖像20和第二模態圖像22。第一模態圖像20和第二模態圖 像M可被單獨或者聯合獲得。任何情況下，在第一模態圖像20中或上標識感興趣區域M， 其可以是感興趣部位或感興趣體積，然後將其投射在第二模態圖像22上，使得投射在第二 模態圖像22上的感興趣區域M與第一模態圖像20中標識的感興趣區域M對應。現參考圖3，系統沈包括用於顯示第一模態圖像20、第二模態圖像22和/或感興 趣區域M的屏幕觀。具體而言，系統沈包括用於顯示圖像的屏幕觀，以及用於獲得受檢者 32的第一模態圖像20的第一模態成像系統30和用於獲得受檢者32的第二模態圖像22的 第二模態成像系統34。在該上下文中，第一模態成像系統30和第二模態成像系統34可為單 獨的成像模態系統，例如χ射線、超聲、核醫學成像(NM)、正電子發射斷層照相成像(PET)、 計算機斷層掃描成像(CT)和/或核磁共振成像(MRI)系統等，以及提供來自共同模態(例 如，來自共同模態起源的時移圖像或在不同能量級別的圖像)的多模態圖像00，22)，在該 情況下，僅為簡單起見將第一模態成像系統30和第二模態成像系統34概念性地圖解為單 獨系統(30，34)，使得由此在任一情況下提供關於受檢者32的多模態圖像00，22)。在任 何情況下，在第二圖像22上顯示描繪(delineate)第一圖像20中感興趣區域M的窗口。 具體而言，系統26包括在第一模態圖像20中標識感興趣區域M的部件36以及系統38，系 統38用於在屏幕28上將由第一模態成像系統30提供的感興趣區域M的圖像同時顯示在 由第二模態成像系統34提供的第二模態圖像22上。現將提供更詳細的示例。現參考圖4A-4C，不同屏幕顯示描述使用者可以利用具有2D成像能力的發明布置 在單個顯示器上觀看的圖像，其中2D成像能力具有多個能量級別(例如放射科醫師以不同 能量級別執行多次採集)。例如，在雙能量對比度增強數字乳腺造影術(CEDM)中，放射科醫 師能夠以不同能量級別執行患者的兩次不同採集。當回顧來自它們的此類影像時，放射科 醫師可首先檢查雙能量重組圖像以搜索示出增強對比度的任何可能區域，然後從低能量圖 像尋找組織結構信息。因此，例如在圖4A中，描述來自低能量掃描的典型低能量圖像50。 另一方面，在圖4B中，描述雙能量CEDM重組圖像52，其包括來自低能量掃描和高能量掃描 的影像。可見，放射科醫師能夠在重組圖像52中放置窗口以標識其中的感興趣部位54。然 後，能夠在圖4A的低能量圖像50中標識此同一感興趣部位54，因此低能量圖像50中與重 組圖像52中感興趣部位M對應的部分能夠被顯示在重組圖像52上標識的同一感興趣部 位56中，由此將組合圖像55顯示在圖4C中。相應地，來自低能量圖像50的同一感興趣部 位M被顯示在重組圖像52中，如圖4C所示。並且，如果放射科醫師在圖4B的重組圖像52 中反覆移動感興趣部位M，則來自圖4A的低能量圖像50的對應感興趣部位被持續更新並 且顯示在圖4C中。這樣，在單個顯示器上提供多模態顯示。現參考圖5A-5I，圖5A-5I描述能夠使用時間CEDM獲得的各種圖像。具體而言，在
5圖5A中描述表示向其引入任何對比度染料材料之前的胸部組織的屏蔽圖像58。此後，圖 5B-5E分別描述在後續時間間隔、、t2、t3和t4的不透明圖像，它們是在染料進入組織時在 連續時間間隔進行的圖像採集。圖5F-5I又分別描述從在、、t2、t3和t4的時間圖像中每 一個消減的圖5A中屏蔽圖像58。相應地，圖5J描述使用者在其中放置窗口以在圖5F中在 、的第一消減圖像上標識感興趣部位60的屏幕圖像。例如，使用者可能對評估那個特定感 興趣部位60的碘吸收進展有興趣。相應地，在圖5B-5E的每個不透明圖像中標識對應感興 趣部位60，可對它們執行每個不透明感興趣部位60與屏蔽感興趣部位的組合(例如，log 減法)。例如，在圖漲中，在窗口內將消減感興趣部位60連續顯示在始於圖5F中在、的 第一消減圖像的電影環62內部。現參考圖6A-6F，圖6A-6F描述本發明布置與輻射應用的典型使用。具體而言，例 如在雙能量輻射應用中，能夠分別從低能量和高能量圖像得到軟組織圖像和骨圖像。例如， 圖6A描述低能量χ射線圖像64，而圖6B描述高能量χ射線圖像66。圖6C描述組合的軟 組織圖像68，而圖6D描述組合的骨圖像70。在圖6E中，使用者已經交互地放置指示感興 趣部位72的窗口，並且在圖6F中，圖6D的對應骨圖像被顯示在該窗口中以便對感興趣部 位74進行交叉模態描述。在這個示例中，背景圖像是圖6C的軟組織圖像68，而僅在窗口內 部顯示與感興趣部位74有關的骨信息。相反的組成(reverse composition)也是可能的， 尤其是在需要和/或期望時。相應地，圖6C的軟組織圖像68和圖6D的組合骨圖像70的 組合能夠被同時顯示在單屏幕上。如果需要和/或期望，則還能夠通過本領域公知的技術 應用透明度限制(transparency constraints)以進一步增強影像。同樣，在第二模態圖像 中標識對應感興趣部位72的位置可需要剛性或彈性配準(registration)算法。也可需要 附加的手動配準(例如，像素位移)以進一步調整任何自動配準。最後，也可以使用自動化 系統來在不同模態的發現上放置窗口。如前所述，來自圖3的第一和第二成像模態(30，34)能夠為單模態應用，例如在單 模態中的雙能量採集，或者它們能夠為單獨成像模態系統。它們還能夠為二維OD)、三維圖 像(3D)和/或4維GD)成像模態，包括其任何各種組合。現參考使用具有兩個單獨3D模態的發明布置，例如，圖像可能需要被空間相關， 其中可採取以下步驟顯示從第一模態體積獲得的切片或切層(slab)；在第一模態圖像中 交互地放置描繪感興趣部位的窗口 ；計算對應於所選感興趣部位的初始感興趣體積；在第 二模態體積中標識對應感興趣體積；並且，然後將以下事物中之一或多個顯示到第一模態 圖像上選擇的感興趣部位中a)對於對應感興趣體積的切片圖像，切片集(或其子集)能夠被同時顯示在屏幕 28的另一部位上從而顯示感興趣體積中包括的信息。b)能夠通過組合相應感興趣體積的切片獲得切層。切層能夠通過沿ζ軸線應用最 大強度投影(MIP maximum intensity projection)算子(或者平均或任何其它合適變換) 來計算。切層還能夠通過考慮沿從源到檢測器的射線路徑的體元強度來計算。由此，對應感 興趣體積的切層或3D顯示取決於位於沿與從虛擬源延伸到虛擬檢測器的射線路徑平行的 方向的多個像素或體積元素的強度級別的最大值、最小值、平均值或任何數學組合中之一。c)對於若干照相機位置的對應感興趣體積的3D顯示能夠通過使用MIP算子(或 者平均或任何其它合適變換)來獲得。例如，在層析照相組合的具體情況中，3D視圖能夠被限制到有限角度範圍(例如翻滾視圖(tumble view))從而避免顯示太多重建偽像。如果 需要或期望，則角度範圍能夠與採集系統的孔徑角度相關聯(link)。那麼，例如，如果多個體積的圖像沒有被直接空間相關，則能夠使用剛性或彈性配 準算法來在第二模態體積中標識對應感興趣體積。第一模態感興趣體積還能夠手動或使用CAD系統自動定義。例如，當使用CAD系 統時，感興趣體積的位置、寬度、高度和深度能夠被自動定義。另一方面，在被手動定義時， 感興趣體積的寬度和高度能夠從顯示第一模態切片或切層、例如通過移動2D窗口的拐角 (corner)來確定。至少幾種例如如下的確定感興趣體積的深度的方法是可能的a)能夠在垂直於切片平面的視圖上確定深度。然而，使用這些視圖，由於有限的採 集角度，重建偽像能夠使信息內容降級。b)能夠在指示病變的開始切片和結束切片中設置ζ-最小值和ζ-最大值。例如， 放射科醫師可仔細檢查來自第一病變切片的感興趣體積，然後激活選項以便將其存儲。隨 後，放射科醫師也可以指出病變的最後一個切片，並且在通過空間相關圖像平面安排順序 之後將其存儲。c)還能夠將深度設置為對應於病變平均尺寸的默認值。d)還能夠將深度定義為與第一模態切層的厚度相等。e)還能夠將深度定義為窗口的寬度和/或高度的函數。在此情況下，例如，能夠利 用感興趣病變的準各向同性(quasi isotropy)。例如，在例如使用方形窗口的特定實施方 式中，在認為深度等於寬度和高度時能夠定義對應感興趣立方體積。則當前感興趣切片可 以對應於感興趣體積的中心切片。現參照圖7A-7B，圖7A-7B描述本發明布置與層析照相組合應用的典型使用。具體 而言，在回顧χ射線重建體積時，使用者可交互地放置例如圖7A所示的方形窗口，以便在當 前切片或切層上描繪感興趣部位76。則能夠從感興趣部位的位置推斷感興趣體積。感興趣 體積的厚度能夠被使用者進行調整(例如，將默認深度的值設置成等於切層厚度或平均病 變厚度)。此後，能夠計算超聲體積中的對應感興趣體積。因此，使用者能夠檢查對應感興 趣體積的切片或請求在2D窗口 78內部的感興趣體積的3D顯示，如圖7B所示。那麼，在實踐中，例如能夠用可選分割(segmentation)算法來顯示感興趣體積， 以便加亮病變或顯示被分割病變的表面和/或體積透視圖(rendering)。感興趣體積還能 夠通過使用高解析度飛行中(on-the-fly)重建算法來可選地增強，從而計算初始和對應 感興趣體積的組合。也能夠按體積同時定義若干感興趣體積。應用在感興趣體積上的任何處理以及顯 示在2D窗口的結果(例如，具有MIP/平均的切層、電影環、增強的重建標準或高解析度3D 視圖和/或分割的體積)也能夠被輸出，以供編輯、列印和/或包括在使用標準圖像或視頻 格式的展示中，全部通過本領域公知的技術進行。經處理的感興趣體積也能夠被個別地輸 出，如同能夠在按體積指示相對位置的單個圖像(例如，在重投影(re-projecting)感興趣 體積幀)中輸出一樣。用於檢索(retrieve)經處理感興趣體積的信息(例如，感興趣體積的位置，應用 的處理技術等)也能夠作為保存狀態輸出，用於在回顧工作站或PACS系統上的回顧。可由放射科醫師和/或CAD系統提供的與感興趣體積有關的附加信息(例如，發現類型(大量 微鈣化或微鈣化(microcalcification)簇)，BI-RAD碼，病變尺寸，等)也可以隨其它感興 趣體積信息輸出。作為附加示例，在將層析照相組合與2D採集(2D採集可以來自在層析照相組合掃 描期間採集的特定投影的在前採集)進行比較時，使用者能夠在層析照相組合體積的當前 切片或切層中交互地放置描繪感興趣部位的窗口。2D採集中的對應感興趣部位能夠通過依 照0°源位置(即垂直於檢測器)重投影感興趣部位邊界來自動計算。此類重投影操作能 夠說明由於系統幾何結構引起的擴大。還可以執行附加的手動和/或自動配準，並且對應 感興趣部位的內容能夠被顯示在當前切片或切層上的窗口內部。在此示例中，顯示在屏幕 上的背景圖像可以是層析照相組合切片或切層。2D在前信息能夠被顯示在窗口內部，如同 相反應用一樣。並且最後，能夠使用CAD系統來沿Z軸線標識病變的位置。本領域技術人員將輕鬆領會到能夠對本發明布置進行許多適配或修改，包括在共 同屏幕或顯示器上顯示多模態信息，這將產生落入其如隨附權利要求書定義的精神和範圍 的附加布置。相應地，本發明布置僅由隨附權利要求書及其等效限定。附圖標記10 方法12提供第一模態圖像14在第一模態圖像上選擇感興趣區域16提供第二模態圖像18將來自第一模態圖像的感興趣區域顯示在第二模態圖像上20第一模態圖像22第二模態圖像24感興趣區域26 系統28 屏幕30第一模態成像系統32受檢者34第二模態成像系統36 部件38 系統50低能量圖像52重組的圖像54感興趣部位(ROI)55組合的圖像56感興趣部位(ROI)58屏蔽圖像60感興趣部位(ROI)62電影環64低能量χ射線圖像
66高能量χ射線圖像
68軟組織圖像
70組合的骨圖像
72感興趣部位(ROI)
74感興趣部位(ROI)
76感興趣部位(ROI)
78窗口
權利要求
1.一種顯示被成像受檢者的圖像數據的方法(10)，包括提供第一模態圖像(12)；在所述第一模態圖像中選擇感興趣區域(14)；提供第二模態圖像(16)；以及將來自所述第一模態圖像的所述感興趣區域顯示在所述第二模態圖像上(18)。
2.權利要求1所述的方法(10)，其中來自所述第一模態圖像的所述感興趣區域(14) 被疊加在所述第二模態圖像(16)的同一感興趣區域(14)上。
3.權利要求1所述的方法(10)，其中所述第一模態圖像(12)選自由二維QD)圖像、 三維(3D)圖像和四維GD)圖像組成的組。
4.權利要求1所述的方法(10)，其中所述第二模態圖像(16)選自由二維QD)圖像、 三維(3D)圖像和四維GD)圖像組成的組。
5.權利要求1所述的方法(10)，其中所述第一模態圖像(1 和所述第二模態圖像 (16)源自共同模態系統。
6.權利要求1所述的方法(10)，其中所述第一模態圖像(1 和所述第二模態圖像 (16)源自不同模態系統。
7.一種用於顯示被成像受檢者(3 的圖像數據的系統(沈)，包括屏幕(28)；第一成像模態(30)，提供第一模態圖像00)；第二成像模態(34)，提供第二模態圖像02)；選擇器(36)，在所述第一模態圖像OO)中選擇感興趣區域(M)，其中所述屏幕08) 將來自所述第一模態圖像OO)的所述感興趣區域04)顯示在所述第二模態圖像0 上。
8.權利要求11所述的系統(沈)，其中所述屏幕08)顯示在所述第二模態圖像02) 的同一感興趣區域04)上疊加的來自所述第一模態圖像OO)的所述感興趣區域04)。
9.權利要求11所述的系統( )，其中所述第一成像模態(30)選自由二維QD)成像 模態、三維(3D)成像模態和四維GD)成像模態組成的組。
10.權利要求11所述的系統( )，其中所述第二成像模態(34)選自由二維QD)成像 模態、三維(3D)成像模態和四維GD)成像模態組成的組。
全文摘要
方法(10)和系統(26)在單屏幕(28)上提供從屏顯受檢者(32)時使用的多個模態(30，34)獲得的圖像(20，22)的集成顯示。該方法和系統可與2D、3D和4D成像一起使用，由此單屏幕(28)顯示來自第一模態(30)的屏幕圖像(20)。描繪感興趣區域(24)的窗口被放置在來自第一模態(30)的第一模態圖像(20)上，並且然後將這個感興趣區域(24)放置在來自第二模態(34)的第二模態圖像(22)上，因此通過兩種模態提供代表感興趣區域(24)的組合圖像。優選地，第一模態圖像(20)與第二模態圖像(22)對應和/或相關。
文檔編號G06F3/048GK102117180SQ20101062514
公開日2011年7月6日 申請日期2010年12月30日 優先權日2009年12月30日
發明者S·L·W·穆勒, S·貝爾納, V·S·波爾庫斯, X·布舍夫羅 申請人:通用電氣公司