用於綜合的多尺度3d圖像文檔編制和導航的方法與裝置的製作方法

2023-10-27 22:01:22

專利名稱：用於綜合的多尺度3d圖像文檔編制和導航的方法與裝置的製作方法
技術領域：
本發明涉及3D圖像文檔編制(document)。更具體地，本發明涉及一種計算機控制的圖形用戶接口，用於利用嵌入圖形對象(EGO)的網絡，對3D圖像進行文檔編制和導航。
背景技術：
隨著3D數據圖像為手邊的具體任務，提供更多的信息和更豐富的分析背景(context)，它們在各種應用領域中正在變得通用。在許多領域比如臨床放射醫學和病理學(這裡，圖像判讀和分析是基本的，並且包括各種學科的專門技術)中，在各種個體之間共享新建的圖像知識變得至關重要。但是，利用現有技術難以獲得有效的共享，因為它包含應用多個複雜步驟，這使得共享過程相當耗時和易於出錯。傳統的圖像知識綜合策略通常包含如下步驟的組合選擇一個或多個可視化透視圖；從這些透視圖中提取一些瞬像(snapshot)；手動/自動識別將從這些透視圖中進行文檔編制的結構；在書面報告中插入這些瞬像，該書面報告描述了在圖像中觀察到的這些結構；以及將報告和原始數據獨立歸檔，用於進一步查閱和/或管理。
這些步驟大大減少了可用信息量，並且將信息限制於由用戶任意限定的透視圖。而且，這些報告以及不相關和分散信息存儲的靜態屬性，連同前述缺陷一起，所有這些對於有效的信息檢索構成了障礙，並且使得該過程僅在不需要或幾乎不需要在先前進行的分析上返回的情況下才有價值。但是，在許多領域比如醫學(臨床放射醫學和病理學等)、工程學、結構生物學和化學等中，為了分析3D圖像，需要在專家之間進行持續的交互。在這種需要頻繁查閱先前進行過的分析的背景下，減少與信息綜合和共享相關聯的差錯和研究時間變成關鍵問題。然而，不開發出新穎的綜合方法，利用傳統的知識綜合策略，就無法應對該問題。
許多知識管理(KM)系統(比如心智映射軟體)已被開發用於組織和映射包括圖像知識信息的觀察信息。這些系統遵循基本、眾所周知、分級和/或關聯的方法，以在網絡表示(representation)之內將信息部分互連。
改進知識表示過程的代表性嘗試在美國專利號5,812,134中有所描述，其公開一種用於對資料庫內所含信息進行交互表示的用戶接口導航系統與方法。該系統將信息資料庫的組織圖形地描寫為三維「分子(molecule)」，這些分子由連接節點的結構平行「線(thread)」組成，每個節點包含整個資料庫的具體方面。在給定的線之內，共享主題共性的組成節點被排列為自然線性級數，該級數反映了該線所代表的信息主題的組織結構，由此向用戶提供可視化嚮導，該嚮導建議了待觀察的節點的適當序列。
向計算機用戶一致地表示大量互連信息的另一嘗試在美國專利號6,037,944中有所描述，其公開一種用於從思維(thought)透視圖中顯示思維網絡的計算機用戶接口導航系統。該系統利用關聯的思維網絡，組織和表示數字存儲的思維。顯示了思維網絡的圖形表示，包括與這些思維相對應的多個顯示圖標和與這些思維之間的關係相對應的多條連接線。用戶能夠通過與該圖形表示進行交互，選擇當前思維，並且通過自動示出與當前思維相關的思維和/或通過以透明的方式調用(invoke)與當前思維相關聯的應用程式，處理當前思維。
儘管上述途徑應對了分散數據的可視組織和動態表示的一些挑戰，但是它們的區別特徵僅在於在傳統的知識綜合體系之上疊加了高級表示機制。因此，這些工具仍限於對分離、靜態和任意限定的信息段(報告、圖像瞬像、電子表格、視頻等)進行處理後的管理。作為它們內部體系的結果，這些方法還限於傳統的文檔編制優良的心智映射導航途徑，信息網絡的節點被作為知識管理系統的連續中心焦點而運用於其中。
這些限制使得現有技術的知識管理系統不適於應付高解析度多維圖像分析所產生的日益複雜和大量的信息。為便於許多用戶進行管理，這些分析需要多種方法，這些方法能夠在分析過程的每個步驟中實現源數據和提取信息的連續、多向、動態的連結。為實現這一點，需要提出新的解決方案，以便應付多維圖像分析應用程式所帶來的特別疑難。
因此，對於改進的多維圖像分析應用程式存在著需要。

發明內容
本發明涉及3D圖像文檔編制。更具體地，本發明涉及一種計算機控制的圖形用戶接口，用於利用嵌入圖形對象(EGO)的網絡，對3D圖像進行文檔編制和導航。
來自3D圖像的任何場景、透視圖或視圖平面，能夠被視作本發明的背景(context)之內的中心焦點。該新焦點是這樣的主軸，其確定了信息網絡的哪個子集對於用戶將是可訪問的。因此，提供了一種有效和完整的綜合方法用於通過將信息網絡在3D圖像的參考空間幀之內明確地嵌入信息網絡，對所述3D圖像進行文檔編制；通過組合2D和3D表示方式，優化與3D圖像有關的嵌入信息網絡的可視表示；以及通過組合利用嵌入信息網絡、分等級的多尺度圖像分段和非線性體積切片，對3D圖像進行多尺度導航。
因此在本發明的方案中提供一種用於注釋3D圖形數據對象的方法，該方法包括識別該圖形數據對象的至少一個空間位置或區域；提供與該至少一個空間位置或區域相關聯的注釋信息，該至少一個空間位置或區域和該關聯注釋信息形成嵌入圖形對象(EGO)；定義該圖形數據對象的視圖；以及產生該圖形數據對象的視圖的顯示和至少一些EGO在預期視圖之內的顯示。
該方法還包括定義EGO之間關係的關聯連結數據。
在本發明的另一實施例中，提供了一種用於注釋3D圖形數據對象的方法，在該對象中，該EGO包含表示對象編輯操作歷史的數據。
在本發明的另一方案中，提供了一種用於注釋3D圖形數據對象的方法，該方法還包括數據挖掘搜索能力，其中該搜索是在資料庫上進行的，這些資料庫含有EGO或與圖形數據對象相關的其他信息。
在本發明的又一方案中，提供了用於自動識別圖形數據對象之內的空間位置或區域的方法。
在另一實施例中，提供了一種用於顯示3D圖形數據對象的方法，該方法包括通過在3D中進行操作，以在圖形數據對象之內調適3D對象，定義關於3D圖形數據對象而言所涉及的非平坦3D表面。
在本發明的又一方案中，本發明的方法可被轉化為電腦程式產品，這對於本領域技術人員是顯而易見的。


從結合附圖的如下具體描述中，本發明的進一步特徵和優點將變得明顯，在附圖中圖1是本發明的方法實施例的流程圖；圖2是具有關聯EGO的圖形數據對象的實施例；圖3是具有關聯EGO的圖形數據對象的實施例；圖4是具有關聯EGO的圖形數據對象的實施例；圖5是將EGO「對齊(snap)」到表面時所涉及的步驟流程圖；圖6是形態關聯注釋中的步驟流程圖；圖7A是錐體(frustrum)中的數據對象；圖7B是錐體中的數據對象，示出了用戶定義輪廓；圖7C是錐體中的數據對象，示出了延伸於3D中的用戶定義輪廓；圖7D是錐體中的數據對象，示出了橫穿(intersect)輪廓子體積；圖7E示出最終的關聯子體積；圖8是自動圖像注釋過程的實施例的流程圖；圖9是本發明的系統實施例的圖；圖10說明信息存儲子系統的實施例；圖11是在信息處理上返回時所涉及的步驟的實施例流程圖；以及圖12是在信息處理上返回時所涉及的步驟的另一實施例流程圖。
請注意，在整個附圖中，類似特徵用類似標號表示。
具體實施例方式
下面為本發明定義了如下術語。
術語「場景(scene)」是指被考慮的3D圖像的圖形表示，其中所述圖形表示可通過多個操作來實現，這些操作產生所述圖像的修改後視圖，其目的是強調所述圖像的特定結構或部分。場景還包括各種屬性的圖形對象。
術語「視圖(view)」是指3D圖像的具體表示。術語「視圖」可與術語「場景」交換使用。
術語「EGO」意指「嵌入圖形對象」，其是3D圖像的參考3D幀中所併入的2D或3D象形圖(pictograph)。
術語「A-EGO」意指「附屬EGO」。附屬EGO是與3D圖像之內的可視結構直接相關聯的EGO。A-EGO能夠與具體視圖或場景之內的可視結構相關聯。
術語「F-EGO」意指「浮動嵌入圖形對象」。該具體類型的EGO併入與圖像、視圖或場景之內的可視結構不相關的每個EGO。注意，如果A-EGO將與當前場景中的結構不關聯地被顯示，則能夠臨時變成F-EGO。
術語「HROI」意指「感興趣的分級區域」。HROI是3D圖像的多級3D區域化在3D圖像之內可定義一個或多個感興趣的3D區域，其中感興趣的3D區域還可包括一個或多個感興趣的3D區域。每個子區域與它自身的尺度域(scale domain)相關聯。
術語「尺度域」意指3D圖像的「縮放等級」，在該縮放等級下，圖像之內的對象和這些對象的屬性能夠明確地可見，而無需進一步縮放以同時觀察對象和屬性。
術語「分段」和「圖像分段」意指對圖像之內的對象進行手動或自動識別、描繪和定量。
按照本發明，提供一種用於注釋3D圖形數據對象的系統與方法，其有利於與3D圖形數據對象相關聯的知識管理和3D圖形數據對象的可視化。該系統和方法還有助於與正在被分析的3D或更高維數圖像有關的信息的交換和背景綜合。
在本發明的廣義方案中，提供一種多維數據可視化系統與方法，其涉及矩陣數據、多媒體信息、矢量信息和圖形對象。矩陣數據是將被可視化的圖像/體積(例如MRI醫學數據)。多媒體信息是用戶添加或自動添加的與正在被分析和可視化的圖像之內的特定結構相關聯的背景或全局(global)知識(例如描述腫瘤的音頻音符)。矢量信息添加可與圖像數據本身相關聯的或者可用作交互工具的表示附加層。矢量信息涉及所有圖形數據，這些圖形數據將利用「矢量渲染(render)」(計算機圖形中的通用術語)來顯示。
在本發明的實施例中，提供一種方法，其中提供了多媒體信息，並且這些多媒體信息與3D圖形數據對象的空間位置或區域相關聯，以形成嵌入圖形數據對象或EGO。由此參照圖1，首先在步驟10定義空間位置或區域，並且在步驟12自動提供或用戶提供與該區域有關的信息，並且該信息與該區域相關聯以形成EGO。然後在步驟14定義該圖形對象的視圖，並且在步驟16產生具有一個或多個EGO的視圖顯示。
嵌入圖形對象(EGO)是一種手段，該手段可視地識別正在被可視化的多維空間之內所綜合的背景知識，並且這些嵌入圖形對象用作通往它們的底層多媒體內容的接口。顧名思義，EGO是象形圖元素(圖標)，它通常可自由定位和保存於一部分3D圖像之內和/或圖形監視器之內，並且表示多媒體信息結構。通過EGO，可查閱現有信息和添加新信息。在本發明的實施例中提供兩類EGO附屬EGO(A-EGO)和浮動EGO(F-EGO)。
A-EGO是位於參考3D幀之內的具體坐標處的EGO。它們優選地連結到體積之內的特定體元(voxel)、線條、多邊形或多面體。A-EGO的任務是將該體積之內的可視結構(比如分段對象、可視圖形對象和/或感興趣的分級區域(HROI，下面將進一步限定)進行文檔編制。例如，與這類EGO的交互能夠實現對其相關的感興趣的多媒體信息容易進行存取。
F-EGO是在特定場合或時間下與在精確坐標處的具體圖像結構(體元等)不直接連結的EGO。F-EGO非限制性地指代分析方案、特定場景或視圖、網站或任一相關信息段，其不在該體積本身之內或者不能空間定位於參考幀之內。
F-EGO的實例是與先前創建和保存的場景或視圖有關的F-EGO。在這種情況下，F-EGO用作到達該場景/視圖的捷徑。當用戶通過該F-EGO來導航時，從該特定F-EGO所涉及的場景或視圖的透視圖中顯示新的圖形表示。
應當認識到EGO能夠具有各種象形圖表示。在實施例中，將A-EGO象形圖定義為稜錐(20)。圖2是示出具有A-EGO22和F-EGO24的心臟20的實例。計算機產生的表面26也在心臟20之內被示出。這樣的幾何象形圖表示允許通過對圖像中的結構進行定向，從而該稜錐的點指向(point)該結構的方向，來精確地瞄準(target)該結構。而且，這樣的象形圖有助於和加速用戶對該EGO的視覺識別。為了區分F-EGO和A-EGO，利用不同的幾何形狀。由於F-EGO不專門瞄準結構，所以該指向元件變得不重要，為此使用了立方體用於F-EGO的象形圖。圖3示出了A-EGO的又一實例，其中示意性地表示血管30、動脈瘤32和A-EGO34。
在本發明的另一方案中提供一種知識管理系統，它實現多媒體信息的構建/記錄、以及這些信息與多維圖像之內的具體背景/區域之間的關聯。這些多媒體信息可通過整合文本文檔編制、音頻文件、圖像和視頻來構建。新信息的記錄可通過電子數據捕捉來交互地實現用於音頻信息的數字音頻記錄，以及用於文本信息的標準鍵盤輸入。而且，多媒體信息能夠在與專門化算法相關聯時自動產生。多媒體信息與圖像之內的空間背景之間的關聯可通過在3D圖像的參考幀中空間地定位圖形對象、並且通過將合適的信息與這些圖形對象相關聯來實現。
在本發明的另一方案中，提供空間和語義(semantic)導航功能性。空間導航能夠以多種方式進行。例如，如本發明的實施例所述，通過對體積之內的3D表面(平面或非線性)進行操作或與這些3D表面進行交互。語義導航包括了橫越語義關聯EGO的網絡，允許對3D圖像之內的信息和關聯背景結構進行探查。
在空間-語義尺度連續區(continuum)中，該信息能夠被劃分為其位置的函數，這有利地允許顯示所需信息和避免顯示多餘或不必要的信息量。3D圖像能夠被分段為「感興趣的等級區域」(HROI)以產生尺度域。該分段使得用戶聚焦於3D圖像在具體尺度域處的特定部分，因此僅考慮感興趣的信息。
在此，當用戶開始分析圖像時，可定義一個或多個空間-語義尺度域。例如在特定實施例中，可對三種次級信息進行文檔編制區域、對象和對象屬性。區域可被看作體積的一部分，該部分在預期的分析尺度下對於用戶具有重要意義，並且從使用者的觀點看，該部分含有在預期尺度下表示的一或多簇對象。
在又一實施例中，用戶通過顯示第一當前HROI以及當前HROI之內所嵌入的每個HROI，選擇具體尺度域。然後，用戶利用指針(cursor)/控制裝置，從可用的HROI中選擇新的當前HROI。該操作可在圖形窗口中和/或在繼承圖形窗口中進行，該窗口示出多個HROI之間的關係，這些HROI定義了3D圖像中的空間分級分段。在本發明的實施例中，HROI是矩形形狀。
3D圖形數據對象的等級細分使得特定屬性簇與具體尺度域而非整個圖像相關聯，例如，這允許用戶在兩個不同尺度下表示同一3D圖像區域，以及允許用戶將每個尺度域與它自己的視圖、注釋和嵌入圖形對象相關聯。
視圖能夠這樣被創建，通過從正在被可視化的3D圖像中選擇體元子集，並且隨後修改所選體元的頻譜屬性。該光譜修改可以是各種性質的，比如但不限於透明度水平的變更或對比度的變更。修改體元子集的頻譜屬性以創建場景的這些手段是多樣的，包括但不限於橫穿3D圖像的3D表面、體元閾值(threshold)和對象分段方法。
可通過這樣的過程來產生視圖，該過程自動或手動定義3D圖像之內的線性(平面)或非線性表面幾何、尺寸、方向和定位。一旦被綜合和顯示於該體積之內，用戶能夠手動修改該表面的屬性和參數(也能夠是自動過程)，這會直接影響3D圖像和3D表面的圖形表示。利用該方法，可通過僅顯示橫穿該表面的該部分3D圖像，創建場景。利用該3D表面，也可通過去除駐留於該表面之前或之後的該部分體積來產生場景，這允許觀察到3D圖形數據對象的子體積。去除該部分體積的過程被標註為術語「切片(slicing)」。
該體積橫穿表面是一種工具，其用於以自動化或手動(交互)的方式進行空間體積導航、以及用於場景創建。
該3D表面是對連續數學表面方程的離散逼近(approximation)。能夠以多種方式實現連續函數的離散化。在本發明的實施例中，可利用薄板樣條(thin plate spline，TPS)來獲得離散表面，其為等效於樣條曲線的3D。該TPS利用控制點集，可從其產生平滑表面逼近。
基於先前信息，該數據結構利用矩陣集存儲這些控制點。通過僅存儲與表面相關聯的這些控制點，極大減少了該系統用以生成該表面的信息量。當顯示該表面時，該TPS函數從控制點的集合中產生完整的表面。
在本發明的又一方案中，可使表面變形，以使導航和場景創建過程儘可能直觀和靈活。該變形過程能夠源自於用戶指令或者能夠被自動化。
用戶產生的表面的變形能夠以各種方式實現，比如(但非限制性)基於參數的變形、屏幕上的視覺變形等。在基於參數的方式中，用戶指定參數集，比如控制點的空間移位，這將造成表面變形。
屏幕上變形的過程是高度直觀的。該方法允許用戶通過簡單地使用控制裝置，比如計算機滑鼠，使表面的變形過程在圖形顯示中可視化，以空間移位該表面的控制點。這是實時的過程，意味著控制點的移位立即改變表面幾何，在這樣的情況下，這些變化在圖形顯示中被立即顯示。
自動化的表面變形過程能夠與分段算法一起結合使用。這些算法從3D圖像中提取信息，該信息隨後被用來獲取對體積結構的洞察。接著，該結構信息被用來設定表面參數。該自動化的表面變形過程可利用各種資源的信息，以自動和適當地「用參數表示(parameterize)」該表面。
在表面變形過程中引入表面張力(tension)，以提供變化的變形程度。表面變形和張力的概念在(3D studio Max等軟體所使用的)3D計算機輔助設計領域中是公知的。如果該表面具有零張力，則控制點的移位不會對鄰近控制點產生影響，其僅產生局部變形。另一方面，通過設定張力的特定水平，控制點的移位在這種情況下將對鄰近控制點的空間定位產生直接影響。為了提供靈活性，該張力能夠按照選定的函數比如(但不限於)指數函數來修改。
該表面解析度(resolution)將表面變形的精確度控制到特定程度。通過增加解析度，控制點的數量有所增加，允許更為精細的表面變形。表面解析度的變化可以是局部或全局性質的。解析度的局部變化是通過相對於當前控制點而言在定義的鄰近區域之內添加特定數量控制點來實現的。該解析度的局部變化在該表面的特定區域之內允許更為精確的變形。對於解析度的全局變化，控制點的數量在整個表面上有所增加。解析度的變化可以是等方向性或各向異性的，並且遵循特定的分布函數，比如(但不限於)高斯分布。
除了在先前段落中所述的「彈性」變形之外，該表面能夠受到剛性(rigid)變更，比如旋轉和平移(translation)。該過程可通過對整個表面數據結構上進行平移來實現。
按照它們的頻譜值，場景可通過自動或手動限制(threshold)所選體元來產生，從而閾值可限定將顯示哪些體元。在這種情況下，新產生的場景由原始體積的體元子集構成。
3D圖像之內的具體對象/結構能夠被自動或手動分段，以允許去除它們，或者可選地允許強調這些對象/結構，從而創建精確和/或定製(custom)的場景。因此，該方法允許手動/自動創建僅含有相關信息的場景。
一旦定義了場景，它可存儲於資料庫(場景資料庫)中，從而關聯於該場景的每個元素被永久保存。這使得能夠在以後檢索和可視化場景。
對於3D圖像的空間導航空間導航允許漸進和直觀的體積可視化。該過程利用一個或多個可變形或不可變形的表面。
這些表面允許用戶通過簡單交互(比如平移、旋轉和變形)動態可視化體積各部分。通過以連續方式對表面進行局部/全局剛性更改或變形，實現正在被顯示的空間背景中的漸進變化。該漸進變化使得用戶以平滑和連續方式一次性可視化3D圖形數據對象的某一區域，由此實現體積之內的空間導航。
通過利用一個或多個不可變形的線形表面(平面)、一個或多個非線性的可變形表面、或其任意組合，可實現空間導航。
基於平面的可視化為具體的背景或應用程式提供感興趣的標準剖視圖，並且提供用戶所熟悉的工具。
另一方面，基於可視化的可變形表面提供了獲得極具價值的複雜剖視圖的手段。它們的非線性幾何允許圍繞特定的結構，該結構並不感興趣或者在特定場合下隱藏了該體積之內的有關結構。
通用關聯連結(GAL)EGO能夠被連結，以形成EGO網絡。由於在EGO之間存在可變屬性的關聯連結，因此定義了「類屬(generic)」型連結，具體的類型能夠從該連結中繼承。
具體關聯連結的類型可以是(但不限於)因果性或近似性的。在醫學圖像的背景中，「因果性」關聯可有利地用於強調，被考慮的結構可能是另一結構所造成的。例如，主動脈縮窄可能對心臟的心室造成嚴重損傷。從這一點來看，在注釋(annotate)大動脈和心室的兩個EGO之間創建連結變得可能，損傷和不規則性在這裡是可見的。新創建的連結可分配有預設類型，比如基本類屬類型，或者由用戶定義或自動定義為任一具體類型。
GAL可被圖形表示，其直接示出了EGO之間的相互關係。而且，由於可同時顯示多類連結，需要提供用於連結類型區分的方法。在實施例中，關聯連結由位於3D參考幀之內的圖形線條來表示，如圖4所示，其中A-EGO34被連結到與血管44上的動脈瘤42有關的A-EGO40。利用單獨的色彩，可區分不同類型的連結。例如，附加信息(比如象形圖)可被添加到該線條顯示，並且提供定向提示。
應當認識到，作為EGO之間關聯連結數據的功能(function)，能夠實現(effect)對EGO進行選擇，用於與關聯視圖一起顯示。
創建新的EGO 優選地，通過與圖形窗口直接交互，創建新的EGO。首先，用戶要麼通過手動或自動生成圖像的期望視圖(比如通過圖像分段)定義當前場景，要麼對於被考慮的圖像，在註冊的場景列表中選擇現存的場景。通過簡單地限制該圖像和顯示保留的像素/體元，或者甚至通過簡單地不加修改地渲染該圖像，來產生場景。一旦在圖形窗口中顯示期望的場景，用戶通過激活EGO按鈕並且隨後將新建EGO交互地定位於圖形窗口之內，來創建新的EGO。在具體實施例中，通過新的3D圖像注釋機制，有助於EGO在3D圖像之內的定位。
該圖像注釋機制包括對齊機制，該機制將EGO自動對齊到一橫穿3D網格(mesh)表面。通過與網格表面垂直地自動定位EGO，該機制有助於EGO的定位。該過程是實時的，並且在EGO在該圖像的3D網格表示之內移動的同時進行，這進一步有助於EGO的定位。參照圖5，能夠在步驟50中產生場景，在步驟52中產生網格渲染，並且在步驟54中創建和/或顯示EGO。
該注釋對齊過程可包括3個主要步驟■在步驟56中將2D(x，y)屏幕坐標轉換為3D(x，y，x)視區(viewport)空間坐標；■在步驟57中進行網格射線拾取操作；■在步驟58中進行交叉點(intersection point)檢測。
當用戶在顯示有圖像網格表示的屏幕之內，定位一指示裝置，比如滑鼠光標時(步驟55)，發生第一步驟。2D到3D的轉換是必需的，以便識別3D圖像之內的對應坐標。在該轉換之後，在3D圖像之內應用光線拾取算法，以便識別光標和3D圖像網格的最近交叉點。最近的檢測交叉點隨後被用作對齊點，EGO在這裡被自動定位。
該注釋系統基於渲染器(renderer)的視區(viewport)錐體70的線性代數性質(圖7A至7E)。就3D空間而言，該錐體是通過照相機當前可見的空間區域。該視圖錐體是空間體積，其包括從給定視點當前可見的一切。它由六個平面限定，這些平面以頂點被砍掉的稜錐形狀排列。如果點在該體積之內，則它在該錐體中並且可見。如果點在該錐體之外，則它是不可見的。「可見」意味著所有結構(比如結構72)都是潛在可見的。例如，一結構可能在遮住該結構的另一結構之後，但是它仍在該錐體中。
第二方案是自動形態關聯。該機制將EGO自動地關聯於該EGO被定位於其上的圖像子體積中。該過程是實時的。其目的是提供執行基於形態的注釋數據挖掘的可能性。
用戶注釋和形態關聯過程由如下步驟組成■用戶在顯示器上繪出2D輪廓74，其表示感興趣的投影區域；■隨後該輪廓從屏幕坐標轉換為錐體附近平面上的視區坐標；■然後該視區中所表示的輪廓在視區空間錐體中延伸，以形成體積(76)；■然後執行橫穿操作，以修剪(clip)位於該體積內部的數據集的子集78；■沿著數據集網格表示的至高點的(視區空間的)z軸，計算空間分布；■在渲染期間利用它們的z緩衝測試結果，衡量(ponder)該分布的元素；■計算該空間分布的最大值(Vm)；■保留該空間分布的元素，這些元素在寬度(W)的典型高斯分布之內適合(fit)；■該分布的這些元素所表示的數據集子區域79被關聯於對應EGO，其中所述子區域代表EGO的關聯形態。
這些步驟在圖6中被總結為步驟61至68。
依照這些步驟，該系統簡單地保存關聯的形態信息，並且將其與所考慮的EGO相關聯。
去除EGO能夠通過與圖形場景直接交互，從場景或EGO網絡中刪除現有EGO。用戶首先將圖形光標覆蓋於期望的EGO上，然後按下控制按鈕。然後，給予用戶去除該EGO的選擇。用於刪除EGO的另一手段是通過瀏覽或搜索EGO列表，並且從該列表中刪除所考慮的EGO。在優選實施例中，在從圖形窗口或列表中刪除EGO之後，該系統自動校驗與所選EGO相關聯的任何GAL的存在。在這樣的事例中，從EGO網絡和圖形窗口中去除與所刪除的EGO相關聯的GAL。
應當理解，EGO可作為獨立實體存在，即與其他EGO不具有關聯性。
可圖形連結或利用基於文本的方式來連結EGO。對於圖形連結EGO，用戶可通過在圖形窗口(該圖形窗口隨後顯示「屬性」對話框)之內點擊第一EGO，定義兩個EGO之間的連結。從該對話框中，用戶可從列表中選擇當前EGO將要連結到的EGO。下一步驟要求用戶選擇類屬關聯連結的類型，該類型定義新創建的連結。通過點擊第一EGO、然後將滑鼠光標拖動至第二EGO，也能夠圖形連結兩個EGO。
在用戶要麼利用圖形方式要麼利用文本方式交互地進行連結EGO的同時，也可利用自動化的連結方法。後者能夠利用算法來定義EGO之間的各類網絡關係。該算法所用的判據(criterion)可為(但不限於)語義或空間信息。例如，對於空間彼此接近的結構進行文檔編制的EGO可通過「鄰近性」類型的GAL來連結。這種自動化的方法特別地有用，因為它們允許從一個或多個3D圖像和從相同或不同場景來連結不同EGO，而無需用戶幹預。
刪除兩個現有EGO之間的連結用戶能夠在任何時刻去除兩個現有EGO之間的連結。該操作優選地通過與圖形場景直接交互來進行。用戶首先將圖形光標覆蓋於期望的GAL上，然後按下控制按鈕。然後，給予用戶去除該連結的選擇。另一機制是在多媒體信息面板之內刪除連結，從此之中，GAL從EGO網絡中和從圖形窗口中被去除。
將EGO關聯於場景定義和/或選擇場景可允許用戶可視化3D圖像的一部分以及其關聯EGO和GAL。將EGO與場景相關聯的過程對於實現對3D圖像的有效導航來說是重要的。能夠以幾種方式實現EGO與特定場景的相關聯。在本發明的實施例中，該系統利用自動化的算法「插件」，將現有EGO自動地關聯於場景。該預設算法在EGO資料庫中搜尋每個A-EGO，該A-EGO與定義場景的3D表面相交。每當創建新場景時，能夠觸發該預設算法。可利用替代算法，以按照場景屬性來選擇EGO。
除了自動化的關聯算法之外，也可利用交互方法。一種可能的交互方式是在當前場景中創建新的EGO，該新創建的EGO與當前場景相關聯。另一方式是從現有EGO的列表中選擇一個或多個EGO，並且將所選EGO與當前場景相關聯。
應當理解，也可利用自動化的算法，將預設場景關聯於特定EGO。在實施例中，按照具體的空間判據(比如，定義/選擇一場景，該場景最大化該圖像結構的可見部分，該圖像結構已被該EGO進行文檔編制)，這樣的算法定義新場景和/或從多個已經可用的場景中刪除場景。在本發明的另一實施例中，也可利用語義判據來定義/選擇與特定EGO相關聯的預設場景(即定義/選擇一場景，該場景允許同時查看每個A-EGO，該A-EGO與特定類型GAL當前所選定的EGO有關)。
去除EGO和場景之間的關聯在任何時候都允許用戶去除EGO與場景之間的關聯。在本實施例中，如前所述，該操作是通過為期望的場景激活場景屬性面板來進行的。一旦該面板被激活，用戶可選擇與該場景相關聯的現有EGO，並且去除其關聯。
一般顯示結構優選地，EGO網絡的顯示可按照當前場景來配置。更具體地，EGO網絡的特定子集的選擇、定位和顯示能夠從參數中直接確定，這些參數定義了這些結構在該場景之內的相對位置，還定義了將被顯示的所選EGO之間的網絡關係。這種方法通過自動確定哪個EGO將在特定時間在圖形窗口中是可見的，構成了一種快速取回信息簇的有效方式。與當前場景不直接相關聯的或者在當前場景之內不可見的EGO也可被顯示為位於當前場景的空間參照之外的F-EGO。這允許有效選擇外部EGO。從這點看來，F-EGO用作到達另一場景中甚或另一圖像中可見的關聯外部EGO的連結(捷徑)。通過顯示F-EGO，用戶具有在任何當前EGO和外部EGO之間所定義的關聯連結的類型指示。在具體實施例中，用戶能夠察看EGO的關聯多媒體注釋信息，比如放射線學家所記述的診斷文本，無需察看其實際圖像背景中的EGO。這可通過選擇相應F-EGO和選擇選項比如「顯示注釋文本」來實現。
網絡的EGO之間的關係本質上是分等級的。也就是說，EGO可基於相似本性的共享信息，與另一EGO有關。例如，當沿著等級樹從父EGO移動到子EGO時，信息越來越具體。在這個方面應當理解，相同等級水平的EGO能夠與同一尺度有關。還應當理解，用戶能夠選擇將要在當前視圖之內顯示的有關(父或子)EGO。
編輯EGO多媒體結構每條EGO多媒體信息結構內容都被顯示於多媒體編輯窗口中。在任何時候，用戶能夠添加或去除多媒體信息結構的內容。在本發明的優選實施例中，用戶首先在場景圖形窗口中右擊期望的EGO。然後，該系統將多媒體編輯面板顯示到屏幕，向用戶呈現基於文本、基於音頻、以及基於視頻的編輯窗口小部件(widget)。
搜索優選地，按照EGO ID或多媒體信息結構中出現的任何描述符，能夠搜索EGO資料庫。
自動圖像注釋圖像之內讓用戶感興趣的區域或位置能夠通過自動化的圖像注釋來自動識別和注釋。該自動的識別和注釋也可包括EGO的自動定位。其目的是減少用戶分析和注釋圖像所需的時間和精力。在醫學成像的背景中，還能夠提出一種系統，該系統自動識別可能的病理結構、分段這些結構以獲取定量信息、以及自動創建和定位帶有關聯注釋文本的EGO。在實施例中，該系統能夠使用自動化的圖像注釋處理，以自動識別3D胸的CT圖像之內可能的動脈瘤，由此有助於和加速了專門醫師的診斷過程。參照圖8，一般的自動化圖像注釋過程包括如下步驟1.在步驟80中，加載圖像；2.在步驟82中，利用應用軟體專用方法自動地分段圖像；3.在步驟83中，計算一個或多個分段對象的空間坐標；4.在步驟84中，計算分段對象的選定定量屬性；5.在步驟85中，對於所選分段對象，在所選空間坐標處在該圖像之內創建和定位EGO；6.在步驟86中，對於所選分段對象，將文本注釋添加到對應EGO；7.在步驟87中，對於所選分段對象，對對應EGO定義關聯連結數據；8.在步驟88中，為每個EGO定義視圖，允許用戶查看圖像中的關聯對象。
步驟1至5允許基本注釋，這裡僅可視標記(EGO)位於該圖像中，以可視地識別感興趣的對象。步驟6至8分別允許將相關文本信息添加到EGO(比如關於對象的定量或定性信息)；基於關聯信息，定義有關的EGO網絡；以及定義視圖，該視圖允許用戶有效察看每個EGO及其關聯圖像對象。
在3D胸的CT圖像形態之內的動脈瘤注釋的具體實施例中，先前定義的步驟2利用基於水平集(level-set)的分段方法。在該具體實施例中，自動化注釋過程如下進行該系統首先加載病人的CT掃描圖像，然後開始眾所周知的3D水平集分段方法。該分段方法基於這樣的概念，即具有這樣的2D表面，該2D表面在3D空間之內發展(evolve)，直至達到該表面的平衡(equilibrium)為止。該表面通過在3D圖像之內改變強度值的結構來產生變形，直到它分裂成分離的次表面，這些次表面最終「纏繞(wrap)」每個感興趣的對象。通過設定初始的表面參數和約束(constraint)，比如曲率、受力和速度，該方法將僅分段感興趣的對象。在當前考慮的實施例中，這些對象是血管動脈瘤。一旦該初始表面已經發展和最終達到平衡，則每個分段的對象形成感興趣的對象。為每個這些對象，計算如下定量信息每個對象的質量中心定義了該對象的坐標，並且代表該對象的體元定義了其結構和體積。從這些體元中能夠提取信息，比如(非限制性)對象的體積、密度、質量、變形和最長直徑。然後，利用所有這些計算出的信息，在圖像之內創建和定位EGO，以便可視地識別該對象。利用該對象的質量中心，能夠「錨定(archor)」該EGO，並且利用該化量信息，能夠將文本注釋自動添加到該EGO。此外，由於該分段方法專門用於具體應用，甚至能夠將定量信息添加到該注釋。文本注釋能夠具有下述內容和結構「所識別的對象是具有250單位體積和12單位最大直徑的可能動脈瘤」。該文本和定量信息被添加到EGO的數據結構，從而用戶通過簡單激活所考慮的EGO，總是能夠查看該關聯信息。依照該注釋過程，能夠自動建立帶有關聯連結的EGO網絡。該關聯可以是各種性質，比如基於距離的關聯。例如，在已經識別出多個動脈瘤並且一些動脈瘤與其它動脈瘤相距很遠的大體積中，該自動連結能夠產生相距最遠的EGO之間的連結，以有助於後續的可視化和圖像之內從一對象到另一個對象的導航。為此，該系統分析每個分段對象的空間坐標，並且創建超過特定距離閾值的EGO之間的關聯連結。例如，對於具體EGO，連結將被創建到達該體積之內與之相距100個體元以上的其他EGO。相應EGO的列表可被記入當前EGO的連結數據之內，用於顯示和導航目的。最終，為了允許有效可視化圖像數據和位於3D空間之內的EGO，有必要為該系統定義具體的視圖點，這允許隨後的同時可視化。按照後者，在具體實施例中，這是通過計算和產生非平坦的3D表面來實現的，該3D表面為具體數量的EGO產生切開(cut-away)視圖。通過將EGO集的每個質量中心視作樣條表面的控制點，產生該表面。利用這裡所述的非平坦表面產生機制，能夠實現這樣的表面，該表面橫穿每個被考慮的EGO，由此允許圖像數據和EGO的同時可視化。在另一實施例中，通過將組合網格和體積渲染，實現優化後的視圖。在這種情況下，每個分段對象在網格中被渲染(矢量表面渲染)，同時剩餘的體積數據被渲染為透明。這允許同時可視化原始圖像數據、分段對象和所表示的EGO。
本發明的自動注釋系統的實施例大體上如圖9所示。全面的操作需要該系統的主處理器98首先調用圖像加載器90，用於從存儲介質中讀取數字圖像。該圖像加載器讀取圖像91，並且將其保存於非永久性存儲器92中。然後，該主處理器用具體示例說明(instantiate)分段方法93，該方法分段在存儲器中所保存的圖像。然後，該分段方法將分段結果保存於存儲器92中。跟隨該步驟，該主處理器調用注釋器94，該注釋器利用分段方法在存儲器中所保存的信息，創建和定位所需數量的EGO。如果需要，該注釋器收集與每個對象相關聯的定量信息，並且為每個有關EGO產生文本注釋。如果需要，該主處理器調用連結器95產生關聯的連結數據。最終，該主處理器調用視圖產生器97產生優化後的視圖。
自動報告產生自動報告產生是一過程，該過程自動收集信息，組織(structure)該信息，以及格式化所產生的內容，以建立遵循特定標準和規範的報告。自動報告產生能夠利用本發明的方法以直截了當的方式來實現。第一步驟是指定一報告模板，該模板定義了該內容應當如何被格式化、組織和排序。下一步驟包括手動/自動選擇EGO，這些EGO含有將被併入於該報告中的該內容。跟隨該內容選擇，能夠選擇這樣的次序，該內容將按照該次序而被整合於該報告之內。該報告產生方法吸引人的方面在於，背景圖像/瞬像的插入是自動和精確的過程，因為每個EGO能夠與預設場景/視圖相關聯。在這些情況下，當將EGO的內容插入到報告之內時，可獲得場景/視圖平面能夠作為圖像瞬像而獲得，並且隨後被直接整合到該報告之內。該特徵很有吸引力，因為不需要用戶手動獲取與該特定EGO的信息相關聯的可視背景的瞬像(並不精確並且耗時)。一旦感興趣的EGO已被選定，並且具體排序已被指定，最終步驟是從多媒體信息資料庫中提取該信息，並且按照格式模板將其插入到新報告中。然後，該信創建和格式化的報告以特定文件格式保存，比如(但不限於)Adobe PDF、HTML、Rich Text或Microsoft Word。所產生的報告能夠用於(但不限於)檔案和管理目的，或者用於以硬拷貝格式共享和查閱具體信息。
對於3D圖像的語義導航語義導航是穿越語義關聯EGO的網絡的過程，允許探測3D圖像之內的信息和關聯背景結構。能夠如上所述地定義該網絡。該語義導航和網絡允許容易地恢復先前在分析期間所獲取的知識，因為它映射(map)了用戶在執行分析的同時所進行的語義處理。
導航過程在本發明的優選實施例中，通過兩個截然不同但是相關的步驟，執行語義導航語義場景探測(SSE)和語義場景轉換(SST)。SSE是這樣的步驟，用戶通過該步驟將可視化與EGO有關的GAL，這些EGO關聯於當前場景。這可利用如下方法實現全局顯示方法，允許永久顯示或者隱藏特定GAL。該方法包括如下步驟●交互地標記一個或多個可見的EGO。該步驟可通過利用圖形光標/控制裝置，將每個EGO左側上的「-」符號設定為「+」狀態來實現；●從對話框中激活全局連結顯示功能；這包括操作顯示/隱藏與當前場景相關聯的標記EGO的GAL；顯示/隱藏EGO，這些EGO與當前場景不關聯，但是關聯到標記EGO；覆蓋/隱藏GAL，該GAL使標記EGO和與當前場景不關聯的EGO發生聯繫；將滑鼠光標覆蓋於特定GAL之上，以選出一對EGO(該GAL使其發生聯繫)，記錄這對EGO與圖形光標的位置之間的距離；將透明度指數關聯於組成該對EGO的每個EGO，該指數與分隔該對EGO和光標/控制裝置的距離成反比；利用先前定義的透明度指數，顯示GAL，這些GAL與該對EGO相關聯，並且關聯到與當前場景相關聯的EGO；利用先前定義的透明度指數，顯示EGO，這些EGO與當前場景不關聯，並且連接到激活的該對EGO；利用在先前步驟中所定義的透明度指數，覆蓋GAL，該GAL使激活的該對EGO和不關聯於當前場景的EGO發生聯繫。
在本發明的特定實施例中，當所選EGO之一表示當前區域時，後者通過絲網(wiremesh)球來描繪。在這種情況下，無論它們是否與當前場景相關聯，與當前區域相關聯的每個EGO在當前區域的3D參考幀中變得可見。
語義場景轉換，即SST，允許用戶從一EGO場景到另一EGO場景之間向前和/或向後導航。用戶能夠通過重複如下操作來進行該步驟■點擊當前場景之內的A-EGO，其觸發該A-EGO被激活，當前狀態出現在該屏幕；
與當前場景相關聯的每個A-EGO從該屏幕消失；與激活的A-EGO相關聯的「預設」場景被設定和出現在該屏幕；與「預設」場景相關聯的每個新A-EGO被顯示；與激活的A-EGO相關聯的多媒體信息結構的象形圖內容被顯示；及在「預設」場景之內在激活的A-EGO和其他EGO之間陰影連結被顯示。
■點擊F-EGO，其觸發激活該F-EGO；與當前場景相關聯的每個A-EGO從該屏幕消失；與激活的F-EGO相關聯的場景被設定和出現在該屏幕上；與新場景相關聯的每個新A-EGO被顯示；激活的A-EGO和其他EGO之間的陰影連結被顯示。
記錄導航序列一旦用戶請求，該系統能夠記錄導航序列，要麼動態轉發所記錄的序列，要麼將該序列存儲於期望EGO的多媒體信息結構中，用於進一步查閱。
全局網絡顯示利用現有心智映射技術，該全局網絡顯示提供一種手段，用於從全局觀點，在當前投影(project)之內的每個EGO之間進行顯示和導航。與3D圖像之內的背景導航(這裡，在給定時間僅表示全局知識的子集)相對比，全局心智映射窗口提供了單擊訪問，其通往投影之內整合的任何知識。這允許用戶對全體的整合EGO以及它們的相互關係具有完整的視圖。
EGO的背景網絡能夠與全局網絡窗口同步，這意味著，當在任一表示中修改連結時，該變化同時顯示於補充表示中。而且，當用戶在全局網絡窗口之內導航時，該導航過程與3D圖像場景的顯示保持協調。當在全局網絡窗口之內選擇EGO時，它的關聯預設場景被同時顯示於3D圖像窗口中。
在本發明的方案中提供一種信息存儲子系統，用以臨時或永久存儲所產生和/或所記錄的信息/數據。該數據非限制性地包括場景/視圖參數數據；對象屬性數據；EGO數據；EGO連結數據；EGO注釋歷史(EGO創建和修改)數據，含有作者、日期和時間、修訂號；圖像處理參數數據；圖像處理歷史數據；3D圖形數據對象(原始圖像數據)；3D圖形數據對象存儲位置數據；用戶帳戶數據；用戶簡介數據；網絡節點註冊和目錄服務數據。
場景和視圖參數數據是定義後者的信息，比如(但不限於)體積定向、3D橫穿表面、體積切片、感興趣的3D區域、表面渲染、體積渲染和體元透明度。
EGO注釋歷史數據是EGO創建和修改過程的記錄。每個新EGO創建和修改事例被記錄於資料庫中，帶有與作者、EGO的創建/修改日期和時間、修改EGO的修訂號(帶有與先前EGO之間的連結信息)有關的信息。
圖像處理參數數據是與圖像處理算法和方法有關的特定參數，這些算法和方法將與關聯的3D圖形數據對象和所定義的分析協議一起使用。另一方面，圖像處理(或編輯)歷史數據是與如下內容有關的信息應用於3D圖形數據對象的不同處理步驟；應用這些步驟的次序；以及與每個處理步驟的適當圖像處理參數數據之間的連結信息。在實施例中，這些圖像處理參數可存儲於EGO中。選擇含有一個或多個對象編輯歷史的EGO，能夠自動產生將被應用於所選圖形數據對象的編輯操作。這有利於地允許用戶獲得按照預存協議而處理過的對象的不同視圖。
本發明的優選實施例(圖10)將投影有關數據(場景、EGO…)存儲於第一資料庫100(投影資料庫)中，將3D圖形數據對象存儲於第二資料庫中，該第二資料庫優選為PACS 102(畫面歸檔和通信系統)，將用戶帳戶和用戶簡介數據存儲於第三資料庫(用戶資料庫)104中。這類配置確保了每個數據元素被存儲於專門的歸檔系統中，提供安全、強健和有效的信息存儲機制。此外在優選實施例中，這些資料庫遠離用戶，但是並非限制性的。
在臨床背景中(這裡，本發明可用於一個或多個醫院中)，安全和遠程訪問的信息存儲系統是必備的。而且在這樣的背景中，3D圖形數據對象(病人掃描以及有關圖像)被頻繁存儲於具有限制存取的中心儲存庫比如PACS中，在這裡需要數據一直保持不被破壞和修改。利用本發明和這裡所述的信息存儲子系統，如前所述，通過提供專用於投影存儲和分析有關數據的新資料庫，病人有關數據將保持不被修改，並且將被保持於它的當前存儲介質中。在優選實施例中，當打開現有投影時，在對於用戶資料庫獲得肯定認證之後，從投影資料庫中收集投影數據，並且如果需要，有關3D圖形數據對象的工作副本是從適當的資料庫中收集的，並且被傳送到用戶的本地系統。該投影數據含有所有必須信息，用以打開進行之中的分析投影或者已完成的分析投影。這允許用戶察看關聯的EGO網絡和關聯的多媒體數據；視圖、場景和感興趣的區域的任何事例；以及本發明中所述的任何其他信息，而無需修改原始的源3D圖形數據對象。例如，這允許隨後的分析過程(比如診斷過程)，以動態檢查所提議的分析，並且允許用戶通過明確選擇感興趣的視圖/場景，並且隨後修改該視圖、場景、分段參數和/或算法來確認分析，而無需重複用以產生當前視圖的整個過程。
這種在信息上的動態返回的重要方面是一種能力，即能夠訪問用以產生最終視圖/場景的處理步驟/操作。這些處理步驟可以是各種性質，比如(非限制性)圖像處理操作(亮度、對比度、閾值調節)、體積操縱(旋轉、平移、比例縮放、切片)、渲染操作(網格渲染、體元渲染等)以及專門的圖像分段操作。該分段算法在具體實施例中可用於血管動脈瘤的自動化分段。
通過訪問先前步驟，用戶能夠有效地確認當前視圖的有效性和相關性，出於診斷目的，該當前視圖已在臨床放射醫學背景中選定。利用該系統，用戶能夠隨時修改當前視圖/場景，並且應用新的處理操作以導出新視圖/場景。
如上所述，為了允許對於信息的有效動態返回，以及無縫的專家-分析-過程跟蹤，該系統自動創建和保存「過程歷史」，該歷史對應用於當前多維圖像的每個操作進行跟蹤。與所進行的操作相關聯的每個參數被保存於有組織的數據結構中。該數據結構將進行這些操作的次序考慮在內，並且允許修改任何節點。在具體實施例中，該數據結構是連結的列表，該列表的每個節點在這裡能夠指向任何給定數量的節點或任何數量的連結列表。
圖11概括了對於信息的返回步驟。在步驟110中顯示3D圖像，在步驟112中操縱該圖像，在步驟113中保存該過程歷史。在步驟114中保存最終視圖，在步驟116中創建可視提示(cue)。該可視提示能夠在步驟117終被激活以檢查3D數據，能夠在步驟118中檢查中間視圖，能夠在步驟119中確認最終視圖。
圖12示出了該數據結構對於檢查和修改當前操作歷史的有效性。該數據結構還提供了直接指向對象的可能性，該對象位於易失性存儲器(RAM)中或永久性物理存儲介質上，其存儲與當前節點的場景/視圖相關聯的具體參數。在這種方式下，通過簡單地存取這些參數和相應地構建場景/視圖，能夠容易地實時產生具體的場景/視圖。當用戶檢查現有的處理記錄並且修改任何給定場景/視圖時，在進行過修改的點處將創建新的過程歷史分支。在具體實施例中，由軟體對象組成的連結列表會按照對象狀態被保存於永久性存儲介質上。這允許對信息的後續動態返回，具有場景/視圖檢查和修改的可能性。該信息一直關聯於具體的分析投影文件，該文件保存任何相應的信息。該存儲可以在典型的計算機硬驅動上或者在遠程歸檔系統、伺服器或資料庫上。
數據挖掘在本發明的優選實施例中，這裡所述的信息存儲子系統允許用戶或自動化系統智能地搜索和挖掘多個本地和/或遠程資料庫中所含的信息。當這些資料庫包含廣泛信息時，以定量和定性的方式，比如通過挖掘任何EGO中所含的具體關鍵詞以及與其他EGO之間關聯的類型，用戶可在其能夠訪問的資料庫中搜尋與當前分析投影有關的信息。通過搜索或者通過在涉及圖像的EGO的網絡中導航，用戶還可參照預先存儲的這些圖像。利用這裡所述的存儲子系統，專門的數據挖掘系統通過挖掘圖像及其所含結構、多個EGO及其內容與關聯性、以及任何其他信息資源，能夠找到複雜的關係和圖案。
在該搜索期間所識別的EGO能夠被選擇和顯示於它們的關聯視圖之內。
基於可用的數據和這裡所述的注釋機構，本發明向用戶提供這樣的可能性，關聯於一個或多個分析投影，對於定量和定性數據進行搜索和數據挖掘。
文本數據挖掘需要用戶指定關鍵詞，將在含有每個EGO的文本注釋的資料庫中搜尋該關鍵詞。該挖掘概念本身是直截了當的，因為它僅需要搜尋資料庫中的關鍵詞(利用標準的資料庫查詢)。但是如下概念是創新的注釋圖像，然後搜尋存在於背景注釋中的關鍵詞，隨後具有這樣的可能性，在該3D圖像背景本身之內，察看含有該關鍵詞的注釋。在本發明的實施例中，注釋和背景檢查過程的數據挖掘包括如下步驟■具體關鍵詞被輸入到該系統的數據挖掘用戶接口；■用戶接口將事件調度(dispatch)到挖掘組件；■該挖掘組件搜索指定資料庫以尋找指定關鍵詞；■可視管理器顯示一系列F-EGO，這些F-EGO被連結到含有該指定關鍵詞的實際EGO；■用戶激活所選F-EGO，該F-EGO在適當的視圖中顯示連結EGO的關聯3D圖像，這允許同時可視化EGO及其關聯圖像視圖；■EGO的文本注釋被顯示給用戶。
基於所開發的數據結構和這裡所述發明的資料庫類型，每個EGO直接關聯於它的多媒體內容、它的有關投影，並且包含連結數據，該連結數據揭示了具體EGO關聯於哪個其他EGO以及關聯類型。因此，該可視管理器具有用以顯示所找到的EGO時所需的所有信息。第一級可視表示是在主要顯示中描繪F-EGO。這些F-EGO是可視的標記，這些標記直接地連結到位於當前或外部3D圖像中的實際EGO。在這種方式下，為了在其圖像背景中顯示具體的EGO，僅簡單地需要用戶利用(例如)指示裝置點擊F-EGO的可視表示來激活F-EGO。一旦被激活，如果該系統位於當前投影之外，則加載相應的投影和圖像，並且在與所考慮的EGO相關聯的視圖中顯示圖像。為此，該系統讀取EGO關聯數據，該數據保持具體的察看參數，比如圖像處理操作和圖像定向。這時，該主要顯示現在含有所考慮3D圖像的視圖以及EGO的關聯網絡。如果新選擇的EGO關聯於多個EGO，則這些關聯連結也將被顯示。新的F-EGO也將被描繪，這允許用戶在先前視圖或投影中返回。
該挖掘組件允許用戶在外部投影以及含有EGO關聯信息的本地或遠程資料庫中，搜尋當前場景/投影的EGO中所含的關鍵詞。這向用戶提供了對於數據挖掘過程特性的高度控制。
除了基於關鍵詞的注釋數據挖掘之外，這裡所述的本發明提供了這樣的可能性基於它們的關聯對象形態來挖掘注釋，以及自動發現反覆出現或類似的圖像處理協議。
通過利用分段算法，能夠實現面向形態(morphology-oriented)的數據挖掘，以提取具體的對象和計算它們的形態。在注釋過程期間，變得能夠將EGO明確關聯於分段的對象。由此，所考慮的EGO與多媒體信息之外的對象屬性相關聯。為了將該EGO關聯於該對象，用戶簡單地需要將EGO錨定於對象。該過程基於這裡所述的自動對齊算法，這裡EGO被自動關聯於橫穿網格表面。在數據挖掘過程的期間，用戶因而能夠搜尋與具體形態(體積、直徑、表面……)的對象相關聯的EGO。例如，用戶可搜尋具有大於指定值的關聯形態體積的每個EGO。該注釋機制還提供這樣的可能性，將感興趣的3D區域自動關聯於具體EGO。所選感興趣的區域也可用於面向形態的數據挖掘，這與利用自動分段算法而獲得感興趣的區域相反。
通過在其最佳視圖中可視化所考慮的圖像，該形態數據挖掘允許用戶可視地欣賞數據挖掘結果，與簡單地檢查定量數據挖掘結果相反。在可以利用自動化的圖像分段和注釋的實施例中，這裡所述的數據挖掘系統在臨床背景中具有很大價值專門醫師可批處理一系列圖像而無需用戶幹預，這允許有效的預處理和預分析。例如，該自動化的分段算法識別可能的動脈瘤並且分段這些結構。自動化的注釋系統隨後利用該信息，這裡EGO位於分段結構的附近，關聯信息被自動產生。這些EGO關聯於分段結構、文本信息、以及所產生的視圖，用於允許這些EGO及其關聯結構的有效可視化。跟隨該自動化的過程，專門醫師可查詢該系統，以可視化具體的臨床病例。例如，專門醫師可決定首先察看和檢閱關鍵病例，專門醫師在這種情況下可使用該數據挖掘系統，以發現含有特定臨界體積的動脈瘤的圖像。該數據挖掘結果將向用戶顯示可被激活的一系列EGO，以察看它們的關聯圖像和內容。
操作流程的實施例如下所述■具體的形態參數被輸入到該系統的數據挖掘用戶接口；■該用戶接口將事件分配到挖掘組件；■該挖掘組件搜索指定資料庫以尋找EGO，這些EGO具有相似形態的感興趣的關聯區域；■該可視管理器顯示一系列F-EGO，這些F-EGO被連結到含有指定關鍵詞的實際EGO；■用戶激活所選F-EGO，該F-EGO在適當的視圖中顯示連結的EGO關聯3D圖像，這其允許同時可視化EGO及其關聯圖像視圖。
協議數據挖掘圖像處理協議在醫學成像領域中具有重要價值，標準化的過程在這裡可應用於分析具體的圖像形態和解剖區域。當無有效的自動化分段方法可用時，或者當需要專門醫師進行手動圖像分析和處理時，圖像處理協議提供標準化的方法。這些協議大多經過「試錯」試驗(易於出錯和耗時的過程)被共同定義。一般通過出版物和科學評論集，在團體中與其他專門醫師共享新定義和有效協議。因此，新協議的共享是低效率和嚴守時刻的。此外，隨著圖像的解析度和範圍增大，這些協議變得更複雜，甚至更難以在團體之內共享。本發明的方法提供了一種新穎的機制，用以對於任何類型的圖像形態和解剖結構進行複雜圖像處理協議的有效發現和共享。如上所述，本發明的該系統記錄操作和注釋的歷史，這提供了挖掘這些用戶定義操作的可能性。例如，為了獲得具體結構的手動分段，用戶可能已經利用了各種圖像處理操作，比如閾值、形態操作和可視化和渲染屬性的修改。這些產生圖像最終視圖的中間操作被系統自動記錄，並且作為整體，形成具體協議。基於該信息，該系統變得能夠挖掘反覆出現和相似的圖像處理協議。在該背景中，用戶例如能夠簡單地選擇現有協議和挖掘相似協議。該數據挖掘系統接受輸入的各種步驟(形成該協議)並且搜索資料庫中所保存的各種歷史。可指定相似性判據，例如用戶在這裡定義了相似協議應當具有不超過2個的不同操作。該具體類型的挖掘允許用戶驗證，該具體協議是否也已經被用於其他專門醫師的相同應用，因此提供了特定水平的質量保證。在另一實施例中，用戶能夠簡單搜尋非具體的反覆協議，在這種情況下，該數據挖掘系統徹底搜索操作歷史，以識別具有相似操作的歷史。通過向該系統指明形態判據，進一步專門化這類數據挖掘，在這裡還需要相似歷史具有相似的最終分段的對象形態。例如，這些操作應當產生有點球形的對象。該形態判據能夠基於諸如(但不限於)長/短直徑、一致性(coherence)、體積和密度等參數。當圖像處理操作的歷史簡單地由進行過的處理操作的類型和關聯參數組成時，所發現的協議能夠被直接地應用於新圖像，按照這些操作系列產生圖像的視圖。
操作流程的實施例如下■具體形態參數和/或操作的序列被輸入到該系統的數據挖掘用戶接口；■該用戶接口將事件調度到挖掘組件；■該挖掘組件搜索指定資料庫，以尋找操作的相似歷史和/或形態參數；■可視管理器顯示所找到的操作歷史的列表；■用戶選擇感興趣的操作的具體歷史；■顯示該操作序列；■一旦激活，則按照歷史修改圖像。
儘管已經結合具體實施例描述了本發明，但是應當理解，能夠進一步修改，並且本申請旨在覆蓋本發明的任何變化、使用或改型，這些變化、使用或改型一般遵循本發明的原理，並且包括從當前公開中的脫離，因為它們落入本發明所涉及的現有技術領域之內的公知或習慣實踐之中，可應用於前述實質性特徵，並且落入所附權利要求書的範圍中。
權利要求
1.一種用於注釋3D圖形數據對象的方法，該方法包括識別所述圖形數據對象的至少一個空間位置或區域；提供與所述至少一個空間位置或區域相關聯的注釋信息，所述至少一個空間位置或區域和所述關聯注釋信息形成嵌入圖形對象(EGO)；以及定義所述圖形數據對象的視圖；產生所述圖形數據對象的所述視圖的顯示和所述預期視圖之內的至少一些所述EGO的顯示。
2.如權利要求1所述的方法，其中所述EGO還包括定義所述EGO之間關係的關聯連結數據，所述EGO形成網絡，所述產生步驟包括，選擇將被包含於所述顯示中的所述EGO，作為所述關聯連結數據的功能。
3.如權利要求1或2所述的方法，其中所述網絡還包括外部3D圖形數據對象中所涉及的至少一個EGO。
4.如權利要求1、2或3所述的方法，其中所述EGO之間的所述關係是分等級的。
5.如權利要求4所述的方法，其中所述關係與尺度關聯，由此同一等級水平的EGO基本與同一尺度有關，子EGO與它們的父EGO相比，與更低的尺度有關。
6.如權利要求4所述的方法，其中所述關係與局部細節水平關聯，由此子EGO象它們的父EGO那樣，提供關於所述對象的相似但更具體的信息。
7.如權利要求4、5或6所述的方法，還包括向用戶提供與所述視圖中所示的至少一個所述EGO有關的關於父和子EGO的信息，以及接收所述有關的EGO之一的用戶選擇，所述顯示中將包含的所述至少一些所述EGO被重新確定為所述用戶選擇的函數。
8.如權利要求2或3所述的方法，還包括向用戶提供與所述視圖中所示的至少一個所述EGO有關的關於EGO的信息，以及接收所述有關的EGO之一的用戶選擇，所述顯示中將包含的所述至少一些所述EGO被重新確定為所述用戶選擇的函數。
9.如權利要求1至8任一項所述的方法，其中所述EGO還包括數據，該數據表示用以產生所述視圖的對象編輯操作的歷史，所述操作歷史包括一個或多個步驟，每個所述步驟生成中間視圖。
10.如權利要求9所述的方法，其中所述產生包括產生所述中間視圖的所述一個。
11.如權利要求10所述的方法，其中具有所述歷史數據的多個所述EGO之一的用戶選擇自動使得至少一個所述編輯操作應用於所述圖形數據對象。
12.如權利要求10所述的方法，其中編輯模塊被設置用於允許用戶編輯所述對象編輯操作的歷史，並且如用戶所編輯的所述歷史數據與所述EGO相關聯。
13.如權利要求10、11或12所述的方法，其中所述EGO包括數據，該數據表示對象編輯操作的多個歷史，按照用戶所選擇的所述歷史之一，產生所述視圖。
14.如權利要求1至13任一項所述的方法，還包括定義數據挖掘搜索判據；搜索含有所述EGO的一個或多個資料庫以尋找所述判據；選擇在所述搜索中所發現的至少一個EGO；以及產生所述視圖和所選EGO的顯示。
15.如權利要求14所述的方法，還包括在所述產生步驟之前，確定所選EGO的所述對象的合適視圖。
16.如權利要求15所述的方法，其中所述數據挖掘判據是關鍵詞。
17.如權利要求15所述的方法，其中所述數據挖掘判據是形態參數。
18.如權利要求15所述的方法，其中所述數據挖掘判據是圖像處理協議，所述圖像處理協議與圖像處理操作和形態參數相關聯。
19.如權利要求1所述的方法，其中所述識別步驟包括利用自動化的分段算法，自動地識別所述一個或多個空間位置或區域。
20.如權利要求1的方法，其中所述識別步驟包括交互地定義該顯示中的輪廓，所述輪廓定義感興趣的投影區域；在3D空間中自動地延伸所述輪廓；通過修剪橫穿輪廓和所述3D圖形數據對象，自動定義感興趣的3D區域。
21.如權利要求19或20所述的方法，還包括通過所述自動化的分段算法，自動地提供定量和定性的注釋信息。
22.如權利要求2所述的方法，還包括利用自動化的連結算法，自動地定義所述關聯連結數據。
23.如權利要求22所述的方法，其中所述自動化的連結算法基於距離判據，定義所述關聯連結數據。
24.如權利要求1所述的方法，還包括向用戶提供工具，以定義所述3D圖形數據對象的所述視圖。
25.如權利要求24所述的方法，其中所述工具允許所述用戶選擇一個或多個所述EGO，其信息將顯示給所述用戶。
26.如權利要求25所述的方法，其中所述工具允許所述用戶為截面選擇空間位置，所述視圖是關於所述截面的所述3D圖形數據對象的切開視圖。
27.如權利要求26所述的方法，其中所述截面是用戶定義的非平坦3D表面。
28.如權利要求1所述的方法，其中所述信息收集步驟還包括定義至少一個EGO，該EGO不附著於所述3D圖形數據對象之內的位置。
29.如權利要求1所述的方法，其中所述顯示產生步驟包括選擇所述3D圖形數據對象中所涉及的多個EGO；定義與所述3D圖形數據對象和所述多個EGO有關和優化的非平坦3D表面；按照所述3D表面和所述3D圖形數據對象的函數，確定2D圖像數據；以及以所述3D圖形數據對象為背景，顯示所述2D圖像數據的視圖。
30.如權利要求1所述的方法，其中所述顯示產生步驟包括選擇所述3D圖形數據對象中所涉及的多個EGO；定義與所述3D圖形數據對象和所述多個EGO有關和優化的非平坦3D表面，所述表面橫穿所述3D圖形數據對象；顯示所述3D圖形數據對象的視圖，所述視圖是關於所述表面的所述3D圖形對象的切開視圖。
31.一種計算機可讀存儲器，用於存儲可編程指令，所述指令用於在計算機中執行權利要求1至30任一項的方法。
32.一種用於顯示3D圖形數據對象的方法，該方法包括通過在3D方向上操作，以確定在所述圖形數據對象之內的3D對象，定義與所述3D圖形數據對象有關的非平坦3D表面；以及以所述3D圖形數據對象為背景，產生所述3D表面的視圖的顯示。
33.如權利要求32所述的方法，還包括按照所述3D表面和所述3D圖形數據對象的函數，確定2D圖像數據；其中所述視圖是所述2D圖像數據在所述3D圖形數據對象的背景中的視圖。
34.如權利要求27、32或33所述的方法，其中所述定義所述非平坦3D表面包括提供工具，以在3D空間中選擇和移動表面的控制點。
35.如權利要求33所述的方法，其中所述確定所述2D圖像數據包括為所述3D表面與所述3D圖形數據對象的交叉，確定體元值。
36.如權利要求35所述的方法，其中所述2D圖像數據連同與所述2D圖像視圖上的所選位置的3D坐標有關的信息一起被顯示。
37.如權利要求36所述的方法，其中所述2D圖像數據是所述3D表面的投影視圖。
38.如權利要求35所述的方法，其中所述2D圖像被處理以增強所述視圖。
39.如權利要求1所述的方法，其中所述注釋是音頻注釋。
40.如權利要求1所述的方法，其中通過位於空間位置上的標記，關聯於所述空間位置的所述EGO被表示於所述視圖中。
41.如權利要求1所述的方法，其中所述識別步驟還包括交互地選擇位置，所述位置是2D坐標；將所選位置轉換為3D坐標；自動地確定所述3D坐標與所述3D圖形數據對象的交叉點；以及其中，關於所述交叉點，自動定位所述EGO。
全文摘要
提供一種用於注釋3D圖形數據對象的方法，該方法包括識別圖形數據對象的至少一個空間位置或區域；提供與至少一個空間位置或區域相關聯的注釋信息，該至少一個空間位置或區域和該關聯注釋信息形成嵌入圖形對象(EGO)；定義圖形數據對象的視圖；產生圖形數據對象的視圖的顯示和至少一些EGO在預期視圖之內的顯示。
文檔編號G06F3/0481GK1662933SQ03814745
公開日2005年8月31日 申請日期2003年5月26日 優先權日2002年5月24日
發明者派屈克·迪布, 亞歷山大·布德羅, 埃裡克·富尼耶, 克勞德·考夫曼 申請人:德耐皮克斯情報圖象公司