用3D相機進行的用於X射線管的掃描儀自動化的方法和系統與流程
2024-04-02 08:22:05
本發明涉及用於X射線圖像獲取的掃描儀自動化，並且更特別地涉及使用3D相機的X射線管掃描儀自動化。
X射線掃描通常是通過技術人員手動地將X射線管定位以使X射線掃描聚焦在患者身上的感興趣區域上而執行的。X射線管相對於患者的定位和取向依賴於技術人員的主觀判定，這常常導致不同X射線掃描之間的不一致性。X射線掃描儀自動化由於多個潛在的益處而是期望的。除改善的掃描工作流程的效率之外，X射線掃描儀自動化與通過技術人員對X射線管進行手動定位獲得的X射線掃描相比還可提供更好的掃描質量。
技術實現要素：
本發明提供了一種用於使用3D相機的X射線管掃描儀自動化的方法和系統。本發明的實施例利用從安裝在X射線管上的3D相機獲得的RGBD（紅色、綠色、藍色以及深度）圖像來執行X射線管的掃描儀自動化。本發明的實施例使用用於身體姿勢估計、標誌檢測以及身體區域估計的基於機器學習的方法來從RGBD圖像生成患者模型。本發明的實施例基於使用患者模型識別的患者的感興趣區域來自動地對X射線管進行定位以執行X射線掃描。
在本發明的一個實施例中，從安裝在X射線管上的3D相機接收患者工作檯上的患者的RGBD圖像。計算3D相機的坐標系與患者工作檯的坐標系之間的變換。根據患者的RGBD圖像來估計患者模型。X射線管被自動地控制以基於患者模型來獲取患者的感興趣區域的X射線圖像。
通過參考以下詳細描述和附圖，本發明的這些及其它優點對於本領域普通技術人員而言將是顯而易見的。
附圖說明
圖1圖示出根據本發明的實施例的用於X射線管掃描儀自動化的方法；
圖2A和2B圖示出根據本發明的實施例的X射線管掃描裝置；
圖3圖示出根據本發明的實施例的以預定圖案布置的一組四個環形標記；
圖4圖示出根據本發明的實施例的患者工作檯上的環形標記放置；
圖5圖示出根據本發明的實施例的用於從患者的RGBD圖像生成患者模型的方法；
圖6圖示出示例性患者建模結果；
圖7圖示出根據本發明的實施例的X射線管掃描儀的控制參數；
圖8圖示出具有3D相機的X射線管控制的運動鏈；以及
圖9是能夠實現本發明的計算機的高級框圖。
具體實施方式
本發明涉及一種使用3D相機的X射線管掃描儀自動化的方法和系統。在本文中描述了本發明的實施例以給出掃描儀自動化方法的直觀理解。數字圖像常常由一個或多個對象（或形狀）的數字表示構成。在本文中常常根據識別和操縱物體來來描述物體的數字表示。此類操縱是在計算機系統的存儲器或其它電路/硬體中實現的虛擬操縱。因此，應理解的是可使用存儲於計算機系統內的數據在計算機系統內執行本發明的實施例。
本發明的實施例生成人的個性化3D網格模型，其根據從深度相機（諸如Microsoft Kinect深度相機）獲得的RGB-D圖像數據來估計人的詳細身體姿勢以及形狀。在本文中將人的此類個性化3D網格模型稱為化身。不同於用以從視頻序列的多個傳感器獲得個性化網格的其它方法，本發明的實施例根據來自捕捉人的部分視圖並處理身體衣服的深度相機的單個快照而生成個性化網格。本發明的實施例提供甚至從身體的部分視圖進行的詳細身體形狀（網格）的重構、從來自任何深度相機傳感器的單個快照進行的身體形狀估計、在衣服下面的人的身體形狀估計以及適當的傳感器噪聲統計建模以獲得精確的身體姿勢和形狀。
3D相機是提供深度信息以及典型圖像信息（諸如RGB（紅色、綠色、藍色）數據）的相機。3D相機可以是基於結構光的相機（諸如Microsoft Kinect或ASUS Xtion）、立體相機或飛行時間相機（諸如Creative TOF相機）。從深度相機獲得的圖像數據通常稱為RGBD（RGB＋深度）圖像，其通常包括RGB圖像（其中每個像素具有RGB值）以及深度圖像（其中每個像素的值對應於像素與相機相距的深度或距離）。本發明的實施例將3D相機用於X射線管掃描儀自動化。本發明的實施例利用基於機器學習的方法來對使用3D相機獲得的RGBD圖像中的身體標誌進行局部化。本發明的實施例利用安裝在X射線管上的3D相機來獲取RGBD圖像數據。由於X射線管的移動性，本發明的實施例利用基於標記的配準解決方案來提供多個坐標系之間的自動外部校準。
圖1圖示出根據本發明的實施例的用於X射線管掃描儀自動化的方法。圖1的方法對患者的RGBD圖像數據進行變換以生成患者模型並執行X射線管的自動化定位來獲取患者的感興趣區域的X射線圖像。在步驟102處，從3D相機接收工作檯上的患者的RGBD圖像數據。圖2A和2B圖示出根據本發明的實施例的X射線管掃描裝置。如圖2A中所示，X射線掃描裝置包括患者工作檯200和X射線管202。X射線管202具有用以相對於患者工作檯200和患者工作檯200上的患者移動的五個自由度。這允許X射線管202移動至不同的位置和取向以捕捉工作檯200上的患者的目標區域的x射線圖像。如圖2B中所示，3D相機204被安裝在X射線管202上。例如，可以如圖2B中所示將3D相機204附著到X射線管202的後側，但本發明不限於此。諸如在圖7中所示且下面描述的計算機之類的計算機與X射線管202和3D相機204通信以控制X射線管202和3D相機204的操作。
一旦患者位於患者工作檯上，就使用3D相機來獲取患者的RGBD圖像。在可能的實施方式中，可以響應於從用戶（例如，技術人員）（諸如按下觸發按鈕的用戶）接收到的輸入來獲取RGBD圖像。在一個實施例中，X射線管可以在使用安裝在X射線管上的3D相機來獲取RGBD圖像之前被自動地移動至預定位置。例如，X射線管可以（沿著z軸）移動至工作檯上的最高位置並可以相對於工作檯的寬度和長度（x和y軸）居於中心以確保工作檯上的患者在3D相機的視場中。這可以是粗動，並且X射線管不需要位於精確的位置上或具有特定的取向，因為基於標記的圖像配準將被用來針對工作檯的坐標系對RGBD圖像進行校準。在另一實施例中，可以在沒有首先使X射線管移動至預定位置的情況下獲取RGBD圖像。在這種情況下，可以確定是否足夠的工作檯標記（下面描述）在RGBD圖像中可見以便使RGBD圖像被配準到工作檯的坐標系，並且如果不是，則可以將X射線管重新定位，並且可以獲取另一RGBD圖像。
參考圖1，在步驟104處，計算3D相機的坐標系與患者工作檯的坐標系之間的變換。在第一實施例中，通過檢測RGBD圖像中的工作檯標記並基於在RGBD圖像中檢測到的工作檯標記來估計3D相機的坐標系與患者工作檯的坐標系之間的變換來計算3D相機的坐標系與患者工作檯的坐標系之間的變換。將3D相機安裝在X射線管上的一個挑戰是3D相機的位置將不會相對於患者工作檯和掃描室坐標系保持恆定。根據本發明的有利的實施例，通過假設患者工作檯至少部分地在3D相機的視場中可見，患者工作檯裝配有被用於多個坐標系之間的自動配準的彩色環形標記。圖3圖示出根據本發明的實施例的以預定圖案布置的一組的四個環形標記302、304、306和308。雖然在圖3中用黑色和白色示出，但每個環形標記302、304、306和308在其外環中具有區別性色彩，並且在其內圈中是白色的。例如，在可能的布置中，環形標記302具有紅色外圈，環形標記304具有綠色外圈，環形標記306具有藍色外圈，並且環形標記308具有黑色外圈。圖4圖示出根據本發明的實施例的患者工作檯上的環形標記放置。如圖4中所示，患者工作檯400的每側分別地具有一組環形標記402和404。每組環形標記402和404中的環形標記被以相同的預定圖案布置，諸如圖3中所示的圖案。使每個環形標記位於患者工作檯上的特定預定位置上，並且仔細地測量患者工作檯上的環形標記的物理位置，因此標記可以充當用於相機姿勢估計的校準圖案。
針對環形標記檢測，一旦獲取了RGBD圖像，則將基於3D霍夫變換的方法用於RGBD圖像中的穩健圓圈檢測。特別地，對RGBD圖像應用霍夫變換以檢測RGBD圖像中的圓形形狀。霍夫變換使用從RGBD圖像提取的梯度信息並基於該梯度信息來檢測RGBD圖像中的圓形形狀。內圈內部的區域的亮度和每個環形標記的外環內部的色彩分布被用來確認在3D相機的視場中（即，RGBD圖像中）檢測到的圓圈是否四個環形標記中的一個。
一旦在RGBD圖像中檢測到環形標記，則基於在RGBD圖像中檢測到的環形標記來估計3D相機的坐標系與患者工作檯的坐標系之間的變換。環形標記在預定的特定位置上被布置在患者工作檯上以充當用於估計患者工作檯的坐標系中的3D相機的姿勢的校準圖案。由於環形標記具有區別性彩色外環且被布置在患者工作檯上的特定的預定圖案中，所以在RGBD圖像中檢測到的每個環形標記可以被唯一地識別。因此，用於估計患者工作檯的坐標系中的3D相機的姿勢的姿勢估計問題形成標準PnP（透視n點）問題，其可以通過計算使RGBD圖像中的每個檢測到的環形標記與患者工作檯的坐標系中的用於該環形標記的已知位置對準的變換來求解。使用此姿勢估計，可以將所獲取的RGBD圖像數據變換成患者工作檯坐標系以使RGB圖像數據與對應於工作檯上的固定位置（例如，相對於患者工作檯的長度和寬度居於中心）處的虛擬相機的相機視場對準。圖4示出了當RGBD圖像數據被變換成患者工作檯400的坐標系時所獲取的RGBD圖像數據被對準到的視場406。還可以基於3D相機的坐標系與患者工作檯的坐標系之間的變換來校準3D相機相對於X射線管的相對位置，因為可以跟蹤X射線管相對於患者工作檯的相對位置。
在第二實施例中，接收X射線管的控制系統的管位置控制參數，並且基於X射線管的控制系統的管位置控制參數使用運動校準來計算3D相機的坐標系與患者工作檯的坐標系之間的變換。本實施例使得能夠在不需要檢測工作檯標記的情況下實現X射線管的自動化控制。在示例性實施方式中，管位置控制參數（下面結合圖7對其進行更詳細的描述）可以包括三個平移參數和兩個旋轉參數以控制X射線管的位置和取向。可以從X射線管的控制系統接收並在運動校準中使用對應於X射線管的當前位置和取向的管位置控制參數。運動校準用患者工作檯的坐標系和X射線管控制系統的運動鏈的坐標系來校準3D相機的坐標系。下面更詳細地描述運動校準。
返回圖1，在步驟106處，根據RGBD圖像來估計患者模型。圖5圖示出根據本發明的實施例的用於從患者的RGBD圖像生成患者模型的方法。圖5的方法可以用來實現圖1的步驟108。參考圖5，在步驟502處，使用3D相機來捕捉患者的RGBD圖像數據。此RGBD圖像數據可以是在圖2的步驟102中接收到的相同RGBD圖像數據。替換地，如果一旦相對於患者工作檯的坐標系來估計3D相機的姿勢，則確定在步驟102中獲取的原始RGBD圖像不包含患者的充分的解剖結構，可以對3D相機安裝在其上面的X射線管進行重新定位，因此更多的患者解剖結構在3D相機的視場中，並且可以獲取新的RGBD圖像。RGBD圖像包括RGB圖像和深度圖像。可以將RGB圖像中的彩色數據和深度圖像中的深度（範圍）數據組合以將患者的RGBD圖像數據表示為3D點雲。
給定表示為3D點雲的彩色和深度數據，對僅包含患者和工作檯的圖像區域進行局部化。3D相機相對於X射線管掃描儀的相對位置是已知的，因為其是在校準過程期間確立的，並且工作檯移動的範圍受到限制。此信息被用作空間先驗以自動地剪裁被包含患者和工作檯的3D體積包圍的圖像區域。然後對此剪裁數據進行變換，使得z軸與工作檯表面法線對準，並且使x-y平面與工作檯表面對準。然後將已變換深度數據（和關聯色彩信息）正交投射在x-y平面上以生成在本文中稱為再投射圖像的彩色和深度圖像對，其然後被用於後續處理。接下來，為了進一步細化工作檯上的患者的位置和範圍，可以在再投射圖像上應用基於機器學習的全身檢測器以檢測再投射圖像中的患者位置的估計。針對此患者全身檢測，可以訓練具有在再投射深度和表面法線數據內提取的2D Haar特徵的概率推進樹（PBT）並用作全身檢測器。使用從加注釋的訓練數據提取的特徵來訓練PBT，並且使用已訓練PBT來檢測再投射圖像中的患者的粗略位置。
在步驟504處，對再投射圖像執行姿勢檢測以將患者的姿勢分類。給定粗略患者位置信息，可以將患者姿勢分類為頭先對比腳先以及使用一個或多個基於機器學習的姿勢分類器分類為俯臥對比仰臥。每個姿勢分類器可以是經訓練的PBT分類器。根據有利實施方式，可以通過考慮從再投射深度圖像提取的Haar特徵、表面法線數據、飽和圖像以及來自LUV空間的U和V通道而將PBT框架擴展至多個通道。將多個通道融合相比於僅使用深度信息而言可以提供姿勢檢測方面的顯著改善。
根據有利實施例，作為針對姿勢檢測來訓練單個多類分類器的替代，可以訓練多個二元分類器以系統地處理數據變化。在示例性實施方式中，通過考慮接近於傳感器（3D相機）的患者區域的一半來對再投射圖像應用頭先對比腳先分類器。此區域針對頭先情況覆蓋身體的上半部，並且針對腳先情況覆蓋身體的下半部。一旦患者在再投射圖像中被分類為頭先或腳先，則對再投射圖像應用俯臥對比仰臥分類器以將姿勢分類為俯臥或仰臥。針對頭先圖像和腳先圖像來訓練單獨的俯臥/仰臥分類器。因此，基於姿勢是被分類為頭先還是腳先來確定將經訓練的俯臥/仰臥分類器中的哪一個用來對再投射圖像中的患者的姿勢進行分類。這是因為當患者躺在工作檯上時，頭先情況下的頭部區域上的數據統計與在腳先情況下相比是明顯不同的。這是由於3D相機與身體表面之間的大角度以及增加的數據噪聲和距傳感器的距離。
在步驟506處，執行標誌檢測。給定患者姿勢信息，將包括多個解剖標誌的稀疏身體表面模型擬合到再投射圖像數據。可以將身體表面模型表示為身體表面上的解剖標誌上的有向非循環圖（DAG），其中，該圖捕捉標誌相對於彼此的相對位置。在有利實施例中，使用10個身體標誌（頭部、腹股溝以及用於肩膀、腰、膝和踝的左右標誌）來對患者表面進行建模。針對每個標誌訓練相應標誌檢測器。例如，針對每個標誌，可以使用具有從被用來訓練姿勢分類器的從相同通道提取的Haar特徵（例如，再投射深度圖像、表面法線數據、飽和圖像以及來自Luv空間的U和V通道）的多通道PBT分類器來訓練每個標誌檢測器。由於相機和身體表面角度以及傳感器噪聲，圖像統計在身體表面上差異顯著。頭先情況下的標誌上的數據分布與在腳先情況下不同。因此，在有利實施例中，針對每個標誌，針對頭先和腳先姿勢訓練單獨的標誌檢測器。在再投射圖像上的標誌檢測期間，由於已檢測到姿勢種類，所以應用對應於所檢測姿勢（頭先或腳先）的經訓練標誌檢測器的僅一個集合。
標誌的相對位置被建模為高斯分布，從訓練數據集內的注釋獲得該高斯分布的參數。在再投射圖像上的標誌檢測期間，在將相鄰標誌的上下文約束考慮在內的同時連續地應用經訓練標誌檢測器。針對每個標誌，基於經訓練的標誌檢測器響應以及從DAG中的先前檢測標誌獲得位置假設。在示例性實施方式中，給定用於患者的位置信息，首先通過在患者的中心區域中應用腹股溝標誌檢測器來執行腹股溝標誌檢測。接下來，在基於來自姿勢信息的約束以及從來自腹股溝區域的假設的相對位置信息而估計的圖像區域上應用膝標誌檢測器。針對穿過DAG的每個標誌逐個地獲得標誌假設。
在步驟508處，在獲得了用於所有標誌的所有標誌假設之後，對標誌假設執行全局推理以基於經訓練標誌檢測器以及DAG中的上下文信息而獲得具有最高聯合似然性的一組標誌。標誌檢測的此連續過程處理跨不同年齡的患者的尺寸和比例變化。一旦使用全局推理檢測到最後一組標誌，則可以基於該組標誌來定義再投射圖像中的患者的身體區域。例如，可以將再投射圖像劃分成頭、軀幹、骨盆、大腿以及小腿的身體區域。在可能的實施方式中，可以基於檢測到的標誌而將人類骨骼模型擬合到再投射深度圖像。
返回圖1，在步驟108處，顯示從RGBD圖像生成的患者模型。例如，可以在計算機的顯示屏上或者在X射線掃描儀本身的控制臺上顯示患者模型。所顯示患者模型可以示出被用檢測到的身體區域標記的患者的再投射圖像。患者模型可以示出表示檢測到的標誌的位置的方框或十字形點。替換地，所顯示的患者模型可以示出表示患者身體的人類骨骼模型。
圖6圖示出示例性患者建模結果。圖6的行602、604、606、608、610以及612示出了在不同相機位置下成功地執行的標記檢測、標誌檢測以及身體區域估計任務的結果。每個示例602、604、606、608、610以及612中的第一列示出了患者工作檯上的初始RGB圖像和檢測到的環形標記。第二列示出了對應於初始RGB圖像的深度圖。第三列示出了患者的再投射圖像中的標誌檢測結果。可以觀察到的是每個示例602、604、606、608、610和612中的再投射圖像被對準到同一視場，儘管在初始RGB圖像和深度圖中有患者位置和相機取向方面的差異。第四列示出了與基於檢測到的標誌估計的身體區域（頭部、軀幹、骨盆、大腿以及小腿）一起顯示的再投射圖像。
返回圖1，在步驟110處，接收所顯示患者模型上的感興趣區域的用戶選擇。例如，用戶（例如，技術人員）可以通過使用滑鼠、觸控螢幕等來在所顯示患者模型的目標部分上進行點擊以選擇患者的感興趣區域。
在步驟112處，自動地控制X射線管以獲取感興趣區域的X射線圖像。特別地，自動地控制X射線管的位置和取向以使X射線管與所選感興趣區域對準。在一個實施例中，可以將X射線管自動地引導為與特定目標位置對準，因為X射線管、3D相機以及患者工作檯的坐標系之間的關係是使用X射線管的控制系統的管位置控制參數或環形標記而確立的。一旦X射線管與所選感興趣區域對準，則使用X射線管來獲取感興趣區域的一個或多個X射線圖像。
為了執行X射線管掃描儀自動化，必須將感興趣的目標區域的3D位置從3D相機坐標系轉移到X射線管坐標系。根據本發明的有利實施例，可以應用逆向運動學以便確定用於X射線管控制的關節角和管基礎位置。為此，使用運動校準來確立3D相機與X射線管控制系統的運動鏈之間的變換。如上所述，還可以在圖1的步驟104中使用此運動校準來計算3D相機的坐標系與患者工作檯的坐標系之間的變換。圖7圖示出根據本發明的實施例的X射線管掃描儀700的控制參數。如圖7中所示，基於X射線管的機械規格，存在用於管控制的五個參數，包括三個平移參數（TubeLongitudinal、TubeTransverse以及TubeLift）和兩個旋轉參數（RotVertical和RotHorizontal）。在圖7中可以觀察到的是兩個旋轉參數（RotVertical和RotHorizontal）具有不同的旋轉中心。
如圖2B中所示和上文討論的，可以將3D相機204附著到X射線管202的後側。這貢獻了相機坐標系相對於X射線管/準直器坐標系之間的附加的六個自由度變換。由於X射線管不在3D相機的視場內，所以使用環形標記來建立相機坐標系與X射線管坐標系之間的連結。如上文所討論的，可以針對相對於工作檯的坐標系的相機姿勢估計來穩健地檢測和識別環形標記。這允許用來閉合X射線管控制的運動鏈的環路。圖8圖示出具有3D相機的X射線管控制的運動鏈。如圖8中所示，運動鏈如下：患者工作檯（T）→管起點（A）→管保持器垂直旋轉中心（B）→管水平旋轉中心（C）→準直器亮場（D）→3D相機（E）→患者工作檯（T）。
給定當前X射線管的位置控制參數，可以用前向運動學將3D相機的光學中心和三個軸轉移到X射線管坐標系。更正式地，針對相機坐標系（E）中的3D點，可以如下導出管起始坐標系（A）中的其相應位置：
其中，是用於RotVertical的3×3旋轉矩陣，是用於RotHorizontal的旋轉矩陣，是由三個平移參數（TubeLongitudinal，TubeTransverse和TubeLift）組成的平移矢量，是從連接兩個旋轉中心（B）和（C）的臂貢獻的平移偏移，和表示相機坐標系（E）相對於準直器亮場坐標系（D）的相對姿勢，並且和表示相機坐標系（E）相對於管起始坐標系（A）的相對姿勢。
在等式（1）中，可以從五個管位置控制參數導出、和。可以根據X射線管的機械說明書用管臂長對矢量進行初始化，並且可以在必要時進一步優化。為了校準3D相機與X射線準直器之間的6-DOF變換和，我們利用由放置在工作檯的每側的彩色環形標記定義的固定工作檯坐標系（T）。即：
其中，和描述了當存在X射線管的任何移動時在幀間變化的工作檯（T）與3D相機（E）之間的6-DOF變換，並且和表示工作檯（T）與管起始坐標系（A）之間的6-DOF變換。通過重寫等式（2），我們得到：
。
用等式（3），我們能夠通過使測量的3D環形標記位置與估計位置之間的3D位置差最小化來優化未知參數：
其中，、和是在第i幀中從管位置參數導出的，是工作檯坐標系中的第k環形標記位置，其可以從3D點雲直接地測量，或者基於穩健透視n點算法而從工作檯坐標系進行變換。即：
除使3D位置誤差最小化之外，我們還可以也用已校準相機固有參數來使3D再投射誤差最小化。
為了進一步考慮其中準直器中心（圖8中的D）可能並未與管水平旋轉中心（圖8中的C）完美對準的情況，可以用從準直器投射的亮場的十字準線（crosshair）點來添加附加約束。在相機坐標系中觀察到的十字準線點在被用變換成準直器坐標系中的相應點時應接近於準直器坐標系的x和y軸中的原點。
在相機與準直器之間的相對姿勢被校準的情況下，現在可以操縱管控制參數以實現使用逆向運動學的自動化管引導。使用等式（1），可以用當前管控制參數將相機坐標系中的任何點轉移到管起始坐標系以導出和。可以通過使以下等式最小化來使準直器坐標系與特定的點和表面取向對準：
其中，是目標坐標系中的點，和表示目標坐標系與3D相機之間的相對姿勢，並且和描述了將從準直器觀察的點的期望取向和距離。根據使用情況，使準直器在到目標表面的多個平面內旋轉處對準可能是合理的。因此，期望的和可以具有導致等式（6）的多個貌似合理的解的多個選項。在實踐中，某些配置可能由於缺少管控制的一個或多個自由度而不可實現。因此，可以通過首先去除具有大誤差的解且然後檢查與當前管位置的參數距離並選擇最近的一個以節省管移動的時間和努力來選擇等式（6）的最佳解。
返回圖1，在步驟114處，輸出X射線圖像。一旦X射線管被自動地引導至對應於所選感興趣區域的位置和取向，並且用X射線管來掃描患者的感興趣區域以獲取X射線圖像。可以通過在計算機系統的顯示屏上顯示X射線圖像、列印X射線圖像的物理拷貝和/或將X射線圖像存儲在計算機系統的存儲器或儲存器中來輸出X射線圖像。
可使用眾所周知的計算機處理器、存儲器單元、儲存裝置、計算機軟體及其它部件在計算機上實現用於使用3D相機的X射線管掃描儀自動化的上述方法。在圖9中圖示出此類計算機的高級框圖。計算機902包含處理器904，其通過執行定義計算機902的總體操作的電腦程式指令來控制此類操作。可將電腦程式指令存儲在儲存裝置912（例如，磁碟）中並在期望電腦程式指令的執行時加載到存儲器910中。因此，圖1和5的方法的步驟可由存儲在存儲器910和/或儲存器912中並被執行電腦程式指令的處理器904控制的電腦程式指令定義。可以將3D相機922連接到計算機902以向計算機902輸入RGBS圖像數據。3D相機922和計算機902可被直接地連接，或者可通過網絡或其它無線通信協議進行無線通信。X射線管掃描儀924還可以連接到計算機902。X射線管掃描儀924和計算機902可被直接地連接或者可通過網絡或其它無線通信協議進行通信。還可以將醫學圖像獲取設備和計算機902實現為一個設備。計算機902可以與X射線管掃描儀924進行通信以控制X射線管924的定位和取向並控制由X射線管924進行的X射線圖像獲取。由X射線管掃描儀924獲取的X射線圖像可以被輸入到計算機902。計算機902還包括用於經由網絡與其它設備通信的一個或多個網絡接口906。計算機902還包括使得能夠與計算機902進行用戶交互的其它輸入/輸出設備908（例如，顯示器、鍵盤、滑鼠、揚聲器、按鈕等）。可將此類輸入/輸出設備908與一組電腦程式相結合地用作用以對從圖像獲取設備920接收到的體積加注釋的注釋工具。本領域的技術人員將認識到實際計算機的實施方式也包含其它部件，並且圖9是出於說明性目的的此類計算機的某些部件的高級表示。
應將前述詳細描述理解為在每個方面是說明性和示例性的而非限制性的，並且不根據具體實施方式，而是根據如根據專利法許可的完整的廣度來解釋的權利要求來確定在本文中公開的本發明的範圍。應理解的是在本文中示出並描述的實施例僅僅說明本發明的原理，並且在不脫離本發明的範圍和精神的情況下可由本領域的技術人員實現各種修改。在不脫離本發明的範圍和精神的情況下，本領域的技術人員可以實現各種其它特徵組合。