圖像處理方法
2023-06-07 02:56:01
圖像處理方法
【專利摘要】一種用於產生模擬對象類的模型的計算機實施的方法。該方法包括，針對對象類中的多個對象中的每一者，接收對象的第一二維圖像和第一採集數據，接收對象的第二二維圖像和第二採集數據，以及接收用於指示對象中多個感興趣的點的數據。基於第一採集數據和第二採集數據合併第一二維圖像和第二二維圖像，以產生三維圖像數據，該三維圖像數據包括基於指示多個感興趣的點的數據的數據，並且針對對象類中對象中的每一者產生的三維圖像數據被處理以產生模型。
【專利說明】圖像處理方法
[0001]本發明涉及用於識別圖像中的特徵的方法和裝置。更具體地，但不唯一地，本發明涉及用於將模型與圖像擬合(fit)以識別該圖像中的特徵的方法和裝置。
[0002]自動圖像分析可用於減少確定圖像特性中的人工工作量。圖像分析被用在各種不同領域以識別圖像的特徵。在其中使用圖像分析技術的一個領域是處理醫學圖像，其中圖像中解剖特徵的識別能給醫師提供有用的信息。
[0003]投影圖像技術常被用於產生醫學圖像，其中能穿透實心物體(solid object)的例如X射線的電磁輻射被產生並被投影通過感興趣的解剖區域。傳感器被布置以檢測穿過感興趣的解剖區域後的電磁輻射。感興趣的解剖區域根據其密度和組分而使電磁輻射變弱，並且如此傳感器所檢測到的電磁輻射表明了感興趣的解剖區域的組分。產生的二維圖像表示感興趣的解剖區域的密度和組分的累積變弱效果，並且因此可被人或自動地分析。然而，可以理解的是，分析例如X射線圖像的二維圖像僅提供受限數量的信息。
[0004]例如X射線計算機斷層掃描(CT)圖像技術和磁共振(MR)成像的成像技術能提供三維信息以用於分析。使用強大的磁場來排列感興趣的解剖區域的原子的磁化強度以獲得MR圖像，並且產生MR圖像花費昂貴。可根據在多個不同角度捕捉到的穿過感興趣解剖區域的大量X射線數據來產生CT圖像，使用了層析成像技術對感興趣解剖區域進行處理。CT成像技術也很昂貴並且還需要病人暴露在大量X射線輻射中，這是令人不悅的。
[0005]因此期望性價比更高的三維成像技術。
[0006]本發明的一些實施方式的目的是消除或緩解以上陳述的問題中的至少一些問題。
[0007]根據本發明的第一方面，提供了用於產生對象的三維表示的計算機實現方法。該方法包括接收作為輸入的第一二維投影圖像和接收作為輸入的與第一二維投影圖像相關聯的採集數據。根據採集數據來處理第一二維投影圖像以產生提供對象表示的數據三維體積(three-dimensional volume of data),該數據體積包括多個體元,每個體元具有基於二維投影圖像的至少一個像素的值。
[0008]以這種方式，根據二維圖像產生用於處理以識別對象特徵的對象的三維表示。雖然存在三維成像技術，現有技術非常昂貴並且可能需要發射大量輻射。通過產生所述的對象的三維表示，可緩解這些問題。
[0009]該方法還可包括接收作為輸入的用於模擬感興趣區域的模型，並且將該模型與對象的三維表示擬合。可基於模型的擬合來識別對象的三維表示中的特徵。換言之，可以使用擬合技術處理三維表示以產生有用的信息。例如，在對象是感興趣的解剖區域的情況下，感興趣的解剖區域的特徵能被識別，這些特徵在執行醫學程序中很有用。
[0010]擬合可包括應用以下各項所構成的組中的擬合技術:剛性配準、非剛性配準、主動形狀模擬和主動外觀模擬。事實上，擬合可包括應用任意合適的擬合技術。
[0011]該方法還可以包括接收作為輸入的第二二維投影圖像和接收作為輸入的與第二二維投影圖像相關聯的採集數據。該處理可包括基於與第一二維投影圖像和第二二維投影圖像中的一者相關聯的採集數據來合併該第一維投影圖像和第二二維投影圖像，其中每個體元具有基於第一二維投影圖像的至少一個像素的第一值和基於第二二維投影圖像的至少一個像素的第二值。
[0012]通過以這種方式合併數據，三維表示提供了更多信息並且因此能提供更準確的擬合結果。第一採集數據和第二採集數據通常指示相同坐標空間中的不同點，並且通過合併從不同點中捕獲的數據，三維表示可提供體積內的特定點的組分的指示，而非沿著穿過體積的路徑的淨組分。
[0013]可通過將電磁輻射從第一電磁輻射源穿過對象投影至第一電磁輻射傳感器來產生第一投影圖像，並且通過將電磁輻射從第二電磁輻射源穿過對象投影至第二電磁輻射傳感器來產生第二投影圖像。可以理解的是，第一電磁輻射源和第二電磁輻射源可以是相同的源。類似的，第一傳感器和第二傳感器可以是同一個傳感器。特別地，對象的位置可以相對於單個源和傳感器被調整，如此使得第一圖像和第二圖像提供通過對象的不同投影。
[0014]對於每個二維投影圖像的採集數據可提供從電磁輻射的各個源至電磁輻射的各個傳感器的投影路徑的指示。換言之，採集數據可以指示電磁輻射源和傳感器的三維空間中的相對位置。第一採集數據和第二採集數據中的每一者的三維空間一般是基於相同坐標系的。換言之，第一圖像的採集數據所指示的點可以相對於第二圖像的採集數據所指示的點的位置而被確定。
[0015]對於數據三維體積中的每一個體元，第一值可以基於第一圖像的至少一個像素的值，該值或至少一個值中的每一個被基於從第一電磁輻射源至第一傳感器像素位置的投影路徑所確定，並且第二值可以基於第二圖像的至少一個像素的值，該值或至少一個值中的每一個被基於從第二電磁輻射源至第二傳感器像素位置的投影路徑所確定。被特定投影路徑橫穿的每個體元可具有基於相同像素值的值。傳感器的每個像素位置通常提供表示源和傳感器間的電磁輻射的總衰減的單個值。然而，通過基於相關聯的採集數據合併沿著不同路徑所產生的點的圖像數據，產生含有與對沿著路徑的不同點的總衰減的不同貢獻相關聯的信息的數據，並且如此，三維數據被提供。
[0016]第一值可基於第一圖像的多個像素的加權平均，並且第二值可基於第二圖像的多個像素的加權平均。例如，從電磁輻射源至傳感器像素位置的多個投影路徑可穿過體元，並且體元的第一值和第二值可基於具有穿過該體元的投影路徑的每個像素位置的各個圖像中的像素值的合併。可替換地或另外地，體元的第一值和第二值可基於與體元相關聯的投影路徑所穿過的像素位置相鄰的像素位置的多個像素值。
[0017]可基於各個二維投影圖像中所表示的標記符的識別來產生採集數據。可基於各個二維投影圖像中所表示的被識別的標記符的屬性來產生採集數據，所述屬性選自以下各項構成的組:標記符的大小、標記符的方向、投影圖像中所表示的標記符的形狀和標記符的位置。可通過標定對象(calibration object)來產生標記符,該標定對象被布置位於相對於包括如該標定對象中的特定位置上的球軸承的對象的特定位置，該標定對象可以是例如支柱(brace)。球軸承(或其他合適對象)使得電磁輻射劇烈衰減並且因此可以在第一和第二圖像中易於被識別並且用於使用已知方法產生採集數據。
[0018]第一和第二二維投影圖像可以是射線照片圖像或螢光照片圖像。可以理解的是，多於兩個的二維投影圖像可被用於產生對象的三維表示。例如，該方法還可包括接收作為輸入的第三二維投影圖像並接收作為輸入的與所述第三二維投影圖像相關聯的第三採集數據。可基於與第三二維投影圖像相關聯的第三採集數據將第三二維投影圖像與第一維投影圖像和第二二維投影圖像合併，以產生提供對象表示的數據三維體積，其中每個體元還具有基於第三二維投影的至少一個像素的第三值。進一步地，二維投影圖像可以被以相應的方式合併。
[0019]根據本發明的第二方面，提供了一種產生模擬對象類的模型的計算機實施的方法。該方法包括，針對對象類中的多個對象的每一個對象，接收作為輸入的該對象的第一二維圖像和與第一二維圖像相關聯的第一採集數據，並且接收作為輸入的用於指示該對象內的多個感興趣的點的數據。基於採集數據處理該二維圖像以產生三維圖像數據，該三維圖像數據包括基於用於指示多個感興趣的點的數據的數據，並且針對對象類中的每一個對象所產生的三維圖像數據被處理以產生模型。
[0020]因此本發明的第二方面通常包括產生用於模擬由本發明的第一方面所產生的三維圖像數據形式的模型。
[0021]該方法還包括，針對對象類的所述多個類中的每一個類，接收作為輸入的第二二維圖像和與第二二維圖像相關聯的第二採集數據，其中處理包括基於與第一二維投影圖像和第二二維投影圖像中的每一者相關聯的採集數據來合併第一二維圖像和第二二維圖像。
[0022]該方法還包括接收對象的三維圖像，基於所接收到的三維圖像和所述第一採集數據產生所述對象的第一二維圖像，並且基於所接收到的三維圖像和第二採集數據產生對象的第二二維圖像。
[0023]以這種方式使用三維圖像以產生用於能產生進一步的三維圖像的二維圖像，允許指示多個感興趣的點的數據被提供，如此使得所產生的模型能識別在看不見的圖像數據中的感興趣的點。然而，該模型被訓練以與圖像數據擬合，圖像數據中的感興趣的點不容易被識別，但能被容易且廉價地獲得。因此該模型能準確地與這種圖像數據擬合以識別該圖像數據中的特徵。
[0024]感興趣的區域的三維圖像集合可以是計算機斷層掃描圖像或其他合適的三維圖像的集合，該三維圖像中的感興趣的點能容易地被識別並且根據該三維圖像能產生二維圖像。
[0025]產生感興趣的區域的二維圖像可包括基於採集數據來確定穿過對象的多個路徑，該多個路徑用於表示從電磁輻射源至關聯的電磁輻射傳感器的路徑，並且處理該圖像以針對多個路徑中的每一個路徑產生數據值，該數據值提供了沿著該路徑的電磁輻射的總衰減的指示。例如，在三維圖像是計算機斷層掃描圖像的情況下，該圖像包括用於指示對象組分的數據，並且可使用理論上的採集數據來處理該數據以產生圖像，該圖像對應於使用位於理論上的採集數據所指示的理論源和理論傳感器的相應點的預定源和傳感器所產生的X射線圖像。換言之，可根據用於指示電磁輻射的理論源和理論傳感器的位置的採集數據來處理該三維圖像，如此使得所產生的圖像數據對應於通過以下步驟產生的圖像數據:從電磁輻射的理論源的位置投影通過由三維圖像數據所表示的對象到達位於理論傳感器的位置的傳感器。
[0026]該三維圖像數據可包括多個體元，該三維數據的每個體元具有基於第一二維投影圖像的至少一個像素的第一值和基於第二二維圖像的至少一個像素的第二值。第一值可基於第一二維圖像的至少一個像素的值，該第一二維圖像的至少一個像素的值基於從電磁輻射理論源到理論傳感器的至少一個像素位置的路徑被確定，並且第二值可基於第二二維圖像的至少一個像素的值，該第二二維圖像的至少一個像素的值基於從電磁輻射理論源到理論傳感器的至少一個像素位置的路徑被確定。例如，第一值和第二值可基於各個傳感器的每個像素位置的平均值來確定，對於每個傳感器，路徑穿過體元所表示的體積。
[0027]本發明的第二方面可使用根據本發明的第一方面所產生的圖像數據。因此，本發明的第一方面和第二方面可以任意合適方式合併。例如，根據本發明的第一方面所產生的對象的三維表示可以被處理以將根據本發明的第二方面所產生的模型與該對象的三維表示擬合，並且可基於模型的擬合來識別該對象的三維表示中的特徵。
[0028]本發明的方面可以以任意方便的形式被實施。例如，可提供電腦程式來執行於此所述的方法。該電腦程式可以在包括合適的有形存儲設備(例如磁碟)的合適的計算機可讀介質上執行。本發明的方面也能以合適的編程計算機的方式被實施。
[0029]現在將參考附圖僅以示例的方式來描述本發明的實施方式，其中:
[0030]圖1是已知投影裝置的原理圖；
[0031]圖2是適用於執行本發明的投影成像裝置的原理圖；
[0032]圖2A是示出圖2的成像裝置的計算機的原理圖；
[0033]圖3是示出在本發明的一個實施方式中用於產生圖像數據的處理的流程圖；
[0034]圖4和圖5示出了產生圖像數據的圖像值的合併；
[0035]圖6示出了圖像值通過體積的傳播；
[0036]圖7是根據本發明的實施方式的用於圖像分析的系統的原理圖；以及
[0037]圖8是示出為分析圖7所示系統中的圖像所執行的處理的流程圖。
[0038]參考圖1，示出了用於成像感興趣的解剖區域I的投影成像裝置，針對該成像感興趣的解剖區域1，期望產生示出感興趣的解剖區域I的特徵的圖。例如，感興趣的解剖區域I可以是需要手術的病人的膝關節，並且希望在執行手術前可確定膝關節的特徵。使用已知的投影成像技術，電磁輻射源2被布置以將如X射線的電磁輻射投影穿過感興趣的解剖區域I到達傳感器3。沿著從源2到傳感器3的電磁輻射路徑(該路徑穿過感興趣的解剖區I)的每個點基於該點的密度和組分吸收部分電磁輻射。傳感器3檢測到的輻射能夠被用於產生圖像4，圖像4表示沿著從源到傳感器的電磁輻射路徑的感興趣的解剖區域I的密度和組分。
[0039]圖2示出了根據本發明的實施方式的適用於成像相同的感興趣的解剖區域I的投影成像系統。圖2中的投影成像系統具有第一電磁輻射源5和第二電磁輻射源7，第一電磁輻射源5被布置為將電磁輻射投影穿過感興趣的解剖區域I到達第一傳感器6，第二電磁輻射源7被布置為將電磁輻射投影穿過感興趣的解剖區域I達到傳感器8。第一電磁輻射源5和第二電磁輻射源7以及第一傳感器6和第二傳感器8被布置使得從兩個不同方向來投影電磁輻射穿過感興趣的解剖區域I，如此使得第一傳感器6和第二傳感器8檢測到的電磁輻射沿著不同路徑穿過感興趣的解剖區域I。來自傳感器6和8中的每一個的數據被提供給計算機9並且按照下面的描述被處理。
[0040]圖2A更詳細的示出了計算機9。能夠看出計算機包括被配置為讀取和執行存儲在易失存儲器％中的指令的CPU9a，易失存儲器9a採取隨機存取存儲器的形式。易失存儲器9b存儲由CPU9a執行的指令和那些指令所使用的數據。例如，在使用中，由圖2中的傳感器6和8產生的數據可以被存儲在易失存儲器9b中。[0041]計算機9還包括硬體磁碟驅動器9c形式的非易失存儲器。傳感器6和8所產生的數據可以被存儲在硬碟驅動器9c上。計算機9還包括I/O接口 9d，該I/O接口 9d被連接至被用於與計算機9連接的外圍設備。更具體地，顯示器9e被配置以顯示來自計算機9的輸出。例如，顯示器9e可顯示傳感器6和8所產生的數據表示。輸入設備也被連接至I/O接口 9d。這種輸入設備包括鍵盤9f和滑鼠9g，鍵盤9f和滑鼠9g允許用戶與計算機9進行互動。網絡接口 9h允許計算機9被連接至合適的計算機網絡，以便接收來自其他計算設備的數據並傳送數據至其他計算設備。CPU9a、易失存儲器％、硬碟驅動器9c、I/O接口 9d和網絡接口 9h通過總線9i被連接在一起。
[0042]圖3示出了根據本發明的實施方式的用於產生圖像數據的處理。在步驟SI第一圖像數據被接收並且在步驟S2第一採集圖像被接收。第一圖像數據是由圖2中的第一傳感器6產生的數據，並且第一採集數據指示與傳感器6相關聯的電磁輻射源5和傳感器6在三維空間中的相對位置。如此，步驟2中接收到的第一採集數據能夠被用於針對傳感器6中的每個感測位置確定從電磁輻射源5穿過感興趣的解剖區域I到達傳感器6的電磁輻射的投影路徑。在步驟S3第二圖像數據被接收並且在步驟S4第二採集數據被接收。第二圖像數據和第二採集數據通常分別對應於第一圖像數據和第一圖像採集數據，但是是與第二電磁輻射源6和傳感器8相關聯的數據。
[0043]可基於在第一和第二圖像中能被識別的特徵來產生採集數據。例如，成像區域可包括一個或多個標記符，該一個或多個標記符能在第一和第二圖像中被識別並且提供關於被用於產生源和特定圖像數據的傳感器的位置和方向的指示。該標記符可採取任意方便的形式，例如被布置為位於相對於包括標定對象中特定位置上的球軸承的感興趣解剖區域的特定位置的標定對象。該球軸承使電磁輻射劇烈衰減並且因此易於在第一和第二圖像中被識別。
[0044]在步驟S5中，基於在步驟S2和S4接收到的第一採集數據和第二採集數據來合併步驟SI和S3接收到的第一和第二圖像數據，以產生體積中的每個體元的數據值，該體積用於表示感興趣的區域。如下詳細的所述，第一圖像數據和第二圖像數據被合併，如此使得每個體元與一值對相關聯，值對中的一個是基於第一圖像數據的並且對值中的另一個是基於第二圖像數據。
[0045]如上所指出的，在步驟SI和S3接收到的圖像數據是根據投影成像技術所產生的數據，並且因此第一圖像數據和第二圖像數據中的每個像素值表示起源於電磁輻射源5和7並終止在確定像素值的傳感器位置的投影路徑上的電磁輻射的總衰減。如此，每個像素值包括基於由沿著該路徑的每個點所提供的衰減的衰減信息。雖然沿著路徑的一些點與沿著該路徑的其他點相比使電磁輻射的衰減更大，每個圖像僅給每個路徑提供一個值。例如，位於病人的膝關節的骨頭上的點將使信號大幅度衰減，反之位於僅包含空氣的空間的點將使信號的衰減微不足道，但不可能基於特定像素值來確定沿著路徑的點的不同衰減。然而，通過基於相關聯的採集數據合併沿著不同路徑所產生的點的圖像數據，產生了包括與對沿著路徑不同點的總衰減的不同貢獻相關聯的信息的數據，並且如此三維數據被提供。
[0046]第一圖像數據和第二圖像數據的合併在圖4和5中被示出。圖4示出了表示感興趣的區域的體積10。體積10包括多個體元11，多個體元11中的一小部分在圖4中示出，而更多細節在圖5中示出。每個體元11與數據值對相關聯，該數據值中的一個是基於第一圖像數據的像素值並且該數據值中的另一個是基於第二圖像數據的像素值。每個體元的各個圖像數據的特定像素值是基於從電磁輻射源5、7至傳感器6、8的路徑來確定的。在圖4中示出了從源5起始至傳感器位置13的第一路徑12和從源7起始至傳感器位置115的第二路徑14，並且路徑12和14中的每一個在向體元11中的一些提供值的傳感器位置13和15處產生了各自的單個值。
[0047]位於路徑12上的體元16、17、18中的每一個採用傳感器位置13的值作為第一值，而位於路徑14上的體元18、19、20中的每一個採用傳感器位置15的值作為第二值。體元16和17中的每一個採用基於不同於傳感器位置13的傳感器位置的值作為第二值，而體元
19、20中的每一個採用基於不同關於傳感器位置15的傳感器位置的值作為第一值。按照這種方式，每個體元採用一值對，在合併中該值對提供了感興趣的解剖區域的相應部分的衰減的指示，但是其是基於沿著兩個交叉路徑的總衰減。
[0048]在一些實施方式中，一些或所有體元可位於多個路徑上。換言之，從源起始至多個傳感器位置的多個路徑可穿過一些或全部體元。在體元位於從源至傳感器位置的多個路徑上的情況中，該體元可採用基於那些傳感器位置的值的合併的值。例如，可使用加權平均來合併路徑上的傳感器位置的值。可替換的，體元可位於到達傳感器位置的單個路徑上，並且傳感器位置和與該傳感器位置相鄰的傳感器位置可被平均以為該體元提供值。
[0049]圖6示出了來自例如傳感器6、8的傳感器的像素值是如何被傳播通過體積以提供體元的值。圖6示出了具有邊25的三維體積，邊25具有對應於基於傳感器產生的二維圖像的值。該二維圖像通常由以方向26使電磁輻射穿過感興趣的解剖區域而被產生，並且如此邊25的值在方向26上被傳播以形成體積，在該體積中通過邊25的平面中的體積的每個切片(slice)具有相同的值。通過合併兩個這種體積的數據值來產生在步驟S5產生的圖像數據，該合併是基於允許對應點被確定的採集數據來確定的，如此使得每個體元具有用於指示在多於一個方向上的對應點的衰減的值。
[0050]處理在圖3中的步驟S5產生的圖像數據以識別感興趣的解剖區域的特徵。參考圖7，計算機30被布置接收感興趣的解剖區域以上述方式產生的圖像數據31或者接收模型32，計算機30可以與上述計算機9相同或者是與計算機9相同形式的計算機。模型32被與圖像數據31擬合以產生模型的參數化33。模型32是如主動外觀模型或主動形狀模型的統計模型，已基於具有與圖像數據31的主體的感興趣的解剖區域相同類型的感興趣的解剖區域的圖像的訓練集合來創建該統計模型，並且以與圖像數據31的對應方式生成該統計模型，如下所述。模型32是訓練圖像中的變化的統計模型，並且通過處理圖像的訓練集合產生平均模型(mean model)和來自訓練集合的平均模型的變化範圍來產生模型32。計算機30產生的參數化33指示圖像31所表示的感興趣解剖區域的特徵，並且因此用於識別表示的感興趣解剖區域的特徵。
[0051]下面描述的處理涉及基於圖像數據的訓練集合所建立的模型M。如上所述，模型M是基於圖像數據的訓練集合所建立的統計模型，並且是圖像數據中的感興趣的特徵的模型。可以理解的是，模型M的產生和擬合能以任意方便的方式來執行。例如，可使用在美國專利號7584080中所描述的參數化技術來產生模型M，該專利的通過引用被合併於此。
[0052]為了使模型M識別感興趣的點，那些感興趣的點在圖像的訓練集合中被指示。基於被模擬的對象的特徵選擇感興趣的點的集合。例如，如果被模擬的對象是膝關節，可基於膝關節的解剖特徵來選擇感興趣的點。
[0053]為了使模型能準確地與上述圖像數據擬合，期望圖像數據的訓練集合對應於圖像數據，模型將儘可能緊密的與該圖像數據擬合。如此，可在根據如上所述的採集數據和射線照片圖像所產生的三維圖像數據上與三維圖像數據中的感興趣點的集合一起訓練模型。然而，手動標記上述形式的圖像數據的訓練集合是有問題的，因為雖然圖像數據表示三維圖像數據，但人不易於判斷圖像數據來指示感興趣的點。因此，例如，可以在與射線照片圖像的主體相同的感興趣解剖區域的CT圖像中指示感興趣的點，根據該射線照片圖像產生三維圖像數據，並且可使用註冊方法使感興趣的點位於三維圖像數據中。例如，可通過手工調整三維圖像數據，直至三維圖像數據的二維投影與CT圖像的二維投影對應，將感興趣的點位於三維圖像數據中。
[0054]可替換地，可以以現在描述的方法產生訓練圖像數據，該訓練圖像數據具有與模型M擬合的圖像數據的對應形式並且適用於產生具有被標記的預定感興趣點的模型M。
[0055]參考圖8，示出了用於產生訓練圖像的處理。在步驟後SlO中接收到三維圖像數據。例如，該三維圖像數據可以是提供感興趣解剖區域的三維表示的X射線計算機斷層掃描(CT)圖像數據，人類專家能在三維表示中識別解剖特徵。在步驟Sll中接收用於指示三維圖像數據中感興趣的點的數據。如以上表明的，感興趣的點通過人類專家手動標記三維圖像數據而被提供並且基於被模擬對象的特徵而被選擇。在步驟S12中根據步驟SlO中接收到的圖像產生第一圖像數據，並且在步驟S13中產生第二圖像數據。下面將更加詳細地描述第一圖像數據和第二圖像數據的產生。
[0056]基於採集數據通過處理在步驟SlO中接收到的三維圖像數據產生三維圖像數據的二維表示來產生第一圖像數據和第二圖像數據中的每一者，並且每個二維表示被產生，如此使得其具有與如上參考圖2所述的被產生的投影圖像相同的模式。
[0057]換言之，在步驟SlO中接收到的三維圖像數據提供了由三維圖像數據所表示的體積中的每個點的密度和衰減的指示。能處理採集數據以產生穿過三維圖像數據所表示的體積的理論路徑，該採集數據用於指示理論電磁輻射源和被布置為檢測電磁輻射的理論傳感器的三維空間中的理論相對位置。因為在三維圖像數據所表示的體積中的每個點的衰減是已知的，因此能確定沿著每個理論路徑的總衰減，並且能產生對應於二維圖像的圖像，該二維圖像通過將電磁輻射從理論源投影穿過三維圖像數據中所表示的感興趣解剖區域到達理論傳感器而被產生。
[0058]在步驟S14中，基於用於以以上參考圖3描述的方式產生圖像的相應採集數據來處理在步驟S12和S13中產生的第一圖像數據和第二圖像數據。在與步驟SlO中接收到的三維圖像數據相同的三維坐標系中產生進一步的三維圖像數據，並且因此在步驟Sll中接收到的感興趣的點的位置指示在所產生的三維圖像數據中的感興趣的點的位置。
[0059]因為進一步的三維圖像數據包括用於指示在步驟SlO中接收到的三維圖像數據中的感興趣的點的數據，因此其適於訓練模型以與上述圖像數據擬合。而且，因為進一步的圖像數據以這種方式被產生，其對應於如上述根據之前看不見的圖像數據產生的圖像數據，在進一步的三維圖像數據上訓練的模型能準確地擬合如以上參考圖3的描述所產生的圖像數據。
[0060]以上描述了在圖3的步驟S5中基於各個採集數據合併兩個圖像以產生表示感興趣解剖區域的體積中的每個體元的數據值。然而可以理解的是，能夠基於採集數據從單個圖像中產生表示感興趣解剖區域的體積的每個體元的數據值。特別地，位於如採集數據所指示的路徑上的體積中的每個體元可以以上述參考圖6的方法基於圖像的像素來得到值。在該方式中，可根據單個二維圖像產生感興趣的解剖區域的三維表示，並且可使用圖7中的系統處理該三維表示以產生用於指示單個圖像所表示的感興趣解剖區域的特徵的參數化。
[0061]其中根據單個二維圖像由圖7中的系統產生感興趣解剖區域的三維表示，圖7的模型32是在以相同方式產生的三維表示上訓練的模型，並且模型32包括三維中的感興趣解剖區域的特徵的指示，而非在二維投影中可見特徵的指示。如此，使用模型擬合來識別在二維圖像中不可見的特徵仍然是可能的。
[0062]例如，該模型可以是將在下面描述的形狀模型或外觀模型。然而，可以理解的是，可使用例如變形模板或變形圖冊的其他模型，變形模板或變形圖冊採取允許在約束集合中變形的典型或平均不例的形式。在Tim McInerney和Demetri Terzopoulos的「Deformable Models in Medical Image Analysis:A Survey」， Medical ImageAnalysis, 1(2):91 - 108, 1996中給出了變形模型回顧，該文章的內容以引用的方式結合與此。[0063]下面的描述是基於二維圖像數據的，在該二維圖像數據中每個像素位置採用單個值並且在其中形狀和外觀被模擬，然而，可以理解的是，該原則能應用於在其中每個體元位置採用元組值(a tuple of value)的三維圖像數據。雖然在本發明中用於訓練模型的圖像數據通常不是人類專家容易解釋的形式，下面描述的類型的模型遵照表示圖像數目的集合，在該圖像中感興趣的點已被識別並且由此數據的形式難以被人類專家理解已經不是難題。
[0064]在模型是形狀模型的情況下，以上述方式產生的與每個訓練圖像相關聯的感興趣的點的集合由包括所選擇點的坐標的級聯(concatenation )的形狀向量來表示。對於其中每個像素具有單個值的二維圖像數據，特定訓練圖像數據的形狀向量X採取形式:
[0065]X = (X1, Y1, x2, J2,..., xn, yn) (I)
[0066]其中η是圖像中的感興趣的點的數目。
[0067]能夠根據等式(2)計算出平均形狀(mean shape)向量?:1 N
[0068]X =^--Xxi(2)
N i=l
[0069]其中N是訓練圖像的數目；以及
[0070]Xi是表示訓練圖像i的向量。
[0071]多個形狀向量，用於每個訓練圖像的一個可被用於產生矩陣X，其中每行表示一個形狀向量。
[0072]各個訓練圖像中選中的點所表示的形狀中的每一個形狀被翻譯、旋轉和縮放，如此使得它們的圖心重合併且在每個圖像中的點和在平均形狀上的那些點間的均方誤差的和最小化。
[0073]可通過使用等式(2)第一次計算平均形狀向量根據對齊的形狀來創建協方差矩陣
S。對於訓練集合中的每個圖像，能根據等式(3)計算出與平均形狀的偏差:[0074]dxi=x1-X(3)
[0075]然後使用等式(4)計算出協方差矩陣S:
[0076]⑷
【權利要求】
1.一種用於產生對象的三維表示的計算機實施的方法，該方法包括: 接收作為輸入的第一二維投影圖像； 接收作為輸入的與所述第一二維投影圖像相關聯的採集數據； 基於所述採集數據處理所述第一二維投影圖像，以產生用於提供所述對象的所述表示的數據三維體積，所述數據體積包括多個體元，每個體元具有基於所述二維投影圖像的至少一個像素的值。
2.根據權利要求1所述的計算機實施的方法，該方法還包括: 接收作為輸入的用於模擬感興趣區域的模型； 將所述模型與所述對象的所述三維表示擬合；以及 基於所述模型的所述擬合來識別所述對象的所述三維表示中的特徵。
3.根據權利要求2所述的計算機實施的方法，其中所述擬合包括應用選自以下各項所構成的組中的擬合技術:剛性配準、非剛性配準、主動形狀模擬和主動外觀模擬。
4.根據上述權利要求中任一權利要求所述的計算機實施的方法，該方法還包括: 接收作為輸入的第二二維投影圖像； 接收作為輸入的與所述第二二維投影圖像相關聯的採集數據； 其中所述處理包括基於與所述第一二維投影圖像和所述第二二維投影圖像中的每一者相關聯的所述採集數據來合併所述第一二維投影圖像和所述第二二維投影圖像，其中每個體元具有基於所述第一二維投影圖像的至少一個像素的第一值和基於所述第二二維圖像的至少一個像素的第二值。
5.根據權利要求4所述的計算機實施的方法，其中通過將電磁輻射從第一電磁輻射源投影穿過所述對象到達第一電磁輻射傳感器來產生所述第一投影圖像，以及通過將電磁輻射從第二電磁輻射源投影穿過所述對象到達第二電磁輻射傳感器來產生所述第二投影圖像。
6.根據權利要求5所述的計算機實施的方法，其中用於每個二維投影圖像的所述採集數據提供從各個電磁輻射源至各個電磁輻射傳感器的投影路徑的指示。
7.根據權利要求6所述的計算機實施的方法，其中，對於所述數據三維體積中的每個體元，所述第一值是基於所述第一圖像的至少一個像素的值的，基於從所述第一電磁輻射源到所述第一傳感器的像素位置的投影路徑來確定所述至少一個值或至少一個值中的每一個值，並且所述第二值是基於所述第二圖像的像素的至少一個值，基於從所述第二電磁輻射源到所述第二傳感器的像素位置的投影路徑來確定所述至少一個值或至少一個值中的每一個值。
8.根據權利要求7所述的計算機實施的方法，其中所述第一值是基於所述第一圖像的多個像素的加權平均的，並且所述第二值是基於所述第二圖像的多個像素的加權平均的。
9.根據上述權利要求中的任一權利要求所述的計算機實施的方法，其中所述採集數據基於各個二維投影圖像中所表示的標記符的識別而被產生。
10.根據權利要求9所述的計算機實施的方法，其中所述採集數據基於各個二維投影圖像中所表示的被識別的標記符的屬性而被產生，所述屬性選自以下各項構成的組:標記符的大小、標記符的方向和標記符的位置。
11.根據上述權利要 求中的任一權利要求所述的計算機實施的方法，其中所述二維投影圖像或每一個二維投影圖像是射線照片圖像或螢光照片圖像。
12.根據上述權利要求中的任一權利要求所述的計算機實施的方法，該方法還包括: 接收作為輸入的一個或多個進一步的二維投影圖像；以及接收作為輸入的與所述一個或多個二維投影圖像的每一者相關聯的各個採集數據；其中基於與所述一個或多個二維投影圖像中的每一者相關聯的所述各個採集數據，將所述一個或多個進一步的二維投影圖像中的每一者與所述第一二維投影圖像和第二二維投影圖像合併，以產生提供所述對象的所述表示的數據三維體積，每個體元還具有基於所述一個或多個進一步的二維投影圖像中的每一者的至少一個像素的各個進一步的值。
13.一種電腦程式，該電腦程式包括被配置為使計算機執行根據權利要求1至12中的任一權利要求所述的方法的計算機可讀指令。
14.一種攜帶權利要求13所述的電腦程式的計算機可讀介質。
15.一種用於產生對象的三維表示的計算機裝置，該計算機裝置包括: 用於存儲處理器可讀指令的存儲器；以及 被布置為讀取和執行存儲在所述存儲器中的指令的處理器； 其中所述處理器可讀指令包括被布置為控制所述計算機執行根據權利要求1至12中任一權利要求所述的方法的指令。
16.一種產生用於模擬對象類的模型的計算機實施的方法，該方法包括: 針對所述對象類中的多個對象中的每一者: 接收作為輸入的所述對象的第一二維圖像和與所述第一二維圖像相關聯的第一採集數據； 接收作為輸入的用於指示所述對象中多個感興趣的點的數據； 基於所述採集數據處理所述二維圖像，以產生三維圖像數據，所述三維圖像數據包括基於用於指示多個感興趣的點的所述數據的數據；以及 處理用於所述對象類的所述對象中的每一者的所述產生的三維圖像數據，以產生所述模型。
17.根據權利要求16所述的計算機實施的方法，該方法還包括: 針對所述對象類中的所述多個對象中的每一者: 接收作為輸入的第二二維圖像和與所述第二二維圖像相關聯的第二採集數據； 其中所述處理包括基於與所述第一二維投影圖像和所述第二二維投影圖像中的每一者相關聯的所述採集數據來合併所述第一二維圖像和第二二維圖像。
18.根據權利要求16所述的計算機實施的方法，其中通過以下步驟產生針對所述多個對象中的每一個對象的所接收到的第一二維圖像: 接收所述對象的三維圖像；以及 基於所接收到的三維圖像和所述第一採集數據來產生所述對象的所述第一二維圖像；以及 其中通過以下步驟產生針對多個對象中的每一個對象的所接收到的第二二維圖像: 基於所接收到的三維圖像和所述第二採集數據來產生所述對象的所述第二二維圖像。
19.根據權利要求18所述的計算機實施的方法，其中產生所述對象的所述二維圖像包括:基於所述採集數據確定穿過所述對象的多個路徑，所述多個路徑表示從電磁輻射源至相關聯的電磁輻射傳感器的路徑；以及 處理所述圖像，以針對所述多個路徑中的每一者產生數據值，所述數據值提供沿著所述路徑的所述電磁福射的總裳減的指不。
20.根據權利要求19所述的計算機實施的方法，其中所述三維圖像數據包括多個體元，所述三維數據中的每個體元具有基於所述第一二維投影圖像的至少一個像素的第一值和基於所述第二二維圖像的至少一個像素的第二值； 其中，所述第一值是基於所述第一二維圖像的至少一個像素的值的，基於從所述電磁輻射源至所述傳感器的像素位置的路徑來確定所述像素或每一個像素，並且所述第二值是基於所述第二二維圖像中的至少一個像素的值的，基於從所述電磁輻射源至所述傳感器的像素位置的路徑來確定所述像素或每一個像素。
21.根據權利要求16至20中的任一權利要求所述的計算機實施的方法，該方法還包括處理根據權利要求1至12中任一權利要求所述的方法產生的對象的三維表示，以將所述模型與所述對象的三維表示擬合；以及 基於所述模型的所述擬合來識別所述對象的三維表示中的特徵。
22.根據權利要求18至21中的 任一權利要求所述的計算機實施的方法，其中所接收到的所述對象的三維圖像是計算機斷層掃描圖像的集合。
23.一種電腦程式，該電腦程式包括被配置為使計算機執行根據權利要求17至22中任一權利要求所述的方法的計算機可讀指令。
24.一種攜帶根據權利要求23所述的電腦程式的計算機可讀介質。
25.一種用於產生模擬對象的模型的計算機裝置，該計算機裝置包括: 用於存儲計算機可讀指令的存儲器；以及 被布置為讀取和執行存儲在所述存儲器中的指令的處理器； 其中所述處理器可讀指令包括被布置為控制計算機以執行根據權利要求17至22中任一權利要求所述的方法的指令。
【文檔編號】G06T7/00GK103930924SQ201280038590
【公開日】2014年7月16日 申請日期:2012年7月27日 優先權日:2011年8月9日
【發明者】G·R·文森特, M·A·鮑斯 申請人:依莫菲克斯公司, 德普伊國際有限公司