對圖像的臨床相關性進行自動檢測和測試的系統和方法
2023-06-03 20:58:56
對圖像的臨床相關性進行自動檢測和測試的系統和方法
【專利摘要】本文中公開了用於對解剖情形下的圖像的臨床相關性進行自動檢測的系統和方法。該方法包括：比較第一圖像和第二圖像並且確定第一圖像與第二圖像之間的差異是否是局部型差異和全局型差異中的至少一個。局部型差異是第一圖像與第二圖像之間的局部差異，全局型差異是第一圖像與第二圖像之間的全局差異。如果第一圖像與第二圖像之間的差異包括局部型差異，則確定第二圖像具有臨床相關性。
【專利說明】對圖像的臨床相關性進行自動檢測和測試的系統和方法
【技術領域】
[0001]本發明涉及一種用於對解剖情形下的圖像的臨床相關性進行自動檢測的方法與裝置以及系統，具體地涉及一種使得能夠更快地提供可靠的圖像數據的方法與裝置以及系統。
【背景技術】
[0002]在將從諸如X射線、CT、MRT/MRI的成像裝置獲取的圖像數據例如用於導航或計算機輔助手術系統時，可以提供該圖像數據作為視頻信號。具有相關性的是，檢測是否存在新圖像，使得導航系統或計算機輔助手術系統可以根據需要使用新圖像的新內容。
[0003]美國專利公開N0.2011/0058026描述了一種用於檢測圖像裝置的狀態的系統和方法。美國專利公開N0.2011/0058026描述了確定掩膜(mask)外部的圖像範圍的強度，使得當新觸發的X射線裝置照射解剖體而導致強度的突然增加時檢測到新圖像的出現。
【發明內容】
[0004]本發明提供了用於更快地提供可靠的圖像數據的系統和方法。
[0005]應當注意的是，接下來所描述的本發明的示例性實施方式也涉及方法、裝置、程序要素和計算機可讀介質。
[0006]根據本發明的示例性實施方式，一種用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的方法，包括:獲取解剖情形下的第一圖像；獲取解剖情形下的第二圖像；比較並且確定第一圖像與第二圖像的差異；確定第一圖像與第二圖像之間的差異是否包括局部型差異和全局型差異中的至少一個，其中，局部型差異是第一圖像與第二圖像的局部差異，以及其中，全局型差異是第一圖像與第二圖像之間的全局差異，並且如果確定第一圖像與第二圖像之間的差異包括局部型差異，則確定第二圖像具有臨床相關性。
[0007]在手術過程中，具有臨床相關性的圖像是例如在手術進行中向外科醫生提供新的或附加信息的圖像。具體地，當提供一系列圖像時，如果後續圖像關於序列中的其間接或直接在前的圖像具有附加的或新的信息，則認為該後續圖像具有臨床相關性。該附加信息例如可以是增加的植入物、植入物的改變的位置、改變的骨頭或組織群集，其中，增加和改變均是相對於各自在前的圖像而言的。該方法還可以包括在檢測局部型差異之前檢測全局型差異。具體地，如果全局差異超過特定的閾值，則可以確定臨床相關性。在全局差異沒有超過特定的閾值的情況下，可以檢測局部差異類型。如果局部差異超過相應的閾值，則可以確定臨床相關性。換句話說，根據示例性實施方式，如果全局差異超過特定的閾值，則可以檢測到臨床相關性，但是在全局差異沒有超過特定的閾值的情況下，如果局部差異超過另一特定的閾值，則可以檢測到臨床相關性。
[0008]因此，該裝置提供了不僅檢查新的圖像的出現而且檢查是否存在新的圖像內容的可能性。由於導航系統或計算機輔助手術系統重新計算植入物的實際狀態和位置以及相應的解剖構造，例如在導航情形被更新之前每個新圖像導致嚴重的延遲。然而，如果沒有提供新圖像，則不要求更新。為了這個目的，本發明的裝置比較圖像的內容以便確定差異。通常，例如在添加或者去除了噪聲的情況下，可能發生全局差異，則重新計算對比度等。可以通過諸如X射線C形臂或MRT的成像裝置來執行這樣的計算或噪聲降低。全局差異不是必須由圖像內容的臨床相關的變動而產生。因此本發明也考慮局部差異，如特定圖像部分的變化。如果僅在特定位置發生明顯的變化而未在其它位置發生明顯的變化，則可以導致檢測到圖像內容的臨床相關的變動。例如，如果植入物相對於骨頭發生了移動，則除植入物位置外其餘所有位置都改變。因而，可以根據局部差異檢測到臨床相關的變動。
[0009]根據本發明的一種示例性實施方式，當第一圖像與第二圖像的差異超過特定的閾值時，將其確定為差異。
[0010]因此，可以消除如輕微的噪聲或微小強度採用的較小差異，而檢測不到顯著的相關性。任何低於閾值的差異都將被忽略。因而，例如像素誤差等將不會導致檢測到局部差異或全局差異。
[0011]根據本發明的一種示例性實施方式，比較並且確定第一圖像與第二圖像的差異包括:將第一圖像和第二圖像中的每個劃分成相應的圖像塊並且比較相應的圖像塊，其中，每個圖像塊包括多個像素。
[0012]因此，可以基於圖像塊執行自動檢測。這些圖像塊可以包括多個像素，並且可以小於整個圖像。圖像塊使得能夠區分局部型差異和全局型差異。
[0013]根據本發明的一種示例性實施方式，如果第一圖像與第二圖像的差異超過第一預定閾值，則檢測為局部型差異，以及其中，如果第一圖像與第二圖像的差異超過第二預定閾值，則檢測為全局型差異，其中，第二閾值大於第一閾值。
[0014]因此，局部型差異檢測的靈敏度較高，這是因為特定位置的微小差異可能導致檢測到差異是臨床相關的，而全局型差異(如遍布整個圖像的強度變化)將可能不是臨床相關的。
[0015]根據本發明的一種示例性實施方式，閾值和第一閾值中的至少一個是局部變化的閾值。
[0016]因此，例如，可以在邊緣處消除特別恆定的影響。另外，假設將通過圖像識別來辨識相關的臨床方面，圖像識別可以通過計算機輔助手術系統來執行，上述方面可以位於在圖像中相關性更強的位置處。可以基於第一圖像執行圖像識別，使得在考慮第二圖像之前，能夠辨識相關的圖像部分。這樣的圖像部分可以是識別出的螺絲尖端、克氏針尖端等。
[0017]根據本發明的一種不例性實施方式，閾值、第一閾值和第二閾值中的至少一個是動態閾值。
[0018]因此，可以考慮動態變化而對圖像進行比較。閾值可以在檢測到以下具體情形時變化:在該具體情形中，檢測到特定區域包括偽影(artifact)等。另外，可以基於最大局部差異與全局差異的比率動態地調節閾值。換句話說，如果全局差異與最大局部差異的比率超過特定的閾值，則這可以認為表示臨床相關性。
[0019]根據本發明的一種示例性實施方式，該方法還包括:確定具有最大局部差異的圖像塊，並且將具有最大局部差異的圖像塊與其餘圖像塊進行比較並且基於具有最大局部差異的圖像塊與其餘圖像塊的比較來確定局部型差異。[0020]因此，可以確定或確認該最大差異是顯著差異。換句話說，這使得能夠確定該差異是否為相對較大的差異，即其餘的塊具有較小的差異或相對較小的差異，即其餘的塊與最大差異塊相比具有較小的差異。
[0021]根據本發明的一種示例性實施方式，該方法還包括:確定具有顯著增加的局部差異的圖像塊，並且將具有顯著增加的局部差異的圖像塊和與具有顯著增加的局部差異的圖像塊鄰近或在其附近的圖像塊進行比較，並且基於具有顯著增加的局部差異的圖像塊和與具有顯著增加的局部差異的圖像塊鄰近或在其附近的圖像塊的比較來確定局部型差異。
[0022]因此，可以確定差異的梯度，使得當具有強梯度的局部差異時，即當塊與鄰近塊或附近塊之間具有強梯度的局部差異時，可以使用梯度作為對於臨床相關性的度量。
[0023]根據本發明的一種示例性實施方式，該方法還包括:識別第一圖像中的相關對象，並且基於第一圖像的包括所識別出的相關對象的圖像塊與第二圖像的相應圖像塊的差異來確定局部型差異。
[0024]因此，圖像的相關部分可以用於確定局部差異以及是否發生了臨床相關性的確定。可以基於計算機輔助手術系統的已經被確定為臨床相關的圖像信息來確定相關部分。這可以通過圖像識別或對象識別來實現。
[0025]根據本發明的一種示例性實施方式，比較並確定第一圖像與第二圖像的差異包括:確定第一圖像和第二圖像的相應圖像塊的至少一部分的平均值和/或方差，並且關於平均值和/或方差比較相應的圖像塊。
[0026]因此，可以將用於確定平均值或平均數或者確定方差形式的非常簡單的計算機過程應用於獲取整個圖像塊或多個圖像塊的積分值。另外，可以避免像素的計算密集型的一對一分配，因為圖像塊形式的多個像素共同具有一個或兩個平均值(平均數)或方差形式的代表值。
[0027]根據本發明的一種示例性實施方式，基於圖像的所識別的對象的檢測到的尺寸動態的調節所有圖像塊的獨有的尺寸。
[0028]因此，可以使圖像塊適應典型的對象尺寸。大量的小對象將可能導致大量的具有較小尺寸的圖像塊，少數大對象可能導致少數大的圖像塊。前者比後者需要更多的計算容量。可以基於計算機輔助手術系統的已經被確定為臨床相關的圖像信息來執行相關對象的尺寸的檢測。
[0029]根據本發明的一種示例性實施方式，比較並且確定第一圖像與第二圖像的差異包括:將多個圖像塊組合成圖像塊群並且比較相應的圖像塊群。
[0030]因此，可以組合圖像塊以減少被執行用於分析的操作的數量。多個圖像塊到圖像塊群的組合可以動態地執行並且/或者局部地分布。
[0031]根據本發明的一種示例性實施方式，如果第一圖像的圖像塊與第二圖像的相應圖像塊之間的差異以及第一圖像的圖像塊群與第二圖像的相應圖像塊群之間的差異中的至少一個超過第一閾值，則確定為局部型差異。
[0032]因此，可以檢測出臨床相關事件，並且可以將導致低於閾值的變化的影響認為是不相關的。這可以基於圖像塊以及圖像塊群來完成。
[0033]根據本發明的一種示例性實施方式，該方法還包括檢測相關圖像範圍，該圖像範圍包括被成像的對象，其中，比較和確定第一圖像與第二圖像之間的差異是基於所檢測到的相關圖像範圍來單獨執行的。
[0034]因此，可以將計算限制於相關圖像範圍而無需無用地計算與圖像不相關的黑色掩膜。具體地，可以忽略掩膜區域內的任何附加寫入信息，使得僅當在相關圖像範圍內檢測到變化時才提供新的圖像。
[0035]根據本發明的一種示例性實施方式，所檢測的相關圖像範圍用作後面的圖像的基礎。
[0036]因此，當先前的檢測用作當前檢測的起始基礎時，可以降低計算容量。
[0037]根據本發明的一種示例性實施方式，該方法還包括檢測第一圖像和第二圖像中的至少一個的預定特性，其中，預定特性表示成像裝置類型和成像裝置製造商中的至少一個。
[0038]因此，可以識別製造商的標識或圖章或類型信息並將其用於確定成像裝置的類型或製造商。這使得能夠調整方法以適應裝置類型或製造商的特定特性。所識別的預定特性例如可以是特性偽影、標識或商標、水印等。
[0039]根據本發明的一種示例性實施方式，根據成像裝置的穩定的視頻信號輸出生成第一圖像和第二圖像。
[0040]因此，可以在每個成像設備處(尤其是，在具有觸發成像流程和觸發的圖像傳輸的成像設備處，以及具有視頻信號形式的穩定的圖像傳輸的成像設備處)操作該裝置。
[0041]根據本發明的一種示例性實施方式，一種用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的裝置，包括:圖像輸入接口 ；用於從圖像輸入接口獲取的解剖情形下的第一圖像的第一存儲裝置；用於從圖像輸入接口獲取的解剖情形下的第二圖像的第二存儲裝置；用於比較並且確定第一圖像與第二圖像之間的差異的比較器；用於評估第一圖像與第二圖像的差異類型的差異類型評估單元，其中，差異類型評估單元適於確定局部型差異和全局型差異中的至少一個，其中，局部型差異是第一圖像與第二圖像的局部差異，以及其中，全局型差異是第一圖像與第二圖像之間的全局差異；以及圖像選擇單元，用於在第一圖像與第二圖像之間的差異被確定為包括局部型差異的情況下將第二圖像選擇為具有臨床相關性。
[0042]裝置的效果與方法的效果相似。因此，上面所描述的方法的效果也將適用於裝置。
[0043]根據本發明的一種示例性實施方式，該裝置還包括用於將第一圖像和第二圖像中的每個劃分為圖像塊的劃分單元，其中，每個圖像塊包括多個像素。
[0044]根據本發明的一種示例性實施方式，該裝置還包括用於辨識相關圖像範圍的相關圖像範圍檢測單元。
[0045]根據本發明的一種示例性實施方式，一種用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的系統，該系統包括:具有穩定的視頻輸出的成像裝置、具有用於接收臨床相關圖像的圖像接口的計算機輔助手術系統、如上面所描述的用於自動檢測解剖情形下的圖像的臨床相關性的發明裝置，其中，圖像輸入接口操作上連接至成像裝置的穩定視頻輸出，以及其中，用於接收臨床相關圖像的圖像接口操作上連接至圖像選擇單元。
[0046]根據本發明的一種示例性實施方式，提供了一種用於控制如上所述的用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的裝置和系統的電腦程式要素。在通過處理單元執行該電腦程式要素時，該電腦程式要素適於執行如上所述的用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的方法的步驟。
[0047]根據本發明的一種示例性實施方式，提供了一種存儲有如上所述的電腦程式要素的計算機可讀介質。
[0048]應當注意的是，也可以組合上面的特徵。即使沒有明確地詳細描述，上面的特徵的組合也可以導致協作效果。
[0049]本發明的這些方面和其它方面將根據在下文中所描述的實施方式闡明並據此變
得清楚。
【專利附圖】
【附圖說明】
[0050]下面將參考以下附圖描述本發明的示例性實施方式。
[0051]圖1示出了根據本發明的示例性實施方式的系統的一般結構；
[0052]圖2示出了根據本發明的示例性實施方式的裝置的一般結構；
[0053]圖3示出了不同圖像細節的一般定義；
[0054]圖4a/圖4b示出了局部類型檢測的詳細視圖；
[0055]圖5a/圖5b示出了不具有臨床相關性的兩個圖像；
[0056]圖6a/圖6b示出了具有臨床相關性的兩個圖像；
[0057]圖7示出了根據本發明的示例性實施方式的方法的示例性流程圖。
【具體實施方式】
[0058]計算機輔助手術系統可以操作上連接至如X射線等的成像裝置。這樣的計算機輔助手術系統可以僅使用對於強度的突然增加的檢測來檢測新圖像的存在。這樣的系統即使在臨床相關性的意義上圖像的內容沒有改變的情況下仍將提供新的圖像。這種情形可能在外科醫生重新觸發X射線裝置而沒有修改解剖情形時發生。特別地，現代的成像裝置不僅提供圖像，也自動增強對比度或添加文本信息。為了這個目的，成像裝置首先提供未加工的圖像，並且在完成了增強的對比度計算之後提供修正的圖像，以及隨後提供其上添加了文本信息的進一步修改的圖像。然而，在上面的情況下，附加圖像沒有將臨床相關的信息添加至首先提供的圖像。附加圖像僅添加改進的圖像質量或附加文本信息，或在外科醫生錯誤地再次觸發成像裝置的情況下根本沒有重要的新圖像。在上面所提到的情況下，如果例如僅對增加強度進行監控，新提供的圖像儘管不具有臨床相關性，也將導致耗費時間的對導航的重新計算。
[0059]圖1示出了根據本發明的示例性實施方式的系統的一般結構。系統I包括成像裝置10、用於自動檢測的裝置20以及計算機輔助手術系統或導航系統30。成像裝置10包括視頻輸出接口 11，並且用於自動檢測的裝置20包括圖像輸入接口 21。視頻輸出接口 11和圖像輸入接口 21連接或可以連接以傳輸通過用於自動檢測的裝置20從成像裝置(例如，X射線或MRT/MRI裝置)獲取的圖像。如稍後將描述的，用於自動檢測的裝置將繼續比較圖像。用於自動檢測的裝置20還包括圖像選擇單元26，其中，圖像選擇單元26嚮導航系統或計算機輔助手術系統30 (具體為導航系統或計算機輔助手術系統30的圖像輸入接口 31)提供所選擇的圖像。因此，圖像被成像裝置10拍攝，被傳輸至用於自動檢測的裝置，其中，檢測結果作為所選擇的圖像被進一步發送至導航系統或計算機輔助手術系統30。將參照圖2進一步詳細描述用於自動檢測的裝置20的結構。
[0060]圖2示出了根據本發明的示例性實施方式的用於自動檢測的裝置的一般結構。例如，用於自動檢測的裝置20包括用於接收來自成像裝置10 (諸如，X射線裝置、MRT/MRI裝置或CT裝置)的圖像的圖像輸入接口 21。用於自動檢測的裝置20還包括用於確定相關圖像範圍的單元28，使得能夠基於相關圖像範圍執行自動檢測。因而，對於自動檢測可以不考慮非相關的圖像範圍，這是因為非相關的圖像範圍可能不包含相關的圖像信息。另外，用於自動檢測的裝置20可以包括用於將圖像劃分成圖像塊的劃分單元27。因而，如稍後所述，可以分別自動地檢測不同的圖像塊，以區分兩個圖像之間的全局差異和兩個圖像之間的局部差異。用於自動檢測的裝置20還包括用於第一圖像的第一存儲裝置22和用於第二圖像的第二存儲裝置23。因而，在圖像輸入接口 21處所接收的圖像在通過相關圖像範圍檢測單元28關於相關圖像範圍進行分析之後並且在通過劃分單元27劃分成不同的圖像塊之後，可以通過比較器24對其進行比較。比較器的結果將被提供給差異類型評估單元25。在評估了差異類型之後，圖像選擇單元26將選擇相應的圖像以將該圖像提供給導航系統或計算機輔助手術系統30。應當注意的是，僅在檢測到具有手術相關性時才向計算機輔助手術系統或導航系統30提交新的圖像。如果沒有檢測到手術相關性，則不嚮導航系統或計算機輔助手術系統30提供圖像。因而，計算機輔助手術系統或導航系統30將僅在已接收到具有臨床相關性的圖像的情況下才基於手術情形執行圖像的處理。例如，臨床相關性可以是移動的植入物或變動的位置或解剖構造組織的群集，使得能夠基於新的圖像更新相應的導航或輔助信息。然而，如果沒有臨床相關的信息可用，則沒必要更新導航系統和計算機輔助手術系統的導航信息或輔助信息。這個過程將節省許多計算時間，使得外科醫生在已接收到具有臨床相關的信息的新圖像的情況下僅需要等待導航系統或計算機輔助手術系統30的新分析。
[0061]圖3示出了對於不同的成像和圖像細節的一般定義。圖3使用示意性概述示出了簡圖，其中，解首1J情形下的整個圖像100包括相關圖像範圍140。相關圖像範圍140包括對象本身的圖像和透視顯像(imaging)，其中，包括在解剖情形下的圖像中但不包括在相關圖像範圍中的其餘範圍不包括圖像本身，但是可以包括例如從要素164可見的成像信息，如病人數據、時間信息和日期信息或光標位置等。相關圖像範圍140以解剖構造161示出了解剖情形，其中，解剖構造161可以包括第一解剖子構造161a (如例如組織或骨頭)、第二解剖子構造161b、和/或第三解剖子構造161c。應當注意的是，解剖子構造也可以進一步包括已經植入的植入物部分。圖3還示出了在發生成像處理的手術期間已植入的植入物163，其中，植入物163可以是例如伽馬釘等。另外，圖3示出了附加植入物，該附加植入物可以是暫時的植入物，例如螺釘、鑽頭、克氏針(K-wire)或釘的尖端或針的尖端162。在圖3中，用於確定局部差異的相關範圍可以是例如針的尖端或克氏針的尖端範圍，上述針在解剖構造中前後移動。隨後將參照圖4A和圖4B對該過程進行描述，這兩個圖都示出了圖3中利用180標識的擴大的範圍。對於該描述，考慮對靠近針的尖端或克氏針的尖端的圖像塊120進行分析。該塊120可以包括多個像素110，使得可以基於例如圖像塊120執行兩個圖像的比較。圖3中的像素110僅為示意性的並且當然相對於圖3中所描繪的對象162小得多。可以將多個圖像塊120組合以獲得圖像塊群130。在圖3中，圖像塊群130可以包括例如9個圖像塊120，每行3個並且每列3個。應當注意的是，圖像塊群也可以具有更多個或更少個圖像塊，並且圖像塊和圖像塊群都不是必須為正方形的形式，而是也可以是矩形或其它自由的形式。另外，圖像塊群也可以包括圖像塊的一部分，特別是在圖像塊群的邊緣處。
[0062]圖4a和圖4b更詳細地示出了局部類型檢測。根據一種示例性實施方式，圖4A例如可以示出第一圖像，其中，第一圖像示出了第一解剖子構造161a、第二解剖子構造161b和第三解剖子構造161c。另外，圖4A示出了針162。從圖4A可以看出，針位於圖像塊120內。在另一圖像中，在圖4B中可以示例性地看出，針162已經被移動，使得圖像塊120不再包括該針。當將圖4A中的圖像塊120與圖4B中的圖像塊120進行比較時，可以得出針162不再位於圖像塊120內的結論並且因此可以推斷出這是臨床相關的情形，這是因為針相對於解剖構造發生了移動。圖4A中的圖像塊120與圖4B中的圖像塊120之間的該分析可以通過計算圖像塊120中的平均灰度等級值或者強度或色彩的平均值來執行。在圖4A和圖4B所示的簡化情況下，認為圖像塊120的背景為白色，並且認為針162為黑色。假設針覆蓋圖4A中的圖像塊120的30%，則該圖像塊120的灰度等級值的平均值大約為30%。然而，圖4B中的圖像塊120不再包括針162，假設背景為白色，則該圖像塊120的平均灰度等級值為0%。在真實環境中，當然必須考慮噪聲。當比較平均值或平均數時，結果是圖4A中的圖像塊120的平均值或平均數相對於圖4B中的圖像塊120的平均值或平均數之間存在顯著差異，而其餘圖像塊(例如圖像塊120a)中的差異保持不顯著。當超過相應的閾值時，裝置自動檢測出這為臨床相關的情形。具體地，例如如果圖像4A中的另一圖像塊120a相對於圖4B中的相應的圖像塊120a保持不變，則這將被確定為臨床相關的情形。因而，可以推斷出圖4A與圖4B之間的差異不是全局差異而是圖像塊120中的局部差異。換句話說，如果檢測到例如圖像塊120a中的灰度等級值保持在0%並且圖像塊120的灰度等級值從30%變化至0%，並且如果其餘圖像塊保持不變，則檢測裝置可以自動地檢測出局部型差異作為導航系統或計算機輔助手術系統所要考慮的臨床相關事件的表示。在真實情況下，當然要考慮噪聲。如果所有圖像塊的差異都是顯著的但是對於所有圖像塊都是恆定的，則也可能檢測不到臨床相關性。然而，如果所有圖像塊的差異都是顯著的，並且僅一個或有限數量個塊的差異超過其餘圖像塊的顯著差異，則可以確定臨床相關性。後一示例表示應用動態閾值是有用的。
[0063]以下將示例性地詳細描述用於對由成像裝置提供的X射線圖像的臨床相關性進行自動檢測和測試的過程。應當注意的是，可能省略一些步驟，並且也可以添加一些另外的步驟。
[0064]該示例性過程開始於以(可配置的)採樣頻率對模擬視頻信號周期性地進行數位化。基於數位化的視頻信號，可以執行例如橢圓圖像區域(錐形束)的檢測。可以通過下採樣消除其它失真(如S形失真或枕形失真)。使用橢圓形區域的可能性使得也可以處理略微失真的視頻圖像。這使得能夠對原始投影執行整個處理而不需要去失真(un-distortion)。因而，例如可以使用原始失真的圖像。可以忽略圖像中的不相關區域，如位於橢圓形圖像區域之外的區域。可以考慮橢圓圖像的內部或外部的可配置的或裝置依賴的接縫。然後，可以基於降採樣的原始圖像來分析圖像差異以降低圖像噪聲量以及處理時間。這可以通過計算與通過的最後圖像相比較的差異圖像DI來執行。可以通過考慮平均值或方差來執行評估。為了這個目的，可以確定差異圖像的所有像素強度值的平均值和方差作為對於全局圖像變化的估量。具有大的差異(即超過大閾值)的圖像將被歸類為新圖像並且被通過用於進一步的處理。差異圖像可以被劃分為具有某一尺寸的重疊的或不重疊的圖像塊。應當注意的是,可以通過例如使塊的尺寸適應圖像中典型對象的尺寸來動態地改變圖像塊的尺寸。處理可以繼續計算所有塊的像素強度值的平均值和方差，以及識別示出像素變化的最大值的塊。可以在後續的圖像處理算法中使用具有最大變化的塊的位置。應當注意的是，也可以考慮將具有第二或者第三等最強變化的塊用於處理。這個算法可以包括檢測圖像的邊緣以及計算描述圖像變化的分布的量度以將變化分類為局部變化或全局變化。該量度可以量化全局變化與局部變化之間的關係並且使得能夠相應地對變化進行分類。該算法可能已經實現了用於忽略來自模擬噪聲或來自圖像源裝置內部的圖像處理的小的全局變化的例程。該算法也可以計算如下圖像上的感興趣的橢圓區域:這些圖像被通過進行進一步的圖像處理以用於將來的圖像。為此，該過程可以基於甚至更下採樣的原始圖像來推測粗略地覆蓋內部區域的圓。該推測可以對於圓使用霍夫變換以減小後續步驟的搜索區域並且降低圖像失真的影響。另外，該過程可以基於所推測的圓沿徑向搜索射線搜索亮至暗的轉換，並且可以使用這些作為橢圓圖像區域的周界的候選。可以從考慮圖像內容中忽略附加的邊界區域，因為這樣的邊界區域可能包括寫入信息(從圖6b可以看到的164)，寫入信息或其它幹擾信息可能延伸至圖像區內。然後，該過程例如可以使用RANSAC算法重複地使橢圓的數學模型適應候選點的子集，而拋棄不能很好地適應橢圓的異常值的點。光束錐檢測算法的結果是橢圓提供對候選點的最佳適應。該過程可以執行製造商和/或成像裝置專有的圖像內容的自動檢測並且相應地調整圖像處理參數。自動得到的裝置類型可以用作用於優化後續的圖像處理步驟的信息。
[0065]待比較的兩個圖像之間的時間偏移可以是例如500ms。圖像的解析度可以在水平500像素且垂直500像素的範圍(或水平250像素且垂直250像素)內。格式可以是PAL或NTSC等。圖像塊可以是例如水平4像素且垂直4像素。
[0066]圖5a和圖5b示出了兩個圖像，其中，圖像的差異不具有臨床相關性。圖5a與圖5b之間的差異例如可以是強度的輕微變化，然而該變化對於圖5a和圖5b中沒有詳細示出的圖像塊或圖像群中的每個是相同的。作為第一圖像的圖5a與作為第二圖像的圖5b之間的差異例如可以是增加的對比度、明朗的邊緣或降低的噪聲等，其可以由X射線裝置基於第一圖像執行以提高圖像質量而不拍攝新的圖像。另外，可以在掩膜區域添加附加的圖像信息，該掩膜區域是在盤外部並且在整個圖像100內部的不相關的圖像範圍。這例如可以是在計算具有改進的圖像品質的圖像之後被添加的詳細的寫入信息164，然而，上述改進的圖像不包括圖5A的第一圖像上的顯著的臨床相關事件。附加信息164可以是時間信息或日期信息、病人信息或外科醫生的任何其它輔助信息。
[0067]圖6a和圖6b示出了兩個圖像，其中，這兩個圖像的差異具有臨床相關性。圖3是圖6a的對應簡圖。如關於圖3、圖4a和圖4b更詳細地說明的，作為第一圖像的圖6a與作為第二圖像的圖6b之間的差異是針或克氏針的移動。即使檢測到全局差異(例如變化的強度、明朗的邊緣、在相關範圍140外面的添加信息164)，該裝置將進一步檢測附加的局部差異，如已經參照圖3、圖4a和圖4b描述的。因而，用於自動檢測的裝置將例如圖6b所示的新圖像識別為具有臨床相關性並且在選擇該圖像之後將其提供給導航系統或計算機輔助手術系統30。
[0068]圖7示出了根據本發明的示例性實施方式的方法的示例性流程圖。首先，將在步驟Sll中提供第一圖像以及在步驟S12中提供第二圖像。檢測兩個圖像並且例如取自成像裝置的視頻輸出接口處的連續的視頻流。將在步驟S20中比較兩個圖像，其中，比較的結果可以作為用於在步驟S30中確定局部型差異和全局型差異的存在的基礎。例如當考慮第一閾值和第二閾值時，評估局部型差異和全局型差異使得能夠在步驟S40中確定各個圖像的臨床相關性。詳細的比較過程可以包括在步驟S21中檢測相關的圖像範圍，使得僅相關的圖像範圍可以被考慮用於比較和確定臨床相關性。另外，可以在步驟S22中劃分成圖像塊，以比較各個圖像塊。應當注意的是，在考慮到圖像中典型對象的尺寸來適應計算努力時，可以在步驟S23中動態地調節圖像塊的尺寸。例如，如果圖像中僅有大的對象，則圖像塊的尺寸也可以增加，使得可以執行非常快的過程。在可能已調節了塊的尺寸之後，在步驟S24中，可以確定各個圖像塊的平均值或平均數，其中，在隨後的步驟S25中，可以比較平均值或平均數。以同樣的方式，也可以在步驟S26中確定方差，其中，在步驟S27中可以比較方差。應當注意的是，可以在步驟S28中將多個圖像塊組合以構成圖像塊群，其中，在隨後的步驟，可以在步驟S29中比較圖像塊群。應當注意的是，在步驟S29中，也包括類似步驟S24至S27的若干子步驟，因為比較圖像塊群也可以包括步驟S24中的平均值或平均數確定、步驟S25中的平均值或平均數比較、步驟S26中的方差確定以及步驟S27中的方差比較。應當注意的是，對於圖像塊以及圖像塊群，可以並行地執行比較過程，例如以並行地計算針對圖像塊具有較多細節的更多相關範圍以及圖像塊群中具有較少細節的範圍。
[0069]在本發明的另一示例性實施方式中，提供了一種電腦程式或電腦程式要素，其特徵在於適於在合適的系統上執行根據上述實施方式之一的方法的方法步驟。
[0070]電腦程式要素因此可以被存儲在可為本發明的實施方式的一部分的計算機單元上。該計算單元可以適於執行上述方法的步驟或引起上述方法的步驟的執行。此外，該計算單元可以適於操作上述設備的部件。該計算單元可以適於自動地操作和/或執行用戶的命令。可以將該電腦程式加載到數據處理器的工作儲存器中。數據處理器因而可以被裝備成執行本發明的方法。
[0071]本發明的該示例性實施方式包括一開始就使用本發明的電腦程式以及藉助於更新使現有的程序變為使用本發明的程序電腦程式。更進一步，電腦程式要素能夠提供實現上述方法的示例性實施方式的過程的所有必要的步驟。
[0072]根據本發明的另一示例性實施方式，提出了一種計算機可讀介質(如CD-ROM)，其中，計算機可讀介質上存儲有通過上述章節描述的電腦程式要素。
[0073]然而，也可以在網絡(例如全球資訊網)上呈現電腦程式，並且能夠從這樣的網絡將電腦程式下載至數據處理器的工作存儲器。根據本發明的另一示例性實施方式，提供了一種用於使得電腦程式要素可用於下載的介質，該電腦程式要素被布置用於執行根據先前所描述的本發明的實施方式之一的方法。
[0074]需要注意的是，參照不同的主題描述了本發明的實施方式。特別是，參照方法類型權利要求描述了一些實施方式，同時參照裝置類型權利要求描述了其它實施方式。然而，本領域的技術人員將從以上以及以下描述得到:除非另有說明，否則，除了屬於一類主題的特徵的任何組合之外，認為涉及不同主題的特徵之間的組合也包括在本申請中。然而，可以組合所有特徵以提供大於特徵的單一組合的協作效果。
[0075]需要注意的是，參照不同的主題描述了本發明的示例性實施方式。特別是，參照設備類型權利要求描述了一些示例性實施方式，同時參照方法類型權利要求描述了其它示例性實施方式。然而，本領域的技術人員將從以上描述以及以下描述得到:除非另有說明，否貝U，除了屬於一類主題的特徵的任何組合之外，認為涉及不同主題的特徵之間的組合、特別是設備類型的權利要求的特徵和方法類型的權利要求的特徵之間的組合也包括在本申請中。
[0076]在權利要求中，措辭「包括」不排除其它元件或步驟，並且不定冠詞「一個」不排除多個。單個處理器或其它單元可以滿足權利要求中所列舉的若干項的功能。在互相不同的獨立權利要求中列舉某些措施的事實並不表示不能有利地利用這些措施的組合。電腦程式可以存儲和/或分布在合適的介質上，如連同其它硬體或作為其它硬體的一部分被提供的光學存儲介質或固態介質，但是也可以以其它形式分布，如經由網際網路或其它有線或無線電信系統。
[0077]儘管在此已經參照具體的實施方式在本文中描述了本發明，然而，需要理解的是，這些實施方式僅用作本發明的原理和應用的說明。因此，需要理解的是，可以對作為說明性的實施方式做出大量修改，並且可以設想其它的布置而不偏離如附加的權利要求所定義的本發明的精神和範圍。
[0078]附圖標記列表
[0079]I 系統
[0080]10成像裝置
[0081]11視頻輸出
[0082]20用於自動檢測的裝置
[0083]21用於自動檢測的裝置的圖像輸入接口
[0084]22用於第一圖像的第一存儲單元
[0085]23用於第二圖像的第二存儲單元
[0086]24比較器單元
[0087]25差異類型評估單元
[0088]26圖像選擇單元
[0089]27劃分單元
[0090]28相關圖像範圍檢測單元
[0091]30計算機輔助手術系統
[0092]31計算機輔助手術系統的圖像輸入接口
[0093]100解剖情形下的圖像
[0094]110圖像像素
[0095]120 圖像塊
[0096]130圖像塊群
[0097]140相關圖像範圍
[0098]151局部型差異
[0099]152全局型差異
[0100]161解剖構造
[0101]161a第一解剖子構造[0102]161b第二解剖子構造
[0103]161c第三解剖子構造
[0104]162針或克氏針
[0105]163植入物，如釘
[0106]164與圖像有關的附加信息
[0107]Sll獲取解剖情形下的第一圖像
[0108]S12獲取解剖情形下的第二圖像
[0109]S20比較並且確定第一圖像與第二圖像之間的差異
[0110]S21檢測相關圖像範圍
[0111]S22劃分成圖像塊
[0112]S23動態調節圖像塊的尺寸
[0113]S24確定平均值
[0114]S25比較平均值
[0115]S26確定方差
[0116]S27比較方差
[0117]S28將圖像塊組合成圖像塊群
[0118]S29比較圖像塊群
[0119]S30確定局部型差異和全局型差異
[0120]S40確定臨床相關性
【權利要求】
1.一種用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的方法，所述方法包括以下步驟: 獲取所述解剖情形下的第一圖像(Sll)； 獲取所述解剖情形下的第二圖像(S12)； 比較所述第一圖像與所述第二圖像並且確定所述第一圖像與所述第二圖像之間的差異(S20)； 確定所述第一圖像與所述第二圖像之間的所述差異是否包括局部型差異和全局型差異中的至少一個(S30)，其中，所述局部型差異是所述第一圖像與所述第二圖像的局部差異，以及其中，所述全局型差異是所述第一圖像與所述第二圖像之間的全局差異；以及 通過確定所述第一圖像與所述第二圖像之間的所述差異是否包括局部型差異來確定所述第二圖像是否具有臨床相關性(S40)。
2.根據權利要求1所述的方法，還包括確定所述第一圖像與所述第二圖像的所述差異超過特定的閾值。
3.根據權利要求1和2中任一項所述的方法，其中，用於比較並且確定所述第一圖像與所述第二圖像的差異的步驟包括:將所述第一圖像和所述第二圖像中的每個劃分成各自包括多個像素的相應圖像塊(S22)，並且比較所述第一圖像和所述第二圖像的所述相應圖像塊中的至少一個。
4.根據權利要求3所述的方法，其中，如果所述第一圖像的圖像塊與所述第二圖像的相應圖像塊的差異超過第一預定閾值，則檢測到所述局部型差異，以及其中，如果所述第一圖像與所述第二圖像的差異超過第二預定閾值，則檢測到所述全局型差異，其中，所述第二閾值大於所述第一閾值。`
5.根據權利要求2至4中任一項所述的方法，其中，所述閾值和所述第一閾值中的至少一個是局部變化的閾值。
6.根據權利要求2至5中任一項所述的方法，其中，所述閾值、所述第一閾值和所述第二閾值中的至少一個是動態閾值。
7.根據權利要求3至6中任一項所述的方法，還包括:確定具有最大局部差異的圖像塊並將所述具有最大局部差異的圖像塊與其餘圖像塊進行比較，並且基於所述具有最大局部差異的圖像塊與其餘圖像塊的所述比較來確定局部型差異。
8.根據權利要求3至7中任一項所述的方法，還包括:確定具有顯著增加的局部差異的圖像塊並將所述具有顯著增加的局部差異的圖像塊與在所述具有顯著增加的局部差異的圖像塊附近的圖像塊進行比較，並且基於所述具有顯著增加的局部差異的圖像塊與在所述具有顯著增加的局部差異的圖像塊附近的圖像塊的所述比較來確定局部型差異。
9.根據權利要求3至8中任一項所述的方法，還包括:識別所述第一圖像中的相關對象，並且基於所述第一圖像的包括所識別出的相關對象的圖像塊與所述第二圖像的相應圖像塊的差異來確定局部型差異。
10.根據權利要求3至9中任一項所述的方法，其中，用於比較並且確定所述第一圖像與所述第二圖像的差異的步驟包括:確定所述第一圖像和所述第二圖像的相應圖像塊的至少一部分的平均值(S24)和方差(S26)，並且關於平均值(S25)和所述方差(S26)比較相應圖像塊。
11.根據權利要求3至10中任一項所述的方法，其中，基於所述圖像的所識別的對象的檢測到的尺寸動態地調節所有圖像塊的獨有的尺寸(S23)。
12.根據權利要求3至11中任一項所述的方法，其中，用於比較並且確定所述第一圖像與所述第二圖像的差異的步驟包括:將多個圖像塊組合成圖像塊群(S28)，並且比較相應的圖像塊群(S29)。
13.根據權利要求12所述的方法，其中，如果所述第一圖像的圖像塊與所述第二圖像的相應圖像塊之間的差異以及所述第一圖像的圖像塊群與所述第二圖像的相應圖像塊群之間的差異中的至少一個差異超過所述第一閾值，則確定為局部型差異。
14.根據權利要求1至13中任一項所述的方法，還包括檢測相關圖像範圍(S21)，所述圖像範圍包括被成像的對象，其中，用於比較並且確定所述第一圖像與所述第二圖像之間的差異的步驟是基於所檢測出的相關圖像範圍來單獨執行的。
15.根據權利要求14所述的方法，其中，所檢測出的相關圖像範圍用作後面的圖像的基礎。
16.根據權利要求1至15中任一項所述的方法，還包括檢測所述第一圖像和所述第二圖像中的至少一個的預定特性，其中，所述預定特性表示成像裝置類型和成像裝置製造商中的至少一個。
17.根據權利要求1至16中任一項所述的方法，其中，根據成像裝置的穩定視頻信號輸出生成所述第一圖像和所述第二圖像。
18.一種用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的裝置，所述裝置包括: 圖像輸入接口(21)； 用於從所述圖像輸入接口獲取的所述解剖情形下的第一圖像的第一存儲單元(22); 用於從所述圖像輸入接口獲取的所述解剖情形下的第二圖像的第二存儲單元(22); 比較單元(24)，用於比較並且確定所述第一圖像與所述第二圖像之間的差異； 差異類型評估單元(25)，用於評估所述第一圖像與所述第二圖像的差異類型，其中，所述差異類型評估單元適於確定局部型差異和全局型差異中的至少一個，其中，所述局部型差異是所述第一圖像與所述第二圖像的局部差異，以及其中，所述全局型差異是所述第一圖像與所述第二圖像之間的全局差異；以及 圖像選擇單元(26)，用於在所述第一圖像與所述第二圖像之間的差異被確定為包括局部型差異的情況下選擇所述第二圖像具有臨床相關性。
19.根據權利要求18所述的裝置，還包括劃分單元(27)，所述劃分單元(27)用於將所述第一圖像和所述第二圖像中的每個劃分成各自包括多個像素的圖像塊。
20.根據權利要求18和19中任一項所述的裝置，還包括用於識別相關圖像範圍的相關圖像範圍檢測單元(28)。
21.一種用於對由成像裝置提供的解剖情形下的圖像的臨床相關性進行自動檢測的系統，所述系統包括: 成像裝置(10)，其具有穩定的視頻輸出(11); 計算機輔助手術系統(30)，其具有用於接收臨床相關的圖像的圖像接口(31);以及 根據權利要求18至20中任一項所述的用於自動檢測解剖情形下的圖像的臨床相關性的裝置(20)，其中，所述圖像輸入接口操作上連接至所述成像裝置的所述穩定的視頻輸出， 其中，用於接收臨床相關的圖像的所述圖像接口操作上連接至所述圖像選擇單元。
【文檔編號】G06T7/20GK103503028SQ201180070608
【公開日】2014年1月8日 申請日期:2011年5月4日 優先權日:2011年5月4日
【發明者】烏多·普夫倫格勒, 麥可·科嫩, 阿爾諾·布洛, 託馬斯·埃普坦 申請人:史塞克創傷有限責任公司