利用外觀和形狀來檢測和匹配解剖結構的系統和方法

2023-09-10 00:38:20

專利名稱：利用外觀和形狀來檢測和匹配解剖結構的系統和方法
技術領域：
本發明涉及用於利用外觀和形狀來檢測和匹配對象的系統和方法， 並且更具體地涉及用於利用離線訓練、在線檢測以及外觀和形狀匹配 來檢測並匹配解剖結構的系統和方法。
背景技術：
在醫學檢查過程中將醫學成像系統(例如超聲成像系統)用於與解 剖結構(例如，諸如心臟的器官)相關聯的異常的檢測和診斷是非常 普遍的。常常由經過訓練的醫學專家(例如醫生或醫學技師)來評價 圖像，以識別圖像中的特徵，所述特徵可以指示與解剖結構相關聯的 異常或指示健康的解剖結構。
由於計算機技術的進步，大多數計算機可以容易地處理大量的數據
並執行大規模的計算，所述大規模的計算可以提高所獲得的圖像的質 量。此外，圖像處理可被用作輔助圖像的分析的工具。圖像中感興趣 的解剖結構或對象的有效檢測在該結構的進一步的分析中是重要的工 具。常常，解剖結構的形狀的異常或這種形狀的經過時間的變化(例
如，跳動的心臟或進行呼吸的肺)指示腫瘤或各種疾病(例如心肌的
5擴張或局部缺血)。
這種類型的圖像處理可以被用於其它應用，諸如圖像中人臉的檢 測，因為與不同面部特徵相關的變量(例如頭髮顏色和長度，眼睛顏 色，面部形狀等)，面部檢測不是無足輕重的任務。面部檢測可以用 於多種應用、諸如用戶識別、監視或安全應用中。
各種類型的方法已經被用於檢測感興趣的對象(例如解剖結構或 臉).基於部分的對象檢測器(眼睛檢測器和嘴巴檢測器等)可以處 理姿勢和照明方面的大的變化，並在遮擋和異方差噪聲之下更穩健. 例如，在超聲心動圖分析中，相同解剖結構(例如隔膜)的局部外觀 在病人之間是相似的，而心臟的結構或形狀可以由於例如視角或疾病 情況而顯著不同。同樣地，在臉檢測中，面部特徵之間的一般空間關 系是相當一致的(例如眼睛相對於鼻子和嘴的一般位置)，而各種面 部特徵的結構和形狀(例如眼睛的形狀、嘴的表情，以及它們之間的 相對距離)可以顯著變化。
為了捕獲局部外觀變化，許多解決方案依靠高斯(Gaussian)假 設。最近，通過諸如支持向量機(Support Vector Machine, SVM)或 提升(boosting)之類的非線性學習機的使用，已經放寬了該假設。 一些最成功的實時對象檢測方法基於簡單特徵的提升的級聯。通過組 合所選數量的簡單分類器經由提升的響應，所得到的強分類器能夠實 現高檢測率並能夠實時處理圖像。然而，在存在遮擋對象的情況下， 現有的方法沒有解決檢測問題。簡單或弱分類器由於遮擋(occlusion) 的錯誤響應將負面地影響檢測結果。
對於大多數視覺跟蹤應用來說，測量數據是不確定的並且有時丟 失圖像帶有噪聲和失真，同時遮擋可能使感興趣對象的一部分變得 不可見。不確定性可以在整體上是均勻的；但在大多數真實世界情況 中，它實際上是異方差的，也就是各向異性和不均勻的。好的例子是 超聲心動圖(超聲心臟數據)。超聲傾向於反射偽影，例如鏡面反射 器，諸如來自隔膜的那些鏡面反射器.由於單個"觀察方向"，鏡面 結構的垂直表面產生強的回波，但傾斜的或"離軸的，，表面可以產生 弱回波，或根本不產生回波(聲學"信號失落(drop out)")。對 於超聲心動圖來說，在組織表面平行於超聲射束的心臟區域處可能出 現信號失落。由於它的可用性、相對低的成本以及非侵入性，心臟超聲圖像被廣 泛地用於評價心臟功能。具體地，心室運動的分析是用以評估局部缺 血和梗塞形成的程度的有效途徑。心內壁的分割或檢測是實現左心室 的彈性和收縮性的量化的第一步驟。 一些現有方法的例子包括基於像
素的分割/聚類方法(例如，彩色室壁動態(Color Kinesis))，光 流的變化、可變形的模板和馬爾可夫隨機過程/場、以及有效輪廓/動 態輪廓(active snake)。在二維、三維或四維(犯+時間)空間中採 用一些方法。
然而，大多數現有的分割或檢測方法不嘗試恢復心內壁的精確的區 域運動，並且在大多數情況中，忽略沿著壁的運動分量。僅沿著當前 輪廓的法線搜索的輪廓跟蹤器也採用該簡化的處理。這不適用於區域 壁異常檢測，因為異常左心室的區域運動很可能離開輪廓的法線，更 必說全局運動、諸如平移或旋轉(由於聲譜儀操作者的手運動或病人 的呼吸運動)，也引起輪廓上不正常的局部運動。為了區域壁運動異 常的檢測，期望跟蹤心內壁的整體形狀以及它的局部運動。該信息可 以被用於局部缺血和梗塞形成的進一步的診斷。存在對利用外觀和形 狀來匹配解剖結構的檢測框架的需要。

發明內容
本發明涉及利用外觀和形狀來匹配解剖結構的檢測框架。使用圖像 的訓練組，在該訓練組中在圖像中注釋對象形狀或結構。圖像的第二訓 練組表示這種形狀和結構的負樣本，也就是不包括這種對象或結構的圖 像。根據該訓練組所訓練的分類算法被用於檢測在它的位置處的結構。匹配。
本發明的另一個方面涉及一種用於檢測包括無效數據區域的圖像 中的對象的方法。確定用於該圖像的數據掩模(mask)，以指示圖像 中的哪些像素是有效的。該數據掩模被表示為積分掩模，在所述積分 掩模中每一像素具有對應於在該像素之上和在該像素左邊的圖像中的
有效像素的總數的值。將矩形特徵應用於該圖像，所述矩形特徵至少 具有一個正區域和一個負區域。利用積分掩模對矩形特徵中那些有效 的像素進行確定。對包括無效像素的區域的平均亮度值求近似。通過計算矩形特徵的正和負區域中亮度值的總和之間的加權差，確定矩形 特徵的特徵值。利用該特徵值來確定是否已經檢測到對象。
本發明的另一個方面涉及一種用於檢測圖像中的對象的方法。為圖 像的窗中的分類器計算特徵值。確定該特徵值是否超過預定閾值。如 果該特徵值超過閾值，則為圖像的窗中的隨後的分類器計算隨後的特 徵值。組合該特徵值和隨後的特徵值的值。確定組合特徵值是否超過 當前組合的組合閾值。如果組合特徵值超過組合閾值，則計算進一步 的組合特徵值，包括進一步的隨後的分類器，直至沒有隨後的分類器 或者組合特徵值不超過組合閾值。最後的組合特徵值被用於確定是否 已經檢測到對象。
本發明的另 一個方面涉及一種用於檢測圖像中的解剖結構以及使 圖像中的解剖結構與圖像的訓練組中的一個或多個解剖結構相匹配的 系統和方法。接收候選圖像，並且從候選圖像中提取特徵值。應用分 類函數，以檢測解剖結構。如果檢測到解剖結構，則通過使候選圖像
的訓練組中的一個或多個配對圖像。來自訓練組的匹配配對圖像中的 解剖結構的形狀被用於確定候選圖像中的解剖結構的形狀。
本發明的另一個方面涉及一種用於使圖像中的解剖結構與圖像的 訓練組中的一個或多個相似成形的解剖結構相匹配的方法。接收候選 解剖結構的圖像，並從該圖像中提取特徵。將與相似成形的解剖結構 相關的特徵與候選解剖結構相比較。通過利用來自訓練組的至少一個 最近的鄰近者的形狀來確定候選解剖結構的形狀。
本發明的另一個方面涉及一種用於檢測和跟蹤圖像中的候選對象 的可變形形狀的系統和方法.通過多個所標記的控制點來表示該形狀。 檢測圖像幀中可變形形狀的至少一個控制點。針對與候選對象相關的 每一個控制點，計算位置不確定性矩陣。產生形狀模型，以表示隨後 的圖像幀中可變形形狀的動態，其中該形狀模型包括來自典型對象的 圖像的訓練數據組的統計信息。使該形狀模型與候選對象的可變形形 狀對準。合併該形狀模型與可變形形狀，並評估候選對象的當前形狀。


下面將參考附圖更詳細地描述本發明的優選實施例，其中相似的參考數字表示相似的元件
圖l示出超聲心動圖系統的示範性體系結構，所述超聲心動圖系統使 用依據本發明的用於檢測和跟蹤左心室的心內壁的形狀的方法；
圖2示出心臟的典型的超聲心動像；
圖3a-3d示出依據本發明的表示弱分類器的矩形特徵的例子；
圖4示出依據本發明的用於利用積分圖像來確定給定窗的亮度和的 方法；
圖5示出依據本發明的被部分遮擋的積分圖像中的矩形特徵；
圖6示出依據本發明的用於圖5的積分圖像的遮擋掩模；
圖7a和7b示出依據本發明的Hi-,和Hi —r的關係；
圖8示出依據本發明的、利用存儲器技術的提升的級聯的示意圖9示出依據本發明的用於左心室心內膜邊界檢測的框架；
圖10示出依據本發明的用於檢測三維數據容積中的肺瘤的框架；
圖ll示出依據本發明的用於形狀對準的不變流形；
圖12a和12b示出依據本發明的形狀對準；以及
圖13示出依據本發明在形狀檢測和跟蹤過程中的不確定性傳播。
具體實施例方式
本發明涉及用於檢測和匹配解剖結構的方法。將採用這種方法的一 個例子是通過經由機器學習或分類來檢測並分割心室心內膜和心外 膜邊界，以及通過識別來自帶注釋的資料庫的相似情況，檢測心臟中 的區域壁運動異常。本領域的普通技術人員應理解的是，本發明可以 被用於其它應用，其中形狀檢測和匹配是有用的，諸如但不局限於識 別人的特徵、諸如面部特徵或其它身體特徵。本發明也可以被用於二 維、三維和四維(3D+時間)數據分析、例如諸如可隨時間的過去而演 化的心臟、肺或肺瘤之類的解剖結構的醫學分析，
為了描述本發明，將針對檢測人心臟的左心室的心內壁來描述例 子。圖1示出超聲心動圖系統的示範性體系結構，其中所述超聲心動 圖系統使用依據本發明的用於利用形狀和外觀來檢測左心室的心內壁 的方法。諸如超聲換能器之類的醫學傳感器102被用於對病人執行檢 查。傳感器102被用於獲得與具體醫學檢查一致的醫學測量。例如， 經受心臟問題的病人可以具有為幫助診斷具體的心臟疾病而執行的超聲心動圖。超聲系統根據各種透視圖提供心臟的二、三和四(3D+時間) 維圖像。
通過傳感器102獲得的信息被傳送至處理器104，所述處理器可以 是工作站或個人計算機。處理器104將傳感器數據轉換成被傳送至顯 示器108的圖像。顯示器108也可以傳送涉及圖像的其它圖形信息或 信息的表。依據本發明，也為處理器104提供表示心內壁的初始輪廓 的數據。該數據可以由諸如醫生或聲譜儀操作者之類的用戶人工地提 供，或由處理器104自動地提供。該輪廓包括一系列單獨的點，通過 處理器104跟蹤這些點的運動並將其示出於顯示器108上。
除了來自醫學傳感器102的數據，處理器104也可以接收其它數據 輸入。例如，處理器可以接收來自與處理器104相關聯的資料庫106 的數據。這種數據可以包括子空間模型，所述子空間模型表示心內壁 的潛在輪廓形狀。這些子空間模型可以是表示多個病人的左心室的圖 像，或者可以是計算機產生的基於統計信息的輪廓形狀模型。利用已 知的方法、諸如貝葉斯核(Bayesian kernel)匹配或基於光^充的方法， 處理器104跟蹤輪廓形狀的單獨的點。通過利用多模板自適應匹配框 架來補救在跟蹤過程中的誤差累積.在每一個點處以協方差矩陣的形 式表示跟蹤的不確定性，其中使用非正交投影的子空間形狀約束隨後 完全採用所述協方差矩陣。
圖2示出心臟的典型的超聲心動像。用實線橢圓208來標記具 有聲學信號失落的左心室的心內壁的部分。用虛線橢圓202、 204來表
示局部壁運動的估計。因為聲學信號失落，心內壁不總是在圖像中的 最強邊緣處。超聲心動像的特徵是用虛線210、 212表示的圖像的 扇形。在扇形外部的區域不包含有用的數據。
許多檢測方法利用弱分類器或特徵的提升來檢測圖像中的對象。通 過組合所選數量的弱分類器經由提升的響應，所得到的強分類器能夠 實現高檢測率。然而，已知的方法不解決在存在其它遮擋對象(例如 扇形之外的數據)時檢測對象的問題。弱分類器由於遮擋的錯誤響應 負面地影響對象的檢測。
依據本發明的一個方面，現在將描述用於在對象檢測過程中消除已 知遮擋的影響的方法。例如，可以以不考慮扇形之外的圖像數據(也 就是無用或無效的數據)的方式來處理超聲心動像。換句話說，在扇形外部的數據被作為遮擋處理。與對象的圖像相關聯的簡單特徵被識別為弱分類器。這種特徵的例子是在圖3a-3d中示出的矩形特徵。每一矩形特徵的值是每一矩形的 白色(也被稱作正)區域與灰色(也被稱作負)區域中的像素亮度的 總和之間的差。對於圖3a中所示的矩形特徵來說，負區域是302,並 且正區域是304。對於圖3b中所示的矩形特徵來說，負區域是308， 並且正區域是306。對於圖3c中所示的矩形特徵來說，負區域是312 和314，並且正區域是310和316。對於圖3d中所示的矩形特徵來說， 負區域是320，並且正區域是318和322。矩形特徵為基本區域提供過完備基礎。例如，如果矩形在尺寸上是 24 x 24像素，則特徵的數量是180000。矩形特徵的優點之一是計算速 度。通過利用如圖4中所示的稱為積分圖像(II )的中間表示，可以利用小的固定數量的操作來計算特徵值。在矩形特徵的計算之前，預先計算輸入圖像(例如左心室的超聲心 動像)的II。針對II中的每一像素(x，y)，確定亮度值。這些 亮度值被存儲在資料庫106中(圖1). 一旦已經為輸入圖像計算了 II，就大大簡化所有未來的計算。針對輸入圖像中的位置(x。，y。)處 的每一像素，可以通過確定在位置(x。，y。)之上和在位置(x。，y。)的 左邊的所有像素的亮度之和來計算亮度值。換句話說，在II (x。，y。) 處可以如下確定II的子集i!(2 o,yo)= E (1)其中I (x，y)是在位置(x，y)處的像素的亮度。圖3示出如何確定在矩形特徵Rf處II的亮度值的計算。計算位置 408處的n，其等於實線410之內的區域。用於限定位置408處的I1 的另一方式是矩形(A+B+C+Rf)的亮度值的總和。為了獲得Rf的總和， 必須進行附加計算。位置406的II提供通過線412限定的區域的總和， 其等於矩形(A+C)的亮度值的總和。從位置408的II中減去位置406 的II導致矩形(B+Rf)的II'。接著，計算位置404的II，其提供通 過(A+B)限定的區域的總和。從II'中減去位置404的II導致矩形 (-A+Rf)的II''。最後，將位置402的II與II''相加，這提供Rf的總和。然而，在Rf中的像素包括遮擋的情況中，那些像素的亮度值提供 無效值，這將最終產生對矩形特徵的不正確估計。圖5示出包括遮擋 504的積分圖像502的例子。矩形特徵506被置於包括遮擋504的一部 分的位置處。依據本發明，遮擋掩模被用於消除包括在矩形特徵中的被遮擋的像 素的作用。在圖6中示出了用於圖5的II的遮擋掩模的例子。當在受控制的環境中獲得圖像時可以使用遮擋掩模，或者可以從數據中推斷 出遮擋掩模。例如，在監視應用中，已知靜態背景(例如門、牆壁、 家具等的位置)。可以確定引起遮擋的背景中的對象的似然性，並將 其用於創建遮擋掩模。另一例子是超聲圖像。在超聲圖像中，通過超 聲機器來給出扇形位置，或可以計算扇形位置，例如時間變化的分析 可以產生靜態無效區域。 一旦識別出扇形，就可以創建遮擋掩模，以 在II計算中有效地排除或取消扇形的存在。通過將被遮擋的或否則無效的像素的亮度值設為零，矩形的亮度值 的總和將不再受不正確的值影響。然而，因為現在存在"丟失"數據， 所以總和將是不平衡的。當不存在丟失值時，矩形總和與矩形的平均 亮度值成比例。因此，為了補償丟失值，當存在遮擋時，通過利用具 有有效亮度值的像素的數量來近似平均值。可以通過首先計算等效圖 或遮擋掩模來得到有效像素的數量。遮擋掩模M包括布爾值，其中有效像素被賦予值l,並且無效或被 遮擋的像素被賦予值0。可以如下利用在當前位置(x。，y。)之上和在當 前位置(x。，y。)的左邊的有效像素的數量來計算積分掩模孺(，〉；JC::: (2)類似於方程(l)的II，可以以如上所述的相同數量的操作根據積分掩 模來計算矩形中有效像素的數量。將為矩形特徵506的等效特徵值提供正和負圖像區域中的亮度的 總和之間的加權差。如果&表示像素亮度以正值作出貢獻的區域並且 fl-表示像素亮度以負值作出貢獻的區域，則特徵值/如下200910140865.7說明書第8/18頁Rf的總和。然而，在Rf中的像素包S -， S )， (3)其中/7.,A7+分別表示負和正區域的有效像素的數量，每一個區域包括N個像素。如果ru和n+都非零，則通過N/(n-n+)將最終的特徵值標準化。通過利用遮擋掩模來計算矩形特徵的積分圖像，獲得更精確的結果，其 導致更好的對象檢測。特別是在諸如臉或解剖結構的複雜對象的情況下，由於為了對象的 檢測而需要被計算的大量特徵或部分，工具被用於減小所需要的計算 量，同時仍產生精確的結果。普遍使用的一種這樣的工具是提升。一 般，提升識別多個弱分類器或特徵。針對每一個弱分類器，可以計算 一個值，所述值然後與預定閾值進行比較。如果弱分類器的值超過閾 值，則保留該分類器。如果弱分類器的值低於閾值，則拒絕該分類器。 通過對超過閾值的、弱分類器的所有值求加權和，可以產生強分類器， 其可以被用於對象檢測中。提升的變型是提升的級聯。在該技術中，把分類器區分優先次序。 針對窗計算第一分類器，並且如果它不滿足閣值，那麼窗被移動至另 一位置。僅僅保留所計算的分類器超過閾值的那些位置。閾值典型地 被設置在適度的水平處，以允許寬大的誤差裕度。通過減小執行計算 的位置的數量，該方法是有效的。然而，這些方法丟棄來自之前的分 類器的輸出。下一階段的訓練以對新的樣本組的均一加權開始。依據本發明，保留每一個所計算的分類器的值，並將其用於未來分 類器的計算，以便加強在之後階段的分類器計算。通過在如圖7a和7b 中所示的當前階段的新訓練組之上設置新的閾值TV以及相關的奇偶性 Pi'，從級聯的之前階段直接使用中間強分類器H卜l然後，在基於原始特徵進行訓練之前，用新的分類器&—r的誤差對訓練樣本進行加權。當前階段的強分類器是HiV和所選擇的單特徵分類器的加權和。在檢測過 程中，代替扔掉來自之前階段的分類器輸出，它被利用Ti'和相關的奇 偶性Pi'來設置閾值，並依據其誤差被加權，並被加到來自當前階段的 單特徵弱分類器的輸出的加權和中。可以如下來描述一般的"利用存儲器的提升的級聯"(BCM)訓練算法 存儲器中的初始級聯分類器H。'-NULL;其中誤差5=oo。
P-正樣本組，N-負樣本組； .i=0;通過級聯的階段i的循環使用P和N，以使用AdaBoost利用H卜r和確定數量的附加特徵來訓練分類器Hi,以便滿足所要求的錯誤正數和錯誤檢測率； 通過將Hi的錯誤正數用作負樣本並且必要時調節正組來重構訓練組，P卄P'以及N —N.; 重新訓練Hi:修改Hi (例如通過選擇最佳閾值TV和奇偶性)，以根據新的訓練數據P'和N'最小化它的分類誤差。將所得到的Hi'和它的輸出放入存儲器中。在上面的算法中，假定如果使用Hi-,*,則它將是第一個。H卜,'也可 以被用在其它單特徵弱分類器的中間。所有需要改變的是，代替在之 前階段的結束時，而是在當前階段的訓練過程中，學習新的閾值和奇 偶性。可以利用當前訓練組或完全有代表性的驗證組來進行Hi的評估。 在前一情況中，僅使用Hi,並且目標是滿足當前階段的性能目標(即， 每階段95%);而在後一情況中，應使用總級聯分類器，並且目標是直 至當前階段i的綜合性能目標(即，O鄰。。下面示出利用存儲器的提升的級聯算法的另一個例子。-用戶選擇f、即每層最大可接受的錯誤正率以及d、即每層最小可接受的檢測率的值， 用戶選擇目標總錯誤正率Ftaiget。 .P-正樣本組，N-負樣本組 F0=l. O;D,l. 0; i=0; -存儲器中的初始級聯分類器H。'-NULL;當Fi>Ft"get時i++當F,f x Fh時Oo使用P和N，以使用AdaBoost利用Hh'和iii個附加特徵來 訓練分類器Hi (當i>l時，已經利用存儲於存儲器中的結果 訓練了Hw';如果它比特徵強，則選擇Hi-r作為階段i的弱 分類器。利用Hi-r的誤差來更新關於訓練樣本的權重，以便 基於特徵選擇剩餘的弱分類器。) o評估關於驗證組的當前級聯分類器Hi，以確定Fi和Di o減小第i個分類器Hi的閾值(Ti)，直到當前級聯分類器具 有至少d x D卜t的檢測率(這也影響Fi)N-0如果F々Ftarg"，那麼評估關於非臉圖像組的當前級聯檢測器Hi， 並把任何錯誤檢測放進組N中。重新訓練Hi':為Hi選擇第二最佳閣值T i'和奇偶性p i'，以根據 新的訓練數據P和N使它的分類誤差最小化；將所得到的H/和 它的輸出放進存儲器。在BCM框架中，檢測過程將以下中間強分類器用於級聯的每一階段階段1一H!: ai h，十ot2h2+...ani hn1階段2— H2: 叫1 P1* (Hi 一 Ti ) + (On1+1 hni+1 + On1+2 hni+2十…On1+n2 hnl+n2)因為在之前階段中已經評估了 Hi,附加的計算僅是針對每一附加 階段的減法和乘法，其中如圖8中所示當前測試樣品將通過所述附加 階段。對於所考慮的每一附加分類器來說，考慮與先前計算的分類器 相關的值，並將其與針對附加值的值結合。所得到的值然後與閾值進 行比較。最終結果是提供對象檢測的更精確指示的值。一旦已經潛在地檢測到對象，就可以利用進一步的處理技術來獲得 關於圖像的附加信息。依據本發明的另一個方面，可以基於一組訓練圖像應用外觀和形狀的共同使用，以匹配和檢測測試圖像中的對象形 狀或解剖結構。外觀被用於測試圖像中的對象或結構的定位。然後採 用匹配技術，以從正訓練數據集中找到相似情況並為所檢測的候選物 提供形狀或結構細節。可以以分級方式進行檢測、定位和匹配，以實 現更精確的結果。匹配技術利用在檢測過程中所學習的特徵，以節約 計算時間和改進匹配性能。依據本發明，用於對象或解剖結構檢測和形狀恢復的一般框架包括三個階段離線訓練階段、在線檢測階段和匹配階段。在離線訓練階段，正訓練樣本作為訓練數據組被存儲。例如，在超 聲心動圖的情況下，訓練組將包括人心臟的左心室的圖像。訓練組將 包括不同成形的左心室的樣本以及異常左心室的樣本的全面的組。優 選地，在最佳條件(例如左心室居於圖像中間；圖像被標準化以消除 尺寸和旋轉的影響等)下示出訓練組中的圖像。在訓練階段過程中， 將提升算法應用於圖像。從這些應用所獲得的數據與訓練數據一起被 存儲，並且可以包括指示弱分類器輸出的特徵向量。處理所有正訓練樣本，以保持不變特性。例如，整體平移、旋轉和 縮放是對人心臟的左心室的不變變換(invariant transform)。正數 據的對準直接影響檢測器的設計，即，在檢測過程中每一對準軸需要 被擴展。換句話說，例如，如果在訓練數據中取消旋轉，則在檢測過 程中檢測器不得不搜索多個旋轉。利用被對準的訓練數據，學習算法 輸出所選擇的特徵和用於正/負分類的相應的判定函數。依據本發明， 可以變換(例如縮放和旋轉)所有訓練數據，以訓練所變換的檢測器。訓練數據(包括被變換的訓練數據)的所有特徵被存儲於資料庫 106中(圖1)。此外，為每一正數據圖像計算特徵向量，所述正數據 圖像包括弱分類器輸出和它們的相關權重。每一弱分類器表示與對象 相關的部分。正數據的特徵向量隨後可與為測試圖像所計算的特徵向 量相比較，以幫助識別具有相似特徵的正數據。每一正數據圖像的對 應於沿著對象輪廓的點的位置點也被存儲，並被用於形狀匹配階段.在在線檢測階段中，通過對測試圖像或數據容積內的窗或立方體進 行平移、旋轉和/或縮放，採用用於圖像或數據容積的掃描方案，以產 生候選數據補片(patch).針對每一候選物，在整個掃描過程期間或 之後達到對象位置、縮放和/或旋轉。在一些情況中，應用多個被變換可以被用於指示圖像中 的對象或候選物位置.在形狀匹配階段中，識別看來似乎包括對象的那些候選物(得勝的 候選物)。將相似性匹配算法應用於這些候選物，以從相應的訓練數 據組中檢索最近的鄰近者，並將它們的相關形狀應用於候選物。特徵向量被用於形狀匹配，所述形狀匹配基於弱分類器輸出h/s和它們的 相關權重ct/s。利用以下空間中的距離度量進行匹配(ot,h,， oc2h2，...， ouhj，其中K是弱分類器特徵的數量。也可以使用其它特徵空間。形 狀匹配算法搜索與訓練數據中的一個或多個圖像相關聯的"配對 (counterpart)"特徵向量。 一旦已經獲得匹配，來自訓練組中的相 關匹配圖像的數據可以被用於提供關於對象形狀和結構的細節。現在將利用二維(2D)數據來描述例子。本領域的技術人員應理 解的是，本發明也可以處理三維(3D)數據和四維(3D+時間)數據。 圖9示出利用原始圖像和所跟蹤的心內邊界、使用LV幀的帶注釋的數 據組、基於學習和匹配的左心室(LV)心內邊界檢測的示範性框架。該框架首先構造例如界標或控制點的有序組形式的、被對準的LV 補片(模數平移、縮放和旋轉)的資料庫，其中它的邊界帶注釋。利 用該組樣本和其它負補片來設計和訓練檢測算法。例如，可以使用基 於提升的特徵選擇和分類器構造算法。為所有樣本計算特徵向量。然後，該框架為LV的定位採用學習的檢測算法，所檢測的候選物 是包括LV的、具有其正確的尺寸和旋轉的局部補片。(通過以多個可 能的縮放和旋轉掃描圖像來確定該尺寸和旋轉。)最後，從所檢測的候選物中提取特徵向量，並與資料庫相比較，以 找到一個或多個最近的鄰近者。然後例如利用加權和來組合它們的輪 廓，以形成所檢測的候選補片的輪廓，其中權重與它們至所檢測的補 片的匹配距離成比例. 一個可能的特徵類型將是補片內的圖像亮度(具 有或不具有二次採樣)。其它特徵包括弱分類器輸出(具有或不具有 加權因子)'也可以利用主成分分析(Principal Component Analysis )， 以選擇這種特徵的子集。圖IO示出三維數據容積中的腫瘤檢測的例子。該方法類似於上面 所述的方法，除了 3D鄰域、3D特徵和3D掃描被用於檢測匹配，一旦已經在形狀和外觀方面檢測到並匹配了對象，然後就可以隨著時間的過去而跟蹤對象的形狀。由於心肌的有節律的運動，這種跟蹤在超聲心動圖中是重要的。在形狀跟蹤過程中，測量不確定性起重要的作用。依據本發明，將單獨訓練的部分檢測器應用於圖像，以開發相對穩定的局部外觀，同時利用整體形狀模型來約束部分合併過程。現在將描述用於在自動形狀檢測和跟蹤過程中最佳地合併來自局部檢測、運動動態和子空間形狀建模的不確定性的統一框架。提升的部分檢測器被用於超聲心動圖序列中的左心室邊界定位。
假設用N (x，")、即具有平均值x和協方差"的多維高斯分布表示的候選之前形狀的檢測，第一步驟是在最佳不變變換的情況下下在樣本之前形狀x。之中找到具有通過N (x，Cx)、形狀模型N (m，C,)和來自前一時間步驟的預測形狀N (x-,Cx—)共同產生的最大似然性的樣本之前形狀。等效公式是找到x'，以最小化之前形狀空間和所變換的形狀空間中的Mahalanobis距離的總和，也就是，
jc* d2，
(x^-5c) + (x° - x一)d^,x一)， ； (5)
其中xa'=T ( ),其中T是不變變換。
在多個候選之前形狀的情況下，產生最高似然性的、也考慮檢測圖中的似然性值的候選之前形狀在判定時間獲勝。方程(5)需要在位置和變換上的同時最佳化，並且甚至對於簡單的變換、諸如僅允許平移、旋轉和縮放的相似性變換來說也不具有封閉形式的解。可以通過迭代在數值上尋找整體最佳，但是計算可能太昂貴。
困難源於以下事實，即由任意的之前形狀經所有可能的變換所跨越的流形(也就是形狀) 一般、特別是當子空間維數相對小時不與形狀子空間相交。在本發明中，形狀子空間具有從6至12的維數，而全歐幾裡德(Euclidean)空間具有>34的維數。圖11示出用於概念地示出該關係的形狀對準的不變流形，其中粗曲線1102描繪之前形狀向量X、以及傾斜軸1104和表示子空間模型的一維高斯分布1106所跨越的流形。 一般，流形將不與形狀模型子空間相交(也就是傾斜軸1104包括模型質心M)。在此省略預測，或者可以把X看作檢測和預測的合併結果。本發明涉及作為整體解決方案的兩步驟最佳化方案，具有針對兩個步驟的封閉形式的解。可以參照圖11容易地解釋該方案第一步驟是利用Cx中的信息從X轉至X'，或換句話說，找到從X至M的最佳變換。第二步驟是利用來自cm的附加信息從X'轉至XM。第一步驟被稱作對準步驟，而第二步驟被稱作約束步驟。
對準步驟的目標是考慮在之前形狀和它的協方差矩陣朝模型變換的過程中分量不確定性.首先如下最小化d2:
其中x'-T(x)，並且C'屍T(Cx)。為了簡化符號，假定預測N(x-，Cx-)已經被合併成N (x， Cx)。當T是相似性變換時，具有
其中t是具有兩個自由參數的平移向量，並且R是塊對角矩陣，其中每一塊是
利用純代數(straight algebra),可以如下重寫方程(6):formula see original document page 19
通過對R和t中的四個自由參數取導數，可以獲得封閉形式的解.圖12a和12b示出在考慮和沒有考慮點位置的不確定性的情況下的形狀對準。圖12a示出在沒有考慮定位的不確定性的情況下的形狀對準。圖12b示出利用異方差不確定性的形狀對準。橢圓1202-1212描繪關於點位置的協方差，表示塊對角C,中的信息。直覺是更相信具有更高置信度的點。
一旦之前形狀與模型對準，對由兩個竟爭信息源(也就是，對準的
x ,眾檢測/預測與(子空間)模型相對)所產生的具有最大似然性的形狀進
行確定，在全空間模型的情況下，公式直接涉及利用高斯源或BLUE(最佳線性無偏估計量(Best Linear Unbiased Estimator))的信息合併。
假定相同的n維變量x的兩個有噪聲的測量，每一個測量的特徵在於多維高斯分布，即N (x,，d)和N (x2，C2) ， x的最大似然估計是具有修訂的Mahalanobis距離D2 ( x， x2， C2)的最小總和的點。不失一般性地假定C2是奇異的。利用C2=UAUT的奇異值分解，其中U-[u!，U2，…，uJ，同時Ui是標準正交的，並且A-diag(X"入2，…，入p， 0，…，0}，至乂2的Mahalanobis距離如下
(10)
當入i趨於0時，D2 (Xl，x2，C2)趨向無窮大，除非UT。x=0，其中U。= [up+1， u p+2, ...， un]。在這裡不失一般性地假定子空間通過原始空間的原點。由於X2居於子空間中，所以U。、-0。
因為U。Tx-0，所以f現在變成
，(爭-x,C^(U^ -
(")
其中y是lxp向量。
對y取導數，產生子空間的合併估計量
(12)
(13)
利用原始空間中的等效表達式formula see original document page 21可以示出Cx'和Cy'是x'和y'的相應的協方差矩陣。
替代地，可以如下來寫方程(l2)和方程(13):formula see original document page 21
在這裡，y2是X2在由Up所跨越的子空間中的變換坐標，並且A,diag(入n入2，...，入p)。方程(16)可被看作兩個高斯分布的子空間中的BLUB合併，其中一個高斯分布是N (y2， Ap),並且另一個高斯分布是子空
間中的N (x,，d) 、 N((uTpd—'Up)mTpCri,， 0JTpCrx)—')的交集。上述子空間合併為(子空間)模型約束、將(具有異方差不確定性
的)形狀測量和主成分分析(PCA)形狀模型視為兩個信息源提供一般
公式。下面，添加第三個源，其表示根據跟蹤的動態預測。除檢測之外從跟蹤獲得的至關重要的好處是來自支配預測的系統動態的附加信
息以及信息在時間上的合併。基於上面的分析，方程(4)的解具有下面的形式
formula see original document page 21
該解將來自檢測、形狀模型和動態預測的信息放在統一的框架中。當也在子空間中限定預測形狀時，上面所述的子空間BLUE公式可以以嵌套方式被應用於變換T內。預測N (x，Cx-)包括來自系統動態的信息。該信息被用於對全局運動趨勢、諸如擴張和收縮以及緩慢的平移和旋轉進行編碼。利用傳統的方法、諸如Kalman設置中的預測濾波器，可以獲得N (x-，Cx-):formula see original document page 21其中系統動態方程是formula see original document page 22並且Q是q的協方差，並且"prev"表示來自前一時間步驟的信息。
圖13示出分析步驟的示意圖，其中通過所有步驟傳播檢測的不確定性。在每一幀處，通過比較在兩個形狀模型的上下文中多個檢測候選物的似然性以及基於系統動態根據前一幀的預測，對多個檢測候選物進行評估。諸如1302-1316的橢圓示出位置不確定性。在對準過程中利用形狀對不確定性進行變換，在似然估計與跟蹤過程中利用模型和預測的先驗信息來合併不確定性。
已經描述了用於利用外觀和形狀來檢測和匹配解剖結構的方法的實施例，但需要指出，根據上面的教導，本領域的技術人員可以進行修改和改變。因此應理解的是，可以在如所附的權利要求所限定的本發明的範圍和精神中公開的本發明的具體實施例中進行改變。已經因此描述了具有專利法所要求的細節和特性的本發明，在所附的權利要求中闡述了由專利特許證要求保護和期望保護的內容。
權利要求
1、一種用於檢測圖像中的解剖結構以及使圖像中的解剖結構與圖像的訓練組中的一個或多個解剖結構相匹配的方法，包括以下步驟接收候選圖像；從該候選圖像中提取特徵值；應用分類函數，以檢測解剖結構；如果檢測到解剖結構，則通過使候選圖像的所提取的特徵值與訓練組中的配對圖像的特徵值相匹配來識別圖像的訓練組中的一個或多個配對圖像；以及利用來自訓練組的匹配配對圖像中的解剖結構的一個或多個形狀來確定候選圖像中的解剖結構的形狀。
2、 權利要求l的方法，其中，匹配特徵值的步驟進一步包括以下 步驟為候選解剖結構產生特徵向量；以及 比較候選特徵向量和與配對圖像相關的特徵向量。
3、 權利要求2的方法，其中，所述特徵向量包括多個弱分類器輸 出h/s和相關的權重ot/s。
4、 權利要求3的方法，其中，匹配步驟進一步包括利用不同的距 離量度，這包括利用歐幾裡得距離函數中的加權矩陣。
5、 權利要求l的方法，其中，所述應用分類函數的步驟進一步包 括以下步驟使窗掃描通過候選圖像。
6、 權利要求l的方法，其中，以分級方式執行所述應用步驟。
7、 權利要求l的方法，其中，所述分類函數利用提升。
8、 權利要求l的方法，其中，所述分類函數利用AdaBoosting。
9、 權利要求l的方法，其中，所述分類函數利用RankBoosting。
10、 權利要求l的方法，其中，所述分類函數利用支持向量機。
11、 權利要求l的方法，其中，所述圖像是超聲圖像。
12、 權利要求ll的方法，其中，所述解剖結構是左心室。
13、 權利要求l的方法，其中，所述解剖結構是臉。
14、 一種用於使圖像中的解剖結構與圖像的訓練組中的一個或多個相似成形的解剖結構相匹配的方法，包括以下步驟 接收候選解剖結構的圖像； 從該圖像中提取特徵；將與相似成形的解剖結構相關的特徵與候選解剖結構相比較；以及 通過利用來自訓練組的至少一個最近鄰近者的形狀來確定候選解 剖結構的形狀。
15、 權利要求14的方法，其中，所述候選解剖結構具有用一組控 制點來注釋的它的輪廓。
16、 權利要求14的方法，其中，所述相似成形的解剖結構中的每一個都具有用一組控制點來注釋的它的輪廓。
17、 權利要求14的方法，其中，比較特徵的步驟進一步包括以下為候選解剖結構產生特徵向量；以及 比較候選特徵向量和與相似成形的解剖結構相關的特徵向量.
18、 權利要求17的方法，其中，所述特徵向量包括多個弱分類器 輸出h/s和相關的權重a/s。
19、 權利要求18的方法，其中，比較步驟進一步包括利用不同的 距離量度，這包括利用歐幾裡得距離函數中的加權矩陣。
20、 權利要求14的方法，其中，所述圖像是超聲圖像。
21、 權利要求20的方法，其中，所述解剖結構是左心室。
22、 權利要求14的方法，其中，所述解剖結構是臉。
23、 一種用於檢測圖像中的解剖結構以及使圖像中的解剖結構與 圖像的訓練組中的一個或多個解剖結構相匹配的系統，包括以下步驟用於接收候選圖像的裝置；用於從候選圖像中提取特徵值的裝置；用於應用分類函數以檢測解剖結構的裝置；特徵值相匹配來識別圖像的訓練組中的 一個或多個配對圖像的裝置； 以及用於利用來自訓練組的匹配配對圖像中的解剖結構的形狀來確定 候選圖像中的解剖結構的形狀的裝置。
24、權利要求23的系統，其中，用於識別配對圖像的裝置進一步包括用於為候選解剖結構產生特徵向量的裝置；以及 用於比較候選特徵向量和與配對圖像相關的特徵向量的裝置。
25、 權利要求24的系統，其中，所述特徵向量包括多個弱分類器 輸出h/s和相關的權重oc/s。
26、 權利要求23的系統，其中，所述用於應用分類函數的裝置進 一步包括用於使窗掃描通過候選圖像的裝置。
27、 權利要求23的系統，其中，所述分類函數利用提升。
28、 權利要求23的系統，其中，所述分類函數利用AdaBoosting。
29、 權利要求23的系統，其中，所述分類函數利用RankBoosting,
30、 權利要求23的系統，其中，所述分類函數利用支持向量機。
31、 權利要求23的系統，其中，所述圖像是超聲圖像。
32、 權利要求31的系統，其中，所述解剖結構是左心室，
33、 權利要求33的系統，其中，所述解剖結構是臉。
全文摘要
公開了一種利用外觀和形狀來匹配解剖結構的系統和方法。本發明還涉及一種用於檢測圖像中的解剖結構以及使圖像中的解剖結構與圖像的訓練組中的一個或多個解剖結構相匹配的方法，包括以下步驟接收候選圖像；從該候選圖像中提取特徵值；應用分類函數，以檢測解剖結構；如果檢測到解剖結構，則通過使候選圖像的所提取的特徵值與訓練組中的配對圖像的特徵值相匹配來識別圖像的訓練組中的一個或多個配對圖像；以及利用來自訓練組的匹配配對圖像中的解剖結構的一個或多個形狀來確定候選圖像中的解剖結構的形狀。
文檔編號G06K9/62GK101551865SQ20091014086
公開日2009年10月7日 申請日期2004年11月19日 優先權日2003年11月19日
發明者A·古普塔, B·戈格斯庫, D·科馬尼丘, R·B·勞, X·S·周 申請人:美國西門子醫療解決公司