用於柔性針操縱的超聲引導機器人的製作方法

2023-06-21 17:47:41 4

專利名稱：用於柔性針操縱的超聲引導機器人的製作方法
技術領域：
本發明涉及向組織中插入柔性針的控制領域，尤其是在通過超聲成像觀察針插入 時，向組織中插入柔性針的控制領域。
背景技術：
大量臨床流程涉及到出於診斷和治療目的的針插入。這樣的流程包括活組織檢 查、區域麻醉、施藥、採血、前列腺近距治療和燒蝕。這些流程需要在器官、血管或病灶處對 針尖端進行導航和精確放置。診斷是否正確或治療處置是否成功高度取決於針插入的精 度。例如，在用針向腫瘤中放置放射性種子的近距治療中，治療的有效性直接與針放置的精 確度相關。在活組織檢查中顯然也是同樣情況，在活組織檢查中針的誤置可能會導致誤診。醫師常常徒手執行針插入流程，根據從工具反饋的力和他們對解剖結構的3D感 知向前推進針。這種流程的性能是受到限制的，依賴於醫師的訓練和技巧。儘管成像技術 能夠改善靶可見度和針的放置，但仍然有導致針誤置的原因，例如由於組織變形導致的靶 移動和針偏斜。此外，軌跡可能包含需要避開的障礙，從而需要重複插入過程。軟組織性質 的變化可能導致規劃流程階段和治療階段之間不可預知的偏差。估計在進行CT引導的針 刺活組織檢查的患者中，由於針的誤置有14%的測試是沒有價值的。因此，有時會重複活檢 流程以確保採樣充分，這使患者承受更大風險並可能發生併發症。使用柔性針而非剛性針，可以在很大程度上克服以上限制，因為通過操控針的基 部，能夠將柔性針尖端操縱到靶，即使沿著彎曲軌跡。題為「Controlled Steering of a Flexible Needle」 的 PCT 專利申請 No. PCT/IL2007/000682 (被公開為 W02007/141784)以 及 D. Glozman 和 M. Shoham 在 IEEE Transactions on Robotics 2007 年 6 月第 23 卷第 3 期發表的題為「Image-guided Robot for Flexible Needle Steering」的文章描述了用於 在實時X射線螢光檢查引導下在軟組織中操縱柔性針的機器人系統，通過引用將這兩篇文 獻都全文併入本文。這種用於閉環針插入的方法利用了一種算法，用於基於虛擬彈簧模型由機器人操 控針基部，進行路徑規劃，針尖端和輪廓檢測，以及通過分析由針對組織施加的力導致的組 織沿針長度的位移來迭代地估計組織硬度。在上述W02007/141784中已經介紹了基於虛擬彈簧模型在軟組織中操縱柔性 針的理論模型。在這種模型中，如圖1的示意圖所示，針把持在機器人基部中，機器人 基部向針施加橫向力Fb和力矩Mb。將針本身看做圖1中分成段的線性束，標識為要素
1......i. . . . n，其中每者都受到與虛擬彈簧係數和位移成正比的橫向彈簧力。假設橫向針
位移很小，將組織響應視為線性的並通過沿針分布的橫向虛擬彈簧對組織的力建模。因此， 每段i都受到點力Fi的作用，其取決於從初始位置Wtji的局部位移Wi以及由虛擬彈簧係數 ki描述的組織硬度。從基部處的邊界條件和二階連續性條件和要素間施加的彈簧力，可以導出由以下 矩陣表達式描述的4Xn方程
KN = Q(1)其中η是要素的數量，K是Nij的矩陣係數，N是在每個要素Nu的邊緣處的平移和斜率矢量，其中i是要素編號，而j是要素i 處的自由度。Q是包括在針刺穿其時節點的硬度係數和初始位置的組合的矢量。然後可以解方程(1)，以計算針基部的所需取向和平移，從而針尖端將按期望路徑 行進。這是逆向運動學問題的解。在所有避開障礙並確實能到達靶的可能路徑中，要使用 的最佳一個是對組織施加最小橫向壓力的路徑，其一般與最小針曲率相關。這是通過選擇 使虛擬彈簧位移和斜率的平方和最小化的尖端傾斜來實現的。然而，現有技術中描述的X射線螢光檢查跟蹤涉及對受檢者的X輻射劑量以及執 行流程的醫務人員受到的偶然散射輻射。此外，可用於執行成像的X射線系統可能是有限 的，且這樣的設備昂貴，從而可能期望有一種備選的跟蹤針的方法。在說明書這一節和其他節中提到的每種出版物的公開都通過引用、全文地併入本 文。

發明內容
本公開描述了一種在超聲成像的實時引導下在軟組織中操縱柔性針的系統和方 法。使用超聲相對於其他成像模態提供了優點。相對於使用X射線成像的主要優點是沒有 輻射危害，更通用且成本更低。不過，因為在這種成像中對針可見性的限制，這種超聲圖像的解釋可能不是簡單 直接的。針的可見性受到針和超聲探頭的軸之間角度，或更具體而言，受到超聲成像的方向 的影響。如果要如X射線螢光檢查那樣沿針的大致側向執行超聲成像(儘管對於超聲成像 而言這通常不會是實用的操作方法)，針杆(shaft)投影的至少一部分可以被看到但針尖 端可能無法清晰可見。另一方面，在接近針插入角度的成像方向(這是通常用於超聲成像 的方向)，針尖端作為一個明亮區域清晰可見，其隨著針的推進而移動，但針自身一般難以 分辨。於是，以通常使用的配置使用US成像能夠跟蹤針尖端的位置(這是該系統的最終目 的)，卻不能容易地看到針杆。作為這種現象的結果，不能執行上述WO 2007/141784中所述使用X射線螢光檢查 成像進行的針插入過程和所得機器人操控的分析。在該流程中，一般可以在X射線圖像中 看到沿針長度的每個點並連續實時跟蹤，並使用對該路徑的了解來迭代計算針尖端運動必 須要被確定的每個點處組織的硬度係數。不了解針的每個插入增量處的硬度係數，就不能 對逆向運動學方程求解。最多可以將硬度近似值用於整個插入過程，但由於組織的硬度可 能會沿著針的軌跡變化，這種流程的精確度差。本公開提供了新穎的分析流程和設備，即使在僅針的尖端大致可見的條件下，也 能夠實現對針插入的超聲跟蹤。該流程涉及在針的尖端推進到組織中的同時，通過對針尖 端前方和緊鄰尖端的周圍區域中組織運動進行超聲彈性圖描記測量，確定針的尖端處組織 的彈性屬性。由於對於針的每個插入步驟這樣測量在針尖端處組織的硬度，如上所述，則能夠容易地利用針尖端處組織的實測彈性屬性獲得逆向運動學方程的解。該解能夠為插入 針過程中相繼迭代步驟規劃正向運動和機器人的對準，使得針尖端將循著期望路徑前進。 由於尖端處的組織硬度是已知的，至少在一級近似上，可以比上述X射線方法更簡單地得 到逆向運動學方程的解，在X射線方法中不能連續測量組織的硬度，而是從插入之前硬度 的初始估計值並從針前進時針路徑的形狀迭代地確定組織的硬度。在本方法中，也是迭代 地執行逆向運動學方程的求解，但僅使用觀察到的針尖端與其規劃路徑的偏差作為反饋參 數，來校正每個後續插入步驟。以解析方式表達這種情況，已知上述矩陣表達式KN = Q(1)被通過逆向運動學方法求解，以計算針基部所需的取向和平移，使得針尖端將按 橫向壓力最小的期望針軌跡行進。然而，與上述X射線成像流程(其中Q和K中的硬度系 數是未知的，因此必須要藉助於在WO 2007/141784中描述的針路徑測繪過程迭代地加以 估計)不同的是，在本公開的超聲方法中，Q和K中的硬度係數是實時測量的，因此在針軌跡 的每個迭代點處都是已知的。結果，Q和K的所有要素都是已知的，使用超聲成像就這樣提 供了比現有技術的X射線成像流程更簡單的方法來找到方程(1)的逆向運動學解。儘管與 考慮到插入期間針路徑中的任何變化的情況(如X射線成像方案中所做的)相比這種方法 可能精確性差些，但該技術確實能夠根據沿針軌跡實際測量的組織硬度的變化更新模型。由於對於針的每個插入步驟尖端的位置都是已知的，所以可以通過將這些針尖端 位置連接起來的圖解過程在一級近似上確定針的累積路徑。由於其未考慮在遠端針尖端進 一步前進到組織中時在針的近端部分針路徑的任何橫向運動，所以這種路徑是近似的。然 而，這確實意味著在沿著已知針路徑長度的所有遞增點處以組織硬度的形式知道了整個束 配置。儘管這一信息不是執行本公開所述一階迭代插入過程所需的，但對於可以執行的任 何推演(derivative)測量可能是有用的。儘管當前使用的具有光滑表面的柔性針在以接近針進入角度的角度執行的超聲 成像流程一般不可見，但使得針的全長在超聲成像下確實變得可見的技術，尤其是使用特 殊針表面的技術可能是可行的。在這種情況下，則能夠藉助於在插入時測量針橫向側的組 織的移動並計算沿針的長度的所有那些點處的硬度常數來測量沿針的整個長度的組織彈 性。一旦沿著針長度知道了這些硬度係數，加上針的路徑，方程(1)的逆向運動學解就變得 可以在閉合形式中獲得，並容易進行計算。於是這代表了導出組織硬度的備選方法，組織硬 度被用作已知輸入參數，以對方程(1)中給出的逆向運動學問題求解。除了使用超聲彈性圖描記來確定針的尖端處遇到的組織類型之外，為了將針引導 到預定靶，可以使用這種「深度組織彈性圖描記」來確定關於組織的病理數據，否則，從通過 在組織表面施加外力來執行的現有技術彈性圖描記流程是難以辨別病理數據的。本公開中描述的系統的一個示例實施方式涉及一種用於根據預定軌跡控制具有 尖端的柔性針到組織中的插入的系統，其中所述系統包括(i)用於操控所述針進入所述組織的機器人，(ii)用於探知所述針的所述尖端的位置的超聲成像系統，(iii)用於根據超聲圖像確定所述尖端區域中所述組織的位移模式的組織運動分 析器，以及
(iv)使所探知的所述針的所述尖端的位置和根據所述預定軌跡的所述尖端的期 望位置之間的差異最小化的控制系統，其中所述控制系統還適於(a)利用所述尖端的區域中所述組織的位移模式來確定所述組織的彈性屬性，(b)使用所述組織的彈性屬性獲得逆向運動學解以計算要賦予所述針以使所述尖 端按規劃軌跡行進的所需運動，以及(c)根據所述逆向運動學解指示所述機器人操控所述針進入所述組織中。在上述系統中，可以在作為柔性束的所述針的模型上執行所述逆向運動學解，所 述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向 力，且其中所述組織在所述針上施加的橫向力可以是根據從針尖端周圍的位移模式導出的 所述組織的彈性屬性確定的。在這種情況下，所述針的所述模型通過所述組織的路徑可以 是由所述多個虛擬彈簧對所述針的影響確定的。—種用於根據預定軌跡將這樣的柔性針插入組織中的備選示例性系統可以包 括(i)用於操控所述針進入所述組織中的機器人，(ii)用於探知所述針的所述尖端的位置的超聲成像系統，(iii)用於根據超聲圖像確定所述尖端的區域中的組織的位移模式的組織運動分 析器，以及(iv)控制所述機器人運動的運動以使所探知的所述針的所述尖端的位置和根據 所述預定軌跡的所述尖端的期望位置之間的差異最小化的控制系統，其中，所述控制系統可以適於利用作為柔性束的所述針的模型，所述柔性束具有 橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中所 述組織在所述針上施加的所述橫向力可以根據從所述針尖端周圍的組織的位移模式導出 的所述組織的彈性屬性來確定。在這一所描述的系統中，所述針的所述模型通過所述組織的路徑可以由所述多個 虛擬彈簧對所述針的影響來確定。此外，所述控制系統還可以利用應用於所述虛擬彈簧模 型的逆向運動學解來計算要賦予所述針以使所述尖端按規劃軌跡行進的所需運動。在任何上述系統中，所述針的所述預定軌跡可以包括對於所述針的所述尖端的靶 和所述針應當避免的至少一個區域。此外，這些系統還可以包括確定在其基部施加在所述針上的力的力傳感器，在這 種情況下所述控制系統還使用測得的力來確定針尖端附近組織的硬度屬性。此外，在任何上述系統中，所述控制系統可以確定通過對超聲圖像進行圖像處理 確定的所述尖端的位置與根據所述預定軌跡所述尖端的規劃位置的偏差，並計算要應用於 所述機器人以減小所述偏差的運動。根據另一示例性實施方式，所述預定軌跡可以被分成增量，並且所述控制系統可 以在每個遞增插入點根據從所述超聲成像系統獲得的所述針尖端的實時位置依據這些增 量執行插入。此外，可以選擇預定軌跡以避免行程通過不期望的組織區域。此外，在任何上述系統的其他實施方式中，可以使用圖像處理算法獲得尖端區域 中組織的位移模式，圖像處理算法可以方便地是雙線性可變形塊匹配算法。
本公開中描述的所要求發明的其他實施方式利用任何上述系統執行一種方法。其他示例實施方式涉及一種用於確定組織的彈性特性的方法，包括(i)操控具有尖端的針進入所述組織，(ii)產生所述針的所述尖端的超聲圖像，(iii)根據所述超聲圖像確定所述尖端周圍的所述組織的位移模式，以及(iv)利用所述位移模式的性質確定所述尖端的區域中所述組織的彈性特性。這樣的方法還可以包括測量在插入所述針期間外部施加的力並使用所述力的測 量結果確定所述尖端的區域中所述組織的彈性特性的步驟。所述位移模式的性質可以包括 所述模式中的位移的幅度和形式中的至少一個。此外，根據這些方法，可以利用組織的彈性 特性來檢測組織中的病理異常。其他示例性實施方式涉及一種用於確定組織的彈性特性的系統，該系統包括(i)具有尖端的針，用於插入所述組織中，(ii)用於產生所述針的所述尖端的至少一個超聲圖像的系統，(iii)用於根據所述至少一個超聲圖像確定所述尖端的區域中所述組織的位移模 式的組織運動分析器，以及(iv)利用所述位移模式的性質確定所述尖端的區域中所述組織的彈性特性的組 織分析器。這樣的系統還可以包括用於測量施加到所述針的插入力的力傳感器，其中所述力 的測量結果可用於提高確定所述尖端的區域中的組織的彈性特性的精確度。所述位移模式 的性質可以包括所述模式中的位移的幅度和形式中的至少一個。此外，使用這種系統確定 的組織的彈性特性可用於檢測組織中的病理異常。這裡描述的系統的另一種示例性實施方式還涉及一種用於根據預定軌跡控制具 有尖端的柔性針到組織中的插入的系統，所述系統包括(i)用於操控所述針進入所述組織中的機器人，(ii)用於探知所述針的位置的超聲成像系統，(iii)用於根據超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析 器，以及(iv)使所探知的所述針的所述尖端的位置和根據所述預定軌跡的所述尖端的期 望位置之間的差異最小化的控制系統，其中所述控制系統還可以適於(a)利用沿所述針的所述組織的位移模式確定所述組織的彈性屬性，(b)使用所述組織的所述彈性屬性來獲得逆向運動學解以計算要賦予所述針以使 所述尖端按規劃軌跡行進的所需運動，以及(c)根據所述逆向運動學解指示所述機器人操控所述針進入所述組織中。在這樣的系統中，可以在作為柔性束的所述針的模型上執行所述逆向運動學解， 所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫 向力，且其中由所述組織在所述針上施加的橫向力可以是根據從所述針周圍的所述位移模 式導出的所述組織的彈性屬性確定的。這裡描述的系統的另一種示例性實施方式可以涉及一種用於根據預定軌跡將具有尖端的柔性針插入組織中的系統，所述系統包括(i)用於操控所述針進入所述組織中的機器人，(ii)用於探知所述針的所述尖端的位置的超聲成像系統，(iii)用於根據超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析 器，以及(iv)控制所述機器人運動的運動以使所探知的所述針的所述尖端的位置和根據 所述預定軌跡的所述尖端的期望位置之間的差異最小化的控制系統，其中，所述控制系統可以適於利用作為柔性束的所述針的模型，所述柔性束具有 橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中由 所述組織施加在所述針上的所述橫向力可以是根據從沿所述針的所述位移模式導出的所 述組織的彈性屬性確定的。在這樣的系統中，所述針的所述模型通過所述組織的路徑可以由所述多個虛擬彈 簧對所述針的影響來確定。此外，所述控制系統可以利用應用於所述虛擬彈簧模型上的逆 向運動學解來計算要賦予所述針以使所述尖端按規劃軌跡行進的所需運動。


通過下文結合附圖給出的詳細描述，所要求的本發明將得到更充分的理解和認 識，附圖中圖1是柔性針的理論模型的示意圖，柔性針被模型化為分成段的線性束，每個段 受到橫向彈簧力作用；圖2是用於執行本申請所描述的超聲控制的針插入方法的示例性系統的示意圖；圖3A示意性地示出了正被插入組織的針，以顯示針和超聲探頭之間的相對角度， 而圖3B是利用圖2的系統獲得的超聲圖像，示出了表現為明亮區域的針尖端；圖4A到4C示出了在諸如圖:3B所示的超聲圖像中檢測針尖端的方法；圖5是參照幀的超聲圖像，被分成放在針尖端前方的所定義節點周圍的感興趣區 域，以便執行彈性圖描記來估計一對超聲圖像之間的組織運動；圖6示出了針尖端周圍區域的大面積超聲圖像，在明亮區域中用十字加以標記；圖7是圖6的針尖端區域的放大截面，示出了由小白色箭頭標記的組織位移；圖8示意性地示出了在針插入流程期間用於使針尖端跟蹤誤差最小化的示例性 控制迴路算法；以及圖9為流程圖，示出了根據本公開中描述的一個示例性流程的插入柔性針的方法 中的步驟。
具體實施例方式現在參考圖2，圖2是用於執行本申請中描述的受控針插入方法的示例性系統的 示意圖。柔性針M被示為把持在插入機器人25中，插入受檢者組織20中的進度被示為受 到超聲(UQ成像系統的監測，超聲成像系統包括超聲探頭22及其控制和顯示系統23。探 頭一般可以既包括超聲換能器又包括針對從針和組織返回的US能量的傳感器系統。US控 制系統23 —般可以包括US電源和信號處理例程，用於分析接收的信號並從其產生US圖像。用於把持針對、對準針M並將其推進到患者組織20中的機器人25可以是RSI3R 6D0F 並行機器人,例如由 D. Glozman 禾口 M. Shoham 在 IEEETransactions on Robotics 2007 年 6 月第 23 卷第 3 期發表的題為「Image-guided Robot for Flexible Needle Steering，， 的文章中所描述的機器人。不過要理解的是，這裡所描述的系統並非意在受限於使用並行 機器人結構，而是可以使用任何串行、並行或混合式機器人結構。可以利用其控制系統27 控制機器人運動。可以通過6-D0F力/轉矩換能器沈將針連接到機器人的移動板，該換能 器測量針的插入力和轉矩。在圖2所示的示例性系統中，示出了獨立的控制系統觀，用於執行針運動控制算 法的計算並用於運行運動控制迴路。其功能是獲得針對每個插入步驟的所需針基部坐標， 並向機器人發出命令，從而在計算逆向運動方程的每個步驟之後將針基部移動到要求的坐 標。控制迴路負責從US圖像處理系統計算機23接收輸入數據並基於該數據產生移動命令。 可以分析原始US數據或US圖像以便定義針尖端的位置，針路徑形狀、與組織彈性特性相關 的數據和來自力傳感器的插入力信息，用於輸入到機器人控制系統中。可以在系統控制計 算機觀中執行這一操作，該計算機可以負責圖像處理、針和組織的檢測以及針控制。系統 計算機觀經由機器人控制計算機27命令機器人的運動。兩者之間的通信可以由數據鏈路 29提供。上述控制的劃分僅僅是整個針插入系統可以如何工作的一個示例，要理解的是， 同樣可以圍繞單個計算系統構建控制系統，或進行任何適當的控制和處理功能的備選劃 分。超聲圖像中針的可見性取決於若干參數針直徑、針塗層、插入角度，並且最重要 的是超聲探頭平面與針的對準情況，如在I. khafhalter-hppoth等人於Reg Anesth Pain Med 2004 第四卷第 480-488 頁發表的題為 「Ultrasound visibility of needles used for regional nerve block :An in vitro study」的文章中所述。可以利用相對於機器人 坐標系校準的數字轉換器實現探頭的對準，數字轉換器例如是可從加利福尼亞San Jose的 Immersion Products Inc.獲得的MicroScribe 3DXL數字轉換器。然後可以使用數字轉換 器將超聲探頭的中心軸線平面與針對準。現在參考圖3A，其示意性地示出了與從US探頭32發射的超聲成像束的方向成角 度θ向組織20中插入的針30。針被定向為從插入點36朝向靶點34進入組織20中。利 用各種角度的實驗表明，在接近90°的角度，可以沿著其大部分長度看到針杆，但不能清晰 看到針尖端。然而，在10°到30°角度，在US圖像中針尖端作為隨著針前進而移動的明亮 區域變得清晰可見。在圖3Β所示的超聲圖像的示例中清晰地看出這一點，其中針尖端的位 置由箭頭表示。現在參考圖4Α到4C，其示出了在超聲圖像中檢測針尖端的方法。因為US圖像中 斑點程度高，並不能總是容易直接對US圖像使用圖像處理來確定針尖端的位置。在圖4Α 中看到的針尖端是明亮區域。因為對於接近所使用的垂直對準角度而言，由於隨著針尖端 的前進，幀間的主要區別是針尖端位置，所以能夠通過從參照幀減去當前幀的簡單圖像處 理流程來容易地檢測到針尖端。圖4Β是為這樣的參照幀，其為圖4Α緊前方步驟拍攝的，從 圖像上的時間戳可以看出。從圖4Α的當前幀減去圖4Β的參照幀獲得圖4C所示的圖像，其中僅有標記了白色箭頭的針尖端作為一明亮區域可以看到，因為它是兩幀之間發生變化的 唯一物體。修剪圖4C的圖像僅留下尖端區域，並向這一經修剪的區域應用閾值。認為尖端 位置是差值圖像中高於閾值電平的最大明亮區域的質心。為了能夠將圖像坐標系的每個像 素匹配到機器人坐標系，進行圖像與探頭的配準，並利用數字轉換器測量探頭到機器人的 變換。使用這種圖像-機器人配準，能夠在機器人的坐標系中表達在圖像中檢測的針尖端 位置。然後在下一插入步驟中使用針尖端位置與期望路徑的偏差，針基部插入的幅度和 角度是由控制器決定的。精確計算逆向運動學問題需要知道組織的硬度。由於沒有從針插入點到靶區域一 路上對組織屬性的先驗知識，並且由於使用超聲，所以不能使用針路徑來迭代地估計組織 硬度，本公開中描述了一種估計組織屬性的新方法。所用的方法基於超聲彈性圖描記，其根 據所施加力作用下組織位移的測量導出軟組織的彈性屬性。超聲成像是用於產生彈性圖的 通用醫療成像技術。在現有技術的超聲彈性圖描記系統中，在組織表面上施加壓縮力並觀察淺表力導 致的組織移動，來得到組織的位移。這樣的力導致較軟的內部組織比較硬的內部組織變形 更多。例如，這種技術用於通過組織上的可觸知壓縮力檢測腫瘤。不過，在這種流程中，從 施加壓縮力的組織表面到感興趣的遠程點，內部組織壓縮的測量是在整個路徑上的積分， 因此測量的精度有限或用處有限。與這樣的方法相反，在當前描述的系統的方法中，使用對超聲圖像的分析來確定 由針尖端的推進導致的組織局部位移。有很多技術來估計組織的運動。根據一種方法，跟蹤 超聲圖像中斑點圖案的移動可以基於雙線性可變形塊匹配算法，如A. Basarab等人發表於 Medical Image Analysis 2008年6月第12卷第3期259-274頁，並在2007年10月預先在 線發表為 Med. Image Anal. (2007) ,doi :10. 1016/j. media. 2007. 10.007 的題為「A method for vector displacement estimation with ultrasound imaging and its application for thyroid nodular disease」的文章中提出的那樣。然而，要理解的是，這種雙線性可變 形塊匹配算法僅僅是可以用於提取圖像移動的一種技術，本公開的方法並非意在僅限於這 種所描述的方法。因為Basarab等人描述的方法分析由於探頭在表面組織上施加的壓縮力導致的 組織運動，所以必須要做出一些修改以調整該方法來分析前進的針尖端前方區域中的組織 運動。彈性圖描記的目的是估計一對超聲圖像之間的組織運動變形之前的參照幀，以及由 於針移動導致組織變形之後的比較幀。為了實現這個目的，首先將參照幀分成位於針尖端 前方所定義節點周圍的(多個)感興趣區域。這在圖5所示的超聲圖像中示出了，其中，感 興趣區域被示為所定義節點周圍的橫向尺度為軸向尺度兩倍的交迭白色矩形，節點被示為 小黑色十字。針尖端的實測位置被示為孤立的黑十字。對於3. 5MHz頻率的US探頭而言，適當的尺寸是軸向方向上為2. 2mm，橫向方向上 為5. 6mm。界定交迭的感興趣區域提高了位移估計的精確度。有利地，可以將感興趣區域布 置成在橫向軸具有60%的交迭，在軸向軸具有50%的交迭。然後由單級塊匹配算法計算每 個ROI的角部的平移。通過使平方差之和(SSD)最小化來確定塊匹配準則。在下一步中， 基於雙線性模型計算ROI內部所有像素的位移。可以從計算出的角部的位移找到未知的雙線性參數。一旦已經獲得完整的位移圖，則分析它以確定針尖端的周圍，尤其是前方的區域 中組織的彈性屬性。由所施加力在尖端周圍產生的位移場取決於周圍組織的硬度。在考慮 到沿針長度的切向摩擦力時，進行初步校準測試以將獲得的位移水平與由機器人向針基部 施加的力相關起來。可以使用這種初步校準測試來根據諸如針尺寸以及到達那一點採取的 步長的參數來表徵不同類型的位移模式。於是，檢查根據所施加力而產生的位移的範圍和 分布就能夠對組織彈性做出估計。這提供了針尖端處組織的彈性的精確和局部數據。能夠 產生校準比例或查找表，使得能夠從向針施加的力讀出估計的硬度係數以及針尖端前方的 組織運動。然後可以在系統控制器中運行的算法中使用這種組織硬度以確定針插入的下一 插入步驟，如上所述。現在參考圖6和7，其示出了超聲掃描，以展示針尖端周圍的組織位移估計，用於 執行組織硬度表徵的過程。圖6是針尖端周圍的區域的大面積US圖像，針尖端用十字標記 在明亮區域中。圖7是圖6的針尖端區域的放大截面。在圖6中能夠辨別出US成像軟體 的個體像素。用小箭頭標記如上述Basarab等人的文章中描述的利用圖像處理技術根據超 聲圖像計算的組織位移。具有不同硬度的組織將表現出不同的箭頭分布。從不同類型組織 檢測到的運動中的差異使得能夠確定組織性質。於是，組織運動被檢測到的尖端周圍區域 的範圍為該區域中組織的局部硬度提供了指示——距尖端越遠觀察到組織移動，該區域中 組織的硬度就越小。此外，在尖端周圍組織中觀察到的移動的幅度也提供了該區域中組織 的局部硬度的指示——移動越大，該區域中組織的硬度越小。現在參考圖8，圖8示意性地示出了用於在針插入流程期間使針尖端跟蹤誤差最 小化的示例性控制迴路算法。到系統中的輸入是規劃的針尖端位置，不包括其取向，取向稍 後由控制器優化。實際針尖端位置是從超聲圖像導出的，並將其與規劃位置的偏差饋送給 控制器。控制器基於虛擬彈簧模型的逆向運動學，利用由點線輸入到控制器的所檢測組織 硬度，為每個插入步驟計算所需的針基部移動。控制器還對針的取向進行優化以使橫向組 織壓力最小化。將這些控制器輸出饋送給機器人，機器人相應地向內、橫向地和傾斜地向其 下一迭代位置移動針基部。實測尖端位置減去期望尖端位置為該次迭代的跟蹤誤差，將其 加到期望尖端位置作為控制器的新輸入，進行下一次迭代。繼續該過程，直到針尖端到達其 所規劃的靶。控制器可以是PID控制器，但要理解的是，本發明並非意在限於這種控制模 式。典型的針插入流程包括以下步驟(i)首先在針的平面中放置超聲探頭並執行配準流程。(ii)用戶在超聲圖像上選擇期望的靶，由醫師根據其判斷來確定針的進入點，或 可以由控制系統計算機計算針的進入點。通過以與針取向和探頭間角度相同的角度使一直 線通過靶，來執行計算。然後利用圖像-機器人配準將這條線與成像區邊界的交點轉換到 機器人坐標系中並定義為進入點。(iii)由用戶選擇靶和進入點之間的障礙。(iv)命令機器人將針移動到進入點並應用用於尖端檢測的算法來檢測尖端的初 始位置。(ν)基於檢測到的初始尖端位置、靶位置和障礙(或多個障礙)位置，通過諸如樣條方法的內插法計算軌跡。(vi)然後可以根據上文結合圖8所述的插入算法執行受控針插入流程。現在參考圖9，圖9為流程圖，示出了根據在本公開中描述的一個示例性流程的插 入柔性針的方法中的步驟。將流程分成兩個部分，與為受控插入做準備相關的步驟50到 56，以及迭代地控制插入流程自身的步驟57到63。在步驟50中，為受檢者的感興趣區域拍攝第一超聲圖像；在步驟51中，外科醫生在諸如計算機滑鼠的指示裝置幫助下描繪靶位置和適當 的針尖端進入點，而不管是由醫師選擇的還是由控制系統計算的。在步驟52中，命令機器人將針移動到規劃的進入點並在超聲圖像中檢測初始針 尖端位置。在步驟53中，外科醫生在諸如計算機滑鼠的指示裝置幫助下描繪出尖端進入點 和靶之間應當避開的任何區域。因此這個步驟定義了規劃軌跡和對其施加的任何約束。在步驟M中，計算這一規劃路徑軌跡並將其細分成段用於迭代進入過程。在步驟55中，利用上述逆向運動學解進行計算以確定為了使針的尖端按預定軌 跡前進所需的系列針基部運動。在第一次逆向運動學計算中使用組織硬度係數的初始假定 值。或者，在第一次刺穿組織表面之後，可以使用力傳感器獲得硬度係數。在步驟56中，機器人從控制系統接收命令以通過向組織之內的第一軌跡點移動 尖端來開始插入流程自身。在步驟57中，在完成第一次移動增量之後，拍攝該部位的超聲圖像。在步驟58中，通過基於前一圖像(對於第一步驟來說是步驟50中拍攝的參照圖 像)和當前圖像之間的圖像差異的圖像處理來確定針尖端的位置。在步驟59中，計算針尖端位置與其期望位置的誤差。將這一誤差水平加到所到達 的位置以產生用於下一遞增插入步驟的期望位置。同時，在步驟61中，進行力傳感器測量，從其可以確定針尖端上的縱向力。在步驟62中，根據檢測到的在尖端前方區域中的組織運動並使用步驟61中從力 傳感器讀數計算的針尖端處的估計力，通過成像處理計算在第一迭代插入點處的尖端周圍 的組織硬度。或者，利用作為組織移動的函數的預校準硬度尺度來進行組織的硬度係數估 計。在步驟63中，利用新測量的組織硬度係數更新針軌跡的模型以在尖端運動的下 一迭代步驟中使用。在步驟60中，查詢迭代次數。如果已經到達了在步驟討中為模型預定的規劃迭 代次數，就認為完成了插入，在步驟65停止該過程。如果未達到規劃迭代次數，在步驟64中執行進一步迭代。使用來自步驟63的經 更新的模型以便利用逆向運動學解，考慮到為了最小針偏離或最小組織扭曲進行的優化， 計算在下一遞增步驟中向意向靶移動針尖端所需的機器人移動。還向這一計算出的新靶點 增加來自步驟59的誤差校正，然後指示機器人移動到這一組合的下一期望迭代位置。一旦已經執行了新的遞增移動，該過程流返回到步驟57，在此獲得另一超聲圖像， 從而能夠確定新的針尖端位置，並能夠確定該新位置處組織的新彈性係數。步驟58到65 描述的過程然後自身進行重複，直到已經執行最終迭代併到達意向靶為止。
要理解的是在本發明上述優選實施例中使用的控制方案僅僅是一種備選方法，本 發明並不意在限於使用該方案，而是意在包括使用其他控制器和其他控制方案的應用。此 外，儘管已經利用僅2維的控制描述了本發明，但要理解的是，這僅僅是為了解釋系統及其 操作方法的目的，該方法和設備同樣可用於3維受控運動。分析針尖端周圍組織的硬度不僅提供了組織硬度的信息(從其計算按期望路徑 行進所需的針基部的操控)，其也可用於估計靶硬度以確定所到達組織的性質。組織特性 的差異可用於表示已經到達不同的器官或已經檢測到腫瘤。根據這種方法，醫師盡其所能 使用對於該流程而言恆定的插入力有策略地插入針，同時藉助於超聲成像觀察針尖端。從 超聲圖像(一個或多個)確定尖端周圍組織的位移模式並使用位移模式的性質確定尖端區 域中組織的彈性特性。具體而言，觀察到的彈性係數變化可能表示存在有病理異常的組織。 用於執行這一流程的系統能夠僅由上文中圖2系統的針M、超聲系統22、23和控制系統觀 構成。根據更精確的流程，也可以使用力傳感器26，從而可以測量用於插入針的力而非使可 靠性依賴於醫師使用特定或均勻插入力的技能。儘管可以理解也可以利用用於插入過程的 機器人執行該方法，但不必需機器人及其控制器或任何逆向運動學方程的解來執行這些方 法。本領域的技術人員將認識到，本發明不限於上文具體示出和描述的內容。相反，本 發明的範圍包括上文所述各種特徵的組合和子組合，以及本領域技術人員在閱讀以上描述 後能想到的、不在現有技術中的變化和修改。
權利要求
1.一種用於根據預定軌跡控制具有尖端的柔性針進入組織中的插入的系統，所述系統 包括用於操控所述針進入所述組織中的機器人；用於探知所述針的所述尖端的位置的超聲成像系統；用於根據超聲圖像確定所述尖端的區域中所述組織的位移模式的組織運動分析器；以及使所探知的所述針的所述尖端的位置和根據所述預定軌跡的所述尖端的所述期望位 置之間的差異最小化的控制系統，其中，所述控制系統還適於利用所述尖端的所述區域中所述組織的所述位移模式確定所述組織的彈性屬性；使用所述組織的所述彈性屬性以獲得逆向運動學解來計算要賦予所述針以使所述尖 端按所述規劃軌跡行進的所需運動；以及根據所述逆向運動學解指示所述機器人操控所述針進入所述組織中。
2.根據權利要求1所述的系統，其中，在作為柔性束的所述針的模型上執行所述逆向 運動學解，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在所 述針上的橫向力，且其中，由所述組織施加在所述針上的所述橫向力是根據從所述針尖端 周圍的所述組織的位移模式導出的所述組織的彈性屬性確定的。
3.根據權利要求2所述的系統，其中，所述針的所述模型通過所述組織的路徑是由所 述多個虛擬彈簧對所述針的影響確定的。
4.根據前述權利要求中的任一項所述的系統，其中，所述針的所述預定軌跡包括對於 所述針的所述尖端的靶和所述針應當避免的至少一個區域。
5.根據前述權利要求中的任一項所述的系統，還包括確定在所述針的基部施加在所述 針上的力的力傳感器，且其中，所述控制系統使用所述力來確定所述針尖端附近的組織的 硬度屬性。
6.根據前述權利要求中的任一項所述的系統，其中，所述控制系統確定通過對超聲圖 像進行圖像處理確定的所述尖端的位置與根據所述預定軌跡的所述尖端的規劃位置的偏 差，並計算要應用於所述機器人以減小所述偏差的運動。
7.根據前述權利要求中的任一項所述的系統，其中，所述預定軌跡被分成增量，並且所 述控制系統在每個遞增插入點根據從所述超聲成像系統獲得的所述針尖端的實時位置依 據這些增量執行所述插入。
8.根據前述權利要求中的任一項所述的系統，其中，選擇所述預定軌跡以避免行程通 過所述組織的不期望的區域。
9.根據前述權利要求中的任一項所述的系統，其中，使用圖像處理算法獲得所述尖端 的區域中所述組織的所述位移模式。
10.根據前述權利要求中的任一項所述的系統，其中，所述圖像處理算法是雙線性可變 形塊匹配算法。
11.一種用於根據預定軌跡將具有尖端的柔性針插入組織中的系統，所述系統包括用於操控所述針進入所述組織中的機器人；用於探知所述針的所述尖端的位置的超聲成像系統；用於根據超聲圖像確定所述尖端的區域中所述組織的位移模式的組織運動分析器；以及控制所述機器人運動的運動以使所探知的所述針的所述尖端的位置和根據所述預定 軌跡的所述尖端的所述期望位置之間的差異最小化的控制系統；其中，所述控制系統適於利用作為柔性束的所述針的模型，所述柔性束具有橫向連接 到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中，由所述組織 施加在所述針上的所述橫向力是根據從所述針尖端周圍的所述組織的位移模式導出的所 述組織的彈性屬性確定的。
12.根據權利要求11所述的系統，其中，所述針的所述模型通過所述組織的路徑是由 所述多個虛擬彈簧對所述針的影響確定的。
13.根據權利要求11所述的系統，其中，所述控制系統還利用應用於所述虛擬彈簧模 型的逆向運動學解來計算要賦予所述針以使所述尖端按所述規劃軌跡行進的所需運動。
14.根據權利要求11到13中的任一項所述的系統，其中，所述針的所述預定軌跡包括 對於所述針的所述尖端的靶和所述針應當避免的至少一個區域。
15.根據權利要求11到14中的任一項所述的系統，還包括確定在所述針的基部施加在 所述針上的力的力傳感器，且其中，所述控制系統還使用所述力來確定所述針尖端附近的 組織的硬度屬性。
16.根據權利要求11到15中的任一項所述的系統，其中，所述控制系統確定通過對超 聲圖像進行圖像處理確定的所述尖端的位置與根據所述預定軌跡的所述尖端的規劃位置 的偏差，並計算要應用於所述機器人以減小所述偏差的運動。
17.根據權利要求11到16中的任一項所述的系統，其中，所述預定軌跡被分成增量，並 且所述控制系統在每個遞增插入點根據從所述超聲成像系統獲得的所述針尖端的實時位 置依據這些增量執行所述插入。
18.根據權利要求11到17中的任一項所述的系統，其中，選擇所述預定軌跡以避免行 程通過所述組織的不期望的區域。
19.根據權利要求11到16中的任一項所述的系統，其中，使用圖像處理算法獲得所述 尖端的區域中所述組織的所述位移模式。
20.根據權利要求11到16中的任一項所述的系統，其中，所述圖像處理算法是雙線性 可變形塊匹配算法。
21.一種用於確定組織的彈性特性的方法，包括操控具有尖端的針進入所述組織；產生所述針的所述尖端的超聲圖像；根據所述超聲圖像確定所述尖端周圍的所述組織的位移模式；以及利用所述位移模式的性質來確定所述尖端的區域中所述組織的彈性特性。
22.根據權利要求21所述的方法，還包括測量在所述針的插入期間外部施加的力並 使用所述力的測量結果來確定所述尖端的區域中所述組織的彈性特性的步驟。
23.根據權利要求21所述的方法，其中，所述位移模式的性質包括所述模式中的位移 的幅度和形式中的至少一個。
24.根據權利要求21到23中的任一項所述的方法，其中，利用所述組織的所述彈性特性來檢測所述組織中的病理異常。
25.一種用於確定組織的彈性特性的系統，所述系統包括 具有尖端的針，用於插入所述組織中；用於產生所述針的所述尖端的至少一個超聲圖像的系統；用於根據所述至少一個超聲圖像確定所述尖端的區域中所述組織的位移模式的組織 運動分析器；以及利用所述位移模式的性質確定所述尖端的區域中所述組織的彈性特性的組織分析器。
26.根據權利要求M所述的系統，還包括用於測量施加到所述針的插入力的力傳感 器，其中，所述力的測量結果用於提高所述確定所述尖端的區域中所述組織的彈性特性的 精確度。
27.根據權利要求M所述的系統，其中，所述位移模式的性質包括所述模式中的位移 的幅度和形式中的至少一個。
28.根據權利要求25到27中的任一項所述的系統，其中，利用所述組織的所述彈性特 性來檢測所述組織中的病理異常。
29.一種用於根據預定軌跡控制具有尖端的柔性針進入組織中的插入的系統，所述系 統包括用於操控所述針進入所述組織中的機器人； 用於探知所述針的位置的超聲成像系統；用於根據超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析器；以及 使所探知的所述針的所述尖端的位置和根據所述預定軌跡的所述尖端的所述期望位 置之間的差異最小化的控制系統， 其中，所述控制系統還適於利用沿所述針的所述組織的位移模式確定所述組織的彈性屬性； 使用所述組織的所述彈性屬性以獲得逆向運動學解來計算要賦予所述針以使所述尖 端按所述規劃軌跡行進的所需運動；以及根據所述逆向運動學解指示所述機器人以操控所述針進入所述組織中。
30.根據權利要求四所述的系統，其中，在作為柔性束的所述針的模型上執行所述逆 向運動學解，所述柔性束具有橫向連接到其上的多個虛擬彈簧，以模擬由所述組織施加在 所述針上的橫向力，並且其中，由所述組織施加在所述針上的所述橫向力是根據從所述針周圍的所述位移模式 導出的所述組織的彈性屬性確定的。
31.一種用於根據預定軌跡將具有尖端的柔性針插入組織中的系統，所述系統包括 用於操控所述針進入所述組織中的機器人；用於探知所述針的所述尖端的位置的超聲成像系統；用於根據超聲圖像確定沿所述針的所述組織的位移模式的組織運動分析器；以及 控制所述機器人運動的運動以使所探知的所述針的所述尖端的位置和根據所述預定 軌跡的所述尖端的所述期望位置之間的差異最小化的控制系統；其中，所述控制系統適於利用作為柔性束的所述針的模型，所述柔性束具有橫向連接 到其上的多個虛擬彈簧，以模擬由所述組織施加在所述針上的橫向力，且其中，由所述組織施加在所述針上的所述橫向力是根據從沿所述針的所述位移模式導出的所述組織的彈性 屬性確定的。
32.根據權利要求31所述的系統，其中，所述針的所述模型通過所述組織的路徑是由 所述多個虛擬彈簧對所述針的影響確定的。
33.根據權利要求31所述的系統，其中，所述控制系統還利用應用於所述虛擬彈簧模 型的逆向運動學解來計算要賦予所述針以使所述尖端按所述規劃軌跡行進的所需運動。
全文摘要
一種用於在超聲成像下操縱柔性針的機器人系統。使用機器人通過操控針基部沿著預定彎曲軌跡來操縱針。由超聲傳感器檢測針尖端位置並將針尖端與預定針路徑的跟蹤誤差輸入到控制器，控制器基於針的位置以及針和組織屬性求解逆向運動學。控制算法使用新穎的方法通過分析針尖端前方區域的組織運動來檢測組織的彈性屬性。可以對作為柔性束的針的模型執行逆向運動學解，所述柔性束具有橫向連接的虛擬彈簧，以模擬由組織彈性施加的橫向力。該系統能夠將針引導到組織之內的靶，同時繞過禁止區域。
文檔編號A61M25/04GK102105190SQ200980129480
公開日2011年6月22日 申請日期2009年5月31日 優先權日2008年5月28日
發明者M·肖哈姆, Z·諾伊巴赫 申請人:泰克尼恩研究和發展基金有限公司