醫用內窺鏡標定方法
2023-05-06 09:49:11
專利名稱：醫用內窺鏡標定方法
技術領域：
本發明涉及醫療器械技術領域，更具體地說，涉及一種醫用內窺鏡標定方法。
背景技術：
微創及無創外科手術是當代臨床醫學最主要的發展趨勢之一，它可以大大提高手術質量、減輕病人的痛苦，縮短康復時間。內窺鏡診療術是微創外科的重要手段，採用醫用內窺鏡對病灶的診斷和治療具有極其重要的作用。傳統的內窺鏡在插入部的前端設有由物鏡光學系統、固體攝像元件和電路基板等構成的攝像裝置，通過這種內窺鏡，手術醫生可以進行人體內的內臟器官觀察和治療等各種處理。但是，由於工作環境的複雜性和自身形狀不可視等不足，傳統內窺鏡導管在介入過程會發生導管纏繞、非預期接觸等情況，給病人帶來痛苦和危險。而如果能夠顯示內窺鏡在人體內的形狀，則可以有效地防止纏繞的產生。
內窺鏡內置磁場空間定位系統以法拉第電磁感應定理為基礎，在內窺鏡外安裝電磁發生設備以產生已知結構的空間磁場，通過埋入內窺鏡體中的磁跟蹤器獲得磁場強度信號，並根據已知的發射磁場空間分布規律，計算出該點的空間位置和姿態角。在內窺鏡導管內部埋入若干個磁跟蹤器，其實時採用數據反映連續磁場的變化，經計算可得到每個磁跟蹤器的空間位置，然後將這些離散點擬合成連續的曲線，就可在計算機上進行三維顯示，實現內窺鏡本體的空間形狀感知。
目前，通常採用磁跟蹤器讀數作為內窺鏡坐標的依據。然而，由於磁跟蹤器的探頭與內窺鏡鏡頭之間存在相對位移，直接採用磁跟蹤器的讀數作為內窺鏡坐標位置的依據，與內窺鏡實際坐標位置存在誤差，從而導致得到的內窺鏡坐標位置和運動參數不準確，並使後期的空間定位和三維重建存在誤差，得到的結果則不可靠。
發明內容
基於此，有必要提供一種更準確的醫用內窺鏡標定方法。
所述醫用內窺鏡標定方法包括A.獲取標定參數，所述標定參數包括棋盤網格的大小和數目；B.利用多模態配準算法構建磁跟蹤器與內窺鏡之間的相對坐標關係；C.採集磁跟蹤器讀數和棋盤網格的圖像信息，結合所述磁跟蹤器與內窺鏡之間的相對坐標關係，推斷得到內窺鏡的運動參數。
所述步驟B具體是B1.分別建立磁跟蹤器、磁跟蹤器底座、內窺鏡及棋盤網格的坐標系統；B2.根據磁跟蹤器底座與磁跟蹤器之間的相對坐標關係、棋盤網格與內窺鏡之間的相對坐標關係以及磁跟蹤器底座與棋盤網格之間的相對坐標關係得到磁跟蹤器與內窺鏡之間的相對坐標關係。
所述步驟B2還包括所述磁跟蹤器底座與磁跟蹤器之間的相對坐標關係表示為 其中，表示磁跟蹤器底座的空間坐標，表示磁跟蹤器的空間坐標，Rbm是磁跟蹤器底座與磁跟蹤器之間的旋轉矩陣，Tbm是磁跟蹤器底座與磁跟蹤器之間的平移矩陣，0＝(0，0，0)T，所述磁跟蹤器底座與磁跟蹤器之間的相對坐標關係由磁跟蹤器測量得到。
所述步驟B2還包括所述棋盤網格與內窺鏡之間的相對坐標關係表示為其中，表示內窺鏡的空間坐標，表示棋盤網格的空間坐標，Rcg是內窺鏡與棋盤網格之間的旋轉矩陣，Tcg是內窺鏡與棋盤網格之間的平移矩陣，0＝(0，0，0)T，所述棋盤網格與內窺鏡之間的相對坐標關係根據張正友兩步法的內窺鏡標定算法得到。
所述磁跟蹤器與內窺鏡之間的相對坐標關係表示為其中，Rcm是磁跟蹤器與內窺鏡之間的旋轉矩陣，Tcm是磁跟蹤器與內窺鏡之間的平移矩陣；所述磁跟蹤器底座與棋盤網格之間的相對坐標關係表示為 其中，Rbg是磁跟蹤器底座與棋盤網格之間的旋轉矩陣，Tbg是磁跟蹤器底座與棋盤網格之間的平移矩陣；則所述棋盤網格和內窺鏡之間的相對坐標關係表示公式為 所述步驟B具體是採集磁跟蹤器讀數和棋盤網格的圖像信息，根據所述磁跟蹤器底座與磁跟蹤器之間的相對坐標關係、磁跟蹤器讀數和棋盤網格中的圖像信息及棋盤網格與內窺鏡之間的相對坐標關係預估算出磁跟蹤器與內窺鏡之間的相對坐標關係。
另外，所述方法還包括根據極線約束條件構建目標函數為其中，e是目標函數的代價函數值，n是採用的圖像幀數，Tkl和Rkl分別表示第k幀到第l幀圖像的內窺鏡的平移和旋轉參數，mkl表示第k幀和第l幀之間的匹配特徵個數，pi(k)和pi(l)分別表示第k幀與第l幀的第i個匹配特徵的坐標位置。
優選地，所述步驟C具體是利用所述目標函數對計算得到的內窺鏡平移和旋轉參數進行非線性優化，取使所述目標函數的代價函數值最小的內窺鏡平移和旋轉參數作為所述內窺鏡的運動參數。
上述醫用內窺鏡標定方法，利用多模態配準算法構建磁跟蹤器與內窺鏡之間的相對坐標關係，並根據磁跟蹤器讀數和棋盤網格的圖像信息推斷得到內窺鏡的運動參數，由於該內窺鏡標定方法對磁跟蹤器與內窺鏡之間的相對坐標關係進行了標定，避免了磁跟蹤器探頭與內窺鏡之間存在相對唯一而帶來的誤差，所得到的內窺鏡運行參數更準確，從而使後期的空間定位和三維重建更準確。
圖1是一個實施例中的醫用內窺鏡標定方法的流程圖； 圖2是一個實施例中的多模態標定配置示意圖； 圖3是一個實施例中磁跟蹤器和內窺鏡相對運動的示意圖； 圖4是一個實施例中從多個空間角度採集圖3中的網格交叉點的三維重建結果對比示意圖。
具體實施例方式 圖1示出了一個實施例中的醫用內窺鏡標定方法流程，具體過程如下 在步驟S101中，設定標定參數，該標定參數包括棋盤網格的大小和數目。
在步驟S102中，利用多模態配準算法構建磁跟蹤器與內窺鏡之間的相對坐標關係。
在步驟S103中，採集磁跟蹤器讀數和棋盤網格的圖像信息，結合磁跟蹤器與內窺鏡之間的相對坐標關係，推斷得到內窺鏡的運動參數。
在一個實施方式中，該醫用內窺鏡標定方法採用了一個磁跟蹤器及磁跟蹤器底座、一個內窺鏡和一個棋盤網格。如圖2所示，分別建立磁跟蹤器底座、磁跟蹤器、內窺鏡及棋盤網格的坐標系統，各坐標系統都以X、Y和Z軸的原點和方向來說明。其中，磁跟蹤器底座的坐標系統採用上標b表示(如圖2中的Xb、Yb、Zb)，磁跟蹤器的坐標系統採用上標m表示(如圖2中的Xm、Ym、Zm)，內窺鏡的坐標系統採用上標c表示(如圖2中的Xc、Yc、Zc)，棋盤網格的坐標系統採用上標g表示(如圖2中的Xg、Yg、Zg)。在這四個坐標系統中，可知磁跟蹤器底座和棋盤網格的坐標系統是靜態的，而磁跟蹤器和內窺鏡的坐標系統是動態的，但磁跟蹤器與內窺鏡的運動同步。
在一個實施方式中，可根據磁跟蹤器底座與磁跟蹤器之間的相對坐標關係、棋盤網格與內窺鏡之間的相對坐標關係以及磁跟蹤器底座與棋盤網格之間的相對坐標關係得到磁跟蹤器與內窺鏡之間的相對坐標關係。其中，各相對坐標關係的轉換過程如下 (1)磁跟蹤器底座與磁跟蹤器之間的相對坐標關係可表示為其中，表示磁跟蹤器底座的空間坐標，表示磁跟蹤器的空間坐標，Rbm是磁跟蹤器底座與磁跟蹤器之間的旋轉矩陣，Tbm是磁跟蹤器底座與磁跟蹤器之間的平移矩陣，0＝(0，0，0)T。該磁跟蹤器底座與磁跟蹤器之間的相對坐標關係可由磁跟蹤器測量得到。
(2)棋盤網格與內窺鏡之間的相對坐標關係可表示為其中，表示內窺鏡的空間坐標，表示棋盤網格的空間坐標，Rcg是內窺鏡與棋盤網格之間的旋轉矩陣，Tcg是內窺鏡與棋盤網格之間的平移矩陣，0＝(0，0，0)T。該棋盤網格與內窺鏡之間的相對坐標關係可根據張正友兩步法的內窺鏡標定算法得到。
(3)磁跟蹤器與內窺鏡之間相對坐標關係可表示為其中，Rcm是磁跟蹤器與內窺鏡之間的旋轉矩陣，Tcm是磁跟蹤器與內窺鏡之間的平移矩陣，0＝(0，0，0)T。該相對坐標關係一旦確定後，則可對磁跟蹤器與內窺鏡之間的變換進行補償，從而由磁跟蹤器讀數推斷出內窺鏡的坐標位置。如圖3所示，當內窺鏡和磁跟蹤器在空間裡一起運動時，磁跟蹤器與內窺鏡之間的相對坐標關係應是恆定不變的(即整個內窺鏡與磁跟蹤器組合的運動是固定的)。
(4)磁跟蹤器底座與棋盤網格之間的相對坐標關係可表示為其中，Rbg是磁跟蹤器底座與棋盤網格之間的旋轉矩陣，Tbg是磁跟蹤器底座與棋盤網格之間的平移矩陣，0＝(0，0，0)T。由於磁跟蹤器底座與棋盤網格的坐標系統是穩定不變的，因此該磁跟蹤器底座與棋盤網格之間的相對坐標關係也恆定不變。
根據上述四個相對坐標關係，可採用從內窺鏡到磁跟蹤器(上述第(3)步)，再從磁跟蹤器到磁跟蹤器底座(上述第(1)步)，最後從磁跟蹤器底座到棋盤網格(上述第(4)步)的迂迴關係來表達棋盤網格與內窺鏡之間的相對坐標關係。即棋盤網格與內窺鏡之間的相對坐標關係可採用以下公式表示 如上所述，由於棋盤網格與磁跟蹤器底座之間的相對坐標恆定不變，且內窺鏡與磁跟蹤器之間的相對坐標也恆定不變，因此可以採集多個同步磁跟蹤器讀數和棋盤網格的圖像信息，從而可對上式設置多個約束條件，根據約束條件求解(3)和(4)中的未知坐標。
在一個實施方式中，採集磁跟蹤器讀數和棋盤網格中的圖像信息，根據磁跟蹤器底座與磁跟蹤器之間的相對坐標關係、磁跟蹤器讀數和棋盤網格中的圖像信息及棋盤網格與內窺鏡之間的相對坐標關係預估算出磁跟蹤器與內窺鏡之間的相對坐標關係。在一個實施例中，根據極線約束條件構建目標函數如下 其中，e是目標函數的代價函數值，n是採用的圖像幀數，Tkl和Rkl分別表示第k幀到第l幀圖像的內窺鏡的平移和旋轉參數，mkl表示第k幀和第l幀之間的匹配特徵個數(即同一幅圖像在第k幀和第l幀掃描得到的圖像中同一點所對應的坐標位置關係)，pi(k)和pi(l)分別表示第k幀與第l幀的第i個匹配特徵的坐標位置。
利用上述目標函數可對計算得到的內窺鏡平移和旋轉參數進行非線性優化，取使該目標函數的代價函數值最小的內窺鏡平移和旋轉參數作為該內窺鏡運動參數。在一個實施方式中，只需6個變量即可表示內窺鏡與磁跟蹤器之間的相對坐標關係，其中，3個變量表示旋轉，3個變量表示平移。由於上述(*)式是非線性的，可利用不考慮畸變的情況下採用線性方法得到的解作為初步估計值，採用信賴域方法，以保證找到目標函數的最小代價函數值，從而所得到的未知相對坐標關係是最優解。
從理論上講，只需5組同步圖像信息和磁跟蹤器的讀數就可求解未知的相對坐標關係，實際過程中，可採用5組以上的數據，以確保求解結果的魯棒性和準確性。若視頻幀速率為30幀/秒，只需幾秒鐘的影片即可提供數以百計標定的圖像幀和磁跟蹤器讀數。
採用上述內窺鏡標定方法估算得到內窺鏡的運動參數後，則可使用該內窺鏡的運動參數去模擬標準立體配置(內窺鏡平移運動)下得到的圖像，並恢復三維的密集深度圖，從而將多個三維模型統一到一個坐標系統下，結合已推斷出的表面深度和採集圖像的表面紋理，則可建立多個虛擬視圖下具有三維結構和表面信息的三維模型。
本發明與基於內窺鏡磁場空間定位系統相結合，可準確得到內窺鏡實際空間姿態，從而能對人體組織器官進行準確三維建模，恢復其三維形狀。圖4示出了一個實施例中從多個空間角度採集圖3中的網格交叉點的三維重建結果，其中，(a)和(b)是採用本發明的標定方法所得到的結果，而(c)是現有技術所得到的結果。從圖4可以看出，採用本發明後的三維重建方法能正確恢復出規則的標定網格平面形狀。在一個實施例中，還可對本發明的標定方法進行定量誤差分析，如表1所示，其中，平面指標表示最佳擬合網格平面的平均偏差，線性指標表示最佳擬合網格線的平均偏差，正交指標表示垂直相交的最佳擬合橫向和縱向的網格線的角度與90度之間的偏離，而百分比誤差是由大致24cmX18cm網格尺寸計算得到(即誤差＝絕對誤差/網格線長度)。從表1可以看出，本發明提供的內窺鏡標定方法具有很好的平面指標、線指標和正交指標。
表1
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。
權利要求
1、一種醫用內窺鏡標定方法，其特徵在於，所述方法包括
A.獲取標定參數，所述標定參數包括棋盤網格的大小和數目；
B.利用多模態配準算法構建磁跟蹤器與內窺鏡之間的相對坐標關係；
C.採集磁跟蹤器讀數和棋盤網格的圖像信息，結合所述磁跟蹤器與內窺鏡之間的相對坐標關係，推斷得到內窺鏡的運動參數。
2、根據權利要求1所述的醫用內窺鏡標定方法，其特徵在於，所述步驟B具體是
B1.分別建立磁跟蹤器、磁跟蹤器底座、內窺鏡及棋盤網格的坐標系統；
B2.根據磁跟蹤器底座與磁跟蹤器之間的相對坐標關係、棋盤網格與內窺鏡之間的相對坐標關係以及磁跟蹤器底座與棋盤網格之間的相對坐標關係得到磁跟蹤器與內窺鏡之間的相對坐標關係。
3、根據權利要求2所述的醫用內窺鏡標定方法，其特徵在於，所述步驟B2還包括所述磁跟蹤器底座與磁跟蹤器之間的相對坐標關係表示為
其中，表示磁跟蹤器底座的空間坐標，表示磁跟蹤器的空間坐標，Rbm是磁跟蹤器底座與磁跟蹤器之間的旋轉矩陣，Tbm是磁跟蹤器底座與磁跟蹤器之間的平移矩陣，0＝(0，0，0)T所述磁跟蹤器底座與磁跟蹤器之間的相對坐標關係由磁跟蹤器測量得到。
4、根據權利要求2所述的醫用內窺鏡標定方法，其特徵在於，所述步驟B2還包括所述棋盤網格與內窺鏡之間的相對坐標關係表示為
其中，表示內窺鏡的空間坐標，表示棋盤網格的空間坐標，Rcg是內窺鏡與棋盤網格之間的旋轉矩陣，Tcg是內窺鏡與棋盤網格之間的平移矩陣，0＝(0，0，0)T，所述棋盤網格與內窺鏡之間的相對坐標關係根據張正友兩步法的內窺鏡標定算法得到。
5、根據權利要求2所述的醫用內窺鏡標定方法，其特徵在於，所述磁跟蹤器與內窺鏡之間的相對坐標關係表示為其中，Rcm是磁跟蹤器與內窺鏡之間的旋轉矩陣，Tcm是磁跟蹤器與內窺鏡之間的平移矩陣；所述磁跟蹤器底座與棋盤網格之間的相對坐標關係表示為
其中，Rbg是磁跟蹤器底座與棋盤網格之間的旋轉矩陣，Tbg是磁跟蹤器底座與棋盤網格之間的平移矩陣；則所述棋盤網格和內窺鏡之間的相對坐標關係表示公式為
6、根據權利要求5所述的醫用內窺鏡標定方法，其特徵在於，所述步驟B具體是採集磁跟蹤器讀數和棋盤網格的圖像信息，根據所述磁跟蹤器底座與磁跟蹤器之間的相對坐標關係、磁跟蹤器讀數和棋盤網格中的圖像信息及棋盤網格與內窺鏡之間的相對坐標關係預估算出磁跟蹤器與內窺鏡之間的相對坐標關係。
7、根據權利要求6所述的醫用內窺鏡標定方法，其特徵在於，所述方法還包括根據極線約束條件構建目標函數為其中，e是目標函數的代價函數值，n是採用的圖像幀數，Tkl和Rkl分別表示第k幀到第l幀圖像的內窺鏡的平移和旋轉參數，mkl表示第k幀和第l幀之間的匹配特徵個數，pi(k)和pi(l)分別表示第k幀與第l幀的第i個匹配特徵的坐標位置。
8、根據權利要求7所述的醫用內窺鏡標定方法，其特徵在於，所述步驟C具體是利用所述目標函數對計算得到的內窺鏡平移和旋轉參數進行非線性優化，取使所述目標函數的代價函數值最小的內窺鏡平移和旋轉參數作為所述內窺鏡的運動參數。
全文摘要
本發明提供了一種醫用內窺鏡標定方法，所述方法包括A.獲取標定參數，所述標定參數包括棋盤網格的大小和數目；B.利用多模態配準算法構建磁跟蹤器與內窺鏡之間的相對坐標關係；C.採集磁跟蹤器讀數和棋盤網格的圖像信息，結合所述磁跟蹤器與內窺鏡之間的相對坐標關係，推斷得到內窺鏡的運動參數。採用本發明提供的醫用內窺鏡標定方法，能準確得到內窺鏡的運動參數。
文檔編號A61B1/00GK101632570SQ20091010908
公開日2010年1月27日 申請日期2009年8月3日 優先權日2009年8月3日
發明者嘉 辜, 秦文健 申請人:深圳先進技術研究院