醫療影像拼接方法
2023-06-02 08:46:46
專利名稱：醫療影像拼接方法
技術領域：
本發明涉及計算機圖像學，具體涉及一種醫療影像拼接方法。
背景技術：
在外科手術中，高解析度的醫療影像的顯微成像讓醫生能夠清晰的觀察到手術的位置，大大提高醫生在手術中觀察、定位和操作的精度，確保手術能夠順利安全的進行。而除了手術之外，醫療影像顯微成像還在醫療病理學診斷、免疫組織檢測、生物組織的識別、判斷和分析等領域，如癌細胞檢測、細胞生物學檢測等場合發揮極大的作用。而在許多傳統外科手術中，尤其是肉眼無法直接觀察而需要藉助內窺鏡等設備來觀察的位置，由於成像設備的景深和範圍的限制，醫生往往只能夠看到病人的局部組織影像，而無法獲知大範圍的影像信息。特別是在顯微成像中，由於顯微放大倍率很大，視野範圍嚴重受限，使觀察者只知局部而不知整體。需要通過對圖像或視頻進行拼接，使人們觀察到大範圍、高解析度的全景影像。雖然現在已經有一些軟體能夠實現圖像拼接的功能，如Photoshop、MicrosoftICE，但一般都需要手工的幹預，操作比較複雜，並且對於拼接的圖像有諸多限制。而對於外科手術中的醫療影像，往往需要實時的自動拼接，不能藉助這些商業軟體。此外，醫療影像也具有一定的特殊性，在考慮其拼接時，需要合理地挖掘使用其特殊性以使拼接效果更加精確，效率更高。
發明內容
本發明旨在至少在一定程度上解決上述技術問題之一或至少提供一種有用的商業選擇。為此，本發明的一個目的在於提出一種拼接效果好、效率高的醫療影像拼接方法。根據本發明實 施例的醫療影像拼接方法，包括以下步驟:A.輸入多視點視頻圖像序列，按照時序進行處理，如果當前幀為關鍵幀，順次執行步驟B-H，如果當前幀為非關鍵幀，則跳過步驟B-D，直接利用前面最近的關鍵幀計算得到的相機參數進行後續步驟E-H ；
B.對當前幀的多視點的多幅圖像進行預處理；C.對相鄰視點圖像進行特徵提取及匹配；
D.根據提取到的特徵點以及相應的匹配信息，進行相機參數估計；E.根據得到的相機參數，對圖像進行幾何校正；F.根據校正後的結果，進行投影變換與接縫計算；G.進行進一步圖像融合；以及H.對最終得到的圖像進行存儲並顯示。在本發明的一個實施例中，所述預處理進一步包括:B1.利用高斯濾波去除圖像中的噪點；B2.利用光暈調整參考圖像進行去光暈處理；B3.調整圖像的白平衡；以及B4.去除圖像之間的曝光差異。在本發明的一個實施例中，以紅色像素點為參考基準來調整圖像的色彩平衡。在本發明的一個實施例中，採用基於海塞矩陣的加速穩健特徵來進行所述特徵提取及匹配。在本發明的一個實施例中，所述進行相機參數估計進一步包括:根據提取到的特徵點以及相應的匹配信息，計算出相機間的基本矩陣；以及根據所述基本矩陣，採用捆綁優化算法求解相機參數。在本發明的一個實施例中，採用結合透視投影和圓柱投影的自適應投影方法進行所述投影變換。在本發明的一個實施例中，採用圖像分割算法結合最小誤差匹配的方法計算相鄰拼接圖像之間的接縫。在本發明的一個實施例中，所述步驟G進一步包括:G1.通過相鄰視點圖像之間的增益補償來消除接縫兩側圖像亮度差異；以及G2.通過多頻帶混合算子的方法進行圖像融合，以使圖像頻譜中的高頻部分雜混合時的範圍較小。在本發明的一個實施例中，所述步驟Gl中，計算重疊區域的增益誤差函數為:
權利要求
1.一種醫療影像拼接方法，其特徵在於，包括以下步驟: A.輸入多視點視頻圖像序列，按照時序進行處理，如果當前幀為關鍵幀，順次執行步驟B-H,如果當前幀為非關鍵幀，則跳過步驟B-D，直接利用前面最近的關鍵幀計算得到的相機參數進行後續步驟E-H; B.對當前幀的多視點的多幅圖像進行預處理； C.對相鄰視點圖像進行特徵提取及匹配； D.根據提取到的特徵點以及相應的匹配信息，進行相機參數估計； E.根據得到的相機參數，對圖像進行幾何校正； F.根據校正後的結果，進行投影變換與接縫計算； G.進行進一步圖像融合；以及 H.對最終得到的圖像進行存儲並顯示。
2.如權利要求1所述的醫療影像拼接方法，其特徵在於，所述預處理進一步包括: B1.利用高斯濾波去除圖像中的噪點； B2.利用光暈調整參考圖像進行去光暈處理； B3.調整圖像的白平衡；以及 B4.去除圖像之間的曝光差異。
3.如權利要求1和2所述的醫療影像拼接方法，其特徵在於，以紅色像素點為參考基準來調整圖像的色彩平衡。
4.如權利要求1所述的醫療影像拼接方法，其特徵在於，採用基於海塞矩陣的加速穩健特徵來進行所述特徵提取及匹配。
5.如權利要求1所述的醫療影像拼接方法，其特徵在於，所述進行相機參數估計進一步包括: 根據提取到的特徵點以及相應的匹配信息，計算出相機間的基本矩陣；以及 根據所述基本矩陣，採用捆綁優化算法求解相機參數。
6.如權利要求1所述的醫療影像拼接方法，其特徵在於，採用結合透視投影和圓柱投影的自適應投影方法進行所述投影變換。
7.如權利要求1所述的醫療影像拼接方法，其特徵在於，採用圖像分割算法結合最小誤差匹配的方法計算相鄰拼接圖像之間的接縫。
8.如權利要求1所述的醫療影像拼接方法，其特徵在於，所述步驟G進一步包括: Gl.通過相鄰視點圖像之間的增益補償來消除接縫兩側圖像亮度差異；以及 G2.通過多頻帶混合算子的方法進行圖像融合，以使圖像頻譜中的高頻部分雜混合時的範圍較小。
9.如權利要求1所述的醫療影像拼接方法，其特徵在於，所述步驟Gl中，計算重疊區域的增益誤差函數為: e =去Σ Σ ) -Ej1J(uj))2， L i=l J=I=HijUi 其中，η是進行拼接的圖像數量，Ii, Ij分布表示進行拼接的其中兩張圖像i和j，gi, gj分別是分別作用於圖像i和圖像j上增益，R(i，j)是圖像i和圖像j之間的重疊區域，Hij表示兩張圖像之間的基本變換矩陣，Ui, Uj分別表示相應圖像中的像素點。
10.如權利要求1所述的醫療影像拼接方法，其特徵在於，所述步驟G2進一步包括:G21.所有η張拼接的圖像進行投影變換後的圖像表示為IiP，Φ)，定義一個權函數W(x，y)=W(x)W(y)，其中W(X)的值在圖像中心處設置為1，在圖像邊緣處為0，沿著圖像的x方向上的其他區域的值則相應地線性變化，w(y)則是在圖像y方向上類似的權值，每張圖像的權函數進過相應的投影變換後的結果表示為#(θ，Φ)，並且定義如下變量表示每個點最主要的權值的來源圖像標號:
11.如權利要求1所述的醫療影像拼接方法，其特徵在於，採用金字塔模式對最終得到的圖像進行存儲並顯示，其中，金字塔頂層存儲有整體圖像信息，金字塔下層存儲有局部圖像信息，逐層精細化直至底層。
全文摘要
本發明公開一種醫療影像拼接方法，包括以下步驟A.輸入多視點視頻圖像序列，按照時序進行處理，如果當前幀為關鍵幀，順次執行步驟B-H，如果當前幀為非關鍵幀，則跳過步驟B-D，直接利用前面最近的關鍵幀計算得到的相機參數進行後續步驟E-H；B.對當前幀的多視點的多幅圖像進行預處理；C.對相鄰視點圖像進行特徵提取及匹配；D.根據提取到的特徵點以及相應的匹配信息，進行相機參數估計；E.根據得到的相機參數，對圖像進行幾何校正；F.根據校正後的結果，進行投影變換與接縫計算；G.進行進一步圖像融合；以及H．對最終得到的圖像進行存儲並顯示。本發明具有拼接圖像效果好、效率高的優點。
文檔編號H04N5/232GK103226822SQ20131018020
公開日2013年7月31日 申請日期2013年5月15日 優先權日2013年5月15日
發明者戴瓊海, 柯家琪 申請人:清華大學