基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法
2023-05-23 05:39:16
基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法
【專利摘要】本發明提供一種基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法。該方法包含以下步驟：1)對輸入圖像構建圖像金字塔，對每層圖像進行網格化，構建數據相關的各向異性熱核，實現圖像的多尺度表示；2)將不同尺度下的圖像分組，並對每個分組構建低秩分析，提取其低秩部分，同時有效的濾除噪聲，由所提取的顯著信息構建多尺度空間；3)在圖像金字塔的每一層內，低頻信息採用S型函數進行融合，高頻信息使用最大選擇策略融合，金字塔層間採樣權重融合。本發明所提出的多模態醫學圖像融合方法對噪聲圖像的融合具有較好的魯棒性。
【專利說明】基於多尺度各向異性分解和低秩分析的多模態醫學圖像融 合方法
【技術領域】
[0001] 本發明涉及一種基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方 法。
【背景技術】
[0002] 在臨床醫學中，通常單一模態的醫學影響無法滿足醫護人員的邊隨著醫學影像技 術的不斷發展，出現了許多先進的成像設備來反映人體臟器和病變組織的各種信息，也為 臨床的醫療診斷提供了多種模態的醫學圖像，這些圖像可分為解剖結構圖像（例如：B超、 CT、MRI)和功能圖像（例如：PET、SPECT)兩大類，由於成像原理的差異，不同種類的圖像也 具有各自的優缺點。例如CT圖像具有較高的空間解析度和幾何特性，能夠非常清晰地呈現 人體骨骼，便於提供良好的病灶定位，但對人體軟組織的檢測效果較差，而人體組織在MRI 圖像中成像效果較好，有利於病灶範圍的確定，但易受到電磁幹擾產生幾何失真；SPECT、 PET可反映人體組織器官的代謝水平和血流狀況，能有效的檢測腫瘤病變，但其具有較低的 空間解析度，難以得到精確的解剖結構，不利於分辨組織、器官的邊界。由此可知不同的成 像原理提供了互補的信息。因此多模態醫學圖像的融合可以為臨床診斷提供更加豐富的病 變組織或器官的信息，便於醫護人員做出更加準確的診斷和制定更加合適的治療方案。
[0003] 常用的方法可分為兩種，一種是基於變換策略來實現圖像的多尺度表示；另外一 種方法是利用幾何多尺度分析工具實現圖像的多尺度表示，然後利用融合規則將不同尺度 下的信息進行融合。變換策略圖像融合法通常包括基於IHS(Intensity-Hue-Saturation) 和PCA(Principal Component Analysis)的兩種方法，但由於採用了隨意的融合規則，基 於IHS框架的融合算法通常造成圖像失真和譜扭曲。基於小波的融合的典型代表有基於 Curvelets、Contourlets、NSCT和Shearlets等，其成功的重點在於主要利用了小波良好的 高低頻分離特性，對不同的子帶採用馬爾科夫鏈等方法來計算數據相關的融合權重，實現 不同模態的圖像融合。該類方法的主要缺點在於所使用的小波核函數與所處理的數據無 關，無法有效的提取不同方向的細節信息，因此存在融合圖像缺乏細節的缺點。
[0004] 目前多模態醫學圖像融合的關鍵技術在於如何實現結構意識的多尺度圖像表示， 如何從不同模態的醫學圖像中分離出互補性的顯著信息，如何保證互補性的信息能有效的 融合到最終的圖像中等。
[0005] 為了解決上述問題，本發明基於多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，該方法通過構建數據相關的熱核，實現結構保護的圖像多尺度分解，並同構圖 像金字塔和分塊策略實現了大尺度和小尺度結構信息的有效保護，同時利用CUDA計算提 高了算法的計算速度；基於所獲得的多尺度圖像，分組構建低秩分析，提取小尺度範圍內固 有的顯著信息，有效的濾除噪聲，提高了算法的抗噪性，並構建基於顯著信息的多尺度融合 空間，利用尺度意識的S型權重函數實現不同尺度下的信息融合，有效解決了互補信息融 合問題。
【發明內容】
[0006] 本發明要解決的技術問題是：克服了現有濾波器的數據無關性以及結構意識的不 足，提供了一種基於熱核金字塔的各向異性圖像處理多尺度表示方法。並通過使用基於分 塊策略和CUDA技術，提高了所發明的算法的實際可行性。克服了通常融合算法對小尺度細 節信息融合的不足，提出了一種基於低秩分析的顯著信息尺度空間構建方法；克服了均值 最大化融合策略存在的對比度問題，提出了尺度意識的S型權重融合方法。
[0007] 本發明採用的技術方案為：一種基於多尺度各向異性分解和低秩分析的多模態醫 學圖像融合方法，包括以下幾部分：
[0008] 步驟（1)、基於熱核的多尺度圖像表示：將輸入的多模態圖像轉換到IHS顏色空 間，對圖像的I顏色空間構建圖像金字塔，將每一層圖像分為重疊的塊，並利用Delaunay三 角化方法對其網格化，基於所構建的網格，利用cotangent方法建立相對應的拉普拉斯矩 陣，所構建的拉普拉斯矩陣固有的潛入了圖像的結構信息，通過求解廣義特徵問題獲取最 小的N個特徵值和所對應的特徵向量，構造數據相關的熱核，因此熱核具有數據相關性、結 構意識和各向異性性，通過所夠構建的熱核與圖像進行卷積獲得不同尺度下的圖像表示。 同時為了減少拉普拉斯矩陣構建和多尺度卷積的時間，該步驟採用了 CUDA實現技術；
[0009] 步驟（2)、基於低秩分析的顯著信息尺度空間構建：：通過步驟（1)所獲得的多尺 度表示，將金字塔每層圖像的多尺度表示進行分組，每組分別做為低秩分析的初始化輸入 矩陣，利用GoDec方法進行低秩分析，獲取每組的低秩部分，該低秩部分包含了小尺度範圍 內的顯著信息，且有效的濾除輸入圖像內包含的噪聲，將每個分組所提取低秩部分進行二 次重組，進而構建為基於顯著信息的多尺度表示；
[0010] 步驟（3)、基於S型函數的尺度相關融合：通過步驟⑵中構建的顯著信息多尺 度空間，主模態基層權重設置為2,輔助模態基層的融合權重係數由S型函數計算，利用權 重平均獲得金字塔每層的基層融合效果，而細節層採用最大化選擇方法獲得細節層融合效 果，每層的融合效果通過多個細節層和基層累加獲得。而金字塔層間融合通過上採樣低分 辨率融合效果後與相鄰下層融合效果進行權重合併，最終得到和輸入圖像相同解析度的灰 度層融合效果，利用GIHS方法得到最終的多模態醫學圖像融合效果圖。
[0011] 進一步的，步驟（1)中所述的多尺度圖像表示方法是各向異性的，同時是高效的， 而且還內建了數據相關和結構意識的特性。
[0012] 進一步的，步驟（2)中所述的顯著信息多尺度空間構建方法，將局部小範圍尺度 內的顯著信息提取的同時濾除了潛在的噪聲，具有良好的抗噪性。
[0013] 進一步的，步驟（3)中所述的S型函數融合方法，避免了輔助模態影響黑色背景的 影響，使得融合圖像整體具有良好的對比度。
[0014] 本發明的原理在於：
[0015] (1)本發明所提出的多尺度圖像表示方法主要側重於結構意識和各向異性，該發 明基於像素灰度值和空間坐標將圖像的結構信息有效的編碼到拉普拉斯矩陣中，使得所形 成的熱核具有各向異性性；同時該方法採用金字塔結構和圖像分塊策略，使得該方法將全 局大尺度結構信息和局部小尺度細節信息相結合，並採用了 CUDA技術提高了算法的計算 效率。
[0016] (2)本發明所提出的基於低秩分析的顯著信息多尺度空間構建方法，通過對不同 尺度的圖像進行分組，每組圖像構建低秩分析提取不同模態影像中的顯著信息，同時濾去 了噪聲，最終構建為顯著信息的多尺度空間，使得所提出的方法具有抗噪性。
[0017] (3)常用的平均最大化融合算法通常造成融合結果缺乏細節和具有較低的對比 度，為此本發明提出尺度意識的S型權重融合策略，有效的減少輔助模態圖像中黑色背景 的影響，增加融合圖像內細節信息量，進一步改進了融合圖像的視覺對比度。
[0018] 本發明與現有技術相比的優點在於：
[0019] 1、本發明提出的基於熱核金子塔的多尺度圖像表示方法，一方面使得熱核的構建 是數據相關的，提高了算法結構意識能力，另一方面採用了分塊策略和CUDA技術使得所提 出的小波具有較低的運行時間。
[0020] 2、對比已有基於多尺度的算法，本發明提出的基於低秩分析的顯著信息尺度空間 構造方法，具有更好的信息保護和提取能力，同時具有更強的抗噪性能。
[0021] 3、本發明提出的尺度意識S型融合策略，避免了輔助模態醫學影響內黑色背景的 影響，提高了算法的信息融合能力，使得融合圖像具有較好的對比度。
【專利附圖】
【附圖說明】
[0022] 圖1為基於熱尺度各向異性分解和低秩分析的多模態醫學圖像融合方法流程圖；
[0023] 圖2為基於熱核金子塔的多尺度圖像表示方法流程圖；
[0024] 圖3為基於低秩分析的顯著信息尺度空間構造方法流程圖；
[0025] 圖4為基於金子塔的分塊策略示意圖；其中，（a):小尺度t平滑效果圖；(b):大尺 度t平滑效果圖；（c):金字塔大尺度t平滑效果圖；
[0026] 圖5為圖像分塊策略下基於CUDA的拉普拉斯矩陣計算示意圖；
[0027] 圖6為多尺度圖像平滑方法計算量及內存需求量對比；其中，（a):先構建熱核再 獲取多尺度圖像平滑效果方法；(b):本發明採用的改進方法；FL0表示浮點計算量，Memory 表示計算過程所需要的存儲空間；
[0028] 圖7為無噪多模態醫學圖像融合效果對比示意圖；其中，（a) :MRI和SPECT醫學圖 像融合效果對比圖；(b) :MRI和PET醫學圖像融合效果對比圖；（c):六種算法在五種評定 指標下的直方圖對比；
[0029] 圖8為高斯噪聲擾動下多模態醫學圖像融合效果對比示意圖；其中，（a) :5dB高斯 白噪聲條件下MRI和SPECT醫學圖像融合效果對比圖；(b) :25dB高斯白噪聲條件下MRI和 SPECT醫學圖像融合效果對比圖；（c):六種算法在五種評定指標下的直方圖對比；
[0030] 圖9為本發明算法在不同分貝高斯噪聲擾動條件下的處理效果；
[0031] 圖10為ldB到40dB白高斯噪聲擾動下，六種算法在五種評定指標下平均統計對 比圖對比示意圖；其中，（a) :PSNR;(b) :MI ;(c) :MSSM;(d) :FSM;(e) :FSMC;橫坐標表 示噪聲分貝量；
[0032] 圖11為椒鹽噪聲擾動下多模態醫學圖像融合效果對比示意圖；其中，（a) :6%椒 鹽噪聲條件下醫學圖像融合效果對比圖；(b) :10%椒鹽噪聲條件下醫學圖像融合效果對 比圖；（c):六種算法在五種評定指標下的直方圖對比；
[0033] 圖12為不同百分比椒鹽噪聲含量下，六種算法在五種評定指標下平均統計對比 圖對比示意圖；其中，（a) :PSNR;(b) :MI ;(c) :MSSM;(d) :FSM;(e) :FSMC;橫坐標表示 椒鹽噪聲百分比含量；
[0034] 圖13為不同類型噪聲擾動下多模態醫學圖像融合效果對比示意圖；其中，（a): MRI含6 %的椒鹽噪聲，SPECT含30dB的高斯白噪聲；（b) :MRI含30dB的高斯白噪聲，SPECT 含6 %的椒鹽噪聲；（c):六種算法在五種評定指標下的直方圖對比。
[0035] 圖14為本發明使用的S型權重融合算法改進能力示意圖；其中，（a):輸入圖像； (b):平均最大值選擇融合策略；（c):本發明所使用的S型區中融合策略；MI給出了不同策 略下的互信息值。
【具體實施方式】
[0036] 下面結合附圖及【具體實施方式】進一步說明本發明。
[0037] 圖1給出了基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法的 總體處理流程。圖2和圖3分別給出了基於熱核金子塔的多尺度圖像表示方法和基於低秩 分析的顯著信息尺度空間構造方法的詳細步驟。
[0038] 本發明提供一種基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方 法，其主要步驟介紹如下：
[0039] 1、基於熱核金子塔的多尺度圖像表示
[0040] 為了有效的提取輸入圖像的固有結構信息，並將其編碼到所使用的熱核中去，本 發明提出將輸入圖像進行下採樣，構建輸入圖像金字塔。對於金字塔的每一層，首先將圖像 有RGB顏色空間轉換到IHS顏色空間，並將圖像分塊重疊塊，每個圖像塊分別利用Delaunay 三角化方法對其網格化，網格的每個頂點對應圖像中的一個像素，由（x，y，I(x，y))表示， 其中（x，y)表示了相關像素i的空間坐標，I(x，y)表示像素i的灰度值，為了能夠更好維 護圖像的潛在結構信息，本發明取代頂點表示的第三維為β *1 (X，y)，以此來控制所構建熱 核的各向異性性和結構敏感性。基於所構建的網格和頂點表示方法，圖像塊所對應的拉普 拉斯矩陣由P = A<M定義，其中質量矩陣A為對角陣，其中每一項表示了共享像素i的所有 三角形的面積，剛度矩陣Μ的每一項編碼了圖像塊的局部結構，定義如下：
[0041]
【權利要求】
1. 一種基於多尺度各向異性分解和低秩分析的多模態醫學圖像融合方法，其特徵在於 包括以下步驟： 步驟（1)、基於熱核的多尺度圖像表示：將輸入的多模態圖像轉換到IHS顏色空間，對 圖像的I顏色空間構建圖像金字塔，將每一層圖像分為重疊的塊，並利用Delaunay三角化 方法對其網格化，基於所構建的網格，利用cotangent方法建立相對應的拉普拉斯矩陣，所 構建的拉普拉斯矩陣固有的潛入了圖像的結構信息，通過求解廣義特徵問題獲取最小的N 個特徵值和所對應的特徵向量，構造數據相關的熱核，因此熱核具有數據相關性、結構意識 和各向異性性，通過所夠構建的熱核與圖像進行卷積獲得不同尺度下的圖像表示；同時為 了減少拉普拉斯矩陣構建和多尺度卷積的時間，該步驟採用了 CUDA並行技術實現； 步驟（2)、基於低秩分析的顯著信息尺度空間構建：通過步驟（1)所獲得的多尺度表 示，將金字塔每層圖像的多尺度表示進行分組，每組分別做為低秩分析的初始化輸入矩陣， 利用GoDec方法進行低秩分析，獲取每組的低秩部分，該低秩部分包含了小尺度範圍內的 顯著信息，且有效的濾除輸入圖像內包含的噪聲，將每個分組所提取低秩部分進行二次重 組，進而構建為基於顯著信息的多尺度表示； 步驟（3)、基於S型函數的尺度相關融合：通過步驟（2)中構建的顯著信息多尺度空 間，主模態基層權重設置為2,輔助模態基層的融合權重係數由S型函數計算，利用權重平 均獲得金字塔每層的基層融合效果，而細節層採用最大化選擇方法獲得細節層融合效果， 每層的融合效果通過多個細節層和基層累加獲得；而金字塔層間融合通過上採樣低解析度 融合效果後與相鄰下層融合效果進行權重合併，最終得到和輸入圖像相同解析度的灰度層 融合效果，利用GIHS方法得到最終的多模態醫學圖像融合效果圖。
2. 根據權利要求1所述的一種基於多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，其特徵在於：步驟（1)中所述的基於熱核的多尺度圖像表示是數據相關的、各 向異性的，同時整個步驟採用了 CUDA技術，為圖像塊中的每個像素點調用一個線程來實現 質量矩陣和剛度矩陣的計算，在此基礎上構建拉普拉斯矩陣，並通過特徵分解獲取最下的η 個特徵值及特徵向量，此後以圖像塊為基礎，為每個時間參數t調用一個線程來並行的實 現圖像多的多尺度平滑，該實現方法設計了合理的數據結構，具有較低的計算負擔和較低 的運行時間。
3. 根據權利要求1所述的一種基於多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，其特徵在於：步驟（2)中所述的基於低秩分析的顯著信息尺度空間構建方法， 首先將步驟（1)所構建的多尺度圖像進行分組，每個組內包含d個平滑圖像和一個輸入圖 像，將每個圖像由一個列向量來表示，並構建為低秩分析的輸入矩陣，進行低秩分解，得到 其低秩部分，並提起第一個列向量做為該組數據的最終顯著信息表示部分，濾除了噪聲，構 建一個基於顯著信息的多尺度圖像融合空間，因此對噪聲具有良好的魯棒性，提高了對固 有重要信息的有效獲取能力，通過對多個分組分別構建以上的低秩分析和顯著信息提取， 來構建一個基於顯著性信息的多尺度空間。
4. 根據權利要求1所述的一種基於多尺度各向異性分解和低秩分析的多模態醫學圖 像融合方法，其特徵在於：步驟（3)中所述的基於S型函數的尺度相關融合方法，金字塔層 內主模態基層權重設置為2,輔助模態基層的融合權重係數由S型函數將灰度值映射為權 重係數，細節層通過最大值選擇方法來獲取，層間採用權重融合，該方法避免了非主要信息 對融合圖像對比度的影響，增強了所提出算法的數據自適應性和顯著信息在融合圖像中的 可閱讀性。
【文檔編號】G06T3/40GK104299216SQ201410570967
【公開日】2015年1月21日 申請日期:2014年10月22日 優先權日:2014年10月22日
【發明者】郝愛民, 王青正, 李帥, 秦洪 申請人:北京航空航天大學