基於多信息融合的胸部數位化x線圖像檢索系統的製作方法

2023-06-01 04:20:11

專利名稱：基於多信息融合的胸部數位化x線圖像檢索系統的製作方法
技術領域：
本發明屬於醫療信息技術領域，具體涉及一種融合診斷報告、DICOM文件和醫學影 像的數位化X線(DR)胸片檢索系統。
背景技術：
X射線診斷是醫學影像診斷中最重要的手段之一。胸腔曾被喻為人體健康和疾病 的鏡子，因為它包含多種組織，提供了人體多方面的信息，比如肺部疾病的診斷、肋骨骨折 及損傷、心臟擴大症、心肺係數等都可以通過X線胸片來識別和確定。X線胸片的診斷以其 低廉的價格和微弱的放射劑量佔所有放射線影像診斷的40%以上，這體現了 X線胸片在醫 學領域裡的重要應用價值。近年來，數位化X線攝影，尤其是直接數位化X線攝影(DR)系 統的應用，使傳統的X線攝影技術進入數位化領域。它與傳統的X線攝影相比，具有更高的 影像質量，包含更多的影像信息。這種數位化信息經過後處理後，可以獲得更多的臨床診斷 應用。現有DR胸片檢索主要是基於關鍵字的檢索，例如根據病人的姓名、疾病名稱或圖 像的文字描述等進行的查詢，而且這也是目前在應用領域中主要採用的檢索方式。但由於 醫學圖像實體的顏色、紋理、形狀、空間關係以及語義信息很難用文字描述，所以傳統的基 於關鍵字的醫學圖像檢索便顯現出不足之處，基於內容的醫學圖像檢索(Content-Based Medical Image Rretrieval，簡稱CBMIR)在這種情況下產生。但只根據圖像內容進行檢 索，語義信息的提取難度又較大，如想查找「瀋陽地區患有塵肺病，年齡小於30歲的患者的 DR圖像」，只根據圖像是很難查找的。融合多種信息的DR胸片檢索系統可以彌補這兩類檢 索方法的缺點，實現自動、快速、準確、全面的根據圖像本身內容和診斷報告進行查詢，提高 診斷的精確性，同時極大地促進醫學研究和醫學教育領域的進步。

發明內容
本發明針對基於關鍵字的DR胸片檢索和基於內容的DR胸片檢索系統的不足，提 出一種基於多信息融合的胸部DR圖像檢索系統，該系統具有高可靠性、擴展性好、檢索準 確性高、檢索時間快等特點。為達上述目的，本發明採用如下技術方案本發明提供的基於多信息融合的DR胸片檢索系統，包括DR胸片影像管理中心、初 次檢索部分和相關反饋部分。DR胸片影像管理中心用於管理胸部數位化X線圖像、感興趣對象紋理和形狀特 徵及診斷報告關鍵字，包括DR胸片資料庫、特徵提取與描述模塊、DR胸片特徵庫。DR胸片 資料庫用於存儲來自於不同醫院的經過專家診斷過的臨床胸部數位化X線圖像數據，包括 DICOM文件、影像和診斷報告。特徵提取與描述模塊首先對圖像進行增強處理，使圖像對比 度更清晰，然後提取感興趣區域，如肺野、肋骨、鎖骨、心臟等，對分割出的區域進行紋理和 形狀描述，同時對患者的診斷報告利用本體論方法進行分析，將其關鍵字保存於特徵庫中。DR胸片特徵庫存儲符合多媒體內容描述接口的特徵分析結果，用於相似性匹配。
初次檢索用於自動分析輸入的文本查詢條件和示例圖像，融合二者信息給出相似 圖像，包括文本信息輸入模塊、文本內容描述模塊、患者影像輸入模塊、DICOM文件分析模 塊、感興趣對象分割模塊、感興趣對象分析模塊、圖像內容描述模塊、內容融合模塊、相似性 度量模塊、初次檢索結果顯示模塊。文本信息輸入模塊接受用戶輸入的預查詢圖像的文本信息，傳遞給文本內容描述 模塊。文本內容描述模塊提取輸入信息的關鍵字，轉成符合多媒體內容描述接口的形式。 患者影像輸入模塊接受用戶輸入的胸部數位化X線示例圖像。DICOM文件分析模塊用於分 析示例圖像的相應文件信息，包括設備類型、解剖位置、患者年齡、所屬地區等信息，用於縮 小檢索範圍。感興趣對象分割模塊對示例圖像進行增強處理，並分割出感興趣對象，包括肺 野、肋骨、鎖骨、心臟等，傳遞給感興趣對象分析模塊。感興趣對象分析模塊分析各對象的紋 理、形狀特徵，為保證其通用性，轉成符合多媒體內容描述接口的形式。文本內容描述模塊 和圖像內容描述模塊結果送入內容融合模塊，將文本信息和圖像內容信息進行整合，然後 進入相似性度量模塊，和DR胸片特徵庫中的數據進行比較。初次檢索結果顯示模塊根據相 似性匹配結果按照相似性大小輸出與示例圖像和輸入文本信息相吻合的圖像給用戶。如用戶對初次檢索結果不滿意，則可進入相關反饋，通過人機互動進一步提高檢 索效果。相關反饋包括反饋信息輸入模塊、反饋信息處理模塊、反饋結果顯示模塊。用戶通 過反饋信息輸入模塊，對初次檢索出的每一幅圖像進行相關或不相關標記，送入反饋信息 處理模塊，反饋信息處理模塊根據用戶反饋意見，重新計算相似度，根據相似度大小，反饋 結果顯示模塊將人工交互的結果顯示給用戶。此過程可以重複進行，直到用戶滿意為止。上述基於多信息融合的胸部數位化X線圖像檢索系統具有以下效果及優點(1)高效、準確綜合了診斷報告、DICOM文件和圖像內容多方面的信息，可以更加 全面準確的描述輸入請求，解決了文本不能準確描述圖像，圖像語義信息又很難提取的問 題，實現了跨媒體的DR胸片檢索。(2)人機互動，進一步滿足用戶需求由於人工智慧的技術還不完善，圖像信息豐富多彩，文本描述多樣性，在這種複雜 的情況下初次檢索結果不能達到100 %的滿意度，此時用戶的參與，可以更好的描述檢索意 圖，得到更滿意的檢索結果。


圖1為基於多信息融合的胸部DR圖像檢索系統結構示意圖；圖2胸部數位化X線圖像肺野分割流程；圖3胸部數位化X線圖像檢索相關反饋流程。
具體實施例方式如圖1所示，一種基於多信息融合的胸部DR圖像檢索系統，包括後臺的DR胸片影 像管理和前臺的用戶檢索，前臺用戶在檢索時可同時輸入文本信息和患者影像，進行多信 息查詢，也可以只輸入一種信息，文本信息或影像信息，進行單一信息查詢。如對自動檢索 結果不滿意，可進行人機互動，即相關反饋檢索。
如圖2所示，胸部數位化X線圖像肺野分割流程。首先計算8條參考線，確定初始 感興趣區域，即包括左肺和右肺的區域。其次計算肺野初始邊界點的位置，採用平均濾波器 平滑圖像，用來防止肺野內部的紋理對檢測邊界點的影響。然後檢測橫膈邊界，再找到縱隔 和肋骨邊緣起始點的位置，檢測肺頂邊界，消除錯誤明顯的邊界點。上述描述方法只是得到 了粗糙的肺野邊界位置，邊界點並不平滑，因此需要調整這些邊界點的位置，採用Snake模 型糾正、調整得到準確的DR胸部肺野邊界點。如圖3所示，胸部數位化X線圖像檢索相關反饋流程。其中紋理特徵提取選取灰 度共生矩陣，為了獲得旋轉不變的紋理特徵，先計算4個方向(0度，45度，90度，135度)的 偏移參數，再分別求其特徵指標(能量(E)、慣性矩(I)、相關(C)、熵(H)、局部平穩(L)), 採用各個特徵指標的均值(μ Ε，μ μ c，μ Η，μ J和方差(σ Ε，σ Σ，σ c，σ Η，σ J構成一 10 元特徵向量。這樣處理抑制了方向分量，使得到的紋理特徵與方向無關。為減小灰度共生 矩陣的尺寸，採用線性縮減將圖像的灰度級壓縮為16級，既大幅度縮減量化級數，又能較 好的表示原圖像。最後將圖像m的紋理特徵的特徵向量記為fmt(fmtl，fmt2，……fmtlQ)。
形狀特徵提取採用邊界方向直方圖，將灰度化後的圖像經Carmy算子運算提取出 圖像的邊緣輪廓，然後將邊界方向的角度範圍(-90°，90° )均勻量化為72級，統計每個級 別上的邊界像素數目，得到邊界直方圖，再將各直方圖分量同除以邊界像素總數，得到歸一 化的邊界方向直方圖，即得到圖像m的72維形狀特徵向量，算法把邊界方向角度量化為72 級，這樣既保證了精確性，又減少了計算量。歸一化後的邊界方向直方圖具有縮放不變性， 平移不變性等優點。將形狀特徵向量記為fms(fmsl，fms2，……，fms72)。權重向量的構成基於ci X ici圖像檢索模型，其中Ci為分量重要性因子，其反映 了某個分量在特徵向量中的相對重要程度；ici為逆集合重要性因子，其體現了某個分量 將一個特徵向量區別於集合中其他圖像的特徵向量的分辨能力。圖像m的權重向量，見公 式⑴。wm = CimXiCi(1)cim = HfmlAiean1, ..., fmk/meank, ..., f^/meanj(2)其中Hieank表示所有圖像特徵向量第k個分量的平均值。Ici=Iiogrr, ···, bgrr, ···,電(？)]⑶其中σ k為所有圖像的Ci向量的第k個分量值的標準方差。將圖像m的紋理特徵向量fmt (fmtl，fmt2，……fmtlQ)和形狀特徵向量fms (ffflsl， fms2，……，fms72)代入式(2)，再經式(3)和式⑴計算，最終可求出相應的權重向量，分別
記為 Wmt (Wmtl，Wmt2， ......Wmtlo)禾口 Wms (Wmsl，Wms2， ......Wms72)。特徵相似性度量採用餘弦距離，如公式⑷所示。Sim(wm, Qi) =WmQi/! |wj | | | Qi |(4)其中Wm為圖像m的權重向量，Qi代表第i次反饋得到的最優查詢向量，當i = 0 時，％代表示例圖像的查詢向量。將紋理和形狀對應的權重向量Wmt和Wms分別代入式⑷，求出的基於紋理的相似 度記為Slt，S2t，…，SNt，形狀的相似度記為Sls，S2s，…，Sns (N為圖像庫中圖像數量)，經高 斯歸一化(見公式(5))後得到的紋理相似度和形狀相似度分別記為S' mt和S' ms。S' m= [(Sm-yt)/3ot+l]/2(5)
其中μ t和ο t分別表示相似度的均值和標準差。Qi與圖像庫中圖像m的融合特 徵相似度為formula see original document page 6對s〃 111進行降序排序，將相似度較高 的排在前L幅圖像作為檢索結果返回給用戶。有了上面特徵提取、權重向量構成和相似度匹配的準備，用戶根據查詢需求對初 次檢索結果給出圖像的相關性判斷。反饋過程中最優查詢向量重構過程，見公式(6)。formula see original document page 6其中qi+1代表第i+1次反饋得到的最優查詢向量，R為用戶標記的當前反饋的正反 饋數目。
I為當前用戶標記的正反饋樣例的權重向量和。
m=l從式(6)可以看出，Qi在後續的查詢向量重構過程中仍被保留下來，將 作為一個 正例，然後取Qi與本次用戶所選正例權重向量和的平均值，衰減因子R+1每次都在變化，隨 用戶當前選擇的正例動態變化，這樣即衰減了以往正反饋樣例在後續反饋中的影響，也加 快了以Qi為中心的正例訓練數據向理想查詢點靠攏的速度，使得qi+1更快逼近理想最優查 詢向量qtest，達到穩定狀態。可以看到將每次新得到的查詢向量保存起來，並根據用戶的交 互過程不斷地更新此向量，再將新的最優查詢向量qi+1，代入式(4)重新進行相似度匹配， 從而得到新一輪的檢索結果。
權利要求
一種基於多信息融合的胸部數位化X線圖像檢索系統，其特徵在於，包括DR胸片影像管理中心、初次檢索部分、相關反饋部分，所述DR胸片影像管理中心，用於管理胸部數位化X線圖像、感興趣對象紋理和形狀特徵及診斷報告關鍵字；所述初次檢索用於自動分析輸入的文本查詢條件和示例圖像，融合二者信息給出相似的DR胸片圖像；所述相關反饋指如用戶對初次檢索結果不滿意，可通過人機互動進一步提高檢索效果。
2.根據權利要求1所述的基於多信息融合的胸部數位化X線圖像檢索系統，其特徵在 於所述DR胸片影像管理中心包括DR胸片資料庫、特徵提取與描述模塊、DR胸片特徵庫。
3.根據權利要求1所述的基於多信息融合的胸部數位化X線圖像檢索系統，其特徵 在於所述初次檢索部分包括文本信息輸入模塊、文本內容描述模塊、患者影像輸入模塊、 DICOM文件分析模塊、感興趣對象分割模塊、感興趣對象分析模塊、圖像內容描述模塊、內容 融合模塊、相似性度量模塊、初次檢索結果顯示模塊。
4.根據權利要求1所述的基於多信息融合的胸部數位化X線圖像檢索系統，其特徵在 於所述相關反饋部分包括反饋信息輸入模塊、反饋信息處理模塊、反饋結果顯示模塊。
全文摘要
基於多信息融合的胸部數位化X線圖像檢索系統屬於醫療信息技術領域，具體涉及一種融合診斷報告、DICOM文件和醫學影像的數位化X線(DR)胸片檢索系統。本發明就是提供一種基於多信息融合的胸部DR圖像檢索系統，該系統具有高可靠性、擴展性好、檢索準確性高、檢索時間快等特點。本發明包括DR胸片影像管理中心、初次檢索部分和相關反饋部分。
文檔編號G06F19/00GK101799806SQ20091001030
公開日2010年8月11日 申請日期2009年2月6日 優先權日2009年2月6日
發明者吳月姝, 崔文成, 張金霞, 李紹柱, 紀君, 邵虹 申請人:瀋陽工大普日軟體技術有限公司