分布式心臟圖像多維重建與交互可視化方法
2023-05-04 08:46:56
專利名稱：分布式心臟圖像多維重建與交互可視化方法
技術領域：
本發明屬於醫學圖像成像與處理領域，特別涉及一種心臟圖像多維重建與交互可視化方法。
背景技術：
心臟超聲成像是醫學圖像中一個發展迅速的領域，三維超聲能夠顯示心臟的立體形態和解剖結構，為心臟疾病診斷以及輔助外科手術提供了一條新途徑。因此，超聲診斷儀以及相應的應用軟體已應用於臨床，醫院對超聲成像設備的需求不斷增大。但目前醫用超聲成像設備的現狀是價格昂貴，單用戶響應，功能不夠完善。例如，荷蘭Philip公司新近推出的Philip 7500實時三維超聲成像系統，價格高達兩百多萬人民幣，仍然存在三維顯示範圍比較狹窄的缺點，在某些方面不能滿足臨床診斷的要求；德國TomTec公司的Compact 3D Cardiology Freehand系統售價近20萬人民幣，但在三維重建的某些環節，還需要醫生通過手工繪製出組織的輪廓，不僅耗時，而且重複性差。
對於心臟疾病的診斷，分布式多維重建與交互可視化系統非常重要，但市場上尚沒有此類系統銷售，也未見此類系統或方法的文獻報導。
發明內容
本發明的目的在於克服現有技術的不足，提供一種採用分布式結構實現旋轉掃描二維圖像快速重建三維數據場、心室功能評價以及實現重建結果的交互顯示的方法，按照此種方法建立的系統不僅能用於心臟疾病的輔助診斷，而且成本低，便於在各類醫院推廣。
本發明所述方法在系統設計上採用分布式結構，系統包括一個伺服器、一個或多個客戶端或/和瀏覽器，伺服器、客戶端和瀏覽器為軟體，分別安裝在不同的計算機中，但客戶端和瀏覽器可以安裝在同一臺計算機中。客戶端/伺服器為CS模式，採用TCP作為傳輸協議；瀏覽器/伺服器為BS模式，採用HTTP傳輸協議，圖像序列採用XML描述，伺服器收到XML文件後，需要將其轉化為圖像文件，瀏覽器也是如此。
本發明所述方法包括以下步驟用戶從客戶端或瀏覽器載入欲處理的心臟二維圖像序列；
用戶通過客戶端或瀏覽器向伺服器發送欲處理的心臟二維圖像序列和處理請求；伺服器接受來自客戶端或瀏覽器的數據，並根據用戶請求對心臟二維圖像序列作二維或/和三維處理；伺服器將處理完的數據發送給相應用戶；本地用戶在客戶端接收和觀察處理結果，通過鍵盤和滑鼠控制觀察方向、繪製區域、透明度；遠程用戶使用瀏覽器接收和觀察處理結果，通過向伺服器發送請求來改變觀察方向、繪製區域、透明度。
本發明所述方法中，伺服器對心臟二維圖像序列作二維處理的內容為心室輪廓分割，伺服器對心臟二維圖像序列作三維處理的內容包括心室功能評價、旋轉掃描插值和體繪製。
心室輪廓分割即確定心室區域，其步驟如下伺服器記錄用戶選擇的閾值t和用戶選擇的位於心室區域的初始像素點位置；伺服器將用戶選擇的初始像素點鄰域的像素點放入一個順序鍊表中①若鍊表非空，取出鍊表中的頭元素y，計算y和初始點的灰度差的絕對值δ，若鍊表為空，則執行④；②若δ≤t，則將該像素點y設為與初始點有相同的標識，找出y的鄰域像素中既無標識、又不在鍊表中的元素，將這些元素加入鍊表，像素點在鍊表中的位置根據其與初始點的δ值按升序確定；③若δ＞t，則將y標識為邊界點，並返回步驟①；④算法終止。
由上述算法所確定的邊界點內的區域即為心室區域。
心室功能評價包括一個心動周期內的心室容積變化曲線、心室收縮末期容積、心室舒張末期容積和射血分數。獲取心動周期內某一時相心室容積的步驟如下採用旋轉掃描插值算法重建心室區域三維數據場；採用逐層、逐行、逐體素掃描方法計算位於心室腔內的體素總數；採用超聲圖像的標尺計算單位長度包含的像素個數，換算可得單位體積所含體素個數；用心室腔內的體素總數除以單位體積體素個數得到心室容積。
採用上述步驟得到一個心動周期內不同時相所對應的心室容積，即可繪製一個心動周期內的心室容積變化曲線，獲得心室收縮末期容積、舒張末期容積並計算出射血分數。
旋轉掃描插值是根據旋轉掃描得到的二維圖像序列的空間分布特徵，採用分區線性插值法重建三維數據場，得到心臟的三維結構圖像。
體繪製是一種三維數據場可視化技術，將插值後得到的三維數據場作體繪製，用戶可以根據需要從不同視角、不同位置觀察重建後心臟的三維結構，此即交互可視化。
本發明具有以下有益效果1、系統設計採用分布式結構，將重建三維數據場放在伺服器完成，使得重建結果能同時為多個用戶使用，並能響應不同用戶的任務請求。
2、客戶端/伺服器為CS模式，瀏覽器/伺服器為BS模式，前者效率高，後者支持遠程操作，升級方便。
3、伺服器的處理內容包括心室輪廓分割、心室功能評價、旋轉掃描插值和體繪製，用戶能夠從不同視角、不同位置觀察心臟的三維結構，進行心臟功能的定量評價，了解冠狀動脈主幹及大分支的特徵(如管徑、內膜、有無斑塊等)，觀察瓣膜功能和活動情況，以及確定起搏器電極的位置等，為臨床診斷提供重要依據。
4、成本低，例如，由一臺PC機安裝伺服器、三臺PC機安裝客戶端組成的一個分布式系統，成本只相當於一臺德國Tomtec工作站的四分之一，一臺Philip 7500的四十分之一。
5、有利於在各類醫院、尤其是我國中小醫院普及，造福於患者。
圖1是本發明所述分布式心臟圖像多維重建與交互可視化方法的系統結構圖，圖中，2D表示二維，3D表示三維；圖2是客戶端的工作流程圖；圖3是瀏覽器的工作流程圖；圖4是伺服器的工作流程圖；圖5是心室輪廓分割流程圖；圖6是心室功能評價流程圖；圖7是原始圖像同軸排列的第k層斷面圖；圖8是第k層像素插值示意圖。
具體實施例方式
本發明所述方法需要兩臺或兩臺以上具有圖像處理能力的PC機，其中一臺安裝伺服器軟體，其它的安裝客戶端或/和瀏覽器軟體。客戶端/伺服器為CS模式，採用TCP作為傳輸協議；瀏覽器/伺服器為BS模式，採用HTTP傳輸協議，圖像序列採用XML描述，伺服器收到XML文件後，需要將其轉化為圖像文件，瀏覽器收到XML文件後，也需要將其轉化為圖像文件。
按照本發明所述方法，伺服器、客戶端、瀏覽器組成的系統結構如圖1所示。伺服器接受客戶端或瀏覽器的請求，負責二維和三維圖像處理，並將處理結果返回客戶端或瀏覽器。客戶端負責載入二維圖像，將用戶需要處理的任務請求發送伺服器，接受伺服器處理結果，並顯示、保存處理結果，而且客戶端支持返回的三維數據場交互顯示。瀏覽器載入二維圖像，將用戶請求發送伺服器，接受伺服器處理結果，顯示並保存處理結果。
一、客戶端的工作流程客戶端的工作流程如圖2所示，具體步驟如下(1)根據用戶的選擇載入心臟二維圖像序列。
(2)系統初始化取得圖像掃描類型取得圖像序列文件名根據掃描角度排序(3)初始化成功則顯示圖像，如果用戶有圖像序列的處理請求，則發送請求到伺服器，並等待處理結果；初始化不成功則通知用戶可能的錯誤原因。
(4)如果收到伺服器的處理結果，則顯示並保存處理結果。例如，如果收到重建後的三維數據場，則可以先保存該數據場，然後對該數據場作交互顯示，用戶通過鍵盤和滑鼠控制觀察方向、繪製區域、透明度等參數。
(5)如果上述過程出錯，則通知用戶可能的錯誤原因。
上述三維可視化採用shear-warp體繪製算法(該算法來自Lacroute P，Levoy M，Fastvolume rendering using a shear-warp factorization of the viewing transformation，Proc.SIGGRAPH』94，Orlando，Florida，July，1994451-458)，基本流程如下(1)將重建後的三維數據場作遊程長度編碼；(2)進行物質分類；
(3)賦予體素顏色和不透明度；(4)對數據場作錯切變換；(5)根據用戶選擇的觀察方向，將錯切變換後的數據場進行切片合成得到中間圖像；(6)對中間圖像作二維變換，得到最終的三維投影圖像。
三維可視化也可以採用其他算法，例如光線投影算法。
二、瀏覽器的工作流程瀏覽器的工作流程如圖3所示，具體步驟與客戶端大致相似。由於瀏覽器和伺服器的通信協議為BS模式，用戶請求採用HTTP傳輸，圖像序列採用XML描述，因此重建後的三維數據場不發送回瀏覽器，而只根據用戶請求中包含的可視化參數(如觀察方向和位置)返回三維數據場的投影圖像。這樣，瀏覽器終端的用戶仍然能夠根據需要觀察心臟的三維結構。三維數據場不通過XML發送的原因在於(1)三維數據場本身數據量較大；(2)到XML的文件格式轉換開銷較大；(3)由前兩個因素造成的傳輸滯後，影響使用。由伺服器完成可視化，將投影結果作為二維圖像傳輸到瀏覽器相對快捷。
三、伺服器的工作流程伺服器的工作流程如圖4所示，具體步驟如下(1)用戶身份驗證如有用戶請求，首先驗證用戶身份的合法性，若驗證通過，則接受用戶請求，並記錄用戶請求的消息ID；若驗證未通過，則通知用戶原因。
(2)接受用戶請求及源數據接收來自用戶(客戶端或瀏覽器)的請求和待處理心臟二維圖像數據。
(3)對心臟二維圖像序列作二維處理或/和三維處理根據請求的消息ID調用圖像處理模塊進行二維處理或/和三維處理。
(4)發送處理結果處理完畢後將相應結果發送回用戶(客戶端或瀏覽器)。
(5)異常通知如果處理中發生異常，則通知用戶原因。
伺服器開設多個輸入緩衝區(Buffer)，用於緩存來自用戶的圖像數據。設立一個工作緩衝區，用於處理數據，例如三維重建插值，數據場重建完成後，將其置換出工作緩衝區，並從輸入緩衝區調入一組等待處理的數據。伺服器採用多線程將結果發送回客戶端或瀏覽器。
伺服器對心臟二維圖像序列作二維處理的內容為心室輪廓分割，伺服器對心臟二維圖像序列作三維處理的內容包括心室功能評價、旋轉掃描插值和體繪製，下面分別予以說明。
1、心室輪廓分割心室輪廓分割算法的流程如圖5所示，具體原理和步驟如下用區域生長實現心室輪廓分割，其基本思想是將具有相似性質的像素集合起來構成區域。設I表示某圖像的像素集合，則單個輪廓提取就是從某初始像素點(種子點)出發，在其鄰域內找出所有與種子點性質(如灰度、顏色等)相同或相似的像素，合併到區域中，直到沒有滿足條件的像素為止。
心室輪廓分割算法表示為(1)初始化記錄用戶選擇的閾值t和用戶選擇的位於心室區域的初始像素點位置，給初始像素點一個標識，並將其鄰域內的像素點放入一個順序鍊表(Sequentially sortedlist)中。
(2)區域生長①若鍊表非空，取出鍊表中的頭元素y，計算y和種子點的灰度差的絕對值δ；若鍊表為空，則執行④。
②若δ≤t，則將該像素點y設為與種子點有相同的標識。找出y的鄰域像素中既無標識、又不在鍊表SSL中的元素，將這些元素加入鍊表，像素點在鍊表中的位置根據其與種子點的δ值按升序確定。
③若δ＞t，則將y標識為邊界點，並返回步驟①。
④生長終止。
δ的定義如下δ＝|g(y)-g(s)|(1)其中，g(s)為初始像素點的灰度。鍊表中的初始元素為初始像素點s的鄰域像素，且這些像素按其δ值排序。鍊表中的每個元素包含兩個成員該元素的坐標和δ值。
由上述算法所確定的邊界點內的區域即為心室區域。
2、心室功能評價心室功能評價的流程如圖6所示，具體步驟如下(1)載入時相i的心臟圖像
(2)心室輪廓分割心室輪廓分割的步驟如上所述。
(3)三維插值重建三維插值重建算法的原理如下假設n幅原始圖像的大小均為w×h，則同一時相的原始二維圖像在空間同軸排列。相鄰兩幅圖像的夾角為δ＝π/n，且n幅原始圖像的像素個數為n×w×h。為計算方便，假設圖像寬度w為偶數。
原始圖像的分布如圖7所示，其特點為中軸附近，像素點高度密集，越遠離中軸，像素點越稀疏。如果用一個方格表示空間直角坐標系下的一個像素，可以看出，原點(中軸)附近，相鄰兩幅圖像的點距小於一個相素大小，遠離原點，相鄰兩幅圖像的點距大於一個像素，甚至是數十倍像素；原始圖像在柱坐標系中排列。
要顯示心臟的三維解剖結構，需要A、通過插值得到空間各向同性的體素(voxel)；B、同時將柱坐標系變換為空間直角坐標系。
插值後的體數據為w×w×h。如圖8，對於第k(0≤k＜h)層斷面某一點P(i，j，k)，根據方程i=rcosj=rsinr=i2+j2z=k---(2)]]>計算該點的柱坐標(r，θ，z)後，若r＞w/2，則該點灰度為0，若r≤w/2，則分兩種情形確定該點的灰度。
①中軸附近的像素灰度計算中軸線附近的像素分布太密集，對此範圍採用最臨近插值法。為此需要確定該範圍(鄰域)的大小。若用δw/2表示δ＝π/n對應的弧長，w/2表示半徑，1表示單位像素大小，rc表示相鄰兩幅圖像間點距小於1個像素的鄰域半徑，則rc由下式確定(δw/2)/(w/2)＝1/rc(3)由上式得出rc＝1/δ，對rc取整得[rc]，當r＜[rc]時，採用最臨近插值法確定像素灰度。
②遠離中軸的像素灰度計算當r≥[rc]時，空間直角坐標系下的體素點灰度應該採用以下方法計算
A、根據(r，θ，k)確定與P點相鄰的兩幅原始圖像fi，fi+1以及該點在兩幅圖像中的對應位置(w/2+r，k)，由於w/2+r不見得是像素大小的整數倍，因此可以找到與該位置相鄰的四個像素點fi([w/2+r]，k)，fi([w/2+r]+1，k)，fi+1([w/2+r]，k)，fi+1([w/2+r]+1，k)，如圖8。
B、根據下式計算P點的灰度fp＝δ1ti+1+(1-δ1)ti(4)其中，[]表示取整運算，ti＝(1-α1)fi(w/2+[r]，k)+α1fi(w/2+[r]+1，k)，ti+1＝(1-α1)fi+1(w/2+[r]，k)+α1fi+1(w/2+[r]+1，k)，δ1＝θ-iδ，α1＝r-[r]。
C、確定P點灰度的另一種方法是除了用P點所在的第k層像素外，還考慮與P點相鄰的兩層像素，即第k-1和第k+1層像素，每層如步驟B中考慮四個點，這樣就可以計算出三個中間灰度fk-1，p、fk，p和fk+1，p，P點的最終灰度由這三個中間灰度的加權來計算，即fp＝λfk-1，p+λfk+1，p+(1-2λ)fk，p(5)其中，0≤λ＜1/2為常數，在計算中根據需要選定，λ的取值越大，則第k-1和第k+1層像素對P點的灰度貢獻越大，反之越小。如果k＝0或k＝h-1，則取λ＝0。
將上述算法命名為旋轉掃描分區線性插值法，簡稱分區線性插值法，其步驟如下①初始化讀取原始圖像的幅數n，圖像寬度w和高度h，根據公式(3)計算出rc；②計算w×w×h三維數據場中所有點(體素)的灰度，用P(i，j，k)表示三維數據場中的點for(k＝0；k＜h；k++)for(j＝-w/2；j＜w/2；j++)for(i＝-w/2；i＜w/2；i++){if(r=i2+j2[rc]),]]>採用最鄰近插值法計算P點的灰度；else，採用公式(4)或(5)計算P點的灰度；}③算法終止。
由上述分區線性插值法即可重建由原始圖像序列確定的三維數據場。
(4)心室體素個數計算將分割後的心室二維圖像按時相分組，同一時相下不同角度的圖像同軸排列，採用上述分區線性插值法得到心室的三維數據場。
下面以右心室為例說明如何計算心室體素。根據上述插值算法重建的心室數據場有如下特徵①右心室區域位於正方形的一個內切圓之內；②由於右心室是一個腔體結構，因此灰度非常低；③圓內右心室區域外的區域灰度接近或等於255。
對於三維數據場的任一體素(voxel)，上述三個特徵足可以區分該體素是否屬於右心室腔。設定一個灰度閾值，對三維數據場作逐層、逐行、逐體素掃描，灰度小於此閾值的體素視為在心室區域內，這樣可以得出位於右心室腔內的體素個數。
(5)時相i容積計算計算容積的依據是圖像中某區域的面積可以通過計算該區域的像素個數來完成，三維數據場中某區域的容積則通過計算該區域內包含的體素個數實現。例如在某次診斷中，通過圖像獲取時超聲儀上的標尺，計算得到10cm包含196.31個像素寬度，可以算得10×10×10cm3的數據場包含約7565426個體素。
一旦得到右心室腔包含的體素個數num，則右心室的容積V由下式計算V＝1000num/Enum(6)其中，num為右心室包含的體素個數，Enum為1000毫升(ml)的立方體包含的體素個數，V的單位為毫升(ml)。
(6)如果i大於一個心動周期內的時相個數m，則繪製容積變化曲線，否則繼續計算下一時相的容積；(7)完成一個心動周期內不同時相所對應的心室容積計算後，即可繪製該周期內的心室容積變化曲線，得出心室收縮末期容積ESV、舒張末期容積EDV並計算出射血分數RVEFRVEF＝(EDV-ESV)/EDV (7)至此，心室功能評價完成。
3.旋轉掃描插值和體繪製旋轉掃描插值採用上述心室功能評價中的分區線性插值法，體繪製採用上述客戶端工作流程中的shear-warp體繪製算法。
權利要求
1.一種分布式心臟圖像多維重建與交互可視化方法，其特徵在於包括以下步驟用戶從客戶端或瀏覽器載入欲處理的心臟二維圖像序列；用戶通過客戶端或瀏覽器向伺服器發送欲處理的心臟二維圖像序列和處理請求；伺服器接受來自客戶端或瀏覽器的數據，並根據用戶請求對心臟二維圖像序列作二維或/和三維處理；伺服器將處理完的數據發送給相應用戶；本地用戶在客戶端接收和觀察處理結果，通過鍵盤和滑鼠控制觀察方向、繪製區域、透明度；遠程用戶使用瀏覽器接收和觀察處理結果，通過向伺服器發送請求來改變觀察方向、繪製區域、透明度。
2.根據權利要求1所述的分布式心臟圖像多維重建與交互可視化方法，其特徵在於伺服器對心臟二維圖像序列作二維處理的內容為心室輪廓分割，伺服器對心臟二維圖像序列作三維處理的內容包括心室功能評價、旋轉掃描插值和體繪製。
3.根據權利要求2所述的分布式心臟圖像多維重建與交互可視化方法，其特徵在於心室輪廓分割的步驟如下伺服器記錄用戶選擇的閾值t和用戶選擇的位於心室區域的初始像素點位置；伺服器將用戶選擇的初始像素點鄰域的像素點放入一個順序鍊表中①若鍊表非空，取出鍊表中的頭元素y，計算y和初始點的灰度差的絕對值δ，若鍊表為空，則執行④；②若δ≤t，則將該像素點y設為與初始點有相同的標識，找出y的鄰域像素中既無標識、又不在鍊表中的元素，將這些元素加入鍊表，像素點在鍊表中的位置根據其與初始點的δ值按升序確定；③若δ＞t，則將y標識為邊界點，並返回步驟①；④算法終止。
4.根據權利要求2所述的分布式心臟圖像多維重建與交互可視化方法，其特徵在於心室功能評價包括一個心動周期內的心室容積變化曲線、心室收縮末期容積、心室舒張末期容積和射血分數，獲取心動周期內某一時相心室容積的步驟如下採用旋轉掃描插值算法重建心室區域三維數據場，採用逐層、逐行、逐體素掃描方法計算位於心室腔內的體素總數，採用超聲圖像的標尺計算單位長度包含的像素個數，進而得到單位體積所含體素個數，用心室腔內的體素總數除以單位體積體素個數得到心室容積；採用上述步驟得到一個心動周期內不同時相所對應的心室容積，即可繪製一個心動周期內的心室容積變化曲線，獲得心室收縮末期容積、舒張末期容積並計算出射血分數。
全文摘要
一種採用分布式結構實現旋轉掃描二維圖像快速重建三維數據場心室功能評價以及實現重建結果的交互顯示的方法，其步驟為用戶從客戶端或瀏覽器載入欲處理的心臟二維圖像序列；用戶通過客戶端或瀏覽器向伺服器發送欲處理的心臟二維圖像序列和處理請求；伺服器接受來自客戶端或瀏覽器的數據，並根據用戶請求對心臟二維圖像序列作二維或/和三維處理；伺服器將處理完的數據發送給相應用戶；本地用戶在客戶端接收和觀察處理結果，通過鍵盤和滑鼠控制觀察方向、繪製區域、透明度；遠程用戶使用瀏覽器接收和觀察處理結果，通過向伺服器發送請求來改變觀察方向、繪製區域、透明度。
文檔編號A61B5/044GK1644160SQ200510020318
公開日2005年7月27日 申請日期2005年2月3日 優先權日2005年2月3日
發明者楊柳, 饒莉, 鄭昌瓊, 周激流 申請人:四川大學