一種基於HMDS的醫學成像系統的製作方法
2023-05-28 13:12:41
本發明涉及醫學圖像處理與科學計算可視化相結合的技術領域，尤其涉及一種基於hmds的實時動態渲染醫學成像系統。
背景技術：
現有技術中，醫生通過ct(電子計算機斷層掃描)、mri(磁共振成像)、dti(彌散張量成像)、pet(正電子發射型計算機斷層顯像)等技術獲取病變組織的形態、位置、拓撲結構等信息。醫生仍然採用觀看閱讀連續的二維切片數據，以此對患者的病變組織進行判斷分析。然而，僅僅通過直接觀看兩維切片數據會嚴重影響到醫生對疾病的診斷，醫生不能獲得直觀、真實的三維體結構。隨著醫學成像技術的飛速發展，人們對醫學成像提出了新的需求，比如，如何獲取人體結構的3d可視化，如何實現3d可視化基礎上的交互式圖像展示等等。現有的三維人體成像由於內部沒有有效成像數據，實為間接體繪製。圖1為現有技術中間接體繪製三維人體成像效果圖，如圖所示，該三維人體成像僅具有外表渲染效果，其內部為黑色的無效數據，因此，無法看到內臟器官內的組織結構。
此外，在醫學成像技術領域，如何建立本地用戶(如醫學成像系統的編輯人員)和終端用戶(如醫生)之間的聯繫，使終端用戶能夠在其終端實現三維人體圖像的實時動態渲染。
有鑑於此，如何設計一種新的醫學成像系統，以消除現有技術中的上述缺陷和不足,滿足人們新的需求，是業內相關技術人員亟待解決的一項課題。
技術實現要素：
為了克服現有技術中醫學成像系統的技術問題，本發明提供了一種醫學成像系統，其成像效果更加真實、立體、直觀的三維人體的成像，並且，醫生可以對三維成像進行定位縮放、旋轉、「進入」、上下移動、特定區域顏色及透明度的改變等動作以實現三維成像的交互式展示。
為了實現上述發明目的，本發明公開了一種醫學成像系統，包括一反向渲染編輯器、一網絡資料庫、一第一醫學成像裝置，所述反向渲染編輯器用於編輯形成一dicom數據進行直接體繪製所需的一數據信息，所述數據信息存儲於所述網絡資料庫中，所述第一醫學成像裝置通過訪問所述網絡資料庫獲取所述數據信息，並對所述dicom數據進行實時動態的直接體繪製，形成並顯示一三維人體圖像。
更進一步地，所述數據信息為所述三維人體圖像的傳遞函數結果。
更進一步地，所述數據信息包括人體內臟器官表面和人體內臟器官內的組織結構的傳遞函數結果。
更進一步地，所述數據信息包括一立方體空間的傳遞函數結果。
更進一步地，所述第一醫學成像裝置還包括一頭戴式顯示器，用於對所述三維人體圖像進行3d顯示。
更進一步地，所述第一醫學成像裝置還包括一顯示器，用於顯示所述三維人體圖像。
更進一步地，所述第一醫學成像裝置通過所述顯示器和/或所述hmds顯示所述三維人體圖像。
更進一步地，所述第一醫學成像裝置具有一外部輸入端，用戶通過所述外部輸入端對所述三維人體圖像進行操作動作。
更進一步地，所述操作動作為以下任一種操作動作：1)改變某器官/組織的顏色和/或透明度；2)縮放視圖；3)旋轉視圖；4)剪切視圖；5)上下移動視圖。
更進一步地，所述反向渲染編輯器屬於一第二醫學成像裝置，所述第二醫學成像裝置用於對所述dicom數據進行實時動態的直接體繪製，以形成並顯示所述三維人體圖像，用戶根據所述第二醫學成像裝置顯示的所述三維人體圖像反向實時調整所述數據信息。
為了實現上述發明目的，本發明還公開了一種基於hmds的醫學成像系統，包括一反向渲染編輯器、一網絡資料庫、一第一醫學成像裝置，所述反向渲染編輯器用於編輯形成一dicom數據進行直接體繪製所需的一數據信息，所述數據信息存儲於所述網絡資料庫中，所述第一醫學成像裝置通過訪問所述網絡資料庫獲取所述數據信息，並對所述dicom數據進行實時動態的直接體繪製，形成並顯示一三維人體圖像，所述第一醫學成像裝置包括一頭戴式顯示器，用於對所述三維人體圖像進行3d顯示。
與現有技術相比較，本發明所提供的技術方案具有以下優點：第一、人體成像效果更加真實、立體、直觀，醫生能夠自動識別患者器官，辨識病灶；第二、實現三維成像交互式展示，醫生可以對三維成像進行定位縮放、旋轉視圖以實現多角度觀看、拉伸視圖以「進入」人體內部進行觀察、改變特定區域的顏色和/或透明度以突出顯示某具體器官或組織結構；第三、通過hmds(head-mounteddisplaysset)，醫學成像及三維立體空間更加清晰，能夠看到二維無法觀看到的死角，並且增加了互動性和沉浸感；第四、網絡資料庫和本地資料庫共存，進行數據存儲、共享、管理，優化資源配置；第五、通過專人專號設置，保證各個用戶數據之間的安全獨立性。
附圖說明
關於本發明的優點與精神可以通過以下的發明詳述及所附圖式得到進一步的了解。
圖1為現有技術中間接體繪製三維人體成像效果圖；
圖2是本發明所提供的醫學成像系統的結構示意圖；
圖3是本發明所提供的醫學成像系統的數據存儲流程圖；
圖4是本發明所提供的醫學成像系統的資源獲取流程圖；
圖5-圖9是本發明所提供的醫學成像系統的終端醫學成像裝置顯示器顯示的效果圖；
圖10-圖13是本發明所提供的醫學成像系統的hmds顯示的效果圖；
圖14-圖17是本發明所提供的醫學成像系統的hmds特殊顯示的效果圖。
具體實施方式
下面結合附圖詳細說明本發明的具體實施例。然而，應當將本發明理解成並不局限於以下描述的這種實施方式，並且本發明的技術理念可以與其他公知技術或功能與那些公知技術相同的其他技術組合實施。
在以下具體實施例的說明中，為了清楚展示本發明的結構及工作方式，將藉助諸多方向性詞語進行描述，但是應當將「前」、「後」、「左」、「右」、「外」、「內」、「上」、「下」、「向外」、「向內」、「軸向」、「徑向」等詞語理解為方便用語，而不應當理解為限定性詞語。此外，在以下描述中所使用的「hmds」一詞是指用於呈現虛擬實境(vr)的頭盔式顯示器(head-mounteddisplaysset)；「破損原始dicom數據」是指為達到某個器官的顯示效果，而進行人為的算法去除或者切割分離，破壞原始圖像文件數據；「圖源」是指解析原始dicom文件生成的texture2d/3d圖像體數據，「醫學成像裝置」是指利用各種不同媒介作為信息載體，將人體內部的結構重現為影像的各種儀器，其影像信息與人體實際結構有著空間和時間分布上的對應關係。
本發明的目的在於提供一種基於hmds的醫學成像系統，實現醫學成像實時動態渲染顯示，其效果更加真實、立體、直觀，並且，醫生可以對三維成像進行定位縮放、旋轉、「進入」、特定區域顏色及透明度的改變等動作以實現三維成像的交互式展示。
下面結合附圖2-17詳細說明本發明的具體實施例。
圖2是本發明所提供的醫學成像系統的結構示意圖。如圖所示，本發明所提供的醫學成像系統主要包括：本地醫學成像裝置1、網絡資料庫3、終端醫學成像裝置2，其中：
本地醫學成像裝置1，其用於基於光碟驅動器所讀取的原始dicom數據，以醫學圖像算法為基礎，進行三維體繪製，實現人體的三維立體效果。本發明所提供的本地醫學成像裝置1，其支持512*512像素，共4096張圖像的讀取編輯。
本地醫學成像裝置1中的光碟驅動器讀取存儲於光碟中的原始dicom數據，自動讀取存儲於光碟中的ct(電子計算機斷層掃描)、mri(核磁共振)、dti(彌散張量成像)、pet-ct(正電子發射型計算機斷層顯像)等信息，並進一步解析生成texture2d/3d圖像體數據。本地醫學成像裝置1依據患者、圖像採集器、圖像採集時間、拍片類型、器官的不同對texture2d/3d圖像體數據進行分類並存儲於本地醫學成像裝置1的本地資料庫中，生成唯一標識，具體為：在解析ct、mri、dti、pet-ct盤中所有dicom數據時，由於其包含了多組醫學圖片信息，基於此，每個dicom文件解析得到一相應的seriesnumber和studyid值，根據解析第一張得到的seriesnumber和studyid值作為一組，後續每解析一張得到的seriesnumber和studyid值要與前面解析過的組標識seriesnumber和studyid值進行比較，當seriesnumber和studyid值均與前面解析過的seriesnumber和studyid值相同時，則為同組數據，不同則為新的dicom數組，以此對dicom體數據進行分類。需要說明的是，由於用來作為體數據渲染的圖像組應該數據源越多越好，這樣效果更加精細，光碟數據的圖源數據和用來渲染的圖像數據組的多少會影響最終渲染效果，因此，本地醫學成像裝置1會自動挑選出其中數據最多的一組圖源進行解析，以供後續進行體繪製，進一步地，在自動挑選圖源時，本地醫學成像裝置1還會優選層厚較薄的圖源，該層厚範圍優選為0.2-0.7mm。
本地醫學成像裝置1進一步通過反向渲染編輯器11進行編輯和實時動態體繪製，該編輯是在64位儲存空間基礎上進行的，並且，編輯人員通過觀看實時體繪製效果反向調整編輯過程。需要說明的是，該反向渲染編輯正是要將現有技術中間接體繪製三維人體圖像中的內臟器官內的組織結構體數據的3d空間的傳遞函數，反向渲染編輯出來。其中，
編輯，對texture2d/3d圖像體數據進行編輯，編輯形成三維人體圖像的傳遞函數結果，如傳遞函數所需的立方編輯框與弧線編輯的數組數量、坐標、顏色、透明度等信息，該傳遞函數結果包括了人體內臟器官表面和人體內臟器官內的組織結構的傳遞函數結果，以及立方體空間的傳遞函數結果。
體繪製，即體可視化渲染。體可視化渲染主要包括面繪製(surfacerendering)和直接體繪製(directvolumerendering)兩種方法，其中，面繪製(surfacerendering)主要通過提取物體的表面信息，然後通過光照計算進行渲染得到具有立體效果的圖像，其只利用了體數據中的部分信息來構成最終的繪製結果，無法得到整個體數據的全部信息，許多細節信息丟失，不利於結構的詳細體數據分析，其可視化效果不佳；直接體繪製(directvolumerendering)通過累積整個體數據中的體素的光學屬性得到最終的繪製結果，該繪製結果更加完整、具體，視覺效果更佳。本發明所採用的體可視化渲染方式為直接體繪製方法，並且該體繪製為實時動態體繪製，體繪製的算法採用光線透射法，可以更好的反映體數據中的整體結構信息，並且，由於其繪製效果由體數據中所有體素所決定，所以可以反映體數據中的細節信息，如人體內臟器官內的組織結構，顯示出的結構更加完整。此外，由於體繪製的計算過程涉及的計算量很大，因此，本發明的本地醫學成像裝置1內具有gpu，利用gpu高速並行運算功能實現直接體繪製，實時gpu渲染。
資料庫，用於存儲數據，具體包括網絡資料庫3和分別設置於本地醫學成像裝置1、終端醫學成像裝置2的本地資料庫。其中，網絡資料庫3用於存儲解析原始dicom數據生成的texture2d/3d圖像體數據，以及本地醫學成像裝置1編輯得到的三維人體圖像的傳遞函數結果。本地資料庫同樣可用於存儲解析原始dicom數據生成的texture2d/3d數據，以及本地醫學成像裝置1編輯得到的三維人體圖像的傳遞函數結果，此外，本地資料庫的設置使得用戶的保存動作可以隨時發生，採用以精確到毫秒的本地系統時間為圖像保存的標識依據之一，同時支持保存動作完成後回到3d模式下，用戶可以對原有效果進行繼續編輯，以方便用戶在某次較佳圖像效果的基礎編輯下繼續細節的調試，節省編輯時間，亦同時支持查看並找回上次編輯的三維人體圖像的相關數據。
如圖3所示的數據存儲流程，本地醫學成像裝置1或終端醫學成像裝置2的用戶在使用時，首先通過本地資料庫進行備份、共享、管理，再進一步通過網絡傳入網絡資料庫3進行備份、共享、管理。其中，數據的存儲為整體存儲。此外，本領域的普通技術人員應當知悉，數據的存儲亦可以進一步根據用戶的需要進行分器官保存，以方便對編輯後三維人體圖像數據的管理，優化數據配置。
終端醫學成像裝置2，即終端醫學成像裝置(通常為終端用戶使用該終端醫學成像裝置，如醫生)，不同於本地醫學成像裝置1之處在於，終端醫學成像裝置2無法進行編輯，其通過訪問網絡資料庫獲得渲染所需的數據，如三維人體圖像的傳遞函數結果。該終端醫學成像裝置2具有顯示器21(如計算機平面顯示器)和內置的gpu，用於對解析dicom數據生成的texture2d/3d進行實時動態渲染並顯示實時動態渲染後的三維人體圖像，實時呈現多角度、局部縮放、鏡頭裁剪拉伸內部器官的觀看效果。用戶通過終端醫學成像裝置2進行圖像的查看時，不僅可以看到實時動態渲染後的三維人體圖像，而且可以看到該三維人體圖像相對應的解析原始dicom數據後生成的texture2d/3d圖像。
終端醫學成像裝置2還具有hmds22，同樣用於顯示三維人體，實現三維人體圖像和空間圖像在用戶操作動作下進行實時渲染，實時呈現多角度、局部縮放、鏡頭裁剪拉伸內部器官的觀看效果。但不同於終端醫學成像裝置2的顯示器21對三維人體數據的二維顯示，hmds22進行三維顯示，呈現的是三維虛擬實境的圖像，其更具真實性。為了防止觀看者產生眩暈的感覺，該hmds22的fps設定為最低30fps，最高60fps，只有達到最低30fps才可以添加hmds。終端醫學成像裝置2在進行具體的圖像顯示時，用戶可以選擇顯示器21和/或hmds22進行顯示。
上述操作動作是指用戶通過終端醫學成像裝置2的一外部輸入設備(23)，如滑鼠、鍵盤等，對三維人體圖像進行的操作控制，以實現人機互動，該操作動作包括但不限於：1)改變某個具體器官/組織的顏色和/或透明度，即用戶可以進行單獨器官的色彩和/或透明度調整，以實現器官與病灶邊界線區分清晰辨識度高；2)定位縮放視圖；3)旋轉視圖，實現三維人體圖像的多視角360度觀察；4)「進入」人體器官內部觀察內部構造，實時剪切效果渲染；5)上下移動視圖。
此外，由於用來作為體數據渲染的圖像組應該數據源越多越好，這樣效果更加精細，光碟數據的圖源數據和用來渲染的圖像數據組的多少會影響最終渲染效果，因此，終端醫學成像裝置2會自動挑選出其中數據最多的一組圖源進行解析，並進一步渲染，同樣地，在自動挑選圖源時，終端醫學成像裝置2還會優選層厚較薄的圖源，該層厚範圍優選為0.2-0.7mm。終端醫學成像裝置2通過網絡資料庫3獲得本地醫學成像裝置1編輯形成的傳遞函數結果，以實現實時動態渲染(dynamicrealtimerendering)。
終端醫學成像裝置2可以通過網絡訪問網絡資料庫3獲取圖源，網絡資料庫3中的圖源可以是來自於本地醫學成像裝置1，亦可以是來自於另一個終端醫學成像裝置2，舉例說明，當兩位醫生a、b各自使用自己的終端醫學成像裝置2，醫生a可以將圖源上傳至網絡資料庫3，供醫生b獲取，以實現兩位醫生的交互診斷。除此之外，終端醫學成像裝置2還可以通過設置一光碟驅動器，以直接讀取解析光碟中dicom文件生成texture2d/3d圖像體數據。
此外，在另一較佳實施例中，不同於現有技術中較常採用的「通過濾波操作消除圖像數據中的噪聲，提高圖像的質量」，本地醫學成像裝置1和/或終端醫學成像裝置2在進行體繪製過程中，並不對圖像進行濾波處理，以使得病灶邊緣清晰易辨別，實現病灶的易識別。
需要說明的是，本發明所提供的原始dicom數據的讀取，均為不破壞原始圖像文件dicom體數據的讀取方式，其區別於現有技術中破損原始dicom數據的讀取方式。本地醫學成像裝置1如同終端醫學成像裝置，亦可以進一步具有外部輸入設備和/或顯示器和/或hmds12，用於進行圖像顯示。並且，本地醫學成像裝置1中的顯示器和hmds12、終端醫學成像裝置2中的顯示器21和hmds22均能實現三維人體圖像放大至60倍進行顯示，同時，根據用戶的選擇，將關閉光照的表現方式作為顯示方式。
在另一較佳實施中，該醫學成像系統具有專人專號設置，即當用戶使用本地醫學成像裝置1對人體內臟器官成像效果進行更新深度的數據調整時，其通過使用其專有的帳號進行本地醫學成像裝置1的登錄，以實現各個用戶數據之間的安全獨立性。
本發明所提供的醫學成像系統，其體繪製渲染採用了特殊的傳遞函數編輯效果，如：不同器官具有不同的顏色，形成真實的器官圖像；需要觀測的器官和病灶體採用原本色彩，其他器官採用藍色作為組織色；三維人體圖像包括人體內臟器官以及人體內臟器官內的組織結構。此外，不同用戶可以對存儲於網絡資料庫中的同一圖源進行分別編輯。
本發明所提供的醫學成像系統，在使用dicom數據基礎上研究特殊的傳遞函數算法使得器官邊緣清晰合理以及病灶邊界線區分清晰辨識度高，並且器官顏色、透明度的不同對比使得三維立體層次感更強，其為大數據研究算法的結果，使邊緣線以點成形的效果呈現，而不是以面成形的效果呈現,因此通過本系統顯示的圖像可以達到最髙清晰可見度來識別病灶。
圖4是本發明所提供的醫學成像系統的資源獲取流程圖。如圖所示，本地醫學成像裝置或終端醫學成像裝置通過光碟機讀取ct盤中的dicom數據，根據ct盤的盤符判斷此ct盤是否已經被讀取，其中的dicom數據是否已被解析。當ct盤已被讀取，其中的dicom數據已被解析，那麼將不對該ct盤進行資源獲取。當ct盤未被讀取過，則進一步忽略已被建立的dicomdir，讀取不含圖像信息格式的dicom數據；
進一步地，本地醫學成像裝置或終端醫學成像裝置自動挑選出含數據最多的一組dicom數組進行讀取，即並非讀取所有的dicom數組，從而獲得ct片中患者信息(如姓名、性別、採集器官)以及ct圖片信息，該ct圖片信息通過本地資料庫進行存儲後，再存儲至網絡資料庫中。此步驟中，ct圖片信息若已生成相應的texture2d，將不被存儲；
最後，將上一步驟中被存儲的ct片中患者信息和ct圖片信息進一步生成texture3d，以供後續進行體繪製。
圖10-圖13是本發明所提供的醫學成像系統的hmds顯示的效果圖；圖14-圖17是本發明所提供的醫學成像系統的hmds特殊顯示的效果圖，該特殊顯示是指，對感興趣的器官或組織進行特殊對比處理，其通過反向渲染編輯器改變器官或組織的顏色和/或透明度實現。
與現有技術相比較，本發明所提供的醫學成像系統具有以下優點：第一、人體成像效果更加真實、立體、直觀，醫生能夠自動識別患者器官，辨識病灶；第二、實現三維人體成像的交互式展示，醫生可以對三維成像進行定位縮放、旋轉視圖以實現多角度觀看、拉伸視圖以「進入」人體內部進行觀察、上下移動視圖、改變特定區域的顏色和/或透明度以突出顯示某具體器官或組織結構；第三、通過hmds(head-mounteddisplaysset)，醫學成像更加清晰，能夠看到二維無法觀看到的死角，並且增加了互動性和沉浸感；第四、網絡資料庫和本地資料庫共存，進行數據存儲、共享、管理，優化資源配置；第五、通過專人專號設置，保證各個用戶數據之間的安全獨立性。
如無特別說明，本文中出現的類似於「第一」、「第二」的限定語並非是指對時間順序、數量、或者重要性的限定，而僅僅是為了將本技術方案中的一個技術特徵與另一個技術特徵相區分。同樣地，本文中出現的類似於「一」的限定語並非是指對數量的限定，而是描述在前文中未曾出現的技術特徵。同樣地，本文中在數詞前出現的類似於「大約」、「近似地」的修飾語通常包含本數，並且其具體的含義應當結合上下文意理解。同樣地，除非是有特定的數量量詞修飾的名詞，否則在本文中應當視作即包含單數形式又包含複數形式，在該技術方案中即可以包括單數個該技術特徵，也可以包括複數個該技術特徵。
本說明書中所述的只是本發明的較佳具體實施例，以上實施例僅用以說明本發明的技術方案而非對本發明的限制。凡本領域技術人員依本發明的構思通過邏輯分析、推理或者有限的實驗可以得到的技術方案，皆應在本發明的範圍之內。