基於虛擬實境和增強現實的智能手術輔助系統的製作方法
2023-05-01 18:28:54
本發明屬於電子技術領域，更進一步涉及一種智能手術輔助系統，可用於醫學影像平臺和手術輔助系統中。
背景技術：
臨床手術是現代醫療的重要診療手段，目前複雜外科手術的實施方案，主要依賴於核磁共振、計算機斷層掃描等三維醫學影像來制定。但臨床手術開刀之後，由於存在血液漫流和器官遮擋等生理因素，醫生的手術視野比較有限，手術中所見景象往往血肉模糊，加之術中病灶常常發生形態變化，脈管結構存在複雜畸變，往往難以直觀辨認。手術室配備的醫療影像設備使用複雜，往往需要配備專門的醫護人員來操作儀器，使用不便，醫生很難將術中所見血肉模糊的景象與術前影像學圖像關聯起來，造成了注意力的分散，這種信息不對稱的情形導致解剖結構辨識困難，影響術中決策。
近年來，為了解決複雜外科手術難以有效開展的問題，結合虛擬實境和增強現實技術的最新發展，主要通過術前術中信息，建立無畸變三維立體圖像，捕捉術中視野或手術動作，對術中每一階段的生理狀況進行逐一檢測和融合，反饋給醫生作為指導。
method和bayinnovation合作，在2015年其公布的設備vivi醫學專用智能頭戴眼鏡中以下簡稱vivi頭戴眼鏡，使用增強現實技術，在醫生做手術的過程中顯示病人當前的脈搏、血壓及體溫等身體數據和補充資料。該設備通過藍牙與手術室中其他監護設備連接，可攜式方案起到了很好的配合作用，避免了在升級現有手術室設備時，器材過多、功能冗雜的問題，醫生可以把注意力放回到病人身上，如果出現緊急情況，及時調整手術決策。目前vivi頭戴眼鏡只能呈現血壓血氧等最簡單的參數，醫生仍需要從其他地方獲得更加深入的信息。
北京航空航天大學所申請的發明專利「一種用於增強現實手術導航的腹腔鏡視頻精準融合方法」中(公開號：cn106327587a，申請號：cn201611019614.x，申請日：2017.01.11)，首先對腹腔鏡相機進行標定，確定相機參數，並使用該參數進行3d圖形渲染引擎的投影矩陣設置；獲取手術對象術中的腹腔鏡圖像，用3d圖形渲染引擎生成對應的無畸變視圖，並用畸變模型使其變形為與實際腹腔鏡具有同樣畸變效果的虛擬視圖；通過融合虛擬視圖與實際腹腔鏡圖像，生成虛擬視圖的每一個像素點的深度值，最終獲得具有正確位置映射關係的精準虛擬-真實融合視頻用於手術導航。
深圳市科創數字顯示技術有限公司所申請的發明專利「ar和vr相結合的醫學培訓系統」(公開號：cn106251752a，申請號：cn201610940646.7，申請日：2016.10.25)，通過3d圖像採集模塊採集手術目標對象以及培訓人員使用的手術器械的三維圖像，通過動作捕捉模塊實時捕捉培訓人員的手術動作，通過中央處理器輸出糾正信息和指導信息，建立包含3d圖像採集模塊採集的三維圖像、指導信息以及糾正信息的增強現實或虛擬實境模型，培訓人員通過ar交互模塊實時獲取手術目標對象和其使用的手術器械的狀況、指導信息以及糾正信息，能夠提升醫療培訓的真實感與臨場感，縮短醫療培訓周期，降低醫療培訓成本。
上述現有的使用虛擬實境和增強現實的系統仍有以下部分缺陷：
第一，通過拍攝場景加以3d渲染變形，僅能還原器材或病灶的表面情況，不能深入畸變的生理結構內部，提供其任意角度和即時狀態的生理信息；
第二，使用者無法快速地進行人機互動，在術中導航難以做到實時有效，只能單一地從機器反饋的信息中矯正自己的動作，有一定的滯後性，無法命令機器達到醫生自己術中最需要的效果；
第三，僅捕捉了如相機、手術器材等簡單外設的信息，可提供的輔助功能較為單一，不能直接對患者本身病情作出快速指導，使術前規劃、術中操作、手術培訓的完整過程在一定程度上出現了斷層。
技術實現要素：
本發明的目的在於針對上述現有技術的不足，提出一種基於虛擬實境和增強現實的智能手術輔助系統及方法，以對核磁共振、計算機斷層掃描這些傳統三維醫學影像進行直觀全面、具體精確地查看與標定，並以語音交互的方式，為手術中醫生作出實時指導。
本發明的技術方案是這樣實現的：
一、技術原理
本發明採用htcvive作為虛擬實境設備，採用hololens作為增強現實設備，以unity5.3.5作為開發平臺，利用c#語言編程，研究開發術前虛擬影像工作室、術中投影顯示及交互調用模塊。
手術前，根據醫生實際需要，分割出患者術前ct圖像中的病灶部分，並對其進行三維可視化重建，使用虛擬影像工作室導入病灶模型，通過虛擬實境設備深入病灶模型內部進行直觀的規劃標註，並將規劃標註與病灶模型一起導出為術前規劃模型，以供術中使用；
手術中，通過增強現實設備，對病灶周邊環境實時建模，使術前規劃模型與真實手術病灶得到配準，醫生使用指定語音識別詞，對模型進行三維旋轉縮放，實時獲取指導信息，從而解放醫生的雙手，最大程度地減少醫生的注意力損失，使醫生更專注於手術實施。
二、實現方案：
根據上述原理，本發明基於虛擬實境和增強現實的智能手術輔助系統，包括：
數據預處理單元，用於通過醫學影像處理軟體，將醫院採集到的原始ct/mri影像信息轉化為系統可用的影像材料，重建三維病灶模型，並將其傳遞給術前規劃單元；
術前規劃單元，用於通過虛擬實境設備htcvive，搭建虛擬影像工作室，載入本地三維病灶模型，使用者能夠深入到病變器官內部的微小立體結構中，以任意角度對病灶進行分析，做出三維手術規劃路徑，並將規劃路徑與病灶模型進行合併，導出三維規劃模型，以供術中輔助單元隨時調用；
術中輔助單元，用於通過增強現實設備hololens獲得三維病灶模型的特徵點，使其與真實病灶部位得到空間配準，並調取顯示三維規劃模型提供的方案決策、手術監控設備提供的血氧血壓這些基礎生理參數，幫助醫生辨認組織結構，執行術前規劃；
根據上述原理，本發明基於虛擬實境和增強現實的智能手術輔助方法，包括如下步驟：
1)數據讀入：
讀取格式為.dcm或.raw的原始ct數據，對原始ct數據依次進行平滑、分割的預處理，得出病灶結構，並將病灶結構導出為.vtk或.nii格式；
2)重建病灶模型：
將病灶結構轉換為虛擬實境設備可用的.fbx或.obj模型，使其適應於虛擬影像工作室的數據接口，完成三維病灶模型的重建，並據此構建本地模型庫；
3)手術前，使用者佩戴虛擬實境設備進入虛擬實境影像工作室，選擇ui界面中的對應功能：
3a)導入病灶模型：
通過虛擬實境設備手柄前端射線和按鍵，在ui界面中選擇需要從本地模型庫導入的三維病灶模型，並使用虛擬實境設備手柄觸摸板，調節病灶模型至不同查看方式所需的大小；
3b)選擇病灶查看方式：
使用者根據3a)中病灶模型的不同放大倍數，在ui界面顯示的抓取查看和飛行查看這兩種方式中選擇自己最適宜的查看方式；
3c)進行手術規劃：
使用者停止3b)查看過程中的空間移動，在ui界面中選擇畫筆標註，設置線條顏色和粗細，扣動手柄右側扳機在需要的空間位置做出注釋，扣動手柄左側扳機擦除錯誤標註；
3d)導出三維規劃模型：
對3c)所得的手術規劃標註位點進行實例化，並將其作為子類模型疊加在病灶模型上，共同導出三維規劃模型，以供手術中使用；
4)手術中，使用者佩戴增強現實設備啟動語音交互和手勢識別功能：
4a)啟動雲端虛擬機，將點擊和拖拽的特定手勢與虛擬機滑鼠動作關聯起來，以控制安裝於虛擬機上的影像處理軟體，執行其內置的影像旋轉、放縮、亮度調節和區域分割功能；
4b)發出指定語音識別詞，依次自由控制三維規劃模型旋轉與縮放，初步觀察術前規劃及病灶結構信息；
4c)將三維規劃模型與真實手術病灶配準融合，以顯示三維相關切口路徑，從而輔助使用者辨認解剖結構，執行術前規劃。
本發明與現有的技術相比具有以下優點：
第一，本發明使用的三維重建數據來自核磁共振與計算機斷層掃描，相比血氧血壓等常規生理參數，以及普通攝像頭掃描具有更高空間解析度，更精確豐富的結構信息。
第二，本發明在手術前，基於虛擬實境設備重建特異性病灶模型，使醫生可以深入病灶內部，以任意角度觀察細微病變，做出三維手術規劃，相較於傳統的通過二維切面的規劃方式更加直觀、立體、準確、全面。
第三，本發明在手術中，基於增強現實設備獲得的空間標記點，快速實現虛擬病灶模型與真實病灶位置的配準融合，並直接投影呈現於眼前真實空間，避免了注視顯示屏帶來的注意力分散。
第四，本發明將語音交互與手勢識別相融合，使得人機互動方式便捷，可隨時調取並控制影像資料與方案決策，避免了接受單一的模式化指導，使醫生能靈活地根據手術實際需要進行輔助，更專注於手術操作。
附圖說明
圖1是本發明系統的方框圖；
圖2是本發明方法的總流程圖；
圖3是本發明方法中在手術前規划過程的子流程圖；
圖4是本發明方法中在手術進行中輔助過程的子流程圖；
圖5是本發明方法中在手術前規划過程的ui界面示意圖；
圖6是本發明裝置中在手術前規划過程的畫筆標註示意圖；
圖7是本發明裝置中在手術進行中輔助過程的結構配準示意圖。
具體實施方式
為了使本發明所要解決的技術問題、技術方案及有益效果更加清楚明白，以下結合附圖及實施例，對本發明進行詳細的說明。應當說明的是，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。
參照圖1，本發明基於虛擬實境和增強現實的智能手術輔助系統，包含數據預處理單元1、術前規劃單元2和術中輔助單元3，其中：
數據預處理單元1，用於通過醫學影像處理軟體，將醫院採集到的原始ct/mri影像信息轉化為系統可用的影像材料，重建三維病灶模型，存入本地模型庫並將其傳遞給術前規劃單元2；該原始ct/mri影像信息不僅包含病灶部分，還存在無關器官和組織以及噪聲幹擾，需要進行平滑和分割以提取出較為獨立的病灶影像數據，進而重建三維病灶模型，使影像數據立體可視化；該本地模型庫中可存儲經過數據預處理單元1處理的不同患者不同病灶的三維病灶模型，供使用者在術前規劃單元2快速調取；
術前規劃單元2，用於通過虛擬實境設備htcvive，搭建虛擬影像工作室，載入本地三維病灶模型，使用者能夠深入到病變器官內部的微小立體結構中，以任意角度對病灶進行分析，做出三維手術規劃路徑，並將規劃路徑與病灶模型進行合併，導出三維規劃模型，以供術中輔助單元3隨時調用；該三維病灶模型即為從本地模型庫中調取的經過預處理的病灶模型；該三維手術規劃路徑為手術規划過程中，由畫筆標註做出並暫存的三維路徑；該三維規劃模型為三維病灶模型與三維手術規劃路徑合併導出，可長期保存並用於術中輔助單元3的手術方案決策；
術中輔助單元3，用於通過增強現實設備hololens獲得三維病灶模型的特徵點，使其與真實病灶部位得到空間配準，並調取顯示三維規劃模型提供的手術方案決策、雲端虛擬機影像處理軟體提供的量化生理數據和手術監控設備提供的血氧血壓這些基礎生理參數，幫助使用者辨認組織結構，執行術前規劃；該量化生理數據和基礎生理參數，由特定手勢控制雲端虛擬機相應軟體，執行其內置量化與監控功能獲得；該手術方案決策，由特定語音識別詞控制三維規劃模型空間配準後得出；
數據預處理單元1與術前規劃單元2通訊連接，傳遞三維病灶模型以實現手術操作前的規劃；術前規劃單元2與術中輔助單元3通訊連接，傳遞三維規劃模型以實現手術操作時的導航。
上述術前規劃單元2，包含ui界面模塊21、模型控制模塊22、抓取查看模塊23、飛行查看模塊24、畫筆標註模塊25和數據導出模塊26，其中：
ui界面模塊21，用於承載虛擬影像工作室的其他各項功能模塊，增強其可視化交互性，使用者通過ui界面按鈕，從本地模型庫中選擇不同的三維病灶模型，先依次啟動抓取查看模塊23、飛行查看模塊24和畫筆標註模塊25，切換病灶模型查看方式，做出三維手術規劃路徑，再啟動數據導出模塊26，導出三維規劃模型，以供手術中使用；
模型控制模塊22，用於通過虛擬實境設備手柄觸摸板，對三維病灶模型進行自由縮放，以達到使用者在抓取查看模塊23和飛行查看模塊24所需的視覺範圍；該視覺範圍以心臟為例，抓取查看模塊23所適用的病灶模型為其1-3倍，飛行查看模塊24所適用的病灶模型為其30-50倍；
抓取查看模塊23，用於通過虛擬實境設備手柄按鍵，對相較於真實心臟比例1-3倍的病灶模型進行抓取，並將其拖拽以貼近面部，供使用者查看病灶模型內部和外部的結構信息，避免人為走動；
飛行查看模塊24，用於通過虛擬實境設備手柄觸摸板，對相較於真實心臟比例30-50倍的病灶模型精確查看，手柄前端自動發出射線表示飛行基線，使用者通過觸摸板按鍵控制相對於基線的左右移動和高度升降，以觀察靜止病灶模型內部的微小結構；
畫筆標註模塊25，用於通過虛擬實境設備手柄扳機，對三維病灶模型進行影像數據標註和手術方案規劃，即先根據rgb和hsv取色模式，設置線條顏色和粗細，再跟蹤所持手柄的空間定位，做出三維標註及錯誤擦除；該rgb取色模式基於紅綠藍三種色彩通道，hsv取色模式基於色調、飽和度和亮度三種色彩特徵。
數據導出模塊26，用於獲取畫筆標註模塊25做出的三維手術規劃路徑，並將其作為子類與三維病灶模型合併，導出為三維規劃模型，通過術中輔助單元3的語音交互模塊32和結構配準模塊33實時顯示。
通過ui界面模塊21分別對抓取查看模塊23、飛行查看模塊24、畫筆標註模塊25和數據導出模塊26單向控制，實現對各自功能的快速啟動；模型控制模塊22、抓取查看模塊23、飛行查看模塊24和畫筆標註模塊25在功能上相對獨立，使用者可根據實際需要組合使用；畫筆標註模塊25與數據導出模塊26通訊連接，傳遞標註路徑以實現三維規劃模型的導出。
上述術中輔助單元3，包含雲端控制模塊31、語音交互模塊32和模型配準模塊33，其中：
雲端控制模塊31，用於將點擊和拖拽的特定手勢與雲端虛擬機滑鼠動作關聯起來，通過這種手勢識別，控制虛擬機上的影像處理軟體和手術監護軟體，以完成程序內部預設功能；需要注意的是，虛擬機上所配置的程序並非屬於本系統，具體實現功能取決於程序本身，手勢識別只起到控制作用。
語音交互模塊32，用於為使用者設置特定英文語音識別詞，通過這種語音交互，投影顯示術前規劃模型，使模型的空間投影位置可隨使用者視野邊界的移動而移動，並在隨時保持模型可見的同時，自由控制其旋轉和縮放；該語音識別詞包括「left」、「right」、「smaller」、「bigger」、「back」、「stop」以及整數數字；該旋轉縮放有兩種呈現方式，第一種為僅控制開始和結束的基礎模式，其形式為「left」表示模型繞z軸順時針開始旋轉，「stop」表示模型停止旋轉，第二種為含有整數參數的精確控制，其形式為「left，30」表示模型繞z軸順時針旋轉30度，「bigger，2」表示模型放大2倍。
結構配準模塊33，用於通過增強現實設備的空間定位感知，使術前規劃模型與真實手術病灶得到配準，以進一步隱去術前規劃模型中的三維病灶部分，只保留其手術規劃路徑、三維切口位置及深度信息，做出手術導航；該空間定位感知基於三維空間掃描，以生成環境表面mesh網格；該配準融合的控制基於特定語音識別詞「register」和「hind」；
語音交互模塊32與結構配準模塊33通訊連接，傳遞語音識別詞，實現術前規劃模型與真實手術病灶的配準，以及手術規劃路徑的導航；雲端控制模塊31與前兩者相對獨立，通過手勢識別控制雲端虛擬機，以獲取量化生理數據和基礎生理參數。
參照圖2，本發明基於虛擬實境和增強現實的智能手術輔助方法，其實現步驟如下：
步驟1，數據讀入。
以先天性心臟病患者的胸部計算機斷層掃描為例，以下簡述為胸部ct，讀取格式為.dcm或.raw的胸部ct數據，對胸部ct數據依次進行平滑、分割的預處理，得出心臟部位的病灶結構，並將病灶結構導出為.vtk或.nii格式。
步驟2，重建病灶模型。
將病灶結構轉換為虛擬實境設備可用的.fbx或.obj模型，使其適應於虛擬影像工作室的數據接口，經烘焙渲染完成三維病灶模型的重建，並據此構建本地模型庫。
步驟3，手術前，使用者佩戴虛擬實境設備進入虛擬實境影像工作室，選擇ui界面中的對應功能。
參照圖3，本步驟的具體實現如下：
3a)導入病灶模型：
通過虛擬實境設備手柄前端射線和按鍵，在圖5所示的ui界面中選擇需要從本地模型庫導入的三維病灶模型，並使用虛擬實境設備手柄觸摸板，調節病灶模型至不同查看方式所需的大小，順時針為模型放大，逆時針為模型縮小；
3b)選擇病灶查看方式：
使用者根據所需觀察的病灶部位和手術規劃精度，在ui界面顯示的抓取查看和飛行查看這兩種方式中選擇最適宜的查看方式：
當使用者對病灶模型的內部外部都需要分析時，選擇抓取查看模式，該模式下的病灶模型為其真實比例的1-3倍，病灶模型初始固定於虛擬影像工作室地面，使用者扣動手柄扳機對其抓取，以實現外部標註，當病灶模型被拖拽至貼近面部時，使用者視線可由外部切換至內部，以實現內部標註；
當使用者僅需要精確分析病灶模型的內部結構時，選擇飛行查看模式，該模式下病灶模型為其真實比例的30-50倍，手柄前端自動發出射線表示飛行基線，使用者通過觸摸板按鍵控制相對於基線的左右移動和高度升降，因模型放大比例巨大，使用者觀察視線始終在模型內部，可觀察到微小細節以精確規劃；
3c)進行手術規劃：
使用者停止查看過程中的空間移動，在ui界面中選擇圖6所示的畫筆標註，設置線條顏色和粗細，扣動手柄右側扳機以利用畫筆標註在需要的空間位置做出標註，扣動手柄左側扳機以擦除錯誤標註，其中用畫筆標註空間位置的過程如下：
首先，建立相機空間與世界空間的映射關係，使其在空間位置內相對統一；
其次，選取畫筆設置畫筆參數：
通過rgb或hsv取色器，選取所呈現線條的顏色；
將線條划過各個像素點的位置，存儲為三維向量點連接的陣列；
將線條長度存儲為陣列對應行中的點的數量；
統一畫筆開始寬度與終止寬度，令陣列第一行和最後一行寬度默認相等；
最後，通過虛擬實境設備openbrush組件的inputmanager接口，將設置的畫筆參數預製在虛擬實境手柄中，並調控相應ui按鈕，在空間預定位置將線條實例化；
3d)導出三維規劃模型：
對3c)所得的已實例化的手術規劃標註位點，作為子類模型疊加在病灶模型上，導出可長期保存的完整三維規劃模型，以供在手術過程中使用。
步驟4，手術中，使用者佩戴增強現實設備，啟動語音交互和手勢識別功能。
參照圖4，本步驟的具體實現如下：
4a)啟動azune雲平臺的雲端虛擬機，將點擊和拖拽的特定手勢與虛擬機滑鼠動作關聯起來，以控制安裝於windows系統虛擬機上的手術監護軟體，跟蹤實時血壓血氧這些基礎生理參數，幫助使用者及時應對突發情況；控制windows系統虛擬機上的影像處理軟體，執行內置的影像旋轉、縮放、亮度調節和區域分割功能，獲取影像的量化生理數據，以彌補基礎生理參數過於簡單的不足；
4b)發出指定語音識別詞，自由控制三維規劃模型旋轉與縮放，初步觀察術前規劃方案及病灶結構信息，如「left，30」表示模型繞z軸順時針旋轉30度，「bigger，2」表示模型放大2倍，「left」表示模型繞z軸順時針開始旋轉，「stop」表示模型停止旋轉；
4c)基於增強現實設備的空間定位感知，使三維規劃模型與真實手術病灶配準融合，以輔助使用者辨認解剖結構，並顯示三維切口路徑，幫助使用者執行手術前的規劃方案，如「register」表示執行虛擬模型與真實空間的配準，「hind」表示隱去病灶模型子類，只保留手術規劃路徑進行術中導航，其中三維規劃模型與真實手術病灶配準，步驟如下：
4c1)調取增強現實設備spatialmapping組件對周圍空間進行三維掃描，以實時對環境表面建模，生成三角形拓撲結構的mesh網格，且為不遮擋視線，將網格邊緣設置為透明；
4c2)調取增強現實設備spatialunderstanding組件，提取規劃標註點的三維空間特徵，即捕捉標註點所指向的物體表面，並轉譯為mesh網格中相應的三角形拓撲位置；將標註點設置為虛擬物體，再通過mesh網格將其放置在真實環境中，使三維規劃模型與真實手術病灶得到配準，如圖7所示，其中圖7a為配準前示意圖，圖7b為配準後示意圖。
由上可知，本發明實例以計算機斷層掃描採集到的胸部ct原始數據為基礎，通過虛擬實境技術深入結構內部，進行準確有效的術前規劃；通過增強現實技術在手術中提供實時指導，避免了注意力的分散；增強現實設備還可對手術中關鍵操作進行簡單錄像，便於手術後評估或指導。
以上所述僅為本發明的較佳實施例而已，並不用於限制本發明，凡在本發明的原則和精神之內所作的任何修改、等同替換和改進等，均就包含在本發明的保護範圍之內。