數字立體顯微系統的虛擬標尺方法和系統的製作方法
2023-10-09 09:08:14 1
專利名稱：數字立體顯微系統的虛擬標尺方法和系統的製作方法
技術領域：
本發明涉及數字立體顯微圖像技術領域，特別是涉及一種數字立體顯微系統的虛擬標尺方法，以及一種數字立體顯微系統的虛擬標尺系統。
背景技術：
目前的3D數字顯微系統在傳統體式顯微鏡上安裝分光器,將顯微鏡米集的光學信號分出兩路，通過工業相機上的CCD或CMOS感光元件將分光器分出的光學信號轉為數位訊號，再通過工業相機上數據接口將圖像數據傳輸到計算機或監視器上，從而使觀察者擺脫對光學目鏡的束縛。3D數字顯微系統具有兩個並排的成像元器件，通過在不同的視角實時採集被觀察物體，將得到的雙目圖像經過處理後，可以產生3D圖像，形成立體視覺。雖然3D數字顯微系統能夠實現3D立體效果，提供高清晰度的三維空間圖像，但傳統的3D數字顯微系統無法實現3D圖像中物體相對位置的精確測量。而在手術過程中，手術器械位置的深淺非常重要，只能通過操作者觀察3D圖像通過經驗來感知其深度，手術過程的安全性和可靠性不高，因此亟需能夠精確確定3D數字顯微圖像中手術器械的深度，為數字立體顯微系統提供虛擬標尺的技術。
發明內容
基於此，本發明提供一種3D數字顯微圖像中手術器械深度的確定方法和系統，能夠精確確定顯微系統中手術器械的深度，為數字立體顯微系統提供一虛擬標尺，有效提高手術過程的安全性和可靠性。一種數字立體顯微系統的虛擬標尺方法，包括如下步驟:獲取顯微系統的景深閾值區間；
通過追蹤算法追蹤3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域；以所述第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域；根據所述第一路圖像的手術器械區域和所述第二路圖像的手術器械區域，確定所述手術器械的視差，再根據所述視差確定所述手術器械距離顯微鏡物鏡的深度；若所述深度在所述景深閾值區間內，則標示所述深度。一種數字立體顯微系統的虛擬標尺系統，包括獲取模塊、追蹤模塊、判斷模塊、深度模塊和標示模塊；所述獲取模塊用於確定顯微系統的景深閾值區間；所述追蹤模塊用於通過追蹤算法追蹤3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域；所述判斷模塊用於以所述第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域；所述深度模塊用於根據第一路圖像的手術器械區域和第二路圖像的手術器械區域，確定手術器械的視差，再根據所述視差確定所述手術器械距離顯微鏡物鏡的深度；所述標示模塊用於獲取所述顯微系統的景深閾值區間，若所述深度在所述景深閾值區間內，則標示所述深度。上述數字立體顯微系統的虛擬標尺方法和系統，為了提高手術操作的準確性，在使用追蹤算法追蹤到其中一路圖像中的手術器械的基礎上，再通過模板匹配確定另一路圖像中手術器械的位置，根據兩路圖像中手術器械的位置的坐標差確定手術器械的深度並標示，為數字立體顯微系統提供一虛擬標尺，能定量地提醒操作者手術器械的所在位置，提高手術過程的安全性，從而協助操作者完成手術；本發明通過提供深度信息大大提高了手術過程的可靠性和精確度，同時最大可能的簡化手術過程的複雜性，減少操作者的工作量；本發明能自動跟蹤手術器械，深度值結果精確；另外本發明也能用於教學過程中對手術器械深度的定量提示，有利於學生快速掌握手術器械的操作。
圖1為本發明數字立體顯微系統的虛擬標尺方法在一實施例中的流程示意圖。圖2為本發明數字立體顯微系統的虛擬標尺系統在一實施例中的結構示意圖。
具體實施例方式下面結合實施例及附圖對本發明作進一步詳細說明，但本發明的實施方式不限於此。如圖1所示，是本發明 數字立體顯微系統的虛擬標尺方法在一實施例中的流程示意圖，包括:S11、獲取顯微系統的景深閾值區間；3D圖像的成像原理是由兩路攝像設備分別對同一個物體進行拍攝，得到的兩路重疊率較高的左圖和右圖，再將左圖和右圖進行處理後生成該3D圖像，本發明中所指的第一路圖像和第二路圖像即為構成所述3D圖像的左圖和右圖，利用本發明對3D圖像進行處理時，當第一路圖像指代左圖時，則第二路圖像指代右圖；當第一路圖像指代右圖時，則第二路圖像指代左圖。景深(depth of field,D0F)是一個描述在空間中，可以清楚成像的距離範圍。當鏡頭聚集於被攝影物的某一點時，這一點上的物體就能清晰地結像。在這一點前後一定範圍內的景物，由於肉眼無法察覺，也能記錄得較為清晰。也就是說，鏡頭拍攝景物的清晰範圍是有一定限度的，鏡頭的這種記錄得「較為清晰」的被攝影物縱深的範圍便為景深。在本步驟中，通過設置景深範圍，保證手術器械的深度是在景深範圍內確定的，從而保證手術刀深度值的精確性；在一較佳實施例中，所述確定顯微系統的景深閾值區間的步驟具體包括:la、接收輸入的3D圖像中距離顯微鏡物鏡的最近區域圖像和最遠區域圖像；操作者可在3D數字顯微系統的3D預覽模式下觀看當前拍攝的3D圖像，在所述3D圖像上確定該3D圖像的景深範圍，輸入其距離顯微鏡物鏡的最近區域圖像和最遠區域圖像。lb、通過深度圖求取算法分別求取所述最近區域圖像的深度圖和所述最遠區域圖像的深度圖；獲取到最近區域圖像和最遠區域圖像後，可通過深度圖求取算法求得所述最近區域圖像對應的深度圖和最遠區域圖像；其中，由於3D圖像由兩路圖像構成，獲取的最近區域圖像對應地包括第一路圖像中的最近區域圖像和第二路圖像中的最近區域圖像，而最遠區域圖像也包括第一路圖像中的最遠區域圖像和第二路圖像中的最遠區域圖像；在根據最近區域圖像中包含的兩組圖像通過深度圖求取算法生成最近區域圖像的深度圖，同理生成最遠區域圖像的深度圖。lc、獲取所述最近區域圖像的深度圖中的深度最小值以及所述最遠區域圖像的深度圖中的深度最大值；Id、根據所述深度最大值和所述深度最小值，得到所述景深閾值區間。根據步驟Ib獲得的兩組深度圖，讀取所述最近區域圖像的深度圖中的深度最小值以及所述最遠區域圖像的深度圖中的深度最大值，由深度最大值和深度最小值構成所述景深閾值區間。S12、通過追蹤算法追蹤所述3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域；圖像追蹤算法用於跟蹤確定圖像中某一物體的位置，本發明通過跟蹤算法，在手術器械移動時，利用該算法持 續實時獲取到圖像中手術器械在圖像中的區域；在一較佳實施例中，所述通過追蹤算法追蹤所述3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域的步驟具體為:獲取所述手術器械的顏色直方圖，再通過camshift算法對所述第一路圖像中的手術器械進行跟蹤，生成第一路圖像的手術器械區域；立體顯微系統中圖像，手術器械的顏色特徵一般較為明顯，camshift算法在簡單背景下能夠取得良好的跟蹤效果，該算法單純的考慮顏色直方圖，時間複雜度低，特別適合用於手術過程中的手術器械跟蹤，因此通過獲取圖像中手術器械的顏色直方圖，camshift算法即可根據該顏色直方圖對所述第一路圖像中的手術器械進行跟蹤，生成第一路圖像的手術器械區域。S13、以所述第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域；在一較佳實施例中，該步驟具體可包括:3a、確定所述第一路圖像的手術器械區域的第一中心點及所述第一中心點的坐標；3b、確定在第二路圖像中的第二中心點，以所述第二中心點為中心，截取第二路圖像中的搜索區域，其中，所述第二中心點的坐標與所述第一中心點的坐標相同，所述第二路圖像的搜索區域的長度和寬度大於所述第一路圖像的手術器械區域的長度和寬度；3c、以所述第一路圖像的手術器械區域為模板，對所述第二路圖像的搜索區域中的每個像素進行相似度判斷，根據零均值差的平方和相關法生成所述第二路圖像的手術器械區域；通過步驟S12中生成的第一路圖像的手術器械區域，在本步驟S13中進行模板匹配，獲取第二路圖像中的手術器械區域；首先通過所述第一路圖像的手術器械區域，獲取該區域的中心點，記為所述第一中心點，接著獲取第一中心點的坐標；根據第一中心點的坐標，查找第二路圖像中與第一中心點的坐標對應的點，記為第二中心點，以第二中心點為中心，在第二路圖像中截取一搜索區域，第二路圖像中的搜索區域的長度和寬度必須大於所述第一路圖像的手術器械區域的長度和寬度，即搜索區域的覆蓋範圍要大於第一路圖像的手術器械區域的覆蓋範圍；以第一路圖像的手術器械區域，根據零均值差的平方和算法對第二路圖像中的搜索區域進行模板匹配，獲得第二路圖像的手術器械區域；其中，所述零均值差的平方和相關法的計算方法如下:
權利要求
1.種數字立體顯微系統的虛擬標尺方法，其特徵在於，包括如下步驟: 獲取顯微系統的景深閾值區間； 通過追蹤算法追蹤3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域； 以所述第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域； 根據所述第一路圖像的手術器械區域和所述第二路圖像的手術器械區域，確定所述手術器械的視差，再根據所述視差確定所述手術器械距離顯微鏡物鏡的深度； 若所述深度在所述景深閾值區間內，則標示所述深度。
2.據權利要求1所述的數字立體顯微系統的虛擬標尺方法，其特徵在於，所述獲取顯微系統的景深閾值區間的步驟具體包括: 接收輸入的所述3D圖像中距離顯微鏡物鏡的最近區域圖像和最遠區域圖像； 通過深度圖求取算法分別求取所述最近區域圖像的深度圖和所述最遠區域圖像的深度圖； 獲取所述最近區域圖像的深度圖中的深度最小值以及所述最遠區域圖像的深度圖中的深度最大值； 根據所述深度最大值和所述深度最小值，構成所述景深閾值區間。
3.據權利要求1所述的數字立體顯微系統的虛擬標尺方法，其特徵在於，所述通過追蹤算法追蹤所述3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域的步驟具體為: 獲取所述手術器械的顏色直方圖，再通過camshift算法對所述第一路圖像中的手術器械進行跟蹤，生成第一路圖像的手術器械區域。
4.據權利要求3所述的數字立體顯微系統的虛擬標尺的確定方法，其特徵在於，所述以所述第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域的步驟具體包括: 確定所述第一路圖像的手術器械區域的第一中心點及所述第一中心點的坐標； 確定在第二路圖像中的第二中心點，以所述第二中心點為中心，截取第二路圖像的搜索區域，其中，所述第二中心點的坐標與所述第一中心點的坐標相同，所述第二路圖像中的搜索區域的長度和寬度大於所述第一路圖像的手術器械區域的長度和寬度； 以所述第一路圖像的手術器械區域為模板，對所述第二路圖像的搜索區域中的每個像素進行相似度判斷，根據零均值差的平方和相關法生成所述第二路圖像的手術器械區域。
5.據權利要求4所述的數字立體顯微系統的虛擬標尺方法，其特徵在於，所述根據第一路圖像的手術器械區域和第二路圖像的手術器械區域，確定手術器械的視差，再根據所述視差確定所述手術器械距離顯微鏡物鏡的深度的步驟具體包括: 根據所述第二路圖像的手術器械區域，確定所述第二路圖像的手術器械區域的中心點的橫坐標； 將所述第一路圖像的手術器械區域的中心點橫坐標與所述第二路圖像的手術器械區域的中心點橫坐標進行相減，得到所述手術器械的視差； 根據所述視差計算所述手術器械的深度。
6.種數字立體顯微系統的虛擬標尺系統，其特徵在於，包括獲取模塊、追蹤模塊、判斷模塊、深度模塊和標示模塊； 所述獲取模塊用於確定顯微系統景深閾值區間； 所述追蹤模塊用於通過追蹤算法追蹤3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域； 所述判斷模塊用於以所述第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與所述第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域； 所述深度模塊用於根據第一路圖像的手術器械區域和第二路圖像的手術器械區域，確定手術器械的視差，再根據所述視差確定所述手術器械距離顯微鏡物鏡的深度； 所述標示模塊用於獲取所述顯微系統景深閾值區間，若所述深度在所述景深閾值區間內，則標示所述深度。
7.據權利要求6所述的數字立體顯微系統的虛擬標尺系統，其特徵在於，所述獲取模塊中包括接收模塊、求取模塊、深度值模塊和構成模塊； 所述接收模塊用於接收輸入的所述3D圖像中距離顯微鏡物鏡的最近區域圖像和最遠區域圖像； 所述求取模塊用於通過深度圖求取算法分別求取所述最近區域圖像的深度圖和所述最遠區域圖像的深度圖； 所述深度值模塊用於獲取所述最近區域圖像的深度圖中的深度最小值以及所述最遠區域圖像的深度圖中的深度 最大值； 所述構成模塊用於根據所述深度最大值和所述深度最小值，構成所述景深閾值區間。
8.據權利要求6所述的數字立體顯微系統的虛擬標尺系統，其特徵在於，所述追蹤模塊具體用於獲取所述手術器械的顏色直方圖，再通過camshift算法對所述第一路圖像中的手術器械進行跟蹤，生成第一路圖像的手術器械區域。
9.據權利要求8所述的數字立體顯微系統的虛擬標尺系統，其特徵在於，所述判斷模塊具體包括確定模塊、截取模塊和模板判斷模塊； 所述確定模塊用於確定所述第一路圖像的手術器械區域的第一中心點及所述第一中心點的坐標； 所述截取模塊用於確定在第二路圖像中的第二中心點，以所述第二中心點為中心，截取第二路圖像的搜索區域，其中，所述第二中心點的坐標與所述第一中心點的坐標相同，所述第二路圖像中的搜索區域的長度和寬度大於所述第一路圖像的手術器械區域的長度和覽度； 所述模板判斷模塊用於以所述第一路圖像的手術器械區域為模板，對所述第二路圖像的搜索區域中的每個像素進行相似度判斷，根據零均值差的平方和相關法生成所述第二路圖像的手術器械區域。
10.據權利要求9所述的數字立體顯微系統的虛擬標尺系統，其特徵在於，所述深度模塊具體包括中心點坐標模塊、視差模塊和計算模塊: 所述中心點坐標模塊用於根據所述第二路圖像的手術器械區域，確定所述第二路圖像的手術器械區域的中心點的橫坐標；所述視差模塊用於將所述第一路圖像的手術器械區域的中心點橫坐標與所述第二路圖像的手術器械區域的中心點橫坐標進行相減，得到所述手術器械的視差； 所述計算模塊 用於根據所述視 差計算所述手術器械的深度。
全文摘要
本發明提供一種數字立體顯微系統的虛擬標尺方法，包括獲取顯微系統的景深閾值區間；通過追蹤算法追蹤3D圖像中第一路圖像中的手術器械，得到第一路圖像的手術器械區域；以第一路圖像的手術器械區域為模板，對第二路圖像進行相似度判斷，得到與第一路圖像的手術器械區域相似度最高的第二路圖像的手術器械區域；根據第一路圖像的手術器械區域和第二路圖像的手術器械區域，確定手術器械的視差，再根據視差確定手術器械距離顯微鏡物鏡的深度；若深度在景深閾值區間內，則標示深度。對應地本發明還提供一種數字立體顯微系統的虛擬標尺系統。本發明能夠精確確定3D圖像中手術器械的深度，有效提高手術過程的安全性和可靠性。
文檔編號A61B19/00GK103083089SQ20121058358
公開日2013年5月8日 申請日期2012年12月27日 優先權日2012年12月27日
發明者邵航, 張新, 葉斌, 曹峰 申請人:廣東聖洋信息科技實業有限公司