實現自動對焦和三維重建的顯微系統的製作方法
2023-09-19 13:03:05
本實用新型屬於顯微視覺信號檢測、處理及控制領域，具體涉及一種實現自動對焦和三維重建的顯微系統。
背景技術：
隨著醫學儀器的發展，現代醫學儀器顯微系統中的顯微鏡的放大倍數越來越大導致景深越來越小，因此採用手動調焦必然會增加手動調焦的難度。現有技術中，單純的自動調焦系統已經被實現，其系統主要包括PC機和相應步進電機控制電路，其中PC機主要完成顯微圖像處理、電機控制電路根據PC機反饋的信號對步進電機進行控制。而現代醫學中顯微視覺下物體的三維重建，在市場上也有比較成熟的產品，如日本奧林巴斯公司生產的雷射共聚焦顯微鏡可以實現對細胞圖像的三維重建、該三維重建後的圖像為偽彩色三維圖像，並不是真正意義上的三維圖像；德國卡爾·蔡司公司生產的體視顯微鏡也可以實現對細胞圖像的三維重建，其工作原理的實質是兩個單鏡筒顯微鏡並列放置，兩個鏡筒的光軸構成相當於人們用雙目觀察一個物體時所形成的視角，以此形成三維空間的立體視覺圖像，但其調焦部分仍然採用手動的方式進行。現有的產品技術中，可實現自動調焦的不能實現圖像的三維重建，可實現圖像三維重建的，不具有自動調焦的功能。
技術實現要素：
本實用新型旨在解決現有技術中存在的技術問題，而提出一種既能實現顯微物體自動調焦又能實現圖像三維重建的顯微系統。
為實現上述目的，本實用新型提出的實現自動對焦和三維重建的顯微系統包括PC機；顯微攝像頭，與所述PC機通信連接，所述顯微攝像頭前方設置有顯微鏡頭，顯微鏡頭將待觀察物體顯微放大；單片機，與所述PC機通信連接並接收PC機的指令信號並轉換成控制信號輸出；一號步進電機，與所述一號平臺連接並用於驅動所述一號平臺旋轉；二號步進電機，與所述一號平臺連接並用於驅動所述一號平臺前後移動；三號步進電機，與所述一號平臺連接並用於驅動所述一號平臺傾斜角度α；四號步進電機，與所述一號平臺連接並用於驅動所述一號平臺上下移動；五號步進電機，與所述一號平臺連接並用於驅動所述一號平臺前後移動；一號步進電機驅動板，與所述單片機連接並根據所述單片機輸出的控制信號控制所述一號電機工作；二號步進電機驅動板，與所述單片機連接並根據所述單片機輸出的控制信號控制所述二號電機工作；三號步進電機驅動板，與所述單片機連接並根據所述單片機輸出的控制信號控制所述三號電機工作；四號步進電機驅動板，與所述單片機連接並根據所述單片機輸出的控制信號控制所述四號電機工作；五號步進電機驅動板，與所述單片機連接並根據所述單片機輸出的控制信號控制所述五號電機工作。
通過一號步進電機驅動一號平臺帶動位於其上的待觀察物件進行旋轉，可以獲得不同旋轉角度條件下的顯微圖像，因此通過旋轉的方式來模擬實現三維重建當中的雙目功能，因此在進行角度旋轉時，常採用在未進行旋轉的基礎上加上1800的方式進行旋轉，這樣就可以模擬實現雙目三維重建當中的左視圖和右視圖的採集功能，通過二號步進電機驅動一號平臺帶動位於其上的待觀察物件進行前後移動，可以調整顯微物體在視野當中的前後位置；五號步進電機電機驅動一號平臺帶動位於其上的待觀察物件進行左右移動，可以調整顯微物體在視野當中的左右位置；通過三號步進電機驅動一號平臺帶動位於其上的待觀察物件進行傾斜角度a進行調整，達到通過傾斜不同的角度實現對顯微物體的不同側面進行觀察；四號步進電機驅動一號平臺帶動位於其上的待觀察物件進行上下移動，達到對已經調整好旋轉角度和傾斜角度的平臺進行自動調焦；顯微鏡頭對1號平臺上的待顯微物體進行放大，然後後成像在攝像頭當中的感光晶片上，最後傳輸至PC機的軟體上進行圖像處理，達到三維建模的目的，另外可以通過操作PC機上的軟體實現對各步進電機工作的控制，達到自動對焦的目的，從而可以減少人為造成的誤差，即實現了自動調焦有能實現三維重建。
進一步的，實現顯微物體自動對焦和三維重建的顯微系統還包括二號平臺和三號平臺，所述一號步進電機固置於所述二號平臺上並驅動所述一號平臺旋轉，所述三號步進電機設置在二號平臺與三號平臺之間並驅動所述二號平臺帶動所述一號平臺傾斜，二號步進電機、四號步進電機和五號步進電機與三號平臺連接並驅動所述三號平臺帶動所述二號平臺及所述一號平臺分別作前後移動、上下移動和左右移動。
進一步的，由於顯微視覺的視野範圍比較小，因此傾斜角度α滿足-50≥α≥50可以得到比較滿意的視覺效果。
上述實現自動對焦和三維重建的顯微系統顯微圖像獲取方法包括以下步驟：
S10：攝像頭的標定,採用張正友提出的平面標定法進行攝像頭的標定；
S20：左視圖和右視圖的獲取，將自動調焦完成之後視頻信號的某一幀作為左視圖，將旋轉角度完成之後視頻信號的某一幀作為右視圖；
S30：圖像特徵提取及匹配、採用GFTT算法對特徵點進行提取，採用SIFT算法作為圖像特徵匹配的算法；
S40：三維重建過程，採用基於特徵區域擴張的方法進行三維重建。
顯微圖像獲取方法中，攝像頭的標定採用張正友提出的平面標定法，具有高精度和高魯棒性等特點，在平面標定方法中得到很好的應用；由於攝像機向上位機軟體傳送的是視頻信號，由於在左視圖和右視圖選取之前，需要進行自動調焦操作，因此把自動調焦完成之後視頻信號的某一幀作為左視圖，而將旋轉角度完成之後視頻信號的某一幀作為右視圖；採用GFTT算法對特徵點進行提取是由於該算法作為特徵點檢測算法在顯微環境下已經得到很好應用，而SIFT算法採用KD-tree搜索策略，具有較高的匹配精度和較強的魯棒性；基於特徵區域擴張的方法主要利用特徵點匹配重建空間稀疏點，在通過擴散得到物體表面的稠密點雲，該方法無需任何初始信息，操作簡單，算法精度取決於特徵點的匹配。
具體的，在步驟S20中，左視圖和右視圖的獲取包括以下步驟過程：
S21:觀察顯微圖像，控制二號步進電機和五號步進電機工作，使得顯微圖像在視野範圍之內；
S22：控制三號步進電機工作，進行顯微攝像調焦，直至自動調焦結束，其中在調焦過程中控制四號步進電機工作，控制一號平臺傾斜角在設定範圍內，其中顯微攝像調焦採用基於laplacian清晰度評價函數的方法進行調焦；
S23：選取視頻信號中的一幀圖像作為左視圖，並存儲；
S24：控制室一號步進電機工作，一號平臺轉動角度β時的一幀圖像作為右視圖，並存蓄，其中225°≥β≥145°。
在步驟S22中，還包括對laplacian清晰度評價函數進行修改，修改方法如下：
由原Laplacian清晰度評價函數為：
拉普拉斯算子是二階算子，其定義為：
由二階導函數的定義得到：
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
則Laplacian函數表示為：
設空間任意位置處p(x,y,z)投影到感光器件上的像素點為f(x,y)，則空間任意位置處p(x,y,z)在豎直方向的投影為p(x,y)，而p(x,y,z)與p(x,y)之間的夾角為傾斜角度α，因此間接求出p(x,y)對應的清晰度評價函數為f(x,y)cosθ，之後對二階導函數的定義做如下修改：▽2f(x,y)＝(f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1))cosθ-4f(x,y)修改後的Laplacian函數可以表示為：
最後把修改後的Laplacian函數作為自動調焦算法的清晰度評價函數。
在步驟S24中，選取185°≥β≥175°。
具體的，在步驟S30中，GFTT算法具體步驟為：
S31：計算每個像素點的二階偏導(IX)2、(Iy)2、IxIy；
S32：計算每個像素的二階矩陣M
式中代表卷積，
S33：獲得M矩陣對應的兩個特徵值λ1和λ2；
S34：選取max(min(λ1,λ2))確定最終的角點。
本實用新型提供的實現自動對焦和三維重建的顯微系統通過圖像獲取方法實現自動對焦和三維重建，系統電路和光路設計簡單，集成度高；通過相應上位機軟體，可以實現對底層硬體電路的操作，這樣就可以減少人為造成的誤差。
附圖說明
本實用新型的上述和/或附加的方面和優點從結合下面附圖對實施例的描述中將變得明顯和容易理解，其中：
圖1本實用新型的實現自動對焦和三維重建的顯微系統結構示意圖；
圖2本實用新型的顯微系統圖像獲取方法過程示意圖；
圖3是本實用新型方案中的旋轉拍照模型圖。
具體實施方式
為了能夠更清楚地理解本實用新型的上述目的、特徵和優點，下面結合附圖和具體實施方式對本實用新型進行進一步的詳細描述。需要說明的是，在不衝突的情況下，本申請的實施例及實施例中的特徵可以相互組合。
在下面的描述中闡述了很多具體細節以便於充分理解本實用新型，但是，本實用新型還可以採用其他不同於在此描述的方式來實施，因此，本實用新型的保護範圍並不受下面公開的具體實施例的限制。
下面參照圖1至圖3對本實用新型實施例作進一步的描述。
如圖1所示，實現自動對焦和三維重建的顯微系統，包括：PC機、USB2.0埠的顯微攝像頭、位於攝像頭前方的放大倍數為100X的顯微鏡頭、一號步進電機、二號步進電機、三號步進電機、四號步進電機、五號步進電機以及與之相對應的一號步進電機驅動板、二號步進電機驅動板、三號步進電機驅動板、四號步進電機驅動板、五號步進電機驅動板、單片機、RS232串口通信模塊。PC機與單片機之間通過RS232模塊進行通信，單片機根據接收到的PC機(即上位機)指令信號向與之對應的步進電機驅動板發送相應控制信號，之後步進電機根據接收到的控制信號執行相應的動作，這些動作包括轉動時間、轉動方向和轉速。具體執行動作方式為：一號步進電機固置於所述2號平臺上並根據一號步進電機驅動板接收到的控制信號可帶動一號平臺(載物臺)進行360°旋轉；其主要作用是為了獲得不同旋轉角度條件下顯微圖像，而本實施例中主要想通過旋轉的方式來模擬實現三維重建當中的雙目功能，因此在進行角度旋轉時，常採用在未進行旋轉的基礎上加上β角度的方式進行旋轉，其中225°≥β≥145°都能實現基本目的，在185°≥β≥175°時效果更加理想，控制β＝180°時則是一個絕佳對稱位置，這樣就可以模擬實現雙目三維重建當中的左視圖和右視圖的採集功能。二號步進電機根據二號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)、二號平臺和三號平臺進行前後移動；其主要作用是為了調整顯微物體在顯微鏡頭視野當中的前後位置；三號步進電機根據三號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)和二號平臺傾斜角度α進行控制，精度控制在5°≥α≥-5°，即一號平臺面與顯微鏡頭面之間的夾角小於等於5°；其主要作用是通過旋轉不同的角度實現對顯微物體的不同側面進行觀察，獲得比較滿意的視覺效果，如果傾斜角大於5°顯微圖像將變模糊，達不到理想的可識別效果；四號步進電機根據四號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)、二號平臺和三號平臺上下進行控制；其主要作用是對已經調整好旋轉角度和傾斜角度的平臺進行自動調焦；五號步進電機根據五號步進電機驅動板接收到的控制信號可對一號平臺(載物臺)、二號平臺和三號平臺左右進行控制；其主要作用是為了調整顯微物體在視野當中的左右位置。顯微鏡頭(物鏡)對一號平臺上的顯微物體進行放大，並成像於攝像頭當中的感光晶片上，最後通過USB2.0通信模塊傳輸至PC機軟體上進行圖像處理。其中圖像處理包括的步驟有攝像頭的標定、左視圖和右視圖的獲取、圖像特徵提取及匹配、三維重建。
以上實施例中，電機與各平臺的連接關係可以進行變換組合，只要實現調整一號平臺的位置即可，例如可以二號電機可以只驅動一號平臺和二號平臺運動以調整前後位置。
攝像機的標定：採用張正友提出的平面標定方法進行標定，現有技術中的參考文獻可以發現攝像機的標定方法有很多種，但張正友提出的平面標定法具有高精度和高魯棒性等特點，在平面標定方法中得到很好的應用。
左視圖和右視圖的獲取：由於攝像機向PC機(上位機)軟體傳送的是視頻信號，因此在進行左視圖和右視圖選取時，常常選取視頻信號的某一幀作為左視圖或者右視圖；由於在左視圖和右視圖選取之前，需要進行自動調焦操作，因此常常把自動調焦完成之後視頻信號的某一幀作為左視圖，而右視圖的選取，常常把三號步進電機旋轉角度完成之後視頻信號的某一幀作為右視圖。
圖像特徵提取及匹配：採用GFTT算法對圖像特徵點進行提取，GFTT算法具體步驟為：
1、計算每個像素點的二階偏導(IX)2、(Iy)2、IxIy。
2、計算每個像素的二階矩陣M
其中代表卷積；
3、獲得M矩陣對應的兩個特徵值λ1和λ2；
4、選取max(min(λ1,λ2))確定最終的角點；
參考文獻發現特徵點檢測算法比較多，而GFTT特徵點檢測算法在顯微環境下得到很好應用給，故採用GFTT算法對特徵點進行提取。
特徵匹配算法採用SIFT算法，特徵匹配SIFT算法採用KD-tree搜索策略，具有較高的匹配精度和較強的魯棒性。
三維重建：
採用基於特徵區域擴張的方法對顯微物體進行三維重建，顯微物體三維重建是實現三維結構精密測量的關鍵一步，目前國內外學者已經開發出各種各樣的重建技術。其中比較常用的有基於側影輪廓的方法和基於特徵區域擴張的方法，基於側影輪廓的方法是利用圖像中物體輪廓信息來估計物體的形狀，其精度主要取決於物體輪廓提取的準確性、獲取圖像序列的數量以及物體結構的複雜程度，影響因子多，精度不易控制，局限於凸狀物體的重建；而基於特徵區域擴張的方法主要利用特徵點匹配重建空間稀疏點，在通過擴散得到物體表面的稠密點雲，該方法無需任何初始信息，操作簡單，算法精度僅取決於特徵點的匹配，精度控制容易實現故本實用新型實施例中三維重建算法將採用基於特徵區域擴張的方法來實現。
在圖2中，顯微系統圖像獲取方法過程，該方法實施過程如下：
首先啟動上位機軟體，通過上位機軟體攝像機進行標定，標定完成之後，對傳至PC機(上位機)軟體上的視頻圖像進行去噪，同時觀察顯微圖像是否在視野範圍之內，如果顯微圖像不在視野範圍之內，上位機軟體通過RS232通信模塊向單片機發送控制命令，控制二號步進電機和五號步進電機轉動，帶動一號平臺進行前後及左右位置調整，以實現顯微圖像在視野中的位置；當顯微圖像處於視野中，並且處在一個合理的位置時，之後上位機軟體通過RS232通信模塊向單片機發送控制命令，控制三號步進電機轉動，實現一號平臺和二號平臺傾斜一定角度a；當傾斜角度調整完成之後，執行上位機軟體當中自動調焦算法，並根據自動調焦算法計算出的結果實時通過RS232通信模塊向單片機發送控制命令，控制四號步進電機轉動，實現一號平臺、二號平臺和三號平臺上下位置的調整，從而實現自動調焦；調焦完成之後，選取視頻信號中的一幀圖像作為左視圖，並存儲該圖像；存儲完成之後，上位機軟體通過RS232通信模塊向單片機發送控制命令，控制一號步進電機轉動，實現一號平臺旋轉一定角度，為了更好的找到左視圖對稱位置的圖像，旋轉角度設置為180°；旋轉角度完成之後，選取視頻信號中的一幀圖像作為右視圖並存儲該圖像。之後對以存儲的左視圖和右視圖採用GFTT算法對其特徵點進行圖像特徵點提取，之後再採用SIFT算法對已經提取的圖像特徵點進行匹配；在特徵點匹配完成之後，在上位機軟體上執行三維重建操作；三維重建完成之後，上位機軟體分別向通過RS232通信模塊向單片機發送控制命令，控制一號、二號、三號、四號、五號步進電機轉動使之平臺回到初始位置。
在圖3中，給出了旋轉拍照模型，接下來將對基於旋轉模型的自動調焦原理進行介紹。在對顯微圖像調焦時，常常採用基於清晰度評價函數的方法進行調焦，然而在使用基於清晰度評價函數進行調焦時，顯微平面都是不傾斜的平面，因為一旦平面傾斜不能聚焦的像素點就會增多，雖然不傾斜的平面在最佳聚焦位置，也不能保證所有的像素點聚焦，但顯微物體一般景深都比較小，因此不聚焦的像素點的個數會遠遠小於聚焦的像素點的個數，所以當顯微物體處於最佳聚焦位置時，整體看到的顯微圖像的清晰程度處於人眼可以接受的範圍之內。但當顯微平面傾斜時，就相當於間接的拉伸顯微物體的景深，顯然當顯微平臺處於最佳聚焦位置時，離焦像素點就會增多。在圖1中發現，傾斜平面上的物體在感光器件上的投影，與水平面上的物體在感光器件上的投影有一定的差別，而現有的清晰度評價函數都是針對水平面上的物體進行自動調焦的，因此如果不對傾斜平面投影到感光器件上形成圖像的像素做一下處理，那麼現有的基於清晰度評價函數的調焦算法就不能使用，自動調焦也就無法實現。
參考文獻發現常用的清晰度評價函數有很多種，每種清晰度評價函數都有各自的優缺點，其中Laplacian清晰度評價函數為：
拉普拉斯算子是二階算子，其定義為：
由二階導函數的定義可以得到：
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
則Laplacian函數可以表示為：
如果空間任意位置處p(x,y,z)投影到感光器件上的像素點為f(x,y)，則空間任意位置處p(x,y,z)在豎直方向的投影為p(x,y)，而p(x,y,z)與p(x,y)之間的夾角為傾斜角度a，因此可以間接求出p(x,y)對應的清晰度評價函數為f(x,y)cosθ；之後對二階導函數的定義做如下修改：
▽2f(x,y)＝(f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1))cosθ-4f(x,y)
修改後的Laplacian函數可以表示為：
最後把修改後的Laplacian函數作為自動調焦算法的清晰度評價函數；
其中調焦算法採用固定步長與自適應變步長相結合的方法進行調焦。
以上顯示和描述了本實用新型的基本原理和主要特徵及本實用新型的優點，本行業的技術人員應該了解，其中的術語「連接」、「相連」均應作廣義理解，可以是機械連接也可以是電連接，可以是固定連接、一體連接也可以是活動連接或可拆卸連接，可以是物理連接也可以是信號連接，可以是直接相連也可以是通過中介媒介間接相連，只要不超出實際的本質連接關係，都應被正常接受的理解，以上僅為本實用新型的優選實施例而已，並不用於限制本實用新型，對於本領域的技術人員來說，本實用新型可以有各種更改和變化。凡在本實用新型的創造性精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本實用新型的保護範圍之內。