嵌入式標定立體視覺系統的製作方法

2023-04-27 19:07:06

專利名稱：嵌入式標定立體視覺系統的製作方法
技術領域：
本發明為一種立體視覺系統，屬於機器人視覺領域。
背景技術：
立體視覺系統的主要任務是通過獲取場景的二維圖像信息來計算場景的三維空間幾何信息。其中，攝像機標定是一個非常重要的步驟。傳統的攝像機標定技術是在攝像機前面一定距離的位置上放置一個標定物，該標定物上具有若干個已知精確三維空間位置的特徵點。獲取標定物圖像，提取特徵點在圖像中的位置。根據特徵點的三維空間位置和二維圖像位置計算攝像機的內部參數和外部參數。Faugeras等人(1986)和Tsai (1986)報告的攝像機標定方法都屬於這類方法。這些方法精度高，但是標定過程中需要人去放置標定物，標定結束後再移走標定物。這種方法增加了人的工作強度，為此，Thacker等人(1991) 利用工業機器人實現攝像機再標定技術；Zhang(1997)將標定物固定於車輛上實現在線立體攝像機標定，並應用於星球探測機器人上。這些標定方法的共同問題如下(1)標定攝像機時需要放置標定物，標定結束後再將標定物移走，增加了標定的工作量；(2)標定過程需要停止工作，無法實現在線自動標定；(3)立體攝像機的任何參數變化，比如焦距或基線發生變化，需要再進行上述的標定過程。為了解決上述問題，Yasuhiro Katayama(2005)報告了用透明標定物進行立體攝像機標定的方法。利用濾光材料在兩塊平行的、透明的標定板上做有規律排列的標記，通過不同波段的光照，採集標定物或者場景的圖像。該方法無需人為的放置或移走標定物，也可以實現自動和在線的標定，但該方法僅僅將標定物變成透明物，仍然將其放置在攝像機前一定距離位置上，不僅佔用場景空間，而且標定精度、標定距離和系統尺寸之間的矛盾非常突出，系統結構也不緊湊。

發明內容
本發明的目的是提供一種立體視覺系統，通過標定物對立體視覺系統進行強標定，但無需擺放和去除標定物等操作過程，也不佔用場景空間，實現立體視覺系統的在線和自動高精度魯棒標定。本發明的另一個目的是提供一種立體視覺系統，該系統獲取的每一場景立體圖像對中都嵌入了標定物圖像，提取圖像中標定物上的標定點，就可以估計系統參數，進而計算場景深度信息，是一種在變焦過程中仍能完成場景深度恢復的立體視覺系統。本發明的基本思想是採用單向透鏡(half-mirror)將來自標定物的光線反射到立體攝像機，而場景光線則透過單向透鏡進入到立體攝像機。也就是說，將標定物放在攝像機同一側，而不是放在立體攝像機前面。通過單向透鏡，立體攝像機既能看到場景，也能看到標定物。這樣，立體攝像機獲得圖像包含了場景圖像和標定物圖像，形成了嵌入式標定立體圖像對。從嵌入式標定立體圖像對中提取標定點，就可以進行立體視覺系統的標定，基於系統的標定參數就可以計算場景深度信息。本發明在焦距、基線等各個系統參數動態變化下，仍然可以恢復變化過程中的三維場景深度信息。為了延長標定物到立體攝像機之間的距離，同時又無需增加系統的體積，本發明採用多個反射鏡來延長光路，實現一定距離以外目標深度的精確恢復。標定物的尺寸是根據應用確定的。為了使整個系統尺寸較小，同時也為了攜帶方便，一般將標定物做得較小，但會影響系統標定精度；即使標定物做得較大，當標定物離攝像機較遠時，或把標定物放在大視場角攝像機前面時，標定物圖像也顯得較小，只佔整個場景圖像的很小部分，會影響系統的標定精度。解決這一問題的傳統方法是把標定物放在場景的多個位置上，獲取各個位置上標定物的圖像，然後使用所有不同位置上的標定物圖像對攝像機進行標定。本發明的方法是使用多面鏡，將一個標定物反射成多個鏡像，等同於把標定物放置在場景的多個位置上。本發明提供了一種嵌入式標定立體視覺系統，包括立體攝像機、單向透鏡、多面鏡、反射鏡組、標定物、光源和實時計算裝置，開啟光源，標定物被照亮，其光線經過反射鏡組到達多面鏡，形成多個標定物的鏡像並射向單向透鏡，單向透鏡將標定物的多個鏡像反射，進入到攝像機；場景光線也透過單向透鏡進入到攝像機中，從而使攝像機同時獲取標定物和場景的圖像；實時計算裝置讀取攝像機獲取的嵌入式標定立體圖像對，並實時計算場景稠密深度圖。本發明的特徵在於1.標定物嵌入在立體視覺系統內，標定物和立體視覺系統不是兩個分離的部件， 而是一個完整一體的系統；2.構成立體攝像機的兩個攝像機可以是變焦鏡頭，在線自動恢復不同焦距下的場景深度信息；3.使用多面鏡將一個標定物反射成多個標定物，起到了加大標定物尺寸的作用；4.將多個反射鏡放置在標定物和攝像機之間，起到了延長光路的作用，保證系統的小巧緊湊。5.用嵌入式晶片完成標定和深度恢復的實時計算；6.使用單向透鏡將場景和標定物同時匯聚到攝像機，形成嵌入式標定圖像。本發明具有以下優點(1)無需放置和移除標定物等煩瑣的操作；(2)標定物集成到系統內部，形成完全獨立的系統，任何人無需培訓就可以使用這樣的系統；(3)系統標定完全由系統自動在線完成，可以用於正在運行的各種車輛智能導航、 避障、場景感知等；(4)能夠實現變焦立體視覺恢復，可以用於各種智慧機器人多功能立體視覺系統 (變焦、變匯聚角度、變基線等)；(5)使用多面鏡形成多個標定物鏡像，位於圖像的大部分區域，大大提高系統的標定精度；(6)使用嵌入式晶片實時標定系統並計算稠密深度圖，不僅提高系統的計算性能，而且可以使得系統更加小巧、緊湊。


圖1為本發明的組成圖；圖2為多面鏡成像的光路圖，圖中以三面鏡子為例；圖3左圖為常用的棋盤格標定板，右圖為本發明所使用的標定物示意圖，每個平面都是棋盤格；圖4為實時計算裝置計算場景稠密深度圖的流程圖。
具體實施例方式
下面結合附圖，具體說明本發明的優選實施方式。本實施例由立體攝像機1、單向透鏡2、多面鏡3、反射鏡組4、標定物5、光源6和實時計算裝置7組成，如圖1所示。開啟光源6，標定物5被照亮，其光線經過反射鏡組4到達多面鏡3，形成多個標定物5的鏡像並射向單向透鏡2，單向透鏡2將標定物5的多個鏡像反射，進入到立體攝像機1 ；場景光線也透過單向透鏡2進入到立體攝像機1中，從而使立體攝像機1同時獲取了標定物和場景的圖像。立體攝像機1是指2個或2個以上鏡頭構成的攝像機或者是2個或2個以上攝像機構成的系統。本實施例中，立體攝像機1由2個普通攝像機構成，配備有電動可變焦距和光圈鏡頭，用於不同亮度場景和不同距離目標的清晰成像。單向透鏡2是一種單向透視玻璃，單向透視玻璃是指玻璃的一面允許光線透過， 而玻璃的另一面類似鏡子，只反射光線。這樣，單向透鏡2將來自標定物5和場景的光線同時匯集到攝像機1中，形成嵌入式標定圖像。多面鏡3是由多個平面鏡按照一定交角拼接起來。圖2所示的是3個鏡構成的多面鏡，產生3個標定物鏡像。顯然，三個鏡像比一個鏡像佔據更大的場景圖像範圍。反射鏡組4包含多個反射鏡，放置在標定物5和攝像機1之間，起到了延長光路的作用，保證了系統體積的小巧緊湊。標定物5採用最簡單的平面棋盤格進行標定，為了自動在線標定系統，本發明採用三塊互不重疊並具有不同姿態角的棋盤格作為標定物，如圖3所示。實時計算裝置7讀取立體攝像機1獲取的嵌入式標定立體圖像對，並實時計算場景稠密深度圖。圖4所示的是本實施例中採用的實時計算場景稠密深度的流程圖，包括四個模塊標定特徵點提取、攝像機參數估計、嵌入式標定圖像預處理、稠密深度圖計算。標定特徵點提取本發明標定物5的標定特徵點是棋盤黑白相間角點。訓練只有標定物5的圖形，得到標定物的初始位置和部分標定特徵點初始坐標；然後利用初始值計算單應矩陣，並通過射影變換映射出所有標定特徵點；再以每個特徵點為中心的小窗口裡檢測出新角點，並更新單應矩陣；如此迭代，最後得到標定特徵點的準確像素坐標。攝像機參數估計輸入標定特徵點的準確像素坐標，根據成像模型估計攝像機1 參數
權利要求
1.一種嵌入式標定立體視覺系統，其特徵在於，包括立體攝像機(1)、單向透鏡(2)、多面鏡(3)、反射鏡組(4)、標定物(5)、光源(6)和實時計算裝置(7)，開啟光源(6)，標定物 (5)被照亮，其光線經過反射鏡組(4)到達多面鏡(3)，形成多個標定物的鏡像並射向單向透鏡(2)，單向透鏡(2)將標定物(5)的多個鏡像反射，進入到攝像機(1)；場景光線也透過單向透鏡⑵進入到攝像機⑴中，從而使攝像機⑴同時獲取標定物和場景的圖像；實時計算裝置(7)讀取攝像機獲取的嵌入式標定立體圖像對，並實時計算場景稠密深度圖。
2.如權利要求1所述的一種嵌入式標定立體視覺系統，其特徵在於所述立體攝像機(1)是指2個或2個以上鏡頭構成的攝像機或者是2個或2個以上攝像機構成的系統，配備有電動可變焦距和光圈鏡頭。
3.如權利要求1或2所述的一種嵌入式標定立體視覺系統，其特徵在於，所述單向透鏡(2)是一種單向透視玻璃，單向透視玻璃是指玻璃的一面允許光線透過，而玻璃的另一面類似鏡子，只反射光線。
4.如權利要求1或2所述的一種嵌入式標定立體視覺系統，其特徵在於，所述多面鏡(3)由多個平面鏡按照一定交角拼接起來。
5.如權利要求1或2所述的一種嵌入式標定立體視覺系統，其特徵在於，所述反射鏡組(4)包含多個反射鏡。
6.如權利要求1或2所述的一種嵌入式標定立體視覺系統，其特徵在於，所述標定物(5)採用三塊互不重疊並具有不同姿態角的棋盤格。
7.如權利要求1或2所述的一種嵌入式標定立體視覺系統，其特徵在於，所述實時計算裝置(7)包括四個模塊標定特徵點提取、攝像機參數估計、嵌入式標定圖像預處理和稠密深度圖計算。
全文摘要
本發明涉及一種嵌入式標定立體視覺系統，包括立體攝像機(1)、單向透鏡(2)、多面鏡(3)、反射鏡組(4)、標定物(5)、光源(6)和實時計算裝置(7)，開啟光源(6)，標定物(5)被照亮，其光線經過反射鏡組(4)到達多面鏡(3)，形成多個標定物的鏡像並射向單向透鏡(2)，單向透鏡(2)將標定物(5)的多個鏡像反射，進入到攝像機(1)；場景光線也透過單向透鏡(2)進入到攝像機(1)中，從而使攝像機(1)同時獲取標定物和場景的圖像；實時計算裝置(7)讀取攝像機獲取的嵌入式標定立體圖像對，並實時計算場景稠密深度圖。本發明在攝像機焦距、基線和會聚角等參數動態變化下，仍然可以恢復場景深度信息。
文檔編號G03B35/08GK102368137SQ201110325949
公開日2012年3月7日 申請日期2011年10月24日 優先權日2011年10月24日
發明者王煜城, 賈雲得, 欽夏孟 申請人:北京理工大學