一種視覺測量中的快速三維重建方法
2023-05-09 23:47:16 1
一種視覺測量中的快速三維重建方法
【專利摘要】本發明提供了一種視覺測量中的快速三維重建方法，首先進行攝像機內參和外參的標定，然後採集立體圖像對並根據攝像機標定結果對圖像對進行對極線校正，然後進行特徵點檢測與描述，接著進行特徵點匹配，結束後，利用匹配結果計算出其在世界坐標系中的三維坐標，最後利用Delaunay三角剖分對左圖像進行三角剖分，得到頂點編號，最後利用OpenGL將三角形逐個貼到計算出的三維坐標上，即可。
【專利說明】一種視覺測量中的快速三維重建方法
【技術領域】
[0001]本發明屬於雙目立體視覺【技術領域】，具體涉及一種視覺測量中基於特徵點匹配的快速三維重建技術。
【背景技術】
[0002]三維重建一直是計算機視覺的重要研究領域之一。近年來，三維重建技術的研究取得了巨大的進步，新技術新方法不斷湧現。常用的三維重建方法主要有運動圖像序列法、光度立體學方法、紋理恢復形狀法和立體視覺方法等。各種三維重建方法的理論基礎不同，在精度、尺寸以及系統價位等方面存在一定的差異，因此適用的應用領域也不盡相同。現有的三維獲取系統通常使用特定的硬體設備，如X射線、雷射測距儀等，系統投資巨大，所以需要研製一種使用方便、穩定性好、花費低的三維信息獲取系統。隨著數字影像技術的迅速發展，如何使用普通便攜數碼設備實現三維重建技術的應用逐漸成為研究的熱點，對視覺精度、穩定性、操作過程簡單化等方面也提出了更高的要求。
[0003]空間繩系機器人系統由「空間繩系機器人+空間繫繩+空間平臺」組成，具有安全、靈活、操作距離遠等特點，可廣泛應用於在軌維修、在軌加注、輔助變軌及在軌空間站輔助組裝等在軌服務中，已經成為空間操控【技術領域】的研究熱點之一。這種新型的微型智慧機器人，在空間可以自主逼近目標。在其逼近的過程中利用自身攜帶的雙目視覺測量系統對目標進行實時檢測、跟蹤與三維測量。因此由於立體視覺法功耗低，不需要人為的設置輻射源，只利用場景在自然光照條件下的二維圖像來重建物體的三維信息，在這種應用環境下具有適應性強、實現手段靈活、造價低的優點，是目前研究最多、應用最廣泛的技術之一。
[0004]雙目立體視覺方法採用兩臺攝像機模擬人類雙眼處理景物的方式，從兩個視點觀察同一場景，獲得不同視角下的一對圖像，然後通過左右圖像間的匹配點，恢復出場景中目標物體的幾何形狀和位置等三維信息。該項技術在機器人視覺、車輛自主駕駛、多自由度機械裝置控制、非接觸自動在線檢測等領域均具有很大的應用價值。
[0005]立體視覺雖然經過20多年的發展，但是無論從視覺生理角度，還是從實際應用角度來看，現有的立體視覺技術還處於不成熟的階段。基於立體視覺的三維重建技術在一些核心算法上仍然存在有待解決的問題。立體匹配中如何選擇合理的匹配特徵，從而克服匹配準確性與恢復視差全面性間的矛盾；如何選擇有效的匹配準則和算法結構，從而解決存在灰度失真、幾何畸變、噪聲幹擾及遮擋景物的匹配問題；如何建立更加有效的圖像表達形式和立體視覺模型，從而更充分地反映景物的本質屬性，為匹配提供更多的約束信息，降低立體匹配的難度。
[0006]因此，目前三維重建研究工作還有待進一步的改進。
[0007]本專利基於FAST特徵檢測、SURF描述以及Delaunay三角剖分算法等，能夠快速精確地對目標物體進行被動三維重建，具有較為廣泛的應用範圍和良好的應用前景。
【發明內容】
[0008]本發明的目的在於彌補現有圖像拼接算法在速度、重建精度上、模型逼真度等方面的不足，提供一種視覺測量中的快速三維重建方法，能夠快速自動對空間繩系機器人雙目立體視覺系統採集到的左右圖像進行三維重建。
[0009]為實現上述目的，本發明的技術方案為:
[0010]一種視覺測量中的快速三維重建方法，首先進行攝像機內參和外參的標定，然後採集立體圖像對並根據攝像機標定結果對圖像對進行對極線校正，然後進行特徵點檢測與描述，接著進行特徵點匹配，結束後，利用匹配結果計算出其在世界坐標系中的三維坐標，最後利用Delaunay三角剖分對左圖像進行三角剖分，得到頂點編號，最後利用OpenGL將三角形逐個貼到計算出的三維坐標上，即可。
[0011]對採集到的圖像對進行對極線校正之前，首先對其進行中值濾波和維納濾波。
[0012]特徵點描述之後，採取特徵點勻散化，所述特徵點勻散化即分別計算特徵點之間的歐式距離，如果兩者距離小於10個像素，則刪除其中任意一個，如果兩者距離大於或等於10個像素，則全部保留。
[0013]特徵點匹配的具體方法為:
[0014](I)利用FLANN匹配算法對特徵點集進行匹配，得到匹配特徵點集{Plml，Plffl2,…，PlmcJ 和{Prml，f*rm2> ，PrmcJ ;
[0015](2)計算各個匹配點之間的歐式距離dlrl，dlr2,…，dlrc ；
[0016](3)對於匹配特徵點集{Plml，Plm2,…，PlmJ和{P-，Prm2,…，PrmJ中的每個特徵點，如果dw〈2 X dmin，其中，dlri為第i個歐式距離，dmin為歐式距離中的最小值，則該該特徵點對視為正確匹配，保留該特徵點對Plmi和Pnni ^口果屯^≥2Xdmin，該特徵點對視為錯誤匹配，剔除該特徵點對Plmi和P-。
[0017]與現有技術相比，本發明具有如下有益效果:本發明採用FAST算法進行特徵點提取極大地提高了檢測速度；通過設計的勻散化策略避免了特徵點聚集，提高了重建精度；通過Delaunay三角剖分技術並結合OpenGL,使得三維重建結果能夠逼真的顯示。
[0018]此外，本發明還具有以下優點:
[0019]1、算法的耗時較少，重建速度顯著提高；
[0020]2、三維重建精度與逼真度較高；
[0021]3、應用場景比較廣泛。
[0022]本發明的方法易於實現和應用，主要可以應用於以下幾個方面:
[0023]1、機器人應用場景的三維重建；
[0024]2、雙目立體視覺測量系統。
【專利附圖】
【附圖說明】
[0025]圖1為本發明的算法總流程框圖。
[0026]圖2為雙目立體視覺三維重建原理圖。
[0027]圖3為左右相機採集到的原始圖像經校正變換後的圖像對。
[0028]圖4為得到的逼真三維圖像效果。
【具體實施方式】[0029]以下結合附圖對本發明進行詳細的描述。應當指出的是，所描述的實施例僅旨在便於對本發明的理解，而對其不起任何限定作用。
[0030]如圖1所示，本發明實施例提供的快速三維重建方法包括:
[0031](I)圖像採集
[0032]左右兩臺相機對目標圖像同步進行採集，分別得到左圖像I1(Xj),右圖像Ir (χ, y)。
[0033](2)圖像預處理
[0034]對採集到的圖像I1Uy)和Ir(x，y)分別進行中值濾波和維納濾波，得到平滑的目標圖像對 Iel (χ』，y』)和 lra(x』，y』)。
[0035](3)攝像機標定
[0036]採用張定友標定法，利用左右相機多次採集到的圖像對進行攝像機標定，得到各自的內參數矩陣A1, A1^以及外參數矩陣[Rxt1], [Rrtr] .
[0037]其中關於步驟(3)如何具體操作，為本領域公知技術，可參考文獻l「Bradski GaryBradski, Kaebler Adrian Kaebler.學習OpenCV.於仕琪，劉瑞被，譯.北京:清華大學出版社，2009:414-429.」，此處不再贅述。
[0038](4)對極幾何校正及圖像變換
[0039]利用步驟(3)攝像機標定的結果，對步驟(2)得到的左圖像Icd(X』，y』 )和右圖像lra(x』，y』 )進行極線校正變換，從而獲得左右極線對齊後的圖像對Id(X』』，y』』)和lcr(x，，，y，，)。
[0040]其中關於步驟(4)如何具體操作，為本領域公知技術，可參考文獻2「Bradski GaryBradski, Kaebler Adrian Kaebler.學習OpenCV.於仕琪，劉瑞被，譯.北京:清華大學出版社，2009:430-432.」，此處不再贅述。
[0041](5)特徵點檢測與匹配
[0042]採用FAST算法，分別對步驟(4)得到的極線對齊後的圖像對Id(x』』，y』』)和I?(x』 』，y』 』)進行特徵點檢測，利用SURF算法進行特徵描述，同時採取特徵點勻散化策略，得到特徵點集{P11，Pltj2,…，PltJ 和{pm1，pm2，…，PmJ。
[0043]其中關於如何進行特徵點檢測以及如何進行特徵點描述，為本領域公知技術，可參考文獻 3 uRosten E, Porter R, Drummond T.Faster and better:A machinelearning approach to corner detect1n[J].1EEE Transact1ns on Pattern Analysisand Machine Intelligence, 2010，32 (I):105-119.」,文獻 4 「Bay H, Tuytelaars T, GoolL V.SURF: speeded uprobust features.The9th European Conference on ComputerVis1n, 2006.」，此處不再贅述。
[0044]其中所述的特徵點勻散化策略就是，分別計算特徵點之間的歐氏距離，如果兩者距離小於10個像素，則刪除其中任意一個。如果兩者距離大於等於10個像素，則全部保留。
[0045]然後利用FLANN匹配算法對特徵點集{P11，Plo2,…，PloJ和{PMl，Pro2,…，PronI進行匹配，由此得到匹配特徵點集{plml，Plm2,…，PlmcJ和{Prml，Prm2,…，PnJ。
[0046] 採用閾值法對上述匹配特徵點集{Plml，Plm2,…，PlmcJ和{Prml，Prm2,…，PJ進行錯誤匹配點的剔除。方法如下:分別計算各匹配點之間的歐式距離dlrt，dlr2,…，dlM。計算得到其中的最小距離Clniintl[0047]對匹配特徵點集{Plml，Plm2,…，PlmcJ和{P,ml，Prm2,…，PnJ中每個特徵點對進行如下判斷，如果《2乂(1_，其中，d1H為第i個歐式距離，該特徵點對視為正確匹配，則保留該特徵點對Plmi和Pnoi ;如果d1H ^ 2Xdmin，該特徵點對視為錯誤匹配，則剔除該特徵點對Plmi和Prmi。經過該步驟後得到正確匹配的特徵點集{Plfml，Plfm2,…，Plfmj}和{Prfml，Prfm2,…，Prfmjl。
[0048](6)計算3D坐標:
[0049]根據如圖2所示的視差原理，利用步驟(5)得到的正確匹配點對可以相應的求出其在世界坐標系中的三維坐標。圖中B表示左右相機之間的基線距離，f為左右相機鏡頭焦距。P(X，Y，Z)表示世界坐標系中的一個點坐標，其在左相機成像中投影為(Xl，yi)，其在右相機成像中投影為
[0050](Xl, Yl)和(xr，yr)即為步驟(5)中正確的匹配點對。
[0051](X1, Y1)和(Xr，yr)用各自圖像上的像素坐標表示，B和P (X，Y，Z)用毫米表示，f?用像素表示。根據相似三角形的知識就可以推出:
【權利要求】
1.一種視覺測量中的快速三維重建方法，其特徵在於:首先進行攝像機內參和外參的標定，然後採集立體圖像對並根據攝像機標定結果對圖像對進行對極線校正，然後進行特徵點檢測與描述，接著進行特徵點匹配，結束後，利用匹配結果計算出其在世界坐標系中的三維坐標，最後利用Delaunay三角剖分對左圖像進行三角剖分，得到頂點編號，最後利用OpenGL將三角形逐個貼到計算出的三維坐標上，即可。
2.根據權利要求1所述的一種視覺測量中的快速三維重建方法，其特徵在於:對採集到的圖像對進行對極線校正之前，首先對其進行中值濾波和維納濾波。
3.根據權利要求1所述的一種視覺測量中的快速三維重建方法，其特徵在於:特徵點描述之後，採取特徵點勻散化，所述特徵點勻散化即分別計算特徵點之間的歐式距離，如果兩者距離小於10個像素，則刪除其中任意一個，如果兩者距離大於或等於10個像素，則全部保留。
4.根據權利要求1所述的一種視覺測量中的快速三維重建方法，其特徵在於:特徵點匹配的具體方法為: (1)利用FLANN匹配算法對特徵點集進行匹配，得到匹配特徵點集{Plml，Plffl2,…，PlmcJ和{Prml, Prm2， ，Prmc}; (2)計算各個匹配點之間的歐式距離dlrl，dlr2,-,dlrc ； (3)對於匹配特徵點集{Plml,Plm2,...，PlmJ和{Prml, Prm2,...，PrmJ中的每個特徵點，如果dlri<2 X dmin，其中，dlri為第i個歐式距離，dmin為歐式距離中的最小值，則該該特徵點對視為正確匹配，保留該特 徵點對Plmi和Pnili ;如果d1H ^ 2 Xdmin，該特徵點對視為錯誤匹配，剔除該特徵點對Plmi和P-。
【文檔編號】G06T17/00GK104036541SQ201410128774
【公開日】2014年9月10日 申請日期:2014年4月1日 優先權日:2014年4月1日
【發明者】黃攀峰, 蔡佳, 張彬, 臺健生, 龔思怡 申請人:西北工業大學