自由多視角、實時的三維重建系統和方法

2023-06-08 01:40:46

專利名稱：：自由多視角、實時的三維重建系統和方法
技術領域：
：本發明涉及計算機視覺、計算機技術、圖像處理等
技術領域：
，特別是一種自由多視角、實時的三維重建系統和方法。
背景技術：
：三維重建是計算機視覺中的一個重要研究內容，目的是從二維信息中獲取物體在空間中的三維特徵，建立物體的三維模型。隨著當今社會朝著網絡化和數位化方向的發展，三維重建在電子商務、網上旅遊、數字博物館和三維遊戲等領域有著廣泛的應用前景。目前，三維重建的研究方法主要分為兩大類一類是主動式方法，如雷射掃描儀，它可以獲得較高的重建精度，但設備價格昂貴，且需要專門的光源裝置來提供物體周圍的照明；另一類是被動式方法，如基於圖像序列的方法，它利用場景在自然光照下的二維圖像來重建景物的三維信息，這類方法不僅對設備要求低，而且操作簡便，因此受到了廣泛的應用。在基於圖像序列的三維重建系統中，由於在某一特定的視角下所獲得的三維數據只是對應於重建對象的某一局部表面的三維信息，為了實現全周360度的物體表面重建，則必須採集重建對象的多視角圖像。目前主要有兩種方法，一是使用轉臺旋轉重建對象，記錄轉臺轉過的角度，這種方法可以獲得較高的重建精度，但需要高精度的旋轉角控制；另一種方法是攝像機圍繞重建對象以規則或自由方式採集多視角圖像，該方法的硬體較為簡單，但在應用上有一定的局限性，即將圖像採集和對象重建分割為兩個獨立的步驟，因此不能及時發現採集時遺漏的對象視角，從而可能導致對象某些視角上三維信息的缺失。因此，如何利用簡單的設備且在較少的操作約束下，實時顯示對象的重建結果成為近年來三維重建領域的研究熱點。
發明內容本發明的目的在於提出一種可以在較低環境要求和較少操作約束下使用的三維重建方法，即一種自由多視角、實時的三維重建系統和方法。在該系統中，圖像採集和對象重建同步進行，重建結果實時顯示，能夠及時發現採集過程中遺漏的視角，提高使用者的靈活性。為達到上述目的，本發明的構思是自由多視角、實時的三維重建系統，如圖l所示由一臺CCD攝像機，一臺裝配有多通道圖像採集卡的計算機和一塊平面標定模板組成，平面標定模板用於標定攝像機參數。其中，計算機通過圖像採集卡與攝像機連接，計算機內設有一套三維重建程序，包括圖像分割、攝像機標定和對象形狀重建三個環節。本發明的系統特點是①對場景的照明無特殊要求，均是在自然光照下完成；②對重建對象的運動不作嚴格限制，從理論上講，對象可以作任意自由運動，但從有效性的角度考慮，希望對象在攝像機鏡頭視野和景深內作旋轉運動；③平面標定模板，如圖2所示中央繪有兩個同心圓，八條延長線經過圓心的直線段等分同心圓，將某一對相差180度的直線段向離心方向延伸一定長度，並在其中一根延長線旁繪製一根平行短線段(標記1、標記2所指)，取線段與同心圓的16個交點作為標定特徵點。攝像機標定程序可實現全自動、高精度的攝像機參數標定；⑤對象形狀重建程序與圖像採集同時進行，實時地顯示重建結果；◎全過程無人工幹預。本發明的自由多視角、實時三維重建方法採用上述系統實現，具有如下特點①利用閾值處理技術實現了對象的初始分割，進而結合對象的幾何特性利用數學形態學的處理方法實現了外圍場景、重建對象和模板圖案三者的分離；②將標定模板固定於對象底部，對每一幀圖像進行一次標定，從而確定攝像機與對象之間的實時位置關係；③利用從輪廓恢復形狀結合體素切割法重建對象的三維信息，並以三角面片法將三維信息轉換為對象的三維模型；加入容錯設計提高程序的可靠性。將重建對象固定在標定模板中央，通過手託模板帶動重建對象在一臺位置固定的攝像機視野和景深內作自由旋轉運動，如圖1所示。自由多視角實時的三維重建方法，其具體工作步驟為一臺CCD攝像機和一塊平面標定模板以及固定在模板中央的重建對象定位好之後，計算機啟動一套三維重建程序，依次包括圖像分割、攝像機標定和對象形狀重建三個子程序。首先讀入採集到的第一幀圖像進行圖像分割，得到模板掩模和對象掩模；之後為確定攝像機和對象實時的位置關係，對得到的模板掩模圖像進行攝像機標定，並利用標定參數結合體素切割法重建對象的三維信息，最後以三角面片法將該視角下的三維信息轉換為對象的三維模型；接著讀入採集到的第二幀圖像，重複對第一幀圖像的操作過程，如此循環，直到獲得較為精確的三維形狀為止。該過程無任何人工幹預，圖像採集和對象重建同步進行，重建結果實時顯示，且提高了使用者的靈活性。上述的圖像分割子程序具有如下步驟由於物體和背景的對比度比較明顯，因此首先採用全局閾值處理技術實現對圖像的初始分割，得到二值化的圖像，然後根據對象幾何特徵(包括是否含有細線、是否有空洞和是否位於圖像中央等)綜合多種數學形態學方法(包括細化、開啟、填充等)對初始分割後的圖像進一步分割，從而將模板圖案和重建對象從背景中分離出來，得到模板掩模和對象掩模。上述的攝像機自動標定子程序具有如下歩驟首先取標定模板上線段與同心圓的16個交點作為標定特徵點，對讀入的每一幀模板掩模圖像進行特徵點提取和特徵點編號。其中特徵點提取過程如下分別提取圓和直線在攝像機成像面上的投影曲線的樣本點，圓的投影曲線為橢圓，直線的投影仍為直線，將提取的樣本點以最小二乘法擬合，從而獲得兩個橢圓方程和八條直線方程，再將兩個橢圓方程分別和每個直線方程聯立求解，則得到16個二元二次方程組，從而可求解出橢圓與直線的交點的亞像素圖像坐標；之後按直線所在的角度不同對交點進行特徵點編號，以此來建立巳知物體的三維世界坐標和攝像機圖像平面坐標的對應關係。然後進行攝像機標定根據求得的交點坐標，計算攝像機外部參數——旋轉矩陣R和位移向量T，繼而求得攝像機內部參數——焦距f和鏡頭畸變係數k。上述的對象形狀重建子程序具有如下步驟體素法要求將重建對象置於一個足夠容納它的體素塊中，將塊中的每一個體素往圖像平面做投影成像，從而將以(X-^,、)為世界坐標的某個體素點按標定參數建立的成像模型轉化為圖像平面上一個以(X,，^)為像素坐標的投影點；再按圖像分割中的方法獲取當前視角下實際對象的投影，與體素投影作比較，將所有落在對象投影外部的體素切割掉，這樣就完成了一個視角下的切割，如圖4所示。當圍繞物體選取不同的視角且視角越來越多時，物體模型就會變得越來越小，越來越接近物體的真實形狀，最終得到物體的三維模型。根據上述的發明構思，本發明採用下述技術方案一種自由多視角實時的三維重建系統，由一臺CCD攝像機，一臺裝配有多通道圖像採集卡的計算機和一塊平面標定模板組成，平面標定模板用於標定攝像機參數。其中，計算機通過圖像採集卡與攝像機連接，其特徵在於①重建對象固定於平面標定模板中央，手動標定模板能使重建對象在一臺位置固定的攝像機視野和景深範圍內作自由旋轉運動；②所述的平面標定模板中央繪有兩個同心圓，八條延長線經過圓心的直線段等分同心圓，將某一對相差180度的直線段向離心方向延伸一定長度，並在其中一根延長線旁繪製一根平行短線段，並標記上標記l、標記2，取線段與同心圓的16個交點作為標定特徵點。一種自由多視角、實時的三維重建方法，採用上述三維重建系統進行對象重建，其特徵在於具體工作步驟為①採集圖像，同時計算機啟動一套圖像分割程序，對第一幀圖像進行分割，獲取模板掩模圖像和對象掩模圖像；②為確定攝像機和對象實時的位置關係，對由步驟①得到的模板掩模圖像進行攝像機自動標定，求得攝像機內外參數；③對象形狀重建根據從輪廓恢復形狀理論，利用步驟②求得的標定參數結合體素切割法重建對象在該視角下的三維信息，最後以三角面片法將三維信息轉換為三維對象模型；接著讀入下一幀圖像，重複步驟①、步驟②和步驟③，當採集圖像的視角越來越多時，重建的結果越接近對象的真實形狀，從而得到逼真的對象模型。上述的圖像分割程序具有如下步驟①對採集到的圖像利用全局閾值處理技術實現初始分割，將重建對象和模板圖案從背景中分離出來；②結合對象的幾何特徵，利用數學形態學的處理方法將重建對象和模板圖案分離開來，從而得到模板掩模和對象掩模。上述的攝像機自動標定程序具有如下步驟①標定特徵點的提取，以平面標定模板(3)上繪製的徑向直線與圓的交點作為標定特徵點a)讀入圖像分割後獲得的模板掩模圖像，b)分別提取圓和直線在攝像機成像面上的投影曲線的樣本點，圓的投影曲線為橢圓，直線的投影仍為直線，c)分別使用橢圓方程和直線方程以最小二乘法擬合提取的樣本點，聯立擬合的兩組方程，求解出橢圓與直線的交點的亞像素坐標；②基於特徵點所在直線的角度進行特徵點編號，以此來建立已知物體的三維世界坐標和攝像機圖像平面坐標的對應關係。③攝像機參數標定計算a)根據求得的交點坐標，計算攝像機外部參數——旋轉矩陣R和位移向量T，b)求攝像機內部參數——焦距f和鏡頭畸變係數k。上述的對象形狀重建具有如下步驟①將重建對象置於一個足夠容納它的體素塊中；②將體素塊中的每一個體素往圖像平面做投影成像，即將以世界坐標為(、,凡,、)的某個體素點按標定參數建立的成像模型轉換為圖像面上一個以為像素坐標的投影點；③將權利要求3中獲得當前視角下的對象掩模，即實際對象的投影，與體素投影作比較，將所有落在對象投影外部的體素切割掉，這樣就完成了一個視角下的體素切割，最終獲得物體的三維模型。本發明與現有技術相比，具有如下顯而易見的突出實質性特點和顯著優點1.實驗設備簡單，只需一臺攝像機和一臺裝有圖像採集卡的計算機即可；2.實驗環境要求低，對場景的照明無特殊要求，均在自然光照下完成；3.對重建對象的運動沒有嚴格限制，可在攝像機視野和景深內作自由旋轉運動，提高了靈活性，真正實現了自由多視角；4.攝像機標定簡便、自動化。標定模板使用的是成本低廉的平面型模板，其特徵點徑向分布，可在一定程度上抵消徑向畸變對標定的影響，計算機內的標定程序可自動完成模板特徵點的高精度提取、編號、及攝像機內外參數求解等全部計算工作，無需人工介入。5.圖像採集和對象重建同步進行，具有實時顯示重建結果的特點，使用者可以及時發現遺漏的視角，並在此視角附近對對象進行再次重建。6.全過程無人工幹預。本發明可實現自由多視角、實時的三維重建。圖1是本發明的系統結構示意圖。圖2是圖1示例的平面標定模板。圖3是圖1示例的考慮徑向畸變的小孔透視成像模型。圖4是圖1示例的在一個視角下對體素塊的切割示意圖。具體實施例方式本發明的具體實施方式如下參見圖l，本自由多視角、實時的三維重建系統，由一臺CCD攝像機1，一臺裝配有多通道圖像採集卡的計算機2和一塊平面標定模板3組成，平面標定模板3用於標定攝像機參數。其中，計算機2通過圖像釆集卡與攝像機1連接，計算機2內設有一套三維重建程序，包括圖像分割、攝像機標定和對象形狀重建三個子程序。本發明自由多視角、實時的三維重建方法是採用上述三維重建系統進行對象重建，其步驟如下採集圖像前，將一部CCD攝像機固定於某一支架上，確保重建對象和模板的大概位置位於攝像機的視野和景深範圍內。開始採集圖像，並啟動計算機內置的三維重建程序，對每一幀圖像進行處理，分下面三個部分依次進行第一部分，對圖像進行分割將模板圖案和重建對象從背景中分離出來獲得模板掩模和對象掩模。由於物體和背景的對比度比較明顯，因此首先採用全局閾值處理技術實現對圖像的初始分割，得到二值化的圖像。之後對對象的幾何特徵進行歸納，如表1所示。表1對象的幾1tableseeoriginaldocumentpage91)模型和外圍場景的主要區別在於他們所處的位置不同；2)模板圖案由細線條組成，可由開啟運算消除；3)模型內部有空洞，可由填充運算消除。從這三條結論出發，本發明設計了以下分割方法1)對原始圖像的二值化圖像BW進行細化，得到單像素寬度的模板圖案BW一thin;2)再將BWjhin進行開啟運算消除模板圖案，得到BW—temp;5PF—=5oS『_f/H'"3)然後選取畫面中央的對象並執行填充操作，得到對象掩模ObjectMask;Oty'ec/Ma^A:=〃(o一C—ce"fer(5『—4)將BW_temp和BW_thin相減後取絕對值，得到模板掩模PatternMask，屍arter"A/oyA;=|B『—/ewp—5『—|以上形態學算法的結構元素B均取為三階單位方陣。經過上述操作後可將重建對象和模板圖案從背景中分離開來，獲得模板掩模和對象掩模。第二部分，進行攝像機標定。考慮徑向畸變的攝像機模型如圖3所示，其中屍(X,凡,、)是i5點在世界坐標系&凡、中的坐標，P(X;;,z)是i5點在攝像機坐標系中的坐標，其中透鏡光軸方向為z軸，有效焦距/是圖像平面IOy和光學中心O的距離。(;^，i;)是在理想小孔攝像機模型下p點的圖像坐標，(j;,i;)是由於透鏡畸變引起的偏離(1,1;)的實際圖像坐標，以上坐標均有量綱。攝像機標定的目的是確定攝像機的外部參數——旋轉矩陣R、位移向量r八71和內部參數-5^r3r4r5r6_r7r8r9.焦距f、鏡頭徑向畸變係數k。自動標定程序的算法分為如下兩步第一步首先對每一幀模板掩模圖像進行特徵點的提取和編號。如圖2所示，本發明使用標定模板上線段與同心圓的16個交點作為標定特徵點，為實現高精度的特徵點提取，這裡使用了特徵曲線擬合的方法。分別提取圓和直線在攝像機成像面上的投影曲線的樣本點，圓的投影曲線為橢圓，直線的投影仍為直線，將提取的樣本點以最小二乘法擬合，從而獲得兩個橢圓方程和八條直線方程，再將兩個橢圓方程分別和每個直線方程聯立求解，則得到16個二元二次方程組，從而可求解出橢圓與直線的交點的亞像素圖像坐標。其中橢圓方程和直線方程分別如式(1)(2)所示。formulaseeoriginaldocumentpage11(2)特徵點提取為標定提供了特徵點的像素坐標，又由於模板上的特徵點是人為設計的，因而它們的三維坐標是事先已知的。要建立兩個坐標系的關係還要解決圖像點和三維點的對應問題，因此利用一種基於特徵點所在直線的角度進行編號的方法進行特徵點編號，以此來建立已知物體的三維世界坐標和攝像機圖像平面坐標的對應關係。第二步是攝像機內外參數的計算，如圖3所示。參數計算利用前面求出的特徵點坐標分兩步完成。i)利用徑向共線約束分離出外部參數，解超定線性方程組，求得除7;以外的外部參數。具體操作如下首先將世界坐標(X-凡，；)轉換為攝像機坐標(X,y^)，轉換關係為formulaseeoriginaldocumentpage11(3)為3x3的正交變換矩陣；formulaseeoriginaldocumentpage11式中i=r4r5r6根據徑向共線約束條件，存在如下關係:formulaseeoriginaldocumentpage11為3xl的平移矢量。(4)這裡用同一個平面上的空間點來做標定，選取世界坐標系中的、=0，上式兩邊同除以7;並將方程表示為矩陣形式，得[WXX&—^—y義](5)因此選取合適的五個點，使方程的係數矩陣滿秩，就可以解出列矢量中的〕T力、雖然由式5可解出n&q:四個變量，但由正交性可求出R的其它5個變量。因此由式5可唯一地確定旋轉矩陣R和平移分量7;rv。2)線性求解內部參數和7;，以解的值作為初始值，按成像模型建立非線性方程組，用迭代方法優化求解。具體操作如下首先對每個特徵點《計算z,"7xw,+仏,+7;(6)設^,^7^,+/^^，若不計透鏡畸變，則有(7)由於K",D/^，將上式寫成矩陣形式，得.門r，喝-ycMM(8)假設徑向畸變係數^=0，解此方程可分別求出有效焦距/和平移分量7;，然後再用這些值作初始試探，利用優化算法求解下列非線性方程組(9)由此可解得/、rz、A的精確值。第三部分，結合標定參數利用體素切割法，重建對象在該視角下的三維信息，如圖4所示。體素法要求將重建對象置於一個足夠容納它的體素塊中，將塊中的每一個體素往圖像平面做投影成像，整個成像過程可表示為四步坐標變換(1)禾,式(3)將體素的世界坐標(X-凡,zJ轉換為攝像機坐標(X，y,Z);(2)將攝像機坐標y,z)轉換為理想圖像坐標(1,&);(10)(3)考慮徑向畸變，將理想圖像坐標(A,i;)轉換為實際圖像坐標(A,i;);(11)其中一=12+};2。(4)將實際圖像坐標(A,。轉換為像素坐標(x^;r,);(12)其中(;^,i;)為計算機圖像中心的像素坐標，(A^,Ag為圖像平面上單位距離上的像素點數。這樣，以(x^^,、)為世界坐標的某個體素點就按標定參數建立的成像模型轉為圖像平面上一個以(j^,&)為像素坐標的投影點；按圖像分割的方法獲取當前視角下實際對象的投影，與體素投影作比較，將所有落在對象投影外部的體素切割掉，這樣就完成了一個視角下的切割，如圖4所示。對每一幀圖像都重複進行上述操作，當圍繞物體選取不同的視角採集圖像且視角越來越多時，物體模型就會變得越來越接近物體的真實形狀，最終得到物體的三維模型。權利要求1.一種自由多視角、實時的三維重建系統，由一臺CCD攝像機(1)，一臺裝配有多通道圖像採集卡的計算機(2)和一塊平面標定模板(3)組成，平面標定模板(3)用於標定攝像機參數。其中，計算機(2)通過圖像採集卡與攝像機(1)連接，其特徵在於①重建對象固定於平面標定模板中央，手動標定模板能使重建對象在一臺位置固定的攝像機視野和景深範圍內作自由旋轉運動；②所述的平面標定模板(3)中央繪有兩個同心圓，八條延長線經過圓心的直線段等分同心圓，將某一對相差180度的直線段向離心方向延伸一定長度，並在其中一根延長線旁繪製一根平行短線段，並標記上標記1、標記2，取線段與同心圓的16個交點作為標定特徵點。2.—種自由多視角、實時的三維重建方法，採用權利要求1所述的自由多視角、實時的三維重建系統進行對象重建，其特徵在於具體工作步驟為①採集圖像，同時計算機啟動一套圖像分割程序，對第一幀圖像進行分割，獲取模板掩模圖像和對象掩模圖像；②為確定攝像機和對象實時的位置關係，對由步驟①得到的模板掩模圖像進行攝像機自動標定，求得攝像機內外參數；③對象形狀重建根據從輪廓恢復形狀理論，利用步驟②求得的標定參數結合體素切割法重建對象在該視角下的三維信息，最後以三角面片法將三維信息轉換為三維對象模型；接著讀入下一幀圖像，重複步驟①、步驟②和步驟③，當採集圖像的視角越來越多時，重建的結果越接近對象的真實形狀，從而得到逼真的對象模型。3.根據權利要求2所述的自由多視角、實時三維重建方法，其特徵在於所述的圖像分割程序具有如下步驟①對採集到的圖像利用全局閾值處理技術實現初始分割，將重建對象和模板圖案從背景中分離出來；②結合對象的幾何特徵，利用數學形態學的處理方法將重建對象和模板圖案分離開來，從而得到模板掩模和對象掩模。4.根據權利要求2所述的自由多視角、實時三維重建方法，其特徵在於所述的攝像機自動標定程序具有如下步驟①標定特徵點的提取，以平面標定模板G)上繪製的徑向直線與圓的交點作為標定特徵點a)讀入圖像分割後獲得的模板掩模圖像，b)分別提取圓和直線在攝像機成像面上的投影曲線的樣本點，圓的投影曲線為橢圓，直線的投影仍為直線，C)分別使用橢圓方程和直線方程以最小二乘法擬合提取的樣本點，聯立擬合的兩組方程，求解出橢圓與直線的交點的亞像素坐標；②基於特徵點所在直線的角度進行特徵點編號，以此來建立已知物體的三維世界坐標和攝像機圖像平面坐標的對應關係。③攝像機參數標定計算a)根據求得的交點坐標，計算攝像機外部參數——旋轉矩陣R和位移向量T，b)求攝像機內部參數——焦距f和鏡頭畸變係數k。5.根據權利要求3所述的自由多視角、實時三維重建方法，其特徵在於所述的對象形狀重建具有如下步驟①將重建對象置於一個足夠容納它的體素塊中；②將體素塊中的每一個體素往圖像平面做投影成像，即將以世界坐標為(、,K，^)的某個體素點按標定參數建立的成像模型轉換為圖像面上一個以(Xpl^)為像素坐標的投影點；6.將權利要求3中獲得當前視角下的對象掩模，即實際對象的投影，與體素投影作比較，將所有落在對象投影外部的體素切割掉，這樣就完成了一個視角下的體素切割，最終獲得物體的三維模型。全文摘要本發明涉及一種自由多視角、實時的三維重建系統和方法。本系統由一臺CCD攝像機、一臺裝配有多通道圖像採集卡的計算機和一塊平面標定模板組成，平面標定模板中央繪有兩個同心圓和八條延長線經過圓心的直線段，用於標定攝像機參數。本發明的技術方案是將重建對象固定於標定模板中央，手託模板帶動重建對象在一臺位置固定的攝像機的視野和景深範圍內作自由旋轉運動，圖像採集和對象重建同步進行，因此能夠及時發現採集中遺漏的視角，實時顯示重建結果。本三維重建方法包括圖像分割、全自動攝像機標定、對象形狀的三維重建等步驟。本發明的三維重建系統基於計算機視覺技術，重建方法以從輪廓恢復形狀為依據，可實現自由多視角、實時的三維重建。文檔編號G06T7/00GK101320473SQ20081004001公開日2008年12月10日申請日期2008年7月1日優先權日2008年7月1日發明者崔桂渙,莊克成,張之江,董志華,陶江良申請人:上海大學